구차니의 잡동사니 모음

네트워크 볼륨에 저장하면 날아가지 않는다?

[링크 : https://docs.runpod.io/get-started#deploy-via-the-console]

[링크 : https://www.runpod.io/]

256GB 면은 0.07x256 이니까 월 17.92$ 어우 제법 세네

[링크 : https://docs.runpod.io/storage/network-volumes]

네트워크 볼륨은 200MB~400MB/s 라는데 피크 10GB/s 라는걸 보면..

nvme는 맞는데 속도 제한을 건걸까 아니면 SATA SSD를 쓰는걸까 싶은 생각이 든다.

아무튼, 얘는 그럼 대역폭을 더 넓게 쓸 수 있는 걸까?

[링크 : https://docs.runpod.io/storage/high-performance-storage#pricing]

그래픽 카드 변경하려면 pod을 재생성해야 할 것 같은데, 그러면 volume disk 날아가는걸까?

network volume 에 portable between pods 라고 된거 보면.. 그래픽 카드 바꾸려면 pod이 바뀌어야 하는게 맞을지도

volume disk 는 0.10$/GB/month 라서 일할계산될 것 같기도 한데..

볼륨/컨테이터는 초당 계산, 네트워크 볼륨은 시간당 계산. 그런데 금액은 월별이라..

[링크 : https://docs.runpod.io/pods/pricing]

기본적으로 페이지에서 시간당 비용으로 나오는데

요금 자체가 초당 요금도 있어서. 최대한 빠르게 처리하고 삭제하면 시간요금이 아니라 초요금으로 될 것 같기도 하다.

[링크 : https://www.runpod.io/pricing]

v100 sxm 성능이 궁금하긴 했는데 아직 서비스 하고 있긴한건가?

[링크 : https://docs.runpod.io/references/gpu-types]

문득 생각나서 gemini cli 업데이트 하고

로그인 성공했다는데 다시 로그인을 시도하게 한다.

아래 에러 메시지를 보니 안티그래비티로 이전하라고 하는데..

기업 계정인데도 안되는건가?

투명 png를 돌리니까 배경이 흰색으로 나와서

딥러닝 학습시 loss 율이 높은 값에서 진동하고 있어서 혹시나 하고 변경해보니 잘된다.

background none은 테스트 안해봄

[링크 : https://stackoverflow.com/questions/4121155/how-can-i-rotate-a-transparent-png-by-45-degrees-using-imagemagick-and-keep-the]

로컬 LLM 에서 MCP 연결할 수 있으려나?

일일이 만드는것도 귀찮은데 만들어 둔 mcp 들을 쉽게 붙이면 좋을것 같긴하다.

결국은 json 타입으로 이해하기 쉽게 던져주면 알아서 쓴다.. 이런 컨셉이구나

[링크 : https://wikidocs.net/287840] fast mcp

    [링크 : https://pypi.org/project/fastmcp/]

[링크 : https://raeul0304.tistory.com/9] mcp-use 

    [링크 : https://pypi.org/project/mcp-use/]

/v1/chat/completions 통해서 문맥을 유지할때 어떻게 구현되나 했더니

llama-swap 에서 대화내용을 보니 이해된다.

assistant에 ai 대답을 넣는다고만 해서 복수개면 어떻게 하나 했는데

UI 상으로는 이렇게 나오고

로그 상으로는 아래와 같이 나온다

1번 째 질문 "하이하이"

2번 쩨 질문 "엉 왜 refused"

그리고 이전 대화를 messages의 배열에 순서대로 넣으면

가장 마지막 대화를 기준으로 답을 주게 되는걸려나?

당연(?) 하지만 reasoning은 빼고 순수 응답 내용만 assistant에 넣어서 보낸다.

변환해서 내꺼에서 돌려보니 성능 차이가 없...다?

내꺼 그래픽 카드가 구려서 그런가.. 그게 아니라면.. 변환을 잘못했다거나

llama.cpp 에서 지원은 안한다거나 그런건가?

-------

비교군

직접 변환(양자화 안함)

unsloth 모델

[링크 : https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF]

[링크 : https://huggingface.co/google/gemma-4-E4B-it-assistant]

그런데 208 이던 228 이던

client.chat.completions.create 함수를

client.responses.create 로 바꾸었더니 prompt speed / gen speed가 출력되지 않는다.

reasoning off 하기 위해서는 함수를 바꾸어야 하고. 바꾸면 리포트가 안되고 흐음..

걍 서버에서 끄고 해야하나? (llama-cli --reasoning off)

208 에서 228로 올렸더니

1. config.yaml 의 명시적 사용

기존에는 config.yaml을 바로 가져가더니(llama-swap 과 동일 경로에서) 이제는 명시적으로 지정해주어야 한다.1

2. 모니터링 추가

performance 탭에서 그래프가 생긴것 같다. 오오 이쁜데?

버전에 따라 안 먹는게 있는지 라고 하기에는

저번에 잘 한거 같기도 한데 잘 모르겠네

아무튼 아래처럼 바꾸어 주면 자로딘다.

일단 현재 버전(?)은 아래와 같은 상태.

저번에 확장 깔다가 꼬여서 1.7 버전이라고 받아둔걸로 했더니 안되는건가..

SDXL 이렇게 되어있어서 해봤는데 안되길래

혹시나 해서 illustriousXL 로 찾으니 나왔고 받아보니 된다!

정보를 보니 sdxl_base_v1-0

모델 정보에서 SDXL로 나온다.

[링크 : https://civitai.com/models/1003582/lora-illustriousxl-barbie-mugshot-meme]

요건 일러스트리어스에서는 안되는 놈인데

읭?

이것도 SD1 용이라 일러스트리어스에 안나온듯.

말로만 sdxl 이지 실제로는 Stable diffusion 계열인듯.

[링크 : https://civitai.com/models/242475/sdxl-lora-photorealistic-female]

요건 SD용 구름에 고래 잘 그려주는 lora.

메타데이터가 많은데 얘도 SD1용

일관성있는 어떤 데이터가 아닌가?

civitai 에서 sdxl로 치면 여러가지 나오는데

sdxl 1.0을 하면 되려나?

SDXL 1.0 으로 해서 받으니 일러스트리어스에서 뜨긴한다.

[링크 : https://civitai.com/models/553959/sdxl-lora-v3-pixelized-art-intermediate-edition]