구차니의 잡동사니 모음

현재 사용가능한 모델.

opus가 sonnet 대비 2배 더 먹는다고 되어있는데

fable 자체는 어떤지 말이 없다.

fable +effort  medium으로 20$ 짜리 요금제에서 해봤더니

혼자 한번 시도하다가 40분 만에 5시간 쿼터 날려먹고 정지..

fable 이번주 쿼터는 15% 사용

그런데 위에 보면 fable에서 20.9k input / 123.2k output 캐시는 모르겠지만

입력대비 출력이 적은거 보면 수다스러운 모델은 아닌듯.

그런데 출력 기준으로.. sonnet 이 1.5M 에 313$ 값어치라고 하는데

fable은 123k 에 62$ 단가로 치면 같은 output을 맞추려면 2.5배 는 비쌀 듯.

그런데 저 금액은 어떻게 산출되는거지?

+

오후에는 opus medium effort로 소모

1시간 반쯤 쓸 수 있었던 것 같고.

비용으로는

opus는 sonnet 대비 1.8배 정도 나올 느낌? (125k / 49달러 -> 12배 = 1.5M / 588달러. 588/313 = 1.87배)

fable은 sonnet 대비 2.37배 정도 나올 것 같다.

걍 pro(20$) 로는 sonnet이나 medium effort로 써야 할 듯.

저번주 리셋은 4시 20분 인가 그랬던것 같은데

주말 동안에 리셋 시간이 떙겨졌다. 좋은건가...?

로그인 해서 쓰니 둘다 쿼터가 연돈된다.

그런데 4:20에 리셋된다는데

웹에서는 3:50에 재설정된다고 (3시 53분이라고!) 써있는데

시간이 지나서 해보려는데도 안된다. 야 30분 계산 어따 빼먹었어?

그 와중에 5시간 쿼터에서 100% 쓰니 주간 한도 11%

100% 꾹꾹 눌러 쓰면

10번 조금 못미치게 쓸수 있으니

오전 / 오후 해서 2번. 주 5일 겨우 쓸수 있겠네

크이전에 결제한 적이 있어서 카드 번호가 있다보니

별다른 절차없이 결제 하기 누르고 카드 고르니 끝.

전사적으로 결제하게 한게 2년 정도 지났는데

그때도 3달 정도 결제하고 쓰질 않아서 돈 아까워서 없앴다가

이제 쓸일이 좀 생겨서 결제!

2024.11.22 - [개소리 왈왈/인공지능] - claude 구독 해제

네트워크 볼륨에 저장하면 날아가지 않는다?

[링크 : https://docs.runpod.io/get-started#deploy-via-the-console]

[링크 : https://www.runpod.io/]

256GB 면은 0.07x256 이니까 월 17.92$ 어우 제법 세네

[링크 : https://docs.runpod.io/storage/network-volumes]

네트워크 볼륨은 200MB~400MB/s 라는데 피크 10GB/s 라는걸 보면..

nvme는 맞는데 속도 제한을 건걸까 아니면 SATA SSD를 쓰는걸까 싶은 생각이 든다.

아무튼, 얘는 그럼 대역폭을 더 넓게 쓸 수 있는 걸까?

[링크 : https://docs.runpod.io/storage/high-performance-storage#pricing]

그래픽 카드 변경하려면 pod을 재생성해야 할 것 같은데, 그러면 volume disk 날아가는걸까?

network volume 에 portable between pods 라고 된거 보면.. 그래픽 카드 바꾸려면 pod이 바뀌어야 하는게 맞을지도

volume disk 는 0.10$/GB/month 라서 일할계산될 것 같기도 한데..

볼륨/컨테이터는 초당 계산, 네트워크 볼륨은 시간당 계산. 그런데 금액은 월별이라..

[링크 : https://docs.runpod.io/pods/pricing]

기본적으로 페이지에서 시간당 비용으로 나오는데

요금 자체가 초당 요금도 있어서. 최대한 빠르게 처리하고 삭제하면 시간요금이 아니라 초요금으로 될 것 같기도 하다.

[링크 : https://www.runpod.io/pricing]

v100 sxm 성능이 궁금하긴 했는데 아직 서비스 하고 있긴한건가?

[링크 : https://docs.runpod.io/references/gpu-types]

문득 생각나서 gemini cli 업데이트 하고

로그인 성공했다는데 다시 로그인을 시도하게 한다.

아래 에러 메시지를 보니 안티그래비티로 이전하라고 하는데..

기업 계정인데도 안되는건가?

투명 png를 돌리니까 배경이 흰색으로 나와서

딥러닝 학습시 loss 율이 높은 값에서 진동하고 있어서 혹시나 하고 변경해보니 잘된다.

background none은 테스트 안해봄

[링크 : https://stackoverflow.com/questions/4121155/how-can-i-rotate-a-transparent-png-by-45-degrees-using-imagemagick-and-keep-the]

로컬 LLM 에서 MCP 연결할 수 있으려나?

일일이 만드는것도 귀찮은데 만들어 둔 mcp 들을 쉽게 붙이면 좋을것 같긴하다.

결국은 json 타입으로 이해하기 쉽게 던져주면 알아서 쓴다.. 이런 컨셉이구나

[링크 : https://wikidocs.net/287840] fast mcp

    [링크 : https://pypi.org/project/fastmcp/]

[링크 : https://raeul0304.tistory.com/9] mcp-use 

    [링크 : https://pypi.org/project/mcp-use/]

/v1/chat/completions 통해서 문맥을 유지할때 어떻게 구현되나 했더니

llama-swap 에서 대화내용을 보니 이해된다.

assistant에 ai 대답을 넣는다고만 해서 복수개면 어떻게 하나 했는데

UI 상으로는 이렇게 나오고

로그 상으로는 아래와 같이 나온다

1번 째 질문 "하이하이"

2번 쩨 질문 "엉 왜 refused"

그리고 이전 대화를 messages의 배열에 순서대로 넣으면

가장 마지막 대화를 기준으로 답을 주게 되는걸려나?

당연(?) 하지만 reasoning은 빼고 순수 응답 내용만 assistant에 넣어서 보낸다.

변환해서 내꺼에서 돌려보니 성능 차이가 없...다?

내꺼 그래픽 카드가 구려서 그런가.. 그게 아니라면.. 변환을 잘못했다거나

llama.cpp 에서 지원은 안한다거나 그런건가?

-------

비교군

직접 변환(양자화 안함)

unsloth 모델

[링크 : https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF]

[링크 : https://huggingface.co/google/gemma-4-E4B-it-assistant]