구차니의 잡동사니 모음

어? Stale diffusion 에서 들었던 lora가 나오네? stable diffusion 만의 기술은 아니었나 보다.

그나저나 돌려볼 엄두도 안나긴 하지만.. 코드가 잘 보이지 않네. 한번 시도는 해보고 싶은디.

LoRA - Low Rank Adaptation

QLoRA - Quantized LoRa

[링크 : https://wikidocs.net/293565]

[링크 : https://news.hada.io/topic?id=28211]

[링크 : https://littlefoxdiary.tistory.com/m/134]

문득 젯슨 나노 4GB 모델에서 돌려볼만한 모델이 있나 찾아보는중.

2GB가 대부분이라 돌려볼 엄두도 안날것 같긴한데..

4GB 면은 그래도 1B 모델 정도는 가능하지 않을까 해서 검토

[링크 : https://huggingface.co/microsoft/Phi-3-mini-4k-instruct/]

[링크 : https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0/]

[링크 : https://www.jetson-ai-lab.com/models/gemma3-1b/]

[링크 : https://www.jetson-ai-lab.com/models/qwen3-5-0-8b/]

    [링크 : https://huggingface.co/Qwen/Qwen3.5-0.8B]

[링크 : https://huggingface.co/unsloth/Qwen3.5-0.8B-GGUF] multimodal - image / video

[링크 : https://huggingface.co/unsloth/Qwen3.5-0.8B-MTP-GGUF]

[링크 : https://huggingface.co/unsloth/tinyllama/]

[링크 : https://huggingface.co/unsloth/gemma-2-2b]

[링크 : https://huggingface.co/unsloth/gemma-2b]

순식간에 완만해 지는 곡선. 하지만 얼마나 더 떨궈야 하나 부터 고민해보면

뒤로 갈수록 기울기는 점점 완만해지고, 도달에 원하는 수치까지의 시간은 예상외로 길어지게 된다.

학습율 0.04

0~10000 까지의 학습

0~2000

2000~4000

4000~6000

6000~8000

학습율 0.01

0~9000 정도 까지의 학습

아래는 구간에 대한 y축 스케일이 다른 확대 버전.

0~2000 epoch

2000~4000

4000~6000

6000~8000

8000~10000

올라가냐 내려가냐 희망고문하는게 무슨 주식같냐 -_-

현재 사용가능한 모델.

opus가 sonnet 대비 2배 더 먹는다고 되어있는데

fable 자체는 어떤지 말이 없다.

fable +effort  medium으로 20$ 짜리 요금제에서 해봤더니

혼자 한번 시도하다가 40분 만에 5시간 쿼터 날려먹고 정지..

fable 이번주 쿼터는 15% 사용

그런데 위에 보면 fable에서 20.9k input / 123.2k output 캐시는 모르겠지만

입력대비 출력이 적은거 보면 수다스러운 모델은 아닌듯.

그런데 출력 기준으로.. sonnet 이 1.5M 에 313$ 값어치라고 하는데

fable은 123k 에 62$ 단가로 치면 같은 output을 맞추려면 2.5배 는 비쌀 듯.

그런데 저 금액은 어떻게 산출되는거지?

+

오후에는 opus medium effort로 소모

1시간 반쯤 쓸 수 있었던 것 같고.

비용으로는

opus는 sonnet 대비 1.8배 정도 나올 느낌? (125k / 49달러 -> 12배 = 1.5M / 588달러. 588/313 = 1.87배)

fable은 sonnet 대비 2.37배 정도 나올 것 같다.

걍 pro(20$) 로는 sonnet이나 medium effort로 써야 할 듯.

저번주 리셋은 4시 20분 인가 그랬던것 같은데

주말 동안에 리셋 시간이 떙겨졌다. 좋은건가...?

로그인 해서 쓰니 둘다 쿼터가 연돈된다.

그런데 4:20에 리셋된다는데

웹에서는 3:50에 재설정된다고 (3시 53분이라고!) 써있는데

시간이 지나서 해보려는데도 안된다. 야 30분 계산 어따 빼먹었어?

그 와중에 5시간 쿼터에서 100% 쓰니 주간 한도 11%

100% 꾹꾹 눌러 쓰면

10번 조금 못미치게 쓸수 있으니

오전 / 오후 해서 2번. 주 5일 겨우 쓸수 있겠네

크이전에 결제한 적이 있어서 카드 번호가 있다보니

별다른 절차없이 결제 하기 누르고 카드 고르니 끝.

전사적으로 결제하게 한게 2년 정도 지났는데

그때도 3달 정도 결제하고 쓰질 않아서 돈 아까워서 없앴다가

이제 쓸일이 좀 생겨서 결제!

2024.11.22 - [개소리 왈왈/인공지능] - claude 구독 해제

문득 생각나서 gemini cli 업데이트 하고

로그인 성공했다는데 다시 로그인을 시도하게 한다.

아래 에러 메시지를 보니 안티그래비티로 이전하라고 하는데..

기업 계정인데도 안되는건가?

투명 png를 돌리니까 배경이 흰색으로 나와서

딥러닝 학습시 loss 율이 높은 값에서 진동하고 있어서 혹시나 하고 변경해보니 잘된다.

background none은 테스트 안해봄

[링크 : https://stackoverflow.com/questions/4121155/how-can-i-rotate-a-transparent-png-by-45-degrees-using-imagemagick-and-keep-the]

로컬 LLM 에서 MCP 연결할 수 있으려나?

일일이 만드는것도 귀찮은데 만들어 둔 mcp 들을 쉽게 붙이면 좋을것 같긴하다.

결국은 json 타입으로 이해하기 쉽게 던져주면 알아서 쓴다.. 이런 컨셉이구나

[링크 : https://wikidocs.net/287840] fast mcp

    [링크 : https://pypi.org/project/fastmcp/]

[링크 : https://raeul0304.tistory.com/9] mcp-use 

    [링크 : https://pypi.org/project/mcp-use/]