테스트 해보니
IQ2_M 은 영어로 하던 한글로 하던 반복해서 쓸수가 없고
Q4 / Q8은 생각하지 않게하니 응답은 한다.
| llama-b10068-bin-win-cuda-12.4-x64>llama-cli.exe --chat-template-kwargs "{\"enable_thinking\": false}" -m Qwen3.5-0.8B-UD-IQ2_M.gguf |
1060 6GB
| 모델 | 파일 크기 | VRAM | tokens per second |
| Qwen3.5-0.8B-UD-IQ2_M.gguf | 354 MB | 3897 - 86 MiB | ~ 89 |
| Qwen3.5-0.8B-UD-Q4_K_XL.gguf | 532 MB | 4073 - 86 MiB | ~ 86 |
| Qwen3.5-0.8B-UD-Q8_K_XL.gguf | 1.10 GB | 4313 - 86 MiB | ~ 62 |
아래 처럼하면 엄청 줄일 순 있는데
| llama-b10068-bin-win-cuda-12.4-x64>llama-cli -c 4096 -ctk q4_0 --chat-template-kwargs "{\"enable_thinking\": false}" -m Qwen3.5-0.8B-UD-Q4_K_XL.gguf |
컨텍스트만 해도 이정도로 줄어든다.
-c 4096 797 MiB
-c 8192 861 MiB
-c 16384 953 MiB
Q8은 많이 줄어들진 않는다.
| llama-b10068-bin-win-cuda-12.4-x64>llama-cli -c 4096 --chat-template-kwargs "{\"enable_thinking\": false}" -m Qwen3.5-0.8B-UD-Q8_K_XL.gguf |
-c 4096 1395 MiB
-c 8192 1447 MiB
-c 16384 1551 MiB
그래도 이정도면 2GB 에서도 어떻게 돌릴순 있을듯 한데?
+
1187 MiB. 와우
ffprobe와 ffmpeg을 넣어줘도 big bunny 60MB 짜리를 못하네 쩝.. 어떻게 해야 돌릴수 있지?
| D:\study\llm\llama-b10068-bin-win-cuda-12.4-x64>llama-cli -c 4096 -ctk q4_0 --chat-template-kwargs "{\"enable_thinking\": false}" -m Qwen3.5-0.8B-UD-Q4_K_XL.gguf -mm mmproj-F16.gguf Loading model... ▄▄ ▄▄ ██ ██ ██ ██ ▀▀█▄ ███▄███▄ ▀▀█▄ ▄████ ████▄ ████▄ ██ ██ ▄█▀██ ██ ██ ██ ▄█▀██ ██ ██ ██ ██ ██ ██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀ ██ ██ ▀▀ ▀▀ build : b10068-571d0d540 model : Qwen3.5-0.8B-UD-Q4_K_XL.gguf ftype : Q4_K - Medium modalities : text, vision, video available commands: /exit or Ctrl+C stop or exit /regen regenerate the last response /clear clear the chat history /read <file> add a text file /glob <pattern> add text files using globbing pattern /image <file> add an image file /video <file> add a video file |
+
2026.07.19
jetson nano에 하려고 했더니
ollama 업데이트 -> glibc 버전 문제로 먹통
llama.cpp -> libssl.so.3 / libcrypto.so.3 문제로 실행불가
빌드 하려니 32GB 짜리인데도 93% 라서 먼가 할수 없는 상황 -_-
'프로그램 사용 > ai 프로그램' 카테고리의 다른 글
| LLM 지식 증류(knowledge distilation), lora (0) | 2026.07.18 |
|---|---|
| sLLM (경량 언어모델) (0) | 2026.07.18 |
| 딥러닝은 참.. 전기가 많이 드는구나.. (0) | 2026.07.16 |
| claude code /model (0) | 2026.07.08 |
| claude code 세션 정보 (0) | 2026.07.06 |
