양자화 타입에 영향을 받을테니 bf16 이런걸 받아서 해봐야하나?
일단.. 근소하게 1080 보단 좋긴하다. 텐서코어 쓰려면 다시 받아야 할 듯 쩝..
| gemma-4-E4B-it-Q4_K_M.gguf Reading Generation 10 tokens 0.2s 61.57 t/s gemma-4-E4B-it-Q4_K_M.gguf Reading Generation 929 tokens 16s 56.72 t/s gemma-4-E4B-it-Q4_K_M.gguf Reading Generation 3,597 tokens 1min 8s 52.70 t/s |
그 와중에 8기가와 11기가는 별 차이 없는것 같은데, 제법 로드 가능한 모델이 제한되네.
에라이
메모리가 적으니 멀 시도해볼수도 없네.
계륵이다 ㅠㅠ
'프로그램 사용 > ai 프로그램' 카테고리의 다른 글
| gemma4-e4b it qat / gemma4-12b mtp on 1080 ti 11GB (0) | 2026.06.08 |
|---|---|
| chatML (0) | 2026.06.04 |
| gemma 12b, tesla t4 16GB / 1080 ti 11GB * 2 (0) | 2026.06.04 |
| nvidia tesla t4 16GB (0) | 2026.06.02 |
| llama.cpp reasoning 옵션 (0) | 2026.06.01 |
