llama.cpp / 1080 ti 11GB * 2/ gemma4-31B

구차니 2026. 7. 30. 14:57

엥.. 이거 왜 결과 기록한게 없지?

$ ../../llama-b9692/llama-cli -m ./gemma-4-31B-it-UD-Q2_K_XL.gguf
안녕?
[ Prompt: 8.9 t/s | Generation: 12.2 t/s ]

너에 대해 설명해줘
[ Prompt: 33.3 t/s | Generation: 11.8 t/s ]

파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 36.1 t/s | Generation: 11.4 t/s ]

메모리 부족으로 터져서 mtp + mmproj 는 50k로 컨텍스트 길이 바꾸고 수행. 그래서 좀 불공평하긴 함.

$ ../../llama-b9692/llama-cli -m gemma-4-31B-it-UD-Q2_K_XL.gguf --mmproj mmproj-F16.gguf --model-draft mtp-gemma-4-31B-it.gguf --spec-type draft-mtp --spec-draft-n-max 2 -p " 텍스트 추출해줘" --image test.jpg
이미지에서 텍스트를 추출해 드립니다.

**제목: 건설사 시공능력평가 상위 20위 현황**
(※ 2026년 평가액 기준, ()는 순위 변동 / 단위: 억원)

| 순위 | 기업명 | 금액 (억원) | 순위 변동 |
| :--- | :--- | :--- | :--- |
| 1 | 삼성물산 | 34조 8,785 | - |
| 2 | 현대건설 | 18조 2,714 | - |
| 3 | GS건설 | 11조 668 | $\uparrow 2$ |
| 4 | 현대엔지니어링 | 11조 53 | $\uparrow 2$ |
| 5 | 대우건설 | 9조 9,249 | $\downarrow 2$ |
| 6 | DL이앤씨 | 9조 352 | $\downarrow 2$ |
| 7 | 롯데건설 | 7조 8,411 | $\uparrow 11$ |
| 8 | 포스코이앤씨 | 7조 5,851 | $\downarrow 1$ |
| 9 | SK에코플랜트 | 7조 59 | - |
| 10 | 아이파크현대산업개발 | 5조 6,448 | - |
| 11 | 한화 | 4조 711 | - |
| 12 | 호반건설 | 3조 4,029 | - |
| 13 | DL 건설 | 3조 3,718 | - |
| 14 | 계룡건설산업 | 3조 1,064 | $\uparrow 11$ |
| 15 | 두산에너빌리티 | 2조 9,551 | $\downarrow 1$ |
| 16 | 서희건설 | 2조 8,043 | - |
| 17 | 제일건설 | 2조 7,696 | - |
| 18 | 우미건설 | 2조 6,912 | $\uparrow 3$ |
| 19 | 쌍용건설 | 2조 6,704 | $\uparrow 4$ |
| 20 | 효성중공업 | 2조 4,880 | $\uparrow 7$ |

**자료:** 국토교통부
**출처:** 뉴스1

[ Prompt: 25.7 t/s | Generation: 11.6 t/s ]

$ ../../llama-b9692/llama-cli -m gemma-4-31B-it-UD-Q2_K_XL.gguf --mmproj mmproj-F16.gguf --model-draft mtp-gemma-4-31B-it.gguf --spec-type draft-mtp --spec-draft-n-max 2 -p " 텍스트 추출해줘" --image test.jpg -c 50000

이미지에서 추출한 텍스트 내용은 다음과 같습니다.

**[제목]**
건설사 시공능력평가 상위 20위 현황
※ 2026년 평가액 기준, ( )는 순위 변동
단위: 억원

**[목록]**
1. 삼성물산: 34조 8785
2. 현대건설: 18조 2714
3. GS건설: 11조 668 (↑2)
4. 현대엔지니어링: 11조 53 (↑2)
5. 대우건설: 9조 9249 (↓2)
6. DL이앤씨: 9조 352 (↓2)
7. 롯데건설: 7조 8411 (↑11)
8. 포스코이앤씨: 7조 5851 (↓1)
9. SK에코플랜트: 7조 59
10. 아이파크현대산업개발: 5조 6448
11. 한화: 4조 711
12. 호반건설: 3조 4029
13. DL건설: 3조 3718
14. 계룡건설산업: 3조 1064 (↑11)
15. 두산에너빌리티: 2조 9551 (↓1)
16. 서희건설: 2조 8043
17. 제일건설: 2조 7696
18. 우미건설: 2조 6912 (↑3)
19. 쌍용건설: 2조 6704 (↑4)
20. 효성중공업: 2조 4880 (↑7)

**[하단 정보]**
자료: 국토교통부
뉴스1 (로고)

[ Prompt: 24.5 t/s | Generation: 13.6 t/s ]

jetson thor 에서

6.7 / 9.2 토큰 나온거 보면 확실히 1080이 그래도 체급이 있는지 빠르긴 하다

이걸 좋아해야하나 말아야 하나.. (전기 먹는거 까지 고려하면.. 쩝)

저작자표시 (새창열림)