구차니의 잡동사니 모음

엥.. 이거 왜 결과 기록한게 없지?

메모리 부족으로 터져서 mtp + mmproj 는 50k로 컨텍스트 길이 바꾸고 수행. 그래서 좀 불공평하긴 함.

+

옵션없이 하면 이렇게 터진다.

$ ../../llama-b9692/llama-cli -m gemma-4-31B-it-UD-Q2_K_XL.gguf --mmproj mmproj-F16.gguf --model-draft mtp-gemma-4-31B-it.gguf --spec-type draft-mtp --spec-draft-n-max 2 -p " 텍스트 추출해줘" --image test.jpg Loading model... -0.01.585.512 E llama_init_from_model: failed to initialize the context: Gemma4Assistant requires ctx_other to be set (this warning is normal during memory fitting) \ggml_vulkan: Device memory allocation of size 1073346048 failed. ggml_vulkan: vk::Device::allocateMemory: ErrorOutOfDeviceMemory /home/runner/work/llama.cpp/llama.cpp/ggml/src/ggml-backend.cpp:179: GGML_ASSERT(buffer) failed 0.16.559.995 E alloc_tensor_range: failed to allocate Vulkan1 buffer of size 1073346048

-ts 10,11 하니까 10:11 비율로 할당해서 간당간당하게 안터짐 ㅋㅋ

$ ../../llama-b9692/llama-cli -m gemma-4-31B-it-UD-Q2_K_XL.gguf --mmproj mmproj-F16.gguf --model-draft mtp-gemma-4-31B-it.gguf --spec-type draft-mtp --spec-draft-n-max 2 -p " 텍스트 추출해줘" --image test.jpg -c 50000 이미지 속의 텍스트를 추출해 정리해 드립니다. **제목: 건설사 시공능력평가 상위 20위 현황** * 기준: 2026년 평가액 기준, ( )는 순위 변동 * 단위: 억 원 | 순위 | 기업명 | 평가액 (억 원) | 순위 변동 | | :--- | :--- | :--- | :--- | | 1 | 삼성물산 | 34조 8,785 | - | | 2 | 현대건설 | 18조 2,714 | - | | 3 | GS건설 | 11조 668 | $\uparrow$ 2 | | 4 | 현대엔지니어링 | 11조 53 | $\uparrow$ 2 | | 5 | 대우건설 | 9조 9,249 | $\downarrow$ 2 | | 6 | DL이앤씨 | 9조 352 | $\downarrow$ 2 | | 7 | 롯데건설 | 7조 8,411 | $\uparrow$ 11 | | 8 | 포스코이앤씨 | 7조 5,851 | $\downarrow$ 1 | | 9 | SK에코플랜트 | 7조 59 | - | | 10 | 아이파크현대산업개발 | 5조 6,448 | - | | 11 | 한화 | 4조 711 | - | | 12 | 호반건설 | 3조 4,029 | - | | 13 | DL건설 | 3조 3,718 | - | | 14 | 계룡건설산업 | 3조 1,064 | $\uparrow$ 11 | | 15 | 두산에너빌리티 | 2조 9,551 | $\downarrow$ 1 | | 16 | 서희건설 | 2조 8,043 | - | | 17 | 제일건설 | 2조 7,696 | - | | 18 | 우미건설 | 2조 6,912 | $\uparrow$ 3 | | 19 | 쌍용건설 | 2조 6,704 | $\uparrow$ 4 | | 20 | 효성중공업 | 2조 4,880 | $\uparrow$ 7 | **자료 출처:** 국토교통부 / 뉴스1 [ Prompt: 24.8 t/s | Generation: 13.5 t/s ]

$  ../../llama-b9692/llama-cli -m gemma-4-31B-it-UD-Q2_K_XL.gguf --mmproj mmproj-F16.gguf --model-draft mtp-gemma-4-31B-it.gguf --spec-type draft-mtp --spec-draft-n-max 2 -p " 텍스트 추출해줘" --image test.jpg -ts 10,11 이미지에서 텍스트를 추출하여 정리해 드립니다. **제목: 건설사 시공능력평가 상위 20위 현황** * **기준:** 2026년 평가액 기준 / ( )는 순위 변동 * **단위:** 억원 | 순위 | 기업명 | 평가액 | 순위 변동 | | :--- | :--- | :--- | :--- | | 1 | 삼성물산 | 34조 8785 | - | | 2 | 현대건설 | 18조 2714 | - | | 3 | GS건설 | 11조 668 | $\uparrow$ 2 | | 4 | 현대엔지니어링 | 11조 53 | $\uparrow$ 2 | | 5 | 대우건설 | 9조 9249 | $\downarrow$ 2 | | 6 | DL이앤씨 | 9조 352 | $\downarrow$ 2 | | 7 | 롯데건설 | 7조 8411 | $\uparrow$ 11 | | 8 | 포스코이앤씨 | 7조 5851 | $\downarrow$ 1 | | 9 | SK에코플랜트 | 7조 59 | - | | 10 | 아이파크현대산업개발 | 5조 6448 | - | | 11 | 한화 | 4조 711 | - | | 12 | 호반건설 | 3조 4029 | - | | 13 | DL건설 | 3조 3718 | - | | 14 | 계룡건설산업 | 3조 1064 | $\uparrow$ 11 | | 15 | 두산에너빌리티 | 2조 9551 | $\downarrow$ 1 | | 16 | 서희건설 | 2조 8043 | - | | 17 | 제일건설 | 2조 7696 | - | | 18 | 우미건설 | 2조 6912 | $\uparrow$ 3 | | 19 | 쌍용건설 | 2조 6704 | $\uparrow$ 4 | | 20 | 효성중공업 | 2조 4880 | $\uparrow$ 7 | **자료 출처:** 국토교통부 [ Prompt: 25.2 t/s | Generation: 13.5 t/s ]

jetson thor 에서

6.7 / 9.2 토큰 나온거 보면 확실히 1080이 그래도 체급이 있는지 빠르긴 하다

이걸 좋아해야하나 말아야 하나.. (전기 먹는거 까지 고려하면.. 쩝)