llama.cpp pascal 지원 빌드 / 성능 테스트

그냥 귀찮아서 가장 최신 받아서

claude 에서 빌드해달라고 하고 해버림

여전히 -sm row, -sm tensor 는 안되는데 머가 문제이려나?

 

cuda로 해서 그런가.. 아니면 가장 최신버전 이라서 성능향상이 생긴건가?

commit 930e2fa5995789efbf249a8bf61325bb626e417b (HEAD -> master, tag: b10991, origin/master, origin/HEAD) Author: Jhen-Jie Hong <iainst0409@gmail.com> Date:   Wed Sep 16 07:02:06 2026 +0800     hexagon: add back missing contiguous fast-path and hvx_copy_uu for each run (#28886)

 

11 정도였던것 같은데 약간 상승한듯?

/mnt/Downloads/llama.cpp/build/bin$ ./llama-cli -m /mnt/Downloads/model/gemma4-31b/gemma-4-31B-it-UD-Q2_K_XL.gguf -sm layer > 안녕? [ Prompt: 35.4 t/s | Generation: 14.3 t/s ] > 너에 대해 설명해줘 [ Prompt: 63.5 t/s | Generation: 13.9 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘 [ Prompt: 162.4 t/s | Generation: 13.3 t/s ]

 

pcie3.0 은 별 차이 없었으니 일단 이전 기록 끌어오면 2token/s 정도씩 상승한듯?

$ ../../llama-b9692/llama-cli -m ./gemma-4-31B-it-UD-Q2_K_XL.gguf  안녕? [ Prompt: 8.9 t/s | Generation: 12.2 t/s ] 너에 대해 설명해줘 [ Prompt: 33.3 t/s | Generation: 11.8 t/s ] 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘 [ Prompt: 36.1 t/s | Generation: 11.4 t/s ]

2026.07.30 - [모종의 음모/ai 프로그램] - llama.cpp / 1080 ti 11GB * 2/ gemma4-31B

 

 

 

+

클로드가 왜 row 안되는지 보고 있는데 split buffer 모드가 멀까?

● -sm row이 실패하는 원인을 정확히 잡았습니다: GTX 1080 Ti가 CUDA의 "split buffer"를 지원하지 않는다는 에러입니다.   소스에서 어떤 조건인지 확인하겠습니다.

 

구글 검색 ai 답변

volta 사라고 등 떠미는 느낌이지 왜? ㅠㅠ

지원 CUDA 버전: 기술적으로는 멀티 GPU 메모리 접근 및 P2P(Peer-to-Peer) 전송이 가능한 CUDA 9.x / 10.x 이상의 모든 최신 버전에서 지원합니다. [1]   지원 하드웨어 SM: GPU 간 데이터 통신(NVLink 또는 PCIe 클리크)이 지원되는 하드웨어라면 대부분 구동됩니다. SM 7.0 (Volta), SM 7.5 (Turing) SM 8.0 / 8.6 (Ampere) SM 9.0 (Hopper) 등 대부분의 메인스트림 아키텍처 [1, 2, 3, 4]