llama.cpp vulkan / intel uhd 630

크.. ai 님 찬양

$ ./llama-cli  --list-devices Available devices:   Vulkan0: Intel(R) UHD Graphics 630 (CFL GT2) (23816 MiB, 20263 MiB free)   Vulkan1: NVIDIA GeForce GTX 1080 Ti (11510 MiB, 4096 MiB free)   Vulkan2: NVIDIA GeForce GTX 1080 Ti (11510 MiB, 8572 MiB free)

 

속도는 답이 안나오고

그 와중에 질문이 복잡해서 그런가 그냥 애가 맛이 가버린다 -ㅁ-?

이정도면..  cpu로 돌리는게 더 빠를거 같은데?

$ ./llama-cli --device Vulkan0 -ngl 99 -m ../model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf  > 안녕? [ Prompt: 0.6 t/s | Generation: 3.5 t/s ] > 너에 대해 설명해줘 [ Prompt: 0.6 t/s | Generation: 3.4 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘 [ Prompt: 5.4 t/s | Generation: 0.0 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘 <unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49> [ Prompt: 2.7 t/s | Generation: 3.3 t/s ]

 

자꾸 터져서 그냥 실행하자 마다 해보니 일단 성공

[ Prompt: 2.2 t/s | Generation: 3.0 t/s ]

 

한참을 딴짓(?) 하다가 간헐적으로 gpu를 쓰다가

 

생성하는 동안은 쭈~욱 넘어간다. 앞에 부분이 prepill  부분인가?

 

아까 놀 때 대비 한 8기가 정도 메모리 먹는 느낌?

 

 

+

cpu로 돌리기 (i5-8500)

 

진짜로 그래픽 감속기 보다 cpu가 빠르네?!?!

$ ./llama-cli -m ../model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -ngl 0 > 안녕? [ Prompt: 11.3 t/s | Generation: 8.5 t/s ] > 너에 대해 설명해줘 [ Prompt: 21.2 t/s | Generation: 7.9 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후  md 파일과 pdf로 저장하는 기능을 구현해줘 [ Prompt: 88.9 t/s | Generation: 7.6 t/s ]