크.. ai 님 찬양
| $ ./llama-cli --list-devices Available devices: Vulkan0: Intel(R) UHD Graphics 630 (CFL GT2) (23816 MiB, 20263 MiB free) Vulkan1: NVIDIA GeForce GTX 1080 Ti (11510 MiB, 4096 MiB free) Vulkan2: NVIDIA GeForce GTX 1080 Ti (11510 MiB, 8572 MiB free) |
속도는 답이 안나오고
그 와중에 질문이 복잡해서 그런가 그냥 애가 맛이 가버린다 -ㅁ-?
이정도면.. cpu로 돌리는게 더 빠를거 같은데?
| $ ./llama-cli --device Vulkan0 -ngl 99 -m ../model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf > 안녕? [ Prompt: 0.6 t/s | Generation: 3.5 t/s ] > 너에 대해 설명해줘 [ Prompt: 0.6 t/s | Generation: 3.4 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘 [ Prompt: 5.4 t/s | Generation: 0.0 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘 <unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49><unused49> [ Prompt: 2.7 t/s | Generation: 3.3 t/s ] |
자꾸 터져서 그냥 실행하자 마다 해보니 일단 성공
| [ Prompt: 2.2 t/s | Generation: 3.0 t/s ] |
한참을 딴짓(?) 하다가 간헐적으로 gpu를 쓰다가
생성하는 동안은 쭈~욱 넘어간다. 앞에 부분이 prepill 부분인가?
아까 놀 때 대비 한 8기가 정도 메모리 먹는 느낌?
+
cpu로 돌리기 (i5-8500)
진짜로 그래픽 감속기 보다 cpu가 빠르네?!?!
| $ ./llama-cli -m ../model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -ngl 0 > 안녕? [ Prompt: 11.3 t/s | Generation: 8.5 t/s ] > 너에 대해 설명해줘 [ Prompt: 21.2 t/s | Generation: 7.9 t/s ] > 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘 [ Prompt: 88.9 t/s | Generation: 7.6 t/s ] |
'모종의 음모 > ai 프로그램' 카테고리의 다른 글
| 1080 ti / pcie3.0 설정후 재 테스트 (0) | 2026.09.15 |
|---|---|
| auroc - area under the ROC curve (0) | 2026.09.01 |
| stable diffusion model 이란 (0) | 2026.08.28 |
| llama swap matrix (0) | 2026.08.28 |
| claude code with local LLM (0) | 2026.08.24 |
