llama-swap / llama.cpp 설정
이상하게도 gemma4-e2b의 경우 용량이 작아서 그런가 -sm none을 안주면 오히려 에러가 난다.
| $ cat config.yaml models: gemma4-e2b: cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/gemma4-e2b/gemma-4-E2B-it-Q4_K_M.gguf -mm ./model/gemma4-e2b/mmproj-F16.gguf -sm none gemma4-e4b: cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf gemma4-26B_img: cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/gemma4-26b/gemma-4-26B-A4B-it-UD-IQ2_M.gguf -mm ./model/gemma4-26b/mmproj-F16.gguf qwen3.6-35b_img: cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/qwen3.6_35B/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf -mm ./model/qwen3.6_35B/mmproj-F16.gguf qwen3.6-35b: cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/qwen3.6_35B/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf |
opencode 설정
이걸 추가한다고 바로 되는건 아닌 것 같고
| ~/.config/opencode$ cat opencode.json { "$schema": "https://opencode.ai/config.json", "provider": { "llama.cpp": { "npm": "@ai-sdk/openai-compatible", "name": "llama-server (local)", "options": { "baseURL": "http://127.0.0.1:8080/v1" }, "models": { "gemma4-e2b": { "name": "gemma4 e2b (local)", "limit": { "context": 128000, "output": 65536 } } } } } } |
[링크 : https://opencode.ai/docs/providers#llamacpp]
opencode 에서 /connect 명령을 통해 좀 더 해주어야 로컬에서 돌아간다.
심심하니 한번 로컬로 작성 시도!
오오 로컬 잡아먹는다 ㅋㅋㅋ
(요건 gpu0 에 e2b / gpu1에는 stable diffusion)
opencode.json 파일 추가!
| { "$schema": "https://opencode.ai/config.json", "provider": { "llama.cpp": { "npm": "@ai-sdk/openai-compatible", "name": "llama-server (local)", "options": { "baseURL": "http://127.0.0.1:8080/v1" }, "models": { "gemma4-e2b": { "name": "gemma4 e2b (local)", "limit": { "context": 128000, "output": 65536 } }, "qwen3.6-35b": { "name": "qwen3.6-35b (local)", "limit": { "context": 65536, "output": 65536 } } } } } } |
gemma4-e2b 에서 qwen3.6-35b로 환승!
인사 받기 참 힘드네 ㅋㅋㅋ
그래도 100% 꾹꾹 하는데 소비전력은 150 W 급 * 2 이라..
'프로그램 사용 > ai 프로그램' 카테고리의 다른 글
| stable diffusion python service (0) | 2026.05.08 |
|---|---|
| llama.cpp gemma4:e2b 실행시 에러 (0) | 2026.05.08 |
| stable diffusion gpu 선택하기 (0) | 2026.05.08 |
| openai api .. 오디오 처리 성공 (0) | 2026.05.07 |
| ollama multimodal gemma4:e2b 테스트 (0) | 2026.05.07 |
