opencode + qwen3.6 35b q2 사용 테스트

llama-swap / llama.cpp 설정

이상하게도 gemma4-e2b의 경우 용량이 작아서 그런가 -sm none을 안주면 오히려 에러가 난다.

$ cat config.yaml  models:   gemma4-e2b:     cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/gemma4-e2b/gemma-4-E2B-it-Q4_K_M.gguf -mm ./model/gemma4-e2b/mmproj-F16.gguf -sm none   gemma4-e4b:     cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf -mm ./model/gemma4-e4b/mmproj-F16.gguf   gemma4-26B_img:     cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/gemma4-26b/gemma-4-26B-A4B-it-UD-IQ2_M.gguf -mm ./model/gemma4-26b/mmproj-F16.gguf   qwen3.6-35b_img:     cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/qwen3.6_35B/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf -mm ./model/qwen3.6_35B/mmproj-F16.gguf   qwen3.6-35b:     cmd: /mnt/Downloads/llama-b8925/llama-server --port ${PORT} --model /mnt/Downloads/model/qwen3.6_35B/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf

 

opencode 설정

이걸 추가한다고 바로 되는건 아닌 것 같고

~/.config/opencode$ cat opencode.json  {   "$schema": "https://opencode.ai/config.json",   "provider": {     "llama.cpp": {       "npm": "@ai-sdk/openai-compatible",       "name": "llama-server (local)",       "options": {         "baseURL": "http://127.0.0.1:8080/v1"       },       "models": {         "gemma4-e2b": {           "name": "gemma4 e2b (local)",           "limit": {             "context": 128000,             "output": 65536           }         }       }     }   } }

[링크 : https://opencode.ai/docs/providers#llamacpp]

 

opencode 에서 /connect 명령을 통해 좀 더 해주어야 로컬에서 돌아간다.

 

 

 

 

심심하니 한번 로컬로 작성 시도!

 

오오 로컬 잡아먹는다 ㅋㅋㅋ

(요건 gpu0 에 e2b / gpu1에는 stable diffusion)

 

opencode.json 파일 추가!

{   "$schema": "https://opencode.ai/config.json",   "provider": {     "llama.cpp": {       "npm": "@ai-sdk/openai-compatible",       "name": "llama-server (local)",       "options": {         "baseURL": "http://127.0.0.1:8080/v1"       },       "models": {         "gemma4-e2b": {           "name": "gemma4 e2b (local)",           "limit": {             "context": 128000,             "output": 65536           }         },         "qwen3.6-35b": {           "name": "qwen3.6-35b (local)",           "limit": {             "context": 65536,             "output": 65536           }         }       }     }   } }

 

gemma4-e2b 에서 qwen3.6-35b로 환승!

 

인사 받기 참 힘드네 ㅋㅋㅋ

 

그래도 100% 꾹꾹 하는데 소비전력은 150 W 급 * 2 이라..