요즘 핫하던데 (엄청난 비용의 토큰을 쓴 경험을 바탕으로 한국인이 만들었다고)

local llm에도 붙일수 있어서 한번 해봐야 할 듯.

gui 시대에 tui라니 끌리는데? ㅋㅋ

[링크 : https://www.elancer.co.kr/blog/detail/1048]

[링크 : https://wikidocs.net/338090]

[링크 : https://opencode.ai/ko]

 

llama.cpp
llama.cpp의 llama-server 유틸리티를 통해 로컬 모델을 사용하도록 구성할 수 있습니다.

opencode.json
{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "llama.cpp": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "llama-server (local)",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1"
      },
      "models": {
        "qwen3-coder:a3b": {
          "name": "Qwen3-Coder: a3b-30b (local)",
          "limit": {
            "context": 128000,
            "output": 65536
          }
        }
      }
    }
  }
}

이 예제에서:

llama.cpp는 사용자 정의 공급자 ID입니다. 원하는 문자열로 지정할 수 있습니다.
npm은 이 공급자에 사용할 패키지를 지정합니다. 여기서는 OpenAI 호환 API를 위해 @ai-sdk/openai-compatible을 사용합니다.
name은 UI에 표시될 공급자 이름입니다.
options.baseURL은 로컬 서버의 엔드포인트입니다.
models는 모델 ID와 해당 구성을 매핑합니다. 모델 이름은 모델 선택 목록에 표시됩니다.

[링크 : https://opencode.ai/docs/providers/]

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

llm tts?  (0) 2026.05.05
stablie diffusion 모델 변경 / 다운로드 하기  (0) 2026.05.05
gemma4 e?b 멀티모달  (0) 2026.05.05
stable diffusion + 1080 ti 시도  (0) 2026.05.04
stable diffusion + pytorch 관련 조사  (0) 2026.05.04
Posted by 구차니