설정이 기본을 벗어나면 좀 귀찮은.. 녀석
continue.dev 상단에 "Open Settings" 눌러서
Models
Chat이던 머던 Configure 누르면
config.yaml 가 열리는데 대충 저렇게 넣어준다.
provider는 openai, model은 local-model
apiBase는 llama-server가 실행된 경로에 v1 붙여주고
apiKey는 dummy로 넣어주면된다.
그러면 먼가 막 갈구는거 같은데
| Fri Apr 24 16:26:03 2026 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 570.211.01 Driver Version: 570.211.01 CUDA Version: 12.8 | |-----------------------------------------+------------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+========================+======================| | 0 NVIDIA GeForce RTX 3070 Off | 00000000:01:00.0 Off | N/A | | 0% 50C P0 104W / 270W | 6788MiB / 8192MiB | 45% Default | | | | N/A | +-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=========================================================================================| | 0 N/A N/A 2697 C+G ../llama-server 6771MiB | +-----------------------------------------------------------------------------------------+ |
에라이 컨텍스트 더 늘려야겠네 -_-
'프로그램 사용 > ai 프로그램' 카테고리의 다른 글
| llama-server web ui (0) | 2026.04.24 |
|---|---|
| llama.cpp on windows / cuda vs vulkan (0) | 2026.04.24 |
| RAG - Retrieval-Augmented Generation (0) | 2026.04.24 |
| llama.cpp on ubuntu with 1060 6GB (0) | 2026.04.23 |
| nvidia-smi 소비전력 제한 (0) | 2026.04.22 |
