ollama context len

ollama 앱에서 설정을 보면 가장 아래 context length가 있는데

초기에는 4k로 되어있다. 256k 까지 가능한데

 

 

128k 에서 실행해보고 4k로 바뀐후 실행하보니 아예 사라진다.

context length 변경하면 기존 컨테이너(?)는 죽어 버리고 새로 시작되어야 적용이 되는 듯.

C:\>ollama ps NAME          ID              SIZE     PROCESSOR          CONTEXT    UNTIL gemma4:e2b    7fbdbf8f5e45    11 GB    73%/27% CPU/GPU    131072     3 minutes from now C:\>ollama ps NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL C:\>ollama ps NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL C:\>ollama >>> C:\>ollama ps NAME          ID              SIZE      PROCESSOR          CONTEXT    UNTIL gemma4:e2b    7fbdbf8f5e45    7.9 GB    73%/27% CPU/GPU    4096       4 minutes from now

 

리눅스에서는 ollama serve 앞에 OLLAMA_CONTEXT_LENGTH 변수로 줄 수 있는것 같은데

윈도우에서는 안되는 듯.

 

일단 설명페이지에 있는 컨텍스트 별 메모리 요구량.

[링크 : https://docs.ollama.com/context-length]