'2026/04 글 목록

'2026/04'에 해당되는 글 29건

2026.04.14 금융치료
2026.04.13 지를까 말까
2026.04.13 좀 힘든날
2026.04.12 트랜스포머 모델 입/출력
2026.04.12 ollama 소스코드
2026.04.12 ollama 데이터 파일 구조 및 내용
2026.04.12 ollama /set parameter num_gpu 테스트
2026.04.12 ollama cli 도움말
2026.04.11 ollama cpu only
2026.04.11 ollama context len

좀 힘든날 (0)	2026.04.13
중고나라 택배거래 (2)	2026.03.10
와 지하철 왜 이따구야?!? (0)	2026.03.03
내가 뒤쳐지는 건가.. (0)	2026.02.16
피곤 (0)	2026.02.12

iptime 오랫만에 업데이트 (0)	2026.02.24
amd radeon software(아드레날린) 설치 (0)	2026.02.08
dp to usb-c... ? (0)	2026.02.08
오늘의 줍줍 (0)	2026.01.11
모니터 암 설치 완료 (4)	2026.01.02

금융치료 (0)	2026.04.14
중고나라 택배거래 (2)	2026.03.10
와 지하철 왜 이따구야?!? (0)	2026.03.03
내가 뒤쳐지는 건가.. (0)	2026.02.16
피곤 (0)	2026.02.12

트랜스포머 모델 입/출력

입력 문장을 전부 입력하는게 아니라

입력 받은 문장을 임베딩하고 그걸 positional encoding 이라는걸 거쳐서

일종의 벡터값으로 입력을 받는 것으로 보인다.

토큰화 및 입력 임베딩
문자, 숫자, 구두점과 같은 글자 단위는 인간이 언어를 표현하는 기본 단위이지만, AI 모델이 사용하는 언어의 최소 단위는 토큰(token)입니다. 각 토큰은 고유한 ID 번호를 부여받으며, LLM은 단어 자체나 토큰 자체가 아니라 이 ID 번호를 통해 어휘 “데이터베이스”를 탐색합니다. 이러한 언어의 토큰화는 텍스트를 처리하는 데 필요한 계산량을 크게 줄여줍니다.

트랜스포머의 어텐션 레이어에 입력할 쿼리 및 키 벡터를 생성하기 위해, 모델은 각 토큰에 대한 초기 문맥 없는 벡터 임베딩이 필요합니다. 이러한 초기 토큰 임베딩은 학습 중에 새롭게 학습되거나, 사전학습된 단어 임베딩 모델에서 가져올 수 있습니다.

위치 인코딩
단어의 순서와 위치는 그 의미론적 의미에 큰 영향을 미칠 수 있습니다. RNN의 직렬적 구조는 각 토큰의 위치 정보를 자연스럽게 보존하지만, 트랜스포머 모델은 어텐션 메커니즘이 이를 고려할 수 있도록 명시적으로 위치 정보를 추가해야 합니다.

위치 인코딩을 사용하면 모델은 입력이 어텐션 메커니즘에 들어가기 전에 상대적 위치에서 파생된 각 토큰의 임베딩에 값 벡터를 추가합니다. 두 토큰이 가까울수록 포지션 벡터는 더 유사해지고, 그에 따라 위치 정보 추가로 인해 정렬 점수가 더 높아집니다. 이렇게 하여 모델은 인접한 토큰에 더 많은 주의를 기울이도록 학습하게 됩니다.

[링크 : https://www.ibm.com/kr-ko/think/topics/transformer-model]

의미를 찾는 셀프어텐션
문장을 예로 들어 살펴보겠습니다.

그녀는 주전자의 물을 컵에 따랐다. 그것이 가득 찰 때까지.

여기서 ‘그것’이 컵을 의미한다는 사실을 우리는 쉽게 알 수 있습니다. 그럼 다음의 문장을 보죠.

그녀는 주전자의 물을 컵에 따랐다. 그것이 텅 빌 때까지.

여기서 ‘그것’은 물론 주전자를 의미하겠죠.

구글 브레인(Google Brain)의 수석 연구원으로 앞서 소개한 2017년 논문의 연구를 이끈 아시시 바스와니(Ashish Vaswani)에 따르면 “의미는 사물 간 관계의 결과이고, 셀프어텐션은 관계를 배우는 일반적 방법”입니다.

그는 “기계 번역은 단어 사이의 가깝고 먼 관계들을 파악해야 하는 셀프어텐션의 확립에 좋은 수단이 되어줬습니다”며, “이제 셀프어텐션은 강력하고 유연한 학습의 도구로 완전히 자리매김했습니다”라고 덧붙였습니다.

[링크 : https://blogs.nvidia.co.kr/blog/what-is-a-transformer-model/]

[링크 : https://www.hpe.com/kr/ko/what-is/transformer-model.html]

[링크 : https://github.com/ukairia777/tensorflow-transformer/blob/main/Transformer_Korean_Chatbot.ipynb]

[링크 : https://wikidocs.net/31379]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 소스코드 (0)	2026.04.12
ollama 데이터 파일 구조 및 내용 (0)	2026.04.12
ollama /set parameter num_gpu 테스트 (0)	2026.04.12
ollama cli 도움말 (0)	2026.04.12
ollama cpu only (0)	2026.04.11

Posted by 구차니

ollama 소스코드

python 쪽은 api 호출하는게 전부인 껍데기

  def chat(
    self,
    model: str = '',
    messages: Optional[Sequence[Union[Mapping[str, Any], Message]]] = None,
    *,
    tools: Optional[Sequence[Union[Mapping[str, Any], Tool, Callable]]] = None,
    stream: bool = False,
    think: Optional[Union[bool, Literal['low', 'medium', 'high']]] = None,
    logprobs: Optional[bool] = None,
    top_logprobs: Optional[int] = None,
    format: Optional[Union[Literal['', 'json'], JsonSchemaValue]] = None,
    options: Optional[Union[Mapping[str, Any], Options]] = None,
    keep_alive: Optional[Union[float, str]] = None,
  ) -> Union[ChatResponse, Iterator[ChatResponse]]:

    return self._request(
      ChatResponse,
      'POST',
      '/api/chat',
      json=ChatRequest(
        model=model,
        messages=list(_copy_messages(messages)),
        tools=list(_copy_tools(tools)),
        stream=stream,
        think=think,
        logprobs=logprobs,
        top_logprobs=top_logprobs,
        format=format,
        options=options,
        keep_alive=keep_alive,
      ).model_dump(exclude_none=True),
      stream=stream,
    )

[링크 : https://github.com/ollama/ollama-python/blob/main/ollama/_client.py]

[링크 : https://github.com/ollama/ollama-python] python 라이브러리

ollama 가 본체

특이하게(?) go로 작성했네.

[링크 : https://github.com/ollama/ollama/blob/main/cmd/cmd.go]

[링크 : https://github.com/ollama/ollama]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

트랜스포머 모델 입/출력 (0)	2026.04.12
ollama 데이터 파일 구조 및 내용 (0)	2026.04.12
ollama /set parameter num_gpu 테스트 (0)	2026.04.12
ollama cli 도움말 (0)	2026.04.12
ollama cpu only (0)	2026.04.11

Posted by 구차니

ollama 데이터 파일 구조 및 내용

C:\>ollama list
NAME               ID              SIZE      MODIFIED
llama3.2:latest    a80c4f17acd5    2.0 GB    40 hours ago
gemma3:1b          8648f39daa8f    815 MB    40 hours ago
llama3.1:8b        46e0c10c039e    4.9 GB    40 hours ago
gemma4:e2b         7fbdbf8f5e45    7.2 GB    40 hours ago
llama3.2:3b        a80c4f17acd5    2.0 GB    40 hours ago

C:\Users\minimonk\.ollama\models\blobs>dir
C 드라이브의 볼륨에는 이름이 없습니다.
볼륨 일련 번호: 6A30-5BAD

C:\Users\minimonk\.ollama\models\blobs 디렉터리

2026-04-10  오후 11:33    <DIR>          .
2026-04-10  오후 10:51    <DIR>          ..
2026-04-10  오후 11:11            12,320 sha256-0ba8f0e314b4264dfd19df045cde9d4c394a52474bf92ed6a3de22a4ca31a177
2026-04-10  오후 11:33               492 sha256-120007c81bf8b4eb54e896a4a3e5ff9949f124b0ea42295277c8523f7fa9c7f6
2026-04-10  오후 11:33                77 sha256-3116c52250752e00dd06b16382e952bd33c34fd79fc4fe3a5d2c77cf7de1b14b
2026-04-10  오후 11:07               561 sha256-34bb5ab01051a11372a91f95f3fbbc51173eed8e7f13ec395b9ae9b8bd0e242b
2026-04-10  오후 11:11               487 sha256-455f34728c9b5dd3376378bfb809ee166c145b0b4c1f1a6feca069055066ef9a
2026-04-10  오후 11:10     7,162,394,016 sha256-4e30e2665218745ef463f722c0bf86be0cab6ee676320f1cfadf91e989107448
2026-04-10  오후 11:10                42 sha256-56380ca2ab89f1f68c283f4d50863c0bcab52ae3f1b9a88e4ab5617b176f71a3
2026-04-10  오후 11:07                96 sha256-56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb
2026-04-10  오후 11:11     4,920,738,944 sha256-667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29
2026-04-10  오후 11:10            11,355 sha256-7339fa418c9ad3e8e12e74ad0fd26a9cc4be8703f9c110728a992b193be85cb2
2026-04-10  오후 11:33       815,310,432 sha256-7cd4618c1faf8b7233c6c906dac1694b6a47684b37b8895d470ac688520b9c01
2026-04-10  오후 11:11             1,481 sha256-948af2743fc78a328dcb3b0f5a31b3d75f415840fdb699e8b1235978392ecf85
2026-04-10  오후 11:07             1,429 sha256-966de95ca8a62200913e3f8bfbf84c8494536f1b94b49166851e76644e966396
2026-04-10  오후 11:07             6,016 sha256-a70ff7e570d97baaf4e62ac6e6ad9975e04caa6d900d3742d37698494479e0cd
2026-04-10  오후 11:10               473 sha256-c6bc3775a3fa9935ce4a3ccd7abc59e936c3de9308d2cc090516012f43ed9c07
2026-04-10  오후 11:33             8,432 sha256-dd084c7d92a3c1c14cc09ae77153b903fd2024b64a100a0cc8ec9316063d2dbc
2026-04-10  오후 11:06     2,019,377,376 sha256-dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff
2026-04-10  오후 11:33               358 sha256-e0a42594d802e5d31cdc786deb4823edb8adff66094d49de8fffe976d753e348
2026-04-10  오후 11:07             7,711 sha256-fcc5a6bec9daf9b561a68827b67ab6088e1dba9d1fa2a50d7bbcc8384e0a265d
              19개 파일      14,917,872,098 바이트
               2개 디렉터리  353,433,444,352 바이트 남음

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library>dir
C 드라이브의 볼륨에는 이름이 없습니다.
볼륨 일련 번호: 6A30-5BAD

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library 디렉터리

2026-04-10  오후 11:33    <DIR>          .
2026-04-10  오후 11:07    <DIR>          ..
2026-04-10  오후 11:33    <DIR>          gemma3
2026-04-10  오후 11:10    <DIR>          gemma4
2026-04-10  오후 11:11    <DIR>          llama3.1
2026-04-10  오후 11:36    <DIR>          llama3.2
               0개 파일                   0 바이트
               6개 디렉터리  353,433,411,584 바이트 남음

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library\llama3.2>dir
C 드라이브의 볼륨에는 이름이 없습니다.
볼륨 일련 번호: 6A30-5BAD

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library\llama3.2 디렉터리

2026-04-10  오후 11:36              .
2026-04-10  오후 11:33              ..
2026-04-10  오후 11:07             1,005 3b
2026-04-10  오후 11:36             1,005 latest
               2개 파일               2,010 바이트
               2개 디렉터리  353,430,896,640 바이트 남음

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library\llama3.2>type latest
{
  "schemaVersion": 2,
  "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
  "config": {
    "mediaType": "application/vnd.docker.container.image.v1+json",
    "digest": "sha256:34bb5ab01051a11372a91f95f3fbbc51173eed8e7f13ec395b9ae9b8bd0e242b",
    "size": 561
  },
  "layers": [
    {
      "mediaType": "application/vnd.ollama.image.model",
      "digest": "sha256:dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff",
      "size": 2019377376
    },
    {
      "mediaType": "application/vnd.ollama.image.template",
      "digest": "sha256:966de95ca8a62200913e3f8bfbf84c8494536f1b94b49166851e76644e966396",
      "size": 1429
    },
    {
      "mediaType": "application/vnd.ollama.image.license",
      "digest": "sha256:fcc5a6bec9daf9b561a68827b67ab6088e1dba9d1fa2a50d7bbcc8384e0a265d",
      "size": 7711
    },
    {
      "mediaType": "application/vnd.ollama.image.license",
      "digest": "sha256:a70ff7e570d97baaf4e62ac6e6ad9975e04caa6d900d3742d37698494479e0cd",
      "size": 6016
    },
    {
      "mediaType": "application/vnd.ollama.image.params",
      "digest": "sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb",
      "size": 96
    }
  ]
}

C:\>ollama show llama3.2:latest
  Model
    architecture        llama
    parameters          3.2B
    context length      131072
    embedding length    3072
    quantization        Q4_K_M

  Capabilities
    completion
    tools

  Parameters
    stop    "<|start_header_id|>"
    stop    "<|end_header_id|>"
    stop    "<|eot_id|>"

  License
    LLAMA 3.2 COMMUNITY LICENSE AGREEMENT
    Llama 3.2 Version Release Date: September 25, 2024
    ...

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

트랜스포머 모델 입/출력 (0)	2026.04.12
ollama 소스코드 (0)	2026.04.12
ollama /set parameter num_gpu 테스트 (0)	2026.04.12
ollama cli 도움말 (0)	2026.04.12
ollama cpu only (0)	2026.04.11

Posted by 구차니

ollama /set parameter num_gpu 테스트

그냥 처음에 하면 GPU 100% 하더니, cpu로 돌렸다가 다시 gpu로 하면 gpu 100%가 안된다.

버근가?

i5-7500 / 1060 6GB

C:\> ollama run  gemma3:1b --verbose
>>> 안녕?
안녕하세요! 어떻게 지내세요? 😊

무엇을 도와드릴까요?

total duration:       811.2763ms
load duration:        282.8154ms
prompt eval count:    12 token(s)
prompt eval duration: 95.1406ms
prompt eval rate:     126.13 tokens/s
eval count:           18 token(s)
eval duration:        375.8591ms
eval rate:            47.89 tokens/s

>>> 안녕?
안녕하세요! 저는 잘 지내고 있어요. 당신은요? 😊

무엇을 도와드릴까요?

total duration:       648.8691ms
load duration:        265.7547ms
prompt eval count:    42 token(s)
prompt eval duration: 28.3879ms
prompt eval rate:     1479.50 tokens/s
eval count:           24 token(s)
eval duration:        329.6217ms
eval rate:            72.81 tokens/s

C:\>ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b 8648f39daa8f 1.4 GB 100% GPU 32768 4 minutes from now

>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'

>>> 안녕?
안녕! 너도 잘 지내고 있니? 혹시 오늘 하루가 즐거웠어? 😊

total duration:       3.6674907s
load duration:        1.9437334s
prompt eval count:    78 token(s)
prompt eval duration: 777.1942ms
prompt eval rate:     100.36 tokens/s
eval count:           24 token(s)
eval duration:        849.8989ms
eval rate:            28.24 tokens/s

>>> 안녕?
안녕! 당신도 잘 지내고 있니? 😊 오늘 하루는 어땠어?

total duration:       1.1887933s
load duration:        279.7522ms
prompt eval count:    114 token(s)
prompt eval duration: 147.417ms
prompt eval rate:     773.32 tokens/s
eval count:           21 token(s)
eval duration:        747.8409ms
eval rate:            28.08 tokens/s

C:\>ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b 8648f39daa8f 1.4 GB 100% CPU 32768 4 minutes from now

>>> /set parameter num_gpu 1
Set parameter 'num_gpu' to '1'

>>> 안녕?
안녕! 😊 혹시 무슨 일 도와줄까?

total duration:       2.5497022s
load duration:        1.8405152s
prompt eval count:    147 token(s)
prompt eval duration: 184.0551ms
prompt eval rate:     798.67 tokens/s
eval count:           13 token(s)
eval duration:        466.5569ms
eval rate:            27.86 tokens/s

>>> 안녕?
안녕하세요! 😊 저는 질문에 답하거나, 이야기하거나, 간단한 작업도 할 수 있어요. 뭐 하고 싶으세요?

total duration:       1.5155845s
load duration:        259.3218ms
prompt eval count:    172 token(s)
prompt eval duration: 154.1147ms
prompt eval rate:     1116.05 tokens/s
eval count:           27 token(s)
eval duration:        1.0838799s
eval rate:            24.91 tokens/s

C:\>ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b 8648f39daa8f 1.4 GB 88%/12% CPU/GPU 32768 4 minutes from now

ryzen 7 5800U

C:\>ollama run  gemma3:1b --verbose
>>> 안녕
안녕하세요! 무엇을 도와드릴까요? 😊

(Hello! How can I help you?)

total duration:       793.3831ms
load duration:        201.815ms
prompt eval count:    11 token(s)
prompt eval duration: 29.5206ms
prompt eval rate:     372.62 tokens/s
eval count:           21 token(s)
eval duration:        542.3267ms
eval rate:            38.72 tokens/s

>>> 안녕
안녕하세요! 어떻게 지내세요? (Hello! How are you?)

total duration:       671.5321ms
load duration:        190.6399ms
prompt eval count:    43 token(s)
prompt eval duration: 89.6751ms
prompt eval rate:     479.51 tokens/s
eval count:           15 token(s)
eval duration:        375.0155ms
eval rate:            40.00 tokens/s

>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'

C:\>ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b 8648f39daa8f 1.2 GB 100% GPU 4096 4 minutes from now

>>> 안녕
안녕! 뭐 하고 있어? (Hello! What are you doing?)

total duration:       2.0119944s
load duration:        1.1545976s
prompt eval count:    69 token(s)
prompt eval duration: 374.8309ms
prompt eval rate:     184.08 tokens/s
eval count:           16 token(s)
eval duration:        409.694ms
eval rate:            39.05 tokens/s
>>> 안녕
안녕하세요! 잘 지내고 있어요. 😊 You too?

total duration:       622.6248ms
load duration:        201.06ms
prompt eval count:    96 token(s)
prompt eval duration: 85.2311ms
prompt eval rate:     1126.35 tokens/s
eval count:           13 token(s)
eval duration:        327.0978ms
eval rate:            39.74 tokens/s

C:\>ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b 8648f39daa8f 1.2 GB 100% CPU 4096 4 minutes from now

>>> /set parameter num_gpu 1
Set parameter 'num_gpu' to '1'

>>> 안녕?
네, 안녕! 😊 (Yes, hello! 😊)

total duration:       3.0154671s
load duration:        1.72869s
prompt eval count:    241 token(s)
prompt eval duration: 763.2999ms
prompt eval rate:     315.73 tokens/s
eval count:           14 token(s)
eval duration:        464.0939ms
eval rate:            30.17 tokens/s

C:\>ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
gemma3:1b 8648f39daa8f 1.2 GB 93%/7% CPU/GPU 4096 4 minutes from now

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 소스코드 (0)	2026.04.12
ollama 데이터 파일 구조 및 내용 (0)	2026.04.12
ollama cli 도움말 (0)	2026.04.12
ollama cpu only (0)	2026.04.11
ollama context len (0)	2026.04.11

Posted by 구차니

ollama cli 도움말

cli 도움말. show는 모델정보 보기 run은 실행하는거.. stop 하면 그러면 날릴 수 있나?

C:\>ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start Ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  signin      Sign in to ollama.com
  signout     Sign out from ollama.com
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  launch      Launch the Ollama menu or an integration
  help        Help about any command

Flags:
  -h, --help         help for ollama
      --nowordwrap   Don't wrap words to the next line automatically
      --verbose      Show timings for response
  -v, --version      Show version information

Use "ollama [command] --help" for more information about a command.

cli 내부 명령어는 faq에 인터넷 검색으로 찾은 정도가 전부인거 같은데 내부에서 보면 제법 먼가 있긴하다.

How can I specify the context window size?
By default, Ollama uses a context window size of 4096 tokens.
This can be overridden with the OLLAMA_CONTEXT_LENGTH environment variable. For example, to set the default context window to 8K, use:
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
To change this when using ollama run, use /set parameter:
/set parameter num_ctx 4096

[링크 : https://docs.ollama.com/faq]

눈에 띄는건 컨텍스트 길이와 gpu 갯수..인가?

C:\>ollama run  gemma3:1b
>>> /set
Available Commands:
  /set parameter ...     Set a parameter
  /set system <string>   Set system message
  /set history           Enable history
  /set nohistory         Disable history
  /set wordwrap          Enable wordwrap
  /set nowordwrap        Disable wordwrap
  /set format json       Enable JSON mode
  /set noformat          Disable formatting
  /set verbose           Show LLM stats
  /set quiet             Disable LLM stats
  /set think             Enable thinking
  /set nothink           Disable thinking

>>> /set parameter
Available Parameters:
  /set parameter seed <int>             Random number seed
  /set parameter num_predict <int>      Max number of tokens to predict
  /set parameter top_k <int>            Pick from top k num of tokens
  /set parameter top_p <float>          Pick token based on sum of probabilities
  /set parameter min_p <float>          Pick token based on top token probability * min_p
  /set parameter num_ctx <int>          Set the context size
  /set parameter temperature <float>    Set creativity level
  /set parameter repeat_penalty <float> How strongly to penalize repetitions
  /set parameter repeat_last_n <int>    Set how far back to look for repetitions
  /set parameter num_gpu <int>          The number of layers to send to the GPU
  /set parameter stop <string> <string> ...   Set the stop parameters

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 데이터 파일 구조 및 내용 (0)	2026.04.12
ollama /set parameter num_gpu 테스트 (0)	2026.04.12
ollama cpu only (0)	2026.04.11
ollama context len (0)	2026.04.11
ollama for windows (0)	2026.04.10

Posted by 구차니

ollama cpu only

gpu 사용할 갯수를 0으로 정해주는 것으로 우회는 가능하다는데

앱에서는 안되고

cli 에서만 되는 듯.

C:\>ollama
>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'
>>> Send a message (/? for help)

해보니 GPU 메모리 사용량이 떨어지고, 응답중인데 GPU Load가 올라가지 않는다.

[링크 : https://github.com/ollama/ollama/issues/1046]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama /set parameter num_gpu 테스트 (0)	2026.04.12
ollama cli 도움말 (0)	2026.04.12
ollama context len (0)	2026.04.11
ollama for windows (0)	2026.04.10
ollama 를 jetson nano 4GB 에서 돌려보기 (0)	2026.04.10

Posted by 구차니

ollama context len

ollama 앱에서 설정을 보면 가장 아래 context length가 있는데

초기에는 4k로 되어있다. 256k 까지 가능한데

128k 에서 실행해보고 4k로 바뀐후 실행하보니 아예 사라진다.

context length 변경하면 기존 컨테이너(?)는 죽어 버리고 새로 시작되어야 적용이 되는 듯.

C:\>ollama ps
NAME          ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gemma4:e2b    7fbdbf8f5e45    11 GB    73%/27% CPU/GPU    131072     3 minutes from now

C:\>ollama ps
NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL

C:\>ollama ps
NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL

C:\>ollama
>>>

C:\>ollama ps
NAME          ID              SIZE      PROCESSOR          CONTEXT    UNTIL
gemma4:e2b    7fbdbf8f5e45    7.9 GB    73%/27% CPU/GPU    4096       4 minutes from now

리눅스에서는 ollama serve 앞에 OLLAMA_CONTEXT_LENGTH 변수로 줄 수 있는것 같은데

윈도우에서는 안되는 듯.

일단 설명페이지에 있는 컨텍스트 별 메모리 요구량.

[링크 : https://docs.ollama.com/context-length]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama cli 도움말 (0)	2026.04.12
ollama cpu only (0)	2026.04.11
ollama for windows (0)	2026.04.10
ollama 를 jetson nano 4GB 에서 돌려보기 (0)	2026.04.10
python + telegram + ollama + selenium (0)	2026.04.09

Posted by 구차니

구차니의 잡동사니 모음

'2026/04'에 해당되는 글 29건

금융치료

'개소리 왈왈 > 직딩의 비애' 카테고리의 다른 글

지를까 말까

'개소리 왈왈 > 컴퓨터' 카테고리의 다른 글

좀 힘든날

'개소리 왈왈 > 직딩의 비애' 카테고리의 다른 글

트랜스포머 모델 입/출력

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 소스코드

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 데이터 파일 구조 및 내용

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama /set parameter num_gpu 테스트

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama cli 도움말

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama cpu only

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama context len

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

카테고리

공지사항

태그목록

최근에 올라온 글

최근에 달린 댓글

티스토리툴바