'2026/04'에 해당되는 글 30건

  1. 2026.04.15 쏘쏘
  2. 2026.04.14 금융치료
  3. 2026.04.13 지를까 말까
  4. 2026.04.13 좀 힘든날
  5. 2026.04.12 트랜스포머 모델 입/출력
  6. 2026.04.12 ollama 소스코드
  7. 2026.04.12 ollama 데이터 파일 구조 및 내용
  8. 2026.04.12 ollama /set parameter num_gpu 테스트
  9. 2026.04.12 ollama cli 도움말
  10. 2026.04.11 ollama cpu only
개소리 왈왈/직딩의 비애2026. 4. 15. 21:58

쏘쏘

그냥 먼가 새로운 거 없이 바쁜 하루

이걸 좋은거라고 해야하나

나쁜거라고 해야하나

저작자표시 (새창열림)

'개소리 왈왈 > 직딩의 비애' 카테고리의 다른 글

금융치료  (0) 2026.04.14
좀 힘든날  (0) 2026.04.13
중고나라 택배거래  (2) 2026.03.10
와 지하철 왜 이따구야?!?  (0) 2026.03.03
내가 뒤쳐지는 건가..  (0) 2026.02.16
Posted by 구차니
개소리 왈왈/직딩의 비애2026. 4. 14. 21:50

금융치료

음.. 그래픽 카드 사니 기분이 좋아짐

 

 

(어?)

 

 

설마.. 벽돌이 오는건 아니겠지.. 

 

 

(후덜덜)

저작자표시 (새창열림)

'개소리 왈왈 > 직딩의 비애' 카테고리의 다른 글

쏘쏘  (0) 2026.04.15
좀 힘든날  (0) 2026.04.13
중고나라 택배거래  (2) 2026.03.10
와 지하철 왜 이따구야?!?  (0) 2026.03.03
내가 뒤쳐지는 건가..  (0) 2026.02.16
Posted by 구차니
개소리 왈왈/컴퓨터2026. 4. 13. 23:29

지를까 말까

zotac 1080 ti 11GB

ollama 하다 보니 메모리가 좀 넉넉한게 필요해서

1060 6GB 에서 좀 점프하고 싶어지는데

블로워라서 고민중..

 

아.. 영롱하다

14만 + 5천 vs 근처에서 17만.. 흐음..

 

근데

블랙웰 > 호퍼 > 에이다 러브레이스 > 암페어 > 튜링 > 볼타 > 파스칼

어우.. 너무 구세대이긴 하다 ㅠㅠ

[링크 : https://www.nvidia.com/en-us/technologies/]

저작자표시 (새창열림)

'개소리 왈왈 > 컴퓨터' 카테고리의 다른 글

iptime 오랫만에 업데이트  (0) 2026.02.24
amd radeon software(아드레날린) 설치  (0) 2026.02.08
dp to usb-c... ?  (0) 2026.02.08
오늘의 줍줍  (0) 2026.01.11
모니터 암 설치 완료  (4) 2026.01.02
Posted by 구차니
개소리 왈왈/직딩의 비애2026. 4. 13. 23:14

좀 힘든날

이래서 사람들이 조용한 퇴사를 하는건가

아니면 퇴사를 해야 하는것 인가..

 

[링크 : https://brunch.co.kr/@specterofficial/150]

[링크 : https://www.fortunekorea.co.kr/news/articleView.html?idxno=38156]

저작자표시 (새창열림)

'개소리 왈왈 > 직딩의 비애' 카테고리의 다른 글

쏘쏘  (0) 2026.04.15
금융치료  (0) 2026.04.14
중고나라 택배거래  (2) 2026.03.10
와 지하철 왜 이따구야?!?  (0) 2026.03.03
내가 뒤쳐지는 건가..  (0) 2026.02.16
Posted by 구차니
프로그램 사용/ai 프로그램2026. 4. 12. 19:38

트랜스포머 모델 입/출력

입력 문장을 전부 입력하는게 아니라

입력 받은 문장을 임베딩하고 그걸 positional encoding 이라는걸 거쳐서

일종의 벡터값으로 입력을 받는 것으로 보인다.

 

 

[링크 : https://jkim83.tistory.com/517]

 

토큰화 및 입력 임베딩
문자, 숫자, 구두점과 같은 글자 단위는 인간이 언어를 표현하는 기본 단위이지만, AI 모델이 사용하는 언어의 최소 단위는 토큰(token)입니다. 각 토큰은 고유한 ID 번호를 부여받으며, LLM은 단어 자체나 토큰 자체가 아니라 이 ID 번호를 통해 어휘 “데이터베이스”를 탐색합니다. 이러한 언어의 토큰화는 텍스트를 처리하는 데 필요한 계산량을 크게 줄여줍니다.

트랜스포머의 어텐션 레이어에 입력할 쿼리 및 키 벡터를 생성하기 위해, 모델은 각 토큰에 대한 초기 문맥 없는 벡터 임베딩이 필요합니다. 이러한 초기 토큰 임베딩은 학습 중에 새롭게 학습되거나, 사전학습된 단어 임베딩 모델에서 가져올 수 있습니다.

위치 인코딩
단어의 순서와 위치는 그 의미론적 의미에 큰 영향을 미칠 수 있습니다. RNN의 직렬적 구조는 각 토큰의 위치 정보를 자연스럽게 보존하지만, 트랜스포머 모델은 어텐션 메커니즘이 이를 고려할 수 있도록 명시적으로 위치 정보를 추가해야 합니다.

위치 인코딩을 사용하면 모델은 입력이 어텐션 메커니즘에 들어가기 전에 상대적 위치에서 파생된 각 토큰의 임베딩에 값 벡터를 추가합니다. 두 토큰이 가까울수록 포지션 벡터는 더 유사해지고, 그에 따라 위치 정보 추가로 인해 정렬 점수가 더 높아집니다. 이렇게 하여 모델은 인접한 토큰에 더 많은 주의를 기울이도록 학습하게 됩니다.

[링크 : https://www.ibm.com/kr-ko/think/topics/transformer-model]

 

의미를 찾는 셀프어텐션
문장을 예로 들어 살펴보겠습니다.

그녀는 주전자의 물을 컵에 따랐다. 그것이 가득 찰 때까지.

여기서 ‘그것’이 컵을 의미한다는 사실을 우리는 쉽게 알 수 있습니다. 그럼 다음의 문장을 보죠.

그녀는 주전자의 물을 컵에 따랐다. 그것이 텅 빌 때까지.

여기서 ‘그것’은 물론 주전자를 의미하겠죠.

구글 브레인(Google Brain)의 수석 연구원으로 앞서 소개한 2017년 논문의 연구를 이끈 아시시 바스와니(Ashish Vaswani)에 따르면 “의미는 사물 간 관계의 결과이고, 셀프어텐션은 관계를 배우는 일반적 방법”입니다.

그는 “기계 번역은 단어 사이의 가깝고 먼 관계들을 파악해야 하는 셀프어텐션의 확립에 좋은 수단이 되어줬습니다”며, “이제 셀프어텐션은 강력하고 유연한 학습의 도구로 완전히 자리매김했습니다”라고 덧붙였습니다.

[링크 : https://blogs.nvidia.co.kr/blog/what-is-a-transformer-model/]

[링크 : https://www.hpe.com/kr/ko/what-is/transformer-model.html]

 

[링크 : https://github.com/ukairia777/tensorflow-transformer/blob/main/Transformer_Korean_Chatbot.ipynb]

[링크 : https://wikidocs.net/31379]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 소스코드  (0) 2026.04.12
ollama 데이터 파일 구조 및 내용  (0) 2026.04.12
ollama /set parameter num_gpu 테스트  (0) 2026.04.12
ollama cli 도움말  (0) 2026.04.12
ollama cpu only  (0) 2026.04.11
Posted by 구차니
프로그램 사용/ai 프로그램2026. 4. 12. 19:28

ollama 소스코드

python 쪽은 api 호출하는게 전부인 껍데기

  def chat(
    self,
    model: str = '',
    messages: Optional[Sequence[Union[Mapping[str, Any], Message]]] = None,
    *,
    tools: Optional[Sequence[Union[Mapping[str, Any], Tool, Callable]]] = None,
    stream: bool = False,
    think: Optional[Union[bool, Literal['low', 'medium', 'high']]] = None,
    logprobs: Optional[bool] = None,
    top_logprobs: Optional[int] = None,
    format: Optional[Union[Literal['', 'json'], JsonSchemaValue]] = None,
    options: Optional[Union[Mapping[str, Any], Options]] = None,
    keep_alive: Optional[Union[float, str]] = None,
  ) -> Union[ChatResponse, Iterator[ChatResponse]]:

    return self._request(
      ChatResponse,
      'POST',
      '/api/chat',
      json=ChatRequest(
        model=model,
        messages=list(_copy_messages(messages)),
        tools=list(_copy_tools(tools)),
        stream=stream,
        think=think,
        logprobs=logprobs,
        top_logprobs=top_logprobs,
        format=format,
        options=options,
        keep_alive=keep_alive,
      ).model_dump(exclude_none=True),
      stream=stream,
    )

[링크 : https://github.com/ollama/ollama-python/blob/main/ollama/_client.py]

[링크 : https://github.com/ollama/ollama-python] python 라이브러리

 

ollama 가 본체

특이하게(?) go로 작성했네.

[링크 : https://github.com/ollama/ollama/blob/main/cmd/cmd.go]

[링크 : https://github.com/ollama/ollama]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

트랜스포머 모델 입/출력  (0) 2026.04.12
ollama 데이터 파일 구조 및 내용  (0) 2026.04.12
ollama /set parameter num_gpu 테스트  (0) 2026.04.12
ollama cli 도움말  (0) 2026.04.12
ollama cpu only  (0) 2026.04.11
Posted by 구차니
프로그램 사용/ai 프로그램2026. 4. 12. 15:27

ollama 데이터 파일 구조 및 내용

 

C:\>ollama list
NAME               ID              SIZE      MODIFIED
llama3.2:latest    a80c4f17acd5    2.0 GB    40 hours ago
gemma3:1b          8648f39daa8f    815 MB    40 hours ago
llama3.1:8b        46e0c10c039e    4.9 GB    40 hours ago
gemma4:e2b         7fbdbf8f5e45    7.2 GB    40 hours ago
llama3.2:3b        a80c4f17acd5    2.0 GB    40 hours ago

 

C:\Users\minimonk\.ollama\models\blobs>dir
 C 드라이브의 볼륨에는 이름이 없습니다.
 볼륨 일련 번호: 6A30-5BAD

 C:\Users\minimonk\.ollama\models\blobs 디렉터리

2026-04-10  오후 11:33    <DIR>          .
2026-04-10  오후 10:51    <DIR>          ..
2026-04-10  오후 11:11            12,320 sha256-0ba8f0e314b4264dfd19df045cde9d4c394a52474bf92ed6a3de22a4ca31a177
2026-04-10  오후 11:33               492 sha256-120007c81bf8b4eb54e896a4a3e5ff9949f124b0ea42295277c8523f7fa9c7f6
2026-04-10  오후 11:33                77 sha256-3116c52250752e00dd06b16382e952bd33c34fd79fc4fe3a5d2c77cf7de1b14b
2026-04-10  오후 11:07               561 sha256-34bb5ab01051a11372a91f95f3fbbc51173eed8e7f13ec395b9ae9b8bd0e242b
2026-04-10  오후 11:11               487 sha256-455f34728c9b5dd3376378bfb809ee166c145b0b4c1f1a6feca069055066ef9a
2026-04-10  오후 11:10     7,162,394,016 sha256-4e30e2665218745ef463f722c0bf86be0cab6ee676320f1cfadf91e989107448
2026-04-10  오후 11:10                42 sha256-56380ca2ab89f1f68c283f4d50863c0bcab52ae3f1b9a88e4ab5617b176f71a3
2026-04-10  오후 11:07                96 sha256-56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb
2026-04-10  오후 11:11     4,920,738,944 sha256-667b0c1932bc6ffc593ed1d03f895bf2dc8dc6df21db3042284a6f4416b06a29
2026-04-10  오후 11:10            11,355 sha256-7339fa418c9ad3e8e12e74ad0fd26a9cc4be8703f9c110728a992b193be85cb2
2026-04-10  오후 11:33       815,310,432 sha256-7cd4618c1faf8b7233c6c906dac1694b6a47684b37b8895d470ac688520b9c01
2026-04-10  오후 11:11             1,481 sha256-948af2743fc78a328dcb3b0f5a31b3d75f415840fdb699e8b1235978392ecf85
2026-04-10  오후 11:07             1,429 sha256-966de95ca8a62200913e3f8bfbf84c8494536f1b94b49166851e76644e966396
2026-04-10  오후 11:07             6,016 sha256-a70ff7e570d97baaf4e62ac6e6ad9975e04caa6d900d3742d37698494479e0cd
2026-04-10  오후 11:10               473 sha256-c6bc3775a3fa9935ce4a3ccd7abc59e936c3de9308d2cc090516012f43ed9c07
2026-04-10  오후 11:33             8,432 sha256-dd084c7d92a3c1c14cc09ae77153b903fd2024b64a100a0cc8ec9316063d2dbc
2026-04-10  오후 11:06     2,019,377,376 sha256-dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff
2026-04-10  오후 11:33               358 sha256-e0a42594d802e5d31cdc786deb4823edb8adff66094d49de8fffe976d753e348
2026-04-10  오후 11:07             7,711 sha256-fcc5a6bec9daf9b561a68827b67ab6088e1dba9d1fa2a50d7bbcc8384e0a265d
              19개 파일      14,917,872,098 바이트
               2개 디렉터리  353,433,444,352 바이트 남음

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library>dir
 C 드라이브의 볼륨에는 이름이 없습니다.
 볼륨 일련 번호: 6A30-5BAD

 C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library 디렉터리

2026-04-10  오후 11:33    <DIR>          .
2026-04-10  오후 11:07    <DIR>          ..
2026-04-10  오후 11:33    <DIR>          gemma3
2026-04-10  오후 11:10    <DIR>          gemma4
2026-04-10  오후 11:11    <DIR>          llama3.1
2026-04-10  오후 11:36    <DIR>          llama3.2
               0개 파일                   0 바이트
               6개 디렉터리  353,433,411,584 바이트 남음

 

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library\llama3.2>dir
 C 드라이브의 볼륨에는 이름이 없습니다.
 볼륨 일련 번호: 6A30-5BAD

 C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library\llama3.2 디렉터리

2026-04-10  오후 11:36              .
2026-04-10  오후 11:33              ..
2026-04-10  오후 11:07             1,005 3b
2026-04-10  오후 11:36             1,005 latest
               2개 파일               2,010 바이트
               2개 디렉터리  353,430,896,640 바이트 남음

 

C:\Users\minimonk\.ollama\models\manifests\registry.ollama.ai\library\llama3.2>type latest
{
  "schemaVersion": 2,
  "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
  "config": {
    "mediaType": "application/vnd.docker.container.image.v1+json",
    "digest": "sha256:34bb5ab01051a11372a91f95f3fbbc51173eed8e7f13ec395b9ae9b8bd0e242b",
    "size": 561
  },
  "layers": [
    {
      "mediaType": "application/vnd.ollama.image.model",
      "digest": "sha256:dde5aa3fc5ffc17176b5e8bdc82f587b24b2678c6c66101bf7da77af9f7ccdff",
      "size": 2019377376
    },
    {
      "mediaType": "application/vnd.ollama.image.template",
      "digest": "sha256:966de95ca8a62200913e3f8bfbf84c8494536f1b94b49166851e76644e966396",
      "size": 1429
    },
    {
      "mediaType": "application/vnd.ollama.image.license",
      "digest": "sha256:fcc5a6bec9daf9b561a68827b67ab6088e1dba9d1fa2a50d7bbcc8384e0a265d",
      "size": 7711
    },
    {
      "mediaType": "application/vnd.ollama.image.license",
      "digest": "sha256:a70ff7e570d97baaf4e62ac6e6ad9975e04caa6d900d3742d37698494479e0cd",
      "size": 6016
    },
    {
      "mediaType": "application/vnd.ollama.image.params",
      "digest": "sha256:56bb8bd477a519ffa694fc449c2413c6f0e1d3b1c88fa7e3c9d88d3ae49d4dcb",
      "size": 96
    }
  ]
}

 

C:\>ollama show llama3.2:latest
  Model
    architecture        llama
    parameters          3.2B
    context length      131072
    embedding length    3072
    quantization        Q4_K_M

  Capabilities
    completion
    tools

  Parameters
    stop    "<|start_header_id|>"
    stop    "<|end_header_id|>"
    stop    "<|eot_id|>"

  License
    LLAMA 3.2 COMMUNITY LICENSE AGREEMENT
    Llama 3.2 Version Release Date: September 25, 2024
    ...

 

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

트랜스포머 모델 입/출력  (0) 2026.04.12
ollama 소스코드  (0) 2026.04.12
ollama /set parameter num_gpu 테스트  (0) 2026.04.12
ollama cli 도움말  (0) 2026.04.12
ollama cpu only  (0) 2026.04.11
Posted by 구차니
프로그램 사용/ai 프로그램2026. 4. 12. 15:09

ollama /set parameter num_gpu 테스트

그냥 처음에 하면 GPU 100% 하더니, cpu로 돌렸다가 다시 gpu로 하면 gpu 100%가 안된다. 

버근가?


i5-7500 / 1060 6GB

C:\> ollama run  gemma3:1b --verbose
>>> 안녕?
안녕하세요! 어떻게 지내세요? 😊

무엇을 도와드릴까요?

total duration:       811.2763ms
load duration:        282.8154ms
prompt eval count:    12 token(s)
prompt eval duration: 95.1406ms
prompt eval rate:     126.13 tokens/s
eval count:           18 token(s)
eval duration:        375.8591ms
eval rate:            47.89 tokens/s

>>> 안녕?
안녕하세요! 저는 잘 지내고 있어요. 당신은요? 😊

무엇을 도와드릴까요?

total duration:       648.8691ms
load duration:        265.7547ms
prompt eval count:    42 token(s)
prompt eval duration: 28.3879ms
prompt eval rate:     1479.50 tokens/s
eval count:           24 token(s)
eval duration:        329.6217ms
eval rate:            72.81 tokens/s
C:\>ollama ps
NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma3:1b    8648f39daa8f    1.4 GB    100% GPU     32768      4 minutes from now
>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'
>>> 안녕?
안녕! 너도 잘 지내고 있니? 혹시 오늘 하루가 즐거웠어? 😊

total duration:       3.6674907s
load duration:        1.9437334s
prompt eval count:    78 token(s)
prompt eval duration: 777.1942ms
prompt eval rate:     100.36 tokens/s
eval count:           24 token(s)
eval duration:        849.8989ms
eval rate:            28.24 tokens/s

>>> 안녕?
안녕! 당신도 잘 지내고 있니? 😊 오늘 하루는 어땠어?

total duration:       1.1887933s
load duration:        279.7522ms
prompt eval count:    114 token(s)
prompt eval duration: 147.417ms
prompt eval rate:     773.32 tokens/s
eval count:           21 token(s)
eval duration:        747.8409ms
eval rate:            28.08 tokens/s
C:\>ollama ps
NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma3:1b    8648f39daa8f    1.4 GB    100% CPU     32768      4 minutes from now
>>> /set parameter num_gpu 1
Set parameter 'num_gpu' to '1'
>>> 안녕?
안녕! 😊 혹시 무슨 일 도와줄까?

total duration:       2.5497022s
load duration:        1.8405152s
prompt eval count:    147 token(s)
prompt eval duration: 184.0551ms
prompt eval rate:     798.67 tokens/s
eval count:           13 token(s)
eval duration:        466.5569ms
eval rate:            27.86 tokens/s

>>> 안녕?
안녕하세요! 😊 저는 질문에 답하거나, 이야기하거나, 간단한 작업도 할 수 있어요. 뭐 하고 싶으세요?

total duration:       1.5155845s
load duration:        259.3218ms
prompt eval count:    172 token(s)
prompt eval duration: 154.1147ms
prompt eval rate:     1116.05 tokens/s
eval count:           27 token(s)
eval duration:        1.0838799s
eval rate:            24.91 tokens/s
C:\>ollama ps
NAME         ID              SIZE      PROCESSOR          CONTEXT    UNTIL
gemma3:1b    8648f39daa8f    1.4 GB    88%/12% CPU/GPU    32768      4 minutes from now

 

 

ryzen 7 5800U

C:\>ollama run  gemma3:1b --verbose
>>> 안녕
안녕하세요! 무엇을 도와드릴까요? 😊

(Hello! How can I help you?)

total duration:       793.3831ms
load duration:        201.815ms
prompt eval count:    11 token(s)
prompt eval duration: 29.5206ms
prompt eval rate:     372.62 tokens/s
eval count:           21 token(s)
eval duration:        542.3267ms
eval rate:            38.72 tokens/s

>>> 안녕
안녕하세요! 어떻게 지내세요? (Hello! How are you?)

total duration:       671.5321ms
load duration:        190.6399ms
prompt eval count:    43 token(s)
prompt eval duration: 89.6751ms
prompt eval rate:     479.51 tokens/s
eval count:           15 token(s)
eval duration:        375.0155ms
eval rate:            40.00 tokens/s
>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'
C:\>ollama ps
NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma3:1b    8648f39daa8f    1.2 GB    100% GPU     4096       4 minutes from now
>>> 안녕
안녕! 뭐 하고 있어? (Hello! What are you doing?)

total duration:       2.0119944s
load duration:        1.1545976s
prompt eval count:    69 token(s)
prompt eval duration: 374.8309ms
prompt eval rate:     184.08 tokens/s
eval count:           16 token(s)
eval duration:        409.694ms
eval rate:            39.05 tokens/s
>>> 안녕
안녕하세요! 잘 지내고 있어요. 😊 You too?

total duration:       622.6248ms
load duration:        201.06ms
prompt eval count:    96 token(s)
prompt eval duration: 85.2311ms
prompt eval rate:     1126.35 tokens/s
eval count:           13 token(s)
eval duration:        327.0978ms
eval rate:            39.74 tokens/s
C:\>ollama ps
NAME         ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma3:1b    8648f39daa8f    1.2 GB    100% CPU     4096       4 minutes from now
>>> /set parameter num_gpu 1
Set parameter 'num_gpu' to '1'
>>> 안녕?
네, 안녕! 😊 (Yes, hello! 😊)

total duration:       3.0154671s
load duration:        1.72869s
prompt eval count:    241 token(s)
prompt eval duration: 763.2999ms
prompt eval rate:     315.73 tokens/s
eval count:           14 token(s)
eval duration:        464.0939ms
eval rate:            30.17 tokens/s
C:\>ollama ps
NAME         ID              SIZE      PROCESSOR         CONTEXT    UNTIL
gemma3:1b    8648f39daa8f    1.2 GB    93%/7% CPU/GPU    4096       4 minutes from now

 

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 소스코드  (0) 2026.04.12
ollama 데이터 파일 구조 및 내용  (0) 2026.04.12
ollama cli 도움말  (0) 2026.04.12
ollama cpu only  (0) 2026.04.11
ollama context len  (0) 2026.04.11
Posted by 구차니
프로그램 사용/ai 프로그램2026. 4. 12. 15:06

ollama cli 도움말

cli 도움말. show는 모델정보 보기 run은 실행하는거.. stop 하면 그러면 날릴 수 있나?

C:\>ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start Ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  signin      Sign in to ollama.com
  signout     Sign out from ollama.com
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  launch      Launch the Ollama menu or an integration
  help        Help about any command

Flags:
  -h, --help         help for ollama
      --nowordwrap   Don't wrap words to the next line automatically
      --verbose      Show timings for response
  -v, --version      Show version information

Use "ollama [command] --help" for more information about a command.

 

cli 내부 명령어는 faq에 인터넷 검색으로 찾은 정도가 전부인거 같은데 내부에서 보면 제법 먼가 있긴하다.

How can I specify the context window size?
By default, Ollama uses a context window size of 4096 tokens.
This can be overridden with the OLLAMA_CONTEXT_LENGTH environment variable. For example, to set the default context window to 8K, use:
OLLAMA_CONTEXT_LENGTH=8192 ollama serve
To change this when using ollama run, use /set parameter:
/set parameter num_ctx 4096

[링크 : https://docs.ollama.com/faq]

 

눈에 띄는건 컨텍스트 길이와 gpu 갯수..인가?

C:\>ollama run  gemma3:1b
>>> /set
Available Commands:
  /set parameter ...     Set a parameter
  /set system <string>   Set system message
  /set history           Enable history
  /set nohistory         Disable history
  /set wordwrap          Enable wordwrap
  /set nowordwrap        Disable wordwrap
  /set format json       Enable JSON mode
  /set noformat          Disable formatting
  /set verbose           Show LLM stats
  /set quiet             Disable LLM stats
  /set think             Enable thinking
  /set nothink           Disable thinking

>>> /set parameter
Available Parameters:
  /set parameter seed <int>             Random number seed
  /set parameter num_predict <int>      Max number of tokens to predict
  /set parameter top_k <int>            Pick from top k num of tokens
  /set parameter top_p <float>          Pick token based on sum of probabilities
  /set parameter min_p <float>          Pick token based on top token probability * min_p
  /set parameter num_ctx <int>          Set the context size
  /set parameter temperature <float>    Set creativity level
  /set parameter repeat_penalty <float> How strongly to penalize repetitions
  /set parameter repeat_last_n <int>    Set how far back to look for repetitions
  /set parameter num_gpu <int>          The number of layers to send to the GPU
  /set parameter stop <string> <string> ...   Set the stop parameters



저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 데이터 파일 구조 및 내용  (0) 2026.04.12
ollama /set parameter num_gpu 테스트  (0) 2026.04.12
ollama cpu only  (0) 2026.04.11
ollama context len  (0) 2026.04.11
ollama for windows  (0) 2026.04.10
Posted by 구차니
프로그램 사용/ai 프로그램2026. 4. 11. 09:20

ollama cpu only

gpu 사용할 갯수를 0으로 정해주는 것으로 우회는 가능하다는데

 

앱에서는 안되고

 

cli 에서만 되는 듯.

C:\>ollama
>>> /set parameter num_gpu 0
Set parameter 'num_gpu' to '0'
>>> Send a message (/? for help)

 

해보니 GPU 메모리 사용량이 떨어지고, 응답중인데 GPU Load가 올라가지 않는다.

 

[링크 : https://github.com/ollama/ollama/issues/1046]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama /set parameter num_gpu 테스트  (0) 2026.04.12
ollama cli 도움말  (0) 2026.04.12
ollama context len  (0) 2026.04.11
ollama for windows  (0) 2026.04.10
ollama 를 jetson nano 4GB 에서 돌려보기  (0) 2026.04.10
Posted by 구차니

티스토리툴바