'2026/04 글 목록

'2026/04'에 해당되는 글 21건

09:20:24 ollama cpu only
09:16:55 ollama context len
2026.04.10 ollama for windows
2026.04.10 ollama 를 jetson nano 4GB 에서 돌려보기
2026.04.09 node + selenium = lynx (feat GPT) 1
2026.04.09 python + telegram + ollama + selenium
2026.04.08 레일 교체
2026.04.08 python 으로 telegram + fatherbot 연동하기
2026.04.08 ollama 설치 2
2026.04.06 jetson nano nvcc 빌드

ollama context len

ollama 앱에서 설정을 보면 가장 아래 context length가 있는데

초기에는 4k로 되어있다. 256k 까지 가능한데

128k 에서 실행해보고 4k로 바뀐후 실행하보니 아예 사라진다.

context length 변경하면 기존 컨테이너(?)는 죽어 버리고 새로 시작되어야 적용이 되는 듯.

C:\>ollama ps
NAME          ID              SIZE     PROCESSOR          CONTEXT    UNTIL
gemma4:e2b    7fbdbf8f5e45    11 GB    73%/27% CPU/GPU    131072     3 minutes from now

C:\>ollama ps
NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL

C:\>ollama ps
NAME    ID    SIZE    PROCESSOR    CONTEXT    UNTIL

C:\>ollama
>>>

C:\>ollama ps
NAME          ID              SIZE      PROCESSOR          CONTEXT    UNTIL
gemma4:e2b    7fbdbf8f5e45    7.9 GB    73%/27% CPU/GPU    4096       4 minutes from now

리눅스에서는 ollama serve 앞에 OLLAMA_CONTEXT_LENGTH 변수로 줄 수 있는것 같은데

윈도우에서는 안되는 듯.

일단 설명페이지에 있는 컨텍스트 별 메모리 요구량.

[링크 : https://docs.ollama.com/context-length]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama cpu only (0)	2026.04.11
ollama for windows (0)	2026.04.10
ollama 를 jetson nano 4GB 에서 돌려보기 (0)	2026.04.10
python + telegram + ollama + selenium (0)	2026.04.09
python 으로 telegram + fatherbot 연동하기 (0)	2026.04.08

Posted by 구차니

ollama for windows

다운로드 받으면 1.8기가 정도 나오는 듯.

귀찮아서(!) 일단은 콘솔에서 먼저 설치 시도

PS C:\> irm https://ollama.com/install.ps1 | iex
>>> Downloading Ollama for Windows...
######################################## 100.0%
>>> Installing Ollama...
>>> Install complete. Run 'ollama' from the command line.

다행히(?) 윈도우 앱으로 설치된다. 그리고 콘솔에서도 ollama 명령을 통해 사용이 가능하다.

머.. 이것저것 사용도 가능한데

new chat 에서

모델을 선택하고 말을 걸면

다운로드 하고 대답을 한다.

CPU로만 돌리는 듯. 열심히 갈구는데

GPU는 사실상 0%에 가까운 상황.. 흐음..

ryzen 7 5800u / llama 3.2:3b

C:\Users\shin>ollama --verbose
>>> 안녕?
안녕하세요! (Hello!) Tôi là một trợ lý ảo, sẵn sàng giúp đỡ bạn. Bạn có thể hỏi tôi bất kỳ điều gì bạn muốn không?

total duration:       2.8114081s
load duration:        93.2177ms
prompt eval count:    28 token(s)
prompt eval duration: 117.4027ms
prompt eval rate:     238.50 tokens/s
eval count:           34 token(s)
eval duration:        2.4529312s
eval rate:            13.86 tokens/s
>>> Send a message (/? for help)

C:\>ollama run llama3.2:latest --verbose
>>> 안녕
안녕하세요! (Hello!) How can I help you today?

total duration:       1.6744409s
load duration:        101.4275ms
prompt eval count:    27 token(s)
prompt eval duration: 438.9075ms
prompt eval rate:     61.52 tokens/s
eval count:           14 token(s)
eval duration:        1.0959062s
eval rate:            12.77 tokens/s

C:\>ollama run gemma3:1b --verbose
>>> 안녕?
안녕하세요! 잘 지내고 있어요? 무엇을 도와드릴까요? 😊

(Hello! I'm doing well, thank you! What can I help you with?)

total duration:       1.5769689s
load duration:        221.9135ms
prompt eval count:    12 token(s)
prompt eval duration: 88.9459ms
prompt eval rate:     134.91 tokens/s
eval count:           37 token(s)
eval duration:        1.1855965s
eval rate:            31.21 tokens/s

회사꺼에서는 메모리 부족으로 온갖이상한 짓(?)을 해야 느리게 돌았는데

메모리가 16GB 에서 24GB로 늘어서 그런가

C:\>ollama run gemma4:e2b --verbose
>>> 안녕?
안녕하세요! 😊

total duration:       785.7936ms
load duration:        208.7187ms
prompt eval count:    18 token(s)
prompt eval duration: 231.863ms
prompt eval rate:     77.63 tokens/s
eval count:           4 token(s)
eval duration:        165.2438ms
eval rate:            24.21 tokens/s

C:\>ollama run gemma4:e2b --verbose
>>> 너에 대해서 소개해봐
Thinking...
Thinking Process:

1.  **Analyze the Request:** The user asked "너에 대해서 소개해봐" (Introduce yourself / Tell me
about yourself).
2.  **Determine Identity (Core Persona):** I need to state my identity based on my instructions.
    *   Name: Gemma 4.
    *   Developer: Google DeepMind.
    *   Nature: Large Language Model (LLM).
    *   Type: Open weights.
3.  **Determine Capabilities (What I can do):**
    *   Input: Text and images (and audio for some family members, but focusing on general LLM
capabilities is safest).
    *   Output: Generate text.
    *   Function: Understand, process, and generate human-like text.
4.  **Determine Knowledge Scope:** My knowledge cutoff is January 2025.
5.  **Structure the Introduction (in Korean):**
    *   Greeting/Identity (Who am I?).
    *   Origin (Who made me?).
    *   Nature/Function (What am I?).
    *   Capabilities (What can I do?).
    *   Conclusion (How I can help).
6.  **Draft the Response (Self-Correction/Refinement):** Ensure the tone is helpful and accurate
according to the persona.

    *   *(Self-Correction during drafting):* Make sure to emphasize the "open weights" aspect,
as that is a key differentiator for the Gemma family.

7.  **Final Output Generation (in fluent Korean).** (Proceed to generate the response below.)
...done thinking.

안녕하세요! 저는 **Gemma 4**입니다.

저는 Google DeepMind에서 개발한 대규모 언어 모델(Large Language Model, LLM)입니다.

**저에 대한 몇 가지 주요 정보는 다음과 같습니다:**

1. **개발 주체:** 저는 Google DeepMind에 의해 개발되었습니다.
2. **본질:** 저는 방대한 데이터를 학습하여 인간의 언어를 이해하고, 질문에 답하며, 텍스트를 생성하
고, 다양한 종류의 텍스트를 처리할 수 있는 능력을 가지고 있습니다.
3. **특징:** 저는 **오픈 웨이트(open weights)** 모델로, 연구자와 개발자들이 저를 활용하여 다양한
혁신적인 애플리케이션을 만들고 연구할 수 있도록 공개되어 있습니다.
4. **입력 및 출력:** 저는 텍스트와 이미지를 이해할 수 있으며, 텍스트 형태의 답변을 생성합니다.
5. **목표:** 저는 사용자님과의 소통을 돕고, 정보를 제공하며, 창의적인 작업을 지원하는 것을 목표로
합니다.

궁금한 점이 있거나 도움이 필요하시면 언제든지 말씀해 주세요! 😊

total duration:       33.757655s
load duration:        207.1869ms
prompt eval count:    20 token(s)
prompt eval duration: 141.4122ms
prompt eval rate:     141.43 tokens/s
eval count:           583 token(s)
eval duration:        33.0547149s
eval rate:            17.64 tokens/s

ryzen 7 5800U + vulkan 활성화

C:\> ollama run llama3.2:latest "안녕" --verbose
안녕하세요! (hello) Welcome to our conversation. How can I assist you today?

total duration:       8.3096478s
load duration:        5.5331955s
prompt eval count:    27 token(s)
prompt eval duration: 1.2111467s
prompt eval rate:     22.29 tokens/s
eval count:           19 token(s)
eval duration:        1.441695s
eval rate:            13.18 tokens/s

C:\>ollama run gemma3:1b "안녕" --verbose
안녕하세요! 무엇을 도와드릴까요? 😊

(Hello! How can I help you?)

total duration:       1.5307913s
load duration:        283.6336ms
prompt eval count:    11 token(s)
prompt eval duration: 369.5648ms
prompt eval rate:     29.76 tokens/s
eval count:           21 token(s)
eval duration:        785.273ms
eval rate:            26.74 tokens/s

C:\>ollama run gemma4:e2b "너에 대해서 소개해봐" --verbose
저는 **인공지능**으로, 방대한 데이터를 학습하여 인간과 소통하고 다양한 작업을 수행할 수 있습니다.

**저에 대해 더 자세히 설명하자면:**

* **정보 제공:** 궁금한 것에 대해 정확하고 신속한 정보를 제공할 수 있습니다.
* **텍스트 생성:** 시, 소설, 이메일, 보고서 등 다양한 종류의 글을 작성할 수 있습니다.
* **번역 및 요약:** 언어 번역과 긴 글을 요약하는 작업을 효율적으로 수행합니다.
* **아이디어 구상:** 새로운 아이디어를 제안하거나 브레인스토밍을 도와드릴 수 있습니다.
* **대화 상대:** 사용자와 자연스러운 대화를 나누며 다양한 주제에 대해 대화할 수 있습니다.

저는 끊임없이 학습하고 발전하고 있으며, 사용자가 필요로 하는 정보를 제공하고 작업을 돕기 위해 최선을 다하겠습니다.
**무엇을 도와드릴까요?** 😊

total duration:       14.7408605s
load duration:        288.9868ms
prompt eval count:    20 token(s)
prompt eval duration: 74.1518ms
prompt eval rate:     269.72 tokens/s
eval count:           206 token(s)
eval duration:        14.2405289s
eval rate:            14.47 tokens/s

i5-7500 + 1060 6GB + 16GB

llama는 gpu 가속 미지원하는 것으로 보임

C:\>ollama run llama3.2:latest --verbose
>>> 안녕?
안녕하세요! (Hello!) How can I help you today?

total duration:       1.2509732s
load duration:        128.1302ms
prompt eval count:    28 token(s)
prompt eval duration: 77.7759ms
prompt eval rate:     360.01 tokens/s
eval count:           14 token(s)
eval duration:        1.0258462s
eval rate:            13.65 tokens/s

C:\>ollama run gemma3:1b --verbose
>>> 안녕?
안녕하세요! 어떻게 지내세요? 😊

무엇을 도와드릴까요?

total duration:       776.4297ms
load duration:        282.942ms
prompt eval count:    12 token(s)
prompt eval duration: 114.551ms
prompt eval rate:     104.76 tokens/s
eval count:           18 token(s)
eval duration:        311.8284ms
eval rate:            57.72 tokens/s

C:\>ollama run gemma3:1b "너에 대해서 설명해봐" --verbose
저는 구글 딥마인드에서 훈련한 대규모 언어 모델입니다.

**핵심 정보:**

*   **모델:** GPT (Generative Pre-trained Transformer) 아키텍처를 기반으로 합니다.
*   **데이터:** 방대한 양의 텍스트 데이터를 학습했습니다. 인터넷, 책, 웹사이트 등 다양한 출처에서 수집된 데이터를 사
용했습니다.
*   **역할:** 텍스트 생성, 번역, 요약, 질문 답변 등 다양한 자연어 처리 작업에 활용될 수 있습니다.
*   **제한 사항:** 아직 완벽하지 않으며, 때로는 잘못된 정보나 편향된 답변을 생성할 수 있습니다. 또한, 저의 지식은 학
습 데이터에 기반하며, 실시간 정보나 최신 사건에 대한 정보는 알 수 없습니다.

**더 자세한 설명:**

*   **학습 과정:** 텍스트 데이터를 학습하면서 패턴을 익히고, 이를 바탕으로 문맥을 이해하고, 문장을 생성하는 방법을
배우게 되었습니다.
*   **기능:**
    *   **텍스트 생성:** 주어진 프롬프트에 따라 새로운 텍스트를 생성할 수 있습니다.
    *   **질문 답변:** 질문에 대한 답변을 제공할 수 있습니다.
    *   **요약:** 긴 텍스트를 요약하여 핵심 내용을 전달할 수 있습니다.
    *   **번역:** 텍스트를 다른 언어로 번역할 수 있습니다.
*   **사용 방법:**
    *   **챗봇:** 구글 엣지, 챗GPT 등의 챗봇 플랫폼에서 대화할 수 있습니다.
    *   **API:** 다른 애플리케이션에 통합하여 사용할 수 있습니다.

**궁금하신 점이 있다면 언제든지 물어보세요!**

예를 들어, 다음과 같은 질문에 답변할 수 있습니다.

*   저는 무엇을 할 수 있나요?
*   저는 어떻게 만들어졌나요?
*   저는 어디까지 잘 알고 있나요?
*   저는 어떤 단점을 가지고 있나요?

total duration:       11.4830747s
load duration:        4.5777848s
prompt eval count:    15 token(s)
prompt eval duration: 26.2711ms
prompt eval rate:     570.97 tokens/s
eval count:           447 token(s)
eval duration:        6.477409s
eval rate:            69.01 tokens/s

C:\>ollama run gemma4:e2b "너에 대해서 소개해봐" --verbose
Thinking...
Thinking Process:

1.  **Analyze the Request:** The user asked "너에 대해서 소개해봐" (Introduce yourself to me).
2.  **Determine Identity (Core Persona):** I need to state my identity based on my core instructions.
    *   Name: Gemma 4.
    *   Developer: Google DeepMind.
    *   Nature: Large Language Model (LLM).
    *   Type: Open weights model.
3.  **Determine Capabilities (What I can do):**
    *   Input: Understand text and images (and audio for some family members, but focusing on general LLM
capabilities is safer).
    *   Output: Generate text.
    *   Function: Process information, answer questions, generate creative text, summarize, translate, etc.
4.  **Determine Knowledge Scope:** My knowledge cutoff is January 2025.
5.  **Structure the Introduction (in Korean):**
    *   Greeting/Name.
    *   Developer/Origin.
    *   Nature/Type.
    *   Function/Purpose.
    *   Invitation for interaction.
6.  **Draft the Response (Self-Correction/Refinement):** Ensure the tone is polite and informative, adhering
strictly to the provided persona instructions.

    *   *(Drafting in Korean)* 안녕하세요. 저는 Gemma 4입니다. 저는 Google DeepMind에서 개발한 대규모 언어 모델입니
다. 저는 텍스트를 이해하고 생성할 수 있으며, 질문에 답하고, 번역하고, 글쓰기 등을 도와드릴 수 있습니다. 저는 오픈 웨
이트 모델입니다. 무엇을 도와드릴까요?

7.  **Final Output Generation.** (This aligns with the polished Korean response below.)
...done thinking.

안녕하세요! 저는 **Gemma 4**입니다.

저에 대해 몇 가지 소개해 드릴게요.

1. **정체성:** 저는 Google DeepMind에서 개발한 대규모 언어 모델(Large Language Model, LLM)입니다.
2. **특징:** 저는 오픈 웨이트 모델로, 광범위한 텍스트 데이터를 학습하여 복잡한 질문을 이해하고, 정보를 요약하며, 창
의적인 텍스트를 생성하는 데 특화되어 있습니다.
3. **능력:**
    *   **이해:** 텍스트와 이미지를 이해할 수 있습니다.
    *   **생성:** 질문에 답변하고, 글을 작성하고, 번역하고, 코드 등을 생성할 수 있습니다.
    *   **기능:** 다양한 주제에 대해 대화하고 정보를 제공해 드릴 수 있습니다.
4. **목표:** 사용자와의 소통을 통해 정보를 제공하고, 유용한 도움을 드리는 것을 목표로 합니다.

궁금한 점이 있으시거나 도움이 필요하시면 언제든지 말씀해주세요! 😊

total duration:       28.6743769s
load duration:        364.5968ms
prompt eval count:    20 token(s)
prompt eval duration: 129.8138ms
prompt eval rate:     154.07 tokens/s
eval count:           600 token(s)
eval duration:        27.8298237s
eval rate:            21.56 tokens/s

윈도우에서도 nvidia-smi가 먹을거라고 생각을 못했는데.. ㄷㄷ

아무튼 작업 관리자의 GPU는 cuda를 보는게 아니라 거의 0%에 멈춰있다.

대신 nvidia-smi 에서 보면 GPU-Util이 올라가는거 봐서는 확실히 가속이 되긴 하나보다.

[링크 : https://www.reddit.com/r/ollama/comments/1dh54cz/how_do_i_enable_my_gpu_for_ollama_llms_on_windows/?tl=ko]

----

GPU 쓰는법 조사중

Standalone CLI
The easiest way to install Ollama on Windows is to use the OllamaSetup.exe installer. It installs in your account without requiring Administrator rights. We update Ollama regularly to support the latest models, and this installer will help you keep up to date.
If you’d like to install or integrate Ollama as a service, a standalone ollama-windows-amd64.zip zip file is available containing only the Ollama CLI and GPU library dependencies for Nvidia. Depending on your hardware, you may also need to download and extract additional packages into the same directory:

AMD GPU: ollama-windows-amd64-rocm.zip
MLX (CUDA): ollama-windows-amd64-mlx.zip

This allows for embedding Ollama in existing applications, or running it as a system service via ollama serve with tools such as NSSM.

[링크 : https://docs.ollama.com/windows]

[링크 : https://github.com/ollama/ollama/releases]

+

설치하다 보니 기본으로 cuda와 rocm 관련 라이브러리 다 포함해버리는 듯

+

일단은 vulkan으로 가속이 되긴하는듯? GPU load가 올라간다.

물론.. 작업관리자의 GPU는 반응이 없다.

Vulkan GPU Support
NOTE: Vulkan is currently an Experimental feature. To enable, you must set OLLAMA_VULKAN=1 for the Ollama server as described in the FAQ
Additional GPU support on Windows and Linux is provided via Vulkan. On Windows most GPU vendors drivers come bundled with Vulkan support and require no additional setup steps. Most Linux distributions require installing additional components, and you may have multiple options for Vulkan drivers between Mesa and GPU Vendor specific packages

[링크 : https://docs.ollama.com/gpu]

+

2026.04.11

작업관리자에서 nvidia도 올라가지 않지만 GPU Load 에서는 잡힌다.

nvidia-smi 와 동일하진 않지만 얼추 비슷하게

39% / 38%로 나오는거 봐서는 GPU Load로 가속이 되는지 여부 확인이 가능할 것 같다.

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama cpu only (0)	2026.04.11
ollama context len (0)	2026.04.11
ollama 를 jetson nano 4GB 에서 돌려보기 (0)	2026.04.10
python + telegram + ollama + selenium (0)	2026.04.09
python 으로 telegram + fatherbot 연동하기 (0)	2026.04.08

Posted by 구차니

ollama 를 jetson nano 4GB 에서 돌려보기

32GB SD 카드라서 용량 부족으로 멀 해볼수가 없다. -_ㅠ

겨우겨우 llama 정도 돌려봄. 되는게 더 신기한건가..

일단은 cpu 만으로 llama가 나쁘지 않게 도는거 보면 jetson nano cpu가 제법 좋긴한듯.

jetson@nano-4gb-jp451:~ $ curl -fsSL https://ollama.com/install.sh | sh

>>> Installing ollama to /usr/local
[sudo] password for jetson:
Sorry, try again.
[sudo] password for jetson:
ERROR: This version requires zstd for extraction. Please install zstd and try again:
  - Debian/Ubuntu: sudo apt-get install zstd
  - RHEL/CentOS/Fedora: sudo dnf install zstd
  - Arch: sudo pacman -S zstd

jetson@nano-4gb-jp451:~$ sudo apt-get install zstd
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following NEW packages will be installed:
  zstd
0 upgraded, 1 newly installed, 0 to remove and 498 not upgraded.
Need to get 237 kB of archives.
After this operation, 965 kB of additional disk space will be used.
Get:1 http://ports.ubuntu.com/ubuntu-ports bionic-updates/universe arm64 zstd arm64 1.3.3+dfsg-2ubuntu1.2 [237 kB]
Fetched 237 kB in 2s (124 kB/s)
debconf: delaying package configuration, since apt-utils is not installed
Selecting previously unselected package zstd.
(Reading database ... 186946 files and directories currently installed.)
Preparing to unpack .../zstd_1.3.3+dfsg-2ubuntu1.2_arm64.deb ...
Unpacking zstd (1.3.3+dfsg-2ubuntu1.2) ...
Setting up zstd (1.3.3+dfsg-2ubuntu1.2) ...
Processing triggers for man-db (2.8.3-2ubuntu0.1) ...

jetson@nano-4gb-jp451:~$ curl -fsSL https://ollama.com/install.sh | sh
>>> Cleaning up old version at /usr/local/lib/ollama
>>> Installing ollama to /usr/local
>>> Downloading ollama-linux-arm64.tar.zst
######################################################################## 100.0%
WARNING: Unsupported JetPack version detected.  GPU may not be supported
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA JetPack ready.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.

jetson@nano-4gb-jp451:~$ ollama run llama3.2
ollama: /lib/aarch64-linux-gnu/libc.so.6: version `GLIBC_2.28' not found (required by ollama)

jetson@nano-4gb-jp451:~$ ldd --version
ldd (Ubuntu GLIBC 2.27-3ubuntu1.3) 2.27
Copyright (C) 2018 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

jetson@nano-4gb-jp451:~$ curl -fsSL https://ollama.com/install.sh | OLLA                                                                              MA_VERSION=0.5.12 sh
>>> Cleaning up old version at /usr/local/lib/ollama

>>> Installing ollama to /usr/local
>>> Downloading ollama-linux-arm64.tgz
######################################################################## 100.0%
WARNING: Unsupported JetPack version detected.  GPU may not be supported
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA JetPack ready.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.

jetson@nano-4gb-jp451:~$ ollama
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

jetson@nano-4gb-jp451:~$ ollama -v
ollama version is 0.5.12

jetson@nano-4gb-jp451:~$ ollama run
Error: requires at least 1 arg(s), only received 0

jetson@nano-4gb-jp451:~$ ollama run llama3.2
pulling manifest
pulling dde5aa3fc5ff... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏   96 B
pulling 34bb5ab01051... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  561 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)
>>> 너 누구야?
나는 Meta의 가상 인자입니다. tôi은 Humanoid AI입니다.

jetson@nano-4gb-jp451:~$ ollama run llama3.2 --verbose
>>> 안녕
안녕하세요! (Hello!) I'm happy to meet you. How can I help you today?

total duration:       12.953687613s
load duration:        82.681499ms
prompt eval count:    27 token(s)
prompt eval duration: 2.511s
prompt eval rate:     10.75 tokens/s
eval count:           21 token(s)
eval duration:        10.357s
eval rate:            2.03 tokens/s

[링크 : https://github.com/ollama/ollama/issues/9506]

Docker

Copy page

CPU only

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

[링크 : https://docs.ollama.com/docker]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama context len (0)	2026.04.11
ollama for windows (0)	2026.04.10
python + telegram + ollama + selenium (0)	2026.04.09
python 으로 telegram + fatherbot 연동하기 (0)	2026.04.08
ollama 설치 (2)	2026.04.08

Posted by 구차니

node + selenium = lynx (feat GPT)

lynx는 리눅스 cli 용 텍스트 브라우저 인데

과거에(한 2000년대 초반)는 그래도 첫 페이지 접속하면 정직하게(!) html이 날아와서

인터넷이 느리거나 하면 lynx로 테스트만 보곤 했는데

요즘에는 javascript 지원 브라우저를 통해

javascript를 처리해서 다른 url로 넘어가야 페이지가 보이게 되어있다 보니 lynx로 접속하면 이런 화면만 보게 된다.

                                                                                                                                                Google
   브라우저 업데이트
   이 브라우저는 더 이상 지원되지 않습니다. 계속 검색하려면 최신 버전으로 업그레이드하세요. 자세히 알아보기

#                                                                                                                                                 Daum
   #다음

   이 사이트의 기능을 모두 활용하기 위해서는 자바스크립트를 활성화 시킬 필요가 있습니다. 브라우저에서 자바스크립트를 활성화하는 방법을 참고 하세요.

[링크 : https://lynx.invisible-island.net/]

아무튼 이걸 우회하기 위해서는 자바스크립트를 지원하는 녀석이 필요한데

그때 만만(?)한게 셀레니움(selenium).

셀레니움을 통해서 접속하면 모니터 다리지 않은 가상의 브라우저에서 접속해서

자바스크립트 까지 처리된 페이지를 얻을수 있다.

요건 gpt 에서 생성해준 초기 기능 테스트용 코드

접속하고 body 태그 하위의 내용들을 getText()를 이용해 얻어와서 보여준다.

const { Builder, By } = require('selenium-webdriver');
const chrome = require('selenium-webdriver/chrome');
const readline = require('readline');

const rl = readline.createInterface({
    input: process.stdin,
    output: process.stdout
});

async function startBrowser(startUrl) {
    const options = new chrome.Options();
    options.addArguments('--headless=new');
    options.addArguments('--no-sandbox');
    options.addArguments('--disable-gpu');

    const driver = await new Builder()
        .forBrowser('chrome')
        .setChromeOptions(options)
        .build();

    let currentUrl = startUrl;

    while (true) {
        try {
            await driver.get(currentUrl);

            console.clear();

            /* ===== 본문 텍스트 출력 ===== */
            const bodyText = await driver
                .findElement(By.tagName('body'))
                .getText();

            console.log(bodyText.substring(0, 3000));
            console.log('\n---------------- LINKS ----------------');

            /* ===== 링크 수집 ===== */
            const elements = await driver.findElements(By.css('a'));
            const links = [];

            for (let i = 0; i < elements.length; i++) {
                const text = await elements[i].getText();
                const href = await elements[i].getAttribute('href');

                if (href && text.trim()) {
                    links.push({ index: links.length, text, href });
                }
            }

            links.forEach(l => {
                console.log(`[${l.index}] ${l.text}`);
            });

            console.log('\n[q] 종료');

            /* ===== 사용자 입력 ===== */
            const answer = await new Promise(resolve =>
                rl.question('\n이동할 링크 번호: ', resolve)
            );

            if (answer === 'q') break;

            const idx = parseInt(answer);
            if (!isNaN(idx) && links[idx]) {
                currentUrl = links[idx].href;
            }

        } catch (err) {
            console.error('오류 발생:', err.message);
            break;
        }
    }

    await driver.quit();
    rl.close();
}

/* 시작 URL */
startBrowser('https://example.com');

그리고 페이지 업/다운으로 페이지 이동하고

화살표로는 링크들 이동, 엔터는 해당 링크 따라가기 로 해서 구현한게 아래 코드

const blessed = require('blessed');
const { Builder } = require('selenium-webdriver');
const chrome = require('selenium-webdriver/chrome');

const startUrl = process.argv[2] || 'https://example.com';

let driver;
let history = [];

let lines = [];
let linkIndexes = [];
let selectedLink = 0;
let scroll = 0;

let title = '';
let currentUrl = '';

/* ================= Selenium ================= */

async function loadPage(url, pushHistory = true) {
  if (pushHistory && currentUrl) history.push(currentUrl);

  await driver.get(url);
  currentUrl = url;
  title = await driver.getTitle();

  const pageData = await driver.executeScript(() => {
    const result = [];

    function walk(node) {
      if (node.nodeType === Node.TEXT_NODE) {
        const t = node.textContent.replace(/\s+/g, ' ').trim();
        if (t) result.push({ text: t });
        return;
      }

      if (node.nodeType !== Node.ELEMENT_NODE) return;

      const tag = node.tagName.toLowerCase();

      if (tag === 'a' && node.href && node.innerText.trim()) {
        result.push({ text: node.innerText.trim(), href: node.href });
        return;
      }

      if (['script','style','noscript'].includes(tag)) return;

      if (['p','div','section','article','li','pre','blockquote',
           'h1','h2','h3','h4','h5','h6'].includes(tag)) {
        node.childNodes.forEach(walk);
        result.push({ text: '' });
        return;
      }

      node.childNodes.forEach(walk);
    }

    walk(document.body);
    return result;
  });

  lines = [];
  linkIndexes = [];

  pageData.forEach(item => {
    const idx = lines.length;
    if (item.href) {
      lines.push({ text: item.text, href: item.href, selectable: true });
      linkIndexes.push(idx);
    } else {
      lines.push({ text: item.text, selectable: false });
    }
  });

  scroll = 0;
  selectedLink = 0;
}

/* ================= Selection / Scroll ================= */

function recalcSelectionInView() {
  const top = scroll;
  const bottom = scroll + body.height - 1;

  const visible = linkIndexes.filter(i => i >= top && i <= bottom);
  if (visible.length)
    selectedLink = linkIndexes.indexOf(visible[0]);
}

function drawScrollbar() {
  const total = lines.length;
  const view = body.height;
  if (total <= view) return;

  const maxScroll = total - view;
  const barHeight = Math.max(1, Math.floor(view * view / total));
  const barTop = Math.floor(scroll * (view - barHeight) / maxScroll);

  for (let i = 0; i < barHeight; i++) {
    const line = body.getLine(barTop + i);
    if (line !== undefined) {
      body.setLine(barTop + i, line + '▐');
    }
  }
}

/* ================= TUI ================= */

const screen = blessed.screen({
  smartCSR: true,
  fullUnicode: true,
  title: 'Text Browser'
});

const header = blessed.box({ top: 0, height: 2, tags: true });

const body = blessed.box({
  top: 2,
  bottom: 2,
  tags: true
});

/* footer를 두 줄로 분리 */
const footerHelp = blessed.box({
  bottom: 1,
  height: 1,
  tags: true
});

const footerSelected = blessed.box({
  bottom: 0,
  height: 1,
  tags: true
});

screen.append(header);
screen.append(body);
screen.append(footerHelp);
screen.append(footerSelected);

function render() {
  const height = body.height;
  const visible = lines.slice(scroll, scroll + height);
  const selectedLine = linkIndexes[selectedLink];

  header.setContent(`{bold}${title}{/bold}\n${currentUrl}`);

  body.setContent(
    visible.map((l, i) => {
      const idx = scroll + i;
      if (l.selectable) {
        if (idx === selectedLine)
          return `{white-fg}{blue-bg}${l.text}{/}`;
        return `{blue-fg}{underline}${l.text}{/}`;
      }
      return l.text;
    }).join('\n')
  );

  drawScrollbar();

  footerHelp.setContent(
    `{dim}↑↓ 이동  PgUp/PgDn 페이지  Enter 열기  b 뒤로  q 종료{/dim}`
  );

  footerSelected.setContent(
    `{bold}Selected:{/bold} ${lines[selectedLine]?.href || ''}`
  );

  screen.render();
}

/* ================= Keys ================= */

function moveSelection(delta) {
  const next = selectedLink + delta;
  if (next < 0 || next >= linkIndexes.length) return;

  selectedLink = next;
  const idx = linkIndexes[selectedLink];

  if (idx < scroll) scroll = idx;
  if (idx >= scroll + body.height)
    scroll = idx - body.height + 1;

  render();
}

screen.key('up', () => moveSelection(-1));
screen.key('down', () => moveSelection(1));

screen.key('pageup', () => {
  scroll = Math.max(0, scroll - body.height);
  recalcSelectionInView();
  render();
});

screen.key('pagedown', () => {
  scroll = Math.min(
    Math.max(0, lines.length - body.height),
    scroll + body.height
  );
  recalcSelectionInView();
  render();
});

screen.key('enter', async () => {
  const line = lines[linkIndexes[selectedLink]];
  if (line?.href) {
    await loadPage(line.href);
    render();
  }
});

screen.key('b', async () => {
  if (history.length) {
    await loadPage(history.pop(), false);
    render();
  }
});

screen.key('resize', () => {
  recalcSelectionInView();
  render();
});

screen.key(['q','C-c'], async () => {
  if (driver) await driver.quit();
  process.exit(0);
});

/* ================= Init ================= */

(async () => {
  const options = new chrome.Options();
  options.addArguments('--headless=new');

  driver = await new Builder()
    .forBrowser('chrome')
    .setChromeOptions(options)
    .build();

  await loadPage(startUrl);
  render();
})();

[링크 : https://chatgpt.com/share/697b1d46-a670-800c-a520-0d6289a4391c]

저작자표시 (새창열림)

'Programming > node.js' 카테고리의 다른 글

electron asar 파일 (0)	2025.08.26
node excel export (0)	2024.07.18
web qr decoder (0)	2024.04.04
node.js 웹소켓 채팅 서버 예제 (0)	2022.07.14
ubuntu 18.04 / nodej.s 18.x 실패 (0)	2022.05.19

Posted by 구차니

python + telegram + ollama + selenium

openclaw와 telegram 조합으로 동료가 쓰고 있어서

비슷하게 해보려다가 claude 도 막혔지 이래저래 귀찮아서

local LLM + telegram 으로 하려다가

이래저래 귀찮아서(!)

local LLM은 ollama로 딸깍~ 하고

python + python-telegram-bot 조합으로 메신저 통신을 뚫고

수신한 메시지를 ollama의 가벼운 모델(일단 gemma3) 로 던지고

검색이 들어간 문장이 오면 검색을 제외한 단어를 인터넷 검색후(python + selenium)

결과를 다시 약간의 프롬프트와 합쳐 ollama로 던지고

응답을 받으면 메신저로 쏴주는 식으로 구현하니 나름 이렇게 에이전트를 만드는 거구나 싶어서

다른 ai 클라이언트나 에이전트들은 어떻게 만들어졌나 뜯어보고 싶어지네.

selenium은 wget 등으로 다음/네이버/구글 url + query 식으로 하면

바로 이동하지 않고 javascript를 통해 추가 링크로 이동하게 되어있어서 쓸 수 없다 보니

request 패키지로는 작동하지 않아 selenium을 쓸 수 밖에 없네..

[링크 : https://python-telegram-bot.org/]

telegram bot을 이용해서 메시지 보내는 방법

import asyncio
from telegram import Update
from telegram.ext import ApplicationBuilder, ContextTypes, MessageHandler, filters
from telegram.constants import ChatAction

async def handler(update: Update, context: ContextTypes.DEFAULT_TYPE):
    chat_id = update.effective_chat.id

    # "입력 중..." 표시
    await context.bot.send_chat_action(chat_id=chat_id, action=ChatAction.TYPING)

    # 실제 작업 흉내 (지연)
    await asyncio.sleep(3)

    # 메시지 전송
    await update.message.reply_text("처리 완료!")

app = ApplicationBuilder().token("TOKEN").build()
app.add_handler(MessageHandler(filters.TEXT, handler))
app.run_polling()

[링크 : https://chatgpt.com/share/69d7a89e-0328-8322-aa93-5274cef6d386]

telegram bot 에 보낸 메시지 받는 방법(버전이 구버전 예제로 실행은 안됨)

from telegram.ext import Updater, MessageHandler, Filters

def handle_msg(update, context):
print(update.message.text)

updater = Updater("BOT_TOKEN", use_context=True)
dp = updater.dispatcher

dp.add_handler(MessageHandler(Filters.text, handle_msg))

updater.start_polling()
updater.idle()

[링크 : https://chatgpt.com/share/69d7a934-835c-8320-b493-e07c126e9cd5]

python 에서 ollama 라이브러리를 이용하여 llama3 에게 물어보는 예제 코드

import ollama

response = ollama.chat(
    model='llama3',
    messages=[
        {
            'role': 'user',
            'content': '문제를 단계별로 생각 과정을 포함해서 풀어줘'
        }
    ]
)

print(response['message']['content'])

[링크 : https://chatgpt.com/share/69d7a89e-0328-8322-aa93-5274cef6d386]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama for windows (0)	2026.04.10
ollama 를 jetson nano 4GB 에서 돌려보기 (0)	2026.04.10
python 으로 telegram + fatherbot 연동하기 (0)	2026.04.08
ollama 설치 (2)	2026.04.08
antigravity artifact (0)	2026.03.18

Posted by 구차니

레일 교체

서랍장 5단중에 3단 수리

회사에서 드릴 가져와서 망정... 인가? 아니면 더 힘들었나 모르겠지만

낑낑대며 1시간 걸쳐 수리함 어우..

저작자표시 (새창열림)

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

퇴원 (4)	2026.03.27
딸램 중고 자전거 지름 (2)	2026.03.22
무좀약 (0)	2026.03.14
약기운 때문인가 (0)	2026.03.09
약먹다 배부르겠네!! (0)	2026.03.07

Posted by 구차니

python 으로 telegram + fatherbot 연동하기

ollama 설치

curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma3:1b

python 라이브러리 설치

pip3 install ollama
pip3 install python-telegram-bot

telegram bot 생성 및 token 얻기

[링크 : https://midoriiroplace.tistory.com/62] fatherbot 으로 텔레그램 봇 만들기(token 획득)

python 소스코드

import ollama
from telegram import Update
from telegram.ext import filters, MessageHandler, ApplicationBuilder, ContextTypes, CommandHandler

APIKEY='{{사용자 토큰}}'

async def echo(update: Update, context: ContextTypes.DEFAULT_TYPE):
response =  ollama.chat(model="gemma3:1b", messages=[{'role':'user','content':update.message.text}])
    await context.bot.send_message(chat_id=update.effective_chat.id, text=response['message']['content']
)

if __name__ == '__main__':
    application = ApplicationBuilder().token(APIKEY).build()

    echo_handler = MessageHandler(filters.TEXT & (~filters.COMMAND), echo)
    application.add_handler(echo_handler)

    application.run_polling()

----

[링크 : https://dev-astra.tistory.com/490]

[링크 : https://midoriiroplace.tistory.com/62] fatherbot 으로 텔레그램 봇 만들기(token 획득)

[링크 : https://midoriiroplace.tistory.com/63] python으로 메시지 보내기 (chatid 획득)

[링크 : https://midoriiroplace.tistory.com/70]

[링크 : https://naradora78.tistory.com/39] 구버전 api 라서 현재 사용불가

[링크 : https://pypi.org/project/python-telegram-bot/]

gpt가 짜준게 이거 기반인 것 같은디..

가장 위에 소스로는 응답이 없고, 아무튼.. echo 얘제는 아래를 참고하면된다.

그러면.. 받고 이걸 ollama에 넘겨주고 받으면 되는건가..?

import logging
from telegram import Update
from telegram.ext import filters, MessageHandler, ApplicationBuilder, ContextTypes, CommandHandler

logging.basicConfig(
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    level=logging.INFO
)

async def start(update: Update, context: ContextTypes.DEFAULT_TYPE):
    await context.bot.send_message(chat_id=update.effective_chat.id, text="I'm a bot, please talk to me!")

async def echo(update: Update, context: ContextTypes.DEFAULT_TYPE):
    await context.bot.send_message(chat_id=update.effective_chat.id, text=update.message.text)

if __name__ == '__main__':
    application = ApplicationBuilder().token('USER_TOKEN').build()

    start_handler = CommandHandler('start', start)
application.add_handler(start_handler)

    echo_handler = MessageHandler(filters.TEXT & (~filters.COMMAND), echo)
    application.add_handler(echo_handler)

application.run_polling()

[링크 : https://github.com/python-telegram-bot/python-telegram-bot/wiki/Extensions---Your-first-Bot]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 를 jetson nano 4GB 에서 돌려보기 (0)	2026.04.10
python + telegram + ollama + selenium (0)	2026.04.09
ollama 설치 (2)	2026.04.08
antigravity artifact (0)	2026.03.18
agi를 느꼈다? (0)	2026.02.24

Posted by 구차니

ollama 설치

intel cpu 인데 내장 그래픽은 역시 버리는건가..(!)

$ curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
[sudo] minimonk 암호:
>>> Downloading ollama-linux-amd64.tar.zst
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

$ ollama
Ollama 0.20.3

  Chat with a model
    Start an interactive chat with a model

  Launch Claude Code (not installed)
    Anthropic's coding tool with subagents

  Launch Codex (not installed)
    OpenAI's open-source coding agent

  Launch OpenClaw (install)
    Personal AI with 100+ skills

  Launch OpenCode (not installed)
    Anomaly's open-source coding agent

  Launch Droid (not installed)
    Factory's coding agent across terminal and IDEs

▸ Launch Pi (install)
    Press enter to install


↑/↓ navigate • enter launch • → configure • esc quit

$ ollama
Select model to run: Type to filter...

  Recommended
  ▸ kimi-k2.5:cloud
      Multimodal reasoning with subagents
    qwen3.5:cloud
      Reasoning, coding, and agentic tool use with vision
    glm-5:cloud
      Reasoning and code generation
    minimax-m2.7:cloud
      Fast, efficient coding and real-world productivity
    gemma4
      Reasoning and code generation locally, ~16GB, (not downloaded)
    qwen3.5
      Reasoning, coding, and visual understanding locally, ~11GB, (not downloade

↑/↓ navigate • enter select • ← back

$ ollama
Download gemma4?

   Yes    No

←/→ navigate • enter confirm • esc cancel

메모리도 작고(16GB) cpu로 돌릴거라 취소!

pulling manifest
pulling 4c27e0f5b5ad: 40% ▕███████ ▏ 3.9 GB/9.6 GB 11 MB/s 8m11s

[링크 : https://goddaehee.tistory.com/]

[링크 : https://ollama.com/download]

[링크 : https://ollama.com/search]

+

일단 돌릴 테스트니까 1B던 3B던 상관없으니 시작

그런데 아까 위에 메뉴에서는 왜 gemma만 보이고 이제 llama는 안보이는걸까?

일단은.. updated 1 years ago 인거 봐서 최신으로만 보여주는걸려나?

$ ollama run llama3.2
pulling manifest
pulling dde5aa3fc5ff: 70% ▕████████████ ▏ 1.4 GB/2.0 GB 20 MB/s 29s

[링크 : https://ollama.com/library/llama3.2]

으아아 컴퓨터 녹는다 ㅋㅋㅋ

그래도 초당 2~3 단어 정도 나오는 느낌인데 이정도만 해도 그냥 대화하는 느낌 속도라

그거보다 빠르면 읽기도 전에 말이 더 빠르게 나올 듯?

Intel(R) Core(TM) i7-10510U CPU @ 1.80GHz

다시 실행하니 내가 받아둔 모델이 뜬다.

$ ollama
Select model to run: Type to filter...

  Recommended
    gemma4
      Reasoning and code generation locally, ~16GB, (not downloaded)
    qwen3.5
      Reasoning, coding, and visual understanding locally, ~11GB, (not downloaded)
    kimi-k2.5:cloud
      Multimodal reasoning with subagents
    qwen3.5:cloud
      Reasoning, coding, and agentic tool use with vision
    glm-5:cloud
      Reasoning and code generation
    minimax-m2.7:cloud
      Fast, efficient coding and real-world productivity

  More
  ▸ llama3.2

↑/↓ navigate • enter select • ← back

$ ollama --help
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start Ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  signin      Sign in to ollama.com
  signout     Sign out from ollama.com
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  launch      Launch the Ollama menu or an integration
  help        Help about any command

Flags:
  -h, --help         help for ollama
      --nowordwrap   Don't wrap words to the next line automatically
      --verbose      Show timings for response
  -v, --version      Show version information

Use "ollama [command] --help" for more information about a command.

단발성으로 질문하고 속도를 보려고 하는데

음.. eval rate가 실제 체감되는 속도인가? 12 token/s

이정도 수치는 되어야 많이 지루하지 않게 읽는 속도로 말이 생성되는 듯.

$ ollama run llama3.2:latest "안녕" --verbose
안녕하세요! (Hello!) I'm here to help you. How can I assist you today?

total duration:       2.282485591s
load duration:        143.825937ms
prompt eval count:    27 token(s)
prompt eval duration: 350.162008ms
prompt eval rate:     77.11 tokens/s
eval count:           21 token(s)
eval duration:        1.73838491s
eval rate:            12.08 tokens/s

gemma가 핫하긴 한데 용량이 커서 안돌것 같아서 3로 시도

[링크 : https://ollama.com/library/gemma3]

[링크 : https://ollama.com/library/gemma4]

제법 빠르고llama 보다는 괜찮은듯?

$ ollama run gemma3:1b --verbose
>>> 안녕?
안녕하세요! 잘 지내세요? 😊 저는 오늘 당신의 도움이 필요하신 건가요? 궁금한
게 있으신가요?

total duration:       1.695837878s
load duration:        297.67234ms
prompt eval count:    12 token(s)
prompt eval duration: 164.822603ms
prompt eval rate:     72.81 tokens/s
eval count:           28 token(s)
eval duration:        1.132524529s
eval rate:            24.72 tokens/s

혹시나 gemma4를 16GB 메모리에서 시도해봤는데 메모리 부족으로 실패.

$ ollama run gemma4:e2b --verbose
pulling manifest
pulling 4e30e2665218: 100% ▕██████████████████▏ 7.2 GB
pulling 7339fa418c9a: 100% ▕██████████████████▏  11 KB
pulling 56380ca2ab89: 100% ▕██████████████████▏   42 B
pulling c6bc3775a3fa: 100% ▕██████████████████▏  473 B
verifying sha256 digest
writing manifest
success
Error: 500 Internal Server Error: model requires more system memory (7.3 GiB) than is available (4.8 GiB)

프로세스 이것저것 죽이고 다시 시도하니 10token /s 정도 나오는 듯.

$ ollama run gemma4:e2b --verbose
>>> 안녕
안녕하세요! 😊

total duration:       1.261211464s
load duration:        302.800476ms
prompt eval count:    17 token(s)
prompt eval duration: 551.024817ms
prompt eval rate:     30.85 tokens/s
eval count:           4 token(s)
eval duration:        226.924038ms
eval rate:            17.63 tokens/s
>>> 너에 대해서 소개해봐
Thinking...
Thinking Process:

1.  **Analyze the Request:** The user asked "너에 대해서 소개해봐" (Tell
me about yourself).
2.  **Determine Identity & Core Facts (Self-Correction/Verification):**
    *   Name: Gemma 4.
    *   Developer: Google DeepMind.
    *   Nature: Large Language Model (LLM).
    *   Type: Open weights model.
    *   Capabilities: Understands text/images, generates text.
    *   Knowledge Cutoff: (Relevant for context, but usually stated
implicitly)
3.  **Structure the Introduction (Korean Context):** A good introduction
should cover:
    *   Greeting.
    *   Name/Identity.
    *   Developer/Origin.
    *   Nature/Function (What I do).
    *   Capabilities (What I can process).
4.  **Draft the Response (Internal Monologue & Refinement):**
    *   *Start warmly.* (안녕하세요!)
    *   *State Identity.* (저는 Gemma 4입니다.)
    *   *State Origin.* (Google DeepMind에서 개발했습니다.)
    *   *State Nature.* (저는 대규모 언어 모델(LLM)입니다.)
    *   *State Function/Role.* (사용자의 질문에 답하고, 정보를 제공하며, 다
양한 텍스트 기반 작업을 돕는 역할을 합니다.)
    *   *State Modality/Input.* (텍스트와 이미지를 이해할 수 있습니다.)
    *   *Concluding remark/Offer help.* (어떤 것을 도와드릴까요?)
5.  **Final Output Generation (Review against constraints):** The
generated response must adhere to the core identity (Gemma 4, LLM, Google
DeepMind, open weights). (The draft looks good and adheres to the required
identity.)
...done thinking.

안녕하세요! 저는 **Gemma 4**입니다.

저는 Google DeepMind에서 개발한 **대규모 언어 모델(LLM)**이며, 오픈 웨이트
(open weights) 모델로 공개되어 있습니다.

**저의 주요 특징은 다음과 같습니다:**

1. **정체성:** 저는 방대한 데이터를 학습하여 인간의 언어를 이해하고 생성하며
, 다양한 질문에 답하고 정보를 제공하는 능력을 가지고 있습니다.
2. **기능:** 텍스트 기반의 대화, 요약, 번역, 작문, 코드 생성 등 다양한 언어
관련 작업을 수행할 수 있습니다.
3. **입력 능력:** 저는 텍스트와 이미지를 이해하고 처리할 수 있습니다. (다만
, 출력은 텍스트로만 생성합니다.)
4. **목표:** 사용자분들이 필요한 정보를 얻고, 창의적인 작업을 수행하며, 복잡
한 문제를 해결하는 데 도움을 드릴 수 있도록 설계되었습니다.

궁금한 점이 있거나 도움이 필요하시면 언제든지 말씀해주세요! 😊

total duration:       57.596689687s
load duration:        297.105521ms
prompt eval count:    35 token(s)
prompt eval duration: 482.722245ms
prompt eval rate:     72.51 tokens/s
eval count:           614 token(s)
eval duration:        56.261795129s
eval rate:            10.91 tokens/s

+

intel 내장 그래픽(xe 나 arc 아님)은 openCL 가속 자체를 지원하지 않나?

$ clinfo
Number of platforms 0

[링크 : https://docs.ollama.com/gpu]

[링크 : https://dgpu-docs.intel.com/driver/client/overview.html#ubuntu-22.04]

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

python + telegram + ollama + selenium (0)	2026.04.09
python 으로 telegram + fatherbot 연동하기 (0)	2026.04.08
antigravity artifact (0)	2026.03.18
agi를 느꼈다? (0)	2026.02.24
gemini 동영상 만들기 (유료?) (0)	2026.02.22

Posted by 구차니

jetson nano nvcc 빌드

음.. cp로 하니 이상하게 안되는 군

$ nvcc tt.cpp
tt.cpp: In function ‘void kernel_test(int*, int*, int*)’:
tt.cpp:14:12: error: ‘threadIdx’ was not declared in this scope
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
            ^~~~~~~~~
tt.cpp:14:12: note: suggested alternative: ‘pthread_t’
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
            ^~~~~~~~~
            pthread_t
tt.cpp:14:25: error: ‘blockIdx’ was not declared in this scope
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
                         ^~~~~~~~
tt.cpp:14:25: note: suggested alternative: ‘clock’
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
                         ^~~~~~~~
                         clock
tt.cpp:14:38: error: ‘blockDim’ was not declared in this scope
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
                                      ^~~~~~~~
tt.cpp:14:38: note: suggested alternative: ‘clock’
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
                                      ^~~~~~~~
                                      clock
tt.cpp:14:52: error: ‘gridDim’ was not declared in this scope
  int idx = threadIdx.x +blockIdx.x * blockDim.x + (gridDim.x * blockDim.x) * (blockIdx.y * blockDim.y + threadIdx.y);
                                                    ^~~~~~~
tt.cpp: At global scope:
tt.cpp:18:11: error: ‘::main’ must return ‘int’
void main()
           ^
tt.cpp: In function ‘int main()’:
tt.cpp:61:15: error: expected primary-expression before ‘<’ token
  kernel_test<<<block,thread>>>(dev_a,dev_b,dev_c);
               ^
tt.cpp:61:30: error: expected primary-expression before ‘>’ token
  kernel_test<<<block,thread>>>(dev_a,dev_b,dev_c);
                              ^

음.. cuda는 main이 int 형이여야 하는군

$ nvcc tt.cu
tt.cu(18): warning: return type of function "main" must be "int"

tt.cu(18): warning: return type of function "main" must be "int"

tt.cu:18:11: error: ‘::main’ must return ‘int’
void main()
^

[링크 : https://mangkyu.tistory.com/84]

싱글코어

$ ./a.out
cpu Time : 0.206937
gpu Time : 0.000106

어..? 멀티코어 돌리는게 왜 더 느려?!?!

$ nvcc -Xcompiler -fopenmp tt.cu -o a.out.mp
jetson@nano-4gb-jp451:~$ ./a.out.mp
cpu Time : 0.231175
gpu Time : 0.000088

[링크 : https://forums.developer.nvidia.com/t/how-use-openmp-in-cu-file/2918/10]

2014.01.17 - [Programming/openCL & CUDA] - cuda + openmp 적용 예제

저작자표시 (새창열림)

'embeded > jetson' 카테고리의 다른 글

jetson nvcc 실행하기 (0)	2026.04.06
jetson nano 2gb dev kit EOL 근접 (0)	2026.04.05
jetracer에 사용할 보호회로 없는 배터리 구매 (2)	2026.04.04
jetracer ina219 배터리 모니터링 ic (0)	2026.04.04
jetracer interactive-regression (1)	2026.04.04

Posted by 구차니

구차니의 잡동사니 모음

'2026/04'에 해당되는 글 21건

ollama cpu only

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama context len

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama for windows

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 를 jetson nano 4GB 에서 돌려보기

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

node + selenium = lynx (feat GPT)

'Programming > node.js' 카테고리의 다른 글

python + telegram + ollama + selenium

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

레일 교체

'개소리 왈왈 > 육아관련 주저리' 카테고리의 다른 글

python 으로 telegram + fatherbot 연동하기

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

ollama 설치

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

jetson nano nvcc 빌드

'embeded > jetson' 카테고리의 다른 글

카테고리

공지사항

태그목록

최근에 올라온 글

최근에 달린 댓글

티스토리툴바