can 찾아보게 된 이유가 OBD 통신에 쓴다고 해서 봤던거니 다시 기록!
[링크 : https://clemencyking.tistory.com/m/26]
7.29
https://www.instructables.com/Raspberry-Pi-Based-CAN-BUS-Reader/
| can 트랜시버 - SN65HVD230 (0) | 2026.08.20 |
|---|---|
| MCP2515 on rpi .. 2번째 (0) | 2026.07.24 |
| DeviceNet CAN (0) | 2025.04.01 |
| candump, cansend와 vcan (0) | 2025.02.19 |
| linux can 테스트(가상 CAN IF) (0) | 2025.02.18 |
전화해서 물어보고 링크를 찾음
usb uart 모드로 접속해서 auto read 활성화하고
usb hid 모드로 켜면 된다.
모드는 별거(?) 아니고
그냥 커넥터를 옮겨서 USB to Serial에 연결해서 ISReadPro 프로그램으로 auto read 모드 설정하고
HID keyBoard에 연결하면 된다고 하는데. 선 한번 끊어먹고 의기소침해져서 일단 hid 모드는 언젠가로 미뤄야지 ㅋㅋ
여기서 먼저 활성화 해주고
여기서 카드 종류 별로 활성화 하면되는데
가장 만만한건.. 125khz 처럼 작동하는 iso14443a - uid 모드가 아닐까 싶다.
[링크 : https://blog.naver.com/is_chjee/224318202281]
[링크 : https://blog.naver.com/is_chjee/224313352095]
+
따라해보는데 안되서 일단 귀찮아 패스
"IS-3400-V1.9A" 로 읽히는데 막상 auto read 하면 응답이 없는걸 봐서는 버전 영향을 받기도 하는 듯?
| iso/iec 14443-1/2/3/4 (0) | 2026.07.16 |
|---|---|
| mifare classic 1k - access control (0) | 2026.07.16 |
| MCT(Mifare classic Tool) 앱에서 사용하는 키 (0) | 2026.07.16 |
| Proxmark, mfoc, mfcuk (0) | 2026.07.15 |
| mifare classic 1k 구조 (0) | 2026.07.15 |
shift - alt - Z (show overlays)
ctrl - space (오른쪽 메뉴 숨겨짐 - maximize area)
ctrl - alt - space (창모드 전체화면 - focus mode)
window - new window 하고
새로운 창에서(오브젝트는 원래 창과 공유됨)
focus mode + overlay off 하면 가장 간단하게 구현이 가능할 듯 하다.
| blnder 포즈 바꾸면서 렌더하기 (0) | 2026.07.28 |
|---|---|
| blender weight paint (0) | 2026.07.28 |
| blender quarternion (0) | 2026.07.22 |
| blender ik (0) | 2026.07.15 |
| 블렌더 이동 / 회전 제한 (0) | 2026.07.15 |
여기 메뉴에서 XYZ Euler가 기본인데 이걸 클릭하면
아래와 같이 rotation이 XYZ 에서 WXYZ로 변경된다.
근데 어떻게 써야할지, 어떻게 이해해야 할 진 모르겠음..
[링크 : https://devtalk.blender.org/t/quaternion-interpolation/15883/14]
| blender weight paint (0) | 2026.07.28 |
|---|---|
| blender 먼가 숨기기 단축키 (0) | 2026.07.22 |
| blender ik (0) | 2026.07.15 |
| 블렌더 이동 / 회전 제한 (0) | 2026.07.15 |
| blender key overlay (0) | 2026.07.15 |
jetson nano 4GB 에서 시도함.
cuda는 버전에 낮아서 안되고(llama.cpp가 cuda 12/13 지원. 얘는 10.x)
docker에서는 nvidia vulkan이 없어서 가속을 할 수 없어서 native vulkan빌드 부터 개고생해서 올렸는데
노력대비(2일 풀로 가동..) 효율이 좋다고 할 순 없겠지만,
그래도 나름 괜찮은 성능과 vulkan 가속이라 cpu 점유율 낮출 수 있다는게 그나마 위안인가..
그런데 이러면 발열은 어떨려나? cpu쪽이 더 낮을까.. gpu 쓰는게 낮을까?
옆에 스크롤이 점만해졌음 ㅋㅋㅋ 중반쯤에 포기하자는거 끝까지 멱살잡고 캐리해서 진행해버림
ㅋㅋ 이러니 ai가 반란을 일으키고 터미네이터가 되는건가 ㅋㅋ
2GB 메모리라면 최소한 스왑 6GB 이상은 해야 할 것으로 보인다.
| sudo fallocate -l 4G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile |
일단 gcc9를 설치하면 손쉽게 행복해짐
| sudo apt-get install -y software-properties-common sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get install -y gcc-9 g++-9 |
빌드를 위한 헤더들 및 버전 맞추기
| dpkg -l | grep nvidia-l4t sudo apt-get update sudo apt-get install --only-upgrade -y \ nvidia-l4t-core \ nvidia-l4t-bootloader \ nvidia-l4t-configs \ nvidia-l4t-gputools \ nvidia-l4t-initrd \ nvidia-l4t-jetson-io \ nvidia-l4t-oem-config \ nvidia-l4t-tools sudo ldconfig vulkaninfo --summary # 여기서 GPU(NVIDIA Tegra X1 (nvgpu))가 정상 인식되는지 확인 sudo apt-get install -y libvulkan-dev libvulkan1 sudo apt-get install -y nvidia-l4t-libvulkan |
glslang 설치
| cd ~ git clone https://github.com/KhronosGroup/glslang.git cd glslang python3 update_glslang_sources.py mkdir build && cd build export LDFLAGS="-lstdc++fs" /opt/cmake/bin/cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local \ -DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 make -j$(nproc) sudo make install which glslangValidator |
shaderc 설치
| cd ~ git clone https://github.com/google/shaderc.git cd shaderc python3 utils/git-sync-deps mkdir build && cd build export LDFLAGS="-lstdc++fs" /opt/cmake/bin/cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local \ -DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 \ -DSHADERC_SKIP_TESTS=ON -DSHADERC_SKIP_EXAMPLES=ON \ -DSPIRV_SKIP_EXECUTABLES=ON make glslc_exe -j$(nproc) sudo cp glslc/glslc /usr/local/bin/ which glslc glslc --version |
vulkan 관련 헤더 SPIRV 설치
| cd ~ git clone https://github.com/KhronosGroup/SPIRV-Headers.git cd SPIRV-Headers mkdir build && cd build /opt/cmake/bin/cmake .. -DCMAKE_INSTALL_PREFIX=/usr/local sudo make install |
cmake version 3.31.8 설치
| /opt/cmake/bin/cmake .. -DGGML_VULKAN=ON -DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 -DCMAKE_C_FLAGS="-Wno-error" |
아래는 빌드시 문제가 되서 수정한 부분
| $ git status On branch master Your branch is up to date with 'origin/master'. Changes not staged for commit: (use "git add <file>..." to update what will be committed) (use "git checkout -- <file>..." to discard changes in working directory) modified: ../../ggml/src/ggml-cpu/ggml-cpu-impl.h modified: ../../tools/ui/CMakeLists.txt no changes added to commit (use "git add" and/or "git commit -a") jetson@jetson-desktop:~/src/llama.cpp/build/bin$ git diff diff --git a/ggml/src/ggml-cpu/ggml-cpu-impl.h b/ggml/src/ggml-cpu/ggml-cpu-impl.h index 5d1ca5ffc..f39d56694 100644 --- a/ggml/src/ggml-cpu/ggml-cpu-impl.h +++ b/ggml/src/ggml-cpu/ggml-cpu-impl.h @@ -296,12 +296,28 @@ inline static uint8x16_t ggml_vqtbl1q_u8(uint8x16_t a, uint8x16_t b) { #define ggml_vld1q_s16_x2 vld1q_s16_x2 #define ggml_vld1q_u8_x2 vld1q_u8_x2 -#define ggml_vld1q_u8_x4 vld1q_u8_x4 #define ggml_vld1q_s8_x2 vld1q_s8_x2 -#define ggml_vld1q_s8_x4 vld1q_s8_x4 #define ggml_vqtbl1q_s8 vqtbl1q_s8 #define ggml_vqtbl1q_u8 vqtbl1q_u8 +inline static uint8x16x4_t ggml_vld1q_u8_x4(const uint8_t * ptr) { + uint8x16x4_t res; + res.val[0] = vld1q_u8(ptr + 0); + res.val[1] = vld1q_u8(ptr + 16); + res.val[2] = vld1q_u8(ptr + 32); + res.val[3] = vld1q_u8(ptr + 48); + return res; +} + +inline static int8x16x4_t ggml_vld1q_s8_x4(const int8_t * ptr) { + int8x16x4_t res; + res.val[0] = vld1q_s8(ptr + 0); + res.val[1] = vld1q_s8(ptr + 16); + res.val[2] = vld1q_s8(ptr + 32); + res.val[3] = vld1q_s8(ptr + 48); + return res; +} + #endif // !defined(__aarch64__) #if !defined(__ARM_FEATURE_DOTPROD) diff --git a/tools/ui/CMakeLists.txt b/tools/ui/CMakeLists.txt index 74bca417e..488fdc0be 100644 --- a/tools/ui/CMakeLists.txt +++ b/tools/ui/CMakeLists.txt @@ -105,3 +105,5 @@ endif() target_include_directories(${TARGET} PUBLIC ${CMAKE_CURRENT_BINARY_DIR} ) + +target_link_libraries(llama-ui-embed PRIVATE stdc++fs) |
git log. 일단 현시점 최신 버전인 b10068, 2026년 7월 18일자 소스
| commit 571d0d540df04f25298d0e159e520d9fc62ed121 (HEAD -> master, tag: b10068, origin/master, origin/HEAD) Author: Ruixiang Wang <wangruixiang07@outlook.com> Date: Sat Jul 18 15:02:18 2026 +0200 |
클로드 만세!!! string 머시기 없다고 파이썬으로 해치워 버림
| cd ~/src/llama.cpp python3 << 'PYEOF' path = "ggml/src/ggml-cpu/ggml-cpu-impl.h" with open(path, "r") as f: content = f.read() old = """#define ggml_vld1q_s16_x2 vld1q_s16_x2 #define ggml_vld1q_u8_x2 vld1q_u8_x2 #define ggml_vld1q_u8_x4 vld1q_u8_x4 #define ggml_vld1q_s8_x2 vld1q_s8_x2 #define ggml_vld1q_s8_x4 vld1q_s8_x4 #define ggml_vqtbl1q_s8 vqtbl1q_s8 #define ggml_vqtbl1q_u8 vqtbl1q_u8""" new = """#define ggml_vld1q_s16_x2 vld1q_s16_x2 #define ggml_vld1q_u8_x2 vld1q_u8_x2 #define ggml_vld1q_s8_x2 vld1q_s8_x2 #define ggml_vqtbl1q_s8 vqtbl1q_s8 #define ggml_vqtbl1q_u8 vqtbl1q_u8 inline static uint8x16x4_t ggml_vld1q_u8_x4(const uint8_t * ptr) { uint8x16x4_t res; res.val[0] = vld1q_u8(ptr + 0); res.val[1] = vld1q_u8(ptr + 16); res.val[2] = vld1q_u8(ptr + 32); res.val[3] = vld1q_u8(ptr + 48); return res; } inline static int8x16x4_t ggml_vld1q_s8_x4(const int8_t * ptr) { int8x16x4_t res; res.val[0] = vld1q_s8(ptr + 0); res.val[1] = vld1q_s8(ptr + 16); res.val[2] = vld1q_s8(ptr + 32); res.val[3] = vld1q_s8(ptr + 48); return res; }""" assert old in content, "패턴을 못 찾음 - 파일 확인 필요" content = content.replace(old, new) with open(path, "w") as f: f.write(content) print("패치 완료") PYEOF |
llama.cpp vulkan 활성화 해서 빌드.
-j4 하고 싶은데 두번 정도 메모리 엄청 먹으면서 하나 빌드하는게 있어서 늦더라도 -j1 추천
| cd ~/src/llama.cpp mkdir -p build && cd build rm -rf * export LDFLAGS="-lstdc++fs" /opt/cmake/bin/cmake .. -DGGML_VULKAN=ON \ -DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 \ -DCMAKE_C_FLAGS="-Wno-error" make llama-cli llama-server -j1 |
그렇게 빌드된 녀석을 qwen3.5-0.8B-Q4 돌리면!
| $ ./llama-cli -m ~/llm/Qwen3.5-0.8B-Q4_0.gguf --chat-template-kwargs "{\"enable_thinking\": false}" -c 4096 -ngl 99 -fa on Loading model... ▄▄ ▄▄ ██ ██ ██ ██ ▀▀█▄ ███▄███▄ ▀▀█▄ ▄████ ████▄ ████▄ ██ ██ ▄█▀██ ██ ██ ██ ▄█▀██ ██ ██ ██ ██ ██ ██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀ ██ ██ ▀▀ ▀▀ build : b10068-571d0d540 model : /home/jetson/llm/Qwen3.5-0.8B-Q4_0.gguf ftype : Q4_0 modalities : text available commands: /exit or Ctrl+C stop or exit /regen regenerate the last response /clear clear the chat history /read <file> add a text file /glob <pattern> add text files using globbing pattern > 안녕? 안녕하세요! 어시, 어떻게 도와드릴 수 있을까요? [ Prompt: 21.4 t/s | Generation: 9.1 t/s ] > 안녕? 안녕하세요! 어시, 어떻게 도와드릴 수 있을까요? [ Prompt: 23.0 t/s | Generation: 9.1 t/s ] > 너에 대해 소개 안녕하세요! 저는 인공지능(AI) 기술의 능력을 활용하여 정보를 제공하거나 논리적 사고를 도와줄 수 있는 **공급 서비스 봇 (Assistant)**입니다. 나는 다음과 같은 역할을 수행할 수 있습니다: * **정보 제공**: 지식 기반의 정보를 검색하고 요약 또는 정리해 줄 수 있습니다. * **논리적 분석**: 문장 구조나 논리 논리를 분석하여 설명을 돕습니다. * **문제 해결**: 질문에 답하거나 상황을 분석할 수 있습니다. * **대화 및 학습**: 대화와 학습을 통해 사용자 경험을 개선해 줍니다. 이러한 기능을 통해 **AI**를 대신할 수 있는 인간과 유사한 능력으로 **사용자**에게 도움을 줄 수 있습니다. 어떤 내용을 원하시는가요? (예: 답변, 설명, 대화, 학습 자료 등) [ Prompt: 21.8 t/s | Generation: 8.5 t/s ] > 코드 작성 python hello world 출력 네, 안녕하세요! 저는 인공지능(AI) 기술의 능력을 활용하여 정보를 제공하거나 논리적 사고를 도와드릴 수 있는 서비스 봇입니다. 제대안은 **Python**을 사용하여 `print` 함수로 `hello world`를 출력하는 코드를 작성해 드립니다. ```python print("hello world") ``` 이 코드를 실행하면 다음 문장이 출력됩니다: `hello world` 혹시 다른 언어 (예: JavaScript, Java 등) 의 `hello world` 예제를 작성하고 싶으시다면 말씀해 주세요! [ Prompt: 37.1 t/s | Generation: 8.4 t/s ] |
jtop 에서 GPU 잘 올라간다. ㅋㅋㅋ
메모리는 1.2G / 3.9G. 잘하면 2G 모델에서도 돌아가겠는데?
요건 사용하지 않을때 GPU 정보. 76.8MHz 까지 떨어지다니 ㄷㄷ
혹시나 몰라서 동일 조건에서 gpu 사용하지 않도록 ngl 0 으로 하고 테스트
| $ ./llama-cli -m ~/llm/Qwen3.5-0.8B-Q4_0.gguf --chat-template-kwargs "{\"enable_thinking\": false}" -c 4096 -ngl 0 -fa on Loading model... ▄▄ ▄▄ ██ ██ ██ ██ ▀▀█▄ ███▄███▄ ▀▀█▄ ▄████ ████▄ ████▄ ██ ██ ▄█▀██ ██ ██ ██ ▄█▀██ ██ ██ ██ ██ ██ ██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀ ██ ██ ▀▀ ▀▀ build : b10068-571d0d540 model : /home/jetson/llm/Qwen3.5-0.8B-Q4_0.gguf ftype : Q4_0 modalities : text available commands: /exit or Ctrl+C stop or exit /regen regenerate the last response /clear clear the chat history /read <file> add a text file /glob <pattern> add text files using globbing pattern > 안녕? 안녕하세요! 네, 알겠습니다. 저는 인공지능으로 대화하고 정보를 제공해 드릴 수 있는 도구입니다. 무엇을 도와드릴까요? 😊 [ Prompt: 5.9 t/s | Generation: 3.3 t/s ] > 너에 대해 소개해줘 안녕하세요! 네, 알겠습니다. 저는 인공지능으로 대화하고 정보를 제공해 드릴 수 있는 도구입니다. 무엇을 도와드릴까요? 😊 [ Prompt: 9.2 t/s | Generation: 3.3 t/s ] > 파이썬으로 현재 디렉토리 목록 보는 프로그램 작서앻줘ㅏ 프라이썬으로 현재 디렉토리 목록을 보고 싶으신가요? 😊 이제 바로 `dir` 명령어에 대한 설명부터 실행 방법까지 알려드릴게요. ### 📂 디렉토리 목록을 표시하는 명령어 프라이썬에서 파일이나 디렉토리를 표시하려면 먼저 `dir` 명령어를 사용합니다. ```bash cd <디렉토리명> ``` 예를 들어, `C:\Users\박\Documents`를 표시하려면: ```bash cd C:\Users\박\Documents ``` **단순히 `dir`을 입력하면 현재 디렉토리를 표시할 수 있습니다.** --- ### 🛠️ 실행 방법 #### 1. **프라이썬을 실행하기** 프라이썬은 웹 브라우저로 작동하는 프로그램으로, 브라우저에서 직접 실행해 볼 수 있습니다. **단순 브라우저에서 실행하기:** * **Chrome/Edge/ChromeOS:** `https://www.python.org/` 에서 `dir` 명령어 추가하기 (F12 또는 `F11`를 누ار) * **Mac OS:** `Finder` → `Extensions` → `File Explorer` → `Python` → `dir` **프라이썬을 설치하기:** 1. `https://www.python.org/` 에서 `Install Python` 클릭 2. 설치 후 `~` 경로에 추가되면, 브라우저에서 `file://` 주소창을 입력하고 입력한 URL 을 보시면 됩니다. --- ### 💻 기본 실행 예시 ```python # 위 설명에서 예시처럼, 현재 디렉토리를 확인 dir ``` 혹시 특정 파일이나 디렉토리를 찾으셨다면 `dir` 대신 `find` 명령어도 사용할 수 있습니다. ```bash find <디렉토리명> -name "파일명" ``` 어떤 작업을 하되든 프라이썬이 도와드릴게요! 😊 [ Prompt: 10.0 t/s | Generation: 3.1 t/s ] |
어.. 그래도 2.7배. 약간 과장하면 3배 상승이네?
| nvidia MIG(multiple instance GPU) - thor (0) | 2026.07.24 |
|---|---|
| nvidia jetson agx thor 아니고 nvidia thor? (0) | 2026.07.24 |
| jetson nano jtop (0) | 2026.07.20 |
| jetson nano 4GB / qwen3.5 0.8B (0) | 2026.07.20 |
| jetson nano 과 llama.cpp (cuda 가속, 빌드 포기) (0) | 2026.07.20 |
예전에 vscode에서 써보려고 찾았었는데
이번에 claude code에서 원격지꺼 하려고 하니 이걸 추천해주네
| $ sshfs 명령어 'sshfs' 을(를) 찾을 수 없습니다. 그러나 다음을 통해 설치할 수 있습니다: sudo apt install sshfs $ sudo apt install sshfs 패키지 목록을 읽는 중입니다... 완료 의존성 트리를 만드는 중입니다... 완료 상태 정보를 읽는 중입니다... 완료 다음 새 패키지를 설치할 것입니다: sshfs 0개 업그레이드, 1개 새로 설치, 0개 제거 및 0개 업그레이드 안 함. 45.1 k바이트 아카이브를 받아야 합니다. 이 작업 후 126 k바이트의 디스크 공간을 더 사용하게 됩니다. |
| $ sshfs minimonk@192.168.40.238:/mnt mnt minimonk@192.168.40.238's password: $ mount | grep ssh minimonk@192.168.40.238:/mnt on /home/minimonk/mnt type fuse.sshfs (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000) $ umount mnt |
| uvc 카메라, usb auto suspend (ubuntu 22.04) (0) | 2026.08.24 |
|---|---|
| fc-list 폰트 관리 (0) | 2026.06.09 |
| hdmi 연결과 비디오 메모리 사용량 (0) | 2026.05.02 |
| jstest (0) | 2026.04.03 |
| 리눅스 메모리 timing 확인하기 (0) | 2026.01.27 |
poseidon os 는 sw로 구현된거라 느린 건 어쩔수 없는 거라는데
[링크 : https://spdk.io/]
[링크 : https://github.com/poseidonos/poseidonos] 23년 3월 커밋이 마지막. poseidonos.io는 도메인 날아간듯.
nvidia gpu로 asic을 대체하고 raid 구현한거.
single device보다 더 높게 나오는건 도대체 무슨 마법이냐
[링크 : https://tech.gluesys.com/blog/2022/10/28/GRAID_and_NVMe.html]
| raid - predicted fail count (0) | 2024.04.22 |
|---|---|
| MSM 디스크 제거시엔 stop! (0) | 2024.04.19 |
| raid drive roaming (0) | 2024.04.18 |
| SSD cahcecade 포기 (0) | 2024.04.18 |
| MSM device id? (0) | 2024.04.17 |
mems
[링크 : https://www.lumentum.com/en/products/300x300-optical-circuit-switch-ocs]
liquid crystal switching
piezo ...
[링크 : https://www.hubersuhner.com/en/optical-circuit-switching]
lumotive / metalenz
tunable metasurface
| analog discovery - scope 와 logic / protocol (0) | 2026.08.19 |
|---|---|
| 최적 PID 튜닝 Ziegler–Nichols method (0) | 2026.07.02 |
| xgboost, CALCE (0) | 2026.04.27 |
| CPO - Co Packaged Optics (0) | 2026.04.22 |
| 엔코더 파형 (0) | 2026.01.12 |
jetson nano 에는 nvidia-smi가 없어서 비슷한거 찾는데
gpt님께서 jtop을 점지해주심
| sudo apt install python3-pip sudo -H pip3 install -U jetson-stats sudo systemctl restart jtop.service jtop |
cuda 예제 빌드해서 갈구니까
GPU에 올라가긴 한다
+
| nvidia jetson agx thor 아니고 nvidia thor? (0) | 2026.07.24 |
|---|---|
| jetson nano + llama.cpp vulkan (0) | 2026.07.21 |
| jetson nano 4GB / qwen3.5 0.8B (0) | 2026.07.20 |
| jetson nano 과 llama.cpp (cuda 가속, 빌드 포기) (0) | 2026.07.20 |
| jetson nano devloper kit SD card image(A02) (0) | 2026.07.20 |
콘솔로 하니 이상하게 종료시 엔터가 미친듯이 나와서 웹으로 시도.
vulkan 인데도 vulkan 가속을 못 받는지 cpu 100%로 돈다.
최대 성능으로 가동
| $ sudo nvpmodel -q NVPM WARN: fan mode is not set! NV Power Mode: MAXN 0 |
docker 로 서비스 실행
| $ sudo docker run -p 8080:8080 -v /home/jetson/llm:/models ghcr.io/ggml-org/llama.cpp:server-vulkan --chat-template-kwargs "{\"enable_thinking\": false}" -m /models/Qwen3.5-0.8B-Q4_0.gguf -c 4096 --port 8080 --host 0.0.0.0 warn: LLAMA_ARG_HOST environment variable is set, but will be overwritten by command line argument --host 0.00.136.037 W Setting 'enable_thinking' via --chat-template-kwargs is deprecated. Use --reasoning on / --reasoning off instead. 0.00.136.924 I cmn common_param: common_params_print_info: verbosity = 3 (adjust with the `-lv N` CLI arg) 0.00.138.536 W srv llama_server: ----------------- 0.00.138.551 W srv llama_server: CORS is set to allow all origins ('*') and no API key is set 0.00.138.552 W srv llama_server: this can be a security risk (cross-origin attacks) 0.00.138.553 W srv llama_server: more info: https://github.com/ggml-org/llama.cpp/pull/25655 0.00.138.554 W srv llama_server: ----------------- 0.00.139.997 I srv load_model: loading model '/models/Qwen3.5-0.8B-Q4_0.gguf' 0.04.582.967 I srv load_model: initializing, n_slots = 4, n_ctx_slot = 4096, kv_unified = 'true' 0.04.681.224 I srv llama_server: model loaded 0.04.681.254 I srv llama_server: listening on http://0.0.0.0:8080 0.19.911.095 I slot get_availabl: id 3 | task -1 | selected slot by LRU, t_last = -1 0.19.911.286 I slot launch_slot_: id 3 | task 0 | processing task, is_child = 0 0.22.612.244 I slot print_timing: id 3 | task 0 | prompt eval time = 1093.85 ms / 13 tokens ( 84.14 ms per token, 11.88 tokens per second) 0.22.612.263 I slot print_timing: id 3 | task 0 | eval time = 1606.96 ms / 12 tokens ( 133.91 ms per token, 7.47 tokens per second) 0.22.612.266 I slot print_timing: id 3 | task 0 | total time = 2700.81 ms / 25 tokens 0.22.612.276 I slot print_timing: id 3 | task 0 | graphs reused = 11 0.22.612.345 I slot release: id 3 | task 0 | stop processing: n_tokens = 24, truncated = 0 0.32.329.433 I slot get_availabl: id 3 | task -1 | selected slot by LCP similarity, sim_best = 0.243 (> 0.100 thold), f_keep = 0.375 0.32.406.612 I slot launch_slot_: id 3 | task 14 | processing task, is_child = 0 0.37.382.135 I slot print_timing: id 3 | task 14 | prompt eval time = 2254.95 ms / 28 tokens ( 80.53 ms per token, 12.42 tokens per second) 0.37.382.154 I slot print_timing: id 3 | task 14 | eval time = 2720.41 ms / 18 tokens ( 151.13 ms per token, 6.62 tokens per second) 0.37.382.157 I slot print_timing: id 3 | task 14 | total time = 4975.37 ms / 46 tokens 0.37.382.160 I slot print_timing: id 3 | task 14 | graphs reused = 27 0.37.382.205 I slot release: id 3 | task 14 | stop processing: n_tokens = 54, truncated = 0 0.52.606.713 I slot get_availabl: id 3 | task -1 | selected slot by LCP similarity, sim_best = 0.471 (> 0.100 thold), f_keep = 0.611 0.52.606.847 I slot launch_slot_: id 3 | task 35 | processing task, is_child = 0 1.10.385.311 I slot print_timing: id 3 | task 35 | n_decoded = 100, tg = 6.70 t/s, tg_3s = 6.70 t/s 1.11.031.932 I slot print_timing: id 3 | task 35 | prompt eval time = 2847.89 ms / 37 tokens ( 76.97 ms per token, 12.99 tokens per second) 1.11.031.951 I slot print_timing: id 3 | task 35 | eval time = 15577.07 ms / 104 tokens ( 149.78 ms per token, 6.68 tokens per second) 1.11.031.954 I slot print_timing: id 3 | task 35 | total time = 18424.96 ms / 141 tokens 1.11.031.960 I slot print_timing: id 3 | task 35 | graphs reused = 129 1.11.032.011 I slot release: id 3 | task 35 | stop processing: n_tokens = 173, truncated = 0 3.50.029.790 I slot get_availabl: id 3 | task -1 | selected slot by LCP similarity, sim_best = 0.333 (> 0.100 thold), f_keep = 0.382 3.50.175.603 I slot launch_slot_: id 3 | task 142 | processing task, is_child = 0 3.57.905.059 I slot print_timing: id 3 | task 142 | prompt processing, n_tokens = 105, progress = 0.86, t = 7.73 s / 13.58 tokens per second 3.59.618.519 I slot print_timing: id 3 | task 142 | prompt processing, n_tokens = 128, progress = 0.98, t = 9.44 s / 13.56 tokens per second 4.10.877.834 I slot print_timing: id 3 | task 142 | prompt eval time = 9819.15 ms / 132 tokens ( 74.39 ms per token, 13.44 tokens per second) 4.10.877.855 I slot print_timing: id 3 | task 142 | eval time = 10882.92 ms / 72 tokens ( 151.15 ms per token, 6.62 tokens per second) 4.10.877.858 I slot print_timing: id 3 | task 142 | total time = 20702.07 ms / 204 tokens 4.10.877.862 I slot print_timing: id 3 | task 142 | graphs reused = 198 4.10.877.944 I slot release: id 3 | task 142 | stop processing: n_tokens = 269, truncated = 0 |
cpu 에서 10 token/sec 미만으로 나온다.
| msec | token | token/sec |
| 2700.81 (안녕) | 25 | 9.25648231456489 |
| 4975.37 (안녕) | 46 | 9.24554354751506 |
| 18424.96 (너에 대해 소개) | 141 | 7.65266247525096 |
| 20702.07 (golang으로 hello world) | 204 | 9.85408705506261 |
| jetson nano + llama.cpp vulkan (0) | 2026.07.21 |
|---|---|
| jetson nano jtop (0) | 2026.07.20 |
| jetson nano 과 llama.cpp (cuda 가속, 빌드 포기) (0) | 2026.07.20 |
| jetson nano devloper kit SD card image(A02) (0) | 2026.07.20 |
| jetracer donkey car (0) | 2026.04.20 |
|
