'2026/07 글 목록

'2026/07'에 해당되는 글 87건

11:52:40 nvidia thor - LLM
11:39:24 nvidia MIG(multiple instance GPU) - thor
11:15:10 nvidia jetson 아니고 nvidia thor
2026.07.23 obd can
2026.07.23 익성전자 is3400 usb hid 모드
2026.07.22 blender 먼가 숨기기 단축키
2026.07.22 blender quarternion
2026.07.21 jetson nano + llama.cpp vulkan
2026.07.21 sshfs
2026.07.21 graid

nvidia thor - LLM

모델이 작은거라 그런가 94% 인데 33W라.. 좀 더 빡세게 굴려봐야하나 ㅋㅋ

$ ./llama-b10099/llama-cli -m ./model/gemma4-e4b-qat/gemma-4-E4B-it-qat-UD-Q4_K_XL.gguf

> 안녕?
[ Prompt: 8.0 t/s | Generation: 45.2 t/s ]

> 너에 대한 소개
[ Prompt: 92.5 t/s | Generation: 51.4 t/s ]

> 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 803.0 t/s | Generation: 48.9 t/s ]

$ ./llama-b10099/llama-cli -m ./model/qwen3.5/Qwen3.5-0.8B-UD-Q4_K_XL.gguf -rea off

> 안녕?
[ Prompt: 152.3 t/s | Generation: 121.5 t/s ]

> 너에 대한 소개
[ Prompt: 218.0 t/s | Generation: 140.4 t/s ]

> 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 68.2 t/s | Generation: 136.5 t/s ]

컨텍스트 줄인다고 빨라지진 않네

$ ./llama-b10099/llama-cli -m ./model/qwen3.5/Qwen3.5-0.8B-UD-Q4_K_XL.gguf -rea off -c 4096

> 안녕?
[ Prompt: 177.3 t/s | Generation: 131.4 t/s ]

> 너에 대한 소개
[ Prompt: 335.9 t/s | Generation: 140.5 t/s ]

> 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 1389.9 t/s | Generation: 136.3 t/s ]

$ ./llama-b10099/llama-cli -m ./model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf
> 안녕?
[ Prompt: 1.0 t/s | Generation: 26.9 t/s ]

> 안녕?
[ Prompt: 65.8 t/s | Generation: 42.2 t/s ]

> 너에 대한 소개
[ Prompt: 121.2 t/s | Generation: 41.9 t/s ]

> 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 916.7 t/s | Generation: 41.1 t/s ]

gemma4-31B 는 조금 더 뜨끈해진다.

$ ./llama-b10099/llama-cli -m ./model/gemma4-31b/gemma-4-31B-it-UD-Q2_K_XL.gguf

> 안녕?
[ Prompt: 1.1 t/s | Generation: 6.9 t/s ]

> 너에 대한 소개
[ Prompt: 11.5 t/s | Generation: 7.1 t/s ]

> 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 68.3 t/s | Generation: 6.9 t/s ]

메모리가 의외로 얼마 안먹나?

nvidia@localhost:~/llm$ free -h
               total        used        free      shared  buff/cache   available
Mem:           122Gi        40Gi       2.2Gi        26Mi        81Gi        82Gi
Swap:          2.0Gi       256Ki       2.0Gi
nvidia@localhost:~/llm$ free -h
               total        used        free      shared  buff/cache   available
Mem:           122Gi        37Gi       5.0Gi        26Mi        81Gi        85Gi
Swap:          2.0Gi       256Ki       2.0Gi

파일이 11G 인데 저거밖에 안 먹는게 맞..나?

$ ll -h ./model/gemma4-31b/gemma-4-31B-it-UD-Q2_K_XL.gguf
-rw-rw-r-- 1 nvidia nvidia 11G 7월 24 11:11 ./model/gemma4-31b/gemma-4-31B-it-UD-Q2_K_XL.gguf

qwen3.6 35B는 의외로 빠르다 머지?

$ ./llama-b10099/llama-cli -m ./model/qwen3.6_35B/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf

> 안녕?
[ Prompt: 6.0 t/s | Generation: 43.9 t/s ]

> 너에 대한 소개
[ Prompt: 39.6 t/s | Generation: 45.1 t/s ]

> 파이썬으로 셀레니움을 통해 웹을 서칭하고 텍스트만 추출하고 makrdown 으로 변환후 md 파일과 pdf로 저장하는 기능을 구현해줘
[ Prompt: 93.7 t/s | Generation: 43.6 t/s ]

메모리는 봐도 모르겠다

nvidia@localhost:~/llm$ free -h
               total        used        free      shared  buff/cache   available
Mem:           122Gi        38Gi       3.8Gi        26Mi        81Gi        83Gi
Swap:          2.0Gi       256Ki       2.0Gi

nvidia@localhost:~/llm$ free -h
               total        used        free      shared  buff/cache   available
Mem:           122Gi        37Gi       5.0Gi        26Mi        81Gi        85Gi
Swap:          2.0Gi       256Ki       2.0Gi

+

$ ./llama-b10099/llama-cli -m ./model/gemma4-e4b/gemma-4-E4B-it-Q4_K_M.gguf

$ ./llama-b10099/llama-cli -m ./model/qwen3.6_35B/Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf

저작자표시 (새창열림)

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

llama.cpp for arm64 (0)	2026.07.20
qwen3.5 0.8B (0)	2026.07.19
LLM 지식 증류(knowledge distilation), lora (0)	2026.07.18
sLLM (경량 언어모델) (0)	2026.07.18
딥러닝은 참.. 전기가 많이 드는구나.. (0)	2026.07.16

Posted by 구차니

nvidia MIG(multiple instance GPU) - thor

헛다리를 짚은것 같은데 메모리가 안나오는건 공유 메모리를 써서 인가.. 싶기도 하고?

아무튼 thor iGPU에서는 최대 2개로 나누어 쓸 수 있나 본데

gfx는 외부 출력 포트를 쓸수 있냐 없냐의 차이인것 같고

[링크 : https://docs.nvidia.com/datacenter/tesla/mig-user-guide/supported-mig-profiles.html]

nvidia@localhost:~$ nvidia-smi -L
GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600)

nvidia@localhost:~$ nvidia-smi -i 0 -q

==============NVSMI LOG==============

Timestamp                                 : Fri Jul 24 11:33:07 2026
Driver Version                            : 580.00
CUDA Version                              : 13.0

Attached GPUs                             : 1
GPU 00000000:01:00.0
    Product Name                          : NVIDIA Thor
    Product Brand                         : GeForce
    Product Architecture                  : Blackwell
    Display Mode                          : Requested functionality has been deprecated
    Display Attached                      : No
    Display Active                        : Disabled
    Persistence Mode                      : Disabled
    Addressing Mode                       : ATS
    MIG Mode
        Current                           : Disabled
        Pending                           : Disabled
    Accounting Mode                       : Disabled
    Accounting Mode Buffer Size           : 4000
    Driver Model
        Current                           : N/A
        Pending                           : N/A
    Serial Number                         : N/A
    GPU UUID                              : GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600
    GPU PDI                               : 0x9257b02c0bd38a20
    Minor Number                          : 0
    VBIOS Version                         : N/A
    MultiGPU Board                        : No
    Board ID                              : 0x100
    Board Part Number                     : N/A
    GPU Part Number                       : 2B00--A1
    FRU Part Number                       : N/A
    Platform Info
        Chassis Serial Number             : N/A
        Slot Number                       : N/A
        Tray Index                        : N/A
        Host ID                           : N/A
        Peer Type                         : N/A
        Module Id                         : N/A
        GPU Fabric GUID                   : N/A
    Inforom Version
        Image Version                     : N/A
        OEM Object                        : N/A
        ECC Object                        : N/A
        Power Management Object           : N/A
    Inforom BBX Object Flush
        Latest Timestamp                  : N/A
        Latest Duration                   : N/A
    GPU Operation Mode
        Current                           : N/A
        Pending                           : N/A
    GPU C2C Mode                          : Disabled
    GPU Virtualization Mode
        Virtualization Mode               : None
        Host VGPU Mode                    : N/A
        vGPU Heterogeneous Mode           : N/A
    GPU Recovery Action                   : None
    GSP Firmware Version                  : 580.00
    IBMNPU
        Relaxed Ordering Mode             : N/A
    PCI
        Bus                               : 0x01
        Device                            : 0x00
        Domain                            : 0x0000
        Base Classcode                    : 0x3
        Sub Classcode                     : 0x2
        Device Id                         : 0x2B0010DE
        Bus Id                            : 00000000:01:00.0
        Sub System Id                     : 0x00000000
        GPU Link Info
            PCIe Generation
                Max                       : 1
                Current                   : 1
                Device Current            : 1
                Device Max                : 5
                Host Max                  : 1
            Link Width
                Max                       : 16x
                Current                   : 1x
        Bridge Chip
            Type                          : N/A
            Firmware                      : N/A
        Replays Since Reset               : 0
        Replay Number Rollovers           : 0
        Tx Throughput                     : N/A
        Rx Throughput                     : N/A
        Atomic Caps Outbound              : FETCHADD_32 FETCHADD_64 SWAP_32 SWAP_64 CAS_32 CAS_64
        Atomic Caps Inbound               : N/A
    Fan Speed                             : N/A
    Performance State                     : N/A
    Clocks Event Reasons                  : N/A
    Clocks Event Reasons Counters
        SW Power Capping                  : N/A
        Sync Boost                        : N/A
        SW Thermal Slowdown               : N/A
        HW Thermal Slowdown               : N/A
        HW Power Braking                  : N/A
    Sparse Operation Mode                 : N/A
    FB Memory Usage
        Total                             : N/A
        Reserved                          : N/A
        Used                              : N/A
        Free                              : N/A
    BAR1 Memory Usage
        Total                             : N/A
        Used                              : N/A
        Free                              : N/A
    Conf Compute Protected Memory Usage
        Total                             : 0 MiB
        Used                              : 0 MiB
        Free                              : 0 MiB
    Compute Mode                          : Default
    Utilization
        GPU                               : 98 %
        Memory                            : 0 %
        Encoder                           : 0 %
        Decoder                           : 0 %
        JPEG                              : 0 %
        OFA                               : 0 %
    Encoder Stats
        Active Sessions                   : 0
        Average FPS                       : 0
        Average Latency                   : 0
    FBC Stats
        Active Sessions                   : 0
        Average FPS                       : 0
        Average Latency                   : 0
    DRAM Encryption Mode
        Current                           : N/A
        Pending                           : N/A
    ECC Mode
        Current                           : N/A
        Pending                           : N/A
    ECC Errors
        Volatile
            SRAM Correctable              : N/A
            SRAM Uncorrectable Parity     : N/A
            SRAM Uncorrectable SEC-DED    : N/A
            DRAM Correctable              : N/A
            DRAM Uncorrectable            : N/A
        Aggregate
            SRAM Correctable              : N/A
            SRAM Uncorrectable Parity     : N/A
            SRAM Uncorrectable SEC-DED    : N/A
            DRAM Correctable              : N/A
            DRAM Uncorrectable            : N/A
            SRAM Threshold Exceeded       : N/A
        Aggregate Uncorrectable SRAM Sources
            SRAM L2                       : N/A
            SRAM SM                       : N/A
            SRAM Microcontroller          : N/A
            SRAM PCIE                     : N/A
            SRAM Other                    : N/A
        Channel Repair Pending            : N/A
        TPC Repair Pending                : N/A
    Retired Pages
        Single Bit ECC                    : N/A
        Double Bit ECC                    : N/A
        Pending Page Blacklist            : N/A
    Remapped Rows                         : N/A
    Temperature
        GPU Current Temp                  : 60 C
        GPU T.Limit Temp                  : N/A
        GPU Shutdown Temp                 : N/A
        GPU Slowdown Temp                 : N/A
        GPU Max Operating Temp            : N/A
        GPU Target Temperature            : N/A
        Memory Current Temp               : N/A
        Memory Max Operating Temp         : N/A
    GPU Power Readings
        Average Power Draw                : N/A
        Instantaneous Power Draw          : 36.21 W
        Current Power Limit               : N/A
        Requested Power Limit             : N/A
        Default Power Limit               : N/A
        Min Power Limit                   : N/A
        Max Power Limit                   : N/A
    GPU Memory Power Readings
        Average Power Draw                : N/A
        Instantaneous Power Draw          : N/A
    Module Power Readings
        Average Power Draw                : N/A
        Instantaneous Power Draw          : N/A
        Current Power Limit               : N/A
        Requested Power Limit             : N/A
        Default Power Limit               : N/A
        Min Power Limit                   : N/A
        Max Power Limit                   : N/A
    Power Smoothing                       : N/A
    Workload Power Profiles
        Requested Profiles                : N/A
        Enforced Profiles                 : N/A
    Clocks
        Graphics                          : 1575 MHz
        SM                                : N/A
        Memory                            : N/A
        Video                             : 315 MHz
    Applications Clocks
        Graphics                          : Requested functionality has been deprecated
        Memory                            : Requested functionality has been deprecated
    Default Applications Clocks
        Graphics                          : Requested functionality has been deprecated
        Memory                            : Requested functionality has been deprecated
    Deferred Clocks
        Memory                            : N/A
    Max Clocks
        Graphics                          : N/A
        SM                                : N/A
        Memory                            : N/A
        Video                             : N/A
    Max Customer Boost Clocks
        Graphics                          : N/A
    Clock Policy
        Auto Boost                        : N/A
        Auto Boost Default                : N/A
    Fabric
        State                             : Deprecated; See field Probe State instead
        Probe State                       : N/A
        Status                            : Deprecated; See field Probe Status instead
        Probe Status                      : N/A
        CliqueId                          : N/A
        ClusterUUID                       : N/A
        Health
            Summary                       : N/A
            Bandwidth                     : N/A
            Route Recovery in progress    : N/A
            Route Unhealthy               : N/A
            Access Timeout Recovery       : N/A
            Incorrect Configuration       : N/A
    Processes
        GPU instance ID                   : N/A
        Compute instance ID               : N/A
        Process ID                        : 3559
            Type                          : G
            Name                          : /usr/lib/xorg/Xorg
            Used GPU Memory               : 95 MiB
        GPU instance ID                   : N/A
        Compute instance ID               : N/A
        Process ID                        : 3775
            Type                          : G
            Name                          : /usr/bin/gnome-shell
            Used GPU Memory               : 58 MiB
        GPU instance ID                   : N/A
        Compute instance ID               : N/A
        Process ID                        : 8710
            Type                          : C+G
            Name                          : ./llama-b10099/llama-cli
            Used GPU Memory               : 33671 MiB
    Capabilities
        EGM                               : disabled

nvidia@localhost:~$ nvidia-smi mig -lgip
+-------------------------------------------------------------------------------+
| GPU instance profiles:                                                        |
| GPU   Name               ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                                Free/Total   GiB              CE    JPEG  OFA  |
|===============================================================================|

[링크 : https://blog.naver.com/techtrip/224167049409]

[링크 : https://docs.nvidia.com/jetson/archives/r39.2/DeveloperGuide/SD/MiG.html#getting-started-with-mig-on-jetson-thor]

+

gdm만 죽이나 isolate 해서 죽이나 별반 차이 없는 것 같이 안된다 ㅠㅠ

nvidia@localhost:~$ nvidia-smi -i 0
Fri Jul 24 11:57:43 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.00                 Driver Version: 580.00         CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA Thor                    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   40C  N/A               2W /  N/A  | Not Supported          |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            3559      G   /usr/lib/xorg/Xorg                       95MiB |
|    0   N/A  N/A            3775      G   /usr/bin/gnome-shell                     58MiB |
+-----------------------------------------------------------------------------------------+
nvidia@localhost:~$ systemctl stop gdm
==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ====
Authentication is required to stop 'gdm.service'.
Authenticating as: nvidia
Password:
==== AUTHENTICATION COMPLETE ====
nvidia@localhost:~$ nvidia-smi -i 0
Fri Jul 24 11:58:10 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.00                 Driver Version: 580.00         CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA Thor                    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   40C  N/A               1W /  N/A  | Not Supported          |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+
nvidia@localhost:~$ nvidia-smi -L
GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600)
nvidia@localhost:~$ nvidia-smi -i 0 -mig 1
Unable to enable MIG Mode for GPU 00000000:01:00.0: Insufficient Permissions
Terminating early due to previous errors.
nvidia@localhost:~$ sudo nvidia-smi -i 0 -mig 1
Enabled MIG Mode for GPU 00000000:01:00.0

Warning: persistence mode is disabled on device 00000000:01:00.0. See the Known Issues section of the nvidia-smi(1) man page for more information. Run with [--help | -h] switch to get more information on how to enable persistence mode.
All done.
nvidia@localhost:~$ nvidia-smi -L
GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600)
nvidia@localhost:~$ sudo nvidia-smi -L
GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600)
nvidia@localhost:~$ nvidia-smi
Fri Jul 24 12:00:54 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.00                 Driver Version: 580.00         CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA Thor                    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   40C  N/A               3W /  N/A  | Not Supported          |     N/A      Default |
|                                         |                        |              Enabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| MIG devices:                                                                            |
+------------------+----------------------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |              Shared Memory-Usage |        Vol|        Shared         |
|      ID  ID  Dev |                Shared BAR1-Usage | SM     Unc| CE ENC  DEC  OFA  JPG |
|                  |                                  |        ECC|                       |
|==================+==================================+===========+=======================|
|  No MIG devices found                                                                   |
+-----------------------------------------------------------------------------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+
nvidia@localhost:~$ nvidia-smi mig -lgip
+-------------------------------------------------------------------------------+
| GPU instance profiles:                                                        |
| GPU   Name               ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                                Free/Total   GiB              CE    JPEG  OFA  |
|===============================================================================|
Failed to display GPU instance profiles: Unknown Error
nvidia@localhost:~$ sudo nvidia-smi mig -lgip
+-------------------------------------------------------------------------------+
| GPU instance profiles:                                                        |
| GPU   Name               ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                                Free/Total   GiB              CE    JPEG  OFA  |
|===============================================================================|
Failed to display GPU instance profiles: Unknown Error

nvidia@localhost:~$ sudo nvidia-smi -pm 1
Enabled Legacy persistence mode for GPU 00000000:01:00.0.
All done.
nvidia@localhost:~$ sudo nvidia-smi -i 0 -mig 1
Enabled MIG Mode for GPU 00000000:01:00.0
All done.
nvidia@localhost:~$ sudo nvidia-smi mig -lgip
+-------------------------------------------------------------------------------+
| GPU instance profiles:                                                        |
| GPU   Name               ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                                Free/Total   GiB              CE    JPEG  OFA  |
|===============================================================================|
Failed to display GPU instance profiles: Unknown Error

driver 버전은 이런데..

NVIDIA-SMI 580.00 Driver Version: 580.00 CUDA Version: 13.0

[링크 : https://forums.developer.nvidia.com/t/jetson-thor-mig-enabled-but-unable-to-create-gpu-instances-driver-580-00-l4t-r38-2/372073]

jetpack 버전은 38.4 같다. 일단 위에서 JetPack 7.2GA/R39.2 라고 했으니 업데이드 해봐야하나?

$ dpkg-query --show nvidia-l4t-core
nvidia-l4t-core 38.4.0-20251230160601

[링크 : https://yoo-hk.tistory.com/555]

저작자표시 (새창열림)

'embeded > jetson' 카테고리의 다른 글

nvidia jetson 아니고 nvidia thor (0)	2026.07.24
jetson nano + llama.cpp vulkan (0)	2026.07.21
jetson nano jtop (0)	2026.07.20
jetson nano 4GB / qwen3.5 0.8B (0)	2026.07.20
jetson nano 과 llama.cpp (가속, 빌드 포기) (0)	2026.07.20

Posted by 구차니

nvidia jetson 아니고 nvidia thor

회사에 굴러 다니고 있어서 전기 먹여 봄

일단 blackwell 기반이니까 50 시리즈와 동급이란거구만

[링크 : https://www.nvidia.com/ko-kr/autonomous-machines/embedded-systems/jetson-thor/]

와우 금액 미쳤...

판매가 (VAT 별도/포함)
8,750,000원 (9,625,000원)

[링크 : https://www.devicemart.co.kr/goods/view?no=15796725&srsltid=AfmBOooug8Uqa3UGdtlryrdtVMt2Y_GPgt9JIldPH-1rxrBXUMnJPjMN]

음.. 소비전력 안보이고, 메모리 사용량 미지원인가?

메모리 128GB

그나저나 내부적으로 말이 오락가락 했나 dmidecode 에서는 AGX Thor 라고 나온다.

nvidia@localhost:~$ uname -a
Linux localhost.localdomain 6.8.12-tegra #1 SMP PREEMPT Tue Dec 30 15:40:41 PST 2025 aarch64 aarch64 aarch64 GNU/Linux

nvidia@localhost:~$ free -h
               total        used        free      shared  buff/cache   available
Mem:           122Gi       4.4Gi       117Gi        25Mi       2.2Gi       118Gi
Swap:          2.0Gi          0B       2.0Gi

nvidia@localhost:~$ cat /proc/meminfo
MemTotal:       128790212 kB
MemFree:        122909432 kB
MemAvailable:   124174080 kB
Buffers:           75332 kB
Cached:          2157868 kB
SwapCached:            0 kB
Active:           488036 kB
Inactive:        2835216 kB
Active(anon):       7456 kB
Inactive(anon):  1136416 kB
Active(file):     480580 kB
Inactive(file):  1698800 kB
Unevictable:       27380 kB
Mlocked:              16 kB
SwapTotal:       2097148 kB
SwapFree:        2097148 kB
Dirty:            214136 kB
Writeback:             0 kB
AnonPages:       1111168 kB
Mapped:           662168 kB
Shmem:             26448 kB
KReclaimable:     115036 kB
Slab:             331556 kB
SReclaimable:     115036 kB
SUnreclaim:       216520 kB
KernelStack:       16736 kB
PageTables:        27972 kB
SecPageTables:         0 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    66492252 kB
Committed_AS:    7415448 kB
VmallocTotal:   133141626880 kB
VmallocUsed:      111644 kB
VmallocChunk:          0 kB
Percpu:             9688 kB
HardwareCorrupted:     0 kB
AnonHugePages:    161792 kB
ShmemHugePages:        0 kB
ShmemPmdMapped:        0 kB
FileHugePages:         0 kB
FilePmdMapped:         0 kB
CmaTotal:         524288 kB
CmaFree:          484248 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
Hugetlb:               0 kB

nvidia@localhost:~$ cat /proc/cpuinfo
processor : 0
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 1
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 2
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 3
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 4
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 5
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 6
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 7
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 8
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 9
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 10
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 11
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 12
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

processor : 13
BogoMIPS : 2000.00
Features : fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma lrcpc dcpop sha3 sm3 sm4 asimddp sha512 sve asimdfhm dit uscat ilrcpc flagm ssbs sb paca pacg dcpodp sve2 sveaes svepmull svebitperm svesha3 svesm4 flagm2 frint svei8mm svebf16 i8mm bf16 dgh bti ecv afp wfxt
CPU implementer : 0x41
CPU architecture: 8
CPU variant : 0x0
CPU part : 0xd83
CPU revision : 0

$ sudo dmidecode
# dmidecode 3.5
Getting SMBIOS data from sysfs.
SMBIOS 3.6.0 present.
# SMBIOS implementations newer than version 3.5.0 are not
# fully supported by this version of dmidecode.
Table at 0x1FBB130000.

Handle 0x0000, DMI type 0, 26 bytes
BIOS Information
Vendor: EDK II
Version: 38.4.0-gcid-43443517
Release Date: 12/30/2025
ROM Size: 0 MB
Characteristics:
PCI is supported
PNP is supported
BIOS is upgradeable
BIOS shadowing is allowed
Boot from CD is supported
Selectable boot is supported
ACPI is supported
Targeted content distribution is supported
UEFI is supported
BIOS Revision: 0.0
Firmware Revision: 0.0

Handle 0x0001, DMI type 1, 27 bytes
System Information
Manufacturer: NVIDIA
Product Name: NVIDIA Jetson AGX Thor Developer Kit
Version: Not Specified
Serial Number: 1423525040774
UUID: 5ecc6819-51f8-517e-b26f-0f0163b2c9ab
Wake-up Type: Power Switch
SKU Number: Unknown
Family: Unknown

Handle 0x0002, DMI type 3, 25 bytes
Chassis Information
Manufacturer: NVIDIA
Type: Other
Lock: Not Present
Version: Unknown
Serial Number: Unknown
Asset Tag: 699-13834-0008-400 H.1
Boot-up State: Unknown
Power Supply State: Unknown
Thermal State: Unknown
Security Status: Unknown
OEM Information: 0x00000000
Height: 1 U
Number Of Power Cords: 1
Contained Elements: 0
SKU Number: Unknown

Handle 0x0003, DMI type 2, 17 bytes
Base Board Information
Manufacturer: NVIDIA
Product Name: Jetson
Version: Not Specified
Serial Number: 1423525040774
Asset Tag: 699-13834-0008-400 H.1
Features:
Board is a hosting board
Board is replaceable
Location In Chassis: Unknown
Chassis Handle: 0x0002
Type: Motherboard
Contained Object Handles: 0

Handle 0x0004, DMI type 13, 22 bytes
BIOS Language Information
Language Description Format: Long
Installable Languages: 1
en|US|iso8859-1
Currently Installed Language: en|US|iso8859-1

Handle 0x0005, DMI type 32, 11 bytes
System Boot Information
Status: No errors detected

Handle 0x0006, DMI type 7, 27 bytes
Cache Information
Socket Designation: L1 Instruction Cache
Configuration: Enabled, Not Socketed, Level 1
Operational Mode: Unknown
Location: Unknown
Installed Size: 896 kB
Maximum Size: 896 kB
Supported SRAM Types:
Unknown
Installed SRAM Type: Unknown
Speed: Unknown
Error Correction Type: Unknown
System Type: Instruction
Associativity: 4-way Set-associative

Handle 0x0007, DMI type 7, 27 bytes
Cache Information
Socket Designation: L1 Data Cache
Configuration: Enabled, Not Socketed, Level 1
Operational Mode: Unknown
Location: Unknown
Installed Size: 896 kB
Maximum Size: 896 kB
Supported SRAM Types:
Unknown
Installed SRAM Type: Unknown
Speed: Unknown
Error Correction Type: Unknown
System Type: Data
Associativity: 4-way Set-associative

Handle 0x0008, DMI type 7, 27 bytes
Cache Information
Socket Designation: L2 Cache
Configuration: Enabled, Not Socketed, Level 2
Operational Mode: Unknown
Location: Unknown
Installed Size: 14 MB
Maximum Size: 14 MB
Supported SRAM Types:
Unknown
Installed SRAM Type: Unknown
Speed: Unknown
Error Correction Type: Unknown
System Type: Unified
Associativity: 8-way Set-associative

Handle 0x0009, DMI type 4, 50 bytes
Processor Information
Socket Designation: Not Specified
Type: Central Processor
Family: ARMv8
Manufacturer: NVIDIA
ID: 64 02 6B 03 01 04 00 00
Signature: JEP-106 Bank 0x03 Manufacturer 0x6b, SoC ID 0x0264, SoC Revision 0x00000401
Version: Thor
Voltage: Unknown
External Clock: 1000 MHz
Max Speed: 2601 MHz
Current Speed: 2601 MHz
Status: Populated, Enabled
Upgrade: Unknown
L1 Cache Handle: 0x0007
L2 Cache Handle: 0x0008
L3 Cache Handle: Not Provided
Serial Number: Not Specified
Asset Tag: Not Specified
Part Number: Not Specified
Core Count: 14
Core Enabled: 14
Thread Count: 14
Characteristics:
64-bit capable
Multi-Core
Execute Protection
Enhanced Virtualization
Arm64 SoC ID

Handle 0x000A, DMI type 16, 23 bytes
Physical Memory Array
Location: System Board Or Motherboard
Use: System Memory
Error Correction Type: Single-bit ECC
Maximum Capacity: 128 GB
Error Information Handle: Not Provided
Number Of Devices: 1

Handle 0x000B, DMI type 19, 31 bytes
Memory Array Mapped Address
Starting Address: 0x00080000000
Ending Address: 0x0207FFFFFFF
Range Size: 128 GB
Physical Array Handle: 0x000A
Partition Width: 1

Handle 0xFEFF, DMI type 127, 4 bytes
End Of Table

저작자표시 (새창열림)

'embeded > jetson' 카테고리의 다른 글

nvidia MIG(multiple instance GPU) - thor (0)	2026.07.24
jetson nano + llama.cpp vulkan (0)	2026.07.21
jetson nano jtop (0)	2026.07.20
jetson nano 4GB / qwen3.5 0.8B (0)	2026.07.20
jetson nano 과 llama.cpp (가속, 빌드 포기) (0)	2026.07.20

Posted by 구차니

obd can

can 찾아보게 된 이유가 OBD 통신에 쓴다고 해서 봤던거니 다시 기록!

[링크 : https://clemencyking.tistory.com/m/26]

저작자표시 (새창열림)

'모종의 음모 > CAN' 카테고리의 다른 글

DeviceNet CAN (0)	2025.04.01
candump, cansend와 vcan (0)	2025.02.19
linux can 테스트(가상 CAN IF) (0)	2025.02.18
can-utils(cansend, candump) (0)	2025.02.18
can invader (0)	2024.01.09

Posted by 구차니

익성전자 is3400 usb hid 모드

전화해서 물어보고 링크를 찾음

usb uart 모드로 접속해서 auto read 활성화하고

usb hid 모드로 켜면 된다.

모드는 별거(?) 아니고

그냥 커넥터를 옮겨서 USB to Serial에 연결해서 ISReadPro 프로그램으로 auto read 모드 설정하고

HID keyBoard에 연결하면 된다고 하는데. 선 한번 끊어먹고 의기소침해져서 일단 hid 모드는 언젠가로 미뤄야지 ㅋㅋ

여기서 먼저 활성화 해주고

여기서 카드 종류 별로 활성화 하면되는데

가장 만만한건.. 125khz 처럼 작동하는 iso14443a - uid 모드가 아닐까 싶다.

[링크 : https://blog.naver.com/is_chjee/224318202281]

[링크 : https://blog.naver.com/is_chjee/224313352095]

+

따라해보는데 안되서 일단 귀찮아 패스

"IS-3400-V1.9A" 로 읽히는데 막상 auto read 하면 응답이 없는걸 봐서는 버전 영향을 받기도 하는 듯?

저작자표시 (새창열림)

'하드웨어 > rfid_nfc_smartcard' 카테고리의 다른 글

iso/iec 14443-1/2/3/4 (0)	2026.07.16
mifare classic 1k - access control (0)	2026.07.16
MCT(Mifare classic Tool) 앱에서 사용하는 키 (0)	2026.07.16
Proxmark, mfoc, mfcuk (0)	2026.07.15
mifare classic 1k 구조 (0)	2026.07.15

Posted by 구차니

blender 먼가 숨기기 단축키

shift - alt - Z (show overlays)

ctrl - space (오른쪽 메뉴 숨겨짐 - maximize area)

ctrl - alt - space (창모드 전체화면 - focus mode)

window - new window 하고

새로운 창에서(오브젝트는 원래 창과 공유됨)

focus mode + overlay off 하면 가장 간단하게 구현이 가능할 듯 하다.

저작자표시 (새창열림)

'프로그램 사용 > Blender' 카테고리의 다른 글

blender quarternion (0)	2026.07.22
blender ik (0)	2026.07.15
블렌더 이동 / 회전 제한 (0)	2026.07.15
blender key overlay (0)	2026.07.15
blender 모션캡쳐 관련 (0)	2026.07.14

Posted by 구차니

blender quarternion

여기 메뉴에서 XYZ Euler가 기본인데 이걸 클릭하면

아래와 같이 rotation이 XYZ 에서 WXYZ로 변경된다.

근데 어떻게 써야할지, 어떻게 이해해야 할 진 모르겠음..

[링크 : https://devtalk.blender.org/t/quaternion-interpolation/15883/14]

[링크 : https://docs.blender.org/manual/en/latest/modeling/geometry_nodes/utilities/rotation/quaternion_to_rotation.html]

저작자표시 (새창열림)

'프로그램 사용 > Blender' 카테고리의 다른 글

blender 먼가 숨기기 단축키 (0)	2026.07.22
blender ik (0)	2026.07.15
블렌더 이동 / 회전 제한 (0)	2026.07.15
blender key overlay (0)	2026.07.15
blender 모션캡쳐 관련 (0)	2026.07.14

Posted by 구차니

jetson nano + llama.cpp vulkan

jetson nano 4GB 에서 시도함.

cuda는 버전에 낮아서 안되고(llama.cpp가 cuda 12/13 지원. 얘는 10.x)

docker에서는 nvidia vulkan이 없어서 가속을 할 수 없어서 native vulkan빌드 부터 개고생해서 올렸는데

노력대비(2일 풀로 가동..) 효율이 좋다고 할 순 없겠지만,

그래도 나름 괜찮은 성능과 vulkan 가속이라 cpu 점유율 낮출 수 있다는게 그나마 위안인가..

그런데 이러면 발열은 어떨려나? cpu쪽이 더 낮을까.. gpu 쓰는게 낮을까?

옆에 스크롤이 점만해졌음 ㅋㅋㅋ 중반쯤에 포기하자는거 끝까지 멱살잡고 캐리해서 진행해버림

ㅋㅋ 이러니 ai가 반란을 일으키고 터미네이터가 되는건가 ㅋㅋ

2GB 메모리라면 최소한 스왑 6GB 이상은 해야 할 것으로 보인다.

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

일단 gcc9를 설치하면 손쉽게 행복해짐

sudo apt-get install -y software-properties-common
sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test
sudo apt-get update
sudo apt-get install -y gcc-9 g++-9

빌드를 위한 헤더들 및 버전 맞추기

dpkg -l | grep nvidia-l4t
sudo apt-get update
sudo apt-get install --only-upgrade -y \
  nvidia-l4t-core \
  nvidia-l4t-bootloader \
  nvidia-l4t-configs \
  nvidia-l4t-gputools \
  nvidia-l4t-initrd \
  nvidia-l4t-jetson-io \
  nvidia-l4t-oem-config \
  nvidia-l4t-tools
sudo ldconfig
vulkaninfo --summary   # 여기서 GPU(NVIDIA Tegra X1 (nvgpu))가 정상 인식되는지 확인

sudo apt-get install -y libvulkan-dev libvulkan1
sudo apt-get install -y nvidia-l4t-libvulkan

glslang 설치

cd ~
git clone https://github.com/KhronosGroup/glslang.git
cd glslang
python3 update_glslang_sources.py
mkdir build && cd build
export LDFLAGS="-lstdc++fs"
/opt/cmake/bin/cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local \
-DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9
make -j$(nproc)
sudo make install
which glslangValidator

shaderc 설치

cd ~
git clone https://github.com/google/shaderc.git
cd shaderc
python3 utils/git-sync-deps
mkdir build && cd build
export LDFLAGS="-lstdc++fs"
/opt/cmake/bin/cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local \
  -DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 \
  -DSHADERC_SKIP_TESTS=ON -DSHADERC_SKIP_EXAMPLES=ON \
  -DSPIRV_SKIP_EXECUTABLES=ON
make glslc_exe -j$(nproc)
sudo cp glslc/glslc /usr/local/bin/
which glslc
glslc --version

vulkan 관련 헤더 SPIRV 설치

cd ~
git clone https://github.com/KhronosGroup/SPIRV-Headers.git
cd SPIRV-Headers
mkdir build && cd build
/opt/cmake/bin/cmake .. -DCMAKE_INSTALL_PREFIX=/usr/local
sudo make install

cmake version 3.31.8 설치

/opt/cmake/bin/cmake .. -DGGML_VULKAN=ON -DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 -DCMAKE_C_FLAGS="-Wno-error"

아래는 빌드시 문제가 되서 수정한 부분

$ git status
On branch master
Your branch is up to date with 'origin/master'.

Changes not staged for commit:
  (use "git add <file>..." to update what will be committed)
  (use "git checkout -- <file>..." to discard changes in working directory)

modified:   ../../ggml/src/ggml-cpu/ggml-cpu-impl.h
modified:   ../../tools/ui/CMakeLists.txt

no changes added to commit (use "git add" and/or "git commit -a")
jetson@jetson-desktop:~/src/llama.cpp/build/bin$ git diff
diff --git a/ggml/src/ggml-cpu/ggml-cpu-impl.h b/ggml/src/ggml-cpu/ggml-cpu-impl.h
index 5d1ca5ffc..f39d56694 100644
--- a/ggml/src/ggml-cpu/ggml-cpu-impl.h
+++ b/ggml/src/ggml-cpu/ggml-cpu-impl.h
@@ -296,12 +296,28 @@ inline static uint8x16_t ggml_vqtbl1q_u8(uint8x16_t a, uint8x16_t b) {

#define ggml_vld1q_s16_x2 vld1q_s16_x2
#define ggml_vld1q_u8_x2  vld1q_u8_x2
-#define ggml_vld1q_u8_x4  vld1q_u8_x4
#define ggml_vld1q_s8_x2  vld1q_s8_x2
-#define ggml_vld1q_s8_x4  vld1q_s8_x4
#define ggml_vqtbl1q_s8   vqtbl1q_s8
#define ggml_vqtbl1q_u8   vqtbl1q_u8

+inline static uint8x16x4_t ggml_vld1q_u8_x4(const uint8_t * ptr) {
+    uint8x16x4_t res;
+    res.val[0] = vld1q_u8(ptr + 0);
+    res.val[1] = vld1q_u8(ptr + 16);
+    res.val[2] = vld1q_u8(ptr + 32);
+    res.val[3] = vld1q_u8(ptr + 48);
+    return res;
+}
+
+inline static int8x16x4_t ggml_vld1q_s8_x4(const int8_t * ptr) {
+    int8x16x4_t res;
+    res.val[0] = vld1q_s8(ptr + 0);
+    res.val[1] = vld1q_s8(ptr + 16);
+    res.val[2] = vld1q_s8(ptr + 32);
+    res.val[3] = vld1q_s8(ptr + 48);
+    return res;
+}
+
#endif // !defined(__aarch64__)

#if !defined(__ARM_FEATURE_DOTPROD)
diff --git a/tools/ui/CMakeLists.txt b/tools/ui/CMakeLists.txt
index 74bca417e..488fdc0be 100644
--- a/tools/ui/CMakeLists.txt
+++ b/tools/ui/CMakeLists.txt
@@ -105,3 +105,5 @@ endif()
target_include_directories(${TARGET} PUBLIC
     ${CMAKE_CURRENT_BINARY_DIR}
)
+
+target_link_libraries(llama-ui-embed PRIVATE stdc++fs)

git log. 일단 현시점 최신 버전인 b10068, 2026년 7월 18일자 소스

commit 571d0d540df04f25298d0e159e520d9fc62ed121 (HEAD -> master, tag: b10068, origin/master, origin/HEAD)
Author: Ruixiang Wang <wangruixiang07@outlook.com>
Date: Sat Jul 18 15:02:18 2026 +0200

클로드 만세!!! string 머시기 없다고 파이썬으로 해치워 버림

cd ~/src/llama.cpp
python3 << 'PYEOF'
path = "ggml/src/ggml-cpu/ggml-cpu-impl.h"
with open(path, "r") as f:
    content = f.read()

old = """#define ggml_vld1q_s16_x2 vld1q_s16_x2
#define ggml_vld1q_u8_x2  vld1q_u8_x2
#define ggml_vld1q_u8_x4  vld1q_u8_x4
#define ggml_vld1q_s8_x2  vld1q_s8_x2
#define ggml_vld1q_s8_x4  vld1q_s8_x4
#define ggml_vqtbl1q_s8   vqtbl1q_s8
#define ggml_vqtbl1q_u8   vqtbl1q_u8"""

new = """#define ggml_vld1q_s16_x2 vld1q_s16_x2
#define ggml_vld1q_u8_x2  vld1q_u8_x2
#define ggml_vld1q_s8_x2  vld1q_s8_x2
#define ggml_vqtbl1q_s8   vqtbl1q_s8
#define ggml_vqtbl1q_u8   vqtbl1q_u8

inline static uint8x16x4_t ggml_vld1q_u8_x4(const uint8_t * ptr) {
    uint8x16x4_t res;
    res.val[0] = vld1q_u8(ptr + 0);
    res.val[1] = vld1q_u8(ptr + 16);
    res.val[2] = vld1q_u8(ptr + 32);
    res.val[3] = vld1q_u8(ptr + 48);
    return res;
}

inline static int8x16x4_t ggml_vld1q_s8_x4(const int8_t * ptr) {
    int8x16x4_t res;
    res.val[0] = vld1q_s8(ptr + 0);
    res.val[1] = vld1q_s8(ptr + 16);
    res.val[2] = vld1q_s8(ptr + 32);
    res.val[3] = vld1q_s8(ptr + 48);
    return res;
}"""

assert old in content, "패턴을 못 찾음 - 파일 확인 필요"
content = content.replace(old, new)
with open(path, "w") as f:
    f.write(content)
print("패치 완료")
PYEOF

llama.cpp vulkan 활성화 해서 빌드.

-j4 하고 싶은데 두번 정도 메모리 엄청 먹으면서 하나 빌드하는게 있어서 늦더라도 -j1 추천

cd ~/src/llama.cpp
mkdir -p build && cd build
rm -rf *
export LDFLAGS="-lstdc++fs"
/opt/cmake/bin/cmake .. -DGGML_VULKAN=ON \
-DCMAKE_C_COMPILER=gcc-9 -DCMAKE_CXX_COMPILER=g++-9 \
-DCMAKE_C_FLAGS="-Wno-error"

make llama-cli llama-server -j1

그렇게 빌드된 녀석을 qwen3.5-0.8B-Q4 돌리면!

$ ./llama-cli -m ~/llm/Qwen3.5-0.8B-Q4_0.gguf --chat-template-kwargs "{\"enable_thinking\": false}" -c 4096 -ngl 99 -fa on

Loading model...

▄▄ ▄▄
██ ██
██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
                                    ██    ██
                                    ▀▀    ▀▀

build      : b10068-571d0d540
model      : /home/jetson/llm/Qwen3.5-0.8B-Q4_0.gguf
ftype      : Q4_0
modalities : text

available commands:
  /exit or Ctrl+C     stop or exit
  /regen              regenerate the last response
  /clear              clear the chat history
  /read <file>        add a text file
  /glob <pattern>     add text files using globbing pattern

> 안녕?
안녕하세요! 어시, 어떻게 도와드릴 수 있을까요?

[ Prompt: 21.4 t/s | Generation: 9.1 t/s ]

> 안녕?
안녕하세요! 어시, 어떻게 도와드릴 수 있을까요?

[ Prompt: 23.0 t/s | Generation: 9.1 t/s ]

> 너에 대해 소개
안녕하세요! 저는 인공지능(AI) 기술의 능력을 활용하여 정보를 제공하거나 논리적 사고를 도와줄 수 있는 **공급 서비스 봇 (Assistant)**입니다.

나는 다음과 같은 역할을 수행할 수 있습니다:
*   **정보 제공**: 지식 기반의 정보를 검색하고 요약 또는 정리해 줄 수 있습니다.
*   **논리적 분석**: 문장 구조나 논리 논리를 분석하여 설명을 돕습니다.
*   **문제 해결**: 질문에 답하거나 상황을 분석할 수 있습니다.
*   **대화 및 학습**: 대화와 학습을 통해 사용자 경험을 개선해 줍니다.

이러한 기능을 통해 **AI**를 대신할 수 있는 인간과 유사한 능력으로 **사용자**에게 도움을 줄 수 있습니다.

어떤 내용을 원하시는가요? (예: 답변, 설명, 대화, 학습 자료 등)

[ Prompt: 21.8 t/s | Generation: 8.5 t/s ]

> 코드 작성 python hello world 출력
네, 안녕하세요! 저는 인공지능(AI) 기술의 능력을 활용하여 정보를 제공하거나 논리적 사고를 도와드릴 수 있는 서비스 봇입니다.

제대안은 **Python**을 사용하여 `print` 함수로 `hello world`를 출력하는 코드를 작성해 드립니다.

```python
print("hello world")
```

이 코드를 실행하면 다음 문장이 출력됩니다:
`hello world`

혹시 다른 언어 (예: JavaScript, Java 등) 의 `hello world` 예제를 작성하고 싶으시다면 말씀해 주세요!

[ Prompt: 37.1 t/s | Generation: 8.4 t/s ]

jtop 에서 GPU 잘 올라간다. ㅋㅋㅋ

메모리는 1.2G / 3.9G. 잘하면 2G 모델에서도 돌아가겠는데?

요건 사용하지 않을때 GPU 정보. 76.8MHz 까지 떨어지다니 ㄷㄷ

혹시나 몰라서 동일 조건에서 gpu 사용하지 않도록 ngl 0 으로 하고 테스트

$ ./llama-cli -m ~/llm/Qwen3.5-0.8B-Q4_0.gguf --chat-template-kwargs "{\"enable_thinking\": false}" -c 4096 -ngl 0 -fa on

Loading model...

▄▄ ▄▄
██ ██
██ ██  ▀▀█▄ ███▄███▄  ▀▀█▄    ▄████ ████▄ ████▄
██ ██ ▄█▀██ ██ ██ ██ ▄█▀██    ██    ██ ██ ██ ██
██ ██ ▀█▄██ ██ ██ ██ ▀█▄██ ██ ▀████ ████▀ ████▀
                                    ██    ██
                                    ▀▀    ▀▀

build      : b10068-571d0d540
model      : /home/jetson/llm/Qwen3.5-0.8B-Q4_0.gguf
ftype      : Q4_0
modalities : text

available commands:
  /exit or Ctrl+C     stop or exit
  /regen              regenerate the last response
  /clear              clear the chat history
  /read <file>        add a text file
  /glob <pattern>     add text files using globbing pattern

> 안녕?
안녕하세요! 네, 알겠습니다. 저는 인공지능으로 대화하고 정보를 제공해 드릴 수 있는 도구입니다. 무엇을 도와드릴까요? 😊

[ Prompt: 5.9 t/s | Generation: 3.3 t/s ]

> 너에 대해 소개해줘
안녕하세요! 네, 알겠습니다. 저는 인공지능으로 대화하고 정보를 제공해 드릴 수 있는 도구입니다. 무엇을 도와드릴까요? 😊

[ Prompt: 9.2 t/s | Generation: 3.3 t/s ]

> 파이썬으로 현재 디렉토리 목록 보는 프로그램 작서앻줘ㅏ
프라이썬으로 현재 디렉토리 목록을 보고 싶으신가요? 😊

이제 바로 `dir` 명령어에 대한 설명부터 실행 방법까지 알려드릴게요.

### 📂 디렉토리 목록을 표시하는 명령어

프라이썬에서 파일이나 디렉토리를 표시하려면 먼저 `dir` 명령어를 사용합니다.

```bash
cd <디렉토리명>
```

예를 들어, `C:\Users\박\Documents`를 표시하려면:
```bash
cd C:\Users\박\Documents
```
**단순히 `dir`을 입력하면 현재 디렉토리를 표시할 수 있습니다.**

---

### 🛠️ 실행 방법

#### 1. **프라이썬을 실행하기**
프라이썬은 웹 브라우저로 작동하는 프로그램으로, 브라우저에서 직접 실행해 볼 수 있습니다.

**단순 브라우저에서 실행하기:**
*   **Chrome/Edge/ChromeOS:** `https://www.python.org/` 에서 `dir` 명령어 추가하기 (F12 또는 `F11`를 누ار)
*   **Mac OS:** `Finder` → `Extensions` → `File Explorer` → `Python` → `dir`

**프라이썬을 설치하기:**
1.  `https://www.python.org/` 에서 `Install Python` 클릭
2.  설치 후 `~` 경로에 추가되면, 브라우저에서 `file://` 주소창을 입력하고 입력한 URL 을 보시면 됩니다.

---

### 💻 기본 실행 예시

```python
# 위 설명에서 예시처럼, 현재 디렉토리를 확인
dir
```

혹시 특정 파일이나 디렉토리를 찾으셨다면 `dir` 대신 `find` 명령어도 사용할 수 있습니다.
```bash
find <디렉토리명> -name "파일명"
```

어떤 작업을 하되든 프라이썬이 도와드릴게요! 😊

[ Prompt: 10.0 t/s | Generation: 3.1 t/s ]

어.. 그래도 2.7배. 약간 과장하면 3배 상승이네?

저작자표시 (새창열림)

'embeded > jetson' 카테고리의 다른 글

nvidia MIG(multiple instance GPU) - thor (0)	2026.07.24
nvidia jetson 아니고 nvidia thor (0)	2026.07.24
jetson nano jtop (0)	2026.07.20
jetson nano 4GB / qwen3.5 0.8B (0)	2026.07.20
jetson nano 과 llama.cpp (가속, 빌드 포기) (0)	2026.07.20

Posted by 구차니

sshfs

예전에 vscode에서 써보려고 찾았었는데

이번에 claude code에서 원격지꺼 하려고 하니 이걸 추천해주네

$ sshfs
명령어 'sshfs' 을(를) 찾을 수 없습니다. 그러나 다음을 통해 설치할 수 있습니다:
sudo apt install sshfs

$ sudo apt install sshfs
패키지 목록을 읽는 중입니다... 완료
의존성 트리를 만드는 중입니다... 완료
상태 정보를 읽는 중입니다... 완료
다음 새 패키지를 설치할 것입니다:
sshfs
0개 업그레이드, 1개 새로 설치, 0개 제거 및 0개 업그레이드 안 함.
45.1 k바이트 아카이브를 받아야 합니다.
이 작업 후 126 k바이트의 디스크 공간을 더 사용하게 됩니다.

$ sshfs minimonk@192.168.40.238:/mnt mnt
minimonk@192.168.40.238's password:

$ mount | grep ssh
minimonk@192.168.40.238:/mnt on /home/minimonk/mnt type fuse.sshfs (rw,nosuid,nodev,relatime,user_id=1000,group_id=1000)

$ umount mnt

[링크 : https://linux.die.net/man/1/sshfs]

저작자표시 (새창열림)

'Linux' 카테고리의 다른 글

fc-list 폰트 관리 (0)	2026.06.09
hdmi 연결과 비디오 메모리 사용량 (0)	2026.05.02
jstest (0)	2026.04.03
리눅스 메모리 timing 확인하기 (0)	2026.01.27
journalctl 옵션 (0)	2026.01.20

Posted by 구차니

graid

poseidon os 는 sw로 구현된거라 느린 건 어쩔수 없는 거라는데

[링크 : https://spdk.io/]

[링크 : https://github.com/poseidonos/poseidonos] 23년 3월 커밋이 마지막. poseidonos.io는 도메인 날아간듯.

nvidia gpu로 asic을 대체하고 raid 구현한거.

single device보다 더 높게 나오는건 도대체 무슨 마법이냐

[링크 : https://tech.gluesys.com/blog/2022/10/28/GRAID_and_NVMe.html]

저작자표시 (새창열림)

'하드웨어 > RAID' 카테고리의 다른 글

raid - predicted fail count (0)	2024.04.22
MSM 디스크 제거시엔 stop! (0)	2024.04.19
raid drive roaming (0)	2024.04.18
SSD cahcecade 포기 (0)	2024.04.18
MSM device id? (0)	2024.04.17

Posted by 구차니

구차니의 잡동사니 모음

'2026/07'에 해당되는 글 87건

nvidia thor - LLM

'프로그램 사용 > ai 프로그램' 카테고리의 다른 글

nvidia MIG(multiple instance GPU) - thor

'embeded > jetson' 카테고리의 다른 글

nvidia jetson 아니고 nvidia thor

'embeded > jetson' 카테고리의 다른 글

obd can

'모종의 음모 > CAN' 카테고리의 다른 글

익성전자 is3400 usb hid 모드

'하드웨어 > rfid_nfc_smartcard' 카테고리의 다른 글

blender 먼가 숨기기 단축키

'프로그램 사용 > Blender' 카테고리의 다른 글

blender quarternion

'프로그램 사용 > Blender' 카테고리의 다른 글

jetson nano + llama.cpp vulkan

'embeded > jetson' 카테고리의 다른 글

sshfs

'Linux' 카테고리의 다른 글

graid

'하드웨어 > RAID' 카테고리의 다른 글

카테고리

공지사항

태그목록

최근에 올라온 글

최근에 달린 댓글

티스토리툴바