nvidia jetson agx thor / mig

mig 사용하기 위한 설정들 시작!

필요없는 데몬들 죽이고, persistent mode on

 

nvidia-smi -mig 1 은 root 권한이 있어야 한다.

아무튼 켜주고 나면 MIG M. 에 Disabled에서 Enabled로 변경된다.

 

grahic instance만 생성하고 compute instance는 안했는데

gi가 생성되어서 그런가  insufficient resource라고 에러가 난다.

nvidia@nvidia:~$ sudo nvidia-smi mig -cgi 80,83 Successfully created GPU instance ID  2 on GPU  0 using profile MIG 1g.0gb (ID 80) Successfully created GPU instance ID  1 on GPU  0 using profile MIG 2g.0gb+gfx (ID 83) nvidia@nvidia:~$ nvidia-smi -L GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600) nvidia@nvidia:~$ nvidia-smi ... |  No MIG devices found                                                                   | ... nvidia@nvidia:~$ sudo nvidia-smi mig -cci 80,83 Unable to create a compute instance on GPU  0 GPU instance ID  2 using profile 80: Invalid Argument Failed to create compute instances: Invalid Argument nvidia@nvidia:~$ sudo nvidia-smi mig -cgi 80,83 -C Unable to create a GPU instance on GPU  0 using profile 80: Insufficient Resources Failed to create GPU instances: Insufficient Resources

 

하드웨어 건드리는거라 그런가 은근히 root 권한 많이 요청하네

mig -dgi 옵션으로 삭제

nvidia@nvidia:~$ nvidia-smi mig -dgi No GPU instances found: Insufficient Permissions nvidia@nvidia:~$ sudo nvidia-smi mig -dgi Successfully destroyed GPU instance ID  2 from GPU  0 Successfully destroyed GPU instance ID  1 from GPU  0

 

-C 주면 잘 생성된다.

nvidia@nvidia:~$ sudo nvidia-smi mig -cgi 80,83 -C Successfully created GPU instance ID  2 on GPU  0 using profile MIG 1g.0gb (ID 80) Successfully created compute instance ID  0 on GPU  0 GPU instance ID  2 using profile MIG 1g.0gb (ID  0) Successfully created GPU instance ID  1 on GPU  0 using profile MIG 2g.0gb+gfx (ID 83) Successfully created compute instance ID  0 on GPU  0 GPU instance ID  1 using profile MIG 2g.0gb (ID  1) nvidia@nvidia:~$ nvidia-smi -L GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600)   MIG 2g.0gb      Device  0: (UUID: MIG-031bd8db-02a6-5420-968d-7fcdf907f7e4)   MIG 1g.0gb      Device  1: (UUID: MIG-60591740-f26d-525b-ad5a-5f5ba115bc71)

 

옵션 주면 ci랑 di 생성된게 보인다.

 

-C 안주고 하나씩 하는거 어떻게 해야하지 ? 일단 맨땅에 헤딩 시작!

자원부족이라고 난리나고 있다.

nvidia@nvidia:~$ sudo nvidia-smi mig -dci Successfully destroyed compute instance ID  0 from GPU  0 GPU instance ID  2 Successfully destroyed compute instance ID  0 from GPU  0 GPU instance ID  1 nvidia@nvidia:~$ sudo nvidia-smi mig -cgi 80,83  Unable to create a GPU instance on GPU  0 using profile 80: Insufficient Resources Failed to create GPU instances: Insufficient Resources nvidia@nvidia:~$ sudo nvidia-smi mig -lci No compute instances found: Not Found

 

먼가 빼먹은거 같으니 일단 삭제하고

nvidia@nvidia:~$ sudo nvidia-smi mig -dgi 80,83  Option "80,83" is not recognized. nvidia@nvidia:~$ sudo nvidia-smi mig -dgi 1,2 Option "1,2" is not recognized. nvidia@nvidia:~$ sudo nvidia-smi mig -dgi Successfully destroyed GPU instance ID  2 from GPU  0 Successfully destroyed GPU instance ID  1 from GPU  0

 

list ci/gi profile 명령으로 식별자 확인.. 음.. 위에서 not recognized 뜰만했네

그나저나 lcip 에서 1c.2g.0gb는 어따 써야 쓸 수 있을까?

 

몇 번 해보니 gi를 생성하고 거기에 ci 프로필을 연결해서 생성하면 되는것 같다.

nvidia@nvidia:~$ sudo nvidia-smi mig -cci -gi 1 Successfully created compute instance ID  0 on GPU  0 GPU instance ID  1 using profile MIG 2g.0gb (ID  1) nvidia@nvidia:~$ sudo nvidia-smi mig -cci -gi 2 Successfully created compute instance ID  0 on GPU  0 GPU instance ID  2 using profile MIG 1g.0gb (ID  0)

 

-C 준 것 처럼 생성된 것 같기도?

 

그래서 동시에 접속해서 해보니 성능도 많이 떨어지지만, (기준 140 token/s <, 현재 60+ 45 token/s, 75%)

동시에 되는거 봐서는 잘 나눠진거 같은데..

문제는 소비전력이 이상하게 낮고(단독으로 돌리면 24W. 성능 저하랑 고라혀면 24*0.75 = 16W 딱인가?)

사용율은 N/A가 되서 나오지 않는 점. 그게 관리 상의 난점이군.

 

+

다시 한번 시도. 직접 지정해주는게 큰 의미는 없어 보이니까, 그냥 -C 하는게 나을듯 하다.

그나저나 ci 에서 0과 0*의 차이를 모르겠다. "*" 달린 애가 우선적으로 된다는 의미이려나?

nvidia@nvidia:~/llm$ sudo nvidia-smi mig -lcip +--------------------------------------------------------------------------------------+ | Compute instance profiles:                                                           | | GPU     GPU       Name             Profile  Instances   Exclusive       Shared       | |       Instance                       ID     Free/Total     SM       DEC   ENC   OFA  | |         ID                                                          CE    JPEG       | |======================================================================================| |   0      2       MIG 1g.0gb           0*     1/1            6        1     1     0   | |                                                                      1     1         | +--------------------------------------------------------------------------------------+ |   0      1       MIG 1c.2g.0gb        0      1/1            6        1     1     0   | |                                                                      1     1         | +--------------------------------------------------------------------------------------+ |   0      1       MIG 2g.0gb           1*     1/1           12        1     1     0   | |                                                                      1     1         | +--------------------------------------------------------------------------------------+ nvidia@nvidia:~/llm$ nvidia-smi -L; sudo nvidia-smi mig -lgi ; sudo nvidia-smi mig -lci GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600) +---------------------------------------------------------+ | GPU instances:                                          | | GPU   Name               Profile  Instance   Placement  | |                            ID       ID       Start:Size | |=========================================================| |   0  MIG 1g.0gb            80        2          2:1     | +---------------------------------------------------------+ |   0  MIG 2g.0gb+gfx        83        1          0:2     | +---------------------------------------------------------+ No compute instances found: Not Found nvidia@nvidia:~/llm$ sudo nvidia-smi mig -gi 2 -cci 1 Unable to create a compute instance on GPU  0 GPU instance ID  2 using profile 1: Invalid Argument Failed to create compute instances: Invalid Argument nvidia@nvidia:~/llm$ sudo nvidia-smi mig -gi 2 -cci 0 Successfully created compute instance ID  0 on GPU  0 GPU instance ID  2 using profile MIG 1g.0gb (ID  0) nvidia@nvidia:~/llm$ nvidia-smi -L; sudo nvidia-smi mig -lgi ; sudo nvidia-smi mig -lci  GPU 0: NVIDIA Thor (UUID: GPU-a7c66ad2-6dbb-0ab8-c1a2-37ba6dba3600)   MIG 1g.0gb      Device  0: (UUID: MIG-60591740-f26d-525b-ad5a-5f5ba115bc71) +---------------------------------------------------------+ | GPU instances:                                          | | GPU   Name               Profile  Instance   Placement  | |                            ID       ID       Start:Size | |=========================================================| |   0  MIG 1g.0gb            80        2          2:1     | +---------------------------------------------------------+ |   0  MIG 2g.0gb+gfx        83        1          0:2     | +---------------------------------------------------------+ +--------------------------------------------------------------------+ | Compute instances:                                                 | | GPU     GPU       Name             Profile   Instance   Placement  | |       Instance                       ID        ID       Start:Size | |         ID                                                         | |====================================================================| |   0      2       MIG 1g.0gb           0         0          0:1     | +--------------------------------------------------------------------+