nvidia tensor core

싼거 샀다 피보는 중 ㅋㅋㅋ

 

cuda core는 fp32나 fp64 행렬 단일 연산(곱/덧셈 등..) 에 특화 되어있고

tensor core는 복잡 정밀도의 (AxB) + C 에 대한 연산에 특화되어있는 것으로 보인다.

 

cuda core 로는 

AxB 를 먼저 수행하고(fp32) 거기에 +C를 해서 두번의 연산이 필요했다면

tensor 코어는 (A x B) + C 에 대해서 한번에 하드웨어 적으로 퉤~(물론 정밀도 희생)

 

복합정밀도, 복합 행렬 연산(FMA - Fused Multiply Add)

[링크 : https://comsys-pim.tistory.com/5]

[링크 : https://www.reddit.com/r/nvidia/comments/1hxmvm4/what_exactly_can_cuda_cores_do_that_tensor_cores/?tl=ko]

[링크 : https://youtu.be/h9Z4oGN89MU?t=1611]