`fp4 라는게 어떤 구조인지 궁금해서 찾아보는데

radix 4 라서 결국에는 fp16과 range는 동일하지만 정밀도가 낮아지는 것 같다.

 

1 1/4 1/16 1/64 1/256 1/1024 1/4096 1/16384 1/65536
1 0.25 0.0625 0.015625 0.00390625 0.0009765625 0.0002441406 0.0000610352



[링크 : https://t.hi098123.com/IEEE-754] // 온라인 계산기

The authors propose novel techniques to enable 4-bit (floating-point) quantized training for DNN training. The first technique is radix-4 fp4, which is a 1-3-0 (sign-exponent-mantissa) representation. 

[링크 : https://proceedings.neurips.cc/paper/2020/file/13b919438259814cd5be8cb45877d577-Review.html]


In the system with radix 13, for example, a string of digits such as 398 denotes the (decimal) number 3 × 132 + 9 × 131 + 8 × 130 = 632

[링크 : https://en.m.wikipedia.org/wiki/Radix]

'이론 관련 > 컴퓨터 관련' 카테고리의 다른 글

DDR3 pinout과 ECC  (0) 2024.04.01
uefi dxe pei  (0) 2024.04.01
1.58bit  (0) 2024.03.16
gps kalman  (0) 2024.03.13
db 식별/비식별 관계  (0) 2024.02.15
Posted by 구차니