radix 4 - fp4

`fp4 라는게 어떤 구조인지 궁금해서 찾아보는데

radix 4 라서 결국에는 fp16과 range는 동일하지만 정밀도가 낮아지는 것 같다.

 

1 1/4 1/16 1/64 1/256 1/1024 1/4096 1/16384 1/65536 1 0.25 0.0625 0.015625 0.00390625 0.0009765625 0.0002441406 0.0000610352

[링크 : https://t.hi098123.com/IEEE-754] // 온라인 계산기

The authors propose novel techniques to enable 4-bit (floating-point) quantized training for DNN training. The first technique is radix-4 fp4, which is a 1-3-0 (sign-exponent-mantissa) representation.

[링크 : https://proceedings.neurips.cc/paper/2020/file/13b919438259814cd5be8cb45877d577-Review.html]

In the system with radix 13, for example, a string of digits such as 398 denotes the (decimal) number 3 × 132 + 9 × 131 + 8 × 130 = 632

[링크 : https://en.m.wikipedia.org/wiki/Radix]