ubuntu iperf3 10g 테스트 실패

G4560 / 4GB / 128GB SATA SSD 에서 테스트 했는데

SSD도 문제가 있나.. 아니면 리눅스도 이제 4GB로는 무리인가.. 부팅도 오래걸리고, 설치도 엄청 오래 걸렸다.

 

최대 설정가능한 MTU는 ip 명령을 통해 확인이 가능하고

$ ip -d link list 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0  allmulti 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 tso_max_size 524280 tso_max_segs 65535 gro_max_size 65536  2: enp3s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000     link/ether 60:45:cb:9d:3a:12 brd ff:ff:ff:ff:ff:ff promiscuity 0  allmulti 0 minmtu 68 maxmtu 9194 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 64000 gso_max_segs 64 tso_max_size 64000 tso_max_segs 64 gro_max_size 65536 parentbus pci parentdev 0000:03:00.0  3: enp1s0f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000     link/ether f4:e9:d4:8c:d6:60 brd ff:ff:ff:ff:ff:ff promiscuity 0  allmulti 0 minmtu 46 maxmtu 9600 addrgenmode eui64 numtxqueues 46 numrxqueues 16 gso_max_size 65536 gso_max_segs 65535 tso_max_size 65536 tso_max_segs 65535 gro_max_size 65536 portid f4e9d48cd660 parentbus pci parentdev 0000:01:00.0  4: enp1s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000     link/ether f4:e9:d4:8c:d6:62 brd ff:ff:ff:ff:ff:ff promiscuity 0  allmulti 0 minmtu 46 maxmtu 9600 addrgenmode eui64 numtxqueues 46 numrxqueues 16 gso_max_size 65536 gso_max_segs 65535 tso_max_size 65536 tso_max_segs 65535 gro_max_size 65536 portid f4e9d48cd662 parentbus pci parentdev 0000:01:00.1  $ sudo ifconfig enp1s0f1 mtu 9600

[링크: https://unix.stackexchange.com/questions/552107/how-to-get-maximum-supported-mtu-size-for-interface]

 

위는 MTU 1500

아래는 MTU 9600 로 설정하고 테스트 했는데

커널 내부 전송이었는지 10G NIC 인데 40G가 나오고 난리.. -_-

아무튼 MTU가 커지니 좀 안정적으로 40G 이상 나오는 것 정도로 정리되는데

$ iperf3 -s ----------------------------------------------------------- Server listening on 5201 (test #1) ----------------------------------------------------------- Accepted connection from 192.168.0.1, port 46302 [  5] local 192.168.0.1 port 5201 connected to 192.168.0.1 port 46304 [ ID] Interval           Transfer     Bitrate [  5]   0.00-1.00   sec  5.09 GBytes  43.7 Gbits/sec                   [  5]   1.00-2.00   sec  4.58 GBytes  39.4 Gbits/sec                   [  5]   2.00-3.00   sec  3.87 GBytes  33.2 Gbits/sec                   [  5]   3.00-4.00   sec  4.58 GBytes  39.4 Gbits/sec                   [  5]   4.00-5.00   sec  4.47 GBytes  38.4 Gbits/sec                   [  5]   5.00-6.00   sec  4.80 GBytes  41.3 Gbits/sec                   [  5]   6.00-7.00   sec  4.78 GBytes  41.0 Gbits/sec                   [  5]   7.00-8.00   sec  3.46 GBytes  29.8 Gbits/sec                   [  5]   8.00-9.00   sec  2.80 GBytes  24.1 Gbits/sec                   [  5]   9.00-10.00  sec  3.33 GBytes  28.6 Gbits/sec                   [  5]  10.00-10.00  sec   768 KBytes  23.8 Gbits/sec                   - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval           Transfer     Bitrate [  5]   0.00-10.00  sec  41.8 GBytes  35.9 Gbits/sec                  receiver

$ iperf3 -c 192.168.0.1 Connecting to host 192.168.0.1, port 5201 [  5] local 192.168.0.1 port 46304 connected to 192.168.0.1 port 5201 [ ID] Interval           Transfer     Bitrate         Retr  Cwnd [  5]   0.00-1.00   sec  5.09 GBytes  43.7 Gbits/sec    0   1.62 MBytes        [  5]   1.00-2.00   sec  3.34 GBytes  28.7 Gbits/sec    3   3.31 MBytes        [  5]   2.00-3.00   sec  3.86 GBytes  33.2 Gbits/sec    0   4.12 MBytes        [  5]   3.00-4.00   sec  4.58 GBytes  39.3 Gbits/sec    0   4.12 MBytes        [  5]   4.00-5.00   sec  4.47 GBytes  38.4 Gbits/sec    0   4.12 MBytes        [  5]   5.00-6.00   sec  4.80 GBytes  41.3 Gbits/sec    0   4.12 MBytes        [  5]   6.00-7.00   sec  4.75 GBytes  40.8 Gbits/sec    0   4.12 MBytes        [  5]   7.00-8.00   sec  3.45 GBytes  29.6 Gbits/sec    0   4.12 MBytes        [  5]   8.00-9.00   sec  2.79 GBytes  23.9 Gbits/sec    0   4.12 MBytes        [  5]   9.00-10.00  sec  3.32 GBytes  28.6 Gbits/sec    2   4.12 MBytes        - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval           Transfer     Bitrate         Retr [  5]   0.00-10.00  sec  41.8 GBytes  35.9 Gbits/sec    5             sender [  5]   0.00-10.00  sec  41.8 GBytes  35.9 Gbits/sec                  receiver iperf Done.

----------------------------------------------------------- Server listening on 5201 (test #4) ----------------------------------------------------------- Accepted connection from 192.168.0.1, port 39920 [  5] local 192.168.0.1 port 5201 connected to 192.168.0.1 port 39926 [ ID] Interval           Transfer     Bitrate [  5]   0.00-1.00   sec  4.99 GBytes  42.8 Gbits/sec                   [  5]   1.00-2.00   sec  5.43 GBytes  46.6 Gbits/sec                   [  5]   2.00-3.00   sec  5.30 GBytes  45.5 Gbits/sec                   [  5]   3.00-4.00   sec  5.39 GBytes  46.3 Gbits/sec                   [  5]   4.00-5.00   sec  5.31 GBytes  45.6 Gbits/sec                   [  5]   5.00-6.00   sec  5.21 GBytes  44.7 Gbits/sec                   [  5]   6.00-7.00   sec  5.39 GBytes  46.3 Gbits/sec                   [  5]   7.00-8.00   sec  5.35 GBytes  46.0 Gbits/sec                   [  5]   8.00-9.00   sec  5.37 GBytes  46.1 Gbits/sec                   [  5]   9.00-10.00  sec  5.61 GBytes  48.2 Gbits/sec                   [  5]  10.00-10.00  sec   512 KBytes  17.4 Gbits/sec                   - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval           Transfer     Bitrate [  5]   0.00-10.00  sec  53.4 GBytes  45.8 Gbits/sec                  receiver

$ iperf3 -c 192.168.0.1 Connecting to host 192.168.0.1, port 5201 [  5] local 192.168.0.1 port 39926 connected to 192.168.0.1 port 5201 [ ID] Interval           Transfer     Bitrate         Retr  Cwnd [  5]   0.00-1.00   sec  4.99 GBytes  42.8 Gbits/sec    0   1.12 MBytes        [  5]   1.00-2.00   sec  5.41 GBytes  46.4 Gbits/sec    0   1.19 MBytes        [  5]   2.00-3.00   sec  5.30 GBytes  45.5 Gbits/sec    0   1.37 MBytes        [  5]   3.00-4.00   sec  3.92 GBytes  33.7 Gbits/sec    0   1.37 MBytes        [  5]   4.00-5.00   sec  4.99 GBytes  42.9 Gbits/sec    0   1.37 MBytes        [  5]   5.00-6.00   sec  5.21 GBytes  44.7 Gbits/sec    0   3.18 MBytes        [  5]   6.00-7.00   sec  5.39 GBytes  46.3 Gbits/sec    0   3.18 MBytes        [  5]   7.00-8.00   sec  5.35 GBytes  46.0 Gbits/sec    0   3.18 MBytes        [  5]   8.00-9.00   sec  5.35 GBytes  46.0 Gbits/sec    0   3.18 MBytes        [  5]   9.00-10.00  sec  5.62 GBytes  48.2 Gbits/sec    0   3.18 MBytes        - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval           Transfer     Bitrate         Retr [  5]   0.00-10.00  sec  53.4 GBytes  45.8 Gbits/sec    0             sender [  5]   0.00-10.00  sec  53.4 GBytes  45.8 Gbits/sec                  receiver iperf Done.

 

-P 1 혹은 옵션 없이 하면 50% 정도 먹고

 

-P 4로 4 프로세스 사용하도록 하면 100%은 찍는데

물리 cpu가 2개에 HT 4개인 녀석이라, 40GBps 를 초과하진 못한다.

[링크: https://www.reddit.com/r/homelab/comments/11v94kz/new_10g_network_iperf_3_maxing_out_at_6_gbitssec/]