하드웨어/FC_SAN_10G2025. 3. 29. 15:53

san

san문서를 찾아보는데

scsi switch 라는걸 발견..(!)

문서에서는 fc-san 같은데.. 이런 네트워크가 scsi 에서도 가능한가?

 

[링크 : https://lifegoesonme.tistory.com/347]

 

+

[링크 : https://www.pcmag.com/encyclopedia/term/scsi-switch]

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

FCoE VN2VN  (0) 2025.03.27
fcoe ubuntu  (0) 2025.03.27
FCoE FCF(Fiber Channel Forwarder)  (0) 2025.03.27
BCM957810 10G NIC window 10 드라이버 버전  (0) 2025.02.26
BCM957810A1008G 10g linux 로그  (0) 2025.02.23
Posted by 구차니
하드웨어/FC_SAN_10G2025. 3. 27. 23:54

 

VN to VN이란 무엇인가? FCoE VN to VN(VN2VN)은 FCoE를 사용하여 두 개의 엔드 노드(ENode)를 직접 연결하는 T11의 새로운 제안 표준. ENode는 FC 또는 FCoE 스위치(FCF)에 연 결하지 않고 다른 원격 ENode를 사용해서 VN2VN 가상 링크를 만들 수 있으므로 포트 조닝과 고급 파이버 채널 서비스 모두 필요하지 않습니다. 스토리지 소프 트웨어는 LUN 마스킹을 사용하여 LUN의 액세스 및 보안을 제어합니다. VN2VN 패브릭은 ENode들 사이에 무손실 이더넷 스위치를 가질 수 있습니다. 따라서 여러 개의 ENode가 VN2VN 패브릭에 있는 둘 이상의 VN2VN 가상 링크를 만드는 데 참여할 수 있습니다. VN2VN의 작동 모드는 지점간(PT2PT)과 다지점 등 두 가지입니다. 참고: 작동 모드는 초기화 도중에만 사용됩니다.

[링크 : https://dl.dell.com/manuals/all-products/esuprt_ser_stor_net/esuprt_pedge_srvr_ethnt_nic/intel-pro-adapters_user's%20guide3_ko-kr.pdf]

 

FCoE Direct End-Node to End-Node (aka FCoE VN2VN)




[링크 : https://www.snia.org/sites/default/files/SDC15_presentations/networking/JohnHufferd_VN2VN_Tutorial_Fall_SDC_2015.pdf]

 

[링크 : https://www.juniper.net/documentation/kr/ko/software/junos/storage/topics/concept/fibre-channel-vn2vn-snooping-understanding.html]

 

[링크 : https://www.snia.org/blog/2013/vn2vn-ethernet-only-fibre-channel-over-ethernet-fcoe-coming]

 

[링크 : ]

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

san  (0) 2025.03.29
fcoe ubuntu  (0) 2025.03.27
FCoE FCF(Fiber Channel Forwarder)  (0) 2025.03.27
BCM957810 10G NIC window 10 드라이버 버전  (0) 2025.02.26
BCM957810A1008G 10g linux 로그  (0) 2025.02.23
Posted by 구차니
하드웨어/FC_SAN_10G2025. 3. 27. 23:16

fcoemon 과 fipvlan 이라는 유티리티를 발견

그나저나 FCoE를 이해하려면 FC 부터 봐야할 것 같네..

 

fcoemon - Open-FCoE service daemon

[링크 : https://manpages.ubuntu.com/manpages/focal/man8/fcoemon.8.html]

 

fipvlan - Fibre Channel over Ethernet VLAN Discovery

[링크 : https://manpages.ubuntu.com/manpages/focal/man8/fipvlan.8.html]

 

 

 

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

san  (0) 2025.03.29
FCoE VN2VN  (0) 2025.03.27
FCoE FCF(Fiber Channel Forwarder)  (0) 2025.03.27
BCM957810 10G NIC window 10 드라이버 버전  (0) 2025.02.26
BCM957810A1008G 10g linux 로그  (0) 2025.02.23
Posted by 구차니
하드웨어/FC_SAN_10G2025. 3. 27. 23:06

 

Windows HLK(Hardware Lab Kit)를 사용하여 FCoE(Fibre Channel over Ethernet) 컨트롤러를 테스트하기 전에 완료해야 하는 작업에 대해 설명합니다.

테스트 컴퓨터가 꺼져 있으면 다음 어셈블리 단계를 완료합니다.

FCoE 어댑터를 부팅할 수 없는 경우 대체 SATA 또는 SAS 온보드 부팅 컨트롤러를 구성한 다음, 해당 SATA 또는 SAS 하드 디스크 드라이브가 없는 경우 설치합니다.

첫 번째 테스트 시스템에 FCoE 어댑터 1개를 설치합니다. (컴퓨터에 포트가 하나만 있는 경우 첫 번째 컴퓨터에 FCoE 어댑터를 2개 설치합니다.)

FCoE 어댑터의 모든 포트를 FCF에 연결합니다.

두 번째 테스트 시스템의 두 번째 FCoE 어댑터에 대해 2~4단계를 반복합니다. (컴퓨터에 포트가 하나만 있는 경우 두 번째 컴퓨터에 FCoE 어댑터를 2개 설치합니다.)

다음 다이어그램에 설명된 대로 FCF를 스토리지 배열에 연결합니다.

이더넷을 통한 파이버 채널 구성 다이어그램

LUN을 만들고 스토리지 배열 시스템에 LUN 매핑을 구성합니다. 배열에는 SAN 부팅 구성을 위한 최소 120GB의 디스크 공간이 포함되어야 합니다. LUN 매핑은 첫 번째 테스트 시스템에만 필요합니다. 스토리지 배열 공급업체 지침에 따라 이 단계를 완료합니다.

FCF에서 포트 및 영역 지정을 구성합니다. 스위치 공급업체 지침에 따라 이 단계를 완료합니다.

테스트 시스템을 켭니다.


[링크 : https://learn.microsoft.com/ko-kr/windows-hardware/test/hlk/testref/fibre-channel-over-ethernet-testing-prerequisites]

 

The purpose of this article is to provide the best practice Fiber Channel implementation with S4810 as FSB and S5000 as FCF


What is FIP (FCoE Initialization Protocol)?

Fiber Channel over Ethernet initialization protocol (FIP) ensures a virtual point-to-point link between Enodes and Fiberchannel Forwarded switches over transit FCoE-enabled bridges.

The below mentioned steps are carried out by FIP.

Enode sends FIP VLAN Request to discover FCoE VLANs on All-FCoE-Forwarders MAC (01:01:18:01:00:02)
Enode receives FIP VLAN Response from FCF.
Enode sends FIP Solicitation to discover FCFs using well known MAC (01:01:18:01:00:02)
FIP Solicitation contains information regarding Enode MAC, Enode WWNN and Enode FCoE frame size.
Enode receives FIP Advertisement from FCF
FIP Advertisement contains information like Priority, WWNN of FCF, Fabric Descriptor and FKA ADV Period.
Enode sends FIP FC ELS FLOGI to address 0xFFFFFE
Enode receives FC ELS ACC (FLOGI) from FCF.


What is FIP Snooping Bridge (FSB)?

It acts as a bridge between FCoE capable devices (CNAs) and the Fiber Channel Forwarder (FCF).
It monitors the FIP frames and dynamically configures ACLs to permit authorized point-to-point traffic.
It is also known as FCoE transit switch


What is FCF (Fiber Channel Forwarders)?

It is a combination of FCoE and FC switch. It accepts the connections from the FSB to pass through it and reach the Fiber Channel switch.

What is N_Port ID Virtualization (NPIV)?

This is a feature which helps multiple N_Port IDs to share a single physical N_Port.

What is Data Center Bridging (DCB)?

The Data Center Bridging mainly comprises of three factors.

Priority Flow Control (PFC)
Enhanced transmission Selection (ETS)
Data Center Bridging Exchange (DCBX)


What are the different types of ports?

N_Port (Node Port): A port on the End Node (Either Host or Storage)

F_Port (Fabric Port): A port on the FC switch which provides the necessary information to Node ports.

E_Port (Expansion Port): A port connected between FC switches to form an Inter-Switch Link.

[링크 : https://www.dell.com/support/kbdoc/ko-kr/000144525/deploying-fiber-channel-solution-with-s4810-as-fsb-and-s5000-as-fcf]

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

FCoE VN2VN  (0) 2025.03.27
fcoe ubuntu  (0) 2025.03.27
BCM957810 10G NIC window 10 드라이버 버전  (0) 2025.02.26
BCM957810A1008G 10g linux 로그  (0) 2025.02.23
10g with cat 8 S-FTP 케이블  (0) 2025.02.23
Posted by 구차니
하드웨어/FC_SAN_10G2025. 2. 26. 23:22

2016년 5월 16일자

7.13.57.103

 

윈도우에서는 랜선을 뽑아도 10G가 나오네.. -_-???

C:\Users\user\Desktop\iperf3.18_64>iperf3 -c 10.0.0.1
Connecting to host 10.0.0.1, port 5201
[  5] local 10.0.0.1 port 58401 connected to 10.0.0.1 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.17 GBytes  10.1 Gbits/sec
[  5]   1.00-2.00   sec  1.15 GBytes  9.85 Gbits/sec
[  5]   2.00-3.00   sec  1.15 GBytes  9.90 Gbits/sec
[  5]   3.00-4.00   sec  1.15 GBytes  9.86 Gbits/sec
[  5]   4.00-5.00   sec  1.11 GBytes  9.58 Gbits/sec
[  5]   5.00-6.00   sec  1.15 GBytes  9.87 Gbits/sec
[  5]   6.00-7.00   sec  1.16 GBytes  9.93 Gbits/sec
[  5]   7.00-8.00   sec  1.16 GBytes  9.96 Gbits/sec
[  5]   8.00-9.00   sec  1.16 GBytes  9.94 Gbits/sec
[  5]   9.00-10.00  sec  1.16 GBytes  9.94 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  11.5 GBytes  9.89 Gbits/sec                  sender
[  5]   0.00-10.00  sec  11.5 GBytes  9.88 Gbits/sec                  receiver

iperf Done.

 

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

fcoe ubuntu  (0) 2025.03.27
FCoE FCF(Fiber Channel Forwarder)  (0) 2025.03.27
BCM957810A1008G 10g linux 로그  (0) 2025.02.23
10g with cat 8 S-FTP 케이블  (0) 2025.02.23
10g nic 테스트, link unstable  (0) 2025.02.22
Posted by 구차니
하드웨어/FC_SAN_10G2025. 2. 23. 23:26

꽂고 켠 김에 기록

 

장치는 제대로 잡힌건가 드라이버를 어떻게 확인해야 하지?

BCM957810A1008G <- 요게 모델로 알고 있는데 BCM 뒤에 9는 멀까..?

$ lspci -t -v
-[0000:00]-+-00.0  Intel Corporation Xeon E3-1200 v6/7th Gen Core Processor Host Bridge/DRAM Registers
           +-01.0-[01]--+-00.0  Broadcom Inc. and subsidiaries NetXtreme II BCM57810 10 Gigabit Ethernet
           |            \-00.1  Broadcom Inc. and subsidiaries NetXtreme II BCM57810 10 Gigabit Ethernet
           +-02.0  Intel Corporation HD Graphics 610
           +-14.0  Intel Corporation 100 Series/C230 Series Chipset Family USB 3.0 xHCI Controller
           +-16.0  Intel Corporation 100 Series/C230 Series Chipset Family MEI Controller #1
           +-17.0  Intel Corporation Q170/Q150/B150/H170/H110/Z170/CM236 Chipset SATA Controller [AHCI Mode]
           +-1c.0-[02]--
           +-1c.7-[03]----00.0  Realtek Semiconductor Co., Ltd. RTL8111/8168/8211/8411 PCI Express Gigabit Ethernet Controller
           +-1d.0-[04]--
           +-1f.0  Intel Corporation H110 Chipset LPC/eSPI Controller
           +-1f.2  Intel Corporation 100 Series/C230 Series Chipset Family Power Management Controller
           +-1f.3  Intel Corporation 100 Series/C230 Series Chipset Family HD Audio Controller
           \-1f.4  Intel Corporation 100 Series/C230 Series Chipset Family SMBus

 

SR-IOV를 켜놓고 VT 안 켜서 켜고 끄고 해봤는데 bnx 관련으로 달라지는건 없다.

두개의 칩셋을 하나의 pciex 보드에 올린 유형인가 두번 초기화 하네?

$ sudo dmesg | grep -i bnx
[    0.744607] bnx2x 0000:01:00.0: msix capability found
[    0.744788] bnx2x 0000:01:00.0: part number 0-0-0-0
[    0.892516] [bnx2x_iov_init_one:1210(eth%d)]ARI not supported (check pci bridge ARI forwarding), SRIOV can not be enabled
[    0.894780] bnx2x 0000:01:00.0: 32.000 Gb/s available PCIe bandwidth (5.0 GT/s PCIe x8 link)
[    0.894862] bnx2x 0000:01:00.1: msix capability found
[    0.895288] bnx2x 0000:01:00.1: part number 0-0-0-0
[    1.031529] [bnx2x_iov_init_one:1210(eth%d)]ARI not supported (check pci bridge ARI forwarding), SRIOV can not be enabled
[    1.033770] bnx2x 0000:01:00.1: 32.000 Gb/s available PCIe bandwidth (5.0 GT/s PCIe x8 link)
[    1.112794] bnx2x 0000:01:00.1 enp1s0f1: renamed from eth1
[    1.115593] bnx2x 0000:01:00.0 enp1s0f0: renamed from eth0
[    6.291401] bnx2x 0000:01:00.0 enp1s0f0: using MSI-X  IRQs: sp 127  fp[0] 129 ... fp[1] 130
[    7.339521] bnx2x 0000:01:00.1 enp1s0f1: using MSI-X  IRQs: sp 131  fp[0] 133 ... fp[1] 134
[   62.619485] bnx2x 0000:01:00.0 enp1s0f0: NIC Link is Up, 10000 Mbps full duplex, Flow control: ON - receive & transmit
[   62.672524] bnx2x 0000:01:00.1 enp1s0f1: NIC Link is Up, 10000 Mbps full duplex, Flow control: ON - receive & transmit

 

커널 모듈에서는 아래와 같이 bnx2x 모듈로 로드되었고

$ lsmod | grep bnx
bnx2x                1028096  0
mdio                   12288  1 bnx2x
libcrc32c              12288  1 bnx2x

 

케이블을 바꾸어도 watch -n 0 으로 해서 0.2초 간격으로 봐도 저 놈의 link가 떨어지는게 보이지 않는다.

커널로그로도 없고 도대체 어디서 탐지하는거지?

$ sudo ethtool enp1s0f0
Settings for enp1s0f0:
Supported ports: [ TP ]
Supported link modes:   100baseT/Half 100baseT/Full
                        1000baseT/Full
                        10000baseT/Full
Supported pause frame use: Symmetric Receive-only
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes:  100baseT/Half 100baseT/Full
                        1000baseT/Full
                        10000baseT/Full
Advertised pause frame use: Symmetric Receive-only
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Link partner advertised link modes:  100baseT/Half 100baseT/Full
                                     1000baseT/Half 1000baseT/Full
                                     10000baseT/Full
Link partner advertised pause frame use: Symmetric Receive-only
Link partner advertised auto-negotiation: Yes
Link partner advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Auto-negotiation: on
Port: Twisted Pair
PHYAD: 16
Transceiver: internal
MDI-X: Unknown
Supports Wake-on: g
Wake-on: d
        Current message level: 0x00000000 (0)
                              
Link detected: yes

[링크 : https://askubuntu.com/questions/1446694/nic-issue-says-link-is-up-link-is-down-continuously]

 

FEC는 Forward Error Correction 의 약자라는데 먼가 CRC 보다 강해 보이는데

[링크 : https://www.intel.com/content/www/us/en/docs/programmable/683040/1-1/setting-forward-error-correction-fec-mode.html]

 

이해를 포기(!)

[링크 : https://en.wikipedia.org/wiki/Reed%E2%80%93Solomon_error_correction]

Posted by 구차니
하드웨어/FC_SAN_10G2025. 2. 23. 20:50

다이소에서 CAT 8 까지 판다고 검색이 되길래 가서 후다닥 구매

과거 같았으면 인터넷으로 주문해도 꽤 비쌌을 녀석인데.. 이걸 기성품으로 사듯 할 수 있는 시대라니..

 

아무튼 CAT 8 , S/FTP PIMF PATCH CABLE 이라고 써있는데 전부 생소한...

SFTP 하면 먼가 ssh + ftp 같은데 찾아보면 shileded with foiled Twisted Pairs 라고 한다.

S/FTP: SHIELDED WITH FOILED TWISTED PAIRS

[링크 : https://www.universalnetworks.co.uk/faq/what-does-utp-s-utp-ftp-stp-and-sftp-mean/]

 

PiMF는 Pair in Metal Foil 흐음.. FTP와 동일 용어인가?

PiMF is an abbreviation of the English 'Pair In Metal Foil'. It is better known by the abbreviation U/FTP (Unshielded/Foiled Twisted Pair).

[링크 : https://netwerkkabel.eu/en/blogs/blog/what-is-a-pimf-network-cable]

 

확실히 CAT 5e 보다 뜨는 빈도가 줄었다.

줄었긴 한데 안뜨는건 또 아니라 접속불량이랑 케이블 품질에 영향을 이중으로 받는 듯

그것도 아니라면.. NIC이 오래되서 내장 트랜시버 RJ45 가 문제가 있는 걸지도..

이럴거면.. SFP 타입으로 가는게 나으려나?

Posted by 구차니
하드웨어/FC_SAN_10G2025. 2. 22. 15:20

다른 호스트의 NIC 으로 보내도록 하니 잘 나온다.

(g4560 <-> G3240)

$ iperf3 -c 192.168.0.3
Connecting to host 192.168.0.3, port 5201
[  5] local 192.168.0.1 port 43946 connected to 192.168.0.3 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.60 MBytes       
[  5]   1.00-2.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.78 MBytes       
[  5]   2.00-3.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.87 MBytes       
[  5]   3.00-4.00   sec  1.09 GBytes  9.34 Gbits/sec    0   2.19 MBytes       
[  5]   4.00-5.00   sec  1.10 GBytes  9.42 Gbits/sec    0   2.19 MBytes       
[  5]   5.00-6.00   sec  1.10 GBytes  9.41 Gbits/sec    0   2.30 MBytes       
[  5]   6.00-7.00   sec  1.10 GBytes  9.41 Gbits/sec    0   2.30 MBytes       
[  5]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    0   2.30 MBytes       
[  5]   8.00-9.00   sec  1.09 GBytes  9.37 Gbits/sec    0   2.30 MBytes       
[  5]   9.00-10.00  sec  1.10 GBytes  9.42 Gbits/sec    0   2.30 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  10.9 GBytes  9.40 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  10.9 GBytes  9.40 Gbits/sec                  receiver

iperf Done.

 

의외로 종종 연결이 실패했습니다가 뜨는데

 

확실히, iperf3 테스트 중에 retry count가 쭉쭉 올라가고 속도도 떨어지고

심하면 그냥 선을 뽑았다 꽂기 전에는 살아나지 않는다.

CAT6 규격이 아닌 CAT5 라서 이려나.. 노후화 때문이려나..

그것도 아니라면 드라이버 문제로 잘못된 에러를 띄우는 걸려나?

$ iperf3 -c 192.168.0.3 -t 0
Connecting to host 192.168.0.3, port 5201
[  5] local 192.168.0.2 port 53976 connected to 192.168.0.3 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.10 GBytes  9.44 Gbits/sec    0   1.29 MBytes       
[  5]   1.00-2.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.29 MBytes       
[  5]   2.00-3.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.29 MBytes       
[  5]   3.00-4.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.29 MBytes       
[  5]   4.00-5.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.43 MBytes       
[  5]   5.00-6.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.50 MBytes       
[  5]   6.00-7.00   sec   651 MBytes  5.46 Gbits/sec  1111   1.41 MBytes       
[  5]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.48 MBytes       
[  5]   8.00-9.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.56 MBytes       
[  5]   9.00-10.00  sec  1.09 GBytes  9.40 Gbits/sec    0   1.56 MBytes       

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

BCM957810A1008G 10g linux 로그  (0) 2025.02.23
10g with cat 8 S-FTP 케이블  (0) 2025.02.23
ubuntu iperf3 10g 테스트 실패  (0) 2025.02.19
BCM957810A1008G 10G nic 도착  (0) 2025.02.11
10G FCoE CEE?  (0) 2025.02.03
Posted by 구차니
하드웨어/FC_SAN_10G2025. 2. 19. 21:55

G4560 / 4GB / 128GB SATA SSD 에서 테스트 했는데

SSD도 문제가 있나.. 아니면 리눅스도 이제 4GB로는 무리인가.. 부팅도 오래걸리고, 설치도 엄청 오래 걸렸다.

 

최대 설정가능한 MTU는 ip 명령을 통해 확인이 가능하고

$ ip -d link list
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 promiscuity 0  allmulti 0 minmtu 0 maxmtu 0 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535 tso_max_size 524280 tso_max_segs 65535 gro_max_size 65536 
2: enp3s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000
    link/ether 60:45:cb:9d:3a:12 brd ff:ff:ff:ff:ff:ff promiscuity 0  allmulti 0 minmtu 68 maxmtu 9194 addrgenmode eui64 numtxqueues 1 numrxqueues 1 gso_max_size 64000 gso_max_segs 64 tso_max_size 64000 tso_max_segs 64 gro_max_size 65536 parentbus pci parentdev 0000:03:00.0 
3: enp1s0f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether f4:e9:d4:8c:d6:60 brd ff:ff:ff:ff:ff:ff promiscuity 0  allmulti 0 minmtu 46 maxmtu 9600 addrgenmode eui64 numtxqueues 46 numrxqueues 16 gso_max_size 65536 gso_max_segs 65535 tso_max_size 65536 tso_max_segs 65535 gro_max_size 65536 portid f4e9d48cd660 parentbus pci parentdev 0000:01:00.0 
4: enp1s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether f4:e9:d4:8c:d6:62 brd ff:ff:ff:ff:ff:ff promiscuity 0  allmulti 0 minmtu 46 maxmtu 9600 addrgenmode eui64 numtxqueues 46 numrxqueues 16 gso_max_size 65536 gso_max_segs 65535 tso_max_size 65536 tso_max_segs 65535 gro_max_size 65536 portid f4e9d48cd662 parentbus pci parentdev 0000:01:00.1 


$ sudo ifconfig enp1s0f1 mtu 9600

[링크: https://unix.stackexchange.com/questions/552107/how-to-get-maximum-supported-mtu-size-for-interface]

 

위는 MTU 1500

아래는 MTU 9600 로 설정하고 테스트 했는데

커널 내부 전송이었는지 10G NIC 인데 40G가 나오고 난리.. -_-

아무튼 MTU가 커지니 좀 안정적으로 40G 이상 나오는 것 정도로 정리되는데

$ iperf3 -s
-----------------------------------------------------------
Server listening on 5201 (test #1)
-----------------------------------------------------------
Accepted connection from 192.168.0.1, port 46302
[  5] local 192.168.0.1 port 5201 connected to 192.168.0.1 port 46304
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  5.09 GBytes  43.7 Gbits/sec                  
[  5]   1.00-2.00   sec  4.58 GBytes  39.4 Gbits/sec                  
[  5]   2.00-3.00   sec  3.87 GBytes  33.2 Gbits/sec                  
[  5]   3.00-4.00   sec  4.58 GBytes  39.4 Gbits/sec                  
[  5]   4.00-5.00   sec  4.47 GBytes  38.4 Gbits/sec                  
[  5]   5.00-6.00   sec  4.80 GBytes  41.3 Gbits/sec                  
[  5]   6.00-7.00   sec  4.78 GBytes  41.0 Gbits/sec                  
[  5]   7.00-8.00   sec  3.46 GBytes  29.8 Gbits/sec                  
[  5]   8.00-9.00   sec  2.80 GBytes  24.1 Gbits/sec                  
[  5]   9.00-10.00  sec  3.33 GBytes  28.6 Gbits/sec                  
[  5]  10.00-10.00  sec   768 KBytes  23.8 Gbits/sec                  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  41.8 GBytes  35.9 Gbits/sec                  receiver
$ iperf3 -c 192.168.0.1
Connecting to host 192.168.0.1, port 5201
[  5] local 192.168.0.1 port 46304 connected to 192.168.0.1 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  5.09 GBytes  43.7 Gbits/sec    0   1.62 MBytes       
[  5]   1.00-2.00   sec  3.34 GBytes  28.7 Gbits/sec    3   3.31 MBytes       
[  5]   2.00-3.00   sec  3.86 GBytes  33.2 Gbits/sec    0   4.12 MBytes       
[  5]   3.00-4.00   sec  4.58 GBytes  39.3 Gbits/sec    0   4.12 MBytes       
[  5]   4.00-5.00   sec  4.47 GBytes  38.4 Gbits/sec    0   4.12 MBytes       
[  5]   5.00-6.00   sec  4.80 GBytes  41.3 Gbits/sec    0   4.12 MBytes       
[  5]   6.00-7.00   sec  4.75 GBytes  40.8 Gbits/sec    0   4.12 MBytes       
[  5]   7.00-8.00   sec  3.45 GBytes  29.6 Gbits/sec    0   4.12 MBytes       
[  5]   8.00-9.00   sec  2.79 GBytes  23.9 Gbits/sec    0   4.12 MBytes       
[  5]   9.00-10.00  sec  3.32 GBytes  28.6 Gbits/sec    2   4.12 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  41.8 GBytes  35.9 Gbits/sec    5             sender
[  5]   0.00-10.00  sec  41.8 GBytes  35.9 Gbits/sec                  receiver

iperf Done.
-----------------------------------------------------------
Server listening on 5201 (test #4)
-----------------------------------------------------------
Accepted connection from 192.168.0.1, port 39920
[  5] local 192.168.0.1 port 5201 connected to 192.168.0.1 port 39926
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  4.99 GBytes  42.8 Gbits/sec                  
[  5]   1.00-2.00   sec  5.43 GBytes  46.6 Gbits/sec                  
[  5]   2.00-3.00   sec  5.30 GBytes  45.5 Gbits/sec                  
[  5]   3.00-4.00   sec  5.39 GBytes  46.3 Gbits/sec                  
[  5]   4.00-5.00   sec  5.31 GBytes  45.6 Gbits/sec                  
[  5]   5.00-6.00   sec  5.21 GBytes  44.7 Gbits/sec                  
[  5]   6.00-7.00   sec  5.39 GBytes  46.3 Gbits/sec                  
[  5]   7.00-8.00   sec  5.35 GBytes  46.0 Gbits/sec                  
[  5]   8.00-9.00   sec  5.37 GBytes  46.1 Gbits/sec                  
[  5]   9.00-10.00  sec  5.61 GBytes  48.2 Gbits/sec                  
[  5]  10.00-10.00  sec   512 KBytes  17.4 Gbits/sec                  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-10.00  sec  53.4 GBytes  45.8 Gbits/sec                  receiver

$ iperf3 -c 192.168.0.1
Connecting to host 192.168.0.1, port 5201
[  5] local 192.168.0.1 port 39926 connected to 192.168.0.1 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  4.99 GBytes  42.8 Gbits/sec    0   1.12 MBytes       
[  5]   1.00-2.00   sec  5.41 GBytes  46.4 Gbits/sec    0   1.19 MBytes       
[  5]   2.00-3.00   sec  5.30 GBytes  45.5 Gbits/sec    0   1.37 MBytes       
[  5]   3.00-4.00   sec  3.92 GBytes  33.7 Gbits/sec    0   1.37 MBytes       
[  5]   4.00-5.00   sec  4.99 GBytes  42.9 Gbits/sec    0   1.37 MBytes       
[  5]   5.00-6.00   sec  5.21 GBytes  44.7 Gbits/sec    0   3.18 MBytes       
[  5]   6.00-7.00   sec  5.39 GBytes  46.3 Gbits/sec    0   3.18 MBytes       
[  5]   7.00-8.00   sec  5.35 GBytes  46.0 Gbits/sec    0   3.18 MBytes       
[  5]   8.00-9.00   sec  5.35 GBytes  46.0 Gbits/sec    0   3.18 MBytes       
[  5]   9.00-10.00  sec  5.62 GBytes  48.2 Gbits/sec    0   3.18 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  53.4 GBytes  45.8 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  53.4 GBytes  45.8 Gbits/sec                  receiver

iperf Done.

 

-P 1 혹은 옵션 없이 하면 50% 정도 먹고

 

-P 4로 4 프로세스 사용하도록 하면 100%은 찍는데

물리 cpu가 2개에 HT 4개인 녀석이라, 40GBps 를 초과하진 못한다.

[링크: https://www.reddit.com/r/homelab/comments/11v94kz/new_10g_network_iperf_3_maxing_out_at_6_gbitssec/]

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

BCM957810A1008G 10g linux 로그  (0) 2025.02.23
10g with cat 8 S-FTP 케이블  (0) 2025.02.23
10g nic 테스트, link unstable  (0) 2025.02.22
BCM957810A1008G 10G nic 도착  (0) 2025.02.11
10G FCoE CEE?  (0) 2025.02.03
Posted by 구차니
하드웨어/FC_SAN_10G2025. 2. 11. 23:10

팬에 소음이 있다는 제품이라서 일단 구매해서 팬을 분해해서 돌려보는데

 

표준 사이즈는 완전 맛이 갔고, lp 쪽은 큰 문제는 없어 보이는 듯 하다.

ADDA AD0412HB-K96

40 * 40 * 7mm 12VDC 6000rpm 풍량이 센녀석인가.. 6000rpm 짜리를 다 보게 되네

[링크 : https://www.amazon.com/AD0412HB-K96-ADDA-0-08A-4007-Cooling/dp/B0957RKW5T]

 

 

후면 스티커를 뜯으니 그냥 힘없이 떨어지고 회전축에 녹이 슬어서 난리가 났다.

두 녀석 다 분해해서 미싱기름 넣어주고 돌리고

다이소에서 구매한 구리스를 넣어서 밀봉하고 끝!

'하드웨어 > FC_SAN_10G' 카테고리의 다른 글

BCM957810A1008G 10g linux 로그  (0) 2025.02.23
10g with cat 8 S-FTP 케이블  (0) 2025.02.23
10g nic 테스트, link unstable  (0) 2025.02.22
ubuntu iperf3 10g 테스트 실패  (0) 2025.02.19
10G FCoE CEE?  (0) 2025.02.03
Posted by 구차니