iperf3 affinity

-A 3 하면 cpu3 에서만 function call interrupts가 많이 올라가고

-A 3-4 나 -A 3/4는 3에서만 올라간다. 정상적으로 구현이 안된건가?

 

$ cat /proc/interrupts              CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7         CAL:    5824227    4254156    5919589    3149051    2891279    2950553    2439272    2860177   Function call interrupts

$ man iperf3        -A, --affinity n/n,m               Set the CPU affinity, if possible (Linux, FreeBSD, and Windows only).  On both the  client               and server you can set the local affinity by using the n form of this argument (where n is               a CPU number).  In addition, on the client side you can override the server's affinity for               just  that one test, using the n,m form of argument.  Note that when using this feature, a               process will only be bound to a single CPU (as opposed to a set containing potentialy mul‐               tiple CPUs).

 

$ iperf3 --help Usage: iperf3 [-s|-c host] [options]        iperf3 [-h|--help] [-v|--version] Server or Client:   -p, --port      #         server port to listen on/connect to   -f, --format   [kmgtKMGT] format to report: Kbits, Mbits, Gbits, Tbits   -i, --interval  #         seconds between periodic throughput reports   -F, --file name           xmit/recv the specified file   -A, --affinity n/n,m      set CPU affinity   -B, --bind      <host>    bind to the interface associated with the address <host>   -V, --verbose             more detailed output   -J, --json                output in JSON format   --logfile f               send output to a log file   --forceflush              force flushing output at every interval   --timestamps    <format>  emit a timestamp at the start of each output line                             (using optional format string as per strftime(3))   -d, --debug               emit debugging output   -v, --version             show version information and quit   -h, --help                show this message and quit Server specific:   -s, --server              run in server mode   -D, --daemon              run the server as a daemon   -I, --pidfile file        write PID file   -1, --one-off             handle one client connection then exit   --server-bitrate-limit #[KMG][/#]   server's total bit rate limit (default 0 = no limit)                             (optional slash and number of secs interval for averaging                             total data rate.  Default is 5 seconds)   --rsa-private-key-path    path to the RSA private key used to decrypt                             authentication credentials   --authorized-users-path   path to the configuration file containing user                             credentials Client specific:   -c, --client    <host>    run in client mode, connecting to <host>   --sctp                    use SCTP rather than TCP   -X, --xbind <name>        bind SCTP association to links   --nstreams      #         number of SCTP streams   -u, --udp                 use UDP rather than TCP   --connect-timeout #       timeout for control connection setup (ms)   -b, --bitrate #[KMG][/#]  target bitrate in bits/sec (0 for unlimited)                             (default 1 Mbit/sec for UDP, unlimited for TCP)                             (optional slash and packet count for burst mode)   --pacing-timer #[KMG]     set the timing for pacing, in microseconds (default 1000)   --fq-rate #[KMG]          enable fair-queuing based socket pacing in                             bits/sec (Linux only)   -t, --time      #         time in seconds to transmit for (default 10 secs)   -n, --bytes     #[KMG]    number of bytes to transmit (instead of -t)   -k, --blockcount #[KMG]   number of blocks (packets) to transmit (instead of -t or -n)   -l, --length    #[KMG]    length of buffer to read or write                             (default 128 KB for TCP, dynamic or 1460 for UDP)   --cport         <port>    bind to a specific client port (TCP and UDP, default: ephemeral port)   -P, --parallel  #         number of parallel client streams to run   -R, --reverse             run in reverse mode (server sends, client receives)   --bidir                   run in bidirectional mode.                             Client and server send and receive data.   -w, --window    #[KMG]    set window size / socket buffer size   -C, --congestion <algo>   set TCP congestion control algorithm (Linux and FreeBSD only)   -M, --set-mss   #         set TCP/SCTP maximum segment size (MTU - 40 bytes)   -N, --no-delay            set TCP/SCTP no delay, disabling Nagle's Algorithm   -4, --version4            only use IPv4   -6, --version6            only use IPv6   -S, --tos N               set the IP type of service, 0-255.                             The usual prefixes for octal and hex can be used,                             i.e. 52, 064 and 0x34 all specify the same value.   --dscp N or --dscp val    set the IP dscp value, either 0-63 or symbolic.                             Numeric values can be specified in decimal,                             octal and hex (see --tos above).   -L, --flowlabel N         set the IPv6 flow label (only supported on Linux)   -Z, --zerocopy            use a 'zero copy' method of sending data   -O, --omit N              omit the first n seconds   -T, --title str           prefix every output line with this string   --extra-data str          data string to include in client and server JSON   --get-server-output       get results from server   --udp-counters-64bit      use 64-bit counters in UDP test packets   --repeating-payload       use repeating pattern in payload, instead of                             randomized payload (like in iperf2)   --username                username for authentication   --rsa-public-key-path     path to the RSA public key used to encrypt                             authentication credentials [KMG] indicates options that support a K/M/G suffix for kilo-, mega-, or giga- iperf3 homepage at: https://software.es.net/iperf/ Report bugs to:     https://github.com/esnet/iperf

 

받거나 보내는 건 각각 1개의 프로세스에서만 하도록 되어있나 보다.

Set the CPU affinity for the sender (-A 2) or the sender, receiver (-A 2,3), where the core numbering starts at 0. This has the same effect as running numactl -C 4 iperf3. iperf3 -c <dst-ip> -A 2,3

[링크 : https://docs.nvidia.com/networking-ethernet-software/knowledge-base/Configuration-and-Usage/Monitoring/Throughput-Testing-and-Troubleshooting/]