关于PPS测试性能的问题

[jk316]

使用numa 0 的0-23 cpu，cc为0.2m，keepalive=1ms，采取flood模式，单张Mellonax5-Ex百G网卡的场景下：

单卡单port，pps为135Mpps

单卡双port，pps也为135Mpps

原因分析：cc和keepalive没变，因此pps没变。因此，增加cc为原来的2倍，即0.4m，keepalive不变，由于增加了cc，因此增加cpu为原来的两倍，将numa 0的另一半cpu 48-71cpu使用上。

cpu= 0-23 48-71 cc为0.4m，keepalive=1ms，其他参数都没变，进行测试：

单卡双port，发端pps为126Mpps，但是接受端的pps仅为71Mpps，udp drop为60Mpps，udpTx仅为11Mpps。

问题：

1. 单port的极限是135Mpps，2port的极限应该270Mpps吧？增加cc和cps后为什么发送端没增加，接收端降低了？

[pengjianzhang]

可能达到网卡瓶颈了
测最大PPS需要各种参数慢慢调，建议尝试
keepalive 10us
tx_burst 64

[jk316]

1. 之前的测试中tx_burst 一直是128，为了达到更大的pps结果，这次依然采取128
2. 将keepalive降低为10us后，发送端性能130Mpps，接收端62Mpps

[pengjianzhang]

是不是交换机上丢包了
可以两个port直连看看

[jk316]

发送端与接收端直连，RSS均使用L3L4进行分流

测试1：

• 发送端单网卡2个port（位于numa0），使用numa0的0-23cpu
• 接收端单网卡2个port（位于numa0），使用numa0的0-23cpu
• pps 收发两端均为142Mpps

测试2：

• 发送端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa1的24-47cpu
• 接收端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa1的24-47cpu
• 发送端pps为135Mpps，接收端仅为55Mpps

测试3：

• 发送端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa0的48-71cpu
• 接收端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa0的48-71cpu
• 发送端pps为117Mpps，接收端为66Mpps

问题：

1. 为什么测试3和测试1中都使用的是numa0的cpu，但是接收端的性能下降这么严重？
2. 测试2中使用numa1的cpu，为什么发送端性能不下降？接收端性能下降？

[jk316]

另外，dperf的TCP测试场景中，如果用上keepalive，是否默认是发起一个tcp连接后会发出多个http get？

[pengjianzhang]

发送端与接收端直连，RSS均使用L3L4进行分流

测试1：

• 发送端单网卡2个port（位于numa0），使用numa0的0-23cpu
• 接收端单网卡2个port（位于numa0），使用numa0的0-23cpu
• pps 收发两端均为142Mpps

测试2：

• 发送端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa1的24-47cpu
• 接收端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa1的24-47cpu
• 发送端pps为135Mpps，接收端仅为55Mpps

测试3：

• 发送端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa0的48-71cpu
• 接收端单网卡2个port（位于numa0），使用numa0的0-23cpu和numa0的48-71cpu
• 发送端pps为117Mpps，接收端为66Mpps

问题：

1. 为什么测试3和测试1中都使用的是numa0的cpu，但是接收端的性能下降这么严重？
2. 测试2中使用numa1的cpu，为什么发送端性能不下降？接收端性能下降？

测试的网络拓扑，配置文件发一下
你有两个一样的物理机吗？没看明白

[jk316]

1. 现在的网络拓扑是2台同样配置的物理机，每台2个网卡4个port，发送端4个port与接收端4个port直连。

2. 配置文件：
   发送端：

mode            client
cpu             0-23
slow_start      30
tx_burst        128
launch_num      10
payload_size    1
duration        10m

protocol        udp
flood

cc              0.4m
keepalive       1ms
pipeline        4


#port                       pci             addr        gateway     [mac]
port                        0000:17:00.0    10.10.249.3   10.10.249.1   08:c0:eb:58:92:d8
port                        0000:17:00.1    10.10.250.3   10.10.250.1   08:c0:eb:58:92:d9

#                           addr_start      num
client                      10.10.249.3    12
client                      10.10.250.3    12

#                           addr_start      num
server                      10.10.249.100       12
server                      10.10.250.100       12
#                           port_start      num
listen                      80              1
rss                         l3l4            mq_rx_rss

接收端：

mode            server
protocol        udp

keepalive       1ms
payload_size    1

cpu             0-23

duration        10m

#port           pci             addr         gateway
port            0000:32:00.0    10.10.249.100   10.10.249.1    08:c0:eb:42:59:ea
port            0000:32:00.1    10.10.250.100   10.10.250.1    08:c0:eb:42:59:eb

#               addr_start      num
client          10.10.249.3      12
client          10.10.250.3      12

#               addr_start      num
server          10.10.249.100    12
server          10.10.250.100    12

#               port_start      num
listen          80              1
rss             l3l4            mq_rx_rss

[pengjianzhang]

你先测一下单port性能
不要跨NUMA
不要配RSS