tvs-472xt(CPU: Pentium Gold G5400T[2core,3.10GHz], メモリ: 32GB)でネットワーク速度を計測してみた.

構成はこんな感じです.

  • 3.5/2.5inchスロット4つ(SATA 6.0Gbps)
    3 x 3.5inchHDD(WD 6TB,5400rpm)
    1 x 2.5inchSSD(crucial 1TB)
  • M.2 PCIe NVMe SSDスロット2つ(PCIeGen3x2[2GB/sec])(PCIeGen3x4[4GB/sec]ではないです)
    2 x NVMe(WD Black SN750 500GB)

2020y04m24d_112157078.png

過去記事qnap/performance200424
qnap/performance/windodws

ネットワーク

このtvs-472xtには10Gbpsのnicポートがあって、
これをスイッチハブ[LXW-10G2/2G4(10G*2 + 2.5G*4]に繋げ、
もう一つの10GbpsポートにはAquantia AQC107チップ搭載のnicを持つPC(i7-7700K[4.2GHz],64GB,nvme 256GB)に接続してます.
*直結ではない. HUBを介してます.

また拡張スロットに既設のthunderbolt3のカードが入っていたが、これを外して「Mellanox ConnectX-3 Pro EN(MCX313A-BCCT,40GbE)」を入れてます. こちらは直結でPCに繋げてます.

iperf3でネットワークのみの速度計測

QNAP向けのiperf3は https://qnapclub.eu/en/qpkg/180 より得られる.
そのサイトで「TS-NASX86_64」のパッケージ(iPerf3_3.6.0_x86_64.qpkg)を得る. これをQNAPの「App Center」で「手動でインストール」を選び、表示されたダイアログからこの入手した qpkg ファイルを指定すればインストールされます.
QNAPでのiperf3の起動は同じく「App Center」で制御されます. 「開く」になっていると iperf3 はサーバモード[-s]で動いてます.

別のLinuxマシンからiperf3を起動させてネットワークを計測します.

[root@f ~]# iperf3 -c qnap
Connecting to host qnap, port 5201
[  4] local 192.168.0.21 port 53780 connected to 192.168.0.25 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1.10 GBytes  9.42 Gbits/sec    0    857 KBytes
[  4]   1.00-2.00   sec  1.10 GBytes  9.42 Gbits/sec    0    949 KBytes
[  4]   2.00-3.00   sec  1.10 GBytes  9.42 Gbits/sec    0    966 KBytes
[  4]   3.00-4.00   sec  1.09 GBytes  9.37 Gbits/sec    0   1.00 MBytes
[  4]   4.00-5.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.01 MBytes
[  4]   5.00-6.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.04 MBytes
[  4]   6.00-7.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.07 MBytes
[  4]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.08 MBytes
[  4]   8.00-9.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.08 MBytes
[  4]   9.00-10.00  sec  1.10 GBytes  9.42 Gbits/sec    0   1.08 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec                  receiver
 
iperf Done.
[root@f ~]#

10Gbpsの帯域をほぼほぼ使ってます.
次に40GbEで計測してみます

[root@f ~]# iperf3 -c qnap-40
Connecting to host qnap-40, port 5201
[  4] local 192.168.100.1 port 39470 connected to 192.168.100.2 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  3.12 GBytes  26.8 Gbits/sec    0    932 KBytes
[  4]   1.00-2.00   sec  3.12 GBytes  26.8 Gbits/sec    0   1.15 MBytes
[  4]   2.00-3.00   sec  3.12 GBytes  26.8 Gbits/sec    0   1.43 MBytes
[  4]   3.00-4.00   sec  3.13 GBytes  26.9 Gbits/sec    0   1.47 MBytes
[  4]   4.00-5.00   sec  3.12 GBytes  26.8 Gbits/sec   11   1.11 MBytes
[  4]   5.00-6.00   sec  3.07 GBytes  26.4 Gbits/sec    0   1.25 MBytes
[  4]   6.00-7.00   sec  3.13 GBytes  26.9 Gbits/sec    0   1.32 MBytes
[  4]   7.00-8.00   sec  3.12 GBytes  26.8 Gbits/sec    0   1.37 MBytes
[  4]   8.00-9.00   sec  3.13 GBytes  26.9 Gbits/sec    0   1.39 MBytes
[  4]   9.00-10.00  sec  3.12 GBytes  26.8 Gbits/sec    0   1.41 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  31.2 GBytes  26.8 Gbits/sec   11             sender
[  4]   0.00-10.00  sec  31.2 GBytes  26.8 Gbits/sec                  receiver
 
iperf Done.
[root@f ~]#

26.8/40 = 0.67, 40GbEの半分以上は使っているみたいです. 単一の通信で40Gbは出ないみたい.
「-P」を使って複数並列に実行してみたり、「-p」を使ってport毎に実行すれば40Gbに近づきます.
それゆえカードは40Gbのキャパシティはある証左にもなる. 単に iperf3 が40Gbでは検証しずらいだけなのかも

fioで計測

次にファイルシステムを介してのネットワーク速度を計測してみた.
QNAPをNFSサーバに仕立て、NFSクライアントとなるPCにはCentOS7.7を入れ、

mount -t nfs qnap:/Public /mnt

とNFSマウントさせ、fio(v3.7)で計測してみた.
fioを使ってCrystalDiskMarkっぽい出力を出すスクリプトがあるのでそれを使って測定してます fio
*MB/s結果は問題ないが、kB/sには問題がある

Qtierなし. SSDキャッシュなし. システムキャッシュなし.

10GbE経由

| 512m | Read(MB/s) (iops)|Write(MB/s) (iops)| |   1g | Read(MB/s) (iops)|Write(MB/s) (iops)| |   4g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  16g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  30g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  32g | Read(MB/s) (iops)|Write(MB/s) (iops)|
|------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------|
|  Seq |    860.000(  820)|    159.000(  151)| |  Seq |    890.000(  848)|    158.000(  150)| |  Seq |    916.000(  873)|    147.000(  140)| |  Seq |    909.000(  866)|    144.000(  137)| |  Seq |    283.000(  269)|    137.000(  130)| |  Seq |    142.000(  135)|    111.000(  105)|
| 512K |    576.000( 1098)|    110.000(  210)| | 512K |    492.000(  939)|    102.000(  194)| | 512K |    697.000( 1329)|     78.900(  150)| | 512K |    743.000( 1417)|     80.100(  152)| | 512K |    193.000(  367)|     14.200(   27)| | 512K |     89.600(  170)|     11.200(   21)|
|   4K |     45.500(11100)|      0.314(   78)| |   4K |     46.000(11200)|      0.293(   73)| |   4K |     43.600(10600)|      0.249(   62)| |   4K |     44.500(10900)|      0.207(   51)| |   4K |      4.857( 1214)|      0.083(   20)| |   4K |      1.588(  396)|      0.074(   18)|
|4KQD32|     44.300(10800)|      0.307(   76)| |4KQD32|     46.700(11400)|      0.295(   73)| |4KQD32|     46.000(11500)|      0.237(   59)| |4KQD32|     44.300(10800)|      0.210(   52)| |4KQD32|      4.688( 1171)|      0.081(   20)| |4KQD32|      1.593(  398)|      0.071(   17)|

Qtierなし. SSDキャッシュなし. システムキャッシュあり.

10GbE経由

| 512m | Read(MB/s) (iops)|Write(MB/s) (iops)| |   1g | Read(MB/s) (iops)|Write(MB/s) (iops)| |   4g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  16g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  30g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  32g | Read(MB/s) (iops)|Write(MB/s) (iops)|
|------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------|
|  Seq |    922.000(  879)|    234.000(  222)| |  Seq |    865.000(  824)|    262.000(  249)| |  Seq |    942.000(  898)|    185.000(  176)| |  Seq |    925.000(  882)|    173.000(  164)| |  Seq |    272.000(  259)|    176.000(  167)| |  Seq |    219.000(  208)|    160.000(  152)|
| 512K |    550.000( 1049)|    240.000(  457)| | 512K |    713.000( 1359)|    171.000(  325)| | 512K |    727.000( 1386)|    112.000(  213)| | 512K |    721.000( 1375)|    106.000(  201)| | 512K |    160.000(  305)|     73.500(  140)| | 512K |    105.000(  201)|     68.900(  131)|
|   4K |     45.200(11000)|     21.500( 5258)| |   4K |     46.100(11300)|     10.200( 2499)| |   4K |     46.400(11300)|      7.875( 1968)| |   4K |     45.900(11200)|      6.674( 1668)| |   4K |      3.650(  912)|      6.538( 1634)| |   4K |      1.708(  427)|      6.355( 1588)|
|4KQD32|     46.900(11500)|     17.000( 4386)| |4KQD32|     45.500(11100)|      5.324( 1331)| |4KQD32|     45.000(11200)|      3.911(  977)| |4KQD32|     43.700(10700)|      2.785(  696)| |4KQD32|      2.296(  573)|      2.355(  588)| |4KQD32|      1.276(  319)|      1.809(  452)|

Qtierなし. SSDキャッシュあり. システムキャッシュあり.

10GbE経由

| 512m | Read(MB/s) (iops)|Write(MB/s) (iops)| |   1g | Read(MB/s) (iops)|Write(MB/s) (iops)| |   4g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  16g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  30g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  32g | Read(MB/s) (iops)|Write(MB/s) (iops)|
|------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------|
|  Seq |    873.000(  832)|    455.000(  433)| |  Seq |    924.000(  881)|    540.000(  515)| |  Seq |    932.000(  888)|    521.000(  497)| |  Seq |    980.000(  934)|    513.000(  489)| |  Seq |    732.000(  698)|    513.000(  489)| |  Seq |    622.000(  593)|    505.000(  481)|
| 512K |    408.000(  778)|    495.000(  943)| | 512K |    595.000( 1135)|    517.000(  986)| | 512K |    437.000(  833)|    502.000(  956)| | 512K |    700.000( 1335)|    510.000(  973)| | 512K |    408.000(  778)|    507.000(  966)| | 512K |    375.000(  715)|    506.000(  964)|
|   4K |     46.800(11400)|     43.000(10500)| |   4K |     46.200(11300)|     42.400(10400)| |   4K |     45.000(11200)|     42.500(10400)| |   4K |     44.600(10900)|     43.300(10600)| |   4K |     36.600( 8944)|     42.400(10300)| |   4K |     33.400( 8163)|     42.000(10300)|
|4KQD32|     46.500(11300)|     44.000(10700)| |4KQD32|     46.500(11300)|     42.700(10400)| |4KQD32|     46.900(11500)|     42.900(10500)| |4KQD32|     44.700(10900)|     41.300(10100)| |4KQD32|     39.200( 9575)|     42.100(10300)| |4KQD32|     37.200( 9070)|     41.600(10200)|

Qtierあり. SSDキャッシュあり. システムキャッシュあり.

10GbE経由

| 512m | Read(MB/s) (iops)|Write(MB/s) (iops)| |   1g | Read(MB/s) (iops)|Write(MB/s) (iops)| |   4g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  16g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  30g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  32g | Read(MB/s) (iops)|Write(MB/s) (iops)|
|------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------|
|  Seq |    896.000(  854)|    599.000(  571)| |  Seq |    942.000(  898)|    571.000(  544)| |  Seq |    954.000(  910)|    524.000(  499)| |  Seq |    927.000(  884)|    514.000(  490)| |  Seq |    735.000(  701)|    509.000(  485)| |  Seq |    505.000(  481)|    509.000(  485)|
| 512K |    595.000( 1133)|    512.000(  976)| | 512K |    684.000( 1305)|    503.000(  958)| | 512K |    678.000( 1293)|    522.000(  994)| | 512K |    679.000( 1295)|    512.000(  975)| | 512K |    379.000(  721)|    481.000(  916)| | 512K |    334.000(  637)|    486.000(  927)|
|   4K |     46.500(11400)|     42.800(10400)| |   4K |     45.900(11200)|     43.200(10600)| |   4K |     46.900(11500)|     42.900(10500)| |   4K |     46.700(11400)|     43.000(10500)| |   4K |     34.900( 8528)|     38.400( 9376)| |   4K |     31.200( 7608)|     37.200( 9075)|
|4KQD32|     47.400(11600)|     42.700(10400)| |4KQD32|     47.200(11500)|     42.200(10300)| |4KQD32|     46.600(11400)|     42.900(10500)| |4KQD32|     46.800(11400)|     43.200(10500)| |4KQD32|     26.800( 6543)|     37.500( 9151)| |4KQD32|     32.300( 7882)|     37.500( 9160)|

Qtierを有効にしても、、、、効果が薄いような気がする. SSDキャッシュが良く効いているように見える

10GbEではなく40GbEに切り替えて、

| 512m | Read(MB/s) (iops)|Write(MB/s) (iops)| |   1g | Read(MB/s) (iops)|Write(MB/s) (iops)| |   4g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  16g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  30g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  32g | Read(MB/s) (iops)|Write(MB/s) (iops)|
|------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------|
|  Seq |   1924.000( 1835)|    607.000(  579)| |  Seq |   2105.000( 2007)|    549.000(  523)| |  Seq |   2116.000( 2017)|    520.000(  496)| |  Seq |   1989.000( 1896)|    513.000(  489)| |  Seq |   1180.000( 1125)|    507.000(  483)| |  Seq |    757.000(  722)|    509.000(  485)|
| 512K |   1223.000( 2332)|    674.000( 1284)| | 512K |   1294.000( 2467)|    560.000( 1068)| | 512K |    902.000( 1721)|    514.000(  980)| | 512K |   1384.000( 2639)|    512.000(  976)| | 512K |    542.000( 1032)|    508.000(  968)| | 512K |    500.000(  954)|    507.000(  966)|
|   4K |    117.000(28500)|     68.500(16700)| |   4K |    112.000(27400)|     91.800(22400)| |   4K |     94.500(23100)|     84.000(20800)| |   4K |     92.100(22500)|     78.400(19100)| |   4K |     54.000(13400)|     79.900(19500)| |   4K |     48.800(11900)|     75.900(18500)|
|4KQD32|    100.000(24500)|     77.600(18900)| |4KQD32|    111.000(27100)|     92.900(22700)| |4KQD32|    101.000(24600)|     79.400(19400)| |4KQD32|     95.000(23200)|     84.200(20600)| |4KQD32|     37.600( 9177)|     71.600(17500)| |4KQD32|     26.800( 6534)|     71.100(17400)|

Qtierあり. SSDキャッシュなし. システムキャッシュあり.

| 512m | Read(MB/s) (iops)|Write(MB/s) (iops)| |   1g | Read(MB/s) (iops)|Write(MB/s) (iops)| |   4g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  16g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  30g | Read(MB/s) (iops)|Write(MB/s) (iops)| |  32g | Read(MB/s) (iops)|Write(MB/s) (iops)|
|------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------| |------|------------------|------------------|
|  Seq |    889.000(  847)|    597.000(  569)| |  Seq |    950.000(  906)|    593.000(  565)| |  Seq |    957.000(  912)|    608.000(  580)| |  Seq |    948.000(  904)|    658.000(  627)| |  Seq |    942.000(  898)|    624.000(  595)| |  Seq |    772.000(  735)|    531.000(  506)|
| 512K |    415.000(  791)|    505.000(  963)| | 512K |    660.000( 1258)|    488.000(  931)| | 512K |    556.000( 1060)|    539.000( 1027)| | 512K |    746.000( 1423)|    473.000(  901)| | 512K |    555.000( 1059)|    482.000(  919)| | 512K |    464.000(  885)|    497.000(  948)|
|   4K |     49.800(12200)|     42.800(10400)| |   4K |     49.500(12100)|     43.100(10500)| |   4K |     49.600(12100)|     43.600(10600)| |   4K |     49.300(12000)|     43.100(10500)| |   4K |     40.700( 9930)|     43.100(10500)| |   4K |     35.700( 8710)|     42.800(10500)|
|4KQD32|     49.700(12100)|     43.800(10700)| |4KQD32|     49.900(12200)|     43.600(10600)| |4KQD32|     49.200(12000)|     42.900(10500)| |4KQD32|     49.200(12000)|     43.800(10700)| |4KQD32|     40.200( 9816)|     43.100(10500)| |4KQD32|     35.000( 8549)|     42.200(10300)|

トップ   編集 添付 複製 名前変更     ヘルプ   最終更新のRSS
Last-modified: 2020-05-05 (火) 01:58:06 (24d)