qnap/performance

tvs-472xt(CPU: Pentium Gold G5400T[2core,3.10GHz], メモリ: 32GB)でネットワーク速度を計測してみた.

構成はこんな感じです.

  • 3.5/2.5inchスロット4つ(SATA 6.0Gbps)
    3 x 3.5inchHDD(WD 6TB,5400rpm)
    1 x 2.5inchSSD(crucial 1TB)
  • M.2 PCIe NVMe SSDスロット2つ(PCIeGen3x2[2GB/sec])(PCIeGen3x4[4GB/sec]ではないです)
    2 x NVMe(WD Black SN750 500GB)

&ref(): File not found: "2020y04m24d_112157078.png" at page "qnap/performance/200429";

過去記事qnap/performance200424
qnap/performance/windodws

ネットワーク

このtvs-472xtには10Gbpsのnicポートがあって、
これをスイッチハブ[LXW-10G2/2G4(10G*2 + 2.5G*4]に繋げ、
もう一つの10GbpsポートにはAquantia AQC107チップ搭載のnicを持つPC(i7-7700K[4.2GHz],64GB,nvme 256GB)に接続してます.
*直結ではない. HUBを介してます.

また拡張スロットに既設のthunderbolt3のカードが入っていたが、これを外して「Mellanox ConnectX-3 Pro EN(MCX313A-BCCT,40GbE)」を入れてます. こちらは直結でPCに繋げてます.

iperf3でネットワークのみの速度計測

QNAP向けのiperf3は https://qnapclub.eu/en/qpkg/180 より得られる.
そのサイトで「TS-NASX86_64」のパッケージ(iPerf3_3.6.0_x86_64.qpkg)を得る. これをQNAPの「App Center」で「手動でインストール」を選び、表示されたダイアログからこの入手した qpkg ファイルを指定すればインストールされます.
QNAPでのiperf3の起動は同じく「App Center」で制御されます. 「開く」になっていると iperf3 はサーバモード[-s]で動いてます.

別のLinuxマシンからiperf3を起動させてネットワークを計測します.

[root@f ~]# iperf3 -c qnap
Connecting to host qnap, port 5201
[  4] local 192.168.0.21 port 53780 connected to 192.168.0.25 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1.10 GBytes  9.42 Gbits/sec    0    857 KBytes
[  4]   1.00-2.00   sec  1.10 GBytes  9.42 Gbits/sec    0    949 KBytes
[  4]   2.00-3.00   sec  1.10 GBytes  9.42 Gbits/sec    0    966 KBytes
[  4]   3.00-4.00   sec  1.09 GBytes  9.37 Gbits/sec    0   1.00 MBytes
[  4]   4.00-5.00   sec  1.10 GBytes  9.41 Gbits/sec    0   1.01 MBytes
[  4]   5.00-6.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.04 MBytes
[  4]   6.00-7.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.07 MBytes
[  4]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.08 MBytes
[  4]   8.00-9.00   sec  1.09 GBytes  9.41 Gbits/sec    0   1.08 MBytes
[  4]   9.00-10.00  sec  1.10 GBytes  9.42 Gbits/sec    0   1.08 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec                  receiver
 
iperf Done.
[root@f ~]#

10Gbpsの帯域をほぼほぼ使ってます.
次に40GbEで計測してみます

[root@f ~]# iperf3 -c qnap-40
Connecting to host qnap-40, port 5201
[  4] local 192.168.100.1 port 39470 connected to 192.168.100.2 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  3.12 GBytes  26.8 Gbits/sec    0    932 KBytes
[  4]   1.00-2.00   sec  3.12 GBytes  26.8 Gbits/sec    0   1.15 MBytes
[  4]   2.00-3.00   sec  3.12 GBytes  26.8 Gbits/sec    0   1.43 MBytes
[  4]   3.00-4.00   sec  3.13 GBytes  26.9 Gbits/sec    0   1.47 MBytes
[  4]   4.00-5.00   sec  3.12 GBytes  26.8 Gbits/sec   11   1.11 MBytes
[  4]   5.00-6.00   sec  3.07 GBytes  26.4 Gbits/sec    0   1.25 MBytes
[  4]   6.00-7.00   sec  3.13 GBytes  26.9 Gbits/sec    0   1.32 MBytes
[  4]   7.00-8.00   sec  3.12 GBytes  26.8 Gbits/sec    0   1.37 MBytes
[  4]   8.00-9.00   sec  3.13 GBytes  26.9 Gbits/sec    0   1.39 MBytes
[  4]   9.00-10.00  sec  3.12 GBytes  26.8 Gbits/sec    0   1.41 MBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  31.2 GBytes  26.8 Gbits/sec   11             sender
[  4]   0.00-10.00  sec  31.2 GBytes  26.8 Gbits/sec                  receiver
 
iperf Done.
[root@f ~]#

26.8/40 = 0.67, 40GbEの半分以上は使っているみたいです. 単一の通信で40Gbは出ないみたい.
「-P」を使って複数並列に実行してみたり、「-p」を使ってport毎に実行すれば40Gbに近づきます.
それゆえカードは40Gbのキャパシティはある証左にもなる. 単に iperf3 が40Gbでは検証しずらいだけなのかも

fioで計測

次にファイルシステムを介してのネットワーク速度を計測してみた.
QNAPをNFSサーバに仕立て、NFSクライアントとなるPCにはCentOS7.7を入れ、

mount -t nfs qnap:/Public /mnt

とNFSマウントさせ、fio(v3.7)で計測してみた.
fioを使ってCrystalDiskMarkっぽい出力を出すスクリプトがあるのでそれを使って測定してます fio
*MB/s結果は問題ないが、kB/sには問題がある

Qtierなし. SSDキャッシュなし. システムキャッシュなし.

10GbE経由、fioはsize=32gとしている

fio-3.7
/mnt
|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    133.000|    152.000|  |  Seq |    135.000|    145.000|  |  Seq |    141.000|    153.000|
| 512K |     88.800|     11.900|  | 512K |     93.800|     12.900|  | 512K |    102.000|     12.100|
|   4K |      1.801|      0.076|  |   4K |      1.909|      0.080|  |   4K |      2.047|      0.083|
|4KQD32|      1.821|      0.078|  |4KQD32|      1.914|      0.082|  |4KQD32|      2.112|      0.082|

Qtierなし. SSDキャッシュなし. システムキャッシュあり.

10GbE経由、fioはsize=32gとしている

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    215.000|    189.000|  |  Seq |    213.000|    187.000|  |  Seq |    227.000|    170.000|
| 512K |    108.000|     82.700|  | 512K |    108.000|     90.400|  | 512K |    107.000|     86.900|
|   4K |      1.934|      6.428|  |   4K |      1.987|      6.394|  |   4K |      2.042|      6.352|
|4KQD32|      1.348|      2.060|  |4KQD32|      1.365|      2.001|  |4KQD32|      1.317|      1.954|

Qtierなし. SSDキャッシュあり. システムキャッシュあり.

10GbE経由、fioはsize=32gとしている

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    476.000|    517.000|  |  Seq |    498.000|    511.000|  |  Seq |    593.000|    506.000|
| 512K |    280.000|    483.000|  | 512K |    334.000|    489.000|  | 512K |    368.000|    501.000|
|   4K |     26.000|     42.300|  |   4K |     36.700|     42.700|  |   4K |     37.500|     42.800|
|4KQD32|     28.700|     42.600|  |4KQD32|     37.800|     42.600|  |4KQD32|     38.300|     42.900|

Qtierあり. SSDキャッシュなし. システムキャッシュあり.

10GbE経由、fioはsize=32gとしている

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    216.000|    204.000|  |  Seq |    216.000|    180.000|  |  Seq |    201.000|    190.000|
| 512K |    130.000|     81.900|  | 512K |    138.000|     89.500|  | 512K |    144.000|     86.900|
|   4K |      2.288|      5.854|  |   4K |      2.462|      5.802|  |   4K |      2.679|      5.792|
|4KQD32|      0.350|      5.373|  |4KQD32|      0.353|      5.333|  |4KQD32|      0.650|      5.280|

Qtierの効果が見られない... 「Qtierなし. SSDキャッシュなし. システムキャッシュあり」とほぼ同等?
っで、「10GbE経由、fioはsize=1g」で再度実行してみた.

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    948.000|    241.000|  |  Seq |    921.000|    260.000|  |  Seq |    954.000|    265.000|
| 512K |    798.000|    168.000|  | 512K |    763.000|    190.000|  | 512K |    689.000|    209.000|
|   4K |     47.600|      9.712|  |   4K |     47.800|      9.763|  |   4K |     47.800|      9.398|
|4KQD32|     47.600|      1.398|  |4KQD32|     47.300|      1.582|  |4KQD32|     47.800|      1.543|

fioのsizeパラメータで大きく変化するみたい.

Qtierあり. SSDキャッシュあり. システムキャッシュあり.

10GbE経由、fioはsize=32gとしている

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    491.000|    508.000|  |  Seq |    613.000|    512.000|  |  Seq |    562.000|    513.000|
| 512K |    320.000|    484.000|  | 512K |    371.000|    491.000|  | 512K |    356.000|    492.000|
|   4K |     37.400|     42.000|  |   4K |     38.000|     42.900|  |   4K |     37.300|     42.900|
|4KQD32|     26.900|     42.600|  |4KQD32|     26.100|     42.500|  |4KQD32|     28.000|     42.900|

ここでも同様にfioのsizeを1gにしてみると下記のようになる.

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |    918.000|    555.000|  |  Seq |    911.000|    578.000|  |  Seq |    950.000|    571.000|
| 512K |    720.000|    495.000|  | 512K |    688.000|    497.000|  | 512K |    700.000|    495.000|
|   4K |     46.100|     43.600|  |   4K |     47.900|     43.500|  |   4K |     47.800|     43.600|
|4KQD32|     46.800|     43.200|  |4KQD32|     47.400|     43.900|  |4KQD32|     47.400|     44.200|

どうもsizeで大きく違ってくるみたい.
10GbEではなく40GbEに切り替えて、同様にfioのsizeを1gで行うと

|      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|  |      | Read(MB/s)|Write(MB/s)|
|------|-----------|-----------|  |------|-----------|-----------|  |------|-----------|-----------|
|  Seq |   2237.000|    530.000|  |  Seq |   1952.000|    549.000|  |  Seq |   2015.000|    572.000|
| 512K |   1453.000|    567.000|  | 512K |   1565.000|    562.000|  | 512K |   1479.000|    575.000|
|   4K |     82.400|     81.400|  |   4K |    122.000|     74.000|  |   4K |     79.900|     75.300|
|4KQD32|     70.900|     64.400|  |4KQD32|    104.000|     63.900|  |4KQD32|     83.300|     78.500|

となる。


トップ   編集 添付 複製 名前変更     ヘルプ   最終更新のRSS
Last-modified: 2020-04-29 (水) 22:45:35 (29d)