RockyLinux9/ETH をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
各種nicで速度を確かめている
***ConnectX-3 Pro EN MCX313A-BCCT [#yaa16840]
infinibandはしゃべれない Ethernet カードが２枚ある.
それを共に CPU: Gold G5400[3.7GHz,2c/4t], MEM: 32GB, MB: ...
一応下記のように認識してくれた.
#code(nonumber){{
01:00.0 Ethernet controller: Mellanox Technologies MT2752...
}}
っで双方のマシンで iperf3 を使った通信テストを実施してみ...
#code(nonumber){{
[root@c1 ~]# iperf3 -c 10.10.10.2
Connecting to host 10.10.10.2, port 5201
[ 5] local 10.10.10.1 port 34698 connected to 10.10.10.2...
[ ID] Interval Transfer Bitrate Ret...
[ 5] 0.00-1.00 sec 3.85 GBytes 33.0 Gbits/sec 0...
[ 5] 1.00-2.00 sec 3.90 GBytes 33.5 Gbits/sec 0...
[ 5] 2.00-3.00 sec 3.89 GBytes 33.4 Gbits/sec 0...
[ 5] 3.00-4.00 sec 3.86 GBytes 33.1 Gbits/sec 0...
[ 5] 4.00-5.00 sec 3.92 GBytes 33.7 Gbits/sec 0...
[ 5] 5.00-6.00 sec 3.93 GBytes 33.8 Gbits/sec 0...
[ 5] 6.00-7.00 sec 3.91 GBytes 33.6 Gbits/sec 0...
[ 5] 7.00-8.00 sec 3.91 GBytes 33.6 Gbits/sec 0...
[ 5] 8.00-9.00 sec 3.89 GBytes 33.4 Gbits/sec 0...
[ 5] 9.00-10.00 sec 3.81 GBytes 32.7 Gbits/sec 0...
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 38.9 GBytes 33.4 Gbits/sec 0...
[ 5] 0.00-10.00 sec 38.9 GBytes 33.4 Gbits/sec ...
iperf Done.
[root@c1 ~]#
}}
「iperf3 -c 10.10.10.2 -P 2」と多重で流したら最大 37.5 G...
次に片方にSSD disk(/data,CT250MX500SSD1)を載せて nfs で共...
一応まずネットワークを介さないローカルにて測定してみた
#code(nonumber){{
dd if=/dev/zero of=/data/testfile bs=1G count=10 oflag=di...
dd if=/data/testfile of=/dev/null bs=1G count=10 iflag=di...
}}
次にnfsクライアント側にて操作.
#code(nonumber){{
mount -t nfs -o vers=4,hard,sync,noac,actimeo=0 10.10.10....
dd if=/dev/zero of=/data/testfile bs=1G count=10 oflag=di...
dd if=/data/testfile of=/dev/null bs=1G count=10 iflag=di...
}}
nfsクライアント側での読み込みテストの際は、事前にnfsサー...
#code(nonumber){{
systemctl restart nfs-server
echo 3 > /proc/sys/vm/drop_caches
}}
これを実行しないとキャッシュ経由で読み込みの値が出てくる.
ddの結果からすれば、読み込みのnfs経由での速度低下はあまり...
次にrsyncでも転送速度を図ってみた
nfsクライアント側のsystem diskは nvme(WDC WDS250G1B0C-00S...
#code(nonumber){{
dd if=/dev/zero of=/tmp/testfile bs=1G count=10 oflag=dir...
dd if=/tmp/testfile of=/dev/null bs=1G count=10 iflag=dir...
}}
ここを使ってrsyncしてみた
#code(nonumber){{
mount -t nfs -o vers=4,hard,sync,noac,actimeo=0 10.10.10....
rsync -avh /tmp/testfile /data/testfile 42.04 M by...
rsync -avh /data/testfile /tmp/testfile2 278.96M by...
mount -t nfs 10.10.10.1:/data /data
rsync -avh /tmp/testfile /data/testfile 352.13M by...
rsync -avh /data/testfile /tmp/testfile2 499.54M by...
}}
nfsオプションのasyncが効いている？って感じかな.
***ConnectX-2 VPI MHQH29B-XTR [#s0530dd4]
Mellanox connectX-3のカードがある. 非常に古いinfiniband/E...
lspciの出力で下記のように表示される
#code(nonumber){{
01:00.0 InfiniBand: Mellanox Technologies MT25408A0-FCC-Q...
}}
rockylinux9で使おうとしたらドライバーが提供されていない様...
-CoonectX-3はMLNX_OFEDのversion 4.9まで対応 &size(10){そ...
-MLNX_OFEDはRockyLinux8.8まで対応
なので、ELRepoリポジトリで提供している「kmod-mlx4」を使っ...
#code(nonumber){{
[root@rockylinux9 ~]# cat /etc/redhat-release
Rocky Linux release 9.5 (Blue Onyx)
[root@rockylinux9 ~]# uname -r
5.14.0-503.14.1.el9_5.x86_64
[root@rockylinux9 ~]#
}}
っとkernel versionを確認します
っで
#code(nonumber){{
[root@rockylinux9 ~]# wget https://mirror.rackspace.com/e...
[root@rockylinux9 ~]# rpm -i kmod-mlx4-4.0-9.el9_5.elrepo...
[root@rockylinux9 ~]# vi rpmbuild/SPECS/kmod-mlx4.spec
%{!?kmod_kernel_version: %define kmod_kernel_version 5.14...
↓
%{!?kmod_kernel_version: %define kmod_kernel_version 5.14...
[root@rockylinux9 ~]# dnf install kernel-abi-stablelists ...
[root@rockylinux9 ~]# rpmbuild -bb rpmbuild/SPECS/kmod-ml...
}}
できたカーネルモジュールをインストール
#code(nonumber){{
[root@rockylinux9 ~]# dnf localinstall ./rpmbuild/RPMS/x8...
}}
そうして
#code(nonumber){{
[root@rockylinux9 ~]# modprobe mlx4_en
[root@rockylinux9 ~]# modprobe ib_ipoib
[root@rockylinux9 ~]# ip link
:
3: ibp1s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 4092 q...
link/infiniband 80:00:02:08:fe:80:00:00:00:00:00:00:0...
4: ibp1s0d1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 4092...
link/infiniband 80:00:02:09:fe:80:00:00:00:00:00:00:0...
[root@rockylinux9 ~]#
[root@rockylinux9 ~]# systemctl start opensm
}}
でデバイスが認識出ました. あとはnmtiでinfinibandとして登...
iperf3で2点間の通信速度を図ってみた. 「10.10.10.2」はもう...
#code(nonumber){{
[root@rockylinux9 ~]# iperf3 -c 10.10.10.2
Connecting to host 10.10.10.2, port 5201
[ 5] local 10.10.10.1 port 45320 connected to 10.10.10.2...
[ ID] Interval Transfer Bitrate Ret...
[ 5] 0.00-1.00 sec 3.05 GBytes 26.2 Gbits/sec 589...
[ 5] 1.00-2.00 sec 3.07 GBytes 26.3 Gbits/sec 733...
[ 5] 2.00-3.00 sec 3.07 GBytes 26.3 Gbits/sec 725...
[ 5] 3.00-4.00 sec 3.07 GBytes 26.3 Gbits/sec 920...
[ 5] 4.00-5.00 sec 3.07 GBytes 26.4 Gbits/sec 536...
[ 5] 5.00-6.00 sec 3.06 GBytes 26.3 Gbits/sec 867...
[ 5] 6.00-7.00 sec 3.06 GBytes 26.3 Gbits/sec 637...
[ 5] 7.00-8.00 sec 3.07 GBytes 26.3 Gbits/sec 680...
[ 5] 8.00-9.00 sec 3.06 GBytes 26.3 Gbits/sec 715...
[ 5] 9.00-10.00 sec 2.99 GBytes 25.7 Gbits/sec 735...
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 30.6 GBytes 26.3 Gbits/sec 713...
[ 5] 0.00-10.00 sec 30.6 GBytes 26.3 Gbits/sec ...
iperf Done.
[root@rockylinux9 ~]#
}}
多重にしても40Gbpsまでは届かなかった.
終了行:
各種nicで速度を確かめている
***ConnectX-3 Pro EN MCX313A-BCCT [#yaa16840]
infinibandはしゃべれない Ethernet カードが２枚ある.
それを共に CPU: Gold G5400[3.7GHz,2c/4t], MEM: 32GB, MB: ...
一応下記のように認識してくれた.
#code(nonumber){{
01:00.0 Ethernet controller: Mellanox Technologies MT2752...
}}
っで双方のマシンで iperf3 を使った通信テストを実施してみ...
#code(nonumber){{
[root@c1 ~]# iperf3 -c 10.10.10.2
Connecting to host 10.10.10.2, port 5201
[ 5] local 10.10.10.1 port 34698 connected to 10.10.10.2...
[ ID] Interval Transfer Bitrate Ret...
[ 5] 0.00-1.00 sec 3.85 GBytes 33.0 Gbits/sec 0...
[ 5] 1.00-2.00 sec 3.90 GBytes 33.5 Gbits/sec 0...
[ 5] 2.00-3.00 sec 3.89 GBytes 33.4 Gbits/sec 0...
[ 5] 3.00-4.00 sec 3.86 GBytes 33.1 Gbits/sec 0...
[ 5] 4.00-5.00 sec 3.92 GBytes 33.7 Gbits/sec 0...
[ 5] 5.00-6.00 sec 3.93 GBytes 33.8 Gbits/sec 0...
[ 5] 6.00-7.00 sec 3.91 GBytes 33.6 Gbits/sec 0...
[ 5] 7.00-8.00 sec 3.91 GBytes 33.6 Gbits/sec 0...
[ 5] 8.00-9.00 sec 3.89 GBytes 33.4 Gbits/sec 0...
[ 5] 9.00-10.00 sec 3.81 GBytes 32.7 Gbits/sec 0...
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 38.9 GBytes 33.4 Gbits/sec 0...
[ 5] 0.00-10.00 sec 38.9 GBytes 33.4 Gbits/sec ...
iperf Done.
[root@c1 ~]#
}}
「iperf3 -c 10.10.10.2 -P 2」と多重で流したら最大 37.5 G...
次に片方にSSD disk(/data,CT250MX500SSD1)を載せて nfs で共...
一応まずネットワークを介さないローカルにて測定してみた
#code(nonumber){{
dd if=/dev/zero of=/data/testfile bs=1G count=10 oflag=di...
dd if=/data/testfile of=/dev/null bs=1G count=10 iflag=di...
}}
次にnfsクライアント側にて操作.
#code(nonumber){{
mount -t nfs -o vers=4,hard,sync,noac,actimeo=0 10.10.10....
dd if=/dev/zero of=/data/testfile bs=1G count=10 oflag=di...
dd if=/data/testfile of=/dev/null bs=1G count=10 iflag=di...
}}
nfsクライアント側での読み込みテストの際は、事前にnfsサー...
#code(nonumber){{
systemctl restart nfs-server
echo 3 > /proc/sys/vm/drop_caches
}}
これを実行しないとキャッシュ経由で読み込みの値が出てくる.
ddの結果からすれば、読み込みのnfs経由での速度低下はあまり...
次にrsyncでも転送速度を図ってみた
nfsクライアント側のsystem diskは nvme(WDC WDS250G1B0C-00S...
#code(nonumber){{
dd if=/dev/zero of=/tmp/testfile bs=1G count=10 oflag=dir...
dd if=/tmp/testfile of=/dev/null bs=1G count=10 iflag=dir...
}}
ここを使ってrsyncしてみた
#code(nonumber){{
mount -t nfs -o vers=4,hard,sync,noac,actimeo=0 10.10.10....
rsync -avh /tmp/testfile /data/testfile 42.04 M by...
rsync -avh /data/testfile /tmp/testfile2 278.96M by...
mount -t nfs 10.10.10.1:/data /data
rsync -avh /tmp/testfile /data/testfile 352.13M by...
rsync -avh /data/testfile /tmp/testfile2 499.54M by...
}}
nfsオプションのasyncが効いている？って感じかな.
***ConnectX-2 VPI MHQH29B-XTR [#s0530dd4]
Mellanox connectX-3のカードがある. 非常に古いinfiniband/E...
lspciの出力で下記のように表示される
#code(nonumber){{
01:00.0 InfiniBand: Mellanox Technologies MT25408A0-FCC-Q...
}}
rockylinux9で使おうとしたらドライバーが提供されていない様...
-CoonectX-3はMLNX_OFEDのversion 4.9まで対応 &size(10){そ...
-MLNX_OFEDはRockyLinux8.8まで対応
なので、ELRepoリポジトリで提供している「kmod-mlx4」を使っ...
#code(nonumber){{
[root@rockylinux9 ~]# cat /etc/redhat-release
Rocky Linux release 9.5 (Blue Onyx)
[root@rockylinux9 ~]# uname -r
5.14.0-503.14.1.el9_5.x86_64
[root@rockylinux9 ~]#
}}
っとkernel versionを確認します
っで
#code(nonumber){{
[root@rockylinux9 ~]# wget https://mirror.rackspace.com/e...
[root@rockylinux9 ~]# rpm -i kmod-mlx4-4.0-9.el9_5.elrepo...
[root@rockylinux9 ~]# vi rpmbuild/SPECS/kmod-mlx4.spec
%{!?kmod_kernel_version: %define kmod_kernel_version 5.14...
↓
%{!?kmod_kernel_version: %define kmod_kernel_version 5.14...
[root@rockylinux9 ~]# dnf install kernel-abi-stablelists ...
[root@rockylinux9 ~]# rpmbuild -bb rpmbuild/SPECS/kmod-ml...
}}
できたカーネルモジュールをインストール
#code(nonumber){{
[root@rockylinux9 ~]# dnf localinstall ./rpmbuild/RPMS/x8...
}}
そうして
#code(nonumber){{
[root@rockylinux9 ~]# modprobe mlx4_en
[root@rockylinux9 ~]# modprobe ib_ipoib
[root@rockylinux9 ~]# ip link
:
3: ibp1s0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 4092 q...
link/infiniband 80:00:02:08:fe:80:00:00:00:00:00:00:0...
4: ibp1s0d1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 4092...
link/infiniband 80:00:02:09:fe:80:00:00:00:00:00:00:0...
[root@rockylinux9 ~]#
[root@rockylinux9 ~]# systemctl start opensm
}}
でデバイスが認識出ました. あとはnmtiでinfinibandとして登...
iperf3で2点間の通信速度を図ってみた. 「10.10.10.2」はもう...
#code(nonumber){{
[root@rockylinux9 ~]# iperf3 -c 10.10.10.2
Connecting to host 10.10.10.2, port 5201
[ 5] local 10.10.10.1 port 45320 connected to 10.10.10.2...
[ ID] Interval Transfer Bitrate Ret...
[ 5] 0.00-1.00 sec 3.05 GBytes 26.2 Gbits/sec 589...
[ 5] 1.00-2.00 sec 3.07 GBytes 26.3 Gbits/sec 733...
[ 5] 2.00-3.00 sec 3.07 GBytes 26.3 Gbits/sec 725...
[ 5] 3.00-4.00 sec 3.07 GBytes 26.3 Gbits/sec 920...
[ 5] 4.00-5.00 sec 3.07 GBytes 26.4 Gbits/sec 536...
[ 5] 5.00-6.00 sec 3.06 GBytes 26.3 Gbits/sec 867...
[ 5] 6.00-7.00 sec 3.06 GBytes 26.3 Gbits/sec 637...
[ 5] 7.00-8.00 sec 3.07 GBytes 26.3 Gbits/sec 680...
[ 5] 8.00-9.00 sec 3.06 GBytes 26.3 Gbits/sec 715...
[ 5] 9.00-10.00 sec 2.99 GBytes 25.7 Gbits/sec 735...
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 30.6 GBytes 26.3 Gbits/sec 713...
[ 5] 0.00-10.00 sec 30.6 GBytes 26.3 Gbits/sec ...
iperf Done.
[root@rockylinux9 ~]#
}}
多重にしても40Gbpsまでは届かなかった.
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
