ubuntu18.04でinfinibandを扱う
- MT25408A0-FCC-QI
Mellanox ConnectX IB
Dual 4X (10, 20, 40Gb/s)
PCIe 2.0 5.0GT/s
9.7W
QDR(8b/10b, 8bitデータを10bitにエンコードする, 40Gbps--> 32Gbps)
追加のパッケージ無しでも「/etc/modules-load.d/mellanox.conf」に追加モジュールとして
rdma_ucm
ib_umad
ib_ipoib
を加えて再起動すれば「ib0」なデバイスは出現する
その後は、nmtuiなりでib0にipアドレスを付与すれば使える.
root@ubuntu1804:~# lspci |grep -i mellanox
01:00.0 InfiniBand: Mellanox Technologies MT25408A0-FCC-QI ConnectX, Dual Port 40Gb/s InfiniBand / 10GigE Adapter IC with PCIe 2.0 x8 5.0GT/s In... (rev b0)
root@ubuntu1804:~# lsmod | grep mlx
mlx4_ib 196608 0
ib_uverbs 126976 1 mlx4_ib
ib_core 307200 2 mlx4_ib,ib_uverbs
mlx4_core 299008 1 mlx4_ib
root@ubuntu1804:~# vi /etc/modules-load.d/mellanox.conf
rdma_ucm
ib_umad
ib_ipoib
root@ubuntu1804:~# reboot
これで ib0 なデバイスが表れる.
他、追加パッケージ †
他ib関係のコマンドを使うなら下記パッケージを追加インストールします。
apt install infiniband-diags opensm ibverbs-utils perftest
- infiniband-diags
ibstat、ibstatus、iblinkinfo
- opensm
- ibverbs-utils
ibv_devinfo
- perftest
ib_atomic_bw
MLNX_OFED_LINUX †
mellanoxのパッケージを入れるなら
*pythonモジュールを入れた方がいい
tar xzvf MLNX_OFED_LINUX-4.9-0.1.7.0-ubuntu18.04-x86_64.tgz
cd MLNX_OFED_LINUX-4.9-0.1.7.0-ubuntu18.04-x86_64
./mlnxofedinstall
(メッセージ)
Error: One or more packages depends on MLNX_OFED_LINUX.
Those packages should be removed before uninstalling MLNX_OFED_LINUX:
ibverbs-providers:amd64 libosmcomp3 libosmvendor4 libopensm5a librdmacm1:amd64
To force uninstallation use '--force' flag.
reboot
「openibd.service」が稼働することが必要みたい. 設定ファイルは「/etc/infiniband/openib.conf」
これが動いてib0とかが使えた
「MLNX_OFED_LINUX-5.x」では下記プロダクトはサポート外で「MLNX_OFED_LINUX-4.9.x」を使用します
ConnectX-3 Pro
ConnectX-3
Connect-IB
![[PukiWiki]](image/picc.png "[PukiWiki]")
