ubuntu18.04でinfinibandを扱う

  • MT25408A0-FCC-QI
    Mellanox ConnectX IB
    Dual 4X (10, 20, 40Gb/s)
    PCIe 2.0 5.0GT/s
    9.7W
    QDR(8b/10b, 8bitデータを10bitにエンコードする, 40Gbps--> 32Gbps)

追加のパッケージ無しでも「/etc/modules-load.d/mellanox.conf」に追加モジュールとして
rdma_ucm
ib_umad
ib_ipoib
を加えて再起動すれば「ib0」なデバイスは出現する
その後は、nmtuiなりでib0にipアドレスを付与すれば使える.

root@ubuntu1804:~# lspci |grep -i mellanox
01:00.0 InfiniBand: Mellanox Technologies MT25408A0-FCC-QI ConnectX, Dual Port 40Gb/s InfiniBand / 10GigE Adapter IC with PCIe 2.0 x8 5.0GT/s In... (rev b0)
 
root@ubuntu1804:~# lsmod  | grep mlx
mlx4_ib               196608  0
ib_uverbs             126976  1 mlx4_ib
ib_core               307200  2 mlx4_ib,ib_uverbs
mlx4_core             299008  1 mlx4_ib
 
root@ubuntu1804:~# vi /etc/modules-load.d/mellanox.conf
rdma_ucm
ib_umad
ib_ipoib
 
root@ubuntu1804:~# reboot

これで ib0 なデバイスが表れる.

他、追加パッケージ

他ib関係のコマンドを使うなら下記パッケージを追加インストールします。

apt install infiniband-diags opensm ibverbs-utils perftest
  • infiniband-diags
    ibstat、ibstatus、iblinkinfo
  • opensm
  • ibverbs-utils
    ibv_devinfo
  • perftest
    ib_atomic_bw


MLNX_OFED_LINUX

mellanoxのパッケージを入れるなら

*pythonモジュールを入れた方がいい

tar xzvf MLNX_OFED_LINUX-4.9-0.1.7.0-ubuntu18.04-x86_64.tgz
 
cd MLNX_OFED_LINUX-4.9-0.1.7.0-ubuntu18.04-x86_64
 
./mlnxofedinstall
 
 
(メッセージ)
Error: One or more packages depends on MLNX_OFED_LINUX.
Those packages should be removed before uninstalling MLNX_OFED_LINUX:
ibverbs-providers:amd64 libosmcomp3 libosmvendor4 libopensm5a librdmacm1:amd64
To force uninstallation use '--force' flag.
 
 
reboot

「openibd.service」が稼働することが必要みたい. 設定ファイルは「/etc/infiniband/openib.conf
これが動いてib0とかが使えた

「MLNX_OFED_LINUX-5.x」では下記プロダクトはサポート外で「MLNX_OFED_LINUX-4.9.x」を使用します

ConnectX-3 Pro
ConnectX-3
Connect-IB

トップ   編集 添付 複製 名前変更     ヘルプ   最終更新のRSS
Last-modified: 2020-09-25 (金) 02:38:01 (30d)