InfiniBand通信にはSubnetManagerが必須なようで、InfiniBand switchに内蔵されていればそちらを使いましょう。
もしswitchを使わない1対1の通信でもその片方で SubnetManager を稼動させる必要がある。

SubnetManagerの稼動は、InfiniBandでネットワークを形成している中に1つだけあればいいみたい。2つ以上あっても問題ない。
どれかがMasterとして働き、あとはMasterが不在になったらその座を引き継ぐみたい。

構築

InfiniBandネットワークに参加しているマシン1台にインストール

[root@e ~]# yum install opensm

同時に

  • opensm-libs
  • libibumad
    OpenFabrics Alliance InfiniBand umad (user MAD) library

がインストールされる。

基本何も調整する必要はないみたい。
編集は基本/etc/sysconfig/opensmで済ませて、/etc/rdma/opensm.confには手をいれないみたい。

起動

[root@e ~]# systemctl list-unit-files --type=service | grep opensm
opensm.service                              disabled
[root@e ~]#
[root@e ~]# systemctl enable opensm.service
[root@e ~]# systemctl start opensm.service

注意

1対1での通信の際、

  • 相手方マシンでib0、ib1が認識されてない。動いていない。
  • OepnSMが動いていない

の場合は

[root@e ~]# env LANG=C nmcli d
DEVICE  TYPE        STATE        CONNECTION
enp3s0  ethernet    connected    enp3s0
ib0     infiniband  unavailable  --
ib1     infiniband  unavailable  --
lo      loopback    unmanaged    --
[root@e ~]#

とSTATEがunavailable(利用不可)と表記される


トップ   編集 添付 複製 名前変更     ヘルプ   最終更新のRSS
Last-modified: 2016-10-22 (土) 09:17:05 (1184d)