slurm

Simple Linux Utility for Resource Management 本家様 slurm
ジョブスケジューラ。SunGridEngineをいろいろ調整していたのだが、、、、良く分からん。
結局TORQUEを作ってみたが、ノード指定があるのに躊躇う。必要なコア数とメモリー量だけでノードが決まる代物が欲しくて調べてみた。

Torque:
   queue + node(マシン数) + ppn(processors per node)
 
Slurm:
   queue + ntasks(MPI数)

パッケージ作成 slurm/rpmbuild
パッケージインストール slurm/install
計算ノード/queue設定slurm/slurm.conf

全体像 †

TORQUEと同じようにsamba AD/NFS環境で/home,/Applが共有され、計算ノードはn1,n2,n3の３台で、ジョブを投入するサイトが１台。
ジョブを管理するslurm管理ノードが１台とする。
各ノードはsambaに登録させておく。登録方法はsamba/Linux参加参照

各マシンの時計はntpdとかで同期され、各マシンのＯＳは全てCentOS 7とします

役目	ホスト名	IPアドレス	core数	備考
管理ノード	slurm.sybyl.jp	192.168.0.69	1	slurmctldが起動
計算ノード	n1.sybyl.jp	192.168.0.52	1	slurmdが起動
	n2.sybyl.jp	192.168.0.53	2
	n3.sybyl.jp	192.168.0.54	3
ジョブ発行ノード	client.sybyl.jp	192.168.0.20	1	srun,sbatchの他TORQUEコマンドも使用可能

共通アカウントslurmを用意します。samba/ユーザ登録

[root@c ~]# /opt/samba/bin/samba-tool group add slurm --group-scope=Global --group-type=Security \
  --description='ジョブコントロール slurm' --mail-address=xxxx@yyy.jp --notes='仕分け人' \
  --gid-number=2003 --nis-domain=sybyl
 
[root@c ~]# /opt/samba/bin/samba-tool user create slurmuser --must-change-at-next-login \
  --random-password  --use-username-as-cn --internet-address='https://slurm.schedmd.com/overview.html' \
  --uid=slurmuser --uid-number=2003 --gid-number=2003  --login-shell=/bin/bash  \
  --nis-domain=sybyl --unix-home=/var/lib/slurm

確認

[root@slurm ~]# id slurmuser
uid=2003(slurmuser) gid=2003(slurm) groups=2003(slurm),3000(domain users)
 
[root@slurm ~]# getent passwd slurmuser
slurmuser:*:2003:2003:slurmuser:/var/lib/slurm:/bin/bash
 
[root@slurm ~]#

↑

munge †

全てのクラスターノード(slurm,n1,n2,n3,client)にmungeパッケージをインストールする。
標準リポジトリでは提供されていないようで、epelリポジトリを有効にしてインストールを行う。

[root@slurm ~]# yum install epel-release
[root@slurm ~]# yum install munge munge-libs

次に、munge.key(/etc/munge/munge.key)を作成して、mungeデーモンを起動させる

[root@slurm ~]# /usr/sbin/create-munge-key
Generating a pseudo-random key using /dev/urandom completed.
 
[root@slurm ~]# systemctl enable munge.service
[root@slurm ~]# systemctl start munge.service

この作成したmunge.keyをクラスターに参加する全てのマシンに配布します
*n1,n2,n3,clientも同様にmungeパッケージのインストールも行う

例えば n1.sybyl.local マシンに対して、

[root@slurm ~]# ssh -l root n1 'yum install epel-release -y && yum install munge munge-libs -y'
[root@slurm ~]# scp /etc/munge/munge.key root@n1:/etc/munge/munge.key
[root@slurm ~]# ssh -l root n1 chown munge:munge /etc/munge/munge.key

*munge.keyファイルの所有者に留意する事

全体像 †

munge †

最新の60件