各OS毎の対応(2022.12.18)

OS提供バージョンリポジトリなど
RockyLinux 922.05.6epel
RockyLinux 820.11.9epel
CentOS 720.11.9epel
Ubuntu 20.0419.05.5-1universe/admin
Ubuntu 22.0421.08.5-2universe/admin

起点を「/opt/slrum」にして設定ファイルも同じく「/opt/slurm/etc」に配置させ
この「/opt/slrum」を共有させればいいのかなと思うが、そうなるとパッケージを用意する必要になる. クラスターが単一OSなら. ヘテロOS環境なら既存のパッケージでいいのかも

っで作ってみた(ubuntuの計算ノードとかには使えないけど)
*ubuntuのパッケージ作成方法はよく分からないので、作ってないです. ubuntu系はソースから作成なのかも

作成方法はhttps://slurm.schedmd.com/quickstart_admin.htmlに従います.

まずはソースのtar.bz2を用意します

[root@slurm ~]# cat /etc/redhat-release
Rocky Linux release 9.2 (Blue Onyx)
 
[root@slurm ~]# git clone https://github.com/SchedMD/slurm.git
[root@slurm ~]# cd slurm/
[root@slurm slurm]# git tag | tail -n 3
slurm-23-02-3-1
slurm-23-02-4-1
start
[root@slurm slurm]#
[root@slurm slurm]# git checkout slurm-23-02-4-1
[root@slurm slurm]# git branch
* (HEAD detached at slurm-23-02-4-1)
  master
[root@slurm slurm]# cd ..
[root@slurm ~]# tar --exclude-vcs --transform 's/slurm/slurm-23.02.4/' -cvjf slurm-23.02.4.tar.bz2 slurm
 
[root@slurm ~]# tar tvf slurm-23.02.4.tar.bz2 | head -n 3
drwxr-xr-x root/root         0 2023-08-24 01:43 slurm-23.02.4/
-rw-r--r-- root/root       595 2023-08-24 01:43 slurm-23.02.4/.travis.yml
-rw-r--r-- root/root       119 2023-08-24 01:43 slurm-23.02.4/AUTHORS
[root@slurm ~]#

slurmに載せたい機能

slurmの運用で有効にさせたい機能があってここでは下記を有効にしてみた

他にもありましたが、numa, hdf5, ucx, x11, lua はら無効としました.
データベースでアカウント対応を行う「slurmdbd」は小規模なので要らないかなと思ったのですが、「mariadb-devel」は必要でした

っでこれら有効にしたい機能を実現させるために追加のパッケージを入れて置きます

dnf groupinstall "Development tools"
dnf install --enablerepo=devel munge-devel readline-devel pam-devel perl-ExtUtils-MakeMaker \
                            hwloc-devel mariadb-devel pmix-devel freeipmi-devel dbus-devel python3 json-c-devel lz4-devel librdkafka-devel libcurl-devel man2html-core http-parser-devel libyaml-devel libjwt-devel
 
bash ./cuda_12.2.1_535.86.10_linux.run (「cuda-nvml-dev」のみインストール)
(あるいは)
dnf localinstall cuda-repo-rhel9-12-2-local-12.2.1_535.86.10-1.x86_64.rpm としてcuda-nvml-devel-12-2.x86_64のみ入れる

numaはnumactl-devel、hdf5はhdf5-devel、ucxはucx-devel、luaはcompat-lua-develが必要

macroファイルの準備

slurm.specを直接いじらず設定ファイル(macro file)を作成します. これでslurm.specの情報を上書きできます

[root@slurm ~]# rpmbuild --version
RPM version 4.16.1.3
[root@slurm ~]# vi .rpmmacros
%_prefix /opt/slurm
%_slurm_sysconfdir %{_prefix}/etc
%_with_hwloc 1
%_with_pam 1
%_with_x11 1
%_with_pmix --with-pmix=/usr
%_with_nvml --with-nvml=/usr/local/cuda-12.2
%_with_freeipmi --with-freeipmi=/usr
 
[root@slurm ~]#

x11は有効に
hdf5は「%_with_hdf5 1」、ucxは「%_with_ucx --with-ucx=/usr」、X11は環境がokなら有効になる. luaはパッケージがあればok

rpmbuildでパッケージを作る

[root@slurm ~]# rpmbuild -ta slurm-23.02.4.tar.bz2
[root@slurm ~]# rm .rpmmacros    <-- ほかのrpmファイルに影響があるので削除
 
(RockyLinux 9の「RPM version 4.16.1.3」なら .rpmmacros を別ファイルとして指定できる
rpmbuild -ta --load slurm.rpmmacros slurm-23.02.4.tar.bz2

作成されたrpmファイルは

[root@slurm ~]# ls -l rpmbuild/RPMS/x86_64/
 :
-rw-r--r--. 1 root root 17515485 Aug 24 01:52 slurm-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root    20008 Aug 24 01:52 slurm-contribs-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root    80884 Aug 24 01:52 slurm-devel-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root    13155 Aug 24 01:52 slurm-example-configs-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root   162748 Aug 24 01:52 slurm-libpmi-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root    12984 Aug 24 01:52 slurm-openlava-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root   149953 Aug 24 01:52 slurm-pam_slurm-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root   839285 Aug 24 01:52 slurm-perlapi-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root  1569745 Aug 24 01:52 slurm-slurmctld-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root   776917 Aug 24 01:52 slurm-slurmd-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root   857715 Aug 24 01:52 slurm-slurmdbd-23.02.4-1.el9.x86_64.rpm
-rw-r--r--. 1 root root   130386 Aug 24 01:52 slurm-torque-23.02.4-1.el9.x86_64.rpm
 :
[root@slurm ~]#

メモ

cudaライブラリ(cuda-nvml-devel)のないところでrpmbuildすると「/usr/lib64/slurm/gpu_nvml.so」が用意されない.
これがないと「/etc/slurm/gres.conf」で「AutoDetect=nvml」が使えない.

最新の60件
2024-02-23 2024-02-22 2024-02-21 2024-02-20 2024-02-19 2024-02-18 2024-02-17 2024-02-16 2024-02-13 2024-02-12 2024-02-09 2024-02-04 2024-02-03 2024-01-31 2024-01-30 2024-01-29 2024-01-28 2024-01-22 2024-01-16 2024-01-15 2024-01-13 2024-01-12 2024-01-09 2024-01-08 2024-01-07 2024-01-03 2023-12-22 2023-12-17 2023-12-16 2023-12-11 2023-12-09 2023-12-06 2023-11-30 2023-11-27 2023-11-21 2023-11-19 2023-11-18 2023-11-14 2023-11-10 2023-11-09 2023-11-05 2023-11-03 2023-10-30 2023-10-26

edit


トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2023-09-16 (土) 19:39:00