![[PukiWiki]](image/picc.png "[PukiWiki]")
slurmをjob queuing systemに使った場合
これらに留意する必要があるっぽい
slurmでrelionを使うときの「qsub.sh」を作ってみている. 「sbatch.sh」とかの名称がいいのかも
2026.02.24 改定. 複数計算ノード対応へ.
#!/bin/bash
#SBATCH --ntasks=XXXmpinodesXXX # Number of MPI procs
#SBATCH --cpus-per-task=XXXthreadsXXX # Number of threads
#SBATCH --partition=XXXqueueXXX # Submit to queue?
#SBATCH --nodes=XXXnodesXXX # CEIL( XXXcoresXXX / XXXdedicatedXXX )
#SBATCH --error=XXXerrfileXXX
#SBATCH --output=XXXoutfileXXX
#SBATCH --job-name=XXXnameXXX
###SBATCH --gres=gpu:4 # 無効へ 「Queue submit command」内で"sbatch --gres=gpu:2"(１ノード当たりのGPU使用枚数) とかで定義
#################################
cd $SLURM_SUBMIT_DIR
### Environment Modules (ジョブ投入前の環境変数(PATH,LD_LIBRARY_PATH,RELION_XXXが継承されるので不要かも)
. /etc/profile.d/modules.sh
module load mpi/openmpi-x86_64
module load relion # modeule load relion/5.0.1 とか module load relion/4.0.2 とか
### requested resources
cat <<_EOF_>XXXoutfileXXX
----------------------------------------------
start `date`
----------------------------------------------
Queue name XXXqueueXXX
used nodes ${SLURM_JOB_NODELIST}
+--NumberOfProcess[MPI procs] XXXmpinodesXXX
+-- NumberOfThreads[threads] XXXthreadsXXX
_EOF_
### check command
cmd_=$(/bin/cat <<_EOF_
XXXcommandXXX
_EOF_
)
cmd=$(echo "$cmd_" | sed -z 's/\n/\&\&/g')
run=$(echo $cmd|awk '{print $1}')
### mpirun option
opt=" --display-map --bind-to none --mca plm_rsh_agent rsh --map-by node --oversubscribe "
opt=" --display-map --bind-to none --mca pml ob1 --mca mtl ^ofi --mca btl self,vader,tcp --mca btl_tcp_if_include lo,eth0 --map-by node --oversubscribe "
opt=" --display-map --bind-to none --mca pml ob1 --mca mtl ^ofi --mca btl self,vader,tcp --map-by node --oversubscribe "
### check GPU
np=XXXmpinodesXXX
localnodefile=1
#if [ ${run##*/} = "relion_refine_mpi" ]; then
# if [[ $cmd = *--gpu* ]]; then
# np=$(expr $np + 1)
# fi
#fi
if [[ ${run##*/} = *_mpi ]]; then
np=$(expr $np + 1)
fi
### Run
SECONDS=0
command="{ { mpirun $opt --host ${SLURMD_NODENAME} -np $np ${cmd:0:-2} | tee -a XXXoutfileXXX ; } 3>&2 2>&1 1>&3 | tee -a XXXerrfileXXX ; } 3>&2 2>&1 1>&3"
command="{ { mpirun $opt -np $np ${cmd:0:-2} | tee -a XXXoutfileXXX ; } 3>&2 2>&1 1>&3 | tee -a XXXerrfileXXX ; } 3>&2 2>&1 1>&3"
eval $command
cat <<_EOF_>>XXXoutfileXXX
----------------------------------------------
use relion: `readlink -f $run`
end time: `date '+%y%m%d %H:%M:%S'` (spend `printf "%02d:%02d:%02d\n" $(($SECONDS/3600)) $((($SECONDS%3600)/60)) $(($SECONDS%60))`)
----------------------------------------------
done
_EOF_GPUの使用枚数のしては「Queue submit command:」欄で行う. 「sbatch --gres=gpu:2」なら「gpu」とgres.confで定義されたGPUを２枚使うことを意図します
複数ノードを使っての計算が目的なら「--gres=gpu:X」の値は１ノード当たりのGPU数にしてください。
relionのソースを修正して、枚数指定の入力欄を拵えればいいのかな.
画面はこんな感じになるのかも.
https://hpc.nih.gov/apps/relion/index.html
あと特定のマシンで計算させたいのなら「Standard submission script」を
「sbatch --gres=gpu:2 --nodelist=gpu01」
２台で計算させたいのなら
「sbatch --gres=gpu:2 --nodelist=gpu01,gpu02 --nodes=2」
とします。用意されるmpiは「--map-by node」によって各ノードにラウンドロビン(平等に順繰り)で配られます.
mpirunのオプション
「 --display-map --bind-to none --mca pml ob1 --mca mtl ^ofi --mca btl self,vader,tcp --mca btl_tcp_if_include lo,eth0 --map-by node --oversubscribe」
について
「--mca pml ob1」
PML(Point-to-Pint Messaging Layer) ob1[古典的で安定したPML, 仮想にはBTLを使用], ucx[新しい汎用通信スタック, 高速だが環境依存が強い]
「--mca mtl ^ofi」
MTL(Matching Transport Layer) ofi(libfabric)ベースのMTLを使わないと宣言. PSM2/PSM3(Omni-Path)を含むlibfabricプロバイダの利用を拒んでいる.
「--mca btl self,vander,tcp」
BTL(Byte Transfer Layer) PML=ob1 の設定の中で実際の通信を担うレイヤー. self:自分自身の通信, vader: 共有メモリ通信(単一ノード内のrank間通信), tcp: TCP/IPソケット通信(複数ノード間やlo/eth0間)
「--mca_tcp_if_include lo,rth0」
BTLがtcpの際に、使用するインターフェース(loとeth0), これを付けないと/sys/class/net/をみて使えそうなnicにもソケットを作るが、使っていないnicに「UDP socketが作れない」とかで警告が起こりやすい
「Standard Submisstion script:」で使用可能な変数とパネルの位置
Number of MPI procs: => XXXmpinodesXXX
Number of threads; => XXXthreadsXXX
Submit to queue?: => XXXqueueXXX
Minimum dedicated cores per node: => XXXdedicatedXXX
XXXmpinodesXXX * XXXthreadsXXX => XXXcoresXXX
XXXnodesXXX = CEIL( XXXcoresXXX / XXXdedicatedXXX ) --> 16core要求されて、１ノード当たり8coreなら 2ノード。16coreで1ノード3coreなら 16/3 => 5.3 で 6ノードslurmでは、
「Number of MPI procs」はtaskとして扱い「--ntask(-n)」に該当かと。
「Number of threasds」は「--cpus-per-task(-c)」に該当かなと。
XXXnodesXXX は「--nodes(-N)」に該当かな
計算ノード間にcore数に違いある場合。もし8mpi/2threadsで流したいのに、A:8core、B:16core、c:8coreで、AとCで計算したいなら「Queue submit command」欄に「sbatch --nodes=2 --nodelist=a,c」とします。
