#author("2026-10-02T08:02:08+00:00","default:sysosa","sysosa")
#author("2026-10-07T15:00:25+00:00","default:sysosa","sysosa")
slurmで流すときの「&color(orangered){''Standard submission script''};」を作ってみた.   &size(10){ファイル名は「sbatch.sh」としています};

2026.08.31 改定. 複数計算ノード対応へ.　NVIDIA MPS（Multi-Process Service）対応版 [[Relion/slurm/mps]]

#code(nonumber){{
#!/bin/bash
#SBATCH --ntasks=XXXmpinodesXXX                  # Number of MPI procs
#SBATCH --cpus-per-task=XXXthreadsXXX            # Number of threads
#SBATCH --partition=XXXqueueXXX                  # Queue name
#SBATCH --nodes=XXXnodesXXX                      # CEIL( XXXcoresXXX / XXXdedicatedXXX ) 必要なcore数を１台当たりのcore数で割って切り上げ. ノード数
#SBATCH --error=XXXerrfileXXX
#SBATCH --output=XXXoutfileXXX
#SBATCH --job-name=XXXnameXXX

cd $SLURM_SUBMIT_DIR

### Environment Modules
. /etc/profile.d/modules.sh
module load mpi/openmpi-x86_64
module load relion

### requested resources
cat <<_EOF_>XXXoutfileXXX
----------------------------------------------
start  `date`
----------------------------------------------
Queue name          XXXqueueXXX
  required cores    XXXcoresXXX  :( XXXmpinodesXXX[mpi] * XXXthreadsXXX[threads] )
  nodes             XXXnodesXXX  :CEIL( XXXcoresXXX / XXXdedicatedXXX ) :( ${SLURM_JOB_NODELIST} )
_EOF_

### check command
cmd_=$(/bin/cat <<_EOF_
XXXcommandXXX
_EOF_
)
cmd=$(echo "$cmd_" | sed -z 's/\n/\&\&/g')
run=$(echo $cmd|awk '{print $1}')

### Run
export OMPI_MCA_pml=ob1
export OMPI_MCA_btl=self,vader,tcp

SECONDS=0
command="{ { srun --mpi=pmix_v3 ${cmd:0:-2} | tee -a XXXoutfileXXX ; } 3>&2 2>&1 1>&3 | tee -a XXXerrfileXXX ; } 3>&2 2>&1 1>&3"
eval $command

cat <<_EOF_>>XXXoutfileXXX
----------------------------------------------
use relion: `readlink -f $run`
end time: `date '+%y%m%d %H:%M:%S'`  (spend  `printf "%02d:%02d:%02d\n" $(($SECONDS/3600)) $((($SECONDS%3600)/60)) $(($SECONDS%60))`)
----------------------------------------------
done
_EOF_
}}

「srun」で投げてますが、以前この部分をmpirunで以前は作ってました. 
mpirunなので「--oversubscribe」とかでrelion_refine_mpiの時の親mpi対処ができたのですが、、それよりもsrunの方が計算が早いみたい.
ただそうなると「--oversubscribe」が使えないので「Number of MPI procs」「Number of threads」「Minimum dedicated cores per node」らの値の算出が結構面倒...



***Runningパネル [#p4ffefa9]
Class2DやClass3DはGPUを使っての計算が可能ですが、複数のMPIを使って計算する場合、親MPIを考慮する必要がある。でも親MPIはGPU計算を行わない。子MPIのみGPU計算が可能
例えば、４枚GPUマシンが２台あってそれを全て使って計算したいとなると、
#code(nonumber){{
　
  １つのGPUに１つのMPI(子MPI)プロセスを割り当てるなら、８MPIが必要
　加えて、親MPIを１つ加えての合計９MPIが必要となる
　加えて、親MPIを１つ加えての合計９MPIが必要となる                     -->  Number of MPI procs : 9

　次に、１つのノードに幾つのMPIを乗せるか。９MPIの計算になるので、１つのノードには ９÷２ = ４.５ なので、５MPI割り当てる
　次に、１つのノードに幾つのMPIを乗せるか。９MPIの計算になるので、１つのノードには ９(mpi)÷２(ノード) = ４.５ なので、１ノードに５MPI割り当てる   -->  Queue submit command: sbatch --ntasks-per-node=5 --gres=gpu:2

　もし ３２core/４GPUと６４core/４GPUなら、少ない３２coreに合わせて、３２÷５ = ６.４ で、１MPI当たり６core割り当てることになる
　もし ３２core/４GPUと６４core/４GPUなら、少ない３２coreに合わせて、３２÷５ = ６.４ で、１MPI当たり６core割り当てることになる -->  Number of threads: 6

　９MPIを６coreで計算するので、全体では９ x ６ = ５４ core必要として、１ノードでは５４÷２ = ２７ なので１ノードの最低coreを２７ coreと定義します
　９MPIを６coreで計算するので、全体では９ x ６ = ５４ core必要として、１ノードでは５４÷２ = ２７ なので１ノードの最低coreを２７ coreと定義します-->  Minimum dedicated cores per node: 27
　
}}
これでパネルは下記のようにします
&ref(2026y09m01d_105627163.png,nolink);
&color(red){*};「Compute」タグでは「Use GPU acceleration?」を有効にして「Which GPUs to use」は無記載でもok
見切れてますが「&color(magenta){Queue submit command};」は「sbatch --ntasks-per-node=5 --gres=gpu:4」です。１ノードあたり５mpiを消費して、４GPUを使用する意図です。

ログ(run.out)には
#code(nonumber){{
 :
Queue name          g
  required cores    54  :( 9[mpi] * 6[threads] )
  nodes             2  :CEIL( 54 / 27 ) :( g[01-02] )
 :
}}
と記載されます
slurm側では、それぞれ３０coreを確保して計算されることになります. （５mpi * 6 threads）
#code(nonumber){{
(sloadから)
Queue Run wait     Host     CPU           usage          GPU
                    g01    30/64  **********----------   4/4 ****    pro4000  mix
                    g02    30/32  *******************-   4/4 ****    pro4000  mix
}}
***Runningパネル その２ [#s6b23ccf]
２枚のGPUを持つマシンが３台あって、それぞれ32core持っている. １つのGPUに１つのMPIで計算させる
#code(nonumber){{
 
  ２(GPU) x ３(ノード) なので６MPIとなるが、親MPIを加えるので ７MPI となる -->  Number of MPI procs : 7

  ７MPIを３台で計算するので、７(MPI)÷３(ノード) = ２．３３　なので１ノード当たり３MPI割り当てる  -->  Queue submit command: sbatch --ntasks-per-node=3 --gres=gpu:2

  全ノードいずれも３２coreなので、１ノードでは ３２(core)÷３(MPI) = １０．６６　となり、１MPI当たり１０(core)を割り当てる -->  Number of threads: 10

  ７MPIを１MPI当たり１０coreで計算するので、全体では７(MPI) x １０(core) = ７０ (core)必要で、１ノードでは、７０(core)÷３(ノード) = ２３．３３なので、１ノード当たり ２４core必要 -->  Minimum dedicated cores per node: 24
 
}}


***Runningパネル その３ [#ga8f94f6]
２枚のGPUを持つマシンが５台あって、TH有効で１ノードに 128 core(HT)もっている. １つのGPUに１つのMPIで計算してみる
#code(nonumber){{

  ２(GPU) x ５(ノード) なので１０MPIとなるが、親MPIを加えるので １１MPI となる -->  Number of MPI procs : 11

  次に１つのノードに幾つのMPIを乗せるか。１１MPIの計算を５台で計算するので、１１÷５ = ２．２　なので、３MPI割り当てる  --> Queue submit command: sbatch --ntasks-per-node=3 --gres=gpu:2

  全部の計算ノードが(HTレベルで)128coreなので、１２８(HT)÷３(MPI) = ４２．６　なので、切り捨てて１MPI当たりに ４２core(HT)を割り当てる --> Number of threads: 42

  1１MPIを４２core(HT)で計算するので、全体では １１ｘ４２ = ４６２　core(HT)必要として、１ノードでは ４６２÷５(ノード) = ９２．４なので、切り上げて１ノード当たり ９３core必要  --> Minimum dedicated cores per node: 93
　
}}
&ref(2026y10m02d_170125673.png,nolink);
#code(nonumber){{
(sloadから)
Queue Run wait     Host     CPU           usage          GPU
                    g31  126/128  ********************   2/2   **      a6000  mix
                    g32  126/128  ********************   2/2   **      a6000  mix
                    g33  126/128  ********************   2/2   **      a6000  mix
                    g34  126/128  ********************   2/2   **      a6000  mix
                    g35  126/128  ********************   2/2   **      a6000  mix
}}




***Runningパネル その４ [#p526c1a3]
２枚のGPUを持つマシンが５台あって、TH有効で１ノードに 128 core(HT)もっている. １つのGPUを２つのMPIで計算してみる
#code(nonumber){{
 
  2x5で 10MPI 作成可能だが、Class2Dを行うので各GPUに2MPI載せたい。なので 20MPI で実行する。なら親MPIを加えて、合計 21MPIを要する   --> Number of MPI procs : 21

  次に１つのノードに幾つのMPIを乗せるか。２１MPIの計算を５台で計算するので、２１÷５ = ４．２　なので、５MPI割り当てる  --> Queue submit command: sbatch --ntasks-per-node=5 --gres=gpu:2

  全部の計算ノードが(HTレベルで)128coreなので、１２８(HT)÷５(MPI) = ２５．６　なので、１MPI当たりに ２５core(HT)を割り当てる --> Number of threads: 25

  ２１MPIを２５core(HT)で計算するので、全体では ２１ｘ２５ = ５２５　core(HT)必要として、１ノードでは ５２５÷５(ノード) = １０５なので、１ノード当たり １０５core必要  --> Minimum dedicated cores per node: 105
 
}}
なので
&ref(2026y10m02d_165704793.png,nolink);
#code(nonumber){{
(sloadから)
Queue Run wait     Host     CPU           usage          GPU
                    g31  125/128  ********************   2/2   **      a6000  mix
                    g32  125/128  ********************   2/2   **      a6000  mix
                    g33  125/128  ********************   2/2   **      a6000  mix
                    g34  125/128  ********************   2/2   **      a6000  mix
                    g35  125/128  ********************   2/2   **      a6000  mix
}}

***Runningパネル その５ [#bfd78ef0]
２枚のGPUを持つマシンが５台あって、TH有効で１ノードに 128 core(HT)もっている. １つのGPUを２つのMPIで計算してみる。っが１MPI当たり４threadsで計算したい
#code(nonumber){{
 
  ２ｘ５で １０MPI 作成可能だが、各GPUに2MPI載せたい。なので ２０MPI となるが、親MPIを加えて、合計 21MPIを要する   --> Number of MPI procs : 21

  １つのノードに幾つのMPIを乗せるか。２１MPIの計算を５台で計算するので、２１÷５ = ４．２　なので、５MPI割り当てる  --> Queue submit command: sbatch --ntasks-per-node=5 --gres=gpu:2

　１MPI当たり4threadsで計算したい --> Number of threads: 4

　２１MPIを４core(HT)で計算するので、２１x４ = ８４core(HT)を必要として、１ノードでは８４÷５(ノード)＝１６．８なので、１ノード当たり １７core必要  --> Minimum dedicated cores per node: 17
　
}}
&ref(2026y10m02d_165426386.png,nolink);
#code(nonumber){{
(sloadから)
Queue Run wait     Host     CPU           usage          GPU
                    g31   20/128  ****----------------   2/2   **      a6000  mix
                    g32   20/128  ****----------------   2/2   **      a6000  mix
                    g33   20/128  ****----------------   2/2   **      a6000  mix
                    g34   20/128  ****----------------   2/2   **      a6000  mix
                    g35   20/128  ****----------------   2/2   **      a6000  mix
}}



***Runningパネル（CPUを使い切りたい) [#i1443692]
GPUを使わず、全CPU coreを使って計算したいなら. MotionCorrectionとかでしょうか
#code(nonumber){{
　３２coreマシンと６４coreマシンなら、１MPI１threadsとして、９６MPIを用意できる。この９６MPIの中に親MPIを入れる。

　core数が違うので、--ntasks-per-nodeで均等割りはしない

　９６÷２ = ４８　なので、１ノードの最低coreを４８ coreと定義します
}}
パネルにすれば
&ref(2026y09m01d_112508834.png,nolink);
&color(red){*};「Compute」タグでは「Use GPU acceleration?」は無効にします
ログ(run.out)には
#code(nonumber){{
 :
Queue name          g
  required cores    96  :( 96[mpi] * 1[threads] )
  nodes             2  :CEIL( 96 / 48 ) :( g[01-02] )
 :
}}
と記載されます
slurm側では、それぞれ全core確保して計算されることになります.
#code(nonumber){{
(sloadから)
Queue Run wait     Host     CPU           usage          GPU
                    g01    64/64  ********************   0/4 ----    pro4000alloc
                    g02    32/32  ********************   0/4 ----    pro4000alloc
}}
となります

***Runningパネル (４ノードGPUマシン) [#p9addeb8]
１台の２基のGPUがあって、それぞれが32coreなら
#code(nonumber){{

　１つのＧＰＵに１つのMPI(子MPI)プロセスを乗せるので、４ x ２ = ８MPI
　加えて、親MPIがあるので合計９MPIが必要となる

　次に１つのノードには ９(MPI)÷４(台) = ２．２５なので、３MPIを割り当てる

　そして３２coreマシンなので、３２÷３ = １０．６７で、１MPI当たり１０core割り当てる

　９MPIをそれぞれ１０coreで計算するので、全体では９ x １０ = ９０ coreが必要で、１ノードでは ９０ ÷ ４ = ２２．５、１ノードの最低コアは２３とします
　
}}
パネルでは下記のようになります
&ref(2026y09m05d_012429295.png,nolink);
見切れてますが「&color(magenta){Queue submit command};」は「sbatch --ntasks-per-node=3 --gres=gpu:2」です。１ノードあたり３mpiを消費して、２GPUを使用する意図です。
run.outは下記のようになり
#code(nonumber){{
Queue name          g2
  required cores    90  :( 9[mpi] * 10[threads] )
  nodes             4  :CEIL( 90 / 23 ) :( g[21-24] )
}}
計算途中の sload を見ると、各ノードは ３MPI確保されるので、３０coreが確保されるのですが、親MPIを運営する１台を除き他は用意された３MPIをすべて使わない。
#code(nonumber){{
Queue Run wait     Host     CPU           usage          GPU
                    g21    30/32  *******************-   2/2   **    rtx3090  mix
                    g22    30/32  *******************-   2/2   **    rtx3090  mix
                    g23    30/32  *******************-   2/2   **    rtx3090  mix
                    g24    30/32  *******************-   2/2   **    rtx3090  mix
}}






***メモ [#d9a6053d]

使用可能な変数とパネルの位置

#code(nonumber){{
Number of MPI procs:              => XXXmpinodesXXX
Number of threads;                => XXXthreadsXXX
Submit to queue?:                 => XXXqueueXXX
Minimum dedicated cores per node: => XXXdedicatedXXX
}}

他「Standard submisstion script」で使える変数
#code(nonumber){{
XXXmpinodesXXX * XXXthreadsXXX    => XXXcoresXXX            
XXXnodesXXX = CEIL( XXXcoresXXX / XXXdedicatedXXX )
}}

slurmでは、
「Number of MPI procs」はtaskとして扱い「--ntask(-n)」に該当かと。
「Number of threasds」は「--cpus-per-task(-c)」に該当かなと。
XXXnodesXXX は「--nodes(-N)」に該当かな
計算ノード間でMPIの数を均等にしたいなら「&color(magenta){Queue submit command};」に「sbatch --ntasks-per-node=X」とか入れて、計算ノード間に割り振られるtaskの値を同じにする

もし同じqueueの中で、計算機を指定したいなら「&color(magenta){Queue submit command};」には「sbatch --nodes=2 --nodelist=a,c」と「--nodelist」を使って指定する
1
トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS