Relion/qsub/original

Relionには自分でジョブスケジュールする機能を持ってます。
スタンドアローンで処理したいジョブをスケジュールに登録して、流して帰宅。朝には一連のジョブが終わって次の作業へ。

もし計算機クラスターを持っているサイトなら、そのジョブキューイングシステムに対してジョブを投入する事も可能です。

ここではジョブキューイングシステムOpenPBS(旧名 PBSPro)に対してのジョブ投入方法を記載します
OpenPBS

Standard submission script†

Relionでは「Running」タブにある「Standard submission script」に指定されたファイルは、
同じ「Running」タグにある「Number of MPI procs」「Number of threads」「Queue name」らの
パラメータとそのジョブのコマンド行が代入される。

ファイルには決まったフォーマットがあって、ファイル中の
XXXqueueXXX は Queue nameの値に
XXXdedicatedXXX は Minimum dedicated cores per nodeの値に切り替わり
実行ファイル「run_submit.script」が作られる。
参照：https://www3.mrc-lmb.cam.ac.uk/relion/index.php/Download_%26_install#Set-up_queue_job_submission
そして
「Queue submit command」の値と共に実行される.

[Queue submit command]  run_submit.script &             # 実際には 「qsub run_submit.script &」かな

な感じで

relionのソースコードに付属している「Standard submission script」は「qsub.csh」として用意されている。
中身はこんな感じ

#!/bin/tcsh
#$ -pe XXXqueueXXX XXXnodesXXX
#$ -l dedicated=XXXdedicatedXXX
#$ -e XXXerrfileXXX
#$ -o XXXoutfileXXX
#$ -A Relion
#$ -cwd
#$ -S /bin/tcsh
 
mpiexec -mca orte_forward_job_control 1 -n XXXmpinodesXXX  XXXcommandXXX

このフォーマットはSGEかな？当方では難しくて構築できなかったジョブ管理システムです

このサイトでは代替としてTORQUEやOpenPBSを提示しています.
Relionの本家様で TORQUE 向けの「Standard submission script」が提示されています. TORQUEとOpenPBSの仕様はほぼ同じなのでこれを採用してみました.
https://www3.mrc-lmb.cam.ac.uk/relion//index.php?title=TORQUE_template_script_example

中身はこんな感じ

#!/bin/bash
### Inherit all current environment variables
#PBS -V
### Job name
#PBS -N XXXnameXXX
### Keep Output and Error
#PBS -k eo
### Queue name
#PBS -q XXXqueueXXX
### Specify the number of nodes and thread (ppn) for your job.
#PBS -l nodes=XXXmpinodesXXX:ppn=XXXthreadsXXX
### Tell PBS the anticipated run-time for your job, where walltime=HH:MM:SS
###PBS -l walltime=XXXextra1XXX:00:00
#################################
### Switch to the working directory;
cd $PBS_O_WORKDIR
### Run:
mpirun --bynode -np XXXmpinodesXXX XXXcommandXXX
echo "done"

っがこれは間違いみたい。。。
11行目の部分を下記のように修正すべきかと思う

#PBS -l nodes=XXXmpinodesXXX:ppn=XXXthreadsXXX
 ↓
#PBS -l nodes=XXXnodesXXX:ppn=XXXdedicatedXXX

「nodes」はPBSでは使用する計算機ノード(計算マシン)数を示すのだが、ソースコードから「XXXmpinodesXXX」は
「Number of MPI procs」の値を入れている。これでは4MPIで計算しようと思うと4ノード求められてしまう。

また「ppn」は計算ノード当りのcore数を指定するのだが、1MPI当りのthreads数を示す「XXXthreadsXXX」を当てている。
計算ノードのcore数を示すべきなので「XXXdedicatedXXX」が適切ではと思っている。

修正したnodesの「XXXnodesXXX」は[MPI数]*[threads数]/[XXXdedicatedXXX]の整数値を表している。

っで他mpirunの時のnp+1や標準出力/標準エラーのハンドリングを加えて下記の「qsub.sh」を用意した

#!/bin/bash
 
#PBS -N XXXnameXXX
#PBS -q XXXqueueXXX
#PBS -l nodes=XXXnodesXXX:ppn=XXXdedicatedXXX
 
#################################
### Switch to the working directory
cd $PBS_O_WORKDIR
### check run command
cmd_=$(/bin/cat <<_EOF_
XXXcommandXXX
_EOF_
)
cmd=$(echo "$cmd_" | sed -z 's/\n/\&\&/g')
run=$(echo $cmd|awk '{print $1}')
### mpirun option
opt=" --display-map --bind-to none --map-by node "
### Check GPU option
np=XXXmpinodesXXX
localnodefile=1
if [ ${run##*/} =  "relion_refine_mpi" ]; then
   if [[ $cmd = *--gpu* ]]; then
      np=$(expr $np + 1)
      nodeCount=$(wc -l $PBS_NODEFILE|awk '{print $1}')
      if [ $np -gt $nodeCount ]; then
         /bin/cp $PBS_NODEFILE .
         /usr/bin/tail -1 $PBS_NODEFILE >> $(basename $PBS_NODEFILE)
         localnodefile=2
      fi
   fi
fi
### Run
if [ $localnodefile -eq 1 ]; then
 command="{ { ( mpirun $opt -machinefile $PBS_NODEFILE -np $np ${cmd:0:-2} ) | tee -a XXXoutfileXXX ; } 3>&2 2>&1 1>&3 | tee -a XXXerrfileXXX ; } 3>&2 2>&1 1>&3"
else
 command="{ { ( mpirun $opt -machinefile $(basename $PBS_NODEFILE) -np $np ${cmd:0:-2} ) | tee -a XXXoutfileXXX ; } 3>&2 2>&1 1>&3 | tee -a XXXerrfileXXX ; } 3>&2 2>&1 1>&3"
fi 
eval $command
if [ -f $(basename $PBS_NODEFILE) ]; then
  /bin/rm -f $(basename $PBS_NODEFILE)
fi
echo "done"

9行目: 実行現場へ移動
11-16行目: Relionから発行されるコマンドは２行に渡るときがあるので、それを「&&」で結合
18行目: mpirunのオプション. intel mpiなら「-bootstrap rsh」かな
20-32行目: 実行するコマンドがrelion_refine_mpiでgpuのフラグがあるならnpの数を１つ追加
34-42行目: 流すコマンドを作る. 標準出力と標準エラー表示対応

*(210817) Extract/Autopickでログが上手く出力されない事があったので修正. ２行コマンドを発行する際、ログが取得できないみたい. ２行目のログが収まってしまう

下記オレンジ部分の標準出力と標準エラーが表示されます

↑

使い方†

1ノードが16coreで4GPUを搭載していると仮定して、
「Number of MPI procs」は４
「Number ot threads」は４
「Submit to queue」は使いたいqueueの名称。ここでは「gpu」
「Queue submit command」は「qsub」
「Standard submission script」は、「/apps/relion-3.1/bin/qsub.sh」*ファイルの配置場所を指定
「Minimum dedicated cores per node」は、１ノード当りのcore数

な感じで。
計算に使用する計算ノードを指定したいのなら
「Queue submit command」欄にて「qsub -l nodes=gpu01:ppn=16」とノード名[gpu01]とppn(process per node:そのノードで使用するcore数)を指定する
もし複数の計算機でジョブを流すなら「qsub -l nodes=gpu01:ppn=16+gpu02:ppn=16」とプラス(+)で繋げる

その際、「Compute」欄の「Which GPUs to use」には要注意。
何も入力しなくても１MPI１GPUで割り当てられる場合もあるが、場合によっては１GPUを２つのMPIプロセスで共有とかあり要注意な個所
「0:0:1:1:2:2:3:3」とかと指定すれば回避できる時はあるけど、、

mpirunのオプションが「--map-by node」であるとき、MPIプロセスはノード毎に１つずつ渡ります。またqsub.shでnpの値が１つ増えるので８＋１の９つのMPIが発生したとします。

MPI番号	1	2	3	4	5	6	7	8	9
GPUID		0	0	1	1	2	2	3	3
gpu01	MasterMPI refineのmasterはgpuを使わない		Slave(GPU:0)		Slave(GPU:1)		Slave(GPU:2)		Slave(GPU:3)
gpu02		Slave(GPU:0)		Slave(GPU:1)		Slave(GPU:2)		Slave(GPU:3)

「Number ot threads」を５とか６で流したい場合。。このqsub.shではエラーになりますね。
queueを使わずにその計算機で流すか、エラーの無い形でqueueを流して、即座にqdelで止めて、「run_submit.script」の「--j」を修正してコマンドラインでqsubを実行するとかでしょうか。

↑

memo†

nodes表記はTorque的な書式. openPBSではselect表記が普通のようで.

#!/bin/bash
 
#PBS -N XXXnameXXX
#PBS -q XXXqueueXXX
#PBS -l select=XXXnodesXXX:mpiprocs=XXXmpinodesXXX:ompthreads=XXXthreadsXXX

とした方がいいみたい. っが実際のrunでは「Queue submit command」欄でgpuを指定したいので上記の「-l」欄を無視して

「Queue submit command」 --> qsub -l select=1:mpiprocs=4:ompthreads=6:ngpus=4

と書いた方がいいのかも. GPU枚数をカウントしてくれるXXXがないのでどうしてもこうなる.
ただ、scriptが「-l nodes=...」で「Queue submit command」が「qsub -l select=..」だとエラーになる.
なので使わないが一応script側を「-l select=..」と書いておいた方がよさげ.

御品書き
■samba スキーマ拡張
ユーザ登録(1,2)
win参加 RSAT lin参加

ホームディレクトリ
 共有フォルダ(1)
VSS DC追加 GPO SSO
透過的ファイル圧縮
 Server-Side Copy
ルータ超え時刻同期
 ログオンスクリプト
 NAS参加(1) NFS DFS
Mac参加(NFS)
ownCloud
リモートディスクトップ
 ディスクトップ
 smb3マルチチャンネル
 backup
メモ OpenAM
samba/LDAP XP
nisでsmb
admin-tools