cryoSPARC/scratch をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
&color(red){メモです。下記は実際に試していないです. 出来...
特に Clusters形式 で cryoSPARC を運用していると同じ「常に...
計算ノードが違うと /scratch に初めから再度データ転送が始...
ネットワークが太かったり高速なストレージを持っていれば気...
ではどうするべきか？
安直にBeeONDを考えた。でもこれって他のノードの/scratchを...
cryoSPARCは単一ノードでしか計算しないから微妙. 加えてネッ...
ローカルのNVMeのみ使うならそっちのほうが断然いい。
ならば、そのプロジェクトで計算が行われたノードを調べ、そ...
***プロジェクトと計算ノードリスト [#cace3b67]
これは単純に「&color(magenta){cluster_script.sh};」の「{{...
例えばこんな感じに
#code(nonumber){{
echo "{{ project_uid } } `hostname -s`" >> $HOME/cryoSPAR...
}}
と「project_uid hostname」のリストを作る
っで実際に使う際、例えば P100 の直近のworkerは
「grep P100 $HOME/cryoSPARC/project-worker-map | tail -n ...
で得られる.
***直前の計算ノードからrsyncでデータを持ってくる [#c7dd21...
これも「&color(magenta){cluster_script.sh};にて「{{ run_c...
なので全体像は
#code(nonumber){{
#!/usr/bin/env bash
#SBATCH --chdir={{ job_dir_abs } }
#SBATCH --export=NONE
#SBATCH --job-name cs_{{ project_uid } }{{ job_uid } }
#SBATCH --cpus-per-task={{ num_cpu } }
#SBATCH --gres=gpu:{{ num_gpu } }
#SBATCH --partition=workq
#SBATCH --mem={{ (ram_gb|float * (ram_gb_multiplier|defau...
#SBATCH --comment="created by {{ cryosparc_username } }"
#SBATCH --account={{ cryosparc_username } }
#SBATCH --output={{ job_log_path_abs } }
#SBATCH --error={{ job_log_path_abs } }
# /scratchデータのコピー
worker=$(grep {{ project_uid } } $HOME/cryoSPARC/projec...
if [ -n "$work" ]; then
if ping -c 1 "$work" > /dev/null 2>&1; then
rsync -aH \
--delete \
--whole-file \
--numeric-ids \
$work:/scratch/instance_cryosparc:39001/ $work...
fi
fi
# cryoSPARC job実行
{{ run_cmd } }
# 実行場所の記録
grep {{ project_uid } } $HOME/cryoSPARC/project-worker-ma...
}}
&color(red){*}; &size(10){このwebページの記載書式により「...
***めも [#ye01a7ef]
まったくもって試していない。なんかネットワーク依存なので...
終了行:
&color(red){メモです。下記は実際に試していないです. 出来...
特に Clusters形式 で cryoSPARC を運用していると同じ「常に...
計算ノードが違うと /scratch に初めから再度データ転送が始...
ネットワークが太かったり高速なストレージを持っていれば気...
ではどうするべきか？
安直にBeeONDを考えた。でもこれって他のノードの/scratchを...
cryoSPARCは単一ノードでしか計算しないから微妙. 加えてネッ...
ローカルのNVMeのみ使うならそっちのほうが断然いい。
ならば、そのプロジェクトで計算が行われたノードを調べ、そ...
***プロジェクトと計算ノードリスト [#cace3b67]
これは単純に「&color(magenta){cluster_script.sh};」の「{{...
例えばこんな感じに
#code(nonumber){{
echo "{{ project_uid } } `hostname -s`" >> $HOME/cryoSPAR...
}}
と「project_uid hostname」のリストを作る
っで実際に使う際、例えば P100 の直近のworkerは
「grep P100 $HOME/cryoSPARC/project-worker-map | tail -n ...
で得られる.
***直前の計算ノードからrsyncでデータを持ってくる [#c7dd21...
これも「&color(magenta){cluster_script.sh};にて「{{ run_c...
なので全体像は
#code(nonumber){{
#!/usr/bin/env bash
#SBATCH --chdir={{ job_dir_abs } }
#SBATCH --export=NONE
#SBATCH --job-name cs_{{ project_uid } }{{ job_uid } }
#SBATCH --cpus-per-task={{ num_cpu } }
#SBATCH --gres=gpu:{{ num_gpu } }
#SBATCH --partition=workq
#SBATCH --mem={{ (ram_gb|float * (ram_gb_multiplier|defau...
#SBATCH --comment="created by {{ cryosparc_username } }"
#SBATCH --account={{ cryosparc_username } }
#SBATCH --output={{ job_log_path_abs } }
#SBATCH --error={{ job_log_path_abs } }
# /scratchデータのコピー
worker=$(grep {{ project_uid } } $HOME/cryoSPARC/projec...
if [ -n "$work" ]; then
if ping -c 1 "$work" > /dev/null 2>&1; then
rsync -aH \
--delete \
--whole-file \
--numeric-ids \
$work:/scratch/instance_cryosparc:39001/ $work...
fi
fi
# cryoSPARC job実行
{{ run_cmd } }
# 実行場所の記録
grep {{ project_uid } } $HOME/cryoSPARC/project-worker-ma...
}}
&color(red){*}; &size(10){このwebページの記載書式により「...
***めも [#ye01a7ef]
まったくもって試していない。なんかネットワーク依存なので...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
