cryoSPARC/sge をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
とある大学のスパコンでcryoSPARCを流すことになった.
そこはジョブコントローラーにGridEngineを採用していた.
まぁーそれはいい. 問題は master を常駐状態でどのように稼...
試しにログインノードでmasterを動かしたら、プロセス数の上...
まぁー当然の措置ですな. なのでジョブとしてmasterを動かす...
幸いなことに、恐らくphenix・ccp4を念頭なのかインターラク...
#code(nonumber){{
iqrsh -l h_rt=24:00:00
}}
と最大24時間利用できるのでその最大数でインターラクティヴ...
次にcryoSPARCをインターラクティヴモードで動かすわけだが、...
「cryosparc_master/config.sh」にはホスト情報が明記されて...
#code(nonumber){{
:
export CRYOSPARC_MASTER_HOSTNAME=r4n11
:
}}
問題がなければこれでcryoSPARCサービスは立ち上がるのだが、...
ssh tunnelingでカバーする必要がある.
既にcryoSPARCサービスが動いているマシンは知っているので、...
この場合はログインノードを中継に使う
なので
#code(nonumber){{
ssh -L 39000:r4n11:39000 YYYY@login2.t4.gsic.XXXXX.ac.jp
}}
とmacOSのターミナルで作るか、簡単にmobaXtermで用意する.
そうすれば、「localhost:39000」で立ち上げたcryoSPARCにア...
次にジョブの投入
こちらはcluster運用なので「cluster_info.json」と「cluster...
具体的には
「cluster_info.json」
#code(nonumber){{
{
"name" : "gpu_1",
"worker_bin_path" : "/gs/fs/tga-XXXXXXXX/cryoSPARC/cr...
"cache_path" : "/local/${JOB_ID}",
"send_cmd_tpl" : "{{ command } }",
"qsub_cmd_tpl" : "qsub -g tga-XXXXXXXX {{ script_path...
"qstat_cmd_tpl" : "qstat -j {{ cluster_job_id } } ",
"qdel_cmd_tpl" : "qdel {{ cluster_job_id } }"
}
}}
&size(10){Pukiwikiの書式により「}」の連続表記にスペースを...
また「cluster_script.sh」は
#code(nonumber){{
#!/usr/bin/env bash
#$ -cwd
#$ -l gpu_1=1
#$ -l h_rt=24:00:00
#$ -N cs_{{ project_uid } }_{{ job_uid } }
#$ -o {{ job_dir_abs } }/slurm.out
#$ -e {{ job_dir_abs } }/slurm.err
{{ run_cmd } }
}}
な感じで. nameは使用可能な資源名でいいのかなと.
ただ、そのままではGridEngineから出される「job ID」が上手...
なので、ソースコードを一部修正する必要がありました
#code(nonumber){{
vi ./cryosparc_master/cryosparc_compute/cluster.py
145行目
return message.strip().split()[-1]
↓
return message.strip().split()[2]
}}
こんな感じで. Slurm/OpenPBSはジョブ発行時の文言の末尾に「...
なので修正が必要となりました.
cryoSPARCサービスは最大でも24時間まで動かせれる. それ以上...
怖いことに インターラクティヴモード に入っているターミナ...
もしmasterを止めてしまったら、即座にインターラクティヴモ...
運が良ければ継続可能かなと思いますが、インターラクティヴ...
終了行:
とある大学のスパコンでcryoSPARCを流すことになった.
そこはジョブコントローラーにGridEngineを採用していた.
まぁーそれはいい. 問題は master を常駐状態でどのように稼...
試しにログインノードでmasterを動かしたら、プロセス数の上...
まぁー当然の措置ですな. なのでジョブとしてmasterを動かす...
幸いなことに、恐らくphenix・ccp4を念頭なのかインターラク...
#code(nonumber){{
iqrsh -l h_rt=24:00:00
}}
と最大24時間利用できるのでその最大数でインターラクティヴ...
次にcryoSPARCをインターラクティヴモードで動かすわけだが、...
「cryosparc_master/config.sh」にはホスト情報が明記されて...
#code(nonumber){{
:
export CRYOSPARC_MASTER_HOSTNAME=r4n11
:
}}
問題がなければこれでcryoSPARCサービスは立ち上がるのだが、...
ssh tunnelingでカバーする必要がある.
既にcryoSPARCサービスが動いているマシンは知っているので、...
この場合はログインノードを中継に使う
なので
#code(nonumber){{
ssh -L 39000:r4n11:39000 YYYY@login2.t4.gsic.XXXXX.ac.jp
}}
とmacOSのターミナルで作るか、簡単にmobaXtermで用意する.
そうすれば、「localhost:39000」で立ち上げたcryoSPARCにア...
次にジョブの投入
こちらはcluster運用なので「cluster_info.json」と「cluster...
具体的には
「cluster_info.json」
#code(nonumber){{
{
"name" : "gpu_1",
"worker_bin_path" : "/gs/fs/tga-XXXXXXXX/cryoSPARC/cr...
"cache_path" : "/local/${JOB_ID}",
"send_cmd_tpl" : "{{ command } }",
"qsub_cmd_tpl" : "qsub -g tga-XXXXXXXX {{ script_path...
"qstat_cmd_tpl" : "qstat -j {{ cluster_job_id } } ",
"qdel_cmd_tpl" : "qdel {{ cluster_job_id } }"
}
}}
&size(10){Pukiwikiの書式により「}」の連続表記にスペースを...
また「cluster_script.sh」は
#code(nonumber){{
#!/usr/bin/env bash
#$ -cwd
#$ -l gpu_1=1
#$ -l h_rt=24:00:00
#$ -N cs_{{ project_uid } }_{{ job_uid } }
#$ -o {{ job_dir_abs } }/slurm.out
#$ -e {{ job_dir_abs } }/slurm.err
{{ run_cmd } }
}}
な感じで. nameは使用可能な資源名でいいのかなと.
ただ、そのままではGridEngineから出される「job ID」が上手...
なので、ソースコードを一部修正する必要がありました
#code(nonumber){{
vi ./cryosparc_master/cryosparc_compute/cluster.py
145行目
return message.strip().split()[-1]
↓
return message.strip().split()[2]
}}
こんな感じで. Slurm/OpenPBSはジョブ発行時の文言の末尾に「...
なので修正が必要となりました.
cryoSPARCサービスは最大でも24時間まで動かせれる. それ以上...
怖いことに インターラクティヴモード に入っているターミナ...
もしmasterを止めてしまったら、即座にインターラクティヴモ...
運が良ければ継続可能かなと思いますが、インターラクティヴ...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
