cryoSPARC をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
本家様 [[https://cryosparc.com/>+https://cryosparc.com/]]
#code(nonumber){{
CryoSPARC is a state of the art scientific software platf...
CryoSPARCは、研究および創薬パイプラインで使用されるクライ...
}}
&size(10){[[cryoSPARC/update]] [[cryoSPARC/memo]] [[cryoS...
cryoSPARCの環境変数 [[https://guide.cryosparc.com/setup-c...
cryosparcmコマンド[[https://guide.cryosparc.com/setup-con...
cryosparcm cli コマンド[[https://guide.cryosparc.com/setu...
利用するためにはインスタンスごとにライセンスコードが必要...
計算機に１つ立てるなら１つ. １つの計算機にユーザ毎に複数...
非営利の学術研究なら無料で、企業さんは有償ですね.
まずはライセンスコードを取得します.
***ライセンスコードを取得します。 [#n2d7b763]
[[https://cryosparc.com/download/>+https://cryosparc.com/...
直後に「応答メール」が届きますが、これにはライセンスコー...
最大24時間までにはライセンスコードが記載された返信メール...
このコードを使ってプログラムの入手します。
また完成したcryoSAPRCでジョブを発行すると、このコードが有...
***プログラムの入手 [#edc82aba]
詳しくは[[https://guide.cryosparc.com/setup-configuration...
下記２つのファイルを取得します。
-cryosparc_master.tar.gz
-cryosparc_worker.tar.gz
どちらもライセンスコードを渡さないと得られない仕組みっぽい
#code(nonumber){{
[root@cryosparc ~]# cat /etc/redhat-release
Rocky Linux release 9.5 (Blue Onyx)
[root@cryosparc ~]# cd /apps/src
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
(v4.7.1でblackwell搭載なら)
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
*適時「v4.7.1」を変更してください
}}
proxy経由で取得が必要なら「curl」に「-x」でproxyサイトを...
***運用形体 [#wd366dac]
cryoSPARCは「&color(magenta){Master};」と「&color(oranger...
「&color(magenta){Master};」はブラウザインターフェースを...
一方「&color(orangered){Worker};」は「&color(magenta){Mas...
この２つの機能部分をどのように組み合わせて運用するかで３...
-[[スタンドアローン形式>cryoSPARC/SingleWorkstation]]
１台の計算機に「&color(magenta){Master};」と「&color(oran...
~
-[[Master-Worker形式>cryoSPARC/Master-Worker]]
１つの「&color(magenta){Master};」と１つ以上の複数の「&co...
~
-[[Clusters形式>cryoSPARC/qsub]]
Master-Worker形式と同じだが、計算に使用する「&color(orang...
他、考慮すべき事項として「誰が」cryoSPARCの計算を行うのか...
-ユーザ毎にcryoSPARCをインストールしてcryoSPARCを稼働させる
ユーザの/home/<ユーザ>/cryoSPARC にアプリをインストールし...
計算条件・計算結果はそのユーザのみアクセス可能 &size(10...
~
-共有ユーザを作ってそのユーザでcryoSPARCを稼働させる
例えば共通ユーザとして「cryosparc」を作って /home/cryospa...
cryoSPARC内で管理されるユーザを作ってそのユーザに紐づくプ...
ユーザが１人で１つの計算機を占有できるなら、そのユーザがc...
ユーザが複数で１台の計算機を使うなら、データの排他アクセ...
ユーザが複数で複数の計算機を使うなら、...これも前述の「排...
&size(10){参照 [[cryoSPARC/multi-user]]};
&color(blue,white){注意};
１台のマシンに複数のcryoSPARCを立てると、時に上手く起動し...
別に表で使用するbase portの被りではなく、システムの裏で勝...
***ハードウエア要件 [#i971aa1f]
ハードウエア要件はこちらに記載されている
[[https://guide.cryosparc.com/setup-configuration-and-man...
x86-64ベースのLinuxマシン。OSは近頃のOSでubuntuが推奨です...
|>|BGCOLOR(YELLOW):要件|BGCOLOR(YELLOW):最小|BGCOLOR(YELL...
|master|cpu|4core|8core以上(2.8GHz)|基本webサービスとDBな...
|~|mem|16GB|32GB||
|~|System Storage|250GB HDD|500GB SSD|OSを含むsystem disk...
|~|Fast Local Storage|不要|不要&br;(規模次第では1TB - 4TB...
|~|GPU|不要|不要||
|~|Network(nfs接続)|1Gbps|10Gbps|プロジェクトディレクトリ...
|worker|cpu|2core/GPU|4core/GPU|4枚GPU搭載なら8core/16cor...
|~|CPU Memory Bandwidth|50+ GB/sec|100+ GB/sec|DDR5-5600...
|~|mem|>32GB/GPU|>64GB/GPU|2GPU構成で64GB/128GBとなります|
|~|System Storage|>25GB HDD|>50GB SSD|OSがあってほか少し...
|~|Fast Local Storage|1TB SSD|2TB PCIe SSD|スクラッチ領域...
|~|GPU|>1 GPU(CC3.5以上,11GBのVRAM)|>1 GPU(V100,2080Ti,RT...
|~|nvidia driver|>|>|cryoSPARC v4.4以降は520.61.05以降が...
|~|Network(nfs接続)|1Gbps|10Gbps|プロジェクトディレクトリ...
あとOS要件としては、
「/sys/kernel/mm/transparent_hugepage/enabled」で「never...
「sysctl -w kernel.io_uring_disabled=0」で非同期 I/O イン...
masterにcryoSPARCサービスのdatabase(MongoDB)が配置されま...
***再起動時の自動起動 [#w9335327]
&color(red){*};一応インストールした「cryosparc_master/sys...
参照先: [[https://discuss.cryosparc.com/t/adding-cryospar...
「cryosparc2_master」パッケージ内の「cryosparc2_master/de...
単純にsystemcdにUnit 定義ファイルを加えてみた
場所は「/etc/systemd/system/cryosparc.service」
&color(red){*};&size(10){システム由来のunitファイル置き場...
「cryosparc.service」ファイルの中身は下記のようにします
#code(nonumber){{
[Unit]
Description=Process Monitoring and Control Daemon for Cry...
After=network.target
[Service]
User=cryosparc
Group=cryosparc
Type=forking
TimeoutStartSec = 300
ExecStart=/home/cryosparc/cryosparc_master/bin/cryosparcm...
ExecStop=/home/cryosparc/cryosparc_master/bin/cryosparcm ...
PIDFile=/home/cryosparc/cryosparc_master/run/supervisord....
WorkingDirectory=/home/cryosparc/cryosparc_master
Restart=on-abort
[Install]
WantedBy=multi-user.target
}}
&color(red){*};「User」と「Group」は環境に応じて変更して...
&color(red){*};「Restart=on-abort」がいいのか微妙. ふとす...
&color(red){*};「After」欄にはもしcryosparcがnfsマウント...
&size(10){何が引っかかるかは「systemd-analyze plot > plot...
&color(red){*};起動に時間が掛かってエラーになるなら「Time...
&color(red){**}; SELinux有効下に於いての自動起動はSELinux...
その後
#code(nonumber){{
[root@cryosparc ~]# systemctl daemon-reload
[root@cryosparc ~]# systemctl start cryosparc.service
[root@cryosparc ~]# systemctl status cryosparc.service
● cryosparc.service - Process Monitoring and Control Daem...
Loaded: loaded (/usr/lib/systemd/system/cryosparc.serv...
Active: active (running) since Sun 2024-08-18 03:21:55...
Main PID: 2621 (python)
Tasks: 147 (limit: 205353)
Memory: 854.3M
CGroup: /system.slice/cryosparc.service
tq2621 python /home/cryosparc/cryosparc_master...
tq2732 mongod --auth --dbpath /home/cryosparc/...
tq2843 python /home/cryosparc/cryosparc_master...
tq2844 python /home/cryosparc/cryosparc_master...
tq2873 python /home/cryosparc/cryosparc_master...
tq2894 python /home/cryosparc/cryosparc_master...
tq2907 python /home/cryosparc/cryosparc_master...
tq2908 python /home/cryosparc/cryosparc_master...
tq2921 node dist/server/index.js
mq2938 /home/cryosparc/cryosparc_master/cryosp...
Aug 18 03:21:55 cryosparc cryosparcm[2937]: app_api: star...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: -------------...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: CryoSPARC mas...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: From this ma...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: http://lo...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: From other m...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: http://cr...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: Startup can t...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: and refresh u...
Aug 18 03:21:55 cryosparc systemd[1]: Started Process Mon...
[root@cryosparc ~]#
}}
と一応の起動確認をしてから、再起動時にも起動できるように
#code(nonumber){{
[root@cryosparc ~]# systemctl enable cryosparc.service
Created symlink /etc/systemd/system/multi-user.target.wan...
[root@cryosparc ~]#
}}
として置く。
そして実際に計算機を再起動してcryoSPARCが動ているかを確認...
それでもし動いていないなら
#code(nonumber){{
[root@cryosparc ~]# systemd-analyze plot > plot.svg
}}
として「plot.svg」を開くとどこで詰まっているかが分かる. c...
「/etc/systemd/system/cryosparc.service」の「After」欄に...
***ホスト名 [#q1c8ccf6]
インストール時に「hostname -f」の値が cryosparc_master/co...
「/etc/hosts」で
#code(nonumber){{
127.0.0.1 localhost localhost.localdomain localhost4 l...
::1 localhost localhost.localdomain localhost6 l...
192.168.0.10 cs.sybyl.local cs
}}
ならいいが、
#code(nonumber){{
127.0.0.1 localhost localhost.localdomain localhost4 l...
::1 localhost localhost.localdomain localhost6 l...
192.168.0.10 cs.sybyl.local cs
}}
とか「127.0.0.1」にホスト名「cs」があると「hostname -f」...
***チュートリアル [#e7563ca1]
[[cryoSPARC/run]]
終了行:
本家様 [[https://cryosparc.com/>+https://cryosparc.com/]]
#code(nonumber){{
CryoSPARC is a state of the art scientific software platf...
CryoSPARCは、研究および創薬パイプラインで使用されるクライ...
}}
&size(10){[[cryoSPARC/update]] [[cryoSPARC/memo]] [[cryoS...
cryoSPARCの環境変数 [[https://guide.cryosparc.com/setup-c...
cryosparcmコマンド[[https://guide.cryosparc.com/setup-con...
cryosparcm cli コマンド[[https://guide.cryosparc.com/setu...
利用するためにはインスタンスごとにライセンスコードが必要...
計算機に１つ立てるなら１つ. １つの計算機にユーザ毎に複数...
非営利の学術研究なら無料で、企業さんは有償ですね.
まずはライセンスコードを取得します.
***ライセンスコードを取得します。 [#n2d7b763]
[[https://cryosparc.com/download/>+https://cryosparc.com/...
直後に「応答メール」が届きますが、これにはライセンスコー...
最大24時間までにはライセンスコードが記載された返信メール...
このコードを使ってプログラムの入手します。
また完成したcryoSAPRCでジョブを発行すると、このコードが有...
***プログラムの入手 [#edc82aba]
詳しくは[[https://guide.cryosparc.com/setup-configuration...
下記２つのファイルを取得します。
-cryosparc_master.tar.gz
-cryosparc_worker.tar.gz
どちらもライセンスコードを渡さないと得られない仕組みっぽい
#code(nonumber){{
[root@cryosparc ~]# cat /etc/redhat-release
Rocky Linux release 9.5 (Blue Onyx)
[root@cryosparc ~]# cd /apps/src
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
(v4.7.1でblackwell搭載なら)
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
[root@cryosparc src]# curl -L https://get.cryosparc.com/...
*適時「v4.7.1」を変更してください
}}
proxy経由で取得が必要なら「curl」に「-x」でproxyサイトを...
***運用形体 [#wd366dac]
cryoSPARCは「&color(magenta){Master};」と「&color(oranger...
「&color(magenta){Master};」はブラウザインターフェースを...
一方「&color(orangered){Worker};」は「&color(magenta){Mas...
この２つの機能部分をどのように組み合わせて運用するかで３...
-[[スタンドアローン形式>cryoSPARC/SingleWorkstation]]
１台の計算機に「&color(magenta){Master};」と「&color(oran...
~
-[[Master-Worker形式>cryoSPARC/Master-Worker]]
１つの「&color(magenta){Master};」と１つ以上の複数の「&co...
~
-[[Clusters形式>cryoSPARC/qsub]]
Master-Worker形式と同じだが、計算に使用する「&color(orang...
他、考慮すべき事項として「誰が」cryoSPARCの計算を行うのか...
-ユーザ毎にcryoSPARCをインストールしてcryoSPARCを稼働させる
ユーザの/home/<ユーザ>/cryoSPARC にアプリをインストールし...
計算条件・計算結果はそのユーザのみアクセス可能 &size(10...
~
-共有ユーザを作ってそのユーザでcryoSPARCを稼働させる
例えば共通ユーザとして「cryosparc」を作って /home/cryospa...
cryoSPARC内で管理されるユーザを作ってそのユーザに紐づくプ...
ユーザが１人で１つの計算機を占有できるなら、そのユーザがc...
ユーザが複数で１台の計算機を使うなら、データの排他アクセ...
ユーザが複数で複数の計算機を使うなら、...これも前述の「排...
&size(10){参照 [[cryoSPARC/multi-user]]};
&color(blue,white){注意};
１台のマシンに複数のcryoSPARCを立てると、時に上手く起動し...
別に表で使用するbase portの被りではなく、システムの裏で勝...
***ハードウエア要件 [#i971aa1f]
ハードウエア要件はこちらに記載されている
[[https://guide.cryosparc.com/setup-configuration-and-man...
x86-64ベースのLinuxマシン。OSは近頃のOSでubuntuが推奨です...
|>|BGCOLOR(YELLOW):要件|BGCOLOR(YELLOW):最小|BGCOLOR(YELL...
|master|cpu|4core|8core以上(2.8GHz)|基本webサービスとDBな...
|~|mem|16GB|32GB||
|~|System Storage|250GB HDD|500GB SSD|OSを含むsystem disk...
|~|Fast Local Storage|不要|不要&br;(規模次第では1TB - 4TB...
|~|GPU|不要|不要||
|~|Network(nfs接続)|1Gbps|10Gbps|プロジェクトディレクトリ...
|worker|cpu|2core/GPU|4core/GPU|4枚GPU搭載なら8core/16cor...
|~|CPU Memory Bandwidth|50+ GB/sec|100+ GB/sec|DDR5-5600...
|~|mem|>32GB/GPU|>64GB/GPU|2GPU構成で64GB/128GBとなります|
|~|System Storage|>25GB HDD|>50GB SSD|OSがあってほか少し...
|~|Fast Local Storage|1TB SSD|2TB PCIe SSD|スクラッチ領域...
|~|GPU|>1 GPU(CC3.5以上,11GBのVRAM)|>1 GPU(V100,2080Ti,RT...
|~|nvidia driver|>|>|cryoSPARC v4.4以降は520.61.05以降が...
|~|Network(nfs接続)|1Gbps|10Gbps|プロジェクトディレクトリ...
あとOS要件としては、
「/sys/kernel/mm/transparent_hugepage/enabled」で「never...
「sysctl -w kernel.io_uring_disabled=0」で非同期 I/O イン...
masterにcryoSPARCサービスのdatabase(MongoDB)が配置されま...
***再起動時の自動起動 [#w9335327]
&color(red){*};一応インストールした「cryosparc_master/sys...
参照先: [[https://discuss.cryosparc.com/t/adding-cryospar...
「cryosparc2_master」パッケージ内の「cryosparc2_master/de...
単純にsystemcdにUnit 定義ファイルを加えてみた
場所は「/etc/systemd/system/cryosparc.service」
&color(red){*};&size(10){システム由来のunitファイル置き場...
「cryosparc.service」ファイルの中身は下記のようにします
#code(nonumber){{
[Unit]
Description=Process Monitoring and Control Daemon for Cry...
After=network.target
[Service]
User=cryosparc
Group=cryosparc
Type=forking
TimeoutStartSec = 300
ExecStart=/home/cryosparc/cryosparc_master/bin/cryosparcm...
ExecStop=/home/cryosparc/cryosparc_master/bin/cryosparcm ...
PIDFile=/home/cryosparc/cryosparc_master/run/supervisord....
WorkingDirectory=/home/cryosparc/cryosparc_master
Restart=on-abort
[Install]
WantedBy=multi-user.target
}}
&color(red){*};「User」と「Group」は環境に応じて変更して...
&color(red){*};「Restart=on-abort」がいいのか微妙. ふとす...
&color(red){*};「After」欄にはもしcryosparcがnfsマウント...
&size(10){何が引っかかるかは「systemd-analyze plot > plot...
&color(red){*};起動に時間が掛かってエラーになるなら「Time...
&color(red){**}; SELinux有効下に於いての自動起動はSELinux...
その後
#code(nonumber){{
[root@cryosparc ~]# systemctl daemon-reload
[root@cryosparc ~]# systemctl start cryosparc.service
[root@cryosparc ~]# systemctl status cryosparc.service
● cryosparc.service - Process Monitoring and Control Daem...
Loaded: loaded (/usr/lib/systemd/system/cryosparc.serv...
Active: active (running) since Sun 2024-08-18 03:21:55...
Main PID: 2621 (python)
Tasks: 147 (limit: 205353)
Memory: 854.3M
CGroup: /system.slice/cryosparc.service
tq2621 python /home/cryosparc/cryosparc_master...
tq2732 mongod --auth --dbpath /home/cryosparc/...
tq2843 python /home/cryosparc/cryosparc_master...
tq2844 python /home/cryosparc/cryosparc_master...
tq2873 python /home/cryosparc/cryosparc_master...
tq2894 python /home/cryosparc/cryosparc_master...
tq2907 python /home/cryosparc/cryosparc_master...
tq2908 python /home/cryosparc/cryosparc_master...
tq2921 node dist/server/index.js
mq2938 /home/cryosparc/cryosparc_master/cryosp...
Aug 18 03:21:55 cryosparc cryosparcm[2937]: app_api: star...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: -------------...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: CryoSPARC mas...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: From this ma...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: http://lo...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: From other m...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: http://cr...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: Startup can t...
Aug 18 03:21:55 cryosparc cryosparcm[2588]: and refresh u...
Aug 18 03:21:55 cryosparc systemd[1]: Started Process Mon...
[root@cryosparc ~]#
}}
と一応の起動確認をしてから、再起動時にも起動できるように
#code(nonumber){{
[root@cryosparc ~]# systemctl enable cryosparc.service
Created symlink /etc/systemd/system/multi-user.target.wan...
[root@cryosparc ~]#
}}
として置く。
そして実際に計算機を再起動してcryoSPARCが動ているかを確認...
それでもし動いていないなら
#code(nonumber){{
[root@cryosparc ~]# systemd-analyze plot > plot.svg
}}
として「plot.svg」を開くとどこで詰まっているかが分かる. c...
「/etc/systemd/system/cryosparc.service」の「After」欄に...
***ホスト名 [#q1c8ccf6]
インストール時に「hostname -f」の値が cryosparc_master/co...
「/etc/hosts」で
#code(nonumber){{
127.0.0.1 localhost localhost.localdomain localhost4 l...
::1 localhost localhost.localdomain localhost6 l...
192.168.0.10 cs.sybyl.local cs
}}
ならいいが、
#code(nonumber){{
127.0.0.1 localhost localhost.localdomain localhost4 l...
::1 localhost localhost.localdomain localhost6 l...
192.168.0.10 cs.sybyl.local cs
}}
とか「127.0.0.1」にホスト名「cs」があると「hostname -f」...
***チュートリアル [#e7563ca1]
[[cryoSPARC/run]]
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
