cryoSPARC/Master-Worker をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
「&color(magenta){Master};」と「&color(orangered){Worker}...
ここでは下記のような構成です.
アカウント情報はnis,ldap,FreeIPA,samba-adとかで共有されて...
|BGCOLOR(yellow):役目|BGCOLOR(yellow):マシン名|BGCOLOR(ye...
|&color(magenta){''Master''};|cryosparc.sybyl.local|cryos...
|&color(orangered){Worker};|s.sybyl.local|~|gpuカード１枚|
|~|e.sybyl.local|~|gpuカード１枚|
ここでは一般ユーザ cryosparc がcryoSPARCサービスを運用す...
このアカウントは各ノードで共有され(uid/gidが同じ)、「/hom...
***下準備 firewall [#cb51a082]
「&color(magenta){Master};」は、port番号 39000 でcryoSPAR...
#code(nonumber){{
firewall-cmd --add-port=39000-39010/tcp --zone=public --p...
firewall-cmd --reload
}}
この際にcryoSPARCサービスにアクセスするsourceを限定すると...
「&color(orangered){Worker};」側は22番のsshが空いてsshdが...
#code(nonumber){{
firewall-cmd --list-all --zone=public
}}
で確認してください.
firewallを設定してないなら、これらの作業は不要です
***下準備 SELinux [#f7a92030]
SELinuxは無効にしてます. SELinux有効下において /home にア...
#code(nonumber){{
[root@cryosparc ~]# cat /etc/redhat-release
Rocky Linux release 9.5 (Blue Onyx)
(SELinux無効化)
[root@cryosparc ~]# grubby --update-kernel ALL --args sel...
[root@cryosparc ~]# grub2-mkconfig -o /boot/efi/EFI/rocky...
[root@cryosparc ~]# grub2-mkconfig -o /boot/grub2/grub.cf...
[root@cryosparc ~]# reboot
:
(SELinux無効化の確認)
[root@cryosparc ~]# sestatus
SELinux status: disabled
[root@cryosparc ~]#
}}
***下準備 アカウント [#u00f8580]
アカウント作成します. ここでは特別なアカウント cryosparc ...
#code(nonumber){{
[root@cryosparc ~]# useradd -d /home/cryosparc -s /bin/ba...
[root@cryosparc ~]# su - cryosparc
[cryosparc@cryosparc ~]$
(パスワードレスで Worker に入れるように公開鍵を作成します)
[cryosparc@cryosparc ~]$ ssh-keygen -t ed25519
:
Enter file in which to save the key (/home/cryosparc/.ssh...
Created directory '/home/cryosparc/.ssh'.
Enter passphrase (empty for no passphrase): <--そのまま...
Enter same passphrase again: <--そのままリターン
:
[cryosparc@cryosparc ~]$
[cryosparc@cryosparc ~]$ cat .ssh/id_ed25519.pub >> ~/.ss...
[cryosparc@cryosparc ~]$ chmod 600 ~/.ssh/authorized_keys
(Workerにログインしてホストキーを事前に取得させます)
[cryosparc@cryosparc ~]$ ssh s
:
This key is not known by any other names
Are you sure you want to continue connecting (yes/no/[fin...
:
[cryosparc@s ~]$ exit
[cryosparc@cryosparc ~]$ ssh e
:
This key is not known by any other names
Are you sure you want to continue connecting (yes/no/[fin...
:
[cryosparc@e ~]$ exit
[cryosparc@cryosparc ~]$
}}
もしホストキーの登録が面倒なら .ssh/config を下記のように...
#code(nonumber){{
Host *
StrictHostKeyChecking no
UserKnownHostsFile=/dev/null
}}
これで事前に全ての「&color(orangered){Worker};」に面通し...
***&color(magenta){Master};の構築 [#hcfc3475]
#code(nonumber){{
[root@cryosparc ~]# su - cryosparc
[cryosparc@cryosparc ~]$ mkdir cryoSPARC <-...
[cryosparc@cryosparc ~]$ cd cryoSPARC/
[cryosparc@cryosparc cryoSPARC]$ tar xf /apps/src/cryospa...
[cryosparc@cryosparc cryoSPARC]$ cd cryosparc_master
[cryosparc@cryosparc cryosparc_master]$ ls -CF
bin/ cryosparc_compute/ gunicorn.con...
check_install_deps.sh* cryosparc_tools/ install.py ...
cryosparc_app/ deps_bundle/ install.sh* ...
cryosparc_command/ deps_bundle_hashes/ lib@ ...
[cryosparc@cryosparc cryosparc_master]$
}}
そして&color(magenta){Master};機能のインストールを行います
#code(nonumber){{
[cryosparc@cryosparc cryosparc_master]$ ./install.sh --li...
--hostname cryos...
--dbpath /home/c...
--port 39000
:
:
[cryosparc@cryosparc cryosparc_master]$
}}
途中インストール内容の確認と.bashrcへのPATH登録の許諾が求...
その後、.bashrcに書き込まれた内容を反映するために、一度ロ...
そして現状確認
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm status
---------------------------------------------------------...
CryoSPARC System master node installed at
/home/cryosparc/cryosparc_master
Current cryoSPARC version: v4.7.1
---------------------------------------------------------...
CryoSPARC is not running.
---------------------------------------------------------...
global config variables:
export CRYOSPARC_LICENSE_ID="xxxxxxxx-xxxx-xxxx-xxxx-xxxx...
export CRYOSPARC_MASTER_HOSTNAME="cryosparc.sybyl.local"
export CRYOSPARC_DB_PATH="/home/cryosparc/database"
export CRYOSPARC_BASE_PORT=39000
export CRYOSPARC_DB_CONNECTION_TIMEOUT_MS=20000
export CRYOSPARC_INSECURE=false
export CRYOSPARC_DB_ENABLE_AUTH=true
export CRYOSPARC_CLUSTER_JOB_MONITOR_INTERVAL=10
export CRYOSPARC_CLUSTER_JOB_MONITOR_MAX_RETRIES=1000000
export CRYOSPARC_PROJECT_DIR_PREFIX='CS-'
export CRYOSPARC_DEVELOP=false
export CRYOSPARC_CLICK_WRAP=true
[cryosparc@cryosparc ~]$
}}
インストール直後は、cryoSPARCの&color(magenta){Master};は...
なので起動させます.
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm start
Starting CryoSPARC System master process...
CryoSPARC is not already running.
configuring database...
creating cryosparc_admin
cryosparc_admin created
creating cryosparc_user
cryosparc_user created
configuration complete
database: started
database OK
command_core: started
command_core connection succeeded
command_core startup successful
command_vis: started
command_rtp: started
command_rtp connection succeeded
command_rtp startup successful
app: started
app_api: started
-----------------------------------------------------
CryoSPARC master started.
From this machine, access CryoSPARC and CryoSPARC Live at
http://localhost:39000
From other machines on the network, access CryoSPARC and...
http://cryosparc.sybyl.local:39000
Startup can take several minutes. Point your browser to t...
and refresh until you see the CryoSPARC web interface.
[cryosparc@cryosparc ~]$
}}
まだ&color(orangered){Worker};が用意されていないので計算...
次にその&color(orangered){Worker};をインストールします
***&color(orangered){Worker};を用意する [#t94ec8df]
&color(magenta){Master}; と &color(orangered){Worker};達...
「/home/cryosparc/cryoSPARC」に&color(orangered){Worker};...
&size(10){&color(magenta){Master};と&color(orangered){Wor...
「cryosparc_worker.tar.gz」を展開します
#code(nonumber){{
[cryosparc@cryosparc ~]$ cd cryoSPARC/
[cryosparc@cryosparc cryoSPARC]$ tar xf /apps/src/cryospa...
[cryosparc@cryosparc cryoSPARC]$ ls -l
drwxr-xr-x 14 cryosparc cryosparc 4096 Oct 23 22:39 cryos...
drwxr-xr-x 7 cryosparc cryosparc 183 Oct 23 23:07 cryos...
drwxr-xr-x 4 cryosparc cryosparc 8192 Oct 23 23:08 datab...
[cryosparc@cryosparc cryoSPARC]$ cd cryosparc_worker
[cryosparc@cryosparc cryosparc_worker]$ ls -CF
bin/ cryosparc_compute/ deps_bundle/ ...
check_install_deps.sh* cryosparc_tools/ deps_bundle_h...
[cryosparc@cryosparc cryosparc_worker]$
}}
&color(orangered){Worker}; をインストールします
#code(nonumber){{
[cryosparc@cryosparc cryosparc_worker]$ ./install.sh --li...
[cryosparc@cryosparc cryosparc_worker]$
}}
これで&color(orangered){Worker};のインストールは完了.
/homeが共有されているので他の&color(orangered){Worker};ノ...
ちょいと中身を拝見
#code(nonumber){{
[cryosparc@cryosparc cryosparc_worker]$ eval $(bin/cryosp...
[cryosparc@cryosparc cryosparc_worker]$ conda list
:
cuda-cudart 11.8.89 0...
cuda-nvrtc 11.8.89 0...
cuda-python 11.8.3 pypi_0...
cuda-version 11.8 h70ddcb2_3...
:
keras 2.8.0 pypi_0...
keras-preprocessing 1.1.2 pypi_0...
:
libcufft 10.9.0.58 0...
libcurand 10.3.0.86 0...
libcurand-dev 10.3.0.86 0...
:
python 3.10.14 hd12c33a_0_cpyt...
:
tensorflow 2.8.4 pypi_0...
:
torch 2.1.2+cu118 pypi_0...
:
[cryosparc@cryosparc cryosparc_worker]$
}}
あとはこの&color(orangered){Worker};を&color(magenta){Mas...
***&color(orangered){worker};の登録 [#ted71399]
まず&color(orangered){worker};ノードに「Fast Local Storag...
#code(nonumber){{
[root@cryosparc ~]# ssh s.sybyl.local
[root@s~]# parted /dev/sdb
(parted) mklabel gpt
(parted) mkpart primary 0% 100%
(parted) quit
[root@s~]# mkfs.xfs -L scr /dev/sdb1
[root@s~]# echo "LABEL=scr /scr xfs defaults 0 0" >> /etc...
[root@s~]# mkdir /scr && systemctl daemon-reload && mount...
[root@s~]# chmod 1777 /scr && mkdir /scr/cs && chown cryo...
[root@s~]# exit
[root@cryosparc ~]#
}}
cryoSPARCを稼働させるユーザ[cryosparc]で&color(orangered)...
「cryosparcw connect --worker &color(orangered){worker}; ...
を実行します
#code(nonumber){{
[cryosparc@s ~]$ cd cryoSPARC/cryosparc_worker
[cryosparc@s cryosparc_worker]$ ./bin/cryosparcw connect ...
--------------------------------------------------------...
CRYOSPARC CONNECT -------------------------------------...
:
:
You can now launch jobs on the master node and they wil...
on to this worker node if resource requirements are met.
--------------------------------------------------------...
Final configuration for s.sybyl.local
cache_path : /scr/cs
cache_quota_mb : None
cache_reserve_mb : 10000
desc : None
gpus : [{'id': 0, 'mem': 6091505664...
hostname : s.sybyl.local
lane : default
monitor_port : None
name : s.sybyl.local
resource_fixed : {'SSD': True}
resource_slots : {'CPU': [0, 1, 2, 3, 4, 5, 6...
ssh_str : cryosparc@s.sybyl.local
title : Worker node s.sybyl.local
type : node
worker_bin_path : /home/cryosparc/cryoSPARC/cr...
--------------------------------------------------------...
[cryosparc@s cryosparc_worker]$
}}
これで&color(orangered){worker};として「s.sybyl.local」が...
「e.sybyl.local」も同じように登録します
値を更新する場合は「--update」を加えます。例えば「Fast Lo...
#code(nonumber){{
mkdir /scratch/cryosparc_$USER
./bin/cryosparcw connect --worker e.sybyl.local --master ...
}}
とします.
***&color(orangered){worker};の確認と削除 [#g4b6cbf1]
現状と登録されている計算機は&color(magenta){master};ノー...
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm cli "get_scheduler_ta...
(v5)
[cryosparc@cryosparc ~]$ cryosparcm cli "api.resources.fi...
[cryosparc@cryosparc ~]$ cryosparcm cli "api.resources.fi...
}}
で得られるが、JSONコードです.
削除方法は、
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm cli "remove_scheduler...
(v5)
[cryosparc@cryosparc ~]$ cryosparcm cli "api.resources.re...
}}
とします
参照先 [[https://guide.cryosparc.com/setup-configuration-...
***アカウント作成 [#la70ddea]
cryoSPARCサービスはwebシステムでログインを要求します.
そのためのアカウントを作成します.
アカウントは「メールアドレス」の形態で作ります.
&color(magenta){master};ノードにて
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm createuser --email sa...
--password saber \
--username saber \
--firstname Artoria \
--lastname Pendragon
:
:
Creating user saber with email: saber@fgo password: saber...
Successfully created user account.
[cryosparc@cryosparc ~]$
}}
と作成できます
最初に作ったアカウントがcryoSPARCサービスでの管理者権限を...
管理者権限なら通常ユーザが作ったプロジェクトを閲覧可能で...
***ACL [#ad765d30]
ここではcryoSPARCサービスを動かすのにlinuxアカウントの「c...
そのため「cryosparc」がアクセス可能な場所でないとimportで...
cryoSPARCサービスを一人で運用するならユーザ「cryosparc」...
複数のlinuxアカウントがある場合、自分のデータを「cryospar...
っで使うのがアクセスコントロールを行うACL.
cryoSPARCサービスにアクセスさせるフォルダを「/home/saber/...
#code(nonumber){{
[saber@cryosparc ~]$ mkdir /home/saber/cryo
(まず cryosparc が $HOME(/home/saber) に入れるように)
[saber@cryosparc ~]$ setfacl -m user:cryosparc:rx $HOME
($HOME/cryoにアクセスできるように)
[saber@cryosparc ~]$ setfacl -m user:cryosparc:rx $HOME/c...
($HOME/cryo への書き込み権限を付与. [d]でその配下で作られ...
[saber@cryosparc ~]$ setfacl -dm user:cryosparc:rxw $HOME...
($HOME/cryo に自分自身も読み書きできるように. しかも[d]で...
[saber@cryosparc ~]$ setfacl -dm user:$USER:rxw $HOME/cryo
}}
これでユーザ cryosparc は /home/saber/cryo に書き込めれる...
あとは cryoSPARC サービスにログインして、「/home/saber/cr...
ただ、これは/homeがnfs由来だとより面倒な NFSv4_ACL を使う...
頑張ればできますが、面倒ならセキュアは落ちますが、groupパ...
1. umask を「0002」にして同じグループに所属するユーザもフ...
2. ホームディレクトリにcryosparcが入れるように設定します....
3. プロジェクトで使用するフォルダを作成します. 「mkdir /h...
4-1. 利用者ユーザのgroupに cryosparc を加える. root@「use...
4-2. cryosparcのgroupに利用者を加える. root@「usermod -aG...
これでcryosparcは/home/saber/cryoにプロジェクトフォルダを...
「chmod 777 /home/saber」ってのもありますが、、、
***メモ [#qd44ad9d]
複数台の計算機を登録する際、「Instance Information」ではG...
この場合は「--update」で再度認識させると上手くいくみたい
終了行:
「&color(magenta){Master};」と「&color(orangered){Worker}...
ここでは下記のような構成です.
アカウント情報はnis,ldap,FreeIPA,samba-adとかで共有されて...
|BGCOLOR(yellow):役目|BGCOLOR(yellow):マシン名|BGCOLOR(ye...
|&color(magenta){''Master''};|cryosparc.sybyl.local|cryos...
|&color(orangered){Worker};|s.sybyl.local|~|gpuカード１枚|
|~|e.sybyl.local|~|gpuカード１枚|
ここでは一般ユーザ cryosparc がcryoSPARCサービスを運用す...
このアカウントは各ノードで共有され(uid/gidが同じ)、「/hom...
***下準備 firewall [#cb51a082]
「&color(magenta){Master};」は、port番号 39000 でcryoSPAR...
#code(nonumber){{
firewall-cmd --add-port=39000-39010/tcp --zone=public --p...
firewall-cmd --reload
}}
この際にcryoSPARCサービスにアクセスするsourceを限定すると...
「&color(orangered){Worker};」側は22番のsshが空いてsshdが...
#code(nonumber){{
firewall-cmd --list-all --zone=public
}}
で確認してください.
firewallを設定してないなら、これらの作業は不要です
***下準備 SELinux [#f7a92030]
SELinuxは無効にしてます. SELinux有効下において /home にア...
#code(nonumber){{
[root@cryosparc ~]# cat /etc/redhat-release
Rocky Linux release 9.5 (Blue Onyx)
(SELinux無効化)
[root@cryosparc ~]# grubby --update-kernel ALL --args sel...
[root@cryosparc ~]# grub2-mkconfig -o /boot/efi/EFI/rocky...
[root@cryosparc ~]# grub2-mkconfig -o /boot/grub2/grub.cf...
[root@cryosparc ~]# reboot
:
(SELinux無効化の確認)
[root@cryosparc ~]# sestatus
SELinux status: disabled
[root@cryosparc ~]#
}}
***下準備 アカウント [#u00f8580]
アカウント作成します. ここでは特別なアカウント cryosparc ...
#code(nonumber){{
[root@cryosparc ~]# useradd -d /home/cryosparc -s /bin/ba...
[root@cryosparc ~]# su - cryosparc
[cryosparc@cryosparc ~]$
(パスワードレスで Worker に入れるように公開鍵を作成します)
[cryosparc@cryosparc ~]$ ssh-keygen -t ed25519
:
Enter file in which to save the key (/home/cryosparc/.ssh...
Created directory '/home/cryosparc/.ssh'.
Enter passphrase (empty for no passphrase): <--そのまま...
Enter same passphrase again: <--そのままリターン
:
[cryosparc@cryosparc ~]$
[cryosparc@cryosparc ~]$ cat .ssh/id_ed25519.pub >> ~/.ss...
[cryosparc@cryosparc ~]$ chmod 600 ~/.ssh/authorized_keys
(Workerにログインしてホストキーを事前に取得させます)
[cryosparc@cryosparc ~]$ ssh s
:
This key is not known by any other names
Are you sure you want to continue connecting (yes/no/[fin...
:
[cryosparc@s ~]$ exit
[cryosparc@cryosparc ~]$ ssh e
:
This key is not known by any other names
Are you sure you want to continue connecting (yes/no/[fin...
:
[cryosparc@e ~]$ exit
[cryosparc@cryosparc ~]$
}}
もしホストキーの登録が面倒なら .ssh/config を下記のように...
#code(nonumber){{
Host *
StrictHostKeyChecking no
UserKnownHostsFile=/dev/null
}}
これで事前に全ての「&color(orangered){Worker};」に面通し...
***&color(magenta){Master};の構築 [#hcfc3475]
#code(nonumber){{
[root@cryosparc ~]# su - cryosparc
[cryosparc@cryosparc ~]$ mkdir cryoSPARC <-...
[cryosparc@cryosparc ~]$ cd cryoSPARC/
[cryosparc@cryosparc cryoSPARC]$ tar xf /apps/src/cryospa...
[cryosparc@cryosparc cryoSPARC]$ cd cryosparc_master
[cryosparc@cryosparc cryosparc_master]$ ls -CF
bin/ cryosparc_compute/ gunicorn.con...
check_install_deps.sh* cryosparc_tools/ install.py ...
cryosparc_app/ deps_bundle/ install.sh* ...
cryosparc_command/ deps_bundle_hashes/ lib@ ...
[cryosparc@cryosparc cryosparc_master]$
}}
そして&color(magenta){Master};機能のインストールを行います
#code(nonumber){{
[cryosparc@cryosparc cryosparc_master]$ ./install.sh --li...
--hostname cryos...
--dbpath /home/c...
--port 39000
:
:
[cryosparc@cryosparc cryosparc_master]$
}}
途中インストール内容の確認と.bashrcへのPATH登録の許諾が求...
その後、.bashrcに書き込まれた内容を反映するために、一度ロ...
そして現状確認
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm status
---------------------------------------------------------...
CryoSPARC System master node installed at
/home/cryosparc/cryosparc_master
Current cryoSPARC version: v4.7.1
---------------------------------------------------------...
CryoSPARC is not running.
---------------------------------------------------------...
global config variables:
export CRYOSPARC_LICENSE_ID="xxxxxxxx-xxxx-xxxx-xxxx-xxxx...
export CRYOSPARC_MASTER_HOSTNAME="cryosparc.sybyl.local"
export CRYOSPARC_DB_PATH="/home/cryosparc/database"
export CRYOSPARC_BASE_PORT=39000
export CRYOSPARC_DB_CONNECTION_TIMEOUT_MS=20000
export CRYOSPARC_INSECURE=false
export CRYOSPARC_DB_ENABLE_AUTH=true
export CRYOSPARC_CLUSTER_JOB_MONITOR_INTERVAL=10
export CRYOSPARC_CLUSTER_JOB_MONITOR_MAX_RETRIES=1000000
export CRYOSPARC_PROJECT_DIR_PREFIX='CS-'
export CRYOSPARC_DEVELOP=false
export CRYOSPARC_CLICK_WRAP=true
[cryosparc@cryosparc ~]$
}}
インストール直後は、cryoSPARCの&color(magenta){Master};は...
なので起動させます.
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm start
Starting CryoSPARC System master process...
CryoSPARC is not already running.
configuring database...
creating cryosparc_admin
cryosparc_admin created
creating cryosparc_user
cryosparc_user created
configuration complete
database: started
database OK
command_core: started
command_core connection succeeded
command_core startup successful
command_vis: started
command_rtp: started
command_rtp connection succeeded
command_rtp startup successful
app: started
app_api: started
-----------------------------------------------------
CryoSPARC master started.
From this machine, access CryoSPARC and CryoSPARC Live at
http://localhost:39000
From other machines on the network, access CryoSPARC and...
http://cryosparc.sybyl.local:39000
Startup can take several minutes. Point your browser to t...
and refresh until you see the CryoSPARC web interface.
[cryosparc@cryosparc ~]$
}}
まだ&color(orangered){Worker};が用意されていないので計算...
次にその&color(orangered){Worker};をインストールします
***&color(orangered){Worker};を用意する [#t94ec8df]
&color(magenta){Master}; と &color(orangered){Worker};達...
「/home/cryosparc/cryoSPARC」に&color(orangered){Worker};...
&size(10){&color(magenta){Master};と&color(orangered){Wor...
「cryosparc_worker.tar.gz」を展開します
#code(nonumber){{
[cryosparc@cryosparc ~]$ cd cryoSPARC/
[cryosparc@cryosparc cryoSPARC]$ tar xf /apps/src/cryospa...
[cryosparc@cryosparc cryoSPARC]$ ls -l
drwxr-xr-x 14 cryosparc cryosparc 4096 Oct 23 22:39 cryos...
drwxr-xr-x 7 cryosparc cryosparc 183 Oct 23 23:07 cryos...
drwxr-xr-x 4 cryosparc cryosparc 8192 Oct 23 23:08 datab...
[cryosparc@cryosparc cryoSPARC]$ cd cryosparc_worker
[cryosparc@cryosparc cryosparc_worker]$ ls -CF
bin/ cryosparc_compute/ deps_bundle/ ...
check_install_deps.sh* cryosparc_tools/ deps_bundle_h...
[cryosparc@cryosparc cryosparc_worker]$
}}
&color(orangered){Worker}; をインストールします
#code(nonumber){{
[cryosparc@cryosparc cryosparc_worker]$ ./install.sh --li...
[cryosparc@cryosparc cryosparc_worker]$
}}
これで&color(orangered){Worker};のインストールは完了.
/homeが共有されているので他の&color(orangered){Worker};ノ...
ちょいと中身を拝見
#code(nonumber){{
[cryosparc@cryosparc cryosparc_worker]$ eval $(bin/cryosp...
[cryosparc@cryosparc cryosparc_worker]$ conda list
:
cuda-cudart 11.8.89 0...
cuda-nvrtc 11.8.89 0...
cuda-python 11.8.3 pypi_0...
cuda-version 11.8 h70ddcb2_3...
:
keras 2.8.0 pypi_0...
keras-preprocessing 1.1.2 pypi_0...
:
libcufft 10.9.0.58 0...
libcurand 10.3.0.86 0...
libcurand-dev 10.3.0.86 0...
:
python 3.10.14 hd12c33a_0_cpyt...
:
tensorflow 2.8.4 pypi_0...
:
torch 2.1.2+cu118 pypi_0...
:
[cryosparc@cryosparc cryosparc_worker]$
}}
あとはこの&color(orangered){Worker};を&color(magenta){Mas...
***&color(orangered){worker};の登録 [#ted71399]
まず&color(orangered){worker};ノードに「Fast Local Storag...
#code(nonumber){{
[root@cryosparc ~]# ssh s.sybyl.local
[root@s~]# parted /dev/sdb
(parted) mklabel gpt
(parted) mkpart primary 0% 100%
(parted) quit
[root@s~]# mkfs.xfs -L scr /dev/sdb1
[root@s~]# echo "LABEL=scr /scr xfs defaults 0 0" >> /etc...
[root@s~]# mkdir /scr && systemctl daemon-reload && mount...
[root@s~]# chmod 1777 /scr && mkdir /scr/cs && chown cryo...
[root@s~]# exit
[root@cryosparc ~]#
}}
cryoSPARCを稼働させるユーザ[cryosparc]で&color(orangered)...
「cryosparcw connect --worker &color(orangered){worker}; ...
を実行します
#code(nonumber){{
[cryosparc@s ~]$ cd cryoSPARC/cryosparc_worker
[cryosparc@s cryosparc_worker]$ ./bin/cryosparcw connect ...
--------------------------------------------------------...
CRYOSPARC CONNECT -------------------------------------...
:
:
You can now launch jobs on the master node and they wil...
on to this worker node if resource requirements are met.
--------------------------------------------------------...
Final configuration for s.sybyl.local
cache_path : /scr/cs
cache_quota_mb : None
cache_reserve_mb : 10000
desc : None
gpus : [{'id': 0, 'mem': 6091505664...
hostname : s.sybyl.local
lane : default
monitor_port : None
name : s.sybyl.local
resource_fixed : {'SSD': True}
resource_slots : {'CPU': [0, 1, 2, 3, 4, 5, 6...
ssh_str : cryosparc@s.sybyl.local
title : Worker node s.sybyl.local
type : node
worker_bin_path : /home/cryosparc/cryoSPARC/cr...
--------------------------------------------------------...
[cryosparc@s cryosparc_worker]$
}}
これで&color(orangered){worker};として「s.sybyl.local」が...
「e.sybyl.local」も同じように登録します
値を更新する場合は「--update」を加えます。例えば「Fast Lo...
#code(nonumber){{
mkdir /scratch/cryosparc_$USER
./bin/cryosparcw connect --worker e.sybyl.local --master ...
}}
とします.
***&color(orangered){worker};の確認と削除 [#g4b6cbf1]
現状と登録されている計算機は&color(magenta){master};ノー...
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm cli "get_scheduler_ta...
(v5)
[cryosparc@cryosparc ~]$ cryosparcm cli "api.resources.fi...
[cryosparc@cryosparc ~]$ cryosparcm cli "api.resources.fi...
}}
で得られるが、JSONコードです.
削除方法は、
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm cli "remove_scheduler...
(v5)
[cryosparc@cryosparc ~]$ cryosparcm cli "api.resources.re...
}}
とします
参照先 [[https://guide.cryosparc.com/setup-configuration-...
***アカウント作成 [#la70ddea]
cryoSPARCサービスはwebシステムでログインを要求します.
そのためのアカウントを作成します.
アカウントは「メールアドレス」の形態で作ります.
&color(magenta){master};ノードにて
#code(nonumber){{
[cryosparc@cryosparc ~]$ cryosparcm createuser --email sa...
--password saber \
--username saber \
--firstname Artoria \
--lastname Pendragon
:
:
Creating user saber with email: saber@fgo password: saber...
Successfully created user account.
[cryosparc@cryosparc ~]$
}}
と作成できます
最初に作ったアカウントがcryoSPARCサービスでの管理者権限を...
管理者権限なら通常ユーザが作ったプロジェクトを閲覧可能で...
***ACL [#ad765d30]
ここではcryoSPARCサービスを動かすのにlinuxアカウントの「c...
そのため「cryosparc」がアクセス可能な場所でないとimportで...
cryoSPARCサービスを一人で運用するならユーザ「cryosparc」...
複数のlinuxアカウントがある場合、自分のデータを「cryospar...
っで使うのがアクセスコントロールを行うACL.
cryoSPARCサービスにアクセスさせるフォルダを「/home/saber/...
#code(nonumber){{
[saber@cryosparc ~]$ mkdir /home/saber/cryo
(まず cryosparc が $HOME(/home/saber) に入れるように)
[saber@cryosparc ~]$ setfacl -m user:cryosparc:rx $HOME
($HOME/cryoにアクセスできるように)
[saber@cryosparc ~]$ setfacl -m user:cryosparc:rx $HOME/c...
($HOME/cryo への書き込み権限を付与. [d]でその配下で作られ...
[saber@cryosparc ~]$ setfacl -dm user:cryosparc:rxw $HOME...
($HOME/cryo に自分自身も読み書きできるように. しかも[d]で...
[saber@cryosparc ~]$ setfacl -dm user:$USER:rxw $HOME/cryo
}}
これでユーザ cryosparc は /home/saber/cryo に書き込めれる...
あとは cryoSPARC サービスにログインして、「/home/saber/cr...
ただ、これは/homeがnfs由来だとより面倒な NFSv4_ACL を使う...
頑張ればできますが、面倒ならセキュアは落ちますが、groupパ...
1. umask を「0002」にして同じグループに所属するユーザもフ...
2. ホームディレクトリにcryosparcが入れるように設定します....
3. プロジェクトで使用するフォルダを作成します. 「mkdir /h...
4-1. 利用者ユーザのgroupに cryosparc を加える. root@「use...
4-2. cryosparcのgroupに利用者を加える. root@「usermod -aG...
これでcryosparcは/home/saber/cryoにプロジェクトフォルダを...
「chmod 777 /home/saber」ってのもありますが、、、
***メモ [#qd44ad9d]
複数台の計算機を登録する際、「Instance Information」ではG...
この場合は「--update」で再度認識させると上手くいくみたい
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
