CentOS7のままで cryoSPARC のworkerを Singularity 上で動かしてみる.

今のCentOS7のままで使いたい

ってニーズがあってそれにどのように対応すればいいのかと考えSingularityを使ってみた

masterからworkerには ssh で接続され処理内容が伝達される
workerは処理対象のフォルダに接続可能でnfsとかで共有されている必要がある

sshの待ち受け可能状態であることが必要なので、Singularity をデーモンとして動かして、共有ディレクトリをmountし続ける必要がある.

こうなると単純にCentOS7に仮想マシンを拵えて運用した方がいいが、仮想マシンが母体のGPUを拝借できるか考慮する箇所がある..まぁqemuならいけるか



っでいろいろ試したが、Singularityでsshデーモンがそもそも作れなかった...「singularity instance start ...」でデーモン状態になるのだが、
ssh 8822 ポートで cryoSPARC master からの計算要求を受け入れようとしたが、この部分の確立ができなかった... ほかの方法があるのかもだけど

っでdockerで行ってみる.
こちらは実績があるみたい https://www.yasunaga-lab.bio.kyutech.ac.jp/EosJ/index.php/DockerでcryoSPARCクラスタ




お話変わって、

masterをSingularity で運用してみる.

Singularity のSIF にcsのすべてを載せるのではなく、csに係るプログラム、データベースは地べたに置いて($HOME/cryoSPARC/{cryosparc_master,cryosparc_worker,database})、
master部分のみ slurm により起動する サービス(web+database)として稼働させ、workerは 従来からのジョブ管理システム経由にする.

これで、masterの局在化、永続的リソース占有から離れるかなと. slrumによる制限でリソースが開くので.
ライセンス、portの管理はファイルシステムに置かれる config.sh に依存するが、、これは運用で管理かな.
worker登録もサンプル提示のユーザ作業かな.
csのwebアクセスはパスワード管理なので、それもユーザ側へ

懸念点. workerで計算中にmasterが落ちたら?結果は反映されるのか? -> 要調査

k8sでサービスも考えたが、slurmとのリソース管理ができるか微妙.

slurmで動かすには?

みかんせい

[root@slurm ~]# dnf install epel-release -y
[root@slurm ~]# dnf  --enablerepo=epel install apptainer apptainer-suid
 
 
[illya@slurm ~]$ mkdir cryoSPARC
[illya@slurm ~]$ cd cryoSPARC/
[illya@slurm cryoSPARC]$ tar xf /Public/em/cs.m.430.tar.gz
 
 
[illya@slurm ~]$ singularity build --sandbox cs-master docker://rockylinux:9.2
[illya@slurm ~]$ singularity shell --writable --fakeroot ./cs-master/
Apptainer>
Apptainer> dnf install which iputils
Apptainer> exit
 
[illya@slurm ~]$ singularity shell ./cs-master/
Apptainer> 
Apptainer> mkdir cryoSPARC
Apptainer> cd cryoSPARC/
Apptainer> tar xf ../cs.m.430.tar.gz
Apptainer> cd cryosparc_master/
Apptainer> pwd
/home/illya/cryoSPARC/cryosparc_master
Apptainer>
Apptainer> ./install.sh --license  xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx  --hostname `hostname` --dbpath $HOME/cryoSPARC/database --port $(( $UID * 10 ))
 
************ CRYOSPARC SYSTEM: MASTER INSTALLER **************
 
 Installation Settings:
   License ID              : xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
   Root Directory          : /home/illya/cryoSPARC/cryosparc_master
   Master Hostname         : slurm
   Database Directory      : /home/illya/cryoSPARC/database
   Base HTTP Port Number   : 10000                       <---- $UIDの10倍値
   Developer Install       : false
   Operating System        : Linux
   Insecure Install        : false
   Standalone Install      : false
   Version                 : v4.3.0
 
******************************************************************
 
Apptainer>
最新の60件
2024-02-23 2024-02-22 2024-02-21 2024-02-20 2024-02-19 2024-02-18 2024-02-17 2024-02-16 2024-02-13 2024-02-12 2024-02-09 2024-02-04 2024-02-03 2024-01-31 2024-01-30 2024-01-29 2024-01-28 2024-01-22 2024-01-16 2024-01-15 2024-01-13 2024-01-12 2024-01-09 2024-01-08 2024-01-07 2024-01-03 2023-12-22 2023-12-17 2023-12-16 2023-12-11 2023-12-09 2023-12-06 2023-11-30 2023-11-27 2023-11-21 2023-11-19 2023-11-18 2023-11-14 2023-11-10 2023-11-09 2023-11-05 2023-11-03 2023-10-30 2023-10-26

edit


トップ   編集 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2023-09-08 (金) 19:30:10