本家様 http://scipion.i2pc.es/
scipionがver3になりました

ここではCentOS7にscipion3を入れてます

下準備

[root@s ~]# yum groupinstall "Development Tools"
[root@s ~]# yum install epel-release
[root@s ~]# yum install libzstd-devel hdf5-devel
[root@s ~]# yum install python3-devel python3-tkinter openmpi-devel \
                              wget fftw-devel libtiff-devel java-1.8.0-openjdk-devel libjpeg-turbo-devel sqlite-devel 
[root@s ~]#
 
(RHEL8系)
dnf install  libzstd-devel hdf5-devel python3-devel python3-tkinter openmpi-devel \
wget fftw-devel libtiff-devel java-1.8.0-openjdk-devel libjpeg-turbo-devel sqlite-devel

本家様のドキュメントでは

Conda (optional, recommended if you are not admin)
Although conda is not a requirement, it provides most of the dependencies Scipion and Xmipp needs and can be installed without being admin/root.
 
Miniconda would be enough.

とあり、condaは必要ないけど、管理者権限がないならあったほうがいい. その場合、自分のホームディレクトリ配下にcondaの環境を作ります
Minicondaで十分かもよとある. anacondaをライセンス的に使えないならminicondaでって感じですね.

あとcudaに関してはCUDA 10.1を推奨している. RTX 30x0はCUDA 11以上がサポートなのだが、、
ここではcuda-11.4を入れてnvidaのドライバーは11.4にしますが、同時にcuda-10.2、cuda-10.1も入れてます.

[root@s ~]# nvidia-smi
Thu Jul  8 20:38:35 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.42.01    Driver Version: 470.42.01    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
 :
 :
[root@s ~]# ls -ld /usr/local/cuda*
lrwxrwxrwx  1 root root   22 Jul  8 20:42 /usr/local/cuda -> /etc/alternatives/cuda
drwxr-xr-x 15 root root 4096 Jul  8 20:42 /usr/local/cuda-10.1
drwxr-xr-x 16 root root 4096 Jul  8 20:41 /usr/local/cuda-10.2
lrwxrwxrwx  1 root root   25 Jul  8 20:14 /usr/local/cuda-11 -> /etc/alternatives/cuda-11
drwxr-xr-x 17 root root 4096 Jul  8 20:14 /usr/local/cuda-11.4
 
[root@s ~]# alternatives --list  | grep cuda
cuda    manual  /usr/local/cuda-11.4
cuda-11 auto    /usr/local/cuda-11.4
 
[root@s ~]#

インストール

まずはconda環境を準備します. ここではcrYOLOとかでconda環境があるので、それを使い回します

export PYENV_ROOT=/apps/pyenv
export PATH=$PYENV_ROOT/bin:$PATH
eval "$(pyenv init - --no-rehash)"
export PATH=$PYENV_ROOT/versions/anaconda3-5.3.1/bin/:$PATH

確認. 現在conda経由で提供しているpython実行環境は下記になる.

[root@s ~]# conda env list
# conda environments:
#
base                  *  /apps/pyenv/versions/anaconda3-5.3.1
deepfinder               /apps/pyenv/versions/anaconda3-5.3.1/envs/deepfinder
 :
 :
[root@s ~]#

この環境リストにscipion実行環境を増やす形なのだが、まず「scipion-installer」を入れます

[root@s ~]# which pip3
/usr/bin/pip3
 
[root@s ~]# which pip
/apps/pyenv/versions/anaconda3-5.3.1/bin/pip
 
[root@s ~]#
[root@s ~]# pip install scipion-installer

そしてコンパイル環境を整備してscipionを入れます
cudaの指定ですが、ドキュメントは 10.1 を推奨している. だけど実際 10.1 を指定したら 10.2 が推奨としている. ここでは 10.2 を指定します

[root@s ~]# module load mpi/openmpi-x86_64
[root@s ~]# CXX_CUDA=g++ CUDA_BIN=/usr/local/cuda-10.2/bin CUDA_LIB=/usr/local/cuda-10.2/lib64  python3 -m scipioninstaller /apps/scipion -j 4 -n scipion3

「-n」はcondaで作るpython実行環境名となります. 既定は「scipion3」

一応以上でインストールは完了. ここで「conda env list」を実行すると下記になる

[root@s ~]# conda env list
# conda environments:
#
base                  *  /apps/pyenv/versions/anaconda3-5.3.1
deepfinder               /apps/pyenv/versions/anaconda3-5.3.1/envs/deepfinder
scipion3                 /apps/pyenv/versions/anaconda3-5.3.1/envs/scipion3
 :
 :
[root@s ~]#

EnvironmentModules

EnvironmentModules 向けに「/etc/modulefiles/scipion」を下記のようにする

#%Module1.0
set-alias scipion3 /apps/scipion/scipion3
 
set-alias scipion  /apps/scipion/scipion3

plug-in

scipionを起動して、「create project」でプロジェクトを作り、それが開くと下記のようになる
2021y07m08d_220720277.png
使用できるツールはインストール直後は「Xmipp3」由来のみです.
この他にもツールが搭載できる.

いったいどんなツールがこのscipionに追加できるかは scipion を起動して、[Others]->[Plugin manager]を開くと一覧できる.
あるいはコマンドラインで「scipion3 installp --help」でも一覧できる

[root@s ~]# module load scipion
[root@s ~]# scipion3 installp --checkUpdates
Scipion v3.0.8 - Eugenius
Available plugins: ([ ] not installed, [X] seems already installed)
 
 
scipion-em-appion                         [ ]
scipion-em-aretomo                        [ ]
scipion-em-atomstructutils                [ ]
scipion-em-atsas                          [ ]
scipion-em-bamfordlab                     [ ]
scipion-em-bsoft                          [ ]
scipion-em-ccp4                           [ ]
scipion-em-chimera                        [ ]
scipion-em-cistem                         [ ]
scipion-em-continuousflex                 [ ]
scipion-em-cryoassess                     [ ]
scipion-em-cryodrgn                       [ ]
scipion-em-cryoef                         [ ]
scipion-em-cryosparc2                     [ ]
scipion-em-eman2                          [ ]
scipion-em-empiar                         [ ]
scipion-em-emxlib                         [ ]
scipion-em-facilities                     [ ]
scipion-em-fsc3d                          [ ]
scipion-em-gautomatch                     [ ]
scipion-em-gctf                           [ ]
scipion-em-imagic                         [ ]
scipion-em-localrec                       [ ]
scipion-em-locscale                       [ ]
scipion-em-motioncorr                     [ ]
scipion-em-phenix                         [ ]
scipion-em-relion                         [ ]
scipion-em-resmap                         [ ]
scipion-em-sidesplitter                   [ ]
scipion-em-sphire                         [ ]
scipion-em-spider                         [ ]
scipion-em-topaz                          [ ]
scipion-em-xmipp               21.6.1     [X]
scipion-em-xmipp2                         [ ]
 
[root@s ~]#

*これ以外にもbeta版とかがあり、それらはhttps://github.com/scipion-emで確認できます
例えば、scipionからrelionを実行したいなら、relionのplug-inをインストールします.
しかし既にインストール済みのrelionがあって、そのバイナリーをそのまま使用したいなら 「scipion3 installp -p scipion-em-relion --noBin」と実行する

[root@s ~]# scipion3 installp -p scipion-em-relion --noBin
(確認)
[root@s ~]# scipion3 installp --checkUpdates | grep relion
scipion-em-relion              3.1.2      [X]
 
(加えたこのpluginを削除したければ)
[root@s ~]# scipion3 uninstallp -p scipion-em-relion

これでrelionへのpluginインターフェースは用意できました. 次にscipion3に環境変数でrelionプログラムへの接続を定義します.
定義すべき環境変数は「scipion3 config -p <プログラム名>」で提示されます.

[root@s ~]# scipion3 config -p relion
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'relion':
 
RELION_HOME = /apps/scipion/software/em/relion-3.1.2
RELION_CUDA_LIB = /usr/local/cuda/lib64
 
These variables can be added/edited in '/apps/scipion/config/scipion.conf'
[root@s ~]#

この場合、「RELION_HOME」と「RELION_CUDA_LIB」の定義が必要で、
それは「/apps/scipion/config/scipion.conf」で明記される必要があるようです.

これで既にインストールされているrelionプログラムを使い回しできる.

その前に「scipion3 installb」でrelionのどのバージョンが対応なのか調べておく必要があるかも

なので、

[root@s ~]# vi /apps/scipion/config/scipion.conf
[PYWORKFLOW]
CONDA_ACTIVATION_CMD = eval "$(/apps/pyenv/versions/anaconda3-5.3.1/bin/conda shell.bash hook)"
 
[PLUGINS]
RELION_CUDA_LIB = /usr/local/cuda-11.2/lib64
RELION_CUDA_BIN = /usr/local/cuda-11.2/bin
RELION_HOME = /apps/relion-3.1.2
 
[root@s ~]#

実際には「RELION_CUDA_BIN」の塚も要求された
その後scipionを再起動するとrelionの機能が追加されます
2021y07m08d_225847094.png

plug-in Gautomatch

次がGautomatchを入れてみる. これも既に手元にあって使えるならさらにバイナリーを入れる必要はなく、そのバイナリーを拝借する事にする.

[root@s ~]# scipion3 installp -p scipion-em-gautomatch --noBin
 
(確認)
[root@s ~]# scipion3 installp --checkUpdates | grep gautomatch
scipion-em-gautomatch          3.0.14     [X]
 
(必要となる環境変数の確認)
[root@s ~]# scipion3 config -p  gautomatch
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'gautomatch':
 
GAUTOMATCH_HOME = /apps/scipion/software/em/gautomatch-0.56
GAUTOMATCH = Gautomatch_v0.56_sm30-75_cu10.1
GAUTOMATCH_CUDA_LIB = /usr/local/cuda/lib64
 
These variables can be added/edited in '/apps/scipion/config/scipion.conf'
 
(なので)
[root@s ~]# vi /apps/scipion/config/scipion.conf
[PYWORKFLOW]
CONDA_ACTIVATION_CMD = eval "$(/apps/pyenv/versions/anaconda3-5.3.1/bin/conda shell.bash hook)"
 
[PLUGINS]
(略
GAUTOMATCH_HOME = /apps/GCTF_Gautomatch_Cu10.1/
GAUTOMATCH = Gautomatch_v0.56_sm30-75_cu10.1
GAUTOMATCH_CUDA_LIB = /usr/local/cuda-10.2/lib64
[root@s ~]#

これでscipionを起動します
2021y07m08d_230737299.png

plug-in Sphire

このSphire Plug-inの中にcrYOLOが入ってます.
っで

[root@s ~]# scipion3 installp -p scipion-em-sphire --noBin
 
(必要となる環境変数の確認)
[root@s ~]# scipion3 config -p sphire
[root@s ~]# scipion3 config -p sphire
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'sphire':
 
CRYOLO_ENV_ACTIVATION_CPU = conda activate cryoloCPU-1.7.6
CRYOLO_ENV_ACTIVATION = conda activate cryolo-1.7.6
CRYOLO_GENERIC_MODEL = /apps/scipion/software/em/cryolo_model-202005_N63_c17/gmodel_phosnet_202005_N63_c17.h5
CRYOLO_GENERIC_DENOISED_MODEL = /apps/scipion/software/em/cryolo_model-202005_nn_N63_c17/gmodel_phosnet_202005_nn_N63_c17.h5
JANNI_GENERIC_MODEL = /apps/scipion/software/em/janni_model-20190703/gmodel_janni_20190703.h5
CRYOLO_NS_GENERIC_MODEL = /apps/scipion/software/em/cryolo_negstain_model-20190226/gmodel_phosnet_negstain_20190226.h5
CRYOLO_CUDA_LIB = /usr/local/cuda/lib64
 
These variables can be added/edited in '/apps/scipion/config/scipion.conf'
[root@s ~]#

どうやらモデルがいるの指定もここでするみたい.
加えて「conda activate」でpython実行環境に移行するようなので、事前に「conda env list」でcrYOLOの環境名を確認します

[root@s ~]# conda env list |grep -i cryolo
crYOLO                   /apps/pyenv/versions/anaconda3-5.3.1/envs/crYOLO
[root@s ~]#

なので「/apps/scipion/config/scipion.conf」は下記のようにします

[root@s ~]# vi /apps/scipion/config/scipion.conf
[PYWORKFLOW]
CONDA_ACTIVATION_CMD = eval "$(/apps/pyenv/versions/anaconda3-5.3.1/bin/conda shell.bash hook)"
 
[PLUGINS]
(略
CRYOLO_ENV_ACTIVATION = conda activate crYOLO
CRYOLO_GENERIC_MODEL = /apps/crYOLO/gmodel_phosnet_202005_N63_c17.h5
CRYOLO_GENERIC_DENOISED_MODEL = /apps/crYOLO/gmodel_phosnet_202005_nn_N63_c17.h5
JANNI_GENERIC_MODEL = /apps/janni/gmodel_janni_20190703.h5
CRYOLO_NS_GENERIC_MODEL = /apps/crYOLO/gmodel_phosnet_negstain_20190226.h5
CRYOLO_CUDA_LIB = /usr/local/cuda/lib64

*「CRYOLO_ENV_ACTIVATION_CPU 」はCPU版のcrYOLOがあるなら

plug-in Topaz

次にpickツールのTopazを入れてみる. 同じくバイナリーは既にインストール済みのものを使うtopaz

[root@s ~]# scipion3 installp -p scipion-em-topaz --noBin
[root@s ~]# scipion3 config -p topaz
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'topaz':
 
TOPAZ_ENV_ACTIVATION = conda activate topaz-0.2.4
 
These variables can be added/edited in '/apps/scipion/config/scipion.conf'
[root@s ~]#

condaで「topaz-0.2.4」なるpython実行環境をロードしているが、ここでは既に「topaz」として環境を作っているので、
それを借用してみる

[root@s ~]# vi /apps/scipion/config/scipion.conf
[PYWORKFLOW]
CONDA_ACTIVATION_CMD = eval "$(/apps/pyenv/versions/anaconda3-5.3.1/bin/conda shell.bash hook)"
 
[PLUGINS]
(略
TOPAZ_ENV_ACTIVATION = conda activate topaz
[root@s ~]#

*「module load topaz」とかでもいいかなと思ったが、CONDA_ACTIVATION_CMDの変更が必要なので「conda activate」のままにしてみた

2021y07m09d_005654817.png

deepfinder

https://github.com/scipion-em/scipion-em-deepfinder
「scipion3 installp --checkUpdates」には表示されていないアプリでhttps://github.com/scipion-emに表示されているアプリを使う場合は「--devel」を付けて導入する
バイナリーも一緒に入れるので、「--noBin」は付けない.

[root@s ~]# scipion3 installp -p https://github.com/scipion-em/scipion-em-deepfinder.git --devel

これでdeepfinderのplug-inとバイナリー(プログラム)がインストールされる.
次に、環境設定. 必要な環境変数を調べる

[root@s ~]# scipion3 config -p deepfinder
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'deepfinder':
 
DF_HOME = /apps/scipion/software/em/deepfinder-0.1
DF_ENV_ACTIVATION = conda activate deepfinder-0.1
 
These variables can be added/edited in '/apps/scipion/config/scipion.conf'
[root@s ~]#

環境変数として「DF_HOME」と「DF_ENV_ACTIVATION」が必要なのが分かる.
plug-inの追加の際に、「--noBin」を付けないと、ここで提示された値がそのまま使える.
確認のために、condaの環境リストを調べると

[root@s ~]# conda env list | grep deepfinder
deepfinder-0.1           /apps/pyenv/versions/anaconda3-5.3.1/envs/deepfinder-0.1
[root@s ~]#

そして、バイナリーの存在を確認すると下記のようになっている.

[root@s ~]# ls -l /apps/scipion/software/em/deepfinder-0.1/bin/
total 24
-rwxrwxr-x 1 root root 1021 May 20 19:03 annotate
-rwxrwxr-x 1 root root 1614 May 20 19:03 cluster
-rwxrwxr-x 1 root root  842 May 20 19:03 display
-rwxrwxr-x 1 root root 1554 May 20 19:03 generate_target
-rwxrwxr-x 1 root root 2330 May 20 19:03 segment
-rwxrwxr-x 1 root root 1925 May 20 19:03 train
[root@s ~]#

なので、「/apps/scipion/config/scipion.conf」への記載は「scipion3 config -p deepfinder」の通りにする

[PYWORKFLOW]
CONDA_ACTIVATION_CMD = eval "$(/apps/pyenv/versions/anaconda3-5.3.1/bin/conda shell.bash hook)"
 
[PLUGINS]
(略
DF_HOME = /apps/scipion/software/em/deepfinder-0.1
DF_ENV_ACTIVATION = conda activate deepfinder-0.1

plug-in Gctf

[root@s ~]# scipion3 installp -p scipion-em-gctf --noBin
[root@s ~]# scipion3 config -p gctf
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'gctf':
 
GCTF_HOME = /apps/scipion3/software/em/gctf-1.18
GCTF = Gctf_v1.18_sm30-75_cu10.1
GCTF_CUDA_LIB = /usr/local/cuda/lib64
 
These variables can be added/edited in '/apps/scipion3/config/scipion.conf'
[root@s ~]#

なので

[root@s ~]# vi /apps/scipion/config/scipion.conf
 :
GCTF_HOME = /apps/GCTF_Gautomatch_Cu10.1/
GCTF = GCTF_v1.18_sm30-75_cu10.1
GCTF_CUDA_LIB = /usr/local/cuda-10.1/targets/x86_64-linux/lib
[root@s ~]#

plug-in chimeraX

[root@s ~]# scipion3 installp -p scipion-em-chimera --noBin
[root@s ~]# scipion3 config -p chimera
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'chimera':
 
CHIMERA_HOME = /apps/scipion3/software/em/chimerax-1.1
 
These variables can be added/edited in '/apps/scipion3/config/scipion.conf'
[root@s ~]#

なので

[root@s ~]# vi /apps/scipion/config/scipion.conf
 :
CHIMERA_HOME = /usr/libexec/UCSF-ChimeraX
[root@s ~]#

plug-in cisTEM

[root@s ~]# scipion3 installp -p scipion-em-cistem --noBin
[root@s ~]# scipion3 config -p cistem
Scipion v3.0.8 - Eugenius
Variables defined by plugin 'cistem':
 
CISTEM_HOME = /apps/scipion3/software/em/cistem-1.0.0-beta
CTFFIND4_HOME = /apps/scipion3/software/em/ctffind4-4.1.14
 
These variables can be added/edited in '/apps/scipion3/config/scipion.conf'
[root@s ~]#

なので

[root@s ~]# vi /apps/scipion/config/scipion.conf
 :
CISTEM_HOME = /apps/cistem-1.0.0-beta
CTFFIND4_HOME = /apps/ctffind-4.1.14
[root@s ~]#

メモ

cuda-11.3とかを絡めたい場合、centos7ではエラーになる. gccが古いから.
CentOS/devtoolsetでGCC-9とかにして行うと回避される

source scl_source enable devtoolset-9
module load mpi
CXX_CUDA=g++ CUDA_BIN=/usr/local/cuda-11.3/bin CUDA_LIB=/usr/local/cuda-11.3/lib64  python3 -m scipioninstaller /apps/scipion3 -j 4 -n scipion3

メモ2

scipion3を起動すると下記メッセージが表示される

Scipion v3.0.12 - Eugenius
/apps/pyenv/versions/anaconda3-2022.10/envs/scipion3/lib/python3.8/site-packages/_distutils_hack/__init__.py:33: UserWarning: Setuptools is replacing distutils.
  warnings.warn("Setuptools is replacing distutils.")

これは
「conda install 'setuptools<60'」でsetuptoolsを古いものに置き換えれば解消されますが、、、開発側の対処が必要な事案かなと思う.


トップ   編集 添付 複製 名前変更     ヘルプ   最終更新のRSS
Last-modified: 2023-06-07 (水) 20:10:34 (2d)