Alphafold-v2.0.0

本家様 https://github.com/deepmind/alphafold

AIを使った蛋白質立体構造予測プログラム.

[root@c ~]#  cd /apps
[root@c apps]# git clone https://github.com/deepmind/alphafold
 
(確認)
[root@c apps]# ls -l alphafold/
total 56
drwxr-xr-x 6 root root    77 Jul 20 02:49 alphafold/
-rw-r--r-- 1 root root   973 Jul 20 02:49 CONTRIBUTING.md
drwxr-xr-x 2 root root    89 Jul 20 02:49 docker/
drwxr-xr-x 2 root root    54 Jul 20 02:49 imgs/
-rw-r--r-- 1 root root 11358 Jul 20 02:49 LICENSE
-rw-r--r-- 1 root root 15665 Jul 20 02:49 README.md
-rw-r--r-- 1 root root   189 Jul 20 02:49 requirements.txt
-rw-r--r-- 1 root root 11065 Jul 20 02:49 run_alphafold.py
-rw-r--r-- 1 root root  2433 Jul 20 02:49 run_alphafold_test.py
drwxr-xr-x 2 root root   231 Jul 20 02:49 scripts/
-rw-r--r-- 1 root root  1829 Jul 20 02:49 setup.py
 
[root@c apps]#

databases†

遺伝子配列データセットと蛋白質立体構造データセットが必要. 取得用のスクリプトが用意されている.

そのスクリプトの実行には rsync や aris2 コマンドが必要で事前に入れておく.

[root@c ~]# yum --enablerepo=epel install rsync aria2

っでデータセットを入れておく場所を用意して、取得用スクリプトを実行する.

[root@c ~]# mkdir /apps/AlphafoldData
 
[root@c ~]# /apps/alphafold/scripts/download_all_data.sh  /apps/AlphafoldData

*注意. 「download_all_data.sh」を途中で止めて、再度実行するとまた初めからダウンロードします. 既に取得したにも関わらす再度ダウンロードを行うので注意.

「download_all_data.sh」の中身を見ると、各データセットごとのスクリプトを連続して実行しているだけなので、
もし途中で止まったら、既にダウンロード完了したスクリプトを除いて続ければ幸せになるのかと.

下記ファイルがダウンロードされる

AlphaFold parameters	download_alphafold_params.sh	_ttps://storage.googleapis.com/alphafold/alphafold_params_2021-07-14.tar
BFD	download_bfd.sh	_ttps://storage.googleapis.com/alphafold-databases/casp14_versions/bfd_metaclust_clu_complete_id30_c90_final_seq.sorted_opt.tar.gz
MGnify	download_mgnify.sh	_tp://ftp.ebi.ac.uk/pub/databases/metagenomics/peptide_database/2018_12/mgy_clusters.fa.gz
PDB70	download_pdb70.sh	_ttp://wwwuser.gwdg.de/~compbiol/data/hhsuite/databases/hhsuite_dbs/old-releases/pdb70_from_mmcif_200401.tar.gz
PDB mmCIF files	download_pdb_mmcif.sh	rsync.rcsb.org::ftp_data/structures/divided/mmCIF/
Uniclust30	download_uniclust30.sh	_ttp://wwwuser.gwdg.de/~compbiol/uniclust/2018_08/uniclust30_2018_08_hhsuite.tar.gz
Uniref90	download_uniref90.sh	_tp://ftp.uniprot.org/pub/databases/uniprot/uniref/uniref90/uniref90.fasta.gz

ダウンロードが遅ければミラーサイトを使用するのもありかと.

download_uniref90.sh
https://ddbj.nig.ac.jp/public/mirror_database/uniprot/uniref/uniref90/ と代替可能かな.

download_pdb_mmcif.sh
「rsync.rcsb.org::」は「ftp.pdbj.org::」へ変更可能かな.「ftp.pdbj.org::」はオリジナルよりも早いみたい.

--- download_pdb_mmcif.sh.orig  2021-07-21 20:23:27.824176063 +0900
+++ download_pdb_mmcif.sh       2021-07-21 20:33:27.762131908 +0900
@@ -41,8 +41,8 @@
 
 echo "Running rsync to fetch all mmCIF files (note that the rsync progress estimate might be inaccurate)..."
 mkdir --parents "${RAW_DIR}"
-rsync --recursive --links --perms --times --compress --info=progress2 --delete --port=33444 \
-  rsync.rcsb.org::ftp_data/structures/divided/mmCIF/ \
+rsync --recursive --links --perms --times --compress --info=progress2 --delete  \
+  ftp.pdbj.org::ftp_data/structures/divided/mmCIF/ \
   "${RAW_DIR}"
 
 echo "Unzipping all mmCIF files..."

最終的な各フォルダのサイズは下記のようになる

[root@c AlphafoldData]# du -hs ./*
1.8T    ./bfd
64G     ./mgnify
3.5G    ./params
56G     ./pdb70
206G    ./pdb_mmcif
87G     ./uniclust30
59G     ./uniref90
 
[root@c AlphafoldData]#

あとファイル所有者が 600 とかもあるので適時修正. bfd とか uniclust30 とか pdb70 とかにあった
「find . ! -perm -o=r」で検索かな. othersが読めないファイルを探す

*メモ
rsyncでダウンロードするdownload_pdb_mmcif.shですが、自分のサイトから実行する際に下記のように言われる時がある

rsync: failed to connect to ftp.pdbj.org (133.1.158.161): Connection timed out (110)
rsync error: error in socket IO (code 10) at clientserver.c(125) [Receiver=3.1.2]

これはPROXYの設定で回避可能かもしれません。
「export RSYNC_PROXY=<proxyサーバ>:<port>」と設定してください.

↑

Alphafold 実行環境†

本家様では docker の利用を提案している.
そのままなぞれば実行できるみたい. ここでは https://github.com/kalininalab/alphafold_non_dockerにある docker を使わない方法を採用してみる.
ただ、https://github.com/kalininalab/alphafold_non_dockerはminicondaを使っている. それもいいのだが、crYOLOとかtopazでここではanacondaを使っているのでそれに合わせて.

git clone https://github.com/yyuu/pyenv.git /apps/pyenv
export PYENV_ROOT=/apps/pyenv
export PATH=$PYENV_ROOT/bin:$PATH
eval "$(pyenv init - --no-rehash)"
 
pyenv install anaconda3-5.3.1
pyenv global anaconda3-5.3.1
export PATH=$PYENV_ROOT/versions/anaconda3-5.3.1/bin/:$PATH
conda update --all

Alphafold 実行環境を作ります

[root@c ~]# conda create -n alphafold python==3.8
 
[root@c ~]# source activate alphafold
(alphafold) [root@c ~]# conda install -y -c conda-forge openmm==7.5.1 cudnn==8.2.1.32 cudatoolkit==11.0.3 pdbfixer==1.7
(alphafold) [root@c ~]# conda install -y -c bioconda hmmer==3.3.2 hhsuite==3.3.0 kalign2==2.04
 
(alphafold) [root@c ~]# cd /apps
(alphafold) [root@c apps]# wget -q -P alphafold/alphafold/common/ \
https://git.scicore.unibas.ch/schwede/openstructure/-/raw/7102c63615b64735c4941278d92b554ec94415f8/modules/mol/alg/src/stereo_chemical_props.txt
 
(alphafold) [root@c apps]# ls -CF alphafold/alphafold/common/
__init__.py    protein_test.py            stereo_chemical_props.txt
confidence.py  residue_constants.py       testdata/
protein.py     residue_constants_test.py
 
(alphafold) [root@c apps]# pip install absl-py==0.13.0 biopython==1.79 chex==0.0.7 dm-haiku==0.0.4 dm-tree==0.1.6 \
 immutabledict==2.0.0 jax==0.2.14 ml-collections==0.1.0 numpy==1.19.5 scipy==1.7.0 tensorflow==2.5.0
[この段階で jax と jaxlib は 0.2.14/0.1.69 となっている]
 
(alphafold) [root@c apps]# pip install --upgrade jax jaxlib==0.1.69+cuda111 -f https://storage.googleapis.com/jax-releases/jax_releases.html
[この更新で jax は 0.2.18に jaxlibは 0.1.69+cuda111 となる]
 
 
(alphafold) [root@c apps]# cd /apps/pyenv/versions/anaconda3-5.3.1/envs/alphafold/lib/python3.8/site-packages/
(alphafold) [root@c site-packages]# patch -p0 < /apps/alphafold/docker/openmm.patch
[このpatchで変更されるのは ./simtk/openmm/app/topology.py ]
 
(alphafold) [root@c site-packages]# source deactivate
[root@c site-packages]#

スクリプトの準備

[root@c ~]# cd /apps/src
[root@c src]# git clone https://github.com/kalininalab/alphafold_non_docker
 
[root@c src]# cp alphafold_non_docker/run_alphafold.sh /apps/alphafold/
[root@c src]# vi /apps/alphafold/run_alphafold.sh
  :
-current_working_dir=$(pwd)
+current_working_dir=$alphafold_path
 alphafold_script="$current_working_dir/run_alphafold.py"
  :
[root@c src]#

--- alphafold/common/residue_constants.py.orig  2021-07-23 04:32:45.571621605 +0900
+++ alphafold/common/residue_constants.py       2021-07-23 09:10:14.099424040 +0900
@@ -20,6 +20,7 @@
 
 import numpy as np
 import tree
+import os
 
 # Internal import (35fd).
 
@@ -403,7 +404,7 @@
     residue_bond_angles: dict that maps resname --> list of BondAngle tuples
   """
   stereo_chemical_props_path = (
-      'alphafold/common/stereo_chemical_props.txt')
+      os.environ['alphafold_path'] + '/alphafold/common/stereo_chemical_props.txt')
   with open(stereo_chemical_props_path, 'rt') as f:
     stereo_chemical_props = f.read()
   lines_iter = iter(stereo_chemical_props.splitlines())

↑

EnvironmentModules†

「/etc/modulefiles/Alphafold」

#%Module1.0
set          alphafold_path  /apps/alphafold
set          root /apps/pyenv/versions/anaconda3-5.3.1/envs/alphafold
setenv       alphafold_path  $alphafold_path
 
prepend-path PATH $root/bin:$alphafold_path

↑

使ってみる†

環境変数「CUDA_VISIBLE_DEVICES」が正しく設定されていないとGPUで計算をしてくれない

module load Alphafold
run_alphafold.sh -d /apps/AlphafoldData -o . -m model_1 -f ./query.fasta -t 2020-05-14 -g true -a 0

各引数は「run_alphafold.sh」を実行すると説明が表示される.
「-f」は入力ファイル. fasta形式のファイル.
「-g」はGPUを使うなら「-g true」、使わないなら「-g 0」とかにする. 初回リリースから変更されたみたい
「-a」の値はGPUIDの番号. 1枚目のGPUを使うなら「-a 0」. 二枚目なら「-a 1」.
「-o」は出力先. 「-o .」で実行場所に結果が展開される

↑

メモ†

「-g」を有効にする値は「-g true」のみ. それ以外は無効みたい.
「Unable to initialize backend 'tpu_driver': Not found: Unable to find driver in registry given worker: local://」は気にしない.
「Unable to initialize backend 'tpu': Invalid argument: TpuPlatform is not available.」も気にしない.
gpuは１枚で十分？
インストールされるtensorflowがcuda-11を要求するみたい.

御品書き
■samba スキーマ拡張
ユーザ登録(1,2)
NFS DFS VSS GPO SSO
win参加 RSAT lin参加
 透過的ファイル圧縮