EMPIAR

本家様 https://www.ebi.ac.uk/empiar/
言わずもがなの一つ

EMPIAR (https://empiar.org/ or https://www.ebi.ac.uk/empiar), the Electron Microscopy Public Image Archive, is a public resource for raw images underpinning 3D cryo-EM maps and tomograms (themselves archived in EMDB).
EMPIAR also accommodates 3D datasets obtained with volume EM techniques and soft and hard X-ray tomography.
All data archived in EMPIAR can be re-used freely without any conditions or restrictions ("CC0" license model).
Detailed information about EMPIAR policies and procedures is available.

(DeepL様翻訳)
EMPIAR (https://empiar.org/ or https://www.ebi.ac.uk/empiar), the Electron Microscopy Public Image Archive, は、3D低温電子顕微鏡マップやトモグラム（それ自体はEMDBにアーカイブされている）を支える生画像の公開リソースである。
EMPIARは、体積EM技術や軟X線・硬X線トモグラフィーで得られた3Dデータセットにも対応している。
EMPIARにアーカイブされたすべてのデータは、条件や制限なしに自由に再利用することができます（「CC0 」ライセンスモデル）。
EMPIARのポリシーと手続きに関する詳細情報をご覧いただけます。

データ取得†

EMPIAR に収められているデータを取得したい.

方法はいくつか提示されてい、ブラウザ経由のダウンロード、AsperaアプリあるいはGlobusアプリを使ったダウンロード、ftp経由のダウンロード. ブラウザ経由のダウンロードは 1.5GB までみたい. なのでtiff/mrcファイル全部とかは無理っぽい
pdbj様で提供されている EMPIAR のミラーサイト　EMPIAR-PDBj（ https://empiar.pdbj.org/ja/ ）は rsync でのダウンロードが利用できる。素晴らしい!

以前Asperaを使ったが、どうもバージョン指定があるみたい. 最新のAsperaではエラーになった
ftpアプリのwinscpならフォルダ間(ローカルのフォルダと EMPIAR のデータフォルダ間)の同期を行える機能があり、それを使えば簡単でしょうか.
linuxでは lftp コマンドを使えばフォルダ間の同期が行えます.
Globusアプリはメール登録とか必要ですが、こちらも簡単に使えます.

ここでは lftp と Globus を使った方法を提示します

↑

lftp でデータ取得†

dnf install lftp

EMPIAR-10204 のデータセットを取得してみます EMPIAR-10204はrelion の Single particle tutorial に出てくるデータセット
まず https://www.ebi.ac.uk/empiar/EMPIAR-10204/ にアクセスして、画面下部にある「Browse Ftp」リンクを押下します.
すると「https://ftp.ebi.ac.uk/empiar/world_availability/10204/」のページが開きます.

ここで同期対象は ftp.ebi.ac.uk の「/empiar/world_availability/10204/」フォルダとわかります。なので

cd /Public/em
cat <<_EOF_>empiar-10204.lftp
open -u anonymous,<自分のメールアドレス>  ftp.ebi.ac.uk
mirror -v -p -L /empiar/world_availability/10204/ empiar-10204
_EOF_
lftp -f empiar-10204.lftp

anonymousFTPを使う際、パスワードとして自分のメールアドレスを使用して問題あった場合に連絡を貰うというのがあったのだが、
昨今はanonymousFTPにメールを送ることはリテラシー的に避けた方がいいのかも.

最後の行で「lftp -f empiar-10204.lftp」と実行するとパスワードを定義しないと入力を求められます. リターンキーを押下するとそのまま動機が始まります。
結構長い時間を要するので screen コマンドを使ってバックグランで走らせた方がいいかも.

↑

Globus でデータ取得†

Globusの本家様 https://www.globus.org/
参照: https://www.ebi.ac.uk/empiar/deposition/manual/

Globusのサイトに行って、画面右上の「Login」をクリックします

次の画面で認証になるのですが、Globusに登録されている大学なら大学のアカウント？で認証されるみたい.
それを持っていないので、GitHubやGoogleのアカウントでログインします。ここではGoogleアカウントを使ってみた

ログイン認証が完了すると下記のような画面になります.

この画面で、データ取得境となるEMPIARを定義するために「Collection」欄に「EMBL-EBI Public Data」で検索を行います.
「Collection」欄の「Search」をクリックして文字入力可能にすると画面が変わりますが、そこに「EMBL-EBI Public Data」と記載します.
入力するとすぐさま検索が走って、「EMBL-EBI Public Data」のCllectionが表示されます

検索してヒットしたこの「EMBL-EBI Public Data」をクリックすると収められているデータが[/]の位置から表示されます
この画面で、右上の「Panels」から真ん中をクリックします.

画面は左に「MBL-EBI Public Data」右はまだ定義されていないCollectionになります.
ここで右側のCollectionにダウンロードさせたい場所を定義します

今使っているPCに落とすのがいいかなと。その場合はGlobusのアプリをPCにインストールして、Collectionを立ち上げる必要がある.
https://app.globus.org/collections/gcp にアクセスして、Globus Connect Personal をインストールします