silo

電顕で撮影した画像を次々処理したいということでツールを作ってみた
コンセプトは

webインターフェース
画像保存場所とrelionらで処理する場所、パラメータを定義して実行ボタンを押下すればバックグラウンドで保存場所をwatchします。
そこに画像ファイルが来ればrelionにpbs経由で処理を回します。その間、ブラウザは閉じても構いません。
ただ測定が終わったらバックグラウンドのジョブを停止することが必要です。72時間後で自動終了も可能
relionで処理を回す
webインターフェースには、relionの画面(Motion correction/CTF estimetion)で提供されている入力欄が用意されています
逐次処理自体もrelionのコマンド(relion_run_motioncorr, relion_run_ctffind, relion_preprocess)を使用しています
Gautomatch/Relion Laplacian-of-Gaussian/crYOLO らで粒子をpick
逐次処理を進行させつつ、一方でGautomatch/LoG/crYOLOらで各種パラメータを調整して粒子をpickする条件を決めます(条件検討)
参照: Gautomatch crYOLO
定性目的な2D Classification
pick条件に従い、バックグラウンドで指定した粒子数まで粒子をpickします
指定した粒子数まで届いたらrelionの2D Classificationを実行します
これも同じくバックグラウンドで処理をするので、設定したらブラウザを閉じても構いません。
qsubに投げているので終わったらメールでお知らせも可能です
グラフ表示
ctf後の「micrographs_ctf.star」から「_rlnCtfMaxResolution」値でグラフ・表が表示できます。閾値で画像ファイルの新リストを作れます
計算は全てジョブスケジューラ pbspro で行う
torqueでも可能

基本webはdhtmlxを使ってるので大抵のブラウザで動くかと.
認証が必須でAD認証を使ってます. LDAPでも動くかもしれない.
relionからMotionCor2,Gctfを使ってるので nvidia カードを持つ計算ノードは必須.
(RelionMotioncorrとctffind4でも可能)
500MBなイメージを連続(1枚/1min)で出る環境なら1070を２枚は欲しいかな. っでないと自転車操業状態.
さらに同時に2Dを行うならもう一枚は欲しいかな.
PostgreSQL/mariadb/SQLiteらのデータベースは使ってません.
撮影終了後にrelionを開くと「Import」「Motion correction」「CTF estimetion」が完了となっている画面になります

スクリーンショット†

全体像

撮影画像を右クリックしてメニュー操作すると

下記のような画面が表示されて、Gautomatch、RelionLoG、crYOLOらによる粒子のpickができる。
(各pickツールのパラメーターを調整しつつ粒子のpick具合を繰り返し確認できます)

noboader
パラメータを調整しながら何度でも条件検討が行えます。
使用するpickツールとそのパラメータが決まったら、いくつまで粒子を集めるかを指定します。
(190506更新)

指定した粒子数で2D Classificationが行われます。
また1万粒子毎とかで2D Classificationも行えます。
表現としてありかは微妙ですが、下記は横軸にclass、縦軸をiterとしてます。
(190506更新)

1万粒子毎とかでの表示切り替えは下記のようにプルダウンで行います

ctffind4,gctfの計算値からヒストグラムの表示も可能です

↑

メモ†

参考先
Leginon様
Gwatch様
Relion様

参照論文
「Automated data collection in single particle electron microscopy」
https://academic.oup.com/jmicro/article/65/1/43/2579697

↑

既知の問題と今後†

httpdを再起動すると逐次処理が終了する
プロセス的には離れているのだが....
8kイメージだと逐次処理が滞る
relionMotionCorrectionに時間を要する。1枚/1minなら16coreなマシンが必要みたい
Laplacian-of-Gaussianでreferanceなしのpicking
Gautomatchの他にrelion謹製のauto-pickingツールを使えるようにしたい(1905 一応達成)
crYOLOのpickもできるように
Gautomatch、Laplacian-of-Gaussian、crYOLOの３種で比較できればいいかな(1905 一応達成)
relionでの処理をflowchart表示
既にrelionにある機能だけど、flowchartを選択すると、2D, 3Dの画像が表示されるとかしようかと
*ジョブの発行機能は持たせないつもり。あくまでも表示と逐次処理をメインにしたい。以降の作業はRelionの画面で行うのがいい。使い勝手もいいしね
dhtmlxEnterpriseLicense機能抜き版をオープンソースに
需要が微妙だけど、オープンソースにします。ただ、現状dhtmlxEnterpriseLicenseが入ってますので、それを除いて
dhtmlxGNUGPLライセンスで使えるようにする必要がある。こちらはsiloのソースを出して、受けて側がdhtmlxを用意頂ければいいかなと。
ソースの提供方法ですが、、、問い合わせがあれば渡します。問い合わせ先はこのサイトのトップページに書いてます。
relion_it.pyがあるけど...
本家様にはかなわない. 違いはweb環境で使うかどうかだと思う. 正直web環境を用意するのは大変ですから、Gwatch、relion_itの
逐次処理は非常に便利だと思ってます. siloの利点はブラウザがあればいいとか位でしょうか.

↑

トリガー†

web画面のボタンをポチッと押せば、それが全体のトリガーとなるのだが、より細かい内容を明記すると
「ポチッ」と押下した後、特定のフォルダを監視します。
ファイルが電顕から届いたら inotify-tools で「CLOSE_WRITE,CLOSE」を確認して、ジョブコントロール(PBSpro)へ処理を流します。
ですから、ファイルが届くたびにジョブが発行されるのですが、このジョブは「その届いたファイルを処理」するのではなく、
「未処理のファイルがあったら実行する」内容になっている(relionの「--only_do_unfinished」を活用)

初回は、届いたファイルのみを処理するであろうが、二回目のジョブはそれまで届いたファイルを処理します。

そうなると余分なジョブが発生してしまうが、それを抑えるために、ジョブ発行数は６本までとかに制限しています。

留意点
ジョブを発行するタイミングをinotify-toolsの「CLOSE_WRITE,CLOSE」に依存しているので、
電顕から届くファイルはLinuxファイルシステムに置く必要がある。

電顕から届くファイルがwindowsServerに溜まるので、それをwindowsOS提供のnfsでexportして、linuxがそれをnfs mountすれば、
監視ができるかと思ったのだが、無理でした。同様にwindows共有で提供して、linux側からsmbmount(cifsmount)しても駄目だった..

この場合、linux側でsmb共有フォルダを用意して、そこにwindows側が書き込めば大丈夫となった。
参照inotify-tools/WindowsPC

(1909)この部分に修正を加えた。電顕からのファイルを溜めるフォルダをwindows共有させ、cifs mountでマウントさせ、
60秒に一度とかで rsync を発行させるようにした。inotify-toolsを使ったトリガーには変更ないが、
windows側にあるファイルをsilo側でrsyncを使って持ってこさせた。
これでwindows --> siloサーバ(Linux) への転送アプリを使わなくても大丈夫。

↑