silo をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
電顕で撮影した画像を次々処理したいということでツールを作...
コンセプトは
-webインターフェース
&size(10){画像保存場所とrelionらで処理する場所、パラメー...
&size(10){そこに画像ファイルが来ればrelionにpbs経由で処理...
&size(10){ただ測定が終わったらバックグラウンドのジョブを...
-relionで処理を回す
&size(10){webインターフェースには、relionの画面(Motion co...
&size(10){逐次処理自体もrelionのコマンド(relion_run_motio...
-Gautomatch/Relion Laplacian-of-Gaussian/crYOLO らで粒子...
&size(10){逐次処理を進行させつつ、一方でGautomatch/LoG/cr...
&size(10){参照: [[Gautomatch]] [[crYOLO]]};
-定性目的な2D Classification
&size(10){pick条件に従い、バックグラウンドで指定した粒子...
&size(10){指定した粒子数まで届いたらrelionの2D Classifica...
&size(10){これも同じくバックグラウンドで処理をするので、...
&size(10){qsubに投げているので終わったらメールでお知らせ...
-グラフ表示
&size(10){ctf後の「micrographs_ctf.star」から「_rlnCtfMax...
-計算は全てジョブスケジューラ pbspro で行う
&size(10){torqueでも可能};
基本webはdhtmlxを使ってるので大抵のブラウザで動くかと.
認証が必須でAD認証を使ってます. LDAPでも動くかもしれない.
relionからMotionCor2,Gctfを使ってるので nvidia カードを持...
(RelionMotioncorrとctffind4でも可能)
500MBなイメージを連続(1枚/1min)で出る環境なら1070を２枚は...
さらに同時に2Dを行うならもう一枚は欲しいかな.
PostgreSQL/mariadb/SQLiteらのデータベースは使ってません.
撮影終了後にrelionを開くと「Import」「Motion correction」...
***スクリーンショット [#w432d65b]
全体像
&ref(2018y09m23d_123035552.png,nolink);
撮影画像を右クリックしてメニュー操作すると
&ref(2018y08m23d_211939783.png,nolink);
下記のような画面が表示されて、Gautomatch、RelionLoG、crYO...
(各pickツールのパラメーターを調整しつつ粒子のpick具合を繰...
&ref(2019y04m20d_032228681.png,nolink,noboader);
パラメータを調整しながら何度でも条件検討が行えます。
使用するpickツールとそのパラメータが決まったら、いくつま...
(190506更新)
&ref(2019y05m06d_010914390.png,nolink);
指定した粒子数で2D Classificationが行われます。
また1万粒子毎とかで2D Classificationも行えます。
表現としてありかは微妙ですが、下記は横軸にclass、縦軸をit...
(190506更新)
&ref(2019y05m06d_011528590.png,nolink);
1万粒子毎とかでの表示切り替えは下記のようにプルダウンで行...
&ref(2019y05m06d_141114116.png,nolink);
ctffind4,gctfの計算値からヒストグラムの表示も可能です
&ref(2018y09m23d_121818467.png,nolink);
***メモ [#x3692494]
参考先
[[Leginon>+http://emg.nysbc.org/redmine/projects/leginon/...
[[Gwatch>+https://github.com/FumiakiMakino/Gwatch/blob/ma...
Relion様
参照論文
「Automated data collection in single particle electron m...
https://academic.oup.com/jmicro/article/65/1/43/2579697
***既知の問題と今後 [#wafb8c14]
-httpdを再起動すると逐次処理が終了する
プロセス的には離れているのだが....
-8kイメージだと逐次処理が滞る
relionMotionCorrectionに時間を要する。1枚/1minなら16core...
-Laplacian-of-Gaussianでreferanceなしのpicking
Gautomatchの他にrelion謹製のauto-pickingツールを使えるよ...
-crYOLOのpickもできるように
Gautomatch、Laplacian-of-Gaussian、crYOLOの３種で比較でき...
-relionでの処理をflowchart表示
既にrelionにある機能だけど、flowchartを選択すると、2D, 3D...
&color(red){*};&size(10){ジョブの発行機能は持たせないつも...
-dhtmlxEnterpriseLicense機能抜き版をオープンソースに
需要が微妙だけど、オープンソースにします。ただ、現状dhtml...
dhtmlxGNUGPLライセンスで使えるようにする必要がある。こち...
ソースの提供方法ですが、、、問い合わせがあれば渡します。...
-[[relion_it.py>Relion/relion_it.py]]があるけど...
本家様にはかなわない. 違いはweb環境で使うかどうかだと思う...
逐次処理は非常に便利だと思ってます. siloの利点はブラウザ...
***トリガー [#oc3bf7dc]
web画面のボタンをポチッと押せば、それが全体のトリガーとな...
「ポチッ」と押下した後、特定のフォルダを監視します。
ファイルが電顕から届いたら [[inotify-tools]] で「CLOSE_WR...
ですから、ファイルが届くたびにジョブが発行されるのですが...
「未処理のファイルがあったら実行する」内容になっている(re...
初回は、届いたファイルのみを処理するであろうが、二回目の...
そうなると余分なジョブが発生してしまうが、それを抑えるた...
&color(white,blue){留意点};
ジョブを発行するタイミングを[[inotify-tools]]の「CLOSE_WR...
電顕から届くファイルはLinuxファイルシステムに置く必要があ...
電顕から届くファイルがwindowsServerに溜まるので、それをwi...
監視ができるかと思ったのだが、無理でした。同様にwindows共...
この場合、linux側でsmb共有フォルダを用意して、そこにwindo...
参照[[inotify-tools/WindowsPC]]
(1909)この部分に修正を加えた。電顕からのファイルを溜める...
60秒に一度とかで rsync を発行させるようにした。[[inotify-...
windows側にあるファイルをsilo側でrsyncを使って持ってこさ...
これでwindows --> siloサーバ(Linux) への転送アプリを使わ...
***relionMotionCorrection [#p2caac3a]
次のイメージファイルが届く前に計算を終えさせる必要がある。
relion謹製MotionCorrで4k,8kでの計算時間を調べてみた。
結果、4k画像であれば、2coreで [1枚/1分] に十分に間に合い...
|>|>|>|>|BGCOLOR(YELLOW):263MB 4k画像ファイル, Ryzen7(8c/...
|BGCOLOR(YELLOW):core|1core|2core|3core|4core|
|BGCOLOR(YELLOW):time|62sec|30sec|22sec|16sec|
次に8kの画像であるが、intelマシンではこうなった
|>|>|>|BGCOLOR(YELLOW):530MB 8k画像ファイル, i9-7960X(16c...
|BGCOLOR(YELLOW):core|4core|8core|16core||
|BGCOLOR(YELLOW):time|2m47.646s|1m32.670s|1m5.247s|gcc|
|BGCOLOR(YELLOW):time|1m16.285s|0m44.405s|0m34.189s|icc|
同じデータをRyzen7で回してみた
|>|>|BGCOLOR(YELLOW):530MB 8k画像ファイル, Ryzen7(8c/16t)...
|BGCOLOR(YELLOW):core|4core|8core||
|BGCOLOR(YELLOW):time|2m3.169s|1m19.468s|gcc|
|BGCOLOR(YELLOW):time|2m0.333s|1m20.464s|gcc7|
|BGCOLOR(YELLOW):time|2m12.625s|1m30.408s|icc|
どうも8kで回すにはハイスペックが必要みたい...
終了行:
電顕で撮影した画像を次々処理したいということでツールを作...
コンセプトは
-webインターフェース
&size(10){画像保存場所とrelionらで処理する場所、パラメー...
&size(10){そこに画像ファイルが来ればrelionにpbs経由で処理...
&size(10){ただ測定が終わったらバックグラウンドのジョブを...
-relionで処理を回す
&size(10){webインターフェースには、relionの画面(Motion co...
&size(10){逐次処理自体もrelionのコマンド(relion_run_motio...
-Gautomatch/Relion Laplacian-of-Gaussian/crYOLO らで粒子...
&size(10){逐次処理を進行させつつ、一方でGautomatch/LoG/cr...
&size(10){参照: [[Gautomatch]] [[crYOLO]]};
-定性目的な2D Classification
&size(10){pick条件に従い、バックグラウンドで指定した粒子...
&size(10){指定した粒子数まで届いたらrelionの2D Classifica...
&size(10){これも同じくバックグラウンドで処理をするので、...
&size(10){qsubに投げているので終わったらメールでお知らせ...
-グラフ表示
&size(10){ctf後の「micrographs_ctf.star」から「_rlnCtfMax...
-計算は全てジョブスケジューラ pbspro で行う
&size(10){torqueでも可能};
基本webはdhtmlxを使ってるので大抵のブラウザで動くかと.
認証が必須でAD認証を使ってます. LDAPでも動くかもしれない.
relionからMotionCor2,Gctfを使ってるので nvidia カードを持...
(RelionMotioncorrとctffind4でも可能)
500MBなイメージを連続(1枚/1min)で出る環境なら1070を２枚は...
さらに同時に2Dを行うならもう一枚は欲しいかな.
PostgreSQL/mariadb/SQLiteらのデータベースは使ってません.
撮影終了後にrelionを開くと「Import」「Motion correction」...
***スクリーンショット [#w432d65b]
全体像
&ref(2018y09m23d_123035552.png,nolink);
撮影画像を右クリックしてメニュー操作すると
&ref(2018y08m23d_211939783.png,nolink);
下記のような画面が表示されて、Gautomatch、RelionLoG、crYO...
(各pickツールのパラメーターを調整しつつ粒子のpick具合を繰...
&ref(2019y04m20d_032228681.png,nolink,noboader);
パラメータを調整しながら何度でも条件検討が行えます。
使用するpickツールとそのパラメータが決まったら、いくつま...
(190506更新)
&ref(2019y05m06d_010914390.png,nolink);
指定した粒子数で2D Classificationが行われます。
また1万粒子毎とかで2D Classificationも行えます。
表現としてありかは微妙ですが、下記は横軸にclass、縦軸をit...
(190506更新)
&ref(2019y05m06d_011528590.png,nolink);
1万粒子毎とかでの表示切り替えは下記のようにプルダウンで行...
&ref(2019y05m06d_141114116.png,nolink);
ctffind4,gctfの計算値からヒストグラムの表示も可能です
&ref(2018y09m23d_121818467.png,nolink);
***メモ [#x3692494]
参考先
[[Leginon>+http://emg.nysbc.org/redmine/projects/leginon/...
[[Gwatch>+https://github.com/FumiakiMakino/Gwatch/blob/ma...
Relion様
参照論文
「Automated data collection in single particle electron m...
https://academic.oup.com/jmicro/article/65/1/43/2579697
***既知の問題と今後 [#wafb8c14]
-httpdを再起動すると逐次処理が終了する
プロセス的には離れているのだが....
-8kイメージだと逐次処理が滞る
relionMotionCorrectionに時間を要する。1枚/1minなら16core...
-Laplacian-of-Gaussianでreferanceなしのpicking
Gautomatchの他にrelion謹製のauto-pickingツールを使えるよ...
-crYOLOのpickもできるように
Gautomatch、Laplacian-of-Gaussian、crYOLOの３種で比較でき...
-relionでの処理をflowchart表示
既にrelionにある機能だけど、flowchartを選択すると、2D, 3D...
&color(red){*};&size(10){ジョブの発行機能は持たせないつも...
-dhtmlxEnterpriseLicense機能抜き版をオープンソースに
需要が微妙だけど、オープンソースにします。ただ、現状dhtml...
dhtmlxGNUGPLライセンスで使えるようにする必要がある。こち...
ソースの提供方法ですが、、、問い合わせがあれば渡します。...
-[[relion_it.py>Relion/relion_it.py]]があるけど...
本家様にはかなわない. 違いはweb環境で使うかどうかだと思う...
逐次処理は非常に便利だと思ってます. siloの利点はブラウザ...
***トリガー [#oc3bf7dc]
web画面のボタンをポチッと押せば、それが全体のトリガーとな...
「ポチッ」と押下した後、特定のフォルダを監視します。
ファイルが電顕から届いたら [[inotify-tools]] で「CLOSE_WR...
ですから、ファイルが届くたびにジョブが発行されるのですが...
「未処理のファイルがあったら実行する」内容になっている(re...
初回は、届いたファイルのみを処理するであろうが、二回目の...
そうなると余分なジョブが発生してしまうが、それを抑えるた...
&color(white,blue){留意点};
ジョブを発行するタイミングを[[inotify-tools]]の「CLOSE_WR...
電顕から届くファイルはLinuxファイルシステムに置く必要があ...
電顕から届くファイルがwindowsServerに溜まるので、それをwi...
監視ができるかと思ったのだが、無理でした。同様にwindows共...
この場合、linux側でsmb共有フォルダを用意して、そこにwindo...
参照[[inotify-tools/WindowsPC]]
(1909)この部分に修正を加えた。電顕からのファイルを溜める...
60秒に一度とかで rsync を発行させるようにした。[[inotify-...
windows側にあるファイルをsilo側でrsyncを使って持ってこさ...
これでwindows --> siloサーバ(Linux) への転送アプリを使わ...
***relionMotionCorrection [#p2caac3a]
次のイメージファイルが届く前に計算を終えさせる必要がある。
relion謹製MotionCorrで4k,8kでの計算時間を調べてみた。
結果、4k画像であれば、2coreで [1枚/1分] に十分に間に合い...
|>|>|>|>|BGCOLOR(YELLOW):263MB 4k画像ファイル, Ryzen7(8c/...
|BGCOLOR(YELLOW):core|1core|2core|3core|4core|
|BGCOLOR(YELLOW):time|62sec|30sec|22sec|16sec|
次に8kの画像であるが、intelマシンではこうなった
|>|>|>|BGCOLOR(YELLOW):530MB 8k画像ファイル, i9-7960X(16c...
|BGCOLOR(YELLOW):core|4core|8core|16core||
|BGCOLOR(YELLOW):time|2m47.646s|1m32.670s|1m5.247s|gcc|
|BGCOLOR(YELLOW):time|1m16.285s|0m44.405s|0m34.189s|icc|
同じデータをRyzen7で回してみた
|>|>|BGCOLOR(YELLOW):530MB 8k画像ファイル, Ryzen7(8c/16t)...
|BGCOLOR(YELLOW):core|4core|8core||
|BGCOLOR(YELLOW):time|2m3.169s|1m19.468s|gcc|
|BGCOLOR(YELLOW):time|2m0.333s|1m20.464s|gcc7|
|BGCOLOR(YELLOW):time|2m12.625s|1m30.408s|icc|
どうも8kで回すにはハイスペックが必要みたい...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
