chaperone

御アクセス頂き誠にありがとうございます。

当サイトは個人の備忘録として存在しております。

そのため、内容は極めて個人的な域をでず、故、内容には一切の責任を持てない事を重々ご了承のほど願います。

然るに、其の採用・参考は自己責任にてお願い申し上げます。内容が古い、間違っている、読みにくい、

誤字脱字、不明瞭、意味不明、駄文とのご感想の際には謹んで深くお詫び申し上げます。

国語の学が弱い若輩故、文書きに長けておりませぬ故、深く恐縮申し上げます。

気が向くままに描いた記事たち。小さく隅に置かれる記事でございますが、いつかは完成させたく存じます。

問い合わせ先：info_at_sysosa.jp *_at_を＠にして下さい
ミラーサイト: http://chaperone.sakura.ne.jp/w/

• R3(2021).10.10
  cudaアプリをoneAPIでコンパイルするにはcuda-11.4.1以上が必要みたい
• R3(2021).10.2
  スマフォをモデム代わりに使っているがかなり微妙. プリペイドsimの追加かな.
• R3(2021).9.29
  光回線に繋ぎ変えるために１ヶ月はこのURLは使えないかも. ミラーサイトをご利用ください.
• R3(2021).9.28
  リモート経由でNoMachineを利用する事があるのだが、その速さにびっくりする.
• R3(2021).9.25
  adslの停止に伴い光回線に移るのだが、申し込みが遅くなってしまい開通が11月になるみたい.
  10月まるまるネットが使えないのが確定した. スマフォをモデムとして使うのもいいのだが....
• R3(2021).9.24
  Relion 4.0-beta-1がgitから得られるようになった模様. 開発チームに深い賛辞をお送り致します.
  topazとの連携に注目したいです.
• R3(2021).9.23
  無償となったoneAPI. 恩恵はintelチップ計算機のみかな？ cudaのMulti-Process Serviceでrelion Class2Dが速くなるそうな. テスト中.
• R3(2021).9.21
  古くなった複数のファイルサーバを１体に纏められないかとOrangeFS,Gfarmを調べている.
  各ファイルサーバの容量はまちまちでRAID構成. nfsでもいいのだが、個別のmount-point/容量管理が面倒..
• R3(2021).9.10
  webセミナー面白かった. さすが高性能/高品質なアプリは見ていて面白い. soap対応しているからJupyterLabからコール可能かな.
• R3(2021).9.9
  2日連続のwebセミナーに視聴参加.
• R3(2021).9.1
  relion-3.1.3がリリースされたみたい. メンテナンスリリース版.
  awsもいいけどRescale ScaleXもよさげ.
  qsubで複数ノードを確保して、mpiでsingularityを流せるみたい. っとなるとsifのレピシで十分なのね.
  nvidiaのMulti-Process Serviceでtopazを動かせば早くなる？
• R3(2021).8.31
  初期設定を施して、暫くしてupdateを試みると「あれぇ？こんなんだっけ？」がある.
  利用しやすいように変更されるのは一向に構わない. 当方の所有物でないのだから. むしろ歓迎すべき事かな.
• R3(2021).8.30
  データベースのpartitioning機能と同じようにストレージも複数のHDDは勿論の事、複数のストレージサーバに
  分割格納ができる. その枠組みで階層化ストレージとしてテープ装置を組み込めば..と思うのだが、見当たらない.
  商用は勿論ある. ossでないものか...
• R3(2021).8.20
  dockerは自分専用の計算機向けかな？対してpodmanは共有計算機向けって感じでしょうか
  体が重い...動かねぇ...
• R3(2021).8.19
  腕が上がらん. 重い...
• R3(2021).8.12
  お盆の予定は. 溜まったお仕事. 孤立LAN向けでpythonアプリを組み込むには. sshトンネルって.
  sata ahci SSDとsas HDDの比較とかできたらななぁ〜って思う今日この頃. まぁ毎日アイスでクールダウンかな.
  awsへ電顕データ送信テストとかしたいけど、やっぱりadslではなぜか転送途中で切られる...光回線待ちかなぁ..
• R3(2021).8.5
  そろそろadsl離脱を考えねば...リミット9月末
• R3(2021).8.4
  dockerは便利です. OSとは別の環境でアプリを動かせて大家さんに気兼ねなく組めるから.
  ただクラスター環境でdockerを動かすってK8sかぁ...
• R3(2021).8.2
  sata. ahci SSDが500MB/secなら単純に4Gbpsで10GBASEの枠内. m2. nvme SSDが3GB/secなら 24Gbpsでsfp28かな.
  内部HDDが100MB/secなら 800Mbps で 1000BASE. ふとsfp28とかならscratchは不要かなと思うが、FS側がHDD複数構成なら
  やっぱりscratchは必要なのかも. それでも10GBASEならscratchはsata. ahci SSDの複数枚構成で十分なのかも.
• R3(2021).7.30
  腕が重い...
• R3(2021).7.26
  蛋白質立体構造予測プログラムとしてRaptorX-3DModelingの他にAlphafoldとRoseTTAFoldが用意できた
• R3(2021).7.23
  Alphafoldを作ってみた. dockerを使わないバージョン.
• R3(2021).7.20
  Alphafold2を試作中. adslな回線ではさすがに厳しいな...
• R3(2021).7.18
  cuda-11.4でrelionをコンパイルできない件. GCCが古いのが原因. CentOS7のGCC-4.8.5ではcuda部分のコンパイルで止まる.
  それをCentOS/devtoolsetでGCC-9とかにすれば通った. AlmaLinuxかRockyLinuxに移ったほうがいいのかも.
• R3(2021).7.14
  熱は出てないが、最近の急な温度変化とエアコンで具合が悪くなっている. 今日一日横になってました.
  T600を注文. GT710(Kepler)だとtopazの計算ができない...
• R3(2021).7.11
  GeForce GT 710を使っているのだが、pytorchから古いと言われる..Aは予算オーバー. T600かなぁ
• R3(2021).7.10
  cudaライブラリの更新が早い. 関連ライブラリの調整にも目を配る必要がある.
  それ以上に30x0のカードを入手せねば...禄に検証できぬ...っが高い. 最低限30x0を２枚なきゃ検証できぬ...
  zfs,cephらを見るにRAIDカードはなくてもいいみたい. まぁCPUが早くcoreも多いからね. softwareでカバーできる一例なのかも.
  ただ障害時復旧はRAIDの方がまだ楽かな. zfs,cephは作業が結構あるから.
• R3(2021).7.7
  OpenPBSでGPUをhookさせている. hookさせるとqueueの環境ではGPU IDは0から振られる.
  0:1:2:3なGPU IDがqueueに入ると GPU:3 も GPU:0 となる. その状態でCUDA_VISIBLE_DEVICESは0でいいと思うのだが...
  RTX30x0[cuda11.2]でcrYOLOが遅くなる現象がでた. 本家は CUDA Toolkit 9.0 / cuDNN 7.1.2 で作っているみたい.
  RTX30x0って11以上が対応なので、その辺の問題かな...
• R3(2021).7.3
  cuda-11.4でrelionをコンパイルしたら途中で止まる. cuda-11.3 Update 1なら大丈夫.
• R3(2021).6.30
  Guacamoleを作った. これでブラウザ経由でRDP, vnc, sshが可能になる.
• R3(2021).6.19
  anacondaのミラーサイトを作ろうかと考えたが規約を読むと駄目らしい. お金を支払えば作れそうだけど...
  このままではクローズドネットワーク向けのアプリ構築とか非常に面倒みたい.
  内部でアプリ構築をし易くするためにミラーを置きたいのだが..
• R3(2021).6.17
  前言撤回...minicondaで上手く動かないのもある...cuda関係は難しいのかな...
  anacondaが場合によっては有償なのでその回避策を練っているのだが....
• R3(2021).6.16
  そろそろMinicondaに移るか...基本問題ないみたい.
• R3(2021).6.15
  cryoSPARC liveはcryoSPARCをインストールしていれば使えるみたい. ポート番号に+6の値で叩けば使えるそうな
  例えば39000で既定ではインストールさえるが、 http://localhost:39006/ がcryoSPARC liveのインターフェイスなそうな.
• R3(2021).6.12
  ここ１ヶ月ほどリモートアクセスについて調査を進めていた. vpnにraidusを噛まして認証(AD)させ、そしてそのvpnのトンネルで
  対象サーバにvncを通す. もちろんvncにも認証(AD)を噛ます. 仮想でほぼ検証確認済み. ようやくめどが立ったかな.
• R3(2021).6.10
  AlmaLinuxOSを試しています. RedHatのクローン. これがいいのかな ubuntuもいいけどね
• R3(2021).6.7
  ファンレスＰＣを使いたくてintel NUCを購入. これだけでは正直煩いのだがNUC向けのファンレスケースがあり調達中.
  色々揃えると元から静粛なmac mini以上の金額になるが仕方ない. ファンレスがほしいのだ....
  XQuartz 2.7.11のままの方がよさげみたい.
• R3(2021).5.31
  macOSでＸ越しにeman2のe2displayを使うとこけるとき、
  「defaults write org.macosforge.xquartz.X11 enable_iglx -bool true」をすれば回避可能だったけど、最近ではこれでも
  駄目みたいで別途「defaults write org.xquartz.X11 enable_iglx -bool true」もお試しください
• R3(2021).5.25
  php/fpmを作成. 大きなタスクがあるのだが、部屋の掃除の如く、、まぁーそんな感じ. 検証のためにmacが必要になりそう..
  一応mac miniはあるが古くて最新OSは無理..
• R3(2021).5.24
  OpenPBSでのHookによるGPUリソース制限はできている. slurmでのそれをできるように確認している...
  4枚のGPUを搭載した計算機があるとして、cryoSPARCでジョブを流して１GPU消費しているのに、relionで4GPUを流そうとすると
  流れてしまう. これを防ぐには、、として検討中. OpenPBSはOK. slurmでも達成したく模索中.
  まぁOpenPBSであれば$TMPDIRが使えるからそっちでいいのかなとも思えるが...
• R3(2021).5.20
  気温差が激しいためか不調...
• R3(2021).5.19
  手元にあるqnapからAWS S3 Glacierへバックアップを試みている. AWS S3 Glacierは１アーカイブ40TBまで取れる.
  っでそのアーカイブを複数用意できるので、プロジェクト毎にアーカイブを用意すればいいのかなと.
• R3(2021).5.17
  ジョブコントロールでrsh/sshで計算ノードにパスワードなしログインが必須だと思ってたが、違っていた...
  計算ノードでのアカウント情報は当然必要だけど、ユーザのログインはできなくてもいいみたい.
• R3(2021).5.12
  relionのサイトで ver4.0 のコンパイル方法とか載っているのだが、肝心のソースコードはまだ未配布？
  ジョブ管理システムでgpuのリソース管理を行いたいのだが、OpenPBS と slurm どっちが簡単なのか不明.
  どっちも出来そうだけど...手間が掛からないのを選びたい. システムの堅牢に繋がるから.
• R3(2021).5.5
  とあるスパコンにrelionなどなどを構築中. ログインノードと計算ノードのOSが異なっている...
  またログインノードにはGPUカードがなくcudaライブラリもない...EnvironmentModulesもない環境で悩む...
  結構ハードル高いなぁ.
• R3(2021).5.4
  nucのonboard-nicがCentOS7では認識されない. 手動でe1000eドライバの追加とbiosでsecure-bootをoffで認識できた.
  追加のusb-nicは認識完了. あと不要な無線LAN昨日はbiosで無効へ.
• R3(2021).4.29
  slurmを調べている. scancelでジョブを止めた際scratchの中身は自動的に消せるのか？ OpenPBSなら消せる.
  いや別に自動でなくても手動で消せばいいので大きなアドバンテージでもないのだろうけど. scancel発行時に
  お掃除をするようにすればいいのかな.
• R3(2021).4.28
  IMPIチップなaspeed経由で画面を取るとOpenGLが古いそうな. サーバ向けなので高性能な描画性能を求めるのは酷かと.
  ただ装着した高性能なnvidiaカードから画面は取りたくないそうな. 分かるけどね. 描画に能力を割けないでと.
  そうなるとネット越しにGLアプリを表示することになる. その場合はPC-Xサーバな能力が求められるのかな.
• R3(2021).4.25
  cryoSPARCについて記事を書き直した. 運用形態毎に実行画面が変わるcryoSPARC/run.
  あとは同一計算機で複数のcryoSPARCを動かす場合について記載する予定. 単にport番号の取り扱いなのだけど.
• R3(2021).4.21
  slurmの改訂, GPUの簡単な取り扱いは示した. cgroupとかまでやらないとgpu/cpu混在は無理かな..
  Zabbixを作ってみた. rpm版とsource compile版. 画面が奇麗で魅力的. 機能もいい感じ. なによりドキュメントが豊富.
  mysqlかpostgreSQL, どっちがいいとかあるけど、使い勝手がいい方を選べばと思う.
  日本語ドキュメントはどちらも豊富でしょうからgoogle先生が答えてくれるでしょう.
• R3(2021).4.13
  IBMのGPFS(現 Spectrum Scale)を無償で試せそうである https://www.ibm.com/jp-ja/products/spectrum-scale/pricing
• R3(2021).4.11
  cryoSPARC. 個人個人でcryoSPARCを立てた方が楽. ファイルへのアクセス権とかの考慮箇所が無くなるので.
  だが、GUIはwebなのでport番号の配布を考慮する必要がる. UserAさんは 39001、UserBさんは39002とかに.
  ただ、そうなるとdockerにcryoSPARCを入れて運用したほうが楽かなぁ
• R3(2021).4.8
  LDAPサーバにposixとsmbパスワードを収めると１つのsmbサーバはそれでいい. 2つめのsmbサーバも使おうとするとsidで揉める
• R3(2021).4.7
  OpenLDAPとsamba(smb)の連携はうまく行った. っがQNAPのLDAPとはうまく行かない...SID関係っぽいのだが...要調査
• R3(2021).4.6
  ubuntu20.04を使ってみている. cryo関係のアプリも問題なく使えるみたい. ldapとかnisとかの連携確認を残すのみかな.
  centosと比べてkernelがより最新でより最適化がされているから速いかなと思っているが計測はしていない.
  ただ昔、kernelのみを最新にして動作が軽くなったことは忘れられない思い出. それがあるから希望は持っている.
• R3(2021).4.4
  GeForceカードをもつwindowsPCで、windows/WSL2を使えばその仮想LinuxマシンでもGeForceカードでcudaが使えた.
  っで最近、LinuxPC上の仮想windowsマシンでもGeForceカードが利用可能になるそうな. ただしカード１枚に対して１つの仮想PC.
  カード１枚を複数の仮想マシンで使うには従来からTesla/Quadroで可能.
  https://twitter.com/PellyNV/status/1376897068955009033
• R3(2021).4.3
  ldap記事の改定が完了. UNIX(posix)とsamba側の２つのパスワードを管理するのはnisでsambaを動かすのと同じように見える.
  samba-adは確か１つ. まぁsmbldap-passwdとかで見た目には１つに集約できるので意識する必要はないのだろうけど.
• R3(2021).4.1
  三か月満了かぁ..1/4消化..四半期終了..呼び名はいろいろ
  cactiよりHinemosの方がいいかなぁ.
• R3(2021).3.27
  本気でHinemosを習得せねば...
• R3(2021).3.26
  簿記が分からんでもアプリで何とかなるのだが、アプリの使い方がダメでミスが一か所. でもようやく申告が終わった.
• R3(2021).3.23
  プリンターが故障して交換へ. タッチパネル形式のに変更して無線LAN接続設定が極めて楽になった.
• R3(2021).3.21
  vpn接続のために固定IPサービスを受けたのだが、CiscoAnyConnectを介すると24秒で断線してしまう...
• R3(2021).3.14
  pythonはライブラリが豊富で目的のロジック、計算式を作るのが楽. アプリの額縁、グラフ表示の機能も
  結構楽に組みこめられる. それゆえそれに特化した実行環境が簡単に用意できる下地が必要で、ここではpyenv/anacondaを
  使って実行環境を用意して、その実行環境をターミナル、端末で展開するためにEnvironmentModulesを使っている
• R3(2021).3.13
  eman2.91を調べている. eman2.31付属のopenmpiは「dl support: no」だったのが、eman2.91では「dl support: yes」となっている.
• R3(2021).3.12
  クライオ関連のアプリには多数のpythonアプリがあります. っでpythonと言ってもeman2.31はpython-2.7、
  crYOLOはpython-3.6、PyEMはpython-3.7とそれぞれ要求するpythonは様々. かつ必要とする外部ライブラリも多種多様です.
  なので eman2.31 と crYOLO の実行環境を同じにすると片方はたぶん正しく動かない. 要PATHの調整
  なのでEnvironmentModulesを用いて必要なときに必要な実行環境をloadする方法をここでは採用しています.
  relion, ctffind, MotionCor2, ResMap, coot, chimeraらは互いの実行環境に影響を及ぼさないので共存は可能.
  これにeman2.31が入るとeman2.31のmpirunがrelionのMPI処理に影響を及ぼすのでEnvironmentModulesによる適切な
  運用が求められるのかなと思っている. PATH環境変数をその都度弄るのが面倒なのでEnvironmentModulesを使ってます.
• R3(2021).3.11
  合掌
• R3(2021).3.10
  メインPCが煩かった. Antimalware Service Executableが異様にCPUを使うようで、その排熱のためFanが頑張っていた.
  試しに商用のウイルス対策アプリを入れたら途端に静かになった.
• R3(2021).3.8
  cephfsでsambaとの連携完了. 最後の最後で selinux で達成が遅れた... この際selinuxの学習に励むべきか..
  centos8streamのsrpmがyumdownloaderから落とせない. どうやら git.centos.org で提供されている.
  ハードル上がり過ぎませんかね?
• R3(2021).3.6
  VMwareESXi7.0に乗り換えたが、やっぱりESXi5.5とかの方が便利だったなぁ...これならqemu/libvrtの方がいいように思える...
• R3(2021).3.5
  事務処理に追われている...
• R3(2021).3.4
  relion-3.1.2がリリースされた模様
• R3(2021).3.1
  cryoSPARCのdokcer化を試す予定.
• R3(2021).2.26
  PyTomを作ってみた. 構築の際に使用するincludeファイルの指定順序が肝みたい.
• R3(2021).2.16
  高性能花粉センサーを持つ身だが、クシャミがあれと勘違いされそうでまずい.
  amberやnamd, gromacsはエンジン. 一応GUIインターフェースがamberにはあるが、本格的なGUIインターフェースを
  探している. 周期境界条件, soak, 各種制約らが出来てtrajectoryの観察もできたらいい.
• R3(2021).2.15
  依頼されAWSで単粒子解析は？な感じで調べてみた. 提供されているGPUがTeslaとかの最上位品で、
  現場でたいてい使われるGTXなカードの提供は見当たらない. そのためか利用するにしてもお値打ち感が微妙.
  使うならAWS S3でアーカイブとかかなぁ
• R3(2021).2.9
  cryoSPARCのアカウント管理を見ていると、ふとcryoSPARCを載せたdockerを作ればいいのかな？と.
  あとそのdockerをqsubと絡めてGPUリソース制限をすれば行けるかなと思ったが、
  １台の計算機に複数のcryoSPARC(ライセンスは１つ)を立ち上げることになる. 微妙かな...
• R3(2021).2.4
  RaptorX-3DModelingがようやく完成. 500GBほどの空きがないと無理. GPUで計算出来たけどカードは選ぶかもしれない.
  gzipをソースからコンパイル. 久々の./configure;make;make install; 今ならyum installで一発なのだが
  パッケージがないなら自分でコンパイルするしかない.
• R3(2021).2.2
  CentOS7付属のgzip(v1.5)には[-k]オプションがない. CentOS8ならある.
• R3(2021).1.31
  UniRef30_2020_06_hhsuite.tar.gzのダウンロードなのだが、3日経っても終わらない...
• R3(2021).1.28
  MNPをまだしてない. devtool-setのGCC-9でOpenMPIを調理してrelionを作ってみた. GCCをソースから作るよりはいいかも.
  歩行できるが脚に外傷. この状況下なのでまぁいいか.
• R3(2021).1.19
  先週末からずっとPhpSpreadsheet. phpでExcelファイル[xlsx]を作れるのだが、結構使える. いずれ記事にしたい.
  作ったExcelファイルをvbaスクリプトベースでpdfへ自動変換したのだが、たまに罫線で変な表示になる.
• R3(2021).1.16
  phsの期限が来る...MNPをせねば... 数十年ぶりにSDを購入. 刺激になる記事ばかり.
  CentOS8問題. 当面はCentOS7で様子見かな. kernelを新しくすると速くなる可能性が高く、定期的にubuntuのように
  OS差し替えもありえるが、アプリの移行が面倒.. ansibleかchefでアプリの自動構築が望ましいのかも.
• R3(2021).1.12
  RTX830だが「かんたん設定」を駆使してconfigファイルを作成＋download、その後に追記してupでうまくいけた.
  設定例を見ながらスクラッチから作ってたが...遠回りだった..
• R3(2021).1.8
  RTX830を使ったVPNは動くようになった. ただ微調整がまだまだ必要かな...
  qnapの一部を切り出して40GbpsNICで iSCSI デバイスにしたいのだが方法が分からん. ESXiに提供して使いたいのだが..
  訂正: cuda10アプリはRTX30系PCでも問題ない模様.
• R3(2021).1.7
  幸運な事にRTX30系を触ることができた. どうもcuda10だと無理みたい. moduleが乗らない. cuda11でする必要あり.
  cuda10のアプリがRTX30系PCでは微妙. 落ちる. 全ノードにcuda11を入れ... 古いデバイスでcuda11なアプリが動く？
• R3(2021).1.3
  古いopenpbs(18.1.4)で複数のGPUを搭載した計算ノードをvnodeで分割するのは無理っぽい.
  slurmならできるのか検討開始. 40GbpsHUBのNOSだが、単純にベンダーロックイン(vendor lock-in)なのでは？と思ってきた.
  手元にある40GbpbsEtherNIC(mellanox様)で確かめたく思う.
• R3(2021).1.1
  謹賀新年
  12年越しのリメイクか...ハードを調達せねば..