chaperone

御アクセス頂き誠にありがとうございます。

当サイトは個人の備忘録として存在しております。

そのため、内容は極めて個人的な域をでず、故、内容には一切の責任を持てない事を重々ご了承のほど願います。

然るに、其の採用・参考は自己責任にてお願い申し上げます。内容が古い、間違っている、読みにくい、

誤字脱字、不明瞭、意味不明、駄文とのご感想の際には謹んで深くお詫び申し上げます。

国語の学が弱い若輩故、文書きに長けておりませぬ故、深く恐縮申し上げます。

気が向くままに描いた記事たち。小さく隅に置かれる記事でございますが、いつかは完成させたく存じます。

問い合わせ先：info_at_sysosa.jp *_at_を＠にして下さい

R5(2023).12.6
slurmdが動かなくてcgroup云々と言われた. ubuntu22がcgroup v2だから？って思ったが単にlibdbus-1-devを入れて
makeしてないだけ. 焦った. aptで提供のslurmですが、こちらはgres.confでAutoDetect=nvmlが効かない. debの作り方を知らないから
全計算ノードでmake;make install. rhel系なら知ってるのに...
R5(2023).11.27
とある場所でgpu負荷テストには合格するのだが、実際の計算で落ちやすい計算機(2080Ti*4)があった.
その計算機にELRepoのkernelを淹れてみた、今の所は落ちていない. 行けるかなぁ..
R5(2023).11.26
お注射を打ったら38度まで上がった. 今は平熱に近い. っが結構だるい...
R5(2023).11.24
バイナリー配布のcootを使うのだが「scientific-linux-7.6」と付くのはRHEL9では無理みたい.
ソースが公開されているからRHEL9向けにbuildすればいいのだろうが...ハードル高い
DGX-2のcuda更新は難しいみたい....専用機って下手に手を出せないのもある.
R5(2023).11.17
とある所でDGX-2を触ってみた. 2018.03リリース品でTesla V100(32GB)が16個. 搭載nvidiaドライバは440.95.01.
最新cudaライブラリ(12.x)を使うには最低限 525.60.13 にする必要があるみたい.
R5(2023).11.15
fail2banを仕掛けているが、sshのログイン試行２回失敗でbanにしてる. まぁー通常なら10分後で再度お試しあれ.
ですが7日後に解除してる. 先日外出先からのアクセスで間違えてしまい頭を抱えた...
R5(2023).11.12
cryoSPARC v4.4 インストールアカウントにLD_LIBRARY_PATHは空の方がいい. cuda関連をロードさせないために.
numbaの影響かTITAN Xpは無理っぽい(現状). でもTITAN Xはokだった.
規定未満のnvidiaドライバを正しく外して最新版に差し替えるかが大事っぽい. ややもすると画面真っ暗へ...
ぉっ、TITAN Xpもokになった. どうやらドライバーが正しく入っていなかったみたい
R5(2023).11.10
cryoSPARCが v4.4、開発者の方々には深く御礼申し上げます.
CRYOSPARC_IMPROVED_SSD_CACHEでリモートのSSD cache が有効になるみたい.
っと言っても内部のSSDなら500MB/srcで 40,000Mbps、40Gbsほどのネット回線が必要な気がするけど...
R5(2023).11.9
MotionCor3とAreTomo2. 共に「BSD-3-Clause license」で企業さんも使えそうです.
cryoSPARCが v4.4 へ. そのまではupdateは無理で nvidiaドライバが 520.61.05 以降が必要. nvidia-smiで確認可能です.
cudaライブラリをcryoSPARC内部で賄うようで/usr/localにcudaライブラリを置いておく必要はない.
っがnvidiaドライバの制限がきついなぁ.
R5(2023).11.2
体調が芳しくない. 事務所で作業に切り替え.
R5(2023).10.28
moduleコマンドで利用環境を変えるようにしてますが、いつもは「Environment Modules」を使っているが、RHEL9で同じ目的同等品の「Lmod」が標準で入るみたい.
「Environment Modules」はtcl、「Lmod」はLuaとmoduleファイルの作成言語が違う.
R5(2023).10.27
relion 5.0-betaがリリースされました. 開発者の方々には深く御礼申し上げます.
pythonベースのツール類が加わったみたい. napariねぇ. crYOLOのboxmanagerで使われてますね.
R5(2023).10.24
WireGuardでリモート接続. さらにセキュアにという事でfromIPの事前提供を求められた. 固定IPなSIMを持つスマフォから
テザリング経由は問題ない. っでインターリンク様のサービスを使えないか検証中. 以前、同社提供のマイIP経由で
cisco AnyConnectにアクセスしたら開始２分くらいで切れた. 今は大丈夫っぽい.
R5(2023).10.20
RHEL9系のctffind-4.1.14はrecompileで行けるみたい. RHEL8向けバイナリーはダメっぽい
R5(2023).10.18
RHEL9系でctffind-4.1.14が上手く動かない..
R5(2023).10.12
気温差が体に堪える...結構低速モードへ.
R5(2023).9.27
QNAPさんに 25GbEを16ポート持つHUBがあったのねQSW-M5216-1T. 欲しいが25万かぁ...
Mikrotikさんの100GbE 4ポートのCRS504-4XQ-INは11万ほど. nicカードが25GbEで5万. 100GbEなら10万.
ケーブルはDACで1mで5000円. 用途は検証用VMwareESXiのiscsiストレージ.
SAMSONで絵を作る
R5(2023).9.14
phenix, ccp4をクラスターのログインノードで処理させる？可能ならこれもジョブ扱いで計算ノードでさせたい.
っとなるとSingularityかrootless dockerかなぁ..
R5(2023).9.13
rootless dockerを試したけどコンテナ内でGPUを使えないっぽい.
nvidia-container-runtimeの設定変更で回避可能っぽい.
R5(2023).9.8
OpenPBS向けに計算ノードに集まっているqueueと各ノードの使用量を表示するqloadをOpenPBS/GPU#e002b507に作ったが
そのslurm版を作ってみたslurm/gpu#s09e1f99. 「sinfo --json」でjsonコードからjqでパースした方が汎用性はあるけど
手間なので出力結果をperlでパースした.
R5(2023).9.5
condaで「EBUG:urllib3.connectionpool...」と出てくる...「conda install conda-build=3.26.1」で回避.
conda-build が 3.26.0 なら発生するみたい.
R5(2023).9.3
cryoSPARC v4.3.1がリリース. ほぼfixのみ. 確かにliveのセッションをdetachできなかったわ.
kubernetesとslurm. rstudio,JupyterLabの他にccp4やphenix,crYOLO,topaz guiにも使えそう. インターラクティヴジョブで
運用可能かもしれんがインターラクティヴジョブで長時間占有って微妙. そしてサービスには向かないかなと.
R5(2023).8.28
ちょいと疲れた.. 「cryosparcm cli」で得られるjsonコードですが、そのままではjqでパース出来ないみたい.
ぁー「cryosparcm cli」の出力はjavascriptのオブジェクトでjsonコード仕様ではないみたい.
なので「sed "s/'/\"/g"」と「sed "s/False/false/g" |sed "s/True/true/g"」の処理を噛まさないとjqが通らない..
R5(2023).8.25
csのプロジェクトディレクトリを/homeから/dataに移せるみたい. 早々の検証予定です
R5(2023).8.20
ずっとkubernetes. sge並みに難しい.. loadbalancerを入れたほうが便利かな. っでMetalLBを使うと.
アプリの実行のみならminikubeで足りるかなと.
R5(2023).8.19
ログインノードでユーザが独自のデーモンを立ち上げるのを防ぐには SELinux の許可ポートで制限かな.
firewalldで簡単に防ぐこともできるが、こちらはデーモンが立ち上がる. sshトンネルで抜けれるかも...
一方SELinuxはデーモン自体が立ち上がらないかなと.
R5(2023).8.17
adaに於いて、relion-3.xはcuda-12ではなくcuda-11.8で製作. relion-4.xはcuda-11.8より上ならいいみたい.
R5(2023).8.17
localcolabfoldってadaで計算できないのかな？まぁCPU演算でも十分早いけど. relionは12.1、csは11.7を噛ませて動いた.
R5(2023).8.15
kubernetesを試している. 計算ジョブとしてのリソース確保とコンテナとしてのリソース確保を同じジョブ管理システム slurmとかで
一元管理したくて. 例えばcryoSPARCではcryoSPARC masterをコンテナとしてリソース管理すれば楽かなと. ジョブは既に
備わっているslurm対応に任せればいい. コンテナはSingularityをベースにしてユーザが sif を管理とかがいいのかなと.
R5(2023).8.10
cryoSPARC v4.3がリリースされました. cuda-12に対応とか記載がないので、cuda-11.8が最大かな.
RTX40x0は nvidia driver 520からokで、520(11.8),525(12.0),530(12.1),535(12.2)とされるが、535で11.8からpycudaはできるかな.
R5(2023).8.6
使っていたrsyncサイトが閉鎖されたみたい.
httpで公開してるからhttpプロトコルで済ませてねって感じかなぁ
R5(2023).8.3
macOSからRHEL8系に「ssh -X」で接続してcootが動かない件がある. 以前はXQuartzの「iglx」の有効化で解決できたけど
いまはそうでもないみたい. なら「LIBGL_ALWAYS_INDIRECT=1」を試してみる.
それでだめならNVIDIA謹製の「libGLX_nvidia.so」をRHEL8から外すCUDA/GL.
R5(2023).8.1
UEFIでOSを入れたのに起動しない事案が発生. この辺はMBというよりはBIOSメーカー次第なのでしょうけど
いまだに制御できてないです..
R5(2023).7.31
mac mini(M1)(Ventura 13.5)にXQuartz-2.8.5を入れてX表示の検証をしている. X経由のcootらの表示は出来た.
ただマシンは Monterey 12.3 からのupdateであって、mac miniのクリーンインストールからの検証はまだ.
古いMac mini (Late 2012)はLinuxを入れてルータか、WireGuardサーバにしようかな.
４ヶ月ぶり５度目の吹き出物が...歩行にはあまり支障がないが痛い..
R5(2023).7.29
閉鎖環境(外部ネットにつながっていない環境)でyum/dnf更新はできた. ubuntuでの方法がわからん..
R5(2023).7.27
SELiux有効の環境でcryoSPARCのboot時自動起動を試みたが無理でした.. SELinuxでのコンテキスト変更や使用portの再定義らが
必要かなとは思うのだが、、上手く行かない. 半面、SELinux有効に於いても手動ならそのままで起動するみたい.
R5(2023).7.25
CentOS7が不利いのが原因ではなくanacondaが古かった...最新のanaconda3-2023.07-0ならCentOS7でも動いた
っがCentOS7でRのパッケージを組むとエラーが発生する. もうそろそろ揚げた方がよさげ.
R5(2023).7.21
cryoSPARCとDeepEMhancerの連携. centos7でDeepEMhancerって動かない? 調査中.
R5(2023).7.17
ubuntuのkickstartっぽいものautoinstallを触ってみた. PXEboot経由ではubuntuのserver版ならok.
desktop版は無理っぽい. 強いてautoinstallを仕込んだisoファイルからの自動OSインストールくらいかな.
R5(2023).7.15
三連休. kickstartとPXEbootを完成させて課題の案件を完了させねば..
予備知識としてのRHELライセンスを勉強しようかな. ORACLE様の参戦でどうなるか不明ですが.
R5(2023).7.8
youtube動画で説明かぁ...いいんだろうなぁ
このサイトの母体をCentOS7からRockyLinux9へ移行中
biocondaにrelionが入っている. もっと簡単に更新ができるのかも
R5(2023).6.20
「net ads join」コマンドで「DNS update failed: NT_STATUS_UNSUCCESSFUL」の回避方法があった.
一旦samba-ad側で対象マシンについて「samba-tool dns add」と「samba-tool dns delete」を行えばNT_STATUS_UNSUCCESSFULが回避できた
samba-ad側のdnsを整えればいいような気がする. 「samba-tool computer delete」でdns側も消えるのが原因なのかも.
R5(2023).6.6
アプリ単体利用の次にnotebookかなと思って学習中. (condaの仮想)実行環境(kernel)を切り替えながら使えるそうで便利かなと.
あとnotebookなので再利用しやすいのがいい.
R5(2023).5.31
調子が悪いです..体が重い..
R5(2023).5.26
cryoSPARCのコンテナ化はちょいと優先度下げ. samba-adでridベースな管理って微妙...既設システムとの融合って無理やん.
R5(2023).5.15
課題..slurm/pbsで確保したリソース内でcryoSPARCを稼働させる. deployって感じかな. 初回の展開中に
指定補場所にDBを作ってスタンドアローン形式localhostなジョブ実行先を作る. アカウントも作成.
インターラクティヴジョブでmasterを稼働. portはUIDをベースに*11倍の値で.
R5(2023).5.11
vmdを更新予定. Amberも更新かな.
R5(2023).5.7
Avogadroっていいのだが...win版でtls未対応とかちょいと微妙...linux版は問題ない
R5(2023).4.30
SAMSONがよかった. サブスクリプション商品だけど無償で使える部分もあり結構使えました.
PyMOLやchiemra/XとかでMM/MDの計算設定が楽にできるインターフェースプラグインを探しているがあんまりないみたい
昔AmberのxLeafを駆使して初期座標を作って保存、コマンドラインでsander実行とかしたけど...解析も含めての
統合環境ってやっぱり有償品の世界かなぁ...
R5(2023).4.18
術後、回復. 歩行に問題なくなった.
samba-adとかrdkitとか昔のコンテンツを更新したく思う.
R5(2023).4.16
CentOS7にELRepo経由で最新のkernelに代えてみた. 動作はめちゃくちゃ早い.
devtoolsetにてgccを11とかにすれば nvidia ドライバーもインストール出来てGPUも認識できた
kernel以外はCentOS7のままで最新のkernelの恩恵が受けられます.
R5(2023).4.3
長距離は歩けません..
R5(2023).4.2
minicondaをupdateするとlibffi.so.6が消えて使えなくなるみたい...
libffi-3.2.1からlibffi-3.4.2に上がるとlibffi.so.6を消してくれるようで、、困った.
R5(2023).4.1
工事して療養中. USB-HDDでユーザ権限のmount操作をまとめてみたmount. exFAT,NTFS,ext4,xfsでいろいろだけど、exFATをsudoで
調理した方がいいのかも. 自分のホームディレクトリ内にmountポイントを置けるから.
R5(2023).3.31
不摂生なのかまた吹き出物が...手術かなぁ
古いnvidiaドライバーを差し替えようとnvidia-uninstallを行ったのに再起動しても残骸がある...どうやらinitramfsに残っていたみたい.
rmmodで残骸を消してdracutでinitramfsを再構築で回避. 正しい手順なのかは不明だけど一応いける
R5(2023).3.29
user権限でUSB-HDDをmountするにはどうするか？ sudoで権限譲渡、GUI画面でのudisks2にお願いとかになる
GNOME画面上でUSBを刺してディスクトップにUSB-HDDのアイコンが表示されってをコマンドベースでできるのか...調べている
R5(2023).3.26
明日に備え前泊移動. ようやく今年度が終わりそうかな..残課題も結構あるけど..
io500サイトでストレージのコンテスト結果が見れる. intelさんのDAOSってOptaneメモリを使ってたような..事業辞めたよね
特殊なハードなしでopensourceってなるとLustre一択なのかなぁ. このio500の世界では.
R5(2023).3.19
逃避なのか...「Intel oneAPI DPC++/C++ Compiler」(icx/icpx)でrelionをコンパイルしてみた. 完成.
icc/icpcはEOLのようで今後はこのicx/icpxがメインの様子. intel様のドキュメントを読むといい数値を出している.
作れた動いたはできるけど、使えるの判定ができないのが限界ですなぁ～. いつかはしてみたいけど..
R5(2023).3.17
書類作成に追われている..
R5(2023).3.13
「Buffalo」様の「WI-U3-1200AX2/N」を購入. 別に11ax(1201/573),11ac(833)なwifi母機は持ってない. あるのは11n(300)である.
これをlinuxに刺して使えるかなと検証. っと言ってもESXiで試してみた. デフォじゃダメでドライバーのインストが必須.
やっぱりwifi子機は古いのが便利かなぁ..まぁー遅いけど.
R5(2023).3.11
合掌
R5(2023).3.9
GROMACS 2023のコンパイルにcmake 3.18.4以上が必要みたい... centos7はepelの3.17.5が最大. 詰まった.
コンパイラならdevtoolsetでGCC-11も可能なのだが cmake は入ってない. ソースから組み込むか..
R5(2023).3.7
RoseTTAFold. tensorflow-gpu 1.14.0を使うご様子で30x0なampareでは無理っぽい. nvidia-tensorflowを使うとかかな.
調子が悪いが確定申告を作らねば...きっつぃ...
R5(2023).3.6
土日に20台近くの調整(アプリ, firewall, openPBS)で疲れ果てた..
R5(2023).3.1
cryoSPARCが4.2.0に. cuda11.8対応でRTX40x0が利用可能に. でもcuda12.0はまだなのかな... relionは既にcuda12.0に対応済みだけど.
$HOMEが/home以外の場合のSELinuxの有効方法が分からん...断念. SELinux無効へ...っがRHEL9系はもっとSELinux前提だから悩む..
R5(2023).2.28
毎年年度末は多忙になるみたい. 4月になったらゆっくりと仕事したいなぁ...書き直したい記事もあるし.
R5(2023).2.26
unisonを試してみた. オリジナルファイルのtimestampを無視していいなら便利. 2つのフォルダ間の同期を重視するなら
「rsync -r --times /A/ /B/; rsync -r --times /B/ /A/」で済ます方がいいかも.
R5(2023).2.25
キーボードはお茶が好きなようでよくかぶっている. ONUはお水がお好きだった模様.
アプリ関係の記事を更新したいが...難しい
R5(2023).2.24
crYOLOが更新されてnapari-boxmanagerなる新しいboxmanagerが追加された. 画面はあー模したのかな？って感じ
R5(2023).2.22
不甲斐なく路面で転んでしまった...腰痛追加...
R5(2023).2.19
自宅のネット環境が使えなくなった...光回線の終端装置ONUが動かない...
R5(2023).2.18
だいぶ回復. 来週は二泊三日の都外出頭. 未達な仕事を逐次対処.
Guacamoleはvnc/rdpがブラウザ内で使える. けどWireGuardはvpn. ネイティブで使える.
二段階認証とかセキュアを終始するなら前者. より汎用性、smbとか使うなら後者なのかな.
R5(2023).2.16
ちょいと体調不良. お薬頂いて回復を期待. なので内勤のみ
R5(2023).2.7
WireGuardを試している. カーネルモジュールに組み込められるほどのモノ. そして確かに早いね.
二段階認証とかを求めるならGuacamoleなのだろうが、WireGuardはコンパクトで設定が楽. sendmailに対するPostfixじゃないけどかなりコンパクト
R5(2023).2.4
alphafold 2.3.1のSingularity版を用意してみた. オプションフラグが追加された模様. 複数マシンを使うことを前提にしてるから
dockerではなくsingularityを主に扱ってます.
ubuntuで environment-modules_5.2.0 を入れてみた. EnvironmentModules/package
R5(2023).1.31
「'abrt-cli status' timed out」と常に表示される場合は「$HOME/.cache/abrt/lastnotification」の所有権を要確認
R5(2023).1.29
各自のホームディレクトリの使用量制限にquotaかなと思って調べてみた. っがsoft limitを超えてもメッセージとか通告とかがない.
これでは知らず知らずにhard limitまで来てしまってservice out. これでは微妙...shell scriptでターミナルを開くと掲示とかが必要かなぁ..
R5(2023).1.27
ヵ課題が多い... cryoSPARCが動かない事例が発生. どうもport_rtp_webappが使うportが他のユーザさんのcryoSPARCで使われていた.
base portは互いに20以上離れているのだが... nodejsのnodeプロセスが使用するportを固定できればいいのだが..
R5(2023).1.26
例のハンドブックがamazon様で購入できるみたい.
R5(2023).1.25
cryoSPARCからqsubでジョブを流したが、qsub側のトラブルでそのjobが消えてしまうと適切な応答ができなくて
ずっとcryoSPARCからqsub側に「このジョブどうなった？」と問い合わせし続ける..
っで解消するために「cryosparcm cli "set_job_status('P2','J30','killed')"」を実行するみたい
R5(2023).1.24
cryoSPARCが 4.1.2 にupdate. ちょくちょくupdateされますね. 機能が増えて喜ばしいです.
cryoSPARCを利用されるならchmodでもいいけど、setfaclとかを駆使した方がいいかもと思う.
R5(2023).1.23
wget,curl,git,conda,pip,yum/dnf,aptらのproxy設定ってOS側の設定を参照してほしいなぁ...
cryoSPARCのproxy設定はno_prpxyが大事だった...以前記事を書いたのにネットを巡ってしまった...
R5(2023).1.19
awsのドキュメント作成. 双方向lsyncってFWの中にある計算機では無理でね？ってことでunisonで同期を提案中.
あとは計算し終わったノードの自動shutdownかな. 簡単には実行ジョブの末尾にshutdownシーケンスを載せるとかかな.
R5(2023).1.17
VeraCrypt 20TBのHDDをVeraCryptで使えるようにするには、、恐らく相当なフォーマット時間を要するかな.
っがこれは初回だけで、その後は普通のコピーと変わらない気がする.
R5(2023).1.16
USB-HDD/SSDを丸ごと暗号化するVeraCryptの記事を作成中. これってSSDの書き込み回数とか考慮するとUSB-HDDの方がいいのかな？
共通鍵方式で運用できるのでまぁー楽かな.
R5(2023).1.9
腰を痛めた. 歩行が妙に遅い. 原因は不明. 寝返りするときも痛む. 参っているが週明けから長期出張. こなさねば.
FreeIPA、openLDAPの代替に非常にいいのだが、smbとの連携がどうしてもうまくいかない.
aws案件が未達. 難しい...
R5(2023).1.3
dnsmasqを2.79から2.88にupdateしてみた. 既存のdnsmasq.conf、dnsmasq.leases、実行アカウントらの
変更はさたくないのでbinaryのみ差し替えた. コンパイルしてみたがdnsmasqはほんと軽量ってわかる.
R5(2023).1.2
nisがRHEL9から消えたのでFreeIPAを勉強中. そうしたらdnsmasqにURIレコードの登録が必要と言われた.
dns-rrとして登録が必要なのだが、dnamasqのバージョンが古いと値をhexする必要がある.
最新版なら「caa-record」に平文で登録できる
R5(2023).1.1
謹賀新年
R4(2022).12.26
slurmを更新してみた. gpuノードは「persistence mode」の有効化が必須みたい.
あとmpirunに渡すhostfileを調査中.