chaperone

御アクセス頂き誠にありがとうございます。

当サイトは個人の備忘録として存在しております。

そのため、内容は極めて個人的な域をでず、故、内容には一切の責任を持てない事を重々ご了承のほど願います。

然るに、其の採用・参考は自己責任にてお願い申し上げます。内容が古い、間違っている、読みにくい、

誤字脱字、不明瞭、意味不明、駄文とのご感想の際には謹んで深くお詫び申し上げます。

国語の学が弱い若輩故、文書きに長けておりませぬ故、深く恐縮申し上げます。

気が向くままに描いた記事たち。小さく隅に置かれる記事でございますが、いつかは完成させたく存じます。

東京五輪、招致成功に万歳。

研究活動を促進するIT支援な仕事がしたいです、しかも現場で、、ってどなたか.....
問い合わせ先：info_at_sysosa.jp *_at_を＠にして下さい
ミラーサイト: http://chaperone.sakura.ne.jp/w/

• R2(2020).9.16
  CRS326-24S+2Q+RMが届いた. EUの電源プラグで届いた... わずか7日で届くとは. ブレイクアウトケーブルはまだ.
  取り合えずはQNAPに接続かな. 8ポート40GbpsSwitchとして使えるかなぁ
• R2(2020).9.14
  samba-ADのメンバーサーバで提供していたファイル共有が機能しなくなった.
  localNetのsmbclientでは接続可能なのにmacクライアント, 外部ネットワークから接続はできなくなった.
  krb5.keytabを再発行して回避に成功. windowsでNFS/smb共有を賄えたらいいのかな...
• R2(2020).9.10
  やっすい40GbpsなHUBを購入してみた. CRS326-24S+2Q+RM. 片方がQSFP+でもう片方が4つのSFP+となるブレイクアウトケーブルも手配.
  QNAPが40Gなのでそれを中心とした形を作るために. あとブレイクアウトケーブル なるものも試したかったので.
  すでにQSFP+じゃなくてQSFP28/SFP28な感じだけどそっちはまだまだ高価
• R2(2020).9.8
  10Gbase-T/sfp+のトランシーバーはどうしようもなく熱い. 今後低発熱型がでると思うが、現状は厳しいな.
  cephをsambaで使えるのかなと調べたら、「vfs_ceph」で使えるみたい.
  intelのnicでRDMAをサポートしているのは上位機種のみ. その点、mellanoxはほぼほぼ対応.
  ベアメタルスイッチ/ホワイトボックススイッチにNOSとしてOpenNetworkLinuxを入れる作業が...
• R2(2020).9.7
  10GBASE-T/sfp+トランシーバ、そしてsfp+/qsftp+変換モジュールが届いた. 早速10GBase-Tとqsfp+で繋いでみた.
  通信は問題なくできたが、10Gbase-T/sfp+のトランシーバーの発熱が異様に高い. 常時使用はそこを目掛けての強制空冷は必須かな.
  触れないほどの発熱です. まだまだ10Gは光ファイバとかDACケーブルがいいかも
• R2(2020).9.6
  ファイルサーバが遅いと言われる.
  手動ででっかいファイルを作ってNFSで計算ノード(SSD)にコピーさせると 10G LANで 8Gbps は出る.
  NFSでsyncモードならなら500MB/sec. 計算ノードのSSDと書き込み速度と同じくらいのかな.
  恐らくアプリ側の処理があるので遅く見えてるのかな. この場合どう対応すれば正解なのか...
• R2(2020).9.2
  ライブで拝見した. 10GBかぁ...現行より1GB減. だけど価格は思った以上に下がった模様.
• R2(2020).8.30
  同じversionのバイナリーが２つある. １つは解析できて、もう片方は出来なかったりするのは何故...
  せめてversionだけは異にしてほしい...
• R2(2020).8.29
  ようやく安価だがGPUを二枚載せた計算機が用意できた. OpenPBS(以前PBSPro)でGPUの使用数を制限したジョブを試す予定.
  32coreマシンで１つは4GPU+16coreなリソース、もうひとつは16coreのみのリソースを作って効率的な運用ができないか模擬検証.
  DIYな24U19インチラックを組み立てた. 一人でできなくはないが36Uは微妙かな. もっとも4U,5Uな代物の備え付けは一人では無理.
  リフターがあれば違うのでしょうけど.
• R2(2020).8.26
  PyEMを修正. 関連でeman2をソースからビルドしたがpython3.7でないと無理だった
  40GbeなQSFP+にメタルケーブルを繋ぐべく[QSFP+ to SFP+ 変換アダプタ]と[10GBASE-T SFP+トランシーバ]をebayで購入.
• R2(2020).8.20
  本サイトのhttpdが不意に落ちる...何が原因なのかは不明. いざとなればミラーサイトを参照するのだが、、困った..
  sata HDDベースなストレージで20台以上のクライアントを抱えても良好な転送速度とボリュームの拡張および構成HDD群の差し替えが
  可能なストレージシステムを調査検討している. 事務所で実機による調査は費用面で無理なのだが、AWSなら可能.
  っならいっそAWSで全部解析したほうがいいのかな？ っとふと思うがデータ量が半端ないので微妙かな..
• R2(2020).8.17
  io500なるサイトがある. intel様謹製のDAOSがTopのようなのだが、このDAOSはHDD, SATAはもちろんSAS SSDさえ眼中にない.
  あるのはNVMe SSDとOptane SSD. クラスターファイルシステム. 試すには高価すぎる.
• R2(2020).8.14
  NVIDIAカード搭載windows10マシンでwsl2経由でcudaが使えた.
  またwindowsServer2019Essentialsを使ってActiveDirecotryはもちろんの事、nfsサーバも稼動できた.
  windows10のHyper-VでOpenPBSを動かせばほぼほぼwindowsOSで解析環境ができそうな気がする.
• R2(2020).8.5
  夏休み(?)に「NVIDIAカード搭載windows10マシンでwsl2経由でrelionを走らせる」の詳細を描く予定.
  ストレージはwindows共有/NFS共有どちらになるのかとか描く予定. なぜか2070があるから、おそらくできる.
• R2(2020).8.2
  先日、寒いお部屋で仕事をすることになり、４時間いたら頭が痛くなり、体が苦痛にまみれた.
  翌日は気持ち悪くて何もしなかった...
• R2(2020).7.5
  横になりながらリハビリ.
  RHEL8.2のリリースノートを見てたら非推奨のパッケージとしてsendmail,yp-tools,ypbind,ypservが含まれていた.
  nisはある目的には非常に便利なのだが、、
• R2(2020).6.21
  横になりながらリハビリ.
  mod_auth_kerbを使ってwebサービスへのSSO(Single Sign-On)はできる. だがそのサービス内で
  kerberos経由のmount.cifsによるwindows共有ドライブのマウントができない. /tmp/krb5cc_<uid>が用意できないため？
  仕方ないのでcifsマウントはcredentialsで代用.
• R2(2020).6.19
  csh/tcshユーザ様から「relionのCTF estimationが動かない」との連絡を頂いた.
  規定でrelionからctffindをコールする際に RELION_SHELL環境変数(relion3.1から,3.0はデフォ)でcshが呼ばれる.
  っで ~/.history に問題があると.historyが肥大してctffindが動かなくなることがある. (とりあえずは.historyを削除して対応すべし)
  自身のshellをbash系にするか、RELION_SHELL環境変数をbashにすれば回避可能かな.
• R2(2020).6.18
  横になりながらリハビリ.
  windows10のwsl2でようやくcudaが使えるみたい. つまりはwindowsの中のLinuxでrelionをGPU計算させることができる？
  要確認事項だけど、周りにそういった環境がないので試せない.
• R2(2020).6.17
  横になりながらリハビリ.
  この間、DRBD, HighAvailability, Lustre, CephFS, gP2S, Relion/Dockerfileらをちびちび試していた.
  Lustreは思ったより素直でよかった. CephFSは難解. いずれも40Gb位で使うものかなと.
  fs.com様で40Gb*32portが43万ほど.
• R2(2020).4.20
  調子悪い. お薬を飲む毎日..
• R2(2020).4.12
  ConnectX-3ProEN(40/56GbE)をebayで購入. QNAPに付けてQtierの速度テストをしてみる予定. 届くのが一ヵ月後.
  ブロックレベルでSANで共有、ファイルレベルでNFSで共有. 初期投資が高いが拡張が容易な前者、初期投資は
  低くある程度までは拡張可能な後者. FCとiSCSIならFCの方がいいのかな？
• R2(2020).4.8
  宣言が出た. できる限り協力します.
• R2(2020).4.5
  連続稼動で体がだるい. 再来週は在宅勤務にしたい.
  infinibandでiperf3で相応の値が出るのだが、nfs接続にすると遅い. nfsサーバのストレージはnvme並みなのだが..
• R2(2020).3.31
  年度末. 毎年年度末に近づくと忙しくなる. っで4/1以降も何だかんだで継続的に忙しいかも.
  だが仕事があるだけましとも言える.
• R2(2020).3.28
  停電があってマシンが停止してしまった. 折りしも出張と重なり手が付けられない状況.
  upsが有れば...いやそんな中でもQNAPは復電後に起動していた. このQNAPに仮想マシンを駆使すれば大丈夫かな.
• R2(2020).3.21
  GPL3でソースも公開されているWarpを試している. GPUカードのメモリー空き容量が少ないと落ちる.
  fio-v3.7向けのfit-cmdを見つけた.
• R2(2020).3.12
  NVMeでQtier作ったら40Gbpsはいけるのかな？その前にQNAPのcpuがへたるかな.
  adaptecのmaxCacheは2TBの上限がある. Qtierにはそれがないっぽい.
• R2(2020).3.11
  黙祷
• R2(2020).3.4
  QNAPのQtierを使ってみた. QNAPからの読出しはHDDの速度っぽい. っが二度目はnicの帯域をフルに使って転送してくれた.
  また書き込み側は初回から帯域をフルに使って書き込みが行われた.
• R2(2020).3.3
  右手首を負傷. 重い物が持てない...
  キーボードは打てるけど、44slots jbodは運べない. 参った...
• R2(2020).2.21
  やっすいビデオカードを２枚購入. pbspro/GPU?でGPU要求枚数が搭載枚数になったらCPUに空きがあっても
  これ以上のジョブは実行されずにqueuing状態になるを確かめるため. あとvnode機能の確認のため. これができれば
  8枚GPUマシンを仮想的に4GPUマシン２台にできる. あるいは32core4GPUマシンを16core4GPUと16coreマシンにとか.
• R2(2020).2.19
  オープンソースカンファレンスが開催中止になった...仕方ないか...
• R2(2020).2.17
  エラーメッセージをgoogle様に伺うとたまにRedHatのサイトに辿り着くことがある. っが大抵はこれ以上は見せないよっな
  対応なのである. でもよく調べるとRedHatの無償の開発者アカウントを持っていると見れるそうな. っで早速登録.
  今回は「NFS: nfs4_reclaim_open_state: Lock reclaim failed!」を調べた. ...読んでも分からない...仕方ないvers3にするか.
• R2(2020).2.16
  PBSProにてcgroupsを使ってGPUの排他制御ができないか検討. vnodeを使えばできそうなのだが、PBSProをupgradeしないとダメ見たい
  QNAPのQtierを検証中
• R2(2020).2.8
  目下phsとadslを使っている. これを今年中にケータイと光回線に変更するつもり. 月額料金が大幅に上がる...
  あと光回線にしてもこのサイトが維持できるか微妙..
• R2(2020).1.31
  早くも１月が終わる...月初めのインフルエンザで1weekを棒に..
  どうしてもコンパイルできなかったcoot 0.9-preがccp-emのNightlyに入っていた...
• R2(2020).1.24
  当方作成のsilo. e2proc2dでmrcをjpegに変換しているのだが、逐次処理のため遅い. っでGNU parallelで8枚同時処理を
  試している. 試作は大丈夫そう.
• R2(2020).1.12
  ストレージの消費が激しい. 研究上必要なことなので挟みはしない. ただ自身が思われる不要なjobは積極的に消してみてはと具申
  ファイルサーバにユーザ数分のUSBクレードルを用意してUSBクレードル単位でNFS export. 全計算機がそれをNFSmount.
  そうすれば研究者自身の責任でストレージ管理が行われるのではと愚考. 最大16TBまでだが...
• R2(2020).1.10
  job管理システムTorque(4.2.10). ずっと使っているとpbs_schedのメモリー占有がどんどんあがって、仕舞には落ちる.
  ならpbs_schedの代わりにmauiを使えばとなるが、現時点では入手できるのかな？
  まぁPBSProへ移れば良いのだが、TorqueはGPUIDの指定ができて融通がいい.
  喋ると咳き込む状態. まいった
• R2(2020).1.9
  インフルエンザに罹患みたい. まいった
• R2(2020).1.8
  40G*2+10G*24なswitchが出ているhttps://mikrotik.com/product/crs326_24s_2q_rm
  値段が499.00ドルって、、すごいな
• R2(2020).1.2
  coot/0.9-preは無理っぽい. Haskellも無理っぽい. 限界を感じる日々です.
• R2(2020).1.1
  謹賀新年
  このサイトが僅かでも役に立てられるように尽くしたいと思います
• R1(2019).12.26
  16coreなマシンで4GPU(4thread/1mpi)で計算中[Class3D]のsarを見ると%idleが3割
  8coreなマシンで同じく4GPU(4thread/1mpi)で[Class3D]のsarを見ると%idleが1割以下
  32coreなマシンならいっそ仮想的に4GPUあり計算機とGPUなし計算機の２つにしたほうがいいのかな？
  一応PBSProならそのような仮想的な計算ノードが作れるそうな.
• R1(2019).12.23
  Scipionにsphireを加えると「condaがない」と言われる. python実行環境の取り扱いが難しい
• R1(2019).12.14
  PyEMを作ってみた.
• R1(2019).12.11
  pyenvとconda. pyenv/condaとdocker. conda install[ハードリンク]とpip install[上書き].
  ユーザにpyenvの構築方法を示してあとはご勝手に. これは開発者にならいいが、利用者側には難しい話.
• R1(2019).12.10
  Scipionを調整中. crYOLOとかもここから使えるようでますます便利になっているみたい.
  ただ、condaとの連携に苦慮している.
• R1(2019).12.9
  CentOS8でのcootは、必要なパッケージをFedora29のSRPMからRPMを作り直せば回避可能.
• R1(2019).12.7
  リハビリっぽく仕事中. CentOS8でctffindがうまく動かない. source codeからcompileで回避.
  cootもsource codeからのcompileすればいいのだが、RPGっぽくて避けたい. 開発元から出してくれればありがたいのだが..
• R1(2019).12.5
  体が重い....
  crYOLOを更新してみた. GUI画面が付いた.
  QNAPの納期が12月末以降みたい.. CentOS8でバイナリー提供のctffind4が動かない...あとcootも...
• R1(2019).12.3
  疲れているのか最近横になっていることが多い...
  QNAPを新調した. 10G付き.
• R1(2019).11.22
  PBSProに細工を入れてjob発行とかを別のテーブルに記録させている[pbspro/table/SQL]].
  このテーブルを使って簡単なグラフを作てみたpbspro/table/web?.
• R1(2019).11.16
  顧客のサイトでipmi未装備のマシンをRaspberry Piでリモート強制起動を実現していた. 是非とも試してみたい...
  Hinemosの改訂書を入手して読んでいる. PBSProのデータpbspro/table?も読み込みたい..
• R1(2019).11.13
  予定をキャンセルして休む. 仮想化サーバを新調したい...GPUとかを考えたらLinuxでqemu、使い勝手なら断然ESXiなんだよなぁ...
• R1(2019).11.9
  cryoSPARCのssd cache(scratch)を辞めようかな....複数のjobが同じscratchを参照する可能性もあるので
  job終了後即時の削除は難しい. なら「systemd-tmpfiles-clean.timer」で自動削除もありえるがjobと連動しないので
  jobが終了してもscratchが埋まったままでほかのアプリでscratchが使えない事が起こりえる...
  OpenBabelのversion3がリリースされていた. 速度が速くなったのね. 今だとon memoryで構造検索とか早いのだろうな..
  まぁ構造検索に特化したnoSQLもあるけど、そっちのほうが優れているかな.
• R1(2019).11.6
  Hinemosの書籍を、と思ったが調べたらもうすぐ改訂版がでるそうな.
  cryoSPARCの計算後にscratchを消してくれないのは仕様かね....pbspro/PBS_TMPDIR?のように消せればいいのだが....無理っぽい..
• R1(2019).11.4
  管理運用ツールHinemosを試している. cactiよりはいいみたい. っが、単純な事(ping監視)をするだけなのに
  単純なドキュメントが見当たらない...機能がすばらしいのは分かったから、要点だけ教えてほしい..
  まぁここもいろんな事(不要なこと/間違い(?))を書いているので何とも言い難いのですが...
• R1(2019).11.1
  前回InfiniBandSwitchは先方のミスで入手できなかったが、今回は既に国内に来ている模様.
  InfiniBandとopenmpiとの関係がよく分かってなく、その辺を確かめたい.
• R1(2019).10.26
  InfiniBand switchをebayで購入. 今度は届くかな.
• R1(2019).10.25
  USB3.1gen1(USB3.0)は5Gbps.
  HDDはだいたい150MB/sec(1200Mbit/sec, 1.2Gbps).
  なのでUSBクレードルを使ってPC筐体外でHDDを接続してもHDDの速度が律速になることは少ないのでは.
  まぁHDDをプロジェクト単位として扱うのは便利でしょうけど、抜き差しが簡単なのでmount中に抜いたら、、って危険もある.
  また複数の計算機で同時に解析を進める際も共有設定が面倒かな...少数の計算機でUSBクレードルなら便利かな
• R1(2019).10.23
  relion-3.1-betaがリリースされました。おめでとうございます。
  関係する各所にインストールしているが、beta版なので当然ソース更新が発生する。
  またstarファイルの下位互換性がないようで要注意かな
• R1(2019).10.19
  110x70x70の机を注文. 32inchモニターでは奥行きの大きい机が欲しくなる.
• R1(2019).10.15
  webサーバ兼検証サーバをCentOS8へ変更. samba,dnsmasqを調整. 今後/Applは/appsに変更します.
  EMAN2.31がリリースされている. 近いうちにupします.
• R1(2019).10.9
  台風が来るそうな. その日にでもこのサイトをCentOS7から8にしてみようかな.
• R1(2019).10.7
  ようやく秋の夜長でしょうか. 温泉旅館で寛ぎたい...
• R1(2019).10.4
  CentOS8からfltk-fluidパッケージが削れた. なのでrelionをコンパイルするには「-DFORCE_OWN_FLTK=ON」を
  追加する必要がある。今後、他のリポジトリで復活するかもしれないけど.
• R1(2019).10.1
  CentOS8. 従来系の8.0.1905(8.X)と8-stream系の二系統用意されているみたい. ここでは従来型しか扱わないかな.
  他のサイトを見るとインストールレビューが既にあがっている. ここではインストール手順らは書かないかな.

過去メモ