chaperone

御アクセス頂き誠にありがとうございます。

当サイトは個人の備忘録として存在しております。

そのため、内容は極めて個人的な域をでず、故、内容には一切の責任を持てない事を重々ご了承のほど願います。

然るに、其の採用・参考は自己責任にてお願い申し上げます。内容が古い、間違っている、読みにくい、

誤字脱字、不明瞭、意味不明、駄文とのご感想の際には謹んで深くお詫び申し上げます。

国語の学が弱い若輩故、文書きに長けておりませぬ故、深く恐縮申し上げます。

気が向くままに描いた記事たち。小さく隅に置かれる記事でございますが、いつかは完成させたく存じます。

東京五輪、招致成功に万歳。

研究活動を促進するIT支援な仕事がしたいです、しかも現場で、、ってどなたか.....
問い合わせ先：info_at_sysosa.jp *_at_を＠にして下さい
ミラーサイト: http://chaperone.sakura.ne.jp/w/

• R1(2019).11.16
  顧客のサイトでipmi未装備のマシンをRaspberry Piでリモート強制起動を実現していた. 是非とも試してみたい...
  Hinemosの改訂書を入手して読んでいる. PBSProのデータpbspro/tableも読み込みたい..
• R1(2019).11.13
  予定をキャンセルして休む. 仮想化サーバを新調したい...GPUとかを考えたらLinuxでqemu、使い勝手なら断然ESXiなんだよなぁ...
• R1(2019).11.9
  cryoSPARCのssd cache(scratch)を辞めようかな....複数のjobが同じscratchを参照する可能性もあるので
  job終了後即時の削除は難しい. なら「systemd-tmpfiles-clean.timer」で自動削除もありえるがjobと連動しないので
  jobが終了してもscratchが埋まったままでほかのアプリでscratchが使えない事が起こりえる...
  OpenBabelのversion3がリリースされていた. 速度が速くなったのね. 今だとon memoryで構造検索とか早いのだろうな..
  まぁ構造検索に特化したnoSQLもあるけど、そっちのほうが優れているかな.
• R1(2019).11.6
  Hinemosの書籍を、と思ったが調べたらもうすぐ改訂版がでるそうな.
  cryoSPARCの計算後にscratchを消してくれないのは仕様かね....pbspro/PBS_TMPDIRのように消せればいいのだが....無理っぽい..
• R1(2019).11.4
  管理運用ツールHinemosを試している. cactiよりはいいみたい. っが、単純な事(ping監視)をするだけなのに
  単純なドキュメントが見当たらない...機能がすばらしいのは分かったから、要点だけ教えてほしい..
  まぁここもいろんな事(不要なこと/間違い(?))を書いているので何とも言い難いのですが...
• R1(2019).11.1
  前回InfiniBandSwitchは先方のミスで入手できなかったが、今回は既に国内に来ている模様.
  InfiniBandとopenmpiとの関係がよく分かってなく、その辺を確かめたい.
• R1(2019).10.26
  InfiniBand switchをebayで購入. 今度は届くかな.
• R1(2019).10.25
  USB3.1gen1(USB3.0)は5Gbps.
  HDDはだいたい150MB/sec(1200Mbit/sec, 1.2Gbps).
  なのでUSBクレードルを使ってPC筐体外でHDDを接続してもHDDの速度が律速になることは少ないのでは.
  まぁHDDをプロジェクト単位として扱うのは便利でしょうけど、抜き差しが簡単なのでmount中に抜いたら、、って危険もある.
  また複数の計算機で同時に解析を進める際も共有設定が面倒かな...少数の計算機でUSBクレードルなら便利かな
• R1(2019).10.23
  relion-3.1-betaがリリースされました。おめでとうございます。
  関係する各所にインストールしているが、beta版なので当然ソース更新が発生する。
  またstarファイルの下位互換性がないようで要注意かな
• R1(2019).10.19
  110x70x70の机を注文. 32inchモニターでは奥行きの大きい机が欲しくなる.
• R1(2019).10.15
  webサーバ兼検証サーバをCentOS8へ変更. samba,dnsmasqを調整. 今後/Applは/appsに変更します.
  EMAN2.31がリリースされている. 近いうちにupします.
• R1(2019).10.9
  台風が来るそうな. その日にでもこのサイトをCentOS7から8にしてみようかな.
• R1(2019).10.7
  ようやく秋の夜長でしょうか. 温泉旅館で寛ぎたい...
• R1(2019).10.4
  CentOS8からfltk-fluidパッケージが削れた. なのでrelionをコンパイルするには「-DFORCE_OWN_FLTK=ON」を
  追加する必要がある。今後、他のリポジトリで復活するかもしれないけど.
• R1(2019).10.1
  CentOS8. 従来系の8.0.1905(8.X)と8-stream系の二系統用意されているみたい. ここでは従来型しか扱わないかな.
  他のサイトを見るとインストールレビューが既にあがっている. ここではインストール手順らは書かないかな.
• R1(2019).9.24
  CentOS8リリースおめでとうございます.
  distrowatchを見ていて、kernelが3.10->4.18、gccが4.8.5->8.2.1、phpが5.4.16->7.2.11、pythonが2.7.5->3.6.8
  cmakeが2.8.12.2->3.11.4、xfsprogsが4.5.0->4.19.0、openmpiは3.1.2
  注目したいのはこれでxfsで重複排除ができるかどうか。
  バージョン的にはxfsprogs-4.9.0,kernel-4.9.1より上なので行けると思うのだが..
  pythonの3.6はありがたい. phpは7.2.11で高速化ですな.
• R1(2019).9.19
  CentOS7.7がリリースされた. それ自体はいいのだが、CentOS7.6でInfiniband関係が入ってるマシンに
  openmpi3が入らなかった...どうもopenmpi3が3.0.2(CentOS7.6)から3.1.3(CentOS7.7)にupしたみたい.
  なので vault.centos.org 様から3.0.2を入手してインストール. まぁyum updateすれば別にいいのだろうが、
  他への支障を避けるために.
• R1(2019).9.11
  データの取り扱いを/data01, /data02とかで区切るのは簡単明瞭. このフォルダにProjectを入れればいい.
  だが、/data01が埋まって/data02へ移ると、/data01のProjectは/data02に引き継げない. linkで誤魔化す？
  そこに記憶域poolを使うとか考えている. linuxならzfs、windowsなら記憶域pool
  記憶域poolからの領域の切り出しとquotaって同義？
• R1(2019).9.10
  BeeGFSを実機で作ってみたBeeGFS/Test. 1台と2台の構成でしか試していないが2倍の速度にはなる。
  パラメータを弄っていない状態. BeeGFSで出ているチューニングを試してみるかな.
• R1(2019).9.2
  BeeGFSの実機検証進行中.
  それとともにwindows storage serverの重複除去を検討中. ファイルベースでなくブロックベースで重複を排除してくれるみたい
  テープにアーカイブもいいが、取り出しが面倒. 最終的にはテープかもしれないが、めったに使わないのなら重複除去な
  ストレージ領域に移動させるのもありかな？
• R1(2019).8.22
  GitBucketを4.14.0から4.32.0へ上げたら動かなくなった...幸いバックアップを取ってupdate作業を行ったので
  元に戻せたが、非常に焦った。っで元に戻して4.15.0, 4.16.0, ...と順次updateを行い(途中省略あり)4.32.0へ行けた.
  アップグレードパス情報があれば嬉しいかな...
• R1(2019).8.20
  10年使っているwindows7マシンを再起動したら動かなくなった...
• R1(2019).8.18
  オープンデベロッパーズカンファレンス2019を見学予定.
• R1(2019).8.11
  夏休みの自由研究としてBeeGFSを実機で作ってみることにした
• R1(2019).8.8
  CentOS7で提供されるopenmpiが 1.10.7 のほかに 3.0.2 がある。
  今後はこの 3.0.2 を使ったコンパイル方法を示す予定.
• R1(2019).8.4
  CentOSでxdmcpとnoVNCの連携は成功したが、ubuntuとはどうも繋がらない...gdm3をlightdmにすればできるのだろうか...
• R1(2019).8.3
  vnc/noVNCにXDMCPを繋げることに成功した。セキュア云々はあるけど、rootでnoVNCのwebsockifyを掲げ、
  XDMCPを許可すればいけそう。これでブラウザがX端末になるのかな。
• R1(2019).8.1
  データを集めて解析するにはすっごい時間を要するが、無くすのは一瞬だなぁ....1week分のデータが消えた..
• R1(2019).7.31
  ubuntu-18.04でvnc/noVNCを構築. 一応完成したがお客さんの所で動かないみたい....現地かなぁ...
• R1(2019).7.28
  ubuntu-18.04にcudaをインストール. 以前はできたのに9.2が入らない...仕方なく10.1を入れて
  後から9.2、9.1、9.0、8.0のライブラリのみを追加インストール.
• R1(2019).7.21
  sambaをそろそろupdate. sambaも4.10.6なのね. samba/リモートサーバ管理ツールなLinuxツールが欲しいかな.
  まぁコマンドラインでできなくはないけど...
• R1(2019).7.18
  黙祷
• R1(2019).7.12
  cryoSPARCで計算後に/scratchにデータが残ってる...pbspro/PBS_TMPDIRな感じで指定できないものか....
• R1(2019).7.5
  ようやくCentOS7でBridge routerが作れた router/Bridge
• R1(2019).7.3
  VMwareEsxi5.1をずっと使っている. WindowsServer2019には対応してなく、さすがにupdateを考えねば...
  relion-3.0.7がリリース. EMAN2との連携 EMAN2/OpenMPI がようやくできそう.
  っと思ったらOpenMPI-4.0とEMAN2.3の組み合わせはダメみたい. なのでOpenMPI-2.1と連携へ.
• R1(2019).6.30
  MS謹製ActiveDirectoryのアカウント情報を使ってLinuxへのログインをできるようにしたい.
  WindowsServerでADのスキーマ拡張ができなければ、「rid idmap」を使うしかないかな
  WSL2でcudaが初回未サーポートの出典 https://twitter.com/tara_msft/status/1125888319974400000?s=21
• R1(2019).6.26
  cryoSPARC v2.9がリリースされた. 最近updateが早いですな. Liveはいつリリースなのかしら.
• R1(2019).6.25
  USB-3.0/3.1ポートがあれば、2.5G/5G/10Gのnicが作れる. M/Bに必須と言うわけでもないのかな.
  グレードの高いGPUカードを2枚か、安価で4枚か. 「--free_gpu_memory」でメモリー量を検討中
  KVMを経由してLinux上のGPUを仮想マシン(windows)で使えそう...qsub -Iでマシンを占有して仮想マシンを立ち上げればOKかな
• R1(2019).6.24
  EMAN2向けのopenmpiとRelion向けのopenmpiの共用ができた. EMAN2のthreads計算はpsコマンドの出力から見て
  効率がよさそう. 多コア時代、あえてMPIで計算する必要は微妙なのかな？
• R1(2019).6.22
  EMAN2のチュートリアルを試している. ハイブリッドではないみたい. threadsとMPIの双方が存在する形っぽい.
  単一マシンならthreads指定で計算させ、複数のマシンで計算するならMPIを使うって感じ.
  e2projectmanagerからqsubで実行できないようなので、コマンド行をコピペしてqsubファイルを作るのが面倒かな...
  まぁ計算ノードに直接ログインして実行っていうスタイルかな
• R1(2019).6.20
  体が重い...
  EMAN2のチュートリアルを試している. EMAN2謹製のOpenMPIを外して、dlopenなしでコンパイルしたOpenMPIを
  試すために. これで問題ないなら Relion と共用するOpenMPIが用意できる.
• R1(2019).6.17
  無線LANでPCをドメイン認証させるにはIEEE802.1x認証/WAP(/2)エンタープライズ経由による認証が必要みたい
  一応無線LAN機能があるLinuxマシンにhostapdを仕込めば高価な企業向けAPを購入せず目的は達成できる
  (クライアントの無線LAN子機は必要だけど)
  これってmacOSにも言えるのだろうか....
• R1(2019).6.14
  dlopenを外したOpenMPIがEMAN2では必要みたい。っでそのOpenMPIはrelionでそのまま使えるのか検証中.
  OS提供のOpenMPIはdlopenが有効な代物.
• R1(2019).6.11
  とあるデータをExcelでマージ中. テキストならWinMergeなのだが、相手はExcel.
  いっそSQLiteに入れてSQLで対処とか考えたけど、オリジナルデータが結構ダーティ気味で無理.
  っとなると濃い目の珈琲を飲みつつ集中作業で仕上げるほかない...広い画面のモニターを購入したのだが...箱から出さねば..
• R1(2019).6.6
  zfsの実装系の一つ ZFS on Linux が zfs-0.8.0 をリリース. zpool removeは嬉しいかな.
  ただraidzには使えないみたい. まぁーそうだね.
  あと raidz expansion はいいねぇ〜. まぁーalpha previewなので当分かかりそうだけど
• R1(2019).5.30
  CentOS6でBridge-routerの試作に成功. CentOS7でも出来そうなのだが、、、
  さくらのSSL. 今はcertbotを使ってLet's Encrypt様の証明書を貰っているが、年間972円だそうな.
  Let's Encrypt様で事は足りているが、勉強のために試そうかな
• R1(2019).5.26
  CentOS7でBridge-routerを試作しているのだが、、進展なし...CentOS6のiptablesなら出来そうなのだが...
• R1(2019).5.24
  bridgeなんだけど、片方からの特定の接続は落としたい. [GW]---[居室LAN]---[Bridge]----[windowsPC] な感じで
  windowsPCのSMB,HTTP要求は[居室LAN]へ繋げたいが、[GW]を経て外部には行かせたくない.
  そんな[Brdige]を試作中
• R1(2019).5.22
  adslでdaznが見れる...
• R1(2019).5.21
  「使ってないから使っていいだろ」な方が翌日には「空きがなくて使えない」と曰く
  利用時間に制限を設けてはと伝えるも、「計算は最後まで走らせたい」は譲らない. さてさて...
  パラメーターを変更してジョブを複数同時に投げられる. /scratchには同じものが展開されるのだが、
  ならnfsサーバを階層型ストレージで用意すればいいのかな？
• R1(2019).5.20
  RAIDコントローラーが故障で全てが停止. まさにSingle Point of Failure.
  NFSサーバの二重化、RAIDカードの冗長化とかで停止時間の低減は可能でしょうが、費用も嵩むお話。
• R1(2019).5.17
  siloにてeman2関係をIMODへ変更. 速度は若干上がるかな.
  sambaADに参加させたmacOS. 挙動が？？な感じ. OS再インストールで回避したサイトもあり、どよようか検討
• R1(2019).5.11
  1m 1000円の10G SFP+ダイレクトアタッチケーブルが届いた.
  relion-3.0.5がリリースされていた.
• R1(2019).5.9
  そろそろsambaの記事を更新したい...samba-4.10がリリースされて、そのupdateも兼ねて
  siloの更新はほぼほぼ完了. フローチャートととか解析ログをリアルタイムに表示させたいが、この辺は次回かな
• R1(2019).5.7
  23インチのモニターが狭いと感じ始めた...27か31インチか...
• R1(2019).5.5
  連休中..ずっとsiloだった...
• R1(2019).5.1
  祝 令和元年
  連休中はsiloの手直し. Gautomatch,LoG,crYOLOの３種のpickツールが使えて、2Dclassまで行えるようにする.
  一応は出来ていたのだが、pickツールを追加したことで見直し中.
  BeeGFSの検証は連休後半かな.
• H31(2019).4.19
  Let's Encryptの無償SSL/TLSをFileMakerServerに組み込んでみた.
  crYOLOをcsh/tcshからも使えるようにしてみた. 次はsiloから呼び出してみる. これが終ればようやく2D.
  qdelしたら/scratchの中身も消してくれたらいいのに....
• H31(2019).4.15
  InfiniBand switchだが、、先方に手違いがあったようで全額返金になった...
• H31(2019).4.14
  9年ぶりにメインのPCを交換.無線経由でAD参加ってかなり面倒...
• H31(2019).4.12
  10GbpsのHUBを購入してみた. CRS305. 4*10G SFP+,1*1G Ethな構成.
  それにしてもInfiniBand switchが来ない...
• H31(2019).4.4
  Supermicroさんからipmi付きThreadripper対応なMBはまだないいたい。あぁEPYC対応品ならあるけど...
• H31(2019).4.3
  TensorFlowが必要な事態になった...各ユーザのホームディレクトリ内で構築してもらうのが便利なんだろうけど、
  複数ユーザがそれをしたら無駄だよなぁ....かと言ってsystem側で用意すると画一的となって数多あるアプリへの
  柔軟性が欠落してしまう...ユーザ側のディスクトップに/Appl/users/<user>を設けてそこにアプリを自由に
  インストールさせ、ユーザの/home/<user>は中央で管理がいいのだろうか...
• H31(2019).4.1
  新年度
  積み残しが多くて困っている...なんとかせねば
  siloでpickとか2Dはできるのだが、エレガントではない. もっと操作性を高めてみたい
• H31(2019).3.29
  年度末最後まで多忙...
  ebayに注文したInfiniBand Switchがまだ来ない...
• H31(2019).3.24
  windowsServerで作ったNFS領域をLinuxでマウントして、Linuxからinotify-toolsで監視したのだが、ファイル作成の完了などは
  感知できなかった...Linuxで作ったsmb領域をwindowsがマウントして、Linux側から監視することは出来ているのだが...
• H31(2019).3.22
  胃腸炎はだいぶ楽に...っが、風邪を引いた..
• H31(2019).3.19
  胃腸炎になったっぽい. この年度末にきつい...
• H31(2019).3.18
  Appionを作り直してみた. これって非常に難解.
  windowsServerのNFSでexportはできて、linuxクライアントでmountもできた.
  っが、ユーザでのアクセスができない...mappingファイルの調整で行けるようなのだが、成功してない..
• H31(2019).3.11
  合掌
• H31(2019).3.10
  MS様のWindows Storage ServerでNFSは運用できる。LinuxのNFSよりいいのか不明。だたこれを言い出すと
  BSD系とかSolaris様、FreeNAS様、QNAP様とか検討先は多数に及ぶ。パフォーマンスは重要だけど、
  万が一のドキュメント、訊ける先、費用(+人件費)らが色々絡み合う。資料を探せねば....
• H31(2019).3.7
  一回休み
• H31(2019).3.5
  google先生から「ページがモバイル フレンドリーではありません。」と言われてたので修正してみた。
  SEO対策ではなく、単に自身がモバイルを使って確かにフレンドリーではないなと感じたから...
• H31(2019).3.4
  「Visual Studio Professional with MSDN」で複数のwindowsOS環境で検証できるのだが、、検討中....
• H31(2019).3.3
  ebayでinfiniBand switchを購入したのだが、まだ来ない. 一方で10gSwitchもそろそろ揃え様かと思案中.
• H31(2019).3.2
  年度末...ぅーん香ばしくなってきた..
• H31(2019).2.28
  cuda-10.1がリリースされた
• H31(2019).2.23
  cryoSPARCなんだけど、、クラスター運用でgpuid:0は使われてないっぽい...「cluster_script.sh」のdevidxを0から探索にすれば
  回避っぽいのだが....意図が分からぬ
  pigzの威力が凄すぎる.
• H31(2019).2.20
  infiniBandカード到着. っが試す時間がない...
  usb3.xメモリーをM/Bに刺してHDD化できないものか...
• H31(2019).2.16
  CentOS6のインストーラーはInfiniBandカードを認識してたのに、CentOS7では認識しない。困った...
• H31(2019).2.14
  複数nicな計算機にPXEbootでOSインスト. bootdevが必要だった...しかもCentOS7なのでnet.ifnames=0でethX名称に...
• H31(2019).2.13
  InfiniBand Switchをebayで購入. まぁ中古だけど. SubnetManagerなしなunmanagedだけど.
• H31(2019).2.10
  BeeGFSのmulti mode完成.
  client機能部分のドキュメントが不足気味で苦労. あと本家のページは微妙...
  ctffind-4.1.13でマルチスレッドが使えるようになった. 「ctffind -j:4」とかで指定
• H31(2019).2.7
  [relion --idle 0]なら無制限って思ったけど、違ってた...
• H31(2019).2.6
  久々にsilo. ある要望でBeam shiftに対応中. 20secに１枚かぁ...
• H31(2019).2.1
  rsyncで同期を取ると現在漏れなくsshが仲立ちしてくれる。
  これはこれでいいのだが、従来のrsyncdでsshを介さない方が速い様な気がする
• H31(2019).1.20
  コマンド、ライブラリが被らないなら/usr/localに配置させ、被る可能性のあるのはmoduleコマンドで
  隔離すべきなのかな？ただ、その際もloadする際に、被る対象をunloadさせるべきなのかも。
• H31(2019).1.14
  dhtmlxばかり使っているが、jQuery UIにも慣れた方がいいのかも...
• H31(2019).1.11
  windows10が再起動してしまった...
• H31(2019).1.1
  謹賀新年
• H30(2018).12.27
  siloに複数のpickerを入れたり、relion_it.pyのように2D/3Dを導入したいのだが、時間取れない....
  dhtmlxをEnterprise Licenseに更新

過去メモ