chaperone

御アクセス頂き誠にありがとうございます。

当サイトは個人の備忘録として存在しております。

そのため、内容は極めて個人的な域をでず、故、内容には一切の責任を持てない事を重々ご了承のほど願います。

然るに、其の採用・参考は自己責任にてお願い申し上げます。内容が古い、間違っている、読みにくい、

誤字脱字、不明瞭、意味不明、駄文とのご感想の際には謹んで深くお詫び申し上げます。

国語の学が弱い若輩故、文書きに長けておりませぬ故、深く恐縮申し上げます。

気が向くままに描いた記事たち。小さく隅に置かれる記事でございますが、いつかは完成させたく存じます。

東京五輪、招致成功に万歳。

研究活動を促進するIT支援な仕事がしたいです、しかも現場で、、ってどなたか.....
問い合わせ先：info_at_sysosa.jp *_at_を＠にして下さい
ミラーサイト: http://chaperone.sakura.ne.jp/w/

• H30(2018).7.15
  XDMCP経由でcudaマシンにアクセスできなかったが、xorg.confを修正してできるようになった.
• H30(2018).7.14
  長い間解決できなかった macOS から ssh で linux にログインして、そこで立ち上げた e2display.py で
  mrc画像を表示しようとしても出来なかった問題が解決.
  あとiMODの画像表示も解決. ながかったぁ
• H30(2018).7.9
  nvidia搭載lightDMマシンでiMODでの画像表示でエラーが発生. 深そう....
• H30(2018).7.7
  七夕
  他人のstdoutを見たいという. 今時代いいの？って思うのだが、理由に計算が終わる時間を見たいという.
  なら「pcput」とか「cput」で制限すればと思うのだが、、自分の計算は最後まで掛けたいご様子. 難題だ..
• H30(2018).6.29
  Torqueの提供元からアナウンスが...どうゆうこと？
• H30(2018).6.25
  500MBの４倍, 2GB(16Gbit)のファイルが1分毎にでてくるなら? 転送は1Gbpsなら 16sec.
  HDDの書込みがネックで 100MB/sec(800Mbit/sec) なら 20sec 必要. 残り40secでMotionCor2とctffind4/Gctfは可能か？
  まぁデータ次第だけど...
• H30(2018).6.24
  relionのautopick. GPU対応なのだが、1GPUに対して2MPIとか割り当てると途中で扱けた.
  1GPUあたり1MPIだと正しく動いた.
• H30(2018).6.22
  500MBほどでのデータが1分毎にでてくる。500MBなので500*8 -> 4000 Mbit のデータ. これを1Gbpsのetherで転送するなら4秒で終わる.
  HDDへの書込み速度は、3.5インチなら100MB/secほどは最低ある. これは800Mbit/secと言えて、4000/800 = 5sec. 律速はHDDで、それでも5秒ほど.
  なので転送、書き込み自体は現実10秒以内のお話. その後の処理をいかに効率よく完了させ、なるべく次のデータが来る前に終わらせたい.
• H30(2018).6.21
  風邪を引いたみたい.
  cactiを別のサーバに移したらストレージ容量が取れなくなった...
• H30(2018).6.15
  不安定なマシンを綿密に調査してくれてメモリーが原因だと突き止められた.
  シビアなマシンではメモリーモジュールのロットをそろえる必要があるみたい...
• H30(2018).6.12
  GPUが４枚のって、２枚で計算(--gpu 0:1)して、次にもう２枚で計算する場合、
  「--gpu 0:1」ではなく「--gpu 2:3」としないといけないみたい
  どうせならこの部分もqueuingスクリプトで対応できないものか...まぁー素直に４枚使ったらで済む話なのかも...
• H30(2018).6.11
  samba-4.8.2にようやく揚げた. CentOS7.5にしたらKerberosが 1.15.1 になってた.
  これでMIT Kerberosベースなsambaが作れそう. っと言っても利点が見えない...
  新機能の「VirusFilter VFS module」って常時稼働型のウイルススキャンとして使えるのかな？
• H30(2018).6.9
  Azureに加入. クラウドマシンを使う用途ではなくweb検索に使うため.
• H30(2018).6.4
  kerberosによるssoなサイトを作ったのだが、windowsはチケットの自動更新が上手く行くのか問題ない
  macOSだとチケットの有効期限がきれるとログインできなくなる...kinitを実行すればログイン可能なのだが、、、
  チケットの有効期限を延ばしても意味がなく、自動更新できる方法を探している
• H30(2018).5.26
  実機のオートローダーでBaculaを使ってみた.
  フルバックはpoolで「Full」と定義したテープに、差分は「Inc」のテープに自動的に切り替えて保存された.
  上書き禁止期間とか追記可能期間とかの微調整は残るものの一応運用開始.
  phenixのcryoFITはGUIからのqsubには現状未対応みたい.
• H30(2018).5.17
  Baculaを構築. VTLでオートローダーを作って基本動作を習得. Baculaの説明でファイルシステムへの
  バックアップを良く取り上げているのだが、実際にはテープで採取するシーンが多いと思うので微妙.
  その際の手順とかを考慮して作成してみた.
• H30(2018).5.3
  CentOS6のBonding設定を行ったのだが、分散がいまいち...xmit_hash_policy値の変更が必要かも
• H30(2018).4.28
  VRMの温度は測れないものか...高負荷で落ちる原因がどうもこれらしい。
• H30(2018).4.18
  ほんと多忙になってきた...
  Frealignの実行方法を勉強しているのだが、、難しい..
• H30(2018).4.9
  なんかちょいと多忙気味...
• H30(2018).4.8
  ノートPCが使えなくなった...っと思ったら先日のyum頓挫の修復でdhcpパッケージが削除されていた...
• H30(2018).4.7
  Scipion向けにpythonを作ろうとyum updateしたら、yum updateが途中で頓挫してyumの修復をしたら
  パッケージが幾つか消えて...そして再起動にもブート領域が消えて...Super Grub2 Diskで一応助かったけど...
  仮想マシンは起動しないやhttpdも正常に動かず...疲れた...
• H30(2018).4.6
  Scipionが更新された...1.2.betaからのupdateが分からん..単純に置き換えでいいのかな
• H30(2018).4.4
  dhtmlxでアプリを作っている. このライブラリで画像を弄れるかなって思ったのだが、なかった..
  canvasで作るか...
• H30(2018).4.1
  ストレージを追加したらcactiでの容量表示が間違って表示される. 原因はデバイスが変更になったら..
  label指定かUUID指定でできないものか...
• H30(2018).3.31
  年度末. 3月がこんなに多忙なんて久しぶり.
  ようやく/Applの領域が拡大になったので溜まっていたアプリを入れられそう.
• H30(2018).3.27
  一年かぁ
  eman1のrunparだけど、rshで動いてくれない...計算機ノードへのsshログイン/rlogin禁止だから
  qsubのインターラクティブモードでrshしてくれたら嬉しいのだが...設定ファイルを用意してもsshで
  進もうとしてします...
• H30(2018).3.23
  kvmが使えない仮想マシンでsambaをmakeしたら4時間以上かかった...atomマシンでも30minなのに...
• H30(2018).3.22
  vmxが使えるのにbiosで無効状態. それでもqemuで仮想マシンを作ったのだが
  「Performing post-installation setup tasks」でずっと処理中. kvmエンジンでないと遅い...
• H30(2018).3.20
  samba-4.8.0に更新しようとしてinstall、その後checkをしたらエラーが発生. timemachine機能を試したかったのに...
  Scipionのlibquadmath要求は連携アプリの構築に必要だからっぽい. 基本CentOS6でも動くみたい.
• H30(2018).3.12
  1000や2000のjpegファイルをタイル表示で一度にwebブラウザに表示するのは難しいのかな..
  大本のイメージファイルをwidthとheightで小さくしてもイメージファイルの転送量には変化なし.
  ならon the flyでGD/ImageMagickを使ってサイズを小さくしようとしてもその処理が重い..
  100枚単位とかでpagingさせるのがいいのかな....
• H30(2018).3.11
  合掌
• H30(2018).3.6
  queueにpcputを付けてみた. 使っているcoreの中で最長のcpu時間が上限となる. 各coreの合計cpuタイムではない.
  gpuノードには必要な項目かな. まぁcpuノードにもだろうけど.
• H30(2018).3.3
  記憶域スペースダイレクト. なかなか面白い. Glusterっぽいって言ってはだめ？
  windowsOSで構築したnfsサーバって使ったことないなぁ..
• H30(2018).2.28
  gpu4枚載せたマシンがフリーズした. watchdogで自ら再起動させる手はあるようなのだが、
  対策を施さずに再リリースしていいのか迷う. 同じ状態で再リリースするにせよセンサーで状況を
  図れる状態にしてリリースしたいものである.
• H30(2018).2.27
  tar czfで遅い. このときcpuが100%未満ならcpu以外の課題(HDD/SSD/NICら). 100%ならそれはcpuの能力課題.
  っで単純化させすぎかな. 転送速度がinterfaceの性能未満で100%のcpuならcpu能力不足？
  あるいはプログラム側/デバイスドライバ側の課題？
• H30(2018).2.26
  Aquantia AQC107だがCentOS7.4提供の「1.5.345.0」はどうやら転送が遅い. 加えkworkerのプロセスが異常に高くなる.
  1.6.7.0はkworkerの働きが抑えられ、それが原因かは不明だが高速にデータ転送できた.
• H30(2018).2.22
  dockerのDockerfileって、、kickstart、Ansibleと同じようなものでいいのかな？
  まぁイメージから起動したコンテナを調整して再度イメージに戻すでイメージを作るのもありでしょうけど.
  単一サービスの複数展開なら有効なのかな. でも他の要素が入り混じる環境なら仮想化マシンかなぁ...
• H30(2018).2.20
  dhtmlxでアプリを作っている. dhtmlxFormでtextareaを使うとgetItemValueで拾えない. std5.1でも再現...
• H30(2018).2.18
  ruby-helixをdockerでと思い色々試しているが、ruby環境だけでなく、他のアプリもdockerに埋め込むと
  それって仮想化でよくない？と思う. あとホストとコンテナを繋ぐのも面倒かなぁ
• H30(2018).2.15
  ebayでqdr/10GbEが2,000円弱で出ている...fdr/40GbEも9,000円以内...
• H30(2018).2.13
  cryoSPARCをupdateしたのだが、使用するGPUをqueueでコントロールできるようにして欲しい...
  あとユーザ管理をldapとか参照するようにして欲しいなぁ...
  mssqlにMINUS演算子がないのね...EXCEPT演算子を代わりに使うのかぁ....
• H30(2018).2.10
  CryoFitを入れてみた. っがPHENIXのGUIに項目が表示されない...macOS版でも試したが同様に項目が表示されない...
  zSpaceがPyMOL、COOT、Chimeraで使えるそうな. 2Dから3Dの流れなのだろうが、2Dのモデリングで十分では？
  っと思ってします. でも教育機関では威力十分かな.
• H30(2018).2.4
  Ansibleを使ってマシンを微調整. kickstartで形を作って、Ansibleで細部を調整.
  3台以上のクラスター構築にはいいかも
• H30(2018).1.31
  Microsoft SQL Server on Linuxを導入. ついでにsamba active directory経由でwindows認証によるssoを作ってみた.
  以外にすんなり行けた. 単にmssqlで「FOR XML PATH()」を使いたいだけだったのだが、、ここまで作ってみた...
• H30(2018).1.30
  Apple macOSでvirtualBoxを試しているのだが、ネットワークの「ブリッジアダプター」が正しく動かない...
• H30(2018).1.24
  この手のチューニングは切が無く、逆効果のときがある... http://fasterdata.es.net/
  以前ORACLEで工夫を凝らしたら逆に遅くなった...
• H30(2018).1.23
  ubuntu16.04をインストールして、カーネルモジュールを追加するためmake installしたら
  「Required key not available」と言われた. 所謂Secure Boot関連である. なのでBIOSをSecureBoot無効に
  したら今度はOSの起動そのものが出来なくなった...仕方なくSecureBoot無効でubuntu16.04を再インストールで回避.
• H30(2018).1.18
  10Gbeをiperf3で試したら3.38Gbits/secしか出なかった...ケーブルが問題かな...
• H30(2018).1.16
  centos7.3を7.4に揚げたらzfsが動かなくなった...どうやら7.4専用のリポジトリを使う必要があるようで
  それまでのzfs関係のkoをdkmsで全て削除して、間違って入ったko(/lib/modules/`uname -r`/weak-updates/*)も
  削除する必要がある. TeamViewerの記事を書いた. 便利なんだけど、、
• H30(2018).1.14
  10Gbeが届いた.　Aquantia AQC107搭載なのだが、OS標準のドライバで認識.
  Tehuti TN9510もdkmsとかに対応して欲しいのだが...
• H30(2018).1.13
  10Gbeを購入. InbiniBandカードとの違いを書きたいので.
• H30(2018).1.11
  2,3台の計算機なら/etc/passwd、5-8台ならnis/ldap、macOSとwindowsも絡むならadかな
• H30(2018).1.5
  icc 2017でrelionを作ろうとしたが、cuda側でicc 2017が未サポートだった...amberさんでも同じ報告があった
  もちろんcuda抜きのrelionなら作れそうだが....
• H30(2018).1.1
  謹賀新年
• H29(2017).12.31
  年末. お疲れ様でした.
• H29(2017).12.30
  macOS版relionからsshを経由して、ジョブ発行ノードからqsubが行われるようなスクリプトを作ってみた
  ただnfsとかで共有され、パスが同じであることが条件. 計算場所が/data3/runならmacOSにも/data3/runを持つこと
• H29(2017).12.27
  macOSなrelionからshell scriptを使ってqsubができるかも...むしろこっちの方が簡単かな..
• H29(2017).12.24
  「Docker for Mac」がある. これを使えばmacOSからqsubができるかも...
• H29(2017).12.18
  SMB multichannelにようやく成功
• H29(2017).12.13
  intel-nicのチップによってSMB multichannelができるもの/できないものがあるみたい. 82571EBは無理っぽい.
  工夫すればいけるようなのだが...
• H29(2017).12.11
  ASUS ROG RAMPAGE VI EXTREMEにgpu4枚刺してrelionを実行. っが途中で扱けた. 原因が分からず困惑したが、
  一応BIOSをvers1002にしたら回避できた. 昨日vers1004がリリースされたのでそれにupdate予定.
  200V1500Wの電源で1080(TDP180W)x4枚+i9 7960X(TDP165W)はセーフ. TDP250Wの1080Tiは無理？
• H29(2017).12.10
  windows10評価版を入手. versionがEnterpriseの通常版とEnterpriseのLong Term Service Branch（LTSB）がある.
  Enterpriseの通常版がインストールできなくてLTSB版をインストール. 機能的には差がないようだが、
  非常にすっきりしている. 余計なものがない. しかも不承知なupdateの再起動をしないらしく、これがいい.
• H29(2017).12.06
  VMwareESXi5.1を使っているが、vSwitchが消せない...GUIから消せないのは既知のようでesxiマシンに
  ログインして「esxcli network vswitch standard remove -v vSwitch2」にて削除
• H29(2017).12.01
  師走かぁ...Aquantia AQC107を持つ板にCentOS7を入れたら動いた. ならその下位製品のAQC108を持つ
  supermicroさんの板もすんなりCentOSが動くような気がするのだが...
  多少余裕ができた. そう言えば、「.local」ドメインを使うなと言う記事を見た. 既存環境からの変更は厳しいな..
• H29(2017).11.29
  supermicroさんでIPMI付きX299の板が販売されている. っがnicは5Gbps. 現状対応OSにCentOSがない...
  ubuntu17.04ならOKらしいのだが、17.04ってcuda8が未サポート....
• H29(2017).11.25
  咳が収まらない. 一度咳き込むと長く続く. 参った...
• H29(2017).11.18
  HUBのLAG設定を調整し忘れたのでTeamingが出来なかったみたい. 無事終了.
• H29(2017).11.17
  CentOS7でLACPのTeamingがどうしてもできない...Bondingでするか...
• H29(2017).11.16
  今月、どうも体調が悪い. 咳が続く..
• H29(2017).11.15
  mkfs.xfsでフォーマットする際、ストライプサイズ(ストリップサイズ)とデータディスク数に留意して
  12本のHDDで256kBのストライプサイズのRAID6なら「mkfs.xfs -d su=256k,sw=10 /dev/device」との事.
  hw-raidカードのディスク追加による容量拡大のとき、swは修正可能なのだろうか....
• H29(2017).11.09
  ESXi5.1でcudaの仮想化は無理でした. 成功された方の記事を探すと6.0とか...いい加減6.0とか6.5に挙げるかな..
  Torqueで用意したqcat,qhead,qtailをPBSPro向けに修正. 一応完成. だが、STDOUT、STDERRのファイル権限が
  qmgrで制御できない事が発覚. ユーザ側でqsub発行時に「-W umask=0026」とするなら変更は可能だが...
  議論はあるけど、group内ならSTDOUT、STDERRは閲覧可能にして欲しいかぁ..
• H29(2017).11.07
  調子が戻らん. 「Fall Creators Update」の記事を読んだのだがWSLでcudaはまだ未対応みたい.
  なのでwindows(WSL内)でrelionはお預け. ESXiでcudaの仮想化が可能との記事を拝見. ありがたい
• H29(2017).11.01
  pbsproのwindowsパッケージが完成. これでwindowsからもqueueが流せる
• H29(2017).10.28
  PhenixにCryoFitが用意された. エンジンはGromacsで座標を電顕マップに馴染ませる. Phenixで用意されたことに驚いた.
  SeralEMで自動撮影中に外部コマンドを発行できそうで、php.exe経由とかでGPUマシンにジョブが流せそう.
• H29(2017).10.27
  まだ風邪が治らない...
  Rocket.Chatを「さくらのレンタルサーバ」で出来るかなと調べたら無理だった..
  「ご利用上の注意」に「daemonとしてサーバーに常駐するプログラムの実行」が禁止事項なので
  MongoDB、nodejsが動かせない. 「さくらのVPS」なら行けるみたい.
• H29(2017).10.25
  まだ風邪が治らない...寝そべりながら構造式検索webアプリを再調整した.
  元のマシンが非常に非力なので派手にスクロールすると止まる. ページングとかをいれればいいのだが、ライセンスが必要.
  Android/iphoneとかでバーコードを読んでwebアプリにデータを回せれば在庫管理にもなるかな.
  法規制化合物とかの検索云々ならメーカ謹製を使いましょう.
• H29(2017).10.23
  風邪を引いた...喉が痛い..咳きが酷い..
• H29(2017).10.20
  windowsPCからqsubを投げれるようにpbsproをコンパイル. 道が険しそう...
  OpenSerialEMにファイルを保存したら直後にqsubを発行できれば...
• H29(2017).10.17
  冷えるなぁ...
  sambaADを運用で使ってるけど、ADに起因する問題はない. GPOの設定ミスで大怪我したけど修復後は順調かなぁ
  ただwindows2012らをADDCとして加入させるならwindowsのみでADを運用したほうが楽だと思う.
  kerberosSAMBAaddcにして属するLinuxはkerberos、NFSもkerberosで試してみたい...
• H29(2017).10.16
  dhtmlxでアプリを作っている. ふと思うのだがPivotに画像とか数式を載せられるのだろうか.
  アッセイデータと連携できれば面白いのにと思うのだが、、、需要はあるかな？
  1080Tiカード(レファレンス)が軒並み在庫切れ...メーカー独自ので4枚は行けるのかな？
• H29(2017).10.15
  postgresqlで巨大なテーブルを削除したのに、./dataサイズが減らない...仕様なんだね...
• H29(2017).10.13
  slackクローンなRocket.Chatを仕込んでみた. オンプレミス. フリー. 日本語充実はありがたいかと.
• H29(2017).10.11
  CentOS7でGroonga + libstemmingだとコンパイルエラーが発生..libstemmingなしで構築
  windows10でpostgreSQLの運用とか考えたけどライセンス的に怪しいので却下. クライアントOSだからね.
• H29(2017).10.10
  「Windows Insider Program」に加入して、Linux subsystemからNFS/SMBを確認しようかと思ったが、
  10/17以降に「Fall Creators Update」が行われ実装される可能性が高い. これを待ってみることにした.
  化合物の名称検索にstemmingのSnowballが使えないかと一考. PGroongaで利用可能みたい.
• H29(2017).10.09
  140万件ほどのデータでPGroongaを掛けた。数秒で答えが返ってきた. 応え合わせも完璧だった.
• H29(2017).10.04
  中秋の名月
  昔ORACLEに写真データを収めるスクリプトを描いたことがあるのだが、面倒だった...長大な文字列も...
  今は楽なのかもしれないが、mariadb,postgresで足りて、sqliteでいいやと思うこともある...用途次第だけど..
• H29(2017).10.03
  使いたいライブラリーがある. っが有料である...手元の資金がない...
  日本語全文検索PGroongaで類似文書検索が出来ることを知った...更新してみる
• H29(2017).10.02
  PBSPro完了. 動作がいい. TORQUEより機敏に割り当てが行われているような気がする.
  samba共有フォルダ記事を書き直した. windowsPC上から共有フォルダを操作できるようにしてみた.
  Domain AdminsとAdministratorにGID,UIDを用意して成功. idmapのadで行ってみた.
• H29(2017).10.01
  PBSProをテスト中. TORQUE PBSとほとんど同じ. gpuの指定が上手く行くか検証中.
  ドキュメントの豊富さからTORQUE PBSはいいのだがmauiとgpuの組み合わせに難がある. っでPBSProを試験中
• H29(2017).09.26
  slurmを更新.
  どうやら09.25 06:09から外部との接続が切れていたみたい. 原因はHUB. portを変更したら繋がった....
• H29(2017).09.23
  TORQUE向けに qcat、qtail、qhead を作ってみた. 次は qhist かなぁ.
• H29(2017).09.20
  IPMIが無くてもリモートから制御/再起動ができる vProテクノロジー
  っが対応させるにはcpu/チップセットらの対応が必須みたい. Q170,Q270,C236とか
• H29(2017).09.19
  ESXi環境をすべてqemu/kvmに移行しようかと思案中. とある仮想環境を移行できればになるのだが..
  wake on lanって10G etherには通用しないみたい. サービスLANを別途用意して100Mbpsで繋げるしか無いみたい.
• H29(2017).09.12
  macOS SierraからLinuxマシンにssh接続して、暫くして「packet_write_wait: .... Broken pipe」の原因を調査中..
• H29(2017).09.10
  顧客のご要望で臨床研究の基礎知識をe-ラーニングでやっと習得. 生物統計学の難しさには堪えた..
  BoWでtorqueの他にRelionもコンパイルしてみた. できる. っが、何らかのXサーバは必須.
• H29(2017).09.05
  ローカルディスクのフォルダをブラウザで、suggestionっぽく行かないかなと駆使.
  特定フォルダ以下の全サブフォルダリストを持てばいいのだが、入力したフォルダの一階層下の
  リストのみを出すようにして、その循環で構築. 出来たけど、[tab]で次の循環に回らない..
• H29(2017).09.04
  relion/MotionCorrection,Dose-weightタブの「Pre-exposure」の説明で「MOTIONCOR2で使わないよ」と
  あるのだが、ソースから見ると「-InitDose」に渡しているように見える.
• H29(2017).09.02
  relionへの偽装の目処が立った. あとは一通テスト. 後はファイル進捗表示かな.
  次の段階は、windowsのgui操作で起動実行させてみる. powershellレベルでgui構築かな.
• H29(2017).08.31
  ファイル作成の感知にinotifyを使ったけど....いまだとnode.jsの方が良かったのかな
• H29(2017).08.29
  pythonアプリを複数並列に稼動させる. ひ弱なマシンには難しいのかも..
  自動計算なツールをGitBucketなサイトにアップ.
• H29(2017).08.27
  macOSから他へssh Hostbase認証が通らない...GSSAPI認証が通るからいいけど...
  macOS向けにコンパイルしたRelionからqsub(Torque-2.5.13)を経由して他のPCにジョブを投入することに成功.
• H29(2017).08.26
  Torque-2.4.17をmacOSにインストールして、queueを処理することに成功.
  ただ、、その際管理ノード、計算ノードらのTorqueを全て2.4.x系にする必要あり. 既存の4.2.10では無理
• H29(2017).08.25
  Toqrueの代わりにHTCondorを検討中. macOSでも動くみたい.
  macOS内でrelionを立ち上げ、そこからqueueを投入できればいいのだが...
• H29(2017).08.24
  スクレイピングしたらスペースのあるファイル名を拾った...後の処理で止まってしまった...
  括弧「(,)」はクオートとかで回避させているが、空白はちょいと困る...処理系を直すか、取得段階で手を打つか...
• H29(2017).08.23
  膨大な量のファイルを処理するなら...対象をcoreの数だけ分割して同時に処理を掛けるのが望ましいが、
  同時にその対象を個別のSSD/HDD(/dev/sd[abcdef]1)に分配するのも必須だな....
• H29(2017).08.21
  webから起動指示して、特定の場所を監視。mrcs/tifを感知してMotionCor2を実行する一通テストが完了
  あとはGain/Defectファイルの取り回しとrelionIFへの橋渡し(偽装)かな.
• H29(2017).08.20
  Torqueのジョブ制御コントローラーに maui を使っているのだが、これがどうやらGPUには未対応
  Torque提供の torque-scheduler は対応なのだが、、neednodesを使えない....
• H29(2017).08.17
  webからinotifyを起動させ、キャッチしたファイルに特定処理を掛ける基本的な仕組みがようやく完成かな...
  dhtmlx,ssoでkerberos認証,sudoでapacheからユーザへ...結構な作業量なんだけど、あとrelionとの連携か...
  BeeGFSが本家で紹介されていた.
• H29(2017).08.15
  webアプリからsystemプロセスを投下させ、webアプリを閉じてもそのプロセスは稼動させるとする。
  ajaxで非同期プロセスを exec("initify args >/dev/null &"); とかで投げればいいのかな？
  プロセスの所有者はapacheになるのだが、sudoを噛まして別ユーザに成りすましを行うか...
  PrivateTmp....
• H29(2017).08.14
  OpenSerialEMをVisualStudioCommunity2015でコンパイルしたらエラーが発生. コードに依存するもので
  多少の手直しは出来たけど、、無理っぽい. まあVisualStudioCommunity2013でコンパイルできるからいいか.
  でも同じ問題があるはずなのにversionによって違うとは...
• H29(2017).08.11
  dhtmlxから「Pivot」がリリースされた
  webブラウザ内でデータが簡単に「Pivot」できて、多様な見方を瞬時に表示できていた. 当然エンジンはJavaScript.
• H29(2017).08.09
  とあるwindowsアプリをソースからコンパイル中. MFCが必要と言われ途方に暮れたが、Visual Studio Communityなら
  無償で使えるそうな. っが、もともとvs2010なprojectを移行できるのか？
• H29(2017).08.07
  samba-4.7.0rc3を試そうとコンパイル. CentOS7ではMIT Kerberosの要求バージョン(1.15.1)に叶わず
  krb5を別途インストールする必要がある. ubuntuは1.15.1に対応済み.
  sambaのバックアップからリストアを行ってみた. sysvolの権限周りとdnsupdateに注意すれば大丈夫みたい.
• H29(2017).08.06
  Ansibleを使ってみた. 結構便利. kickstartで大枠を作って、細かい作業と運用途中で
  生じた変更をこのAnsibleで対応させればいいのかな.
• H29(2017).08.04
  httpsにしてみたcertbot. urlの書き換えはapache httpdのRewriteEngineにお願いした.
  GCCさんの4.9はAVX512Fに対応済みのようで「-mavx512f」で行けるそうな.
  現行でもAVX2向けとかに最適化すべきなのか...
• H29(2017).08.03
  disklessクラスタを検討している. 簡易に作れそうではあるがinfiniband/10g/1gとマシン系、
  ストレージ系、メンテ系とか考える必要はありそう. chefを使った方がいい場面もありそう.
• H29(2017).08.01
  dnsmasq、DNSとDHCPの両方の機能を持つデーモン. /etc/hostsをDNSレコードと看做して管理運用可能.
  非常に魅力的なのだがsambaのDNSで運用しているので使っていない..
• H29(2017).07.31
  テキスト処理において、共通部分の抽出と、その共通部分を剥ぎ取った部分が欲しい.
  diff, commコマンドで共通部分は取れて、共通部分と対象のdiffで対象のオリジナル部分を得る.
  これでいいのかなと思うのだが、、、上手くいかない.. WinMerge + cscript で対処検討中
• H29(2017).07.26
  uefiとかgrub2を調べたのですが、難しい...不具合時の対処に必要かと勉強したのだが....
  relionがupdateした. こちらの改修とまじぇまじぇするためにatlassianのsource treeを使っている.
  まぁーlinuxのgitで行うべきなのかもしれないけど
• H29(2017).07.24
  Linuxのシステムディスクをsoftware raidで造ってみた. 仮想マシンで検証して試せたが、実機でも
  試すべき内容かな. 何事にも用途に応じた相応しい提案を行いたいものだ. software raidもその一つ.
• H29(2017).07.23
  Azureに参加. Cognitive Servicesを利用するため.
  site指定とかドキュメントタイプの指定とか無理なのかな...Google Custom Search APIの方がよさげ？
• H29(2017).07.21
  software raidなシステムディスクってありなのだろうか？ふと思った
• H29(2017).07.20
  LinuxのHDD障害でOSを入れ代えたら外部との通信ができなくなった..
  原因は２つのnicをHUB側でLACPとして繋げていたから. 別のポートに差し替えて通信可能になった.
• H29(2017).07.19
  windows環境でVirtualGLの稼働環境を作ってみた. cygwinで作るのが比較的簡単かな.
  「Bash on Ubuntu on Windows」でMIT-SHM extensionなXサーバが出たら嬉しいな.
• H29(2017).07.18
  VirtualGLを試したが、確かに早くなった気がする.macOSはxquartz経由(VGL Transport使用)でok.
  windows環境はちょいと面倒かなぁ...
• H29(2017).07.16
  relion-2.1-beta0を使って2台で4GPU、１台で4GPUの比較を行ってみた. 結果は大した差はなし.
  2:07:05(2node,2GPU/node,5MPI[4threads/MPI],10Gbe),2:07:59(1node,4GPU/node,5MPI[4threads/MPI]).
  ちなみに2GPUで計算なら3:07:59と3:10:11ほど(1node,2GPU/node,3MPI[4threads/MPI]).
• H29(2017).07.12
  ふとしたことでwindowsXP32bitを仮想で構築. windowsUpdateが今も提供されていることに驚く.
  relion-2.1-beta-0のupdateが出た. gitでpull,mergeして make; make installかな. このrelionをKNIMEに入れたい..
• H29(2017).07.11
  NaiveBayesを勉強中...トレーニングを終えた分類器を多数の文書に当てて該当か否かを判断するには
  多数のcoreと多数の個別diskが必要なのねと理解した.
• H29(2017).07.09
  ssoについて検討中. あとテキストマイニングも...ハードル高ぃ..
  問い合わせのページにCAPTCHAとか入れようかと思案したが、、面倒なのでメールアドレスだけ設置した.
• H29(2017).07.07
  sshでどんどん渡り歩く(server -> n1 -> n2 -> n3 -> n4)方法[ssoで]だが、ようやく分かった
  .ssh/configで「GSSAPIDelegateCredentials yes」を有効にすればいけた...OpenAMを入れればって
  思ったのだが、小手先の問題だった模様...OpenAM、、OpenLDAPと絡めてsamba-adでの利用を検討する
• H29(2017).07.06
  samba-4.7.0-rc1が出た. samba-adでMIT Kerberosを使えるようになった模様. これで何が齎されるのかは？
  rcが明けたら導入かな
• H29(2017).07.05
  今日も暑い....
• H29(2017).07.04
  暑い....
• H29(2017).07.03
  自宅マシンへのVPNを作ってみた. 自宅LAN内の中で作ったsa証明書、TLS証明書、クライアント証明書が
  漏れない限りセキュリティーについては大丈夫かと思っている.
  一応完成したが、ssh/PortForwardSSHでリモートディスクトップを呼べるので、これは必要か？
  とも思う. まぁ、用途次第なのだろうけど.
  この気温の変化に着いていけない...
• H29(2017).07.02
  ノートPCを購入した. 早速VMwareWorkstationを入れてLinuxらを構築.
  外出先からテザリング経由で自宅へVPN接続でないかと画策中
  そろそろOpenAMを導入してみるか..
• H29(2017).06.30
  multi-pageのtiffのトリミングだけど、結局ImageMagickのconvertで簡単に行けた.
  同じくImageMagickの「identify -verbose」で詳細が分かる.
• H29(2017).06.29
  multi-pageなtiffイメージをトリミング...pythonで作ってみたけど...
• H29(2017).06.28
  朝から調子が悪く予定を幾つかキャンセル. relion-2.1-beta-0に修正が出ている.
  gitのbranchを駆使したこちらの修正部分とのマージ方法を書き記したい. 寝そべりながらできる事を幾つか.
• H29(2017).06.26
  ownCloud-10.0.2を作ってみたが、OS付属のphpらが対応せず余計な手間が発生した
  sclを使えば新しいバージョンを使えるのだが、既存コンテンツディレクトリの調整が面倒になる
  dockerで回避するのもあるが、専用のdocker imageを作る羽目になりそうで、なら仮想で十分かなと...
  CentOS7にdockerでCentOS6を組み込み、そこでruby-helixを調理する。っでそのdocker imageを配布...ありかな...
• H29(2017).06.18
  あれやこれやで、４月から２ヵ月半が過ぎた。当初構造式検索部分を充実させたいと思っていたのだが...
  そろそろメール送信画面を作ってみたい. その際「私はロボットではありません」チェックとかCAPTCHAとかを使いたい
• H29(2017).06.15
  MacOS向けのジョブコントロールアプリって商用しかないのかな.
  relion、sphireをMacOSのローカルで動かして、qsubでジョブ投入できたら嬉しいのだが..
• H29(2017).06.14
  mastodonの記事を書いた. 改めて記事に仕立て直すと不明瞭な部分がはっきりする.
• H29(2017).06.10
  6TB HDDの1.6TB認識はどうやらSATA-USB変換がUSB2.0だったためみたい。SATA-USB3.0変換なら大丈夫みたい
• H29(2017).06.05
  FileMakerProAdvにて配布可能なruntimeを作ったのだが、その実行にはMicrosoftVisualC++2015再頒布可能
  パッケージが必要で、検索してlinkを辿ると
  「We're sorry, this download is no longer available.」といわれる。
  結局、https://www.microsoft.com/ja-jp/download/details.aspx?id=52685から得られたが、
  再配置して欲しいものだ
• H29(2017).05.30
  ひさびさにFileMakerPROを触っている。バージョンは13。FileMakerのサイトにも記載されているが
  やっぱり開発は容易で、カスタマイズにも優れている。要件次第ではやっぱりこっちが楽かな
  dhtmlxを駆使して左にツリー、右にタブでGrid・Panelなんて芸当はFMには厳しいかな..
  けどAdv版だとキオスクモードが作れて配布が可能。これを試したくて保持してます
• H29(2017).05.24
  NASからエラーがでて交換した6TB HDDがある。これをセクター修理とかで再利用を思いついた
  っで、とりあえずUSB接続でLinuxに繋げたら1.6TBと認識...windowsにも繋げても1.6TBと認識...
  型番はwd60ezrx。調べたらfaqのようでwdからファームウエアの更新方法が掲示されている
  ただしwindowsから修正は32bitOSが要求され、Linuxでは別途bootイメージの作成を要求される...
• H29(2017).05.23
  Let's Encrypt様から証明書を頂き、Mastodonを稼動させるべく調査を進めている
  VirtualHostを駆使して mastodon.chaperone.jp なるサイトを作ろうかしら。用途は...微妙
  内部で使えて、しかも外部からも使えるようにするには「ProxyPass/ProxyPassReverse」の世界かと思うが
  組織の情報システム部が許可するかしないかに掛かるかと思われる
• H29(2017).05.21
  Mastodonがようやく動いた。
• H29(2017).05.20
  古いiPad2のsafariからo365を使ってみたが、、重いね
  簡単なテキストを書き留めるくらいなら十分なのだが、アプリとかＯＳとかどんどん鈍重になるのは残念
  CentOS6と7でlibudev.soが異なり、openmpi-2.xが共存できない...
• H29(2017).05.18
  ここで使っているwiki。pukiwikiであるが、utf8版とeuc版がある。ここではeuc版を使っているのだが
  先日utf8への変換を試みた。記事自体は問題なく移せたのだが、画像が移らない...不備はないのだが、
  OSのLANGと合わせておきたいものである
  化合物の構造式検索、そろそろ機能追加を行う予定。在庫確認とアッセイデータを載せれるようにしたい
• H29(2017).05.17
  CentOS7はRHEL7のクローンで標準で搭載されているアプリケーションは古いものが多い。
  そのため新しいサービスを提供しようにも、古いパッケージが足かせになることがある。
  ownCloudが例で、php-5.6が最低必要なのだが、標準提供はphp-5.4。なので別途対策が必要。
  phpにてphp-5.6の適用方法を掲載したが、OSを別のにしたほうがいいのではとも思う
• H29(2017).05.11
  windowsPCのGUI画面からLinuxコマンドを実行する。出来るだけ簡便に簡素に描く
  GUIはPowerShellで、Linuxへの橋渡しはssoなputty.exeで　と。要素の予備検討は完了で仮組みへ
  GPOでログイン、ログアウトが定義できるみたい。装置の使用時間が求められそう
• H29(2017).05.07
  事業用の名詞を作った。取得ライセンスを書こうにも無い事に絶句...無免許では無理だよなぁ
  dhtmlx/schedulerまぁカレンダーである。結構いい。施設予約、行動予定表にも使えるかと
  あとo365と連携できそうな気がする。o365の予定表のデータをこのカレンダーで表示/追加/更新とか
• H29(2017).05.06
  Office 365 Business Essentialsに加入してみた。adsl回線だけどoffice onlineの稼動に支障ない
  保有ドメインの一つをo365に移して、レジストラのdns設定画面を調整してメールも受信可能に
  自宅鯖でメール受信/送信もできたけど、迷惑/ウイルスメールの対処を考えるとo365に任せるのが楽かな
• H29(2017).05.05
  phpからMariaDB(10.2.4)を使おうとしたら、phpのmysqlモジュールのバージョン(5.4.16)がMariaDBと一致してなかった
  phpをソースからリコンパイルすれば回避可能なのだが、MariaDB(10.2.4)を辞め、OS提供のmariadb(5.5.52)に変更
• 170503
  CentOS7配布のopenmpiで
  「The /dev/hfi1_0 device failed to appear after 15.0 seconds: Connection timed out」なるエラーが発生する
  CentOS7.4で修正するようだが、自前でコンパイルした方がよさげ
• 170430
  macにtorqueを載せ、macで動くrelionから直接qsubを実行させようとしたが無理でした
  他のジョブスケジューラを検討する必要あり
• 170427
  cryoSPARCを新規のマシンにインストールしたらcuda-7.5のライブラリが必要と言われた
  どうやらpycudaがcuda7.5のライブラリを必要としているのが原因みたい
• 170424
  fioを使ってdiskの速度を出しているのだが、オプションの「--direct=1」は(OS関与な)キャッシュなしに
  デバイスを計測する。デバイス本体のみの生な速度計測には宜しいかと。その場合、O_DIRECTを経由する。
  だがzfsはこのO_DIRECTがサポートされてなく、「--direct=1」では計測できないみたい。
• 170420
  LizardFSを勉強中。基本GlusterFSっぽいが、metadataを使用するのがGlusterFSとの違いっぽい。
• 170412
  結局ipmiの板は返却不要で返金頂いた。っが、使い道のないボードを貰っても仕方ないのだが...
  本日、日本の販売店からipmiのボードを購入。米国密林でも購入できるのかな
• 170410
  intel nucのsamba smb共有が遅いのは変わらないが、ftp経由でデータ転送をしたら 約880Mbps な速度であった
  その間、intel nuc側のcpu負荷は99%。やっぱりsambaの設定に問題があるような...
• 170409
  cactiでgpuカードの状況(温度、Hz、watt)を表示させようとしている。っがcacti-0.8よりcacti-1.0って柔軟性が高まった分、
  結構ややこしい。。グラフ化に成功しているが、cactiの５分に一度のデータ採取だとちょいと微妙かな
• 170406
  GSSAPIDelegateCredentialsが上手く働かない。。win->A->Bとsamba adに参加させたこれらで
  windowsからAへのssoはokなのだが、A->Bへのssoが駄目。。winbindでなきゃ駄目なのかな。。
• 170404
  GPUのwatt,Hz,tempをcactiに載せるべく調査中。snmpd経由でスクリプトを実行させるか、rsh/ssh経由で得るか..
  前者の場合、計算ノード単位でスクリプトを用意するので自由度が高いがメンテナンスが大変。
  後者はrsh/ssh実行ユーザを用意する必要がある。
• 170403
  cactiの1.0.4を試している。データ取得種別(local linuxとnet-snmp)を選べて、既定でdiskのioが取れるテンプレートが
  入っていた。既定で温度とかfan回転数らも入ってればかなりいいと思う。snmpでGPUの温度、Hz、Wが取れれるのかな？
  まぁnvidia-smiでcsvを作り、それを読み込みscriptをcactiに組み込めば行けそうだが、rsh/ssh系の扱いが微妙かな
• 170331
  Excelの共同編集機能って、、「Excel Online」からの利用を想定すれば、「これでいいよね」って事案が多そう
• 170330
  プリンターを購入予定。sambaでプリントサーバを仕立てwindows/MacOSX/Linuxらから印刷できればいいのだが
• 170329
  メールサーバを調整中　今後スパムメールとの格闘が続くのだろうか。。
  ipmiの板の件　結局相手側がミスを認めた。使えない....
• 170327
  長年携わった仕事が終わった。感無量。関係者に深く感謝申し上げます。
• 170325
  ipmiの板のはずが、なぜかipmiが入っていない板が届いた..型番も商品説明欄と違う型番になっていた..
• 170322
  relion-workshopに参加。実際の処理の流れを体験できたのは非常にありがたかった。主催者様に深く感謝。
  頂いたテキストを元に自宅で再度訓練。フォルダ構成/仕様を確認してrelion以外との連携を模索してみたい
• 170321
  自宅サーバを安定的に運用する術を検討せねば。。。
  やっぱりミラーサイトのhttp://chaperone.sakura.ne.jp/w/をメインにしたほうがいいのか悩む
  BeersCriteriaなるものがあるのだが、高齢者への処方薬として好ましくないお薬、原疾患に対して好ましくない処方を
  文献とかで裏付けしたリストがある。YJコードとかに簡単に連携できると思うのだが見つからない
• 170314
  最新のrelionがリリースされた。早速コンパイルしたら relion-2.0.5 と表記された。2.0.4ではないの？
  sambaも4.6がリリース。こちらは複数DC運用なのだが、upgradeの方法はどうすればと悩む。
  fsmoのマスターで始めるのか、fsmo以外でupして、移してなのか、、よく分からない。
• 170311
  合掌
• 170305
  macOSにTorque clientをインストールすべく下調べ中。っが、openssl-develが必要といわれる。
  Homebrewのbrew installでインストール可能なのだが、CommandLineToolsに入ってないのかな？
• 170304
  ipmiの勉強のため中古の板を購入。web経由以外にコマンドラインでの操作を検討するため
• 170228
  Office 365 Business Essentialsを契約しようかと思案中。。。
  メールもオンラインストレージも自前で作れるけど、データ保全を考えると検討に値する。
• 170226
  windows,mac,linuxの三者アカウント統合はadでほぼいけそう。ファイル共有に関してはlinuxを中心に
  windows向けにはsambaでsmb、mac向けにはsambaかnetatalkで、linuxにはnfsとなるのだが、、
  ファイル共有の中心って何が最適なのかな？って思う。bsd?solaris?,,windows?
• 170220
  veertuで作った仮想マシンのネットワーク部分の調整が完了。「Bridge」の設定方法次第でした。
  これでveertuで複数の仮想マシンを用意して、外部へのサービスもできるっぽい。
  試行錯誤の途中でrootlessをdisableにしているが、既定のenableでもＯＫなのかは不明
• 170219
  veertuを試しているが、作った仮想マシンが外部から接続できない。rootlessの影響なのか調査中
• 170216
  アプリ提供なNFSディスクの負荷が高い。クライアント側にcachefilesdを入れてみた。
• 170215
  Focusを作ってみた。CentOS6の標準コンパイラでは無理で、GCC-4.7以降ならＯＫみたい。
• 170213
  cryoSPARCを作ってみた。っが操作方法は分からぬ。サンプルデータが用意されているようなのでそれで勉強かな。
  GPUマシンだからRelionも走らせたいが、cryoSPARCをTorque配下で制御できないのか思案中...無理っぽいけど
• 170212
  sambaで複数DCを試している。以前はできていたのだがsamba-4.5からだろうかFSMOの移動の際にエラーが生じる
• 170211
  NVMeなデバイスにCentOS7を入れることになった。っが、なぜかデバイスエラーが続発した。
  結局xfsではなくext4にしたらエラーは収まった。単に使用したMBとかに起因する問題なのかもしれないけど
• 170206
  relionのMacOS版を作ってみた。ジョブを投入したり、画像を見たりするクライアント的な使い方が主になるのかな
  その場合、TorqueにMacOSマシンをジョブ投入可能サイトとして登録する必要がある
  追加でMacOS標準のコンパイラGCC(clang)でも作ってみた。Relion/MacOSX/clang
• 170205
  btrfsの透過的圧縮をテストしたが、圧縮率はいいものの当然ながら処理能力が求められる。
  RAID構成のmetadata,dataの意味が分からん。qemuの下地はできたので2nd-samba-adを再度検証したい...
• 170202
  ldapを中心にアカウント管理をされている現場を見た。こちらのldap関連コンテンツを更新したいのだが、、、
  qemu経由だけど新規にマシンを立てて、2nd-samba-ad/btrfs/snapper/「以前のバージョン」らの更新を行いたい...
  とあるサイトのFX100でrelion-2.0.3のベンチが試せそう...って言ってもGPU2枚あれば...まぁ最適化されてますしね
• 170131
  qemu/libvirtを久々に。CentOS7のNetworkManagerが面倒過ぎる..NetworkManagerを停止して Bridge を作った
  /dev/kvmのグループにlibvirtdのデーモン稼動ユーザをつけるのを忘れてた...
• 170130
  relion-2.0.3がリリースされた。場所はgithub。今までのbitbucketはanonymousでは入れないみたい。
• 170129
  ベイジアンモデルをpythonで作ることになった。式は提供されていたのでコードに直すだけの作業
  pythonのnumpyで行列を初めて扱った。この分野には深入りしたくないあぁ....
• 170126
  sssdのkeytabの期限切れ問題がようやく解決。メンバーサ側のsmb.confの記述漏れが原因だったようだ
  beegfsがsamba対応のようなのだが、beegfs -- nfs --> sambaサーバ --> windows な流れそうな
  nfsサーバ -- nfs --> sambaサーバ ---> windowsクライアントで遅延問題を見たので不安....
• 170122
  済ませなきゃいけないタスクが多くなっている。週末に。休んだ気がしないっとまでは言わんが...
  ipmiが載ったボードが欲しくなった
• 170119
  keytabの期限切れが再発。その対処療法は分かっているが、根本治療が分からない。
  ドメイン参加メンバサーバのランダムパスワード有効期限が更新されないのが原因のようで、
  根本治療らしきを施しても再発する...sssdの文書とにらめっこかな...
• 170115
  Accessで縦並びを横にカンマ(,)で繋げたいと思った。そしたらSQLServerExpressを入れていた...
  SQLServerのFOR XML PATHで実現できたのだが、、AccessVBAでもできたのかな？って思う
• 170114
  寒い。pbsproとかbeegfsとか試してみたいが余裕がない..
  nfsの遅延はcore(HT)の数とnfsdの数のバランスだったみたい。同じ数にしたら遅延が改善された
• 170102
  久々にpt2。pt2を載せたLinuxを母体としてwindowsPCでストリーミング視聴ができた。っがほんと見るものがない...
  年末にnvmeをシステム領域としたCentOS7を組み上げたら/boot/efi/EFI配下がroになっていた..
• 170101
  恭賀新年
• 161231
  sssdってマシンの負荷が高まると落ちる？勝手に再起動してくれたけど...
• 161218
  このサイトはddnsな自宅サーバで運営している。
  なのでプロバイダから配られたipを大本のdnsへ伝える必要がるのだが、ここ数日そのアプリが停止していた。
  コンテンツの内容は常に大手様運営のミラーサイトへ流しているので、問題があればそちらを参照している。
  なら初めから大手様でコンテンツを作れば？となるのだが、自由度があるこの形態を使い続けている

過去メモ