- R4(2022).12.24
RHEL9系RockyLinux9.1を調べてたら nis が使えなくなっていた.
NIS/rockylinux9で使えるようにするにはとして書いてみた. IPAのsambaがdomain外からも使えるならIPAに乗せ換えたいけどね.
- R4(2022).12.21
あれぇ?cryoSPARC v4.1.1がリリースされている
- R4(2022).12.16
RHEL8系の RockyLinux8.6でcryoSPARC 3DFlexのインストールに成功した.
/usr/local/cuda/bin/nvccを避けるように cryoSPARC conda内のnvccを使うように仕向ける必要があるっぽい
- R4(2022).12.15
っと思っていた時期が自分にもありました が身に染みる...
cryoSPARC の 3DFlexインストにチャレンジしているが、、どうも上手くいかない...
- R4(2022).12.14
術後三日目.
まだ長距離は歩けない.
CentOS7でcryoSPARC v4.1.0は行けるけど、例の3DFlexはエラーがでますね. devtoolset-11でもだめ
- R4(2022).12.13
crYOLOのboxmaangerがxcbで表示されないとある. あと以前なら問題なかった枚数でもこけると話に聞く.
調査中. cryolo_gui.py からboxmanagerではなく、cryolo_boxmanager.pyを直接呼び出せば、とも思うがxcb関係は難しい.
cryoSPARC v4.1.0がリリース. alphafold v2.3 と大型リリースが相次いでいる
- R4(2022).12.12
alphafold-v2.3準拠のalphafold_singularityの構築完了. dockerベースでもいいのでしょうが、
job queuing systemとの連携が多いので対応しているsingularityを使ってます
昨年も行ったけど、またケガ、病気?で手術してきた. しばらくは出張はむりっぽい...
- R4(2022).12.11
asperaを使ってEMPIARのデータをダウンロードしているが、、100kB/secほどの時もあれば 50MB/sec の時もある.
まぁー切れずに落ちてくれればいいのだが...
alphafold-v2.3リリース. データの再取得がある. params、mgnify、uniclust30->uniref30、pdb_seqres
- R4(2022).12.8
給湯器復活.
- R4(2022).12.6
給湯機が壊れたぁぁ
- R4(2022).12.5
slurmをやらねば. 検証用物理マシンをrockyLinux9に変えてみた. 検証のメインはesxiだけど.
GeforceGT710は 470ドライバーが最終. CUDAライブラリでrockyLinux9に対応するのは11.7.1から.
470ドライバーはCUDA11.7.1でもCUDA11.8でも一応コンパイルはできる. しかも動いた.
最近525ドライバーリリースされて対応するCUDAは12.0であった. kelperの終焉はちかいかな.
- R4(2022).12.1
期末です
ldap検証からR/CRAN/RStudioを取り掛かっている. 外部への接続が閉じたネット環境でCRANの利用方法など検討中.
RockyLinux9が9.1へ. そろそろ乗り換えれるかの準備かな. RockyLinux9は結構動きいい. さずがkernelの力って感じ
- R4(2022).11.28
chshだけど、lchshで達成できた. ldapのaccessコントロールを弄る必要があるね.
初期パスワードからのパスワード設定誘導、chsh、パスワード変更らができたのでこれでひと段落かな.
- R4(2022).11.26
relionらをSingularityで作って配布すればよくね?って思いもする. Singularityの中身はubuntuでtopazも一緒に載せればおk
そうすればmoduleやpathを考える必要が無い. 同様にeman2搭載Singularity、crYOLO搭載とかとか. chimeraは地下植えでいいかな.
cryoSPARCは、、"web-DBサービス"として運用するからSingularityにする必要性がないかな. 配布としてもライセンス的に無理かな.
- R4(2022).11.24
...ldapアカウントのパスワード変更の認識が間違っていた. 単にpasswdでできた. chshができない..
- R4(2022).11.22
openLDAP-2.3からopenLDAP-2.4へのupgradeがようやくできた.
- R4(2022).11.21
openldapを更新. hdbからmdbへのupgrade pathはないもよう. 一旦ldifに出して戻す感じ. 往年のpsqlを思い出す...
- R4(2022).11.20
ldapアカウントのパスワード変更ってldappasswdなのだが...限りなくめんどくさい. passwdとかkpasswとかyppasswd位に簡単にならんものか..
一応LDAP/smbldap-passwdを入れれば簡便になるけど..sambaを巻き込む必要がある.
- R4(2022).11.19
windows10 22H2でWSL2を試してみた. task managerで自動起動させるのが無理っぽい. なので特定アカウントでログインして
batファイルで稼働させ cryoSPARC worker にさせてみた. ただ、、その特定アカウントがサインアウトするとWSL2内ubuntuも止まる...
なのでユーザ切り替えで別ユーザになるしかないみたい. この辺、単にHyper-Vでよくね?になりそう
- R4(2022).11.16
RHEL8系のbash/csh系は /etc/profile.d を読む. ubuntuはbashは/etc/profile.d、csh系は /etc/csh/login.d を読む?
- R4(2022).11.15
git, conda, pip, R, wget のproxy設定をまとめた. proxyについて見直したけど、ip_forwardが無効のままでいいのね. ずっと有効だと思ってた.
あとクライアント側は resolv.conf のNS指定がなくてもいいのね. これも知らんかった..
- R4(2022).11.14
久々にperlを使おうとしたら、、以前の知識では使えなかった...仕方なくphpで. こちらはまだ使えた. ちょっとした文書整形にperlは便利だったのだが...
- R4(2022).11.13
ldapのbackup/restoreを記載. restore先が全くの別マシンの場合に証明書のbackupが必要か分からない..新規でもよさげだけど.
- R4(2022).11.12
ldap/smbを勉強中. 改めてsamba-ad-dcが楽かなぁ
ldap[1台]-smb[複数台]で入れるsmb、入れないsmbがあった. 原因はSID. これを調整すれば回避可能かな.
- R4(2022).11.9
複数のcryoSPARCサービスをport分けして運用するとどうもメモリー消費量が多い感じ.
消費量が多いとkernel様によってMongoDBプロセスが殺されることがある. ファイルでswapを追加とかで回避できるそうな.
- R4(2022).11.6
MDエンジンはフリーで利用できる. でも使用する初期座標を作り出すフリーなアプリに何があるか.
周期境界条件とか中心からの距離で水分子を埋めるとかの機能が欲しいのだが、vmd? ambertool?
ここら辺は商用製品が分子スケッチャー、MDの解析とかで有利な点かなぁ.
- R4(2022).11.4
alphafold_non_dockerにて「pdb_seqres.txt」に文字列「0」を含む配列があって途中でコケる.
仕方ないのでその配列エントリーを削除して流しているが、その該当品はDNA/RNA複合体でこの9月に登録されたデータ.
多分問題ないかなと思っているのだが、、はて.
- R4(2022).11.3
紅葉してきた
- R4(2022).10.29
いろいろ後手後手...
- R4(2022).10.21
CentOS7でのcryoSPARCがうまく動かない件. どうやらcryoSPARC側からpatchが提供された模様. v4.0.1へのpatchですな.
RockyLinux9を試している. kernelが新しいためか動きがきびきび.
「nvidia-persistenced.service」ってcudaパッケージ内の「nvidia-persistenced」にあるみたい
- R4(2022).10.12
普段使っているメーラーが認証してくれない....
- R4(2022).10.10
cryoSPARCですがCentOS7で問題. condaのlercパッケージの問題かなと思えるが、開発元の対応待ち.
「`GLIBCXX_3.4.21' not found」なので、新しめのGCCを入れて「/etc/ld.so.conf」に作ったGCCのlibstdc++.soを加えれば
回避可能のように見えるが、、、libstdc++には手を出したくない. まぁ開発元待ち. or OS差し替えかなぁ
- R4(2022).10.6
cryoSPARCのupdateでログインできなくった場合、あり得るのはログインに使うmailアドレスが規格に沿っていないからかも.
「@」があって「.(どっと)」がmailアドレスのドメイン部分に1つでもあればいいみたい.
この修正を行うにはcryosparcmコマンドで新規ユーザを追加して、そのユーザをadmin権限にしてwebからアクセスしてadminメニューから
当該ユーザのmailアドレスを修正するって感じでしょうか. cryosparcmコマンドで直接修正できるかもしれないが...
- R4(2022).10.4
cryoSPARCがv4.0.0へ. 内部のmongoDBもバージョンアップ. masterが825MB、workerが1831MB.
ぉー今まで"mailアドレス"って単に@がついてればいいだろうと思ったたけど、、、ぅーむ、よりそれっぽいmailアドレスが必要みたい
- R4(2022).10.3
wslからLDAP参照させようかなと試したがダメだった. nslcdもsssdもだめ. っがwslってユーザ認証はザル?
cmdからノーパスワードでwsl内のユーザに成れてしまう...外部のnfsサーバは要注意かも. uid/gidなsysはアウト.
まぁexportfsでホスト限定すればいいのでしょうけど、、krbベースがいいのかもね
- R4(2022).10.2
季節の変わり目なのか体調が芳しくない....
relion-4.0.0/relion-3.1.4がリリースされた模様. おめでとうございます.
- R4(2022).9.27
黙祷
- R4(2022).9.25
awsのドキュメント作成に追われている. ネットワーク、ec2(ebs)、efsが基本でよさげなのだが、バックアップの有無とか
s3の取り扱い、そして最大な課金項目とawsアカウント/ロール管理. 8月より初めて実地で試しながらの作業となる.
openpbsとsingularity. loopデバイスの設定変更で動くようにはなった. ただ、、loop0でokなのとダメなのが出てきた...
- R4(2022).9.20
ubuntu20.04で作ったrelion-4.0-beta-2が、mpiによるauto-refine計算の途中でこけた(relion_refine_mpi).
mpiを使わないthreads計算な relion_refine なら完遂したけど...仕方ないのでopenmpi-4.1.4をコンパイルして
これと絡めてrelionをリコンパイルした. 結果mpi計算でも完遂できた. 原因?....わからん
- R4(2022).9.18
メインのPCにモニターを追加してみた. 画面を左右で使えて手狭だった環境から抜け出したみたい.
っが、マウスポインターの場所を探してしまう.. 32inchが2枚. 目がますます悪くなりそう..
- R4(2022).9.14
回線が細いためか bioconda が入らない...
windows10のWSL2でcryoSPARCを稼働させてみた. そしてこのwindows10以外からのアクセスも許可できるようにしてみた.
ただ、、scratchとか考えると単体の方がいいのかも. まぁー軽く動かしたいならいいのかも.
- R4(2022).9.7
openpbsでhookを有効にするとsingularityが動かなかったが、pbs_cgroups.jsonを修正して回避できたOpenPBS/GPU
- R4(2022).9.6
....小休止
- R4(2022).8.29
openpbsでSingularityが正しく動かない...原因不明...あー沼っぽい
- R4(2022).8.16
aws上での操作権限、リザーブドインスタンスとEC2リソース可変、VPCのネットワーク構成とS3/EFS、オンプレのFSとの連携など
考慮して既設のオンプレミスの延長線としてのawsはどうすればいいのか検討しているが、、用語が多くて難しい...
- R4(2022).8.13
このサイトのアクセス数が落ちてきている. 記事の更新、追加が遅いからかなと. この夏休みでawsとかは書き上げたい.
- R4(2022).8.8
SBGridが簡単そう....
MikroTikから100Gbps4ポートが799$、25Gbps*16+100Gbps*2が1595$...買いたくなってくる...
- R4(2022).8.6
pci passthroughでwindows仮想マシンを作成. VGAはT600. T600だからとQuadro系のビデオドライバーを入れたら
「nvidia コントロールパネル」が開かず落ちる. ドライバーをGeforce向けに切り替えたら動いた...次はWarpのテスト.
A2000はQuadro系でもOKであった
- R4(2022).8.1
AWSについて再度検討っというか使ってみる.
- R4(2022).7.30
apple mac mini M1でconda提供のアプリが動かない.
アプリをarm向けにコンパイルするか、x86/x64なLinux仮想環境を用意して動かすかの2つの選択肢かな.
fusion/parallelはチップの継承でarmならarmな仮想マシンを稼働できる.
armからx86/x64な仮想OSを動かすにはUTMのように内部にQEMUのようなプロセッサ エミュレータが必要みたい.
- R4(2022).7.29
openPBSの設定を行っているが、ホスト名に「 _ 」(アンダースコア)があるとダメ見たい.
- R4(2022).7.28
cryoSPARCを別ノードで稼働させたらmongo dbが起動しなくなった....一応repairで元に戻ったけど要注意点かも.
KAMOを更新してみた. DIALS v3に対応の事なので.
- R4(2022).7.25
Apple mac mini Late 2012 を持っているが10年前の製品. なんら問題なく使えるが新たに mac mini(M1) を購入してみた.
- R4(2022).7.22
MegaRAIDのLSA ServerのTCPポートが9000、php-fpmで使用するポートが同じくTCPの9000. 後者を9001にしてみる
- R4(2022).7.20
古いcryoSPARCを導入することになって入れてみたらうまく動かない. どうもインストール途中でpythonモジュールの取り込みに
失敗した模様. 手動で入れることで回避できたが、「eval $(cryosparcm env)」でcryoSPARCのpython環境になれるみたい.
miniconda+confa-forgeでtopazは動いた. torchを変更すればいいだけみたい.
- R4(2022).7.12
miniconda+conda-forgeリポジトリでtopaz(GPU)は無理みたい..topaz(CPU)なら動いた.
一方でminiconda+anacondaリポジトリはどちらも問題なく動く. まぁー当然でしょうか.
miniconda+conda-forgeならライセンス的に嬉しいのですが、、cudaが絡むとまだ無理っぽい
ただ、anacondaのライセンスってアプリを利用する側にも適用なの?開発者でもないのに.
昔intel-ccはライセンス品だけど、その作られたバイナリーにまで範囲は及ばなかったのに
- R4(2022).7.9
minicondaでtopazを動かそうとしているのだが、、、動かない...
- R4(2022).7.8
哀悼
TVを捨ててよかったと改めて思う
- R4(2022).7.5
nvidia GPU cloud、NGC、なんばグラ..いや. 只今こちらを勉強中.
- R4(2022).6.21
LDAPの修正にはLDAP adminがやっぱ楽. だがこれはwindowsアプリである. mac/Linuxで使える軽量なツールはないのだろうか..
KNIMEの日本語による入門使い方講座動画を発見. データの下拵えには手順、順路が明確に分かるこれがいいと思う.
- R4(2022).6.17
rsyncで「--chown」を使うには「-og」が必要みたい. 一見すると不要そうに見えるが、必要だったみたい.
- R4(2022).6.16
alphafoldがv2.2.2に更新された模様. alphafold_non_dockerはそのままでも行けそうな感じでしょうか.
v2.2.0からの系統なので大きな変化はないのかなと思ってます.
LocalColabFoldがupdateされたみたい. 対応せねば
- R4(2022).6.15
anaconda3-2022.05ではmpirunがデフォで入っている.
PATH環境に注意しないとOS由来のmpirunではなくanaconda由来のmpirunを使うことになりかねない.
- R4(2022).6.14
新しいGPUと古いGPUの共存は避けましょう. 両者のCUDAライブラリの許容範囲を十分に検討しないと厳しくなる.
GT710とRTX30x0の共存はCUDA-11-4だけかな. それよりも上なら計算でエラーがでて、下ならRTX30x0を認識しないみたい.
- R4(2022).6.12
wifi adaptor(RTL8812au)をubuntu20.04に繋げてみた. OS提供のドライバーは無理でgitで取得したドライバーでなんとかなった.
RHEL8系は...無理みたい. kernelを手動で上げれば芽が出るかもですが、コスト高すぎかな.
- R4(2022).6.10
疲れたぁ...課題を片づけねば...
- R4(2022).6.9
alphafold2のjackhmmerで使用するcore数を引数で指定するようにしてみた.
hhsearch部分も指定可能だけど既定でそんな長時間なタスクじゃないのでこのままでいいかなと思っている.
- R4(2022).6.6
ccp-em v1.6.0がリリースされていた. ubuntu20.04ではそのままでは動かない. ccp-emの中のlib/libfreetypeを丸ごと削除で動く.
- R4(2022).6.2
cryoSPARCでmaster-workerでworkerを繋げようとしたら「pycuda._driver.Error: cuInit failed: unknown error」と言われた.
ない頭を駆使して対処中..
- R4(2022).6.1
画像解析を行っているが、、難しい. 基本であるtensorflowから着手すべきだったのかも..
- R4(2022).5.30
Anaconda3で2022.05がリリースされてた模様.
Anacondaと非pythonアプリの実行環境整備にここでは environment-modules を提案している.
- R4(2022).5.28
休み
- R4(2022).5.25
AIで画像解析. よく分からん. っが習得せねば...
zabbixでjob queuing監視は上手く行っている. あとはRAIDカードとの連携かな. 各計算ノードでnvidia-smiを実施してnvidiaカードの健全性確認とかもありかな.
- R4(2022).5.20
ChimeraXでOpenGLが古いから表示されない事案があったのだが「export MESA_GL_VERSION_OVERRIDE=3.3」と指定したら行けた..
CPU内蔵VGA経由ならほぼ問題がないのだが、VGAなしCPUchipで外部のVGAchip経由でたまに発生するこれ.
- R4(2022).5.17
eBayでAdaptec(microsemi)とLSI(broadcom)のRAIDカードを注文. zabbixで異常を検知できるようなので試してみる.
QNAPの連携はすんなり行った. 監視通知はでこれでよくね?って思ってきた.
- R4(2022).5.16
ローカルログインでubuntu20.04では/etc/profile.d/*.shがどうも評価されないみたい.. ubuntu22.04でも..設定方法が違うのかな?
リモートアクセスなら正しく評価されるのに.. RHEL7系、RHEL8系ならローカルログインでも評価される.
っで回避策がターミナルを開いてそのpreferences/Unnmaed(profiles)/Commandで「Run command as login shell」を有効にする事みたい. 確かに治った.
これは...ユーザに修正操作を促すので微妙.. なので/etc/skel/.bashrcに「source /etc/profile.d/module.sh」らを入れるのだが..
- R4(2022).5.14
zabbixでOpenPBSの稼働状態、どのくらいのcpuがあって現在いくつ使われているかとかのグラフが描けた.
あとは、投入されているジョブ数、pending中のジョブ数のグラフ、各queueでのCPU稼働率とか作るつもり.
ログ監視機構を使って「何時何分、だれだれのジョブ投入」とかもできるけど...まぁ要らないな.
- R4(2022).5.12
今週、ずっと体が重い..
- R4(2022).5.8
zabbixで感知した障害情報をmailの他に slack にも流せた. 設定がかなり複雑だけど行けた.
次はjob queuing systemとの連携かな.
- R4(2022).5.7
zabbix. ようやく監視対象ノードを登録して、その停止、復帰でメールが届くようになった. slackに流したいのだが....
あとjob queuing systemと連携させたい. リソース要求毎の待ち時間とか出せたらと思う. 1枚gpu、4枚gpu要求時の待ち時間とか.
relionならジョブ名が統一されるのでジョブごとの平均時間とか、まぁそれって課金目的に近くなる思想だけど.
- R4(2022).5.3
samba. 基本形は変わらないご様子. こちらのコンテンツでsybylドメインからldaps接続を考慮してchaperone.jpドメインに変更したら
記事のほとんどを変更しなきゃいけないことに気が付いた...この辺はのんびり更新かなぁ. zabbixの勉強もしなきゃでタスクが嵩む.
- R4(2022).5.2
初心に戻ってsambaの勉強をします.
- R4(2022).5.1
FreeIPAについて勉強をしているが、、どうもFreeIPAドメインの外にあるwindowsクライアントからのアクセスはダメ見たい.
NTLM認証でファイルのやり取りができたらと思ったのだが無理っぽい. 4/27で実現できたと思ったのだが確認不足でした.
linuxのみの環境なら最高な代物なのだが、ヘテロOS環境だとsamba-adがいいみたい.
- R4(2022).4.29
「mkhomedir_helper」のコマンドを今知った...まだまだ未熟です..
FreeIPAってパッケージ管理がしっかりしている事が大前提って感じる. なので仮想マシンとかで専用ノードで運用かな. 他の作業はさせないって感じで.
- R4(2022).4.27
FreeIPA配下でsambaとwinbindを上げて、windowsPCでパスワードによるアクセスが可能になった
ほぼほぼクラスター計算機環境に置いてのログインノードへのアクセス、並びにsmb共有がFreeIPAでもできるって感じでしょうか.
ldapは勿論の事、nisよりも操作性がいいですね.
- R4(2022).4.24
FreeIPAを勉強中. なかなかいい. 伝統工芸のnisもいいけど、LDAPを選ぶならこっちにした方が断然いいかも.
- R4(2022).4.22
cudaの「persistence mode」を既定で有効にすべきかなと検討中. cryoSPARCをjob queuing system系で回すなら問題軽減になりそう.
まぁーopenPBSでnvidiaをhookさせておくのも必要っぽいけど. openldapの復習とともに389-dsも習得せねば...
計算機へのログインはssh. ファイルのやり取りはsmb. samba-adなら両方ともカバーできる. ならldapなら?
- R4(2022).4.15
relionのVDAMはGPUを1枚使用する. そうなるとクラスター計算機では1ノード2枚GPU、4枚GPU計算機に於いてGPUの排他的制御が
求められるのかなと思っている. 故openPBSではhookによるGPUリソース制御が必須かなと。
anaconda3-5.3.1は基底にmpiは入っていない. っがanaconda3-2021.11には入っている...
- R4(2022).4.10
runfileで入っているcudaをyumで最新にしたいと思った. 「nvidia-uninstall」でrunfile由来を消してyumで最新を入れたのに
runfileのドライバを探しているみたい. rmmodで消してnvidia-smiで新しいのを呼び出して dracut で一応回避解消される.
yumでcudaを入れた際、dracutが動いていないのかな?
- R4(2022).4.6
統計ではないがアンケート用紙からデータを読み取るためにPhpSpreadsheetを使っている.
- R4(2022).4.2
年度が始まる.
動く動かないはesxiの仮想環境で確認できるが、使える使えないは別問題. そこらはawsとかで検証がいいのだろうが金次第かなぁ.
そろそろGPUカードとcudaの対応・非対応を考えねば..cuda-11.3までの製品とか現実にあるからね...
- R4(2022).3.28
windows10--(ssh with Xming)-->計算機--(docker)-->計算機内のdockerコンテナ と繋げたがコンテナ内のX11アプリが
表示できない...DISPLAY変数やXのソケット共有もしたけど無理だった. 「--net host」を付ければ動くのだが、
これを付けると実機なのかコンテナなのか区別付かずできれば避けたい...
- R4(2022).3.26
crYOLOなのだが、「ValueError: cannot convert float NaN to integer」とエラーが生じる...
っでpyStarDBをひとつ前のversionにすれば回避可能っぽい「pip install pystardb==0.3.1」
- R4(2022).3.25
ようやく確定申告が完了
R-studioがアイコンクリックで起動するのはいいのだが、「R」のPATHが定義されないとアイコンクリックでは起動しない.
「module load R」を汲んでの起動は難しいみたい..
- R4(2022).3.20
当面ネットが使えないかなと思ったら翌日に回復していた.
job queuing systemにcontainer(docker, pod, singuraliry)を載せてより豊富な実行環境の提供を考えてみた.
system側でcontainerの下地を作るには別途ライセンスが必要みたい(openPBS). ならユーザサイドで実装となるかな.
その場合dockerはroot権限の問題で厳しいので、singuraliryが便利なのかな.
- R4(2022).3.17
光終端装置が機能不全. っでネットが全く使えない. 仕方なくスマフォでテザリングです. なので当面リモートアクセス作業は難しいかも...
- R4(2022).3.16
topazがcondaでもpipでも0.2.5になった模様. relionとGautomatch/crYOLOの連携を考えた記事があるRelion/Gautomatch
topazでも...って思ったらそういえば4.0でtopazは連携で出来たんだと今更思い出した.
- R4(2022).3.14
事務処理が終わらない...
ここで使っているpukiwikiシステムを他で運用と思って構築したのだが、、、仕様が変わっている..
- R4(2022).3.11
合掌
- R4(2022).3.9
青色申告会の判を頂こうと面会予約をしらた今月末と言われた...どうやら確定申告の期日が伸びたみたい. すっごく焦った..
nfs越しにmake -j 20としたらmakeさんから「はぇーよw」って言われた. っでnfsのasyncを外したのだが同じ症状に.
怖いから単に「make」で作ってる. localなら問題ないのに..
- R4(2022).3.2
alphafold2のDockerfileを見ながらnon_docker版をちょいと手直. v2.1.2でも動くようになったみたい.
- R4(2022).2.21
そろそろmacOSでの検証が必要かな. っが手持ちのminiはLate 2012でMontereyは無理. 仕入れるか..
- R4(2022).2.17
未知の計算機環境に踏み入るのは楽しいものである. 新しい発見は勿論のことここまでの経緯を考えると非常に感慨深い.
- R4(2022).2.16
alphafold2のパラメータセットのライセンス文言が変わったのね. 知らなかったよ... これで企業さんの利用が増えるかな.
- R4(2022).2.14
使わなくなったファイルサーバが複数ある. それを集約して大きなファイルサーバにしようとGfarmを検討したが要件的に無理になった.
っで素直に iscsi で各ファイルサーバのストレージボリュームを集約させて LVM で提供することにした.
- R4(2022).2.13
マウスのクリックボタンが効かない...同じマウスをまた購入. これで3台目. 別な製品に代えればいいのかも知れないが慣れた手前代えられないみたい.
とあるサイトでセキュリティ監査があってsshの修正が必要になった. 公開鍵方式を取った接続でもそれ以外の部分にも気を配る必要があるみたい.
引っかかったのは暗号アルゴリズムと鍵交換アルゴリズム. 以外に深いお話でした.
Gfarmのミーティングに参加し忘れた... 運用的には使わないかなと判断しているが聞きたかった..
- R4(2022).2.2
メインの計算機をCentOS8から移さねば...
- R4(2022).2.1
ぉぉぉ、crYOLO-1.8.2でRTX30x0(RHEL7/8系)が対応になったみたい. 素直に動いた.
ぁっ、NVIDIA/tensorflowの更新のおかげっぽいかな.
- R4(2022).1.31
統一資格申請が完了...
ぉぉ、crYOLO-1.8.2がリリースされた
- R4(2022).1.30
ほぼ回復かな. 事務処理に泣いている....ってもこれは必要な事なのだが...
- R4(2022).1.29
微熱は治まったみたい. っが引き続き要監視かな.
- R4(2022).1.28
微熱. 要監視中
- R4(2022).1.27
検証用のesxiのnicが不調のご様子. 再起動したらesxiに繋がらず焦った. 幸い予備のnicで代替できたけど
esxi向けのnicって結構指定があるので焦る
- R4(2022).1.20
amazon S3に試しにemデータらを 23GB 置いてみた. [0.025 per GB - first 50TB]なので 0.025*23 = $0.57で実際にその額が請求された.
10TBなら 0.025x10,000=$250みたい. 20TBのHDDが8萬円なら3か月S3に置くならHDDが安いとなるかな(1ドル=114円として)
S3 Glacier Flexible Retrievalを使えば 0.0045USD/GB なので5分の1以下となる. アーカイブならやっぱりLTOかな..
- R4(2022).1.19
LDAPサーバとRHEL8系OSとの連携. sssdよりカスタムでnslcd経由が簡単かな...
- R4(2022).1.17
ChimeraXはリモートで使わずにコンソールで使うもの. smbでファイル共有してwinPC/macPC内のChimeraXで操作した方が最適かと思う.
Gfarmを作らねば....
- R4(2022).1.10
EnvironmentModulesで「set-alias」がうまく動かない現象はModules-5.0.xにupgradeすれば回避可能.
まぁ運用次第なのよね. 「set-alias」を含むmoduleファイルを使うたびにloadするならこれまでも大丈夫なのだが、
「.bashrc」とかに「set-alias」を含むmoduleファイルをloadさせても効かないみたい(4.X系). RHEL7系なら3.2.10なので大丈夫.
- R4(2022).1.9
qnapのHBS3を使ってイメージデータをS3に上げるテストを実施. 問題ないね. 前回はadsl回線だから失敗したのでしょうな.
- R4(2022).1.7
年明けからちょいと多忙で3連休がありがたい.
術後の処置で病院へ行きあとは自分で対処することになった. 快方に向かっているみたい.
- R4(2022).1.1
謹賀新年
- R3(2021).12.31
Singularityで動くcrYOLOを作成してみた. 使っている環境のせいなのかどうもACPIの警告がでてしまう.
- R3(2021).12.29
RHEL7/8向けのcrYOLO用Tensorflowは一応完成. ただsyslogにACPIの警告がでるので微妙かな.
- R3(2021).12.27
今年二回目の手術. 週末に脹れ上がったみたい. 雪もあって仕事をキャンセルして病院へ.
かろうじて椅子には座れるが、またもや気分はブルー
ampereのA2000を手に入れた. これでcrYOLOとか検証予定
- R3(2021).12.19
Singularityいいですねぇ. 「最新 relion が入ったsif」とかの提供でことが終わりそう. あるいは「cryoSPA全集」とか.
- R3(2021).12.14
寒い...
Ubuntu勉強中. コンソール環境とリモートアクセス環境で「/etc/profile.d/*.{sh,csh}」が反映されない/されるって何なの?
- R3(2021).12.6
RHEL7/8(Ubuntu18.04含む)でcuda-11対応のcrYOLOを動かすにSingularityがいいのかなと思ってきた...
qsub経由でも使えるから結構便利なのかも.
- R3(2021).12.5
crYOLO向けにtensorflow-1.15 cuda11版を作っているが一応成功した. crYOLOに組み込んでも一応動くが怪しい挙動がある.
当方の古いGPUカードの問題かもしれないが...crYOLO様側でtensorflow-2.7対応とか出してくれたら不要な作業なのだが..
- R3(2021).12.2
ファイルサーバの電源が入らなくなって販売元に修理依頼を出したら2か月入院みたい...無理なので故障個所の電源を注文.
- R3(2021).11.29
ampere系列のGPUカードはCUDA11が必要. crYOLOでCUDA11対応を行うとtensorflowからGLIBC 2.29以上が必要といわれる.
ubuntu18.04は2.28で無理. ubuntu19.10以上なら行ける. RHEL8系も2.28で無理. tensorflowをコンパイルすれば回避可能っぽい.
- R3(2021).11.28
crYOLO-1.8.0がリリースされた模様. こちらのcrYOLOも書き換え予定です
- R3(2021).11.26
ぼちぼちお仕事を再開. そうしたらファイルサーバが落ちた...esxiのデータとかあったのに..
原因はどうやら電源ユニットのようで保証期間内でこちらも病院へ.
- R3(2021).11.19
通院は続いているが、だいぶ回復してきた.
- R3(2021).11.19
initialModelの計算で途中でこける現象がある. cudaドライバ/cudaライブラリの組み合わせっぽいが解が見つからない...
全く計算しない訳ではない. 「途中」である. ただcpu計算なら最後まで行ける様子. データ側の問題かなぁ..良く分からん..
windows11に移行中. WSLgを試す予定.
- R3(2021).11.18
21H2がリリース. windows10のWSLでGPUが使える. だけどXサーバなしでGUIが使えるWSLgは提供されないみたい.
WSLgはwindows11から使える. GPUとGUIの違いです.
- R3(2021).11.17
まだまだ通院. 今週で終わりたい...
- R3(2021).11.13
連日通院. 重かったみたい. 来週も通院生活.
- R3(2021).11.10
皮膚科ではなく外科に行ってきた. 即座に手術. 気分的にかなりのブルー...
- R3(2021).11.8
RHEL7系からRHEL8系へ一斉乗り換え. ansibleで調理.
- R3(2021).11.5
目下椅子に座れない. 寝そべってのお仕事.
- R3(2021).11.4
炎症が治まらない. 皮膚科かなぁ
- R3(2021).11.3
炎症が生じて歩くのが億劫...治療してますがなるべく自宅で過ごしたい...参った...
RTX2060の12GBが出るそうな. 16GBなRTX3070Tiも. CUDAのCC50以下の切捨てに備えて用意するのもありかな.
- R3(2021).11.2
脚に少々のケガ. 不注意.
- R3(2021).10.27
光回線がやってきた. ぉぉぉダウンロードが早い
- R3(2021).10.21
光回線がまだ来ない...Rockyにstandalone方式のcryosparcを入れようとしたらworkerのインストール途中で止まった.
一応Master-Worker方式に切り替えて難を逃れたが、いずれ調査せねば. relion-4.0-beta-2がリリース.
- R3(2021).10.10
cudaアプリをoneAPIでコンパイルするにはcuda-11.4.1以上が必要みたい
- R3(2021).10.2
スマフォをモデム代わりに使っているがかなり微妙. プリペイドsimの追加かな.
- R3(2021).9.29
光回線に繋ぎ変えるために1ヶ月はこのURLは使えないかも. ミラーサイトをご利用ください.
- R3(2021).9.28
リモート経由でNoMachineを利用する事があるのだが、その速さにびっくりする.
- R3(2021).9.25
adslの停止に伴い光回線に移るのだが、申し込みが遅くなってしまい開通が11月になるみたい.
10月まるまるネットが使えないのが確定した. スマフォをモデムとして使うのもいいのだが....
- R3(2021).9.24
Relion 4.0-beta-1がgitから得られるようになった模様. 開発チームに深い賛辞をお送り致します.
topazとの連携に注目したいです.
- R3(2021).9.23
無償となったoneAPI. 恩恵はintelチップ計算機のみかな? cudaのMulti-Process Serviceでrelion Class2Dが速くなるそうな. テスト中.
- R3(2021).9.21
古くなった複数のファイルサーバを1体に纏められないかとOrangeFS,Gfarmを調べている.
各ファイルサーバの容量はまちまちでRAID構成. nfsでもいいのだが、個別のmount-point/容量管理が面倒..
- R3(2021).9.10
webセミナー面白かった. さすが高性能/高品質なアプリは見ていて面白い. soap対応しているからJupyterLabからコール可能かな.
- R3(2021).9.9
2日連続のwebセミナーに視聴参加.
- R3(2021).9.1
relion-3.1.3がリリースされたみたい. メンテナンスリリース版.
awsもいいけどRescale ScaleXもよさげ.
qsubで複数ノードを確保して、mpiでsingularityを流せるみたい. っとなるとsifのレピシで十分なのね.
nvidiaのMulti-Process Serviceでtopazを動かせば早くなる?
- R3(2021).8.31
初期設定を施して、暫くしてupdateを試みると「あれぇ?こんなんだっけ?」がある.
利用しやすいように変更されるのは一向に構わない. 当方の所有物でないのだから. むしろ歓迎すべき事かな.
- R3(2021).8.30
データベースのpartitioning機能と同じようにストレージも複数のHDDは勿論の事、複数のストレージサーバに
分割格納ができる. その枠組みで階層化ストレージとしてテープ装置を組み込めば..と思うのだが、見当たらない.
商用は勿論ある. ossでないものか...
- R3(2021).8.20
dockerは自分専用の計算機向けかな?対してpodmanは共有計算機向けって感じでしょうか
体が重い...動かねぇ...
- R3(2021).8.19
腕が上がらん. 重い...
- R3(2021).8.12
お盆の予定は. 溜まったお仕事. 孤立LAN向けでpythonアプリを組み込むには. sshトンネルって.
sata ahci SSDとsas HDDの比較とかできたらななぁ〜って思う今日この頃. まぁ毎日アイスでクールダウンかな.
awsへ電顕データ送信テストとかしたいけど、やっぱりadslではなぜか転送途中で切られる...光回線待ちかなぁ..
- R3(2021).8.5
そろそろadsl離脱を考えねば...リミット9月末
- R3(2021).8.4
dockerは便利です. OSとは別の環境でアプリを動かせて大家さんに気兼ねなく組めるから.
ただクラスター環境でdockerを動かすってK8sかぁ...
- R3(2021).8.2
sata. ahci SSDが500MB/secなら単純に4Gbpsで10GBASEの枠内. m2. nvme SSDが3GB/secなら 24Gbpsでsfp28かな.
内部HDDが100MB/secなら 800Mbps で 1000BASE. ふとsfp28とかならscratchは不要かなと思うが、FS側がHDD複数構成なら
やっぱりscratchは必要なのかも. それでも10GBASEならscratchはsata. ahci SSDの複数枚構成で十分なのかも.
- R3(2021).7.30
腕が重い...
- R3(2021).7.26
蛋白質立体構造予測プログラムとしてRaptorX-3DModelingの他にAlphafoldとRoseTTAFoldが用意できた
- R3(2021).7.23
Alphafoldを作ってみた. dockerを使わないバージョン.
- R3(2021).7.20
Alphafold2を試作中. adslな回線ではさすがに厳しいな...
- R3(2021).7.18
cuda-11.4でrelionをコンパイルできない件. GCCが古いのが原因. CentOS7のGCC-4.8.5ではcuda部分のコンパイルで止まる.
それをCentOS/devtoolsetでGCC-9とかにすれば通った. AlmaLinuxかRockyLinuxに移ったほうがいいのかも.
- R3(2021).7.14
熱は出てないが、最近の急な温度変化とエアコンで具合が悪くなっている. 今日一日横になってました.
T600を注文. GT710(Kepler)だとtopazの計算ができない...
- R3(2021).7.11
GeForce GT 710を使っているのだが、pytorchから古いと言われる..Aは予算オーバー. T600かなぁ
- R3(2021).7.10
cudaライブラリの更新が早い. 関連ライブラリの調整にも目を配る必要がある.
それ以上に30x0のカードを入手せねば...禄に検証できぬ...っが高い. 最低限30x0を2枚なきゃ検証できぬ...
zfs,cephらを見るにRAIDカードはなくてもいいみたい. まぁCPUが早くcoreも多いからね. softwareでカバーできる一例なのかも.
ただ障害時復旧はRAIDの方がまだ楽かな. zfs,cephは作業が結構あるから.
- R3(2021).7.7
OpenPBSでGPUをhookさせている. hookさせるとqueueの環境ではGPU IDは0から振られる.
0:1:2:3なGPU IDがqueueに入ると GPU:3 も GPU:0 となる. その状態でCUDA_VISIBLE_DEVICESは0でいいと思うのだが...
RTX30x0[cuda11.2]でcrYOLOが遅くなる現象がでた. 本家は CUDA Toolkit 9.0 / cuDNN 7.1.2 で作っているみたい.
RTX30x0って11以上が対応なので、その辺の問題かな...
- R3(2021).7.3
cuda-11.4でrelionをコンパイルしたら途中で止まる. cuda-11.3 Update 1なら大丈夫.
- R3(2021).6.30
Guacamoleを作った. これでブラウザ経由でRDP, vnc, sshが可能になる.
- R3(2021).6.19
anacondaのミラーサイトを作ろうかと考えたが規約を読むと駄目らしい. お金を支払えば作れそうだけど...
このままではクローズドネットワーク向けのアプリ構築とか非常に面倒みたい.
内部でアプリ構築をし易くするためにミラーを置きたいのだが..
- R3(2021).6.17
前言撤回...minicondaで上手く動かないのもある...cuda関係は難しいのかな...
anacondaが場合によっては有償なのでその回避策を練っているのだが....
- R3(2021).6.16
そろそろMinicondaに移るか...基本問題ないみたい.
- R3(2021).6.15
cryoSPARC liveはcryoSPARCをインストールしていれば使えるみたい. ポート番号に+6の値で叩けば使えるそうな
例えば39000で既定ではインストールさえるが、 http://localhost:39006/ がcryoSPARC liveのインターフェイスなそうな.
- R3(2021).6.12
ここ1ヶ月ほどリモートアクセスについて調査を進めていた. vpnにraidusを噛まして認証(AD)させ、そしてそのvpnのトンネルで
対象サーバにvncを通す. もちろんvncにも認証(AD)を噛ます. 仮想でほぼ検証確認済み. ようやくめどが立ったかな.
- R3(2021).6.10
AlmaLinuxOSを試しています. RedHatのクローン. これがいいのかな ubuntuもいいけどね
- R3(2021).6.7
ファンレスPCを使いたくてintel NUCを購入. これだけでは正直煩いのだがNUC向けのファンレスケースがあり調達中.
色々揃えると元から静粛なmac mini以上の金額になるが仕方ない. ファンレスがほしいのだ....
XQuartz 2.7.11のままの方がよさげみたい.
- R3(2021).5.31
macOSでX越しにeman2のe2displayを使うとこけるとき、
「defaults write org.macosforge.xquartz.X11 enable_iglx -bool true」をすれば回避可能だったけど、最近ではこれでも
駄目みたいで別途「defaults write org.xquartz.X11 enable_iglx -bool true」もお試しください
- R3(2021).5.25
php/fpmを作成. 大きなタスクがあるのだが、部屋の掃除の如く、、まぁーそんな感じ. 検証のためにmacが必要になりそう..
一応mac miniはあるが古くて最新OSは無理..
- R3(2021).5.24
OpenPBSでのHookによるGPUリソース制限はできている. slurmでのそれをできるように確認している...
4枚のGPUを搭載した計算機があるとして、cryoSPARCでジョブを流して1GPU消費しているのに、relionで4GPUを流そうとすると
流れてしまう. これを防ぐには、、として検討中. OpenPBSはOK. slurmでも達成したく模索中.
まぁOpenPBSであれば$TMPDIRが使えるからそっちでいいのかなとも思えるが...
- R3(2021).5.20
気温差が激しいためか不調...
- R3(2021).5.19
手元にあるqnapからAWS S3 Glacierへバックアップを試みている. AWS S3 Glacierは1アーカイブ40TBまで取れる.
っでそのアーカイブを複数用意できるので、プロジェクト毎にアーカイブを用意すればいいのかなと.
- R3(2021).5.17
ジョブコントロールでrsh/sshで計算ノードにパスワードなしログインが必須だと思ってたが、違っていた...
計算ノードでのアカウント情報は当然必要だけど、ユーザのログインはできなくてもいいみたい.
- R3(2021).5.12
relionのサイトで ver4.0 のコンパイル方法とか載っているのだが、肝心のソースコードはまだ未配布?
ジョブ管理システムでgpuのリソース管理を行いたいのだが、OpenPBS と slurm どっちが簡単なのか不明.
どっちも出来そうだけど...手間が掛からないのを選びたい. システムの堅牢に繋がるから.
- R3(2021).5.5
とあるスパコンにrelionなどなどを構築中. ログインノードと計算ノードのOSが異なっている...
またログインノードにはGPUカードがなくcudaライブラリもない...EnvironmentModulesもない環境で悩む...
結構ハードル高いなぁ.
- R3(2021).5.4
nucのonboard-nicがCentOS7では認識されない. 手動でe1000eドライバの追加とbiosでsecure-bootをoffで認識できた.
追加のusb-nicは認識完了. あと不要な無線LAN昨日はbiosで無効へ.
- R3(2021).4.29
slurmを調べている. scancelでジョブを止めた際scratchの中身は自動的に消せるのか? OpenPBSなら消せる.
いや別に自動でなくても手動で消せばいいので大きなアドバンテージでもないのだろうけど. scancel発行時に
お掃除をするようにすればいいのかな.
- R3(2021).4.28
IMPIチップなaspeed経由で画面を取るとOpenGLが古いそうな. サーバ向けなので高性能な描画性能を求めるのは酷かと.
ただ装着した高性能なnvidiaカードから画面は取りたくないそうな. 分かるけどね. 描画に能力を割けないでと.
そうなるとネット越しにGLアプリを表示することになる. その場合はPC-Xサーバな能力が求められるのかな.
- R3(2021).4.25
cryoSPARCについて記事を書き直した. 運用形態毎に実行画面が変わるcryoSPARC/run.
あとは同一計算機で複数のcryoSPARCを動かす場合について記載する予定. 単にport番号の取り扱いなのだけど.
- R3(2021).4.21
slurmの改訂, GPUの簡単な取り扱いは示した. cgroupとかまでやらないとgpu/cpu混在は無理かな..
Zabbixを作ってみた. rpm版とsource compile版. 画面が奇麗で魅力的. 機能もいい感じ. なによりドキュメントが豊富.
mysqlかpostgreSQL, どっちがいいとかあるけど、使い勝手がいい方を選べばと思う.
日本語ドキュメントはどちらも豊富でしょうからgoogle先生が答えてくれるでしょう.
- R3(2021).4.13
IBMのGPFS(現 Spectrum Scale)を無償で試せそうである https://www.ibm.com/jp-ja/products/spectrum-scale/pricing
- R3(2021).4.11
cryoSPARC. 個人個人でcryoSPARCを立てた方が楽. ファイルへのアクセス権とかの考慮箇所が無くなるので.
だが、GUIはwebなのでport番号の配布を考慮する必要がる. UserAさんは 39001、UserBさんは39002とかに.
ただ、そうなるとdockerにcryoSPARCを入れて運用したほうが楽かなぁ
- R3(2021).4.8
LDAPサーバにposixとsmbパスワードを収めると1つのsmbサーバはそれでいい. 2つめのsmbサーバも使おうとするとsidで揉める
- R3(2021).4.7
OpenLDAPとsamba(smb)の連携はうまく行った. っがQNAPのLDAPとはうまく行かない...SID関係っぽいのだが...要調査
- R3(2021).4.6
ubuntu20.04を使ってみている. cryo関係のアプリも問題なく使えるみたい. ldapとかnisとかの連携確認を残すのみかな.
centosと比べてkernelがより最新でより最適化がされているから速いかなと思っているが計測はしていない.
ただ昔、kernelのみを最新にして動作が軽くなったことは忘れられない思い出. それがあるから希望は持っている.
- R3(2021).4.4
GeForceカードをもつwindowsPCで、windows/WSL2?を使えばその仮想LinuxマシンでもGeForceカードでcudaが使えた.
っで最近、LinuxPC上の仮想windowsマシンでもGeForceカードが利用可能になるそうな. ただしカード1枚に対して1つの仮想PC.
カード1枚を複数の仮想マシンで使うには従来からTesla/Quadroで可能.
https://twitter.com/PellyNV/status/1376897068955009033
- R3(2021).4.3
ldap記事の改定が完了. UNIX(posix)とsamba側の2つのパスワードを管理するのはnisでsambaを動かすのと同じように見える.
samba-adは確か1つ. まぁsmbldap-passwdとかで見た目には1つに集約できるので意識する必要はないのだろうけど.
- R3(2021).4.1
三か月満了かぁ..1/4消化..四半期終了..呼び名はいろいろ
cactiよりHinemosの方がいいかなぁ.
- R3(2021).3.27
本気でHinemosを習得せねば...
- R3(2021).3.26
簿記が分からんでもアプリで何とかなるのだが、アプリの使い方がダメでミスが一か所. でもようやく申告が終わった.
- R3(2021).3.23
プリンターが故障して交換へ. タッチパネル形式のに変更して無線LAN接続設定が極めて楽になった.
- R3(2021).3.21
vpn接続のために固定IPサービスを受けたのだが、CiscoAnyConnectを介すると24秒で断線してしまう...
- R3(2021).3.14
pythonはライブラリが豊富で目的のロジック、計算式を作るのが楽. アプリの額縁、グラフ表示の機能も
結構楽に組みこめられる. それゆえそれに特化した実行環境が簡単に用意できる下地が必要で、ここではpyenv/anacondaを
使って実行環境を用意して、その実行環境をターミナル、端末で展開するためにEnvironmentModulesを使っている
- R3(2021).3.13
eman2.91を調べている. eman2.31付属のopenmpiは「dl support: no」だったのが、eman2.91では「dl support: yes」となっている.
- R3(2021).3.12
クライオ関連のアプリには多数のpythonアプリがあります. っでpythonと言ってもeman2.31はpython-2.7、
crYOLOはpython-3.6、PyEMはpython-3.7とそれぞれ要求するpythonは様々. かつ必要とする外部ライブラリも多種多様です.
なので eman2.31 と crYOLO の実行環境を同じにすると片方はたぶん正しく動かない. 要PATHの調整
なのでEnvironmentModulesを用いて必要なときに必要な実行環境をloadする方法をここでは採用しています.
relion, ctffind, MotionCor2, ResMap, coot, chimeraらは互いの実行環境に影響を及ぼさないので共存は可能.
これにeman2.31が入るとeman2.31のmpirunがrelionのMPI処理に影響を及ぼすのでEnvironmentModulesによる適切な
運用が求められるのかなと思っている. PATH環境変数をその都度弄るのが面倒なのでEnvironmentModulesを使ってます.
- R3(2021).3.11
合掌
- R3(2021).3.10
メインPCが煩かった. Antimalware Service Executableが異様にCPUを使うようで、その排熱のためFanが頑張っていた.
試しに商用のウイルス対策アプリを入れたら途端に静かになった.
- R3(2021).3.8
cephfsでsambaとの連携完了. 最後の最後で selinux で達成が遅れた... この際selinuxの学習に励むべきか..
centos8streamのsrpmがyumdownloaderから落とせない. どうやら git.centos.org で提供されている.
ハードル上がり過ぎませんかね?
- R3(2021).3.6
VMwareESXi7.0に乗り換えたが、やっぱりESXi5.5とかの方が便利だったなぁ...これならqemu/libvrtの方がいいように思える...
- R3(2021).3.5
事務処理に追われている...
- R3(2021).3.4
relion-3.1.2がリリースされた模様
- R3(2021).3.1
cryoSPARCのdokcer化を試す予定.
- R3(2021).2.26
PyTomを作ってみた. 構築の際に使用するincludeファイルの指定順序が肝みたい.
- R3(2021).2.16
高性能花粉センサーを持つ身だが、クシャミがあれと勘違いされそうでまずい.
amberやnamd, gromacsはエンジン. 一応GUIインターフェースがamberにはあるが、本格的なGUIインターフェースを
探している. 周期境界条件, soak, 各種制約らが出来てtrajectoryの観察もできたらいい.
- R3(2021).2.15
依頼されAWSで単粒子解析は?な感じで調べてみた. 提供されているGPUがTeslaとかの最上位品で、
現場でたいてい使われるGTXなカードの提供は見当たらない. そのためか利用するにしてもお値打ち感が微妙.
使うならAWS S3でアーカイブとかかなぁ
- R3(2021).2.9
cryoSPARCのアカウント管理を見ていると、ふとcryoSPARCを載せたdockerを作ればいいのかな?と.
あとそのdockerをqsubと絡めてGPUリソース制限をすれば行けるかなと思ったが、
1台の計算機に複数のcryoSPARC(ライセンスは1つ)を立ち上げることになる. 微妙かな...
- R3(2021).2.4
RaptorX-3DModelingがようやく完成. 500GBほどの空きがないと無理. GPUで計算出来たけどカードは選ぶかもしれない.
gzipをソースからコンパイル. 久々の./configure;make;make install; 今ならyum installで一発なのだが
パッケージがないなら自分でコンパイルするしかない.
- R3(2021).2.2
CentOS7付属のgzip(v1.5)には[-k]オプションがない. CentOS8ならある.
- R3(2021).1.31
UniRef30_2020_06_hhsuite.tar.gzのダウンロードなのだが、3日経っても終わらない...
- R3(2021).1.28
MNPをまだしてない. devtool-setのGCC-9でOpenMPIを調理してrelionを作ってみた. GCCをソースから作るよりはいいかも.
歩行できるが脚に外傷. この状況下なのでまぁいいか.
- R3(2021).1.19
先週末からずっとPhpSpreadsheet. phpでExcelファイル[xlsx]を作れるのだが、結構使える. いずれ記事にしたい.
作ったExcelファイルをvbaスクリプトベースでpdfへ自動変換したのだが、たまに罫線で変な表示になる.
- R3(2021).1.16
phsの期限が来る...MNPをせねば... 数十年ぶりにSDを購入. 刺激になる記事ばかり.
CentOS8問題. 当面はCentOS7で様子見かな. kernelを新しくすると速くなる可能性が高く、定期的にubuntuのように
OS差し替えもありえるが、アプリの移行が面倒.. ansibleかchefでアプリの自動構築が望ましいのかも.
- R3(2021).1.12
RTX830だが「かんたん設定」を駆使してconfigファイルを作成+download、その後に追記してupでうまくいけた.
設定例を見ながらスクラッチから作ってたが...遠回りだった..
- R3(2021).1.8
RTX830を使ったVPNは動くようになった. ただ微調整がまだまだ必要かな...
qnapの一部を切り出して40GbpsNICで iSCSI デバイスにしたいのだが方法が分からん. ESXiに提供して使いたいのだが..
訂正: cuda10アプリはRTX30系PCでも問題ない模様.
- R3(2021).1.7
幸運な事にRTX30系を触ることができた. どうもcuda10だと無理みたい. moduleが乗らない. cuda11でする必要あり.
cuda10のアプリがRTX30系PCでは微妙. 落ちる. 全ノードにcuda11を入れ... 古いデバイスでcuda11なアプリが動く?
- R3(2021).1.3
古いopenpbs(18.1.4)で複数のGPUを搭載した計算ノードをvnodeで分割するのは無理っぽい.
slurmならできるのか検討開始. 40GbpsHUBのNOSだが、単純にベンダーロックイン(vendor lock-in)なのでは?と思ってきた.
手元にある40GbpbsEtherNIC(mellanox様)で確かめたく思う.
- R3(2021).1.1
謹賀新年
12年越しのリメイクか...ハードを調達せねば..
- R2(2020).12.28
年末. 納会. って締められないよねって指を刺されて言われそう...
- R2(2020).12.24
ONLを再構築してみたがやっぱりダメ. 販売元に問い合わせかな.. って販売元からこの商品情報が消されている...
- R2(2020).12.23
ベアメタルスイッチ[ホワイトボックススイッチ]にONLを入れてLinkUpは確認できたけど、他との疎通ができない...
bridgeとかやってみても駄目っぽい. かなりハードルが高いことに気がついた...やばげ
GPU複数搭載マシンを仮想的に2つに分けるにはTorqueは無理みたい. 現状OpenPBSかな. っがこのOpenPBSも微妙な問題を抱えている..
- R2(2020).12.19
ベアメタルスイッチ[ホワイトボックススイッチ]にOpenNetworkLinux(ONL)を入れswitch chipのドライバーも組み込み
ようやく動いたみたい. ONLの構築にdockerとか必要でさすがに疲れた.
- R2(2020).12.16
GPUを複数枚搭載の計算機を仮想的に2つに分けるには.. OpenPBSでならhookを使えばできる. ならTorqueでは?
- R2(2020).12.13
IBMがRedHatを買収したからなのかなぁ...使うなら正当なサポート費を出してほしいとの意なのかな?
これまでRHELでリリース後にCentOSのリリースで非常に恩恵はあったが、今後は前衛ですか...fedoraとの立ち位置が見えない.
当面はCentOS7でcuda次第かなぁ
- R2(2020).12.12
忙しい. 構築ものと検証ものが溜まっている. 刷新したESXiを活用したいのだが、nvidia関係だと検証が金銭的にほぼ無理.
っとなると実機かqemu/libvirtなのだが、OpenStackを作ったほうが良いのか迷う.
- R2(2020).11.29
windowsOSに溜まったイメージデータをLinuxに運ぶには ftp、smb、nfs、scp らのfilesystem ベースな方法が比較手に簡単で
FC,iSCSIを利用したShared disk file systemsとなると恐らく速いのだろうが高価すぎるかな.
- R2(2020).11.26
テスト環境のIPアドレス体系を変更したい. vpnで接続すると稀に同じIP体系のことがある. するとこちら側の
計算機にアクセスできないことがある. 「10.0.0.0/24」とか文字数が少ないのにしようかな.
複数のRAID6で作ったLVMと素直なRAID60. それぞれ利点はある. ただLVMだとデータが入ってないのに結構取られる...
- R2(2020).11.24
ESXi上のwindowsServerの件. 仮想マシンに付けたnicの種類でどうこうならんかと考える.
「e1000e」の「VMXNET3」違いで改善を図れればいいのだが...
- R2(2020).11.16
ネットワーク関係の免許を持ってない. 本来ならcisco様の免許とか持っていればいいのだが、、ほぼほぼ藪である.
IT関係の免許も持ってない. 野良である. まぁ持ってた方がいいのだろうがね.
- R2(2020).11.15
ccpem-1.5.0、Chimera-1.15、relion-3.1.1とupdateが出ている.
- R2(2020).11.13
ESXi上のwindowsServerとのデータ転送速度が遅い. 正確にはiperf3で10Gbps回線なのに2Gbpsほどしか出ない.
DirectPass I/Oとしたデバイス経由なのに...途中のHUB、計算機への接続も10Gbpsでアップリンクしているのに...
- R2(2020).11.12
設定後に動かないと問い合わせが来た. 詳細を伺うとこちらに伝えていない内容で、、、困った...
- R2(2020).11.10
クラスターマシンにrsh/sshさせないでjobを投入するには「--with-tm」でopenmpiをコンパイルして、openpbs側の
pbs_[tmrsh|remsh]を使わせるそうな.
- R2(2020).11.6
30台の計算機をCentOS7からCentOS8へ入れ替えるには. kickstartを駆使してインストールメディアを作って
PXEbootで起動させ自動インストールさせる. 各ノードの起動を個別に確認とかあるけど、まあ5min/1台なら150minかぁ...
その後はAnsibleで対応. 問題は各ノードのHW構成がばらばらでNVMeのみNVMe/SATA混在、SATAのみとか
追加NICとかでデバイス名の不統一とかでしょうか.
1day作業でしょうけど、年末年始仕事向けですな. ipmi持ちならリモート作業もokですな.
- R2(2020).11.2
relion-3.1.1がリリースされている. でもgitのmaster branchは3.1(10/7)のまま.
「git checkout ver3.1」で3.1.xの最新版をコンパイルできるが「The code there is not tested as throughfully as
that in the master branch and not generally recommended.」(そこにあるコードは、マスターブランチのコードほど
徹底的にテストされておらず、一般的には推奨されていません。[by google先生])とある. master branchのv3.1と
開発版の v3.1.x の2つを同時提供すればいいのかな?
- R2(2020).10.25
計算機の再起動時に cryoSPARC を自動起動させる方法cryoSPARC#w9335327
anacronとか使おうかなと思ったが、systemdのunitファイルを追加させて対応してみた.
平らなLANケーブルを使っている. っが椅子のキャスターに踏まれたせいか使えなくなった...
- R2(2020).10.24
CentOS7と8. openmpiが異なるのでバイナリーの共有は無理っぽい. openmpi自体も共有とかにする必要がある.
CentOS7のサポート期限は 2024-06-30. 動けばいいなら切れても構わないだろう. 所属機関のポリシー次第だが.
っが概して最新OSはkernelが上がっているので早いという印象を持っている.
- R2(2020).10.22
プライベートなドメイン名の付け方で、〇〇.localとか末尾の「.local」はだめだそうな.
なら何が宜しいのかなとなりますが、親のドメインを継承すべしとある.....ここなら「〇〇.chaperone.jp」となるが...
長くて面倒だから「〇〇.home」とか「〇〇.me」「〇〇.lab」「〇〇.private」とかでいいような気がする
siloの修正はほぼ完了. ページの修正は後日. topazのpickを乗せたい...
- R2(2020).10.15
siloのcifsは取りやめ. 代わりにwindowsPCにftpサーバを備わせ、cronで定期的にlftpによるミラーコピーを実施させる方行に
方針変更してほぼ完成. cifs版も作ったけどmount操作があり、下手したらsiloサーバ自体が落ち得るので却下した.
fireは従来のinotifyを継続. 残課題はwebの表示系とpick系にtopazを入れる事.
- R2(2020).10.13
連日siloのupdate(relion-3.1対応とcifs対応)を進めている. relion-3.1化は完了済み. cifsでsiloがカメラサーバに
マウントして5min毎にrsyncを発行させる. 従来はwindowsのrobocopyらで間欠コピーさせinotifyでfireさせていた.
今後rsyncでfireさせるか、inotifyでfireさせか思案中.
- R2(2020).10.11
寒い...
siloをrelion-3.1に対応中. あと出力されたファイルの感知方法を変更中. よりセキュアに. 2Dは機能削除.
- R2(2020).10.9
テスト検証のために仮想サーバを使っているが、さずがにVMware ESXi5.1では無理になってきた...
ESXiをupdateするか、kvmでするか.... cuda関係なら断然kvm. 操作しやすさはESXi. ESXiでcudaはできなくはないけど高価...
- R2(2020).10.8
電話が鳴って起きたら、予定を過ぎていた.. 電話はその問い合わせの電話... 血の気が引く
関係各所にお詫びのメールを送る. 眠気覚ましには十分すぎる効き方.. あーまいった...
- R2(2020).10.5
頻繁にこのサイトが止まる原因っぽいのがこれみたい「caught SIGWINCH, shutting down gracefully」
LDAP, FreeIPA, samba-ADって同格かな. それらをデータストアとして連携するのにOpenAM, Keycloakらがあると思っている.
RDkit with postgreSQLを土台にしてFileMakerによる化学系ELNって作れそうな気がする...
FMに残してもデータ的に汚い、再利用できないかもだけど、今までの紙よりはなんぼかましでは?と
- R2(2020).10.2
このサイトが頻繁に停止してしまう. 必要な方はミラーサイトを使ってください.
OpenPBSを最新にするとrelion経由のジョブが流れない. 原因はジョブ名に[/]が入っているため. PBS側で直してほしい...
- R2(2020).9.28
固定IPが必要になって「マイIP」なるものを検討中. 基本これで良いかな. FAQにwebサービスを立ててもいいとあるので、
配布された固定IPは共有されていないと見ていいのかな.
- R2(2020).9.20
夏よお疲れ様. 秋よこんにちは.
ベアメタルスイッチ/ホワイトボックススイッチで価格が安くなると言われるが、MikroTikは安価でOS付きである.
SwitchのOSを統一することで管理コストの低減...とか言われるが、規模によってはOS導入など余分なコストかな.
- R2(2020).9.16
CRS326-24S+2Q+RMが届いた. EUの電源プラグで届いた... わずか7日で届くとは. ブレイクアウトケーブルはまだ.
取り合えずはQNAPに接続かな. 8ポート40GbpsSwitchとして使えるかなぁ
- R2(2020).9.14
samba-ADのメンバーサーバで提供していたファイル共有が機能しなくなった.
localNetのsmbclientでは接続可能なのにmacクライアント, 外部ネットワークから接続はできなくなった.
krb5.keytabを再発行して回避に成功. windowsでNFS/smb共有を賄えたらいいのかな...
- R2(2020).9.10
やっすい40GbpsなHUBを購入してみた. CRS326-24S+2Q+RM. 片方がQSFP+でもう片方が4つのSFP+となるブレイクアウトケーブルも手配.
QNAPが40Gなのでそれを中心とした形を作るために. あとブレイクアウトケーブル なるものも試したかったので.
すでにQSFP+じゃなくてQSFP28/SFP28な感じだけどそっちはまだまだ高価
- R2(2020).9.8
10Gbase-T/sfp+のトランシーバーはどうしようもなく熱い. 今後低発熱型がでると思うが、現状は厳しいな.
cephをsambaで使えるのかなと調べたら、「vfs_ceph」で使えるみたい.
intelのnicでRDMAをサポートしているのは上位機種のみ. その点、mellanoxはほぼほぼ対応.
ベアメタルスイッチ/ホワイトボックススイッチにNOSとしてOpenNetworkLinuxを入れる作業が...
- R2(2020).9.7
10GBASE-T/sfp+トランシーバ、そしてsfp+/qsftp+変換モジュールが届いた. 早速10GBase-Tとqsfp+で繋いでみた.
通信は問題なくできたが、10Gbase-T/sfp+のトランシーバーの発熱が異様に高い. 常時使用はそこを目掛けての強制空冷は必須かな.
触れないほどの発熱です. まだまだ10Gは光ファイバとかDACケーブルがいいかも
- R2(2020).9.6
ファイルサーバが遅いと言われる.
手動ででっかいファイルを作ってNFSで計算ノード(SSD)にコピーさせると 10G LANで 8Gbps は出る.
NFSでsyncモードならなら500MB/sec. 計算ノードのSSDと書き込み速度と同じくらいのかな.
恐らくアプリ側の処理があるので遅く見えてるのかな. この場合どう対応すれば正解なのか...
- R2(2020).9.2
ライブで拝見した. 10GBかぁ...現行より1GB減. だけど価格は思った以上に下がった模様.
- R2(2020).8.30
同じversionのバイナリーが2つある. 1つは解析できて、もう片方は出来なかったりするのは何故...
せめてversionだけは異にしてほしい...
- R2(2020).8.29
ようやく安価だがGPUを二枚載せた計算機が用意できた. OpenPBS(以前PBSPro)でGPUの使用数を制限したジョブを試す予定.
32coreマシンで1つは4GPU+16coreなリソース、もうひとつは16coreのみのリソースを作って効率的な運用ができないか模擬検証.
DIYな24U19インチラックを組み立てた. 一人でできなくはないが36Uは微妙かな. もっとも4U,5Uな代物の備え付けは一人では無理.
リフターがあれば違うのでしょうけど.
- R2(2020).8.26
PyEMを修正. 関連でeman2をソースからビルドしたがpython3.7でないと無理だった
40GbeなQSFP+にメタルケーブルを繋ぐべく[QSFP+ to SFP+ 変換アダプタ]と[10GBASE-T SFP+トランシーバ]をebayで購入.
- R2(2020).8.20
本サイトのhttpdが不意に落ちる...何が原因なのかは不明. いざとなればミラーサイトを参照するのだが、、困った..
sata HDDベースなストレージで20台以上のクライアントを抱えても良好な転送速度とボリュームの拡張および構成HDD群の差し替えが
可能なストレージシステムを調査検討している. 事務所で実機による調査は費用面で無理なのだが、AWSなら可能.
っならいっそAWSで全部解析したほうがいいのかな? っとふと思うがデータ量が半端ないので微妙かな..
- R2(2020).8.17
io500なるサイトがある. intel様謹製のDAOSがTopのようなのだが、このDAOSはHDD, SATAはもちろんSAS SSDさえ眼中にない.
あるのはNVMe SSDとOptane SSD. クラスターファイルシステム. 試すには高価すぎる.
- R2(2020).8.14
NVIDIAカード搭載windows10マシンでwsl2経由でcudaが使えた.
またwindowsServer2019Essentialsを使ってActiveDirecotryはもちろんの事、nfsサーバも稼動できた.
windows10のHyper-VでOpenPBSを動かせばほぼほぼwindowsOSで解析環境ができそうな気がする.
- R2(2020).8.5
夏休み(?)に「NVIDIAカード搭載windows10マシンでwsl2経由でrelionを走らせる」の詳細を描く予定.
ストレージはwindows共有/NFS共有どちらになるのかとか描く予定. なぜか2070があるから、おそらくできる.
- R2(2020).8.2
先日、寒いお部屋で仕事をすることになり、4時間いたら頭が痛くなり、体が苦痛にまみれた.
翌日は気持ち悪くて何もしなかった...
- R2(2020).7.5
横になりながらリハビリ.
RHEL8.2のリリースノートを見てたら非推奨のパッケージとしてsendmail,yp-tools,ypbind,ypservが含まれていた.
nisはある目的には非常に便利なのだが、、
- R2(2020).6.21
横になりながらリハビリ.
mod_auth_kerbを使ってwebサービスへのSSO(Single Sign-On)はできる. だがそのサービス内で
kerberos経由のmount.cifsによるwindows共有ドライブのマウントができない. /tmp/krb5cc_<uid>が用意できないため?
仕方ないのでcifsマウントはcredentialsで代用.
- R2(2020).6.19
csh/tcshユーザ様から「relionのCTF estimationが動かない」との連絡を頂いた.
規定でrelionからctffindをコールする際に RELION_SHELL環境変数(relion3.1から,3.0はデフォ)でcshが呼ばれる.
っで ~/.history に問題があると.historyが肥大してctffindが動かなくなることがある. (とりあえずは.historyを削除して対応すべし)
自身のshellをbash系にするか、RELION_SHELL環境変数をbashにすれば回避可能かな.
- R2(2020).6.18
横になりながらリハビリ.
windows10のwsl2でようやくcudaが使えるみたい. つまりはwindowsの中のLinuxでrelionをGPU計算させることができる?
要確認事項だけど、周りにそういった環境がないので試せない.
- R2(2020).6.17
横になりながらリハビリ.
この間、DRBD, HighAvailability, Lustre, CephFS, gP2S, Relion/Dockerfileらをちびちび試していた.
Lustreは思ったより素直でよかった. CephFSは難解. いずれも40Gb位で使うものかなと.
fs.com様で40Gb*32portが43万ほど.
- R2(2020).4.20
調子悪い. お薬を飲む毎日..
- R2(2020).4.12
ConnectX-3ProEN(40/56GbE)をebayで購入. QNAPに付けてQtierの速度テストをしてみる予定. 届くのが一ヵ月後.
ブロックレベルでSANで共有、ファイルレベルでNFSで共有. 初期投資が高いが拡張が容易な前者、初期投資は
低くある程度までは拡張可能な後者. FCとiSCSIならFCの方がいいのかな?
- R2(2020).4.8
宣言が出た. できる限り協力します.
- R2(2020).4.5
連続稼動で体がだるい. 再来週は在宅勤務にしたい.
infinibandでiperf3で相応の値が出るのだが、nfs接続にすると遅い. nfsサーバのストレージはnvme並みなのだが..
- R2(2020).3.31
年度末. 毎年年度末に近づくと忙しくなる. っで4/1以降も何だかんだで継続的に忙しいかも.
だが仕事があるだけましとも言える.
- R2(2020).3.28
停電があってマシンが停止してしまった. 折りしも出張と重なり手が付けられない状況.
upsが有れば...いやそんな中でもQNAPは復電後に起動していた. このQNAPに仮想マシンを駆使すれば大丈夫かな.
- R2(2020).3.21
GPL3でソースも公開されているWarpを試している. GPUカードのメモリー空き容量が少ないと落ちる.
fio-v3.7向けのfit-cmdを見つけた.
- R2(2020).3.12
NVMeでQtier作ったら40Gbpsはいけるのかな?その前にQNAPのcpuがへたるかな.
adaptecのmaxCacheは2TBの上限がある. Qtierにはそれがないっぽい.
- R2(2020).3.11
黙祷
- R2(2020).3.4
QNAPのQtierを使ってみた. QNAPからの読出しはHDDの速度っぽい. っが二度目はnicの帯域をフルに使って転送してくれた.
また書き込み側は初回から帯域をフルに使って書き込みが行われた.
- R2(2020).3.3
右手首を負傷. 重い物が持てない...
キーボードは打てるけど、44slots jbodは運べない. 参った...
- R2(2020).2.21
やっすいビデオカードを2枚購入. pbspro/GPU?でGPU要求枚数が搭載枚数になったらCPUに空きがあっても
これ以上のジョブは実行されずにqueuing状態になるを確かめるため. あとvnode機能の確認のため. これができれば
8枚GPUマシンを仮想的に4GPUマシン2台にできる. あるいは32core4GPUマシンを16core4GPUと16coreマシンにとか.
- R2(2020).2.19
オープンソースカンファレンスが開催中止になった...仕方ないか...
- R2(2020).2.17
エラーメッセージをgoogle様に伺うとたまにRedHatのサイトに辿り着くことがある. っが大抵はこれ以上は見せないよっな
対応なのである. でもよく調べるとRedHatの無償の開発者アカウントを持っていると見れるそうな. っで早速登録.
今回は「NFS: nfs4_reclaim_open_state: Lock reclaim failed!」を調べた. ...読んでも分からない...仕方ないvers3にするか.
- R2(2020).2.16
PBSProにてcgroupsを使ってGPUの排他制御ができないか検討. vnodeを使えばできそうなのだが、PBSProをupgradeしないとダメ見たい
QNAPのQtierを検証中
- R2(2020).2.8
目下phsとadslを使っている. これを今年中にケータイと光回線に変更するつもり. 月額料金が大幅に上がる...
あと光回線にしてもこのサイトが維持できるか微妙..
- R2(2020).1.31
早くも1月が終わる...月初めのインフルエンザで1weekを棒に..
どうしてもコンパイルできなかったcoot 0.9-preがccp-emのNightlyに入っていた...
- R2(2020).1.24
当方作成のsilo. e2proc2dでmrcをjpegに変換しているのだが、逐次処理のため遅い. っでGNU parallelで8枚同時処理を
試している. 試作は大丈夫そう.
- R2(2020).1.12
ストレージの消費が激しい. 研究上必要なことなので挟みはしない. ただ自身が思われる不要なjobは積極的に消してみてはと具申
ファイルサーバにユーザ数分のUSBクレードルを用意してUSBクレードル単位でNFS export. 全計算機がそれをNFSmount.
そうすれば研究者自身の責任でストレージ管理が行われるのではと愚考. 最大16TBまでだが...
- R2(2020).1.10
job管理システムTorque(4.2.10). ずっと使っているとpbs_schedのメモリー占有がどんどんあがって、仕舞には落ちる.
ならpbs_schedの代わりにmauiを使えばとなるが、現時点では入手できるのかな?
まぁPBSProへ移れば良いのだが、TorqueはGPUIDの指定ができて融通がいい.
喋ると咳き込む状態. まいった
- R2(2020).1.9
インフルエンザに罹患みたい. まいった
- R2(2020).1.8
40G*2+10G*24なswitchが出ているhttps://mikrotik.com/product/crs326_24s_2q_rm
値段が499.00ドルって、、すごいな
- R2(2020).1.2
coot/0.9-preは無理っぽい. Haskellも無理っぽい. 限界を感じる日々です.
- R2(2020).1.1
謹賀新年
このサイトが僅かでも役に立てられるように尽くしたいと思います
- R1(2019).12.26
16coreなマシンで4GPU(4thread/1mpi)で計算中[Class3D]のsarを見ると%idleが3割
8coreなマシンで同じく4GPU(4thread/1mpi)で[Class3D]のsarを見ると%idleが1割以下
32coreなマシンならいっそ仮想的に4GPUあり計算機とGPUなし計算機の2つにしたほうがいいのかな?
一応PBSProならそのような仮想的な計算ノードが作れるそうな.
- R1(2019).12.23
Scipionにsphireを加えると「condaがない」と言われる. python実行環境の取り扱いが難しい
- R1(2019).12.14
PyEMを作ってみた.
- R1(2019).12.11
pyenvとconda. pyenv/condaとdocker. conda install[ハードリンク]とpip install[上書き].
ユーザにpyenvの構築方法を示してあとはご勝手に. これは開発者にならいいが、利用者側には難しい話.
- R1(2019).12.10
Scipionを調整中. crYOLOとかもここから使えるようでますます便利になっているみたい.
ただ、condaとの連携に苦慮している.
- R1(2019).12.9
CentOS8でのcootは、必要なパッケージをFedora29のSRPMからRPMを作り直せば回避可能.
- R1(2019).12.7
リハビリっぽく仕事中. CentOS8でctffindがうまく動かない. source codeからcompileで回避.
cootもsource codeからのcompileすればいいのだが、RPGっぽくて避けたい. 開発元から出してくれればありがたいのだが..
- R1(2019).12.5
体が重い....
crYOLOを更新してみた. GUI画面が付いた.
QNAPの納期が12月末以降みたい.. CentOS8でバイナリー提供のctffind4が動かない...あとcootも...
- R1(2019).12.3
疲れているのか最近横になっていることが多い...
QNAPを新調した. 10G付き.
- R1(2019).11.22
PBSProに細工を入れてjob発行とかを別のテーブルに記録させている[pbspro/table/SQL]].
このテーブルを使って簡単なグラフを作てみたpbspro/table/web?.
- R1(2019).11.16
顧客のサイトでipmi未装備のマシンをRaspberry Piでリモート強制起動を実現していた. 是非とも試してみたい...
Hinemosの改訂書を入手して読んでいる. PBSProのデータpbspro/table?も読み込みたい..
- R1(2019).11.13
予定をキャンセルして休む. 仮想化サーバを新調したい...GPUとかを考えたらLinuxでqemu、使い勝手なら断然ESXiなんだよなぁ...
- R1(2019).11.9
cryoSPARCのssd cache(scratch)を辞めようかな....複数のjobが同じscratchを参照する可能性もあるので
job終了後即時の削除は難しい. なら「systemd-tmpfiles-clean.timer」で自動削除もありえるがjobと連動しないので
jobが終了してもscratchが埋まったままでほかのアプリでscratchが使えない事が起こりえる...
OpenBabelのversion3がリリースされていた. 速度が速くなったのね. 今だとon memoryで構造検索とか早いのだろうな..
まぁ構造検索に特化したnoSQLもあるけど、そっちのほうが優れているかな.
- R1(2019).11.6
Hinemosの書籍を、と思ったが調べたらもうすぐ改訂版がでるそうな.
cryoSPARCの計算後にscratchを消してくれないのは仕様かね....pbspro/PBS_TMPDIR?のように消せればいいのだが....無理っぽい..
- R1(2019).11.4
管理運用ツールHinemosを試している. cactiよりはいいみたい. っが、単純な事(ping監視)をするだけなのに
単純なドキュメントが見当たらない...機能がすばらしいのは分かったから、要点だけ教えてほしい..
まぁここもいろんな事(不要なこと/間違い(?))を書いているので何とも言い難いのですが...
- R1(2019).11.1
前回InfiniBandSwitchは先方のミスで入手できなかったが、今回は既に国内に来ている模様.
InfiniBandとopenmpiとの関係がよく分かってなく、その辺を確かめたい.
- R1(2019).10.26
InfiniBand switchをebayで購入. 今度は届くかな.
- R1(2019).10.25
USB3.1gen1(USB3.0)は5Gbps.
HDDはだいたい150MB/sec(1200Mbit/sec, 1.2Gbps).
なのでUSBクレードルを使ってPC筐体外でHDDを接続してもHDDの速度が律速になることは少ないのでは.
まぁHDDをプロジェクト単位として扱うのは便利でしょうけど、抜き差しが簡単なのでmount中に抜いたら、、って危険もある.
また複数の計算機で同時に解析を進める際も共有設定が面倒かな...少数の計算機でUSBクレードルなら便利かな
- R1(2019).10.23
relion-3.1-betaがリリースされました。おめでとうございます。
関係する各所にインストールしているが、beta版なので当然ソース更新が発生する。
またstarファイルの下位互換性がないようで要注意かな
- R1(2019).10.19
110x70x70の机を注文. 32inchモニターでは奥行きの大きい机が欲しくなる.
- R1(2019).10.15
webサーバ兼検証サーバをCentOS8へ変更. samba,dnsmasqを調整. 今後/Applは/appsに変更します.
EMAN2.31がリリースされている. 近いうちにupします.
- R1(2019).10.9
台風が来るそうな. その日にでもこのサイトをCentOS7から8にしてみようかな.
- R1(2019).10.7
ようやく秋の夜長でしょうか. 温泉旅館で寛ぎたい...
- R1(2019).10.4
CentOS8からfltk-fluidパッケージが削れた. なのでrelionをコンパイルするには「-DFORCE_OWN_FLTK=ON」を
追加する必要がある。今後、他のリポジトリで復活するかもしれないけど.
- R1(2019).10.1
CentOS8. 従来系の8.0.1905(8.X)と8-stream系の二系統用意されているみたい. ここでは従来型しか扱わないかな.
他のサイトを見るとインストールレビューが既にあがっている. ここではインストール手順らは書かないかな.
- R1(2019).9.24
CentOS8リリースおめでとうございます.
distrowatch を見ていて、kernelが3.10->4.18、gccが4.8.5->8.2.1、phpが5.4.16->7.2.11、pythonが2.7.5->3.6.8
cmakeが2.8.12.2->3.11.4、xfsprogsが4.5.0->4.19.0、openmpiは3.1.2
注目したいのはこれでxfsで重複排除ができるかどうか。
バージョン的にはxfsprogs-4.9.0,kernel-4.9.1より上なので行けると思うのだが..
pythonの3.6はありがたい. phpは7.2.11で高速化ですな.
- R1(2019).9.19
CentOS7.7がリリースされた. それ自体はいいのだが、CentOS7.6でInfiniband関係が入ってるマシンに
openmpi3が入らなかった...どうもopenmpi3が3.0.2(CentOS7.6)から3.1.3(CentOS7.7)にupしたみたい.
なので vault.centos.org 様から3.0.2を入手してインストール. まぁyum updateすれば別にいいのだろうが、
他への支障を避けるために.
- R1(2019).9.11
データの取り扱いを/data01, /data02とかで区切るのは簡単明瞭. このフォルダにProjectを入れればいい.
だが、/data01が埋まって/data02へ移ると、/data01のProjectは/data02に引き継げない. linkで誤魔化す?
そこに記憶域poolを使うとか考えている. linuxならzfs、windowsなら記憶域pool
記憶域poolからの領域の切り出しとquotaって同義?
- R1(2019).9.10
BeeGFSを実機で作ってみたBeeGFS/Test. 1台と2台の構成でしか試していないが2倍の速度にはなる。
パラメータを弄っていない状態. BeeGFSで出ているチューニングを試してみるかな.
- R1(2019).9.2
BeeGFSの実機検証進行中.
それとともにwindows storage serverの重複除去を検討中. ファイルベースでなくブロックベースで重複を排除してくれるみたい
テープにアーカイブもいいが、取り出しが面倒. 最終的にはテープかもしれないが、めったに使わないのなら重複除去な
ストレージ領域に移動させるのもありかな?
- R1(2019).8.22
GitBucketを4.14.0から4.32.0へ上げたら動かなくなった...幸いバックアップを取ってupdate作業を行ったので
元に戻せたが、非常に焦った。っで元に戻して4.15.0, 4.16.0, ...と順次updateを行い(途中省略あり)4.32.0へ行けた.
アップグレードパス情報があれば嬉しいかな...
- R1(2019).8.20
10年使っているwindows7マシンを再起動したら動かなくなった...
- R1(2019).8.18
オープンデベロッパーズカンファレンス2019を見学予定.
- R1(2019).8.11
夏休みの自由研究としてBeeGFSを実機で作ってみることにした
- R1(2019).8.8
CentOS7で提供されるopenmpiが 1.10.7 のほかに 3.0.2 がある。
今後はこの 3.0.2 を使ったコンパイル方法を示す予定.
- R1(2019).8.4
CentOSでxdmcpとnoVNCの連携は成功したが、ubuntuとはどうも繋がらない...gdm3をlightdmにすればできるのだろうか...
- R1(2019).8.3
vnc/noVNCにXDMCPを繋げることに成功した。セキュア云々はあるけど、rootでnoVNCのwebsockifyを掲げ、
XDMCPを許可すればいけそう。これでブラウザがX端末になるのかな。
- R1(2019).8.1
データを集めて解析するにはすっごい時間を要するが、無くすのは一瞬だなぁ....1week分のデータが消えた..
- R1(2019).7.31
ubuntu-18.04でvnc/noVNCを構築. 一応完成したがお客さんの所で動かないみたい....現地かなぁ...
- R1(2019).7.28
ubuntu-18.04にcudaをインストール. 以前はできたのに9.2が入らない...仕方なく10.1を入れて
後から9.2、9.1、9.0、8.0のライブラリのみを追加インストール.
- R1(2019).7.21
sambaをそろそろupdate. sambaも4.10.6なのね. samba/リモートサーバ管理ツールなLinuxツールが欲しいかな.
まぁコマンドラインでできなくはないけど...
- R1(2019).7.18
黙祷
- R1(2019).7.12
cryoSPARCで計算後に/scratchにデータが残ってる...pbspro/PBS_TMPDIR?な感じで指定できないものか....
- R1(2019).7.5
ようやくCentOS7でBridge routerが作れた router/Bridge
- R1(2019).7.3
VMwareEsxi5.1をずっと使っている. WindowsServer2019には対応してなく、さすがにupdateを考えねば...
relion-3.0.7がリリース. EMAN2との連携 EMAN2/OpenMPI がようやくできそう.
っと思ったらOpenMPI-4.0とEMAN2.3の組み合わせはダメみたい. なのでOpenMPI-2.1と連携へ.
- R1(2019).6.30
MS謹製ActiveDirectoryのアカウント情報を使ってLinuxへのログインをできるようにしたい.
WindowsServerでADのスキーマ拡張ができなければ、「rid idmap」を使うしかないかな
WSL2でcudaが初回未サーポートの出典 https://twitter.com/tara_msft/status/1125888319974400000?s=21
- R1(2019).6.26
cryoSPARC v2.9がリリースされた. 最近updateが早いですな. Liveはいつリリースなのかしら.
- R1(2019).6.25
USB-3.0/3.1ポートがあれば、2.5G/5G/10Gのnicが作れる. M/Bに必須と言うわけでもないのかな.
グレードの高いGPUカードを2枚か、安価で4枚か. 「--free_gpu_memory」でメモリー量を検討中
KVMを経由してLinux上のGPUを仮想マシン(windows)で使えそう...qsub -Iでマシンを占有して仮想マシンを立ち上げればOKかな
- R1(2019).6.24
EMAN2向けのopenmpiとRelion向けのopenmpiの共用ができた. EMAN2のthreads計算はpsコマンドの出力から見て
効率がよさそう. 多コア時代、あえてMPIで計算する必要は微妙なのかな?
- R1(2019).6.22
EMAN2のチュートリアルを試している. ハイブリッドではないみたい. threadsとMPIの双方が存在する形っぽい.
単一マシンならthreads指定で計算させ、複数のマシンで計算するならMPIを使うって感じ.
e2projectmanagerからqsubで実行できないようなので、コマンド行をコピペしてqsubファイルを作るのが面倒かな...
まぁ計算ノードに直接ログインして実行っていうスタイルかな
- R1(2019).6.20
体が重い...
EMAN2のチュートリアルを試している. EMAN2謹製のOpenMPIを外して、dlopenなしでコンパイルしたOpenMPIを
試すために. これで問題ないなら Relion と共用するOpenMPIが用意できる.
- R1(2019).6.17
無線LANでPCをドメイン認証させるにはIEEE802.1x認証/WAP(/2)エンタープライズ経由による認証が必要みたい
一応無線LAN機能があるLinuxマシンにhostapdを仕込めば高価な企業向けAPを購入せず目的は達成できる
(クライアントの無線LAN子機は必要だけど)
これってmacOSにも言えるのだろうか....
- R1(2019).6.14
dlopenを外したOpenMPIがEMAN2では必要みたい。っでそのOpenMPIはrelionでそのまま使えるのか検証中.
OS提供のOpenMPIはdlopenが有効な代物.
- R1(2019).6.11
とあるデータをExcelでマージ中. テキストならWinMergeなのだが、相手はExcel.
いっそSQLiteに入れてSQLで対処とか考えたけど、オリジナルデータが結構ダーティ気味で無理.
っとなると濃い目の珈琲を飲みつつ集中作業で仕上げるほかない...広い画面のモニターを購入したのだが...箱から出さねば..
- R1(2019).6.6
zfsの実装系の一つ ZFS on Linux が zfs-0.8.0 をリリース. zpool removeは嬉しいかな.
ただraidzには使えないみたい. まぁーそうだね.
あと raidz expansion はいいねぇ〜. まぁーalpha previewなので当分かかりそうだけど
- R1(2019).5.30
CentOS6でBridge-routerの試作に成功. CentOS7でも出来そうなのだが、、、
さくらのSSL. 今はcertbotを使ってLet's Encrypt様の証明書を貰っているが、年間972円だそうな.
Let's Encrypt様で事は足りているが、勉強のために試そうかな
- R1(2019).5.26
CentOS7でBridge-routerを試作しているのだが、、進展なし...CentOS6のiptablesなら出来そうなのだが...
- R1(2019).5.24
bridgeなんだけど、片方からの特定の接続は落としたい. [GW]---[居室LAN]---[Bridge]----[windowsPC] な感じで
windowsPCのSMB,HTTP要求は[居室LAN]へ繋げたいが、[GW]を経て外部には行かせたくない.
そんな[Brdige]を試作中
- R1(2019).5.22
adslでdaznが見れる...
- R1(2019).5.21
「使ってないから使っていいだろ」な方が翌日には「空きがなくて使えない」と曰く
利用時間に制限を設けてはと伝えるも、「計算は最後まで走らせたい」は譲らない. さてさて...
パラメーターを変更してジョブを複数同時に投げられる. /scratchには同じものが展開されるのだが、
ならnfsサーバを階層型ストレージで用意すればいいのかな?
- R1(2019).5.20
RAIDコントローラーが故障で全てが停止. まさにSingle Point of Failure.
NFSサーバの二重化、RAIDカードの冗長化とかで停止時間の低減は可能でしょうが、費用も嵩むお話。
- R1(2019).5.17
siloにてeman2関係をIMODへ変更. 速度は若干上がるかな.
sambaADに参加させたmacOS. 挙動が??な感じ. OS再インストールで回避したサイトもあり、どよようか検討
- R1(2019).5.11
1m 1000円の10G SFP+ダイレクトアタッチケーブルが届いた.
relion-3.0.5がリリースされていた.
- R1(2019).5.9
そろそろsambaの記事を更新したい...samba-4.10がリリースされて、そのupdateも兼ねて
siloの更新はほぼほぼ完了. フローチャートととか解析ログをリアルタイムに表示させたいが、この辺は次回かな
- R1(2019).5.7
23インチのモニターが狭いと感じ始めた...27か31インチか...
- R1(2019).5.5
連休中..ずっとsiloだった...
- R1(2019).5.1
祝 令和元年
連休中はsiloの手直し. Gautomatch,LoG,crYOLOの3種のpickツールが使えて、2Dclassまで行えるようにする.
一応は出来ていたのだが、pickツールを追加したことで見直し中.
BeeGFSの検証は連休後半かな.
- H31(2019).4.19
Let's Encryptの無償SSL/TLSをFileMakerServerに組み込んでみた.
crYOLOをcsh/tcshからも使えるようにしてみた. 次はsiloから呼び出してみる. これが終ればようやく2D.
qdelしたら/scratchの中身も消してくれたらいいのに....
- H31(2019).4.15
InfiniBand switchだが、、先方に手違いがあったようで全額返金になった...
- H31(2019).4.14
9年ぶりにメインのPCを交換.無線経由でAD参加ってかなり面倒...
- H31(2019).4.12
10GbpsのHUBを購入してみた. CRS305. 4*10G SFP+,1*1G Ethな構成.
それにしてもInfiniBand switchが来ない...
- H31(2019).4.4
Supermicroさんからipmi付きThreadripper対応なMBはまだないいたい。あぁEPYC対応品ならあるけど...
- H31(2019).4.3
TensorFlowが必要な事態になった...各ユーザのホームディレクトリ内で構築してもらうのが便利なんだろうけど、
複数ユーザがそれをしたら無駄だよなぁ....かと言ってsystem側で用意すると画一的となって数多あるアプリへの
柔軟性が欠落してしまう...ユーザ側のディスクトップに/Appl/users/<user>を設けてそこにアプリを自由に
インストールさせ、ユーザの/home/<user>は中央で管理がいいのだろうか...
- H31(2019).4.1
新年度
積み残しが多くて困っている...なんとかせねば
siloでpickとか2Dはできるのだが、エレガントではない. もっと操作性を高めてみたい
- H31(2019).3.29
年度末最後まで多忙...
ebayに注文したInfiniBand Switchがまだ来ない...
- H31(2019).3.24
windowsServerで作ったNFS領域をLinuxでマウントして、Linuxからinotify-toolsで監視したのだが、ファイル作成の完了などは
感知できなかった...Linuxで作ったsmb領域をwindowsがマウントして、Linux側から監視することは出来ているのだが...
- H31(2019).3.22
胃腸炎はだいぶ楽に...っが、風邪を引いた..
- H31(2019).3.19
胃腸炎になったっぽい. この年度末にきつい...
- H31(2019).3.18
Appionを作り直してみた. これって非常に難解.
windowsServerのNFSでexportはできて、linuxクライアントでmountもできた.
っが、ユーザでのアクセスができない...mappingファイルの調整で行けるようなのだが、成功してない..
- H31(2019).3.11
合掌
- H31(2019).3.10
MS様のWindows Storage ServerでNFSは運用できる。LinuxのNFSよりいいのか不明。だたこれを言い出すと
BSD系とかSolaris様、FreeNAS様、QNAP様とか検討先は多数に及ぶ。パフォーマンスは重要だけど、
万が一のドキュメント、訊ける先、費用(+人件費)らが色々絡み合う。資料を探せねば....
- H31(2019).3.7
一回休み
- H31(2019).3.5
google先生から「ページがモバイル フレンドリーではありません。」と言われてたので修正してみた。
SEO対策ではなく、単に自身がモバイルを使って確かにフレンドリーではないなと感じたから...
- H31(2019).3.4
「Visual Studio Professional with MSDN」で複数のwindowsOS環境で検証できるのだが、、検討中....
- H31(2019).3.3
ebayでinfiniBand switchを購入したのだが、まだ来ない. 一方で10gSwitchもそろそろ揃え様かと思案中.
- H31(2019).3.2
年度末...ぅーん香ばしくなってきた..
- H31(2019).2.28
cuda-10.1がリリースされた
- H31(2019).2.23
cryoSPARCなんだけど、、クラスター運用でgpuid:0は使われてないっぽい...「cluster_script.sh」のdevidxを0から探索にすれば
回避っぽいのだが....意図が分からぬ
pigzの威力が凄すぎる.
- H31(2019).2.20
infiniBandカード到着. っが試す時間がない...
usb3.xメモリーをM/Bに刺してHDD化できないものか...
- H31(2019).2.16
CentOS6のインストーラーはInfiniBandカードを認識してたのに、CentOS7では認識しない。困った...
- H31(2019).2.14
複数nicな計算機にPXEbootでOSインスト. bootdevが必要だった...しかもCentOS7なのでnet.ifnames=0でethX名称に...
- H31(2019).2.13
InfiniBand Switchをebayで購入. まぁ中古だけど. SubnetManagerなしなunmanagedだけど.
- H31(2019).2.10
BeeGFSのmulti mode完成.
client機能部分のドキュメントが不足気味で苦労. あと本家のページは微妙...
ctffind-4.1.13でマルチスレッドが使えるようになった. 「ctffind -j:4」とかで指定
- H31(2019).2.7
[relion --idle 0]なら無制限って思ったけど、違ってた...
- H31(2019).2.6
久々にsilo. ある要望でBeam shiftに対応中. 20secに1枚かぁ...
- H31(2019).2.1
rsyncで同期を取ると現在漏れなくsshが仲立ちしてくれる。
これはこれでいいのだが、従来のrsyncdでsshを介さない方が速い様な気がする
- H31(2019).1.20
コマンド、ライブラリが被らないなら/usr/localに配置させ、被る可能性のあるのはmoduleコマンドで
隔離すべきなのかな?ただ、その際もloadする際に、被る対象をunloadさせるべきなのかも。
- H31(2019).1.14
dhtmlxばかり使っているが、jQuery UIにも慣れた方がいいのかも...
- H31(2019).1.11
windows10が再起動してしまった...
- H31(2019).1.1
謹賀新年
- H30(2018).12.27
siloに複数のpickerを入れたり、relion_it.pyのように2D/3Dを導入したいのだが、時間取れない....
dhtmlxをEnterprise Licenseに更新
- H30(2018).12.26
どうやら年始年末は多忙みたい...終らねぇ..
QNAPをLDAPサーバに仕立て、クライアントを参加させてみた。UID/GIDが思い通りにならないけど、webアプリで
簡単にユーザを追加できるのは便利かな
- H30(2018).12.24
windowsPCに繋がったLTOドライブ(LTFS)がある. 他の計算機でtarにまとめたファイルを置く為にあるのだが、
windows10にある「TAR」コマンドを活用してアーカイブ対象をtarにして、直接LTFSに置いてみた。あー大丈夫みたい。
- H30(2018).12.18
CPUはPCIe3*44レーン. CPUとX299間は8GT/s(PCIe3*1レーン相当). X299はPCIe3*24レーン可.
X550はPCIe3*4レーン必要. っとなるとCPUとX299間が律速? まぁX550をCPU側のPCIe3に付ければいいだけだけど.
- H30(2018).12.14
風邪引いた 一回休み
- H30(2018).12.12
FileMakerServer17をwindows10(サポート外OS)に入れようと思ったのだが...ハードルが高い.
- H30(2018).12.7
年度末に向かって作成書類が多くなってきた...
FileMaker、odbc/jdbcがFileMakerCloudだと使えないみたい..
- H30(2018).12.6
windows7ultimate32bitをwindows10 hyper-vで動かしたら数分後にメモリーが食潰された....
- H30(2018).12.5
macOSの標準sshでトンネルが掘れるのね. 初めて知った.
- H30(2018).12.3
都合でwindows7 ultimate(新品)を入手.
- H30(2018).12.1
CentOS7.5にcuda10(rpm)を入れるのは難しいみたい. epelからlibglvndパッケージが消えてしまったので.
っで、回避方法としては昔のバージョンを入手するか、CentOS7の次のバージョンを待つしかないみたい.
- H30(2018).11.29
書類作成に追われている...
- H30(2018).11.26
SQLにてこづっている。indexを張ればいい代物ではなく、工夫が必要な世界と再認識。
- H30(2018).11.23
relion_it.pyを試している. qsub実行は2D以降がいいみたい。
- H30(2018).11.22
今更ながらGoogleFormを使ってみたが、すごい。
集まったデータがcsvで出されるので、項目名に注意して作れば他へのインポートは楽かな。
あとは主キーを何にするとかでしょうか。まあーメールアドレスかな。
- H30(2018).11.21
寒い. 石油ストーブが欲しい..
- H30(2018).11.19
UIAutomationを使ってwindowsアプリを代理自動操作させて、データ取得が行えるようになった。
手作業だと永遠に思える作業だったが、これでお茶を飲みながら眺めるだけの仕事になった。
- H30(2018).11.14
DHTMLXのdhtmlxDiagramを試している。既存のdhtmlxLayoutとの連携を一応できたけど...微妙かな...
これでworkflowを描ければと思っていたのだが...
- H30(2018).11.10
relion3でlogfile.pdfを作ってくれるが、これは毎回全部のepsファイルから gs コマンドで作っている。
appendで作ってくれたら嬉しいのだが...
Warpが動かねぇ... 試用版windows10で試してみるか.
- H30(2018).11.6
pNFSが利用可能みたい. 10G HUBを購入したら試したい. BeeGFS/GlusterFSとの違いを見てみたい..
- H30(2018).11.3
siloの英語ページがあったほうがいいようなので、作ってみている...
- H30(2018).11.2
cuda-10.0をインストールしようとしたら「libglvnd」がないよで弾かれた。
どうやらSecurityAdvisoryに「libglvnd」が該当して一旦取り下げているみたい。待つしかないかな。
CentOS7.5でnfs4.2が使えるのね
- H30(2018).10.31
Relionにcuda10って大丈夫なのだろうか. cuda10のリリースノートを読むとicc 18に対応みたい. ぉーふむふむ.
- H30(2018).10.26
今月はずっと体調不良っぽい...
windows10でlinuxのinotify APIっぽいのは既にある参照 . windows serverではどうなのだろうか?
- H30(2018).10.22
ubuntu18.04のrelion. ほぼほぼ大丈夫かな. 結構躓いてしまったけど...
onboard videoがある板とgpuの組み合わせなら ms 様のリモートディスクトップ は行けそうみたい.
ない板は無理っぽい...
- H30(2018).10.19
客先でrelionが動かない事態が発生...ubuntu18.04serverでconsoleからの利用でエラーが発生...原因が見えない...
どうやらcmakeが曲者らしい.. ubuntuはcmake-3.10.2、これを 2.8.12.2 にしたら上手く行くみたい.
ぁっ、std::bad_allocが発生...単純にメモリーが少ないから?
- H30(2018).10.17
ubuntu18.04でネットワーク設定がNetplanへ. 極めて明瞭でいいのだが、、ツールはないの?
- H30(2018).10.15
本格的な風邪に罹患.
- H30(2018).10.11
nvidiaが乗ったマシンにxrdpを載せてリモートディスクトップでアクセスできるかを試したが、無理でした...
- H30(2018).10.9
crYOLOを作ってみた.
- H30(2018).10.7
ldap関係を書き直した. chshが出来ない.... phpLDAPadminとかなら出来るのかな?
- H30(2018).10.3
siloのデータ追加機構だけどほぼ完成.
mod_auth_kerbのssoサイトで一旦sign outして、別のユーザでログインするには... kdestroyは使わずに.
- H30(2018).10.1
nvidiaカードのファン回転速度をより高速にしたい. どうやらX環境にしてnvidia-settingから調整する必要があるみたい.
- H30(2018).9.30
siloにデータ追加を出来るようにとの要望を頂いた. なるほどsquare01,02で撮影して、ちょいと計算して
後日03,04を追加撮影するそうな. そして01から04をマージして扱いたいとの事.
すんなり行きそうだが、「default_pipeline.star」の処理次第かなぁ
- H30(2018).9.27
頭痛い...
- H30(2018).9.26
relion3のLoGによるauto-pickをsiloに実装できるか検討中.
それにしても「relion_it.py」って凄いなぁ. これぞパイプラインって感じ. いずれ knime とか pipeline pilot に乗るのかな.
まぁ Scipion でpipelineは実現している感じでもあるけど.
- H30(2018).9.25
samba-4.9がリリースされている。dcのバックアップ、リストア方法に変更を要するみたい...
- H30(2018).9.20
qsubを実行して、計算ノードにジョブが配信されたとき自動的に/scratchの中身を削除するにはどうすれば....
- H30(2018).9.15
シェルスクリプト内でのコマンド発行はhistoryに記録されない。でも「.bash_history/.history」を参照するのかな?
- H30(2018).9.14
Relionの「schedule」って何だろうと思っていたのだが、使い方がようやく分かった。
なるほど、振りたいパラメーター毎に事前にジョブを作って、メニューの「Autorun」「Run scheduled job」を選ぶ。
すると、バックグラウンドで「relion_pipeliner」が稼働して、Relionの画面を閉じても大丈夫と。
- H30(2018).9.13
siloのrelion3版ほぼ修正完了.
オープンソースカンファレンス、FileMaker カンファレンス 2018に見学予定.
- H30(2018).9.7
FileMakerを作っている. ExecuteSQLでsqlを発行できるのだが、Runtimeソリューションには未対応...
カスタム関数を駆使するしかないみたい..
asusのMBで計算途中でどうしても落ちてしまう現象. swapoffしたら回避できた. swap領域の問題?
- H30(2018).9.6
Groongaの構築がようやく完了. 高速化に目処がたった. 独自のスコア関数を入れてみたい...
超高速なGroongaなのだが、これで分子の構造検索ができないものか...まぁフリーなRDkitで十分こなせるけど.
- H30(2018).9.3
Groongaに苦闘中....
btrfsがRHEL8では外れると今知った. あら残念.. 代わりとして Stratis が噂されている.
もしzfsを使うならFreeBSD or Solaris?
- H30(2018).8.31
Groongaでfilterをいくつも掛けたら遅くなってきた....
- H30(2018).8.30
cryoSPARCを作ってみた. 素晴らしい.
- H30(2018).8.29
cryoSPARC v2を導入中. ユーザアカウントの概念はそのままかぁ.... queueに対応は素晴らしい.
- H30(2018).8.27
RyzenでGPU2基使ったMotionCor2が動かない..GPU1基なら動く...intelさんは問題なし. bios関係かな?
- H30(2018).8.26
Groongaでfilterしながらgroup byってどうするの.....
- H30(2018).8.23
siloをrelion3版へ作業中。
従来からのMotionCor2, ctffind4, Gctfに加えてrelion内製MotionCorrectionも同時計算できるようにするつもり。
また高頻度書出しに対応できるようにqueue関係の修正
- H30(2018).8.22
pbsproにて「ngpus=2」でジョブを発行したとして、実際にどのgpuがジョブにアサインされたのか分からない..
TorqueならPBS_GPUFILEで確認できるのに....
- H30(2018).8.20
「R」の勉強中. 画像のばらつきとか調べられそう.
- H30(2018).8.15
relion_run_motioncorrで「--use_motioncor2」「--gpu 0 1 2 3」と指定してもMotionCor2はGPUを4つ同時に使ってくれない。
4つ使わすには「--gpu "0 1 2 3"」とダブルクオートで囲めばいいみたい。
- H30(2018).8.12
gcc4.9以降となると...Ubuntu 18.04 LTSに乗り換えるのが手っ取り早い。CentOSのままとなると
devtoolsetを利用するか、GCCのコンパイルが必要になる.
- H30(2018).8.11
Relion3...gcc4.9以降が必要なようでCentOS7.5標準のgcc 4.8.5では要件にみたないみたい。
- H30(2018).8.8
dhtmlx schedulerで施設予約を考えている。やっぱりTimelineの機能が欲しくて以前購入したSchedulerを
使っているのだが、version 4.3.35。最新の5.0へのアップグレード料金を聞いたら Commercial License 以上
Enterprise License未満の提示を受けた...それで Enterprise License になるそうな...迷う
- H30(2018).8.6
電顕で撮影した画像を処理して、その後amazon s3に送って、awsで計算したほうが安いのでは?ってまたに思う
撮影後処理を行って即座に1枚づつ送れば施設側のトラフィックも抑えられるかも
- H30(2018).8.5
relion3.0-beta-2. 日々updateしてる. リリース版が出てから提供が宜しい気がする.
CPU-accelerationよりGPU-accelerationが早いね. core数の違いでしょうか.
php7でmysql_connectとかが切れていた...pdoへ移行せねば..
- H30(2018).8.2
暑い...
siloはひと段落. これ以上はrelion/eman2の専用プログラムで操作した方が宜しいかと.
あくまでも逐次処置がメインです. あとはツールとして撮影済み画像をブラウザでGautomatch処理させる画面とかかな.
relion-3.0betaがリリースされてた.
- H30(2018).7.26
FileMakerProのカスタム関数を作っている. まぁ再帰処理なのだが、、慣れていないと難しい...
- H30(2018).7.24
結局pukiwikiのパッチを眺め手動で直してみた.
どうやら原因はこちらで勝手に入れたphp関数がphp7では使用不可が原因だった...
- H30(2018).7.23
このwebサーバのphpをphp7にしたらpukiwikiが止まってしまった...公式patchを充てても駄目..dockerで運用かなぁ...
qsubのwalltime. queuingの待ち時間を除き、(cpu合計時間ではない)計算時間を示している.
walltime, cput, pcputの違いを把握せねば...
- H30(2018).7.15
XDMCP経由でcudaマシンにアクセスできなかったが、xorg.confを修正してできるようになった.
- H30(2018).7.14
長い間解決できなかった macOS から ssh で linux にログインして、そこで立ち上げた e2display.py で
mrc画像を表示しようとしても出来なかった問題が解決. XQuartzの設定であった.
あとiMODの画像表示も解決. ながかったぁ
- H30(2018).7.9
nvidia搭載lightDMマシンでiMODでの画像表示でエラーが発生. 深そう....
- H30(2018).7.7
七夕
他人のstdoutを見たいという. 今時代いいの?って思うのだが、理由に計算が終わる時間を見たいという.
なら「pcput」とか「cput」で制限すればと思うのだが、、自分の計算は最後まで掛けたいご様子. 難題だ..
- H30(2018).6.29
Torqueの提供元からアナウンスが...どうゆうこと?
- H30(2018).6.25
500MBの4倍, 2GB(16Gbit)のファイルが1分毎にでてくるなら? 転送は1Gbpsなら 16sec.
HDDの書込みがネックで 100MB/sec(800Mbit/sec) なら 20sec 必要. 残り40secでMotionCor2とctffind4/Gctfは可能か?
まぁデータ次第だけど...
- H30(2018).6.24
relionのautopick. GPU対応なのだが、1GPUに対して2MPIとか割り当てると途中で扱けた.
1GPUあたり1MPIだと正しく動いた.
- H30(2018).6.22
500MBほどでのデータが1分毎にでてくる。500MBなので500*8 -> 4000 Mbit のデータ. これを1Gbpsのetherで転送するなら4秒で終わる.
HDDへの書込み速度は、3.5インチなら100MB/secほどは最低ある. これは800Mbit/secと言えて、4000/800 = 5sec. 律速はHDDで、それでも5秒ほど.
なので転送、書き込み自体は現実10秒以内のお話. その後の処理をいかに効率よく完了させ、なるべく次のデータが来る前に終わらせたい.
- H30(2018).6.21
風邪を引いたみたい.
cactiを別のサーバに移したらストレージ容量が取れなくなった...
- H30(2018).6.15
不安定なマシンを綿密に調査してくれてメモリーが原因だと突き止められた.
シビアなマシンではメモリーモジュールのロットをそろえる必要があるみたい...
- H30(2018).6.12
GPUが4枚のって、2枚で計算(--gpu 0:1)して、次にもう2枚で計算する場合、
「--gpu 0:1」ではなく「--gpu 2:3」としないといけないみたい
どうせならこの部分もqueuingスクリプトで対応できないものか...まぁー素直に4枚使ったらで済む話なのかも...
- H30(2018).6.11
samba-4.8.2にようやく揚げた. CentOS7.5にしたらKerberosが 1.15.1 になってた.
これでMIT Kerberosベースなsambaが作れそう. っと言っても利点が見えない...
新機能の「VirusFilter VFS module」って常時稼働型のウイルススキャンとして使えるのかな?
- H30(2018).6.9
Azureに加入. クラウドマシンを使う用途ではなくweb検索に使うため.
- H30(2018).6.4
kerberosによるssoなサイトを作ったのだが、windowsはチケットの自動更新が上手く行くのか問題ない
macOSだとチケットの有効期限がきれるとログインできなくなる...kinitを実行すればログイン可能なのだが、、、
チケットの有効期限を延ばしても意味がなく、自動更新できる方法を探している
- H30(2018).5.26
実機のオートローダーでBaculaを使ってみた.
フルバックはpoolで「Full」と定義したテープに、差分は「Inc」のテープに自動的に切り替えて保存された.
上書き禁止期間とか追記可能期間とかの微調整は残るものの一応運用開始.
phenixのcryoFITはGUIからのqsubには現状未対応みたい.
- H30(2018).5.17
Baculaを構築. VTLでオートローダーを作って基本動作を習得. Baculaの説明でファイルシステムへの
バックアップを良く取り上げているのだが、実際にはテープで採取するシーンが多いと思うので微妙.
その際の手順とかを考慮して作成してみた.
- H30(2018).5.3
CentOS6のBonding設定を行ったのだが、分散がいまいち...xmit_hash_policy値の変更が必要かも
- H30(2018).4.28
VRMの温度は測れないものか...高負荷で落ちる原因がどうもこれらしい。
- H30(2018).4.18
ほんと多忙になってきた...
Frealignの実行方法を勉強しているのだが、、難しい..
- H30(2018).4.9
なんかちょいと多忙気味...
- H30(2018).4.8
ノートPCが使えなくなった...っと思ったら先日のyum頓挫の修復でdhcpパッケージが削除されていた...
- H30(2018).4.7
Scipion向けにpythonを作ろうとyum updateしたら、yum updateが途中で頓挫してyumの修復をしたら
パッケージが幾つか消えて...そして再起動にもブート領域が消えて...Super Grub2 Diskで一応助かったけど...
仮想マシンは起動しないやhttpdも正常に動かず...疲れた...
- H30(2018).4.6
Scipionが更新された...1.2.betaからのupdateが分からん..単純に置き換えでいいのかな
- H30(2018).4.4
dhtmlxでアプリを作っている. このライブラリで画像を弄れるかなって思ったのだが、なかった..
canvasで作るか...
- H30(2018).4.1
ストレージを追加したらcactiでの容量表示が間違って表示される. 原因はデバイスが変更になったら..
label指定かUUID指定でできないものか...
- H30(2018).3.31
年度末. 3月がこんなに多忙なんて久しぶり.
ようやく/Applの領域が拡大になったので溜まっていたアプリを入れられそう.
- H30(2018).3.27
一年かぁ
eman1のrunparだけど、rshで動いてくれない...計算機ノードへのsshログイン/rlogin禁止だから
qsubのインターラクティブモードでrshしてくれたら嬉しいのだが...設定ファイルを用意してもsshで
進もうとしてします...
- H30(2018).3.23
kvmが使えない仮想マシンでsambaをmakeしたら4時間以上かかった...atomマシンでも30minなのに...
- H30(2018).3.22
vmxが使えるのにbiosで無効状態. それでもqemuで仮想マシンを作ったのだが
「Performing post-installation setup tasks」でずっと処理中. kvmエンジンでないと遅い...
- H30(2018).3.20
samba-4.8.0に更新しようとしてinstall、その後checkをしたらエラーが発生. timemachine機能を試したかったのに...
Scipionのlibquadmath要求は連携アプリの構築に必要だからっぽい. 基本CentOS6でも動くみたい.
- H30(2018).3.12
1000や2000のjpegファイルをタイル表示で一度にwebブラウザに表示するのは難しいのかな..
大本のイメージファイルをwidthとheightで小さくしてもイメージファイルの転送量には変化なし.
ならon the flyでGD/ImageMagickを使ってサイズを小さくしようとしてもその処理が重い..
100枚単位とかでpagingさせるのがいいのかな....
- H30(2018).3.11
合掌
- H30(2018).3.6
queueにpcputを付けてみた. 使っているcoreの中で最長のcpu時間が上限となる. 各coreの合計cpuタイムではない.
gpuノードには必要な項目かな. まぁcpuノードにもだろうけど.
- H30(2018).3.3
記憶域スペースダイレクト. なかなか面白い. Glusterっぽいって言ってはだめ?
windowsOSで構築したnfsサーバって使ったことないなぁ..
- H30(2018).2.28
gpu4枚載せたマシンがフリーズした. watchdogで自ら再起動させる手はあるようなのだが、
対策を施さずに再リリースしていいのか迷う. 同じ状態で再リリースするにせよセンサーで状況を
図れる状態にしてリリースしたいものである.
- H30(2018).2.27
tar czfで遅い. このときcpuが100%未満ならcpu以外の課題(HDD/SSD/NICら). 100%ならそれはcpuの能力課題.
っで単純化させすぎかな. 転送速度がinterfaceの性能未満で100%のcpuならcpu能力不足?
あるいはプログラム側/デバイスドライバ側の課題?
- H30(2018).2.26
Aquantia AQC107だがCentOS7.4提供の「1.5.345.0」はどうやら転送が遅い. 加えkworkerのプロセスが異常に高くなる.
1.6.7.0はkworkerの働きが抑えられ、それが原因かは不明だが高速にデータ転送できた.
- H30(2018).2.22
dockerのDockerfileって、、kickstart、Ansibleと同じようなものでいいのかな?
まぁイメージから起動したコンテナを調整して再度イメージに戻すでイメージを作るのもありでしょうけど.
単一サービスの複数展開なら有効なのかな. でも他の要素が入り混じる環境なら仮想化マシンかなぁ...
- H30(2018).2.20
dhtmlxでアプリを作っている. dhtmlxFormでtextareaを使うとgetItemValueで拾えない. std5.1でも再現...
- H30(2018).2.18
ruby-helixをdockerでと思い色々試しているが、ruby環境だけでなく、他のアプリもdockerに埋め込むと
それって仮想化でよくない?と思う. あとホストとコンテナを繋ぐのも面倒かなぁ
- H30(2018).2.15
ebayでqdr/10GbEが2,000円弱で出ている...fdr/40GbEも9,000円以内...
- H30(2018).2.13
cryoSPARCをupdateしたのだが、使用するGPUをqueueでコントロールできるようにして欲しい...
あとユーザ管理をldapとか参照するようにして欲しいなぁ...
mssqlにMINUS演算子がないのね...EXCEPT演算子を代わりに使うのかぁ....
- H30(2018).2.10
CryoFitを入れてみた. っがPHENIXのGUIに項目が表示されない...macOS版でも試したが同様に項目が表示されない...
zSpaceがPyMOL、COOT、Chimeraで使えるそうな. 2Dから3Dの流れなのだろうが、2Dのモデリングで十分では?
っと思ってします. でも教育機関では威力十分かな.
- H30(2018).2.4
Ansibleを使ってマシンを微調整. kickstartで形を作って、Ansibleで細部を調整.
3台以上のクラスター構築にはいいかも
- H30(2018).1.31
Microsoft SQL Server on Linuxを導入. ついでにsamba active directory経由でwindows認証によるssoを作ってみた.
以外にすんなり行けた. 単にmssqlで「FOR XML PATH()」を使いたいだけだったのだが、、ここまで作ってみた...
- H30(2018).1.30
Apple macOSでvirtualBoxを試しているのだが、ネットワークの「ブリッジアダプター」が正しく動かない...
- H30(2018).1.24
この手のチューニングは切が無く、逆効果のときがある... http://fasterdata.es.net/
以前ORACLEで工夫を凝らしたら逆に遅くなった...
- H30(2018).1.23
ubuntu16.04をインストールして、カーネルモジュールを追加するためmake installしたら
「Required key not available」と言われた. 所謂Secure Boot関連である. なのでBIOSをSecureBoot無効に
したら今度はOSの起動そのものが出来なくなった...仕方なくSecureBoot無効でubuntu16.04を再インストールで回避.
- H30(2018).1.18
10Gbeをiperf3で試したら3.38Gbits/secしか出なかった...ケーブルが問題かな...
- H30(2018).1.16
centos7.3を7.4に揚げたらzfsが動かなくなった...どうやら7.4専用のリポジトリを使う必要があるようで
それまでのzfs関係のkoをdkmsで全て削除して、間違って入ったko(/lib/modules/`uname -r`/weak-updates/*)も
削除する必要がある. TeamViewerの記事を書いた. 便利なんだけど、、
- H30(2018).1.14
10Gbeが届いた. Aquantia AQC107搭載なのだが、OS標準のドライバで認識.
Tehuti TN9510もdkmsとかに対応して欲しいのだが...
- H30(2018).1.13
10Gbeを購入. InbiniBandカードとの違いを書きたいので.
- H30(2018).1.11
2,3台の計算機なら/etc/passwd、5-8台ならnis/ldap、macOSとwindowsも絡むならadかな
- H30(2018).1.5
icc 2017でrelionを作ろうとしたが、cuda側でicc 2017が未サポートだった...amberさんでも同じ報告があった
もちろんcuda抜きのrelionなら作れそうだが....
- H30(2018).1.1
謹賀新年
- H29(2017).12.31
年末. お疲れ様でした.
- H29(2017).12.30
macOS版relionからsshを経由して、ジョブ発行ノードからqsubが行われるようなスクリプトを作ってみた
ただnfsとかで共有され、パスが同じであることが条件. 計算場所が/data3/runならmacOSにも/data3/runを持つこと
- H29(2017).12.27
macOSなrelionからshell scriptを使ってqsubができるかも...むしろこっちの方が簡単かな..
- H29(2017).12.24
「Docker for Mac」がある. これを使えばmacOSからqsubができるかも...
- H29(2017).12.18
SMB multichannelにようやく成功
- H29(2017).12.13
intel-nicのチップによってSMB multichannelができるもの/できないものがあるみたい. 82571EBは無理っぽい.
工夫すればいけるようなのだが...
- H29(2017).12.11
ASUS ROG RAMPAGE VI EXTREMEにgpu4枚刺してrelionを実行. っが途中で扱けた. 原因が分からず困惑したが、
一応BIOSをvers1002にしたら回避できた. 昨日vers1004がリリースされたのでそれにupdate予定.
200V1500Wの電源で1080(TDP180W)x4枚+i9 7960X(TDP165W)はセーフ. TDP250Wの1080Tiは無理?
- H29(2017).12.10
windows10評価版を入手. versionがEnterpriseの通常版とEnterpriseのLong Term Service Branch(LTSB)がある.
Enterpriseの通常版がインストールできなくてLTSB版をインストール. 機能的には差がないようだが、
非常にすっきりしている. 余計なものがない. しかも不承知なupdateの再起動をしないらしく、これがいい.
- H29(2017).12.06
VMwareESXi5.1を使っているが、vSwitchが消せない...GUIから消せないのは既知のようでesxiマシンに
ログインして「esxcli network vswitch standard remove -v vSwitch2」にて削除
- H29(2017).12.01
師走かぁ...Aquantia AQC107を持つ板にCentOS7を入れたら動いた. ならその下位製品のAQC108を持つ
supermicroさんの板もすんなりCentOSが動くような気がするのだが...
多少余裕ができた. そう言えば、「.local」ドメインを使うなと言う記事を見た. 既存環境からの変更は厳しいな..
- H29(2017).11.29
supermicroさんでIPMI付きX299の板が販売されている. っがnicは5Gbps. 現状対応OSにCentOSがない...
ubuntu17.04ならOKらしいのだが、17.04ってcuda8が未サポート....
- H29(2017).11.25
咳が収まらない. 一度咳き込むと長く続く. 参った...
- H29(2017).11.18
HUBのLAG設定を調整し忘れたのでTeamingが出来なかったみたい. 無事終了.
- H29(2017).11.17
CentOS7でLACPのTeamingがどうしてもできない...Bondingでするか...
- H29(2017).11.16
今月、どうも体調が悪い. 咳が続く..
- H29(2017).11.15
mkfs.xfsでフォーマットする際、ストライプサイズ(ストリップサイズ)とデータディスク数に留意して
12本のHDDで256kBのストライプサイズのRAID6なら「mkfs.xfs -d su=256k,sw=10 /dev/device」との事.
hw-raidカードのディスク追加による容量拡大のとき、swは修正可能なのだろうか....
- H29(2017).11.09
ESXi5.1でcudaの仮想化は無理でした. 成功された方の記事を探すと6.0とか...いい加減6.0とか6.5に挙げるかな..
Torqueで用意したqcat,qhead,qtailをPBSPro向けに修正. 一応完成. だが、STDOUT、STDERRのファイル権限が
qmgrで制御できない事が発覚. ユーザ側でqsub発行時に「-W umask=0026」とするなら変更は可能だが...
議論はあるけど、group内ならSTDOUT、STDERRは閲覧可能にして欲しいかぁ..
- H29(2017).11.07
調子が戻らん. 「Fall Creators Update」の記事を読んだのだがWSLでcudaはまだ未対応みたい.
なのでwindows(WSL内)でrelionはお預け. ESXiでcudaの仮想化が可能との記事を拝見. ありがたい
- H29(2017).11.01
pbspro?のwindowsパッケージが完成. これでwindowsからもqueueが流せる
- H29(2017).10.28
PhenixにCryoFitが用意された. エンジンはGromacsで座標を電顕マップに馴染ませる. Phenixで用意されたことに驚いた.
SeralEMで自動撮影中に外部コマンドを発行できそうで、php.exe経由とかでGPUマシンにジョブが流せそう.
- H29(2017).10.27
まだ風邪が治らない...
Rocket.Chatを「さくらのレンタルサーバ」で出来るかなと調べたら無理だった..
「ご利用上の注意」に「daemonとしてサーバーに常駐するプログラムの実行」が禁止事項なので
MongoDB、nodejsが動かせない. 「さくらのVPS」なら行けるみたい.
- H29(2017).10.25
まだ風邪が治らない...寝そべりながら構造式検索webアプリ を再調整した.
元のマシンが非常に非力なので派手にスクロールすると止まる. ページングとかをいれればいいのだが、ライセンスが必要.
Android/iphoneとかでバーコードを読んでwebアプリにデータを回せれば在庫管理にもなるかな.
法規制化合物とかの検索云々ならメーカ謹製を使いましょう.
- H29(2017).10.23
風邪を引いた...喉が痛い..咳きが酷い..
- H29(2017).10.20
windowsPCからqsubを投げれるようにpbsproをコンパイル. 道が険しそう...
OpenSerialEMにファイルを保存したら直後にqsubを発行できれば...
- H29(2017).10.17
冷えるなぁ...
sambaADを運用で使ってるけど、ADに起因する問題はない. GPOの設定ミスで大怪我したけど修復後は順調かなぁ
ただwindows2012らをADDCとして加入させるならwindowsのみでADを運用したほうが楽だと思う.
kerberosSAMBAaddcにして属するLinuxはkerberos、NFSもkerberosで試してみたい...
- H29(2017).10.16
dhtmlxでアプリを作っている. ふと思うのだがPivotに画像とか数式を載せられるのだろうか.
アッセイデータと連携できれば面白いのにと思うのだが、、、需要はあるかな?
1080Tiカード(レファレンス)が軒並み在庫切れ...メーカー独自ので4枚は行けるのかな?
- H29(2017).10.15
postgresqlで巨大なテーブルを削除したのに、./dataサイズが減らない...仕様なんだね...
- H29(2017).10.13
slackクローンなRocket.Chatを仕込んでみた. オンプレミス. フリー. 日本語充実はありがたいかと.
- H29(2017).10.11
CentOS7でGroonga + libstemmingだとコンパイルエラーが発生..libstemmingなしで構築
windows10でpostgreSQLの運用とか考えたけどライセンス的に怪しいので却下. クライアントOSだからね.
- H29(2017).10.10
「Windows Insider Program」に加入して、Linux subsystemからNFS/SMBを確認しようかと思ったが、
10/17以降に「Fall Creators Update」が行われ実装される可能性が高い. これを待ってみることにした.
化合物の名称検索にstemmingのSnowball が使えないかと一考. PGroongaで利用可能みたい.
- H29(2017).10.09
140万件ほどのデータでPGroongaを掛けた。数秒で答えが返ってきた. 応え合わせも完璧だった.
- H29(2017).10.04
中秋の名月
昔ORACLEに写真データを収めるスクリプトを描いたことがあるのだが、面倒だった...長大な文字列も...
今は楽なのかもしれないが、mariadb,postgresで足りて、sqliteでいいやと思うこともある...用途次第だけど..
- H29(2017).10.03
使いたいライブラリーがある. っが有料である...手元の資金がない...
日本語全文検索PGroongaで類似文書検索が出来ることを知った...更新してみる
- H29(2017).10.02
PBSPro完了. 動作がいい. TORQUEより機敏に割り当てが行われているような気がする.
samba共有フォルダ記事を書き直した. windowsPC上から共有フォルダを操作できるようにしてみた.
Domain AdminsとAdministratorにGID,UIDを用意して成功. idmapのadで行ってみた.
- H29(2017).10.01
PBSProをテスト中. TORQUE PBSとほとんど同じ. gpuの指定が上手く行くか検証中.
ドキュメントの豊富さからTORQUE PBSはいいのだがmauiとgpuの組み合わせに難がある. っでPBSProを試験中
- H29(2017).09.26
slurmを更新.
どうやら09.25 06:09から外部との接続が切れていたみたい. 原因はHUB. portを変更したら繋がった....
- H29(2017).09.23
TORQUE向けに qcat、qtail、qhead を作ってみた. 次は qhist かなぁ.
- H29(2017).09.20
IPMIが無くてもリモートから制御/再起動ができる vProテクノロジー
っが対応させるにはcpu/チップセットらの対応が必須みたい. Q170,Q270,C236とか
- H29(2017).09.19
ESXi環境をすべてqemu/kvmに移行しようかと思案中. とある仮想環境を移行できればになるのだが..
wake on lanって10G etherには通用しないみたい. サービスLANを別途用意して100Mbpsで繋げるしか無いみたい.
- H29(2017).09.12
macOS SierraからLinuxマシンにssh接続して、暫くして「packet_write_wait: .... Broken pipe」の原因を調査中..
- H29(2017).09.10
顧客のご要望で臨床研究の基礎知識をe-ラーニングでやっと習得. 生物統計学の難しさには堪えた..
BoWでtorqueの他にRelionもコンパイルしてみた. できる. っが、何らかのXサーバは必須.
- H29(2017).09.05
ローカルディスクのフォルダをブラウザで、suggestionっぽく行かないかなと駆使.
特定フォルダ以下の全サブフォルダリストを持てばいいのだが、入力したフォルダの一階層下の
リストのみを出すようにして、その循環で構築. 出来たけど、[tab]で次の循環に回らない..
- H29(2017).09.04
relion/MotionCorrection,Dose-weightタブの「Pre-exposure」の説明で「MOTIONCOR2で使わないよ」と
あるのだが、ソースから見ると「-InitDose」に渡しているように見える.
- H29(2017).09.02
relionへの偽装の目処が立った. あとは一通テスト. 後はファイル進捗表示かな.
次の段階は、windowsのgui操作で起動実行させてみる. powershellレベルでgui構築かな.
- H29(2017).08.31
ファイル作成の感知にinotifyを使ったけど....いまだとnode.jsの方が良かったのかな
- H29(2017).08.29
pythonアプリを複数並列に稼動させる. ひ弱なマシンには難しいのかも..
自動計算なツールをGitBucketなサイトにアップ.
- H29(2017).08.27
macOSから他へssh Hostbase認証が通らない...GSSAPI認証が通るからいいけど...
macOS向けにコンパイルしたRelionからqsub(Torque-2.5.13)を経由して他のPCにジョブを投入することに成功.
- H29(2017).08.26
Torque-2.4.17をmacOSにインストールして、queueを処理することに成功.
ただ、、その際管理ノード、計算ノードらのTorqueを全て2.4.x系にする必要あり. 既存の4.2.10では無理
- H29(2017).08.25
Toqrueの代わりにHTCondorを検討中. macOSでも動くみたい.
macOS内でrelionを立ち上げ、そこからqueueを投入できればいいのだが...
- H29(2017).08.24
スクレイピングしたらスペースのあるファイル名を拾った...後の処理で止まってしまった...
括弧「(,)」はクオートとかで回避させているが、空白はちょいと困る...処理系を直すか、取得段階で手を打つか...
- H29(2017).08.23
膨大な量のファイルを処理するなら...対象をcoreの数だけ分割して同時に処理を掛けるのが望ましいが、
同時にその対象を個別のSSD/HDD(/dev/sd[abcdef]1)に分配するのも必須だな....
- H29(2017).08.21
webから起動指示して、特定の場所を監視。mrcs/tifを感知してMotionCor2を実行する一通テストが完了
あとはGain/Defectファイルの取り回しとrelionIFへの橋渡し(偽装)かな.
- H29(2017).08.20
Torqueのジョブ制御コントローラーに maui を使っているのだが、これがどうやらGPUには未対応
Torque提供の torque-scheduler は対応なのだが、、neednodesを使えない....
- H29(2017).08.17
webからinotifyを起動させ、キャッチしたファイルに特定処理を掛ける基本的な仕組みがようやく完成かな...
dhtmlx,ssoでkerberos認証,sudoでapacheからユーザへ...結構な作業量なんだけど、あとrelionとの連携か...
BeeGFSが本家で紹介されていた.
- H29(2017).08.15
webアプリからsystemプロセスを投下させ、webアプリを閉じてもそのプロセスは稼動させるとする。
ajaxで非同期プロセスを exec("initify args >/dev/null &"); とかで投げればいいのかな?
プロセスの所有者はapacheになるのだが、sudoを噛まして別ユーザに成りすましを行うか...
PrivateTmp....
- H29(2017).08.14
OpenSerialEMをVisualStudioCommunity2015でコンパイルしたらエラーが発生. コードに依存するもので
多少の手直しは出来たけど、、無理っぽい. まあVisualStudioCommunity2013でコンパイルできるからいいか.
でも同じ問題があるはずなのにversionによって違うとは...
- H29(2017).08.11
dhtmlxから「Pivot」がリリースされた
webブラウザ内でデータが簡単に「Pivot」できて、多様な見方を瞬時に表示できていた. 当然エンジンはJavaScript.
- H29(2017).08.09
とあるwindowsアプリをソースからコンパイル中. MFCが必要と言われ途方に暮れたが、Visual Studio Communityなら
無償で使えるそうな. っが、もともとvs2010なprojectを移行できるのか?
- H29(2017).08.07
samba-4.7.0rc3を試そうとコンパイル. CentOS7ではMIT Kerberosの要求バージョン(1.15.1)に叶わず
krb5を別途インストールする必要がある. ubuntuは1.15.1に対応済み.
sambaのバックアップからリストアを行ってみた. sysvolの権限周りとdnsupdateに注意すれば大丈夫みたい.
- H29(2017).08.06
Ansibleを使ってみた. 結構便利. kickstartで大枠を作って、細かい作業と運用途中で
生じた変更をこのAnsibleで対応させればいいのかな.
- H29(2017).08.04
httpsにしてみたcertbot. urlの書き換えはapache httpdのRewriteEngineにお願いした.
GCCさんの4.9はAVX512Fに対応済みのようで「-mavx512f」で行けるそうな.
現行でもAVX2向けとかに最適化すべきなのか...
- H29(2017).08.03
disklessクラスタを検討している. 簡易に作れそうではあるがinfiniband/10g/1gとマシン系、
ストレージ系、メンテ系とか考える必要はありそう. chefを使った方がいい場面もありそう.
- H29(2017).08.01
dnsmasq、DNSとDHCPの両方の機能を持つデーモン. /etc/hostsをDNSレコードと看做して管理運用可能.
非常に魅力的なのだがsambaのDNSで運用しているので使っていない..
- H29(2017).07.31
テキスト処理において、共通部分の抽出と、その共通部分を剥ぎ取った部分が欲しい.
diff, commコマンドで共通部分は取れて、共通部分と対象のdiffで対象のオリジナル部分を得る.
これでいいのかなと思うのだが、、、上手くいかない.. WinMerge + cscript で対処検討中
- H29(2017).07.26
uefiとかgrub2を調べたのですが、難しい...不具合時の対処に必要かと勉強したのだが....
relionがupdateした. こちらの改修とまじぇまじぇするためにatlassianのsource treeを使っている.
まぁーlinuxのgitで行うべきなのかもしれないけど
- H29(2017).07.24
Linuxのシステムディスクをsoftware raidで造ってみた. 仮想マシンで検証して試せたが、実機でも
試すべき内容かな. 何事にも用途に応じた相応しい提案を行いたいものだ. software raidもその一つ.
- H29(2017).07.23
Azureに参加. Cognitive Servicesを利用するため.
site指定とかドキュメントタイプの指定とか無理なのかな...Google Custom Search APIの方がよさげ?
- H29(2017).07.21
software raidなシステムディスクってありなのだろうか?ふと思った
- H29(2017).07.20
LinuxのHDD障害でOSを入れ代えたら外部との通信ができなくなった..
原因は2つのnicをHUB側でLACPとして繋げていたから. 別のポートに差し替えて通信可能になった.
- H29(2017).07.19
windows環境でVirtualGLの稼働環境を作ってみた. cygwinで作るのが比較的簡単かな.
「Bash on Ubuntu on Windows」でMIT-SHM extensionなXサーバが出たら嬉しいな.
- H29(2017).07.18
VirtualGLを試したが、確かに早くなった気がする.macOSはxquartz経由(VGL Transport使用)でok.
windows環境はちょいと面倒かなぁ...
- H29(2017).07.16
relion-2.1-beta0を使って2台で4GPU、1台で4GPUの比較を行ってみた. 結果は大した差はなし.
2:07:05(2node,2GPU/node,5MPI[4threads/MPI],10Gbe),2:07:59(1node,4GPU/node,5MPI[4threads/MPI]).
ちなみに2GPUで計算なら3:07:59と3:10:11ほど(1node,2GPU/node,3MPI[4threads/MPI]).
- H29(2017).07.12
ふとしたことでwindowsXP32bitを仮想で構築. windowsUpdateが今も提供されていることに驚く.
relion-2.1-beta-0のupdateが出た. gitでpull,mergeして make; make installかな. このrelionをKNIMEに入れたい..
- H29(2017).07.11
NaiveBayesを勉強中...トレーニングを終えた分類器を多数の文書に当てて該当か否かを判断するには
多数のcoreと多数の個別diskが必要なのねと理解した.
- H29(2017).07.09
ssoについて検討中. あとテキストマイニングも...ハードル高ぃ..
問い合わせのページにCAPTCHAとか入れようかと思案したが、、面倒なのでメールアドレスだけ設置した.
- H29(2017).07.07
sshでどんどん渡り歩く(server -> n1 -> n2 -> n3 -> n4)方法[ssoで]だが、ようやく分かった
.ssh/configで「GSSAPIDelegateCredentials yes」を有効にすればいけた...OpenAMを入れればって
思ったのだが、小手先の問題だった模様...OpenAM、、OpenLDAPと絡めてsamba-adでの利用を検討する
- H29(2017).07.06
samba-4.7.0-rc1が出た. samba-adでMIT Kerberosを使えるようになった模様. これで何が齎されるのかは?
rcが明けたら導入かな
- H29(2017).07.05
今日も暑い....
- H29(2017).07.04
暑い....
- H29(2017).07.03
自宅マシンへのVPNを作ってみた. 自宅LAN内の中で作ったsa証明書、TLS証明書、クライアント証明書が
漏れない限りセキュリティーについては大丈夫かと思っている.
一応完成したが、ssh/PortForwardSSHでリモートディスクトップを呼べるので、これは必要か?
とも思う. まぁ、用途次第なのだろうけど.
この気温の変化に着いていけない...
- H29(2017).07.02
ノートPCを購入した. 早速VMwareWorkstationを入れてLinuxらを構築.
外出先からテザリング経由で自宅へVPN接続でないかと画策中
そろそろOpenAMを導入してみるか..
- H29(2017).06.30
multi-pageのtiffのトリミングだけど、結局ImageMagickのconvertで簡単に行けた.
同じくImageMagickの「identify -verbose」で詳細が分かる.
- H29(2017).06.29
multi-pageなtiffイメージをトリミング...pythonで作ってみたけど...
- H29(2017).06.28
朝から調子が悪く予定を幾つかキャンセル. relion-2.1-beta-0に修正が出ている.
gitのbranchを駆使したこちらの修正部分とのマージ方法を書き記したい. 寝そべりながらできる事を幾つか.
- H29(2017).06.26
ownCloud-10.0.2を作ってみたが、OS付属のphpらが対応せず余計な手間が発生した
sclを使えば新しいバージョンを使えるのだが、既存コンテンツディレクトリの調整が面倒になる
dockerで回避するのもあるが、専用のdocker imageを作る羽目になりそうで、なら仮想で十分かなと...
CentOS7にdockerでCentOS6を組み込み、そこでruby-helixを調理する。っでそのdocker imageを配布...ありかな...
- H29(2017).06.18
あれやこれやで、4月から2ヵ月半が過ぎた。当初構造式検索部分を充実させたいと思っていたのだが...
そろそろメール送信画面を作ってみたい. その際「私はロボットではありません」チェックとかCAPTCHAとかを使いたい
- H29(2017).06.15
MacOS向けのジョブコントロールアプリって商用しかないのかな.
relion、sphireをMacOSのローカルで動かして、qsubでジョブ投入できたら嬉しいのだが..
- H29(2017).06.14
mastodonの記事を書いた. 改めて記事に仕立て直すと不明瞭な部分がはっきりする.
- H29(2017).06.10
6TB HDDの1.6TB認識はどうやらSATA-USB変換がUSB2.0だったためみたい。SATA-USB3.0変換なら大丈夫みたい
- H29(2017).06.05
FileMakerProAdvにて配布可能なruntimeを作ったのだが、その実行にはMicrosoftVisualC++2015再頒布可能
パッケージが必要で、検索してlinkを辿ると
「We're sorry, this download is no longer available.」といわれる。
結局、https://www.microsoft.com/ja-jp/download/details.aspx?id=52685 から得られたが、
再配置して欲しいものだ
- H29(2017).05.30
ひさびさにFileMakerPROを触っている。バージョンは13。FileMakerのサイトにも記載されているが
やっぱり開発は容易で、カスタマイズにも優れている。要件次第ではやっぱりこっちが楽かな
dhtmlxを駆使して左にツリー、右にタブでGrid・Panelなんて芸当はFMには厳しいかな..
けどAdv版だとキオスクモードが作れて配布が可能。これを試したくて保持してます
- H29(2017).05.24
NASからエラーがでて交換した6TB HDDがある。これをセクター修理とかで再利用を思いついた
っで、とりあえずUSB接続でLinuxに繋げたら1.6TBと認識...windowsにも繋げても1.6TBと認識...
型番はwd60ezrx。調べたらfaqのようでwdからファームウエアの更新方法が掲示されている
ただしwindowsから修正は32bitOSが要求され、Linuxでは別途bootイメージの作成を要求される...
- H29(2017).05.23
Let's Encrypt様から証明書を頂き、Mastodonを稼動させるべく調査を進めている
VirtualHostを駆使して mastodon.chaperone.jp なるサイトを作ろうかしら。用途は...微妙
内部で使えて、しかも外部からも使えるようにするには「ProxyPass/ProxyPassReverse」の世界かと思うが
組織の情報システム部が許可するかしないかに掛かるかと思われる
- H29(2017).05.21
Mastodonがようやく動いた。
- H29(2017).05.20
古いiPad2のsafariからo365を使ってみたが、、重いね
簡単なテキストを書き留めるくらいなら十分なのだが、アプリとかOSとかどんどん鈍重になるのは残念
CentOS6と7でlibudev.soが異なり、openmpi-2.xが共存できない...
- H29(2017).05.18
ここで使っているwiki。pukiwikiであるが、utf8版とeuc版がある。ここではeuc版を使っているのだが
先日utf8への変換を試みた。記事自体は問題なく移せたのだが、画像が移らない...不備はないのだが、
OSのLANGと合わせておきたいものである
化合物の構造式検索、そろそろ機能追加を行う予定。在庫確認とアッセイデータを載せれるようにしたい
- H29(2017).05.17
CentOS7はRHEL7のクローンで標準で搭載されているアプリケーションは古いものが多い。
そのため新しいサービスを提供しようにも、古いパッケージが足かせになることがある。
ownCloudが例で、php-5.6が最低必要なのだが、標準提供はphp-5.4。なので別途対策が必要。
phpにてphp-5.6の適用方法を掲載したが、OSを別のにしたほうがいいのではとも思う
- H29(2017).05.11
windowsPCのGUI画面からLinuxコマンドを実行する。出来るだけ簡便に簡素に描く
GUIはPowerShellで、Linuxへの橋渡しはssoなputty.exeで と。要素の予備検討は完了で仮組みへ
GPOでログイン、ログアウトが定義できるみたい。装置の使用時間が求められそう
- H29(2017).05.07
事業用の名詞を作った。取得ライセンスを書こうにも無い事に絶句...無免許では無理だよなぁ
dhtmlx/schedulerまぁカレンダーである。結構いい。施設予約、行動予定表にも使えるかと
あとo365と連携できそうな気がする。o365の予定表のデータをこのカレンダーで表示/追加/更新とか
- H29(2017).05.06
Office 365 Business Essentialsに加入してみた。adsl回線だけどoffice onlineの稼動に支障ない
保有ドメインの一つをo365に移して、レジストラのdns設定画面を調整してメールも受信可能に
自宅鯖でメール受信/送信もできたけど、迷惑/ウイルスメールの対処を考えるとo365に任せるのが楽かな
- H29(2017).05.05
phpからMariaDB(10.2.4)を使おうとしたら、phpのmysqlモジュールのバージョン(5.4.16)がMariaDBと一致してなかった
phpをソースからリコンパイルすれば回避可能なのだが、MariaDB(10.2.4)を辞め、OS提供のmariadb(5.5.52)に変更
- 170503
CentOS7配布のopenmpiで
「The /dev/hfi1_0 device failed to appear after 15.0 seconds: Connection timed out」なるエラーが発生する
CentOS7.4で修正するようだが、自前でコンパイルした方がよさげ
- 170430
macにtorqueを載せ、macで動くrelionから直接qsubを実行させようとしたが無理でした
他のジョブスケジューラを検討する必要あり
- 170427
cryoSPARCを新規のマシンにインストールしたらcuda-7.5のライブラリが必要と言われた
どうやらpycudaがcuda7.5のライブラリを必要としているのが原因みたい
- 170424
fioを使ってdiskの速度を出しているのだが、オプションの「--direct=1」は(OS関与な)キャッシュなしに
デバイスを計測する。デバイス本体のみの生な速度計測には宜しいかと。その場合、O_DIRECTを経由する。
だがzfsはこのO_DIRECTがサポートされてなく、「--direct=1」では計測できないみたい。
- 170420
LizardFSを勉強中。基本GlusterFSっぽいが、metadataを使用するのがGlusterFSとの違いっぽい。
- 170412
結局ipmiの板は返却不要で返金頂いた。っが、使い道のないボードを貰っても仕方ないのだが...
本日、日本の販売店からipmiのボードを購入。米国密林でも購入できるのかな
- 170410
intel nucのsamba smb共有が遅いのは変わらないが、ftp経由でデータ転送をしたら 約880Mbps な速度であった
その間、intel nuc側のcpu負荷は99%。やっぱりsambaの設定に問題があるような...
- 170409
cactiでgpuカードの状況(温度、Hz、watt)を表示させようとしている。っがcacti-0.8よりcacti-1.0って柔軟性が高まった分、
結構ややこしい。。グラフ化に成功しているが、cactiの5分に一度のデータ採取だとちょいと微妙かな
- 170406
GSSAPIDelegateCredentialsが上手く働かない。。win->A->Bとsamba adに参加させたこれらで
windowsからAへのssoはokなのだが、A->Bへのssoが駄目。。winbindでなきゃ駄目なのかな。。
- 170404
GPUのwatt,Hz,tempをcactiに載せるべく調査中。snmpd経由でスクリプトを実行させるか、rsh/ssh経由で得るか..
前者の場合、計算ノード単位でスクリプトを用意するので自由度が高いがメンテナンスが大変。
後者はrsh/ssh実行ユーザを用意する必要がある。
- 170403
cactiの1.0.4を試している。データ取得種別(local linuxとnet-snmp)を選べて、既定でdiskのioが取れるテンプレートが
入っていた。既定で温度とかfan回転数らも入ってればかなりいいと思う。snmpでGPUの温度、Hz、Wが取れれるのかな?
まぁnvidia-smiでcsvを作り、それを読み込みscriptをcactiに組み込めば行けそうだが、rsh/ssh系の扱いが微妙かな
- 170331
Excelの共同編集機能って、、「Excel Online」からの利用を想定すれば、「これでいいよね」って事案が多そう
- 170330
プリンターを購入予定。sambaでプリントサーバを仕立てwindows/MacOSX/Linuxらから印刷できればいいのだが
- 170329
メールサーバを調整中 今後スパムメールとの格闘が続くのだろうか。。
ipmiの板の件 結局相手側がミスを認めた。使えない....
- 170327
長年携わった仕事が終わった。感無量。関係者に深く感謝申し上げます。
- 170325
ipmiの板のはずが、なぜかipmiが入っていない板が届いた..型番も商品説明欄と違う型番になっていた..
- 170322
relion-workshopに参加。実際の処理の流れを体験できたのは非常にありがたかった。主催者様に深く感謝。
頂いたテキストを元に自宅で再度訓練。フォルダ構成/仕様を確認してrelion以外との連携を模索してみたい
- 170321
自宅サーバを安定的に運用する術を検討せねば。。。
やっぱりミラーサイトのhttp://chaperone.sakura.ne.jp/w/をメインにしたほうがいいのか悩む
BeersCriteriaなるものがあるのだが、高齢者への処方薬として好ましくないお薬、原疾患に対して好ましくない処方を
文献とかで裏付けしたリストがある。YJコードとかに簡単に連携できると思うのだが見つからない
- 170314
最新のrelionがリリースされた。早速コンパイルしたら relion-2.0.5 と表記された。2.0.4ではないの?
sambaも4.6がリリース。こちらは複数DC運用なのだが、upgradeの方法はどうすればと悩む。
fsmoのマスターで始めるのか、fsmo以外でupして、移してなのか、、よく分からない。
- 170311
合掌
- 170305
macOSにTorque clientをインストールすべく下調べ中。っが、openssl-develが必要といわれる。
Homebrewのbrew installでインストール可能なのだが、CommandLineToolsに入ってないのかな?
- 170304
ipmiの勉強のため中古の板を購入。web経由以外にコマンドラインでの操作を検討するため
- 170228
Office 365 Business Essentialsを契約しようかと思案中。。。
メールもオンラインストレージも自前で作れるけど、データ保全を考えると検討に値する。
- 170226
windows,mac,linuxの三者アカウント統合はadでほぼいけそう。ファイル共有に関してはlinuxを中心に
windows向けにはsambaでsmb、mac向けにはsambaかnetatalkで、linuxにはnfsとなるのだが、、
ファイル共有の中心って何が最適なのかな?って思う。bsd?solaris?,,windows?
- 170220
veertuで作った仮想マシンのネットワーク部分の調整が完了。「Bridge」の設定方法次第でした。
これでveertuで複数の仮想マシンを用意して、外部へのサービスもできるっぽい。
試行錯誤の途中でrootlessをdisableにしているが、既定のenableでもOKなのかは不明
- 170219
veertuを試しているが、作った仮想マシンが外部から接続できない。rootlessの影響なのか調査中
- 170216
アプリ提供なNFSディスクの負荷が高い。クライアント側にcachefilesdを入れてみた。
- 170215
Focusを作ってみた。CentOS6の標準コンパイラでは無理で、GCC-4.7以降ならOKみたい。
- 170213
cryoSPARCを作ってみた。っが操作方法は分からぬ。サンプルデータが用意されているようなのでそれで勉強かな。
GPUマシンだからRelionも走らせたいが、cryoSPARCをTorque配下で制御できないのか思案中...無理っぽいけど
- 170212
sambaで複数DCを試している。以前はできていたのだがsamba-4.5からだろうかFSMOの移動の際にエラーが生じる
- 170211
NVMeなデバイスにCentOS7を入れることになった。っが、なぜかデバイスエラーが続発した。
結局xfsではなくext4にしたらエラーは収まった。単に使用したMBとかに起因する問題なのかもしれないけど
- 170206
relionのMacOS版を作ってみた。ジョブを投入したり、画像を見たりするクライアント的な使い方が主になるのかな
その場合、TorqueにMacOSマシンをジョブ投入可能サイトとして登録する必要がある
追加でMacOS標準のコンパイラGCC(clang)でも作ってみた。Relion/MacOSX/clang?
- 170205
btrfsの透過的圧縮をテストしたが、圧縮率はいいものの当然ながら処理能力が求められる。
RAID構成のmetadata,dataの意味が分からん。qemuの下地はできたので2nd-samba-adを再度検証したい...
- 170202
ldapを中心にアカウント管理をされている現場を見た。こちらのldap関連コンテンツを更新したいのだが、、、
qemu経由だけど新規にマシンを立てて、2nd-samba-ad/btrfs/snapper/「以前のバージョン」らの更新を行いたい...
とあるサイトのFX100でrelion-2.0.3のベンチが試せそう...って言ってもGPU2枚あれば...まぁ最適化されてますしね
- 170131
qemu/libvirtを久々に。CentOS7のNetworkManagerが面倒過ぎる..NetworkManagerを停止して Bridge を作った
/dev/kvmのグループにlibvirtdのデーモン稼動ユーザをつけるのを忘れてた...
- 170130
relion-2.0.3がリリースされた。場所はgithub。今までのbitbucketはanonymousでは入れないみたい。
- 170129
ベイジアンモデルをpythonで作ることになった。式は提供されていたのでコードに直すだけの作業
pythonのnumpyで行列を初めて扱った。この分野には深入りしたくないあぁ....
- 170126
sssdのkeytabの期限切れ問題がようやく解決。メンバーサ側のsmb.confの記述漏れが原因だったようだ
beegfsがsamba対応のようなのだが、beegfs -- nfs --> sambaサーバ --> windows な流れそうな
nfsサーバ -- nfs --> sambaサーバ ---> windowsクライアントで遅延問題を見たので不安....
- 170122
済ませなきゃいけないタスクが多くなっている。週末に。休んだ気がしないっとまでは言わんが...
ipmiが載ったボードが欲しくなった
- 170119
keytabの期限切れが再発。その対処療法は分かっているが、根本治療が分からない。
ドメイン参加メンバサーバのランダムパスワード有効期限が更新されないのが原因のようで、
根本治療らしきを施しても再発する...sssdの文書とにらめっこかな...
- 170115
Accessで縦並びを横にカンマ(,)で繋げたいと思った。そしたらSQLServerExpressを入れていた...
SQLServerのFOR XML PATHで実現できたのだが、、AccessVBAでもできたのかな?って思う
- 170114
寒い。pbsproとかbeegfsとか試してみたいが余裕がない..
nfsの遅延はcore(HT)の数とnfsdの数のバランスだったみたい。同じ数にしたら遅延が改善された
- 170102
久々にpt2。pt2を載せたLinuxを母体としてwindowsPCでストリーミング視聴ができた。っがほんと見るものがない...
年末にnvmeをシステム領域としたCentOS7を組み上げたら/boot/efi/EFI配下がroになっていた..
- 170101
恭賀新年
- 161231
sssdってマシンの負荷が高まると落ちる?勝手に再起動してくれたけど...
- 161218
このサイトはddnsな自宅サーバで運営している。
なのでプロバイダから配られたipを大本のdnsへ伝える必要がるのだが、ここ数日そのアプリが停止していた。
コンテンツの内容は常に大手様運営のミラーサイトへ流しているので、問題があればそちらを参照している。
なら初めから大手様でコンテンツを作れば?となるのだが、自由度があるこの形態を使い続けている
- 161217
NFSが遅い
relionを複数実行すると妙にもたつく。NFSをチューンすれば回避可能なのか、あるいは別の
共有ファイルシステムを用意すべきなのだろうか。
- 161216
勤め先でPCパーツのみを購入してPCを作ることになった。組み上げたらメモリー問題でエラーが発生...
調べたら最新のCPUにbiosが対応していないのが原因。っが、一世代前のCPUなんて持ってなく
販売店へ返送してbios更新をさせて頂いた。本日bios更新版で動かしたら難なく稼動。
- 161206
体調不良。ふと思う。自宅に居ながら仕事ができた場合、体調が芳しくなくとも少々のことならしてしまいそう。
この「少々」の程度に問題はありそうな気がするが。
在宅勤務が可能な職場に行きたいものである
- 161204
relion_refineをローカルで実行すると「-j 8」ならtopコマンドで600%近い値が出てload averageは1.0以下
これをqsub経由で流すと実行マシン上のtopコマンドで100%付近に留まるのだが、load averageは6ほど。
qstat -nで見ると1coreしか使ってないと表示される。
はて、qsubで流した「refine」ジョブはいったい何個のcoreで計算しているの?
- 161202
AD専用マシンとファイルサーバ兼ADサーバの2台でADを運用していたのをAD専用マシンの1台体制にしようとした。
ファイルサーバ兼ADサーバを降格したら、このマシン自体がADドメインから抜けてしまった。。。
急遽winbind経由で再度ドメインに再参加させた。一応これで復旧したが認識できないアカウントが発覚。
sidの付け替えは覚悟でそのアカウントを再作成(User Profile Wizardに頼った)
このファイルサーバはTorqueのサーバでもあるのだが、winbindと連携が取れずキューが流せない状態へ。
なのでnssはwinbindだが、Torque向けにsssdを設置して回避した。sssdで一本化も可能だが、これで暫く見守る
- 161126
relion-2.0.2がリリース。早速コンパイルしてみた。不具合は解消されたようだが、一部はまだだった。。
勤め先のマシンを使ってBenchmarksを行ってみている。gcc/icc、openmpi-1.x/2.x、ib/tcpらで比較できたらと
- 161124
ストレージリソースを複数のマシンで共有して計算する際「NFS/SAMBAによるファイルシステムでの共有」と
「FC/iSCSIを使ったブロックデバイスレベルの共有」のどちらがいいのだろうか。
手段は
- 161120
samba-4.5.1へupgrade完成samba/update。
- 161117
NFSとiSCSIとかによるGFS。どっちがいいのだろうか。
4port10GbpsHUBが出てきたので試したくなってきた。
- 161114
体調不良で一日休んでまぁまぁ回復。
勤め先からqemuの仮想マシンが起動しないとの連絡があった。どうやらsaveになってそれから起動できないみたい。
mangedsave-removeで消して再起動すればと思ったが、相手はCentOS5でそんなコマンドがない。なので
domain.saveファイルを別の場所に移動して、起動させてみた。幸い成功。そろそろ最新に揚げねば。
- 161106
samba-4.4.4から4.5.1へupgradeを試したらエラーが続出。断念して4.4.7へupdateした。要調査事案
relionのmacosx版を作ってみた。macosxで画像を見たり、計算パラメータを調整してqsubへ投げるくらいならいいのかと
dhtmlxのサンプルアプリ。wsgiベースで作ろうとしたが挫折した。phpベースで作ろうと思う。
- 161024
商用品のPBSがオープンソースとなっていた。試すつもりでgit cloneを行った。どうせならと思い
IPoIBを使ってのNFSを準備してみたib/NFS。だがベンチを取るのに手間取っている。。
準備している最中にOverlayFSなるものを見つけた。これ複数NFSサーバ環境下なら試したい代物ですな。
ただext4限定と言うのが、、せめてxfs対応は既定で欲しいな。xfs対応への抜け道はあるようだけど
- 161016
dhtmlxを使ってサンプルアプリを作っている。お遊び程度のものだけどRDKit/Cartridge/web
構造式の画像をいっせいにダウンロードさせるならHTTP/2の採用が望ましいのだが、CentOS7のhttpdは未対応
Nginxに乗り換えるればHTTP/2は使える。
- 161013
RDKitを使ってデータベースに収めたsmilesからブラウザに構造式を描かせてみたDepict#se9f9017
画像ファイルを作らずに直接ブラウザに表示するタイプ。登録時のMolを使えばもっと見やすい画像になるかも
- 161010
relion-2.0.1のmpiテストを行っていた。relion_refine_mpiのrank0が非GPU対応なので
qsub.shを改修してみたRelion/TORQUE?
MacMiniでUSBによるMacOSXクリーンインストールを行いたいのだが、よくわからん。。
- 161002
同一ネットワークで、samba ADをLDAPに見立ててのMacOSX接続には成功した。
だが目的のNAT越しでNATルータをLDAPに見立ててログインする方法は、、一応できたのだがかなり怪しい。
当然、SASLの無効化は必要だったが、NAT越しのNFSでvers=3にしないと無理だった。
あと、ログインのたびごとにキーチェーンが見つからないと起こられた...微妙..samba/LDAP/MacOSX
- 161001
samba ADをLDAPに見立ててMacOSXへのログイン認証を任せてみた。ようやくできたsamba/LDAP/MacOSX
キーワードはSASLの無効化だったのね
- 160927
mpirunで動くアプリがある。1ノードなら問題ないのだが複数ノードでは動かない事態が発生した。
ログにはライブラリが読めませんでしたとの表示。rank0から派生するプロセスで正しい環境変数が
読めないみたい。「mpirun -x」でも駄目。なのでstaticでバイナリを作り直した。っで成功。
- 160925
RDKit/Cartridgeの見直し完了。ついでに簡単なwebアプリを試作中。
RDKitをpython経由で使うのでCGIで、、っていうよりWSGIで作るべきなのでしょうね。
- 160921
samba/LDAPのMacOSXの部分は、MacOSX10.7(Lion)なら行けた。っが、OS X El Capitan(10.11)だと駄目だった..
解決策を探している最中
- 160919
RDKitを見直し中。cartridgeをyum配布のpostgreSQLで使おうと試したのだが、エラーが発生。
仕方なくpostgreSQLもソースからコンパイルしてみることに。yumでコンパイルせずに構築できて、
即座に本質の運用(もしくは運用のための準備[スクリプト作成ら])に持っていけるのはありがたいと思う。
だが、そううまくは行かないのもあり、、まぁ難しい
- 160915
intel nucを使っているのだが、sambaでのファイル転送が遅い。crystaldiskmarkでseq.16MB/secほど..
iperf3で計測したがネットワーク部分的には 938 Mbits/sec と申し分ない。っとなると問題はファイルシステムとsamba。
転送中サーバの1つのcpuは100%に近かった。単にcpuが遅いのが問題?cpuが律速?
- 160912
samba-4.5がリリースされたので記事も修正予定
- 160911
ADのNAT越えを試している。windowsPCのNAT越えAD接続は無理っぽい。ローカルにアカウントを作って
ログインスクリプトで統制を取るのが管理として最大限かな。まぁパスワードはローカル管理になるので
一元管理は無理なのだが。
LinuxPCとMacOSXについてはNATにポートフォワードを仕掛け、NATがLDAPサーバになるようにすれば
行けるみたい。残りはNAT越しのNFSである。uid/gidの名前がAD(LDAP)から引ければいいのだが...
- 160908
sambaでADを構成して、誰がどのwindowsマシンにログインしているかを調べるのにsmbstatusだけで拾えるのか?
多少のタイムラグはあるけど、一応取れそうな気がする。
ぁ、samba-4.5.0がリリースされた模様。sambaのバージョンアップは定期的で六ヶ月ごとに行われる。
っで、3世代前の4.2.xは本日を持ってEOL。yum updateで簡単に更新できれば嬉しいのだが、samba-dc関係は未だ
提供されていない(CentOS)。
- 160907
dhtmlxのスケジューラを試している。他のdhtmlxライブラリとの連携が取れるのでいいかも。
- 160905
ibを再編集した。清書のためにマシンをクリーンにして確かめてみるけど。
次はInfiniBandを使ったNAMD。CUDA+InfiniBandとInfiniBandだけで違いはさてと。あとrelionでの差も見てみたいかな
- 160828
ほぼ復旧達成
大事な書類らをクラウドサービスへ転送すべきかと検討。その際、単にファイルを送るのではなくキーフレーズで暗号化した上で
送りたいものである。共通鍵方式なら簡単に「zip -e」、暗号化アルゴリズムを特定して使うなら「openssl enc」。
公開鍵暗号方式なら「gpg」かな。
- 160824
復旧率3割かな。dhcpd.confの紛失が痛い。こちらを台帳代わりにしたのが響いている。
samba-adはあっけなく解消した。profile情報をローカルのマシンに置いていた為、User Profile Wizardを
使って新規発行のSIDでwindowsPCのprofileらを上書きさせた。
- 160823
webサーバのHDDが止まった。モーター自体が回ってないのでデータは全損みたい。
幸いコンテンツは http://chaperone.sakura.ne.jp/w/ と同期させていたので戻せたが、
その他のsamba-adの稼働環境が全て消え失せた。日ごろのバックアップは大事だなぁ〜って改めて思う...
- 160814
ubuntuのzfsを実機で試した。メモリさえあればsoftware-raidより結構いい選択肢かと。
btrfsは試してないけど同じくらいのパフォーマンスなのかな。
日々増えるデータをシングルボリュームで扱うには、zfs/btrfsで垂直方向、gluster/BeeGFSな水平方向の
両面の塩梅と、付随する速度・冗長を考慮した設計が不可避と思える
- 160813
同じHDDにbonnie++, fio, ddを試した。sequential readっぽい計測はほぼ同じ感じ。だけどRAID-HDDだと
まちまちな気がする。
- 160731
BeeGFSを試している。ってもVMware上だからあんまり意味がない。まぁー構築の手順習いって感じ。
ストレージにext4、xfsのほかにzfsも使えるとある。Linux向けのバイナリを提供しているのにzfsが有効って?
たしかzfsってLinuxではライセンス的に微妙と聞いているのだが、、はて。
Ubuntu16.04のzfsで組めるって事かな。
- 160719
namdを試そうと思い、vmdを触っていたら、初期構造が必要でpymolを構築した。
linux版は作れたのだがwindows版はハードルが高くて無理。お金に余裕があるのなら有償版は宜しいかと思う。
- 160707
intelのimpiで複数台gpuマシンのmpi計算にやっと成功。openmpi/gccはまだ...コンパイル時のmpi.hの指定違いが
原因っぽい。「ompi_info -a」でcuda対応にしたのだが、険しい。
https://service.clustervision.com/content/example-mpi-c-cuda-device-query-programが動かない..
- 160703
google様から「ページがモバイル フレンドリーではありません」と言われた。って言われてもなぁ....
この夏、ssl証明書を付けるかも。samba/ldap関係で試したいので。まずはmail環境の整備からかな
- 160702
暑い。熱に弱い。
複数台のcentosにgpuカードを載せてとある計算を検討中なのだが、openmpiが未対応であった...rpmbuildで再構築。
intelさんのmpiは対応のようなのだが、うごかねぇ..
- 160630
bcacheを検討中。なんか素直にkernelをあげた方がいい感じ。CentOS7のkernelを調整するより、いっそあげた方が楽かな。
- 160616
pt2のドライバをCentOS7に組み込もうとしたら署名云々で蹴られた。
UEFIを調整してセキュアブートを無効にしたら組み込みに成功した。UEFIではなくBIOSを使ったら遭遇しない現象かな?
- 160606
HDF5(Hierarchical Data Format)、HELM(Hierarchical Editing Language for Macromolecules)らを考慮した
ストレージを考えねば...
- 160601
データが増えすぎて、その対応をずっと考えている。商用品で賄えればいいのだが、そうは...
っで、その答えになりそうなのがこれかなgluster compliance archive 。
まだ存在しないけど。
- 160523
どうも調子が悪い。日頃の不摂生がとも言えるが、、参った
linuxのsymbolic linkを含んだファイルらをltfsをwindowsで取り出す際、エラーになるのは現状の仕様みたい。
なのでtarファイルとそのファイルリストの2つをltfsに置くのがいいのかなぁ...
- 160518
jettyによるservletを作っている。慣れないので難しい。。HTML5のCanvasを使って絵を描かねば...
ttyのない状態でのsudo、グループへのsudoなどメモを入れておきたいが余裕がない..
ssoでweb認証はいいのだが、sso配下で一旦ログアウトして別ユーザでログインするにはどうすればいいのか..
LTFSでゼロバイトのSymlinkファイルがLTO6テープに紛れていて、windowsマシンからコピーすると途中で止まる...
回避方法はないのか....ltfscpでも駄目だった...
- 160430
ルータ特化OS pfsenseを使っている。web画面で操作設定。結構いいですね。
専用HWもあるけど、これならnic2つ持つMBを用意すれば行ける。
速度が専用HWと比べてどうかが知りたい。まあossなので検索すれば見つかるかな
- 160427
2,3周の周回遅れなのだが、node.jsを勉強中。ブラウザ間でのリアルタイム同期が可能っぽい。
webアプリでフォルダを作ったら、別のPCのブラウザでもリロードなしで情報が書き換わる。
在庫管理とまでは行かなくとも、同じ在庫管理の作業アプリに今現在だれがログインして
どんな操作しているかが分かれば面白いかも。範疇ではないのだろうが、複数ターミナルでの
コマンド履歴を一つにまとめられないものか....
- 160424
CentOS6でBridgeなSquidClamavを作った。結構かかった....
bridge(br0)に対してiptableを有効にするsysctlフラグが肝だったみたい。
- 160410
訂正。どうもできそう。
- 160406
Torqueは計算中のジョブをsuspendにはできないみたい。ジョブの投入への優先順位付けは当然できるが、
いざ「計算」に入ったジョブをsuspendにして、他のジョブを先に「計算」させる芸当はないみたい。
slurmはできそうなのだが未確認。
- 160328
XmingをXDMCPとして使っていたが、TeraTermとかと連携してXアプリを呼び出せることに今更気がついた。
samba4.4がリリース。って3/22だったのね。SMB3 Multi-Channelが導入された。L2スイッチでVLANを複数作れば
試せまる。windows2012R2とwindows10で試したが2つのNICで2倍近く1枚ファイルのsmb転送が早まった。
L2HUB/LANの設計が面倒。10Gbeに代えたほうがいいような気がする
- 160327
windows7に戻って、windows7proに移行した。
Linux,Windows7,MacOSXとアカウント共有、リソース共有を念頭に描いている本サイトであるが、著者の日常環境を
やっとそれに移行した次第である。QNAPでTimeMachineを試したが、設定は難ない。っが初回バックアップを行うと
うまく行っていない様に見える。でもほっといたら無事に完了してた。疑問が沸くがまぁーいいや。
- 160315
windows10に鞍替えしたが、とある都合でwindows7に戻りました。windows7homeからwindows7proにしたい...
- 160311
意を決して、windows10に鞍替えしてみた。Core2Duo 2.53GHzでもまぁー使えるみたい。
- 160306
kernel-4.4.4を入れてたら知ったが、nfs-4.1のserver機能が使えるのですね。nfs-4.1のクライアントはサポートしていたのは
知ってましたが、サーバ機能が使えるとは素晴らしい。早速テストしてみたいものです。
- 160302
手元にあるMacMiniを10.11に揚げた。samba adの配下で使っているのだが、まあ問題ない。
ただ、Linuxのディスクトップ環境で作られるフォルダとの連携に注意したい。
Linuxのディスクトップ環境を使う機会は少ないのであるが...windowsとの連携はprofile管理が面倒だな..
- 160222
sambaでspotlightを試みたが、うまくいかない...netatalkの方も...
MSSQLのCLRを記載。SQL関数以外の外部ライブラリや自作関数が使える物。FileMakerで言う所の外部関数プラグインかな。
RDKitのFingerprintsを混ぜて、bit計算で部分構造検索らが可能かと。まあ、そもそもRDKitにpostgresの
カートリッジが提供されているから不要なのだろうが。
- 160214
win2k12r2とwindows10でsmb Multichannelを試してみた。確かに追加したnicだけ早くなるみたい。
VLAN対応のHUBを調整してLANセグメントを作ったりと面倒だけど高速にファイル転送ができる。
研究室なら使えそうかな。まあ10Gbeまでの普及次第だろうけど。「1Gbe < SSD/HDD速度 < 10Gbe」
- 160213
windows10を触っている。windows10向けのリモートサーバ管理ツールの確認をするため
- 160202
sambaでsmb Multichannelって行けるのかな?調査中。smb通信限定だけど、nicを増やした分だけ単一ファイル転送速度があがるそうな
- 160201
もう2月だ....
BeeGFS と Lustre の比較記事を読んだ。そのままのカーネルが使えるBeeGFSに興味が引かれる。10GbHubで遊びたいものだ
- 160125
netatalkでTimeMachineを作ってみた。スケジュールはrsnapshotっぽい。使い勝手はwindowsの「以前のバージョン」っぽい。
Baculaもこんな感じで楽にできたらいいのだが....
- 160114
久々にESXi5.1のパッチを適用。操作環境は素晴らしいのだが、一方でQEMUも使っていてこちらをメインにしたい。
QEMUであれが動くか確定しないと移れない...
- 160105
samba関係の記事の移行がまだまだある。単純なコピーはせず、内容を確認しながら行っているためと理由のつらつら。
先日勤め先のファイルサーバが落ちた。リカバーに数時間を要するなら二重化もありなのかな。
- 160101
謹賀新年
- 151231
CentOS7.2を使ってみている。dfすると見慣れないエントリーがある。どうやらuidにひも付いたRAM diskなのかな。
/tmpとかのファイルシステムではなく、より高速なRAM上に展開され、かつuidでプロテクトされる利点があるそうな。
- 151229
改めてGPOを調べたら結構深いのね。その関係で2ndDCを書き直し中
- 151223
SSOのhttpを追加した。AD認証を引き継いでユーザ情報が渡せている。windows7なPCでiis-phpでも行けるのかな?
出来てもライセンス的な絡みで制限がありそうな気がする
- 151220
ちょこちょことsamba関連の記事を修正している。samba41とsamba42のリンクを削って現行に一本化するために。
sambaのパッケージをインストールするとglusterFS関連も同時にインストールされる。分散FS環境ならありかな。
年末。そろそろwindows10でも触ろうかな...
- 151213
http/2もまた注目している。apatch httpでもできるとあるが、nginxが軽量なら使ってみたいものだ
CentOS7.2がリリースされたそうな。物理環境も仮想環境もefiを使っている。grubもそうなのだが、efiも習得せねば。。
- 151210
php7が話題になっているみたい。従来よりも早くなっているそうな。このサイトに使ってみるか検討
- 151208
このサイトは用途に合わせて仮想マシンをその都度作っている。いい加減自動仮想マシン作成に移行したい。
それと合わせて勤め先で作っているWebアプリのDevOpsを図りたい...
- 151204
今年中にsamba関係を作り上げたい...samba-4.3.2に揚げた。
- 151201
CentOS7に古いrubyアプリケーションをインストール..は完了。コンパイル系も古くしなくとも行けた。
- 151129
CentOS7に古いrubyアプリケーションをインストール。なんかコンパイル系も古くしないと駄目みたい。
sambaのACLsは諦めた。共有フォルダの中身、サブフォルダをwindowsのACLsで定義させようと思ったのだが、
上手く動かなかった。なので当面はsmb.confの設定で。ADDCなら問題ないのにmember serverだと制限があるのかな?
- 151125
ここずっとACLsを行っている。windowsの操作ですべてを行おうとするとユーザフォルダがDCに限定とか
member serverの領域を共有にする際 domain のadministratorだと操作できないとか、回避可能だけど
全部が全部windowsと代替てきる訳ではないのが分かる。
CentOS7でruby187なアプリをコンパイル中...行けるか微妙..
- 151116
ADDCマシンのOSを変更することになった。一旦別のDCを建ててfsmoを渡して、OSをインストールしてDCにさせてfsmoを再び受けた。
すんなりいくのだが、DNS周りの対応がややこしかった。リモートサーバ管理ツールの有難さを再認識。
- 151115
member serverでwinbind経由なwbinfoを使うとadministratorが引けない...
ADDCでなら「wbinfo -i administrator」でUID:0, GID:100が返ってくる。
- 151112
sambaにおいてメンバーサーバを作る際、sssdで連携させているが、winbind(rfc2307)でも問題なく行けそう。
あとdomain adminグループに所属するadministrator以外のユーザを作って、それで管理が望ましいな。
- 151104
ここんとこ、ずっと具合が良くない。まいった。。。
- 151026
GitBucketを勤め先に構築。コード保全は非常にありがたい。もっと前からやっておくべきだった...
sambaのsnapperだけど、LVMなxfsかLVMなext4、あるいはbtrfsのみが対象みたい。LVMは便利で
シングルボリュームのまま大きくできる。まあbtrfsでもできるけど。。。よりいいのはどっちなの?
- 151023
Tokyo/Fallに行くの辞めた。
sambaの冗長は成功した。週末はbackend DNSとかかな。そろそろDockerを習得せねば...
- 151016
どうにも風邪気味。参った。sambaの冗長がうまくいかない。どうにも失敗してしまう....
- 151012
連休中、勤め先のjquery仕事を予定していたのだが、結局sambaに奪われた...まぁいいや。
sambaのDC間でfsmoの移行を行いたいと思っているのだが、多用が過ぎる。
cronでここ web.chaperone.jp/w から さくらインターネットのミラー chaperone.sakura.ne.jp/w へコピーを始めた。
回線が細いため、参照は chaperone.sakura.ne.jp をお勧めします。まぁ自宅回線を太くすればいいのだが、懐が寒くてね。。
- 151004
秋の夜長、さくらインターネットのレンタルサーバを試している。やっぱり早くて快適
ただドメインの移行が面倒で躊躇している。まぁオリジナルはここで、ミラーをあっちにして、使うのはあっちがいいのかな。
でもミラーが遅い....lftpを使っているのだが、、、
- 151002
オープンソースカンファレンス2015 Tokyo/Fallに参加してみようかと考えている。
TORQUE、slurmとかのジョブ管理システムでDockerが使えればと思う時があって、その情報収集にでもと。
- 150927
10Gbeを試した。6.79 Gbit/secの速度が出たが、NFS/sambaでの値ではなく、通信だけに特化してのお話。
実際ファイル転送とかの値はまだ出していないけど、まあーSATA 3.0(6Gbps)なHDDと同等なら十分かも。
- 150921
10Gbeのカードを入れて認識させてみた。まあー大丈夫そう。だが、まだ光ファイバは繋げていない。
ESXiの仮想マシンでテストしようとダイレクトパススルーを行ったのだが出来なかった...
samba-4.3で書き直しているが、従来とのページの重複に悩む。今後はsambaを基本に一本化。
次のsambaのバージョンが出ても、sambaを起点にして書く予定。
- 150919
連休開始。10Gbeのカードを入手した。っがsamba-4.3を書いている。
- 150916
10Gbeのカードが郵便局にある。取りに行きたいが時間がない...
まあ連休に間に合ったからいいけど。
- 150912
sfp+トランシーバーモジュールが届いた。
- 150905
久々にAERS(FAERS)を観察。DEMOとDRUGにフィールド追加があった。着実にデータ件数も増える一方で
属性情報の追加も行われているみたい。各四半期を繋げるフィールド欄の変更はないが、
マージ作業には注意が必要みたい。DEMOが750万件、DRUGが2600万件らのデータはPOSTGRESでも大丈夫かな?
- 150901
samba4.3.0rc4がリリース。早々に4.3.0が正式リリースっぽい。それに伴いコンテンツをどうすればいいのか思案中。
基本、いまのままで4.3.0の機能追加なページを付ける感じで行こうかと。
勤め先で使用可能になったPGIコンパイラを触っている。動的リンクで参照される共有ライブラリって
再配布可能なの?良くわからないから静的リンクで作るけど、、、ライセンスが良くわからん
- 150827
22番のみが許されるような環境でルータ越しにxdmcpを考えることになった。ルータに穴を空けた方が
楽なのかと思うのだが、vnc/xinetdとPortForwardで達成できた模様。Xmingよりも接続の手順が嵩むが、、
- 150819
結局何もできなかった。収穫はいつも通信テストに使っているAtomマシンのNICが送信は1Gbps近く出せるのだが、
受信がその半分500Mbpsほどであった事。kernelを上げてもドライバを更新しても受信速度は上がらない。
このマシンでBondingの動作確認を行いたかったのだが、、、
- 150812
明日から夏季休暇。っと言っても確認したい事が沢山ある。どうも腑に落ちないbonding、vbox由来のLinux仮想の
virtioドライブ化、bacula、ldap、oracle12c、、、そのうち一つできればいいや。
- 150809
4port nicを購入。暑さにやられた感がする。まあいい。bacula,ldap,oracle,and so on,,まあ楽しみながら試している。
先日samba-4.3-rc2のWHATSNEW.txtを読んだ。FileChangeNotifyはSYSVOL共有への布石かな。
Spotlightへの対応はいいねぇ。っが構築が面倒そう...SMB 3.1.1への対応ってwin10への対応速っ。
でもお金に余裕があるのならMS謹製でADを拵えましょう。要らぬ苦労は減り、早く帰れますよ
- 150804
来週に夏休みがある。何をしようかと悩むのだが、今取り掛かっているbaculaは当然の事、ldap on CentOS7とかかな。
baculaはD2D2Tの検討。ldapはやっぱりまだまだ基幹だからお浚いに。Oracle12cもそろそろ勉強しないといかんな...
- 150729
熱で落ちたみたい...そろそろawsかな...
- 150724
外部からアクセスすると妙に遅い事に気が付いた。awsでホスティングとか考えようかな。
t2.micro(1vCPU,1GBメモリ)で3年$247かぁ...年間1万円かぁ...
あとHDDなるEBSが必要で10GBなら$0.08*10(GB)*12(月)=$9.6 迷う...
- 150716
ノートPCのモニターが割れた。。。。。。。
- 150712
ここんとこ、ずっとbaculaをやっているのだが、難しい。。。まだ理解できていない箇所がある。
1weekを単位に2世代管理とかはわかったのだが、OneTimeBackupで恒久的に保存を目的として、
残存破棄後のリストアが分からない。一応Backup媒体にls -Rlaな情報(DBのdump)は残せるのだが、、、
あと、Baculaとwebminは辞める。なんか動かねぇー。まあこちらの間違いの可能性が高いけど。
- 150708
VirtualBoxのvdiファイルをqemuのqcow2に変換したいのだが、どうやらVirtualBoxに含まれるVBoxManageコマンドが
必要みたい。イメージファイル間のパスを描いたページが欲しいものだ。
- 150706
BaculaとWebmin、VTLを繋げてバックアップの勉強をしている。この時期、なかなか時間が取れない....
inotifywaitは概略が完了かな。ただphpにinotifyにも興味があるけど、ちょいと目的と違いそうな気がする。
単純なファイル作成完了後に自動処理を組み込みたいだけですからね。
今週中にsamba-4.2.3がリリースのご様子。新機能が追加されたら検証するかも。
- 150626
inotifywaitを習得中。mount.cifsでマウントしたwindowsなファイルシステムを対象ではinotifywaitは効かなかった。
windows側が作るファイルを発端にして動作させるには、samba共有ドライブをwindows側に提供して、
windowsが書き込むと、共有ドライブ提供元のLinuxマシンがinotifywaitで発見、処理実行が筋っぽい。
phpにinotify関連があるけど、これも調査かな。
- 150621
sambaでDomainAdminsグループを付与すると、作られるファイルの所有者は3000000(Administrators)と見えてしまう。
でもgetfaclで確認すると「ユーザ」の所有権も一応含まれている。
見かけ上、3000000(Administrators)になっているだけで本質は問題ないのだが、
linuxで「ls -l」とかすると、少々躊躇う。windows側ではそんなに所有者情報が現れる訳でないので心配ないのだが。
できれば、表にでてくる「ls -l」などの情報も「ユーザ」にしてもらいたいかな。
- 150620
ノートPCのモニターが割れた。とある場所でモニター部分だけを入手して交換。
2002年の製品なのだがあるところにはまだあるみたい。
- 150617
基本、windowsマシンを常用しており、CentOS7への接続にはターミナルエミュレータ「TeraTerm」を使っている。
まれにXアプリを使うため、これまではXmingを使っていたが、どうやらCentOS7では無理みたい。
っで、CentOS7-(VNC)-windows か CentOS7-(xdrp)-windows、どちらが簡単なのだろうか。用途次第だけど..
- 150616
winbindとsssd。ここでは主にsssdを使ってます。最近久々にwinbindで繋げてみたけど、あんまり変化がなかった。
単に設定の仕方が悪いのかもしれないけど、当面sssdでいいや。
Linux<->windows<->MacOSXのファイルシステム相互融通表が欲しい。
- 150615
samba-4.2.2でもDomainAdminsグループの追加による不具合は回避可能っぽい。っていうかできた。
基本はsetfaclを駆使することだけ。なんか微妙だけどね。
- 150612
samba4ADにてユーザをDomainAdminsグループに追加するとフォルダの所有者が3000000(Administrators)になる件
samba-4.1.18ならAdministratorsグループにposixGroup/gidnumberを加えれれば回避可能
samba-4.2.2だとうまく動かない....現象的には作ったフォルダへのACLが正しく付与されないのが原因っぽい
- 150606
Baculaを検討している。っが、時間が掛かり過ぎている....
とあるアプリでcudaを使う場面に出くわした。最近のGeForceで難なく出来たが、昔のquadroだとどうも動かない...
幸い手元にあるK600で試したいと思う。
- 150603
QNAP(A)に入っていたHDDを別のQNAP(B)に入れた。そしたらQNAP(A)で使っていたOSが動いた。
てっきりそこらへんは、筐体依存かなって思ったのだが、どうやらHDDにQTSが入っていた模様
- 150526
QNAPの調子が悪い...っでHDDのチェックを行ったが問題なし。っが使っているとエラーが発生する。
自己診断モードとかないのかな。。
- 150523
samba4ADでZドライブが使えない問題の原因が判明。Domain Adminをユーザに追加したのが原因のようで、
外したらZドライブが使用できた。っが、他のsamba4ADシステムでは同一の事は起こっていない。
SPARC64向けのrelionができた。
- 150516
ddnsが不調なようでアクセスに支障が生じている...まいった...
mpi/pthreadsなハイブリッドな計算を行うには mpirun にて -bind-to none にすべきみたい。
これを指定したらパフォーマンスが相当向上した。
SPARC64向けのrelionが作れない....samba4ADでZドライブが使えない...CentOS7にxdmcp接続できない....
問題山積...
- 150504
連休中にTORQUEの追記(rsh対応、maui追記)、ownCloudそしてBaculaを描いている。GitBucketは無理っぽい
SPARC64向けのrelionは計算途中で転けた...ハードル高過ぎ...
- 150430
SPARC64プロセッサ向きにRelionをコンパイルしているが、、、ようやく完成。当然ソースには手を加えていないが、
Makefile/libtoolの内容をいろいろ調整した。はて動くかな?....
- 150428
Bind-9.9.7とsamba-4.2.1をupdate。
mount.cifsでsmb共有したらファイルがフォルダになる...これって基本kernelっぽい気がしてならない。
- 150427
RDKitの記事を調整中。そろそろsamba-4.2.1とかESXiのパッチとかあてるかも。
KVMでMacOSXが動くらしい。興味深いがライセンス的にはどうなのかな?
- 150423
連休中はクラウド関係を試す予定。GitBucketとかownCloudとかね。もちろんsamba4と絡めて。
まあーあくまでも予定なのだがね。ちっちゃいツールなのだが、管理にGitHubを使えたらと思いましてね。
- 150419
dhtmlxのdhtmlxTreeGridってProfessional版でのみ提供なのね...軽く6時間無駄にした...
- 150416
複数のテーブルがあって、A.ID=B.IDと結べるが、AとBそれぞれ1000万件だとまあー遅い。
AとBそれぞれの結果を得てアプリ側で対応するか、
サブクエリを駆使して、小さい件数に落とすのが望ましいみたい。
- 150415
OSSなDBで全文検索。sphinxとgroongaって実装が同じ方向なのかな?
まあーどっちでもいいのだが、早く利用できるようにしたい。っが、新参者な愚生には難しい....
- 150412
全文検索。dbに取り込んだ品目、一文を検索対象とすることになった。
SQLserver、ORACLEとかでもいいのだがpostgreSQLとmariadbで試している。
件数に依るのだろうが、8000万件とかになるとOSSでは厳しいのかな。目下試している
- 150405
会社の仕事でajaxをやっている。以前はjavascriptベースで作ってたけど今回はjQueyを使っている便利だなぁ〜。
freeNAS/NAS4freeのコンテンツをアップデートしたい。そして、これらをsamba4ADに組み入れたい。
- 150403
samba-4.2ドメインに参加しているwindowsPCで、ファイルを作る。当然windowsPCからは所有者情報が
記載されるのだが、この所有者情報を維持したままLinux側に持ってこれない....
- 150330
SSOをやっている。httpd側でユーザをどのように拾えるのかな..
- 150327
samba-4.2の更新はひとまずかな。snapperが残ってるけど、、コンパイルができないのでは進めない。
後はwebのSSOとかかな。2nd sambaADDCとか、sambaクラスター(CTDB)とかあるけど、研究室レベルではない。
プリンターサーバの類は、プリンターがないので書けないのが悔やまれる。
- 150324
MacOSX10.7.5(Lion)をsambaドメインに参加させた。
結局、属性のマッピングを調整してUID/GIDは揃えれた。マッピング調整対象がそれくらいで、
loginShellとかドメイン由来にならないみたい。あと/homeにはならず/Usersでsmb接続。
ここら辺の調整も含むならADDCをLDAPと見做してマッピング調整が必要みたい。
- 150322
MacOSX10.7.5(Lion)をsambaドメインに参加させてみている。素直にドメインに参加しても駄目で
uidNumberとかunixHomeDirecotry,loginShellらの属性と正しくマッピングが必要みたい。
smb経由でホームディレクトリを共有すると/Usersが起点になるようだが、、/homeに合わすなら
MacOSXがNFSmountを行う必要がある。一筋縄にはいかないみたい...
- 150319
sambaで[homes]のsnapshotに成功した。
まあー/homeをbtrfsにする必要があるけど、CentOS7は一応選べるファイルシステムだからって思っている
- 150317
samba-4.1なコンテンツは移動した。samba-4.2のsnapperってdbus-develでrecompileが必要みたい。
btrfsのコマンドで「以前のバージョン」は作れたけどsmb.confの[homes]には作れなった。
こちらの勘違いかも知れないけど。この度のvfs_snapperでここができるか調べたい
- 150315
samba-4.2のリリースに伴いコンテンツを改修中。ベースはCentOS7。そろそろMacOSXとの接続を考えねば....
目下samba-4.1にあったメモリーの消費増大には見合っていない。
- 150310
あーあの日は温泉に出かけて震災に遭遇した。温泉といってもスーパー銭湯なのだが。お風呂は波立っていた...
ロッカーは倒れ、着替え中に余震が襲う。休暇を取って疲れを癒すつもりが、心労を増やしただけだった。
当然マシな方なのだろう。
- 150308
samba-4.2のリリースに伴い現在新しいページを作成中。
あとTORQUEだけどmauiが必要でした。TORQUEってノード数が軸で、slurmはコア数が軸みたい..
- 150305
祝samba-4.2リリース
- 150301
CentOS7に移行してqemu/libvirtを再構築。仮想マシンの自動起動はできるのだが、自動shutdownが働かない...
停止時は手動で落とすのがある意味当然なのかな。sambaはsamba-4.2を試している。まだrc版だけどね。
smb3を試してみたい。
- 150228
CentOS6からCentOS7へ移行。dhcpとhttpdはyumで済ませたが、bind,qemu,libvirt,sambaは手動インストール
systemctl関係に慣れるのに丁度いい感じ。pukiwikiのcode.inc.phpだが、phpのhtmlspecialchars関数の
仕様変更に対処する必要あり。まあ「htmlsc」に置換すればいいみたい
- 150227
InfiniBandのOFED/MLNX_OFEDドライバを最新にしようと思ったが、hwが古くて既に放置みたい。
単純にOS由来のが最新っぽい。最新にしたければkernelを上げた方がいいみたい。
新たなカードで試してみたいが、、、そのまえにこのカードでmpichを試してみたいかな
- 150222
InfiniBandに夢中。IPoIB/10GbEを試している。やっぱ早いねぇ〜
samba4.2の正式リリースはいつになるのだろうか...
- 150217
CentOS7でDDRなInfiniBandを試した。以前とあまり変わらないのだが、今回は通信速度らを調べてみる予定。
あとRDMAを絡めてmpi、glusterfsも調べる予定。
- 150216
CentOS7のBinding/Teamingはnmtuiで設定できるけど、細かい調整は直接ファイルの編集が必要みたい。
NetworkManagerはいいのだが、以前のifcfg-bond0だけで調整の方がよくね?とも思う。
- 150215
CentOS6でBondingの試験がようやく完成。送受信とも2本なら2Gbpsの帯域になる事を確認。
1枚ファイルの送受信は1Gbpsのままだけど、計算環境によっては望ましいと再確認。次はCentOS7で試すか
- 150213
CentOS7でBondingやTeamingを試している。基本NetworkManager下で行っている。
従来のrc.init側のnetworkから離れるのだが、、少々面倒だな。っが、対応せねば...
- 150205
glusterFS。意外に楽に構築できる。っが実運用はどうなのかは知らないです。RedHat様が商品として
出荷しているのですからその意味があるものなのでしょう。
InfiniBandCard。iperfで動かすと.....ib_write_bwとかのコマンドだと公称の値が出る.....
やり方が良くないのだろう...
- 150130
ORACLE12cを試した。従来からのOEMがEnterpriseManagerExpress12cとなっていた。あれぇ。。テーブルやら
インデックスらの調整がここでは無理なのかな?なので同時にOracleSQLDeveloperを導入
バックアップの設定ってどこでするの?調べねば....
- 150127
samba4とbindを更新してみた。そろそろbaseをcentos7にすべきかな....まあー7.1が出てからかな....
MSSQLのCLRを試している。SQL言語に囚われずより複雑な演算がこなせる。WindowsSearch4をlinkサーバで
繋げられなったが、これを使えばできるそうな。是非とも書き残したい部分である。
- 150126
GlusterFSを引き続き試している。replica構成だとDRBDとほぼ同等なのだろうか。
構成マシンを増強してもシングルボリュームが提供できるのはすごい。オンラインで出来るのか試す予定
未開封のHW-RAIDカードがある。HW-RAIDカードにも寄るのだろうが、これらはオンラインで容量拡張できるのかな
- 150120
FreeNASのインストール方法が本家現行方法と違うみたい。書き直さねば。。。
GlusterFS 複数台のファイルサーバを連携させて1台のNFSサーバに見立てれる。これに階層化ファイルシステムを
載せてみたいものだ。頻度が高いファイルはSSD、低くなったらSATAに移動とか。
windows専用のvvaultならティアリングとして提供している。windows2012R2の記憶域と組み合わせてみたいものだ
- 150116
samba4に異常に高いメモリー消費なプロセスが存在した。複数のプロセスでsamba4は稼働しているのだが、1つだけ以上に高い。
/proc/<PID>/statusからVmHWM:1797648 kB(1.7gb)、VmRSS:1779712 kB、VmData: 1953208 kBである。
他のはVmHWMで50mbほど。このためか認証が遅くなることがある。原因を突き止めたいが、術を知らない。
4.2で回避されれば嬉しいのだが....
- 150113
glusterFSを取りかかっている。複数台による分散ファイルシステム。共有ディスクを使わない設計。
どんどん肥大するストレージにとってはいい選択肢なのかも。
- 150104
放置していたインテリジェント・L2スイッチでIEEE802.3adのLACPでbonding。
なんか普通のスイッチHUBで冗長・負荷分散はできてたんだ....いづれ掲載予定
- 150101
謹賀新年
旧年中はひとかたならぬご厚情を賜り、誠にありがとうございました。
本年も相変わらず、よろしくお願い致します。
皆様のご健康とご多幸をお祈り申し上げます。
- 141231
大晦日
前半はsamba4に没頭して、samba4を中心に研究室でのユーザ、データ管理を考えてみていた。
後半に入りストレージに注目しつつ、ジョブコントロール関係にも手を出した。
明日以降は、samba4.2とかが注目になるのかな。MacOSXとの連携がまだだからそれを見て見たいかな。
win2k12r2を研究室のメインに据えるのが一番確実で安心です。研究費が割けるのならぜひ充てましょう。
費用を浮かせたいなら、苦労と時間が必要です。ここがその手助けになればと切に思います。
- 141224
インフルエンザ罹患...
- 141221
MacOSXでCTFFIND4のgfortranによるコンパイルは諦めた。次のgccバージョンが出たら再度挑戦してみる。
slurmを行っている。まだまだ未完成。
- 141219
固定IPが欲しい..最近外から見れていない状態が多いみたい。
- 141216
CTFFIND4がコンパイルできない...Intel様のコンパイラーならできるよと書かれているのだが、、
客先において24portのGigaHubでIEEE 802.3ad対応、可能ならば10GB SFP+が2portほどが付いた製品が望ましいのだが、、
- 141212
MacOSXにgcc-4.9.2を入れてみた。まあgfortranを使いたいだけなのだが。単純にportとかで済ませれば楽なのかも。
そのコンパイルの際、make testがautogenがないのでできず、構築にはguileが必要で、さらにguileにはlibltdlが...
と際限ない。年内slurmとLustreだけは片づけたいものだ...
- 141209
TORQUEについて管理ノードの /var/lib/torque って計算ノード、ジョブ投入ノードで共有すべき場所なのかな?
あーぅん。そうなんだろうなぁ。。
routerについて再度書き直し。やっと小さくだけど理解できた。
- 141205
同僚・旧同僚と呑んだ。呑みすぎた.....
relionとTORQUE(PBS)。連携がうまくいかない...100%愚生の認識間違いのは分かった。こつこつ修正を始めている...
RDKitのfingerprintって駄目なん?「あれじゃなきゃダメ」ってまだあるん?満足って其々なんですなぁ...
「妥協」が安価に繋がり、「固執」が価格を上げる。製品によりその基準線が上にも下にもなるのだろうけど、
本来の目的が一番大事かと思うんだけどな。フリーなソフトで済む世界もあれば、商用品でないと済まない世界もある。
- 141201
今日から12月。って何にもないけど。今年中に片づけたい、知識を得たいものが沢山ある。
slurm、Lustre。x-ray構造解析の初歩、relionの初歩、samba4.2ADとwin8.1などなど。
AmberToolsはぜひ触ってみたい。QM/MMってできるのかな。FEPってできるの?とかとか
あーRDKitにとよる1000万件検索とかもしてみたい。まあー自己満足の世界だけど。
- 141130
TORQUEがようやく完了。tracejobコマンドを鑑みると/var/lib/torqueを共有すべきなのかな?とも思うが、まあいいや。
samba4ADとの連携を考慮する際、TORQUEを最新にして、その時に考慮してみたい。slurmだったらどうなのかも興味がある
- 141127
TORQUEのドキュメントの量に感謝
samba4のSSO、krb5-NFSで統合的にTORQUEを使うためには最新版のコンパイルが必要なのかな。。まあーまだ先でいいけど。
samba4ADへのMacOSX参加とかもしようかと。っが4.2リリースからでいいかな。。
- 141123
MacOSXへのrelionは完了。OpenMPI版は結局あきらめた。まあーpthreadによる同一マシン内複数core演算でっという事で。
pNFSは、、DSとクライアントをNFSで繋げる方式だとgfs2を使うらしい。っが、、なんかなぁ〜って思い一時凍結。
ならLustreでよくね?って思いが強い。まあー目的に寄るだろうが。っで、逃避っぽくTORQUEの導入。slurmもやるけど。
- 141117
MacOSXにrelionを載せるべく対処を試みたが、結果がでない...10.7.5なら問題ないのに、10.9はどう足掻いても駄目だった。
体調も芳しくなく少々休んで再チャレンジの予定。pNFSは結局CentOS6でも行けそうな感じ。記事はまだ書いてないけど。
- 141114
pNFSサーバを作ってるのだが、あんまり進まない。。Lustreにどうも興味が移る...
MacOSXにrelionを乗っける。うまくいく場合とそうでない場合がある。まあー結構手間っぽい
- 141108
久々にシリグラを触った。現役で使い続けている箇所にて、IPアドレスを変更。あれぇ?どうするんだっけ?と暫し沈黙。
っが、キーボードを眺めると思いだすもので/etc/sys_idと/etc/hosts、/etc/resolv.confに/etc/config/static-route.options。
サブネットマスクは/etc/config/ifconfig-1.optionsと指が覚えていた....
- 141106
GFS2は一応完了。だけど、、pNFSとかLustreの方がいいように見えてきた。既存環境の継続性を考えないと...
あとslurmをやってみている。SGEよりは分かりやすいかな。
- 141029
win2003が切れるからこれがチャンスだとばかりsamba4ADへと促すのを見ると....いいの?大丈夫か?と思う。
まあー行けなくはないけど、、費用面だけ見てOSSを入れても残業代が増えては意味がないような気がする
- 141028
GFS2を調理中。なかなか面白い。これでクラスターを作ってAmberによるMDを掛けてみようかと思案中。PBCで水分をたっぷり入れてね。
ORACLE11gが来年1月で通常保守が切れるみたい。そろそろ12cの勉強も始めるか...ASM前提だよなぁ
- 141026
iSCSIのターゲットをtgtとLIOで作ってみた。tgtはCentOS6、LIOはCentOS7で標準。LIOはなんかGUIが既に存在して
設定出来そうな気がする。探してないけど。
- 141023
iSCSIによるマルチパスI/O(MPIO)と複数接続セッション(MCS)を勉強中。計算機クラスタ組むならこっちの方がいいのかな?
pNFSとあわせて勉強中。10Gを導入すれば楽なのでしょうが、既存のままで改善できれば望ましいのかと。
- 141019
CentOS6にbtrfsでフォーマットしたFSをマウントすると固まる....なんかだめっぽい。
- 141015
QNAPはドメインコントローラーになれるみたい。
なんかこれで十分な気がしてきた。。。
- 141014
CentOS7でsamba4.1によるsambaNTドメインを作ってみた。まあー問題ないみたい。
ORACLE...手間取ってます。
- 141013
今更ながらsamba3.6でNTドメインを作ってみた。要件だったNISと絡めても機能的に十分かな。
次はsamba4.1.xでNTドメインって作れるのか調べてみたい。あと、4.2のsnapperに興味津々
- 141004
nisとsambaのパスワード同期。Userminを使っても同期できるそうな。
測定装置の関係でsambaNTドメインが必要になった。samba4でNTドメインって作れるんだっけ?
- 140928
nisとsambaのパスワード同期を掲載した。双方向でパスワードの同期が可能であった。まあー実行場所の限定があるけど。
samba4のADに移行せずとも目的がパスワードの二重管理の解消ならこれでもいいのかと。
windowsマシンのアカウント管理まで範疇ならsamaba4ADはありですけどね。
さてCentOS7のdedupでも調べるか。
- 140922
samba4への移行資料を見直している。基底のドメイン名が変更になり、それがhost名の取り扱い、kerberos認証にも
波及している感じがする。問題が発生した際、ログの書き出し方法など調査方法はあるが、やっぱり基本的な
知識がないと難しい。
- 140918
同封cootの起動不可はどうやらこちらの環境要因が原因で、他環境では稼働確認済み。残りはphenix。
Fink、MacPortsなしで動きそう。できればMacOSXのSamba4AD参加を作りたい。秋の夜長の仕事にはいいのかも。
それ以外にもFAERS、lxcやらCentOS7移行とか。vpnについても理解を深めたいものです。
- 140916
MacOSXにccp4iをインストール。成功。っが、同封のcootが動かない。10.7.5だから?
CentOSみたいなyumっぽいものがあって、それを使えば不足なライブラリが容易に手に入る感じがする。要調査事項
Phenixは、、インストール成功で、稼働しました。っが、どうやれば/Applicationsに入れられるか思案中。
- 140915
NIS/kerberos認証でNFSv4/krb5ができたけど、、autofsでNFSv4/krb5ができない。なのでsamba4ADでautofsな
NFSv4/krb5も同様にできないのかなと思う。静的NFSv4/krb5はできるのでsamba4ADでも静的NFSv4ならOKなのかも。
CentOS7で解消されている可能性はあるけどね。samba4ADでautofs/CentOS5はNFSv4/sysでldap認証で解決
依頼されたMacOSX/Phenix,ccp4,cootを準備せねば
- 140913
CentOS5ではautofs、sssdが古くてsamba4ADDCに置いたauto.homeデータを読めないみたい。
仕方なく他の方法を試している。
- 140908
relionのMacOSXコンパイル、chroot、samba4ADDCへのcentos5接続(sssd)確認を早々に片づけないと...
chrootは古くからあるjail手法。ただHDD利用制限、CPU利用制限が課せれない。なら仮想化で、ってならそれは重過ぎる。
centos7でlxcを試してみたい
- 140907
基本を押さえるべくNIS/NFSからkerberosを仕組んでいる。
あとchrootや、lxcもやらねば....
- 140904
samba4ADDCでNFSv3のautofsはOKなのだが、NFSv4のkrb5ができない...NFSv4のsysは問題ないのだが、、、
NFSv4のkrb5はKerberos?で鍛錬を積んでから再チャレンジかな。なのでkrb5はpending。ハードルが高かった...
- 140901
samba4ADDCにautofsな仕組みを入れてみた。複数台のNFSサーバある場合必要だから。結果はOK
現状NFSv3である。いずれkerberosなNFSv4に移行予定。ただbtrfsによるsnapshot、vssができない。。。
- 140827
aws ec2を勉強中
ハイパワーなマシンを手軽に借りられる。しかも計算時間分だけ。潤沢な計算リソースが必要な部屋には
選択肢の一つなのかも。目的は計算を行い結果を得る事。機材の選定、搬入、設置、運営、廃棄に手間が
不要なら研究者はもっと本来の仕事に注力できよう。さて、この時代においては何が価値を持つのかな。。ふと考える
- 140824
smbpasswdからsamba4ADDCへの移行はほぼ完了かな。samba-ldapからsamba4ADDCへの移行の方が
需要は多いかも知れないが、、、一応書く予定だけど。ldapとkerberos連携を済ませてからにしたいかな。
ここが分からない。あとnfs4でkerberosも..
年明けに購入したIEEE802.1X対応HUBでリンクアグリゲーションをテストしたいなあ。
- 140822
samba4への移行が愚だ愚だになってきた....途中絵を書かないと説明できない....
qnapのsamba4はADはまだのご様子。FMとsamba4ADで連携させ、簡単なドキュメント管理ができないものか..
- 140820
暑い....
qnapの中で仮想マシンが作れるとの事。だが、、特定のマシンのみ。そっすよねぇ。所有しているqnapは対象外。残念
qnapでsamba4が動くみたい。ADになれるかは未確認だけど。
- 140819
FileMakerのDeveloperSubscriptionを継続。FMとdhtmlxの連携を行っている。Excelで情報共有もいいけど、
FMで共有が楽かなって思う時がある。FMadvでファイル存在をチェックする関数を作りたい。それがあれば
FM外に配置した各種ファイルをwindowsSearchしてFMに取り込み結果を表示するなど文書管理に使えるのだが....
- 140818
nisとsambaのパスワード二重管理からの離脱を模索。samba4ADでsssdによるパスワード管理ができるから
統一できないかと思案。サポート外だけど、nisをldapにしてsamba4ADのbackendsにしてみるのがある。
まあーいろいろ試してみる。SW-raidのシステム領域ってありなのかな。HW-raidなら聞くけど、本質を調べてみたい
- 140810
ルータ作成だがwindows版は諦めた...うまく作れない....floppyfwとCentOSの2種類を作ってみた。
CentOSなのだが、双方向にしたい場合、どうしてIP MASQUERADEが必要なのか分からない。単に不勉強なのかも。
次はsamba2.xからの移行を検討中。smbpasswdのデータをsamba4のsam.ldbにどうやって持ってくるか思案中
- 140806
windowsで2枚NICなルータを作ってるのだが、うまく作れない....CentOS6とかCentOS5でも試している。
そもそもVMwareの中では無理なのかな?floppyfwと合わせて記載予定
- 140804
SGEのキュー作成が難しい。
今更なのだがwindowsXP。装置付属の制御PCがXPで、ソフトもXPが指定。隔離孤立ネットワークを作るのはいいのだが、
データの運び出しはネット経由が求められる。っとなるとルーターを介するのだが、外部インターネットには接続不可で
ルータ越しの特定のマシンにのみ一方向データ転送のみを許す。はてどうすべきか。floppyfwで十分なのかな。
- 140802
ようやくSGEが完成かな。細かい調整は残るものの大筋はこれでいいのかと思っている
SGEの構築途中でsamba4ADによるパスワードなし認証を試した。rshはもちろんsshも可能になった。
このsso関係ではwebへのログインが未完成。ADに所属部署情報の他に参加プロジェクト・テーマ情報を入れて引けるのかな?
- 140731
samba4ADに参加させたLinux同士でkerberosによるパスワードなしrshができたsamba4/SSO/rsh
あとはsamba4AD傘下のwindowsPCから PuTTY 経由で同傘下のLinuxマシンへパスワードなしログインsamba4/SSO
そして、さらにそこから、別にsamba4AD傘下のLinuxマシンへパスワードなしログインできるか....も
- 140729
作った記事はたまに読み返して直してますが、珠に「あれぇ?こんなの書いたっけ?」な物がある。
先日software-raidのMAIL設定の作業が必要になった。software-raidのMAILは1アドレスのみ記載可能で、複数なら
/etc/aliasesか.forwardの調整が必要。その前に認証smtpでどうやったらpostfixを通せるかと考えたが、
以前に同じ事をしていたみたい...備忘録なのに、記事の存在を忘れたのでは意味がないな...
- 140728
パスワードなしのログインを考える際、/etc/hosts.equivでrshなんて駄目なのだろうか?
今ならsshであって、ホストベース認証すべきなのかな?折角samba4傘下なのでkerberosでパスワードなしログインを思案中
- 140726
CentOS7のyumでsamba4ADDCを作ろうと思ったのだが、どうやらまだできないみたいsamba4/pkg。まあー気長に待ちます。
SGEがまだ完成していない。
- 140722
暑い.....だけどサーバ室には行きたくないなあー
CentOS7で本サイトを運営しようかと思うのだが、、pukiwikiが、、
- 140714
CentOS7を試している。従来の知識では扱えない、、、猛勉強せねば。。
- 140710
CentOS7がリリースされたんですね。早速入れてみたいと思う。samba4がコンパイルなしで使えるのなら、その方向で
書き換える予定です。コンパイルできれば可能性は広がりますが、しなくて十分なご時世です。定時に帰宅できるためにも
yumとかのパッケージで済ませた方が格段に楽。遠回りしても近道してもできることが同じなら近道を選びませんか。
まあー道草して遠回りもいいですけど、余計な体力を消耗しても構わない覚悟で。否定はしません。けど、優先順位も大切に
- 140708
勤め先でクラスターマシンが導入された。っでSGEが必要になった次第なのだが、まだ未完成。KNIMEとSGEを絡めて
運用したいものだ。結構変数がある場合、後工程からもKNIMEは導入したいのだが、、、
wordpress。中身はphpでいろいろ調整できそう。用途限定ならこれで実験ノートでいいのかもと思っている。
- 140629
mariadbはpendingへ。mysqlにしてwordpressを実装した。wordpressは結構いい感じ。pluginを入れていろいろテストを
行ってみる予定。spreadsheet機能もあるようでリストとか簡単に取り込めそう。
SGEがまだ未完成。wdCalendarの不具合を修正。samba4ADを更新。kerberosでssoでSGEを作りたいのだが、、
- 140626
mariadbに手古摺っている。my.cnfをmaria.cnfにどうしたら.....とかディレクトリの所有者をどうすればいいか思案中
- 140623
フリーなジョブ管理の導入を思案中。SunGridEngine名称改めOpenGridSchedulerやPlatform LSF由来のossなopenlava、
あとはSLURMかな。relionやphenix、ccp4iとの連携ならSGEが最もなのかな。
4コアマシンが安価で手に入る時代だけど、大規模に計算したい事案は減る事がない。安価ゆえPCを複数連ね大規模な
クラスターを作り、当然効率化を考えればジョブ統制は必要になる。
- 140619
SSOなwebサイトを思案中。kerberosなkeytabファイルが肝みたい。
安価で提供できる研究ノートって何があるのか。いや研究ノートとして何が必須なのか?と考える。
記録の版管理、チャートの読み込み、レイヤー的な描画、承認印、チーム分け、入力欄のテンプレートなどなど
CMSのWordPressに注目している。notebookとして使っている事例のほか、dhtmlxがwordpressのプラグインとして
使えるそうで安価に研究ノートの実現ならこれでもいいのかな?と思っている
- 140618
PuTTYによるSSOは成功した。っとなれば次はSSOでwebアプリなのだろうか。。
- 140616
TeraTermProと同じような機能を持つPuTTYがある。これを使えばパスワードなしでsamba4AD内のLinuxメンバサーバに
ログインできるかな?って思ってテスト中。windowsにログインしたから、あとのパスワード認証は不要だよねって
極めて合理的で大好きだ。まあーいわゆるsingle sign onなのだろうが、samba4ADでの利用を検討している。
- 140611
某機関でrelionを多コアで試すことになった。intel様のコンパイラーで調理するのだが経験がない。。
ただrunして終わる世界ではなく、ジョブの大きさとコア数を勘案して最適な条件を見つけるお仕事
面白いのだが、根気のいる作業です。かつてab initio,MO,MDの経験が蘇る...
- 140610
samba4ADDCは動きます。ですが、お金に余裕があるのならwindows serverとCALを揃えた方が宜しいかと。
予算的措置で選択肢としてあり得ますが、余計な人件費、残業代、時間を天秤に掛けてご選択してください。
- 140609
samba4ADDCの複数設置を思案中。samba-4.1.8のリリースに合わせBIND9_FLATFILEではなく、BIND9_DLZで作り直した。
まあーBIND9_FLATFILEだからなのか不明だが、複数設置の構築段階で問題が生じたのでBIND9_DLZに移ったのが本音。
まだ未完成でだけど、あと少しかな。これを済ませてssoらを完成させたい。
- 140602
ようやくwindows フェイルオーバー クラスターが出来た。もちろんsamba4AD込みで。
初めはsamba4ADの問題で、、次はwindows2008のマネージャの問題が、、っで最後にiSCSIの問題が、、、
結局samba4ADには追加のサービスプリンシパルの追加、windows2012R2で、共有ドライブはQNAPで乗り越えた。
そもそもはSQL serverのテストをしたいが故の事だったのだが、長かった。。。
次は基本な個所でsamba4ADの複数配置とかかな。SysVolの複製問題があるけど。
- 140529
windowsのCALって資料を読むとほぼ必須な感じ。anonymousでインターネットに公開するなら初めてCAL不要で
AD/win謹製ユーザ管理は元より、データベースに収めたユーザ/パスワードを利用した認証であってもCAL必須みたい。
http://www.microsoft.com/ja-jp/licensing/about-licensing/product-licensing-faq.aspx#tab=4
まあー優れた製品ですから当然なのでしょう。
- 140527
体調が芳しくない。参った。。。
- 140526
どうもサイトが不安定。本体はまったくもって問題ないのだが、、、ルーターを再起動したら外部からの
接続が可能になったみたい。まいった。
FreeNASのコンテンツを更新してみた。まだ未完成だけど。。wsfcのiSCSIテスト向けに。
- 140522
勤め先で来客対応したら鯖缶を頂いた。ありがたい。話の中でAmazon Web Servicesが出てきた。
こちらは生粋の自宅鯖なのだが、自宅LANのケーブルが傷んだのか通信できてないよとgoogle様から
御叱りを受けている。まあーケーブルを交換すれば事足りるのだが、ならAWSで、、、と要らぬ心を
持ってしまいそうだ。
samba4ADDC下でのmsfcはspnを調整すれば検証は進んだ。っが、最終的には作れなかった。なので2012R2で
試しているが、、今度はSCSI-3 Persistent Reservationで止まっている。nas4freeではなく、qnapでiSCSIをするべきかな。。。
- 140511
samba4ADDC下でwindowsサーバ2台のmsfcを試した。っがやっぱりうまくいかない。過去何度もチャレンジしているのだが
同じ場所で躓いてしまう。まあmsfcを求める状況ならADDCもwindowsサーバで揃えるのは当然なのだろうが、、
勤め先でubuntuを触った。すごい。面白い。Linuxクライアントとしていいかも。
- 140508
postgresでpgpool-IIを使うとより短時間にクエリーの結果が返ってくるそうな。mysqlではShard-Queryが該当するそうな。
なかなか面白い方式に驚いている。
- 140430
RDKitの更新完了。ただ新機能の紹介はしていない。ただ単に更新のみ。ChEMBLの化合物データを使って検索検証を行ってみた。
次はOpenBabelのCartridgeを更新しようかと思ったがOpenBabelは、、なんか1年以上version upがされていないみたい。。
MySQLではなくMariaDBでのCartridgeを作ろうかと画策。
- 140428
FAERSのMERGEは成功。パラレルクエリー対応なoss-RDBMSを探している。クライアントからリクエストに1core、
別のリクエストには別のcoreをと用意できるcore数だけ滞りなく対処できるようだが、1つのリクエストを
多数のcoreで分散処理はまだないみたい。商用なら当然あるようだ。
- 140423
FAERSの取り込みを行っている。前回よりは綺麗(?)になった感じがする。けど、DRUGNAME、LOT_NUMの長さはどこまで伸びるんだ?
windowsServerをADDCにして、samba4をDCとして加えるには2012R2だと無理なのかな。どうも成功しない。2008R2なら行ける。
勤め先で電顕のデータを取扱いし始めた。relionのtutorialがあるそうで、今後試してみたい。あーMAD/MRが先かな
- 140415
FAERSの2013Q1がリリースされていた。前回のupdateで大幅な仕様変更が行われ、その統合にはちょいと工夫が必要であった
全世界から集められるお薬の有害事象報告。いろいろ中身を読むだけでも面白い物である。
- 140414
windowsServer謹製のADにLinuxをメンバーサーバとして加える方法をまとめた。ただ、書いたのは「できる」って事だけで
現場で「使える」かは分からない。「できる」と「使える」には大きな差がある。まあーここでは「使える」まで
知りうる限り論述連ねるが、各自に応じる「使える」水準があるだろうから難しさはある
既存windowsADにsamba4ADを加えることを書き上げたら、次は差し替えを取り上げようかな
- 140406
samba4ADのホームディレクトリは完成。vssも記述した。結局kerberosを使うNFSマウントは見送り。名前解決に
問題があるのか?なのだが、chaperone.jpとcerius.localが同居していると解決に時間がかかりそうだったので。
これで一連のsamba4見直しは終了。次はwindowsServerとLinux。windowsServerADとsamba4ADの連携とかを予定
- 140404
samba4ADのホームディレクトリだが、kerberosでセキュアなNFSと思ったがドメインに参加していない
メンバーサーバを考慮するとしないほうがいいのかな?ドメイン外のホストをプリンシパルに入れられたっけ?
っと知識のなさが残念。。。 NFS。できればGFSとかも試したい。
- 140401
virt-installにq35を指定したらtablet云々で仮想マシンは作れなかった。 --machine=pcで事は足りているのだが、、なんか残念
samba4ADはホームディレクトリ関係。できればNFSにkerberosを使いた。vssがhomesで正しく動作しない....
- 140331
samba4AD関係を再編集中 ほぼ想定様式になった気がする。あとはストレージにsnapshotかな
所詮クライアントの中心はwindows。windowsにログインしたら、あとはシングルサインオンで全て繋がる様式にさせてみたい
VMwarePlayerが商業目的は無理なそうな。っで代わりなVirtualBox。現在様子見状態。
- 140328
勤め先からここへアクセスできなくなった、、、対策ソフトで撥ねられた模様
私の備忘録としての存在意味が、、、
- 140326
どうもsamba4をLDAPと見做してkerberos経由nslcdでのローカルログインがうまくいかない。
kerberos経由sssdがリモートサイトからの接続で成功した経験があるのでこの手法で試そうかと画策中。
win2k12r2STDの値段に改めて驚いた。高いなぁ〜。まあーそれだけの機能があるんだろうけど、用途次第では、、、、
- 140325
kernel-3.13.7がリリースされた。早速組み込んだのだが、貧弱なマシンなので再構築に150minも要した....
今使っているモジュールだけを構築する.config生成スクリプトはないのかな。まあー最新機なら10minも掛からない
再構築時間なのでしょうけど、、、、samba4/btrfs/dedup/vss/ldap/kerberosを当面の重点かな。
- 140323
あれ?日記っぽい?
samba4.1.6 with bind 9.9.5で再構築。samba4ADサーバ自身へのlinuxログインでkerberosを使った方式がうまくいかない。
このうまくいかない原因がsamba4ADを使ったwindows208r2 msfcの未達と繋がるのかな?とも思うのだが、、さて。
S-SADだけどインシュリンの配列が間違っている。。75残基ってなんだよw。。っがなぜか電子密度マップまで出してくれた。
ソフトウエアは入力が間違っても答えを出す。ユーザ側がログを正しく読めなければ元も子もない。。。
- 140320
samba4.1.6がリリースされている。今までのinternalDNSではなく以前行っていたBindとの連携で再構築の予定。
っで、この際Bindを9.9.xシリーズに揚げるかも。
X線解析だけどS-SADが荒削りで完成。次にMAD、MRも行いたい。
RDKitの最新版で100万件ほどでall against allな部分構造検索と類似検索を行いプロファイルを作成。っで同じ事をOpenBabelでもやってみたいもの。これでエンジンの癖とか見つかるかな?あとどっちが早いかも。
|