SciTouch/PostgreSQL

PostgreSQLに乗せて見た†

windowsなら手軽で管理しやすいMSSQLかなと思うのだが、expressだと制約がある。しかもメモリ制限の1GBは辛い。
なので、そういった制限のないPostgreSQLでのBingoを作ってみた。

■調達
http://www.enterprisedb.com/products-services-training/pgdownload ここから 9.0.x か 9.1.x のpostgresqlを
取得。稼動OSに合わせてWin x86-32かWin x86-64のどちらかを選択してインストール。
postgresqlのインストールにおいて
プログラムの場所
と
データの格納場所
を決めて、postgresqlを動かすユーザ(postgres)のパスワードと使用するport番号(5432)や
locale(C)を
定めてインストール。この後、スタックビルダにてドライバーなど選択可能であるが、必要に応じて。
*postgresqlを稼動させるユーザは、ローカルのwindowsユーザとして新規に作成される。所属するグループはUsersである。
postgresql.confにあるshared_buffers値は64MBに変更して再稼動させたほうがいいみたい。

■インストール
*事前に「Microsoft Visual C++ 2010 再頒布可能パッケージ」をインストールするように。x86/x64は揃えて。
Bingoのpostgresql版を取得ここから http://ggasoftware.com/download 取得する。
ダウンロードしたものを展開して、その中にある bin\bingo_postgres.dll ファイルを postgresqlのライブラリ置き場所に
コピーします。大抵は C:\Program Files\PostgreSQL\9.1\lib かと。
その後、同じく展開したファイルの中にあった bingo-pg-install を使ってpostgresqlにBingoを認識させるSQL文を作成させます。
コマンドプロンプトを起動させ、
  move bingo-postgres9.1-1.7-beta3-win32 c:\bingo *展開フォルダを移動
  cd c:\bingo
  cp bin\bingo_postgres.dll "C:\Program Files\PostgreSQL\9.1\lib"
  bingo-pg-install -libdir "C:\Program Files\PostgreSQL\9.1\lib"
    Target directory : "C:/Program Files/PostgreSQL/9.1/lib"
    Schema name : bingo
    Proceed (y/N)? y *yと入力します
*必ずしもpostgresqlのlibフォルダにbingo_postgres.dllをコピーする必要はないが、
その際c:\bingoフォルダは常に参照される事になる。つまり今後、c:\bingoは消せない。移動できなくなる。

これでインストール用SQLが作成されます。このSQL文はBingoを使いたいデータベースごとに使用します。
このSQL文によってbingoの関数・コマンドが作られます
windows[スタート]->[PostgreSQL9.1]->[pgAdmin Ⅲ]を起動させ、新規データベース[ChEMBL_13]を作成します。
そしてコマンドプロンプトから
  cd c:\bingo
  psql -U postgres -d ChEMBL_13 -f bingo_install.sql *postgresのパスワードが聞かれます
削除のときは同じく
  psql -U postgres -d ChEMBL_13 -f bingo_uninstall.sql *postgresのパスワードが聞かれます

■テスト
一応テスト
  psql -U postgres -d ChEMBL_13
    ChEMBL_13=# select bingo.getversion();
     getversion
    ------------
     1.7-beta3
    (1 行)
    ChEMBL_13=#
と一応の結果は取れた。

↑

データ登録†

psql -U postgres -d ChEMBL_13
ChEMBL_13=# CREATE TABLE chem (
ChEMBL_13(# ID text primary key,
ChEMBL_13(# MOL text
ChEMBL_13(# );
とMSSQLと同様にchemテーブルを作成。sdfのインポートはMSSQLはプロシージャであるが、postgresは関数にて行う。
ChEMBL_13=# SELECT bingo.ImportSDF('chem','MOL','chembl_id ID','C:\bingo\src\chembl_13.sdf.gz');
IDをvarchar(30)にしてみたが、エラーが返ってきた。どうも text, bytea, integerしかサポートしないみたい。
\timingを使って処理時間を計測すると時間: 288436.015 msと出た５分かからない

psql -U postgres -d ChEMBL_13
ChEMBL_13=# create index idx_mol on chem using bingo_idx (mol bingo.molecule);
途中
NOTICE: processed 15000 structures
NOTICE: processed 16000 structures
とどこまで処理が進んでいるかを示してくれる。それとMOLが怪しいとその都度
molfile loader : direction of bond #7 makes no sense
stereocenters: all 3 bonds up near stereoatom
stereocenters: stereo type of the opposite bonds mismatch
とかを表示してくれる。(ChEMBL_13のインデックス作成には 8966337.580ms(2時間半ほど))
っが、どのIDなのか不明。ゆえに
ChEMBL_13=# select chem.ID, bingo.CheckMolecule(MOL) from chem where bingo.CheckMolecule(MOL) is not null
にて対象を取得する。するとご親切にもIDとその原因を列挙してくれる。

ここで速度テスト
ChEMBL_13=# select count(chem.ID) from chem where bingo.CheckMolecule(MOL) is not null
count
-------
6729
(1 行)
時間: 710614.787 ms
ChEMBL_13=#
次に仮想マシンで2core CPUに変更して同様の検索を行ったが、変わらず。どうも1coreしか使ってくれないみたい。
パーティショニングとかでchemテーブルを分割すれば早くなるのかな？

↑