TORQUE151107 をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
ジョブコントローラ。SGEと役目は同じなのだが、正直SGEは愚...
slurmと共にTORQUEも検討した次第。slurmよりもネットに転が...
こちらTORQUEを使ってみる。
***全体像 [#d9dfca80]
NIS/NFS構成で/home,/Applが共有され全マシンで同一のアカウ...
またsshで他マシンにパスワードなしでログインできるように[[...
&color(red){*};&size(10){sshなら[[samba42/SSO]]で調整した...
&color(red){*};&size(10){[[rsh]]ならもっと簡単に他マシン...
その上で下記のような構成でTORQUEを試してみる。
&ref(2015y05m03d_002600978.png,nolink,noborder);
IPとか役目は下記参照
|BGCOLOR(yellow):役目|BGCOLOR(yellow):ホスト名|BGCOLOR(ye...
|管理ノード|pbs.chaperone.jp|192.168.0.57|1|nis/AD参加は...
|計算ノード|n1.chaperone.jp|192.168.0.52|1|pbs_momが稼働&...
|~|n2.chaperone.jp|192.168.0.53|2|~|
|~|n3.chaperone.jp|192.168.0.54|3|~|
|ジョブ発行ノード|client.chaperone.jp|192.168.0.20|1|qsub...
&color(red){*};&size(10){各マシンはCentOS6で最小構成で構...
***TORQUEソフトウエア [#g67d8c6b]
epelのリポジトリから入手可能。昨年(2014)までは torque-2.5...
既存のシステムがあるので、2.5.xで進めます。
リモートシェルはデフォがssh/scpです。rsh/rcpを使うなら要...
まず、開発元からソースを取得します。
#code(nonumber){{
[root@pbs ~]# wget http://adaptive.wpengine.com/resources...
}}
中身を確認すると spec ファイル(torque.spec)があった。なの...
&color(red){*};&size(10){開発環境は既に導入済とします。&c...
#code(nonumber){{
[root@pbs ~]# rpmbuild -ta torque-2.5.13.tar.gz
[root@pbs ~]# cd rpmbuild/RPMS/x86_64/
[root@pbs x86_64]# ls -l
合計 2964
-rw-r--r-- 1 root root 621140 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 152516 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 1832336 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 112036 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 40376 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 265048 5月 3 11:57 2015 torque-...
[root@pbs x86_64]#
}}
&color(red){*};&size(10){rpmbuilderなるユーザを作ってrpm...
各役割ごとにインストールするパッケージは異なり、下記のよ...
|BGCOLOR(yellow):役目|BGCOLOR(yellow):rpm|
|管理ノード|torque-2.5.13-1.cri.x86_64.rpm &br; torque-se...
|計算ノード|torque-2.5.13-1.cri.x86_64.rpm &br; torque-cl...
|ジョブ発行ノード|torque-2.5.13-1.cri.x86_64.rpm |
***管理ノード [#k89e85bb]
&color(orangered){torque-2.5.13-1.cri.x86_64.rpm}; と &co...
#code(nonumber){{
[root@pbs ~]# yum localinstall ./rpmbuild/RPMS/x86_64/tor...
./rpmbuild/RPMS/x86_64/tor...
}}
&color(red){*};&size(10){epel版のtorqueは、&color(magenta...
インストールと同時に /etc/services に必要なポート情報が追...
#code(nonumber){{
# Standard PBS services
pbs 15001/tcp # pbs server (pbs_server)
pbs 15001/udp # pbs server (pbs_server)
pbs_mom 15002/tcp # mom to/from server
pbs_mom 15002/udp # mom to/from server
pbs_resmom 15003/tcp # mom resource manageme...
pbs_resmom 15003/udp # mom resource manageme...
pbs_sched 15004/tcp # scheduler
pbs_sched 15004/udp # scheduler
}}
しかしpbs_serverサービスの登録がされない...なので手動で登...
#code(nonumber){{
[root@pbs ~]# chkconfig --add pbs_server
[root@pbs ~]# chkconfig --list | grep pbs
pbs_server 0:off 1:off 2:off 3:on 4:on 5...
[root@pbs ~]#
}}
次に、管理ノードのサイトをserver_nameに定義して、pbs_serv...
#code(nonumber){{
[root@pbs ~]# hostname > /var/spool/torque/server_name
[root@pbs ~]# cat /var/spool/torque/server_name
pbs.chaperone.jp
[root@pbs ~]#
[root@pbs ~]# /etc/init.d/pbs_server create
Creating initial TORQUE configuration: PBS_Server: LOG_ER...
unable to stat checkpoint directory /var/spool/torque/che...
PBS_Server: LOG_ERROR::PBS_Server, pbsd_init failed
}}
っとエラーが発生する。[&color(red){Ctrl-C};]で抜ける。調...
なのでディレクトリを作って再度pbs_serverのデータベースを...
#code(nonumber){{
[root@pbs ~]# mkdir /var/spool/torque/checkpoint
[root@pbs ~]# /etc/init.d/pbs_server create
Creating initial TORQUE configuration:
}}
っが、このままでずっと停止したままになってしまいます。rc...
#code(nonumber){{
[root@pbs ~]# /etc/init.d/pbs_server stop
Shutting down TORQUE Server: ...
[root@pbs ~]#
[root@pbs ~]# ls -l /var/spool/torque/server_priv/serverdb
-rw------- 1 root root 423 5月 4 03:34 2015 /var/spool/...
[root@pbs ~]#
}}
こうして再度pbs_serverを起動すると正常にpbs_serverが動き...
#code(nonumber){{
[root@pbs ~]# /etc/init.d/pbs_server start
/var/spool/torque/server_priv/serverdb
Starting TORQUE Server: ...
[root@pbs ~]#
}}
pbs_serveの稼働後、実行環境の初期設定を確認します。
qmgr(torque-clientパッケージ同封)を使います。
#code(nonumber){{
[root@pbs ~]# qmgr -c 'p s'
#
# Set server attributes.
#
set server acl_hosts = pbs.chaperone.jp
set server log_events = 511
set server mail_from = adm
set server scheduler_iteration = 600
set server node_check_rate = 150
set server tcp_timeout = 6
set server next_job_number = 0
[root@pbs ~]#
}}
初期状態では、ジョブのキューらは作られてません。
***管理ノード・ジョブスケジューラー [#na5d064e]
TORQUE提供のジョブスケジューラ(&color(orange){torque-sche...
ちょっと複雑なキューを作るには別のスケジューラーが必要み...
[[http://www.adaptivecomputing.com/products/open-source/m...
ダウンロードに必要事項を入力して、ソースを取得します。
このmauiのコンパイルにtorqueの開発環境が必要なので
#code(nonumber){{
[root@pbs ~]# yum localinstall ./rpmbuild/RPMS/x86_64/tor...
}}
とした後で、構築を行う
#code(nonumber){{
[root@pbs ~]# gzip -cd maui-3.3.1.tar.gz | tar xf -
[root@pbs ~]# cd maui-3.3.1
[root@pbs maui-3.3.1]#
[root@pbs maui-3.3.1]# ./configure --with-pbs=/usr
[root@pbs maui-3.3.1]# make
[root@pbs maui-3.3.1]# make install
}}
実行環境用のスクリプトを /etc/profile.d に配置します。
#code(nonumber){{
[root@pbs maui-3.3.1]# cp etc/maui.sh etc/maui.csh /etc/p...
}}
rcファイルも用意して、自動起動するようにします。
#code(nonumber){{
[root@pbs maui-3.3.1]# cp etc/maui.d /etc/init.d
[root@pbs maui-3.3.1]# vi /etc/init.d/maui.d
- MAUI_PREFIX=/opt/maui
+ MAUI_PREFIX=/usr/local/maui
[root@pbs maui-3.3.1]# chkconfig --add maui.d
[root@pbs maui-3.3.1]# chkconfig maui.d on
[root@pbs maui-3.3.1]# chkconfig --list maui.d
maui.d 0:off 1:off 2:on 3:on 4:on 5...
[root@pbs maui-3.3.1]#
}}
maui.dを起動させます。
#code(nonumber){{
[root@pbs ~]# /etc/init.d/maui.d start
Starting MAUI Scheduler: ...
[root@pbs ~]#
}}
***計算ノード [#wc74c103]
CentOS6で最小構成で構築して、ntp、nis、nfsへの設定、参加...
計算ノード(n1, n2, n3)はジョブ発行ノードからのジョブを計...
#code(nonumber){{
[root@pbs ~]# scp rpmbuild/RPMS/x86_64/torque-2.5.13-1.cr...
[root@pbs ~]# scp rpmbuild/RPMS/x86_64/torque-client-2.5....
[root@n1 ~]# yum localinstall ./torque-client-2.5.13-1.cr...
}}
計算ノードに、管理ノード先を定義してpbs_momサービスを稼働...
#code(nonumber){{
[root@n1 ~]# vi /var/spool/torque/mom_priv/config
$pbsserver pbs
[root@n1 ~]# chkconfig --list pbs_mom
pbs_mom 0:off 1:off 2:on 3:on 4:on 5...
[root@n1 ~]#
[root@n1 ~]# reboot
}}
&color(red){*};&size(10){/var/spool/torque/server_nameは...
***ジョブ発行ノード [#z418ea4b]
計算ノードと同じようにntp、nis、nfsを設定して、epelからは...
#code(nonumber){{
[root@pbs ~]# scp rpmbuild/RPMS/x86_64/torque-2.5.13-1.cr...
[root@client ~]# yum localinstall ./torque-2.5.13-1.cri.x...
}}
ジョブ発行ノードに、管理ノード先を定義します。
#code(nonumber){{
[root@client ~]# vi /var/spool/torque/server_name
pbs
[root@client ~]#
}}
ここで通信テストを行ってみます。ここから qmgr コマンドを...
#code(nonumber){{
[root@client ~]# qmgr -c 'p s'
#
# Set server attributes.
#
set server acl_hosts = pbs.chaperone.jp
set server log_events = 511
set server mail_from = adm
set server scheduler_iteration = 600
set server node_check_rate = 150
set server tcp_timeout = 6
set server next_job_number = 0
[root@client ~]#
}}
&color(red){*};root以外のユーザでも同様の結果を表示します。
***キューの作成 [#idcfec56]
ここでは単純なキューを作成してみます。３台の計算ノードを...
っで全ノードを使うキュー「batch」とグループ２つのキュー「...
まずは、計算ノードを定義します。
#code(nonumber){{
[root@pbs ~]# vi /var/spool/torque/server_priv/nodes
n1 np=1 bio
n2 np=2 chem
n3 np=3 chem
[root@pbs ~]#
}}
そして、管理ノードのpbs_serverサービスを再起動して、各計...
#code(nonumber){{
[root@pbs ~]# /etc/init.d/pbs_server restart
Shutting down TORQUE Server: ...
/var/lib/torque/server_priv/serverdb
Starting TORQUE Server: ...
[root@pbs ~]#
[root@pbs ~]# pbsnodes
n1
state = free
np = 1
properties = bio
ntype = cluster
status = rectime=1430679323,varattr=,jobs=,state=fre...
gpus = 0
n2
state = free
np = 2
properties = chem
ntype = cluster
status = rectime=1430679323,varattr=,jobs=,state=fre...
gpus = 0
n3
state = free
np = 3
properties = chem
ntype = cluster
status = rectime=1430679326,varattr=,jobs=,state=fre...
gpus = 0
[root@pbs ~]#
}}
と各計算ノードから現状のstatusが送られてきた。
っで、ではキューを作成してみる。&color(red){*};&size(10){...
はじめにキー「batch」を作ります。全ノードを使用するキュー...
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue batch queue_type=exec...
}}
すると、&color(blueviolet){/var/spool/torque/server_priv/...
このままではキー「batch」は使用できず、設定をさらに加えま...
#code(nonumber){{
[root@pbs ~]# qmgr -c "set queue batch started=true" ...
[root@pbs ~]# qmgr -c "set queue batch enabled=true" ...
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set server default_queue = batch" ...
}}
キー「bio」「chem」は下記の様に作成します。
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue bio queue_type=execut...
[root@pbs ~]# qmgr -c "set queue bio resources_default.ne...
[root@pbs ~]# qmgr -c "set queue bio started=true"
[root@pbs ~]# qmgr -c "set queue bio enabled=true"
[root@pbs ~]# qmgr -c "set queue bio resources_default.no...
[root@pbs ~]# qmgr -c "create queue chem queue_type=execu...
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
[root@pbs ~]# qmgr -c "set queue chem started=true"
[root@pbs ~]# qmgr -c "set queue chem enabled=true"
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
}}
この段階で&color(blueviolet){/var/spool/torque/server_pri...
#code(nonumber){{
[root@pbs ~]# ls -l /var/spool/torque/server_priv/queues/
合計 12
-rw------- 1 root root 1162 5月 4 04:10 2015 batch
-rw------- 1 root root 1036 5月 4 04:10 2015 bio
-rw------- 1 root root 1037 5月 4 04:11 2015 chem
[root@pbs ~]#
}}
もしキー「batch」を削除したければ、コマンドラインから
#code(nonumber){{
[root@pbs ~]# qmgr -c "delete queue batch"
}}
とすれば削除されます。
***テスト [#afff7fa9]
ごくごく簡単なテストなら
#code(nonumber){{
[saber@client ~]$ echo "sleep 30" | qsub
22.pbs.chaperone.jp
[saber@client ~]$
}}
として、直後にpbsnodesで稼働対象を確認します
#code(nonumber){{
[saber@client ~]$ pbsnodes
n1
state = job-exclusive
np = 1
properties = bio
ntype = cluster
jobs = 0/22.pbs.chaperone.jp
status = rectime=1417352630,varattr=,jobs=,state=fre...
gpus = 0
n2
state = free
np = 2
properties = chem
ntype = cluster
status = rectime=1417352674,varattr=,jobs=,state=fre...
gpus = 0
n3
state = free
np = 3
properties = chem
ntype = cluster
status = rectime=1417352674,varattr=,jobs=,state=fre...
gpus = 0
[saber@client ~]$
}}
とn1にて稼働しているのが分かります。
あとはバッチジョブファイルを作成して、実行してみます
#code(nonumber){{
[saber@client ~]$ cat a.sh
#!/bin/sh
#PBS -l nodes=1:ppn=1
sleep 10
echo "ok"
[saber@client ~]$
[saber@client ~]$ qsub a.sh
23.pbs.chaperone.jp
[saber@client ~]$
}}
暫くすると結果が戻ってきて
#code(nonumber){{
[saber@client ~]$ ls -l
合計 8
-rw-r--r-- 1 saber fate 52 11月 30 14:44 2014 a.sh
-rw------- 1 saber fate 0 11月 30 22:07 2014 a.sh.e23
-rw------- 1 saber fate 3 11月 30 22:07 2014 a.sh.o23
[saber@client ~]$ cat a.sh.o23
ok
[saber@client ~]$
}}
となる。
終了行:
ジョブコントローラ。SGEと役目は同じなのだが、正直SGEは愚...
slurmと共にTORQUEも検討した次第。slurmよりもネットに転が...
こちらTORQUEを使ってみる。
***全体像 [#d9dfca80]
NIS/NFS構成で/home,/Applが共有され全マシンで同一のアカウ...
またsshで他マシンにパスワードなしでログインできるように[[...
&color(red){*};&size(10){sshなら[[samba42/SSO]]で調整した...
&color(red){*};&size(10){[[rsh]]ならもっと簡単に他マシン...
その上で下記のような構成でTORQUEを試してみる。
&ref(2015y05m03d_002600978.png,nolink,noborder);
IPとか役目は下記参照
|BGCOLOR(yellow):役目|BGCOLOR(yellow):ホスト名|BGCOLOR(ye...
|管理ノード|pbs.chaperone.jp|192.168.0.57|1|nis/AD参加は...
|計算ノード|n1.chaperone.jp|192.168.0.52|1|pbs_momが稼働&...
|~|n2.chaperone.jp|192.168.0.53|2|~|
|~|n3.chaperone.jp|192.168.0.54|3|~|
|ジョブ発行ノード|client.chaperone.jp|192.168.0.20|1|qsub...
&color(red){*};&size(10){各マシンはCentOS6で最小構成で構...
***TORQUEソフトウエア [#g67d8c6b]
epelのリポジトリから入手可能。昨年(2014)までは torque-2.5...
既存のシステムがあるので、2.5.xで進めます。
リモートシェルはデフォがssh/scpです。rsh/rcpを使うなら要...
まず、開発元からソースを取得します。
#code(nonumber){{
[root@pbs ~]# wget http://adaptive.wpengine.com/resources...
}}
中身を確認すると spec ファイル(torque.spec)があった。なの...
&color(red){*};&size(10){開発環境は既に導入済とします。&c...
#code(nonumber){{
[root@pbs ~]# rpmbuild -ta torque-2.5.13.tar.gz
[root@pbs ~]# cd rpmbuild/RPMS/x86_64/
[root@pbs x86_64]# ls -l
合計 2964
-rw-r--r-- 1 root root 621140 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 152516 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 1832336 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 112036 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 40376 5月 3 11:57 2015 torque-...
-rw-r--r-- 1 root root 265048 5月 3 11:57 2015 torque-...
[root@pbs x86_64]#
}}
&color(red){*};&size(10){rpmbuilderなるユーザを作ってrpm...
各役割ごとにインストールするパッケージは異なり、下記のよ...
|BGCOLOR(yellow):役目|BGCOLOR(yellow):rpm|
|管理ノード|torque-2.5.13-1.cri.x86_64.rpm &br; torque-se...
|計算ノード|torque-2.5.13-1.cri.x86_64.rpm &br; torque-cl...
|ジョブ発行ノード|torque-2.5.13-1.cri.x86_64.rpm |
***管理ノード [#k89e85bb]
&color(orangered){torque-2.5.13-1.cri.x86_64.rpm}; と &co...
#code(nonumber){{
[root@pbs ~]# yum localinstall ./rpmbuild/RPMS/x86_64/tor...
./rpmbuild/RPMS/x86_64/tor...
}}
&color(red){*};&size(10){epel版のtorqueは、&color(magenta...
インストールと同時に /etc/services に必要なポート情報が追...
#code(nonumber){{
# Standard PBS services
pbs 15001/tcp # pbs server (pbs_server)
pbs 15001/udp # pbs server (pbs_server)
pbs_mom 15002/tcp # mom to/from server
pbs_mom 15002/udp # mom to/from server
pbs_resmom 15003/tcp # mom resource manageme...
pbs_resmom 15003/udp # mom resource manageme...
pbs_sched 15004/tcp # scheduler
pbs_sched 15004/udp # scheduler
}}
しかしpbs_serverサービスの登録がされない...なので手動で登...
#code(nonumber){{
[root@pbs ~]# chkconfig --add pbs_server
[root@pbs ~]# chkconfig --list | grep pbs
pbs_server 0:off 1:off 2:off 3:on 4:on 5...
[root@pbs ~]#
}}
次に、管理ノードのサイトをserver_nameに定義して、pbs_serv...
#code(nonumber){{
[root@pbs ~]# hostname > /var/spool/torque/server_name
[root@pbs ~]# cat /var/spool/torque/server_name
pbs.chaperone.jp
[root@pbs ~]#
[root@pbs ~]# /etc/init.d/pbs_server create
Creating initial TORQUE configuration: PBS_Server: LOG_ER...
unable to stat checkpoint directory /var/spool/torque/che...
PBS_Server: LOG_ERROR::PBS_Server, pbsd_init failed
}}
っとエラーが発生する。[&color(red){Ctrl-C};]で抜ける。調...
なのでディレクトリを作って再度pbs_serverのデータベースを...
#code(nonumber){{
[root@pbs ~]# mkdir /var/spool/torque/checkpoint
[root@pbs ~]# /etc/init.d/pbs_server create
Creating initial TORQUE configuration:
}}
っが、このままでずっと停止したままになってしまいます。rc...
#code(nonumber){{
[root@pbs ~]# /etc/init.d/pbs_server stop
Shutting down TORQUE Server: ...
[root@pbs ~]#
[root@pbs ~]# ls -l /var/spool/torque/server_priv/serverdb
-rw------- 1 root root 423 5月 4 03:34 2015 /var/spool/...
[root@pbs ~]#
}}
こうして再度pbs_serverを起動すると正常にpbs_serverが動き...
#code(nonumber){{
[root@pbs ~]# /etc/init.d/pbs_server start
/var/spool/torque/server_priv/serverdb
Starting TORQUE Server: ...
[root@pbs ~]#
}}
pbs_serveの稼働後、実行環境の初期設定を確認します。
qmgr(torque-clientパッケージ同封)を使います。
#code(nonumber){{
[root@pbs ~]# qmgr -c 'p s'
#
# Set server attributes.
#
set server acl_hosts = pbs.chaperone.jp
set server log_events = 511
set server mail_from = adm
set server scheduler_iteration = 600
set server node_check_rate = 150
set server tcp_timeout = 6
set server next_job_number = 0
[root@pbs ~]#
}}
初期状態では、ジョブのキューらは作られてません。
***管理ノード・ジョブスケジューラー [#na5d064e]
TORQUE提供のジョブスケジューラ(&color(orange){torque-sche...
ちょっと複雑なキューを作るには別のスケジューラーが必要み...
[[http://www.adaptivecomputing.com/products/open-source/m...
ダウンロードに必要事項を入力して、ソースを取得します。
このmauiのコンパイルにtorqueの開発環境が必要なので
#code(nonumber){{
[root@pbs ~]# yum localinstall ./rpmbuild/RPMS/x86_64/tor...
}}
とした後で、構築を行う
#code(nonumber){{
[root@pbs ~]# gzip -cd maui-3.3.1.tar.gz | tar xf -
[root@pbs ~]# cd maui-3.3.1
[root@pbs maui-3.3.1]#
[root@pbs maui-3.3.1]# ./configure --with-pbs=/usr
[root@pbs maui-3.3.1]# make
[root@pbs maui-3.3.1]# make install
}}
実行環境用のスクリプトを /etc/profile.d に配置します。
#code(nonumber){{
[root@pbs maui-3.3.1]# cp etc/maui.sh etc/maui.csh /etc/p...
}}
rcファイルも用意して、自動起動するようにします。
#code(nonumber){{
[root@pbs maui-3.3.1]# cp etc/maui.d /etc/init.d
[root@pbs maui-3.3.1]# vi /etc/init.d/maui.d
- MAUI_PREFIX=/opt/maui
+ MAUI_PREFIX=/usr/local/maui
[root@pbs maui-3.3.1]# chkconfig --add maui.d
[root@pbs maui-3.3.1]# chkconfig maui.d on
[root@pbs maui-3.3.1]# chkconfig --list maui.d
maui.d 0:off 1:off 2:on 3:on 4:on 5...
[root@pbs maui-3.3.1]#
}}
maui.dを起動させます。
#code(nonumber){{
[root@pbs ~]# /etc/init.d/maui.d start
Starting MAUI Scheduler: ...
[root@pbs ~]#
}}
***計算ノード [#wc74c103]
CentOS6で最小構成で構築して、ntp、nis、nfsへの設定、参加...
計算ノード(n1, n2, n3)はジョブ発行ノードからのジョブを計...
#code(nonumber){{
[root@pbs ~]# scp rpmbuild/RPMS/x86_64/torque-2.5.13-1.cr...
[root@pbs ~]# scp rpmbuild/RPMS/x86_64/torque-client-2.5....
[root@n1 ~]# yum localinstall ./torque-client-2.5.13-1.cr...
}}
計算ノードに、管理ノード先を定義してpbs_momサービスを稼働...
#code(nonumber){{
[root@n1 ~]# vi /var/spool/torque/mom_priv/config
$pbsserver pbs
[root@n1 ~]# chkconfig --list pbs_mom
pbs_mom 0:off 1:off 2:on 3:on 4:on 5...
[root@n1 ~]#
[root@n1 ~]# reboot
}}
&color(red){*};&size(10){/var/spool/torque/server_nameは...
***ジョブ発行ノード [#z418ea4b]
計算ノードと同じようにntp、nis、nfsを設定して、epelからは...
#code(nonumber){{
[root@pbs ~]# scp rpmbuild/RPMS/x86_64/torque-2.5.13-1.cr...
[root@client ~]# yum localinstall ./torque-2.5.13-1.cri.x...
}}
ジョブ発行ノードに、管理ノード先を定義します。
#code(nonumber){{
[root@client ~]# vi /var/spool/torque/server_name
pbs
[root@client ~]#
}}
ここで通信テストを行ってみます。ここから qmgr コマンドを...
#code(nonumber){{
[root@client ~]# qmgr -c 'p s'
#
# Set server attributes.
#
set server acl_hosts = pbs.chaperone.jp
set server log_events = 511
set server mail_from = adm
set server scheduler_iteration = 600
set server node_check_rate = 150
set server tcp_timeout = 6
set server next_job_number = 0
[root@client ~]#
}}
&color(red){*};root以外のユーザでも同様の結果を表示します。
***キューの作成 [#idcfec56]
ここでは単純なキューを作成してみます。３台の計算ノードを...
っで全ノードを使うキュー「batch」とグループ２つのキュー「...
まずは、計算ノードを定義します。
#code(nonumber){{
[root@pbs ~]# vi /var/spool/torque/server_priv/nodes
n1 np=1 bio
n2 np=2 chem
n3 np=3 chem
[root@pbs ~]#
}}
そして、管理ノードのpbs_serverサービスを再起動して、各計...
#code(nonumber){{
[root@pbs ~]# /etc/init.d/pbs_server restart
Shutting down TORQUE Server: ...
/var/lib/torque/server_priv/serverdb
Starting TORQUE Server: ...
[root@pbs ~]#
[root@pbs ~]# pbsnodes
n1
state = free
np = 1
properties = bio
ntype = cluster
status = rectime=1430679323,varattr=,jobs=,state=fre...
gpus = 0
n2
state = free
np = 2
properties = chem
ntype = cluster
status = rectime=1430679323,varattr=,jobs=,state=fre...
gpus = 0
n3
state = free
np = 3
properties = chem
ntype = cluster
status = rectime=1430679326,varattr=,jobs=,state=fre...
gpus = 0
[root@pbs ~]#
}}
と各計算ノードから現状のstatusが送られてきた。
っで、ではキューを作成してみる。&color(red){*};&size(10){...
はじめにキー「batch」を作ります。全ノードを使用するキュー...
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue batch queue_type=exec...
}}
すると、&color(blueviolet){/var/spool/torque/server_priv/...
このままではキー「batch」は使用できず、設定をさらに加えま...
#code(nonumber){{
[root@pbs ~]# qmgr -c "set queue batch started=true" ...
[root@pbs ~]# qmgr -c "set queue batch enabled=true" ...
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set server default_queue = batch" ...
}}
キー「bio」「chem」は下記の様に作成します。
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue bio queue_type=execut...
[root@pbs ~]# qmgr -c "set queue bio resources_default.ne...
[root@pbs ~]# qmgr -c "set queue bio started=true"
[root@pbs ~]# qmgr -c "set queue bio enabled=true"
[root@pbs ~]# qmgr -c "set queue bio resources_default.no...
[root@pbs ~]# qmgr -c "create queue chem queue_type=execu...
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
[root@pbs ~]# qmgr -c "set queue chem started=true"
[root@pbs ~]# qmgr -c "set queue chem enabled=true"
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
}}
この段階で&color(blueviolet){/var/spool/torque/server_pri...
#code(nonumber){{
[root@pbs ~]# ls -l /var/spool/torque/server_priv/queues/
合計 12
-rw------- 1 root root 1162 5月 4 04:10 2015 batch
-rw------- 1 root root 1036 5月 4 04:10 2015 bio
-rw------- 1 root root 1037 5月 4 04:11 2015 chem
[root@pbs ~]#
}}
もしキー「batch」を削除したければ、コマンドラインから
#code(nonumber){{
[root@pbs ~]# qmgr -c "delete queue batch"
}}
とすれば削除されます。
***テスト [#afff7fa9]
ごくごく簡単なテストなら
#code(nonumber){{
[saber@client ~]$ echo "sleep 30" | qsub
22.pbs.chaperone.jp
[saber@client ~]$
}}
として、直後にpbsnodesで稼働対象を確認します
#code(nonumber){{
[saber@client ~]$ pbsnodes
n1
state = job-exclusive
np = 1
properties = bio
ntype = cluster
jobs = 0/22.pbs.chaperone.jp
status = rectime=1417352630,varattr=,jobs=,state=fre...
gpus = 0
n2
state = free
np = 2
properties = chem
ntype = cluster
status = rectime=1417352674,varattr=,jobs=,state=fre...
gpus = 0
n3
state = free
np = 3
properties = chem
ntype = cluster
status = rectime=1417352674,varattr=,jobs=,state=fre...
gpus = 0
[saber@client ~]$
}}
とn1にて稼働しているのが分かります。
あとはバッチジョブファイルを作成して、実行してみます
#code(nonumber){{
[saber@client ~]$ cat a.sh
#!/bin/sh
#PBS -l nodes=1:ppn=1
sleep 10
echo "ok"
[saber@client ~]$
[saber@client ~]$ qsub a.sh
23.pbs.chaperone.jp
[saber@client ~]$
}}
暫くすると結果が戻ってきて
#code(nonumber){{
[saber@client ~]$ ls -l
合計 8
-rw-r--r-- 1 saber fate 52 11月 30 14:44 2014 a.sh
-rw------- 1 saber fate 0 11月 30 22:07 2014 a.sh.e23
-rw------- 1 saber fate 3 11月 30 22:07 2014 a.sh.o23
[saber@client ~]$ cat a.sh.o23
ok
[saber@client ~]$
}}
となる。
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
