TORQUE/queue をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
[[TORQUE]]のキューを作成します。
一般的なqueueの作成において、クラスターのリソース全体に対...
「リソースは少なめだけど、長時間計算が可能」とかでqueueが...
&size(10){Toqeueの「torque-scheduler」はこのタイプ};
&ref(2017y09m06d_015304513.png,nolink,noborder);
上の図では、queue[quick]が前者、[long]が後者に該当する。
だが、例えばgpuノードを追加した場合、別のサブクラスターと...
あるいは、年度を跨いで新規に購入したより高性能なクラスタ...
マシンが限定されるのが望ましい。
&size(10){ここでは一つの管理ノードで管理する場合を述べて...
&ref(2017y09m06d_022604921.png,nolink,noborder);
&size(10){Toqeueの「torque-scheduler」ではqueue名でマシン...
&color(red){*};&size(10){「torque-scheduler」を使ってもqs...
ここではmauiスケジューラの下で単純なキューを作成してみま...
３台の計算ノード全部を使うキュー「batch」と３台の内、n1の...
&color(orangered){nodes};ファイルは下記のように変更します。
#code(nonumber){{
[root@pbs ~]# vi /var/lib/torque/server_priv/nodes
n1.sybyl.local np=1 bio
n2.sybyl.local np=2 chem
n3.sybyl.local np=3 chem
[root@pbs ~]#
}}
この変更を反映させるために、管理ノードのpbs_serverサービ...
#code(nonumber){{
[root@pbs ~]# systemctl restart pbs_server
[root@pbs ~]# pbsnodes
n1.sybyl.local
state = free
np = 1
properties = bio
ntype = cluster
status = rectime=1458433722,varattr=,jobs=,state=fre...
mom_service_port = 15002
mom_manager_port = 15003
n2.sybyl.local
state = free
np = 2
properties = chem
ntype = cluster
status = rectime=1458433741,varattr=,jobs=,state=fre...
mom_service_port = 15002
mom_manager_port = 15003
n3.sybyl.local
state = free
np = 3
properties = chem
ntype = cluster
status = rectime=1458433736,varattr=,jobs=,state=fre...
mom_service_port = 15002
mom_manager_port = 15003
[root@pbs ~]#
}}
すると「&color(magenta){properties};」欄が追加される。
次に、キューを作成する。はじめにキー「batch」を作ります。...
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue batch queue_type=exec...
}}
すると、&color(blueviolet){/var/lib/torque/server_priv/qu...
このままではキー「batch」は使用できず、設定をさらに加えま...
#code(nonumber){{
[root@pbs ~]# qmgr -c "set queue batch started=true" ...
[root@pbs ~]# qmgr -c "set queue batch enabled=true" ...
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set server default_queue = batch" ...
}}
&color(red){*};「resources_default.&color(crimson){cput};...
キー「bio」「chem」は下記の様に作成します。
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue bio queue_type=execut...
[root@pbs ~]# qmgr -c "set queue bio resources_default.ne...
[root@pbs ~]# qmgr -c "set queue bio started=true"
[root@pbs ~]# qmgr -c "set queue bio enabled=true"
[root@pbs ~]# qmgr -c "set queue bio resources_default.no...
[root@pbs ~]# qmgr -c "create queue chem queue_type=execu...
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
[root@pbs ~]# qmgr -c "set queue chem started=true"
[root@pbs ~]# qmgr -c "set queue chem enabled=true"
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
}}
この段階で&color(blueviolet){/var/lib/torque/server_priv/...
#code(nonumber){{
[root@pbs ~]# ls -l /var/lib/torque/server_priv/queues/
合計 12
-rw------- 1 root root 495 3月 20 09:38 batch
-rw------- 1 root root 469 3月 20 09:40 bio
-rw------- 1 root root 471 3月 20 09:40 chem
[root@pbs ~]#
}}
もしキー「batch」を削除したければ、コマンドラインから
#code(nonumber){{
[root@pbs ~]# qmgr -c "delete queue batch"
}}
とすれば削除されます。
***ジョブ発行ノードの登録 [#i47e4fde]
ジョブ発行ノード client からジョブを発行するので、そのホ...
管理ノードは既定でジョブの発行ができます。
#code(nonumber){{
[root@pbs ~]# qmgr -c 'set server submit_hosts = client'
}}
もし複数登録するなら
#code(nonumber){{
[root@pbs ~]# qmgr -c 'set server submit_hosts += n1'
[root@pbs ~]# qmgr -c 'set server submit_hosts += n2'
}}
とします。
削除は
#code(nonumber){{
[root@pbs ~]# qmgr -c 'set server submit_hosts -= n1'
[root@pbs ~]# qmgr -c 'set server submit_hosts -= n2'
}}
にて行います。確認は &color(orangered){qmgr -c 'p s'}; に...
***ユーザ登録 [#a92b7130]
キューの作成は完了したが、このままでは誰もジョブを投入で...
投入できるユーザを登録します。
#code(nonumber){{
[root@pbs ~]# qmgr -c "set server authorized_users = illy...
[root@pbs ~]# qmgr -c "set server authorized_users += sab...
}}
特定のキューに利用制限を課すなら
#code(nonumber){{
[root@pbs ~]# qmgr -c "set queue bio acl_user_enable=true"
[root@pbs ~]# qmgr -c "set queue bio acl_users=saber@*"
}}
とする。指定ユーザ以外がそのキューに投げようとすると、
#code(nonumber){{
[illya@client ~]$ echo "sleep 30" | qsub -q bio
qsub: submit error (Unauthorized Request MSG=user ACL re...
[illya@client ~]$
}}
拒否される。
だれでもジョブ実行を許すのなら
#code(nonumber){{
[root@pbs ~]# qmgr -c "set server authorized_users = *@cl...
}}
とする
&color(red){*};&size(10){「set server authorized_users = ...
終了行:
[[TORQUE]]のキューを作成します。
一般的なqueueの作成において、クラスターのリソース全体に対...
「リソースは少なめだけど、長時間計算が可能」とかでqueueが...
&size(10){Toqeueの「torque-scheduler」はこのタイプ};
&ref(2017y09m06d_015304513.png,nolink,noborder);
上の図では、queue[quick]が前者、[long]が後者に該当する。
だが、例えばgpuノードを追加した場合、別のサブクラスターと...
あるいは、年度を跨いで新規に購入したより高性能なクラスタ...
マシンが限定されるのが望ましい。
&size(10){ここでは一つの管理ノードで管理する場合を述べて...
&ref(2017y09m06d_022604921.png,nolink,noborder);
&size(10){Toqeueの「torque-scheduler」ではqueue名でマシン...
&color(red){*};&size(10){「torque-scheduler」を使ってもqs...
ここではmauiスケジューラの下で単純なキューを作成してみま...
３台の計算ノード全部を使うキュー「batch」と３台の内、n1の...
&color(orangered){nodes};ファイルは下記のように変更します。
#code(nonumber){{
[root@pbs ~]# vi /var/lib/torque/server_priv/nodes
n1.sybyl.local np=1 bio
n2.sybyl.local np=2 chem
n3.sybyl.local np=3 chem
[root@pbs ~]#
}}
この変更を反映させるために、管理ノードのpbs_serverサービ...
#code(nonumber){{
[root@pbs ~]# systemctl restart pbs_server
[root@pbs ~]# pbsnodes
n1.sybyl.local
state = free
np = 1
properties = bio
ntype = cluster
status = rectime=1458433722,varattr=,jobs=,state=fre...
mom_service_port = 15002
mom_manager_port = 15003
n2.sybyl.local
state = free
np = 2
properties = chem
ntype = cluster
status = rectime=1458433741,varattr=,jobs=,state=fre...
mom_service_port = 15002
mom_manager_port = 15003
n3.sybyl.local
state = free
np = 3
properties = chem
ntype = cluster
status = rectime=1458433736,varattr=,jobs=,state=fre...
mom_service_port = 15002
mom_manager_port = 15003
[root@pbs ~]#
}}
すると「&color(magenta){properties};」欄が追加される。
次に、キューを作成する。はじめにキー「batch」を作ります。...
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue batch queue_type=exec...
}}
すると、&color(blueviolet){/var/lib/torque/server_priv/qu...
このままではキー「batch」は使用できず、設定をさらに加えま...
#code(nonumber){{
[root@pbs ~]# qmgr -c "set queue batch started=true" ...
[root@pbs ~]# qmgr -c "set queue batch enabled=true" ...
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set queue batch resources_default....
[root@pbs ~]# qmgr -c "set server default_queue = batch" ...
}}
&color(red){*};「resources_default.&color(crimson){cput};...
キー「bio」「chem」は下記の様に作成します。
#code(nonumber){{
[root@pbs ~]# qmgr -c "create queue bio queue_type=execut...
[root@pbs ~]# qmgr -c "set queue bio resources_default.ne...
[root@pbs ~]# qmgr -c "set queue bio started=true"
[root@pbs ~]# qmgr -c "set queue bio enabled=true"
[root@pbs ~]# qmgr -c "set queue bio resources_default.no...
[root@pbs ~]# qmgr -c "create queue chem queue_type=execu...
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
[root@pbs ~]# qmgr -c "set queue chem started=true"
[root@pbs ~]# qmgr -c "set queue chem enabled=true"
[root@pbs ~]# qmgr -c "set queue chem resources_default.n...
}}
この段階で&color(blueviolet){/var/lib/torque/server_priv/...
#code(nonumber){{
[root@pbs ~]# ls -l /var/lib/torque/server_priv/queues/
合計 12
-rw------- 1 root root 495 3月 20 09:38 batch
-rw------- 1 root root 469 3月 20 09:40 bio
-rw------- 1 root root 471 3月 20 09:40 chem
[root@pbs ~]#
}}
もしキー「batch」を削除したければ、コマンドラインから
#code(nonumber){{
[root@pbs ~]# qmgr -c "delete queue batch"
}}
とすれば削除されます。
***ジョブ発行ノードの登録 [#i47e4fde]
ジョブ発行ノード client からジョブを発行するので、そのホ...
管理ノードは既定でジョブの発行ができます。
#code(nonumber){{
[root@pbs ~]# qmgr -c 'set server submit_hosts = client'
}}
もし複数登録するなら
#code(nonumber){{
[root@pbs ~]# qmgr -c 'set server submit_hosts += n1'
[root@pbs ~]# qmgr -c 'set server submit_hosts += n2'
}}
とします。
削除は
#code(nonumber){{
[root@pbs ~]# qmgr -c 'set server submit_hosts -= n1'
[root@pbs ~]# qmgr -c 'set server submit_hosts -= n2'
}}
にて行います。確認は &color(orangered){qmgr -c 'p s'}; に...
***ユーザ登録 [#a92b7130]
キューの作成は完了したが、このままでは誰もジョブを投入で...
投入できるユーザを登録します。
#code(nonumber){{
[root@pbs ~]# qmgr -c "set server authorized_users = illy...
[root@pbs ~]# qmgr -c "set server authorized_users += sab...
}}
特定のキューに利用制限を課すなら
#code(nonumber){{
[root@pbs ~]# qmgr -c "set queue bio acl_user_enable=true"
[root@pbs ~]# qmgr -c "set queue bio acl_users=saber@*"
}}
とする。指定ユーザ以外がそのキューに投げようとすると、
#code(nonumber){{
[illya@client ~]$ echo "sleep 30" | qsub -q bio
qsub: submit error (Unauthorized Request MSG=user ACL re...
[illya@client ~]$
}}
拒否される。
だれでもジョブ実行を許すのなら
#code(nonumber){{
[root@pbs ~]# qmgr -c "set server authorized_users = *@cl...
}}
とする
&color(red){*};&size(10){「set server authorized_users = ...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
