OpenPBS/server

ジョブ管理ノードににOpenPBS/rpmにて構築した「openpbs-server-23.06.06-0.x86_64.rpm」パッケージをインストールしてみる

[root@openpbs ~]# cat /etc/redhat-release
Rocky Linux release 9.7 (Blue Onyx)
 
[root@openpbs ~]# dnf localinstall ./rpmbuild/RPMS/x86_64/openpbs-server-23.06.06-0.x86_64.rpm
(同時にPostgresql-serverパッケージがインストールされます)

*「/etc/profile.d/pbs.{sh|csh}」が用意されるので、環境変数には要注意

そして途中に下記メッセージが表示される

 :
*** PBS Installation Summary
***
*** Postinstall script called as follows:
*** /opt/pbs/libexec/pbs_postinstall server 23.06.06 /opt/pbs /var/lib/pbs postgres
***
*** No configuration file found.
*** Creating new configuration file: /etc/pbs.conf
*** Replacing /etc/pbs.conf with /etc/pbs.conf.23.06.06
*** /etc/pbs.conf has been created.
***
*** Registering PBS as a service.
Synchronizing state of pbs.service with SysV service script with /usr/lib/systemd/systemd-sysv-install.
Executing: /usr/lib/systemd/systemd-sysv-install enable pbs
Created symlink /etc/systemd/system/multi-user.target.wants/pbs.service → /usr/lib/systemd/system/pbs.service.
***
*** PBS_HOME is /var/lib/pbs
*** Creating new file /var/lib/pbs/pbs_environment
*** WARNING: TZ not set in /var/lib/pbs/pbs_environment
***
*** The PBS server has been installed in /opt/pbs/sbin.
*** The PBS scheduler has been installed in /opt/pbs/sbin.
***
*** The PBS communication agent has been installed in /opt/pbs/sbin.
***
*** The PBS MOM has been installed in /opt/pbs/sbin.
***
*** The PBS commands have been installed in /opt/pbs/bin.
***
*** End of /opt/pbs/libexec/pbs_postinstall
 :

インストール後に各種確認・調整を加えます

/etc/pbs.conf

PBS_EXEC=/opt/pbs
PBS_SERVER=openpbs      <-- OpenPBS-serverを起動するサーバを指定します
PBS_START_SERVER=1
PBS_START_SCHED=1
PBS_START_COMM=1
PBS_START_MOM=0
PBS_HOME=/var/lib/pbs
PBS_CORE_LIMIT=unlimited
PBS_SCP=/bin/scp

/var/lib/pbs/pbs_environment

PATH=/bin:/usr/bin
TZ=Asia/Tokyo         <-- TZを定義

OpenPBSサーバ起動†

[root@openpbs ~]# systemctl start pbs

この際、同時にOpenPBS向けの「postgreSQL」サーバも起動します

[root@openpbs ~]# ps -ef |grep pbs
root       62872       1  0 23:52 ?        00:00:00 /opt/pbs/sbin/pbs_comm
root       62878       1  0 23:52 ?        00:00:00 /opt/pbs/sbin/pbs_sched
root       62958       1  0 23:52 ?        00:00:00 /opt/pbs/sbin/pbs_ds_monitor monitor
postgres   63019       1  0 23:52 ?        00:00:00 /usr/bin/postgres -D /var/lib/pbs/datastore -p 15007
postgres   63099   63019  0 23:52 ?        00:00:00 postgres: postgres pbs_datastore 192.168.0.70(32852) idle
root       63100       1  0 23:52 ?        00:00:00 /opt/pbs/sbin/pbs_server.bin
root       63106     809  0 23:52 pts/0    00:00:00 grep --color=auto pbs
 
[root@openpbs ~]# lsof -i -P
 :
pbs_comm  62872     root   13u  IPv4  89309      0t0  TCP *:17001 (LISTEN)
pbs_comm  62872     root   14u  IPv4  87916      0t0  TCP openpbs.sybyl.local:17001->openpbs.sybyl.local:358 (ESTABLISHED)
pbs_sched 62878     root    5u  IPv4  89472      0t0  TCP openpbs.sybyl.local:50256->openpbs.sybyl.local:15001 (ESTABLISHED)
pbs_sched 62878     root    6u  IPv4  89475      0t0  TCP openpbs.sybyl.local:50260->openpbs.sybyl.local:15001 (ESTABLISHED)
postgres  63019 postgres    8u  IPv4  89365      0t0  TCP *:15007 (LISTEN)
postgres  63019 postgres    9u  IPv6  89366      0t0  TCP *:15007 (LISTEN)
postgres  63019 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63031 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63032 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63033 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63034 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63035 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63036 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63099 postgres   12u  IPv6  89373      0t0  UDP localhost:36900->localhost:36900
postgres  63099 postgres   13u  IPv4  89454      0t0  TCP openpbs.sybyl.local:15007->openpbs.sybyl.local:32852 (ESTABLISHED)
pbs_serve 63100     root    5u  IPv4  90302      0t0  TCP openpbs.sybyl.local:32852->openpbs.sybyl.local:15007 (ESTABLISHED)
pbs_serve 63100     root    7u  IPv4  90305      0t0  TCP *:15001 (LISTEN)
pbs_serve 63100     root   13u  IPv4  87915      0t0  TCP openpbs.sybyl.local:358->openpbs.sybyl.local:17001 (ESTABLISHED)
pbs_serve 63100     root   16u  IPv4  87917      0t0  TCP openpbs.sybyl.local:15001->openpbs.sybyl.local:50256 (ESTABLISHED)
pbs_serve 63100     root   17u  IPv4  87922      0t0  TCP openpbs.sybyl.local:15001->openpbs.sybyl.local:50260 (ESTABLISHED)
 :
[root@openpbs ~]#

↑

firewall†

SELinuxもfirewallも止めたほうが楽なのだが、そいは行かない局面もあるので、SELinuxとfirewallを有効にしてます

[root@openpbs ~]# getenforce
Enforcing
 
[root@openpbs ~]# firewall-cmd --zone=public --permanent --add-port=15001-15004/tcp
[root@openpbs ~]# firewall-cmd --zone=public --permanent --add-port=17001/tcp
[root@openpbs ~]# firewall-cmd --zone=public --permanent --add-port=32768-61000/tcp      <--- インターラクティヴモード向け
[root@openpbs ~]# firewall-cmd --reload

とする
インターラクティヴモードはここからhttps://community.openpbs.org/t/interactive-job-errors-out-with-apparently-deleted/1112/14

↑

qmgr†

OpenPBSの設定状態をqmgrで確認します

[root@openpbs ~]# qmgr
Max open servers: 49
Qmgr: p s
#
# Create queues and set their attributes.
#
#
# Create and define queue workq
#
create queue workq
set queue workq queue_type = Execution
set queue workq enabled = True
set queue workq started = True
#
# Set server attributes.
#
set server scheduling = True
set server default_queue = workq
set server log_events = 511
set server mailer = /usr/sbin/sendmail
set server mail_from = adm
set server query_other_jobs = True
set server resources_default.ncpus = 1
set server default_chunk.ncpus = 1
set server scheduler_iteration = 600
set server resv_enable = True
set server node_fail_requeue = 310
set server max_array_size = 10000
set server resend_term_delay = 5
set server pbs_license_min = 0
set server pbs_license_max = 2147483647
set server pbs_license_linger_time = 31536000
set server eligible_time_enable = False
set server max_concurrent_provision = 5
set server clear_topjob_estimates_enable = False
set server max_job_sequence_id = 9999999
Qmgr:
Qmgr: quit
[root@openpbs ~]#

他人のジョブ状況を閲覧したい
qmgrにて下記を実行します
set server query_other_jobs = True
他人のジョブの進捗(ログ)もみたい倫理的には？だけど
qmgrにて
set server default_qsub_arguments= "-W umask=0022"
とする. これで計算ノードの/var/lib/pbs/spool/に置かれるファイルは 0644 になります. 既定だと 0600 です.
ジョブファイルで有効にするなら「#PBS -W umask=0022」とします
既に終わったジョブ情報がみたい
qmgrにて下記を実行します
```
set server job_history_enable = True
set server job_history_duration = 00:10:00
```
そして「qstat -x」とすれば10分前まで過去の終了したジョブ情報が見える。
詳しく見たければ「qstat -x -f <ジョブID>」を行う
requeue
計算ノードの停止とかで通信が途切れて、計算ノードが復帰したらの取り扱い
qmgrにて
set server node_fail_requeue = 0
０なら途切れればqeueuの条件にあう計算ノードに「requeue」しない。
０以上ならその間はその指定時間(秒)は待機するが、それ以降は「requeue」される。既定で310秒
rerun
そもそも「rerun」をさせない様にするには「#PBS -r n」をジョブスクリプトに記載すればいいのだが、
既定でそのような使用にするにはqmgrにて
set server default_qsub_arguments= "-r n"
とする
メール送信
qdelで殺された、自殺か、他殺かでメールとか、計算が終わったとかでもメールを送信することができる。
っが、全てのメールを停止するには「qsub -m n sample.sh」でqueueを発行するか、
qmgrにて
set server default_qsub_arguments= "-m n"
とする