TORQUE/macOS をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
&color(crimson){macOS Sierra};からクラスターサーバにジョ...
[[https://en.wikipedia.org/wiki/Comparison_of_cluster_sof...
-[[slurm]]
ここに現行&color(crimson){macOS};は無理と書いている[[http...
-Platform LSF
有償品. 調べると「slaveのみ」とある。計算は投げれない？
-[[OpenGridScheduler]]
調べたらサポート対象だった. 以前macOSと関係なく実装を試み...
っで色々調べ、古いバージョンのTorqueなら &color(crimson){...
***2.4.17 [#n61c5390]
CentOS5とかのころには使っていたTorqueのバージョンである。...
ソースは[[http://www.adaptivecomputing.com/products/open-...
ここではqsubを流せればいいので「ジョブ発行」機能(client)...
その他の管理ノード、計算ノードらのTorqueのバージョンは&co...
#code(nonumber){{
mini:src supervisor$ export PATH=/usr/bin:/bin:/usr/sbin:...
mini:src supervisor$ gzip -cd torque-2.4.17.tar.gz | tar ...
mini:torque-2.4.17 supervisor$ ./configure --disable-serv...
--with-server-...
--disable-unix...
:
Building components: server=no mom=no clients=yes
gui=no drmaa=no pam=no
PBS Machine type: darwin
Remote copy: /usr/bin/scp -rpB
PBS home: /var/lib/torque
Default server: mini.local
Unix Domain sockets: no
Tcl: disabled
Tk: disabled
Ready for 'make'.
mini:torque-2.4.17 supervisor$
mini:torque-2.4.17 supervisor$ make && sudo make install
}}
コマンドqsubらは/usr/local/binに置かれた
次に設定を施す。まず管理ノードの場所をこのジョブ発行ノー...
定義対象のファイルは /var/lib/torque/server_name です
#code(nonumber){{
mini:~ supervisor$ sudo echo "pbs.sybyl.local" > /var/lib...
}}
これで pbsnode と打つと登録されている計算マシンが表示され...
そしてジョブを投入してみました
#code(nonumber){{
mini:torque illya$ qsub a.sh
qsub: Bad UID for job execution MSG=ruserok failed valida...
mini:torque illya$
}}
&color(red){*};&size(10){メッセージの「from 192.168.0.13...
とエラーが返される。
本来ならqmgrで「submit_hosts」を定義すればいいのだろうが...
これは管理ノードの&color(darkgreen){/etc/hosts.equiv};に...
#code(nonumber){{
[root@pbs ~]# vi /etc/hosts.equiv
mini.sybyl.local
[root@pbs ~]# chmod 600 /etc/hosts.equiv
}}
&size(10){この辺りはmungeが使える2.5.xの替えたほうが宜し...
これで&color(crimson){macOS Sierra};をジョブ発行ノードと...
#code(nonumber){{
mini:torque illya$ qsub a.sh
23.pbs.sybyl.local
mini:torque illya$
}}
管理ノード側のログには
#code(nonumber){{
[root@pbs ~]# tracejob 23
/var/lib/torque/mom_logs/20170826: No such file or direct...
/var/lib/torque/sched_logs/20170826: No such file or dire...
Job: 23.pbs.sybyl.local
08/26/2017 20:01:36 S enqueuing into bio, state 1 hop 1
08/26/2017 20:01:36 S Job Queued at request of illya@...
job name = a.sh, queue = bio
08/26/2017 20:01:36 A queue=bio
08/26/2017 20:01:37 S Job Run at request of root@pbs....
08/26/2017 20:01:37 S Not sending email: User does no...
08/26/2017 20:01:37 A user=illya group=fate jobname=a...
etime=1503745296 start=1503745297 owner=illya@mini.sybyl....
Resource_List.cput=480:00:01 Re...
Resource_List.nodes=1:ppn=1 Resource_List.walltime=240:00...
08/26/2017 20:02:07 S Not sending email: User does no...
08/26/2017 20:02:07 S Exit_status=0 resources_used.cp...
resources_used.vmem=0kb resources_used.walltime=00:00:30
08/26/2017 20:02:07 S dequeuing from bio, state COMPL...
08/26/2017 20:02:07 A user=illya group=fate jobname=a...
etime=1503745296 start=1503745297 owner=illya@mini.sybyl....
Resource_List.cput=480:00:01 Re...
Resource_List.nodes=1:ppn=1 Resource_List.walltime=240:00...
end=1503745327 Exit_status=0 re...
resources_used.vmem=0kb resources_used.walltime=00:00:30
[root@pbs ~]#
}}
とジョブを受け付けて処理を完了させてます
***Torque-2.5.13 on macOS [#b668ff6f]
前述は管理ノード、計算ノードらのTorqueのバージョンは&colo...
恐らく2.5.13でも全て同じ2.5.13にすれば動くのでしょうが、...
これを経由すれば管理、計算ノードはyumでインストール可能な...
4.xから pbs_iff から trqauthd に変更された。&color(red){*...
[[TORQUE/2.5.13]]
2.5.13の入手先は[[https://github.com/adaptivecomputing/to...
まずはmungeをインストール[[Apple/munge]]
その後に、2.5.13をインストール
#code(nonumber){{
mini:~ supervisor$ cd src/
mini:src supervisor$ unzip torque-2.5.13.zip # 中身の...
mini:src supervisor$ cd torque-2.5.13
mini:torque-2.5.13 supervisor$ ./configure --disable-serv...
--with-server-...
--enable-munge...
mini:torque-2.5.13 supervisor$ make && sudo make install
}}
コンパイルには成功したが、いざ接続しようとすると
「qstat: Supporting protocol failure」
といわれ終了
***Torque-4.2.10 on macOS [#geea4ac4]
結論、駄目でした。
macOSから直接queueを投げられるようにしてみたいと思った
すでに[[Apple/CommandLineTools]]はインストール済み。torqu...
#code(nonumber){{
mini:~ supervisor$ echo $PATH
/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin
mini:~ supervisor$ cd src/
mini:src supervisor$ gzip -cd torque-4.2.10.tar.gz | tar ...
mini:src supervisor$ cd torque-4.2.10
mini:torque-4.2.10 supervisor$ ./configure
:
:
checking for SSL_accept in -lssl... no
configure: error: TORQUE needs lib openssl-devel in order...
mini:torque-4.2.10 supervisor$
}}
とopenssl-develがないと言われエラーとなる。macOS Sierraで...
#code(nonumber){{
mini:~ supervisor$ openssl
OpenSSL> version
OpenSSL 0.9.8zh 14 Jan 2016
OpenSSL>
OpenSSL> quit
mini:~ supervisor$
}}
と 0.9.8zh を採用している。何が駄目だったのかを調べるため...
#code(nonumber){{
mini:torque-4.2.10 supervisor$ view config.log
:
configure:17698: g++ -o conftest -g -O2 conftest.c -lss...
clang: warning: treating 'c' input as 'c++' when in C++ m...
ld: library not found for -lrt
clang: error: linker command failed with exit code 1 (use...
:
mini:torque-4.2.10 supervisor$
}}
どうやらsslの問題ではなく、「-lrt」が問題だった見たい。こ...
macOS Sierraにこのファイルはない。
「configure」のこの「-lrt」部分を削除して進めることにした...
#code(diff,nonumber){{
mini:torque-4.2.10 supervisor$ diff -u configure.old conf...
--- configure.old 2015-03-20 12:25:05.000000000 +0900
+++ configure 2017-04-29 12:12:06.000000000 +0900
@@ -17649,7 +17649,7 @@
{ $as_echo "$as_me:$LINENO: result: $ac_cv_lib_pthread_p...
$as_echo "$ac_cv_lib_pthread_pthread_create" >&6; }
if test "x$ac_cv_lib_pthread_pthread_create" = x""yes; t...
- PTHREAD_LIBS="$PTHREAD_LIBS -lpthread -lrt"
+ PTHREAD_LIBS="$PTHREAD_LIBS -lpthread"
else
{ { $as_echo "$as_me:$LINENO: error: TORQUE needs pthr...
$as_echo "$as_me: error: TORQUE needs pthreads in order ...
mini:torque-4.2.10 supervisor$
}}
こうして再度configureを実施します
#code(nonumber){{
mini:torque-4.2.10 supervisor$ ./configure
:
Building components: server=yes mom=yes clients=yes
gui=no drmaa=no pam=no
PBS Machine type : darwin
Remote copy : /usr/bin/scp -rpB
PBS home : /var/spool/torque
Default server : mini.local
Unix Domain sockets :
Linux cpusets : no
Tcl : disabled
Tk : disabled
Authentication : classic (pbs_iff)
Ready for 'make'.
mini:torque-4.2.10 supervisor$
}}
一応、最後まで通った。これでmakeを行ってみる。っが途中で
#code(nonumber){{
In file included from ../../../src/include/pbs_job.h:101:
../../../src/include/hash_table.h:83:10: fatal error: 'en...
#include "endian.h" /* LITTLE_ENDIAN */
^
1 error generated.
}}
endian.hがないとしてエラーが発生した。
このファイル、Linuxでは「glibc-headers」に含まれるもので...
一応glibcのコンパイルを試みたが、、ハードルが高すぎで諦め...
***どのバージョンまでmacOSは使えるのか？ [#y7359305]
ただコンパイル情報として
「6.1.1.1」trq_auth.cでエラー
「5.1.3」trq_auth.cでエラー
「4.2.10」「4.0.2」attr_fn_hold.cでエラー
「3.0.6」ＯＫ
ついでに「PBSPro」はconfigure段階で落ちた
入手先
3.x系(3.0.6, 2012-07-13)はadaptivecomputingのサイトから
2.5.x系(2.5.13, 2013-08-01)はgit hubから「https://github....
2.4.x系(2.4.17, 2012-03-29)はadaptivecomputing
各種のCHANGELOGを読むと4.xらのバックポートが行われている...
終了行:
&color(crimson){macOS Sierra};からクラスターサーバにジョ...
[[https://en.wikipedia.org/wiki/Comparison_of_cluster_sof...
-[[slurm]]
ここに現行&color(crimson){macOS};は無理と書いている[[http...
-Platform LSF
有償品. 調べると「slaveのみ」とある。計算は投げれない？
-[[OpenGridScheduler]]
調べたらサポート対象だった. 以前macOSと関係なく実装を試み...
っで色々調べ、古いバージョンのTorqueなら &color(crimson){...
***2.4.17 [#n61c5390]
CentOS5とかのころには使っていたTorqueのバージョンである。...
ソースは[[http://www.adaptivecomputing.com/products/open-...
ここではqsubを流せればいいので「ジョブ発行」機能(client)...
その他の管理ノード、計算ノードらのTorqueのバージョンは&co...
#code(nonumber){{
mini:src supervisor$ export PATH=/usr/bin:/bin:/usr/sbin:...
mini:src supervisor$ gzip -cd torque-2.4.17.tar.gz | tar ...
mini:torque-2.4.17 supervisor$ ./configure --disable-serv...
--with-server-...
--disable-unix...
:
Building components: server=no mom=no clients=yes
gui=no drmaa=no pam=no
PBS Machine type: darwin
Remote copy: /usr/bin/scp -rpB
PBS home: /var/lib/torque
Default server: mini.local
Unix Domain sockets: no
Tcl: disabled
Tk: disabled
Ready for 'make'.
mini:torque-2.4.17 supervisor$
mini:torque-2.4.17 supervisor$ make && sudo make install
}}
コマンドqsubらは/usr/local/binに置かれた
次に設定を施す。まず管理ノードの場所をこのジョブ発行ノー...
定義対象のファイルは /var/lib/torque/server_name です
#code(nonumber){{
mini:~ supervisor$ sudo echo "pbs.sybyl.local" > /var/lib...
}}
これで pbsnode と打つと登録されている計算マシンが表示され...
そしてジョブを投入してみました
#code(nonumber){{
mini:torque illya$ qsub a.sh
qsub: Bad UID for job execution MSG=ruserok failed valida...
mini:torque illya$
}}
&color(red){*};&size(10){メッセージの「from 192.168.0.13...
とエラーが返される。
本来ならqmgrで「submit_hosts」を定義すればいいのだろうが...
これは管理ノードの&color(darkgreen){/etc/hosts.equiv};に...
#code(nonumber){{
[root@pbs ~]# vi /etc/hosts.equiv
mini.sybyl.local
[root@pbs ~]# chmod 600 /etc/hosts.equiv
}}
&size(10){この辺りはmungeが使える2.5.xの替えたほうが宜し...
これで&color(crimson){macOS Sierra};をジョブ発行ノードと...
#code(nonumber){{
mini:torque illya$ qsub a.sh
23.pbs.sybyl.local
mini:torque illya$
}}
管理ノード側のログには
#code(nonumber){{
[root@pbs ~]# tracejob 23
/var/lib/torque/mom_logs/20170826: No such file or direct...
/var/lib/torque/sched_logs/20170826: No such file or dire...
Job: 23.pbs.sybyl.local
08/26/2017 20:01:36 S enqueuing into bio, state 1 hop 1
08/26/2017 20:01:36 S Job Queued at request of illya@...
job name = a.sh, queue = bio
08/26/2017 20:01:36 A queue=bio
08/26/2017 20:01:37 S Job Run at request of root@pbs....
08/26/2017 20:01:37 S Not sending email: User does no...
08/26/2017 20:01:37 A user=illya group=fate jobname=a...
etime=1503745296 start=1503745297 owner=illya@mini.sybyl....
Resource_List.cput=480:00:01 Re...
Resource_List.nodes=1:ppn=1 Resource_List.walltime=240:00...
08/26/2017 20:02:07 S Not sending email: User does no...
08/26/2017 20:02:07 S Exit_status=0 resources_used.cp...
resources_used.vmem=0kb resources_used.walltime=00:00:30
08/26/2017 20:02:07 S dequeuing from bio, state COMPL...
08/26/2017 20:02:07 A user=illya group=fate jobname=a...
etime=1503745296 start=1503745297 owner=illya@mini.sybyl....
Resource_List.cput=480:00:01 Re...
Resource_List.nodes=1:ppn=1 Resource_List.walltime=240:00...
end=1503745327 Exit_status=0 re...
resources_used.vmem=0kb resources_used.walltime=00:00:30
[root@pbs ~]#
}}
とジョブを受け付けて処理を完了させてます
***Torque-2.5.13 on macOS [#b668ff6f]
前述は管理ノード、計算ノードらのTorqueのバージョンは&colo...
恐らく2.5.13でも全て同じ2.5.13にすれば動くのでしょうが、...
これを経由すれば管理、計算ノードはyumでインストール可能な...
4.xから pbs_iff から trqauthd に変更された。&color(red){*...
[[TORQUE/2.5.13]]
2.5.13の入手先は[[https://github.com/adaptivecomputing/to...
まずはmungeをインストール[[Apple/munge]]
その後に、2.5.13をインストール
#code(nonumber){{
mini:~ supervisor$ cd src/
mini:src supervisor$ unzip torque-2.5.13.zip # 中身の...
mini:src supervisor$ cd torque-2.5.13
mini:torque-2.5.13 supervisor$ ./configure --disable-serv...
--with-server-...
--enable-munge...
mini:torque-2.5.13 supervisor$ make && sudo make install
}}
コンパイルには成功したが、いざ接続しようとすると
「qstat: Supporting protocol failure」
といわれ終了
***Torque-4.2.10 on macOS [#geea4ac4]
結論、駄目でした。
macOSから直接queueを投げられるようにしてみたいと思った
すでに[[Apple/CommandLineTools]]はインストール済み。torqu...
#code(nonumber){{
mini:~ supervisor$ echo $PATH
/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin
mini:~ supervisor$ cd src/
mini:src supervisor$ gzip -cd torque-4.2.10.tar.gz | tar ...
mini:src supervisor$ cd torque-4.2.10
mini:torque-4.2.10 supervisor$ ./configure
:
:
checking for SSL_accept in -lssl... no
configure: error: TORQUE needs lib openssl-devel in order...
mini:torque-4.2.10 supervisor$
}}
とopenssl-develがないと言われエラーとなる。macOS Sierraで...
#code(nonumber){{
mini:~ supervisor$ openssl
OpenSSL> version
OpenSSL 0.9.8zh 14 Jan 2016
OpenSSL>
OpenSSL> quit
mini:~ supervisor$
}}
と 0.9.8zh を採用している。何が駄目だったのかを調べるため...
#code(nonumber){{
mini:torque-4.2.10 supervisor$ view config.log
:
configure:17698: g++ -o conftest -g -O2 conftest.c -lss...
clang: warning: treating 'c' input as 'c++' when in C++ m...
ld: library not found for -lrt
clang: error: linker command failed with exit code 1 (use...
:
mini:torque-4.2.10 supervisor$
}}
どうやらsslの問題ではなく、「-lrt」が問題だった見たい。こ...
macOS Sierraにこのファイルはない。
「configure」のこの「-lrt」部分を削除して進めることにした...
#code(diff,nonumber){{
mini:torque-4.2.10 supervisor$ diff -u configure.old conf...
--- configure.old 2015-03-20 12:25:05.000000000 +0900
+++ configure 2017-04-29 12:12:06.000000000 +0900
@@ -17649,7 +17649,7 @@
{ $as_echo "$as_me:$LINENO: result: $ac_cv_lib_pthread_p...
$as_echo "$ac_cv_lib_pthread_pthread_create" >&6; }
if test "x$ac_cv_lib_pthread_pthread_create" = x""yes; t...
- PTHREAD_LIBS="$PTHREAD_LIBS -lpthread -lrt"
+ PTHREAD_LIBS="$PTHREAD_LIBS -lpthread"
else
{ { $as_echo "$as_me:$LINENO: error: TORQUE needs pthr...
$as_echo "$as_me: error: TORQUE needs pthreads in order ...
mini:torque-4.2.10 supervisor$
}}
こうして再度configureを実施します
#code(nonumber){{
mini:torque-4.2.10 supervisor$ ./configure
:
Building components: server=yes mom=yes clients=yes
gui=no drmaa=no pam=no
PBS Machine type : darwin
Remote copy : /usr/bin/scp -rpB
PBS home : /var/spool/torque
Default server : mini.local
Unix Domain sockets :
Linux cpusets : no
Tcl : disabled
Tk : disabled
Authentication : classic (pbs_iff)
Ready for 'make'.
mini:torque-4.2.10 supervisor$
}}
一応、最後まで通った。これでmakeを行ってみる。っが途中で
#code(nonumber){{
In file included from ../../../src/include/pbs_job.h:101:
../../../src/include/hash_table.h:83:10: fatal error: 'en...
#include "endian.h" /* LITTLE_ENDIAN */
^
1 error generated.
}}
endian.hがないとしてエラーが発生した。
このファイル、Linuxでは「glibc-headers」に含まれるもので...
一応glibcのコンパイルを試みたが、、ハードルが高すぎで諦め...
***どのバージョンまでmacOSは使えるのか？ [#y7359305]
ただコンパイル情報として
「6.1.1.1」trq_auth.cでエラー
「5.1.3」trq_auth.cでエラー
「4.2.10」「4.0.2」attr_fn_hold.cでエラー
「3.0.6」ＯＫ
ついでに「PBSPro」はconfigure段階で落ちた
入手先
3.x系(3.0.6, 2012-07-13)はadaptivecomputingのサイトから
2.5.x系(2.5.13, 2013-08-01)はgit hubから「https://github....
2.4.x系(2.4.17, 2012-03-29)はadaptivecomputing
各種のCHANGELOGを読むと4.xらのバックポートが行われている...
ページ名:
1
![[PukiWiki]](image/picc.png "[PukiWiki]")
