ジョブの実行
パッチジョブ
ジョブ投入方法
PBS Professional用の実行スクリプトを作成し,qsubコマンドで次のようにジョブを投入します.
$ qsub -q キュー名 実行スクリプト名
例えば,研究用キューgSrchqにジョブを投入する場合は次のようにします.
$ qsub -q gSrchq 実行スクリプト名
並列数の指定は,実行スクリプト中で次のように行います.
#PBS -l select=使用ノード数:mpiprocs=1ノードあたりの並列数
例:1ノードを利用し,ノード内の並列数を16とした場合
#PBS -l select=1:mpiprocs=16
例:4ノードを利用し,各ノード内の並列数を16とした場合
#PBS -l select=4:mpiprocs=16
利用するメモリ容量を指定して実行したい場合は,実行スクリプト中で次のように記述します.
#PBS -l select=使用ノード数:mem=ノードあたりのメモリ容量:mpiprocs=1ノードあたりの並列数:
例:1ノードを利用し,ノード内の並列数を16,ジョブあたりのメモリ容量を16GBとした場合
#PBS -l select=1:mem=16gb:mpiprocs=16
利用する演算ノードを指定して実行したい場合は,次のように記述します.
#PBS -l select=1:vnode=ホストA:mpiprocs=ホストAでの並列数+1:vnode=ホストB:mpiprocs=ホストBでの並列数,・・・
例:演算ノードxsnd10,xsnd11を利用し,各ノード内の並列数を16とした場合
#PBS -l select=1:vnode=xsnd10:mpiprocs=16+vnode=xsnd11:mpiprocs=16
* 演算ノードのホスト名はzsnd00~xsnd13です(システム構成-ハードウェア構成 参照).
* xsnd00~xsnd13はTesla V100を各2枚搭載しています.
GPGPUを指定して実行したい場合は,次のように記述します.ngpusにはノードあたりのGPU数(0~2)を指定します。 (GPGPUはgSrchq, gLrchq, gEduqで使用可能です)
#PBS -l select=1:ngpus=<GPU数>
ジョブ実行時間を指定して実行したい場合は,次のように記述します.
#PBS -l walltime=hh:mm:ss
例:ジョブ実行時間を336時間とする場合
#PBS -l walltime=336:00:00
qsubコマンドの主なオプションを以下に示します.
オプション |
使用例 |
意味 |
-e |
-e filename |
標準エラー出力の内容を指定されたファイル名に出力する.-eオプションが指定されていない場合は,qsubコマンドが実行されたディレクトリ上に作成される.その際のファイル名は“ジョブ名.eジョブ番号”になる. |
-o |
-o filename |
標準出力の内容を指定されたファイル名に出力する.-oオプションが指定されていない場合は,qsubコマンドが実行されたディレクトリ上に作成される.その際のファイル名は“ジョブ名.oジョブ番号”になる. |
-j |
-j join |
標準出力,標準エラー出力を1個のファイルにマージするかしないかの動作を指定する. |
-q |
-q destination |
ジョブを投入するキューを指定する. |
-l |
-l resource_list |
ジョブの実行に必要なリソース資源を指定する. |
-N |
-N name |
ジョブ名を指定する(文字数は15文字まで).デフォルトはスクリプトでジョブが投入された場合は,スクリプトのファイル名となる.そうでない場合は,“STDIN”になる. |
-m |
-m mail_events |
ジョブの状態をメールで通知する指定を行う. |
-M |
-M user_list |
メールを送信するメールアドレスを指定する. |
-v |
-v DOCKER_IMAGE=<image> |
指定したDockerイメージ上でジョブを実行. |
-v SINGULARITY_IMAGE=<image> |
指定したSingularityイメージ上でジョブを実行. |
|
-I |
-I |
インタラクティブ(対話型)ジョブを実行します. |
サンプルスクリプト:Intel MPI - Intelコンパイラを使用する場合
### sample #!/bin/sh #PBS -q gSrchq #PBS -l select=1:ncpus=4:host=xsnd01 #PBS -v DOCKER_IMAGE=prg-env:2019.08 source /etc/profile cd $PBS_O_WORKDIR mpirun -np 4 ./a.out
* ジョブの投入先(gSrchq)はスクリプト内でも指定できます.
サンプルスクリプト:OpenMPI - Intelコンパイラを使用する場合
### sample #!/bin/sh #PBS -q gSrchq #PBS -l select=1:ncpus=4:host=xsnd01 #PBS -v DOCKER_IMAGE=prg-env:2019.08 source /etc/profile module unload intelmpi.intel module load openmpi.intel cd $PBS_O_WORKDIR mpirun -np 4 ./a.out
* ジョブの投入先(gSrchq)はスクリプト内でも指定できます.
サンプルスクリプト:GPGPUプログラムを利用する場合
### sample #!/bin/sh #PBS -q gSrchq #PBS -l select=1:ncpus=1:ngpus=2:host=xsnd01 #PBS -v DOCKER_IMAGE=prg-env:2019.08 cat $PBS_NODEFILE ./cuda-sample-program
ANSYS Multiphysicsジョブ
シングルジョブ
以下に,実行スクリプト例を示します.
### sample #!/bin/sh #PBS -l nodes=1:ppn=1 #PBS -q wSrchq module load ansys14.5 cd $PBS_O_WORKDIR ansys145 -b nolist -p AA_T_A -i vm1.dat -o vm1.out -j vm1
*vm1.datは/common/ansys14.5/ansys_inc/v145/ansys/data/verifにあります.
並列ジョブ
以下に,実行スクリプト例を示します.
例:Shared Memory ANSYSを用いる場合
### sample #!/bin/sh #PBS -l nodes=1:ppn=4 #PBS -q wSrchq module load ansys14.5 cd $PBS_O_WORKDIR ansys145 -b nolist -p AA_T_A -i vm141.dat -o vm141.out -j vm141 -np 4
例:Distributed ANSYSを用いる場合
### sample #!/bin/sh #PBS -l nodes=2:ppn=2 #PBS -q wSrchq module load ansys14.5 cd $PBS_O_WORKDIR ansys145 -b nolist -p AA_T_A -i vm141.dat -o vm141.out -j vm141 -np 4 -dis
*vm141.datは/common/ansys14.5/ansys_inc/v145/ansys/data/verifにあります.
ANSYS HFSSジョブ
ANSYS HFSS利用マニュアルに利用方法の詳細が説明されています。 そちらをご参照下さい。
ANSYS CFXジョブ
シングルジョブ
以下に,実行スクリプト例を示します.
### sample #!/bin/sh #PBS -l nodes=1:ppn=1 #PBS -q wSrchq module load ansys14.5 cd $PBS_O_WORKDIR cfx5solve -def StaticMixer.def
*StaticMixer.defは/common/ansys14.5/ansys_inc/v145/CFX/examplesにあります.
並列ジョブ
以下に,実行スクリプト例を示します.
### sample #!/bin/sh #PBS -l nodes=1:ppn=4 #PBS -q wSrchq module load ansys14.5 cd $PBS_O_WORKDIR cfx5solve -def StaticMixer.def -part 4 -start-method 'Intel MPI Local Parallel'
*StaticMixer.defは/common/ansys14.5/ansys_inc/v145/CFX/examplesにあります.
ABAQUSジョブ
シングルジョブ
以下に,実行スクリプト例を示します.
### sample #!/bin/sh #PBS -l nodes=1:ppn=1 #PBS -q wSrchq module load abaqus-6.12-3 cd $PBS_O_WORKDIR abaqus job=1_mass_coarse
*1_mass_coarse.inpは/common/abaqus-6.12-3/6.12-3/samples/job_archive/samples.zipにあります.
COMSOL Multiphysicsジョブ
<=★ 実行方法を確認後、記載する
GAUSSIANジョブ
サンプル入力ファイル(methane.com)
%NoSave %Mem=512MB %NProcShared=4 %chk=methane.chk #MP2/6-31G opt methane 0 1 C -0.01350511 0.30137653 0.27071342 H 0.34314932 -0.70743347 0.27071342 H 0.34316773 0.80577472 1.14436492 H 0.34316773 0.80577472 -0.60293809 H -1.08350511 0.30138971 0.27071342
シングルジョブ
以下に,実行スクリプト例を示します.
### sample #!/bin/sh #PBS -l nodes=1:ppn=1 #PBS -q wSrchq module load gaussian09-C.01 cd $PBS_O_WORKDIR g09 methane.com
並列ジョブ
以下に,実行スクリプト例を示します.
### sample #!/bin/sh #PBS -l nodes=1:ppn=4,mem=3gb,pvmem=3gb #PBS -q wSrchq cd $PBS_O_WORKDIR module load gaussian09-C.01 g09 methane.com
インタラクティブジョブ
ジョブ投入方法
<=★ qsubコマンドでのジョブ投入方法やqsubコマンドの主なオプションを記載する
GaussView
以下のコマンドを実行します.
$ gview
画面が起動します.
Patran
以下のコマンドを実行します.
$ patran
画面が起動します.
コンテナイメージの指定
利用リソースの指定