編集不可のページ History 添付ファイル

 

ページ名: "HowToSubmitJob"の差分
2と40のリビジョン間の差分 (その間の編集: 38回)
⇤ ← 2019-08-21 08:19:10時点のリビジョン2 →
サイズ: 4752
編集者: hitachi28
コメント:
← 2024-01-23 04:05:35時点のリビジョン40 → ⇥
サイズ: 13967
編集者: yi041
コメント:
削除された箇所はこのように表示されます。 追加された箇所はこのように表示されます。
行 2: 行 2:

== パッチジョブ ==		 <<TableOfContents(3)>>

== ジョブ環境 ==
本システムでサポートするジョブ利用形態は，コンテナ上でのジョブ利用だけとなります．このため，利用者はジョブ投入時のコマンドオプションまたはジョブスクリプトの指示文で起動コンテナを指定する必要があります．コンテナ上では，コンパイル，シリアルプログラムや並列プログラム(SMP，MPI)の実行，研究用アプリケーションの実行が可能です．<<BR>> また，ジョブの実行方法は2つあります．PBS Professionalを使って実行されるバッチジョブと，直接実行するインタラクティブジョブです．対話的に処理を実行する場合やGUIアプリケーションを起動する場合は，インタラクティブジョブを投入してください．

== バッチジョブ ==
行 5: 行 9:
★qsubコマンドでのジョブ投入方法やqsubコマンドの主なオプションを記載する

==== サンプルスクリプト：Intel MPI - Intelコンパイラを使用する場合 ====

{{{

### sample
#!/bin/sh
#PBS -q rchq
#PBS -l nodes=1:ppn=16
MPI_PROCS=`wc -l $PBS_NODEFILE | awk '{print $1}'`		 PBS Professional用の実行スクリプトを作成し，qsubコマンドで次のようにジョブを投入します．

{{{
$ qsub -q キュー名 実行スクリプト名
}}}
例えば，研究用キューwSrchqにジョブを投入する場合は次のようにします．

{{{
$ qsub -q wSrchq 実行スクリプト名
}}}

=== qsubコマンドのオプション ===
主なオプションを以下に示します．

||オプション ||使用例 ||意味 ||
||-e ||-e filename ||標準エラー出力の内容を指定されたファイル名に出力する．-eオプションが指定されていない場合は，qsubコマンドが実行されたディレクトリ上に作成される．その際のファイル名は“ジョブ名.eジョブ番号”になる． ||
||-o ||-o filename ||標準出力の内容を指定されたファイル名に出力する．-oオプションが指定されていない場合は，qsubコマンドが実行されたディレクトリ上に作成される．その際のファイル名は“ジョブ名.oジョブ番号”になる． ||
||-j ||-j join ||標準出力，標準エラー出力を1個のファイルにマージするかしないかの動作を指定する．<<BR>>-j oe:標準出力に標準エラー出力をマージする<<BR>>-j eo:標準エラー出力に標準出力をマージする<<BR>>-j n: 標準出力と標準エラー出力をマージしない（デフォルト） ||
||-q ||-q destination ||ジョブを投入するキューを指定する． ||
||-l ||-l resource_list ||ジョブの実行に必要なリソース資源を指定する． ||
||-N ||-N name ||ジョブ名を指定する（文字数は15文字まで）．デフォルトはスクリプトでジョブが投入された場合は，スクリプトのファイル名となる．そうでない場合は，“STDIN”になる． ||
||-m ||-m mail_events ||ジョブの状態をメールで通知する指定を行う．<<BR>>-m n:メールを送信しない<<BR>>-m a:異常終了時<<BR>>-m b:処理開始時<<BR>>-m e:処理終了時 ||
||-M ||-M user_list ||メールを送信するメールアドレスを指定する． ||
||<style="&quot;text-align:center&quot;" |2>-v ||-v DOCKER_IMAGE=<image> ||指定したDockerイメージ上でジョブを実行. ||
||-v SINGULARITY_IMAGE=<image> ||指定したSingularityイメージ上でジョブを実行. ||
||-I ||-I ||インタラクティブ(対話型)ジョブを実行します. ||

=== 実行スクリプトにおけるオプションの指定 ===
qsubコマンドのオプションは実行スクリプトの2行目以降で指定することもできます．例えば，スレッド並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．ncpusの数値に合わせて環境変数 OMP_NUM_THREADS が自動的に設定されます．

{{{
#PBS -l select=使用ノード数:ncpus=4
}}}
例：1ノードを利用し，ノード内の並列数を4とした場合

{{{
#PBS -l select=1:ncpus=4
}}}
MPIによるプロセス並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．

{{{
#PBS -l select=使用ノード数:ncpus=1ノードあたりの占有CPU数:mpiprocs=1ノードあたりのMPIプロセス数
}}}
例：1ノードを利用し，ノード内のプロセス数を4とした場合

{{{
#PBS -l select=1:ncpus=4:mpiprocs=4
}}}
例：2ノードを利用し，ノード内の並列数を2とした場合

{{{
#PBS -l select=2:ncpus=2:mpiprocs=2
}}}
利用するメモリ容量を指定して実行したい場合は，実行スクリプト中で次のように記述します．

{{{
#PBS -l select=使用ノード数:mem=ノードあたりのメモリ容量:ncpus=1ノードあたりの並列数
}}}
例：1ノードを利用し，ノード内のスレッド並列数を14，ジョブあたりのメモリ容量を96GBとした場合

{{{
#PBS -l select=1:mem=96gb:ncpus=14
}}}
利用する演算ノードを指定して実行したい場合は，次のように記述します．

{{{
#PBS -l select=1:vnode=ホストA:ncpus=ホストAでの並列数:vnode=ホストB:ncpus=ホストBでの並列数，・・・
}}}
例：演算ノードxsnd10，xsnd11を利用し，各ノード内の並列数を28とした場合

{{{
#PBS -l select=1:vnode=xsnd10:ncpus=28+vnode=xsnd11:ncpus=28
}}}
* 演算ノードのホスト名はxsnd00～xsnd14です（システム構成-ハードウェア構成　参照）．

* xsnd00～xsnd14はTesla V100を各2枚搭載しています．

GPGPUを指定して実行したい場合は，次のように記述します．ngpusにはノードあたりのGPU数(0～2)を指定します．GPGPUはgSrchq, gLrchq, gEduqで使用可能です．

{{{
#PBS -l select=1:ngpus=<GPU数>
}}}
ジョブ実行時間を指定して実行したい場合は，次のように記述します．

{{{
#PBS -l walltime=hh:mm:ss
}}}
例：ジョブ実行時間を336時間とする場合

{{{
#PBS -l walltime=336:00:00
}}}

=== サンプルスクリプト：GPGPUプログラムを利用する場合 ===
{{{
#!/bin/bash
#PBS -q gEduq
#PBS -l select=1:ncpus=1:ngpus=1
#PBS -v DOCKER_IMAGE=prg-env:latest

source /etc/profile
source /common/intel-2022/setvars.sh &> /dev/null
行 18: 行 114:
mpirun -np $MPI_PROCS ./a.out

}}}
* ジョブの投入先（eduq, rchq）はスクリプト内でも指定できます．

==== サンプルスクリプト：OpenMPI - Intelコンパイラを使用する場合 ====

{{{

### sample
#!/bin/sh
#PBS -q rchq
#PBS -l nodes=1:ppn=16
MPI_PROCS=`wc -l $PBS_NODEFILE | awk '{print $1}'`

module unload intelmpi.intel
module load openmpi.intel

cd $PBS_O_WORKDIR

mpirun -np $MPI_PROCS ./a.out

}}}

* ジョブの投入先（eduq, rchq）はスクリプト内でも指定できます．

==== サンプルスクリプト：GPGPUプログラムを利用する場合 ====

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:GPU:ppn=1
#PBS -q eduq

cd $PBS_O_WORKDIR

module load cuda-5.0

./a.out

}}}

=== ANSYS Multiphysicsジョブ ===
==== シングルジョブ ====
以下に，実行スクリプト例を示します．

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=1
#PBS -q eduq

module load ansys14.5

cd $PBS_O_WORKDIR

ansys145 -b nolist -p AA_T_A -i vm1.dat -o vm1.out -j vm1

}}}

*vm1.datは/common/ansys14.5/ansys_inc/v145/ansys/data/verifにあります．

==== 並列ジョブ ====
以下に，実行スクリプト例を示します．

例：Shared Memory ANSYSを用いる場合

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=4
#PBS -q eduq

module load ansys14.5

cd $PBS_O_WORKDIR

ansys145 -b nolist -p AA_T_A -i vm141.dat -o vm141.out -j vm141 -np 4

}}}

例：Distributed ANSYSを用いる場合

{{{

### sample
#!/bin/sh
#PBS -l nodes=2:ppn=2
#PBS -q eduq

module load ansys14.5

cd $PBS_O_WORKDIR

ansys145 -b nolist -p AA_T_A -i vm141.dat -o vm141.out -j vm141 -np 4 -dis

}}}

*vm141.datは/common/ansys14.5/ansys_inc/v145/ansys/data/verifにあります．


=== ANSYS HFSSジョブ ===

[[attachment:ansys-hfss-16.1-manual.pdf|ANSYS HFSS利用マニュアル]]に利用方法の詳細が説明されています。
そちらをご参照下さい。


=== ANSYS CFXジョブ ===
==== シングルジョブ ====
以下に，実行スクリプト例を示します．

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=1
#PBS -q eduq

module load ansys14.5

cd $PBS_O_WORKDIR

cfx5solve -def StaticMixer.def

}}}

*StaticMixer.defは/common/ansys14.5/ansys_inc/v145/CFX/examplesにあります．

==== 並列ジョブ ====
以下に，実行スクリプト例を示します．

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=4
#PBS -q eduq

module load ansys14.5

cd $PBS_O_WORKDIR

cfx5solve -def StaticMixer.def -part 4 -start-method 'Intel MPI Local Parallel'

}}}

*StaticMixer.defは/common/ansys14.5/ansys_inc/v145/CFX/examplesにあります．


=== ABAQUSジョブ ===
==== シングルジョブ ====
以下に，実行スクリプト例を示します．

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=1
#PBS -q eduq

module load abaqus-6.12-3

cd $PBS_O_WORKDIR

abaqus job=1_mass_coarse

}}}

*1_mass_coarse.inpは/common/abaqus-6.12-3/6.12-3/samples/job_archive/samples.zipにあります．

=== COMSOL Multiphysicsジョブ ===


=== GAUSSIANジョブ ===
サンプル入力ファイル(methane.com)

{{{
%NoSave
%Mem=512MB
%NProcShared=4
%chk=methane.chk
#MP2/6-31G opt

methane

0 1
 C -0.01350511 0.30137653 0.27071342
 H 0.34314932 -0.70743347 0.27071342
 H 0.34316773 0.80577472 1.14436492
 H 0.34316773 0.80577472 -0.60293809
 H -1.08350511 0.30138971 0.27071342
}}}
==== シングルジョブ ====
以下に，実行スクリプト例を示します．

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=1
#PBS -q eduq

module load gaussian09-C.01

cd $PBS_O_WORKDIR

g09 methane.com

}}}

==== 並列ジョブ ====
以下に，実行スクリプト例を示します．

{{{

### sample
#!/bin/sh
#PBS -l nodes=1:ppn=4,mem=3gb,pvmem=3gb
#PBS -q eduq

cd $PBS_O_WORKDIR

module load gaussian09-C.01

g09 methane.com

}}}

=== Patranジョブ ===
 ./test.x
}}}
行 253: 行 118:
=== ジョブ投入方法 ===
qsubの-Iオプションを使用することで、対話的にジョブを実行することができます。'''このときのキューはwEduqとgEduqのいずれかを指定してください。'''<<BR>> 下記の例では2CPUコア、メモリ16GiB、1GPUのリソースを割当て、bashを起動しジョブの中で対話型操作(ホスト名確認、GPU確認)を行う場合の例です。GPGPUはジョブに割当てられたGPGPUのみ表示されます。

{{{
[x999999@xdev** ~]$ qsub -I -q wEduq -l select=1:ncpus=1:mem=8g:ngpus=1 -v SINGULARITY_IMAGE=prg-env:latest -- bash
qsub: waiting for job 578.xregistry0 to start
qsub: job 578.xregistry0 ready

bash-4.2$ uname -n
xsnd00.edu.tut.ac.jp
bash-4.2$ nvidia-smi
Thu Sep 5 19:58:48 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67 Driver Version: 418.67 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla V100-PCIE... On | 00000000:3B:00.0 Off | 0 |
| N/A 30C P0 23W / 250W | 0MiB / 16130MiB | 0% Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
bash-4.2$ exit
exit

qsub: job 578.xregistry0 completed
}}}
行 255: 行 152:
'''ジョブは，そのジョブが実行されるコンテナイメージを必ず指定する必要があります．''' DockerまたはSingularityコンテナ上でジョブを実行することが可能です。 Dockerを使用する場合は-v DOCKER_IMAGE=<イメージ名>、Singularityを使用する場合はSINGULARITY_IMAGE=<イメージ名>を指定してジョブを起動します。 指定可能なイメージ名は下記コマンドで確認できます。

{{{
-bash-4.2$ showimages
conda3/chainer:6.3.0-ompi
nvcr.io/nvidia/caffe:19.07-py2
nvcr.io/nvidia/caffe2:18.08-py3
nvcr.io/nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04
nvcr.io/nvidia/digits:19.07-caffe
nvcr.io/nvidia/mxnet:19.07-py3
nvcr.io/nvidia/pytorch:19.07-py3
nvcr.io/nvidia/tensorflow:19.07-py2
nvcr.io/nvidia/tensorflow:19.07-py3
nvidia/cuda:10.1-cudnn7-devel-centos7
prg-env:2019.08
}}}
=== Dockerジョブの実行例 ===
DockerジョブはDOCKER_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Dockerイメージにサービス(EntryPoint)がある場合は、各サービスにアクセスするIPアドレス:ポート番号が表示されます。Dockerジョブのホスト名は<割当ノード名>-<ジョブ番号>になります。 下記の例ではTensorflowコンテナ上でbashを起動し、pythonでTensorflowをインポートしています。

{{{
-bash-4.2$ qsub -I -q gEduq -l select=1:ncpus=2:mem=16g:ngpus=1 \
  -v DOCKER_IMAGE=nvcr.io/nvidia/tensorflow:19.07-py3 -- bash
qsub: waiting for job 580.xregistry0 to start
qsub: job 580.xregistry0 ready

Access Port:
        <proto>://133.15.52.212:6142/ -> container port 6064
        <proto>://133.15.52.212:6227/ -> container port 8888
        <proto>://133.15.52.212:6427/ -> container port 6006

z991212@xsnd00-580-xregistry0:/home/home1/z991212$ uname -n
xsnd00-580-xregistry0
z991212@xsnd00-580-xregistry0:/home/home1/z991212$ python -c "import tensorflow"
2019-09-05 11:19:08.962826: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
z991212@xsnd00-580-xregistry0:/home/home1/z991212$ exit
exit

qsub: job 580.xregistry0 completed
}}}
=== Singularityジョブの実行例 ===
SingularityジョブはSINGULARITY_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Singularityではイメージ内のサービス(EntryPoint)は使用できません。Singularityジョブのホスト名は通常ジョブと同様に<割当てノード名>になります。 下記の例ではTensorflowコンテナ上でbashを起動し、pythonでTensorflowをインポートしています。

{{{
-bash-4.2$ qsub -I -q gEduq -l select=1:ncpus=2:mem=16g:ngpus=1 \
  -v SINGULARITY_IMAGE=nvcr.io/nvidia/tensorflow:19.07-py3 -- bash
qsub: waiting for job 581.xregistry0 to start
qsub: job 581.xregistry0 ready

[singularity] version=3.3.0-1, image=nvcr.io/nvidia/tensorflow:19.07-py3
z991212@xsnd00:/home/home1/z991212$ uname -n
xsnd00.edu.tut.ac.jp
z991212@xsnd00:/home/home1/z991212$ python -c "import tensorflow"
2019-09-05 20:20:25.580823: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
z991212@xsnd00:/home/home1/z991212$ exit
exit

qsub: job 581.xregistry0 completed
}}}
行 257: 行 211:
ジョブで使用するリソースを投入するキューの標準値以外を使用する場合は-lオプションで指定します。 各キューの標準/最大リソースは下記コマンドで確認できます。

{{{
qstat -Qf <キュー名>
}}}
-lオプションで指定可能な主なリソースは下記の通りです。
||リソース名 ||説明 ||値 ||
||select ||ノード数 ||1以上の整数 ||
||ncpus ||CPUコア数/ノード ||1以上の整数 ||
||mpiprocs||MPIプロセス数/ノード||1以上の整数||
||mem ||メモリ使用量/ノード ||整数<mb|gb> ||
||ngpus ||GPU使用数/ノード ||0以上の整数 ||
||walltime ||最大実行時間 ||HH:MM:SS ||




ジョブのリソースを指定する-lオプションはwalltimeとリソース指定を別々に指定する必要があります。 (1) 最大実行時間を30分、1ノードあたり4CPUコア、メモリ16GB、2GPUのリソースを使用する場合

{{{
#!/bin/bash #PBS -q gSrchq #PBS -l select=1:ncpus=4:mem=16g:ngpus=2 #PBS -l walltime=00:30:00

cd ${PBS_O_HOME} ./a.out
}}}
行 259: 行 237:
=== ジョブの状態を確認する ===
ジョブ，キューの状態確認にはqstatコマンドを利用します．

(1) ジョブキューの状態表示

{{{
qstat -q
}}}
(2) ジョブの状態表示

{{{
qstat
}}}
(3) ジョブのリソース割当て状況やQueue状態での待ち要因を表示

{{{
qstat -asw
}}}
(4) 空きリソースの確認

{{{
pbsnodes -ajS
}}}
=== 投入したジョブをキャンセルする ===
ジョブのキャンセルにはqdelコマンドを使用します．

{{{
qdel jobID
}}}
job IDはqstatコマンドより確認してください．

Running状態ジョブがキャンセルできない場合は下記コマンドで強制的にジョブを終了することができます。

{{{
qdel -Wforce jobID
}}}

ジョブの実行

目次

  1. ジョブの実行
    1. ジョブ環境
    2. バッチジョブ
      1. ジョブ投入方法
      2. qsubコマンドのオプション
      3. 実行スクリプトにおけるオプションの指定
      4. サンプルスクリプト：GPGPUプログラムを利用する場合
    3. インタラクティブジョブ
      1. ジョブ投入方法
    4. コンテナイメージの指定
      1. Dockerジョブの実行例
      2. Singularityジョブの実行例
    5. 利用リソースの指定
    6. ジョブの管理
      1. ジョブの状態を確認する
      2. 投入したジョブをキャンセルする

ジョブ環境

本システムでサポートするジョブ利用形態は，コンテナ上でのジョブ利用だけとなります．このため，利用者はジョブ投入時のコマンドオプションまたはジョブスクリプトの指示文で起動コンテナを指定する必要があります．コンテナ上では，コンパイル，シリアルプログラムや並列プログラム(SMP，MPI)の実行，研究用アプリケーションの実行が可能です．
また，ジョブの実行方法は2つあります．PBS Professionalを使って実行されるバッチジョブと，直接実行するインタラクティブジョブです．対話的に処理を実行する場合やGUIアプリケーションを起動する場合は，インタラクティブジョブを投入してください．

バッチジョブ

ジョブ投入方法

PBS Professional用の実行スクリプトを作成し，qsubコマンドで次のようにジョブを投入します． 

$ qsub -q キュー名 実行スクリプト名

例えば，研究用キューwSrchqにジョブを投入する場合は次のようにします． 

$ qsub -q wSrchq 実行スクリプト名

qsubコマンドのオプション

主なオプションを以下に示します．

オプション

使用例

意味

-e

-e filename

標準エラー出力の内容を指定されたファイル名に出力する．-eオプションが指定されていない場合は，qsubコマンドが実行されたディレクトリ上に作成される．その際のファイル名は“ジョブ名.eジョブ番号”になる．

-o

-o filename

標準出力の内容を指定されたファイル名に出力する．-oオプションが指定されていない場合は，qsubコマンドが実行されたディレクトリ上に作成される．その際のファイル名は“ジョブ名.oジョブ番号”になる．

-j

-j join

標準出力，標準エラー出力を1個のファイルにマージするかしないかの動作を指定する．
-j oe:標準出力に標準エラー出力をマージする
-j eo:標準エラー出力に標準出力をマージする
-j n: 標準出力と標準エラー出力をマージしない（デフォルト）

-q

-q destination

ジョブを投入するキューを指定する．

-l

-l resource_list

ジョブの実行に必要なリソース資源を指定する．

-N

-N name

ジョブ名を指定する（文字数は15文字まで）．デフォルトはスクリプトでジョブが投入された場合は，スクリプトのファイル名となる．そうでない場合は，“STDIN”になる．

-m

-m mail_events

ジョブの状態をメールで通知する指定を行う．
-m n:メールを送信しない
-m a:異常終了時
-m b:処理開始時
-m e:処理終了時

-M

-M user_list

メールを送信するメールアドレスを指定する．

-v

-v DOCKER_IMAGE=<image>

指定したDockerイメージ上でジョブを実行.

-v SINGULARITY_IMAGE=<image>

指定したSingularityイメージ上でジョブを実行.

-I

-I

インタラクティブ(対話型)ジョブを実行します.

実行スクリプトにおけるオプションの指定

qsubコマンドのオプションは実行スクリプトの2行目以降で指定することもできます．例えば，スレッド並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．ncpusの数値に合わせて環境変数 OMP_NUM_THREADS が自動的に設定されます． 

#PBS -l select=使用ノード数:ncpus=4

例：1ノードを利用し，ノード内の並列数を4とした場合 

#PBS -l select=1:ncpus=4

MPIによるプロセス並列を行う場合，並列数の指定は実行スクリプト中で次のように行います． 

#PBS -l select=使用ノード数:ncpus=1ノードあたりの占有CPU数:mpiprocs=1ノードあたりのMPIプロセス数

例：1ノードを利用し，ノード内のプロセス数を4とした場合 

#PBS -l select=1:ncpus=4:mpiprocs=4

例：2ノードを利用し，ノード内の並列数を2とした場合 

#PBS -l select=2:ncpus=2:mpiprocs=2

利用するメモリ容量を指定して実行したい場合は，実行スクリプト中で次のように記述します． 

#PBS -l select=使用ノード数:mem=ノードあたりのメモリ容量:ncpus=1ノードあたりの並列数

例：1ノードを利用し，ノード内のスレッド並列数を14，ジョブあたりのメモリ容量を96GBとした場合 

#PBS -l select=1:mem=96gb:ncpus=14

利用する演算ノードを指定して実行したい場合は，次のように記述します． 

#PBS -l select=1:vnode=ホストA:ncpus=ホストAでの並列数:vnode=ホストB:ncpus=ホストBでの並列数，・・・

例：演算ノードxsnd10，xsnd11を利用し，各ノード内の並列数を28とした場合 

#PBS -l select=1:vnode=xsnd10:ncpus=28+vnode=xsnd11:ncpus=28

* 演算ノードのホスト名はxsnd00～xsnd14です（システム構成-ハードウェア構成　参照）．

* xsnd00～xsnd14はTesla V100を各2枚搭載しています．

GPGPUを指定して実行したい場合は，次のように記述します．ngpusにはノードあたりのGPU数(0～2)を指定します．GPGPUはgSrchq, gLrchq, gEduqで使用可能です． 

#PBS -l select=1:ngpus=<GPU数>

ジョブ実行時間を指定して実行したい場合は，次のように記述します． 

#PBS -l walltime=hh:mm:ss

例：ジョブ実行時間を336時間とする場合 

#PBS -l walltime=336:00:00

サンプルスクリプト：GPGPUプログラムを利用する場合

#PBS -q gEduq
#PBS -l select=1:ncpus=1:ngpus=1
#PBS -v DOCKER_IMAGE=prg-env:latest

source /etc/profile
source /common/intel-2022/setvars.sh &> /dev/null

cd $PBS_O_WORKDIR

./test.x

インタラクティブジョブ

ジョブ投入方法

qsubの-Iオプションを使用することで、対話的にジョブを実行することができます。このときのキューはwEduqとgEduqのいずれかを指定してください。
下記の例では2CPUコア、メモリ16GiB、1GPUのリソースを割当て、bashを起動しジョブの中で対話型操作(ホスト名確認、GPU確認)を行う場合の例です。GPGPUはジョブに割当てられたGPGPUのみ表示されます。 

[x999999@xdev** ~]$ qsub -I -q wEduq -l select=1:ncpus=1:mem=8g:ngpus=1 -v SINGULARITY_IMAGE=prg-env:latest -- bash
qsub: waiting for job 578.xregistry0 to start
qsub: job 578.xregistry0 ready

bash-4.2$ uname -n
xsnd00.edu.tut.ac.jp
bash-4.2$ nvidia-smi
Thu Sep  5 19:58:48 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67       Driver Version: 418.67       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla V100-PCIE...  On   | 00000000:3B:00.0 Off |                    0 |
| N/A   30C    P0    23W / 250W |      0MiB / 16130MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
bash-4.2$ exit
exit

qsub: job 578.xregistry0 completed

コンテナイメージの指定

ジョブは，そのジョブが実行されるコンテナイメージを必ず指定する必要があります． DockerまたはSingularityコンテナ上でジョブを実行することが可能です。 Dockerを使用する場合は-v DOCKER_IMAGE=<イメージ名>、Singularityを使用する場合はSINGULARITY_IMAGE=<イメージ名>を指定してジョブを起動します。 指定可能なイメージ名は下記コマンドで確認できます。 

-bash-4.2$ showimages
conda3/chainer:6.3.0-ompi
nvcr.io/nvidia/caffe:19.07-py2
nvcr.io/nvidia/caffe2:18.08-py3
nvcr.io/nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04
nvcr.io/nvidia/digits:19.07-caffe
nvcr.io/nvidia/mxnet:19.07-py3
nvcr.io/nvidia/pytorch:19.07-py3
nvcr.io/nvidia/tensorflow:19.07-py2
nvcr.io/nvidia/tensorflow:19.07-py3
nvidia/cuda:10.1-cudnn7-devel-centos7
prg-env:2019.08

Dockerジョブの実行例

DockerジョブはDOCKER_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Dockerイメージにサービス(EntryPoint)がある場合は、各サービスにアクセスするIPアドレス:ポート番号が表示されます。Dockerジョブのホスト名は<割当ノード名>-<ジョブ番号>になります。 下記の例ではTensorflowコンテナ上でbashを起動し、pythonでTensorflowをインポートしています。 

-bash-4.2$ qsub -I -q gEduq -l select=1:ncpus=2:mem=16g:ngpus=1 \
  -v DOCKER_IMAGE=nvcr.io/nvidia/tensorflow:19.07-py3 -- bash
qsub: waiting for job 580.xregistry0 to start
qsub: job 580.xregistry0 ready

Access Port:
        <proto>://133.15.52.212:6142/ -> container port 6064
        <proto>://133.15.52.212:6227/ -> container port 8888
        <proto>://133.15.52.212:6427/ -> container port 6006

z991212@xsnd00-580-xregistry0:/home/home1/z991212$ uname -n
xsnd00-580-xregistry0
z991212@xsnd00-580-xregistry0:/home/home1/z991212$ python -c "import tensorflow"
2019-09-05 11:19:08.962826: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
z991212@xsnd00-580-xregistry0:/home/home1/z991212$ exit
exit

qsub: job 580.xregistry0 completed

Singularityジョブの実行例

SingularityジョブはSINGULARITY_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Singularityではイメージ内のサービス(EntryPoint)は使用できません。Singularityジョブのホスト名は通常ジョブと同様に<割当てノード名>になります。 下記の例ではTensorflowコンテナ上でbashを起動し、pythonでTensorflowをインポートしています。 

-bash-4.2$ qsub -I -q gEduq -l select=1:ncpus=2:mem=16g:ngpus=1 \
  -v SINGULARITY_IMAGE=nvcr.io/nvidia/tensorflow:19.07-py3 -- bash
qsub: waiting for job 581.xregistry0 to start
qsub: job 581.xregistry0 ready

[singularity] version=3.3.0-1, image=nvcr.io/nvidia/tensorflow:19.07-py3
z991212@xsnd00:/home/home1/z991212$ uname -n
xsnd00.edu.tut.ac.jp
z991212@xsnd00:/home/home1/z991212$ python -c "import tensorflow"
2019-09-05 20:20:25.580823: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
z991212@xsnd00:/home/home1/z991212$ exit
exit

qsub: job 581.xregistry0 completed

利用リソースの指定

ジョブで使用するリソースを投入するキューの標準値以外を使用する場合は-lオプションで指定します。 各キューの標準/最大リソースは下記コマンドで確認できます。 

qstat -Qf <キュー名>

-lオプションで指定可能な主なリソースは下記の通りです。

リソース名

説明

値

select

ノード数

1以上の整数

ncpus

CPUコア数/ノード

1以上の整数

mpiprocs

MPIプロセス数/ノード

1以上の整数

mem

メモリ使用量/ノード

整数<mb|gb>

ngpus

GPU使用数/ノード

0以上の整数

walltime

最大実行時間

HH:MM:SS

ジョブのリソースを指定する-lオプションはwalltimeとリソース指定を別々に指定する必要があります。 (1) 最大実行時間を30分、1ノードあたり4CPUコア、メモリ16GB、2GPUのリソースを使用する場合 

cd ${PBS_O_HOME} ./a.out

ジョブの管理

ジョブの状態を確認する

ジョブ，キューの状態確認にはqstatコマンドを利用します．

(1) ジョブキューの状態表示 

qstat -q

(2) ジョブの状態表示 

qstat

(3) ジョブのリソース割当て状況やQueue状態での待ち要因を表示 

qstat -asw

(4) 空きリソースの確認 

pbsnodes -ajS

投入したジョブをキャンセルする

ジョブのキャンセルにはqdelコマンドを使用します． 

qdel jobID

job IDはqstatコマンドより確認してください．

Running状態ジョブがキャンセルできない場合は下記コマンドで強制的にジョブを終了することができます。 

qdel -Wforce jobID
Solenoid Theme Powered  |  MoinMoin Powered  |  Python Powered  |  GPL licensed  |  Valid HTML 4.01最終更新日時 2024-05-31 11:14:34 更新者 yi041