ジョブの実行

ジョブ環境

本システムでサポートするジョブ利用形態は，コンテナ上でのジョブ利用だけとなります．このため，利用者はジョブ投入時のコマンドオプションまたはジョブスクリプトの指示文で起動コンテナを指定する必要があります．コンテナ上では，コンパイル，シリアルプログラムや並列プログラム(SMP，MPI)の実行，研究用アプリケーションの実行が可能です．
また，ジョブの実行方法は2つあります．PBS Professionalを使って実行されるバッチジョブと，直接実行するインタラクティブジョブです．対話的に処理を実行する場合やGUIアプリケーションを起動する場合は，インタラクティブジョブを投入してください．

バッチジョブ

ジョブ投入方法

PBS Professional用の実行スクリプトを作成し，qsubコマンドで次のようにジョブを投入します．

$ qsub -q キュー名 実行スクリプト名

例えば，研究用キューwSrchqにジョブを投入する場合は次のようにします．

$ qsub -q wSrchq 実行スクリプト名

qsubコマンドのオプション

主なオプションを以下に示します．

-lオプションで指定可能な主なリソースは下記の通りです。

実行スクリプトにおけるオプションの指定

qsubコマンドのオプションは実行スクリプトの2行目以降で指定することもできます．例えば，スレッド並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．ncpusの数値に合わせて環境変数 OMP_NUM_THREADS が自動的に設定されます．

#PBS -l select=使用ノード数:ncpus=占有CPUコア数（並列数）

例：1ノードを利用し，ノード内の並列数を4とした場合

#PBS -l select=1:ncpus=4

MPIによるプロセス並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．

#PBS -l select=使用ノード数:ncpus=1ノードあたりの占有CPUコア数:mpiprocs=1ノードあたりのMPIプロセス数

例：1ノードを利用し，ノード内のプロセス数を4とした場合

#PBS -l select=1:ncpus=4:mpiprocs=4

例：2ノードを利用し，ノード内の並列数を2とした場合

#PBS -l select=2:ncpus=2:mpiprocs=2

利用するメモリ容量を指定して実行したい場合は，実行スクリプト中で次のように記述します．

#PBS -l select=使用ノード数:mem=1ノードあたりのメモリ容量:ncpus=1ノードあたりの並列数

例：1ノードを利用し，ノード内のスレッド並列数を14，ジョブあたりのメモリ容量を96GBとした場合

#PBS -l select=1:mem=96gb:ncpus=14

利用する演算ノードを指定して実行したい場合は，次のように記述します．

#PBS -l select=1:vnode=ホストA:ncpus=ホストAでの並列数:vnode=ホストB:ncpus=ホストBでの並列数，・・・

例：演算ノードxsnd10，xsnd11を利用し，各ノード内の並列数を28とした場合

#PBS -l select=1:vnode=xsnd10:ncpus=28+vnode=xsnd11:ncpus=28

* 演算ノードのホスト名はxsnd00～xsnd14です（システム構成-ハードウェア構成　参照）．

* xsnd00～xsnd14はTesla V100を各2枚搭載しています．

GPGPUを指定して実行したい場合は，次のように記述します．ngpusにはノードあたりのGPU数(0～2)を指定します．GPGPUはgSrchq, gLrchq, gEduqで使用可能です．

#PBS -l select=1:ngpus=<GPU数>

ジョブ実行時間を指定して実行したい場合は，次のように記述します．

#PBS -l walltime=hh:mm:ss

例：ジョブ実行時間を336時間とする場合

#PBS -l walltime=336:00:00

サンプルスクリプト：逐次実行

#PBS -q wLrchq
#PBS -l select=1:ncpus=1
#PBS -v DOCKER_IMAGE=prg-env:latest

ulimit -c 0          # avoid generating core files
source /etc/profile  # enable module command
. /common/intel-2022/compiler/latest/env/vars.sh  # for Intel compiler
. /common/intel-2022/mkl/latest/env/vars.sh       # for Intel MKL

cd $PBS_O_WORKDIR

./test.x

サンプルスクリプト：MPI/OpenMPハイブリッド並列（２プロセス，２スレッド/プロセス）

#PBS -q wLrchq
#PBS -l select=1:ncpus=2:mpiprocs=2
#PBS -v DOCKER_IMAGE=mpi-env:latest,DOCKER_OPTIONS="--network=overlaynw"

ulimit -c 0          # avoid generating core files
source /etc/profile  # enable module command
. /common/intel-2022/compiler/latest/env/vars.sh  # Intel compiler
. /common/intel-2022/mpi/latest/env/vars.sh       # Intel MPI
. /common/intel-2022/mkl/latest/env/vars.sh       # Intel MKL
export OMP_NUM_THREADS=2

cd $PBS_O_WORKDIR

mpirun -np 2 test.x

サンプルスクリプト：GPGPUを利用するプログラムの実行

#PBS -q gLrchq
#PBS -l select=1:ncpus=1:ngpus=1
#PBS -v DOCKER_IMAGE=prg-env:latest

ulimit -c 0          # avoid generating core files
source /etc/profile  # enable module command

cd $PBS_O_WORKDIR

./test.x

標準/最大リソースの確認

各キューの標準/最大リソースは下記コマンドで確認できます。

qstat -Qf <キュー名>

インタラクティブジョブ

ジョブ投入方法

qsubの-Iオプションを使用することで、対話的にジョブを実行することができます。このときのキューはwEduqとgEduqのいずれかを指定してください。
下記の例では2CPUコア、メモリ16GiB、1GPUのリソースを割当て、bashを起動しジョブの中で対話型操作(ホスト名確認、GPU確認)を行う場合の例です。GPGPUはジョブに割当てられたGPGPUのみ表示されます。

[*****@xdev08 ~]$ qsub -I -q gEduq -l select=1:ncpus=1:mem=8g:ngpus=1 -v SINGULARITY_IMAGE=prg-env:latest -- bash
qsub: waiting for job 2401828.xregistry0 to start
qsub: job 2401828.xregistry0 ready

[singularity] version=3.9.9, image=prg-env:latest
Singularity> nvidia-smi
Thu May  2 14:39:59 2024
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.47.03    Driver Version: 510.47.03    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla V100-PCIE...  On   | 00000000:3B:00.0 Off |                    0 |
| N/A   31C    P0    23W / 250W |      0MiB / 16384MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+
Singularity> exit
exit

qsub: job 2401828.xregistry0 completed

コンテナイメージの指定

ジョブは，そのジョブが実行されるコンテナイメージを必ず指定する必要があります． DockerまたはSingularityコンテナ上でジョブを実行することが可能です。 Dockerを使用する場合は-v DOCKER_IMAGE=<イメージ名>、Singularityを使用する場合はSINGULARITY_IMAGE=<イメージ名>を指定してジョブを起動します。 指定可能なイメージ名は下記コマンドで確認できます。

[*****@xdev02 ~]$ showimages
conda3/chainer:6.3.0-ompi
huggingface/transformers-pytorch-gpu:4.3.2
imc.tut.ac.jp/centos7:2019.09
imc.tut.ac.jp/centos7:2021.11
imc.tut.ac.jp/chainer-cuda101:7.8.1
imc.tut.ac.jp/debian-nlp:20221031
imc.tut.ac.jp/scip:8.0.0
imc.tut.ac.jp/scip-cplex:8.0.0-2211
imc.tut.ac.jp/transformers-pytorch-cuda101:4.3.2
imc.tut.ac.jp/transformers-pytorch-cuda101:4.4.2
imc.tut.ac.jp/transformers-pytorch-cuda101-py37:4.11.2
imc.tut.ac.jp/transformers-pytorch-cuda101-py37:4.24.0
imc.tut.ac.jp/transformers-pytorch-cuda116:4.24.0
imc.tut.ac.jp/transformers-pytorch-cuda116:4.25.1
imc.tut.ac.jp/transformers-pytorch-cuda118:4.31.0
imc.tut.ac.jp/transformers-pytorch-cuda118:4.36.0
imc.tut.ac.jp/transformers-pytorch-cuda118:4.37.2
imc.tut.ac.jp/ubuntu18.04:2020.01
imc.tut.ac.jp/ubuntu18.04:2020.02
jparacrawl-fairseq:latest
mpi-env:latest
mpi-env:2020.03.01
mpi-env:2020.03
mpi-env:2022.05.14a
mpi-env:2022.05.14b
mpi-env:2023.02
...

Dockerジョブの実行例

DockerジョブはDOCKER_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Dockerイメージにサービス(EntryPoint)がある場合は、各サービスにアクセスするIPアドレス:ポート番号が表示されます。Dockerジョブのホスト名は<割当ノード名>-<ジョブ番号>になります。 下記の例ではTensorflowコンテナ上でbashを起動し、pythonでTensorflowをインポートしています。

-bash-4.2$ qsub -I -q gEduq -l select=1:ncpus=2:mem=16g:ngpus=1 \
  -v DOCKER_IMAGE=nvcr.io/nvidia/tensorflow:19.07-py3 -- bash
qsub: waiting for job 580.xregistry0 to start
qsub: job 580.xregistry0 ready

Access Port:
        <proto>://133.15.52.212:6142/ -> container port 6064
        <proto>://133.15.52.212:6227/ -> container port 8888
        <proto>://133.15.52.212:6427/ -> container port 6006

z991212@xsnd00-580-xregistry0:/home/home1/z991212$ uname -n
xsnd00-580-xregistry0
z991212@xsnd00-580-xregistry0:/home/home1/z991212$ python -c "import tensorflow"
2019-09-05 11:19:08.962826: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
z991212@xsnd00-580-xregistry0:/home/home1/z991212$ exit
exit

qsub: job 580.xregistry0 completed

Singularityジョブの実行例

SingularityジョブはSINGULARITY_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Singularityではイメージ内のサービス(EntryPoint)は使用できません。Singularityジョブのホスト名は通常ジョブと同様に<割当てノード名>になります。 下記の例ではTensorflowコンテナ上でbashを起動し、pythonでTensorflowをインポートしています。

-bash-4.2$ qsub -I -q gEduq -l select=1:ncpus=2:mem=16g:ngpus=1 \
  -v SINGULARITY_IMAGE=nvcr.io/nvidia/tensorflow:19.07-py3 -- bash
qsub: waiting for job 581.xregistry0 to start
qsub: job 581.xregistry0 ready

[singularity] version=3.3.0-1, image=nvcr.io/nvidia/tensorflow:19.07-py3
z991212@xsnd00:/home/home1/z991212$ uname -n
xsnd00.edu.tut.ac.jp
z991212@xsnd00:/home/home1/z991212$ python -c "import tensorflow"
2019-09-05 20:20:25.580823: I tensorflow/stream_executor/platform/default/dso_loader.cc:42] Successfully opened dynamic library libcudart.so.10.1
z991212@xsnd00:/home/home1/z991212$ exit
exit

qsub: job 581.xregistry0 completed

ジョブの管理

ジョブの状態を確認する

ジョブ，キューの状態確認にはqstatコマンドを利用します．

(1) ジョブキューの状態表示

qstat -q

(2) ジョブの状態表示

qstat

(3) ジョブのリソース割当て状況やQueue状態での待ち要因を表示

qstat -asw

(4) 空きリソースの確認

pbsnodes -ajS

投入したジョブをキャンセルする

ジョブのキャンセルにはqdelコマンドを使用します．

qdel jobID

job IDはqstatコマンドより確認してください．

Running状態ジョブがキャンセルできない場合は下記コマンドで強制的にジョブを終了することができます。

qdel -Wforce jobID