ジョブの実行

ジョブ環境

バッチジョブとインタラクティブジョブにより，計算サーバを利用することができます．本システムでは，ジョブスケジューラとしてPBS Professionalを採用しており，ジョブの送信，状況確認等はPBS Professionalのコマンドによって行います．対話的に処理を実行する場合やGUIアプリケーションを起動する場合は，インタラクティブジョブを投入してください．それ以外の場合は，ジョブスクリプトを準備しバッチジョブを投入してください．
本システムでサポートするジョブ利用形態は，Singularityコンテナ上でのジョブ利用のみとなります．特に指定しない場合，デフォルトのコンテナイメージが使用されますが，利用者が用意したSingularityコンテナを指定することも可能です．詳しくは"コンテナイメージの指定"の箇所を読んでください．

バッチジョブ

ジョブ投入方法

PBS Professional用の実行スクリプトを作成し，qsubコマンドで次のようにジョブを投入します．

$ qsub -q キュー名 実行スクリプト名

例えば，研究用キューEduqにジョブを投入する場合は次のようにします．

$ qsub -q Eduq 実行スクリプト名

qsubコマンドのオプション

主なオプションを以下に示します．

-lオプションで指定可能な主なリソースは下記の通りです．

実行スクリプトにおけるオプションの指定

qsubコマンドのオプションは実行スクリプトの2行目以降で指定することもできます．例えば，スレッド並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．ncpusの数値に合わせてOpenMPのスレッド数を指定する環境変数 OMP_NUM_THREADS が自動的に設定されます．

#PBS -l select=使用ノード数:ncpus=占有CPUコア数（並列数）

MPIによるプロセス並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．

#PBS -l select=使用ノード数:ncpus=1ノードあたりの占有CPUコア数:mpiprocs=1ノードあたりのMPIプロセス数

利用するメモリ容量を指定して実行したい場合は，実行スクリプト中で次のように記述します．

#PBS -l select=使用ノード数:mem=1ノードあたりのメモリ容量:ncpus=1ノードあたりの並列数

利用する演算ノードを指定して実行したい場合は，次のように記述します．

#PBS -l select=1:vnode=ホストA:ncpus=ホストAでの並列数:vnode=ホストB:ncpus=ホストBでの並列数，・・・

* 演算ノードのホスト名はysnd00～ysnd14です（システム構成-ハードウェア構成　参照）．

* ysnd00～ysnd14はMI210 PCIeを各2枚搭載しています．

GPUを指定して実行したい場合は，次のように記述します．ngpusにはノードあたりのGPU数(0～2)を指定します．GPGPUはsRchq, mRchq, Eduq, iEduqで使用可能です.

#PBS -l select=1:ngpus=<GPU数>

ジョブ実行時間を指定して実行したい場合は，次のように記述します．

#PBS -l walltime=hh:mm:ss

サンプルスクリプト：逐次実行

#PBS -q Eduq
#PBS -l select=1:ncpus=1
#PBS -l walltime=1:00:00

ulimit -c 0             # avoid generating core files
. /etc/profile          # enable module command
module load intel       # enable use of numerical library

cd $PBS_O_WORKDIR
./test.x

サンプルスクリプト：MPI/OpenMPハイブリッド並列（4CPUコア，2プロセス，2スレッド/プロセス）

#PBS -q Eduq
#PBS -l select=1:ncpus=4:mpiprocs=2

ulimit -c 0                     # avoid generating core files
. /etc/profile                  # enable module command
module load intel
module load intelmpi

export OMP_NUM_THREADS=2
cd $PBS_O_WORKDIR
mpirun -np 2 test.x

サンプルスクリプト：ノード占有MPI並列（48プロセス）

#PBS -q sRchq
#PBS -l select=1:ncpus=48:mpiprocs=48

ulimit -c 0                     # avoid generating core files
. /etc/profile                  # enable module command
module load intel
module load intelmpi

export I_MPI_HYDRA_BOOTSTRAP=ssh
export OMP_NUM_THREADS=1
cd $PBS_O_WORKDIR
mpirun -np 56 test.x

サンプルスクリプト：AMD GPUを利用するプログラムの実行

#PBS -q Eduq
#PBS -l select=1:ncpus=1:ngpus=1
#PBS -v SINGULARYTY_IMAGE=/common/prg_env_amd_2025.01.sif

ulimit -c 0     # avoid generating core files
. /etc/profile  # enable module command
cd $PBS_O_WORKDIR
./test.x

標準/最大リソースの確認

各キューの標準/最大リソースは下記コマンドで確認できます．

qstat -Qf <キュー名>

インタラクティブジョブ

ジョブ投入方法

qsubの-Iオプションを使用することで，対話的にジョブを実行することができます．このときのキューは Eduq もしくは iEduq のいずれかを指定してください． 下記の例では1CPUコア，メモリ8GiB，1GPUのリソースを割り当てて，bashを起動しジョブの中で対話型操作(ホスト名確認，GPU確認)を行う場合の例です．GPUはジョブに割当てられたGPUのみ表示されます．

[******@ydev09 ~]$ qsub -I -q iEduq -l select=1:ncpus=1:mem=8g:ngpus=1 -v SINGULARITY_IMAGE=/common/Singularity_sif/prg_env_amd_2025.01.sif /bin/bash
qsub: waiting for job 1193.ypbs0.edu.tut.ac.jp to start
qsub: job 1193.ypbs0.edu.tut.ac.jp ready

Singularity> hostname
yind00.edu.tut.ac.jp
Singularity>
Singularity> nvidia-smi
Wed May 28 15:49:15 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.124.06             Driver Version: 570.124.06     CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A100 80GB PCIe          Off |   00000000:CA:00.0 Off |                    0 |
| N/A   40C    P0             65W /  300W |       1MiB /  81920MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+
Singularity> exit
exit

qsub: job 1193.ypbs0.edu.tut.ac.jp completed

コンテナイメージの指定

ジョブはSingularityコンテナ上で実行することが可能です． イメージを指定する場合はSINGULARITY_IMAGE=<イメージ名>を指定してジョブを起動します． イメージを指定しない場合は自動で選択されたSingularityイメージによってジョブを起動します． 指定可能なイメージ名はshowimagesコマンドで確認できます． 下記のイメージは旧システム(xdev)のものですが，新システム(ydev)も同様のコマンドでイメージリストが出力されます．

[*****@ydev02 ~]$ showimages
conda3/chainer:6.3.0-ompi
huggingface/transformers-pytorch-gpu:4.3.2
imc.tut.ac.jp/centos7:2019.09
imc.tut.ac.jp/centos7:2021.11
imc.tut.ac.jp/chainer-cuda101:7.8.1
imc.tut.ac.jp/debian-nlp:20221031
imc.tut.ac.jp/scip:8.0.0
imc.tut.ac.jp/scip-cplex:8.0.0-2211
imc.tut.ac.jp/transformers-pytorch-cuda101:4.3.2
imc.tut.ac.jp/transformers-pytorch-cuda101:4.4.2
imc.tut.ac.jp/transformers-pytorch-cuda101-py37:4.11.2
imc.tut.ac.jp/transformers-pytorch-cuda101-py37:4.24.0
imc.tut.ac.jp/transformers-pytorch-cuda116:4.24.0
imc.tut.ac.jp/transformers-pytorch-cuda116:4.25.1
imc.tut.ac.jp/transformers-pytorch-cuda118:4.31.0
imc.tut.ac.jp/transformers-pytorch-cuda118:4.36.0
imc.tut.ac.jp/transformers-pytorch-cuda118:4.37.2
imc.tut.ac.jp/ubuntu18.04:2020.01
imc.tut.ac.jp/ubuntu18.04:2020.02
jparacrawl-fairseq:latest
mpi-env:latest
mpi-env:2020.03.01
mpi-env:2020.03
mpi-env:2022.05.14a
mpi-env:2022.05.14b
mpi-env:2023.02
...

Singularityジョブの実行例

SingularityジョブはSINGULARITY_IMAGEで指定したイメージのコンテナを作成し，コンテナ上でジョブを起動します．Singularityではイメージ内のサービス(EntryPoint)は使用できません．Singularityジョブのホスト名は通常ジョブと同様に<割当てノード名>になります．下記の例ではコンテナ上でbashを起動し，pythonでdatetimeをインポートしています．

[*****@ydev09 ~]$ qsub -I -q Eduq -l select=1:ncpus=2:mem=16g -v SINGULARYTY_IMAGE=/common/Singularity_sif/prg_env_intel_2025.01.sif /bin/bash
qsub: waiting for job 1191.ypbs0.edu.tut.ac.jp to start
qsub: job 1191.ypbs0.edu.tut.ac.jp ready

Singularity> uname -n
ysnd00.edu.tut.ac.jp
Singularity> python3 -c "import datetime"
Singularity> exit
exit

qsub: job 1191.ypbs0.edu.tut.ac.jp completed

ジョブの管理

ジョブの状態を確認する

ジョブ，キューの状態確認にはqstatコマンドを利用します．

(1) ジョブキューの状態表示

qstat -q

(2) ジョブの状態表示

qstat

(3) ジョブのリソース割当て状況やQueue状態での待ち要因を表示

qstat -asw

(4) 空きリソースの確認

pbsnodes -ajS

投入したジョブをキャンセルする

ジョブのキャンセルにはqdelコマンドを使用します．

qdel jobID

job IDはqstatコマンドより確認してください．

Running状態ジョブがキャンセルできない場合は下記コマンドで強制的にジョブを終了することができます．

qdel -Wforce jobID