ジョブの実行
目次
ジョブ環境
本システムでサポートするジョブ利用形態は，コンテナ上でのジョブ利用だけとなります．このため，利用者はジョブ投入時のコマンドオプションまたはジョブスクリプトの指示文で起動コンテナを指定する必要があります．コンテナ上では，コンパイル，シリアルプログラムや並列プログラム(SMP，MPI)の実行，研究用アプリケーションの実行が可能です．
また，ジョブの実行方法は2つあります．PBS Professionalを使って実行されるバッチジョブと，直接実行するインタラクティブジョブです．対話的に処理を実行する場合やGUIアプリケーションを起動する場合は，インタラクティブジョブを投入してください．
バッチジョブ
ジョブ投入方法
PBS Professional用の実行スクリプトを作成し，qsubコマンドで次のようにジョブを投入します．
$ qsub -q キュー名 実行スクリプト名
例えば，研究用キューEduqにジョブを投入する場合は次のようにします．
$ qsub -q Eduq 実行スクリプト名
qsubコマンドのオプション
主なオプションを以下に示します．
オプション |
使用例 |
意味 |
-e |
-e filename |
標準エラー出力の内容を指定されたファイル名に出力する．-eオプションが指定されていない場合は，qsubコマンドが実行されたディレクトリ上に作成される．その際のファイル名は“ジョブ名.eジョブ番号”になる． |
-o |
-o filename |
標準出力の内容を指定されたファイル名に出力する．-oオプションが指定されていない場合は，qsubコマンドが実行されたディレクトリ上に作成される．その際のファイル名は“ジョブ名.oジョブ番号”になる． |
-j |
-j join |
標準出力，標準エラー出力を1個のファイルにマージするかしないかの動作を指定する． |
-q |
-q destination |
ジョブを投入するキューを指定する． |
-l |
-l resource_list |
ジョブの実行に必要なリソース資源を指定する． |
-N |
-N name |
ジョブ名を指定する（文字数は15文字まで）．デフォルトはスクリプトでジョブが投入された場合は，スクリプトのファイル名となる．そうでない場合は，“STDIN”になる． |
-m |
-m mail_events |
ジョブの状態をメールで通知する指定を行う． |
-M |
-M user_list |
メールを送信するメールアドレスを指定する． |
-v |
-v DOCKER_IMAGE=<image> |
指定したDockerイメージ上でジョブを実行. |
-v SINGULARITY_IMAGE=<image> |
指定したSingularityイメージ上でジョブを実行. |
|
-I |
-I |
インタラクティブ(対話型)ジョブを実行します. |
-lオプションで指定可能な主なリソースは下記の通りです。
リソース名 |
説明 |
値 |
select |
ノード数 |
1以上の整数 |
ncpus |
CPUコア数/ノード |
1以上の整数 |
mpiprocs |
MPIプロセス数/ノード |
1以上の整数 |
mem |
メモリ使用量/ノード |
整数<mb|gb> |
ngpus |
GPU使用数/ノード |
0以上の整数 |
walltime |
最大実行時間 |
HH:MM:SS |
実行スクリプトにおけるオプションの指定
qsubコマンドのオプションは実行スクリプトの2行目以降で指定することもできます．例えば，スレッド並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．ncpusの数値に合わせて環境変数 OMP_NUM_THREADS が自動的に設定されます．
#PBS -l select=使用ノード数:ncpus=占有CPUコア数（並列数）
例：1ノードを利用し，ノード内の並列数を4とした場合
#PBS -l select=1:ncpus=4
MPIによるプロセス並列を行う場合，並列数の指定は実行スクリプト中で次のように行います．
#PBS -l select=使用ノード数:ncpus=1ノードあたりの占有CPUコア数:mpiprocs=1ノードあたりのMPIプロセス数
例：1ノードを利用し，ノード内のプロセス数を4とした場合
#PBS -l select=1:ncpus=4:mpiprocs=4
例：2ノードを利用し，ノード内の並列数を2とした場合
#PBS -l select=2:ncpus=2:mpiprocs=2
利用するメモリ容量を指定して実行したい場合は，実行スクリプト中で次のように記述します．
#PBS -l select=使用ノード数:mem=1ノードあたりのメモリ容量:ncpus=1ノードあたりの並列数
例：1ノードを利用し，ノード内のスレッド並列数を14，ジョブあたりのメモリ容量を96GBとした場合
#PBS -l select=1:mem=96gb:ncpus=14
利用する演算ノードを指定して実行したい場合は，次のように記述します．
#PBS -l select=1:vnode=ホストA:ncpus=ホストAでの並列数:vnode=ホストB:ncpus=ホストBでの並列数，・・・
例：演算ノードysnd10，ysnd11を利用し，各ノード内の並列数を28とした場合
#PBS -l select=1:vnode=ysnd10:ncpus=28+vnode=ysnd11:ncpus=28
* 演算ノードのホスト名はysnd00～ysnd14です（システム構成-ハードウェア構成 参照）．
* ysnd00～ysnd14はMI210 PCIeを各2枚搭載しています．
GPGPUを指定して実行したい場合は，次のように記述します．ngpusにはノードあたりのGPU数(0～2)を指定します．GPGPUはsRchq, mRchq, Eduq, iEduqで使用可能です.
#PBS -l select=1:ngpus=<GPU数>
ジョブ実行時間を指定して実行したい場合は，次のように記述します．
#PBS -l walltime=hh:mm:ss
例：ジョブ実行時間を336時間とする場合
#PBS -l walltime=336:00:00
サンプルスクリプト：逐次実行
#PBS -q Eduq #PBS -l select=1:ncpus=1 #PBS -l walltime=1:00:00 ulimit -c 0 # avoid generating core files . /etc/profile # enable module command module load intel # enable use of numerical library cd $PBS_O_WORKDIR ./test.x
サンプルスクリプト：MPI/OpenMPハイブリッド並列（２プロセス，２スレッド/プロセス）
#PBS -q Eduq #PBS -l select=1:ncpus=4:mpiprocs=2 ulimit -c 0 # avoid generating core files . /etc/profile # enable module command module load intel module load intelmpi export OMP_NUM_THREADS=2 cd $PBS_O_WORKDIR mpirun -np 2 test.x
サンプルスクリプト：ノード間MPI並列（２ノード，28プロセス/ノード）
#PBS -q Eduq #PBS -l select=2:ncpus=28:mpiprocs=28 ulimit -c 0 # avoid generating core files . /etc/profile # enable module command module load intel module load intelmpi export I_MPI_HYDRA_BOOTSTRAP=ssh export OMP_NUM_THREADS=1 cd $PBS_O_WORKDIR mpirun -np 56 test.x
サンプルスクリプト：GPUを利用するプログラムの実行
#PBS -q Eduq #PBS -l select=1:ncpus=1:ngpus=1 #PBS -v SINGULARYTY_IMAGE=/common/prg_env_amd_2025.01.sif ulimit -c 0 # avoid generating core files . /etc/profile # enable module command cd $PBS_O_WORKDIR ./test.x
標準/最大リソースの確認
各キューの標準/最大リソースは下記コマンドで確認できます。
qstat -Qf <キュー名>
インタラクティブジョブ
ジョブ投入方法
qsubの-Iオプションを使用することで、対話的にジョブを実行することができます。このときのキューはEduq もしくは iEduqのいずれかを指定してください。 下記の例では2CPUコア、メモリ8GiB、1GPUのリソースを割当て、bashを起動しジョブの中で対話型操作(ホスト名確認、GPU確認)を行う場合の例です。GPGPUはジョブに割当てられたGPGPUのみ表示されます。
[******@ydev09 ~]$ qsub -I -q iEduq -l select=1:ncpus=1:mem=8g:ngpus=1 -v SINGULARITY_IMAGE=/common/Singularity_sif/prg_env_amd_2025.01.sif /bin/bash qsub: waiting for job 1193.ypbs0.edu.tut.ac.jp to start qsub: job 1193.ypbs0.edu.tut.ac.jp ready Singularity> hostname yind00.edu.tut.ac.jp Singularity> Singularity> nvidia-smi Wed May 28 15:49:15 2025 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 570.124.06 Driver Version: 570.124.06 CUDA Version: 12.8 | |-----------------------------------------+------------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+========================+======================| | 0 NVIDIA A100 80GB PCIe Off | 00000000:CA:00.0 Off | 0 | | N/A 40C P0 65W / 300W | 1MiB / 81920MiB | 0% Default | | | | Disabled | +-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=========================================================================================| | No running processes found | +-----------------------------------------------------------------------------------------+ Singularity> exit exit qsub: job 1193.ypbs0.edu.tut.ac.jp completed
コンテナイメージの指定
ジョブはSingularityコンテナ上で実行することが可能です。 イメージを指定する場合はSINGULARITY_IMAGE=<イメージ名>を指定してジョブを起動します。 イメージを指定しない場合は自動で選択されたSingularityイメージによってジョブを起動します。 指定可能なイメージ名はshowimagesコマンドで確認できます。 下記のイメージは旧システム(xdev)のものですが、新システム(ydev)も同様のコマンドでイメージリストが出力されます。
[*****@ydev02 ~]$ showimages conda3/chainer:6.3.0-ompi huggingface/transformers-pytorch-gpu:4.3.2 imc.tut.ac.jp/centos7:2019.09 imc.tut.ac.jp/centos7:2021.11 imc.tut.ac.jp/chainer-cuda101:7.8.1 imc.tut.ac.jp/debian-nlp:20221031 imc.tut.ac.jp/scip:8.0.0 imc.tut.ac.jp/scip-cplex:8.0.0-2211 imc.tut.ac.jp/transformers-pytorch-cuda101:4.3.2 imc.tut.ac.jp/transformers-pytorch-cuda101:4.4.2 imc.tut.ac.jp/transformers-pytorch-cuda101-py37:4.11.2 imc.tut.ac.jp/transformers-pytorch-cuda101-py37:4.24.0 imc.tut.ac.jp/transformers-pytorch-cuda116:4.24.0 imc.tut.ac.jp/transformers-pytorch-cuda116:4.25.1 imc.tut.ac.jp/transformers-pytorch-cuda118:4.31.0 imc.tut.ac.jp/transformers-pytorch-cuda118:4.36.0 imc.tut.ac.jp/transformers-pytorch-cuda118:4.37.2 imc.tut.ac.jp/ubuntu18.04:2020.01 imc.tut.ac.jp/ubuntu18.04:2020.02 jparacrawl-fairseq:latest mpi-env:latest mpi-env:2020.03.01 mpi-env:2020.03 mpi-env:2022.05.14a mpi-env:2022.05.14b mpi-env:2023.02 ...
Singularityジョブの実行例
SingularityジョブはSINGULARITY_IMAGEで指定したイメージのコンテナを作成し、コンテナ上でジョブを起動します。 Singularityではイメージ内のサービス(EntryPoint)は使用できません。Singularityジョブのホスト名は通常ジョブと同様に<割当てノード名>になります。下記の例ではコンテナ上でbashを起動し、pythonでdatetimeをインポートしています。
[*****@ydev09 ~]$ qsub -I -q Eduq -l select=1:ncpus=2:mem=16g -v SINGULARYTY_IMAGE=/common/Singularity_sif/prg_env_intel_2025.01.sif /bin/bash qsub: waiting for job 1191.ypbs0.edu.tut.ac.jp to start qsub: job 1191.ypbs0.edu.tut.ac.jp ready Singularity> uname -n ysnd00.edu.tut.ac.jp Singularity> python3 -c "import datetime" Singularity> exit exit qsub: job 1191.ypbs0.edu.tut.ac.jp completed
ジョブの管理
ジョブの状態を確認する
ジョブ，キューの状態確認にはqstatコマンドを利用します．
(1) ジョブキューの状態表示
qstat -q
(2) ジョブの状態表示
qstat
(3) ジョブのリソース割当て状況やQueue状態での待ち要因を表示
qstat -asw
(4) 空きリソースの確認
pbsnodes -ajS
投入したジョブをキャンセルする
ジョブのキャンセルにはqdelコマンドを使用します．
qdel jobID
job IDはqstatコマンドより確認してください．
Running状態ジョブがキャンセルできない場合は下記コマンドで強制的にジョブを終了することができます。
qdel -Wforce jobID