3と18のリビジョン間の差分 (その間の編集: 15回)
|
サイズ: 1261
コメント:
|
サイズ: 1045
コメント:
|
| 削除された箇所はこのように表示されます。 | 追加された箇所はこのように表示されます。 |
| 行 1: | 行 1: |
| = NVIDIA GPU Cloudコンテナの実行方法 = | = 深層学習コンテナを利用する方法 = |
| 行 3: | 行 3: |
| == NVIDIA GPU Cloud（NGC）の概要 == NVIDIA GPU Cloud(!NGC) はディープラーニング、機械学習、HPC のために GPU で最適化されたソフトウェアのハブであり、最新のアプリケーションをDockerイメージでタイムリーに利用できます。 |
singularity pullを利用することで，sifイメージのダウンロードやDockerイメージのsifファイルへの変換が可能です． ここでは深層学習用コンテナを利用する例として，Dockerイメージのsifファイルへの変換例を示します．キャッシュや一時ファイルを/work/[ユーザID]領域以下に生成するように環境変数を設定しています．これらがない場合，/home容量のオーバーやディレクトリのアクセス権限によるエラーとなります． |
| 行 6: | 行 6: |
| == NVIDIA GPU Cloudコンテナの表示 == NVIDIA GPU Cloudに登録されているコンテナを下記コマンドで確認できます。 NGCに登録されているイメージのリストは毎日更新されます。 {{{ showngcimages |
例：ROCmのPyTorch Dockerイメージをsifに変換 {{{ $ export SINGULARITY_CACHEDIR=/work/yi041 $ export SINGULARITY_TMPDIR=/work/yi041 $ nohup singularity pull docker://rocm/pytorch:latest & |
| 行 13: | 行 13: |
| == NGCコンテナの利用方法 == (!調整中) DOCKER_IMAGEまたはSINGULARITY_IMAGEでshowngcimagesコマンドで表示されるイメージを指定してジョブを投入することで、ジョブスケジューラがNGCからDockerイメージを取得、プライベートレジストリへの登録、Singularityイメージへの変換を自動的に行い、指定したコンテナジョブを実行します。 {{{ qsub -q gSrchq -v DOCKER_IMAGE=<NGCのイメージ> test.sh |
例：NGCのPytorch Dockerイメージをsifに変換 {{{ $ export SINGULARITY_CACHEDIR=/work/yi041 $ export SINGULARITY_TMPDIR=/work/yi041 $ nohup singularity pull docker://nvcr.io/nvidia/pytorch:22.12-py3 & |
| 行 20: | 行 19: |
NGCからのDockerイメージ取得には15分程度かかります。イメージが利用可能になるまでジョブはQueue状態になります。 |
深層学習コンテナを利用する方法
singularity pullを利用することで，sifイメージのダウンロードやDockerイメージのsifファイルへの変換が可能です． ここでは深層学習用コンテナを利用する例として，Dockerイメージのsifファイルへの変換例を示します．キャッシュや一時ファイルを/work/[ユーザID]領域以下に生成するように環境変数を設定しています．これらがない場合，/home容量のオーバーやディレクトリのアクセス権限によるエラーとなります．
例：ROCmのPyTorch Dockerイメージをsifに変換
$ export SINGULARITY_CACHEDIR=/work/yi041 $ export SINGULARITY_TMPDIR=/work/yi041 $ nohup singularity pull docker://rocm/pytorch:latest &
例：NGCのPytorch Dockerイメージをsifに変換
$ export SINGULARITY_CACHEDIR=/work/yi041 $ export SINGULARITY_TMPDIR=/work/yi041 $ nohup singularity pull docker://nvcr.io/nvidia/pytorch:22.12-py3 &