編集不可のページ History 添付ファイル

 

ページ名: ClusterSystem

次世代シミュレーション技術教育計算機システム

2013年4月12日よりテスト運用を開始しました．

2013年10月1日より正式に運用を開始しました．

2017年2月28日に運用を終了しました。今後は広域連携教育研究用クラスタをご利用下さい。

目次

  1. 次世代シミュレーション技術教育計算機システム
    1. ログイン方法
      1. 学内利用者の場合
      2. 学外利用者の場合
    2. キュー構成
    3. Web UIによるジョブ実行方法
    4. システム構成
      1. ハードウェア構成
      2. ファイルシステム構成
      3. コンパイラ
      4. メッセージ通信ライブラリ(MPI)
      5. ソフトウェア構成
    5. ソフトウェアの利用方法
    6. GPGPUの利用方法
      1. サンプルプログラムソース
      2. コンパイル方法
      3. ジョブ投入用サンプルスクリプトファイル
      4. 注意事項
    7. 利用者講習会資料
    8. サンプルプログラム

ログイン方法

TeraTerm や putty などの SSH クライアントを利用して，開発サーバにログインして下さい． 開発サーバのホスト名は、学内利用者か学外利用者かによって異なります。

開発サーバはコンパイルや開発を行うためのサーバです． 開発サーバで大規模な計算処理を実行しないでください． 実際の計算処理については，Torque を利用して，クラスタ上で実行してください． バッチ処理できない計算処理を実行する場合は，小規模シミュレーション用サーバを使ってください．

また，開発サーバは，実際には2台のサーバを用意して負荷分散しています．

学内利用者の場合

開発サーバは cdev.edu.tut.ac.jp になります。 ユーザ名とパスワードは，情報メディア基盤センターを利用するユーザ名とパスワードが使えます． 

$ ssh cdev.edu.tut.ac.jp

学外利用者の場合

開発サーバは lark.imc.tut.ac.jp になります。 アカウント登録システムで発行されたアカウント（par+数字7桁）を使ってください。 学外利用者は公開鍵認証によってユーザを認証します。 プロファイル変更で、自分の公開鍵を登録してください。 公開鍵の作成方法はSSHクライアントの使い方を参照して下さい。 

$ ssh lark.imc.tut.ac.jp

キュー構成

キュー名

利用可能ノード数

経過時間制限/ジョブ

プロセス数制限/ノード

メモリ容量制限/ノード

備考

eduq

26

1 時間（最大 1 時間）

16

48GB

教育用

rchq

28

24 時間（最大 336 時間）

16

48GB

研究用
  • eduqはどなたでも利用可能です．
  • rchqは登録種別Aへの利用登録が必要です．

  • 登録種別Aの申請方法は http://imc.tut.ac.jp/research/form を参照してください．

Web UIによるジョブ実行方法

Web UI を用いて提供アプリケーションを本計算機システム上で実行することもできます． https://stsk.imc.tut.ac.jp/ にアクセスしてみてください． ユーザ名とパスワードは，情報メディア基盤センターを利用するユーザ名とパスワードが使えます．

システム構成

ハードウェア構成

分類

ホスト名

機種

CPU

主記憶容量

理論演算性能

拡張

OS

開発処理サーバ

cdev

HA8000-tc/HT210

Xeon E2680 2.7GHz 8コア×2

64GB

345.6GFLOPS

Tesla K20X

RHEL6.2

演算ノード (GPU搭載)

csnd00～csnd01

HA8000-tc/HT210

Xeon E2680 2.7GHz 8コア×2

64GB

345.6GFLOPS

Tesla K20X

RHEL6.2

演算ノード

csnd02～csnd27

HA8000-tc/HT210

Xeon E2680 2.7GHz 8コア×2

64GB

345.6GFLOPS

RHEL6.2

ファイルシステム構成

ホーム領域

/home/数字/ユーザ名/

一般の端末と同じホーム領域が利用できます．一般の端末からは Z:\ として見えます．

ワーク領域

/lustre/work/ユーザ名/

小規模シミュレーション用サーバでも /work/ユーザ名/ として見えます．研究用端末からは W:\ として見えます．

ソフトウェア領域

/common/

ワーク領域は，/work/ユーザ名/ というディレクトリ名でも参照することができます．

/work/ユーザ名/ というディレクトリ名は，各システムで最適なワーク領域を自動的に選ぶためのディレクトリ名として設計されています． 次世代シミュレーションクラスタシステムのワーク領域は Lustre で設計されているのに対して，広域連携教育研究用クラスタシステムのワーク領域は GPFS で設計されています． そのため，広域連携教育研究用クラスタシステムで /work/ユーザ名/ にファイルを置いても，次世代シミュレーションクラスタシステム側では見えません．

次世代シミュレーションクラスタシステム側で，広域連携教育研究用クラスタシステムで使っているワーク領域を参照したい場合は，/gpfs/work/ユーザ名/ というディレクトリ名で参照してください． ただし，途中で NFS を経由していますのでアクセス速度はかなり遅くなります．

コンパイラ

コンパイラ

バージョン

インストールディレクトリ

Intel

13.0.1.117 Build 20121010

/common/intel-2013/

PGI

13.1-1

/common/pgi-13.1/

GNU

4.4.6

/usr/bin/

CUDA

5.0

/common/cuda-5.0

メッセージ通信ライブラリ(MPI)

ライブラリ

バージョン

インストールディレクトリ

Inte MPI

13.0.1.117 Build 20121010

/common/intel-2013/

Open MPI

1.6.2

/common/openmpi-1.6.2/

MPICH 2

1.5rc3

/common/mpich2-1.5rc3/

MPICH 1

1.2.7p1

/common/mpich-1.2.7p1/

ソフトウェア構成

ソフトウェア名称

バージョン

説明

インストールディレクトリ

構造解析

ANSYS Multiphysics

14.5

マルチフィジックス解析ツール

/common/ansys14.5/

ANSYS CFX

14.5

汎用熱流体解析ソフトウェア

/common/ansys14.5/

ANSYS Fluet

14.5

汎用熱流体解析ソフトウェア

/common/ansys14.5/

ANSYS LS-DYNA

14.5

落下・衝突解析ツール

/common/ansys14.5/

ANSYS HFSS

15.0.3

高周波3次元電磁解解析ソフトウェア

/common/ansys_hfss-15.0.3/

ABAQUS

6.12

汎用非線形有限要素解析プログラム

/common/abaqus-6.12-3/

Patran

2012.2

CAE環境統合プリ・ポストソフトウェア

/common/patran-2012.2/

DEFORM-3D

10.2

有限要素法を用いた３次元塑性加工シミュレーションソフト

/common/deform-3d-10.2/

計算物質科学

PHASE (Serial版)

11.00

第一原理擬ポテンシャルバンド計算ソフトウェア(Serial版)

/common/phase-11.00-serial/

PHASE (Parallel版)

11.00

第一原理擬ポテンシャルバンド計算ソフトウェア(Parallel版)

/common/phase-11.00-parallel/

PHASE-Viewer

3.2.0

GUI 統合環境ソフトウェア

/common/phase-viewer-v320/

UVSOR (Serial版)

3.42

第一原理擬ポテンシャル誘電応答解析ソフトウェア(Serial版)

/common/uvsor-v342-serial/

UVSOR (Parallel版)

3.42

第一原理擬ポテンシャル誘電応答解析ソフトウェア(Parallel版)

/common/uvsor-v342-parallel/

OpenMX (Serial版)

3.6

相対論的量子力学に基づくボトムアップ型の階層的第一原理量子シミュレーター(Serial版)

/common/openmx-3.6-serial/

OpenMX (Parallel版)

3.6

相対論的量子力学に基づくボトムアップ型の階層的第一原理量子シミュレーター(Parallel版)

/common/openmx-3.6-parallel/

計算化学

Gaussian

09 Rev.C.01

Electronic structure program

/common/gaussian09-C.01/

NWChem (Serial版)

6.1.1

A comprehensive and scalable open-source solution for large scale molecular simulations(Serial版)

/common/nwchem-6.1.1-serial/

NWChem (Parallel版)

6.1.1

A comprehensive and scalable open-source solution for large scale molecular simulations(Parallel版)

/common/nwchem-6.1.1-parallel/

GAMESS (Serial版)

2012.R2

A general ab initio quantum chemistry package(Serial版)

/common/gamess-2012.r2-serial/

GAMESS (Parallel版)

2012.R2

A general ab initio quantum chemistry package(Parallel版)

/common/gamess-2012.r2-parallel/

MPQC

3.0-alpha

Massively Parallel Quantum Chemistry Program

/common/mpqc-2.4-4.10.2013.18.19/

Amber (Serial版)

12

Molecular Dynamics Package(Serial版)

/common/amber12-serial/

Amber (Parallel版)

12

Molecular Dynamics Package(Parallel版)

/common/amber12-parallel/

AmberTools (Serial版)

12

Set of several independently developed packages that work well by themselves, and with Amber itself(Serial版)

/common/amber12-serial/AmberTools/

AmberTools (Parallel版)

12

Set of several independently developed packages that work well by themselves, and with Amber itself(Parallel版)

/common/amber12-parallel/AmberTools/

CONFLEX (Serial版)

7

汎用分子力学計算ソフトウエア(Serial版)

/common/conflex7/

CONFLEX (Parallel版)

7

汎用分子力学計算ソフトウエア(Parallel版)

/common/conflex7/

CHEMKIN-PRO

15112

詳細化学反応解析支援ソフトウエア

/common/chemkin-15112/

技術処理

MATLAB

R2012a

数値計算言語

/common/matlab-R2012a/
  • ANSYS, ABAQUS, Patran, DEFORM-3D, GAUSSIAN, CHEMKIN-PRO, MATLABの利用には登録種別Aへの利用登録が必要です．

  • 登録種別Aの申請方法は http://imc.tut.ac.jp/research/form を参照してください．

ソフトウェアの利用方法

ソフトウェアの利用方法についてはクラスタシステムの利用方法をご覧ください．

GPGPUの利用方法

本システムではGPGPU Tesla K20Xを利用できます．

サンプルプログラムソース

sample_cuda.cu 

#include <stdio.h>

__global__ void hello(){
    printf("Hello World ! blockidx.x = %d  threadIdx.x = %d\n",\
           blockIdx.x, threadIdx.x);
}

int main(void){

    hello<<<2,3>>>();
    cudaDeviceSynchronize();
    cudaDeviceReset();
    return 0;
}

*　プログラムの終了時は，必ず，cudaDeviceSynchronize, cudaDeviceResetを実行してください．

コンパイル方法

コンパイルはCuda Toolkitを利用して行います．Cuda Toolkitを利用するため以下のコマンドを実行してください．

% module load cuda-5.0

コンパイルには「nvcc」コマンドを利用します．オプションとして「-arch=sm_35」をつけてください．このオプションにより，K20Xが対応するCompute Capability 3.5用に実行ファイルを生成します．

% nvcc -arch=sm_35 sample_cuda.cu -o sample_cuda

ジョブ投入用サンプルスクリプトファイル

cuda.sh 

###  sample

#!/bin/sh
#PBS -q eduq
#PBS -l nodes=1:GPU:ppn=16

module load cuda-5.0

cd $PBS_O_WORKDIR

./sample_cuda

#PBS -q について

キューは「eduq」,「rchq」どちらでも利用できます．

#PBS -l について

「#PBS -l nodes=1:GPU:ppn=16」を変更する必要はありません．GPGPUを搭載した演算ノード1台を占有して利用することを意味しています．Tesla K20Xが搭載される演算ノードはcsnd00とcsnd01の2台であり，どちらかが自動的に選択されることになります．1演算ノードに1基のTesla　K20Xが搭載されています．

その他

実行ファイル名（上記スクリプトファイルではsample_cuda）は，必要に応じて適切に変更してください．

注意事項

●　Compute Capability3.5における各種制約（グリッドやブロックの次元など）に注意してください．

●　Tesla K20Xのハードウエア上の制約に注意してください．

●　cudaFree, cudaEventDestroy，cudaDeviceReset等，プログラム上の後処理は必ず行うようにしてください．

利用者講習会資料

サンプルプログラム

Solenoid Theme Powered  |  MoinMoin Powered  |  Python Powered  |  GPL licensed  |  Valid HTML 4.01最終更新日時 2017-03-14 09:20:08 更新者 jn002