= 次世代シミュレーション技術教育計算機システム =

2013年4月12日よりテスト運用を開始しました．

2013年10月1日より正式に運用を開始しました．

'''2017年2月28日に運用を終了しました。今後は[[WideAreaClusterSystem|広域連携教育研究用クラスタ]]をご利用下さい。'''

<<TableOfContents(maxdepth=5)>>

== ログイン方法 ==

Tera''''''Term や putty などの SSH クライアントを利用して，開発サーバにログインして下さい．
開発サーバのホスト名は、学内利用者か学外利用者かによって異なります。

開発サーバはコンパイルや開発を行うためのサーバです．
開発サーバで大規模な計算処理を実行しないでください．
実際の計算処理については，[[../ClusterSystemUsage#A.2BMLgw5zDWW5.2BITGW5bNU-|Torque]] を利用して，クラスタ上で実行してください．
バッチ処理できない計算処理を実行する場合は，[[https://imc.tut.ac.jp/wiki/Research/InteractiveSimulationServer|小規模シミュレーション用サーバ]]を使ってください．

また，開発サーバは，実際には2台のサーバを用意して負荷分散しています．


=== 学内利用者の場合 ===

開発サーバは cdev.edu.tut.ac.jp になります。
ユーザ名とパスワードは，情報メディア基盤センターを利用するユーザ名とパスワードが使えます．

{{{
$ ssh cdev.edu.tut.ac.jp
}}}

=== 学外利用者の場合 ===

開発サーバは lark.imc.tut.ac.jp になります。
[[https://hpcportal.imc.tut.ac.jp|アカウント登録システム]]で発行されたアカウント（par+数字7桁）を使ってください。
学外利用者は公開鍵認証によってユーザを認証します。
[[https://hpcportal.imc.tut.ac.jp/profile|プロファイル変更]]で、自分の公開鍵を登録してください。
公開鍵の作成方法は[[../SSHClient|SSHクライアントの使い方]]を参照して下さい。

{{{
$ ssh lark.imc.tut.ac.jp
}}}

== キュー構成 ==

||キュー名||利用可能ノード数||経過時間制限/ジョブ||プロセス数制限/ノード||メモリ容量制限/ノード||備考||
||eduq||26||1 時間（最大 1 時間）||16||48GB||教育用||
||rchq||28||24 時間（最大 336 時間）||16||48GB||研究用||

 * eduqはどなたでも利用可能です．
 * rchqは登録種別Aへの利用登録が必要です．
 * 登録種別Aの申請方法は http://imc.tut.ac.jp/research/form を参照してください．

== Web UIによるジョブ実行方法 ==
Web UI を用いて提供アプリケーションを本計算機システム上で実行することもできます．
https://stsk.imc.tut.ac.jp/ にアクセスしてみてください．
ユーザ名とパスワードは，情報メディア基盤センターを利用するユーザ名とパスワードが使えます．

== システム構成 ==

=== ハードウェア構成 ===

||分類||ホスト名||機種||CPU||主記憶容量||理論演算性能||拡張||OS||
||開発処理サーバ||cdev||HA8000-tc/HT210||Xeon E2680 2.7GHz 8コア×2||64GB||345.6GFLOPS||Tesla K20X||RHEL6.2||
||演算ノード (GPU搭載)||csnd00～csnd01||HA8000-tc/HT210||Xeon E2680 2.7GHz 8コア×2||64GB||345.6GFLOPS||Tesla K20X||RHEL6.2||
||演算ノード||csnd02～csnd27||HA8000-tc/HT210||Xeon E2680 2.7GHz 8コア×2||64GB||345.6GFLOPS|| ||RHEL6.2||

=== ファイルシステム構成 ===

||ホーム領域||{{{/home/数字/ユーザ名/}}}||一般の端末と同じホーム領域が利用できます．一般の端末からは {{{Z:\}}} として見えます．||
||ワーク領域||{{{/lustre/work/ユーザ名/}}}||[[../InteractiveSimulationServer|小規模シミュレーション用サーバ]]でも {{{/work/ユーザ名/}}} として見えます．研究用端末からは {{{W:\}}} として見えます．||
||ソフトウェア領域||{{{/common/}}}|| ||

ワーク領域は，{{{/work/ユーザ名/}}} というディレクトリ名でも参照することができます．

{{{/work/ユーザ名/}}} というディレクトリ名は，各システムで最適なワーク領域を自動的に選ぶためのディレクトリ名として設計されています．
次世代シミュレーションクラスタシステムのワーク領域は Lustre で設計されているのに対して，[[../WideAreaClusterSystem|広域連携教育研究用クラスタシステム]]のワーク領域は GPFS で設計されています．
そのため，[[../WideAreaClusterSystem|広域連携教育研究用クラスタシステム]]で {{{/work/ユーザ名/}}} にファイルを置いても，次世代シミュレーションクラスタシステム側では見えません．

次世代シミュレーションクラスタシステム側で，[[../WideAreaClusterSystem|広域連携教育研究用クラスタシステム]]で使っているワーク領域を参照したい場合は，{{{/gpfs/work/ユーザ名/}}} というディレクトリ名で参照してください．
ただし，途中で NFS を経由していますのでアクセス速度はかなり遅くなります．

=== コンパイラ ===

||コンパイラ||バージョン||インストールディレクトリ||
||Intel||13.0.1.117 Build 20121010||/common/intel-2013/||
||PGI||13.1-1||/common/pgi-13.1/||
||GNU||4.4.6||/usr/bin/||
||CUDA||5.0||/common/cuda-5.0||

=== メッセージ通信ライブラリ(MPI) ===

||ライブラリ||バージョン||インストールディレクトリ||
||Inte MPI||13.0.1.117 Build 20121010||/common/intel-2013/||
||Open MPI||1.6.2||/common/openmpi-1.6.2/||
||MPICH 2||1.5rc3||/common/mpich2-1.5rc3/||
||MPICH 1||1.2.7p1||/common/mpich-1.2.7p1/||

=== ソフトウェア構成 ===

||ソフトウェア名称||バージョン||説明||インストールディレクトリ||
||||||||構造解析||
||ANSYS Multiphysics||14.5||マルチフィジックス解析ツール||/common/ansys14.5/||
||ANSYS CFX||14.5||汎用熱流体解析ソフトウェア||/common/ansys14.5/||
||ANSYS Fluet||14.5||汎用熱流体解析ソフトウェア||/common/ansys14.5/||
||ANSYS LS-DYNA||14.5||落下・衝突解析ツール||/common/ansys14.5/||
||ANSYS HFSS||15.0.3||高周波3次元電磁解解析ソフトウェア||/common/ansys_hfss-15.0.3/||
||ABAQUS||6.12||汎用非線形有限要素解析プログラム||/common/abaqus-6.12-3/||
||Patran||2012.2||CAE環境統合プリ・ポストソフトウェア||/common/patran-2012.2/||
||DEFORM-3D||10.2||有限要素法を用いた３次元塑性加工シミュレーションソフト||/common/deform-3d-10.2/||
||||||||計算物質科学||
||PHASE (Serial版)||11.00|| 第一原理擬ポテンシャルバンド計算ソフトウェア(Serial版)||/common/phase-11.00-serial/||
||PHASE (Parallel版)||11.00|| 第一原理擬ポテンシャルバンド計算ソフトウェア(Parallel版)||/common/phase-11.00-parallel/||
||PHASE-Viewer||3.2.0||GUI 統合環境ソフトウェア||/common/phase-viewer-v320/||
||UVSOR (Serial版)||3.42||第一原理擬ポテンシャル誘電応答解析ソフトウェア(Serial版)||/common/uvsor-v342-serial/||
||UVSOR (Parallel版)||3.42||第一原理擬ポテンシャル誘電応答解析ソフトウェア(Parallel版)||/common/uvsor-v342-parallel/||
||OpenMX (Serial版)||3.6||相対論的量子力学に基づくボトムアップ型の階層的第一原理量子シミュレーター(Serial版)||/common/openmx-3.6-serial/||
||OpenMX (Parallel版)||3.6||相対論的量子力学に基づくボトムアップ型の階層的第一原理量子シミュレーター(Parallel版)||/common/openmx-3.6-parallel/||
||||||||計算化学||
||Gaussian||09 Rev.C.01||Electronic structure program||/common/gaussian09-C.01/||
||NWChem (Serial版)||6.1.1||A comprehensive and scalable open-source solution for large scale molecular simulations(Serial版)||/common/nwchem-6.1.1-serial/||
||NWChem (Parallel版)||6.1.1||A comprehensive and scalable open-source solution for large scale molecular simulations(Parallel版)||/common/nwchem-6.1.1-parallel/||
||GAMESS (Serial版)||2012.R2||A general ab initio quantum chemistry package(Serial版)||/common/gamess-2012.r2-serial/||
||GAMESS (Parallel版)||2012.R2||A general ab initio quantum chemistry package(Parallel版)||/common/gamess-2012.r2-parallel/||
||MPQC||3.0-alpha||Massively Parallel Quantum Chemistry Program||/common/mpqc-2.4-4.10.2013.18.19/||
||Amber (Serial版)||12||Molecular Dynamics Package(Serial版)||/common/amber12-serial/||
||Amber (Parallel版)||12||Molecular Dynamics Package(Parallel版)||/common/amber12-parallel/||
||Amber''''''Tools (Serial版)||12||Set of several independently developed packages that work well by themselves, and with Amber itself(Serial版)||/common/amber12-serial/AmberTools/||
||Amber''''''Tools (Parallel版)||12||Set of several independently developed packages that work well by themselves, and with Amber itself(Parallel版)||/common/amber12-parallel/AmberTools/||
||CONFLEX (Serial版)||7||汎用分子力学計算ソフトウエア(Serial版)||/common/conflex7/||
||CONFLEX (Parallel版)||7||汎用分子力学計算ソフトウエア(Parallel版)||/common/conflex7/||
||CHEMKIN-PRO||15112|| 	詳細化学反応解析支援ソフトウエア||/common/chemkin-15112/||
||||||||技術処理||
||MATLAB||R2012a||数値計算言語||/common/matlab-R2012a/||

 * ANSYS, ABAQUS, Patran, DEFORM-3D, GAUSSIAN, CHEMKIN-PRO, MATLABの利用には登録種別Aへの利用登録が必要です．
 * 登録種別Aの申請方法は http://imc.tut.ac.jp/research/form を参照してください．

== ソフトウェアの利用方法 ==

ソフトウェアの利用方法については[[ClusterSystemUsage|クラスタシステムの利用方法]]をご覧ください．

== GPGPUの利用方法 ==

本システムではGPGPU Tesla K20Xを利用できます．

=== サンプルプログラムソース ===
sample_cuda.cu
{{{

#include <stdio.h>

__global__ void hello(){
    printf("Hello World ! blockidx.x = %d  threadIdx.x = %d\n",\
           blockIdx.x, threadIdx.x);
}

int main(void){

    hello<<<2,3>>>();
    cudaDeviceSynchronize();
    cudaDeviceReset();
    return 0;
}

}}}
*　プログラムの終了時は，必ず，cudaDeviceSynchronize, cudaDeviceResetを実行してください．

=== コンパイル方法 ===

コンパイルはCuda Toolkitを利用して行います．Cuda Toolkitを利用するため以下のコマンドを実行してください．

'''% module load cuda-5.0'''

コンパイルには「nvcc」コマンドを利用します．オプションとして「-arch=sm_35」をつけてください．このオプションにより，K20Xが対応するCompute Capability 3.5用に実行ファイルを生成します．

'''% nvcc -arch=sm_35 sample_cuda.cu -o sample_cuda'''

=== ジョブ投入用サンプルスクリプトファイル　===

cuda.sh

{{{
###  sample

#!/bin/sh
#PBS -q eduq
#PBS -l nodes=1:GPU:ppn=16

module load cuda-5.0

cd $PBS_O_WORKDIR

./sample_cuda

}}}

''' #PBS -q について '''

キューは「eduq」,「rchq」どちらでも利用できます．

''' #PBS -l について '''

「#PBS -l nodes=1:GPU:ppn=16」を変更する必要はありません．GPGPUを搭載した演算ノード1台を占有して利用することを意味しています．Tesla K20Xが搭載される演算ノードはcsnd00とcsnd01の2台であり，どちらかが自動的に選択されることになります．1演算ノードに1基のTesla　K20Xが搭載されています．

''' その他 '''

実行ファイル名（上記スクリプトファイルではsample_cuda）は，必要に応じて適切に変更してください．

=== 注意事項 ===

●　Compute Capability3.5における各種制約（グリッドやブロックの次元など）に注意してください．

●　Tesla K20Xのハードウエア上の制約に注意してください．

●　cudaFree, cudaEventDestroy，cudaDeviceReset等，プログラム上の後処理は必ず行うようにしてください．



== 利用者講習会資料 ==

 * 第1版 2013年9月30日 [[attachment:利用者講習会-第1版.pdf]]
 * 第2版 2014年3月12日 [[attachment:利用者講習会_第2版.pdf]]

== サンプルプログラム ==
 * OpenMPプログラム
   * C [[attachment:omp.c.zip]]
   * Fortran [[attachment:omp.f.zip]]
 * MPIプログラム
   * C [[attachment:mpi.c.zip]]
   * Fortran [[attachment:mpi.f.zip]]
 * OpenMP,MPIハイブリットプログラム
   * C [[attachment:omp.mpi.c.zip]]
   * Fortran [[attachment:omp.mpi.f.zip]]
 * サンプルプログラムまとめてダウンロード [[attachment:sample.omp.mpi.zip]]