[Japanese|English]

クラスタシステム利用の Tips

クラスタシステム利用にあたって気づいた便利なノウハウなどの記入をお願いします．ログインすることで編集できるようになります．

クラスタシステム利用の Tips

研究ユーザ情報交換用メーリングリストの過去ログ

研究ユーザの情報交換用メーリングリストの過去ログは， http://lists.imc.tut.ac.jp/pipermail/research-users/ で見れます．

使用リソース（メモリ使用量など）の計測

プロセスが使用したリソース（メモリ使用量など）は GNU 版 time コマンド（/usr/bin/time）で計測できます．オプション -v を利用することで，以下のようにプロセスが使用したリソースの詳細が表示されます（Man page of TIME）．

-bash-4.1$ /usr/bin/time --version
GNU time 1.7

-bash-4.1$ /usr/bin/time -v whoami
my016
        Command being timed: "whoami"
        User time (seconds): 0.00
        System time (seconds): 0.00
        Percent of CPU this job got: 0%
        Elapsed (wall clock) time (h:mm:ss or m:ss): 0:00.00
        Average shared text size (kbytes): 0
        Average unshared data size (kbytes): 0
        Average stack size (kbytes): 0
        Average total size (kbytes): 0
        Maximum resident set size (kbytes): 3088
        Average resident set size (kbytes): 0
        Major (requiring I/O) page faults: 0
        Minor (reclaiming a frame) page faults: 243
        Voluntary context switches: 3
        Involuntary context switches: 1
        Swaps: 0
        File system inputs: 0
        File system outputs: 0
        Socket messages sent: 0
        Socket messages received: 0
        Signals delivered: 0
        Page size (bytes): 4096
        Exit status: 0

メモリの使用量は Maximum resident set size で知ることができますが， v1.7 には実際の4倍で表示されるという既知のバグ（実使用量は表示された値の4分の1）があります（GNU Time にある壮大なバグ）．

GNU 版 time コマンドはクラスタの演算ノードでも利用できますが，結果が標準エラー出力であることに留意する必要があります．

投入しているジョブの一括削除

一般のユーザには qdel コマンドのオプション all が許可されていないように見えるものの，実際は投入している全てのジョブを削除することができます．

-bash-4.1$ qdel all

キューにあるすべてのユーザのジョブ一覧

/usr/local/maui/bin/showq コマンドを使うと，キューにある他のユーザも含めたジョブ一覧を確認することができます．

ジョブの実行状態を繰り返し表示

投入したジョブがどのような状況かを表示する場合には， watch コマンドを併用すると便利です．以下のように実行すると，5秒間隔で繰り返し実行され，常に最新の状態を把握することができます．また，オプション -d を指定すると，前回との差分がハイライトされます．なお，繰り返し実行するコマンドにエイリアスは指定できません．

-bash-4.1$ watch -n 5 qstat -a

-bash-4.1$ watch -n 5 qstat -Q

-bash-4.1$ watch -n 5 -d qstat -Q

ulimit -t (cpu time) による制限

開発ノードには ulimit による cpu time の制限が存在します．この制限値は time コマンドで表示される値とは異なる値（隠れた値）に対して適用されるようです．原因のよくわからない「強制終了」が発生した場合，この制限が原因である可能性があります．例えば，大量のデータを rsync で同期すると以下のようなエラーが発生します．

-bash-4.1$ rsync --progress -avh /tmp/source /destination/
sending incremental file list

...

rsync: writefd_unbuffered failed to write 4 bytes to socket [sender]: Broken pipe (32)
rsync: connection unexpectedly closed (96 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(600) [sender=3.0.6]

rsync が消費する cpu time は --bwlimit の指定に関係なく，概ねデータ転送量で決まるようです．リモート同期の場合は ssh による経路暗号化処理が入るため，ローカル同期よりも cpu time を2倍程度消費する傾向にあります．

ラッパーツールの設定・利用

3系の吉田が作成した，クラスタを対話式に近い形で利用するためのツールの設定方法と利用方法．

設定方法

ホームディレクトリ直下の bin にツールへのシンボリックリンクを作る．

-bash-4.1$ mkdir ~/bin
-bash-4.1$ ln -s /gpfs/work/my016/tool/qcmd.sh ~/bin/qcmd
-bash-4.1$ ln -s /gpfs/work/my016/tool/qwatch.pl ~/bin/qwatch

~/.bash_profile に以下の3行を追記する（ホームディレクトリ直下の bin に PATH を設定）．

if [ -d "$HOME/bin" ] ; then
  export PATH="$HOME/bin:$PATH"
fi

再度，ログインする．

ジョブ投入ツール（qcmd）

qcmd は任意のコマンドをクラスタのノード上で実行するためのツールです．

-bash-4.1$ qcmd
Usage: [Q=QueueName] [N=nodes or NodeID] [P=ppn] [M=pmem or Req'd Memory (gb)] [W=Req'd Time (hour)] [J=JobName] [AO=afterok:JobID] qcmd command

Q: ジョブを投入するキュー名（default: wLrchq）
N: 必要ノード数または実行するノード名（default: 1，最大値: 30）
P: 1ノードあたりの必要コア数（default: 1）
M: 1コアあたりの必要メモリ量（default: 5，単位: GB，最大値: P*M <= 100）
W: ジョブの制限時間（default: 24，単位: hour，最大値: 336）※短いほど優先度が高くなる
J: ジョブ名（default: qcmd）※qstatやqwatchで表示される名前

実行例

-bash-4.1$ qcmd pa aux
-bash-4.1$ qcmd /usr/bin/time -v perl i_love_cats.pl
-bash-4.1$ M=20 qcmd /usr/bin/time -v perl i_love_fat_cats.pl
-bash-4.1$ qcmd "perl catching_cats.pl | perl counting_cats.pl"

通常は qcmd の後ろに実行したいコマンドを指定すれば，（Nによるノードの指定がなければ）任意のノードで実行されます．また，実行結果（標準出力の内容）はカレントディレクトリの *.o[JobId] というファイルに出力されます．
オプションは qcmd の手前に記述します．
パイプ（|）やリダイレクト（>）を利用する場合には，コマンド全体をダブルクォート（"）で括ります．

クラスタ確認ツール（qwatch）

qwatch はクラスタの稼働状況を確認するためのツールです．

-bash-4.1$ qwatch -h
Usage:
    perl qwatch.pl [Options]

Options:
    -h, --help
        標準出力に使用方法のメッセージを出力して正常終了する。

    -a, --all
        全てのステータスを表示する。引数を指定しない場合のデフォルトである。

    -n, --node
        ノードに関するステータスを表示する。 wdev0 以外のサーバで実行した場合は Users が常に空になる。

    -u, --user
        ユーザに関するステータスを表示する。 wdev0 以外のサーバで実行した場合は常に空になる。

    -j, --job
        自身が投入したジョブに関するステータスを表示する。

    -v, --verbose
        自身が投入したジョブに関するステータスを表示する際、ジョブ名のフルネームを表示する。

実行例

-bash-4.1$ qwatch

あなたのジョブが実行されているノードは，UsersやNodesを確認することで分かります．

あなたが指定した ppn と loadave との間に，著しい乖離がないかを確認してください（ほかのユーザも実行している場合があるので，すべてがあなたのジョブに起因しませんが）．もし， ppn=20 を指定しているにもかかわらず（CPUs が 20　になります），ロードアベレージ loadave が1であれば，非常に非効率な実行になっています．逆に， ppn=1 を指定して loadave が 1000 になっていれば，他のユーザに迷惑をかける可能性が高いです．

クラスタの実行状態を Slack に通知する

3系の吉田が作成した，クラスタでのジョブの投入および終了を Slack に通知するツールの設定方法．

cron を利用しています． cron がよく分からないユーザは利用しないこと！！

-bash-4.1$ ssh wdev0
-bash-4.1$ crontab -e
*/5 * * * * perl /gpfs/work/my016/tool/slack-bot-hpc.pl --logfile /[HOME]/slack-bot-hpc.log --watch-string PBS -q https://hooks.slack.com/services/xxx/xxx/xxx [Name]

TUT HPC Cluster Wiki: ClusterSystemTips