JP5577745B2 - クラスタシステム、プロセス配置方法、及びプログラム - Google Patents

Description

本発明は、クラスタシステム、プロセス配置方法、及びプログラムに関するものである。

計算量が非常に多い処理を行うハイパフォーマンスコンピューティングの分野では、高い計算性能を持つ計算システムが必要とされる。
従来は、単体性能が高い計算ノードを少数接続した計算クラスタが利用されてきた。この場合、接続形態は全てのノード間で直接通信できる単段クロスバー方式であり、これにより均一なインターコネクト通信性能が実現できていた。

現在は、計算機のコモディティ化が進み、比較的単体性能が低い計算ノードを多数接続した計算クラスタが用いられることが多くなった。この場合、単段クロスバー方式を採用すると、接続数はノード数の約２乗にもなるため、ノード数の増加によってネットワーク部品が爆発的に増加する。

このため、計算ノードを多数接続した計算クラスタでは、ファットツリーやメッシュといった多段接続を用いることが一般的である。多段接続はネットワーク部品の増大をある程度抑えることができるが、ノードの組み合わせによって経由する段数にばらつきが生じるため、インターコネクト通信性能が均一にならないという問題がある。

多数の計算ノードが接続された計算クラスタの場合、一般的に、バッチサーバによって計算ノードの一元管理を行う。バッチサーバは、フロントエンドからのジョブ実行要求を受け付け、各計算ノードのＣＰＵやメモリといったリソースの空き状況に応じて、ジョブの割り当てを決定する。バッチサーバにより、計算ノードの負荷を均等にし、計算クラスタ全体として効率的な運用を実現する。

しかし、現在のバッチサーバは、ジョブの割り当ての判断にはＣＰＵやメモリといった計算ノード自体のリソースの空き状況のみを考慮し、計算ノード間のインターコネクト通信性能を考慮することはほとんどない。このため、分散並列ジョブに割り当てられる計算ノード群のインターコネクト通信性能に偏りが生じることがある。

また、ジョブの一例として分散並列ジョブがある。分散並列ジョブは、個々のプロセスに計算を分割し、プロセス間で適宜データを交換しながら並列に計算を進めていく。分散並列ジョブは、個々のプロセスを別々の計算ノードに割り当てることで、並列化による高い計算性能が発揮できる。

分散並列ジョブを実行する場合、計算クラスタの実装によってプロセス間の通信に特性が見られる場合がある。例えば、Ｘ−Ｙ−Ｚ軸の格子モデルで平面方向をより詳細に計算する場合、Ｘ−Ｙ平面に配置されたプロセス間はＺ方向に配置されたプロセス間よりも通信が多くなる。

このように、プロセス間の通信に特性が見られる場合、分散並列ジョブの性能が十分に発揮されない場合がある。これは、バッチサーバが計算ノード間のインターコネクト通信性能や分散並列ジョブの通信特性を考慮せずに割り当てを行うため、インターコネクト通信性能の偏りが分散並列ジョブのプロセス間の通信特性と合致せず、最適なインターコネクト通信性能を引き出せないためである。

特許文献１には、それぞれがプロセッサを備える複数のノードを格子状に接続させた格子型コンピュータシステムにおいて、格子型コンピュータシステムにおける複数のノードとノード間接続装置の接続形態にしたがって作成された論理ノードからなる格子モデルが、外部からなされる一つまたは複数のサービス要求に対応付けられた一つ以上の論理ノードを含む方形領域に分割されており、この方形領域内のいずれかの論理ノードにおいて実行されるスケジューラが、該方形領域に対応するサービス要求のジョブを構成するタスクの並列度および直列度に基づいて、方形領域内の他の論理ノードにタスクを処理するためのプログラムを割り当てることが記載されている。

特開２００７−２０６９８７号公報

特許文献１には、計算ノードにタスクを最適配置する手法が記載されているが、ノードが格子状に接続された形態にしか適用できない。

そこで、本発明の目的は、計算ノードの接続形態にかかわらず、プロセスを計算ノードに最適に配置することにより通信時間を最適化し、ジョブの実行性能を向上させることである。

本発明に係るクラスタシステムは、複数の計算ノードと、フロントエンド装置を介して要求されたバッチ処理を、前記複数の計算ノードに割り当てるバッチサーバを備えたクラスタシステムであって、前記バッチサーバは、各々の前記計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する、インターコネクト通信性能テーブル作成部と、運用開始時に、各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信すると共に、前記バッチ処理の要求時に、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する、情報配布部と、を備え、前記計算ノードは、前記ジョブの通信特性と、前記インターコネクト通信性能を突き合わせることにより、各計算ノードに配置するプロセスを決定するプロセス配置計算部、を備える。

本発明によれば、計算ノードの接続形態にかかわらず、ジョブの通信特性に基づいてプロセスを計算ノードに最適に配置することで、通信時間の最適化を図り、ジョブの実行性能を向上させることができる。

本発明の実施の形態によるクラスタシステムの構成を示す図である。 本発明の実施の形態によるフロントエンド、バッチサーバ、計算ノードの構成の詳細を示す図である。 本発明の実施の形態によるクラスタシステムの動作のフローチャートである。 インターコネクト通信性能テーブルの例を示す図である。 本発明の実施の形態によるクラスタシステムの動作のフローチャートである。 バッチ要求に含まれる通信特性の例を示す図である。 ジョブのプロセス配置を模式的に示す図である。 本発明の実施の形態によるクラスタシステムの動作のフローチャートである。 割り当てノード一覧の例を示す図である。 本発明の実施の形態によるクラスタシステムの動作のフローチャートである。 プロセス配置決定処理を説明する図である。 ノードグループの分割の例を示す図である。 本発明の実施の形態によるクラスタシステムの動作のフローチャートである。 ノードグループに対して最適化処理を行った例を示す図である。 プロセス配置とノードグループの突合せを説明する図である。

次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。
図１は、本実施形態によるクラスタシステム１０の構成を示す図である。図に示すように、クラスタシステム１０は、フロントエンド１００、バッチサーバ２００、計算ノード３００を備えている。各フロントエンド１００、バッチサーバ２００、及び各計算ノード３００は、通信ネットワークを介して接続されている。また、計算ノード３００間のインターコネクト通信性能は均一ではなく、隣接していない計算ノード３００へは他の計算ノード３００を経由して通信を行う必要がある。

図２は、フロントエンド１００、バッチサーバ２００、計算ノード３００の構成の詳細を示す図である。
図に示すように、フロントエンド１００は、バッチ要求部１０１を備えている。バッチ要求部１０１は、バッチサーバ２００にバッチ要求を送信する。バッチ要求には計算ジョブとジョブの通信特性が含まれる。バッチ要求部１０１は、コンピュータのプロセッサにおいて実行されることにより実現される機能ブロックである。

バッチサーバ２００は、ジョブ受付部２０１、ジョブ管理部２０２、インターコネクト通信性能テーブル作成部２０３、情報配布部２０４、バッチリクエスト記憶部２０５を備えている。

ジョブ受付部２０１は、フロントエンド１００から送信されるバッチ要求を受信する。
ジョブ管理部２０２は、バッチリクエスト記憶部２０５を参照し、計算ノード３００の割り当てを決定する。
インターコネクト通信性能テーブル作成部２０３は、全ての計算ノード３００のインターコネクト通信性能を取得し、インターコネクト通信性能テーブルを作成する。

情報配布部２０４は、インターコネクト通信性能テーブルを各計算ノード３００に送信する。また、各計算ノード３００へバッチ要求と割り当てノード一覧を送信する。
バッチリクエスト記憶部２０５は、ジョブ受付部２０１で受信したバッチ要求を記憶する。

ジョブ受付部２０１、ジョブ管理部２０２、インターコネクト通信性能テーブル作成部２０３、情報配布部２０４は、コンピュータのプロセッサにおいて実行されることにより実現される機能ブロックである。バッチリクエスト記憶部２０５は、メモリ、ハードディスク等の記憶装置により実現される。

計算ノード３００は、ジョブ実行部３０１を備えている。ジョブ実行部３０１は、情報取得部３０２、プロセス配置計算部３０３、プロセス起動部３０４、インターコネクト通信性能テーブル記憶部３０５を備えている。

情報取得部３０２は、インターコネクト通信性能テーブルを受信し、インターコネクト通信性能テーブル記憶部３０５に記憶する。また、バッチ要求と割り当てノード一覧を受信し、プロセス配置計算部３０３へ提供する。

プロセス配置計算部３０３は、割り当てノード一覧、ジョブ通信特性、及びインターコネクト通信特性テーブルを参照してプロセス配置を計算する。

プロセス起動部３０４は、プロセス配置計算部３０３によって計算されたプロセス配置に基づいて、自身に配置されたプロセスを生成し、実行を開始する。

ジョブ実行部３０１、情報取得部３０２、プロセス配置計算部３０３、プロセス起動部３０４は、コンピュータのプロセッサにおいて実行されることにより実現される機能ブロックである。インターコネクト通信性能テーブル記憶部３０５は、メモリ、ハードディスク等の記憶装置により実現される。

次に、クラスタシステム１０の動作について説明する。
クラスタシステム１０の動作は、実行順に、システムの運用開始時、バッチ処理要求時、ジョブ実行開始時の３つに分けることができる。

まず、クラスタシステム１０の運用開始時の処理について、図３のフローチャートを用いて説明する。
運用が開始されると、バッチサーバ２００のインターコネクト通信性能テーブル作成部２０３が、接続されている全ての計算ノード３００のインターコネクト通信性能を取得し、インターコネクト通信性能テーブルを作成する（ステップＳ１０１）。

図４は、インターコネクト通信性能テーブルの例を示す図である。図に示すように、各計算ノード３００間のインターコネクト通信性能が数値で示されている。数値が小さいものほどインターコネクト通信性能が高い。

次に、情報配布部２０４が、インターコネクト通信性能テーブルを各計算ノード３００に送信する（ステップＳ１０２）。

次に、各々の計算ノード３００は、インターコネクト通信性能テーブルをジョブ実行部３０１の情報取得部３０２で受信し、インターコネクト通信性能テーブル記憶部３０５に記憶する（ステップＳ１０３）。

次に、バッチ処理要求時の処理について、図５のフローチャートを用いて説明する。
まず、フロントエンド１００のバッチ要求部１０１からバッチサーバ２００へバッチ要求が送信される（ステップＳ２０１）。バッチ要求には、ジョブの実行要求とジョブの通信特性が含まれる。

図６は、バッチ要求部１０１から送信されるバッチ要求に含まれるジョブの通信特性の例を示す図である。また、図７は、ジョブのプロセス配置を模式的に示す図である。
ジョブの通信特性は、図７に示すように、ジョブのプロセス配置を格子状とみなし、格子の各次元の優先順位、次元軸に配置するプロセス数を設定する。図７中のプロセス番号は、ジョブに含まれる個々のプロセスを識別する番号である。次元の小さい順に０から番号が振られている。

バッチサーバ２００は、ジョブ受付部２０１でバッチ要求を受信し、バッチリクエスト記憶部２０５に記憶する（ステップＳ２０２）。

次に、ジョブ管理部２０２は、バッチリクエスト記憶部２０５を参照し、計算ノード３００の割り当てを決定する（ステップＳ２０３）。

次に、ジョブ実行開始時の処理について、図８のフローチャートを用いて説明する。
バッチサーバ２００は、バッチリクエスト記憶部２０５に格納されているジョブの実行時間になると、情報配布部２０４によって各計算ノード３００へバッチ要求と割り当てノード一覧を送信する（ステップＳ３０１）。

図９は、割り当てノード一覧の例を示す図である。図９に示すように、割り当てノード一覧には、ジョブに割り当てられた計算ノード３００が列挙されている。

計算ノード３００は、情報取得部３０２においてバッチ要求と割り当てノード一覧を受信すると、プロセス配置計算部３０３において、割り当てノード一覧、ジョブ通信特性、及びインターコネクト通信特性テーブルを参照してプロセス配置を計算する（ステップＳ３０２）。

次に、各計算ノード３００は、プロセス起動部３０４においてステップＳ３０２で計算したプロセス配置に基づいて、自身に配置されたプロセスを生成し、実行を開始する（ステップＳ３０３）。

ステップＳ３０２のプロセス配置計算処理について、図１０のフローチャートを用いて詳しく説明する。
ここでは、図６に示す通信特性を持つジョブに対して、図９に示すノードが割り当てられた場合を例に説明する。また、各ノード間のインターコネクト通信性能は図４に示すとおりとする。

まず、プロセス配置計算部３０３は、ジョブの通信特性と割り当てノード一覧を参照して、プロセスの配置順を決定する（ステップＳ４０１）。プロセス番号は、図７に示すように、次元の小さいものから順に割り振られている。

図１１に示すように、プロセス配置計算部３０３は、ジョブの通信特性の優先順位が大きい次元の方向で、プロセス数単位で番号をまとめていき、プロセス配置を決定する。

次に、プロセス配置計算部３０３は、割り当てノード一覧に含まれる計算ノード３００をまとめて、１つのノードグループを作成する（ステップＳ４０２）。

次に、プロセス配置計算部３０３は、ジョブ通信特性を参照し、優先順位が一番小さい時限のプロセス数でノードグループを分割する（ステップＳ４０４）。ここでは、図１２に示すように、割り当てノード一覧のノードグループを、図６に示す通信特性の優先順位が一番小さい次元である１次元目のプロセス数「３」で分割する。

次に、プロセス配置計算部３０３は、分割したノードグループ間で最適化処理を行う（ステップＳ４０５）。

ステップＳ４０５のノードグループ間最適化処理について、図１３のフローチャートを用いて説明する。

まず、プロセス配置計算部３０３は、ノードグループを２つ選択する（ステップＳ５０１）。以下、選択したノードグループをＧａ、Ｇｂとする。

次に、プロセス配置計算部３０３は、Ｇａ及びＧｂから、ノードを１つずつ選択する（ステップＳ５０２）。

次に、プロセス配置計算部３０３は、インターコネクト通信性能テーブルを参照し、Ｇａ、Ｇｂそれぞれにおいて、ノードグループ内のインターコネクト通信性能の合計を計算する（ステップＳ５０３）。以下、計算した合計をＴａ、Ｔｂとする。

次に、プロセス配置計算部３０３は、Ｇａ及びＧｂから選択したノードをスワップさせた新しいノードグループＧａ’、Ｇｂ’を作成する（ステップＳ５０４）。

次に、プロセス配置計算部３０３は、ノードグループＧａ’、Ｇｂ’について、ノードグループ内のインターコネクト通信性能の合計値Ｔａ’、Ｔｂ’を計算する（ステップＳ５０５）。

次に、プロセス配置計算部３０３は、（Ｔａ’＋Ｔｂ’）＜（Ｔａ＋Ｔｂ）の場合（ステップＳ５０６：Ｙ）、Ｇａ、ＧｂをＧａ’、Ｇｂ’で更新する（ステップＳ５０７）。

プロセス配置計算部３０３は、全てのノードグループの組み合わせについてステップＳ５０１〜Ｓ５０７の処理を行い（ステップＳ５０８）、全てのノードグループで更新がなくなったら、最適化処理を終了する（ステップＳ５０９）。

図１４は、図１２に示す３つの分割されたノードグループに対して最適化処理を行った例を示す図である。

図１０のステップＳ４０５のノードグループ間最適化処理が終了したら、プロセス配置計算部３０３は、分割したノードグループそれぞれに対して、次に優先順位が小さい次元のプロセス数で分割を行う。

プロセス配置計算部３０３は、未処理の次元が残り１つになったら、分割処理を終了し、分割したノードグループを併合する（ステップＳ４０３）。

さらに、プロセス配置計算部３０３は、図１５に示すように、プロセス配置とノードグループを突き合わせて各計算ノード３００に割り当てるプロセスを決定する（ステップＳ４０６）。

以上のように、本実施の形態によれば、クラスタシステム１０の運用開始時にバッチサーバ２００から各計算ノード３００に計算ノード３００間のインターコネクト通信性能テーブルが送信されると共に、バッチ要求時には、バッチサーバ２００から計算ノード３００に、ジョブと共にジョブの通信特性を送信し、各計算ノード３００は、ジョブの通信特性とインターコネクト通信性能を突き合わせて、各計算ノード３００に配置するプロセスを決定する。
これにより、計算ノードの接続形態にかかわらず、プロセスを計算ノードに最適に配置し、通信時間を最適化し、ジョブの実行性能を向上させることができる。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）複数の計算ノードと、
フロントエンド装置を介して要求されたバッチ処理を、前記複数の計算ノードに割り当てるバッチサーバを備えたクラスタシステムであって、
前記バッチサーバは、
各々の前記計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する、インターコネクト通信性能テーブル作成部と、
運用開始時に、各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信すると共に、前記バッチ処理の要求時に、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する、情報配布部と、を備え、
前記計算ノードは、
前記ジョブの通信特性と、前記インターコネクト通信性能を突き合わせることにより、各計算ノードに配置するプロセスを決定するプロセス配置計算部、を備えた、クラスタシステム。

（付記２）付記１に記載のクラスタシステムにおいて、
前記ジョブの通信特性には、前記ジョブに含まれるプロセスを各プロセス間の通信特性に基づいて格子状に配置した場合の、前記格子を構成する各次元の優先順位、及び各次元軸上に配置されるプロセス数の情報を含み、
前記プロセス配置計算部は、
前記優先順位と前記各次元軸上に配置されるプロセス数に基づいて、各プロセス間の通信特性と前記計算ノード間のインターコネクト通信性能が合致するように、各計算ノードに配置するプロセスを決定する、クラスタシステム。

（付記３）各々の計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する工程と、
各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信する工程と、
バッチ処理の要求を受け、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する工程と、
前記計算ノードが、前記ジョブの通信特性と、前記インターコネクト通信性能を突き合わせることにより、各計算ノードに配置するプロセスを決定する工程と、を備えた、プロセス配置方法。

（付記４）コンピュータを、
複数の計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する、インターコネクト通信性能テーブル作成部と、
運用開始時に、各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信すると共に、バッチ処理の要求時に、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する、情報配布部と、 して機能させるプログラム。

１０ クラスタシステム、１００ フロントエンド、１０１ バッチ要求部、２００ バッチサーバ、２０１ ジョブ受付部、２０２ ジョブ管理部、２０３ インターコネクト通信性能テーブル作成部、２０４ 情報配布部、２０５ バッチリクエスト記憶部、３００ 計算ノード、３０１ ジョブ実行部、３０２ 情報取得部、３０３ プロセス配置計算部、３０４ プロセス起動部、３０５ インターコネクト通信性能テーブル記憶部

Claims (4)

1. 複数の計算ノードと、
   フロントエンド装置を介して要求されたバッチ処理を、前記複数の計算ノードに割り当てるバッチサーバを備えたクラスタシステムであって、
   前記バッチサーバは、
   各々の前記計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する、インターコネクト通信性能テーブル作成部と、
   運用開始時に、各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信すると共に、前記バッチ処理の要求時に、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する、情報配布部と、を備え、
   前記計算ノードは、
   前記ジョブの通信特性と、前記インターコネクト通信性能を突き合わせることにより、各計算ノードに配置するプロセスを決定するプロセス配置計算部、を備え、
   前記ジョブの通信特性には、前記ジョブに含まれるプロセスを各プロセス間の通信特性に基づいて格子状に配置した場合の、前記格子を構成する各次元の優先順位、及び各次元軸上に配置されるプロセス数の情報を含み、
   前記プロセス配置計算部は、
   前記優先順位と前記各次元軸上に配置されるプロセス数に基づいて、各プロセス間の通信特性と前記計算ノード間のインターコネクト通信性能が合致するように、各計算ノードに配置するプロセスを決定する、クラスタシステム。
2. 各々の計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する工程と、
   各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信する工程と、
   バッチ処理の要求を受け、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する工程と、
   前記計算ノードが、前記ジョブの通信特性と、前記インターコネクト通信性能を突き合わせることにより、各計算ノードに配置するプロセスを決定する工程と、を備え、
   前記ジョブの通信特性には、前記ジョブに含まれるプロセスを各プロセス間の通信特性に基づいて格子状に配置した場合の、前記格子を構成する各次元の優先順位、及び各次元軸上に配置されるプロセス数の情報を含み、
   前記各計算ノードに配置するプロセスを決定する工程では、
   前記優先順位と前記各次元軸上に配置されるプロセス数に基づいて、各プロセス間の通信特性と前記計算ノード間のインターコネクト通信性能が合致するように、各計算ノードに配置するプロセスを決定する、プロセス配置方法。
3. コンピュータを、
   複数の計算ノード間のインターコネクト通信性能情報を含むテーブルを作成する、インターコネクト通信性能テーブル作成部と、
   運用開始時に、各々の前記計算ノードに、前記インターコネクト通信性能テーブルを送信すると共に、バッチ処理の要求時に、各々の前記計算ノードに前記バッチ処理に含まれるジョブと、前記ジョブの通信特性を送信する、情報配布部と、して機能させ、
   前記ジョブの通信特性には、前記ジョブに含まれるプロセスを各プロセス間の通信特性に基づいて格子状に配置した場合の、前記格子を構成する各次元の優先順位、及び各次元軸上に配置されるプロセス数の情報を含む、プログラム。
4. コンピュータを、
   バッチサーバによって複数の計算ノードに割り当てられたバッチ処理を実行する計算ノードとして機能させるプログラムであって、
   前記プログラムは、前記コンピュータを、
   前記バッチサーバから受信した前記バッチ処理に含まれるジョブの通信特性と、複数の計算ノード間のインターコネクト通信性能情報を突き合わせることにより、各計算ノードに配置するプロセスを決定するプロセス配置計算部として機能させ、
   前記ジョブの通信特性には、前記ジョブに含まれるプロセスを各プロセス間の通信特性に基づいて格子状に配置した場合の、前記格子を構成する各次元の優先順位、及び各次元軸上に配置されるプロセス数の情報を含み、
   前記プロセス配置計算部は、
   前記優先順位と前記各次元軸上に配置されるプロセス数に基づいて、各プロセス間の通信特性と前記計算ノード間のインターコネクト通信性能が合致するように、各計算ノードに配置するプロセスを決定する、プログラム。