JP4133068B2

JP4133068B2 - Computer system

Info

Publication number: JP4133068B2
Application number: JP2002213341A
Authority: JP
Inventors: 直伸助川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-07-23
Filing date: 2002-07-23
Publication date: 2008-08-13
Anticipated expiration: 2022-07-23
Also published as: US20040019624A1; JP2004054727A; US7293092B2

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のノードで構築される並列型又はグリッド型の計算機システムにおけるジョブスケジューリングに関し、システム全体の効率を向上するジョブ間の優先度の決定方法、及びその決定方法を実現するための通信方式に関する。
【０００２】
【従来の技術】
１つもしくは複数のＣＰＵと主記憶とからなるノードを単位とし、このノードをネットワークを経由して結合し、ノード間でジョブやデータを移動したり、複数ノードを連動させて大きな計算を実行するシステムを、並列型又はグリッド型の計算機システムと呼ぶ。並列型、グリッド型の計算機システムには、１０００個を超えるＣＰＵを使う大規模システム構築に必須の構成である。グリッド型の計算機システムと、並列型計算機との呼称の差異は、システムの物理的な広がりや接続するネットワークの性能や仕様により発生するが、本発明では両者の区別は行わない。
【０００３】
この並列型又はグリッド型の計算機システムで複数のノードを同時に使用する大きな計算（以下、「マルチノード計算」と呼ぶ）を実行する時には、各ノードをいかに効率よくマッピングするかが重要である。このマッピングは、各ノードを１つのジョブで占有することが基本である。ここで言うジョブとは、マルチノード計算を各ノードに分割したもの、つまりマルチノード計算の一部を表す。各ノードを１つのジョブで占有することは高い処理性能を必要とするためで、１ノードが複数のジョブを同時に実行すること、つまり複数のマルチノード計算に同じノードが同時に関わることはシステムの計算効率を落とすだけでメリットは無い。
【０００４】
しかし、各ノードが所有するデータが均質でなく、あるノードだけが持っているデータを複数のマルチノード計算が必要とする場合には、データを所有するノードが複数のマルチノード計算に関わることでシステム全体の効率が上がる場合がある。例えば、あるノード（以下、「ノードＡ」と呼ぶ）だけが計算に必要な元データ（以下、「データＬ」と呼ぶ）を主記憶やディスク上に持っており、そのデータＬを計算の途中で何度も参照するようなマルチノード計算を２つ同時に実行する場合には、次の２つの実行方法が考えられる。
【０００５】
（実行方法１）ノードＡの持つデータＬを別のノードにコピーすることでデータＬを持つノードを２つに増やし、各マルチノード計算それぞれに１ノードずつ加わる。
【０００６】
（実行方法２）データＬを所有するノードＡを２つのマルチノード計算両方で使う。ノードＡは２つのジョブをスイッチしながら実行する。
【０００７】
一般的な計算処理では、元データは巨大であるが計算で使用するデータは元データのうち一部である。しかし計算開始時には元データのうちどのデータを使用するかは不明で、計算実行途中で初めてどのデータを使用するかを決定することが多い。そのため、実行方法１の方法ではデータＬのうちどのデータを使用するか分からないためデータＬの全てをコピーすることとなり無駄が多い。そのため、多くの場合には実行方法２を用いる方が現実的である。つまり、ノードＡは２つのマルチノード計算両方に関わることになる。
【０００８】
このように、ノードＡが２つのマルチノード計算に関わる場合は、ノードＡにおける２つのジョブの実行方法がシステム全体の効率を左右する。つまり、ノードＡにおいて２つのジョブをどのようなスケジュールに基づいて実行するか（例えば、両方のジョブを１秒ずつ切り替えながら実行することで両者のジョブを均等に実行する、片方のジョブを０．５秒実行した後にもう一つのジョブを１秒実行することを繰り返すことで後者のジョブを優先実行する）がシステム全体の効率向上の重要な要素となる。システム全体の効率を改善するようにスケジューリングを決定することを、ここでは「ジョブスケジューリングの最適化」と呼ぶ。
【０００９】
このジョブスケジューリングの最適化の問題に関し、特開平８−１３７９１０に記載の発明では、計算開始時に最適化を図る手段が開示されている。具体的には、計算開始時に各ノードの終了予定時刻を計算し、最も遅いノード、つまりマルチノード計算の速度を決定するノードについてはそのマルチノード計算に関わるジョブを最優先で実行し、他のノードについては終了予定時刻を越えない範囲で他ジョブの実行を許すことで、ジョブスケジューリングの最適化を図る。
【００１０】
【発明が解決しようとする課題】
特開平８−１３７９１０に記載の発明では、ジョブ開始時に終了予定時刻が決定できる処理に対しては有効であるが、計算途中結果によりその先の処理量が決定される計算、例えば収束計算（計算結果が収束するまで繰り返し計算する）のような処理では有効に利用できない。
【００１１】
また、特開平８−１３７９１０に記載の発明では、各ノードの計算状態を一元管理するテーブルを持つ処理方法が開示されているが、数百ノードを使用するような大規模なマルチノード計算にも対応できるスケーラブルなジョブスケジューリングの最適化を実現するためには、このような形態はテーブルアクセスのぶつかりの発生を招くことから適切ではなく、各ノードが自律的にジョブスケジューリングの最適化を図ることが必要である。
【００１２】
【課題を解決するための手段】
本発明は、データの送信及び受信を行い当該送受信されたデータを元にマルチノード計算を実行する複数のノードと、前記ノード間のデータ通信を行う通信経路と、を備え、前記マルチノード計算を構成する複数のジョブのうち一のジョブを所定のスケジューリングにより前記複数のノードに占有させて実行し、当該実行させるジョブを順次切り換えることにより前記マルチノード計算を実行する並列型又はグリッド型の計算機システムにおいて、前記ノードは、データを送信する送信側のノードと、送信されるデータに依存するジョブを処理する受信側のノードとを備え、前記受信側のノードが前記一のジョブの処理に必要なデータを必要としてから、当該必要なデータを受信するまでの間に要した時間値を計測する待ち時間計測手段と、前記時間値を前記複数のジョブ毎に集計して前記一のジョブに対して各ノードが要した前記時間値の累計値を計算する負荷バランス集計手段と、前記一のジョブの処理に前記ノードを占有させる時間である持ち時間を前記計算された累計値に応じて計算し、当該累計値が大きいジョブは前記持ち時間を大きくし、当該累計値か小さいジョブは前記持ち時間を小さくすることにより前記複数のジョブの優先度を制御するジョブスケジューリング手段と、を備えた。
【００１３】
【発明の作用と効果】
本発明は、データの送信及び受信を行い当該送受信されたデータを元にマルチノード計算を実行する複数のノードと、前記ノード間のデータ通信を行う通信経路と、を備え、前記マルチノード計算を構成する複数のジョブのうち一のジョブを所定のスケジューリングにより前記複数のノードに占有させて実行し、当該実行させるジョブを順次切り換えることにより前記マルチノード計算を実行する並列型又はグリッド型の計算機システムにおいて、前記ノードは、データを送信する送信側のノードと、送信されるデータに依存するジョブを処理する受信側のノードとを備え、前記受信側のノードが前記一のジョブの処理に必要なデータを必要としてから、当該必要なデータを受信するまでの間に要した時間値を計測する待ち時間計測手段と、前記時間値を前記複数のジョブ毎に集計して前記一のジョブに対して各ノードが要した前記時間値の累計値を計算する負荷バランス集計手段と、前記一のジョブの処理に前記ノードを占有させる時間である持ち時間を前記計算された累計値に応じて計算し、当該累計値が大きいジョブは前記持ち時間を大きくし、当該累計値か小さいジョブは前記持ち時間を小さくすることにより前記複数のジョブの優先度を制御するジョブスケジューリング手段と、を備えたので、終了予定時刻の不明なマルチノード計算においても、動的にジョブスケジューリングを行うことでスケジューリングの最適化が実現できる。また、各送信ノードが自律的にジョブスケジューリングを行うことで、システム全体のジョブ実行状態を一元管理する必要がなくなり、一元管理に伴う処理のぶつかりを回避することで、ノード数に対してスケーラブルなジョブスケジューリング最適化が実現できる。
【００１４】
【発明の実施の形態】
以下に、本発明の第１の実施の形態の計算機システムについて図面を用いて詳細を説明する。
【００１５】
図１は本発明の第１の実施の形態の計算機システムの概念図を示す。
【００１６】
ノードＡ１０、Ｂ２０、Ｃ３０、Ｄ４０、Ｅ５０の５つのノードが計算に関わる。これらの各ノードによって行われるマルチノード計算はマルチノード計算２００とマルチノード計算３００との２つである。ノードＡはマルチノード計算２００のジョブ（以下「ジョブＰ」と呼ぶ）とマルチノード計算３００のジョブ（以下「ジョブＱ」と呼ぶ）とを実行する。なお、ノードＢとノードＣとはジョブＰのみを実行し、ノードＤとノードＥとはジョブＱのみを実行する。
【００１７】
各マルチノード計算においてはノード間のデータ通信が繰り返し実行される。つまり、ノードＡ１０からノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０に対してデータが繰り返し送信される。ノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０は計算途中でノードＡ１０から送られるデータを使用するため、ノードＡ１０でジョブＰの実行が遅れるとノードＢ２０とノードＣ３０とはノードＡ１０からのデータ待ち時間が増え、ノードＡ１０でジョブＱの実行が遅れるとノードＤ４０とノードＥ５０とはノードＡ１０からの待ち時間が増える。すなわち、ノードＡ１０におけるジョブＰとジョブＱとのスケジューリング方法がシステム全体の効率を決定することになる。
【００１８】
このジョブスケジューリング方法の最適化についはいくつかの方法が考えられるが、例えば、ノードＡ１０においてジョブＰを大幅に優先した場合（例えばジョブＰを１０秒実行した後にジョブＱを１秒実行することを繰り返す場合）は、一般にはノードＤ４０とノードＥ５０との待ち時間が大きくなりシステム全体の効率が低下する。しかし、ジョブＰがジョブＱに対して大幅に処理時間を必要とするものであり、ジョブＰを大幅に優先しているにも関わらずノードＢ２０とノードＣ３０とは待ち時間が多くノードＤ４０とノードＥ５０とには待ち時間が発生していないケースでは、ジョブＰをさらに優先させる方がシステム全体の効率を上げることになる。
【００１９】
第１の実施の形態の計算機システムでは、実際に受信側ノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０で発生した待ち時間量を送信側であるノードＡ１０に返信して（図１の処理１２０〜１５０）、この待ち時間量を送信側ノードＡ１０においてジョブ毎に集計し、ジョブスケジューリングの決定を行う。
【００２０】
なお、第１の実施の形態においては、各ノードが何れかのノードと送受信する関係にあり各ノードの通信ポートが何れのジョブに使用されているかについては、情報スーパバイザ役であるＳノード１００が把握し各ノードに配信する。また、各ノードの処理が不均質な場合、Ｓノード１００からは各ノードの処理の差に応じた重み付け情報も配信する。この重み付け情報は、例えばノードＢ２０は他ノードに比べて高速で、ノードＢ２０を１秒待たせることが他のノードを１秒待たせることよりもシステム全体の効率の上で問題であるような場合には、ノードＢ２０を他のノードより大きな重み付けとし待ち時間量集計時に考慮する（具体的な方法については後述する）。なおノードの重み付け情報は、システム構築時に１回、マルチノード計算開始時に１回、それぞれ各ノードに配信すればよいので、Ｓノード１００の処理量は少ない。そのため、図１のように独立したＳノード１００を用意するのではなく、計算を実行するノードのいずれかのノードがＳノードを兼ねる構成にしても良い。
【００２１】
以下に、第１の実施の形態の計算機システムについて、データの送受信の手順を説明し、その後に、ジョブスケジューリング方法を説明する。
【００２２】
まず、データの送受信方法について説明する。
【００２３】
図２は第１の実施の形態の計算機システムの構成を表すブロック図である。
【００２４】
ノードＡ１０はデータを送信し、ノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０はデータを受信する。ノードＡ１０には送信側のリソース（送信バッファ５２０、送信制御回路５２５、重み付け情報テーブル５６０、ノードグループ情報テーブル５７０、負荷バランス計算回路５８０）のみ、ノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０には受信側のリソース（受信バッファ６２０、７２０、８２０、９２０、受信待ち計測回路６２５、７２５、８２５、９２５）のみを示す。なお、第１の実施の形態では送信を行うノードと受信を行うノードが分かれているが、各ノードが送信受信双方を実行する構成にしても良い。各ノードが送受信を行う場合には、各ノードが送信側のリソース、および受信側のリソースを持つ必要があるが、本実施の形態の説明には不要なので省略する。
【００２５】
ノードＡ１０は送信ポートを４ポート持ち、４つのノードに対して送信できる。具体的には送信バッファ５２０〜５５０の４つである。なお、マルチノード計算の分割数が多く、ノードＡ１０がさらに多くのジョブへとデータを送信する必要がある場合にはこのポート数をさらに増やす必要がある。
【００２６】
第１の実施の形態では、各ポートの通信先が全て別のノードと接続しているが、ポートはノードに対して１つ用意するのではなく、送信先のジョブの数により決定される。例えばノードＢ２０において２つのジョブが実行されておりノードＡ１０から各ジョブへと送信するケースにおいては、２つのポートをノードＢ２０に対して使用することになる。なお、ポート数をさらに増やしても本発明の本質は変わらず、その実施方法は容易に類推することができることから、ここでは４ポートの構成で説明する。
【００２７】
次に、ノードＡ１０からノードＢ２０に対するデータ送信方法を説明する。
【００２８】
データ送信は、送信バッファ５２０と受信バッファ６２０とを使って行われるが、この場合、「送信バッファ５２０に空きがないのに送信データを書き込むこと」、「受信バッファ６２０に空きがないのに送信バッファ５２０から受信バッファ６２０にデータが書き込まれること」、「受信バッファ６２０にまだ送信データが書き込まれていないのに受信バッファ６２０を読み出すこと」、を防ぐ必要がある。そのため、データの送信ではＣＰＵ５００、ＣＰＵ６００、送信制御回路５２５、受信待ち計測回路６２５を各種フラグを用いて制御する。
【００２９】
このデータ送信の制御の手順を図３を用いて説明する。
【００３０】
図３は、図２に示すノードＡ１０の送信制御回路５２５の詳細な構成を示す。
【００３１】
この送信制御回路５２５は、送信要求生成回路１０１０、送信要求フラグ１０２０、受信バッファ開放フラグ１０３０を備える。
【００３２】
ＣＰＵ５００は信号線１０００を経由して送信要求フラグ１０２０をチェックする。この送信要求フラグ１０２０は、データの送信要求があるかどうかを表すフラグである。この送信要求フラグ１０２０が“０”である場合（すなわち送信要求が出ていない、もしくは送信が終了している）には、送信データを主記憶５０５（図２）から送信バッファ５２０にコピーする。送信要求フラグ１０２０が“１”の場合（すなわち送信途中）には、ＣＰＵ５００は、送信要求フラグ１０２０が“０”になるまで待ってから送信データを送信バッファ５２０にコピーする。送信要求フラグ１０２０を“１”から“０”にセットするのは送信要求生成回路１０１０であるが、この動作については後述する。
【００３３】
送信要求フラグ１０２０が“０”であった場合、ＣＰＵ５００は、送信データを送信バッファ５２０にコピーした後、信号線１０００を経由して送信要求フラグ１０２０に“１”をセットする。この送信要求フラグ１０２０がセットされたことは信号線１０５０を経由して送信要求生成回路１０１０へと通知される。
【００３４】
この通知を受けて、送信要求生成回路１０１０は信号線１０６０を経由して通知される受信バッファ開放フラグ１０３０の値を調べる。受信バッファ開放フラグ１０３０は、受信側の受信バッファが空いているかどうかを表すフラグである。受信バッファ開放フラグ１０３０の初期値は“１”であり、これは受信バッファが空いていることを示す。受信バッファが使用中であれば“０”となる。送信要求生成回路１０１０が受信バッファ開放フラグ１０３０を調べたときに“１”であれば受信バッファは開いているので、信号線５１０を経由して送信バッファ５２０にデータの送信を要求すると共に、信号線１０６５を経由して受信バッファ開放フラグ１０３０を“０”にセットする。
【００３５】
また、送信要求生成回路１０１０が受信バッファ開放フラグ１０３０を調べたときに“０”であれば受信バッファは使用中なので、受信バッファ開放フラグ１０３０が“１”にセットされるまで送信せずに待つ。受信バッファ開放フラグ１０３０が“０”から“１”にセットされるには、信号線１２０を経由して受信側ノードＢ２０からバッファの開放が通知される必要があるが、これは後述する。
【００３６】
送信バッファ５２０は信号線５１０を経由してデータの送信要求を受け取ると、信号線１１０を経由して受信側のノードＢ２０の受信バッファ６２０にデータを送る。データの送信が終了すると、信号線５１５を経由して送信要求生成回路１０１０にデータ送信の終了を通知する。通知を受けた送信要求生成回路１０１０は、信号線１０５５を経由して送信要求フラグ１０２０を“１”から“０”にセットする。この送信要求フラグ１０２０によって、ＣＰＵ５００はデータの送信が完了したことを信号線１０００を経由して知ることができる。
【００３７】
図４は、図２に示すノードＢ２０の受信待ち計測回路６２５の詳細な構成を示す。この受信待ち計測回路６２５は、受信完了フラグ１１００、カウント１１２０、受信確認フラグ１１３０、受信通知回路１１４０を備える。
【００３８】
受信バッファ６２０にデータが書き込まれると、受信バッファ６２０は信号線６１０を経由して受信完了フラグ１１００を“０”から“１”にセットする。この受信完了フラグ１１００は初期値“０”のフラグであり、データが到着してからＣＰＵ６００により読み出されるまで“１”となる。受信完了フラグが“１”から“０”にセットされる動作は後述する。
【００３９】
受信完了フラグ１１００が“１”となったことは信号線１１５０を経由して受信通知回路１１４０に通知される。この通知を受けて、受信通知回路１１４０は信号線１１６０を経由して受信確認フラグ１１３０の値をチェックする。受信通知回路１１４０は、受信確認フラグ１１３０の値が“０”のである場合は何もせず、フラグが“１”となった場合は信号線１１９０を経由してＣＰＵ６００に対して割り込み（受信データ到着通知）を通知する。受信確認フラグ１１３０は、初期値“０”のフラグであり、受信側であるノードＢ２０のＣＰＵ６００が受信バッファ６２０に到着する予定の受信データを待つ状態になったときにＣＰＵ６００が信号線１１８０を経由して受信確認フラグ１１３０を“１”にセットする。
【００４０】
なお、この受信確認フラグ１１３０をＣＰＵ６００が“１”にするタイミングは、「他の処理もあるが受信データを使った処理も開始できるタイミング」とするか、「受信データを使った処理以外の処理が無くなり、受信データの着信を待つだけとなったタイミング」とするか、どちらが適当かはアプリケーションに依存する。本実施の形態では、受信確認フラグ１１３０の設定を、後述するカウンタによる待ち時間のカウント測定にも使用するため、「受信データを使った処理以外の処理が無くなり、受信データの着信を待つだけとなったタイミング」とする。
【００４１】
信号線１１９０を経由して割り込みを通知されたＣＰＵ６００は、受信バッファ６２０から主記憶６０５（図２）にデータをコピーする。コピーが完了すると、ＣＰＵ６００は信号線１１８０を経由して受信確認フラグ１１３０を“１”から“０”にセットする。
【００４２】
受信通知回路１１４０は、受信確認フラグ１１３０が“１”から“０”となったことを信号線１１６０を経由して通知されると、受信完了フラグ１１００を“１”から“０”にセットする。同時に受信通知回路１１４０は受信の完了すなわち受信バッファ６２０が空きであることを信号線１２０を経由してノードＡ１０の送信制御回路５２５に通知する。この通知によって受信バッファ開放フラグ１０３０（図３）が“１”から“０”にセットされ、新たなデータの送信が可能になる。
【００４３】
以上の動作によってノードＡ１０からノードＢ２０へのデータ送信が行われ、一連の動作によって各フラグはそれぞれ初期値に戻る。
【００４４】
なお、本実施の形態では、図２に示すように、ノードＡ１０とノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０の各ノードとの間に双方向の別々の信号線１１０〜１５０を用意しているが、ＬＡＮなどを用いることでノードＡ１０のデータ送信の物理的な信号線が１つの場合や、制御信号とデータ送受信の物理的な信号線が１つの場合でも、本質的な動作は変わらない。
【００４５】
以下に、本実施の形態の、データ送受信での待ち時間を利用したジョブスケジューリング方法について説明する。
【００４６】
まず、待ち時間量計測のためのカウンタとそれを制御するフラグの動作について説明する。
【００４７】
受信側のノードＢ２０内の受信待ち計測回路６２５についての動作を上記に説明したが、このうち受信確認フラグ１１３０を図５に、受信完了フラグ１１００の状態を図６に示す。
【００４８】
図５では、受信確認フラグ１１３０は、初期値は“０”であり、ＣＰＵ６００が受信データ待ちを開始すると“１”にセットされ、ＣＰＵ６００が受信データの読み込みを終了すると“０”にセットされる。
【００４９】
図６では、受信確認フラグ１１００は、初期値は“０”であり、受信バッファ６２０にデータが到着すると“１”にセットされ、ＣＰＵ６００が受信データの読み込みを終了すると“０”にセットされる。
【００５０】
ここで、図５及び図６において、受信確認フラグ１１３０が“１”であり、受信完了フラグ１１００が“０”である場合は、受信側のノードＢ２０はデータ到着待ちで処理が止まっていることを示す。
【００５１】
カウンタ１１２０（図４）は、受信確認フラグ１１３０が“１”で受信完了フラグ１１００が“０”であること（すなわち受信側ノードＢ２０がデータ待ちであり、かつ受信データがまだバッファに到着していないためデータを待っている状態）を信号線１１５０および信号線１１６０から検知すると、カウント動作を開始する。受信完了フラグ１１００が“１”となるとカウント動作を止め、受信確認フラグ１１３０が“１”から“０”となるとカウント値をリセットする。なお、ＣＰＵ６００がデータの受信待ちとなる前に受信データが受信バッファ６２０に到着する場合、すなわち受信確認フラグが“１”となる前に受信完了フラグが“１”となる場合もあるが、この場合にはカウント動作の条件である「受信確認フラグ１１３０が“１”であり、受信完了フラグ１１００が“０”であること」が一度も成立しないので、カウンタ１１２０はカウント動作を開始しない。
【００５２】
このカウンタ１１２０によってカウントされた待ち時間値は信号線１１７０を経由して受信通知回路１１４０に伝わる。受信通知回路１１４０は、前述した受信バッファ６２０の空きを通知する際にこの待ち時間値を信号線１２０を経由してノードＡ１０に通知する。
【００５３】
次に、ジョブ毎の待ち時間の累積量を集計する負荷バランス計算回路５８０（図２）の動作を説明する。
【００５４】
図７は、ノードＡ１０の負荷バランス計算回路５８０の詳細な構成を表すブロック図である。
【００５５】
負荷バランス計算回路５８０は、受信待ち時間レジスタ１２００〜１２４０、積算器１２５０〜１２８０、加算機１３００〜１３３０、積分レジスタ１３５０〜１３８０、スイッチ１４００〜１４４０、加算機１４５０〜１４６０、レジスタＰ１４６０、レジスタＱ１４８０、タイマ１３４０、を備えている。
【００５６】
ノードＡ１０に通知された待ち時間量は、信号線１２０を経由して受信待ち時間レジスタ１２００に書き込まれる。
【００５７】
受信待ち時間レジスタ１２００は、書き込まれた待ち時間を積算器１２５０に通知すると共に、信号線１５１０を経由して積分レジスタ１３５０に待ち時間の加算を要求する。積算器１２５０では、受信待ち時間レジスタ１２００から伝わった待ち時間量と重み付けテーブル５６０（図２）に記録されている対応ポートの重み付けとの積が演算される。
【００５８】
この重み付けテーブル５６０の例を図８に示す。ポートＸは送信バッファ５２０を、ポートＹは送信バッファ５３０を、ポートＺは送信バッファ５４０を、ポートＵは送信バッファ５５０を表すポートＩＤである。積算器１２５０が演算するのは送信バッファ５２０、つまりポートＸの重み付けであるので、ポートＸに対応する値「０．５」が信号線１５５０を経由して積算器１２５０に伝達される。積算器１２５０では受信待ち時間レジスタ１２００と「０．５」との積を演算し加算器１３００に通知する。重み付けテーブル５６０の値は、後述するノードグループ情報テーブル５７０（図２）の値とともに、Ｓノード１００（図２）から信号線１８０を経由してノードＡ１０に通知される。
【００５９】
なお、図２ではこの信号線１８０を専用の信号線として表しているが、ＬＡＮ等を用いてデータの送受信と物理的に同じ信号線を使う場合にも本発明は適用できる。また本実施例では重み付け情報をデータ送信側ノード、すなわち受信待ち時間情報を受ける側のノードで演算しているが、データ受信側ノード、すなわち受信待ち時間情報を送る側のノードで演算してもよい。この場合、重み付けテーブルの情報はそれぞれのノードが自ノード（もしくは自ノードの各受信ポート）について持つことになる。
【００６０】
加算器１３００は、積算器１２５０から通知される値と既に積分レジスタ１３５０に入っている値との和を演算し積分レジスタ１３５０に通知する。ここで積分レジスタ１３５０は、信号線１５１０を経由して受信待ち時間レジスタ１２００から新たに待ち時間量情報の書き込みがされたことを検知すると、値の更新、すなわち既に積分レジスタ１３５０に登録されていた値と受信待ち時間レジスタ１２００から積算器１２５０を経由して加算器１３００に新たに届いた値との和を演算し、積分レジスタ１３５０の値として設定する。
【００６１】
各レジスタに入る値を整理すると、受信待ち時間レジスタ１２００は、対応するポートを使った通信（この場合は送信バッファ５２０を使用する通信）における受信側ノードの待ち時間量を記録し、積分レジスタ１３５０は複数回の通信での待ち時間量の累計を記録する。この待ち時間の累計は、タイマ１３４０が信号線１５００を経由して通知するインターバル信号（例えば１分毎に発生する信号）によってリセットされる。これは、適宜積分値のリセットを行うことで各ジョブの最新のスケジューリングに従った待ち時間量を積分レジスタ１３５０に反映するためである。
【００６２】
なお、他の各ポートについても同様の動作が行われる。積分レジスタ１３５０にはポートＸ、すなわち送信バッファ５２０から送られるデータの待ち時間累計、積分レジスタ１３６０にはポートＹ、すなわち送信バッファ５３０から送られるデータの待ち時間累計、積分レジスタ１３７０にはポートＺ、すなわち送信バッファ５４０から送られるデータの待ち時間累計、積分レジスタ１３８０にはポートＵ、すなわち送信バッファ５５０から送られるデータの待ち時間累計が、それぞれ記録される。なお、タイマ１３４０のリセット信号をトリガとして、信号線１５００によって全積分レジスタ１３５０〜１３８０が同時にリセットされる。
【００６３】
各積分レジスタ１３５０〜１３８０に記録された待ち時間累計は、スイッチ１４００〜１４３０を経由して、加算器１４５０、１４７０によってジョブ毎の総和が演算される。加算器１４５０にて演算された値はレジスタＰ１４６０に、加算器１４７０にて演算された値はレジスタＱ１４８０に記録される。
【００６４】
待ち時間の累計がいずれのジョブの総和であるかは、ノードグループ情報テーブル５７０（図２）から信号線１６００〜１６３０を経由して伝達される情報に従って、スイッチ１４００〜１４３０にて加算器１４５０に出力するか加算器１４７０に出力するかを切り換えることで、各レジスタに分けられる。
【００６５】
このノードグループ情報テーブル５７０の内容の例を図９に示す。ポートＸ〜ＵのＩＤは、重み付け情報テーブル５６０と同様に各送信バッファ５２０〜５５０に対応する。例えば積分レジスタ１３５０に記録された待ち時間累計はポートＸの情報に従ってジョブＰ＝１、ジョブＱ＝０となり、この情報が信号線１６００を経由してスイッチ１４００に通達される。スイッチ１４００は積分レジスタ１３５０の値を加算器１４５０に出力し、結果としてレジスタＰ１４６０に加算されることとなる。
【００６６】
なお、総和をレジスタＰ１４６０とレジスタＱ１４８０との２つのレジスタに保存するのは、本実施の形態ではノードＡ１０が同時実行するジョブ数が２つ（ジョブＰとジョブＱ）であることによるものであり、同時実行するジョブの数に従って、加算器、レジスタをそれぞれ用意する必要がある。
【００６７】
上記の処理によりレジスタＰ１４６０、レジスタＱ１４８０に記録される値は、レジスタＰ１４６０はジョブＰに関して各ノードが待たされている時間のそれぞれの累計の総和、レジスタＱ１４８０はジョブＱに関して各ノードが待たされている時間のそれぞれの累計の総和、となる。
【００６８】
ノードＡ１０のＣＰＵ５００は、信号線１６５０及び信号線１６６０（図７）を経由してレジスタＰ及びＱを読み出すことができる。レジスタはタイマ１３４０によりリセットされるので、ＣＰＵ５００はレジスタＰ１４６０とレジスタＱ１４８０とを同時に読み出す必要がある。
【００６９】
次に、ＣＰＵ５００が上記レジスタＰ１４６０、レジスタＱ１４８０の情報を読み出し、ジョブスケジューリングに利用する際の動作を説明する。
【００７０】
まず、ＣＰＵ５００はジョブスケジューリングを変更するタイミング（例えば３０秒毎）でレジスタＰ１４６０の値及びレジスタＱ１４８０の値を読み出す。この結果、例えばレジスタＰ１４６０の値が１０、レジスタＱ１４８０の値が２０であったとする。これは、ジョブＰの進捗によって他のノードが受ける待ち時間よりも、ジョブＱの進捗によって他のノードが受ける待ち時間の方が深刻であることを表す。この場合、ジョブＱの優先度をジョブＰよりも大きくすることでシステム全体の効率を向上することができる。
【００７１】
次に、ジョブの優先度の制御方法について説明する。
【００７２】
ジョブの優先度の制御は、各ジョブの持ち時間初期値を決定することで行う。持ち時間初期値の使用方法は、例えばジョブＰの持ち時間初期値が３秒、ジョブＱの持ち時間初期値が２秒だった場合には、ジョブＰを３秒実行しジョブＰの持ち時間が０になった後に、ジョブＱを２秒実行し、その後に再びジョブＰを３秒実行するということになる。
【００７３】
各ジョブの持ち時間初期値の決定は、本実施形態では、次の数式１及び数式２を用いて決定する。
【００７４】
【数１】

【００７５】
【数２】

数式１及び数式２において、レジスタＰ値はレジスタＰ１４６０を読み出した時の値、レジスタＱ値はレジスタＱ１４８０を読み出した時の値、平均レジスタ値はレジスタＰ値とレジスタＱ値との平均値である。
【００７６】
Ｔｄは時間変量を決めるパラメータで、各持ち時間初期値に比べて小さい値とする。例えば前記の「ジョブＰの持ち時間初期値が３秒、ジョブＱの持ち時間初期値が２秒」のように各持ち時間初期値が数秒のオーダであれば、Ｔｄは１秒以下、具体的には０．２〜０．５秒程度の値とする。上記式は例えばジョブＰの優先度を高めたいときは、一度に変化する量はＴｄ以下となるようにジョブＰの持ち時間初期値を増やし、同じ量だけジョブＱの持ち時間初期値を減らすことを表す。
【００７７】
ここで、例えばジョブの数３つとなり、さらにジョブＲを扱う必要がある場合（レジスタＲも用意し、レジスタＲ値も読み出せるとする）には、以下の式を用いれば良い。
【００７８】
【数３】

【００７９】
【数４】

【００８０】
【数５】

ジョブＲを含めた場合の平均レジスタ値は、レジスタＰ値、レジスタＱ値、レジスタＲ値の平均値を意味する。更にレジスタの数が増加した場合にも同様に平均値を用いる。
【００８１】
次に、上記数式１から２又は３から５によって各ジョブの持ち時間初期値を決定した後ジョブスイッチ動作を行う処理について、ジョブを管理するＯＳに関する操作を説明する。
【００８２】
図１０は、ジョブをスイッチするＯＳの処理をフローチャートで表したものである。この処理は、各ジョブ（Ｐ及びＱ）において発生した待ち時間値に対して、ジョブＰの処理はジョブＰの待ち時間値と同じだけ実行し、ジョブをスイッチして、ジョブＱはジョブＱの待ち時間値と同じ時間だけ実行する、といった処理を繰り返すことでジョブスケジューリングを行うものである。
【００８３】
まず初期状態として、カレントジョブを「ジョブＰ」に、待ち時間を「Ｐ初期値」に設定する（処理２０００）。
【００８４】
次に、システムモードからユーザモードに処理を移行し、ＯＳからカレントジョブに処理をスイッチし、ジョブを実行する（処理２０１０）。
【００８５】
ここで、処理をシステムモードに移行しＯＳに処理をスイッチし、Ｐ初期値（待ち時間値）からタイムスライス割込値（一般に１０ｍ秒間隔）を減ずる（処理２０２０）。
【００８６】
次に、この減算された待ち時間値の値を調べる（処理２０３０）。待ち時間値が０以上であれば処理２０１０に移行し、カレントジョブを実行し、待ち時間値からさらにタイムスライス値を減ずる（処理２０２０）処理を繰り返す。時間値０以下になれば、処理２０４０に移行しジョブのスイッチを行う。
【００８７】
処理２０４０では、ジョブをＰからＱ、又はＱからＰに切り替え、処理２０１０に移行し、この新たなジョブに対して処理を実行する。
【００８８】
上記の操作によってジョブのスイッチ動作が実行される。
【００８９】
第１の実施の形態の計算機システムは、以上の一連の処理によって、受信側ノードが送信側ノードに対してデータを待っている時間を計測し、各ジョブ毎に集計し、その集計された待ち時間蓄積値に応じて各々のジョブをスイッチしながら実行することで、ジョブスケジューリングの最適化を行うものである。
【００９０】
以上のように構成された第１の実施の形態の計算機システムでは、データの送信及び受信を行う複数のノードと、前記ノード間のデータ通信を行う通信経路と、を備えた並列型又はグリッド型の計算機システムにおいて、前記ノードは、データを送信する送信側のノードと、送信されるデータに依存するジョブを処理する受信側のノードとを備え、ジョブがデータを必要としてから前記送信側のノードから前記受信側のノードにデータ送信されるまでの間の時間を受信側のノードで計測し、各ノードにおいて計測された待ち時間値をジョブ毎に集計し、集計された待ち時間量に応じてジョブの優先度を決定しジョブのスケジューリングを行うことを特徴とするので、終了予定時刻の不明なマルチノード計算においても、動的にジョブスケジューリングを行うことでスケジューリングの最適化が実現できる。また、各送信ノードが自律的にジョブスケジューリングを行うことで、システム全体のジョブ実行状態を一元管理する必要がなくなり、一元管理に伴う処理のぶつかりを回避することで、ノード数に対してスケーラブルなジョブスケジューリング最適化が実現できる。
【００９１】
次に、第２の実施の形態の計算機システムについて図面を用いて詳細を説明する。
【００９２】
前記第１の実施の形態では、各ノードがデータ受信の度に受信待ち情報を送信側ノードに送り返すという動作を行う。しかし送信側のジョブスケジューリングの頻度は例えば３０秒毎であり、データ受信の度に受信待ち情報を送り返すことは、受信側ノードの負荷を増やすだけでなく余分な情報がネットワークに混在する原因となる。
【００９３】
第２の実施の形態の計算機システムでは、受信側ノードにおいて待ち時間を一定時間集計して、これをジョブスケジューリングに活用する。なお、第１の実施の形態と同一の動作をする構成には同一の処理を付して、その詳細な説明は省略する。
【００９４】
図１１は第２の実施の形態の受信待ち計測回路６２５の構成を表すブロック図である。
【００９５】
基本的な構成は図４に示す第１の実施の形態の受信待ち計測回路６２５と同じであるが、タイマ３０００、加算機３０１０、積分レジスタ３０２０を備えること、カウンタ１１２０の出力を積分レジスタ３０２０に集計すること、集計した結果をタイマ３０００が発生するインターバル信号を受けたタイミングで送信側ノードＡ１０へ返送すること、が異なる。なお本実施の形態のタイマ３０００のインターバルは１０秒とする。
【００９６】
以下に、この第２の実施の形態の受信待ち計測回路６２５の動作を説明する。
【００９７】
第１の実施の形態では、受信確認フラグ１１３０がＣＰＵ６００により“０”にセットされること、すなわち受信データを必要とする処理以外の処理が無くなり、受信データの着信を待つだけとなったタイミング、をトリガとしてノードＡ１０に対して待ち時間情報を返送していたが、本実施の形態では、後述する通りタイマ３０００からの一定間隔の同期信号（インターバル信号）をトリガにして待ち時間情報を返送する。
【００９８】
また、カウンタ１１２０はカウントを終了した時点、すなわち受信確認フラグ１１３０が“１”であり受信完了フラグ１１００が“０”から“１”にセットされたこと、を信号線１１５０及び信号線１１６０を経由して検知すると、カウントした待ち時間情報を信号線１１７０を通じて加算器３０１０に出力すると共に、信号線３０７０を通じて積分レジスタ３０２０に対してトリガ信号を出力する。積分レジスタ３０２０はこのトリガ信号を受けて値を更新する。すなわち現在の積分レジスタ３０２０の値とカウンタ１１２０の出力との和を加算器３０１０にて演算した値を新たに積分レジスタ３０２０の値とする。
【００９９】
受信通知回路１１４０は、積分レジスタ３０２０に蓄積された待ち時間情報、すなわち待ち時間累計情報を、タイマ３０００から信号線３０８０を経由して送られるインターバル信号をトリガとして信号線１２０を通じて送信側のノードＡ１０に送る。このトリガによって同時に積分レジスタ３０２０はリセットされる。
【０１００】
この際、各ノードによってタイマ３０００のインターバルが異なることを考慮して、ノードＡ１０に送る待ち時間累計情報は積分レジスタ３０２０の値をタイマ３０００のインターバルの値で除算した値、すなわち経過した時間のうち受信を待っていた時間の割合とする。
【０１０１】
まず、本実施の形態の負荷バランス計算回路５８０の動作について説明する。
【０１０２】
図１２は、本実施の形態の負荷バランス計測回路５８０の構成を表すブロック図である。
【０１０３】
基本的な構成は図７に示す第１の実施の形態の負荷バランス計測回路５８０と同じであるが、タイマ１３４０のリセット信号の動作が異なる。すなわち、受信待ち計測回路６２５から送られてきた待ち時間情報を扱う負荷バランス計算回路５８０は、原理的には第１の実施の形態の動作と完全に同一としても動作はするが、待ち時間情報が前述した第１の実施の形態の受信待ち計測回路６２５（図４）の例である１０秒毎にのみ送られてくるとすると、レジスタＰ１４６０とレジスタＱ１４８０とをＣＰＵ５００が読み出すタイミングによっては待ち時間累積情報が到着した直後のノードと待ち時間累積情報が到着した直前のノードとが存在する場合があり、レジスタ値に大幅な差が発生し適切なジョブスケジューリングが行えないという問題が発生する。
【０１０４】
各ノードからの待ち時間累積情報が到着するタイミングが完全に一致する場合は問題にはならないが、一般にネットワーク経由ではタイミングは完全に制御できないため、本実施の形態では次のような手段を用いる。
【０１０５】
本実施の形態の負荷バランス計算回路５８０では、積分レジスタ１３５０〜１３８０の値更新のタイミングを受信待ち時間レジスタ１２００〜１２３０の更新タイミングではなく、タイマ１３４０が生成し信号線１５９０を経由して通知されるインターバル信号を用いる。このインターバル信号は、信号線１５００を通して通知されるリセット信号のインターバル及びタイマ３０００（図１１）のインターバル信号よりも充分に短いインターバルとすることを前提としている。例えば、信号線１５００のインターバルが１分、タイマ３０００のインターバルが１０秒だった場合には、信号線１５９０のインターバルは０．１秒という値に設定する。
【０１０６】
各積分レジスタ１３５０〜１３８０は、０．１秒毎に、受信待ち時間レジスタ１２００〜１２３０に記録されている値に積算器１２５０によって重み付けした値を積算する。これによって、受信待ち時間レジスタ１２００〜１２３０が各ノードの受信待ち計測回路によって１０秒毎にしか更新されない場合でも、積分レジスタ１３５０〜１３８０の値は０．１秒毎に更新されることになり、レジスタＰ１４６０やレジスタＱ１４８０の値が１０秒毎に大きく変更すること、すなわちレジスタＰ１４６０及びレジスタＱ１４８０を読み出すタイミングによっては、待ち時間累積情報が到着した直後のノードと待ち時間累積情報が到着した直前のノードとが存在しレジスタ値に大幅な差が発生すること、は無くなる。
【０１０７】
ただし、各ノードの受信待ち計測回路から通知される待ち時間累積値そのものは受信待ちレジスタ１２００〜１２３０の更新時、すなわち１０秒毎にしか変更されないので、第１の実施の形態と比較するとジョブスケジューリングの精度は落ちるが、受信待ち時間情報については各ノードのデータ受信毎ではなく一律に１０秒毎に更新するので、各ノードやノード間通信に用いるネットワークの負荷を軽減することができる。
【０１０８】
上記のように構成された第２の実施の形態の計算機システムは、第１の実施の形態の効果に加え、各ノードにおいて待ち時間累積値を演算し、受信側ノードに備えられたタイマのインターバル信号のタイミングによって待ち時間累積値を送信ノードに通知するので、各ノードの負荷やデータの送受信に用いるネットワークの負荷を低減することができる。
【０１０９】
次に、第３の実施の形態の計算機システムについて図面を用いて詳細を説明する。
【０１１０】
前記第１及び第２の実施の形態の計算機システムでは、ノード間のデータの送受信及びジョブスケジューリングの最適化をハードウェア動作によって実現するものであるが、第３の実施の形態の計算機システムは、それらをソフトウェアによって実現するものである。なお、第１の及び第２の実施の形態と同一の動作をする構成には同一の処理を付して、その詳細な説明は省略する。
【０１１１】
まず、送信側のノードにおけるデータ送信動作を説明する。
【０１１２】
図１３は、第３の実施の形態の計算機システムのブロック図を示す。
【０１１３】
ノードＡ１０はデータ送信側のノード、ノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０は受信側のノードである。なお、ノードＢ２０、Ｃ３０、Ｄ４０、Ｅ５０の内部は同一の構成とする。
【０１１４】
送信バッファ５２０はノードＢ２０の受信バッファ６２０に、送信バッファ５３０はノードＣ３０の受信バッファ７２０に、送信バッファ５４０はノードＤ４０の受信バッファ８２０に、送信バッファ５５０はノードＥ５０の受信バッファ９２０にそれぞれ対応する。
【０１１５】
図１４は、送信側のノードから受信側のノードにデータを送信する動作を表すフローチャートである。ここではノードＡ１０からノードＢ２０にデータを送信する動作を説明する。
【０１１６】
ユーザジョブは、受信側のノードＢ２０に対してデータ送信が必要になると、まず送信側のノードＡ１０の主記憶５０５（図１３）中の送信要求フラグが“０”である、もしくは“０”にセットされるまで待ってから、送信バッファ５２０にデータを書き込み、システムコールを発行してユーザモードからシステムモードへと移行しＯＳに処理を渡す。これを受けてＯＳが送信要求処理を行う（処理５０００）。
【０１１７】
まず、ＯＳは送信要求フラグを“０”から“１”に変更する（処理５０１０）。この送信要求フラグは主記憶５０５内に存在する初期値は“０”のフラグで、ＯＳが管理している。フラグが“０”であれば送信バッファ５２０が空いていることを表し、“１”であれば送信バッファ５２０には未送信のデータが残っていることを表す。
【０１１８】
次に、受信側のノードＢ２０の受信バッファ６２０が空いているかどうかを示す受信バッファ開放フラグが“１”であるかどうかを確認する（処理５０４０）。受信バッファ開放フラグは主記憶５０５内に存在する初期値は“１”のフラグで、ＯＳが管理している。“０”であれば受信側ノードの受信バッファ６２０が空いていることを表し、“１”であれば受信側ノードの受信バッファ６２０内に送信済みだがまだ受信側ノードのユーザジョブにより読み出されていないデータが残っていることを表す。
【０１１９】
受信バッファ開放フラグが“１”である場合は直ちにデータの送信が可能であることを示すので、まず受信バッファ開放フラグを“０”にセットしてから（処理５０５０）、信号線４０１０を経由して受信バッファ６２０にデータを送る（処理５０６０）。データが受信バッファ６２０に送られると送信バッファ５２０は開放され空きとなるので、送信要求フラグを“１”から“０”にリセットしてから（処理５０７０）、ＯＳ処理からユーザジョブに復帰する（処理５０８０）。
【０１２０】
また、処理５０４０において受信バッファ開放フラグが“０”である場合には、受信側ノードＢ２０から受信バッファ６２０の開放の通知を受けてからでないとデータを送信できないので、一旦ユーザモードに処理を切り換えユーザジョブの処理を実行する（処理５０８０）。
【０１２１】
次に受信側であるノードＢ２０の動作を説明する。
【０１２２】
まず、送信側のノードＡ１０からデータが送られてきたときの処理（図１５）を説明する。
【０１２３】
送信側のノードＡ１０からデータが送られてくると、ＣＰＵ６００（図１３）に割り込みが通知される。この割り込みを受けてユーザモードからシステムモードに切り替わり、ＯＳに処理を移行しデータを受信する（処理５３５０）。
【０１２４】
受信が完了すると、ＯＳは受信完了フラグを“０”から“１”にセットする（処理５３６０）。この受信完了フラグは主記憶６０５内に存在する初期値“０”のフラグで、ＯＳが管理している。フラグが“０”の場合は受信バッファが開いていることを表し、フラグが“１”の場合は受信が完了したがまだ読み出していないデータが受信バッファに残っていることを表す。
【０１２５】
次に、受信確認フラグを調べる（処理５３７０）。受信確認フラグは主記憶６０５内に存在する初期値“０”のフラグで、ＯＳが管理している。フラグが“１”の場合は、受信側のノードＢ２０のユーザジョブがデータを受信する準備ができたがまだデータを受信していないことを表す。フラグが“０”の場合は、まだユーザジョブ側の処理が済んでおらずデータを受信可能でないことを表す。この場合はシステムモードからユーザモードに処理を切り換え、ユーザジョブにスイッチする（処理５４２０）。
【０１２６】
受信確認フラグが“１”の場合には、受信バッファ読み出し処理５５００に移行する。
【０１２７】
次に、受信側ノードＢ２０のユーザジョブがデータを受信する準備ができ、送信側ノードＡ１０に対しデータ受信要求を発行する場合の処理（図１６）を説明する。
【０１２８】
ユーザジョブは、データを受信する準備ができるとシステムコールを発行し、ユーザモードからシステムモードへと移行しＯＳに処理を渡す。ＯＳは受信データを受ける処理を開始する（処理５３００）。
【０１２９】
次に、ＯＳは受信確認フラグを“１”に変更する（処理５３１０）。
【０１３０】
次に、カウンタ４０５０（図１３）を起動し、カウントを開始する（処理５３２０）。このカウンタ４０５０は、データ受信の準備ができてから実際にデータが送られてくるまでの時間をカウントする。
【０１３１】
次に、受信完了フラグを調べる（処理５３３０）。まだ受信データが到着していない場合（受信完了フラグが“０”の場合）には、システムモードからユーザモードに処理を切り換えユーザジョブにスイッチする（処理５３４０）。この場合、送信側ノードからのデータを必要とするユーザジョブに復帰したとしても、一般的には受信データ待ちである場合が多く事実上実行できる処理がないため、通信を行わない別のジョブがあればそちらにスイッチした方が効率的である。
【０１３２】
既に受信データが到着している場合（受信完了フラグが“１”の場合）には、受信バッファ読み出し処理５５００を行う。
【０１３３】
次に、受信バッファ読み出す処理（図１７）を説明する。
【０１３４】
この処理は、送信データが到着して受信が完了したときに受信確認フラグを調べたときにフラグが“１”だった場合（図１５の処理５３７０）及び、ユーザジョブからデータ受信要求を受けて受信完了フラグを調べたときにフラグが“１”だった場合（図１６の処理５３３０）、すなわち、必要な受信データが受信バッファ６２０に存在し、更にユーザジョブもデータを受信可能な状態になっているため、受信バッファからデータを読み出す処理である。
【０１３５】
まず、カウンタ４０５０のカウントを止めてカウントされた値を読み出す（処理５５１０）。
【０１３６】
この値は「ユーザジョブがデータを受信できるようになってから実際に受信できるまでの値」を表す。ユーザジョブが受信の準備ができる前に送信側ノードＡ１０からデータが到着していた場合には、カウンタは図１５の処理５３２０から処理５５１０までの間をカウントするので、極めて小さい値（すなわち待ち時間は殆ど０）となる。しかし、ユーザジョブが受信の準備ができた後に送信側ノードＡ１０からデータが到着した場合（図１６）には、カウンタを起動する図１６の処理５３２０の後、処理５３３０でＮＯ側に分岐し別のジョブを実行している時に送信側ノードからデータが到着し、これにより図１５の処理５３５０に移行する。この後、受信確認フラグが“１”であるので図１５の処理５３７０でＹＥＳ側に分岐し、処理５５１０でカウンタを止めるので、「ユーザジョブがデータを受信できるようになってから実際に受信できるまでの間」をカウントする。
【０１３７】
次に、受信バッファを読み出し、読み出したデータをユーザジョブに渡す（処理５５２０）。
【０１３８】
受信バッファからデータが読み出されると受信バッファは空きとなるので、受信完了フラグを“０”にセットする。また、ユーザジョブの受信待ちも解消するので、受信確認フラグを“０”にセットする。この時同時にカウンタ値もリセットする（処理５５３０）。
【０１３９】
以上により、受信処理は完了するので、送信側のノードＡ１０に受信バッファの開放を信号線４０１０を通じて通知すると共に、カウンタでカウントした待ち時間情報も送信側のノードＡ１０に通知する（処理５５４０）。
【０１４０】
最後に、システムモードからユーザモードに処理を切り換え、ユーザジョブにスイッチする（処理５５５０）。
【０１４１】
次に、送信側のノードＡ１０が受信側のノードＢ２０から受信完了の通知を受けた場合の処理（図１８）について説明する。
【０１４２】
まず、受信完了の通知を受けると、ユーザモードからシステムモードの処理を切り換え、ユーザジョブからＯＳに処理をスイッチする（処理５１００）。
【０１４３】
次に、受信完了の通知によって受信バッファは開放されたことを示すので、受信バッファ開放フラグを“１”にセットする（処理５１１０）。
【０１４４】
次に、受信完了の通知と共に送られてきた待ち時間情報を蓄積するために、まず重み付け情報テーブル５６０を読み出し、該当する受信側ノードの重み付けを把握する（処理５１２０）。
【０１４５】
次に、送られてきた待ち時間情報と処理５１２０で把握した重み付けとの積を演算し、この値と対応する送信バッファの待ち時間蓄積値との和を新たな待ち時間蓄積値とする（処理５１３０）。待ち時間蓄積値は主記憶５０５内に存在する初期値は“０”のデータで、ＯＳが管理する。この待ち時間蓄積値は後述するジョブのスイッチ手段に使用する。
【０１４６】
次に、送信要求フラグを調べる（処理５１４０）。この時、送信要求フラグが“０”であれば、受信側ノードＢ２０の受信バッファ６２０は開放されたが、次に送るべきデータはまだ送信側バッファ５２０に無いことを示すので、ユーザジョブへ復帰する（処理５１８０）。送信要求フラグが“１”であれば、受信側ノードＢ２０の受信バッファ６２０にデータを送出し、送信側ノードＡ１０の送信バッファ５２０が空いた後、受信側ノード２０のユーザジョブがデータ受信要求を発行し受信バッファ６２０からデータを読み出して受信バッファ６２０が空くまでの間に、送信側ノードＡ１０のユーザジョブから次のデータ送信要求が発行され再び送信バッファ５２０に送信データが準備されたことを示すので、直ちにデータの送信が可能である。
【０１４７】
そこで、受信バッファ開放フラグを“０”にセットしてから（処理５１５０）、信号線４０１０を経由して受信バッファ６２０にデータを送る（処理５１６０）。データが受信バッファ６２０に送られると送信バッファ５２０は開放され空きとなるので、送信要求フラグを“１”から“０”にリセットしてから（処理５１７０）、ＯＳ処理からユーザジョブに復帰する（処理５１８０）。
【０１４８】
また、処理５１４０において受信バッファ開放フラグが“０”である場合には、受信側ノードＢ２０から受信バッファ６２０の開放の通知を受けてからでないとデータを送信できないので、一旦ユーザモードに処理を切り換えユーザジョブの処理を実行する（処理５１８０）。
【０１４９】
上記の処理によって、ＯＳがフラグを操作し、送信側のノードから送信バッファ、受信バッファを用いて受信側ノードにデータを送信することができる。
【０１５０】
次に、送信側ノードＡ１０が演算し記録している待ち時間蓄積値を用いて、ユーザジョブを適切にスイッチする処理（図１９）を説明する。
【０１５１】
ジョブスイッチはタイマ４０００（図１３）がＣＰＵ５００に対して発生する割り込みにより開始する（処理５２００）。
【０１５２】
ジョブスイッチの処理が開始されると、まずＯＳは各ポートの待ち時間蓄積値を読み出す（処理５２１０）、次に、各ポートの待ち時間蓄積値をリセットする（処理５２２０）。
【０１５３】
読み出した待ち時間蓄積値からジョブスイッチの設定値を計算するために、まず、ノードグループ情報テーブル５７０（図１３）を読み出す（処理５２３０）。このノードグループ情報テーブル５７０によって、各ポートがいずれのユーザジョブに属するかを把握し、それぞれで待ち時間累計を出すため、各ポートの待ち時間蓄積値のジョブ毎の和を演算する（処理５２４０）。本実施の形態では、第１の実施の形態と同様にジョブＰ及びジョブＱのいずれかに属するとする。
【０１５４】
この待ち時間累積値の和は、第１の実施の形態と同じくジョブの優先度に使用するため、計算によりジョブＰとジョブＱとのジョブスイッチの初期値を算出し、第１の実施の形態と同じくタイムスライス毎に図１０で示す処理を行い、ユーザジョブのスイッチを適切な割合で行う。
【０１５５】
最後に、システムモードからユーザモードに処理を切り換え、ユーザジョブにスイッチする（処理５２５０）。
【０１５６】
以上のように構成された第３の実施の形態では、第１及び第２のの実施の形態と同一の作用及び効果、すなわち、送信側ノードから受信側ノードに対するデータの送信、各ノードの待ち時間情報の集計、待ち時間情報によってユーザジョブをスイッチするジョブスケジューリングの最適化、をＯＳの動作（ソフトウェア）によって実現することができる。
【図面の簡単な説明】
【図１】第１の実施の形態の計算機システムの概念図。
【図２】第１の実施の形態の計算機システムの構成を表すブロック図。
【図３】第１の実施の形態の送信制御回路５２５の詳細な構成を表すブロック図。
【図４】第１の実施の形態の受信待ち計測回路６２５の詳細な構成を表すブロック図。
【図５】第１の実施の形態の受信確認フラグ１１３０の状態を表す表。
【図６】第１の実施の形態の受信完了フラグ１１００の状態を表す表。
【図７】第１の実施の形態の負荷バランス計算回路５８０の詳細な構成を表すブロック図。
【図８】第１の実施の形態の重み付けテーブル５６０の例を表す表。
【図９】第１の実施の形態のノードグループ情報５７０の例を示す表。
【図１０】第１の実施の形態のジョブをスイッチするＯＳの処理を表したフローチャート。
【図１１】第２の実施の形態の受信待ち計測回路６２５の構成を表すブロック図。
【図１２】第２の実施の形態の負荷バランス計測回路５８０の構成を表すブロック図。
【図１３】第３の実施の形態の計算機システムのブロック図。
【図１４】第３の実施の形態の、送信側のノードから受信側のノードにデータを送信する動作を表すフローチャート。
【図１５】第３の実施の形態の、送信側のノードからデータが送られてきたときの処理を表すフローチャート。
【図１６】受信側ノードのユーザジョブがデータを受信する準備ができ、送信側ノードに対しデータ受信要求を発行する場合の処理を表すフローチャート。
【図１７】第３の実施の形態の受信バッファ読み出す処理を表すフローチャート。
【図１８】第３の実施の形態の、送信側のノードが受信側のノードから受信完了の通知を受けた場合の処理を表すフローチャート。
【図１９】第３の実施の形態の、送信側ノードＡが演算し記録している待ち時間蓄積値を用いてユーザジョブをスイッチする処理を表すフローチャート。
【符号の説明】
１０ノードＡ
２０ノードＢ
３０ノードＣ
４０ノードＤ
５０ノードＥ
１００Ｓノード
２００、３００マルチノード計算
５００、６００ＣＰＵ
５０５、６０５主記憶
５２０、５３０、５４０、５５０送信バッファ
５２５、５３５、５４５、５５５送信制御回路
５６０重み付け情報テーブル
５７０ノードグループ情報テーブル
５８０負荷バランス計算回路
６２０、７２０、８２０、９２０受信バッファ
６２５、７２５、８２５、９２５受信待ち計測回路
１１００受信完了フラグ
１１２０カウンタ
１１３０受信確認フラグ
１１４０受信通知回路
１２００〜１２３０受信待ち時間レジスタ
１２５０〜１２８０積算器
１３００〜１３３０加算器
１３４０タイマ
１３５０〜１３８０積分レジスタ
１４００〜１４３０スイッチ
１４５０、１４７０加算器
１４６０レジスタＰ
１４８０レジスタＱ
２０００〜２０４０処理
３０００タイマ
３０１０加算器
３０２０積分レジスタ
４０００タイマ
４０１０〜４０４０信号線
４０５０カウンタ
１１０〜１８０、５１０、５１５、６１０、１０００、１０５０〜１０６５、１１５０〜１１９０、１５００〜１６５０、３０５０〜３０８０信号線[0001]
BACKGROUND OF THE INVENTION
The present invention relates to job scheduling in a parallel type or grid type computer system constructed by a plurality of nodes, and relates to a method for determining priority between jobs for improving the efficiency of the entire system, and communication for realizing the determination method. Regarding the method.
[0002]
[Prior art]
A single node consisting of one or more CPUs and main memory is used as a unit, and this node is connected via a network to move jobs and data between nodes, or to perform large calculations by linking multiple nodes. The system is called a parallel type or grid type computer system. A parallel type or grid type computer system is an essential component for constructing a large-scale system using more than 1000 CPUs. Although the difference between the names of the grid type computer system and the parallel type computer occurs depending on the physical spread of the system and the performance and specifications of the connected network, the present invention does not distinguish between the two.
[0003]
When executing a large calculation (hereinafter referred to as “multi-node calculation”) using a plurality of nodes simultaneously in this parallel or grid type computer system, it is important how to map each node efficiently. This mapping is basically based on occupying each node with one job. The job here refers to a part of multi-node calculation that is obtained by dividing multi-node calculation into each node. Occupying each node with one job requires high processing performance. One node executes multiple jobs at the same time, that is, the same node is involved in multiple multi-node calculations at the same time. There is no merit just to reduce efficiency.
[0004]
However, if the data owned by each node is not homogeneous and multiple nodes need data that only one node has, the node that owns the data is involved in multiple nodes. The overall system efficiency may increase. For example, only a certain node (hereinafter referred to as “node A”) has original data (hereinafter referred to as “data L”) necessary for calculation on the main memory or disk, and the data L is being calculated. In the case of executing two multi-node calculations that are referred to many times at the same time, the following two execution methods are conceivable.
[0005]
(Execution Method 1) The data L of the node A is copied to another node to increase the number of nodes having the data L to two, and one node is added to each multi-node calculation.
[0006]
(Execution method 2) The node A that owns the data L is used in both two multi-node calculations. Node A executes two jobs while switching them.
[0007]
In general calculation processing, the original data is huge, but the data used in the calculation is a part of the original data. However, it is unclear which data of the original data is used at the start of calculation, and it is often determined which data is used for the first time during the execution of the calculation. For this reason, the execution method 1 does not know which data L is to be used, and therefore all of the data L is copied, which is wasteful. Therefore, in many cases, it is more realistic to use the execution method 2. That is, node A is involved in both two multi-node calculations.
[0008]
Thus, when node A is involved in two multi-node calculations, the execution method of the two jobs in node A affects the efficiency of the entire system. That is, based on what schedule the two jobs are executed in node A (for example, both jobs are executed equally by switching both jobs one second at a time. Repeating the execution of another job for 1 second after executing it for 5 seconds preferentially executes the latter job) is an important factor for improving the efficiency of the entire system. Determining scheduling so as to improve the efficiency of the entire system is referred to herein as “job scheduling optimization”.
[0009]
Regarding the job scheduling optimization problem, the invention described in JP-A-8-137910 discloses means for optimization at the start of calculation. Specifically, the scheduled end time of each node is calculated at the start of calculation, and the job related to the multi-node calculation is executed with the highest priority for the slowest node, that is, the node that determines the speed of multi-node calculation. For the node, job scheduling is optimized by allowing execution of other jobs within a range not exceeding the scheduled end time.
[0010]
[Problems to be solved by the invention]
The invention described in Japanese Patent Laid-Open No. 8-137910 is effective for a process in which a scheduled end time can be determined at the start of a job, but a calculation in which the amount of processing ahead is determined based on the calculation result, for example, a convergence calculation (calculation It is not possible to use it effectively in a process such as repeatedly calculating until the result converges.
[0011]
Further, in the invention described in Japanese Patent Laid-Open No. 8-137910, a processing method having a table for centrally managing the calculation state of each node is disclosed, but also for a large-scale multi-node calculation using several hundred nodes. In order to realize scalable job scheduling optimization that can be handled, this form is not appropriate because it causes table access collisions. Each node can autonomously optimize job scheduling. is necessary.
[0012]
[Means for Solving the Problems]
The present invention Send and receive data and perform multi-node calculations based on the sent and received data A plurality of nodes, and a communication path for performing data communication between the nodes, One job among a plurality of jobs constituting the multi-node calculation is executed by occupying the plurality of nodes by predetermined scheduling, and the multi-node calculation is executed by sequentially switching the jobs to be executed. In a parallel type or grid type computer system, the node includes a transmission-side node that transmits data, and a reception-side node that processes a job depending on the transmitted data, The receiving node is required to process the one job After you need the data , Receive the necessary data Until It took A waiting time measuring means for measuring a time value, and the time value The plurality of Aggregate by job And calculate the cumulative value of the time value required by each node for the one job. Load balance counting means to A time for occupying the node for the processing of the one job is calculated according to the calculated cumulative value, and a job with a large cumulative value increases the holding time, and a job with a smaller cumulative value Controls the priority of the plurality of jobs by reducing the holding time Job scheduling means.
[0013]
[Operation and effect of the invention]
The present invention Send and receive data and perform multi-node calculations based on the sent and received data A plurality of nodes, and a communication path for performing data communication between the nodes, One job among a plurality of jobs constituting the multi-node calculation is executed by occupying the plurality of nodes by predetermined scheduling, and the multi-node calculation is executed by sequentially switching the jobs to be executed. In a parallel type or grid type computer system, the node includes a transmission-side node that transmits data, and a reception-side node that processes a job depending on the transmitted data, The receiving node is required to process the one job After you need the data , Receive the necessary data Until It took A waiting time measuring means for measuring a time value, and the time value The plurality of Aggregate by job And calculate the cumulative value of the time value required by each node for the one job. Load balance counting means to A time for occupying the node for the processing of the one job is calculated according to the calculated cumulative value, and a job with a large cumulative value increases the holding time, and a job with a smaller cumulative value Controls the priority of the plurality of jobs by reducing the holding time Therefore, even in multi-node calculation where the scheduled end time is unknown, the scheduling can be optimized by dynamically performing job scheduling. In addition, each sending node autonomously performs job scheduling, which eliminates the need to centrally manage the job execution status of the entire system, and avoids collisions in the processing associated with centralized management, making it scalable to the number of nodes. Job scheduling optimization can be realized.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Details of the computer system according to the first embodiment of this invention will be described below with reference to the drawings.
[0015]
FIG. 1 is a conceptual diagram of a computer system according to the first embodiment of this invention.
[0016]
Five nodes of nodes A10, B20, C30, D40, and E50 are involved in the calculation. There are two multi-node calculations performed by each of these nodes: a multi-node calculation 200 and a multi-node calculation 300. The node A executes a job of the multi-node calculation 200 (hereinafter referred to as “job P”) and a job of the multi-node calculation 300 (hereinafter referred to as “job Q”). Node B and node C execute only job P, and node D and node E execute only job Q.
[0017]
In each multi-node calculation, data communication between nodes is repeatedly executed. That is, data is repeatedly transmitted from the node A10 to the nodes B20, C30, D40, and E50. Since the nodes B20, C30, D40, and E50 use data sent from the node A10 during the calculation, if the execution of the job P is delayed in the node A10, the node B20 and the node C30 increase the data waiting time from the node A10, When execution of job Q is delayed at node A10, node D40 and node E50 increase the waiting time from node A10. That is, the scheduling method of job P and job Q in node A10 determines the efficiency of the entire system.
[0018]
There are several methods for optimizing the job scheduling method. For example, when job P is greatly prioritized in node A10 (for example, job Q is executed for 1 second after job P is executed for 10 seconds). In general, the waiting time between the node D40 and the node E50 increases, and the efficiency of the entire system decreases. However, since the job P requires much processing time for the job Q, the node B20 and the node C30 have a large waiting time even though the job P is greatly prioritized, and the node D40 and the node In the case where there is no waiting time for E50, the priority of the job P further increases the efficiency of the entire system.
[0019]
In the computer system according to the first embodiment, the amount of waiting time actually generated at the receiving side nodes B20, C30, D40, and E50 is returned to the transmitting side node A10 (processing 120 to 150 in FIG. 1). The waiting time amount is totaled for each job in the transmission side node A10, and job scheduling is determined.
[0020]
In the first embodiment, the S-node 100 serving as the information supervisor determines whether each node is in a transmission / reception relationship with any node and the communication port of each node is used for which job. Grasp and distribute to each node. Further, when the processing of each node is inhomogeneous, the S node 100 also distributes weighting information corresponding to the difference in processing of each node. This weighting information is used when, for example, the node B20 is faster than the other nodes, and waiting for the node B20 for 1 second is more problematic in terms of the efficiency of the entire system than waiting for another node for 1 second. In this case, the node B20 is weighted more than other nodes and is taken into consideration when calculating the waiting time amount (a specific method will be described later). Since the node weighting information only needs to be distributed to each node once at the time of system construction and once at the start of multi-node calculation, the processing amount of the S node 100 is small. Therefore, instead of preparing the independent S node 100 as shown in FIG. 1, any one of the nodes that execute the calculation may also serve as the S node.
[0021]
Hereinafter, a data transmission / reception procedure for the computer system according to the first embodiment will be described, and then a job scheduling method will be described.
[0022]
First, a data transmission / reception method will be described.
[0023]
FIG. 2 is a block diagram showing the configuration of the computer system according to the first embodiment.
[0024]
Node A10 transmits data, and nodes B20, C30, D40, and E50 receive data. Node A10 has only resources on the transmission side (transmission buffer 520, transmission control circuit 525, weighting information table 560, node group information table 570, load balance calculation circuit 580), and nodes B20, C30, D40, and E50 have reception side resources. Only resources (reception buffers 620, 720, 820, 920, reception waiting

measurement circuits

625, 725, 825, 925) are shown. In the first embodiment, a node that performs transmission and a node that performs reception are separated. However, each node may perform both transmission and reception. When each node performs transmission / reception, it is necessary for each node to have a resource on the transmission side and a resource on the reception side.
[0025]
The node A10 has 4 transmission ports and can transmit to 4 nodes. Specifically, there are four transmission buffers 520 to 550. When the number of divisions for multi-node calculation is large and the node A10 needs to transmit data to more jobs, it is necessary to further increase the number of ports.
[0026]
In the first embodiment, all communication destinations of each port are connected to another node, but one port is not prepared for each node, but is determined by the number of destination jobs. For example, in a case where two jobs are executed in the node B20 and transmitted from the node A10 to each job, two ports are used for the node B20. Even if the number of ports is further increased, the essence of the present invention does not change, and the implementation method can be easily analogized.
[0027]
Next, a data transmission method from the node A10 to the node B20 will be described.
[0028]
Data transmission is performed using the transmission buffer 520 and the reception buffer 620. In this case, “transmission data is written when there is no space in the transmission buffer 520”, “transmission is performed when there is no space in the reception buffer 620”. It is necessary to prevent “data being written from the buffer 520 to the reception buffer 620” and “reading the reception buffer 620 when transmission data has not yet been written to the reception buffer 620”. Therefore, in data transmission, the CPU 500, the CPU 600, the transmission control circuit 525, and the reception waiting measurement circuit 625 are controlled using various flags.
[0029]
This data transmission control procedure will be described with reference to FIG.
[0030]
FIG. 3 shows a detailed configuration of the transmission control circuit 525 of the node A10 shown in FIG.
[0031]
The transmission control circuit 525 includes a transmission request generation circuit 1010, a transmission request flag 1020, and a reception buffer release flag 1030.
[0032]
The CPU 500 checks the transmission request flag 1020 via the signal line 1000. This transmission request flag 1020 is a flag indicating whether or not there is a data transmission request. When the transmission request flag 1020 is “0” (that is, no transmission request has been issued or transmission has ended), the transmission data is copied from the main memory 505 (FIG. 2) to the transmission buffer 520. When the transmission request flag 1020 is “1” (that is, during transmission), the CPU 500 waits until the transmission request flag 1020 becomes “0” before copying the transmission data to the transmission buffer 520. The transmission request generation circuit 1010 sets the transmission request flag 1020 from “1” to “0”. This operation will be described later.
[0033]
If the transmission request flag 1020 is “0”, the CPU 500 copies transmission data to the transmission buffer 520 and then sets “1” to the transmission request flag 1020 via the signal line 1000. The transmission request generation circuit 1010 is notified via the signal line 1050 that the transmission request flag 1020 is set.
[0034]
Upon receiving this notification, the transmission request generation circuit 1010 checks the value of the reception buffer release flag 1030 notified via the signal line 1060. The reception buffer release flag 1030 is a flag indicating whether or not the reception buffer on the reception side is free. The initial value of the reception buffer release flag 1030 is “1”, which indicates that the reception buffer is empty. It is “0” if the reception buffer is in use. When the transmission request generation circuit 1010 checks the reception buffer release flag 1030, if it is “1”, the reception buffer is open, so that the transmission buffer 520 is requested to transmit data via the signal line 510, and the signal The reception buffer release flag 1030 is set to “0” via the line 1065.
[0035]
When the transmission request generation circuit 1010 checks the reception buffer release flag 1030, if it is “0”, the reception buffer is in use, so it waits without transmitting until the reception buffer release flag 1030 is set to “1”. . In order for the reception buffer release flag 1030 to be set from “0” to “1”, it is necessary to notify the reception side node B 20 of the release of the buffer via the signal line 120, which will be described later.
[0036]
When the transmission buffer 520 receives a data transmission request via the signal line 510, the transmission buffer 520 transmits the data to the reception buffer 620 of the receiving node B 20 via the signal line 110. When the data transmission is completed, the transmission request generation circuit 1010 is notified of the end of the data transmission via the signal line 515. Upon receiving the notification, the transmission request generation circuit 1010 sets the transmission request flag 1020 from “1” to “0” via the signal line 1055. The transmission request flag 1020 allows the CPU 500 to know via the signal line 1000 that data transmission has been completed.
[0037]
FIG. 4 shows a detailed configuration of the reception waiting measurement circuit 625 of the node B 20 shown in FIG. The reception waiting measurement circuit 625 includes a reception completion flag 1100, a count 1120, a reception confirmation flag 1130, and a reception notification circuit 1140.
[0038]
When data is written in the reception buffer 620, the reception buffer 620 sets the reception completion flag 1100 from “0” to “1” via the signal line 610. The reception completion flag 1100 is a flag having an initial value “0”, and is “1” until data is read by the CPU 600 after arrival. The operation of setting the reception completion flag from “1” to “0” will be described later.
[0039]
The reception notification circuit 1140 is notified via the signal line 1150 that the reception completion flag 1100 has become “1”. In response to this notification, the reception notification circuit 1140 checks the value of the reception confirmation flag 1130 via the signal line 1160. If the value of the reception confirmation flag 1130 is “0”, the reception notification circuit 1140 does nothing, and if the flag is “1”, it interrupts the CPU 600 via the signal line 1190 (received data arrival). Notification). The reception confirmation flag 1130 is a flag having an initial value “0”, and the CPU 600 passes through the signal line 1180 when the CPU 600 of the receiving node B 20 waits for reception data scheduled to arrive at the reception buffer 620. The reception confirmation flag 1130 is set to “1”.
[0040]
The timing at which the CPU 600 sets the reception confirmation flag 1130 to “1” is “a timing at which processing using received data can be started although there are other processing” or “processing other than processing using received data”. It depends on the application whether or not it is appropriate to wait for the reception of received data. In this embodiment, since the setting of the reception confirmation flag 1130 is also used for the measurement of the waiting time by a counter, which will be described later, “no processing other than the processing using the received data is eliminated and only waiting for the reception of the received data. Timing.
[0041]
The CPU 600 notified of the interrupt via the signal line 1190 copies the data from the reception buffer 620 to the main memory 605 (FIG. 2). When the copying is completed, the CPU 600 sets the reception confirmation flag 1130 from “1” to “0” via the signal line 1180.
[0042]
The reception notification circuit 1140 sets the reception completion flag 1100 from “1” to “0” when notified through the signal line 1160 that the reception confirmation flag 1130 has changed from “1” to “0”. . At the same time, the reception notification circuit 1140 notifies the transmission control circuit 525 of the node A 10 via the signal line 120 that reception is complete, that is, the reception buffer 620 is empty. By this notification, the reception buffer release flag 1030 (FIG. 3) is set from “1” to “0”, and new data can be transmitted.
[0043]
Through the above operation, data transmission from the node A10 to the node B20 is performed, and each flag returns to the initial value by a series of operations.
[0044]
In this embodiment, as shown in FIG. 2, separate bidirectional signal lines 110 to 150 are prepared between the node A10 and the nodes B20, C30, D40, and E50. By using a LAN or the like, the essential operation does not change even when the data transmission physical signal line of the node A10 is one or when the control signal and the data transmission / reception physical signal line are one.
[0045]
The job scheduling method using the waiting time for data transmission / reception according to this embodiment will be described below.
[0046]
First, the operation of the counter for measuring the waiting time amount and the flag for controlling the counter will be described.
[0047]
The operation of the reception waiting measurement circuit 625 in the reception-side node B 20 has been described above. Of these, the reception confirmation flag 1130 is shown in FIG. 5, and the state of the reception completion flag 1100 is shown in FIG.
[0048]
In FIG. 5, the initial value of the reception confirmation flag 1130 is “0”, and is set to “1” when the CPU 600 starts waiting for received data, and is set to “0” when the CPU 600 finishes reading the received data. .
[0049]
In FIG. 6, the initial value of the reception confirmation flag 1100 is “0”, and is set to “1” when data arrives at the reception buffer 620, and is set to “0” when the CPU 600 finishes reading the received data. .
[0050]
Here, in FIG. 5 and FIG. 6, when the reception confirmation flag 1130 is “1” and the reception completion flag 1100 is “0”, the reception-side Node B 20 has stopped processing waiting for data arrival. Indicates.
[0051]
The counter 1120 (FIG. 4) indicates that the reception confirmation flag 1130 is “1” and the reception completion flag 1100 is “0” (that is, the receiving side node B 20 is waiting for data and the received data has not yet arrived at the buffer). When the signal line 1150 and the signal line 1160 are detected), the count operation is started. The count operation is stopped when the reception completion flag 1100 becomes “1”, and the count value is reset when the reception confirmation flag 1130 changes from “1” to “0”. In addition, there is a case where the reception data arrives at the reception buffer 620 before the CPU 600 waits for data reception, that is, the reception completion flag becomes “1” before the reception confirmation flag becomes “1”. In this case, since the count operation condition “reception confirmation flag 1130 is“ 1 ”and reception completion flag 1100 is“ 0 ”” is never satisfied, the counter 1120 does not start the count operation.
[0052]
The waiting time value counted by the counter 1120 is transmitted to the reception notification circuit 1140 via the signal line 1170. The reception notification circuit 1140 notifies the node A 10 of this waiting time value via the signal line 120 when notifying that the reception buffer 620 is free.
[0053]
Next, the operation of the load balance calculation circuit 580 (FIG. 2) that totals the accumulated amount of waiting time for each job will be described.
[0054]
FIG. 7 is a block diagram illustrating a detailed configuration of the load balance calculation circuit 580 of the node A10.
[0055]
The load balance calculation circuit 580 includes reception waiting time registers 1200 to 1240, accumulators 1250 to 1280, adders 1300 to 1330, integration registers 1350 to 1380, switches 1400 to 1440, adders 1450 to 1460, register P1460, register Q1480, Timer 1340.
[0056]
The waiting time amount notified to the node A 10 is written into the reception waiting time register 1200 via the signal line 120.
[0057]
The reception wait time register 1200 notifies the integrator 1250 of the written wait time and requests the integration register 1350 to add the wait time via the signal line 1510. The accumulator 1250 calculates the product of the waiting time amount transmitted from the reception waiting time register 1200 and the weight of the corresponding port recorded in the weighting table 560 (FIG. 2).
[0058]
An example of this weighting table 560 is shown in FIG. Port X is a transmission buffer 520, port Y is a transmission buffer 530, port Z is a transmission buffer 540, and port U is a port ID representing a transmission buffer 550. Since the integrator 1250 calculates the weighting of the transmission buffer 520, that is, the port X, the value “0.5” corresponding to the port X is transmitted to the integrator 1250 via the signal line 1550. The accumulator 1250 calculates the product of the reception wait time register 1200 and “0.5” and notifies the adder 1300 of the product. The values of the weighting table 560 are notified from the S node 100 (FIG. 2) to the node A10 via the signal line 180 together with the values of the node group information table 570 (FIG. 2) described later.
[0059]
In FIG. 2, the signal line 180 is represented as a dedicated signal line. However, the present invention can also be applied to the case where a signal line physically used for data transmission / reception is used using a LAN or the like. In this embodiment, the weighting information is calculated at the data transmission side node, that is, the node that receives the reception waiting time information. However, the weighting information may be calculated at the data reception side node, that is, the node that sends the reception waiting time information. Good. In this case, the information of the weighting table is held by each node for its own node (or each reception port of its own node).
[0060]
The adder 1300 calculates the sum of the value notified from the integrator 1250 and the value already in the integration register 1350 and notifies the integration register 1350. Here, when the integration register 1350 detects that the waiting time amount information has been newly written from the reception waiting time register 1200 via the signal line 1510, the integration register 1350 has already been registered in the integration register 1350. The sum of the value and the value newly arrived at the adder 1300 from the reception wait time register 1200 via the integrator 1250 is calculated and set as the value of the integration register 1350.
[0061]
When the values entered in each register are arranged, the reception waiting time register 1200 records the waiting time amount of the receiving node in communication using the corresponding port (in this case, communication using the transmission buffer 520), and the integration register 1350 Records the cumulative amount of waiting time in multiple communications. The accumulated waiting time is reset by an interval signal (for example, a signal generated every minute) notified by the timer 1340 via the signal line 1500. This is because the waiting time amount according to the latest scheduling of each job is reflected in the integration register 1350 by appropriately resetting the integration value.
[0062]
The same operation is performed for each of the other ports. Integration register 1350 has port X, that is, accumulated waiting time of data sent from transmission buffer 520, integration register 1360 has port Y, that is, accumulated waiting time of data sent from transmission buffer 530, integration register 1370 has port Z, That is, the accumulated waiting time of data sent from the transmission buffer 540 is recorded in the integration register 1380, and the accumulated waiting time of data sent from the port U, that is, the transmission buffer 550 is recorded. Note that all integration registers 1350 to 1380 are simultaneously reset by the signal line 1500 using the reset signal of the timer 1340 as a trigger.
[0063]
The total waiting time recorded in each integration register 1350 to 1380 is summed up for each job by

adders

1450 and 1470 via switches 1400 to 1430. The value calculated by the adder 1450 is recorded in the register P1460, and the value calculated by the adder 1470 is recorded in the register Q1480.
[0064]
Which job is the sum total of the waiting time is determined by the switches 1400 to 1430 to the adder 1450 according to the information transmitted from the node group information table 570 (FIG. 2) via the signal lines 1600 to 1630. By switching whether to output to the adder 1470, it is divided into each register.
[0065]
An example of the contents of this node group information table 570 is shown in FIG. The IDs of the ports X to U correspond to the transmission buffers 520 to 550 as in the weighting information table 560. For example, the accumulated waiting time recorded in the integration register 1350 becomes job P = 1 and job Q = 0 according to the information of the port X, and this information is notified to the switch 1400 via the signal line 1600. The switch 1400 outputs the value of the integration register 1350 to the adder 1450, and as a result, is added to the register P1460.
[0066]
The total is stored in the two registers, register P1460 and register Q1480, because in this embodiment, node A10 has two jobs (job P and job Q) executed simultaneously. It is necessary to prepare an adder and a register according to the number of jobs executed simultaneously.
[0067]
The values recorded in the register P1460 and the register Q1480 by the above processing are as follows: the register P1460 is the sum total of the time each node has been waiting for the job P, and the register Q1480 is the node that is waiting for the job Q. The total sum of each time.
[0068]
The CPU 500 of the node A10 can read out the registers P and Q via the signal line 1650 and the signal line 1660 (FIG. 7). Since the register is reset by the timer 1340, the CPU 500 needs to read the register P1460 and the register Q1480 at the same time.
[0069]
Next, the operation when the CPU 500 reads the information in the registers P1460 and Q1480 and uses it for job scheduling will be described.
[0070]
First, the CPU 500 reads the value of the register P1460 and the value of the register Q1480 at the timing of changing job scheduling (for example, every 30 seconds). As a result, for example, it is assumed that the value of the register P1460 is 10 and the value of the register Q1480 is 20. This indicates that the waiting time received by the other nodes due to the progress of the job Q is more serious than the waiting time received by the other nodes due to the progress of the job P. In this case, the efficiency of the entire system can be improved by making the priority of job Q higher than that of job P.
[0071]
Next, a job priority control method will be described.
[0072]
The job priority is controlled by determining the initial time for each job. For example, when the initial time for job P is 3 seconds and the initial time for job Q is 2 seconds, job P is executed for 3 seconds and the time for job P is used. After reaching 0, job Q is executed for 2 seconds, and then job P is executed again for 3 seconds.
[0073]
In this embodiment, the initial time value of each job is determined using the following Equation 1 and Equation 2.
[0074]
[Expression 1]

[0075]
[Expression 2]

In Equations 1 and 2, the register P value is the value when the register P1460 is read, the register Q value is the value when the register Q1480 is read, and the average register value is the average value of the register P value and the register Q value. .
[0076]
Td is a parameter for determining a time variable, and is set to a smaller value than each initial time value. For example, if each initial time value is on the order of several seconds, such as “initial value of job P is 3 seconds and initial value of job Q is 2 seconds”, Td is 1 second or less. Is a value of about 0.2 to 0.5 seconds. For example, when the priority of job P is to be increased, the initial value of job P is increased so that the amount that changes at a time is equal to or less than Td, and the initial value of job Q is decreased by the same amount. Represents.
[0077]
Here, for example, when the number of jobs is three and it is necessary to handle the job R (the register R is also prepared and the register R value can be read out), the following equation may be used.
[0078]
[Equation 3]

[0079]
[Expression 4]

[0080]
[Equation 5]

The average register value when job R is included means the average value of the register P value, the register Q value, and the register R value. Further, the average value is similarly used when the number of registers increases.
[0081]
Next, an operation related to an OS that manages jobs will be described for the process of performing the job switch operation after determining the initial time for each job according to Equations 1 to 2 or 3 to 5.
[0082]
FIG. 10 is a flowchart showing OS processing for switching jobs. In this process, for the waiting time value generated in each job (P and Q), the processing of job P is executed as much as the waiting time value of job P, and the job is switched. Job scheduling is performed by repeating processing such as executing for the same time as the waiting time value.
[0083]
First, as an initial state, the current job is set to “job P” and the waiting time is set to “P initial value” (process 2000).
[0084]
Next, the processing is shifted from the system mode to the user mode, the processing is switched from the OS to the current job, and the job is executed (processing 2010).
[0085]
Here, the process is shifted to the system mode and the process is switched to the OS, and the time slice interrupt value (generally at an interval of 10 milliseconds) is subtracted from the P initial value (waiting time value) (process 2020).
[0086]
Next, the value of the subtracted waiting time value is checked (processing 2030). If the waiting time value is equal to or greater than 0, the processing proceeds to processing 2010, the current job is executed, and processing for further subtracting the time slice value from the waiting time value (processing 2020) is repeated. If the time value is 0 or less, the process proceeds to processing 2040 and the job is switched.
[0087]
In process 2040, the job is switched from P to Q, or from Q to P, the process proceeds to process 2010, and the process is executed for the new job.
[0088]
The job switching operation is executed by the above operation.
[0089]
The computer system according to the first embodiment measures the time that the receiving node waits for data from the transmitting side node by the series of processes described above, totals each job, and counts the waiting time. Job scheduling is optimized by switching and executing each job according to the time accumulation value.
[0090]
In the computer system according to the first embodiment configured as described above, a parallel type or a grid type including a plurality of nodes that transmit and receive data and a communication path that performs data communication between the nodes. In this computer system, the node includes a transmission-side node that transmits data, and a reception-side node that processes a job that depends on the data to be transmitted. The time from when the data is transmitted to the receiving node is measured at the receiving node, the waiting time value measured at each node is counted for each job, and the waiting time amount is counted according to the total waiting time amount. Since job priority is determined and job scheduling is performed, job scheduling can be performed dynamically even in multi-node calculations where the scheduled end time is unknown. Optimization scheduling by performing ring can be realized. In addition, each sending node autonomously performs job scheduling, which eliminates the need to centrally manage the job execution status of the entire system, and avoids collisions in the processing associated with centralized management, making it scalable to the number of nodes. Job scheduling optimization can be realized.
[0091]
Next, details of the computer system according to the second embodiment will be described with reference to the drawings.
[0092]
In the first embodiment, each node performs an operation of sending reception waiting information back to the transmitting side node every time data is received. However, the frequency of job scheduling on the transmission side is, for example, every 30 seconds, and sending back reception waiting information every time data is received not only increases the load on the reception side node but also causes extra information to be mixed in the network. .
[0093]
In the computer system of the second embodiment, the waiting time is totaled for a certain time in the receiving side node, and this is used for job scheduling. In addition, the same process is attached | subjected to the structure which performs the same operation | movement as 1st Embodiment, and the detailed description is abbreviate | omitted.
[0094]
FIG. 11 is a block diagram illustrating a configuration of the reception waiting measurement circuit 625 according to the second embodiment.
[0095]
The basic configuration is the same as the reception waiting measurement circuit 625 of the first embodiment shown in FIG. 4 except that it includes a timer 3000, an adder 3010, and an integration register 3020, and outputs the counter 1120 to the integration register 3020. The counting is different from returning the counting result to the transmitting side node A10 at the timing when the interval signal generated by the timer 3000 is received. Note that the interval of the timer 3000 in this embodiment is 10 seconds.
[0096]
The operation of the reception waiting measurement circuit 625 according to the second embodiment will be described below.
[0097]
In the first embodiment, the timing when the reception confirmation flag 1130 is set to “0” by the CPU 600, that is, there is no processing other than the processing that requires the reception data, and only waiting for the reception of the reception data, However, in this embodiment, the waiting time information is returned by using a synchronization signal (interval signal) from the timer 3000 as a trigger, as will be described later. .
[0098]
When the counter 1120 finishes counting, that is, the reception confirmation flag 1130 is set to “1” and the reception completion flag 1100 is set from “0” to “1” via the signal line 1150 and the signal line 1160. Then, the counted waiting time information is output to the adder 3010 through the signal line 1170, and a trigger signal is output to the integration register 3020 through the signal line 3070. The integration register 3020 receives this trigger signal and updates the value. That is, a value obtained by calculating the sum of the current value of the integration register 3020 and the output of the counter 1120 by the adder 3010 is newly set as the value of the integration register 3020.
[0099]
The reception notification circuit 1140 uses the interval signal sent from the timer 3000 via the signal line 3080 as a trigger for the waiting time information accumulated in the integration register 3020, that is, the waiting time accumulated information, as a trigger through the signal line 120. Send to. The integration register 3020 is simultaneously reset by this trigger.
[0100]
At this time, considering that the interval of the timer 3000 is different for each node, the waiting time cumulative information to be sent to the node A10 is a value obtained by dividing the value of the integration register 3020 by the interval value of the timer 3000, that is, the elapsed time. The percentage of time waiting for reception.
[0101]
First, the operation of the load balance calculation circuit 580 of this embodiment will be described.
[0102]
FIG. 12 is a block diagram showing the configuration of the load balance measurement circuit 580 of the present embodiment.
[0103]
Although the basic configuration is the same as that of the load balance measuring circuit 580 of the first embodiment shown in FIG. 7, the operation of the reset signal of the timer 1340 is different. That is, the load balance calculation circuit 580 that handles the waiting time information sent from the reception waiting measuring circuit 625 operates in principle even if it is completely the same as the operation of the first embodiment. Is sent only every 10 seconds, which is an example of the reception waiting measurement circuit 625 (FIG. 4) of the first embodiment described above, depending on the timing at which the CPU 500 reads the register P1460 and the register Q1480. There may be a node immediately after the accumulated information arrives and a node immediately before the waiting time accumulated information arrives, which causes a problem that a significant difference occurs in register values and appropriate job scheduling cannot be performed.
[0104]
This is not a problem when the timings at which the accumulated waiting time information from the nodes arrives completely coincide with each other, but generally the timing cannot be controlled completely via the network, and therefore, the following means is used in this embodiment.
[0105]
In the load balance calculation circuit 580 according to the present embodiment, the value update timing of the integration registers 1350 to 1380 is not the update timing of the reception wait time registers 1200 to 1230, but is generated by the timer 1340 and notified via the signal line 1590. An interval signal is used. This interval signal is assumed to be sufficiently shorter than the interval of the reset signal notified through the signal line 1500 and the interval signal of the timer 3000 (FIG. 11). For example, when the interval of the signal line 1500 is 1 minute and the interval of the timer 3000 is 10 seconds, the interval of the signal line 1590 is set to a value of 0.1 seconds.
[0106]
Each integration register 1350 to 1380 integrates the value weighted by the accumulator 1250 to the value recorded in the reception waiting time register 1200 to 1230 every 0.1 second. As a result, even when the reception waiting time registers 1200 to 1230 are updated only every 10 seconds by the reception waiting measurement circuit of each node, the values of the integration registers 1350 to 1380 are updated every 0.1 seconds. Depending on the timing at which the values of the register P1460 and the register Q1480 change greatly every 10 seconds, that is, the timing at which the register P1460 and the register Q1480 are read, the node immediately after the arrival of the waiting time accumulation information and the node immediately before the arrival of the waiting time accumulation information And there will be no significant difference in register values.
[0107]
However, since the accumulated waiting time value notified from the reception waiting measurement circuit of each node is changed only when the reception waiting registers 1200 to 1230 are updated, that is, every 10 seconds, job scheduling is compared with the first embodiment. However, since the reception waiting time information is uniformly updated every 10 seconds instead of every data reception of each node, the load on the network used for each node and inter-node communication can be reduced.
[0108]
In the computer system according to the second embodiment configured as described above, in addition to the effects of the first embodiment, the waiting time accumulated value is calculated in each node, and the interval of the timer provided in the receiving side node is calculated. Since the waiting time accumulated value is notified to the transmitting node according to the signal timing, the load on each node and the load on the network used for data transmission / reception can be reduced.
[0109]
Next, details of the computer system according to the third embodiment will be described with reference to the drawings.
[0110]
In the computer systems of the first and second embodiments, data transmission / reception between nodes and optimization of job scheduling are realized by hardware operations. The computer system of the third embodiment They are realized by software. In addition, the same process is attached | subjected to the structure which performs the same operation | movement as 1st and 2nd embodiment, The detailed description is abbreviate | omitted.
[0111]
First, the data transmission operation in the transmission side node will be described.
[0112]
FIG. 13 is a block diagram of a computer system according to the third embodiment.
[0113]
Node A10 is a data transmission side node, and nodes B20, C30, D40, and E50 are reception side nodes. The insides of the nodes B20, C30, D40, and E50 have the same configuration.
[0114]
The transmission buffer 520 corresponds to the reception buffer 620 of the node B20, the transmission buffer 530 corresponds to the reception buffer 720 of the node C30, the transmission buffer 540 corresponds to the reception buffer 820 of the node D40, and the transmission buffer 550 corresponds to the reception buffer 920 of the node E50. .
[0115]
FIG. 14 is a flowchart showing an operation of transmitting data from a transmission side node to a reception side node. Here, an operation of transmitting data from the node A10 to the node B20 will be described.
[0116]
When a user job needs to transmit data to the node B 20 on the receiving side, first, the transmission request flag in the main memory 505 (FIG. 13) of the node A 10 on the transmitting side is “0” or set to “0”. After waiting until it is set, data is written to the transmission buffer 520, a system call is issued, the mode is changed from the user mode to the system mode, and the process is passed to the OS. In response to this, the OS performs a transmission request process (process 5000).
[0117]
First, the OS changes the transmission request flag from “0” to “1” (process 5010). This transmission request flag is an initial value flag “0” existing in the main memory 505, and is managed by the OS. If the flag is “0”, it indicates that the transmission buffer 520 is empty, and if it is “1”, it indicates that untransmitted data remains in the transmission buffer 520.
[0118]
Next, it is confirmed whether or not the reception buffer release flag indicating whether or not the reception buffer 620 of the reception-side Node B 20 is free is “1” (process 5040). The reception buffer release flag is an initial value “1” in the main memory 505 and is managed by the OS. If it is “0”, it indicates that the reception buffer 620 of the reception side node is empty, and if “1”, it has been transmitted to the reception buffer 620 of the reception side node but is still read by the user job of the reception side node. This means that there is no data left.
[0119]
When the reception buffer release flag is “1”, it indicates that data can be transmitted immediately. First, the reception buffer release flag is set to “0” (process 5050), and then the signal line 4010 is used. Then, the data is sent to the reception buffer 620 (process 5060). When the data is sent to the reception buffer 620, the transmission buffer 520 is released and becomes empty, so the transmission request flag is reset from “1” to “0” (processing 5070), and then the OS processing returns to the user job ( Processing 5080).
[0120]
If the reception buffer release flag is “0” in the process 5040, data can be transmitted only after the reception side node B 20 receives a notification of the release of the reception buffer 620. Therefore, the process is temporarily switched to the user mode. A user job process is executed (process 5080).
[0121]
Next, the operation of the node B 20 on the receiving side will be described.
[0122]
First, processing (FIG. 15) when data is sent from the node A10 on the transmission side will be described.
[0123]
When data is sent from the node A10 on the transmission side, an interrupt is notified to the CPU 600 (FIG. 13). In response to this interrupt, the mode is switched from the user mode to the system mode, the processing is shifted to the OS, and data is received (processing 5350).
[0124]
When reception is completed, the OS sets the reception completion flag from “0” to “1” (processing 5360). This reception completion flag is an initial value “0” flag existing in the main memory 605 and is managed by the OS. When the flag is “0”, it indicates that the reception buffer is open, and when the flag is “1”, it indicates that data that has been received but has not yet been read remains in the reception buffer.
[0125]
Next, the reception confirmation flag is checked (processing 5370). The reception confirmation flag is an initial value “0” flag existing in the main memory 605 and is managed by the OS. When the flag is “1”, the user job of the receiving node B 20 is ready to receive data but has not yet received data. When the flag is “0”, it means that the user job has not been processed yet and data cannot be received. In this case, the processing is switched from the system mode to the user mode and switched to the user job (processing 5420).
[0126]
When the reception confirmation flag is “1”, the process proceeds to the reception buffer read processing 5500.
[0127]
Next, a process (FIG. 16) when the user job of the receiving side node B 20 is ready to receive data and issues a data receiving request to the transmitting side node A 10 will be described.
[0128]
When the user job is ready to receive data, it issues a system call, shifts from the user mode to the system mode, and passes the processing to the OS. The OS starts processing to receive the received data (processing 5300).
[0129]
Next, the OS changes the reception confirmation flag to “1” (process 5310).
[0130]
Next, the counter 4050 (FIG. 13) is activated to start counting (process 5320). The counter 4050 counts the time from when preparation for data reception is made until data is actually sent.
[0131]
Next, the reception completion flag is checked (process 5330). If the received data has not yet arrived (when the reception completion flag is “0”), the processing is switched from the system mode to the user mode and switched to the user job (processing 5340). In this case, even when returning to a user job that requires data from the sending node, there are generally many processes that are waiting for received data, and there is virtually no processing that can be executed. If so, it is more efficient to switch there.
[0132]
If the received data has already arrived (when the reception completion flag is “1”), a reception buffer read process 5500 is performed.
[0133]
Next, the reception buffer reading process (FIG. 17) will be described.
[0134]
This process is performed when the reception confirmation flag is checked when the transmission data arrives and the reception is completed. When the flag is “1” (process 5370 in FIG. 15), a data reception request is received from the user job. When the reception completion flag is checked and the flag is “1” (process 5330 in FIG. 16), that is, the necessary reception data exists in the reception buffer 620, and the user job is also ready to receive data. Therefore, it is a process of reading data from the reception buffer.
[0135]
First, the count of the counter 4050 is stopped and the counted value is read (process 5510).
[0136]
This value represents “a value from when a user job can receive data until it can be received”. If data has arrived from the sending node A10 before the user job is ready to receive, the counter counts from processing 5320 to processing 5510 in FIG. Is almost 0). However, if data arrives from the sending node A 10 after the user job is ready to receive (FIG. 16), after processing 5320 in FIG. When the job is executed, data arrives from the transmission side node, and the process shifts to processing 5350 in FIG. Thereafter, since the reception confirmation flag is “1”, the process branches to YES in the process 5370 of FIG. 15 and the counter is stopped in the process 5510, so that “the user job can receive data after it can receive data. Count until.
[0137]
Next, the reception buffer is read, and the read data is transferred to the user job (process 5520).
[0138]
When data is read from the reception buffer, the reception buffer becomes empty, so the reception completion flag is set to “0”. In addition, since the waiting for user job reception is also eliminated, the reception confirmation flag is set to “0”. At the same time, the counter value is reset (step 5530).
[0139]
As described above, the reception process is completed, so that the transmission side node A10 is notified of the release of the reception buffer through the signal line 4010, and the waiting time information counted by the counter is also notified to the transmission side node A10 (process 5540).
[0140]
Finally, the processing is switched from the system mode to the user mode and switched to the user job (processing 5550).
[0141]
Next, processing when the transmission side node A10 receives a reception completion notification from the reception side node B20 (FIG. 18) will be described.
[0142]
First, when a reception completion notification is received, the process is switched from the user mode to the system mode, and the process is switched from the user job to the OS (process 5100).
[0143]
Next, since a reception completion notification indicates that the reception buffer has been released, the reception buffer release flag is set to “1” (process 5110).
[0144]
Next, in order to accumulate the waiting time information sent together with the reception completion notification, the weighting information table 560 is first read to grasp the weighting of the corresponding receiving side node (process 5120).
[0145]
Next, the product of the received waiting time information and the weighting grasped in processing 5120 is calculated, and the sum of this value and the waiting time accumulated value of the corresponding transmission buffer is set as a new waiting time accumulated value (processing) 5130). The accumulated waiting time value is data “0” in the initial value existing in the main memory 505 and is managed by the OS. This waiting time accumulation value is used for job switching means described later.
[0146]
Next, the transmission request flag is checked (process 5140). At this time, if the transmission request flag is “0”, it indicates that the reception buffer 620 of the reception side node B 20 has been released, but there is no data to be transmitted next in the transmission side buffer 520 yet. (Processing 5180). If the transmission request flag is “1”, the data is sent to the reception buffer 620 of the reception side node B 20, and after the transmission buffer 520 of the transmission side node A 10 becomes empty, the user job of the reception side node 20 makes a data reception request. This indicates that the next data transmission request is issued from the user job of the transmission side node A10 and the transmission data is prepared in the transmission buffer 520 again until the reception buffer 620 becomes empty after issuance and reading of data from the reception buffer 620. Therefore, data can be transmitted immediately.
[0147]
Therefore, after setting the reception buffer release flag to “0” (process 5150), data is sent to the reception buffer 620 via the signal line 4010 (process 5160). When the data is sent to the reception buffer 620, the transmission buffer 520 is released and becomes empty, so the transmission request flag is reset from “1” to “0” (processing 5170), and then the OS processing returns to the user job (step 5170). Process 5180).
[0148]
If the reception buffer release flag is “0” in processing 5140, data can be transmitted only after receiving notification of reception buffer 620 release from the receiving node B 20, so the processing is temporarily switched to the user mode. The user job process is executed (process 5180).
[0149]
Through the above processing, the OS operates the flag, and data can be transmitted from the transmission side node to the reception side node using the transmission buffer and the reception buffer.
[0150]
Next, a process (FIG. 19) for appropriately switching a user job using the accumulated waiting time value calculated and recorded by the transmission side node A10 will be described.
[0151]
The job switch is started by an interrupt generated by the timer 4000 (FIG. 13) to the CPU 500 (process 5200).
[0152]
When job switch processing is started, the OS first reads the waiting time accumulation value of each port (processing 5210), and then resets the waiting time accumulation value of each port (processing 5220).
[0153]
In order to calculate the setting value of the job switch from the read waiting time accumulation value, first, the node group information table 570 (FIG. 13) is read (process 5230). The node group information table 570 determines which user job each port belongs to, and calculates the sum of the waiting time accumulated value of each port for each job in order to calculate the waiting time accumulation for each port (processing 5240). . In the present embodiment, it is assumed that the job belongs to either job P or job Q, as in the first embodiment.
[0154]
Since the sum of the waiting time accumulated values is used for the job priority as in the first embodiment, the initial values of the job switches of job P and job Q are calculated by calculation, and the first embodiment is used. Similarly to the above, the processing shown in FIG. 10 is performed for each time slice, and user jobs are switched at an appropriate ratio.
[0155]
Finally, the processing is switched from the system mode to the user mode and switched to the user job (processing 5250).
[0156]
In the third embodiment configured as described above, the same operations and effects as the first and second embodiments, that is, transmission of data from the transmission side node to the reception side node, and waiting of each node Aggregation of time information and optimization of job scheduling for switching user jobs based on waiting time information can be realized by the operation (software) of the OS.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram of a computer system according to a first embodiment.
FIG. 2 is a block diagram showing a configuration of a computer system according to the first embodiment.
FIG. 3 is a block diagram illustrating a detailed configuration of a transmission control circuit 525 according to the first embodiment.
FIG. 4 is a block diagram illustrating a detailed configuration of a reception waiting measurement circuit 625 according to the first embodiment.
FIG. 5 is a table showing a state of a reception confirmation flag 1130 according to the first embodiment.
FIG. 6 is a table showing a state of a reception completion flag 1100 according to the first embodiment.
FIG. 7 is a block diagram showing a detailed configuration of a load balance calculation circuit 580 according to the first embodiment.
FIG. 8 is a table showing an example of a weighting table 560 according to the first embodiment.
FIG. 9 is a table showing an example of node group information 570 according to the first embodiment;
FIG. 10 is a flowchart illustrating processing of an OS that switches a job according to the first embodiment.
FIG. 11 is a block diagram illustrating a configuration of a reception waiting measurement circuit 625 according to the second embodiment.
FIG. 12 is a block diagram illustrating a configuration of a load balance measurement circuit 580 according to the second embodiment.
FIG. 13 is a block diagram of a computer system according to the third embodiment.
FIG. 14 is a flowchart illustrating an operation of transmitting data from a transmitting node to a receiving node according to the third embodiment.
FIG. 15 is a flowchart illustrating processing when data is transmitted from a transmission-side node according to the third embodiment.
FIG. 16 is a flowchart showing processing when a user job of the receiving node is ready to receive data and issues a data reception request to the transmitting node.
FIG. 17 is a flowchart illustrating a reception buffer reading process according to the third embodiment.
FIG. 18 is a flowchart illustrating processing when a transmission-side node receives a reception completion notification from a reception-side node according to the third embodiment.
FIG. 19 is a flowchart illustrating processing for switching a user job using a waiting time accumulation value calculated and recorded by a transmission side node A according to the third embodiment.
[Explanation of symbols]
10 Node A
20 Node B
30 Node C
40 Node D
50 Node E
100 S node
200, 300 Multi-node calculation
500, 600 CPU
505, 605 Main memory
520, 530, 540, 550 transmission buffer
525, 535, 545, 555 transmission control circuit
560 Weighting information table
570 Node group information table
580 Load balance calculation circuit
620, 720, 820, 920 receive buffer
625, 725, 825, 925 Receive waiting measurement circuit
1100 Reception completion flag
1120 counter
1130 Reception confirmation flag
1140 Reception notification circuit
1200 to 1230 Reception wait time register
1250-1280 integrator
1300-1330 Adder
1340 timer
1350-1380 Integration register
1400-1430 switch
1450, 1470 Adder
1460 Register P
1480 Register Q
2000-2040 treatment
3000 timer
3010 Adder
3020 Integration register
4000 timer
4010-4040 signal line
4050 counter
110 to 180, 510, 515, 610, 1000, 1050 to 1065, 1150 to 1190, 1500 to 1650, 3050 to 3080

Claims

データの送信及び受信を行い当該送受信されたデータを元にマルチノード計算を実行する複数のノードと、前記ノード間のデータ通信を行う通信経路と、を備え、前記マルチノード計算を構成する複数のジョブのうち一のジョブを所定のスケジューリングにより前記複数のノードに占有させて実行し、当該実行させるジョブを順次切り換えることにより前記マルチノード計算を実行する並列型又はグリッド型の計算機システムにおいて、
前記ノードは、データを送信する送信側のノードと、送信されるデータに依存するジョブを処理する受信側のノードとを備え、
前記受信側のノードが前記一のジョブの処理に必要なデータを必要としてから、当該必要なデータを受信するまでの間に要した時間値を計測する待ち時間計測手段と、
前記時間値を前記複数のジョブ毎に集計して前記一のジョブに対して各ノードが要した前記時間値の累計値を計算する負荷バランス集計手段と、
前記一のジョブの処理に前記ノードを占有させる時間である持ち時間を前記計算された累計値に応じて計算し、当該累計値が大きいジョブは前記持ち時間を大きくし、当該累計値か小さいジョブは前記持ち時間を小さくすることにより前記複数のジョブの優先度を制御するジョブスケジューリング手段と、
を備えたことを特徴とする計算機システム。 A plurality of nodes that perform transmission and reception of data and perform multi-node calculation based on the transmitted and received data, and a communication path that performs data communication between the nodes, and a plurality of nodes constituting the multi-node calculation In a parallel type or grid type computer system that executes one of the jobs by occupying the plurality of nodes by predetermined scheduling and executing the multi-node calculation by sequentially switching the jobs to be executed ,
The node includes a transmission-side node that transmits data, and a reception-side node that processes a job that depends on the data to be transmitted.
A waiting time measuring means for measuring a time value required from the time when the node on the receiving side needs the data necessary for processing the one job to receiving the necessary data ;
Load balance counting means for calculating the cumulative value of the time values required by each node for the one job by counting the time values for each of the plurality of jobs;
A time for occupying the node for the processing of the one job is calculated according to the calculated cumulative value, and a job with a large cumulative value increases the holding time, and a job with a smaller cumulative value Is a job scheduling means for controlling the priority of the plurality of jobs by reducing the holding time ;
A computer system characterized by comprising:

前記待ち時間計測手段は、前記時間値を送信側ノードにデータ要求と共に通知し、前記負荷バランス集計手段にて単位時間あたりの時間値の積算値の演算を行うことを特徴とする請求項１に記載の計算機システム。The said waiting time measurement means notifies the said time value to a transmission side node with a data request | requirement, and calculates the integrated value of the time value per unit time in the said load balance totaling means. The computer system described.

前記待ち時間計測手段は、前記時間値を受信側ノードにて単位時間あたりの時間値の積算値の演算を行い、
演算された前記単位時間あたりの時間値の積算値を前記負荷バランス集計手段に通知することを特徴とする請求項１に記載の計算機システム。The waiting time measuring means calculates the integrated value of the time value per unit time at the receiving side node,
The computer system according to claim 1, wherein the calculated integrated value of the time value per unit time is notified to the load balance counting means.

前記演算された前記単位時間あたりの時間値の積算値を、前記待ち時間計測手段が発生する一定間隔の信号に同期して、前記負荷バランス集計手段に通知することを特徴とする請求項３に記載の計算機システム。The integrated value of the calculated time value per unit time is notified to the load balance counting means in synchronization with a signal at a constant interval generated by the waiting time measuring means. The computer system described.

前記負荷バランス集計手段は、各ノードにおいて実行されているジョブ処理の負荷に応じた重み付け情報を備え、
前記時間値と重み付け情報との積を演算し、演算された値の積算値を演算することを特徴とする請求項２ないし４の何れか一つに記載の計算機システム。The load balance counting means includes weighting information corresponding to the load of job processing being executed in each node,
5. The computer system according to claim 2, wherein a product of the time value and the weighting information is calculated, and an integrated value of the calculated values is calculated.