JP2000137692A - 分散ノード間負荷分散方式 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、メモリリソースに無駄を生じさせ
ず、負荷集中時や分散要求時に負荷分散の実行を図る。 【解決手段】 各ノードＮ１〜Ｎｎの現在の負荷値が記
憶される負荷テーブル１と、各ノードＮ１〜Ｎｎの処理
性能値が記憶される性能値テーブル３とを有し、移動指
示部４が、負荷テーブル１を参照して自ノードの過負荷
を検出したとき、性能値テーブル３を参照して負荷を増
加可能な移動先ノードを選択し、負荷移動指示を生成
し、負荷分散部５が、移動指示部４により生成された負
荷移動指示に基づいて、自ノードの負荷を所定単位毎に
移動先ノードに移動させる分散ノード間負荷分散方式。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分散ノードコンピ
ューティング環境における分散ノード間負荷分散方式に
関する。

【０００２】

【従来の技術】一般に、複数のノードが分散配置された
分散ノード間では、複数のプロセス（サービス）を実行
しつつ各ノードの負荷分散を行なう際の分散ノード間負
荷分散方式が知られている。

【０００３】この種の分散ノード間負荷分散方式として
は、例えば、ＲＰＣ（リモートプロシージャコール）に
よるＲＰＣサーバの分散方式がある。このＲＰＣサーバ
の分散方式は、予め負荷分散用に全サーバにＲＰＣサー
バを立上げておき、全サーバに負荷を分散する方式であ
る。また、分散ノード間負荷分散方式には、予めプロセ
ス立上げ時に各サーバに負荷を分散する方式もある。

【０００４】

【発明が解決しようとする課題】しかしながら以上のよ
うな分散ノード間負荷分散方式では、例えばＲＰＣサー
バの分散方式の場合、予め負荷分散用に全サーバにＲＰ
Ｃサーバを立上げる必要があるので、メモリリソースに
無駄を生じさせる問題があり、また、負荷集中時又は分
散要求時に負荷を分散し得ない問題がある。

【０００５】一方、プロセス立上げ時の分散方式の場
合、負荷の集中したサーバに新たな負荷をかけないもの
の、この負荷の集中したサーバの負荷を分散し得ない問
題がある。

【０００６】本発明は上記実情を考慮してなされたもの
で、メモリリソースに無駄を生じさせず、負荷集中時や
分散要求時に負荷分散を実行し得る分散ノード間負荷分
散方式を提供することを目的とする。

【０００７】

【課題を解決するための手段】請求項１に対応する発明
は、分散配置された複数のノードが互いに接続され、前
記各ノードの有する負荷を各ノード間で分散させるため
の分散ノード間負荷分散方式であって、前記各ノードの
現在の負荷値が記憶される負荷記憶手段と、前記各ノー
ドの処理性能値が記憶される性能値記憶手段と、前記負
荷記憶手段を参照して自ノードの過負荷を検出したと
き、前記性能値記憶手段を参照して負荷を増加可能な移
動先ノードを選択し、負荷移動指示を生成する移動指示
手段と、前記移動指示手段により生成された負荷移動指
示に基づいて、自ノードの負荷を所定単位毎に前記移動
先ノードに移動させる負荷分散手段とを備えた分散ノー
ド間負荷分散方式である。

【０００８】また、請求項２に対応する発明は、請求項
１に対応する分散ノード間負荷分散方式において、前記
移動指示手段としては、予め複数の度合のいずれかに負
荷が分類され、前記各度合毎に、移動対象の負荷が先頭
にあり、移動された負荷が末尾に接続されるキューを備
えた分散ノード間負荷分散方式である。

【０００９】さらに、請求項３に対応する発明は、請求
項１に対応する分散ノード間負荷分散方式において、前
記負荷テーブルとしては、前記各負荷値と、前記各負荷
値における時系列的な平均値と、前記各負荷値の平均２
乗誤差とが記憶されており、前記移動指示手段として
は、前記自ノードの過負荷を検出したとき、前記負荷テ
ーブル内の平均値及び平均２乗誤差に基づいて、現在の
負荷値と前記平均値とが所定値以上離れており、且つ前
記平均２乗誤差の小さい負荷を移動対象に選択しない分
散ノード間負荷分散方式である。

【００１０】また、請求項４に対応する発明は、請求項
１に対応する分散ノード間負荷分散方式において、前記
移動指示手段としては、移動先対象のノードが先頭にあ
り、移動先にされたノードが末尾に接続されるキューを
備えた分散ノード間負荷分散方式である。

【００１１】さらに、請求項５に対応する発明は、請求
項１に対応する分散ノード間負荷分散方式において、前
記負荷テーブルとしては、前記負荷値がプロセス毎に記
憶され、且つ１個以上のプロセスからなる集合が前記所
定単位として登録されている分散ノード間負荷分散方式
である。

【００１２】また、請求項６に対応する発明は、請求項
１に対応する分散ノード間負荷分散方式において、前記
性能値テーブルとしては、ＭＩＰＳ（１００万命令／
秒）に基づいた前記処理性能値が記憶される分散ノード
間負荷分散方式である。

【００１３】さらに、請求項７に対応する発明は、請求
項１に対応する分散ノード間負荷分散方式において、前
記移動指示手段としては、自ノードにおける移動対象の
負荷の負荷値、前記移動先ノードの処理性能値及び前記
自ノードの処理性能値に基づいて、前記移動対象の負荷
を移動した場合に前記移動先ノードで増加する負荷値を
算出し、前記増加する負荷値が前記移動先ノードでのＣ
ＰＵのアイドル量よりも小のとき、前記負荷移動指示を
生成する分散ノード間負荷分散方式である。

【００１４】また、請求項８に対応する発明は、請求項
１に対応する分散ノード間負荷分散方式において、前記
移動指示手段としては、予め高負荷、中負荷又は小負荷
のいずれかの度合に負荷が分類され、前記各度合毎に、
移動対象の負荷が先頭にあり、移動された負荷が末尾に
接続されるキューを備えた分散ノード間負荷分散方式で
ある。 （作用）従って、請求項１に対応する発明は以上のよう
な手段を講じたことにより、各ノードの現在の負荷値が
記憶される負荷記憶手段と、各ノードの処理性能値が記
憶される性能値記憶手段とを有し、移動指示手段が、負
荷記憶手段を参照して自ノードの過負荷を検出したと
き、性能値記憶手段を参照して負荷を増加可能な移動先
ノードを選択し、負荷移動指示を生成し、負荷分散手段
が、移動指示手段により生成された負荷移動指示に基づ
いて、自ノードの負荷を所定単位毎に移動先ノードに移
動させるので、従来とは異なり、メモリリソースに無駄
を生じさせず、負荷集中時や分散要求時に負荷分散を実
行させることができる。

【００１５】また、請求項２に対応する発明は、移動指
示手段としては、予め複数の度合のいずれかに負荷が分
類され、各度合毎に、移動対象の負荷が先頭にあり、移
動された負荷が末尾に接続されるキューを備えたので、
請求項１に対応する作用に加え、特定の負荷のみが順番
に移動するたらい回し動作を阻止することができる。

【００１６】さらに、請求項３に対応する発明は、負荷
テーブルとしては、各負荷値と、各負荷値における時系
列的な平均値と、各負荷値の平均２乗誤差とが記憶され
ており、移動指示手段としては、自ノードの過負荷を検
出したとき、負荷テーブル内の平均値及び平均２乗誤差
に基づいて、現在の負荷値と平均値とが所定値以上離れ
ており、且つ平均２乗誤差の小さい負荷を移動対象に選
択しない。

【００１７】これにより、請求項１に対応する作用に加
え、通常は低負荷値で一時的に高負荷値となる負荷の移
動を阻止できるので、移動によるオーバヘッドを抑制す
ることができる。

【００１８】また、請求項４に対応する発明は、移動指
示手段としては、移動先対象のノードが先頭にあり、移
動先にされたノードが末尾に接続されるキューを備えた
ので、請求項１に対応する作用に加え、負荷の移動先を
選択する際に、他の全ノードのうち、一部のノードを検
索すればよいので、サービス移動のオーバヘッドを抑制
することができる。

【００１９】さらに、請求項５に対応する発明は、負荷
テーブルとしては、負荷値がプロセス毎に記憶され、且
つ１個以上のプロセスからなる集合が所定単位として登
録されているので、請求項１に対応する作用を容易且つ
確実に奏することができる。

【００２０】また、請求項６に対応する発明は、性能値
テーブルとしては、ＭＩＰＳ（１００万命令／秒）に基
づいた処理性能値が記憶されるので、請求項１に対応す
る作用を容易且つ確実に奏することができる。

【００２１】さらに、請求項７に対応する発明は、移動
指示手段としては、自ノードにおける移動対象の負荷の
負荷値、移動先ノードの処理性能値及び自ノードの処理
性能値に基づいて、移動対象の負荷を移動した場合に移
動先ノードで増加する負荷値を算出し、増加する負荷値
が移動先ノードでのＣＰＵのアイドル量よりも小のと
き、負荷移動指示を生成するので、請求項１に対応する
作用を容易且つ確実に奏することができる。

【００２２】また、請求項８に対応する発明は、移動指
示手段としては、予め高負荷、中負荷又は小負荷のいず
れかの度合に負荷が分類され、各度合毎に、移動対象の
負荷が先頭にあり、移動された負荷が末尾に接続される
キューを備えたので、請求項１に対応する作用に加え、
特定の負荷のみが順番に移動するたらい回し動作を阻止
することができる。

【００２３】

【発明の実施の形態】以下、本発明の各実施形態につい
て図面を参照しながら説明する。 （第１の実施形態）図１は本発明の第１の実施形態に係
る分散ノード間負荷分散方式の適用された計算機システ
ムの構成を示す模式図である。この計算機システムは、
複数のノード（計算機本体）Ｎ１〜Ｎｎが互いに接続さ
れている。ここで、各ノードＮ１〜Ｎｎは、実行中のプ
ロセス（プログラム）が異なるものの、互いに同一構成
のため、ノードＮ１を例に挙げて説明する。

【００２４】ノードＮ１は、実行の有無によらずに保持
する複数のプロセスＰ１〜Ｐｍの他、負荷テーブル１、
負荷管理部２、性能値テーブル３、移動指示部４、負荷
分散部５、プロセスファイル６及びバックアップファイ
ル７を備えている。

【００２５】負荷テーブル１は、図２に示すように、負
荷管理部２によって、各ノードＮ１〜Ｎｎにおけるプロ
セスＰ１〜Ｐｍ毎の現在のＣＰＵ負荷値、メモリ負荷値
及びディスク負荷値が読出／書込可能に記憶されるテー
ブルであり、１以上の任意のプロセスＰをまとめた集合
が、１つのサービスＳ（負荷分散の単位）として取扱わ
れる。

【００２６】なお、負荷テーブル１は、以上の値に加
え、サービスＳ１〜Ｓｊ毎の負荷値（各サービス内の各
プロセス負荷の合計値）が記憶されてもよく、ノードＮ
１〜Ｎｎ毎の負荷値（ノード内の各サービス負荷の合計
値）が記憶されてもよい。

【００２７】また、ノードＮ１全体のメモリ負荷値は、
ノードＮ１のスワップ(swap)の使用量（スワップの残り
容量あるいは一定時間のスワップin/out、ページin/out
の量）で規定可能である。ノードＮ１全体のＣＰＵ負荷
値は、ＣＰＵのアイドル量あるいはＣＰＵ割当て待ちプ
ロセス数で規定可能である。

【００２８】負荷管理部２は、定期的に各ノードＮ１〜
ＮｎにおけるプロセスＰ１〜Ｐｍ毎の現在のＣＰＵ負荷
値、メモリ負荷値及びディスク負荷値を収集し、これら
ＣＰＵ負荷値、メモリ負荷値及びディスク負荷値を負荷
テーブル１に書込む機能をもっている。

【００２９】性能値テーブル３は、ノードＮ１からＮｎ
毎に予めＣＰＵ性能値及びメモリ性能値が読出可能に登
録されたテーブルであり、ノードＮ１〜Ｎｎ内の共有領
域（共有メモリでもファイルでも可）に設けられてい
る。ここで、ＣＰＵ性能値としては、１／（ＭＩＰＳ＊
ＭＰＵ）が使用可能となっている。なお、ＭＩＰＳ（１
００万命令／秒）は、１つのＣＰＵの性能値であり、Ｍ
ＰＵは、ＣＰＵの個数である。一方、メモリ性能値とし
ては、ノード内の各メモリ容量の合計値が使用可能とな
っている。

【００３０】移動指示部４は、定期的に負荷テーブル１
を参照して自ノードＮ１の負荷状況を調査し、負荷が所
定値を越えた旨（過負荷）を検出すると、自ノードＮ１
の各プロセスＰをサービスＳ単位で低負荷のノードＮｉ
（ｉは１〜ｎまでの任意の自然数（但し、自ノードの番
号を除く））に移動させる旨の指示を負荷分散部５に与
える機能をもっている。

【００３１】同様に、移動指示部４は、ノードＮ自体又
はプロセスＰの障害発生時に、障害発生により実行不可
能となったプロセスＰを含むサービスＳを低負荷のノー
ドＮｉに移動させる旨の指示を負荷分散部５に与える機
能をもっている。

【００３２】負荷分散部５は、移動指示部４から受けた
負荷移動指示に基づいて、自ノードＮ１の移動対象の負
荷（プロセス）をサービスＳ単位で他のノードＮｉに移
動させる移動機能をもっている。

【００３３】ここで、移動機能は、自ノードＮ１に移動
対象のプロセスＰｋ（ｋは１〜ｍまでの任意の自然数）
があるとき、自ノードＮ１における移動対象のプロセス
Ｐｋを停止させ（障害により既に停止していれば不
要）、移動対象のプロセスＰｋを立上げるための再開実
行指示を移動先の他ノードＮｉに与え、他ノードＮｉに
おける移動対象のプロセスＰｋを再開実行させることに
より、結果としてプロセスＰｋを自ノードＮ１から他ノ
ードＮｉに移動させるものである。

【００３４】この移動機能として、負荷分散部５は、移
動指示部４から受ける指示により、実行途中のプロセス
ＰをサービスＳ単位で他ノードＮｉへ移送して低負荷の
他ノードＮｉで継続実行する技術（特願平９−２３２９
３０号）を用いている。

【００３５】係る技術を用いる負荷分散部５は、プロセ
ス実行により更新されるプロセスファイル６の更新内容
の記録（以下、ログという）を採取して他の全ノードＮ
２〜Ｎｎに分散するためのジャケットルーチン８と、ジ
ャケットルーチン８から受けたログを未確定キュー９ａ
として保持すると共に、チェックポイント毎に未確定キ
ュー９ａを確定キュー９ｂとして該確定キュー９ｂ内の
各ログに基づいてプロセスのバックアップファイル７を
更新可能なデーモン９とを備えている。

【００３６】ここで、ログは、プロセス状態を示すもの
であり、例えば、データ等のレジスタ情報及びファイル
の更新等のシステムコール発行結果が使用可能である。
チェックポイントとしては、一定時間が経過した時点、
あるいはＯＳのシステムコール発行コールをフェッチし
た時点が使用可能である。

【００３７】次に、以上のように構成された計算機シス
テムの動作を説明する。ノードＮ１における負荷分散部
５のジャケットルーチン８は、図３に示すように、実行
中のプロセスＰ１から各ログを採取し、これら各ログを
プロセスファイルに更新記憶させると共に少なくともチ
ェックポイントＣＰまでに他の各ノードＮ２〜Ｎｎに送
信する。各ノードＮ２〜Ｎｎでは、デーモン９がこのロ
グを受けて未確定キューとして保持し、チェックポイン
トＣＰ毎にログ内のシステムコール発行結果を反映させ
て処理を実行する。例えばシステムコール発行結果がバ
ックアップファイル７の更新を示すとき、デーモン９に
よりバックアップファイル７を更新する。

【００３８】一方、ノードＮ１では、移動指示部４が、
定期的に負荷テーブル１の情報を監視し、一定条件（自
ノードＮ１の負荷が所定値を越えた時点）を満たすと、
負荷分散を開始する。

【００３９】すなわち、移動指示部４は、図４に示すよ
うに、一定時間スリープ(sleep) し（ＳＴ１）、しかる
後、負荷テーブル１を参照して自ノードＮ１の負荷状況
を調査する（ＳＴ２）。

【００４０】この調査において、自ノードＮ１について
過負荷か否かを判定し（ＳＴ３）、過負荷でないときに
はステップＳＴ１へ戻る。

【００４１】なお、ステップＳＴ３の判定は、メモリ負
荷の場合、前述したノードＮ１全体のメモリ負荷値が所
定値を越えたときに過負荷とし、ＣＰＵ負荷の場合、前
述したノードＮ１全体のＣＰＵ負荷値が所定値を越えた
ときに過負荷とする。

【００４２】自ノードＮ１を過負荷と判定したとき、自
ノードＮ１から高負荷のサービスＳを他ノードＮｉへの
転送対象として選択する（ＳＴ４）。

【００４３】続いて、最低の負荷の例えばノードＮ２を
選択し（ＳＴ５）、負荷テーブル１及び性能値テーブル
３を参照しつつ、サービスＳを移動可能か否かを判定す
る（ＳＴ６）。

【００４４】ステップＳＴ６の判定は、メモリ負荷と、
ＣＰＵ負荷との２通りが実行される。メモリ負荷の判定
は、移動先ノードＮ２のメモリ性能値をＭtotal とし、
移動先ノードＮ２で現在使用中のメモリ負荷値をＭusin
g とし、移動するサービスＳのメモリ負荷値をＭservと
した場合、次の（１）式を満たすときに移動可能とされ
る。 Ｍtotal − Ｍusing ＞ Ｍserv …（１） なお、メモリ性能値はノードＮ２内の各メモリ容量の合
計値である。

【００４５】次に、ＣＰＵ負荷の判定は、移動先ノード
Ｎ２の現在のＣＰＵアイドル（遊休）量を先ＣＰＵidol
とし、移動前のノードＮ１でのサービスＳのＣＰＵ負荷
値を前ＣＰＵloadとし、移動先ノードＮ２のＣＰＵ性能
値を先ＣＰＵperfとし、移動前のノードＮ１でのＣＰＵ
性能値を前ＣＰＵperfとした場合、次の（２）式を満た
すときに移動可能とされる。

【００４６】

【数１】 なお、ＣＰＵアイドル量は、新たに使用可能なＣＰＵ負
荷値を意味している。すなわち、（２）式は、右辺の移
動前のＣＰＵ負荷から換算される移動先のＣＰＵ負荷よ
りも、左辺の移動先のＣＰＵアイドル量が大である関係
を意味している。

【００４７】また、サービス移動後の移動先ノードＮｉ
の評価において、ＣＰＵアイドル量を後ＣＰＵidolと
し、メモリ負荷値を後Ｍuse とした場合、各ノードＮ２
〜Ｎｎのうち、次の（３）式の値が最高のノードＮ２
が、最低の負荷のノードＮ２として判定される。

【００４８】

【数２】 すなわち、（３）式は、サービス移動後において、ＣＰ
Ｕ負荷の余裕分と、メモリ負荷の余裕分とを合計した値
を示している。

【００４９】ステップＳＴ６においては、（１）式，
（２）式を共に満たした場合、すなわち、メモリ負荷及
びＣＰＵ負荷を共に移動可能と判定したときのみ、サー
ビスＳを移動可能と判定し、負荷分散部５にサービス移
動の指示を出し（ＳＴ７）、ステップＳＴ１へ戻る。

【００５０】なお、ステップ６において、高負荷のサー
ビスＳを移動できないとき、中程度の負荷のサービスＳ
を選択し（ＳＴ８）、前述同様にサービスＳを移動可能
か否かを判定する（ＳＴ９）。

【００５１】また、ステップＳＴ９において移動可能な
ときにはステップＳＴ７に行くが、中程度の負荷のサー
ビスＳが移動不可のとき、低負荷のサービスＳを選択し
（ＳＴ１０）、前述同様にサービスＳを移動可能か否か
を判定する（ＳＴ１１）。

【００５２】ステップＳＴ１１においても、移動可能な
ときにはステップＳＴ７に行くが、低負荷のサービスＳ
が移動不可のとき、ステップＳＴ１へ戻る。 （具体例１）次に、以上のような各ステップＳＴ１〜Ｓ
Ｔ１１において、１つのプロセスＰ１のみを有する１つ
のサービスＳ１の移動に際し、ＣＰＵ負荷のみを検討す
る場合について説明する。

【００５３】具体的には、図５に示す負荷状況におい
て、ノードＮ１のＣＰＵ負荷値が９０％を越えた際に、
サービスＳ１を移動させる場合の移動指示部４の動作を
述べる。

【００５４】ステップＳＴ３において、ノードＮ１のＣ
ＰＵ負荷は、サービスＳ１〜Ｓ３を足して９０％である
ため、ノードＮ１が過負荷と判定される。また、ステッ
プＳＴ４において、ノードＮ１で最も高負荷のサービス
Ｓ１が転送対象として選択される。

【００５５】次いで、ステップＳＴ５において、最低の
負荷のノードＮ２が選択される。例えば、サービスＳ１
を他ノードＮ２又はＮ３へ移動した場合を仮定し、ノー
ドＮ２，Ｎ３にてサービスＳ１を実行する場合のＣＰＵ
負荷値を試算する。その試算結果は、ノードＮ２が２５
％（＝５０％＊（１／２００）／（１／１００））であ
り、ノードＮ３が１６％（＝５０％＊（１／３００）／
（１／１００））である。

【００５６】ここで、サービスＳ１を移動すると、最終
的なＣＰＵ負荷値は、ノードＮ２では３５％（＝１０％
＋２５％）となり、ノードＮ３では４６％（＝３０％＋
１６％）となる。従って、最終的なＣＰＵ負荷値の小さ
いノードＮ２は、ステップＳＴ５により最低の負荷のノ
ードＮ２として選択され、ステップＳＴ６の（２）式に
より（先ＣＰＵidol９０％＞２５％）移動可能と判定さ
れ、ステップＳＴ７によりサービスＳ１が移動される。 （具体例２）また、具体例と同一のＣＰＵ性能値におい
て、他のサービスが移動される場合について説明する。
図６に示す負荷状況において、サービスＳ１の移動を仮
定した場合、各ノードＮ２，Ｎ３の負荷は、ノードＮ２
が１１０％（＝８５％＋２５％）となり、ノードＮ３が
９１％（＝７５％＋１６％）となる。この場合、ノード
Ｎ２，Ｎ３の負荷が高いので、サービスＳ１を移動でき
ない。

【００５７】よって、中程度の負荷であるサービスＳ２
の移動を検討する。サービスＳ２を移動した場合の計算
は、ノードＮ２が１００％（＝８５％＋１５％）とな
り、ノードＮ３が８５％（＝７５％＋１０％）となるの
で、サービスＳ２をノードＣへ移動させる。

【００５８】このように負荷が高い順から、サービスＳ
１，…の移動を計算し、移動可能なノードＮ３にサービ
スを移動させる。但し、全てのサービスＳ１〜Ｓ３が移
動不可能（他の全ノードＮ２，Ｎ３が高負荷状態）のと
き、サービスＳ１〜Ｓ３の移動をあきらめる。

【００５９】このように、ノードＮ１では、ノードＮ１
自体又はプロセスＰｋにて障害発生あるいは高負荷の発
生により、プロセスＰｋの実行が困難になると、（高負
荷の発生時には予め当該プロセスＰｋを停止させた
後、）低負荷の例えばノードＮ２にプロセス移動を指示
して負荷分散を実行する。ノードＮ２では、プロセスの
再開を実行する。

【００６０】ノードＮ２は、再開の実行時に、プロセス
Ｐｋのmain（プログラムとしてのスタート）をフェッチ
し、チェックポイントＣＰのログからスタック積上げ／
レジスタ情報設定等を実行し、ノードＮ１で中止された
プロセスＰｋを最新のチェックポイントＣＰ時点から再
開して実行する。

【００６１】上述したように本実施形態によれば、各ノ
ードＮ１〜Ｎｎの現在の負荷値が記憶される負荷テーブ
ル１と、各ノードＮ１〜Ｎｎの処理性能値が記憶される
性能値テーブル３とを有し、移動指示部４が、負荷テー
ブル１を参照して自ノードの過負荷を検出したとき、性
能値テーブル３を参照して負荷を増加可能な移動先ノー
ドを選択し、負荷移動指示を生成し、負荷分散部５が、
移動指示部４により生成された負荷移動指示に基づい
て、自ノードの負荷を所定単位毎に移動先ノードに移動
させるので、従来とは異なり、メモリリソースに無駄を
生じさせず、負荷集中時や分散要求時に負荷分散を実行
させることができる。

【００６２】また、プロセスの実行中の移動により、サ
ービスの継続性を保ちつつ、プログラミングによる負荷
分散の意識をせずに、分散ノード間での負荷分散システ
ムを構築することができる。 （第２の実施形態）次に、本発明の第２の実施形態に係
る分散ノード間負荷分散方式の適用された計算機システ
ムについて説明する。

【００６３】本実施形態は、第１の実施形態中、各ノー
ドＮ１〜Ｎｎの平均の負荷よりも高負荷のサービスＳが
ある場合、この高負荷のサービスＳのみが各ノードＮ１
〜Ｎｎを順番に移動する（たらい回しされる）場合があ
ることを考慮し、このたらい回し動作の阻止を図るもの
である。

【００６４】具体的には、移動指示部４は、前述した機
能に加え、図７に示すように、例えば各サービスＳ１〜
Ｓ９が負荷の程度に応じて配列される高、中、低の３段
階のキューＱ１〜Ｑ３を有し、各段階の負荷のサービス
を選択（ＳＴ４，８，１０）する際に、各段階のキュー
の先頭にあるサービスＳ７（Ｓ８又はＳ９）を移動対象
として選択する機能と、サービスＳ７（Ｓ８又はＳ９）
が移動されたときにはこのサービスＳ７（Ｓ８又はＳ
９）を該当する段階のキューＱ１（Ｑ２又はＱ３）の末
尾に接続する機能とをもっている。

【００６５】なお、図７中のサービスＳの添字及び各Ｑ
１〜Ｑ３内のサービスＳの個数は、単なる一例であり、
適宜変更可能なことは言うまでもない。次に、以上のよ
うに構成された計算機システムの動作を説明する。な
お、この説明は、第１の実施形態と比較して述べる。

【００６６】前述した第１の実施形態の場合、図５と同
一のＣＰＵ性能値のノードＮ１において、図８に示すＣ
ＰＵ負荷状況であるとする。この場合、ノードＮ１は、
サービスＳ１をノードＮ２に移動させる。ここで、サー
ビスＳ１のＣＰＵ負荷値が３５％〜４５％の範囲内で上
下すると、ノードＮ２は、サービスＳ１を他のノードＮ
３に移動させる可能性がある。また、ノードＮ３はサー
ビスＳ１をさらに他のノードＮ４に移動させる。以下同
様に、サービス１のみが各ノードＮ５〜Ｎｎを順番に移
動する可能性がある。

【００６７】一方、本実施形態では、サービス選択用の
キューを設けた構成により、移動対象のサービスＳ１〜
Ｓ９が図９に示すようにキューＱ１〜Ｑ３に接続され
る。

【００６８】ここで、ノードＮ１がキューＱ１の先頭の
サービスＳ１をノードＮ２に移動させると、ノードＮ２
では、図１０に示すように、このサービスＳ１がキュー
Ｑ１の最後に接続される。

【００６９】これにより、ノードＮ２がサービスＳを移
動させる場合、高負荷のキューＱ１の先頭であるサービ
スＳ６が移動対象となる。従って、第１の実施形態とは
異なり、サービスＳ１のみが順番に移動するたらい回し
動作を阻止することができる。

【００７０】上述したように本実施形態によれば、第１
の実施形態の効果に加え、あるサービス（例えば全ノー
ド中で一番負荷の高いサービス）のみがたらい回しにさ
れる動作を阻止することができる。 （第３の実施形態）次に、本発明の第３の実施形態に係
る分散ノード間負荷分散方式の適用された計算機システ
ムについて説明する。

【００７１】本実施形態は、第１の実施形態中、通常は
低負荷で一時的に高負荷になるが直ぐに低負荷に復帰す
るサービスＳがある場合、このサービスＳを移動させる
場合があることを考慮し、この一時的に高負荷となるサ
ービスＳの移動の阻止を図るものである。

【００７２】具体的には、負荷テーブル１は、前述した
現在の負荷状況に加え、過去の負荷状況の平均値及び平
均２乗誤差が記憶されるものである。

【００７３】負荷管理部２は、前述した機能に加え、過
去の負荷状況の平均値及び平均２乗誤差を負荷テーブル
１に書込む機能をもっている。

【００７４】移動指示部４は、前述した機能に加え、ス
テップＳＴ４でノードが過負荷か否かを判定する際に、
現在の負荷値と負荷値の平均値とが著しく離れており、
且つ平均２乗誤差が小さいノードＮを選択しない機能を
有している。

【００７５】次に、以上のように構成された計算機シス
テムの動作を説明する。なお、この説明は、第１の実施
形態と比較して述べる。

【００７６】いま、図１１に示すように、通常は低負荷
で一瞬だけ高負荷になるサービスＳ１があるとする。こ
のサービスＳ１は、一瞬だけ負荷が上昇したが、通常は
低負荷であるので、サービスＳ１を移動せずに時間の経
過を待つ方がよい。

【００７７】しかし、第１実施形態では、高負荷となる
時間Ａにおいて、移動対象のサービスＳ１を選択する場
合、このサービスＳ１を移動対象とする可能性がある。

【００７８】一方、本実施形態では、負荷の平均値と平
均２乗誤差とを管理する構成により、移動対象のサービ
スＳｋを選択する際に、現在の負荷と負荷の平均値とが
著しく離れており、且つ平均２乗誤差が小さいサービス
Ｓ１を移動対象に選択しない。

【００７９】これにより、通常は低負荷で一時的に高負
荷となるサービスＳ１の移動を阻止できるので、移動に
よるオーバヘッドを抑制することができる。

【００８０】上述したように本実施形態によれば、第１
の実施形態の効果に加え、通常は低負荷値で一時的に高
負荷値となる負荷の移動を阻止できるので、移動による
オーバヘッドを抑制することができる。 （第４の実施形態）次に、本発明の第４の実施形態に係
る分散ノード間負荷分散方式の適用された計算機システ
ムについて説明する。

【００８１】本実施形態は、第１の実施形態中、多数の
ノードＮ１〜Ｎｎを有する計算機システムの場合、最低
の負荷をもつノードＮｉを選択する際に、ノード数ｎに
比例してノードＮ１〜Ｎｎの負荷を算出する処理のオー
バヘッドを増大させることを考慮し、このオーバヘッド
の抑制を図るものである。

【００８２】具体的には、移動指示部４は、前述した機
能に加え、移動対象の例えばノードＮ１〜Ｎ４を順番に
配列したキューＱｍを有し、前述したステップＳＴ５に
よるノード選択の際に、最低の負荷のノードＮ２を選択
するのではなく、キューＱｍの先頭にあるノードＮｓを
移動先として選択する機能と、キューＱｍの先頭のノー
ドＮにサービスＳを移動可能なとき、サービスＳをその
先頭のノードＮに移動させる機能と、サービスＳを移動
させたノードＮをキューＱｍの末尾に接続する機能とを
有している。

【００８３】次に、以上のように構成された計算機シス
テムの動作を説明する。

【００８４】本実施形態では、ノード選択用のキューＱ
を設けた構成により、移動先の候補としてノードＮ１〜
Ｎｘが待ち行列に接続される。

【００８５】例えば、ノードＮ１→ノードＮ２→ノード
Ｎ３→ノードＮ４というキューＱｍがあり、ノードＮ２
から高負荷のサービスＳ１をノードＮ１に移動するとす
る。

【００８６】ここで、移動指示部４は、ノード選択の際
に、キューＱｍの先頭にあるノードＮ１を移動先として
選択し、そのノードＮ１の負荷を算出してそのノードＮ
１にサービスＳを移動可能なとき、サービスＳをそのノ
ードＮ１に移動させる。

【００８７】また、移動指示部４は、サービスＳの移動
により負荷の増えたノードＮ１をキューＱｍの末尾に接
続する一方、サービスＳを移動して負荷の減ったノード
Ｎ２をキューＱｍの先頭に接続する。サービス移動後の
キューＱｍの状態は、ノードＮ１→ノードＮ３→ノード
Ｎ４→ノードＮ２のようになる。

【００８８】このように、負荷を移動したノードがキュ
ーの先頭へ接続され、負荷の移動されたノードはキュー
の最後に接続されることにより、低負荷のノードがキュ
ーＱｍの先頭へ配置され、高負荷のノードがキューＱｍ
の後半に配置される。

【００８９】従って、次回、負荷移動先を算出する場合
もキューＱｍの先頭からのヒット率が高くなり、全ノー
ドＮ１〜Ｎｎの負荷を算出する場合に比べ、オーバヘッ
ドを抑制することができる。

【００９０】上述したように本実施形態によれば、第１
の実施形態の効果に加え、ノードＮ２がサービスＳの移
動先を選択する際に、他の全ノードＮ１，Ｎ３〜Ｎｎの
うち、一部のノードを検索すればよいので、サービス移
動のオーバヘッドを抑制することができる。

【００９１】なお、上記各第２〜第４の実施形態は、第
１の実施形態に個別に適用した場合を説明したが、これ
に限らず、適宜組合せて同時に適用する構成としても、
本発明を同様に実施して同様の効果を得ることができ
る。

【００９２】また、上記実施形態に記載した手法は、コ
ンピュータに実行させることのできるプログラムとし
て、磁気ディスク（フロッピーディスク、ハードディス
クなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、
光磁気ディスク（ＭＯ）、半導体メモリなどの記憶媒体
に格納して頒布することもできる。

【００９３】その他、本発明はその要旨を逸脱しない範
囲で種々変形して実施できる。

【００９４】

【発明の効果】以上説明したように本発明によれば、メ
モリリソースに無駄を生じさせず、負荷集中時や分散要
求時に負荷分散を実行できる分散ノード間負荷分散方式
を提供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る分散ノード間負
荷分散方式の適用された計算機システムの構成を示す模
式図

【図２】同実施形態における負荷テーブルの構成を示す
模式図

【図３】同実施形態における動作を説明するための模式
図

【図４】同実施形態における移動指示部の動作を説明す
るためのフローチャート

【図５】同実施形態における動作を説明するための負荷
状況を示す模式図

【図６】同実施形態における動作を説明するための負荷
状況を示す模式図

【図７】本発明の第２の実施形態に係る分散ノード間負
荷分散方式に用いられるキューの内容を示す模式図

【図８】同実施形態における動作を説明するための負荷
状況を示す模式図

【図９】同実施形態における動作を説明するためのキュ
ーの内容を示す模式図

【図１０】同実施形態における動作を説明するためのキ
ューの内容を示す模式図

【図１１】本発明の第３の実施形態に係る分散ノード間
負荷分散方式を説明するためのサービスの負荷値を示す
模式図

【符号の説明】

１…負荷テーブル ２…負荷管理部 ３…性能値テーブル ４…移動指示部 ５…負荷分散部 ６…プロセスファイル ７…バックアップファイル ８…ジャケットルーチン ９…デーモン ９ａ…未確定キュー ９ｂ…確定キュー Ｎ１〜Ｎｎ…ノード Ｐ１〜Ｐｍ…プロセス

Claims (8)

【特許請求の範囲】
1. 【請求項１】 分散配置された複数のノードが互いに接
   続され、前記各ノードの有する負荷を各ノード間で分散
   させるための分散ノード間負荷分散方式であって、 前記各ノードの現在の負荷値が記憶される負荷記憶手段
   と、 前記各ノードの処理性能値が記憶される性能値記憶手段
   と、 前記負荷記憶手段を参照して自ノードの過負荷を検出し
   たとき、前記性能値記憶手段を参照して負荷を増加可能
   な移動先ノードを選択し、負荷移動指示を生成する移動
   指示手段と、 前記移動指示手段により生成された負荷移動指示に基づ
   いて、自ノードの負荷を所定単位毎に前記移動先ノード
   に移動させる負荷分散手段と を備えたことを特徴とする分散ノード間負荷分散方式。
2. 【請求項２】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記移動指示手段は、予め複数の度合のいずれかに負荷
   が分類され、前記各度合毎に、移動対象の負荷が先頭に
   あり、移動された負荷が末尾に接続されるキューを備え
   たことを特徴とする分散ノード間負荷分散方式。
3. 【請求項３】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記負荷テーブルは、前記各負荷値と、前記各負荷値に
   おける時系列的な平均値と、前記各負荷値の平均２乗誤
   差とが記憶されており、 前記移動指示手段は、前記自ノードの過負荷を検出した
   とき、前記負荷テーブル内の平均値及び平均２乗誤差に
   基づいて、現在の負荷値と前記平均値とが所定値以上離
   れており、且つ前記平均２乗誤差の小さい負荷を移動対
   象に選択しないことを特徴とする分散ノード間負荷分散
   方式。
4. 【請求項４】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記移動指示手段は、移動先対象のノードが先頭にあ
   り、移動先にされたノードが末尾に接続されるキューを
   備えたことを特徴とする分散ノード間負荷分散方式。
5. 【請求項５】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記負荷テーブルは、前記負荷値がプロセス毎に記憶さ
   れ、且つ１個以上のプロセスからなる集合が前記所定単
   位として登録されていることを特徴とする分散ノード間
   負荷分散方式。
6. 【請求項６】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記性能値テーブルは、ＭＩＰＳ（１００万命令／秒）
   に基づいた前記処理性能値が記憶されることを特徴とす
   る分散ノード間負荷分散方式。
7. 【請求項７】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記移動指示手段は、自ノードにおける移動対象の負荷
   の負荷値、前記移動先ノードの処理性能値及び前記自ノ
   ードの処理性能値に基づいて、前記移動対象の負荷を移
   動した場合に前記移動先ノードで増加する負荷値を算出
   し、前記増加する負荷値が前記移動先ノードでのＣＰＵ
   のアイドル量よりも小のとき、前記負荷移動指示を生成
   することを特徴とする分散ノード間負荷分散方式。
8. 【請求項８】 請求項１に記載の分散ノード間負荷分散
   方式において、 前記移動指示手段は、予め高負荷、中負荷又は小負荷の
   いずれかの度合に負荷が分類され、前記各度合毎に、移
   動対象の負荷が先頭にあり、移動された負荷が末尾に接
   続されるキューを備えたことを特徴とする分散ノード間
   負荷分散方式。