JPH11338836A - コンピュータネットワークの負荷分散システム - Google Patents

Abstract

(57)【要約】 【課題】 本発明はコンピュータネットワークの負荷分
散システムにおいてクライアントからサーバへのサービ
ス要求に対する応答性の改善を目的とする。 【解決手段】 複数のサーバノードの各々の負荷レベル
を検出するノード別負荷監視手段２１と複数のサーバノ
ードの各々が提供するサービスの種類及びノード別負荷
監視手段２１が検出した各サーバノードの負荷のレベル
を把握してクライアントノードから要求されるサービス
を実行可能なサーバ２２，２３が接続された複数のサー
バノードの中から検出された負荷のレベルに基づいて最
適サーバノードを識別する最適サーバ検索手段４０とク
ライアントノードからサーバ２２，２３へのサービス要
求を中継するとともに最適サーバノードに対して選択的
にクライアントノードからのサービス要求を送出する中
継制御手段３０とを設けた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のサーバノー
ドとクライアントノードとが形成され、前記複数のサー
バノードのそれぞれには少なくとも１つのサーバが接続
されたコンピュータネットワークの負荷分散システムに
関する。

【０００２】

【従来の技術】例えば、ユーザが要求するアプリケーシ
ョンプログラムを実行可能なサーバが複数接続されたコ
ンピュータネットワークにおいては、ユーザの要求に応
じてアプリケーションプログラムを実行するサーバを適
宜選別することにより、サーバの負荷を分散させること
ができる。

【０００３】特定のサーバに処理が集中し前記サーバの
負荷が過大になると、処理に遅延が生じるのでサービス
のリアルタイム性が失われる。ユーザの要求に応じて実
行される様々なサービスを複数のサーバに適当に分散さ
せることにより、処理の集中を防止し、サービスの遅延
を避けることができる。従来のコンピュータネットワー
クの負荷分散システムは、図７に示すように構成されて
いる。このコンピュータネットワークは、複数のクライ
アントノードと複数のサーバノードとで構成されてい
る。各々のサーバノードには、それの負荷レベルを計測
して管理する自ノード負荷情報管理モジュールが設けら
れ、各々のクライアントノードには、各サーバノードの
負荷レベルを収集して管理する他ノード負荷情報管理モ
ジュールが設けられる。

【０００４】各々のクライアントノードの他ノード負荷
情報管理モジュールは、全てのサーバノードで検出され
た負荷レベルのデータをそれぞれ受け取って、負荷の小
さいサーバノードを検出するために利用する。

【０００５】

【発明が解決しようとする課題】従来のコンピュータネ
ットワークの負荷分散システムにおいては、それぞれの
サーバノードは、全てのクライアントノードに対して自
ノードの負荷レベルのデータを通知する必要がある。従
って、クライアントノード数の増大に伴って、サーバノ
ードの負荷とネットワークの負荷が重くなってしまう。

【０００６】サーバノードとクライアントノードとの間
では、所定の時間間隔で定期的に負荷レベルのデータが
転送される。この時間間隔が比較的大きい場合には、制
御の遅れが生じる可能性がある。例えば、サーバノード
の負荷レベルが急速に上昇すると、負荷の増大をクライ
アントノードが認識する前にサーバノードの負荷が過大
になり、負荷が過大なサーバノードに対して更にサービ
スを割り当てるため処理の遅延が発生する。

【０００７】ところで、ローカルエリアネットワーク
（ＬＡＮ）などのドメインを複数接続したコンピュータ
ネットワークにおいては、互いに異なるドメインに属す
るサーバノードも利用できる。しかし、一般にドメイン
間では通信経路の距離が長いので、通信所要時間が長く
なる。負荷の大きさだけを考慮して他のドメインに属す
るサーバノードを利用すると、サーバノードからの応答
時間が遅くなり、応答までの時間の予測もできない場合
が多い。

【０００８】人とノードとの間でインタラクティブな処
理が行われるアプリケーションに対しては、サービスを
提供するサーバに対して数秒から数十秒程度の応答性が
必要とされる。本発明は、コンピュータネットワークの
負荷分散システムにおいて、クライアントからサーバへ
のサービス要求に対する応答性を改善することを目的と
する。

【０００９】

【課題を解決するための手段】請求項１のコンピュータ
ネットワークの負荷分散システムは、複数のサーバノー
ドとクライアントノードとが形成され、前記複数のサー
バノードのそれぞれには少なくとも１つのサーバが接続
されたコンピュータネットワークの負荷分散システムに
おいて、前記複数のサーバノードのそれぞれについて負
荷のレベルを検出するノード別負荷監視手段と、前記複
数のサーバノードのそれぞれが提供するサービスの種類
及び前記ノード別負荷監視手段が検出した各サーバノー
ドの負荷のレベルを把握して、前記クライアントノード
から要求されるサービスを実行可能なサーバが接続され
た複数のサーバノードの中から、検出された負荷のレベ
ルに基づいて最適サーバノードを識別する最適サーバ検
索手段と、前記クライアントノードからサーバへのサー
ビス要求を中継するとともに、前記最適サーバ検索手段
が識別した最適サーバノードに対して選択的に前記クラ
イアントノードからのサービス要求を送出する中継制御
手段とを設けたことを特徴とする。

【００１０】ノード別負荷監視手段は、複数のサーバノ
ードのそれぞれについて負荷のレベルを検出する。最適
サーバ検索手段は、複数のサーバノードのそれぞれが提
供するサービスの種類及び前記ノード別負荷監視手段が
検出した各サーバノードの負荷のレベルを把握して、前
記クライアントノードから要求されるサービスを実行可
能なサーバが接続された複数サーバノードの中から、検
出された負荷のレベルに基づいて、例えば負荷のレベル
が最小の最適サーバノードを識別する。

【００１１】中継制御手段は、クライアントノードから
サーバへのサービス要求を中継するとともに、前記最適
サーバ検索手段が識別した最適サーバノードに対して選
択的に前記クライアントノードからのサービス要求を送
出する。本発明においては、各サーバノードの負荷のレ
ベルが最適サーバ検索手段によって集中的に管理される
ので、各サーバノードはクライアントノードに対して負
荷レベルのデータを通知する必要がない。従って、クラ
イアントノード数が増大しても、負荷レベルのデータの
通知のために各サーバノードの処理が増大することがな
く、ネットワーク上のトラヒックも増大しない。

【００１２】また、検出された負荷のレベルが最小のサ
ーバノードに対して選択的に前記クライアントノードか
らのサービス要求を送出するので、このサービス要求に
対して高い応答性が得られる。請求項２は、請求項１記
載のコンピュータネットワークの負荷分散システムにお
いて、所定時間内に所定以上の負荷の増大が検出された
サーバノードに対しては、前記クライアントノードから
サーバへのサービスの割り当てを一時的に禁止する割り
当て制御手段を設けたことを特徴とする。

【００１３】ノード別負荷監視手段から最適サーバ検索
手段に対して負荷のレベルを通知する時間間隔が比較的
大きい場合には、サーバノードの負荷レベルが急速に上
昇すると、負荷の増大を最適サーバ検索手段が認識する
前にサーバノードの負荷が過大になり、負荷が過大なサ
ーバノードに対して更にサービスを割り当てる可能性が
ある。また、負荷のレベルを通知する時間間隔を小さく
すると、その処理に要する負担やネットワークのトラヒ
ックが増大する。

【００１４】割り当て制御手段は、所定時間内に所定以
上の負荷の増大が検出されたサーバノードに対しては、
前記クライアントノードからサーバへのサービスの割り
当てを一時的に禁止する。従って、負荷レベルが上昇傾
向にあり、負荷レベルが過大になる可能性の高いサーバ
ノードに対しては、負荷レベルが過大になる前にサービ
スの割り当てが禁止される。

【００１５】このため、ノード別負荷監視手段から最適
サーバ検索手段に対して負荷のレベルを通知する時間間
隔が比較的大きい場合であっても、負荷が過大なサーバ
ノードに対してサービスを割り当てることを未然に防止
できる。請求項３は、請求項２記載のコンピュータネッ
トワークの負荷分散システムにおいて、前記割り当て制
御手段が、所定時間内に所定以上の負荷の増大が検出さ
れたサーバノードについては、前記ノード別負荷監視手
段が検出したサーバノードの負荷のレベルを予め定めた
最大値に強制的に変更することを特徴とする。

【００１６】所定時間内に所定以上の負荷の増大が検出
されたサーバノードについては、前記ノード別負荷監視
手段から最適サーバ検索手段に通知される負荷のレベル
が最大値、すなわち過大レベルになるため、負荷が急速
に上昇するサーバノードが最適サーバとして認識される
ことがなくなる。請求項４のコンピュータネットワーク
の負荷分散システムは、複数のドメインで構成され、各
々のドメインには複数のサーバノードとクライアントノ
ードとが形成され、前記複数のサーバノードのそれぞれ
には少なくとも１つのサーバが接続されたコンピュータ
ネットワークの負荷分散システムにおいて、前記複数の
サーバノードのそれぞれについて負荷のレベルを検出す
るノード別負荷監視手段と、複数ドメインの間の通信に
かかる第１の通信所要時間及び各ドメイン内の所定位置
と各サーバノードとの間の通信にかかる第２の通信所要
時間を検出する通信時間検出手段と、複数ドメインの前
記複数のサーバノードのそれぞれが提供するサービスの
種類，前記ノード別負荷監視手段が検出した各サーバノ
ードの負荷のレベル，前記通信時間検出手段が検出した
第１の通信所要時間及び第２の通信所要時間に基づい
て、前記クライアントノードから要求されるサービスを
実行可能なサーバが接続されたサーバノードの中から１
つのサーバノードを最適サーバノードとして識別する最
適サーバ検索手段と、前記クライアントノードからサー
バへのサービス要求を中継するとともに、前記最適サー
バ検索手段が識別した最適サーバノードに対して選択的
に前記クライアントノードからのサービス要求を送出す
る中継制御手段とを設けたことを特徴とする。

【００１７】ノード別負荷監視手段は、複数のサーバノ
ードのそれぞれについて負荷のレベルを検出する。通信
時間検出手段は、複数ドメインの間の通信にかかる第１
の通信所要時間及び各ドメイン内の所定位置と各サーバ
ノードとの間の通信にかかる第２の通信所要時間を検出
する。最適サーバ検索手段は、複数ドメインの前記複数
のサーバノードのそれぞれが提供するサービスの種類，
前記ノード別負荷監視手段が検出した各サーバノードの
負荷のレベル，前記通信時間検出手段が検出した第１の
通信所要時間及び第２の通信所要時間に基づいて、前記
クライアントノードから要求されるサービスを実行可能
なサーバが接続されたサーバノードの中から１つのサー
バノードを最適サーバノードとして識別する。

【００１８】中継制御手段は、前記クライアントノード
からサーバへのサービス要求を中継するとともに、前記
最適サーバ検索手段が識別した最適サーバノードに対し
て選択的に前記クライアントノードからのサービス要求
を送出する。最適サーバ検索手段は、ネットワークに接
続された複数ドメインの中から最適サーバノードを識別
するので、サービスを要求するクライアントノードと同
一のドメイン内に負荷の小さいサーバノードが存在しな
い場合には、他のドメインに属する負荷の小さいサーバ
ノードに対してサービスを割り当てることができる。

【００１９】また、最適サーバ検索手段は、各サーバノ
ードの負荷のレベルだけでなく、前記第１の通信所要時
間及び第２の通信所要時間を考慮して最適サーバノード
を識別するので、クライアントノードから距離の離れた
ドメインに属するサーバノードについては、負荷のレベ
ルが小さくても頻繁にサービスを割り当てることはな
い。

【００２０】つまり、負荷のレベルが同一であれば、ク
ライアントノードに最も近いドメインに属するサーバノ
ードに優先的にサービスを割り当てることができるの
で、効率的に負荷を分散できる。請求項５は、請求項４
記載のコンピュータネットワークの負荷分散システムに
おいて、各ドメイン内の前記中継制御手段と各サーバノ
ードとの間の通信経路の距離をほぼ同一に定め、前記通
信時間検出手段が、前記中継制御手段と各サーバノード
との間で実際に伝送された信号の往復所要時間に基づい
て前記第２の通信所要時間を検出することを特徴とす
る。

【００２１】通信時間検出手段は、前記中継制御手段と
各サーバノードとの間で実際に伝送された信号の往復所
要時間に基づいて前記第２の通信所要時間を検出する。
各ドメイン内の前記中継制御手段と各サーバノードとの
間の通信経路の距離がほぼ同一であるため、基本的に同
一ドメイン内では各サーバノードの通信時間には差が生
じない。従って、同一ドメイン内の第２の通信所要時間
に含まれる誤差は、最適サーバノードの識別に悪影響を
及ぼさない。

【００２２】

【発明の実施の形態】実施の形態の負荷分散システムの
構成及び動作を図１〜図６に示す。この形態は全ての請
求項に対応する。図１はこの形態の負荷分散システムを
備えるコンピュータネットワークの１ドメインの構成例
を示すブロック図である。図２はこの形態の負荷分散シ
ステムを備えるコンピュータネットワークの２ドメイン
の構成例を示すブロック図である。

【００２３】図３は自ノード負荷情報管理モジュールの
負荷通知処理の内容を示すフローチャートである。図４
は最適サーバ検索モジュールの検索処理の内容を示すフ
ローチャートである。図５はドメイン内の距離測定処理
の内容を示すフローチャートである。図６はドメイン間
の距離測定処理の内容を示すフローチャートである。こ
の形態では、請求項１のノード別負荷監視手段，最適サ
ーバ検索手段及び中継制御手段は、それぞれ自ノード負
荷情報管理モジュール２１，管理ノード４０及び中継装
置３０に対応する。

【００２４】請求項２及び請求項３の割り当て制御手段
は、自ノード負荷情報管理モジュール２１に対応する。
請求項４のノード別負荷監視手段，通信時間検出手段，
最適サーバ検索手段及び中継制御手段は、それぞれ自ノ
ード負荷情報管理モジュール２１，自ノード負荷情報管
理モジュール２１，管理ノード４０及び中継装置３０に
対応する。

【００２５】本発明の負荷分散システムは、図１及び図
２に示すようなコンピュータネットワークで実施され
る。この種のコンピュータネットワークは、図１に示す
ような１つのドメイン５０(A)だけで構成される場合
と、図２に示すように互いに通信可能な２つ以上のドメ
イン５０(A)，５０(B)，・・で構成される場合とがあ
る。図１及び図２においては、各構成要素の符号に付加
した括弧内の記号Ａ，Ｂでそれが属するドメインの区分
を表し、同様に括弧内の番号１，２，３によってノード
の区分を表す。以下の説明においても、必要に応じてこ
れらの区分を各構成要素の符号に付けて示す。

【００２６】図１を参照すると、このドメイン５０に
は、複数のクライアントノード１０，複数のサーバノー
ド２０，中継装置３０及び管理ノード４０が備わってい
る。このドメイン５０は、現実的にはローカルエリアネ
ットワーク（ＬＡＮ）のように、多数のノードをハブや
ルータのようなスイッチを介してネットワークで互いに
接続される。

【００２７】図１においては、複数のクライアントノー
ド１０，複数のサーバノード２０，中継装置３０及び管
理ノード４０が、点線で示すようにネットワークで互い
に接続されている。図１及び図２に示す実線の矢印は、
ノード割当制御における主な信号の流れを示している。
なお、実際には多数のクライアントノード１０及び多数
のサーバノード２０がネットワークに接続されるが、図
１及び図２にはそれらの一部分だけが示されている。

【００２８】中継装置３０は、交換機と同様の構成要素
を備えており、ドメイン５０内の各構成要素及び複数ド
メイン５０間を必要に応じて接続し、接続した構成要素
の間の通信を可能にする。中継装置３０には代理モジュ
ール３１が備わっている。この代理モジュール３１は、
例えば中継装置３０に内蔵されたコンピュータが実行可
能なプログラムであり、後述する所定の機能を実現す
る。

【００２９】サーバノード２０には、１つ以上のサーバ
２２，２３が必要に応じて接続される。サーバ２２，２
３は、サーバノード２０に内蔵された１つ以上のコンピ
ュータと、それによって実行されるアプリケーションの
サーバプログラムとで構成される。この例では、記号
α，βで区分される互いに種類の異なるアプリケーショ
ンのサーバプログラムがサーバ２２及び２３に備わって
いる。

【００３０】クライアントノード１０には、１つ以上の
クライアント１１が必要に応じて接続される。クライア
ント１１は、クライアントノード１０に内蔵された１つ
以上のコンピュータと、それによって実行されるアプリ
ケーションのクライアントプログラムとで構成される。
クライアント１１がある種のアプリケーションを利用す
る場合には、クライアント１１におけるクライアントプ
ログラムからの要求に応じて、何れかのサーバノード２
０に属するサーバ２２又は２３のサーバプログラムが起
動する。サーバ２２又は２３のサーバプログラムは、所
定のサービスを実行してその結果をクライアント１１に
返す。

【００３１】図１に示すドメイン５０においては、記号
αに対応する種類のアプリケーションを実行するサーバ
２２が複数のサーバノード２０に接続されているので、
クライアント１１からの要求に応じたサービスを複数の
サーバノード２０(A,1)，２０(A,2)，２０(A,3)の何れ
でも処理できる。この形態では、クライアント１１が直
接何れかのサーバノード２０を選択することはない。こ
の形態では、負荷を分散するためにクライアント１１か
らのサービス要求は中継装置３０に入力され、中継装置
３０が複数のサーバノード２０(A,1)，２０(A,2)，２０
(A,3)の何れかを選択して、選択された１つのサーバノ
ード２０に属するサーバ２２に対してサービス要求を中
継する。

【００３２】各サーバノード２０には、そのノード内部
における負荷の大きさを管理するために自ノード負荷情
報管理モジュール２１が設けてある。この自ノード負荷
情報管理モジュール２１は、サーバノード２０に内蔵さ
れたコンピュータで実行される制御プログラムである。
管理ノード４０は、中継装置３０からの要求に応じて、
ドメイン５０内部における最適なサーバノード２０を決
定し、その結果を中継装置３０に通知する。管理ノード
４０には、最適サーバ検索モジュール４１及び全負荷情
報管理モジュール４２が備わっている。最適サーバ検索
モジュール４１及び全負荷情報管理モジュール４２は、
管理ノード４０に内蔵されたコンピュータで実行される
制御プログラムである。

【００３３】全負荷情報管理モジュール４２は、ドメイ
ン５０内の全てのサーバノード２０に関する負荷情報を
各サーバノード２０の自ノード負荷情報管理モジュール
２１から受け取って管理する。最適サーバ検索モジュー
ル４１は、ドメイン５０(A)内の全負荷情報管理モジュ
ール４２が管理する各サーバノード２０(A)の負荷情報
と他のドメイン５０(B)が管理する各サーバノード２０
(B)の負荷情報及び距離情報に基づいて、負荷の分散と
処理のリアルタイム性の観点から最適サーバノードを決
定する。

【００３４】ドメイン５０内では、中継装置３０と各々
のサーバノード２０との間の距離が互いにほぼ同一にな
るように各構成要素が配置されている。このため、中継
装置３０と各サーバノード２０との間の通信所要時間は
ほぼ同じになる。従って、ドメイン５０内における最適
サーバノードは、負荷が最小のサーバノード２０に決定
される。勿論、要求されたサービスを実行可能なサーバ
２２又は２３が備わったサーバノード２０に限定され
る。

【００３５】例えば、何れかのクライアント１１が中継
装置３０の代理モジュール３１にサーバ(α)２２で実行
可能な処理の要求を送出すると、代理モジュール３１は
最適サーバ検索モジュール４１に、負荷とリアルタイム
性の観点において最適なサーバ(α)２２の検索を依頼す
る。最適サーバ検索モジュール４１は、最適なサーバ
(α)２２の検索依頼を受けると、全負荷情報管理モジュ
ール４２に対して、サーバ(α)２２が属するサーバノー
ド２０の負荷情報を要求する。

【００３６】全負荷情報管理モジュール４２は、常に各
サーバノード２０の自ノード負荷情報管理モジュール２
１からの負荷情報を管理しているので、最適サーバ検索
モジュール４１からサーバノードの負荷情報を要求され
ると、管理している負荷情報を最適サーバ検索モジュー
ル４１に返却する。最適サーバ検索モジュール４１は、
全負荷情報管理モジュール４２から負荷情報を受け取っ
て、負荷とリアルタイム性の観点において最適なサーバ
(α)２２を検出し、それが属するサーバノード２０及び
サーバ(α)２２の識別子とその位置を示す情報を返却す
る。

【００３７】各サーバノード２０に備わった自ノード負
荷情報管理モジュール２１の負荷通知処理の各ステップ
の内容について図３を参照して説明する。ステップＳ１
１では、このプログラムを実行するコンピュータの内部
メモリに割り当てたカウンタｉ及びレジスタＸの値をク
リアする。

【００３８】ステップＳ１２では、自ノードの負荷の大
きさを求める。具体的には、自ノードに接続されたコン
ピュータについて検出された最新のＣＰＵ利用率，メモ
リの利用率及びネットワークの負荷状態（そのノードに
接続されているクライアント数）をパラメータとして予
め定めた計算式から負荷の大きさを計算する。この例で
は、負荷の大きさは１から予め定めた最大値Ｘｍまでの
Ｘｍ段階のレベルに分類して表される。なお、負荷のレ
ベルの範囲はノード毎に独立に定めても良い。例えば、
負荷のレベルの最小値をＣＰＵの能力，メモリ量及びネ
ットワークの帯域に応じて、Ｘ１（１＜Ｘ１＜Ｘｍ）に
変更しても良い。

【００３９】ステップＳ１２は一定の時間周期で繰り返
し実行される。ステップＳ１２で求められた負荷の大き
さは、カウンタｉの値によって特定されるレジスタＸ
(ｉ)に保持される。カウンタｉの値は、ステップＳ１２
を実行する度にステップＳ１８又はＳ１１で更新され
る。ステップＳ１３では、ステップＳ１２の結果が保持
されるレジスタＸ(ｉ)の内容を最大値Ｘｍと比較する。
ステップＳ１２で検出された負荷の大きさが最大値Ｘｍ
未満であればステップＳ１４に進み、検出された負荷の
大きさが最大値ＸｍであればステップＳ１９に進む。

【００４０】ステップＳ１４では、（ｉ−１）で特定さ
れるレジスタＸ(ｉ−１)が保持する値と予め定めた閾値
Ｘａとを比較する。つまり、１周期前にステップＳ１２
で検出された負荷の大きさを閾値Ｘａと比較する。レジ
スタＸ(ｉ−１)の値が閾値Ｘａ未満であればステップＳ
１６に進み、そうでなければステップＳ１５に進む。ス
テップＳ１５では、レジスタＸ(ｉ)が保持する値とレジ
スタＸ(ｉ−１)が保持する値との差分を予め定めた閾値
Ｘｂと比較する。つまり、負荷の１検出周期の間の負荷
の変化量を閾値Ｘｂと比較する。前記変化量が閾値Ｘｂ
未満であればステップＳ１６に進み、それ以外の場合に
はステップＳ２０に進む。例えば、負荷が急速に増大す
る場合にはステップＳ１５からＳ２０に進む可能性があ
る。

【００４１】ステップＳ１６では、レジスタＸ(ｉ)が保
持する値をレジスタＸに加算してレジスタＸの値を更新
する。ステップＳ１７では、カウンタｉの値を（ｋ−
１）と比較する。ｋは定数である。カウンタｉの値が
（ｋ−１）未満ならステップＳ１８に進み、それ以外の
場合にはステップＳ２１に進む。

【００４２】ステップＳ１８では、カウンタｉの値を更
新する。ステップＳ１９では、レジスタＮｐが保持する
値を最大値Ｘｍと比較する。レジスタＮｐが保持する値
は、以前にステップＳ２２の処理で全負荷情報管理モジ
ュール４２に通知した負荷情報の値である。レジスタＮ
ｐの値が最大値Ｘｍ未満の場合にはステップＳ２０に進
み、それ以外の場合にはステップＳ１１に進む。

【００４３】ステップＳ２０では、レジスタＮに最大値
Ｘｍを保持する。ステップＳ２１では、レジスタＸの値
を定数ｋで除算した結果をレジスタＮに保持する。ステ
ップＳ２２では、レジスタＮが保持する値を検出された
負荷のレベルとして全負荷情報管理モジュール４２に通
知する。

【００４４】ステップＳ２３では、通知した負荷のレベ
ルをレジスタＮｐに保存する。従って、ステップＳ１２
で検出した負荷のレベルが比較的小さい場合には、ステ
ップＳ１２で検出された負荷のレベルがレジスタＸに累
積される。そして、負荷のレベルをｋ回検出する度に、
検出されたｋ個のデータの累積値の平均値がステップＳ
２１で求められる。この平均値は、所定周期（例えば１
分間）の負荷のレベルの平均値である。この平均値が前
記所定周期毎にステップＳ２２で全負荷情報管理モジュ
ール４２に通知される。

【００４５】但し、ステップＳ１２で検出した負荷のレ
ベルが最大値Ｘｍと等しく、前回のステップＳ２２で全
負荷情報管理モジュール４２に通知した負荷のレベルが
最大値Ｘｍより小さい場合には、ステップＳ１３−Ｓ１
９−Ｓ２０−Ｓ２２を実行するので直ちに最大値Ｘｍが
全負荷情報管理モジュール４２に通知される。

【００４６】また、ステップＳ１２で１周期前に検出さ
れた負荷のレベルが閾値Ｘａ以上で、しかも負荷検出周
期の１周期の間の負荷のレベルの変化量が閾値Ｘｂ以上
になると、ステップＳ１４−Ｓ１５−Ｓ２０−Ｓ２２を
実行するので直ちに最大値Ｘｍが全負荷情報管理モジュ
ール４２に通知される。つまり、急速な負荷の増大を検
出した場合には、そのサーバノード２０に対する更なる
処理の割当を一時的に禁止するために、負荷のレベルと
して実際に検出された値より大きな最大値Ｘｍを通知す
る。

【００４７】各サーバノード２０の自ノード負荷情報管
理モジュール２１が図３に示すような処理を実行するの
で、管理ノード４０の全負荷情報管理モジュール４２に
は、ドメイン５０内の全てのサーバノード２０から、そ
の負荷のレベルを示す情報が集まる。次に、最適サーバ
検索モジュール４１によって処理される検索処理の内容
について図４を参照して説明する。また、ドメイン５０
(A)に属するクライアント１１がサービスの割当を要求
する場合の例について具体的に説明する。

【００４８】ステップＳ３１では、検索要求があるまで
待機する。クライアント１１がサービス割当を中継装置
３０の代理モジュール３１に要求した場合には、代理モ
ジュール３１は同じドメイン５０に属する最適サーバ検
索モジュール４１に対して、検索要求を送出する。ま
た、図２に示すように複数ドメイン５０(A)，５０(B)が
接続されている場合にドメイン５０(A)に属する最適サ
ーバ検索モジュール４１(A)が検索要求を受けると、最
適サーバ検索モジュール４１(A)は、中継装置３０(A)の
代理モジュール３１(A)及び中継装置３０(B)の代理モジ
ュール３１(B)を介して、ドメイン５０(B)に属する最適
サーバ検索モジュール４１(B)に対して検索要求を送出
する。

【００４９】検索要求を受けると、最適サーバ検索モジ
ュール４１の処理はステップＳ３１からＳ３２に進む。
ステップＳ３２では、クライアント１１から要求された
サービスの種類を示す識別子の情報に基づいて、そのサ
ービスを実行可能なサーバ２２（又は２３）が接続され
た全てのサーバノード２０を識別する。

【００５０】例えば、図２においてクライアント１１が
記号αで表されるサービスの割当を要求した場合には、
最適サーバ検索モジュール４１はサーバ(α)２２を備え
るサーバノード２０(A,1)，２０(A,2)，２０(A,3)の各
々の識別子をステップＳ３２で取得する。ステップＳ３
３では、他のドメインが利用可能か否かを識別する。図
２に示すように複数のドメイン５０(A)，５０(B)が互い
に接続されている場合には、ステップＳ３３からＳ３４
に進む。

【００５１】ステップＳ３４では、他のドメイン５０に
属する最適サーバ検索モジュール４１に対して検索すべ
きサーバ２２，２３の種類（α，β）を示す識別子とと
もに検索要求を送出する。最適サーバ検索モジュール４
１(A)から検索要求を受けた最適サーバ検索モジュール
４１(B)も、最適サーバ検索モジュール４１(A)と同様に
図４の処理を実行する。

【００５２】ステップＳ３５では、ステップＳ３２で検
出されたサーバノード２０が１つか複数かを識別する。
複数のサーバノード２０が検出された場合には、ドメイ
ン５０内の最適なサーバノード２０を選択するためにス
テップＳ３５からＳ３６に進む。ステップＳ３６では、
クライアント１１からの要求を実行可能なサーバ２２
（又は２３）が接続された全てのサーバノード２０の負
荷情報（負荷のレベル）を全負荷情報管理モジュール４
２から取得する。

【００５３】ステップＳ３７では、クライアント１１か
らの要求を実行可能なサーバ２２（又は２３）が接続さ
れた全てのサーバノード２０の中で負荷のレベルが最小
の１つのサーバノード２０を決定する。ここで決定され
るサーバノード２０は、ドメイン５０内における最適な
サーバノード２０である。なお、負荷のレベルが最小の
サーバノード２０が複数存在する場合には、その中の１
つをランダムに選択する。

【００５４】最適サーバ検索モジュール４１(A)がステ
ップＳ３４で他ドメイン５０(B)の最適サーバ検索モジ
ュール４１(B)に検索を要求した場合には、最適サーバ
検索モジュール４１(B)の検索の結果をステップＳ３８
で取得する。最適サーバ検索モジュール４１(B)の検索
の結果は、中継装置３０(B)の代理モジュール３１(B)，
中継装置３０(A)の代理モジュール３１(A)を介して最適
サーバ検索モジュール４１(A)に入力される。

【００５５】最適サーバ検索モジュール４１は、ドメイ
ン５０内の各サーバノード２０と中継装置３０との間の
通信所要時間Ｔ１、並びに互いに隣接するドメイン５０
(A)，５０(B)に属する隣接する中継装置３０(A)，３０
(B)の間の通信所要時間Ｔ２を距離情報として管理して
いる。ステップＳ３８においては、他ドメイン５０(B)
に属する最適サーバ検索モジュール４１(B)から、ドメ
イン５０(B)に属するサーバノード２０(B)の中で負荷の
レベルが最小の１つのサーバノード２０(B)を示す識別
子と、該サーバノード２０(B)と中継装置３０(B)との間
の通信所要時間Ｔ１(B)のデータとが、最適サーバ検索
モジュール４１(A)に到来する。

【００５６】ステップＳ３９では、最適サーバ検索モジ
ュール４１(A)は、ステップＳ３７で検出されたドメイ
ン５０(A)内の最適な１つのサーバノード２０(A)と、他
ドメイン５０(B)で検出された最適な１つのサーバノー
ド２０(B)等について、それらの負荷のレベルと距離の
情報とを考慮して、ネットワーク全体として最適な１つ
のサーバノード２０を決定する。

【００５７】ドメイン５０(A)内の最適な１つのサーバ
ノード２０(A)については、その距離として最適サーバ
検索モジュール４１が管理するサーバノード２０(A)と
中継装置３０(A)との間の通信所要時間Ｔ１(A)を適用す
る。また、他ドメイン５０(B)のサーバノード２０(B)の
距離としては、最適サーバ検索モジュール４１(B)から
受け取ったサーバノード２０(B)と中継装置３０(B)との
間の通信所要時間Ｔ１(B)に、最適サーバ検索モジュー
ル４１(A)が管理するドメイン５０をまたがる中継装置
３０(A)，３０(B)の間の通信所要時間Ｔ２を加算した結
果を適用する。

【００５８】なお、複数のドメイン５０をまたがるサー
バノード２０を利用する場合には、それぞれのドメイン
５０間の通信所要時間を累積することにより、通信所要
時間Ｔ２が得られる。ステップＳ３９では、所定の計算
式を用いて、複数ドメイン５０で検出された複数のサー
バノード２０の中から、最適な１つのサーバノード２０
を識別する。例えば、ドメイン５０(A)内のサーバノー
ド２０(A)に比べて他ドメイン５０(B)のサーバノード２
０(B)の負荷のレベルが小さい場合であっても、中継装
置３０(A)，３０(B)の間の通信所要時間Ｔ２が大きい場
合には、ドメイン５０(A)内のサーバノード２０(A)が最
適サーバノードとして識別される。

【００５９】ステップＳ４０では、例えば検索を要求し
た依頼元の代理モジュール３１に対して検索の結果を返
却する。最適サーバ検索モジュール４１(A)から検索を
要求された他ドメイン５０(B)に属する最適サーバ検索
モジュール４１(B)の場合には、ステップＳ４０で依頼
元の最適サーバ検索モジュール４１(A)に中継装置３０
(B)及び３０(A)を介して結果を通知する。

【００６０】検索要求に対して最適サーバ検索モジュー
ル４１から検索結果を受け取った中継装置３０の代理モ
ジュール３１は、最適サーバ検索モジュール４１が決定
した最適サーバノードに対して、クライアント１１から
のサービスを割り当てるように要求を中継する。

【００６１】ドメイン５０内におけるサーバノード２０
と中継装置３０との間の通信所要時間Ｔ１は、図５に示
す処理によって取得される。図５に示す処理は、例えば
サーバノード２０の電源が投入されたときに実行され
る。図５の処理について以下に説明する。サーバノード
２０は、ステップＳ５１でサーバノード２０に内蔵され
たコンピュータの時計回路の時刻を参照して現在時刻ｔ
11を検出する。その直後に、ステップＳ５２でデータ長
の小さい所定のデータをサーバノード２０からドメイン
５０内の中継装置３０に送出する。

【００６２】中継装置３０の処理は、ドメイン５０内の
サーバノード２０から送出された前記データを受信する
と、ステップＳ６１からＳ６２に進む。ステップＳ６２
では、受信したデータを直ちに送信元のサーバノード２
０に折り返し送信する。サーバノード２０は、中継装置
３０からの返信データを受信すると、ステップＳ５３か
らＳ５４に進む。ステップＳ５４では、再びコンピュー
タに内蔵された時計回路の時刻を参照して現在時刻ｔ12
を検出する。

【００６３】サーバノード２０は、ステップＳ５５で次
の計算式に基づき通信所要時間Ｔ１を算出する。 Ｔ１＝（ｔ12−ｔ11）／２ サーバノード２０は、求められた通信所要時間Ｔ１を次
のステップＳ５６で管理ノード４０に対して送出する。
この通信所要時間Ｔ１は、管理ノード４０の最適サーバ
検索モジュール４１で管理される。

【００６４】一方、ドメイン５０をまたがる中継装置３
０(A)，３０(B)の間の通信所要時間Ｔ２は、図６に示す
処理によって取得される。図６に示す処理は、例えば中
継装置３０の電源が投入されたときに実行される。図６
の処理について以下に説明する。中継装置３０(A)は、
ステップＳ７１でそれに内蔵されたコンピュータの時計
回路の時刻を参照して現在時刻ｔ21を検出する。その直
後に、ステップＳ７２でデータ長の小さい所定のデータ
を中継装置３０(A)から他ドメイン５０の中継装置３０
(B)に送出する。

【００６５】中継装置３０(B)の処理は、中継装置３０
(A)から送出された前記データを受信すると、ステップ
Ｓ８１からＳ８２に進む。ステップＳ８２では、受信し
たデータを直ちに送信元の中継装置３０(A)に折り返し
送信する。中継装置３０(A)は、中継装置３０(B)からの
返信データを受信すると、ステップＳ７３からＳ７４に
進む。ステップＳ７４では、再びコンピュータに内蔵さ
れた時計回路の時刻を参照して現在時刻ｔ22を検出す
る。

【００６６】中継装置３０(A)は、ステップＳ７５で次
の計算式に基づき通信所要時間Ｔ２を算出する。 Ｔ２＝（ｔ22−ｔ21）／２ 中継装置３０(A)は、求められた通信所要時間Ｔ２を次
のステップＳ７６でドメイン５０内の管理ノード４０
(A)に対して送出する。この通信所要時間Ｔ２は、管理
ノード４０(A)の最適サーバ検索モジュール４１(A)で管
理される。

【００６７】ドメイン５０(B)においても、同様の処理
を実行するので最適サーバ検索モジュール４１(B)は通
信所要時間Ｔ２を取得して管理できる。

【００６８】

【発明の効果】本発明によれば、各サーバノードの負荷
のレベルが最適サーバ検索手段によって集中的に管理さ
れるので、各サーバノードはクライアントノードに対し
て負荷レベルのデータを通知する必要がない。従って、
クライアントノード数が増大しても、負荷レベルのデー
タの通知のために各サーバノードの処理が増大すること
がなく、ネットワーク上のトラヒックも増大しない。

【００６９】また、検出された負荷のレベルが最小のサ
ーバノードに対して選択的に前記クライアントノードか
らのサービス要求を送出するので、このサービス要求に
対して高い応答性が得られる。また、負荷が急速に増大
するサーバノードに対してサービスの割り当てを一時的
に禁止する割り当て制御手段を設けることにより、負荷
レベルが過大になる可能性の高いサーバノードに対して
は、負荷レベルが過大になる前にサービスの割り当てが
禁止される。このため、ノード別負荷監視手段から最適
サーバ検索手段に対して負荷のレベルを通知する時間間
隔が比較的大きい場合であっても、負荷が過大なサーバ
ノードにサービスを割り当てることを未然に防止でき
る。

【００７０】また、複数ドメインを利用できる環境にお
いては、ノード別負荷監視手段が検出した各サーバノー
ドの負荷のレベルだけでなく、通信時間検出手段が検出
した第１の通信所要時間及び第２の通信所要時間を考慮
して最適サーバノードを識別する最適サーバ検索手段を
設けることにより、サーバからの応答性を考慮して適度
に負荷を分散できる。

【００７１】また、各ドメイン内の前記中継制御手段と
各サーバノードとの間の通信経路の距離をほぼ同一に定
めることにより、検出された第２の通信所要時間に含ま
れる多少の誤差は許容できるので、第２の通信所要時間
の検出が容易になる。更に、中継制御手段と各サーバノ
ードとの間で実際に伝送された信号の往復所要時間に基
づいて第２の通信所要時間を検出することにより、比較
的簡単に第２の通信所要時間が得られる。

【図面の簡単な説明】

【図１】実施の形態の負荷分散システムを備えるコンピ
ュータネットワークの１ドメインの構成例を示すブロッ
ク図である。

【図２】実施の形態の負荷分散システムを備えるコンピ
ュータネットワークの２ドメインの構成例を示すブロッ
ク図である。

【図３】自ノード負荷情報管理モジュールの負荷通知処
理の内容を示すフローチャートである。

【図４】最適サーバ検索モジュールの検索処理の内容を
示すフローチャートである。

【図５】ドメイン内の距離測定処理の内容を示すフロー
チャートである。

【図６】ドメイン間の距離測定処理の内容を示すフロー
チャートである。

【図７】従来の負荷分散システムの構成例を示すブロッ
ク図である。

【符号の説明】

１０ クライアントノード １１ クライアント ２０ サーバノード ２１ 自ノード負荷情報管理モジュール ２２，２３ サーバ ３０ 中継装置 ３１ 代理モジュール ４０ 管理ノード ４１ 最適サーバ検索モジュール ４２ 全負荷情報管理モジュール ５０ ドメイン

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数のサーバノードとクライアントノー
   ドとが形成され、前記複数のサーバノードのそれぞれに
   は少なくとも１つのサーバが接続されたコンピュータネ
   ットワークの負荷分散システムにおいて、 前記複数のサーバノードのそれぞれについて負荷のレベ
   ルを検出するノード別負荷監視手段と、 前記複数のサーバノードのそれぞれが提供するサービス
   の種類及び前記ノード別負荷監視手段が検出した各サー
   バノードの負荷のレベルを把握して、前記クライアント
   ノードから要求されるサービスを実行可能なサーバが接
   続された複数のサーバノードの中から、検出された負荷
   のレベルに基づいて最適サーバノードを識別する最適サ
   ーバ検索手段と、 前記クライアントノードからサーバへのサービス要求を
   中継するとともに、前記最適サーバ検索手段が識別した
   最適サーバノードに対して選択的に前記クライアントノ
   ードからのサービス要求を送出する中継制御手段とを設
   けたことを特徴とするコンピュータネットワークの負荷
   分散システム。
2. 【請求項２】 請求項１記載のコンピュータネットワー
   クの負荷分散システムにおいて、所定時間内に所定以上
   の負荷の増大が検出されたサーバノードに対しては、前
   記クライアントノードからサーバへのサービスの割り当
   てを一時的に禁止する割り当て制御手段を設けたことを
   特徴とするコンピュータネットワークの負荷分散システ
   ム。
3. 【請求項３】 請求項２記載のコンピュータネットワー
   クの負荷分散システムにおいて、前記割り当て制御手段
   が、所定時間内に所定以上の負荷の増大が検出されたサ
   ーバノードについては、前記ノード別負荷監視手段が検
   出したサーバノードの負荷のレベルを予め定めた最大値
   に強制的に変更することを特徴とするコンピュータネッ
   トワークの負荷分散システム。
4. 【請求項４】 複数のドメインで構成され、各々のドメ
   インには複数のサーバノードとクライアントノードとが
   形成され、前記複数のサーバノードのそれぞれには少な
   くとも１つのサーバが接続されたコンピュータネットワ
   ークの負荷分散システムにおいて、 前記複数のサーバノードのそれぞれについて負荷のレベ
   ルを検出するノード別負荷監視手段と、 複数ドメインの間の通信にかかる第１の通信所要時間及
   び各ドメイン内の所定位置と各サーバノードとの間の通
   信にかかる第２の通信所要時間を検出する通信時間検出
   手段と、 複数ドメインの前記複数のサーバノードのそれぞれが提
   供するサービスの種類，前記ノード別負荷監視手段が検
   出した各サーバノードの負荷のレベル，前記通信時間検
   出手段が検出した第１の通信所要時間及び第２の通信所
   要時間に基づいて、前記クライアントノードから要求さ
   れるサービスを実行可能なサーバが接続されたサーバノ
   ードの中から１つのサーバノードを最適サーバノードと
   して識別する最適サーバ検索手段と、 前記クライアントノードからサーバへのサービス要求を
   中継するとともに、前記最適サーバ検索手段が識別した
   最適サーバノードに対して選択的に前記クライアントノ
   ードからのサービス要求を送出する中継制御手段とを設
   けたことを特徴とするコンピュータネットワークの負荷
   分散システム。
5. 【請求項５】 請求項４記載のコンピュータネットワー
   クの負荷分散システムにおいて、各ドメイン内の前記中
   継制御手段と各サーバノードとの間の通信経路の距離を
   ほぼ同一に定め、前記通信時間検出手段が、前記中継制
   御手段と各サーバノードとの間で実際に伝送された信号
   の往復所要時間に基づいて前記第２の通信所要時間を検
   出することを特徴とするコンピュータネットワークの負
   荷分散システム。