JP4961833B2 - クラスタシステム、負荷分散方法、最適化クライアントプログラム、及び調停サーバプログラム - Google Patents

Description

本発明は、複数の情報処理装置（ノード）を備えるクラスタシステム、及び負荷分散方法に関し、特に複数のノードに接続されるＩ／Ｏスロットを選択的に変更できるスイッチを備えるクラスタシステム、及びそのクラスタシステムにおける負荷分散方法に関する。

近年、障害発生時にシステムが停止せずに処理を継続する目的や、大きな負荷に対して処理能力の向上させるを目的で、多数の情報処理装置（ノード）が接続されたクラスタシステムが必要とされている。このようなクラスタシステムでは各ノードにどのように仕事（ジョブ）を割り振るかという負荷分散が重要である。

従来のクラスタシステムではプロセッサリソースについての負荷分散を目指すものが主流であった。又、柔軟性のある負荷分散を実現するために各ノードは対称なハードウェア構成であることが望ましい。具体的には、あるノードからのみアクセス可能なストレージが存在する場合、そのノードとストレージへの負荷が集中する時、他のデバイスはそのストレージにアクセスできないため、当該ノードやストレージへの負荷を他のノードに逃がすことが出来ない。従って、すべてのノードは全てのデバイスにアクセス可能であることが必要となる。通常、各ノードにおけるＩ／Ｏ環境はアダプタとブリッジ（例えばＰＣＩブリッジ）の接続が固定である。このため各ノードに対し自由に負荷が分散されるためには、すべてのノードに同じアダプタを実装する必要があり、非常に冗長な構成となる。

一方、より柔軟なＩＯ構成を実現するため、各ノードのＰＣＩブリッジと各ＰＣＩスロットとの間にスイッチを用意して、自由にＰＣＩブリッジとＰＣＩスロットとの接続を変更できるクラスタシステムが開発されている。この場合、スイッチを制御して各ノードと各ＰＣＩスロットとの接続を切り替えられるので、ノードの数だけ同じアダプタを用意する必要は無く、アダプタの利用効率は良い。しかし、各ノードに対する負荷は時間で変化するため、少ないアダプタを効率良く使用することが望まれている。

しかし、従来技術による負荷分散方法では、プロセッサリソースに基づいて割り振る負荷が決定される。このため、プロセッサまでの経路に問題がある場合、必ずしも適切なプロセッサに負荷が割り振られるとは限らない。例えば、使用率が低いプロセッサに負荷が投入されても、そのノードのＩＯスロットまでの経路が輻輳している場合、そのプロセッサは投入された負荷を処理できない可能性がある。このため、プロセッサリソースに基づいて負荷分散を行っても、システム性能が向上しない可能性がある。

又、柔軟な負荷分散が実現されるために全てのノードが対称になるようにアダプタカードが用意されると、カードの利用効率が低くなりコストが上がってしまう。しかしコストを下げるために必要な枚数のアダプタしか用意しないと、特に時間によって変化する負荷に対応することは難しい。

一方、負荷分散に係る従来技術が以下の開示例に記載されている。特開２００２−１６３２４１号公報には、需要変動に応じてサービス提供側の資源を動的に再構成するクライアントサーバシステムが記載されている（特許文献１参照）。又、特開平５−０８９０６４号公報には、複数の装置制御部を介してホストコンピュータと通信を行い、複数の装置制御部の負荷状態を監視する負荷管理部を備えるコンピュータシステムが記載されている（特許文献２）。特許文献２に記載の負荷管理部は装置制御部の負荷状態に応じてホストコンピュータと通信する各装置制御部又は各装置を変更して負荷分散を行う。又、特開平７−２５００８５号公報にはデータ通信装置におけるバスの負荷分散方法が記載されている（特許文献３参照）。特許文献３に記載のデータ通信装置は、複数のモジュールと複数のバスと、各モジュールのトラヒック量に応じてモジュールに接続するバスを選択する制御手段とを備えている。又、特開平９−０１６５３４号公報には、ネットワークで結合され分散構成された計算機における分散型プロセス処理方法が記載されている（特許文献４参照）。特許文献４に記載の方法では、計算機に関する静的性能と動的な負荷状況の変動などハードウェア資源に関する情報と計算機環境内のソフトウェア環境に関する情報とに基づいてジョブをサーバプロセスに分配し実行処理する。更に、特開平１１−０６５７２７号公報には、Ｉ／Ｏスロットの接続を任意のＩ／Ｏバスに変更してＩ／Ｏバスの負荷分散を実行するコンピュータが記載されている（特許文献５参照）。
特開２００２−１６３２４１号公報 特開平５−０８９０６４号公報 特開平７−２５００８５号公報 特開平９−０１６５３４号公報 特開平１１−０６５７２７号公報

本発明の目的は、負荷分散に伴うシステム性能の低下を防止するクラスタシステムを提供することにある。

又、本発明の他の目的は、ノードのＩ／Ｏにおける負荷量に応じて、ノードのＩ／Ｏまでの経路を動的に変更できるクラスタシステムを提供することにある。

更に、本発明による他の目的は、少ないハードウェア資源を活用した低コストなクラスタシステムを提供することにある。

以下に、［発明を実施するための最良の形態］で使用される番号・符号を括弧付きで用いて、［課題を解決するための手段］を説明する。この番号・符号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］の記載との対応関係を明らかにするために付加されたものであるが、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明によるクラスタシステムは、複数のＩ／Ｏスロット（４）と、複数のノード（１、１’）と、複数のＩ／Ｏスロット（４）と複数のノード（１、１’）との間に設けられるスイッチ（３）とを具備する。複数のノード（１、１’）は、複数のＩ／Ｏスロット（４）のいずれかを介して相互に接続される。本発明に係るスイッチ（３）は、複数のノード（１、１’）の各々と複数のＩ／Ｏスロット（２）の内、対応するＩ／Ｏスロット（２）との間の経路における負荷状態に応じて、ノード（１、１’）に接続されるＩ／Ｏスロット（２）を変更する。又、複数のノードのいずれか（１’）は、その負荷状態に応じて複数のノード（１、１’）が実行するタスクを決定する。このように、本発明によるクラスタシステムは、各ノードのＩ／Ｏにおける負荷状態に応じて、その接続先のＩ／Ｏスロット（２）を変更し、且つ、各ノード（１、１’）が処理すべきタスク（負荷）を決定する。このため、本発明によれば、ノードのＩ／Ｏが高負荷状態である場合、接続先のＩ／Ｏスロットを他のＩ／Ｏスロットに変更して、当該ノードのＩ／Ｏにかかる負荷を低減することができる。又、ノードのＩ／Ｏにおける負荷状態を考慮してタスク（負荷）をノード（１、１’）に割り当てるため、Ｉ／Ｏが高負荷状態のノードを避けて負荷分散することができる。更に、動的にノード（１、１’）とＩ／Ｏスロット（４）との経路を変更することができるため、負荷分散の柔軟性とＩ／Ｏスロットに接続するためのアダプタの高い利用効率を得ることができる。

又、複数のノード（１、１’）の各々は、複数のＩ／Ｏスロット（４）のいずれかに接続されるプロセッサ（１１、１１’）と、プロセッサ（１１、１１’）とＩ／Ｏスロット（４）との間の経路（２、１６）における性能情報（１０６、１０７）を取得する性能カウンタ（１４０、１５０）とを備えることが好ましい。この場合、プロセッサ（１１、１１’）は、性能情報（１０６、１０７）が閾値を越える場合、自身に接続されるＩ／Ｏスロット（４）までの経路（２、１６）が高負荷状態であると判定する。スイッチ（３）は、高負荷状態と判定されたノードに接続されるＩ／Ｏスロットを他のＩ／Ｏスロットに変更する。本発明によれば、各ノードにおいて自身のＩ／Ｏの負荷状態の監視、高負荷状態の判定を行うため、負荷状態の変動に迅速、柔軟に対処することができる。

本発明によるクラスタシステムは、スイッチ（３）と複数のノード（１、１’）とを相互に接続されるスイッチ管理ネットワーク（５）を更に具備することが好ましい。又、複数のノードは調停ノード（１’）を含むことが好ましい。複数のノード（１、１’）の各々は、性能情報（１０６、１０７）をスイッチ管理ネットワーク（５）を介して調停ノード（１’）に送信する。調停ノード（１’）は、複数のノード（１、１’）から送信された性能情報（１０６、１０７）に基づいて構成変更要求（１１３）を発行する。複数のノード（１、１’）の各々は、構成変更要求（１１３）に基づいて、スイッチ管理ネットワーク（５）を介してスイッチ（３）を制御して自ノードに接続されたＩ／Ｏスロット（４）を変更する。このように、本発明のクラスタシステムは、ノード間を結ぶデータ伝送路とは別に、負荷状態の伝達及びスイッチ（３）の制御に使用されるスイッチ管理ネットワークが設けられる。このため、ノード間のデータ伝送に影響を与えることなく、又、ノードのＩ／Ｏにおける障害や高負荷状態に影響される事無く、スイッチ（３）制御が行われ得る。又、複数のノードのうち、ノードとＩ／Ｏスロットとの接続制御を一元管理する調停ノード（１’）が設けられるため、統一的にスイッチ（３）を制御することができる。

又、調停ノード（１’）は、複数のノード（１、１’）から送信された性能情報（１０６、１０７）に基づいて複数のノード（１、１’）の各々が処理すべきタスクを指定する最適構成情報（１０９）を生成して複数のノード（１、１’）に送信することが好ましい。複数のノード（１、１’）の各々のプロセッサ（１１、１１’）は、最適構成情報（１０９）に示されたタスクを処理する。本発明に係る調停ノード（１’）は、性能情報（１０６、１０７）を考慮してノード（１、１’）が処理すべきタスク（負荷量）を決定することができる。すなわちノード（１、１’）のＩ／Ｏにおける負荷状況を考慮して各ノードに与える負荷の大きさを決定することができる。

Ｉ／Ｏスロット（４）までの経路が高負荷状態であると判定したノード（１、１’）は、調停ノード（１’）に調停要求（１１１）を発行する。調停ノード（１’）は、調停要求（１１１）に応答して複数のノード（１、１’）に対し性能情報要求（１１２）を発行する。複数のノード（１、１’）の各々は、性能情報要求（１１２）に応答して自身に接続されるＩ／Ｏスロット（４）までの経路における性能情報（１０６、１０７）を調停ノード（１’）に送信する。このように、調停ノード（１’）は、Ｉ／Ｏスロット（４）までの経路の高負荷状態の検出をトリガに、各ノードの性能情報を収集し、それぞれの経路を変更することができる。

更に、複数のノードの各々は、性能情報（１０６、１０７）を時系列的に記録した性能統計情報（１０３）を有することが好ましい。又、調停ノード（１’）は、ノード（１、１’）の接続先となるＩ／Ｏスロット（４）の変更条件を規定するユーザポリシ（１０５）を有することが好ましい。この場合、ノード（１、１’）は、性能情報要求（１１２）に応答して性能統計情報（１０３）を調停ノード（１’）に送信する。調停ノード（１’）は、性能統計情報（１０３）がユーザポリシ（１０５）に適合している場合、構成変更要求（１１３）を発行して、ノードの接続先Ｉ／Ｏスロットの変更、及びタスクの割り当てを行う。このように、本発明によれば、ノード（１、１’）間の接続構成を変更するための条件をユーザポリシとして設定できるため、より柔軟性のある負荷分散を行うことができる。

性能情報（１０６、１０７）は、ノード（１、１’）に設けられたプロセッサ（１１、１１’）とＩ／Ｏスロット（４）との間における伝送路の使用率又はトランザクション数であることが好ましい。又、複数のノード（１、１’）の各々は、ＰＣＩバス（２）を介してスイッチ（３）に接続されるＰＣＩブリッジ（１４）を更に備えることが好ましい。本発明に係るＰＣＩブリッジ（１５）は、ＰＣＩバス（２）における第１の性能情報（１０７）を取得する第１のカウンタ（１５０）を備える。プロセッサ（１１、１１’）は、第１の性能情報（１０７）が閾値を越える場合、ＰＣＩバス（２）が高負荷状態であると判定し、調停ノード（１’）に調停要求（１１１）を発行する。このように、本発明に係るノード（１、１’）はＰＣＩバス（２）の負荷状態に応じて自身へのＩ／Ｏへの経路及び処理すべきタスクを変更できる。

更に、複数のノードの各々（１、１’）は、プロセッサ（１１、１１’）とＰＣＩブリッジ（１５）との間に接続されるノースブリッジ（１４）を更に備える。本発明に係るノースブリッジ（１４）は、ノースブリッジ（１４）とＰＣＩブリッジ（１５）との間における第２の性能情報（１０６）を取得する第２のカウンタ（１４０）を備えることが好ましい。プロセッサ（１１、１１’）は、第２の性能情報（１０６）が閾値を越える場合、ノースブリッジ（１４）とＰＣＩブリッジ（１５）との間（１６）が高負荷状態であると判定し、調停ノード（１’）に調停要求（１１１）を発行する。このように、本発明に係るノード（１、１’）は、ＰＣＩバス（２）とは異なる伝送長、又はクロックで動作するシステムバス（１６）の負荷状態に応じて自身へのＩ／Ｏへの経路及び処理すべきタスクを変更できる。

本発明によるクラスタシステム、及び負荷分散方法は、適切なノードを適切に選択して負荷分散を実行し、システム性能を向上することができる。

又、動的にノードに接続されるＩ／Ｏスロットを変更することができる。

更に、少ないハードウェア資源で低コストなクラスタシステムを提供できる。

以下、添付図面を参照して、本発明によるクラスタシステムの実施の形態が説明される。図面において同一、又は類似の参照符号は、同一、類似、又は等価な構成要素を示している。又、同様な構成が複数ある構成要素には、それぞれ下付き番号が付された参照符号が付与される。この場合、複数の構成要素に共通の説明がなされる場合、下付き符号が外された参照符号によって説明される。

（構成）
本実施の形態は、マウントラック型のブレードサーバを一例に説明される。図１は、本発明によるブレードサーバの実施の形態における構成図である。本発明によるブレードサーバは、図１を参照して、ブレードサーバは、調停ノード１’、複数のノード１_１〜１_ｎ（ｎ個）、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔｓ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス２_０〜２_ｎ、スイッチ部３、ＰＣＩスロット４_１〜４_ｍ（ｍ個）を具備する。調停ノード１’及びノード１はプロセッサやメモリを備えるコンピュータ装置（サーバブレード）である。調停ノード１’及びノード１は、ＰＣＩバス２及びＰＣＩスロット４を介して相互に接続される。スイッチ部３はＰＣＩバス２とＰＣＩスロット４との間に設けられる。スイッチ部３は、調停ノード１’及びノード１_１〜１_ｎのそれぞれと、ＰＣＩスロット４_１〜４_ｍのそれぞれとを選択的に接続する。又、スイッチ部３と調停ノード１’及びノード１は、スイッチ管理ネットワーク５を介して接続されている。尚、本実施の形態では、拡張バス及び拡張スロットの規格としてＰＣＩが採用されているが、他の規格が採用された形態でも構わない。ＰＣＩスロット４_１〜４_ｍは、全て同一のバス幅でも、異なるバス幅を組み合わせた形態でもどちらでも構わない。

スイッチ部３は、例えばスイッチ機能を有するチップである。本実施の形態では、スイッチ部３とＰＣＩスロット４は１つの基板に搭載されたＩ／Ｏパッケージを形成する。調停ノード１’及びノード１は図示しないアダプタカードを介してこのＩ／Ｏパッケージに装着されることでブレードサーバ（クラスタシステム）を形成する。スイッチ管理ネットワーク５は、ＰＣＩバス２と高速伝送バスであるＰＣＩバス２とは別の通信バスである。調停ノード１’及びノード１は、このスイッチ管理ネットワーク５を介してスイッチ部３を制御してスイッチ部３の構成を変更する。すなわち、高速伝送を必要としないスイッチ制御に、データ伝送用のバス以外のスイッチ管理ネットワーク５を使用することで、データ伝送用のバスの使用帯域を有効に使用できる。

図２は、本発明によるノード１の実施の形態における構成図である。図２を参照して、ノード１は、複数のプロセッサを有するプロセッサ群１１、ＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）１２、メモリ１３、ノースブリッジ１４、ＰＣＩブリッジ１５、内部バス１６を具備している。プロセッサ群１１は、ノースブリッジ１４及びＰＣＩブリッジ１５を介してＰＣＩバス２に接続される。ノースブリッジ１４はプロセッサ群１１、ＢＭＣ１２、メモリ１３、及び内部バス１６に接続される。ノースブリッジ１４は接続される各構成とプロセッサ群１１との間における情報の伝送を制御するインターフェイスと、メモリコントローラを装備しているチップセットである。又、ノースブリッジ１４は内部バス１６を介してＰＣＩブリッジ１５に接続され、内部バス１６における情報の伝送を制御する。ＰＣＩブリッジ１５は、ＰＣＩバス２に接続されＰＣＩバス２における情報の伝送を制御するチップセットである。メモリ１３は、ＲＯＭに例示される記憶装置であり、最適化クライアントプログラム１０１と性能カウンタドライバ１０２とを格納している。又、メモリ１３には、自ノードとＰＣＩスロット４との間における負荷状態の履歴データとして性能統計情報１０３が記録されることが好ましい。

ノースブリッジ１４は、内部バス１６内の性能情報１０６を監視する性能カウンタ１４０を備える。又、ＰＣＩブリッジ１５は、スイッチ部３とＰＣＩブリッジ１５との間におけるＰＣＩバス２の性能情報１０７を監視する性能カウンタ１５０を備える。ここで性能情報１０６、１０７とは、バスにおける負荷状態を示す情報であり、例えば、それぞれのバスの使用率やトランザクション数である。

プロセッサ群１１は、ＳＭＰ（Ｓｙｍｍｅｔｒｉｃ Ｍｕｌｔｉｐｌｅ Ｐｒｏｃｅｓｓｏｒ）やＡＳＭＰ（Ａｓｙｍｍｅｔｒｉｃ Ｍｕｌｔｉｐｌｅ Ｐｒｏｃｅｓｓｏｒ）に例示されるマルチプロセッサである。プロセッサ群１１は、ＰＣＩバス２を介して付与されたタスクを処理する。又、プロセッサ群１１は、メモリ１３内に格納された最適化クライアントプログラム１０１及び性能カウンタドライバ１０２を実行して、自ノードとＰＣＩスロット４との間にかかる負荷の監視やスイッチ部３の制御を行う。

最適化クライアントプログラム１０１や性能カウンタドライバ１０２は、ＯＳ上で動作するプログラムである。プロセッサ群１１は、性能カウンタドライバ１０２を実行することで、性能カウンタ１４０、１５０を制御してプロセッサ群１１とＰＣＩスロット４との間における性能情報１０６、１０７を抽出する。性能情報１０６、１０７の抽出時期は、一定時刻毎でも任意の時期でもよい。しかし、負荷状態の変動履歴を監視するため、一定周期で性能情報１０６、１０７が抽出されることが好ましい。この際、プロセッサ１１は、一定周期で抽出した性能情報１０６、１０７を性能統計情報１０３としてメモリ１３に格納する。

プロセッサ群１１は最適化クライアントプログラム１０１を実行することで、自身とＰＣＩスロット４との間における負荷状態の監視、監視区間が高負荷状態になった場合に調停ノード１’への最適化要求、調停ノード１’からの要求に応答して性能情報１０６、１０７又は性能統計情報１０８の送信、入力された負荷プログラムの実行、スイッチ部３を制御して自身の接続先のＰＣＩスロット４の変更等の処理を行う。

ＢＭＣ１２は、シリアルバスを介してプロセッサ群１１及びメモリ１３に接続される。ＢＭＣ１２は、プロセッサ群１１やＯＳ（Ｏｐｅｒａｔｉｏｎ ｓｙｓｔｅｍ）に依存せずにノード内の状態監視を行う。又、スイッチ管理ネットワーク５を介してスイッチ部３及び調停ノード１’に接続される。ＢＭＣ１２はスイッチ管理ネットワーク５経由でスイッチ部３の構成情報１１４を取得し、プロセッサ群１２に送信する。ここで、構成情報１１４とは、調停ノード１’及びノード１がどのＰＣＩスロット４に接続されているかを示す接続関係を示す情報である。スイッチ部３の制御や構成情報１４の取得には、高速な経路は必要ではないため、プロセッサ群１１は、通常の伝送路とは別のＢＭＣ１２及びスイッチ管理ネットワーク５を介してスイッチ部３の制御や構成情報１４の取得を行う。

本発明によるブレードサーバは、複数のノードのうち任意のノードを調停ノード１’として使用する。図３は、本発明による調停ノード１’の実施の形態における構成図である。図３を参照して、調停ノード１’は、ノード１と同様にプロセッサ群１１’、ＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）１２、メモリ１３’、ノースブリッジ１４、ＰＣＩブリッジ１５、内部バス１６を具備している。ノード１と調停ノード１’は同様な構成であるが、メモリ１３’に調停サーバプログラム１０４とユーザポリシ１０５とが格納されている点で他のノード１と異なる。尚、メモリ１３’は他のノード１と同様に最適化クライアントプログラム１０１、性能カウンタドライバ１０２、性能統計情報１０３とを格納している。調停ノード１’のプロセッサ群１１’は最適化クライアントプログラム１０１及び性能カウンタドライバ１０２を実行することで、プロセッサ群１１と同様に、自身とＰＣＩスロット４との間における負荷状態を監視、高負荷状態の通知、及び接続先のＰＣＩスロット４の変更等を行うことができる。以下、最適化クライアントプログラム１０１を実行するプロセッサ群１１’の動作は、プロセッサ群１１の動作と同じなのでその説明は省略される。

調停ノード１’のプロッセッサ群１１’は、調停サーバプログラム１０４を実行することで、全てのノード１_１〜１_ｎから性能情報１０６、１０７を取得し、この性能情報１０６、１０７を用いて最適構成を決定する。詳細には、調停ノード１’は現在のノード１のＣＰＵ使用率と、全てのノードから取得した性能情報１０６、１０７とに基づいて最適構成を決定する。ここで、最適構成とは、調停ノード１’及びノード１_１〜１_ｎのそれぞれが処理する負荷（タスク）を指定する情報である。プロセッサ群１１’は、各ノードにおけるＣＰＵの使用率や、ノード〜ＰＣＩスロット間の経路にかかる負荷が分散されるように最適構成を決定する。尚、プロセッサ群１１’はノード１のＣＰＵの使用率を従来技術と同様な方法で取得する。プロセッサ群１１’は決定した最適構成を最適構成情報１０９としてノード１に転送する。

更に、プロセッサ群１１’は性能情報１０６、１０７に基づき、調停ノード１’及びノード１の接続先ＰＣＩスロット４を決定し、ノード１に対し構成変更要求１１３を発行する。構成変更要求１１３には調停ノード１’及びノード１とＰＣＩスロット４との接続関係を規定した情報が含まれている。ノード１は構成変更要求１１３に応答して自身の接続先ＰＣＩスロット４を変更する。

メモリ１３’に格納されるユーザポリシ１０５は、現在の構成（調停ノード１’及びノード１とＰＣＩスロット４との接続構成）を変更するかどうかの判定条件である。例えば、ノード１とＰＣＩスロット４との間が高負荷状態であるかどうかを判定する基準値と、高負荷状態の許容継続時間とがユーザポリシ１０５として設定される。プロセッサ群１１’は、ノード１’から転送された性能統計情報１０８と、ユーザポリシ１０５とを用いて現在の構成を変更するか否かを決定する。

（動作）
図４から７を参照して、本発明によるブレードサーバの実施の形態における構成変更処理の動作が説明される。図４は、本発明によるブレードサーバの構成変更処理の動作を示すシーケンス図である。図５は、最適化クライアントプログラム１０１による調停要求処理の動作を示すフロー図である。図６は、最適化クライアントプログラム１０１による性能情報報告処理、及び構成変更処理の動作を示すフロー図である。図７は、調停サーバプログラム１０４による構成変更要求処理の動作を示すフロー図である。

図４を参照して、本発明によるブレードサーバの構成変更処理の実施の形態における動作が説明される。ここでは、図４を参照して複数のノード１_１〜１_ｎのうち、ノード１_１において高負荷状態が検出されたものとして説明される。ノード１_１は自身に接続されるＰＣＩスロット４までの経路を監視し、高負荷状態であると判定すると、調停要求１１１を調停ノード１’に発行する（ステップＳ１０２、Ｓ１０４）。調停ノード１’は調停要求１１１に応答して、性能情報要求１１２を全てのノード１_１〜１_ｎに発行する（ステップＳ１０６）。ノード１_１〜１_ｎは、性能情報要求１１２に応答して最新の性能情報１０６、１０７又は性能統計情報１０３を調停ノード１’に転送する（ステップ」Ｓ１０８）。ここでは、それぞれのノード１から性能統計情報１０３が転送されるものとする。

調停ノード１’は、全てのノード１_１〜１_ｎのそれぞれから転送された性能統計情報１０３を用いて最適構成を決定する（ステップＳ１１０）。又、調停ノード１’は、ユーザポリシ１０５を用いてノード１_１から転送された性能統計情報１０３を参照して、構成を変更するか否かを判定する。例えば、監視区間の高負荷状態がユーザポリシ１０５に設定された許容時間を越えて継続している場合、構成を変更すると判定する。構成を変更すると判定した調停ノード１’は、構成変更要求１１３を発行するとともに最適構成情報１０９をノード１_１〜１_ｎに転送する（ステップＳ１１４）。ノード１_１〜１_ｎのそれぞれは、構成変更要求１１３に基づいて接続先のＰＣＩスロット４を変更する（ステップＳ１１６）。又、転送された最適構成情報１０９に基づき、指定されたタスクを処理する。

以上のように、本発明によるブレードサーバは、調停ノード１’及びノード１〜ＰＣＩスロット４間の経路における負荷状態に応じてその接続構成を変更する。このため、ＰＣＩスロット４までの経路が高負荷状態であるノード１の使用を避けて負荷分散を行うことができる。又、調停ノード１’は、ノード１におけるＣＰＵの使用率や、ノード１のＩ／Ｏデバイスにおける負荷に応じて負荷分散を行うことができる。更に、動的にノード１とＩ／Ｏスロット４との経路を変更することができるため、負荷分散の柔軟性とＩ／Ｏスロット４に接続するためのアダプタの高い利用効率を得ることができる。

図５を参照して、ステップＳ１０２及びステップＳ１０４におけるノード１の調停要求処理の動作が示される。ノード１では、内部バス１６及びＰＣＩバス２の負荷状態を監視し、それぞれの負荷状態を性能情報１０６、性能情報１０７として定期的に抽出している。又、抽出した性能情報１０６及び１０７を性能統計情報１０３としてメモリ１３に格納し、負荷状態の履歴管理を行っている。

ノード１のプロセッサ群１１は最適化クライアントプログラム１０１を実行することで、図５に示されるステップＳ１からステップＳ３の負荷状態監視処理、及び調停要求処理を実行する。プロセッサ群１１は、定期的に性能統計情報１０３を参照して内部バス１６及びＰＣＩバス２の負荷状態を監視する（ステップＳ１）。次に、性能統計情報１０３の中で最新の性能情報１０６及び１０７に基づき高負荷状態であるかを判定する（ステップＳ２）。最適化クライアントプログラムには高負荷状態の判定のための閾値が設定される。例えば、閾値としてバスの使用率５０％が設定される。この閾値はユーザによって自由に設定可能であることが好ましい。又、ノード１_１〜１_ｎによって異なった値が設定されても構わない。更に、内部バス１６、ＰＣＩバス２のそれぞれの対する閾値は異なる値が設定されても構わない。

プロセッサ群１１は、ステップＳ２において高負荷状態であると判定するまで、周期的に性能統計情報１０３の監視処理を続ける（ステップＳ２ＮＯ）。ステップＳ２において高負荷状態と判定すると（ステップＳ２ＹＥＳ）、ＢＭＣ１２及びスイッチ管理ネットワーク５を介して調停ノード１’に対し調停要求１１１を発行する（ステップＳ３）。ここで、内部バス１６とＰＣＩバス２はそれぞれ異なる転送長、クロックで動作しているため、ＰＣＩブリッジ１５〜ＰＣＩスロット４間の負荷状態（性能情報１０７）に問題が無くても、ノースブリッジ１４〜ＰＣＩブリッジ１５の負荷状態（性能情報１０６）に問題がある場合がある。又はその逆の場合がある。このため、調停要求１１１は、内部バス１６、ＰＣＩバス２のどちらか一方が高負荷状態と判定されたときに発行されることが好ましい。調停要求１１１発行後、再びステップＳ２に移行し、プロセッサ群１１は周期的に内部バス１６及びＰＣＩバス２の負荷状態の監視を続ける（ステップＳ３）。以上のように、本発明によれば、各ノード１において自身のＩ／Ｏの負荷状態の監視、高負荷状態の判定を行うため、負荷状態の変動に迅速、柔軟に対処することができる。

次に、図６を参照して、ノード１におけるメッセージ監視処理、性能情報報告処理、及び構成変更処理の動作が説明される。最適化クライアントプログラムを実行するプロセッサ群１１は、図６に示されるステップＳ１０〜Ｓ１５までのメッセージ監視処理、性能情報報告処理、及び構成変更処理を実行する。

プロセッサ群１１は、調停ノード１’からのメッセージを監視している（ステップＳ１０、Ｓ１１）。調停ノード１’からメッセージを受け取ると、そのメッセージが性能情報要求１１２である場合（ステップＳ１２ＹＥＳ）、性能統計情報１０３から現在の性能情報１０６、１０７をＢＭＣ１２及びスイッチ管理ネットワークを介して調停ノード１’に転送する（ステップＳ１３）。又、調停ノードから受け取ったメッセージが構成変更要求１１３である場合（ステップＳ１２ＮＯ、ステップＳ１４ＹＥＳ）、構成変更要求１１３に基づいて構成を変更する（ステップＳ１５）。プロセッサ群１１は、性能情報１０６、１０７の転送、構成変更を終了すると再びメッセージの監視処理を続ける。

構成変更要求１１３には、ノード１が設定すべきハードウェア構成（どのＰＣＩスロット２にどのノード１のＰＣＩブリッジ１５を接続すべきか）が記述されている。ノード１のプロセッサ群１１は、構成変更要求１１３に従ってＢＭＣ１２及びスイッチ管理ネットワーク５を介してスイッチ部３をコントロールし、自身のＰＣＩブリッジ１５と接続するＰＣＩスロット４を変更する。この際、プロセッサ群１１は、ＢＭＣ１２から転送された構成情報１１４を参照して変更前のスイッチ部３の構成を確認する。プロセッサ群１１は、ＢＭＣ１２及びスイッチ管理ネットワーク５を介してスイッチ部３から構成情報１１４を取得するため、他ノード１に接続されているＰＣＩスロット４を確認することができる。従来技術では、他ノード１のデバイス情報は他ノード１に問い合わせる必要があった。しかし、障害等により他ノード１への通信経路が断たれた場合、そのノードに割り当てられていたデバイス（ＰＣＩスロット４）をＯＳ経由で確認することは困難である。一方、本発明によれば、ＢＭＣ１２を利用してスイッチ部３から構成情報を取得しているため、他ノードとの通信経路の状況に左右されずにノード１とＰＣＩスロット４との切り離しや復旧（接続）を容易に行うことができる。

以上のように、本発明のクラスタシステムは、ノード１間を結ぶデータ伝送路とは別に、負荷状態の伝達及びスイッチ３の制御に使用されるスイッチ管理ネットワーク５が設けられる。このため、ノード間のデータ伝送に影響を与えることなく、又、ノード１のＩ／Ｏにおける障害や高負荷状態に影響される事無く、スイッチ部３の制御が行われ得る。又、複数のノードのうち、ノード１とＰＣＩスロット４との接続制御を一元管理する調停ノード１’が設けられるため、統一的にスイッチ部３を制御することができる。

図７を参照して、調停ノード１’におけるメッセージ監視処理、調停処理、及び最適構成生成処理、及び構成変更要求処理の動作が説明される。調停ノードのプロセッサ群１１’は、調停サーバプログラム１０４を実行することで、図７に示されるステップＳ２０〜Ｓ２８に示されるメッセージ監視処理、調停処理、最適構成生成処理、構成変更要求処理を実行する。

プロセッサ群１１’は、ノード１_１〜１_ｎからのメッセージを監視している（ステップＳ２０、Ｓ２１）。プロセッサ群１１は、ノード１からメッセージを受け取ると、そのメッセージが調停要求１１１である場合（ステップＳ２２ＹＥＳ）、性能情報要求１１２を全てのノード１_１〜１_ｎに発行する（ステップＳ２３）。ノード１から受け取ったメッセージが性能情報報告である場合（ステップＳ２２ＮＯ、ステップＳ２４ＹＥＳ）、全ての性能情報報告を受け付けるまで、ステップＳ２０〜Ｓ２４の動作を繰り返す。ここで、ノード１は、性能情報報告として自身が記録している性能統計情報１０８を調停ノード１’に転送する。プロセッサ群１１’は、全てのノード１_１〜１_ｎからそれぞれの性能統計情報１０８を取得すると最適構成を決定し、最適構成情報１０９を生成する（ステップＳ２５ＹＥＳ、ステップＳ２６）。このように、調停ノード１’は、Ｉ／Ｏスロット４までの経路における高負荷状態の検出をトリガとして、ノード１_１〜１_ｎの性能情報を収集し、それぞれの経路の変更、及び負荷分散を実行することができる。

最適構成情報１０９について詳細に説明される。最適構成情報１０９は、各ノード１が処理すべきタスクを指定する情報である。例えば、最適構成情報１０９は、タスク処理を実行するノードと処理対象のタスクとが対応付けられた情報を含む。プロセッサ群１１’は、性能統計情報１０８内の最新の性能情報１０６、１０７を参照して、各ノード１までの経路（内部バス１６又はＰＣＩバス２）のうち、負荷の高い経路と低い経路を特定する。又、ノード１毎のＣＰＵ（ここではプロセッサ群１１）のリソースの使用率等に例示される負荷状態を把握し、高負荷状態（又は低負荷状態）のＣＰＵを有するノード１を特定する。プロセッサ群１１’は、負荷の高い処理（タスク）を、低負荷状態の経路に接続されたノード１、又は／及びプロセッサ群１１が低負荷状態であるノード１に移動するように最適構成情報１０９を生成する。

最適構成情報１０９の設定例を以下に示す。負荷が１つのノードに偏って実行されている場合、調停ノード１’は、ノード１から取得した性能統計情報１０３に含まれる性能情報１０６、１０７を参照して、最も低負荷状態の経路を特定する。調停ノード１’は調停要求１１１の発行元ノード（例えばノード１_１）の接続先のＰＣＩスロット４と、低負荷状態の経路に接続されたＰＣＩスロット４とを変更するように構成変更要求１１３を発行する。次に、調停ノード１’及びノード１〜ＰＣＩスロット４間の経路にかかる負荷を平等化するように、各ノード１に付与するタスクを決定し、最適構成情報１０９を生成する。この際、ノード１_１で処理されるタスクのうち最も負荷が高いタスクを、最も負荷の軽い経路に接続されたノード１に移動する。尚、調停ノード１’は、ＯＳが把握しているタスク毎のＩ／Ｏ処理量に基づいて、経路に対するタスクの負荷量を知ることができる。

プロセッサ群１１’はＣＰＵリソースも考慮して最適構成情報１０９を生成する。この際、プロセッサ群１１’はＣＰＵリソースとノード１までの経路の負荷状態のうち、より負荷の高い方を優先して負荷分散を実行する。例えば、ＰＣＩバス２の使用率が６５％のノード１_１と、ＣＰＵ使用率が６０％のノード１_２がある場合、ノード１_１に付与されたタスクのうち最も高負荷のタスクを他のノード１_ｎに移動する。又、調停ノード１’は、経路の負荷状態に応じて負荷分散を実行するのと並行して、従来技術のように、ノード１_１〜１_ｎのＣＰＵリソースのみに基づいて負荷分散を実行することが好ましい。この場合、調停ノード１’は、ノード１までの経路における高負荷状態が解消されている状態で、ＣＰＵリソースに基づく負荷分散を実行できる。

プロセッサ群１１’は、ユーザポリシ１０５とノード１から送信された性能統計情報１０３に基づいて構成変更可否を判定する（ステップＳ２７）。プロセッサ群１１’は性能統計情報１０３に含まれる現在の性能情報１０６、１０７が示す高負荷状態がどのくらい継続しているかを確認する。プロセッサ群１１’は高負荷状態の継続時間がユーザポリシ１０５に含まれる許容時間を越えている場合（ステップＳ２７ＹＥＳ）構成変更要求１１３を発行するとともに、最適構成情報１０９を全てのノード１_１〜１_ｎに転送する（ステップＳ２８）。又、プロセッサ群１１’は、確認した高負荷状態の継続時間がユーザポリシ１０５に含まれる許容時間を越えていない場合（ステップＳ２７Ｎｏ）、構成を変更せず再びステップＳ２０のメッセージ監視に移行する。

ノード１_１〜１_ｎのそれぞれは、構成変更要求１１３に応答して、ＢＭＣ１２及びスイッチ管理ネットワーク５を介してスイッチ部３を制御して接続先のＰＣＩスロット４を変更する。又、最適構成情報１０９に指定されたタスク（負荷）を実行する。

以上のように、本発明によるブレードサーバは、各ブリッジ間のバスの使用率を最適構成決定の元情報に使っている。このため、プロセッサのリソースが空いているので負荷を投入したが、ＩＯまでの経路が詰まっていたために性能が出ないという状況を回避できる。又、本発明によるブレードサーバは、スイッチ３によってノード１とＰＣＩスロット４との接続を自由に変更できる。このため、ノード１の数と同じ数のアダプタを用意する必要はなく、アダプタの利用効率は向上する。又、本発明は、時間によって変化する負荷に応じてノード１〜ＰＣＩスロット４間の接続を変更できるため、動的な負荷の変動に適応している。このため、より少ないアダプタを効率的に使用することができる。

以上、本発明の実施の形態を詳述してきたが、具体的な構成は上記実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。本実施の形態ではブレードサーバを一例に説明されたが、これに限定されず、複数のコンピュータを接続したクラスタシステムにも適用され得ることは言うまでもない。

図１は、本発明によるクラスタシステムの実施の形態における構成図である。 図２は、本発明に係るノードの実施の形態における構成図である。 図３は、本発明に係る調停ノードの実施の形態における構成図である。 図４は、本発明によるクラスタシステムの実施の形態における構成変更処理の動作を示すシーケンス図である。 図５は、本発明に係る最適化クライアントプログラムによる調停要求処理の動作を示すフロー図である。 図６は、本発明に係る最適化クライアントプログラムによる性能情報報告処理、及び構成変更処理の動作を示すフロー図である。 図７は、本発明に係る調停サーバプログラムによる構成変更要求処理の動作を示すフロー図である。

符号の説明

１、１_１〜１_ｎ：ノード
１’：調停ノード
２、２_０〜２_ｎ：ＰＣＩバス
３：スイッチ部
４_１〜４_ｍ：ＰＣＩスロット
５：スイッチ管理ネットワーク
１１、１１’：プロセッサ群
１２：ＢＭＣ（Baseboard Management Controller）
１３、１３’：メモリ
１４：ノースブリッジ
１５：ＰＣＩブリッジ
１６：内部バス
１４０、１５０：性能カウンタ
１０１：最適化クライアントプログラム
１０２：性能カウンタドライバ
１０３：性能統計情報
１０４：調停サーバプログラム
１０５：ユーザポリシ
１０６、１０７：性能情報
１０８：性能統計情報
１０９：最適構成情報
１１１：調停要求
１１２：性能情報要求
１１３：構成変更要求
１１４：構成情報

Claims (14)

1. 複数のＩ／Ｏスロットと、
   複数のノードと、
   前記複数のＩ／Ｏスロットと前記複数のノードとの間に設けられ、前記複数のノードのそれぞれと前記複数のＩ／Ｏスロットのそれぞれとの接続を制御するスイッチと、
   前記スイッチと前記複数のノードとを相互に接続するスイッチ管理ネットワークとを具備し、
   前記複数のノードのそれぞれは、
   前記スイッチと前記ノードとを、拡張バスを介して接続するブリッジと、
   ノースブリッジと、
   前記ブリッジと前記ノースブリッジとを接続する内部バスと、
   前記ノースブリッジに接続され、タスクを処理するプロセッサと
   を備え、
   前記プロセッサは、前記内部バスの負荷を監視し、前記負荷が閾値を超えた場合、前記複数のノードにおける調停ノードに対し、前記スイッチ管理ネットワークを介して、前記内部バスが高負荷状態であることを示す調停要求を発行し、
   前記調停ノードは、前記調停要求に応じて前記複数のノードのそれぞれから、前記スイッチ管理ネットワークを介して、前記内部バス、及び拡張バスの負荷を時系列的に記録した性能統計情報を監視結果として取得し、前記監視結果に基づき、前記高負荷状態の継続時間が、予め設定された時間を超える場合、前記調停要求を発行した前記ノードの前記プロセッサを高負荷状態にしている前記タスクを、前記負荷の低い前記内部バス、及び拡張バスを使用しているノードに実行させる情報を含む構成変更要求を、前記スイッチ管理ネットワークを介して、前記複数のノードに発行し、
   前記複数のノードのそれぞれは、前記スイッチ管理ネットワークを介して、前記スイッチを制御し、前記構成変更要求に基づいて、接続する前記Ｉ／Ｏスロットを変更する
   クラスタシステム。
2. 請求項１に記載のクラスタシステムにおいて、
   前記複数のノードのそれぞれは、前記内部バスの使用率を監視する性能モニタを更に備え、
   前記プロセッサは、前記内部バスの使用率が閾値を超える場合、前記内部バスが高負荷状態であると判定する
   クラスタシステム。
3. 請求項１に記載のクラスタシステムにおいて、
   前記複数のノードのそれぞれは、前記内部バスのトランザクション数を監視する性能モニタを更に具備し、
   前記プロセッサは、前記内部バスのトランザクション数が閾値を超える場合、前記内部バスが高負荷状態であると判定する
   クラスタシステム。
4. 請求項１から３のいずれか１項に記載のクラスタシステムにおいて、
   前記プロセッサは、前記拡張バスにおける負荷を監視し、前記拡張バスの負荷が閾値を超える場合、前記拡張バスが高負荷状態であると判定し、前記調停ノードに前記調停要求を発行する
   クラスタシステム。
5. 請求項４に記載のクラスタシステムにおいて、
   前記複数のノードのそれぞれは、前記拡張バスの使用率を監視する性能モニタを更に備え、
   前記プロセッサは、前記拡張バスの使用率が閾値を超える場合、前記拡張バスが高負荷状態であると判定する
   クラスタシステム。
6. 請求項４に記載のクラスタシステムにおいて、
   前記複数のノードのそれぞれは、前記拡張バスのトランザクション数を監視する性能モニタを更に具備し、
   前記プロセッサは、前記拡張バスのトランザクション数が閾値を超える場合、前記拡張バスが高負荷状態であると判定する
   クラスタシステム。
7. 複数のＩ／Ｏスロットと、
   複数のノードと、
   前記複数のＩ／Ｏスロットと前記複数のノードとの間に設けられ、前記複数のノードのそれぞれと前記複数のＩ／Ｏスロットのそれぞれとの接続を制御するスイッチと、
   前記スイッチと前記複数のノードとを相互に接続するスイッチ管理ネットワークとを具備し、
   前記複数のノードのそれぞれは、
   前記スイッチと前記ノードとを、拡張バスを介して接続するブリッジと、
   ノースブリッジと、
   前記ブリッジと前記ノースブリッジとを接続する内部バスと、
   前記ノースブリッジに接続され、タスクを処理するプロセッサと
   を備えるクラスタシステムにおいて、
   前記プロセッサが、
   前記内部バスの負荷を監視するステップと、
   前記負荷が閾値を超えた場合、前記複数のノードにおける調停ノードに対し、前記スイッチ管理ネットワークを介して、前記内部バスが高負荷状態であることを示す調停要求を発行するステップと、
   前記調停ノードが、
   前記調停要求に応じて前記複数のノードのそれぞれから、前記スイッチ管理ネットワークを介して、前記内部バス、及び拡張バスの負荷を時系列的に記録した性能統計情報を監視結果として取得するステップと、
   前記監視結果に基づき、前記高負荷状態の継続時間が、予め設定された時間を超える場合、前記調停要求を発行した前記ノードの前記プロセッサを高負荷状態にしている前記タスクを、前記負荷の低い前記内部バス、及び拡張バスを使用しているノードに実行させる情報を含む構成変更要求を、前記スイッチ管理ネットワークを介して、前記複数のノードに発行するステップと、
   前記複数のノードのそれぞれが、前記スイッチ管理ネットワークを介して、前記スイッチを制御し、前記構成変更要求に基づいて、接続する前記Ｉ／Ｏスロットを変更するステップと
   を具備する
   負荷分散方法。
8. 請求項７に記載の負荷分散方法において、
   前記複数のノードのそれぞれは、前記内部バスの使用率を監視する性能モニタを更に備え、
   前記調停要求を発行するステップは、
   前記内部バスの使用率が閾値を超える場合、前記内部バスが高負荷状態であると判定する
   負荷分散方法。
9. 請求項７に記載の負荷分散方法において、
   前記複数のノードのそれぞれは、前記内部バスのトランザクション数を監視する性能モニタを更に備え、
   前記調停要求を発行するステップは、
   前記内部バスのトランザクション数が閾値を超える場合、前記内部バスが高負荷状態であると判定する
   負荷分散方法。
10. 請求項７から９のいずれか１項に記載の負荷分散方法において、
    前記プロセッサが、
    自身に接続される前記拡張バスにおける負荷を監視するステップを更に具備し、
    前記調停要求を発行するステップは、前記拡張バスの負荷が閾値を超える場合、前記拡張バスが高負荷状態であると判定するステップを備える
    負荷分散方法。
11. 請求項１０に記載の負荷分散方法において、
    前記複数のノードのそれぞれは、前記拡張バスの使用率を監視する性能モニタを更に備え、
    前記調停要求を発行するステップは、
    前記拡張バスの使用率が閾値を超える場合、前記拡張バスが高負荷状態であると判定する
    負荷分散方法。
12. 請求項１０に記載の負荷分散方法において、
    前記複数のノードのそれぞれは、前記拡張バスのトランザクション数を監視する性能モニタを更に備え、
    前記調停要求を発行するステップは、
    前記拡張バスのトランザクション数が閾値を超える場合、前記拡張バスが高負荷状態であると判定する
    負荷分散方法。
13. 請求項７乃至１２のいずれか１項に記載の負荷分散方法において、ノードが実行するステップを、ノードのプロセッサに実行させるためのプログラム。
14. 請求項７乃至１２のいずれか１項に記載の負荷分散方法において、調停ノードが実行するステップを、調停ノードのプロセッサに実行させるためのプログラム。

Images