JP5254734B2 - 電子システムの電力を管理する方法、コンピュータ・プログラム、及び電子システム - Google Patents

Description

本発明は、複数の電子装置を有する電子システム内の電力（パワー）を管理することに関する。

サーバー及び他のコンピュータ・ハードウエアは、スペースを節約し、そして管理者によるアクセスのためにサーバー及び基盤設備（インフラストラクチャ）を中央の場所に配置するために、ラックに互いに集合されて配置される。これらの“ラック・システム”の管理は、分散して配置される複数のサーバーを個別的に管理することに比べて容易でありそして低コストである。寸法、密度及びデザインが異なる種々なラック・システムが入手可能である。幾つかのラック・システムは、それぞれが個別のシャーシ、オンボード型電源、冷却ファン及び他のサポート装置を有する自己サポート型の複数のサーバーを囲んで作られる。自己サポート型の複数のサーバーは、ラック又はタワー構造に集合化され、そして互いにそしてクライアント・コンピュータに対してネットワーク化されることができる。高密度のラック・システムが、マルチ・ブレード・シャーシ内で接続されるサポート・モジュールを共用する薄型の“ブレード・サーバー”を使用して達成されうる。一般に、ブレード・サーバーは、狭いフォーム・ファクタを有すること、そして例えば送風機及び電力モジュールのようなサポート・モジュールを共用することに基づき高密度を達成する。今日入手可能なよりコンパクトなラック・システム・サーバー構成の幾つかは、ＩＢＭから商業的に入手可能なＳＹＳＴＥＭ Ｘサーバー及びｅＳｅｒｖｅｒ ＢＬＡＤＥＣＥＮＴＥＲを含む（ＩＢＭ、ＢＬＡＤＥＣＥＮＴＥＲ及びＳＹＳＴＥＭ Ｘは、ニューヨーク州アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーション社の登録商標である）。

例えば、サーバーを動作させるコストを最小にし、サーバーにより発生される熱を最小にし、そしてシステムのパフォーマンス及び効率を最適にするために、電力（パワー）管理は、ラック・システムを動作させる多くの態様において重要である。最近ますます、サーバー電力は監視され、そしてユーザがセット可能な電力の限界値に従う消費電力の上限（パワーキャップ）により制限される。フィードバックに基づく電力管理システムが、電力の限界を強制するために、サーバー上のプロセッサ又はメモリあるいはその両方への電力を調整するために使用され得る。例えば幾つかのサーバーは、サービス・プロセッサが、サーバーによる実時間の電力消費を監視し、そして電力限界を強制するように必要に応じてプロセッサへの電力を調整するために使用されるＢＭＣ（Ｂａｓｅｂｏａｒｄ Ｍａｎａｇｅｍｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ）を含む。プロセッサへの電力は、電力限界を強制するためにパフォーマンスを犠牲にするように低下される。電力の限界が、関連するデータセンターの物理的な電力分配制限に基づいて選択される場合には、パワーキャップは、電力分配路への過度のストレスを防止する。他の場合には、ユーザは、予算上の理由で消費電力の限界を選択し、この場合には、パワーキャップは、データセンターのランニング・コストの制御を助ける。パワーキャップは、データセンターの基盤設備が追加の電力要求をサポートしうる場合でも電力消費を制限するのに使用される。

米国特許出願公開第２００７／００６７６５６号明細書 米国特許出願公開第２００６／０１２３４２２号明細書 米国特許出願公開第２００６／００６９９３１号明細書 米国特許出願公開第２００４／０２８１６６号明細書 米国特許第７２４０２２５号明細書 米国特許第７１４５４５４号明細書 米国特許第７０１７０６１号明細書 米国特許第６７９１９４２号明細書

単一コンピュータ装置（例えば単一のサーバー）又は多数の装置のネットワーク（例えば、ネットワークされたサーバーのラック）に係わらず、計算された電力消費は、一般的に一定ではなく、ダイナミックに変動する。電力の要求は時間と共に変動するので、或る期間では、データセンター及びこれのサブシステムにより要求される電力は、規定された電力限界を超え、そして他の期間では、電力要求は、上記規定された消費電力限界よりも低くなる。要求された値が或る閾値を超すと、電力消費はパワーキャップにより制限される。しかしながら、要求された値が閾値よりも低い場合には、データセンター及びこれのサブシステムは十分に利用され得ない。従って、サーバーのスループットを最大にするために、十分に利用されない期間を補償する電力管理の解決策を開発することが望まれる。

本発明の１つの実施例は、複数個の電力消費型の電子装置を有する電子システムの電力を管理する方法を提供する。上限電力限界値及びこの上限電力限界値よりも小さい平均電力限界値が装置毎に選択される。各装置の瞬間電力消費（量）及び平均電力消費（量）が調べられる。各装置の瞬間電力消費がそれぞれの上限電力限界値を超えることが防止される。平均電力消費が平均電力限界値よりも小さい第１組の装置が同定される。第１組の各装置の瞬間電力消費は、それぞれの平均電力限界値を超えることが許容される。平均電力消費が平均電力限界値よりも小さくない（等しいか大きい）第２組の装置が同定される。第２組の各装置の瞬間電力消費がそれぞれの平均電力限界値を超えることが防止される。

本発明の第２の実施例は、複数個の電力消費型の電子装置を有する電子システムの電力を管理するためのコンピュータ・プログラムを提供する。コンピュータ・プログラムは、各装置毎の上限電力限界値及びこの上限電力限界値よりも小さい平均電力限界値を入力するステップと、各装置の瞬間電力消費及び平均電力消費を取得するステップと、装置の瞬間電力消費がそれぞれの上限電力限界値を超えることを防止するステップと、平均電力消費が平均電力限界値よりも小さい第１組の装置を同定し、そしてこれらの装置のそれぞれの瞬間電力消費がそれぞれの平均電力限界値を超えることを許容するステップと、平均電力消費が平均電力限界値よりも小さくない第２組の装置を同定し、そしてこれらの装置のそれぞれの瞬間電力消費がそれぞれの平均電力限界値を超えることを防止するステップとを、コンピュータに実行させる。

本発明の第３の実施例は、電力管理される電子システムを提供する。複数個の電力消費型装置のそれぞれは、可変量の電力を受け取るために、電源と接続関係にされる。電力計が、各装置の電力消費を検出し、そしてこの検出した電力消費を表す電力消費信号を出力する。各装置の瞬間電飾消費量が装置毎に選択された上限電力限界値を超えることを防止するために各装置の電力消費を選択的に制限する調整機構が設けられる。複数個の装置に接続される電力管理モジュールは、各装置の電力計からの電力消費信号を受け取り、各装置の瞬間電力消費及び平均電力消費を調べ、そして平均電力消費がそれぞれの平均電力限界値よりも小さい第１組の装置を決定即ち選択する。第１組の各装置の瞬間電力消費は、それぞれの平均電力限界値を超えることを許容され、そして、第１組に属さない各装置の瞬間電力消費がそれぞれの平均電力限界値を超えることが防止される。

本発明の他の実施例及び利点は、以下の説明及び請求の範囲の記載から明らかになるであろう。

本発明は、複数個の電力消費型の電子装置を有する電子システムの電力を管理するためのシステム、方法及びコンピュータ・プログラムを提供する。本発明は、ラックに装着された複数個のサーバー及びサポーティング・ハードウエア装置を有するコンピュータ・システムの分野に特に適用可能である。このようなサーバーは、サーバーの電力消費を制御するためにサーバーへの電力を選択的に調整する精密帰還型（フィードバック）制御システムを含み得る。本発明に従う電力管理方法は、コンピュータ・システムの電力を管理するこの帰還に基づく制御手段を利用するコンピュータ・システム上で動作する方法により具現化されることができる。かくして、本発明は、複数個のサーバーを有するコンピュータ・システムへの電力を管理するという観点で検討される。本明細書を読んだ当業者ならば、本発明が、サーバー以外の電力消費型の電子装置及び複数個の電力消費型の電子装置を有する他の電子システムにまでも適用されうることを理解するであろう。

本発明１つの実施例に従うと、各装置の２つのプログラム可能な電力消費閾値、即ち、上限電力限界値及びこの上限電力限界値よりも小さい（低い）平均電力限界値が、システム管理者により入力されることができる。コンピュータ・システムへの電力は、各装置の瞬間電力消費がこれの上限電力限界値を超えることを防止することにより、一方、各装置の平均電力消費がこれの平均電力限界値を超えることを防止することにより管理される。平均電力消費が計算される期間はユーザにより選択される。例えば、管理者は、平均電力消費が一日の電力の予算を満足するように制御される比較的長い期間（例えば２４時間）、又は、平均電力限界値がサーバーにより発生される熱量を制御するために選択される比較的短い期間（例えば１時間より短い期間）を選択することができる。例えば、複数の装置への電力を選択的に調整すること、使用されていない回路への電力をオフにすること、プロセッサのクロック周波数を減少させること、プロセッサの動作電圧を減少させること、プロセッサの動作に待機状態又は保留（ホールド）状態を導入すること、プロセッサのクロック・ゲーティングを行うこと、又は、複数の装置相互間で仕事量を移行させること等の種々な電力減少技法が、平均電力限界値及び上限電力限界値を強制するために使用され得る。或る指定された許容可能な期間の間、平均電力消費が平均電力限界値より小さい装置が同定され、そして平均電力消費が平均電力限界値に到達しなければ若しくは到達するまで、又は、平均電力限界値を超えるための許容可能な期間が終了するまで、これらの装置に対する瞬間電力限界値が一時的に平均電力限界値を越すことが許容される。更に、平均電力消費が現在平均電力限界値よりも小さい装置への電力は、消極的若しくは積極的に増大されることができる。装置への電力は、例えば、瞬間電力消費が平均電力限界値を超えるレベルまで装置への電力を増大することにより積極的に増大されることができ、平均電力消費をこれが平均電力限界値にほぼ等しくなるまで増大することができる。

一般的に、本発明の方法は、平均電力消費が平均電力限界値を超えることを防止するが、或る１つの装置の平均電力消費は、この装置に対する平均電力限界値が減少される場合には、これの平均電力限界値を超すことができる。或る１つの装置に対する平均電力限界値は、例えば、エネルギーの値段が比較的高いピーク時間の間減少されることができる。この場合、これらの装置の瞬間電力消費は、平均電力消費が、減少された平均電力限界値に再び平衡するまで、平均電力限界値よりも低くなるように調整されることができる。平均電力消費が規定された平均電力限界値よりも小さい装置の電力消費を選択的に増大させることにより、一般的にサーバー及びコンピュータ・システムのスループットは、コンピュータ・システムの電力消費を規定された閾値内になるように管理するための種々な政策的な考慮に適合させながら、最大にされることができる。

図１は、本発明に従って電力が管理されることができる例示的なラック装着型の複数サーバーのコンピュータ・システムの斜視図である。コンピュータ・システム１０は、複数個のブレード・サーバー１２及び他のハードウエア装置を収容するシャーシ１１を含む。各ブレード・サーバー１２は、１つ以上の共通若しくは独立的なネットワークをサービスするための１つ以上のマイクロプロセッサ、ハード・ディスク・ドライブ及びメモリを含む。又、コンピュータ・システム１０は、シャーシ管理モジュール１５，１つ以上の電源モジュール１６，１つ以上の送風モジュール１７及び多重スイッチ・モジュール１８を含む種々な共用されるサポート・モジュールを含む。管理モジュール１５は、シャーシ、ブレード・サーバー及び他のモジュールを管理する。電源モジュール１６は、システムに電力を供給する。送風モジュール１７は、コンピュータ・システムを冷却するためにシャーシ１１内を流れる空気流を発生する。スイッチ・モジュール１８は、ブレード・サーバー入出力装置及びネットワークの間のネットワーク接続を与える。雑音を減少するために音響モジュール（図示せず）が含まれている。ブレード・サーバー１２は、シャーシ１１の前部２０にインストールされ、そしてサポート・モジュール１５−１８はシャーシ１１の後部２２にインストール（装着）される。ブレード・サーバー１２及びサポート・モジュール１５−１８は、ブレード・サーバー１２，モジュール、メディア・トレイ及びシャーシ内のＤＣ電力分配配線の間の全ての相互接続を与えるミッドプレーン（ｍｉｄｐｌａｎｅ）として知られているインターナル・シャーシ・インターフェースを充足する。ミッドプレーンのコネクタは、配線を減少し、フレード・サーバー１２のインストール及び取り出しを容易にするために、ブレード・サーバー１２をサポート・モジュール１５−１８に結合する。

図２は、マルチ・サーバー・コンピュータ・システムに関連する本発明の１つの実施例に従う電力が管理されるコンピュータ・システム３０の概略図である。コンピュータ・システム３０は、例えば図１のマルチ・サーバー・コンピュータ・システム１０又はこれのサブシステムを表す。コンピュータ・システム３０は、Ｎ個のサーバー１２を含む。各サーバー１２は、供給電力が選択的に調整されうる１つ以上のプロセッサ即ちＣＰＵ３１及びメモリ３３を含む（サーバーのプロセッサ、メモリまたは他のサブシステムへの電力を調整することをサーバーへの電力を調整するという）。電源３６は、コンピュータ・システム３０に電力を供給する。電源３６は、本明細書では、例えば図１の電源モジュール１６のように複数個のサーバーの間で共有される単一の電源モジュールとして説明する。又は、これに代えて、電源３６は、サーバー１２毎に設けられた１つのオン・ボード電源のような複数個の電源モジュールを含むことができる。冷却ユニット３２も又サーバー１２を冷却するために設けられる。ここで、冷却ユニット３２はサーバー当たり１つの冷却ファンを含むものとして示されている。これの代わりに、冷却ユニット３２は、例えば複数個のサーバー１２を冷却するためにシャーシ内を流れる空気流を発生する図１の送風モジュール１７のような共用型の送風モジュールでもよい。各サーバー１２の１つ以上の装置電力限界値をセットしそして動的に調整することにより、複数個のサーバー１２への電力を管理するための電力管理モジュール３８が設けられている。又、各サーバー１２は、電力管理モジュール３８によりサーバー１２に対して動的に選択される装置の電力限界値を強制することを含む、電力消費の制御及び管理を電力管理モジュール３８と協力して行うローカル制御装置４０を含む。

電力管理モジュール３８またはサーバー１２あるいはその両方により使用される電力管理ソフトウエア５０は、電力管理方法を実装する論理手段を与える。このソフトウエア５０は、コンピュータ読み取り可能な物理的媒体に記憶されている。説明の便宜上、コンピュータ読み取り可能な物理的媒体は、電力管理されるコンピュータにより又はこれに関連して使用されるソフトウエアを含む即ち記憶する任意の装置でもよい。コンピュータ読み取り可能な媒体の例は、半導体又はソリッド・ステート・メモリ、磁気テープ、取り出し可能なコンピュータ・ディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、硬質の磁気ディスク及び光ディスクを含む。現在の光ディスクの例は、コンパクト・ディスク−読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクト・ディスク−読み取り／書き込みディスク（ＣＤ−Ｒ／Ｗ）及びＤＶＤである。これらの媒体は、電子、磁気、光学、電磁気、赤外線又は半導体システム（又は装置）でもよい。物理的媒体は、電力管理モジュール３８及びサーバー１２によりアクセスされそして実行されるために、コンピュータ・システム３０により読み出され、そして管理モジュール３８又はサーバーあるいは両方のシステム・メモリに記憶される。プロセッサ３１は、システム・バスを介してメモリ３３又は他のメモリ素子に直接的又は間接的に結合される。メモリ３３は、プログラム・コードの実際の実行の間に使用されるローカル・メモリ、バルク記憶装置並びに実行の間にバルク記憶装置からプログラム・コードが取り出される回数を減少するために少なくとも幾つかのプログラム・コードの一時的な記憶装置としてキャッシュ・メモリを含む。

例えば、キーボード、表示装置、ポインティング装置等の入出力（Ｉ／Ｏ）装置が、介在するＩ／Ｏ制御装置を介してシステムに直接的に又は間接的に結合される。データ処理システムを、例えば介在するプライベート又は公衆ネットワークを介して、他のデータ処理システム、遠隔プリンタ若しくは記憶装置に結合させるネットワーク・アダプタが使用され得る。モデム、ケーブル・モデム、イーサネット（登録商標）・カード及びワイヤレス・ネットワーク・アダプタは、ネットワーク・アダプタの例である。ユーザは、例えばキーボード及びマウスのような入力装置を介してコンピュータ・システムに命令及び情報を入力することができる。他の入力装置は、マイクロフォン、ジョイスティック、ゲーム・パッド、タッチ・パッド、衛星通信アンテナ、スキャナー等である。これらの及び他の入力装置は、システム・バスに結合されるＵＳＢ（ユニバーサル・シリアル・バス）を介して処理ユニットへしばしば接続されるが、例えばシリアルポート・インターフェース、パラレル・ポート、ゲーム・ポート等の他のインターフェースにより接続されることができる。表示装置を含むグラフィカル・ユーザー・インタフェース（ＧＵＩ）も又、例えばビデオ・アダプタのようなインターフェースを介してシステム・バスに接続されることができる。

この実施例のローカル・コントローラ４０は、ベースボード管理コントローラ（ＢＭＣ）４２を含む。ＢＭＣ４２は、マザーボードに組み込まれた専門化されたマイクロコントローラであり、そしてインテリジェント・プラットフォーム・マネージメント・インターフェース（ＩＰＭＩ）アーキテクチャ内のコンポーネントである。ＢＭＣ４２の機能は、センサからの入力を受け取り、そしてもしも予め規定された限界値内に任意のパラメータがないならば、管理者に警報を送ることを含む。ＢＭＣは、システム管理ソフトウエアとプラットフォーム・ハードウエアとの間のインターフェースを管理する。コンピュータ・システムに組み込まれているセンサは、例えば、電力、温度、冷却ファンの速度及びオペレーティング・システム（ＯＳ）のステータスのようなパラメータをＢＭＣに報告する。ＢＭＣは、複数個のセンサを監視し、もしもいずれかのパラメータが予めセットされた限界値内になく、システムの故障の可能性を示しているならば、ネットワークを介してシステム管理者に警報を送ることができる。管理者は、例えばシステムをリセット又はパワー・サイクリングしてハングしたＯＳを再び動作させるような幾つかの矯正動作を行うためにＢＭＣと遠隔通信することができる。組み込まれたセンサは、サーバー１２により消費された電力を感知しこれを表す信号を出力する電力センサ４４を含む。電力管理モジュール３８は、電力センサ即ち電力計４４と通信し、そして以下に説明する本発明の方法に従ってサーバーへの電力を制御するために電力消費信号を処理する。

１つの例示的な実施例において、ＢＭＣへの物理的インターフェースは、システム・マネージメント・バス（ＳＭＢ）、例えばＲＳ−４８５シリアル・コンソールのようなシリアル通信インターフェース、アドレス及びデータ・ライン並びにシステム内の他の管理コンソールからのＩＰＭＩ要求メッセージを受領するためにＢＭＣをイネーブルするインテリジェント・プラットフォーム・マネージメント・バス（ＩＰＭＢ）を含むことができる。ＢＭＣは、ＩＰＭＩプロトコルを使用して遠隔にあるクライアント上のＢＭＣ管理ユティリティ（ＢＭＵ）と通信することができる。通常ＢＭＵは、コマンド・ライン・インターフェース（ＣＬＩ）アプリケーションである。ＬＡＮを介するＢＭＣへの接続は、ユーザのセキュリティ方針に依存して暗号を使用し又は使用しなくともよい。ＢＭＣ４２の通常の機能に加えて、ＢＭＣ４２は、電力管理方法の実施例に従って各サーバー１２の装置の動的な電力限界値を強制する。本明細書では、例として特定なアーキテクチャを説明するが、本発明は、このＢＭＣアーキテクチャが時を経て改訂されうること及び本発明はこのように改訂されたアーキテクチャに対して働くように調整されうることをも意図する。更に、本発明は、ＢＭＣを使用することなく電力管理方法を実装する、電力管理されるコンピュータ・システムの代替実施例をも意図する。

電力管理モジュール３８は、各サーバー１２のローカル・コントローラ４０により強制（ｅｎｆｏｒｃｅ）される各サーバー１２の装置電力限界値を選択し、そして動的に、独立的に調整する。サーバー１２毎の装置電力限界の値は、サーバーのパフォーマンス仕様の範囲内で変動できるが、この範囲の全域に亘って変動する必要はない。例えば、特定なサーバーの設計仕様は最小電力５Ｗから最大電力１００Ｗの間で変動でき、そして電力管理モジュール３８は、このサーバーの装置電力限界をこの範囲内の任意の値にすること又は変更できる。

サーバー１２上で装置電力限界値を強制的に実現するために、ローカル・コントローラ４０により種々な技法が使用され得る。このような技法は、プロセッサ３１若しくはメモリ３３の電力を選択的に調整すること、サブシステムを動作のうちの節電（電力節約）モードにすること、装置相互間で仕事量を移すこと、又は使用されていない回路への電力をオフにすることを含む。電力を調整する技法の例は、プロセッサ３１のクロック周波数若しくは動作電圧を減少させること、プロセッサ３１の動作を待機若しくは保留状態を導入すること、プロセッサのクロック・ゲーティングを行うこと、及びプロセッサの電源電圧を減少させることを含む。プロセッサの負荷とサーバーの電力消費との間に或る関連性が存在するが、マイクロアーキテクチャの作用、チップ・ベースのトランジスタの特性可変性及び電力消費に影響を及ぼす他の多くの複雑な要因のために、プロセッサの負荷は電力消費を必ずしも信頼性をもって示すものではない。従って、一般的にローカル・コントローラ４０は、例えばＢＭＣを使用してインプリメントされうる正確な測定及び帰還制御システムを含む。ローカル・コントローラ４０は、ＢＭＣ４２及び電力計４４のおかげで、ハード、リアルタイム（実時間）比例制御システムとしてミリ秒の時間スケールで電力を調整することができる。この機能は、本発明に従う電力管理を組み込むためにソフトウエア５０により使用されることができる。

図３は、本発明の１つの実施例に従うコンピュータ・システムの電力を管理する方法を概略的に示すフローチャートである。この方法は、時間の経過に亘る自身の電力消費（量）を調べそして報告することができる複数個の電力消費型の装置を有するコンピュータ・システムへの電力を管理する。例えば、装置は、電力を監視しそして制御する電力計４４及び関連するハードウエアを有する図２のサーバー１２でもよい。しかしながらこの方法は、サーバー以外の装置を有するコンピュータ・システムへの電力を管理するために使用されることができる。これらの装置の電力消費（量）は、各サーバーの個別の電力消費（量）のように装置毎に、又は選択されたサーバーのグループに属するグループ毎の電力消費（量）のように装置の組又はグループ毎に報告されることができる。

装置毎に種々な電力限界値が選択されることができる。本発明の方法は、ステップ１００において少なくとも各装置に対する上限電力限界値（ＵＰＬ）を選択し、そしてステップ１０２において各装置に対する平均電力限界値（ＡＰＬ）を選択する。或る条件の下では、平均電力限界値及び上限電力限界値以外の追加の電力限界値が指定されそして使用されることができる。ステップ１０４において、各装置の瞬間電力消費（ＩＰＣ）が取得され、そして、ステップ１０６において、平均電力消費（ＡＰＣ）が調べられる。上限電力限界値は、サーバーの瞬間電力消費の限界値である。或る装置は上限電力限界値を物理的に超すことができるが、この装置は、本明細書で説明した任意の技術（電力調整、仕事量の移管等）に従って電力を管理され、その結果、瞬間電力消費は、任意の適切な時間長に亘って上限電力限界値を超さないことが望ましい。ステップ１０８において、瞬間電力消費が上限電力限界値を超えないように各装置への電力を制御する。平均電力限界値は、各装置の時間経過に対して平均化した電力消費の限界値である。例えば、１つの装置の瞬間電力消費が１００Ｗの上限電力限界値を超えないように、そして、この装置の平均電力消費が７０Ｗの平均電力消費限界値を超えないように、電力が制御されることができる。瞬間電力消費が上限電力限界値を超すべきでなく、そして、平均電力消費が平均電力限界値を超すべきではないけれども、電力管理方法は、瞬間電力消費が平均電力限界値を超すことを消極的に許容し、又は、現在の平均電力消費が平均電力限界値よりも少ない場合には、瞬間電力消費が平均電力限界値を瞬間的に超すことを積極的に行わせる。

装置毎の上限電力限界値を選択する（ステップ１００）ための要因は、例えば、電力分配に対する物理的制限、安全性に対する考慮（例えば、回路の破壊又は過度の加熱）又はコストの点である。或る１つの装置により要求される電力に起因して、他の装置の瞬間電力消費が上限電力限界値を超える場合には、瞬間電力消費が上限電力限界値を超すのを防止するように装置の電力消費を制限するための調整機構又は他の電力制限機構がステップ１０８において使用されることができる。装置への電力供給は、帰還に基づく電力管理システムを使用して調整されることができる。コンピューティング装置の或る制限のために、上限電力限界値を強制するのに使用される電力調整は、帰還に基づく電力管理システムによる増大した電力の検出後に、遅れてなされることができ、その結果、電力調整又は他の電力減少技法が装置に働くまでの短い期間の間だけ上限電力限界値が超されることがある。このような瞬間電力の超過は、ステップ１０８に反するものではなく、その理由は、このようなサージの結果が良性であり、そして、ここでの有力な効果は、所定の時間間隔の間、瞬間電力消費が上限電力限界値を超さないようにすることであるからである。又、上限電力限界値及び平均電力限界値は、時間と共に変動するエネルギー価格を考慮して、ステップ１００及び１０２の各期間の間に周期的に調整されることができる。例えば、平均電力限界値は、エネルギー価格が増大している期間の間減少され、そしてエネルギー価格が減少している期間の間増大されることができる。

ステップ１１０において、各装置の平均電力消費が平均電力限界値よりも小さい第１組の装置が選択される。ステップ１１２において、各装置の平均電力消費が平均電力限界値よりも小さくない（よりも大きい）第２組の装置が同定（選択）される。一般的に、各装置は第１組又は第２組に何時でも分けることができ、その結果、第２組の装置は、第１組に属さないとされた装置として容易に決定されることができる。第１組の装置のそれぞれは、これらの平均電力限界値よりも下で動作するので、ステップ１１４において、これらの装置の瞬間電力消費は、これらの平均電力限界値を超えることが許容される。ステップ１１４は、例えば、もしも平均電力限界値を越すような電力要求が生じるならば、この第１組の装置の瞬間電力消費が平均電力限界値を越すことを単純に許容するということにより消極的に行われ得る。これの代わりに、第１組の装置は、これらの瞬間電力消費がこれらの平均電力限界値を越すように積極的に調整されることができる。これらの装置即ちサーバーは、これらの平均電力限界値よりも上になるように電力調整され得るけれども、ステップ１０８に従って、これらの瞬間電力消費が上限電力限界値を越さないようにするべきである。これと対照的に、第２組の装置は、これらの平均電力限界値で若しくはこれより上のレベルで動作しており、そして、ステップ１１６に従って、第２組の装置の瞬間電力消費がこれらの平均電力限界値を越すことが防止される。第２組の装置への電力供給は、例えば、各装置の瞬間電力消費がそれぞれの平均電力限界値を越さないようにすることにより低下され得る。

図３の方法は、複数個の装置としてサーバーを含むコンピュータ・システムの電力を管理する方法の形で組み込まれることができる。図４は、このような方法を更に詳細な例を示すフローチャートである。この方法は、複数個のサーバー１２への電力を管理するために、図２のコンピュータ・システムのソフトウエア５０としてコンピュータ・システムに実装されることができる。図４のフローチャートは、複数個のサーバーの電力を管理することに特に適用される点で、図３のフローチャートと同様なステップを含む。これらの同様なステップには、同じ参照番号を付けてある。図４の他のステップは図３の或るステップのサブ・ステップと同様であり、そして異なる参照番号を付けてある。

図４を参照すると、ステップ１００において、各装置の上限電力限界値が選択され、そしてステップ１０２において、各装置の平均電力限界値が選択される。上限電力限界値及び平均電力限界値は、ユーザが選択できるパラメータであり、そして、この電力管理されるコンピュータ・システムにシステム管理者により入力される。瞬間電力消費及び平均電力消費がステップ１０４及び１０６においてそれぞれ調べられる。例えば、電力計は、電力管理モジュールへ、瞬間電力消費を表す実時間の電力信号を出力する。電源モジュールは、この実時間の電力信号を瞬間電力消費値に変換することができる。更に、電源モジュールは、所定の時間に亘って実時間電力信号をサンプルして平均電力消費値を計算する。次いで、電力管理モジュールは、この動的な瞬間電力消費及び平均電力消費データを、電力を管理するのに使用される帰還（フィードバック）として使用し、そして次のようにして各装置に対する上限電力限界値及び平均電力限界値を強制する（ｅｎｆｏｒｃｅ）。

ステップ１２０及び１２２は、図３のステップ１０８に従って、各装置の瞬間電力消費が上限電力限界値を越えることを防止する。条件付け（判断）ステップ１２０は、或る特定なサーバーに対して、このサーバーにより要求された電力が上限電力限界値を超したかどうかを照会する。もしも或る特定な時間における要求された電力が、上限電力限界値を越えるならば、ステップ１２２において、瞬間電力消費が上限電力限界値を越さないことを確実にするためにサーバーへの電力供給を減少させる。

条件付けステップ１１０は、平均電力消費が平均電力限界値よりも小さいサーバーを同定するために使用される。この第１組のサーバーは、条件付けステップ１２４で調べられた結果電力を増大するための許容される時間があるならば、電力を増加される。電力を増大するために許容される期間は、管理者により入力され得る他のパラメータである。許容される期間は、データ・センターを動作させるための或る方針的な考えを反映する。例えば、電力の価格が時間と共に変動し、そして管理者は、サーバーへの電力の増大を許容するために価格のピークをはずれた或る期間を指定することができる。この許容された期間の間、第１組のサーバーの瞬間電力消費は、ステップ１１４に従って、これらの平均電力限界値を越すことを許容されるが、ステップ１２２に従って、上限電力限界値を越すことはない。これらのサーバーは、これらの平均電力限界値を越えることを消極的に許容され、又はこれらは、これらの平均電力限界値をゆっくりと越すように積極的に電力を増大される。

図３で説明したステップ１１２は、平均電力消費が平均電力限界値よりも“小さくない”第２組の装置を選択する。図４の方法は、平均電力消費が平均電力限界値にほぼ等しいサーバーと、平均電力消費が平均電力限界値を越えるサーバーとに対して別の処理を行う。条件付けステップ１１２Ａに従い、もしも平均電力消費が平均電力限界値にほぼ等しいならば、瞬間電力消費が平均電力限界値を越えないように、このサーバーへの電力は、ステップ１１６Ａにおいて減少される。瞬間電力消費が平均電力限界値を越えることを防止することにより、平均電力消費が平均電力限界値を越えることが防止され、平均電力消費を平均電力限界値に等しいか又はこれよりも小さい値に維持する。

本発明の方法は、ループを形成するように構成されており、即ち、条件付けステップ１１０及び１１２は、一般的に平均電力消費が平均電力限界値を越えないことが確実にするように、繰り返される。しかしながら、或る条件の下では、平均電力消費が平均電力限界値を越えることが起こり得る。このことは、例えば繰り返してステップ１０２を行っている間に、平均電力限界値が突然減少されるならば起こり得る。平均電力限界値は、時間と共に変動するエネルギー価格を勘案して減少され得る。かくして、条件付けステップ１１２Ｂにおいて、サーバーの平均電力消費が平均電力限界値を越すならば、ステップ１１６Ｂにおいて、平均電力消費が平均電力限界値をもはや越さなくなるまで、所定期間に亘って平均電力消費の値を減少するために十分なだけサーバーへの電力供給が減少される。瞬間電力消費が早く減少すると、平均電力消費値が平均電力限界値に等しく又はこれよりも低い値に早く減少される。しかしながら、ステップ１１２Ｂで指定される条件は、必ずしも緊急又は故障の状態ではなく、そして平均電力消費は、これが平均電力限界値に再び等しくなるまで、緩やかに減少されることが許容される。これが生じる状況は、平均電力限界値が例えば１日のような或る期間に対して指定される場合である。例えば、管理者は、２４時間のサイクルに対して満足される値として意図した平均電力限界値を各装置に指定できる。かくして、２４時間のサイクルのうちの数時間が残っているならば、ステップ１１２Ｂにおいて平均電力消費が平均電力限界値を一時的に越えた装置の瞬間電力消費は、２４時間の期間が終了する前に、指定された平均電力限界値を達成するように計算されたレベルまで減少され得る。かくして、本発明の方法は、平均電力限界値を越えないような平均電力消費値に又はこれの近くの値にサーバーを維持するけれども、この方法は、ステップ１０２で生じる平均電力限界値の減少（これにより平均電力消費が、この減少された平均電力限界値を一時的に越えることを生じる）を補償する。

平均電力限界値を選択しそして強制する種々な方法が管理者にとって利用可能である。平均電力限界値を選択しそして強制する１つの態様は、平均電力消費が計算される時間枠である。最近の履歴だけに基づいて、又はこれよりも長い履歴だけに基づいて平均電力消費を計算することができる。例えば、もしも平均電力限界値が、システムを予算のパラメータ内で働かせるように、例えば、毎日の電力予算内で各装置を働かせるように選択されるならば、平均電力消費量は、これよりも延長された２４時間の時間枠に基づいて計算され得る。他の例では、平均電力限界値は、熱発生を制御するように選択され得る。例えば、サーバーにより発生される熱は、これの瞬間電力消費の変動ではなくて、これの平均電力消費に主に依存する。この場合、平均電力消費は、例えば１時間よりも短い時間のような比較的短い時間間隔に亘って計算されることができ、そして、以前の時間間隔（例えば、前の１時間）における装置のパフォーマンスが、熱発生を制御するように現時間間隔でこの装置をどのように働かせるかについてわずかに影響を与える。更に、管理者は、平均電力消費を、非常に少ないデータ・ポイントに基づいて又は非常に多いデータ・ポイントに基づいて判断する。データ・ポイントを取得する数即ち回数は、特定な装置が現在平均電力限界値より上で動作しているか又は平均電力限界値よりも下で動作しているかに非常に依存する。例えば、電力消費データ・ポイントは、平均電力限界値よりも上で動作している装置に対してはより多くの回数取得されることができる。その理由は、システムが、この装置の瞬間電力消費を減少することにより補償し、そして平均電力消費を現在の平均電力限界値に等しくさせようと試みるからである。

本発明を或る特定な実施例について説明したが、本明細書に接した当業者ならば、他の実施例が本発明の精神から逸脱することなく可能であることを理解するであろう。

本発明に従って電力管理される例示的なラックに装着可能な複数個のサーバーを有するコンピュータ・システムの斜視図である。 複数個のサーバーを有するコンピュータ・システムに関連する本発明の１つの実施例に従う電力管理されるコンピュータ・システムの概略図である。 本発明の１つの実施例に従うコンピュータ・システムの電力を管理する方法を概略的に示すフローチャートである。 複数個の装置がサーバーであるコンピュータ・システムの電力を管理する方法の１つの実施例を示すフローチャートである。

１０ コンピュータ・システム
１１ シャーシ
１２ ブレード・サーバー
１５ シャーシ管理モジュール
１６ 電源モジュール
１８ スイッチ・モジュール
２０ シャーシの前部
２２ シャーシの後部
３０ コンピュータ・システム
３１ ＣＰＵ
３２ 冷却ユニット
３３ メモリ
３６ 電源
３８ 電力管理モジュール
４０ ローカル・コントローラ
４２ ベース・ボード管理コントローラ
４４ 電力センサ（電力計）
５０ 電力管理ソフトウエア

Claims (12)

1. 複数個の電力消費型の電子装置を有する電子システムの電力を管理する方法であって、
   前記装置のそれぞれの上限電力限界値及び該上限電力限界値よりも小さい平均電力限界値を選択するステップと、
   前記装置のそれぞれの瞬間電力消費及び平均電力消費を調べるステップと、
   前記装置のそれぞれの前記瞬間電力消費がそれぞれの装置の前記上限電力限界値を越すことを防止するステップと、
   前記平均電力消費が前記平均電力限界値よりも小さい第１組の装置を同定し、そして、前記第１組のそれぞれの装置の瞬間電力消費がそれぞれの装置の平均電力限界値を越すことを許容するステップと、
   前記平均電力消費が前記平均電力限界値よりも小さくない第２組の装置を同定し、そして、前記第２組のそれぞれの装置の瞬間電力消費がそれぞれの装置の平均電力限界値を越すことを防止するステップとを含む、上記方法。
2. 前記平均電力消費が前記平均電力限界値に等しい装置を同定するステップと、
   前記平均電力消費を前記平均電力限界値に等しく維持するために前記同定された装置の瞬間電力消費を減少させるステップを含む、請求項１に記載の方法。
3. 前記平均電力消費が前記平均電力限界値よりも大きな装置を同定するステップと、
   前記同定された装置の前記瞬間電力消費を前記平均電力限界値よりも下の値に減少させるステップとを含む、請求項１に記載の方法。
4. 前記第１組の装置のそれぞれの平均電力消費がそれぞれの平均電力限界値に等しくなるまで、前記第１組の装置のそれぞれの瞬間電力消費がそれぞれの平均電力限界値を一時的に越すことを許容するステップを含む、請求項１に記載の方法。
5. 前記第１組の装置の前記瞬間電力消費が前記平均電力限界値を越すことが許容される所定の時間間隔を選択するステップと、
   前記第１組の各装置の前記瞬間電力消費が、前記所定の時間間隔の間だけ前記それぞれの装置の平均電力限界値を越すことを許容するステップと含む、請求項１に記載の方法。
6. 前記装置のそれぞれの前記瞬間電力消費がそれぞれの装置の前記上限電力限界値を越すことを防止するステップ及び前記第２組のそれぞれの装置の瞬間電力消費がそれぞれの装置の平均電力限界値を越すことを防止するステップが、前記装置のプロセッサ及びメモリへの電力供給を調整すること、使用されていない回路の電力をオフにすること、前記プロセッサのクロック周波数を減少すること、前記プロセッサの動作電圧を減少すること、前記プロセッサの動作に待機又は保留状態を導入すること、プロセッサのクロック・ゲーティングを行うこと、又は前記装置相互間で仕事量を移行することを含む、請求項１に記載の方法。
7. 前記装置がサーバーである、請求項１に記載の方法。
8. 複数個の電力消費型の電子装置を有する電子システムの電力を管理するためのコンピュータ・プログラムであって、
   前記コンピュータに、
   前記装置のそれぞれの上限電力限界値及び該上限電力限界値よりも小さい平均電力限界値を入力するステップと、
   前記装置のそれぞれの瞬間電力消費及び平均電力消費を取得するステップと、
   前記装置のそれぞれの前記瞬間電力消費がそれぞれの装置の前記上限電力限界値を越すことを防止するステップと、
   前記平均電力消費が前記平均電力限界値よりも小さい第１組の装置を同定し、そして、前記第１組のそれぞれの装置の瞬間電力消費がそれぞれの装置の平均電力限界値を越すことを許容するステップと、
   前記平均電力消費が前記平均電力限界値よりも小さくない第２組の装置を同定し、そして、前記第２組のそれぞれの装置の瞬間電力消費がそれぞれの装置の平均電力限界値を越すことを防止するステップとを
   実行させるためのコンピュータ・プログラム。
9. 電力が管理される電子システムであって、
   それぞれが電源と通信して種々な量の電力を受け取る複数個の電力消費型の装置と、
   前記装置のそれぞれの電力消費を検出し、該検出した電力消費を表す電力消費信号を出力する電力計と、
   前記装置のそれぞれの瞬間電力消費がそれぞれの装置に対して選択された上限電力限界値を超すことを防止するために前記装置のそれぞれの電力消費を選択的に制限する調整機構と、
   前記装置のそれぞれの前記電力計から前記電力消費信号を受け取り、前記装置のそれぞれの前記瞬間電力消費及び平均電力消費を調べ、前記平均電力消費が前記装置のそれぞれの平均電力限界値よりも小さい第１組の装置を選択する、前記複数個の装置と通信する電力管理モジュールとを備え、
   前記第１組の装置の瞬間電力消費が前記装置のそれぞれの前記平均電力限界値を越すことが許容され、そして前記第１組の装置以外の装置のそれぞれの瞬間電力消費がそれぞれの平均電力限界値を越すことが防止される、電子システム。
10. 前記電力管理モジュールが、前記平均電力消費が前記平均電力限界値に等しい装置を同定し、そして、前記平均電力消費を前記平均電力限界値に等しく維持するために前記同定された装置のそれぞれに瞬間電力消費を減少させるように命令する、請求項９に記載の電子システム。
11. 前記電力管理モジュールが、前記平均電力消費が前記平均電力限界値よりも大きな装置を同定し、そして、前記同定された装置のそれぞれに前記瞬間電力消費を前記平均電力限界値よりも下の値に減少させるように命令する、請求項１５に記載の電子システム。
12. 前記電力管理モジュールが、前記装置のそれぞれの前記瞬間電力消費がそれぞれの装置の前記上限電力限界値を越すことを防止すると共に、前記第１組の装置以外のそれぞれの装置の瞬間電力消費がそれぞれの装置の平均電力限界値を越すことを防止するために、前記装置のプロセッサ及びメモリへの電力供給を調整すること、使用されていない回路の電力をオフにすること、前記プロセッサのクロック周波数を減少させること、前記プロセッサの動作電圧を減少させること、前記プロセッサの動作に待機又は保留状態を導入すること、プロセッサのクロック・ゲーティングを行うこと、及び前記装置相互間で仕事量を移行することの１つ又はこれらの組み合わせを行うことを命令する、請求項９に記載の電子システム。

Images