JP2015021661A - 空調制御方法および空調制御システム - Google Patents

Abstract

【課題】サービス品質を維持しながら、システム全体の消費電力の削減する仮想マシンの最適冷却方法を提供する。【解決手段】情報処理装置は、第１のハードウェア資源を有する第１の情報処理装置と第２の情報処理装置とを備え、前記第１のハードウェア資源の使用量から前記第１のハードウェア資源の上限値を除算して得た値が所定の閾値を超えた場合、前記第２の情報処理装置を起動する情報処理装置の候補として決定する第１のステップと、予め設定された台数に基づいて、前記第２の情報処理装置を事前に冷却する情報処理装置の候補として決定する第２のステップと、前記第１の情報処理装置および前記第２の情報処理装置の消費電力と前記空調機の消費電力との合計値が最小となるように、前記起動する候補および前記事前に冷却する候補から事前に冷却して起動させる情報処理装置を決定する第３のステップとを備える。【選択図】図１

Description

本発明は、空調制御方法および空調制御システムに関し、より詳細には、情報処理装置の冷却方法にかかる空調制御方法および空調制御システムに関する。

近年、情報化社会の進展に伴い、通信設備やデータセンタにおいて設置されている情報処理装置および情報処理装置を冷却する冷房の空調機の省電力化が要請されている。情報処理装置とは、例えば、ＩＣＴ（Information and Communication Technology：情報通信技術）装置、ルータやサーバなどをいう。情報処理装置および情報処理装置を冷却する冷房の空調機の省電力化に向けて、様々な試みが行われている。

情報処理装置の稼働状況に合わせて、仮想マシンを用いて一部の情報処理装置に負荷を集約することで、情報処理装置の省電力化を図る取り組みもなされている。仮想マシンとは、コンピュータのＣＰＵ（Central Processing Unit）やメモリ等のリソースを、物理的構成によらず柔軟に分割や統合して仮想化した上で、仮想化したコンピュータを実行するソフトウェアである。仮想マシンを用いれば、ＯＳ（Operating System）やアプリケーションを物理的なコンピュータ（物理マシン）と同じ操作で実行できる。

例えば、夜間や週末では、通信設備やデータセンタにおいて設置されている複数の情報処理装置のＣＰＵ、メモリの稼動率はそれぞれ低くなっている。仮想マシンを用いて少数の情報処理装置に負荷を集約し、負荷を集約しない情報処理装置の電源をパワーオフすることにより、情報処理装置全体の消費電力を削減することが可能である。例えば非特許文献１では、情報処理装置のリソース増減を考慮して、起動する情報処理装置を選択し決定する技術が実用化されている。

実際のサービスを動作する場合には、サービス要件やライセンス要件によって仮想マシンを動作させる情報処理装置を制限する必要が発生することが多くある。

非特許文献１の技術では、仮想マシンと情報処理装置の対応関係に関するルールを満足しながら、情報処理装置のリソース変動に応じて、起動する情報処理装置を決定している。しかし、情報処理装置の起動台数を削減するという観点しかなく、空調機を含めたシステム全体の消費電力の削減は期待できない。

また、空調機から遠い位置にある情報処理装置を起動させた場合と、空調機から近い位置にある情報処理装置を起動させた場合では、情報処理装置の冷却に必要な電力が変わってくる。なぜなら、空調機から遠い情報処理装置を冷却しようとすると、空気の輸送コスト（ファンの動力）や、空気の移動時に壁や床からの伝熱で空気の温度が上がるために空調機から供給される空気の温度を低く設定する必要が生じるためである。また空調機から離れると空気の勢いが弱くなるために熱い空気が回り込みやすいため、空調機の設定温度を予め低くする必要がでてしまうためである。稼動する情報処理装置が空調機から近い位置にある場合、省電力上有利である。しかし情報処理装置が空調機から近い位置にあるか否かは設備条件によって異なる。よって起動する情報処理装置を適切に配置し、起動する情報処理装置に近い空調機だけを運転させることで、サービス品質レベルを下げずに電力を削減できる可能性がある。

VMware Distributed Resource Management: Design, Implementation, and Lessons Learned、http://labs.vmware.com/download/157/ 日立製作所、"電算機用空調機（床吹出空調方式）対応「ＩＴ設備連携省電力化ソリューション」"、http://www.hitachi-pt.co.jp/ref/ref_it.html

一般に、情報処理装置室や通信機室、データセンタ等のエリアでは、空調機が設けられており、情報処理装置の吸い込み温度を所定値以下に保つために空調機の設定温度を制御している。部屋全体を冷却する空調機冷房設定に対して、起動している情報処理装置の周辺だけ部分的に冷却することで、空調機の消費電力の大きな削減を図ることができる。例えば、非特許文献２では、情報処理装置全体の稼働率が低い場合に特定の範囲に情報処理装置を集約させ、集約の際の温度上昇による温度逸脱を避けつつ空調機の運転台数制御を行うことで、情報処理装置および空調機の消費電力の削減を図る方法が提案されている。

しかし、情報処理装置の起動命令から実際に起動するまで1〜5分の時間がかかるのに対して、空調機に対して設定を変更して、空調機が冷房能力を発揮するまでには10〜30分程度の時間がかかる。つまり、情報処理装置のリソースの変化により情報処理装置の起動の必要性が発生してから、空調機の設定を変更すると、冷却が間に合わず温度逸脱が発生してしまう。よって、大きくサービス品質を低下させる可能性があるという問題があった。一方で、温度逸脱を避けるために、情報処理装置の起動を遅らせると、サービス提供の遅延を招くことになるという問題があった。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、サービス品質を維持しながら、システム全体の消費電力を削減する空調制御方法および空調制御システムを提供することにある。

上記問題を解決するための本発明は、複数の空調機によって空調される対象エリア内に配置される複数の情報処理装置の業務配置と空調設定を最適化するデータセンタマネジメントシステムであって、クラスタや情報処理装置グループと仮想マシングループの間のルールや情報処理装置グループ同士のルール、電力・温度を保存する情報保存部と、ルールを考慮して、クラスタの中での負荷分散を行う負荷分散部と、リソース量の増減に応じて、設定値を超えない条件の中で、前記情報処理装置および前記空調機の消費電力の合計値が最小となるよう、起動・停止する情報処理装置を決定する情報処理装置電源最適化部と、事前に決められた条件に基づいて、事前に冷却すべき最小の情報処理装置のリストを決定する予備冷却情報処理装置決定部と、起動している情報処理装置と予備冷却する情報処理装置の候補から空調機と情報処理装置の消費電力を最小にする情報処理装置と予備冷却する情報処理装置と設定温度とを決定する全体最適化部と、情報処理装置の業務配置と空調設定を最適化する操作に必要な情報を空調と情報処理装置から収集する情報収集部とを含む。

本発明は、このような目的を達成するために、請求項１に記載の発明は、情報処理装置および該情報処理装置を冷却する空調機を管理するシステムによる空調制御方法であって、前記情報処理装置は、第１のハードウェア資源を有する第１の情報処理装置と第２のハードウェア資源を有する第２の情報処理装置とを備え、少なくとも前記第１の情報処理装置および前記第２の情報処理装置を含むグループにおいて、前記第１のハードウェア資源の使用量から前記第１のハードウェア資源の上限値を除算して得た値が所定の閾値を超えた場合、前記第２の情報処理装置を起動する情報処理装置の候補として決定する第１のステップと、予め設定された台数に基づいて、前記第２の情報処理装置を事前に冷却する情報処理装置の候補として決定する第２のステップと、前記第１の情報処理装置および前記第２の情報処理装置の消費電力と前記空調機の消費電力との合計値が最小となるように、前記起動する情報処理装置の候補および前記事前に冷却する情報処理装置の候補から事前に冷却して起動させる情報処理装置を決定する第３のステップとを備えることを特徴とする。

以上説明したように、本発明によれば、サービス品質の維持をしながら、システム全体の省電力化を実現することが可能となる。

本発明の一実施形態にかかる空調制御システムを示す構成図である。 仮想マシングループおよび情報処理装置グループの態様を示す図である。 情報処理装置の各種リソース値を仮想マシンにそれぞれ割り当てた際の、情報処理装置の消費電力値を示す図である。 空調機の吹出し温度と空調機の戻り温度と外気温と設定温度に応じた空調機の消費電力の変化を表すデータを示す図である。 対応する空調機の吹出し温度が１℃変化したときの情報処理装置Ｉ_１〜情報処理装置Ｉ_１０の吸込み温度の変化量を示す図である。 対応する情報処理装置の発熱量が１００Ｗ変化した時の情報処理装置Ｉ_１〜情報処理装置Ｉ_１０の吸込み温度の変化量を示す図である。 対応する空調機の吹出し温度が１℃変化したときの空調機Ａ_１〜空調機Ａ_３の戻り温度の変化量を示す図である。 対応する情報処理装置の発熱量が１００Ｗ変化した時の空調機Ａ_１〜空調機Ａ_３の戻り温度の変化量を示す図である。 本発明の一実施形態にかかる、仮想マシンを用いた空調制御方法を示すフローチャートである。 情報処理装置Ｉ_１から情報処理装置Ｉ_５のCPU使用率およびクラスタ全体のCPU使用率との関係の一例を示す図である。 本発明の一実施形態にかかる、負荷分散方法を示すフローチャートである。 本発明の一実施形態にかかる、情報処理装置の起動・停止候補の探索方法を示すフローチャートである。 本発明の一実施形態にかかる、予備冷却する情報処理装置の検索方法を示すフローチャートである。 仮想マシングループ毎および情報処理装置グループ毎に予備冷却する最小の情報処理装置の台数を決定する例を示す図である。 本発明の一実施形態にかかる、予備冷却する情報処理装置、起動・停止する情報処理装置、空調機の設定温度の検索方法を示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。

（発明の構成）
図１に本発明の一実施形態にかかる空調制御システムと情報処理装置と空調機との３つの構成を示す。情報処理装置Ｉ_ｉは、仮想マシンを動作させる仮想マシン管理部１１と、温度センサ部１２と、電力センサ部１３と、温度センサ部１２および電力センサ部１３で計測された情報を取得する情報処理装置管理部１４とを備える。仮想マシン管理部１１は、仮想マシン１１１，１１２，…，Ｘを備える。空調機Ａ_ｊは、温度センサ部２１と、電力センサ部２２と、温度センサ部２１および電力センサ部２２で計測された情報を取得する空調管理部２３とを備える。

本発明の一実施形態にかかる空調制御システム１０００は、情報処理装置Ｉ_ｉと空調機Ａ_ｊの電源を制御する電源制御部５と、情報処理装置Ｉ_ｉの仮想マシン１１１，１１２，…，Ｘを制御する仮想マシン制御部６とを備える。また本発明の一実施形態にかかる空調制御システム１０００は、空調機Ａ_ｊを制御する空調制御部８と、仮想マシンの負荷分散や予備冷却する情報処理装置の決定などを行う最適化部７とを備える。さらに本発明の一実施形態にかかる空調制御システム１０００は、情報処理装置Ｉ_ｉおよび空調機Ａ_ｊの消費電力情報と情報処理装置Ｉ_ｉの吸込み温度情報などを収集する情報収集部４と、収集した情報を格納する情報保存部３とを備える。最適化部７は、後述する負荷分散を行う負荷分散部７１と、情報処理装置の起動・停止候補を探索する情報処理装置電源最適化部７２（第１の決定部）と、起動・停止する情報処理装置と予備冷却する情報処理装置と空調機の設定温度とを決定する全体最適化部７３（第３の決定部）と、予備冷却する情報処理装置の候補を検索する予備冷却情報処理装置決定部７４（第２の決定部）とを備える。情報保存部３と、情報収集部４と、電源制御部５と、仮想マシン制御部６と、最適化部７と、空調制御部８と、仮想マシン管理部１１と、情報処理装置管理部１４と、空調管理部２３とは、ネットワーク９を介して接続されている。ネットワーク９は、例えばＬＡＮ（Local Area Network）で構成される。

情報保存部３は、仮想マシンを情報処理装置に移行させる負荷分散や電源制御を行う複数の情報処理装置の範囲を決めるクラスタ情報を保存する。クラスタとは、本明細書では、空調制御システムで制御できる情報処理装置の集合体をいい、クラスタの中に異なる目的を持つ情報処理装置の複数のグループを有する。また情報保存部３は、複数の仮想マシンの組みである、仮想マシングループや複数の情報処理装置の組みである情報処理装置グループの情報を保存する。情報保存部３は、仮想マシンと情報処理装置に対するルールを保存する。例えば、ライセンスが特定の情報処理装置に紐づけられているため、ある仮想マシンを特定の情報処理装置のみで動かしたい場合などがある。ルールとしては、ある仮想マシングループをある情報処理装置グループで動かすルールや、ある仮想マシングループをある情報処理装置では動かさないルール等が考えられる。

情報処理装置毎に仮想マシンが利用できるリソース（ＣＰＵ、メモリ、ネットワーク、Ｉ/Ｏなどのハードウェア資源）の上限値が決まっており、リソースの上限値に関する情報も情報保存部３に予め保存されている。

情報処理装置毎に、吸込み温度を計測する温度センサ部と、情報処理装置全体の電力を計測する電力センサ部がある場合、情報収集部４は、情報処理装置管理部１４からＳＮＭＰ（Simple Network Management Protocol）やＩＰＭＩ（Intelligent Platform Management Interface）等で、温度センサ部および電力センサ部が計測した情報を収集する。なお、温度センサ部および電力センサ部は必ずしも情報処理装置内部にある必要はなく、外付けのセンサでもよい。

情報処理装置毎に起動状態のときに、情報処理装置の吸込み温度をある一定値以下に維持しなければならない。情報処理装置の吸込み温度の上限値は機器に対して事前に決められており、事前に決められた吸込み温度の上限値に関する情報も情報保存部３に事前に格納される。情報保存部３は、ＳＮＭＰやＩＰＭＩ等で、吸込み温度の上限値に関する情報を収集することもできる。

空調機の吹出し温度情報、空調機の戻り温度情報および空調機の消費電力情報は、空調管理部２３で管理している。空調機の吹出し温度とは、室内機の冷気の吹き出し口付近の温度であって、吹き出し口付近に設置された温度センサによって測定される。また空調機の戻り温度とは、室内機の吸込み口付近の温度であって、吸込み口付近に設置された温度センサによって測定される。情報収集部４は、空調機の吹出し温度情報、空調機の戻り温度情報および空調機の消費電力情報を空調管理部２３から収集し、情報保存部３は、情報収集部４が収集した情報を保存する。

情報処理装置電源最適化部７２は、クラスタ全体の処理量が低下し、クラスタの中の個々の情報処理装置の処理量が低下した場合、情報処理装置の停止を探索する。情報処理装置の停止の探索のトリガーとなる、クラスタ全体のリソース使用率は事前に設定され、情報保存部３に保存される。クラスタ全体のリソース使用率は、クラスタ内の全ての情報処理装置上の全ての仮想マシンのリソース使用量を合算した値をクラスタ内の全ての情報処理装置のリソースの上限値の合算値で割った値である。

情報処理装置電源最適化部７２は、クラスタ全体の処理量が低下し、クラスタ全体の起動中の情報処理装置が余っている時、クラスタの中のいくつかの情報処理装置の停止を探索する。

一方、情報処理装置電源最適化部７２は、クラスタ全体の処理量が増加し、クラスタの中の個々の情報処理装置の処理量が増加した場合、情報処理装置の起動を探索する。情報処理装置の起動の探索のトリガーとなるクラスタ全体のリソース使用率は事前に設定され、情報保存部３に保存される。

情報処理装置電源最適化部７２は、クラスタ全体の処理量が増加し、クラスタ全体の起動中の情報処理装置が不足している時、クラスタの中のいくつかの情報処理装置の起動を探索する。

さらにリソースが増加して、追加の情報処理装置を起動するときに、すぐ情報処理装置を起動できるように、停止している情報処理装置を予備冷却しておく。予備冷却をする台数を情報処理装置グループ毎に設定して情報保存部３に保存される。リソースが増加した場合、情報保存部３に保存された予備冷却された情報処理装置の情報に基づいて、予備冷却された情報処理装置を起動させ、情報処理をリソース変動に迅速に対応させる。

仮想マシン制御部６は、負荷分散部７１から指令を受けて、仮想マシンを情報処理装置の間で移行させることができる。仮想マシン毎に、情報処理装置のＣＰＵとメモリとネットワークＩ/Ｏを消費しており、仮想マシン管理部１１が情報処理装置のＣＰＵとメモリとネットワークＩ/Ｏ消費にかかる情報を管理している。情報収集部４は、情報処理装置Ｉ_ｉのＣＰＵとメモリとネットワークＩ/Ｏ消費にかかる情報を、仮想マシン管理部１１から定期的に収集している。

空調制御部８では、全体最適化部７３から指令を受けて、空調機Ａ_ｊの設定温度を変更できる。本明細書でいう空調機の設定温度とは、空調機の戻り温度、空調機の吹出し温度どちらでも良く、空調機は戻り温度もしくは吹出し温度を設定温度に追従させるように制御される。

図２に仮想マシングループおよび情報処理装置グループの態様を示す。図２では、第１のグループ２１０は、第１の情報処理装置２１１と、第２の情報処理装置２１２と、第３の情報処理装置２１３とを含む。第２のグループ２２０は、第４の情報処理装置２２４と、第５の情報処理装置２２５と、第６の情報処理装置２２６とを含む。第３のグループ２３０は、第２の情報処理装置２１２と、第３の情報処理装置２１３と、第５の情報処理装置２２５と、第６の情報処理装置２２６とを含む。第４のグループ２４０は、第７の情報処理装置２４７を含む。第２の情報処理装置２１２と、第３の情報処理装置２１３と、第５の情報処理装置２２５と、第６の情報処理装置２２６のように、情報処理装置や仮想マシンに重複してグループを設定しても良い。また、第８の情報処理装置２５８のように、どこにも属さない情報処理装置があってもよい。

図３に情報処理装置Ｉ_ｉの各種リソース値を仮想マシンにそれぞれ割り当てた際の、情報処理装置Ｉ_ｉの消費電力値（W）を示す。各種リソース値は、ＣＰＵの動作周波数（MHz）、メモリ容量（MB）、ネットワークI/O速度（Mbps）を含む。情報処理装置Ｉ_ｉの消費電力は、仮想マシンにそれぞれ割り当てた各種リソース値に応じて変化する。情報保存部３は、図３に示す関係テーブル情報を格納する。図３に示す関係テーブル情報は、後述する起動・停止する情報処理装置を決定する際に使用される。関係テーブル情報は、事前に情報保存部３に格納させても良いし、本実施形態の空調制御システムを運用しながら、関係テーブル情報を取得しても良い。また、関係テーブルではなく、消費電力との関係を、ＣＰＵの動作周波数、メモリ容量、ネットワークI/O速度のパラメータに関する１次関数等の関数として保存しておいても良い。

ＣＰＵの動作周波数、メモリ容量、ネットワークI/O速度のパラメータに関する１次関数は、次の（式１）で表される。（式１）は、各情報処理装置のＣＰＵの動作周波数、メモリ容量、ネットワークI/O速度を変化させたときに、情報処理装置の消費電力がどれだけ変化するかを表わす。
ΔH_i=f_i(ΔD₁,ΔD₂,…,ΔD_n,ΔM₁,ΔM₂,…,ΔM_n,ΔN₁,ΔN₂,…,ΔN_n) （式１）

（式１）において、ｉ＝１〜ｎ、ｎは情報処理装置の数、ΔH_iは情報処理装置Ｉ_ｉの消費電力の変化量、ΔD_iは情報処理装置Ｉ_ｉのＣＰＵの動作周波数の変化量、ΔM_iは情報処理装置Ｉ_ｉのメモリ容量の変化量、ΔN_iは情報処理装置Ｉ_ｉのネットワークI/O速度の変化量、変化量f_iは第ｉ番目の情報処理装置の吸込み温度の温度変化に関する関数を表す。関数f_iは、例えば（式２）のΔD_i、ΔM_i、ΔN_iの1次式で与えることができる。
f_i(ΔD₁,ΔD₂,…,ΔD_n,ΔM₁,ΔM₂,…,ΔM_n,ΔN₁,ΔN₂,…,ΔN_n)=a₁ΔD₁+a₂ΔD₂+…+a_nΔD_n+b₁ΔM₁+b₂ΔM₂+…+b_nΔM_n+c₁ΔN₁+c₂ΔN₂+…+c_nΔN_n （式２）

（式２）において、a_iは、情報処理装置Ｉ_ｉの消費電力H_iが情報処理装置Ｉ_ｉのＣＰＵの動作周波数D_iの変化によって影響することを考慮して設定した係数を表わす。b_iは、情報処理装置Ｉ_ｉの消費電力H_iが情報処理装置Ｉ_ｉのメモリ容量M_iの変化によって影響することを考慮して設定した係数を表わす。c_iは、情報処理装置Ｉ_ｉの消費電力H_iが情報処理装置Ｉ_ｉのネットワークI/O速度N_iの変化によって影響することを考慮して設定した係数を表わす。（式１）および（式２）は、後述する起動・停止する情報処理装置を決定する際に使用される。

図４に空調機の吹出し温度と空調機の戻り温度と外気温と設定温度に応じた空調機の消費電力の変化を表すデータを示す。空調機の消費電力は吹出し温度と戻り温度と外気温と設定温度に応じて変化する。本明細書でいう外気温とは、空調機の室外機が設置される屋外の気温である。情報保存部３は、空調機の吹出し温度と空調機の戻り温度と外気温と空調機の設定温度と、空調機の消費電力の変化との関係情報を保存する。関係情報を事前にパラメータシートから算出しても良いし、運用しながら、関係情報を取得しても良い。また、テーブルではなく、消費電力との関係を、情報保存部３は、空調機の吹出し温度と空調機の戻り温度と外気温と空調機の設定温度と空調機の消費電力の変化とにかかるパラメータに関する１次関数等の関数として保存しても良い。

情報処理装置Ｉ_ｉは設置される位置によって、冷却しやすさが異なり、空調機毎に吸込み温度の変化する量が異なる。また情報処理装置の電力の消費に伴う発熱により、情報処理装置の消費電力に応じて吸込み温度が変化する。空調機の吹出し温度の変化と空調機の戻り温度との関係、および情報処理装置の発熱量と空調機の戻り温度との関係を情報保存部３に保存する。

図５に対応する空調機の吹出し温度が１℃変化したときの情報処理装置Ｉ_１〜情報処理装置Ｉ_１０の吸込み温度の変化量を示し、図６に対応する情報処理装置の発熱量が１００Ｗ変化した時の情報処理装置Ｉ_１〜情報処理装置Ｉ_１０の吸込み温度の変化量を示す。図５および図６に示す情報を事前に情報保存部３に保存されても良いし、運用しながら、関係を取得しても良い。また、テーブルではなく、情報処理装置の吸込み温度の変化量との関係を、空調機の吹出し温度と情報処理装置の消費電力とのパラメータに関する１次関数等の関数として保存しても良い。図５および図６に示すテーブルは２つ合わせて情報処理装置吸込み温度影響度と呼ぶこととする。情報処理装置吸込み温度影響度の関数は、次の（式３）で表される。（式３）は、各空調機の吹出し温度・各情報処理装置の消費電力を変化させたときに、情報処理装置の吸込み温度がどれだけ変化するかを表わす。
ΔT_i=f’_i(ΔS₁,ΔS₂,…,ΔS_m,ΔH₁,ΔH₂,…,ΔH_n) （式３）

（式３）において、ｉ＝１〜ｎ、ｎは情報処理装置の数、ｊ＝１〜ｍ、ｍは空調機Ａ_ｊの数、ΔT_iは情報処理装置Ｉ_ｉの吸込み温度の変化量、ΔS_jは第j番目に位置する空調機Ａ_ｊの吹き出し温度の変化量、ΔH_iは第ｉ番目の情報処理装置の消費電力の変化量、f_iは第ｉ番目の情報処理装置の吸込み温度の温度変化に関する関数を表す。関数f_iは、例えば（式４）のΔS_j、ΔH_iの1次式で与えることができる。
f’_i(ΔS₁,ΔS₂,…,ΔS_m,ΔH₁,ΔH₂,…,ΔH_n)=d₁ΔS₁+d₂ΔS₂+…+d_mΔS_m+e₁ΔH₁+e₂ΔH₂+…+e_nΔH_n （式４）

（式４）において、d_jは、第ｉ番目（ｉ＝１〜ｎ）に位置する情報処理装置の吸込み温度T_iが第ｊ番目（ｊ＝１〜ｍ）に位置する空調機Ａ_ｊの吹き出し温度S_jの変化によって影響することを考慮して設定した係数を表わす。e_iは、第ｉ番目（ｉ＝１〜ｎ）に位置する情報処理装置の吸込み温度T_iが第ｉ番目（ｉ＝１〜ｎ）に位置する情報処理装置の消費電力H_iの変化によって影響することを考慮して設定した係数を表わす。

係数d_jは一定期間、空調の吹き出し温度S_jおよび情報処理装置の消費電力H_iを変化させた時の情報処理装置の吸込み温度T_iの変化を計測して、学習データとして、重回帰分析等により求めてもよい。もしくは、流体シミュレーションにより空調機の消費電力と情報処理装置の消費電力を変化させて求めてもよい。

図７に対応する空調機の吹出し温度が１℃変化したときの空調機Ａ_１〜空調機Ａ_３の戻り温度の変化量を示し、図８に対応する情報処理装置の発熱量が１００Ｗ変化した時の空調機Ａ_１〜空調機Ａ_３の戻り温度の変化量を示す。

空調機の戻り温度も、空調機の吹出し温度に対して変化する量が異なる。空調機の吹出し温度の変化と空調機の戻り温度との関係、および情報処理装置の発熱量と空調機の戻り温度との関係情報を情報保存部３に保存する。関係情報を事前に入れても良いし、運用しながら、関係情報を取得しても良い。また、テーブルではなく、空調機の戻り温度との関係を、空調機の吹出し温度と情報処理装置の消費電力とのパラメータに関する１次関数等の関数として保存しても良い。

（発明の基本動作）
図９に本発明の一実施形態にかかる空調制御方法を示すフローチャートを示す。最適化部７は、情報処理装置の構成情報、仮想マシンの構成情報の取得を行う（Ｓ９０１）。情報処理装置の構成情報、仮想マシンの構成情報は、情報処理装置の配置情報や情報処理装置における仮想マシンの割当情報を含む。最適化部７は、情報処理装置の稼動情報や空調機の消費電力情報を監視する（Ｓ９０２）。情報処理装置の稼動情報は、図３で示した各種リソースの使用量や、各種リソースの使用量に対する消費電力量、各種リソースの使用量に対する消費電力量の関係式（式１）、（式２）を含む。最適化部７は、リソースの逸脱量を計算する（Ｓ９０３）。リソースの逸脱量は、ある特定の１台の情報処理装置上の全ての仮想マシンのリソース使用量を１台分の情報処理装置のリソースの上限値で割って得た情報処理装置のリソース使用率から、クラスタ全体のリソース使用率を減じて得た値の絶対値である。

図１０に情報処理装置Ｉ_１から情報処理装置Ｉ_５のCPU使用率およびクラスタ全体のCPU使用率との関係の一例を示す。クラスタ全体のCPU使用率を２０％とする（Ａ）。図１０に示すように、情報処理装置Ｉ_１のCPU使用率は２０％、情報処理装置Ｉ_２のCPU使用率は４０％、情報処理装置Ｉ_３のCPU使用率は１０％、情報処理装置Ｉ_４のCPU使用率は３０％、情報処理装置Ｉ_５のCPU使用率は１５％である。よってクラスタ全体のCPU使用率と比較すると、情報処理装置Ｉ_１のCPUの逸脱量は０％、情報処理装置Ｉ_２のCPUの逸脱量は２０％、情報処理装置Ｉ_３のCPUの逸脱量は１０％、情報処理装置Ｉ_４のCPUの逸脱量は１０％、情報処理装置Ｉ_５のCPUの逸脱量は５％となる。負荷分散部７１は、情報処理装置Ｉ_ｉのCPUの逸脱量が第１の設定値を超えた場合、負荷分散を行う。図１０では、第１の設定値は１５％と設定され、クラスタ全体のCPU使用率２０％（Ａ）を基準として±１５％の線分で表され、＋１５％の線分を線分Ｂ、−１５％の線分を線分Ｂ’で表される。図１０では情報処理装置Ｉ_２のCPUの逸脱量は２０％であり、第１の設定値（Ｂ）を超えるので、仮想マシンを用いてCPUの逸脱量が少ない、例えば情報処理装置Ｉ_１に負荷を分散する。

最適化部７は、第１の設定値（Ｂ、Ｂ’）より逸脱量が大きい情報処理装置があるか否かを判定する（Ｓ９０４）。第１の設定値（Ｂ、Ｂ’）より逸脱量が大きい情報処理装置Ｉ_ｉがある場合、ステップＳ９０５へ進む。第１の設定値（Ｂ、Ｂ’）より逸脱量が大きい情報処理装置がない場合、ステップＳ９０６へ進む。負荷分散部７１は、図１０において詳述する負荷分散を実施する（Ｓ９０５）。最適化部７は、クラスタ全体のリソース使用率を計算する（Ｓ９０６）。最適化部７は、クラスタ全体のリソース使用率が許容範囲外か否か判定する（Ｓ９０７）。クラスタ全体のリソース使用率が許容範囲外である場合、ステップＳ９０８へ進む。クラスタ全体のリソース使用率が許容範囲外でない場合、ステップＳ９０２に戻る。情報処理装置電源最適化部７２は、情報処理装置の起動・停止候補を探索する（Ｓ９０８）（第１のステップ）。予備冷却情報処理装置決定部７４は、予備冷却する情報処理装置を探索する（Ｓ９０９）（第２のステップ）。全体最適化部７３は、予備冷却する情報処理装置、起動・停止する情報処理装置、空調機の設定温度を探索する（Ｓ９１０）（第３のステップ）。空調制御部８は、空調機の設定温度の変更を実行し、電源制御部５は、情報処理装置起動・停止を実行する（Ｓ９１１）。ステップＳ９０８は、図１２において、ステップＳ９０９は、図１３において、ステップＳ９１０は、図１５において、それぞれ詳述する。

（負荷分散）
図１１に本発明の一実施形態にかかる、負荷分散方法を示すフローチャートを示す。負荷分散部７１は、情報処理装置の稼働情報の取得する（Ｓ１００１）。負荷分散部７１は、クラスタ内のグループにおいて、リソースの逸脱量が第１の設定値を超えている情報処理装置を検索する。負荷分散部７１は、検索された情報処理装置の中から、仮想マシンを１つ抽出する（Ｓ１００２）。負荷分散部７１は、選んだ仮想マシンの移行先としてルールによって許されるすべての情報処理装置の中で、現在の逸脱量が最も小さくなる情報処理装置を抽出する（Ｓ１００３）。負荷分散部７１は、クラスタ内のすべての仮想マシンに対して探索したか否か判定する（Ｓ１００４）。クラスタ内のすべての仮想マシンに対して探索した場合、ステップＳ１００５へ進む。クラスタ内のすべての仮想マシンに対して探索していない場合、ステップＳ１００２に戻る。負荷分散部７１は、現在の逸脱量の最も小さくなるように、仮想マシンを情報処理装置に移行する（Ｓ１００５）。負荷分散部７１は、逸脱量が第１の設定値以下となったか否か判定する（Ｓ１００６）。逸脱量が第１の設定値以下とならなかった場合、ステップＳ１００１に戻る。逸脱量が第１の設定値以下となった場合、負荷分散を終了し、図９に示すステップＳ９０５へ進む。

負荷分散部７１では、クラスタ内の負荷を定期的に監視して、クラスタ内のリソースの逸脱量が均一になるように仮想マシンを移行する。クラスタ内の全ての情報処理装置の逸脱量を計算する。クラスタ内の全ての情報処理装置の逸脱量は、リソースのＣＰＵ、メモリ、ネットワークＩ/Ｏ毎に計算される。負荷分散部７１は、リソースの逸脱量が事前に設定された第１の設定値を超えていないか否か、ＣＰＵ、メモリ、ネットワークＩ/Ｏについてそれぞれ判定する。

事前に決めた第１の設定値以上の逸脱量が存在した場合、クラスタ内の全ての仮想マシンの中で、現在のリソースの逸脱量を最も減少させ、かつルールに違反しない仮想マシンの移行先の情報処理装置を探索する。

負荷分散部７１は、ステップＳ１００１からステップＳ１００５を、リソースの逸脱量が事前に決めた第１の設定値以下になるまで実施する。

負荷分散部７１は、ステップＳ１００１からステップＳ１００６を用いて、情報処理装置の稼働率や情報処理装置のリソースの増減に基づいて、情報処理装置の位置を選択し、仮想マシンをどの情報処理装置に移行させるか決定する。

（情報処理装置の起動・停止候補の探索）
図１２に本発明の一実施形態にかかる、情報処理装置の起動・停止候補の探索方法を示すフローチャートを示す。情報処理装置電源最適化部７２は、クラスタ内の情報処理装置の組み合わせを１つ抽出する（Ｓ１１０１）。情報処理装置電源最適化部７２は、選んだ情報処理装置の組み合わせに対して、負荷分散をさせたときの情報処理装置のクラスタ全体のリソース使用率と逸脱量を計算する（Ｓ１１０２）。情報処理装置電源最適化部７２は、クラスタ全体のリソース使用率が第２の設定値内に収まるか否か判定する（Ｓ１１０３）。クラスタ全体のリソース使用率が第２の設定値内に収まる場合、ステップＳ１１０４へ進む。クラスタ全体のリソース使用率が第２の設定値内に収まらない場合、ステップＳ１１０１に戻る。情報処理装置電源最適化部７２は、すべての情報処理装置の逸脱量が第２の設定値内に収まるか否か判定する（Ｓ１１０４）。すべての情報処理装置の逸脱量が第２の設定値内に収まる場合、ステップＳ１１０５へ進む。情報処理装置の逸脱量が第２の設定値内に収まらない場合、ステップＳ１１０１に戻る。情報処理装置電源最適化部７２は、選んだ情報処理装置の組み合わせで、起動・停止する情報処理装置の候補の組み合わせリストに追加する（Ｓ１１０５）。情報処理装置電源最適化部７２は、全ての情報処理装置の組み合わせを試したか否か判定する（Ｓ１１０６）。ステップＳ１１０６により、情報処理装置の起動・停止候補の探索を終了し、図９に示すステップＳ９０８へ進む。

情報処理装置電源最適化部７２では、クラスタ全体のリソース使用率が第３の設定値（所定の閾値）を超えた時に、起動する情報処理装置の候補を決定する。またクラスタ全体のリソース使用率が第４の設定値を下回った時に、停止する情報処理装置の候補を決定する。

情報処理装置を停止させると判断された場合、クラスタ内の起動している全ての情報処理装置に対して、クラスタ内の起動している全ての情報処理装置内の仮想マシンを他の情報処理装置に移行させて、負荷分散部７１で負荷分散をさせる。情報処理装置電源最適化部７２は、負荷分散をさせた際の、クラスタ全体のリソース使用率およびリソースの逸脱量を計算する。そして情報処理装置のクラスタ全体のリソース使用率が第２の設定値内に収まり（Ｓ１１０３）、かつ、すべての情報処理装置でリソースの逸脱量が第１の設定値を超えない（Ｓ１１０４）、停止情報処理装置の組み合わせをリストアップする（Ｓ１１０５）。

情報処理装置を起動させると判断されたときには、予備冷却している情報処理装置の中で、クラスタ内の停止している全ての情報処理装置に対して、クラスタ内の停止している全ての情報処理装置を起動して負荷分散部７１で負荷分散をさせる。情報処理装置電源最適化部７２は、負荷分散をさせた際の、クラスタ全体のリソース使用率およびリソースの逸脱量を計算する。そして情報処理装置のクラスタ全体のリソース使用率が第２の設定値内に収まり（Ｓ１１０３）、かつ、すべての情報処理装置でリソースの逸脱量が第１の設定値を超えない（Ｓ１１０４）、情報処理装置の組み合わせをリストアップする（Ｓ１１０５）。

もし予備冷却している情報処理装置がない場合は予備冷却している情報処理装置を停止している全ての情報処理装置と読み替える。

情報処理装置電源最適化部７２は、ステップＳ１１０１からステップＳ１１０６を用いて、少なくとも稼動している情報処理装置および稼動していない情報処理装置を含むグループにおいて、稼動している情報処理装置のリソース（第１のハードウェア資源）の使用量から稼動している情報処理装置のリソースの上限値を除算して得た値が所定の閾値を超えた場合、稼動していない情報処理装置を起動する情報処理装置の候補として決定する。

（予備冷却する情報処理装置の検索）
図１３に本発明の一実施形態にかかる、予備冷却する情報処理装置の検索方法を示すフローチャートを示す。予備冷却情報処理装置決定部７４は、グループ毎に予備冷却する情報処理装置の台数情報を取得する（Ｓ１２０１）。予備冷却情報処理装置決定部７４は、情報処理装置の起動・停止候補の情報処理装置の組み合わせのリストの中で１つの組み合わせを選ぶ（Ｓ１２０２）。予備冷却情報処理装置決定部７４は、グループ毎に予備冷却する情報処理装置の台数分だけ、情報処理装置の候補を選ぶ（Ｓ１２０３）。予備冷却情報処理装置決定部７４は、予備冷却する情報処理装置の数が最も小さい組み合わせを保存する（Ｓ１２０４）。予備冷却情報処理装置決定部７４は、全ての情報処理装置の組み合わせを試したか否か判定する（Ｓ１２０５）。全ての情報処理装置の組み合わせを試した場合、ステップＳ１２０６へ進む。全ての情報処理装置の組み合わせを試していない場合、ステップＳ１２０３に戻る。予備冷却情報処理装置決定部７４は、予備冷却する情報処理装置の組み合わせを、起動・停止する情報処理装置と共に予備冷却する情報処理装置、起動・停止する情報処理装置の候補の組み合わせリストに追加する（Ｓ１２０６）。予備冷却情報処理装置決定部７４は、全ての起動・停止する情報処理装置の候補の組み合わせを試したか否かを判定する（Ｓ１２０７）。全ての起動・停止候補ホストの組み合わせを試していない場合、ステップＳ１２０２に戻る。全ての起動・停止候補ホストの組み合わせを試した場合、予備冷却する情報処理装置の検索を終了し、図９に示すステップＳ９０９へ進む。

予備冷却情報処理装置決定部７４では、情報処理装置電源最適化部７２でリストアップされた全ての情報処理装置の組み合わせに対して、予備冷却情報処理装置の候補を検索する。検索する際、情報処理装置グループに対して決まっているルールを考慮して、予備冷却する情報処理装置を決定する。事前にグループ毎に何台もしくはどれくらいのリソースの予備冷却を行うか設定する。予備冷却情報処理装置決定部７４は、グループ毎の予備冷却する情報処理装置の組み合わせを計算して、最も起動する台数が少ない組み合わせのリストを抽出する。

予備冷却情報処理装置決定部７４は、ステップＳ１２０１からステップＳ１２０７を用いて、グループ内で予め決定された台数に基づいて、稼動していない情報処理装置を事前に冷却する情報処理装置の候補として決定する。

図１４に仮想マシングループ毎および情報処理装置グループ毎に予備冷却する最小の情報処理装置の台数が決定される例を示す。図１４では、第１のグループ３１０は、第１の情報処理装置３１１と、第２の情報処理装置３１２と、第３の情報処理装置３１３とを含む。第２のグループ３２０は、第４の情報処理装置３２４と、第５の情報処理装置３２５と、第６の情報処理装置３２６とを含む。第３のグループ３３０は、第２の情報処理装置３１２と、第３の情報処理装置３１３と、第５の情報処理装置３２５と、第６の情報処理装置３２６とを含む。

グループ毎の予備冷却台数と、システム全体としての最少の予備冷却台数との関係を説明する。例えば、図１４の場合、グループ毎に予備冷却する情報処理装置の台数は決まっており、第１のグループ３１０および第２のグループ３２０は１台であり、第３のグループ３３０は２台である。予備冷却台数が最小となる組み合わせとして、第２の情報処理装置３１２と第５の情報処理装置３２５、第３の情報処理装置３１３と第５の情報処理装置３２５、第２の情報処理装置３１２と第６の情報処理装置３２６、第３の情報処理装置３１３と第６の情報処理装置３２６の４つの組み合わせがある。４つの組み合わせの中から、空調機と情報処理装置の消費電力が最小となる組み合わせを総当りで見つける。

（予備冷却する情報処理装置、起動・停止する情報処理装置、および空調機の設定温度の検索）
図１５に本発明の一実施形態にかかる、予備冷却する情報処理装置、起動・停止する情報処理装置、および空調機の設定温度の検索方法を示すフローチャートを示す。全体最適化部７３は、予備冷却する情報処理装置の候補および起動・停止する情報処理装置の候補の組み合わせリストの中から１つ組み合わせを抽出する（Ｓ１３０１）。全体最適化部７３は、起動および予備冷却中の情報処理装置を設定温度にする空調設定の候補を１つ抽出する（Ｓ１３０２）。全体最適化部７３は、空調機の設定温度、予備冷却する情報処理装置の候補、および起動・停止する情報処理装置の候補から空調と情報処理装置全体の消費電力を計算する（Ｓ１３０３）。情報処理装置全体の消費電力を計算する際、各種リソースの使用量に対する消費電力量の関係式（式１）、（式２）が参照される。全体最適化部７３は、全ての空調機の設定温度の組み合わせを試したか否か判定する（Ｓ１３０４）。全ての空調機の設定温度の組み合わせを試した場合、ステップＳ１３０５へ進む。全ての空調機の設定温度の組み合わせを試していない場合、ステップＳ１３０２に戻る。全体最適化部７３は、消費電力が今まで検索した候補の中で最小となれば、予備冷却する情報処理装置、起動・停止する情報処理装置、および空調機の設定温度とする（Ｓ１３０５）。全体最適化部７３は、情報処理装置および空調機の消費電力の合計値が最小となるように、予備冷却する情報処理装置および起動・停止する情報処理装置の位置を決定する。全体最適化部７３は、すべての組み合わせを試したか否か判定する（Ｓ１３０６）。すべての組み合わせを試した場合、ステップＳ１３０５へ進む。すべての組み合わせを試していない場合、ステップＳ１３０１に戻る。全体最適化部７３は、予備冷却する情報処理装置、起動・停止する情報処理装置、空調機の設定温度を決定する（Ｓ１３０７）。ステップＳ１３０７により、予備冷却する情報処理装置、起動・停止する情報処理装置、および空調機の設定温度の検索を終了し、図９に示すステップＳ９１０へ進む。

全体最適化部７３は、予備冷却する情報処理装置と起動する情報処理装置の組み合わせのリストに対して、空調機の消費電力と情報処理装置の消費電力を計算する。また全体最適化部７３は、情報処理装置に決められている上限温度を満たしたまま、空調機の消費電力と情報処理装置の消費電力の合計が最も小さくなる起動情報処理装置と予備冷却情報処理装置、および空調機の設定温度の組み合わせを決定する。

全体最適化部７３で決められた空調設定と起動情報処理装置、移行させる仮想マシンを空調制御部８、電源制御部５、仮想マシン制御部６にそれぞれ指示する。

よって全体最適化部７３は、ステップＳ１３０１からステップＳ１３０７を用いて、情報処理装置全体の消費電力と空調機の消費電力との合計値が最小となるように、起動する情報処理装置の候補および事前に冷却する情報処理装置の候補から事前に冷却して起動させる情報処理装置を決定する。

本実施形態によれば、サービス品質の維持をしながら、システム全体の省電力化を実現することが可能となる。

３ 情報保存部
４ 情報収集部
５ 電源制御部
６ 仮想マシン制御部
７ 最適化部
８ 空調制御部
９ ネットワーク
１１ 仮想マシン管理部
１２、２１ 温度センサ部
１３、２２ 電力センサ部
１４ 情報処理装置管理部
２３ 空調管理部
７１ 負荷分散部
７２ 情報処理装置電源最適化部
７３ 全体最適化部
７４ 予備冷却情報処理装置決定部
１１１、１１２、Ｘ 仮想マシン
２１０、３１０ 第１のグループ
２１１、３１１ 第１の情報処理装置
２１２、３１２ 第２の情報処理装置
２１３、３１３ 第３の情報処理装置
２２０、３２０ 第２のグループ
２２４、３２４ 第４の情報処理装置
２２５、３２５ 第５の情報処理装置
２２６、３２６ 第６の情報処理装置
２３０、３３０ 第３のグループ
２４０ 第４のグループ
２４７ 第７の情報処理装置
２５８ 第８の情報処理装置
１０００ 空調制御システム
Ａ_ｊ 空調機
Ｉ_ｉ 情報処理装置

Claims (2)

1. 情報処理装置および該情報処理装置を冷却する空調機を管理するシステムによる空調制御方法であって、前記情報処理装置は、第１のハードウェア資源を有する第１の情報処理装置と第２のハードウェア資源を有する第２の情報処理装置とを備え、
   少なくとも前記第１の情報処理装置および前記第２の情報処理装置を含むグループにおいて、前記第１のハードウェア資源の使用量から前記第１のハードウェア資源の上限値を除算して得た値が所定の閾値を超えた場合、前記第２の情報処理装置を起動する情報処理装置の候補として決定する第１のステップと、
   予め設定された台数に基づいて、前記第２の情報処理装置を事前に冷却する情報処理装置の候補として決定する第２のステップと、
   前記第１の情報処理装置および前記第２の情報処理装置の消費電力と前記空調機の消費電力との合計値が最小となるように、前記起動する情報処理装置の候補および前記事前に冷却する情報処理装置の候補から事前に冷却して起動させる情報処理装置を決定する第３のステップと
   を備えることを特徴とする空調制御方法。
2. 情報処理装置および該情報処理装置を冷却する空調機を管理する空調制御システムであって、前記情報処理装置は、第１のハードウェア資源を有する第１の情報処理装置と第２のハードウェア資源を有する第２の情報処理装置とを備え、
   少なくとも前記第１の情報処理装置および前記第２の情報処理装置を含むグループにおいて、前記第１のハードウェア資源の使用量から前記第１のハードウェア資源の上限値を除算して得た値が所定の閾値を超えた場合、前記第２の情報処理装置を起動する情報処理装置の候補として決定する第１の決定部と、
   予め設定された台数に基づいて、前記第２の情報処理装置を事前に冷却する情報処理装置の候補として決定する第２の決定部と、
   前記第１の情報処理装置および前記第２の情報処理装置の消費電力と前記空調機の消費電力との合計値が最小となるように、前記起動する情報処理装置の候補および前記事前に冷却する情報処理装置の候補から事前に冷却して起動させる情報処理装置を決定する第３の決定部と
   を備えたことを特徴とする空調制御システム。

Images