JP6149372B2 - モジュール型データセンタとその制御方法 - Google Patents

Description

本発明は、モジュール型データセンタとその制御方法に関する。

高度情報化社会の到来に伴い、データセンタに設置されるサーバ等の電子機器では大量のデータが扱われるようになり、データセンタ全体の消費電力は増加傾向にある。また、一つのラックに実装されるサーバの数が増加していることもこのように消費電力が増大する一因となっている。

消費電力の増大によってサーバの発熱量も増大することになるが、そのサーバを効率的に冷却することにより、冷却に要する電力を抑えてデータセンタ全体の省エネルギ化を実現することができる。

特開２０１０−１７０１８１号公報 特開平１１−２２０２８１号公報 特開２０１２−５９９１９号公報

モジュール型データセンタとその制御方法において、効率的に電子機器を冷却することを目的とする。

以下の開示の一観点によれば、筐体内に設けられ、外気から冷却風を生成するファンユニットと、前記筐体内において前記ファンユニットと対向して設けられ、前記冷却風を吸気して排気流を排気する複数の電子機器を収容した複数のラックと、前記ファンユニットと複数の前記ラックとの間の空間を前記ラックごとに仕切って複数の通風路に分ける複数の仕切部材とを有し、前記ファンユニットは前記排気流の温度のばらつきが低減するように、前記通風路ごとに前記冷却風の風量を調節するモジュール型データセンタが提供される。

更に、その開示の他の観点によれば、筐体内においてファンユニットと前記ファンユニットに対して横並びに配置された複数のラックとを空間を挟んで対向して配置し、前記空間を複数の仕切部材で前記ラックごとに仕切って複数の通風路に分け、前記ファンユニットにより外気から生成された冷却風を前記通風路を介して前記ラック内の複数の電子機器に吸気させるステップと、前記冷却風の吸気によって複数の前記電子機器から排出される排気流の温度のばらつきが低減するように、前記ファンユニットを制御して前記通風路ごとに前記冷却風の風量を調節するステップとを有することを特徴とするモジュール型データセンタの制御方法が提供される。

以下の開示によれば、各通風路を流れる冷却風が混合するのを仕切部材で防止できるので、流通路ごとに冷却風の風量を最適化することができ、各ラックの電子機器を効率的に冷却して排気流の温度のばらつきを低減できる。

図１は、本願発明者が検討したモジュール型データセンタの内部構成を示す斜視図である。 図２は、図１のモジュール型データセンタにおける冷却の困難性を調査して得られたグラフである。 図３は、第１実施形態に係るモジュール型データセンタの内部構成を示す斜視図である。 図４は、第１実施形態で使用する仕切部材の斜視図である。 図５は、第１実施形態で使用する仕切部材の本体を開いた場合の斜視図である。 図６は、第１実施形態に係るモジュール型データセンタが備えるコンテナの内部の上面図である。 図７は、第１実施形態に係るモジュール型データセンタの制御方法について示すフローチャートである。 図８は、第１実施形態で行う片寄せ処理のフローチャートである。 図９は、第２実施形態に係るモジュール型データセンタの内部構成を示す斜視図である。 図１０は、第２実施形態で使用する仕切部材の斜視図である。 図１１は、第２実施形態で使用する仕切部材の本体を開いた場合の斜視図である。 図１２は、第２実施形態に係るモジュール型データセンタが備えるコンテナの内部の側面図である。 図１３は、第２実施形態に係るモジュール型データセンタの制御方法について示すフローチャートである。

本実施形態の説明に先立ち、本願発明者が行った検討結果について説明する。

データセンタの形態には様々なものがあるが、コンテナ内にファンユニットとラックとを収容したデータセンタはモジュール型データセンタと呼ばれる。そのモジュール型データセンタは、コンテナ内の空間のみをファンユニットで冷却すればよいため、冷却効率がよく省エネルギ化に有利である。

図１は、本願発明者が検討したモジュール型データセンタの内部構成を示す斜視図である。

このモジュール型データセンタ１は、筐体の一例であるコンテナ２を備え、その内側にファンユニット３とこれに対向する第１〜第３のラック１１〜１３とが設けられる。

ファンユニット３は、例えば気化式冷凍機であって、コンテナ２の吸気口２ａから外気Aを取り込むためのファン３ａを有する。外気Aが所定の温度よりも高い場合には、気化式冷凍機の機能によって外気Aが冷却されて冷却風Bが生成される。一方、外気Aが所定の温度以下の場合には、気化式冷凍機としての機能を使用せずに、外気Aをそのまま冷却風Bとして利用する。

一方、第１〜第３のラック１１〜１３は、上記の冷却風Bによって空冷されるサーバ等の電子機器５を複数備える。第１〜第３のラック１１〜１３の各々には吸気面４ａと排気面４ｂとが設けられ、吸気面４ａから取り込まれた冷却風Bによって各電子機器５が冷却される。そして、冷却後に暖められた排気流Eは、各ラック１１〜１３の排気面４ｂから排出された後、コンテナ２の排気口２ｂから外部に逃がされる。

なお、吸気面４ａとこれに対向するファンユニット３との間の空間は、冷却風Bが通るコールドアイル１５として供される。また、排気面４ｂとこれに対向する排気口２ｂとの間の空間は、各電子機器５で暖められた排気流Eが通るホットアイル１６として供される。

ホットアイル１６に出た排気流Eの一部は、コンテナ２の天井を伝ってファンユニット３側に流れる。なお、コールドアイル１５の上には天板６が設けられているため、その排気流Eが直接コールドアイル１５に流れ込むことはない。

ファンユニット３の上には、仕切板７と複数のダンパ８とが設けられる。そのダンパ８が開くと排気流Eの一部がファンユニット３の上流側に流れ込み、外気Aと排気流Eとが混合する。高地や冬季では外気Aの温度が低く各電子機器５が過剰冷却になるおそれがあるが、このように外気Aと排気流Eとを混合することで冷却風Bを暖めることができ、電子機器５の過剰冷却を防止できる。

ここで、各電子機器５で処理すべきジョブの種類や数は第１〜第３のラック１１〜１３ごとに異なることがあり、これが原因で各ラック１１〜１３の総負荷がばらついて総発熱量もラック１１〜１３ごとにばらつくことがある。

この場合に各ラック１１〜１３を効率的に冷却するには、複数のファン３ａを個別に制御することで、総発熱量が多いラックに対向するファン３ａの回転数を増大させ、そのラックに供給する冷却風Bの風量を増加させればよいと考えられる。

しかしながら、ファン３ａから出た冷却風Bはコールドアイル１５において拡散してしまうため、ラック１１〜１３に到達したときには冷却風Bが弱まってしまい、その冷却風Bで総発熱量が多いラックを優先的に冷却するのが難しい。

図２は、このような冷却の困難性を調査して得られたグラフである。

そのグラフの縦軸は、第１〜第３のラック１１〜１３の各々の排気面４ｂと吸気面４ｂとの温度差ΔTを示す。また、グラフの横軸は、上記の温度差を測定してからの経過時間を示す。

なお、この調査では、第１〜第３のラック１１〜１３の消費電力をそれぞれ７kW、９kW、５kW、に設定し、温度差ΔTが３℃となるように複数のファン３ａの回転数をPID(Proportional Integral Derivative)でファン３ａごとに個別に制御した。また、コンテナ２の大きさは、幅を２．２m、奥行きを３．３m、高さを２．５mとした。そして、各ラック１１〜１３の大きさは、それぞれ幅を０．７m、奥行きを１m、高さを２mとした。

図２に示すように、測定の初期には、第２のラック１２と第３のラック１３の各々における温度差ΔTは３℃を超えていた。よって、温度差ΔTを低減するために、第２のラック１２と第３のラック１３に対向するファン３ａをその最大出力で回転させた。

しかしながら、ファン３ａから送出された冷却風Bが拡散してしまったため、時間が経過しても第２のラック１２と第３のラック１３の各々の温度差ΔTは目標の３℃以下にはならず、むしろ温度差ΔTが増加してしまっている。

更に、冷却風Bの拡散によって第３のラック１３が過剰冷却の状態となり、第３のラック１３における温度差ΔTは常に３℃を下回ってしまっている。

この結果から、複数のファン３ａの回転数を単に制御するだけでは、複数のラック１１〜１３を効率的に冷却するのが難しいことが明らかとなった。

以下、本実施形態について説明する。

（第１実施形態）
図３は、本実施形態に係るモジュール型データセンタの内部構成を示す斜視図である。

なお、図３において図１で説明したのと同じ要素には図１におけるのと同じ符号を付し、以下ではその説明を省略する。

図３に示すように、本実施形態に係るモジュール型データセンタ２０においては、図１におけるのと同様にコンテナ２内に第１〜第３のラック１１〜１３が互いに間隔をおいて設けられる。

モジュール型データセンタ２０の大きさは特に限定されない。本実施形態では、コンテナ２の幅を２．２m、奥行きを３．３m、高さを２．５mとする。また、第１〜第３のラック１１〜１３の各々の幅を０．７m、奥行きを１m、高さを２mとする。なお、この例ではラックの設置台数を３台としているが、モジュール型データセンタ２０の仕様に応じて任意の台数のラックを設置してもよい。

更に、本実施形態ではコールドアイル１５に複数の仕切部材２１を設け、その仕切部材２１によってコールドアイル１５を複数の通風路２２に分ける。この例では各仕切部材２１が鉛直面に平行に設けられており、その仕切部材２１がラック１１〜１３ごとにコールドアイル１５を仕切ることで、各ラック１１〜１３に一つの通風路２２が割り当てられる。

各々の通風路２２には複数のファン３ａから冷却風Bが供給される。ファン３ａの台数は特に限定されないが、以下では一つの通風路２２に６台のファン３ａを割り当てる。これにより、各通風路２２が仕切部材２１で仕切られた状態では、第１〜第３のラック１１〜１３の各々に対し６台のファン３ａから冷却風Bが供給されることになる。なお、図３では、図が煩雑になるので一つの通風路２２あたり３台のファン３ａのみを図示している。

また、第１〜第３のラック１１〜１３の各々には複数の電子機器５が設けられる。各電子機器５は、例えばラックマウント型のサーバであって、各ラック１１〜１３内に平積みにされる。本実施形態では電子機器５のうちの一台を制御部５ｘとして用い、その制御部５ｘにより複数のファン３ａの回転数をファン３ａごとに個別に調節して、通風路２２ごとに冷却風Bの風量を最適化する。これについては後述の第２実施形態でも同様である。

なお、ラックマウント型のサーバに代えて、ブレード型のサーバを電子機器５として用いてもよい。更に、電子機器５とは別にPLC（Programmable Logic Controller）を設け、そのPLCを制御部５ｘとして用いてもよい。

また、各電子機器５には所定の演算を行うためのCPU(Central Processing Unit)、MPU(Micro Processing Unit)、及びGPU(Graphic Processing Unit)等の演算処理ユニット５ｙが設けられる。

各通風路２２を流れる冷却風Bは、仕切部材２１によって互いに交わるのが防止されるため、本実施形態では各ラック１１〜１３に対して最適な風量の冷却風Bを供給することができる。

仕切部材２１の材料は特に限定されず、樹脂や金属等を材料する板を仕切部材２１として使用し得る。

また、仕切部材２１は、以下のようにコンテナ２内で移動可能とするのが好ましい。

図４は、このように移動可能な仕切部材２１の斜視図である。

図４に示すように、この例に係る仕切部材２１は、本体２３と複数の回動片２４とを備える。

このうち、回動片２４は、ファンユニット３の各面のうち各ラック１１〜１３（図３参照）と対向する表面３ｂに回動軸２１ａを備える。

その回動軸２１ａは、ファン３ａの横において鉛直方向に延在しており、不図示のモータと連結される。そのモータを回転駆動することで、回動軸２１ａを中心にして回動片２４が矢印Xの方向に回動してファン３ａを塞ぐことができる。

一方、本体２３は、各回動片２４と嵌合する複数の切欠部２３ａを備えると共に、不図示のモータによって各ラック１１〜１３側に向いた矢印Yの方向に移動して、隣接するラック間の隙間に収納可能である。

図４の例では、本体２３がファンユニット３に当接して当該本体２３が閉められた状態を示しているが、不図示のモータによって矢印Yの方向に本体２３を移動させて当該本体２３を開いた状態にすることもできる。

図５は、このように本体２４を開いた場合の斜視図である。

この例では、本体２４が矢印Yに沿って各ラック１１〜１３（図３参照）の方向に移動することにより回動片２３と本体２４とが大きく分離し、これらの間を気流Bが流通することができるようになる。

また、図５の例では、二つのファン３ａのうちの一方が回動片２４によって塞がれ、他方のファン３ａは回動片２４で塞がれずに冷却風Bを送風することができる状態となる。なお、本実施形態では、複数の回動片２４の各々を独立に制御することで、複数のファン３ａのうちの任意のファン３ａを回動片２４で塞ぐことができる。

図６は、このモジュール型データセンタ２０が備えるコンテナ２の内部の上面図である。

図６に示すように、ホットアイル１６には第１〜第３の温度センサ３１〜３３が設けられる。

これらのうち、第１〜第３の温度センサ３１〜３３は各ラック１１〜１３の排気面４ｂの温度を測定し、その測定結果を第１〜第３の温度情報S_T1〜S_T3として出力する。

また、ファンユニット３のファン３ａの各々には回転数計と消費電力計とが設けられており、各ファン３ａの実際の回転数と消費電力とを含むセンサ信号S_cがファンユニット３から制御部５ｘに出力される。

制御部５ｘは、上記の第１〜第３の温度情報S_T1〜S_T3とセンサ信号S_cとに基づいて、ファン制御信号S_fと仕切部材制御信号S_pとを生成する。なお、第１〜第３の温度情報S_T1〜S_T3に代えて、各ラック１１〜１３の消費電力や、各ラック１１〜１３における演算処理ユニット５ｙの使用率に基づいてファン制御信号S_fと仕切部材制御信号S_pとを生成してもよい。

各制御信号の内容は特に限定されない。例えば、ファン制御信号S_fは複数のファン３ａの各々の回転数を含み得る。また、仕切部材制御信号S_pは、複数の仕切部材２１の各々に対して出力され、図４に示した本体２３の矢印Yの方向への移動量や、回動片２４の回転量等を含み得る。

次に、本実施形態に係るモジュール型データセンタの制御方法について説明する。

図７は、本実施形態に係るモジュール型データセンタの制御方法について示すフローチャートである。

最初のステップP1では、制御部５ｘが、第１〜第３のラック１１〜１３の全ての電子機器５の使用率とデバイス温度とを収集する。

このうち、使用率は、各電子機器５が備える演算処理ユニット５ｙ（図３参照）の使用率であって、これらの演算処理ユニット５ｙから出力される信号に基づいて制御部５ｘが電子機器５ごとに取得する。

また、デバイス温度は、CPU温度等のような演算処理ユニット５ｙの実温度である。その実温度を含む信号は各演算処理ユニット５ｙから出力され、その信号に基づいて制御部５ｘが電子機器５ごとにデバイス温度を取得する。

次に、ステップP2に移り、制御部５ｘが、上記のデバイス温度のラック１１〜１３ごとの平均値を制御部５ｘが算出する。

次いで、ステップP3に移り、後述の片寄せ処理を行う。片寄せ処理は、各ラック１１〜１３のうちの一部のラックで処理しているジョブを他のラックに移動し、移動元のラックの電源を切ることで省エネルギ化を実現する処理である。その処理内容については後述する。

次に、ステップP4に移り、ファンユニット３が備える複数のファン３ａのなかに故障しているものがあるかどうかを調べる。本ステップは、図６のセンサ信号S_cに基づいて制御部５ｘが行う。既述のようにセンサ信号S_cには各ファン３ａの実際の回転数や消費電力が含まれており、その回転数や消費電力が０のファン３ａは故障していると制御部５ｘは判断することができる。

ここで、故障しているファン３ａがある（YES）と判断した場合にはステップP5に移る。

ステップP5では、上記のセンサ信号S_cに基づいて、複数のファン３ａのうちのどれが故障しているのかを制御部５ｘが特定する。

次いで、ステップP6に移り、制御部５ｘが、故障したファン３ａの横の回動片２４（図４参照）を回動させ、その回動片２４により故障したファン３ａを塞ぐ。

これにより、故障して送風することができないファン３ａを気流が逆流するのを防止して、そのファン３ａを介してコールドアイル１５内の冷気が外部に逃げてしまうのを防止できる。

なお、本ステップは、駆動対象となる回動片２４が含まれる仕切部材２１に対し、制御部５ｘが図５の仕切部材制御信号S_pを出力することで行うことができる。

そして、ステップP10に移り、ステップP6で回動させた回動片２４と共に仕切り部材２１を形成していた本体２３（図４参照）をラック１１〜１３側に移動させることにより本体２３を開く。これにより、故障しているファン３ａに対応する通風路２２とこれに隣接する通風路２２の各々が連絡するようになる。その結果、故障しているファン３ａが担っていた風力を、その隣の通風路２２のファン３ａが補うことができ、ファン３ａの故障による風力の低下が原因で各ラック１１〜１３の冷却効率が低下するのを防止できる。

一方、上記のステップP4において、故障しているファン３ａがない（NO）と判断された場合にはステップP7に移る。

ステップP7では、制御部５ｘが、第１〜第３のラック１１〜１３の各々の代表温度T_r1〜T_r3を算出する。

代表温度T_r1〜T_r3は、第１〜第３のラック１１〜１３の各々の排気面４ｂの温度の目安であって、その算出方法は特に限定されない。例えば、ステップP1で収集した電子機器５の実際のデバイス温度を各ラック１１〜１３ごとに平均した値を代表温度T_r1〜T_r3として採用し得る。

或いは、ステップP1で収集した各電子機器５の実際のデバイス温度のうち、当該ラックにおける最高の温度をそのラックの代表温度としてもよい。

また、第１〜第３の温度情報S_T1〜S_T1（図６参照）を用いて、第１〜第３の温度センサ３１〜３３の各々で測定された温度を代表温度T_r1〜T_r3として採用してもよい。

そして、制御部５ｘが、代表温度T_r1〜T_r3のばらつきΔが所定値ΔT₀以上かどうかを判断する。なお、ばらつきΔは、代表温度T_r1〜T_r3の最大値と最小値との差を言う。また、所定値ΔT₀は、第１〜第３のラック１１〜１３の各々の排気面４ｂの温度が、是正を要する程度にばらついているか否かの目安となる値であって、ユーザによって予め設定される。この例では、所定値ΔT₀を例えば５℃〜１０℃程度とする。

ここで、上記のように代表温度T_r1〜T_r3の算出には電子機器５のデバイス温度や第１〜第３の温度情報S_T1〜S_T1を採用し得るが、デバイス温度は演算処理ユニット５ｙの実温度の変動に高速に追従する。よって、代表温度T_r1〜T_r3の算出にデバイス温度を採用することで、本ステップにおける判断を正確に行うことができる。

なお、上記のばらつきΔと所定値ΔT₀との大小関係の判断と共に、複数のファン３ａの回転数等の設定が、第１〜第３のラック１１〜１３の各々で異なっているかどうかを本ステップP7で制御部５ｘが判断してもよい。

本ステップp7でばらつきΔが所定値ΔT₀以上である（YES）と判断された場合にはステップP8に移る。

この場合は、上記のように第１〜第３のラック１１〜１３の各々の排気面４ｂの温度が是正を要する程度にばらついていることになる。

そこで、ステップP8では、全ての仕切部材２１の本体２３を閉めることにより各通風路２２を画定し、各通風路２２を流れる冷却風B同士が互いに交わらないようにして、冷却風Bの風量を各ラック１１〜１３ごとに最適化する準備をする。なお、本ステップは、制御部５ｘが各仕切部材２１に仕切部材制御信号S_pを出力することで行われる。

また、本ステップの実行前に全ての仕切部材２１が閉められているときは、本ステップは省略してよい。

更に、ステップP7において各ファン３ａの設定を判断した場合であって、各ラック１１〜１３ごとに設定が異なっている（YES）と判断されたときにもステップP8を行う。

次に、ステップP9に移り、複数のラック１１〜１３の各々の代表温度T_r1〜T_r3のばらつきΔが閾値min以下となるように、ファンユニット３が各ファン３ａの回転数を調節して、通風路２２ごとに冷却風Bの風量を調節する。その調節は、例えば、制御部５ｘがファンユニット３に対してファン制御信号S_f（図５参照）を出力することにより行い得る。

これにより、第１〜第３のラック１１〜１３ごとの排気流Eの温度のばらつきが抑制され、これらのラックを効率的に冷却することができる。

なお、閾値minは特に限定されず、ステップP7の所定値ΔT₀と同じ５℃〜１０℃程度の温度を採用し得る。

また、ばらつきΔを閾値min以下にするためのファンユニット３の制御方法としては、例えばPID制御がある。

更に、既述のように、ステップP7においては代表温度T_r1〜T_r3として各電子機器５のデバイス温度のうち当該ラックにおける最高の温度をそのラックの代表温度とする場合もある。この場合は、ばらつきΔを閾値min以下にしながら、代表温度T_r1〜T_r3が電子機器５の動作保障温度を超えないようにファン３ａの風量を調節するのが好ましい。これにより、各ラック１１〜１３の全電子機器５がその動作保障範囲よりも低い温度に保たれるので、高温が原因で電子機器５が故障するのを防止できる。

また、演算処理ユニット５ｙの温度変化が排気流Eの温度に現れるのにはタイムラグが生じるが、演算処理ユニット５ｙの実温度であるデバイス温度を用いて代表温度T_r1〜T_r3を算出することでタイムラグなしにファン３ａの回転数を調節できる。

一方、ステップP7においてばらつきΔが所定値ΔT₀以上ではない（NO）と判断された場合には既述のステップP10に移り、仕切部材２１を形成する本体２３をラック１１〜１３側に移動させる。

また、ステップP7において各ファン３ａの回転数等の設定を判断した場合であって、各ラック１１〜１３ごとに設定が異なっていない（NO）と判断されたときにもステップP10に移る。

なお、ステップP6から移行する場合とは異なり、ステップP7からの移行によりステップP10を行う場合には、一部の本体２３だけでなく全ての本体２３をラック１１〜１３側に移動させてよい。

以上により、本実施形態に係るモジュール型データセンタの制御方法の基本ステップを終了する。

この制御方法によれば、ステップP8で仕切部材２１の本体２３を閉めるため、各通風路２２を流れる冷却風Bが互いに交わるのを防止でき、ステップP9において通風路２２ごとに冷却風Bの風量を個別に調節できる。その結果、第１〜第３のラック１１〜１３の排気流Eの温度差が低減し、これらのラック１１〜１３の中に冷却不足のラックや過剰冷却のラックが発生するのを抑制できる。これにより、ラック１１〜１３の冷却効率が向上し、データセンタ全体の省エネルギ化を実現できる。

次に、本実施形態によりどの程度の省エネルギ化が図られるかについて簡単に計算する。

一例として、第１のラック１１の発熱量が４kW、第２のラック１２の発熱量が８kW、第３のラック１３の発熱量が４kWの場合を考える。この場合は、発熱量が最も多い第２のラック１２を優先的に冷却することになる。

仕切部材２１がない図１の例では、第１〜第３のラック１１〜１３の各々に供給する冷却風Bの風量の比を１：２：１としても、気流の拡散によって各ラックに到達する時点ではその比は１．２：１．６：１．２のように変化する可能性がある。これでは第２のラック１２の冷却が不足するため、全てのファン３ａの出力を一律に２５％だけ上げることで上記の比を１．５：２：１．５とし、第２のラック１２に供給する冷却風Bの比を「２」に維持できる。

一方、本実施形態では冷却風Bが拡散するのを仕切部材２１で防止できるので、各ラックに到達した時点でも冷却風Bの風量の比が１：２：１のままとなり、上記のように全ファン３ａの出力を上げる必要がない。よって、本実施形態では、図１の場合と比較して冷却風Bの総風量が１００×（１+２+１）／（１．５：２：１．５）＝８０％となり、２０％の総風量に相当する電力を削減することができる。

次に、図７のステップP3の片寄せ処理について説明する。

上記のようにモジュール型データセンタ２０には第１〜第３のラック１１〜１３が設けられるが、これらのラックには他のラックと比較して処理すべきジョブが少ないラックがある。この場合には、そのラックの電源を切り、他のラックでジョブを処理した方がモジュール型データセンタ２０の全体の省エネルギ化には有利である。このようなラック間でのジョブの移し替えは片寄せ処理と呼ばれる。

図８は、その片寄せ処理のフローチャートである。

まず、最初のステップP11では、第１〜第３のラック１１〜１３に収容されている全ての電子機器５の使用率の平均値Uを算出する。その平均値は、図６のステップP1で求めた全電子機器５の使用率に基づいて制御部５ｘが算出する。

そして、制御部５ｘが、使用率の平均値Uが第１の基準値U₀₁以下であるかどうかを判断する。第１の基準値U₀₁は、片寄せ処理が可能な程度にまで全ラック１１〜１３の使用率が低下しているかどうかを判断するための目安となる値であって、ユーザによって予め設定される。この例では第１の基準値U₀₁を例えば３０％とする。

ここで、第１の基準値U₀₁以下である（YES）と判断された場合にはステップP12に移る。

ステップP12では、制御部５ｘが、第１〜第３のラック１１〜１３ごとに、複数の電子機器５の使用率の平均値を算出する。以下では、第１〜第３のラック１１〜１３の各々の使用率の平均値をU₁〜U₃で表す。また、使用率の平均値U₁〜U₃は、第１〜第３のラック１１〜１３の使用率の代表値の一例である。

そして、制御部５ｘが、使用率の平均値U₁〜U₃の最小値を求めることにより、第１〜第３のラック１１〜１３のうちで使用率の平均値が最小のラックを特定する。

次に、ステップP13に移り、制御部５ｘが、ステップP12で特定されたラックに新規にジョブを投入するのを中止する。

そして、ステップP14に移り、制御部５ｘの制御下において、ステップP12において使用率の平均値が最小であると特定されたラックで処理していたジョブを、使用率の平均値が最小ではない他のラックに移す。

次いで、ステップP15に移り、制御部５ｘが、使用率の平均値が最小のラックにおける全ての電子機器５の電源を切る。なお、当該ラックに制御部５ｘとして供される電子機器５が含まれる場合には、その電子機器５の電源は切らないで制御部５ｘの機能を維持する。

ここまでのステップにより上記の片寄せ処理が終了する。

なお、この片寄せ処理によって電子機器５の電源が切られたラックではジョブの処理に伴う発熱がないため、そのラックに冷却風Bを送っても無駄である。

そのため、次のステップP16では、電源が切られたラックの両脇の仕切部材２１を閉じることにより、そのラックを隣のラックから隔離する。

その後、ステップP17に移り、電源が切られたラックに冷却風Bを送っていたファン３ａを停止し、無駄な電力消費を抑制する。

このようにファン３ａを停止しても、ステップP16において予め仕切部材２１を閉じているので、電源が切られたラックに向かって冷却風Bが拡散せず、稼働中のラックに冷却風Bを供給することができる。

一方、上記のステップP11において使用率の平均値Uが第１の基準値U₀₁以下ではない（NO）と判断された場合にはステップP18に移る。

ステップP18では、制御部５ｘの制御下において、第１〜第３のラック１１〜１３の中に片寄せ処理によって既に全電子機器５の電源が切られているものがあるかどうかを判断する。

ここで、全電子機器５の電源が切られているラックがない（NO）と判断された場合には片寄せ処理を終了し、電源が切られているラックがある（YES）と判断された場合にはステップP19に移る。

そのステップP19では、制御部５ｘが、第１〜第３のラック１１〜１３に収容されている全ての電子機器５の使用率の平均値Uが、第２の基準値U₀₂以上であるかどうかを判断する。第２の基準値U₀₂は、片寄せ処理で電源が切られているラックの電源を再投入しなければならない程度にジョブ数が増えているかどうかを判断するための目安となる値であって、ユーザによって予め設定される。この例では、第２の基準値U₀₂を例えば５０％とする。

ここで、第２の基準値U₀₂以上ではない（NO）と判断された場合には片寄せ処理を終了し、第２の基準値U₀₂以上である（YES）と判断された場合にはステップP20に移る。

そのステップP20では、第１〜第３のラック１１〜１３のうち、片寄せ処理によって全電子機器５の電源が切られていたラックの電源を再び入れることにより、当該ラックの全電子機器５の電源を入れる。

その後、ステップp21に移り、ステップP20で電源を入れたラックの両脇の仕切部材２１の本体２４（図４参照）を開いた後、ステップP22でそのラックに対向するファン３ａの回転を再開し、当該ラックの冷却を開始する。

なお、冷却を開始したラックに供給する冷却風Bの風量を最適化したい場合には、ステップp21を省いて当該ラックの両脇の仕切部材２１を閉じたままにしてもよい。

以上により、片寄せ処理の基本ステップを終了する。

その片寄せ処理によれば、ステップP15において、第１〜第３のラック１１〜１３のうち使用率の平均値が最小のラックにおける電子機器５の電源を切る。そのラックでは少量のジョブしていないため、このようにジョブを他のラックに移して電源を切ることでモジュール型データセンタ２０の全体の消費電力を抑えることができる。

次に、上記の片寄せ処理と仕切部材２１とを併用することによりどの程度の省エネルギ化が図られるかについて簡単に計算する。

一例として、一台のファン３ａの消費電力が４８Wであるとし、一台のラックに６台のファン３ａで冷却風Bを供給する場合を考える。

この場合、仕切部材２１がない図１の例では、ラック１１〜１３の中に片寄処理によって電源を切ったラックが存在しても、残りのラックへの冷却風Bの風量が低減するのを防止するために全てのファン３ａを回転させ続けなければならない。よって、片寄せ処理の有無に関わらず、図１の例ではファンユニット３の消費電力は８６４W（＝６×３×４８W）となる。

一方、本実施形態では、片寄せ処理をしたラックに対しては、ステップP16で仕切り部材２１を閉じて冷却風Bの拡散を防止した後、ステップP17で冷却風Bの供給を停止する。よって、片寄せ処理によって第１〜第３のラック１１〜１３のうちの２台の電源を切り、これらに冷却風Bを供給していたファン３ａの回転も停止させると、ファンユニット３の消費電力は２８８W（＝６×４８W）となる。このように、片寄せ処理と仕切り部材２１とを併用することで、図１の例と比較して本実施形態では大幅な電力削減を実現できる。

（第２実施形態）
第１実施形態では、図３に示したように、仕切部材２１によってコールドアイル１５をラック１１〜１３ごとに仕切った。

コールドアイル１５を仕切る単位はこれに限定されない。本実施形態では、以下のように仕切部材２１で電子機器５ごとにコールドアイル１５を仕切る。

図９は、本実施形態に係るモジュール型データセンタの内部構成を示す斜視図である。

なお、図９において第１実施形態で説明したのと同じ要素には第１実施形態におけるのと同じ符号を付し、以下ではその説明を省略する。

図９に示すように、本実施形態に係るモジュール型データセンタ４０においては、水平面に平行となるように仕切部材２１を設ける。そして、その仕切部材２１を鉛直方向に互いに間隔おいて複数設けることにより、隣接する仕切部材２１で画定される通風路２２を電子機器５ごとに設ける。

なお、各通風路２２に冷却風Bを供給するファン３ａの個数は特に限定されないが、本実施形態では一つの通風路に一つのファン３ａを割り当てる。

更に、上記の仕切部材２１が設けられるコールドアイル１５には、鉛直面内に平行な複数のパーティション４１がラック１１〜１３ごとに固定される。パーティション４１は、隣接するラック間で冷却風Bが混合するのを防止する役割を担うが、冷却風Bの混合が問題にならない場合にはパーティション４１を省いてもよい。

更に、上記の仕切部材２１は、以下のようにコンテナ２内で移動可能とするのが好ましい。

図１０は、このように移動可能な仕切部材２１の斜視図である。

図１０に示すように、各仕切部材２１は本体２３と回動片２４とを備える。

このうち、回動片２４は、水平方向に延在する回動軸２１ａをファンユニット３の表面３ｂに備える。そして、回動軸２１ａは、ファン３ａの下に位置しており、不図示のモータと連結される。そのモータを回転駆動することで、回動軸２１ａを中心にして回動片２４が矢印Xの方向に回動し、ファン３ａを塞ぐことができる。

一方、本体２３は、回動片２４と嵌合する複数の切欠部２３ａを備えると共に、不図示のモータによって各ラック１１〜１３側に向いた矢印Yの方向に移動して、上下に隣接するラック間の隙間に収納可能である。

図１０の例では、本体２３がファンユニット３に当接して当該本体２３が閉められた状態を示しているが、不図示のモータによって矢印Yの方向に本体２３を移動させて当該本体２３を開いた状態にすることもできる。

図１１は、このように本体２４を開いた場合の斜視図である。

複数の本体２４はそれぞれ独立に制御可能であり、図１１の例では二つの本体２４のうちの一方が矢印Yに沿って各ラック１１〜１３（図９参照）の方向に移動し、他の本体２４は移動せずに閉じた状態となっている。

また、この例では本体２４と分離した回動片２３がファン３ａを塞いでいるが、本体２４の移動と回動片２３の回動とは独立に制御でき、本体２４の移動後にも回動片２３を回動させずにファン３ａで送風を行うこともできる。

図１２は、このモジュール型データセンタ４０が備えるコンテナ２の内部の側面図である。なお、図１２において、第１実施形態の図６で説明したのと同じ要素には図５におけるのと同じ符号を付し、以下ではその説明を省略する。

図１２に示すように、ホットアイル１６には各電子機器５に対応した複数の温度センサ４７が設けられる。その温度センサ４７は、各電子機器５の排気面４ｂの温度を測定し、その測定結果を温度情報S_Tとして出力する。

また、複数の電子機器５のうちの一台は制御部５ｘとして用いられる。なお、電子機器５とは別にPLCを設け、そのPLCを制御部５ｘとして用いてもよい。その制御部５ｘは、温度情報S_Tの各々とセンサ信号S_cとに基づいて、ファン制御信号S_fと仕切部材制御信号S_pとを生成する。

これらの信号のうち、仕切部材制御信号S_pは、複数の仕切部材２１の各々に対して出力され、図１０に示した本体２３の矢印Yの方向への移動量や、回動片２４の回転量等を含み得る。

次に、本実施形態に係るモジュール型データセンタの制御方法について説明する。

図１３は、本実施形態に係るモジュール型データセンタの制御方法について示すフローチャートである。

最初のステップP31では、制御部５ｘが、第１〜第３のラック１１〜１３の全ての電子機器５のデバイス温度を収集する。

デバイス温度は、各電子機器５に設けられる演算処理ユニット５ｙ（図９参照）の実温度である。その実温度を含む信号は各演算処理ユニット５ｙから出力され、その信号に基づいて制御部５ｘが電子機器５ごとにデバイス温度を取得する。

次に、ステップP32に移り、ファンユニット３が備える複数のファン３ａのなかに故障しているものがあるかどうかを調べる。本ステップは、図１２のセンサ信号S_cに基づいて制御部５ｘが行う。第１実施形態で説明したようにセンサ信号S_cには各ファン３ａの実際の回転数や消費電力が含まれており、その回転数や消費電力が０のファン３ａは故障していると制御部５ｘは判断することができる。

ここで、故障しているファン３ａがある（YES）と判断した場合にはステップP34に移る。

ステップP34では、上記のセンサ信号S_cに基づいて、複数のファン３ａのうちのどれが故障しているのかを制御部５ｘが特定する。

次いで、ステップP35に移り、制御部５ｘが、故障したファン３ａの下の回動片２４（図１０参照）を回動させ、その回動片２４により故障したファン３ａを塞ぐ。

これにより、故障して送風することができないファン３ａを気流が逆流するのを防止して、そのファン３ａを介してコールドアイル１５内の冷気が外部に逃げてしまうのを防止できる。

なお、本ステップは、駆動対象となる回動片２４が含まれる仕切部材２１に対し、制御部５ｘが図１２の仕切部材制御信号S_pを出力することで行うことができる。

そして、ステップP36に移り、ステップP35で回動させた回動片２４と共に仕切り部材２１を形成していた本体２３（図１０参照）をラック１１〜１３側に移動させる。これにより、故障しているファン３ａに対応する通風路２２とこれに隣接する通風路２２の各々が連絡するようになる。その結果、故障しているファン３ａが担っていた風力を、その上の通風路２２のファン３ａが補うことができ、ファン３ａの故障による風力の低下が原因で各電子機器５の冷却効率が低下するのを防止できる。

一方、上記のステップP32において故障しているファン３ａがない（NO）と判断された場合にはステップP33に移る。

ステップP33では、制御部５ｘが、第１〜第３のラック１１〜１３の全ての電子機器５の代表温度T_rを算出する。

代表温度T_rは、各電子機器５の後ろの排気面４ｂの温度の目安となる温度であって、電子機器５ごとに算出される。

代表温度T_rの算出方法は特に限定されない。例えば、ステップP31で収集した電子機器５の実際のデバイス温度をその電子機器５の代表温度T_rとして採用し得る。これに代えて、温度情報S_T（図１２参照）を用いて、各電子機器５に対応する温度センサ４７で測定された温度をその電子機器５の代表温度T_rとして採用してもよい。

そして、制御部５ｘが、一つのラックにおける代表温度T_rのばらつきΔが所定値ΔT₀以上かどうかを判断する。なお、本実施形態におけるばらつきΔは、一つのラックでの代表温度T_rの最大値と最小値との差を言う。また、本実施形態における所定値ΔT₀は、一つのラックにおける排気面４ｂの温度が、是正を要する程度にばらついているか否かの目安となる値であって、ユーザによって予め設定される。この例では、所定値ΔT₀を例えば５℃〜１０℃程度とする。

なお、上記のばらつきΔと所定値ΔT₀との大小関係の判断と共に、複数のファン３ａの回転数等の設定が、第１〜第３のラック１１〜１３の各々で異なっているかどうかを本ステップP33で制御部５ｘが判断してもよい。

ここで、ばらつきΔが所定値ΔT₀以上である（YES）と判断された場合にはステップP37に移る。

この場合は、上記のように一つのラックの排気面４ｂの温度が是正を要する程度にばらついていることになる。

そこで、ステップP37においては、全ての仕切部材２１の本体２３を閉めることにより各通風路２２を画定し、各通風路２２を流れる冷却風B同士が互いに交わらないようにして、冷却風Bの風量を電子機器５ごとに最適化する準備をする。なお、本ステップは、制御部５ｘが各仕切部材２１に仕切部材制御信号S_pを出力することで行われる。

また、本ステップの実行前に全ての仕切部材２１が閉められているときは、本ステップは省略してよい。

更に、ステップP33において各ファン３ａの設定を判断した場合であって、各ラック１１〜１３ごとに設定が異なっている（YES）と判断されたときにもステップP37を行う。

次に、ステップP38に移り、一つのラックの全代表温度T_rのばらつきΔが閾値min以下となるように、ファンユニット３が各ファン３ａの回転数を調節して、通風路２２ごとに冷却風Bの風量を調節する。その調節は、例えば、制御部５ｘがファンユニット３に対してファン制御信号S_f（図１２参照）を出力することにより行い得る。

これにより、一つのラックにおける電子機器５ごとの排気流Eの温度のばらつきが抑制され、各電子機器５を効率的に冷却することができる。

なお、閾値minは特に限定されず、ステップP33の所定値ΔT₀と同じ５℃〜１０℃程度の温度を採用し得る。

また、ばらつきΔを閾値min以下にするためのファンユニット３の制御方法としては、例えばPID制御がある。

一方、ステップP33においてばらつきΔが所定値ΔT₀以上ではない（NO）と判断された場合には既述のステップP36に移り、仕切部材２１を形成する本体２３をラック１１〜１３側に移動させる。

また、ステップP33において各ファン３ａの回転数等の設定を判断した場合であって、各ラック１１〜１３ごとに設定が異なっていない（NO）と判断されたときにもステップP36に移る。

なお、ステップP35から移行する場合とは異なり、ステップP33からの移行によりステップP36を行う場合には、一部の本体２３だけでなく全ての本体２３をラック１１〜１３側に移動させてよい。

以上により、本実施形態に係るモジュール型データセンタの制御方法の基本ステップを終了する。

上記した本実施形態によれば、ステップP37で仕切部材２１を閉めるため、各通風路２２を流れる冷却風Bが互いに交わるのを防止でき、ステップP38において通風路２２ごとに冷却風Bの風量を個別に調節できる。よって、一つのラック内における各電子機器５の排気流Eの温度差が低減し、一つのラック内に冷却不足の電子機器５や過剰冷却の電子機器５が発生するのを抑制できる。これにより、各電子機器５の冷却効率が向上してデータセンタ全体の省エネルギ化を実現できる。

以上、各実施形態について詳細に説明したが、各実施形態は上記に限定されない。例えば、コンテナ２（図３、図９参照）の吸気口２ａや排気口２ｂに、コンテナ２内に雨水が浸入するのを防止するためのガラリを設けたり防虫ネットを設けたりしてもよい。

以上説明した各実施形態に関し、更に以下の付記を開示する。

（付記１） 筐体と、
前記筐体内に設けられ、外気から冷却風を生成するファンユニットと、
前記筐体内において前記ファンユニットと対向して設けられ、前記冷却風を吸気して排気流を排気する複数の電子機器を収容した複数のラックと、
前記ファンユニットと複数の前記ラックとの間の空間を複数の通風路に分ける複数の仕切部材とを有し、
前記ファンユニットは、前記排気流の温度のばらつきが低減するように、前記通風路ごとに前記冷却風の風量を調節するモジュール型データセンタ。

（付記２） 前記ファンユニットは複数のファンを備え、
複数の前記ファンのなかに故障しているファンがあるとき、該ファンに対応する前記通風路とこれに隣接する前記通風路との間の前記仕切部材が移動して、前記通風路の各々が連絡するようになることを特徴とする付記１に記載のモジュール型データセンタ。

（付記３） 前記仕切部材は、前記ファンユニットの表面に回動軸を備えた回動片と、前記回動片から分離されて前記ラック側に移動可能な本体とを有し、
複数の前記ファンのなかに故障しているファンがあるとき、前記回動片が回動して該ファンを塞ぎ、前記本体が前記ラック側に移動することを特徴とする付記２に記載のモジュール型データセンタ。

（付記４） 前記仕切部材は、前記ラックごとに前記空間を仕切ることを特徴とする付記１乃至付記３のいずれかに記載のモジュール型データセンタ。

（付記５） 前記ファンユニットは、複数の前記ラックの各々の代表温度のばらつきが閾値以下となるように前記風量を調節することを特徴とする付記４に記載のモジュール型データセンタ。

（付記６） 複数の前記電子機器の各々は演算処理ユニットを備え、
前記ラックの前記代表温度は、該ラックにおける複数の前記演算処理ユニットの温度のうちの最高の温度であって、
前記ファンユニットは、各々の前記ラックの前記代表温度が前記電子機器の動作保障温度を超えないように前記風量を調節することを特徴とする付記５に記載のモジュール型データセンタ。

（付記７） 前記仕切部材は、前記電子機器ごとに前記空間を仕切ることを特徴とする付記１乃至付記３のいずれかに記載のモジュール型データセンタ。

（付記８） 前記ファンユニットは、複数の前記計算機の各々の代表温度のばらつきが閾値以下となるように前記風量を調節することを特徴とする付記７に記載のモジュール型データセンタ。

（付記９） ファンユニットとこれに対向する複数のラックとの間の筐体内の空間を複数の仕切部材で複数の通風路に分けて、前記ファンユニットにより外気から生成された冷却風を前記通風路を介して前記ラック内の複数の電子機器に吸気させるステップと、
前記冷却風の吸気によって複数の前記電子機器から排出される排気流の温度のばらつきが低減するように、前記ファンユニットを制御して前記通風路ごとに前記冷却風の風量を調節するステップと、
を有するモジュール型データセンタの制御方法。

（付記１０） 前記ファンユニットは複数のファンを備え、
複数の前記ファンのなかに故障しているファンがあるとき、該ファンに対応する通風路とこれに隣接する通風路との間の前記仕切部材が移動して、前記通風路の各々が連絡するステップを更に有することを特徴とする付記９に記載のモジュール型データセンタの制御方法。

（付記１１） 複数の前記ラックごとに、該ラックの使用率の代表値を取得するステップと、
複数の前記ラックのうち、前記代表値が最小の前記ラックで処理していたジョブを、前記代表値が最小ではない他の前記ラックに移すステップと、
前記ジョブの前記移動の後、前記代表値が最小の前記ラックにおける複数の前記電子機器の電源を切るステップとを更に有することを特徴とする付記１０に記載のモジュール型データセンタの制御方法。

（付記１２） 前記ファンユニットが、複数の前記ラックの各々の代表温度のばらつきが閾値以下となるように前記風量を調節するステップを更に有することを特徴とする付記１１に記載のモジュール型データセンタの制御方法。

１、２０、４０…モジュール型データセンタ、２…コンテナ、２ａ…吸気口、２ｂ…排気口、３…ファンユニット、３ａ…ファン、３ｂ…表面、４ａ…吸気面、４ｂ…排気面、５…電子機器、５ｘ…制御部、５ｙ…演算処理ユニット、７…仕切板、８…ダンパ、１１〜１３…第１〜第３のラック、１５…コールドアイル、１６…ホットアイル、２１…仕切部材、２１ａ…回動軸、２２…通風路、２３…本体、２４…回動片、２３ａ…切欠部、３１〜３３…第１〜第３の温度センサ、４１…パーティション、４７…温度センサ。

Claims (4)

1. 筐体内に設けられ、外気から冷却風を生成するファンユニットと、
   前記筐体内において前記ファンユニットと対向して設けられ、前記冷却風を吸気して排気流を排気する複数の電子機器を収容した複数のラックと、
   前記ファンユニットと複数の前記ラックとの間の空間を前記ラックごとに仕切って複数の通風路に分ける複数の仕切部材とを有し、
   前記ファンユニットは前記排気流の温度のばらつきが低減するように、前記通風路ごとに前記冷却風の風量を調節することを特徴とするモジュール型データセンタ。
2. 前記ファンユニットは複数のファンを備え、
   複数の前記ファンのなかに故障しているファンがあるとき、該ファンに対応する前記通風路とこれに隣接する前記通風路との間の前記仕切部材が移動して、前記通風路の各々が連絡するようになることを特徴とする請求項１に記載のモジュール型データセンタ。
3. 前記ファンユニットは、複数の前記ラックの各々の代表温度のばらつきが閾値以下となるように前記風量を調節することを特徴とする請求項１又は２に記載のモジュール型データセンタ。
4. 筐体内においてファンユニットと前記ファンユニットに対して横並びに配置された複数のラックとを空間を挟んで対向して配置し、前記空間を複数の仕切部材で前記ラックごとに仕切って複数の通風路に分け、前記ファンユニットにより外気から生成された冷却風を前記通風路を介して前記ラック内の複数の電子機器に吸気させるステップと、
   前記冷却風の吸気によって複数の前記電子機器から排出される排気流の温度のばらつきが低減するように、前記ファンユニットを制御して前記通風路ごとに前記冷却風の風量を調節するステップと、
   を有することを特徴とするモジュール型データセンタの制御方法。

Images