JP2011082799A - 省電力化システム、省電力化方法、及び省電力化用プログラム - Google Patents

省電力化システム、省電力化方法、及び省電力化用プログラム Download PDF

Info

Publication number
JP2011082799A
JP2011082799A JP2009233366A JP2009233366A JP2011082799A JP 2011082799 A JP2011082799 A JP 2011082799A JP 2009233366 A JP2009233366 A JP 2009233366A JP 2009233366 A JP2009233366 A JP 2009233366A JP 2011082799 A JP2011082799 A JP 2011082799A
Authority
JP
Japan
Prior art keywords
server
rack
management unit
power saving
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009233366A
Other languages
English (en)
Other versions
JP5435399B2 (ja
Inventor
Takahiko Murakami
貴彦 村上
Junichi Yamato
純一 大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009233366A priority Critical patent/JP5435399B2/ja
Priority to EP10821987.4A priority patent/EP2487837A4/en
Priority to CN201080045377.9A priority patent/CN102549973B/zh
Priority to US13/499,903 priority patent/US20120204051A1/en
Priority to PCT/JP2010/067414 priority patent/WO2011043317A1/ja
Publication of JP2011082799A publication Critical patent/JP2011082799A/ja
Application granted granted Critical
Publication of JP5435399B2 publication Critical patent/JP5435399B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/10Current supply arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • G06F9/5088Techniques for rebalancing the load in a distributed system involving task migration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/38Flow based routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/12Arrangements for remote connection or disconnection of substations or of equipment thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Power Sources (AREA)
  • Small-Scale Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

【課題】サーバルーム内の不用になった機器や室内設備を停止し、省電力化を実現する。
【解決手段】サービスを提供する仮想マシン(VM)の片寄を行い、サーバルーム内のラック群のうち、所定のラック内のサーバに処理を集中させ、稼働中のサーバがなくなったラックを停止し、当該ラック又はその周辺を対象にした室内設備の処理も停止、或いは、調節し、省電力化を図る。
【選択図】図1

Description

本発明は、省電力化システムに関し、特に仮想ネットワーク環境における省電力化システムに関する。
近年、ネットワークと仮想マシン(VM:Virtual Machine)を連動して柔軟なクラウド・コンピューティングを実現し、インフラを構築したシステムが利用されている。仮想マシンは、アプリケーションプログラムを実行することで、ネットワークを介して様々なサービスをユーザに提供する。
しかし、このような仮想マシンの多くは、企業等の組織が有するサーバルーム内のラック群に搭載された複数の物理サーバ上で稼動している。そのため、少なくない数のサーバやスイッチ、及びサーバルームの室内設備を常に稼動し続ける必要があり、それに伴う消費電力量やリソース消費量も膨大なものとなっていた。
現状では、サーバやスイッチ、及びサーバルームの室内設備のような仮想マシンの稼動に必要な機器に対する電力供給は、機器の使用状態に関係なく実施されている。また、電力供給を停止する方法としては、機器が不使用状態になったことを確認した上で、人間の手により物理的に機器を停止させるしかなかった。
そこで、効率的な省電力化を実現するために、コンピュータとネットワークを連携し、負荷に応じて仮想マシンを少数のサーバに集約し、機器の使用状態に応じて、機器に対する電力供給を制御する手法が求められる。
関連する技術として、特開2009−169858号公報(特許文献1)にサーバシステム、及びサーバシステムの電力削減方法が開示されている。特許文献1には、仮想マシンのマイグレーション(migration)によって稼動するサーバ数を削減し、消費電力を削減するサーバシステムが記載されている。また、サーバの消費電力が最大電力に達した場合、仮想マシンを他のサーバに移動する技術が記載されている。なお、マイグレーションとは、プログラムやデータの移行・変換作業のことであり、特に、OS等の環境が異なるシステムへの移行を指すことが多い。
また、特開2009−176033号公報(特許文献2)にストレージシステム及びその消費電力削減方法が開示されている。特許文献2には、仮想マシンである仮想サーバをマイグレーションすることで稼動するサーバ数を削減し、消費電力を削減するストレージシステムが記載されている。また、仮想サーバによるネットワークインタフェース、ストレージインタフェース、制御装置に使用頻度を監視し、時間帯毎に統計情報を作成し、仮想サーバの稼動率を決定する技術が記載されている。
また、特開2003−281008号公報(特許文献3)にサーバ計算機負荷分配装置、サーバ計算機負荷分配方法、サーバ計算機負荷分配プログラム及びサーバ計算機システムが開示されている。特許文献3には、インフラ、データセンタ、ワークステーション、ラック、ブレード単位で電力制御し、不要な電力消費を抑えるための技術が記載されている。
また、特開2009−181571号公報(特許文献4)に大規模データセンターまたはITインフラにおけるエネルギー消費の確定及び動的制御方法が開示されている。特許文献4には、サーバへのデータ要求量に対して、サーバシステムのデータ供給可能量が最適な大きさとなるように、最適な数のサーバのみを稼動させるシステムが記載されている。
特開2009−169858号公報 特開2009−176033号公報 特開2003−281008号公報 特開2009−181571号公報
本発明の目的は、コンピュータとネットワークを連携させた負荷判断及び省電力化を行う省電力化システムを提供することである。
本発明の省電力化システムは、管理装置と、コントローラとを具備する。管理装置は、複数のサーバ上でそれぞれ稼動する仮想マシンにより提供されるサービスの通信情報を監視し、通信情報から求められた仮想マシン毎のサービス負荷を基に、仮想マシンを他のサーバ上へ移動させ、稼動する仮想マシンが存在しなくなったサーバを未稼動状態にする。コントローラは、サービスの通信パケットの転送を行うスイッチに対してフロー単位の経路情報を設定する。また、コントローラは、仮想マシンの移動に従ってスイッチに対して設定した経路情報を変更する。
本発明の省電力化方法は、コンピュータにより実施される省電力化方法である。この省電力化方法では、複数のサーバ上でそれぞれ稼動する仮想マシンにより提供されるサービスの通信情報を監視する。また、通信情報から求められた仮想マシン毎のサービス負荷を基に、仮想マシンを他のサーバ上へ移動させ、稼動する仮想マシンが存在しなくなったサーバを未稼動状態にする。また、サービスの通信パケットの転送を行うスイッチに対してフロー単位の経路情報を設定する。また、仮想マシンの移動に従ってスイッチに対して設定した経路情報を変更する。
本発明の省電力化用プログラムは、以下のステップをコンピュータに実行させるためのプログラムである。第1のステップとして、複数のサーバ上でそれぞれ稼動する仮想マシンにより提供されるサービスの通信情報を監視する。第2のステップとして、通信情報から求められた仮想マシン毎のサービス負荷を基に、仮想マシンを他のサーバ上へ移動させ、稼動する仮想マシンが存在しなくなったサーバを未稼動状態にする。第3のステップとして、サービスの通信パケットの転送を行うスイッチに対してフロー単位の経路情報を設定する。第4のステップとして、仮想マシンの移動に従ってスイッチに対して設定した経路情報を変更する。
サービスを提供する仮想マシン(VM)の片寄を行い、稼働中の仮想マシンが存在しなくなったサーバを未稼働状態にすることで、省電力化を図る。また、仮想マシンの移動により、ラック群のうち所定のラック内のサーバに仮想マシンを集中させることで、サービスの提供に必要な機器や設備を削減し、不用になった機器や設備を停止することで、省電力化を実現することができる。
本発明の省電力化システムの構成例を示すブロック図である。 サービスの基本処理を示すシーケンス図である。 フローの定義情報を設定した後の情報の収集及び構成変更の契機を示すシーケンス図である。 稼動リソース最適化処理を示すフローチャートである。 移動先サーバの決定処理を示すフローチャートである。 稼動処理を示すフローチャートである。 停止処理を示すフローチャートである。
以下に、本発明の実施形態について添付図面を参照して説明する。
<基本構成>
図1に示すように、本発明の省電力化システムは、サーバルーム10と、管理装置20とを含む。
サーバルーム10は、企業等の組織内において多数のサーバを収容するための部屋である。なお、サーバルームは一例に過ぎない。実際には、本発明の要旨を逸脱しない範囲で、サーバルームと類似の環境をサーバルーム10としても良い。管理装置20は、サーバルーム10内の環境を管理するための装置であり、サーバルーム10内の各種の設備や機器とネットワークを介して接続されている。なお、管理装置20は、1台で複数のサーバルーム10を管理対象としていても良い。反対に、管理装置20は、複数台で1つのサーバルーム10を管理対象としていても良い。ここでは、説明の簡略化のため、1台の管理装置20が、サーバルーム10を1部屋だけ管理する事例について説明する。
サーバルーム10は、室内設備11と、ラック12(12−i、i=1〜n:nは任意)を備える。
室内設備11は、空調設備111と、照明設備112と、電源設備113を備える。
空調設備111は、サーバルーム内の空調機全般である。この空調設備111は、ネットワークを介して受信した信号やコマンドに応じて、空調制御を実施したり、空調制御を停止したり、設定温度/風力/対象範囲を調節したりする。ここでは、空調設備111は、室内全体の空調を担当する空調機、ラックの近傍あるいはラック自体に設置された空調機を含む。なお、空調機1つにつき冷却されるラックの集合を、その空調機の「空調グループ」と呼ぶ。すなわち、1つの空調機は、その空調機の空調グループに属するラックを冷却する。空調設備111の例として、AHU(Air Handling Unit:エアハンドリングユニット)、局所冷却装置(High heat density cooling system)、熱交換器、エアコン、送風ファン等が考えられる。また、空調設備111は、水冷式の冷却機構(水冷システム)でも良い。本質的に同じだからである。但し、実際には、これらの例に限定されない。
照明設備112は、サーバルーム内の照明器具全般である。この照明設備112は、ネットワークを介して受信した信号やコマンドに応じて、特定の場所を明るくしたり、暗くしたりする。ここでは、照明設備112は、室内全体を照らす照明器具、ラックの近傍あるいはラック自体に設置された照明器具を含む。なお、照明器具1つにつき照らされるラックの集合を、その照明器具の「照明グループ」と呼ぶ。すなわち、1つの照明器具は、その照明器具の照明グループに属するラックを照らす。照明設備112の例として、蛍光灯、蛍光ランプ、LED(Light Emitting Diode:発光ダイオード)照明、電球等が考えられる。但し、実際には、これらの例に限定されない。
電源設備113は、サーバルーム内の電源装置全般である。この電源設備113は、ネットワークを介して受信した信号やコマンドに応じて、電力供給を実施したり、電力供給を停止したり、供給される電力量を調節したりする。ここでは、電源設備113は、サーバーや各種ネットワーク機器に電力を供給(配電)するための電源装置、空調設備に電力を供給(配電)するための電源装置、照明設備に電力を供給(配電)するための電源装置を含む。なお、電源装置1つにより配電されるラックの集合を、その電源装置の「電源グループ」と呼ぶ。すなわち、1つの電源装置は、その電源装置の電源グループに属するラックに配電する。電源設備113の例として、インテリジェントPDU(Power Distribution Unit:ラック用電源タップ)、UPS(Uninterruptible Power Supply:無停電電源装置)等が考えられる。但し、実際には、これらの例に限定されない。
ラック12(12−i、i=1〜n)は、IDC(Internet Data Center:インターネットデータセンター)等に設置されている、ラックマウント型サーバ(ラックサーバ)を効率的に設置できる形状の電子機器収納専用ラックである。なお、1つのラックに収納される電子機器の集合を、そのラックの「ラックグループ」と呼ぶ。すなわち、1つのラックは、そのラックのラックグループに属する電子機器を収納する。
ラック12(12−i、i=1〜n)の各々は、OFS(Open Flow Switch)121(121−i、i=1〜x:xは任意)と、サーバ122(122−i、i=1〜y:yは任意)と、ストレージ123(123−i、i=1〜z:zは任意)を備える。なお、ラック内の構成(例えば、サーバの台数)は、ラック毎に異なっていても良い。
OFS121(121−i、i=1〜x)は、物理スイッチであり、ラック内に少なくとも1台は存在する。同一ラック内のサーバ122(122−i、i=1〜y)は、同一ラック内のOFS121(121−i、i=1〜x)に接続される。ラック間の接続は、ラック内のOFSと、他のラック内のOFSを接続することで行う。なお、OFS121(121−i、i=1〜x)は、冗長経路を作る場合には2台以上存在する。この場合、サーバ122(122−i、i=1〜y)の各々は、異なる2台以上のOFS121(121−i、i=1〜x)と接続される。OFS121(121−i、i=1〜x)の例として、ラックに搭載されるエッジルータ(Edge Router)を想定している。なお、ラック内に限らず、サーバルーム10と管理装置20の間にも、OFSが存在している場合がある。但し、実際には、これらの例に限定されない。
サーバ122(122−i、i=1〜y)は、物理サーバであり、ラック内に少なくとも1台は存在する。サーバ122(122−i、i=1〜y)の例として、ラックマウント型サーバを想定している。但し、実際には、これらの例に限定されない。
サーバ122(122−i、i=1〜y)の各々は、仮想マシン(VM)1221(1221−i、i=1〜k:kは任意)と、仮想マシンモニタ(VMM:Virtual Machine Monitor)1222を備える。
仮想マシン1221(1221−i、i=1〜k)は、論理サーバであり、サーバ122(122−i、i=1〜y)上で稼動し、サービスを提供する。サービスとは、Webサービス等、ネットワークを介してユーザマシンから要求され、アプリケーションプログラムにより実行される処理である。複数のサーバ(論理サーバを含む)で同一のサービスを提供する場合もある。仮想マシン1221(1221−i、i=1〜k)が使用するディスクイメージは、共有ディスク(Shared Disk)に格納される。この共有ディスクは、サーバ122(122−i、i=1〜y)の各々が備えていても良いし、ストレージ123(123−i、i=1〜z)やOFS121(121−i、i=1〜x)、又はサーバルーム10内の全ラックに共通の記憶装置、或いは管理装置20が備えていても良い。仮想マシン1221(1221−i、i=1〜k)には、それぞれMACアドレス(Media Access Control address)やIPアドレス(Internet Protocol Address)が割り当てられている。このMACアドレスは、仮想MACアドレスであり、任意に設定することができる。同様に、このIPアドレスは、仮想IPアドレスであり、任意に設定することができる。なお、同一のサーバ122(122−i、i=1〜y)内や、各サーバ122(122−i、i=1〜y)間を、仮想マシン1221(1221−i、i=1〜k)が移動しても、仮想マシン1221(1221−i、i=1〜k)のMACアドレスやIPアドレスは変わらない。
仮想マシンモニタ1222は、仮想マシン1221(1221−i、i=1〜k)の生成・稼動・移動・停止・削除を監視し管理する。また、仮想マシンモニタ1222は、仮想マシン1221(1221−i、i=1〜k)のメモリー管理を行う。すなわち、仮想マシンモニタ1222は、仮想マシン1221(1221−i、i=1〜k)で使用されるデータやプログラムをストレージ123(123−i、i=1〜z)に格納したり取り出したりする。更に、仮想マシンモニタ1222は、他の仮想マシンモニタとの間で通信することが可能である。仮想マシン1221(1221−i、i=1〜k)のMACアドレスやIPアドレスで外部から直接通信できる。なお、仮想マシンモニタ1222は、サーバ内外の仮想マシン間をブリッジ接続する仮想スイッチとしての機能を持つ。
ストレージ123(123−i、i=1〜z)は、データやプログラムを格納する補助記憶装置である。ストレージ123(123−i、i=1〜z)は、必ずしもラック内になくても良い。ストレージ123(123−i、i=1〜z)の例として、HDD(Hard Disk Drive)やSSD(Solid State Drive)等が考えられる。また、ストレージ123(123−i、i=1〜z)は、コンピュータ本体に内蔵された記憶装置に限らず、周辺機器(外付けHDD等)や外部のサーバ(ストレージサーバ等)に設置された記憶装置でも良い。例えば、ストレージ123(123−i、i=1〜z)は、DAS(Direct Attached Storage)、FC−SAN(Fibre Channel − Storage Area Network)、NAS(Network Attached Storage)、IP−SAN(IP − Storage Area Network)でも良い。すなわち、ストレージ123(123−i、i=1〜z)は、ラック内になくても良い。但し、実際には、これらの例に限定されない。
管理装置20は、統合管理部21と、設備管理部22と、OFC(Open Flow Controller)23と、サービス管理部24と、サーバ管理部25と、ストレージ管理部26と、仮想マシン管理部27を備える。
統合管理部21は、設備管理部22、OFC23、サービス管理部24、サーバ管理部25、ストレージ管理部26、及び仮想マシン管理部27を総合的に管理する。統合管理部21は、これらの管理のために、予め必要な設定情報を保持している。また、統合管理部21は、必要に応じて、設備管理部22、OFC23、サービス管理部24、サーバ管理部25、ストレージ管理部26、及び仮想マシン管理部27を介して、室内設備11、OFS121(121−i、i=1〜x)、サーバ122(122−i、i=1〜y)、及びストレージ123(123−i、i=1〜z)に関する情報を収集し、収集された情報を編集して保持する。更に、統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示(命令を通知)して、サービスを提供する仮想マシン1221(1221−i、i=1〜k)をマイグレーションすることで、所定のサーバ122(122−i、i=1〜y)に片寄せるようにしても良い。
設備管理部22は、空調管理部221と、照明管理部222と、電源管理部223を備える。
空調管理部221は、指定された空調IDの空調設備111の起動或いは停止、又は調節を行う。ここでは、空調管理部221は、ネットワークを介して空調設備111に信号やコマンドを送信し、空調設備111による冷却を開始/停止したり、冷却の程度(設定温度、風力、対象範囲、稼動設備の数、等)を調節したりする。
照明管理部222は、指定された照明IDの照明設備112の起動或いは停止、又は調節を行う。ここでは、照明管理部222は、ネットワークを介して照明設備112に信号やコマンドを送信し、照明設備112を点灯/消灯したり、照明の程度(輝度、光度、対象範囲、稼動設備の数、等)を調節したりする。
電源管理部223は、指定された電源IDの電源設備113の起動或いは停止、又は調節を行う。ここでは、電源管理部223は、ネットワークを介して電源設備113に信号やコマンドを送信し、電源設備113による電力の供給(配電)を開始/停止したり、電力の供給(配電)の程度(供給電力、対象範囲、稼動設備の数、等)を調節したりする。
OFC23は、オープンフロー(Open Flow)技術により、システム内の通信を制御するコントローラである。オープンフロー技術とは、コントローラ(ここではOFC23)が、ルーティングポリシーとして自身に設定されたフロー定義情報(フロー:ルール+アクション)に従い、マルチレイヤ及びフロー単位の経路情報(フローテーブル)をスイッチに設定し、経路制御やノード制御を行う技術を示す。これにより、経路制御機能がルータやスイッチから分離され、コントローラによる集中制御によって最適なルーティング、トラフィック管理が可能となる。オープンフロー技術が適用されるスイッチは、従来のルータやスイッチのようにパケットやフレームの単位ではなく、END2END(End to End)のフローとして通信を取り扱う。詳細には、OFC23は、スイッチやノード毎にフロー(ルール+アクション)を設定することで当該スイッチやノードの動作(例えばパケットデータの中継動作)を制御する。ここで、OFC23によって制御されるスイッチは、OFS121(121−i、i=1〜x)や、仮想マシン1221(1221−i、i=1〜k)が機能として持つ仮想スイッチ等に例示され、OFC23によって制御されるノードは、サーバ122(122−i、i=1〜y)、仮想マシン1221(1221−i、i=1〜k)、仮想マシンモニタ1222、ストレージ123(123−i、i=1〜z)等に例示される。すなわち、OFC23は、OFS121(121−i、i=1〜x)、サーバ122(122−i、i=1〜y)、ストレージ123(123−i、i=1〜z)の各々をノードとみなしてノード管理を行う。例えば、OFC23は、各ノードの負荷監視や、指定されたスイッチIDのOFS121(121−i、i=1〜x)の起動及び停止を行う。なお、停止には、ハードウェアのシャットダウンに限らず、スタンバイやスリープ、休止状態等の省電力モードへの移行を含むものとする。
サービス管理部24は、サービスの論理構成・物理構成の管理を行う。サービスは、当該サービスを提供するためのアプリケーションプログラムを実行している仮想マシン1221(1221−i、i=1〜k)により提供される。また、サービス管理部24は、サービス毎の負荷監視を行う。例えば、サービス管理部24は、OFC23からフロー数を収集する。
サーバ管理部25は、サーバ122(122−i、i=1〜y)の動作や負荷の監視を行う。また、サーバ管理部25は、指定されたサーバIDのサーバ122(122−i、i=1〜y)の起動及び停止を行う。なお、停止には、ハードウェアのシャットダウンに限らず、スタンバイやスリープ、休止状態等の省電力モードへの移行を含むものとする。
ストレージ管理部26は、ストレージ123(123−i、i=1〜z)のアクセスコントロールを行う。アクセスコントロールには、FC(Fibre Channel)スイッチ等によるゾーニング(zoning)を含む。ゾーニングとは、FCスイッチが提供する応用的な機能の一つで、デバイスやポート毎に「Read/Write可」、「Read only」、「不可視」といったアクセス制御を提供する機能である。
仮想マシン管理部27は、各サーバ122(122−i、i=1〜y)上の仮想マシンモニタ1222の管理やマイグレーションを行う。仮想マシン管理部27は、仮想マシンモニタ1222の情報を保持する。また、仮想マシン管理部27は、仮想マシンモニタ1222上で動作する仮想マシン1221(1221−i、i=1〜k)及び仮想スイッチの情報を保持したり、仮想マシンモニタ1222から適宜入手したりする。
ここでは、管理装置20の例として、PC(パソコン)、シンクライアントサーバ、ワークステーション、メインフレーム、スーパーコンピュータ等の計算機を想定している。
この場合、統合管理部21、設備管理部22、OFC22、サービス管理部24、サーバ管理部25、ストレージ管理部26、及び仮想マシン管理部27は、プログラムで駆動される処理装置等のハードウェアと、そのハードウェアを駆動して所望の処理を実行するソフトウェアと、そのソフトウェアや各種データを格納する記憶装置と、ネットワークを介して外部と通信するためのネットワークインタフェースによって実現される。
処理装置の例として、CPU(Central Processing Unit)、マイクロプロセッサ(microprocessor)、マイクロコントローラ、或いは、同様の機能を有する半導体集積回路(Integrated Circuit(IC))等が考えられる。但し、実際には、これらの例に限定されない。
記憶装置の例として、RAM(Random Access Memory)、ROM(Read Only Memory)、EEPROM(Electrically Erasable and Programmable Read Only Memory)やフラッシュメモリ等の半導体記憶装置、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置、又は、DVD(Digital Versatile Disk)やメモリカード等の記憶媒体(メディア)等が考えられる。但し、実際には、これらの例に限定されない。
ネットワークインタフェースの例として、NIC(Network Interface Card)等のネットワークアダプタや、アンテナ等の通信装置、接続口(コネクタ)等の通信ポート等が考えられる。また、ネットワークの例として、インターネット、LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)、バックボーン(Backbone)、ケーブルテレビ(CATV)回線、固定電話網、携帯電話網、WiMAX、3G(第3世代携帯電話)、専用線(lease line)、IrDA(Infrared Data Association)、Bluetooth(登録商標)、シリアル通信回線、データバス等が考えられる。但し、実際には、これらの例に限定されない。
なお、統合管理部21、設備管理部22、OFC22、サービス管理部24、サーバ管理部25、ストレージ管理部26、及び仮想マシン管理部27は、それぞれ独立した計算機でも良い。
<サービスとフローの関係>
仮想マシン1221(1221−i、i=1〜k)にサービスを要求するために、ユーザマシンがサーバに接続する毎にフローが発生する。すなわち、フローは、コネクションに相当する。フローは、TCP/IP(Transmission Control Protocol/Internet Protocol)パケットのアドレス領域のうち、デスティネーションアドレス(Destination Address:宛先アドレス)、ソースアドレス(Source Address:送信元アドレス)、デスティネーションポート番号、ソースポート番号のいずれか又は全てを用いた様々な組み合わせにより定義され、区別可能である。なお、上記のアドレスには、MACアドレスやIPアドレスを含むものとする。複数のサーバで同一のサービスを提供している場合、デスティネーションIPアドレス(宛先IPアドレス)でサービスとフローの対応付けができる。この場合、デスティネーションIPアドレスを基にフローを集計することで、フロー数からサービス数を算出することが可能になる。サービス数とは、同時に存在するフロー数であり、サービスによる負荷(サービス負荷)を示す値である。また、サービス毎に使用するポート番号が異なる場合、デスティネーションポート番号でサービスとフローの対応付けができる。この場合、デスティネーションポート番号が同一であれば、同一のサービスであると判断することで、デスティネーションポート番号でそのサービスのフロー数をカウントし、サービス数を算出できる。
<データ構成>
次に、本発明の省電力化システムにおいて使用されるデータの所在及び詳細について説明する。
以降、次のように記載を簡略化する。
・「ラック」は、ラック12(12−i、i=1〜n)を示す。
・「スイッチ」は、OFS121(121−i、i=1〜x)、又は仮想マシンモニタ1222の仮想スイッチを示す。
・「OFS」は、OFS121(121−i、i=1〜x)を示す。
・「サーバ」は、サーバ122(122−i、i=1〜y)を示す。
・「VM」は、仮想マシン1221(1221−i、i=1〜k)を示す。
・「ストレージ」は、ストレージ123(123−i、i=1〜z)を示す。
統合管理部21は、室内設備情報と、ラック情報と、ストレージ接続情報と、サービス論理構成情報を保持する。
室内設備情報は、空調情報と、照明情報と、電源情報とを含む。
空調情報は、空調IDと、電力情報と、稼動状態情報と、関連ラック情報を含む。空調IDは、空調設備111の識別情報を示す。電力情報は、この空調IDに対応する空調設備111の停止(又は調節)時に削減できる電力量(wH)を示す。稼動状態情報は、この空調IDに対応する空調設備111の空調グループに属するラック12(12−i、i=1〜n)に収納された電子機器の現在の稼動状態(稼動/非稼動)を示す。関連ラック情報は、ラックIDに関する情報を含む。このラックIDは、この空調IDに対応する空調設備111の空調グループに属するラック12(12−i、i=1〜n)の識別情報を示す。
照明情報は、照明IDと、電力情報と、稼動状態情報と、関連ラック情報を含む。照明IDは、照明設備112の識別情報を示す。電力情報は、この照明IDに対応する照明設備112の停止(又は調節)時に削減できる電力量(wH)を示す。稼動状態情報は、この照明IDに対応する照明設備112の照明グループに属するラック12(12−i、i=1〜n)に収納された電子機器の現在の稼動状態(稼動/非稼動)を示す。関連ラック情報は、ラックIDに関する情報を含む。このラックIDは、この照明IDに対応する照明設備112の照明グループに属するラック12(12−i、i=1〜n)の識別情報を示す。
電源情報は、電源IDと、電力情報と、稼動状態情報と、関連ラック情報を含む。電源IDは、電源設備113の識別情報を示す。電力情報は、この電源IDに対応する電源設備113の停止(又は調節)時に削減できる電力量(wH)を示す。稼動状態情報は、この電源IDに対応する電源設備113の電源グループに属するラック12(12−i、i=1〜n)に収納された電子機器の現在の稼動状態(稼動/非稼動)を示す。関連ラック情報は、ラックIDに関する情報を含む。このラックIDは、この電源IDに対応する電源設備113の電源グループに属するラック12(12−i、i=1〜n)の識別情報を示す。
なお、ここでは、説明の簡略化のため、空調設備111、照明設備112、電源設備113は、いずれもサーバルーム10内における同一の領域を対象としているものとする。すなわち、空調グループ、照明グループ、電源グループは、同一のグループとする。但し、実際には、この例に限定されない。
ラック情報は、同一のラックに搭載された電子機器の情報を示す。ここでは、ラック情報は、ラックIDと、稼動状態情報と、組み込みノード情報を含む。このラックIDは、ラック12(12−i、i=1〜n)の識別情報を示す。稼動状態情報は、このラックIDに対応するラック12(12−i、i=1〜n)に収納された電子機器の現在の稼動状態(稼動/非稼動)を示す。組み込みノード情報は、ノードタイプと、ノードIDと、稼動状態情報を含む。ノードタイプは、当該ラック12(12−i、i=1〜n)に収納された電子機器の種別(スイッチ/サーバ/ストレージ等)を示す。ノードIDは、当該ラック12(12−i、i=1〜n)に収納された電子機器の識別情報を示す。例えば、ノードIDは、スイッチIDと、サーバIDと、ストレージIDのいずれかを示す。稼動状態情報は、当該ラック12(12−i、i=1〜n)に収納された電子機器の稼動状態(稼動/非稼動)を示す。
ストレージ接続情報は、ストレージと通信可能なサーバ群の情報である。ここでは、ストレージ接続情報は、ストレージIDと、接続可能サーバ情報を含む。ストレージIDは、ストレージ123(123−i、i=1〜z)の識別情報を示す。接続可能サーバ情報は、当該ストレージIDに対応するストレージと通信可能なサーバの識別情報(MACアドレス等)を示す。
サービス論理構成情報は、サービスを提供するために必要なノードの構成情報である。例えば、サービス論理構成情報は、接続する契機となる初めてのパケット(first packet)のルールと、構成するノード量に関する情報と、使用するストレージの情報(ストレージID)と、使用するノード群の情報(ノードID:VMが稼動しているサーバのID)に関する情報を含む。
例えば、構成するノード量に関する情報は、ノードの詳細(種別:VM、ノード数)と、VMあたりの提供サービス量と、VMあたりの占有物理リソース量(メモリ、CPU等)に関する情報を含む。
OFC23は、トポロジー情報を保持する。ここで、トポロジー情報は、フロー定義情報に該当する。
トポロジー情報は、OFS群、サーバ群、外部ネットワーク等の接続状況に関する情報を含む。トポロジー情報は、監視対象であるスイッチ(OFS、仮想スイッチ等)と接続されるもののセット群で構成される。すなわち、トポロジー情報は、監視対象であるスイッチ毎に保持する情報である。ここでは、トポロジー情報は、スイッチIDと、稼動状態情報と、ポート数と、各ポートの接続情報に関する情報を含む。スイッチIDは、監視対象であるスイッチの識別情報を示す。稼動状態情報は、監視対象であるスイッチの稼動状態(稼動/非稼動)を示す。ポート数は、監視対象であるスイッチの保有するポートの数を示す。各ポートの接続情報は、接続種別情報と、接続先情報を含む。接続種別情報は、監視対象であるスイッチの接続先の種別(スイッチ/サーバ/ストレージ/外部ネットワーク等)に関する情報を含む。接続先情報は、監視対象であるスイッチの接続先の識別情報を示す。ここでは、接続先情報は、接続種別がスイッチの場合にはスイッチIDを示す。また、接続種別がサーバやストレージの場合にはMACアドレスを示す。また、接続種別が外部ネットワークの場合には外部ネットワークIDを示す。
サービス管理部24は、サービス数情報を保持する。
サービス数情報は、提供数と、応答時間に関する情報を含む。提供数は、各サービスの単位時間当たりの提供数を示す。応答時間は、各サービスの応答時間の平均値や最大値を示す。
サーバ管理部25は、サーバ負荷情報を保持する。
サーバ負荷情報は、負荷状態と、使用可能リソース数に関する情報を含む。負荷状態は、各サーバの単位時間当たりの負荷状態を示す。使用可能リソース数は、各サーバの使用可能リソース数を示す。ここでは、「サーバの使用可能リソース数 = サーバのリソース数 − 予約されたリソース数」とする。
<サービスの基本処理>
図2を参照して、サービスの基本処理について説明する。
(1)ステップS1
外部ネットワークからOFS121(121−i、i=1〜x)にパケットが到着する。すなわち、OFS121(121−i、i=1〜x)は、外部ネットワークからパケットを受信する。
(2)ステップS2
OFS121(121−i、i=1〜x)は、受信されたパケットが初めてのパケット(first packet)である場合、OFC23に、当該パケットを初めてのパケット(first packet)として通知する。
(3)ステップS3
OFC23は、サービス管理部24に、初めてのパケット(first packet)の到着を通知する。
(4)ステップS4
サービス管理部24は、通知された初めてのパケット(first packet)に該当するサービスを検索する。
(5)ステップS5
サービス管理部24は、OFC23に、初めてのパケット(first packet)を検出したOFS121(121−i、i=1〜x)と発見されたサービスが使用するVMを端点として指定し、指定された端点の通信経路の作成を指示する。
(6)ステップS6
OFC23は、指定された端点の通信経路をトポロジー情報から算出する。このとき、未稼働状態のOFS121(121−i、i=1〜x)は算出に用いない。
(7)ステップS7
OFC23は、算出された通信経路の各OFS121(121−i、i=1〜x)用のフローの定義情報を作成する。
(8)ステップS8
OFC23は、作成されたフローの定義情報を、該当するOFS121(121−i、i=1〜x)に設定する。
<情報の収集及び構成変更の契機>
図3を参照して、フローの定義情報を設定した後の情報の収集及び構成変更の契機について説明する。
(1)ステップC1
OFC23は、OFS121(121−i、i=1〜x)から情報を収集し、フロー数をカウントし、各フローをサービス管理部24に通知する。
(2)ステップC2
サービス管理部24は、該当フローをサービス毎に分類し、サービス毎の単位時間当たりのサービス数として情報を保持する。
(3)ステップC3
サービス管理部24は、サービス数を監視し、サービス数の変化を契機として、以下のようにサービスの論理構成・物理構成の変更を行うように、仮想マシン管理部27に指示する。
(4)ステップC4
仮想マシン管理部27は、サービス数が所定の閾値以上となった場合、所定の閾値より小さくなるように当該サービス数を軽減するための処理を行う。なお、ここでいう所定の閾値は、上限閾値でも良い。例えば、「(サービス数) ≧ (1つのVMで負担できるサービス数) × (VM数)」となった場合、仮想マシン管理部27は、当該サーバにおいてサービスへ割り当てるVMを増加させる。すなわち、当該サーバ上で当該サービス用のVMの稼動処理を行う。或いは、仮想マシン管理部27は、サービスの必要CPUを増加させるため、サーバ中のVM数を減少させる。このとき、当該サーバから他のサーバへVMを分散させ、他のサーバでVMの稼動処理を行う。更に、必要であれば、仮想マシン管理部27は、他のサーバと比較して、当該サーバ上で稼働中のVMの数が最も少なくなった場合、当該サーバ上で稼働中の残りのVMを、他のサーバへ片寄せする。サーバ管理部25は、この片寄により当該サーバ上で稼働中のVMがなくなった場合、当該サーバを停止する。サービス数が均等になるまで、この処理を繰り返しても良い。
(5)ステップC5
仮想マシン管理部27は、サービス数が所定の閾値より小さくなった場合、所定の閾値以下の範囲内でサービス数を増大させるための処理を行う。なお、ここでいう所定の閾値は、下限閾値でも良い。例えば、「(サービス数) < (1つのVMで負担できるサービス数) × (VM数)」となった場合、仮想マシン管理部27は、当該サーバにおいてサービスからVMを削減させる。すなわち、当該サーバ上で当該サービス用のVMの停止処理を行う。或いは、仮想マシン管理部27は、サービスの必要CPUを削減させるため、サーバのVM数を増加させる。すなわち、他のサーバから当該サーバへVMを集約させ、他のサーバでVMの停止処理を行う。停止処理については、後述する「管理者による手動VM起動停止を契機とした省電力化」の停止処理を実施する。更に、必要であれば、仮想マシン管理部27は、稼働中のVMの数が最も少なくなったサーバ上で稼働中のVMを、当該サーバ又はリソースに余裕がある他のサーバへ片寄せする。サーバ管理部25は、この片寄により稼働中のVMがなくなったサーバを停止する。サービス数が均等になるまで、この処理を繰り返しても良い。
<稼動リソース最適化>
ここでは、VMを移動することにより更なる省電力化を目指す稼動リソース最適化処理を記述する。この処理は、VM停止処理の終了を契機として動作する。なお、実際には、VMを停止せずに最適化のみを行っても構わない。その場合の契機としては、システム全体の負荷が閾値を超過した場合等が考えられる。なお、ここでいう閾値は、上限閾値と下限閾値で囲まれた一定の範囲に収まる値の集合でも良い。この場合、閾値を超過した場合とは、上限閾値と下限閾値で囲まれた一定の範囲に収まらない値であることを意味する。
図4を参照して、稼動リソース最適化処理について説明する。
(1)ステップR1
統合管理部21は、以下の数式(1)を用いて、必要リソース量の算出を行う。
Figure 2011082799
(2)ステップR2
統合管理部21は、以下の数式(2)を用いて、必要サーバ数の算出を行う。
Figure 2011082799
(3)ステップR3
統合管理部21は、停止サーバ数Tを算出する。停止サーバ数Tは、稼動サーバ数をCとすると、T=C−Sとなる。
(4)ステップR4
統合管理部21は、停止可能空調グループの検索を行う。説明の簡略化のため、便宜上、空調グループを対象とする場合を例に説明しているが、照明グループや電源グループを対象とする場合も基本的に同様である。すなわち、「空調」を、「照明」や「電源」と読み替えることも可能である。ここでは、統合管理部21は、T台以内のサーバを停止することで、空調グループ内の全ラックが停止する空調グループを検索する。従って、停止可能空調グループ内の全ラックで稼働中のサーバの合計台数は、T台以内であるものとする。統合管理部21は、停止可能空調グループがあった場合、当該空調グループを停止することを決定する。統合管理部21は、停止可能空調グループがなかった場合、停止可能ラックグループの検索処理(ステップR6)へ移行する。
(5)ステップR5
統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、停止可能空調グループから停止しない他の空調グループへVMをマイグレーションする。統合管理部21は、停止可能空調グループの停止に伴い停止するサーバの台数をX台とした場合、現在の停止サーバ数TからXを減じ、残りの停止サーバ数をT−Xへ変更する。従って、残りの停止サーバ数T=現在の停止サーバ数T−停止するサーバの台数Xとなる。ここでは、統合管理部21は、停止することを決定した空調グループ内のラックで稼働中のサーバ上の全VMについて、移動先サーバを決定する。移動先サーバの例としては、各VMが属するサービスの使用するストレージに接続できるサーバ、停止予定の空調グループのラックに属さないサーバ、及び、空調グループのOFSが停止してもサービスを構成するVM間及び外部ネットワークとの通信経路が確立できるVMが必要とするリソースを持つサーバ、のいずれかが考えられる。統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、決定した移動先サーバに各VMをマイグレーションする。統合管理部21は、OFC23に指示して、ラック中のOFSを停止し、ラックグループ中のOFSを未稼働とする。統合管理部21は、ラックグループを未稼動とする。統合管理部21は、設備管理部22に指示して、空調を停止し、或いは、空調の程度(設定温度、風力、対象範囲、等)を調節し、空調グループを未稼働とする。なお、統合管理部21は、停止可能空調グループの検索処理(ステップR4)において停止可能空調グループを1つずつ検索する場合、停止可能空調グループの検索処理(ステップR4)に戻り、他の停止可能空調グループの検索を行う。他の停止可能空調グループ内の全ラックで稼働中のサーバの合計台数は、残りの停止サーバ数以内であるものとする。以下、統合管理部21は、停止可能空調グループが発見できなくなるまで、同様の処理を繰り返す。統合管理部21は、停止可能空調グループが発見できなくなった後、まだ残りの停止サーバ数がある場合、停止可能ラックグループの検索処理(ステップR6)へ移行する。
(6)ステップR6
統合管理部21は、停止可能ラックグループの検索を行う。ここでは、統合管理部21は、T台以内のサーバを停止することでラックが停止するラックグループを検索する。従って、停止可能ラックグループで稼働中のサーバの合計台数は、T台以内であるものとする。統合管理部21は、停止可能ラックグループがあった場合、当該ラックグループを停止することを決定する。統合管理部21は、停止するラックグループがなかった場合、停止可能サーバの検索処理(ステップR8)へ移行する。
(7)ステップR7
統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、停止対象ラックグループから停止しない他のラックグループへVMをマイグレーションする。統合管理部21は、停止可能ラックグループの停止に伴い停止するサーバの台数をY台とした場合、現在の停止サーバ数TからYを減じ、残りの停止サーバ数をT−Yへ変更する。従って、残りの停止サーバ数T=現在の停止サーバ数T−停止するサーバの台数Yとなる。ここでは、統合管理部21は、停止することを決定したラックグループで稼働中のサーバ上の全VMについて、移動先サーバを決定する。移動先サーバの例として、各VMが属するサービスの使用するストレージに接続できるサーバ、停止予定のラックに属さないサーバ、ラックグループのOFSが停止してもサービスを構成するVM間及び外部ネットワークとの通信経路が確立できるVMが必要とするリソースを持つサーバ、のいずれかが考えられる。統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、決定したサーバに各VMをマイグレーションする。統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、サーバを停止し、ラックグループ中のサーバを未稼働とする。OFC23は、ラック中のOFSを停止し、ラックグループ中のOFSを未稼働とする。統合管理部21は、ラックグループを未稼動とする。なお、統合管理部21は、停止可能ラックグループの検索処理(ステップR6)において停止可能ラックグループを1つずつ検索する場合、停止可能ラックグループの検索処理(ステップR6)に戻り、他の停止可能ラックグループの検索を行う。他の停止可能ラックグループ内の全ラックで稼働中のサーバの合計台数は、残りの停止サーバ数以内であるものとする。以下、統合管理部21は、停止可能ラックグループが発見できなくなるまで、同様の処理を繰り返す。統合管理部21は、停止可能ラックグループが発見できなくなった後、まだ残りの停止サーバ数がある場合、停止可能サーバの検索処理(ステップR8)へ移行する。
(8)ステップR8
統合管理部21は、停止可能サーバの検索を行う。ここでは、統合管理部21は、ラック内の稼動サーバ数が最小となるラックグループを検索する。統合管理部21は、停止するT台のサーバ群を決定する。従って、停止可能サーバの合計台数は、T台以内であるものとする。統合管理部21は、停止可能サーバがあった場合、当該サーバを停止することを決定する。なお、ラック内の稼動サーバ数が最小となるラックグループを検索する理由は、少ない台数のサーバを停止することで、ラック全体が停止可能となるラックを作り出し、その後(次回以降)の稼動リソース最適化処理で、ラック全体を停止できる可能性を高めるためである。すなわち、この処理で発見された停止可能サーバを搭載したラックは、次回以降の稼動リソース最適化処理において、停止可能ラックグループの検索処理(ステップR6)で停止可能ラックグループとして選ばれる可能性が高くなる。更に、このラックを含む空調グループは、次回以降の稼動リソース最適化処理において、停止可能空調グループの検索処理(ステップR4)で停止可能空調グループとして選ばれる可能性が高くなる。
(9)ステップR9
統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、停止対象サーバからVMをマイグレーションする。ここでは、統合管理部21は、停止することを決定したサーバ上の全VMについて、移動先サーバを決定する。移動先サーバの例として、各VMが属するサービスの使用するストレージに接続できるサーバ、停止予定以外のサーバ、VMが必要とするリソースを持つサーバ、等が考えられる。統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、決定したサーバに各VMをマイグレーションする。統合管理部21は、サーバ管理部25及び仮想マシン管理部27に指示して、サーバを停止し、ラックグループ中のサーバの状態を未稼働とする。
<ラック間の接続に関する条件>
なお、ラック間の接続に関しては、下記の制限を満たすことが望ましい。
・ラック間の相互接続は可能な限りなくす
・空調グループ単位で相互接続用スイッチを設ける
・空調グループ間の接続は常時稼動のスイッチラックで行う
<稼動リソース最適化(拡張)>
統合管理部21は、OFC23に指示して、下記処理を追加することで、稼動OFS数を更に減少させることができる。
統合管理部21は、OFC23に指示して、稼働中のOFSから任意のOFSを停止させた場合のトポロジー情報を作成し、全サービスについて使用しているVM間及び外部ネットワークとの通信経路が確立した場合、該当OFSを停止、該当OFSを含むラックグループの該当OFSの状態を未稼動とし、トポロジー情報の該当OFSを未稼働に変更する。
統合管理部21は、OFC23に指示して、OFSが停止した結果、ラックグループ内で稼動しているノードがなくなった場合、ラックグループを未稼動とする。統合管理部21は、ラックグループが未稼動となった結果、空調グループで稼動しているラックがなくなった場合、設備管理部22に指示して、空調を停止し、或いは、空調の程度(設定温度、風力、対象範囲、等)を調節し、空調グループの空調を未稼動とする。
<移動先サーバの決定処理>
図5を参照して、移動先サーバの決定処理について説明する。なお、統合管理部21は、ラック停止後のトポロジー情報を経路算出に使用することを前提とする。
(1)ステップD1
統合管理部21は、未使用リソースがあるサーバをリストアップする。
(2)ステップD2
統合管理部21は、マイグレーション対象のVMをリストアップする。
(3)ステップD3
統合管理部21は、リストアップされたVMの中から、未移動のVMを1つ選択する。
(4)ステップD4
統合管理部21は、リストアップされたサーバの中から、所定の条件に適合するサーバを選択する。ここでは、統合管理部21は、選択された未移動のVMが含まれるサービスが使用するストレージと接続可能であり、サービスの他のVM及び外部ネットワークと通信経路が確立できるサーバを選択する。
(5)ステップD5
統合管理部21は、選択されたサーバにVMが使用する未使用リソースがあるか確認する。統合管理部21は、選択されたサーバにVMが使用する未使用リソースがある場合、選択された未稼働のVMを該当サーバに仮割り当てし、同時に未使用リソースを予約する。統合管理部21は、移動先が決定していないVMがあれば、再度、未移動のVMを1つ選択する。
(6)ステップD6
統合管理部21は、選択されたサーバに仮割り当てされたVMのうち、他の未使用リソースがあるサーバに移動可能なVMを検索する。統合管理部21は、他の未使用リソースがあるサーバに移動可能なVMがある場合、VMの仮割り当て先を変更し、同時に使用リソースの開放と新規仮割り当て先に予約する。統合管理部21は、選択された未稼働のVMが仮割り当てされたサーバに仮割り当てし、同時に未使用リソースを予約する。統合管理部21は、移動先が決定していないVMがあれば、再度、未移動のVMを1つ選択する。ここでは、VMの移動先を仮割り当てで一旦予約し、その後、未使用リソースが最小になるように変更することを考えている。
(7)ステップD7
統合管理部21は、動作中のVMのうち、他の未使用リソースがあるサーバに移動可能なVMを検索する。統合管理部21は、他の未使用リソースがあるサーバに移動可能なものがある場合、VMを移動対象とし、仮割り当て先を設定し、同時に使用リソースの開放と新規仮割り当て先に予約する。統合管理部21は、選択された未移動のVMが仮割り当てされたサーバに仮割り当てし、同時に未使用リソースを予約する。統合管理部21は、移動先が決定していないVMがあれば、再度、未移動のVMを1つ選択する。統合管理部21は、他の未使用リソースがあるサーバに移動可能なVMがない場合、選択された未移動のVMを保留とする。
(8)ステップD8
統合管理部21は、移動先が決定していないVMがあれば、再度、未移動のVMを1つ選択する。
(9)ステップD9
統合管理部21は、各VMの仮割り当てしたサーバをマイグレーション先として決定する。
<管理者による手動VM起動停止を契機とした省電力化>
次に、「管理者による手動VM起動停止を契機とした省電力化」に係る処理について、構成変更の契機、起動処理、停止処理の3つに分けて説明する。
<構成変更の契機>
統合管理部21は、管理者により、サービス毎のVM数が変更された場合、次のように処理する。例えば、統合管理部21は、管理者によりサービスにVMが追加された場合、必要なサーバやVMの稼動処理を行う。また、統合管理部21は、管理者によりサービスからVMが削減された場合、不要なサーバやVMの停止処理を行う。
<稼動処理>
図6を参照して、稼動処理について説明する。
(1)ステップA1
管理者により、統合管理部21にサービスと追加VM数が指定され稼動処理が指示される。統合管理部21は、稼動中のサーバの中から、条件に適合するサーバを検索する処理を開始する。
(2)ステップA2
統合管理部21は、稼動中のサーバの中に、条件に適合するサーバがあるか確認する。ここでは、統合管理部21は、統合管理部21のサービス構成情報とストレージ接続情報を用い、サービスが使用するストレージに接続可能なサーバを検索する。統合管理部21は、ラックグループ情報を用い、サービスが使用するストレージに接続可能なサーバのうち、稼働中のサーバ群を検索する。更に、統合管理部21は、発見されたサーバ群のうち、指定されたサービスのVMの必要リソースが提供できるサーバ(使用可能リソース量が必要リソース以上のサーバ)を検索する。統合管理部21は、指定されたサービスのVMの必要リソースが提供できるサーバのうち、指定されたサービスのVMが割り当て可能なサーバを検索する。
(3)ステップA3
統合管理部21は、稼動中のサーバの中に、条件に適合するサーバがない場合、稼働中のラックの中に、未稼働のサーバがあるか確認する。
(4)ステップA4
統合管理部21は、稼働中のラックの中に、未稼働のサーバがない場合、稼働中の空調グループの中に、未稼働のラックがあるか確認する。
(5)ステップA5
統合管理部21は、稼働中の空調グループの中に、未稼働のラックがない場合、未稼働の空調グループを稼動させる。ここでは、統合管理部21は、設備管理部22に指示し、未稼働の空調を起動し、稼動させる。また、統合管理部21は、空調情報を参照し、この空調グループの空調の状態を稼動に変更する。なお、説明の簡略化のため、便宜上、空調グループを対象とする場合を例に説明しているが、照明グループや電源グループを対象とする場合も基本的に同様である。すなわち、「空調」を、「照明」や「電源」と読み替えることも可能である。
(6)ステップA6
統合管理部21は、稼働中の空調グループの中に、未稼働のラックがある場合、未稼働のラックを稼動させる。ここでは、統合管理部21は、OFC23に指示して、未稼働のラック内のOFSを起動し、稼動させる。また、統合管理部21は、OFC23に指示して、トポロジー情報を参照し、稼動状態にしたラックグループ内のOFSが未稼働である場合、該当OFSを稼動し、ラックグループ内の稼動したOFSの状態を稼動に変更し、ラックグループ内の稼動したOFSの状態を稼動に変更し、トポロジー情報中でも当該OFSを稼動に変更する。また、統合管理部21は、ラック情報を参照し、このラックグループを稼動状態に変更する。
(7)ステップA7
統合管理部21は、稼働中のラックの中に、未稼働のサーバがある場合、未稼働のサーバを稼動させる。その後、統合管理部21は、稼動中のサーバの中から条件に適合するサーバを検索する処理(ステップA1)に戻り、同様の処理を繰り返す。
(8)ステップA8
統合管理部21は、稼動中のサーバの中に、条件に適合するサーバがある場合、条件に適合するサーバに、指定されたサービスのVMを割り当てる。ここでは、統合管理部21は、仮想マシン管理部27に指示して、条件に適合するサーバで、指定されたサービスのVMを稼動する。すなわち、条件に適合するサーバに、指定されたサービスのVMが追加される。統合管理部21は、仮想マシン管理部27に指示して、追加されたVMの情報をサービス構成情報に記録し保持する。統合管理部21は、仮想マシン管理部27に指示して、条件に適合するサーバの使用可能リソース量を、稼動させたVMが使用する分だけ削減する。
(9)ステップA9
統合管理部21は、未割り当てのVMがあるか確認する。すなわち、統合管理部21は、条件に適合するサーバに、指定された数のVMを全て割り当て、条件に適合するサーバ上で指定された数のVMを稼動することができたか確認する。ここでは、統合管理部21は、仮想マシン管理部27に指示して、条件に適合するサーバ上で指定された数のVMを稼動できた場合、指定された数のVMを稼動できた場合、VM間の通信が可能かどうか確認する、統合管理部21は、OFC23に指示して、稼動しているOFSとサービスを構成するVMのみのトポロジー情報を作成して、経路探索を行う。統合管理部21は、OFC23に指示して、経路が確立できた場合、一連の処理を終了する。また、統合管理部21は、仮想マシン管理部27に指示して、条件に適合するサーバ上で指定された数のVMを稼動できていない場合、稼動中のサーバの中から条件に適合するサーバを検索する処理(ステップA1)に戻り、同様の処理を繰り返す。
<停止>
図7を参照して、停止処理について説明する。
(1)ステップP1
管理者より、統合管理部21にサービスと停止VM数が指定され稼動処理が指示される。これにより、統合管理部21は、処理を開始する。
(2)ステップP2
統合管理部21は、サービス構成情報とラック情報と空調情報から指定されたVM群のうち、停止するVMを選択し、決定する。
(選択の優先度)
VMの選択の優先度の例として、以下の順序に従って選択することが考えられる。
1.当該VMを停止することで、サーバが停止でき、ラックが停止でき、空調も停止できるVM
2.当該VMを停止することで、サーバが停止でき、ラックが停止できるVM
3.当該VMを停止することで、サーバが停止できるVM
4.当該VMを停止することで、サーバ中の稼動VM数が最小となるVM
(3)ステップP3
統合管理部21は、仮想マシン管理部27に指示して、片寄を行い停止するVMに処理がこないようにする。
(4)ステップP4
統合管理部21は、仮想マシン管理部27に指示して、VMで全処理が終了したら、VMを停止し、サービスの稼動VM数を減少させる。
(5)ステップP5
統合管理部21は、サーバ管理部25に指示して、該当サーバの削除したVMの分使用可能リソースを増加させる。
(6)ステップP6
統合管理部21は、サーバ管理部25に指示して、移動VMがなくなったサーバが発生した場合、サーバを停止し、該当ラックグループの該当サーバの状態を未稼動とする。
(7)ステップP7
統合管理部21は、サーバ停止の波及効果を調査する。ここでは、統合管理部21は、OFC23に指示して、サーバが停止した結果、ラックグループ内に移動サーバが亡くなった場合、ラック内のOFSを停止しても稼働中のサービスに影響がないか(通信経路が算出できないパターンが存在しないか)を確認し、影響がない場合OFSを停止し、該当ラックグループの該当OFSの状態を未稼動とし、トポロジー情報から該当OFSを未稼働に変更する。統合管理部21は、OFC23に指示して、OFSが停止した結果、ラックグループ内で稼動しているノードがなくなった場合、ラックグループを未稼動とする。設備管理部22は、ラックグループが未稼働となった結果、空調グループで稼動しているラックがなくなった場合、空調を停止し、或いは、空調の程度(設定温度、風力、対象範囲、等)を調節し、空調グループの空調を未稼動とする。
<停止処理(拡張)>
更に、他の停止処理について検討する。
統合管理部21は、OFC23に指示して、停止処理の終了後に他のOFSを未稼動にできないかを調査することで、未稼働リソースを増やすことも可能である。例えば、以下の3つの方法が考えられる。
1.統合管理部21は、OFC23に指示して、稼働中のOFSから任意のOFSを停止させた場合のトポロジー情報を作成し、全サービスについて私用しているVM間及び外部ネットワークとの通信経路が確立した場合、該当OFSを停止、該当OFSを含むラックグループの該当OFSの状態を未稼動とし、トポロジー情報から該当OFSを未稼働に変更する。
2.統合管理部21は、OFC23に指示して、OFSが停止した結果、ラックグループ内で稼動しているノードがなくなった場合、ラックグループを未稼動とする。
3.設備管理部22は、ラックグループが未稼動となった結果、空調グループで稼動しているラックがなくなった場合、空調を停止し、或いは、空調の程度(設定温度、風力、対象範囲、等)を調節し、空調グループの空調を未稼動とする
<ストレージのアクセス制限>
なお、本発明において、ストレージのアクセス制限を考慮すると、統合管理部21は、VM起動(稼動)時、或いは、VMマイグレーション時に、ストレージ管理部26と連携し、ストレージに適切なアクセス制限を設定する必要があると考えられる。
<負荷判断(拡張)>
また、本発明において、上記のサービス数の代わりに、サービスに応じたネットワークにおける通信負荷やサーバにおける処理負荷をサービス負荷とし、このサービス負荷の変化を契機として、サーバの論理構成・物理構成の変更を行うようにすることも考えられる。
例えば、統合管理部21は、以下の数式(3)を用いて、この場合のサービス負荷の算出を行う。ここでは、当該サーバ上では、n台の仮想マシン(VM)が稼動しており、1台の仮想マシン(VM)につき、1つのサービスを提供しているものとする。
Figure 2011082799
に関しては、各サービス毎のフローの統計情報から算出する方法がある。
上記の数式(3)では、F=1になると、サーバの能力限界まで使用したことになる。
なお、通信負荷とCPU負荷の両方が1に近づくようにVMを片寄してサーバに配置すると、リソースの効率が良くなると考えられる。
以上、本発明の実施形態を詳述してきたが、実際には、上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明に含まれる。
10… サーバルーム
11… 室内設備
111… 空調設備
112… 照明設備
113… 電源設備
12(−i、i=1〜n)… ラック
121(−i、i=1〜x)… OFS(Open Flow Switch)
122(−i、i=1〜y)… サーバ
1221(−i、i=1〜k)… 仮想マシン(VM)
1222… 仮想マシンモニタ(VMM)
123(−i、i=1〜z)… ストレージ
20… 管理装置
21… 統合管理部
22… 設備管理部
221… 空調管理部
222… 照明管理部
223… 電源管理部
23… OFC(Open Flow Controller)
24… サービス管理部
25… サーバ管理部
26… ストレージ管理部
27… 仮想マシン管理部

Claims (16)

  1. 複数のサーバ上でそれぞれ稼動する仮想マシンにより提供されるサービスの通信情報を監視し、前記通信情報から求められた仮想マシン毎のサービス負荷を基に、仮想マシンを他のサーバ上へ移動させ、稼動する仮想マシンが存在しなくなったサーバを未稼動状態にする管理装置と、
    前記サービスの通信パケットの転送を行うスイッチに対してフロー単位の経路情報を設定するコントローラと
    を具備し、
    前記コントローラは、仮想マシンの移動に従って前記スイッチに対して設定した経路情報を変更する
    省電力化システム。
  2. 請求項1に記載の省電力化システムであって、
    前記管理装置は、前記サービスに応じたネットワークにおける通信負荷及び前記サービスに応じたサーバにおける処理負荷に基づいて、前記サービス負荷を求める
    省電力化システム。
  3. 請求項1又は2に記載の省電力化システムであって、
    前記管理装置は、仮想マシンの移動に伴って前記スイッチの経路情報が変更された結果、稼動不要なスイッチが存在すれば、当該スイッチを未稼動状態にする
    省電力化システム。
  4. 請求項1乃至3のいずれか一項に記載の省電力化システムであって、
    前記スイッチ及び前記複数のサーバは、ラック内に格納され、
    前記管理装置は、当該ラック内のサーバ上で稼動する仮想マシンを他のラック内のサーバ上へ移動させ、
    前記コントローラは、当該ラック外のスイッチを経由するように前記スイッチに設定された経路情報を変更し、
    前記管理装置は、前記スイッチ及び前記複数のサーバを含む当該ラック全体を未稼動状態にする
    省電力化システム。
  5. 請求項4に記載の省電力化システムであって、
    前記管理装置は、ラックの周辺環境状態を調整する設備を制御し、前記未稼動状態となったラックの周辺環境状態の調整を変化または停止させる
    省電力化システム。
  6. 請求項5に記載の省電力化システムであって、
    前記管理装置は、前記設備による周辺環境状態の制御対象となっているラック群単位で未稼動状態にすることが可能な対象を探索し、次に、ラック単位、サーバ単位の順に未稼動状態にすることが可能な対象を順に探索する
    省電力化システム。
  7. 請求項5又は6に記載の省電力化システムであって、
    前記管理装置は、
    空調の対象となる空調グループに属するラックを冷却する空調設備を制御し、前記空調グループに属する全てのラックが未稼働状態になった場合、前記空調設備による冷却を調節または停止させる空調設備管理部と、
    照明の対象となる照明グループに属するラックを照らす照明設備を制御し、前記照明グループに属する全てのラックが未稼働状態になった場合、前記照明設備による照明を調節または停止させる照明設備管理部と、
    電源の対象となる電源グループに属するラックに配電する電源設備を制御し、前記電源グループに属する全てのラックが未稼働状態になった場合、前記電源設備による配電を調節または停止させる電源設備管理部と
    を具備する
    省電力化システム。
  8. 請求項1乃至7のいずれか一項に記載の省電力化システムで、管理装置及びコントローラのうち少なくとも一方として使用されるコンピュータ。
  9. コンピュータにより実施される省電力化方法であって、
    複数のサーバ上でそれぞれ稼動する仮想マシンにより提供されるサービスの通信情報を監視することと、
    前記通信情報から求められた仮想マシン毎のサービス負荷を基に、仮想マシンを他のサーバ上へ移動させ、稼動する仮想マシンが存在しなくなったサーバを未稼動状態にすることと、
    前記サービスの通信パケットの転送を行うスイッチに対してフロー単位の経路情報を設定することと、
    仮想マシンの移動に従って前記スイッチに対して設定した経路情報を変更することと
    を含む
    省電力化方法。
  10. 請求項9に記載の省電力化方法であって、
    前記サービスに応じたネットワークにおける通信負荷及び前記サービスに応じたサーバにおける処理負荷に基づいて、前記サービス負荷を求めること
    を更に含む
    省電力化方法。
  11. 請求項9又は10に記載の省電力化方法であって、
    前記仮想マシンの移動に伴って前記スイッチの経路情報が変更された結果、稼動不要なスイッチが存在すれば、当該スイッチを未稼動状態にすること
    を更に含む
    省電力化方法。
  12. 請求項9乃至11のいずれか一項に記載の省電力化方法であって、
    前記スイッチ及び前記複数のサーバを格納したラック内のサーバ上で稼動する仮想マシンを他のラック内のサーバ上へ移動させることと、
    当該ラック外のスイッチを経由するように前記スイッチに設定された経路情報を変更することと、
    前記スイッチ及び前記複数のサーバを含む当該ラック全体を未稼動状態にすることと
    を更に含む
    省電力化方法。
  13. 請求項12に記載の省電力化方法であって、
    ラックの周辺環境状態を調整する設備を制御し、前記未稼動状態となったラックの周辺環境状態の調整を変化または停止させること
    を更に含む
    省電力化方法。
  14. 請求項13に記載の省電力化方法であって、
    前記設備による周辺環境状態の制御対象となっているラック群単位で未稼動状態にすることが可能な対象を探索し、次に、ラック単位、サーバ単位の順に未稼動状態にすることが可能な対象を順に探索すること
    を更に含む
    省電力化方法。
  15. 請求項13又は14に記載の省電力化方法であって、
    空調の対象となる空調グループに属するラックを冷却する空調設備を制御し、前記空調グループに属する全てのラックが未稼働状態になった場合、前記空調設備による冷却を調節または停止させることと、
    照明の対象となる照明グループに属するラックを照らす照明設備を制御し、前記照明グループに属する全てのラックが未稼働状態になった場合、前記照明設備による照明を調節または停止させることと、
    電源の対象となる電源グループに属するラックに配電する電源設備を制御し、前記電源グループに属する全てのラックが未稼働状態になった場合、前記電源設備による配電を調節または停止させることと
    を更に含む
    省電力化方法。
  16. 複数のサーバ上でそれぞれ稼動する仮想マシンにより提供されるサービスの通信情報を監視するステップと、
    前記通信情報から求められた仮想マシン毎のサービス負荷を基に、仮想マシンを他のサーバ上へ移動させ、稼動する仮想マシンが存在しなくなったサーバを未稼動状態にするステップと、
    前記サービスの通信パケットの転送を行うスイッチに対してフロー単位の経路情報を設定するステップと、
    仮想マシンの移動に従って前記スイッチに対して設定した経路情報を変更するステップと
    をコンピュータに実行させるための
    省電力化プログラム。
JP2009233366A 2009-10-07 2009-10-07 省電力化システム、省電力化方法、及び省電力化用プログラム Expired - Fee Related JP5435399B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009233366A JP5435399B2 (ja) 2009-10-07 2009-10-07 省電力化システム、省電力化方法、及び省電力化用プログラム
EP10821987.4A EP2487837A4 (en) 2009-10-07 2010-10-05 ENERGY SAVING SYSTEM AND ENERGY SAVING METHOD
CN201080045377.9A CN102549973B (zh) 2009-10-07 2010-10-05 功率节省***及功率节省方法
US13/499,903 US20120204051A1 (en) 2009-10-07 2010-10-05 Power saving system and power saving method
PCT/JP2010/067414 WO2011043317A1 (ja) 2009-10-07 2010-10-05 省電力化システム、及び省電力化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009233366A JP5435399B2 (ja) 2009-10-07 2009-10-07 省電力化システム、省電力化方法、及び省電力化用プログラム

Publications (2)

Publication Number Publication Date
JP2011082799A true JP2011082799A (ja) 2011-04-21
JP5435399B2 JP5435399B2 (ja) 2014-03-05

Family

ID=43856770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009233366A Expired - Fee Related JP5435399B2 (ja) 2009-10-07 2009-10-07 省電力化システム、省電力化方法、及び省電力化用プログラム

Country Status (5)

Country Link
US (1) US20120204051A1 (ja)
EP (1) EP2487837A4 (ja)
JP (1) JP5435399B2 (ja)
CN (1) CN102549973B (ja)
WO (1) WO2011043317A1 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160301A (ja) * 2010-02-02 2011-08-18 Nec Corp パケット転送システム、パケット転送システム内におけるパケット集中回避方法
JP2012252602A (ja) * 2011-06-03 2012-12-20 Nippon Telegr & Teleph Corp <Ntt> サーバ管理システム、サーバ管理装置、サーバ管理方法、及びサーバ管理プログラム
WO2013011894A1 (ja) * 2011-07-20 2013-01-24 日本電気株式会社 ユーザ共有型データセンタシステム
WO2013042615A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電子計算機システム及び仮想マシン配置方法
WO2013042269A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電源管理装置、電源管理方法および電源管理プログラム
JP2013150134A (ja) * 2012-01-19 2013-08-01 Hitachi Ltd 計算機システム、仮想サーバ配置方法及び配置制御装置
WO2013114620A1 (ja) * 2012-02-03 2013-08-08 富士通株式会社 仮想マシン制御プログラム、仮想マシン制御方法および情報処理装置
JP2013175996A (ja) * 2012-02-27 2013-09-05 Hitachi Ltd 管理計算機、転送経路管理方法及び計算機システム
WO2013146808A1 (ja) * 2012-03-28 2013-10-03 日本電気株式会社 コンピュータシステム、及び通信経路変更方法
JP2013232864A (ja) * 2012-05-02 2013-11-14 Ntt Docomo Inc 移動体通信システム、呼処理ノード及び通信制御方法
WO2013186825A1 (en) * 2012-06-12 2013-12-19 Nec Corporation Computer system, communication control server, communication control method, and program
JP2014006792A (ja) * 2012-06-26 2014-01-16 Ntt Comware Corp 通信制御装置、通信制御方法、通信制御プログラム
JP2014130474A (ja) * 2012-12-28 2014-07-10 Fujitsu Ltd 情報処理システム制御装置、該プログラム、及び該方法
US9110730B2 (en) 2011-08-25 2015-08-18 Fujitsu Limited Communication method and communication apparatus
JP2015197892A (ja) * 2014-04-03 2015-11-09 河村電器産業株式会社 データセンタ節電システム
KR20150139489A (ko) 2013-03-29 2015-12-11 가부시키가이샤 사이버 솔루션스 그린 네트워크 구축 방법
US9274841B2 (en) 2011-08-10 2016-03-01 Consiglio Nazionale Delle Ricerche System for energy saving in company data centers
JP2016052032A (ja) * 2014-09-01 2016-04-11 日本電信電話株式会社 ネットワークシステム、仮想化方法および仮想化プログラム
JP2016220291A (ja) * 2015-05-14 2016-12-22 株式会社Nttファシリティーズ 給電システム、給電方法およびサーバ
JP2017010439A (ja) * 2015-06-25 2017-01-12 株式会社Nttファシリティーズ 統合型設備管理システム
US9584546B2 (en) 2012-10-01 2017-02-28 International Business Machines Corporation Providing services to virtual overlay network traffic
JP2017174063A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 サーバ装置、サーバ制御方法、プログラム
JP2018504665A (ja) * 2014-12-19 2018-02-15 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 電力管理のための論理的にパーティション化された環境のイベント駆動型再最適化
US10063437B2 (en) 2014-06-26 2018-08-28 Fujitsu Limited Network monitoring system and method
JP2019061359A (ja) * 2017-09-25 2019-04-18 富士ゼロックス株式会社 プログラム及び情報処理装置
WO2022153346A1 (ja) * 2021-01-12 2022-07-21 日本電信電話株式会社 電源制御装置、電源制御方法、および、電源制御プログラム
WO2023157399A1 (ja) * 2022-02-17 2023-08-24 日本電信電話株式会社 通信システム、統合コントローラ、制御装置及び切替方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2955005B1 (fr) * 2010-01-04 2011-12-23 Alcatel Lucent Procede pour activer une carte de preference dans un receptacle deja active, dans un reseau de communication
CN105657773B (zh) * 2010-11-22 2019-05-10 日本电气株式会社 通信***、通信设备、控制器和方法
FR2974647B1 (fr) * 2011-04-26 2013-04-26 Bull Sas Dispositif de reperage pour reperer une armoire informatique parmi une pluralite d'armoires informatiques
US8914513B2 (en) * 2011-06-23 2014-12-16 Cisco Technology, Inc. Hierarchical defragmentation of resources in data centers
US8825863B2 (en) * 2011-09-20 2014-09-02 International Business Machines Corporation Virtual machine placement within a server farm
US8824143B2 (en) * 2011-10-12 2014-09-02 International Business Machines Corporation Combined power and cooling rack supporting an electronics rack(S)
CN103138942B (zh) * 2011-11-28 2015-09-02 英业达科技有限公司 服务器机架***
CN103138940B (zh) * 2011-11-28 2016-06-01 英业达科技有限公司 服务器机架***
EP2712122B1 (en) * 2011-12-29 2016-08-31 Huawei Technologies Co., Ltd. Energy saving monitoring method and device
CN103309421A (zh) * 2012-03-08 2013-09-18 株式会社日立制作所 外部空气冷却以及局部冷却方式信息处理***和其负荷分配方法
CN102769670A (zh) * 2012-07-13 2012-11-07 中兴通讯股份有限公司 虚拟机迁移方法、装置及***
WO2014041811A1 (en) 2012-09-13 2014-03-20 Nec Corporation Control apparatus, control method, communication system, and program
CN103777734A (zh) * 2012-10-25 2014-05-07 英业达科技有限公司 机柜式服务器***与其操作方法
CN103067476B (zh) * 2012-12-25 2015-08-19 浙江大学 一种基于虚拟机的动态网络重构方法
EP2755135B1 (en) * 2013-01-14 2016-07-13 Fujitsu Limited Computing device, method, and program for energy-efficient distribution of computational load
US9201706B2 (en) * 2013-03-11 2015-12-01 International Business Machines Corporation Minimizing workload migrations during cloud maintenance operations
US9933832B2 (en) * 2013-03-14 2018-04-03 Vmware, Inc. Systems and methods for modifying power states in a virtual environment
JP6076164B2 (ja) * 2013-03-22 2017-02-08 京セラ株式会社 制御システム、機器、制御装置及び制御方法
CN103345298B (zh) * 2013-07-16 2015-07-01 山东省计算中心(国家超级计算济南中心) 一种基于虚拟it资源分配技术的数据中心节能***的方法
US9350632B2 (en) 2013-09-23 2016-05-24 Intel Corporation Detection and handling of virtual network appliance failures
US9625974B2 (en) * 2013-12-23 2017-04-18 Dell Products, L.P. Global throttling of computing nodes in a modular, rack-configured information handling system
US9887939B2 (en) 2015-03-11 2018-02-06 International Business Machines Corporation Transmitting multi-destination packets in overlay networks
CN105340224A (zh) * 2014-05-30 2016-02-17 华为技术有限公司 网络控制方法和装置
CN104052665B (zh) * 2014-06-03 2019-03-15 新华三技术有限公司 一种流量转发路径的确定方法和设备
US9874924B1 (en) * 2015-12-03 2018-01-23 Amazon Technologies, Inc. Equipment rack power reduction using virtual machine instance migration
US10469570B2 (en) * 2015-12-26 2019-11-05 Intel Corporation Technologies for execution acceleration in heterogeneous environments
US10728084B2 (en) * 2016-04-11 2020-07-28 Quanta Computer Inc. Virtualized rack management modules
US10411499B2 (en) * 2017-05-05 2019-09-10 David R. Hall Distributed charge controller
US10782757B2 (en) * 2017-08-09 2020-09-22 Equinix, Inc. Rack level power control
CN110086676B (zh) * 2019-05-08 2022-11-22 深信服科技股份有限公司 一种分布式路由器的配置方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281008A (ja) * 2002-03-26 2003-10-03 Toshiba Corp サーバー計算機負荷分配装置、サーバー計算機負荷分配方法、サーバー計算機負荷分配プログラム及びサーバー計算機システム
JP2007179437A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd 管理システム、管理プログラムおよび管理方法
JP2007189848A (ja) * 2006-01-16 2007-07-26 Hitachi Ltd 電源自動制御システム
JP2008276320A (ja) * 2007-04-25 2008-11-13 Nec Corp 仮想システム制御方法およびコンピュータシステム
JP2009169858A (ja) * 2008-01-18 2009-07-30 Nec Corp サーバシステム、及びサーバシステムの電力削減方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1854250B1 (en) * 2005-02-28 2011-09-21 International Business Machines Corporation Blade server system with at least one rack-switch having multiple switches interconnected and configured for management and operation as a single virtual switch
US8296760B2 (en) * 2006-10-27 2012-10-23 Hewlett-Packard Development Company, L.P. Migrating a virtual machine from a first physical machine in response to receiving a command to lower a power mode of the first physical machine
US8069359B2 (en) 2007-12-28 2011-11-29 Intel Corporation System and method to establish and dynamically control energy consumption in large-scale datacenters or IT infrastructures
JP2009176033A (ja) 2008-01-24 2009-08-06 Hitachi Ltd ストレージシステム及びその消費電力削減方法
US8385202B2 (en) * 2008-08-27 2013-02-26 Cisco Technology, Inc. Virtual switch quality of service for virtual machines
US20100287262A1 (en) * 2009-05-08 2010-11-11 Uri Elzur Method and system for guaranteed end-to-end data flows in a local networking domain
JP4410309B2 (ja) 2009-07-15 2010-02-03 九州日立マクセル株式会社 ヘアードライヤー
JP5190084B2 (ja) * 2010-03-30 2013-04-24 株式会社日立製作所 仮想マシンのマイグレーション方法およびシステム
US8239863B2 (en) * 2010-06-29 2012-08-07 Hewlett-Packard Development Company, L.P. Method and system for migrating a virtual machine
US8423646B2 (en) * 2010-07-09 2013-04-16 International Business Machines Corporation Network-aware virtual machine migration in datacenters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281008A (ja) * 2002-03-26 2003-10-03 Toshiba Corp サーバー計算機負荷分配装置、サーバー計算機負荷分配方法、サーバー計算機負荷分配プログラム及びサーバー計算機システム
JP2007179437A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd 管理システム、管理プログラムおよび管理方法
JP2007189848A (ja) * 2006-01-16 2007-07-26 Hitachi Ltd 電源自動制御システム
JP2008276320A (ja) * 2007-04-25 2008-11-13 Nec Corp 仮想システム制御方法およびコンピュータシステム
JP2009169858A (ja) * 2008-01-18 2009-07-30 Nec Corp サーバシステム、及びサーバシステムの電力削減方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6010074709; 日本電気株式会社: 新世代NWに向けたプログラマブルフロースイッチを試作し日米間での実証実験に成功(2008年10月29日): プレス , 20081029 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160301A (ja) * 2010-02-02 2011-08-18 Nec Corp パケット転送システム、パケット転送システム内におけるパケット集中回避方法
JP2012252602A (ja) * 2011-06-03 2012-12-20 Nippon Telegr & Teleph Corp <Ntt> サーバ管理システム、サーバ管理装置、サーバ管理方法、及びサーバ管理プログラム
WO2013011894A1 (ja) * 2011-07-20 2013-01-24 日本電気株式会社 ユーザ共有型データセンタシステム
JPWO2013011894A1 (ja) * 2011-07-20 2015-02-23 日本電気株式会社 ユーザ共有型データセンタシステム
US9274841B2 (en) 2011-08-10 2016-03-01 Consiglio Nazionale Delle Ricerche System for energy saving in company data centers
US9110730B2 (en) 2011-08-25 2015-08-18 Fujitsu Limited Communication method and communication apparatus
JPWO2013042269A1 (ja) * 2011-09-22 2015-03-26 富士通株式会社 電源管理装置、電源管理方法および電源管理プログラム
WO2013042269A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電源管理装置、電源管理方法および電源管理プログラム
WO2013042615A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電子計算機システム及び仮想マシン配置方法
WO2013042276A1 (ja) * 2011-09-22 2013-03-28 富士通株式会社 電子計算機システム及び仮想マシン配置方法
JPWO2013042615A1 (ja) * 2011-09-22 2015-03-26 富士通株式会社 電子計算機システム及び仮想マシン配置方法
US9733986B2 (en) 2011-09-22 2017-08-15 Fujitsu Limited Computer system and virtual machine arranging method
US9274593B2 (en) 2011-09-22 2016-03-01 Fujitsu Limited Change the destination physical machine information such that the destination candidate of the certain virtual machine includes at least a physical machine belonging to the second physical machine group
JP2013150134A (ja) * 2012-01-19 2013-08-01 Hitachi Ltd 計算機システム、仮想サーバ配置方法及び配置制御装置
WO2013114620A1 (ja) * 2012-02-03 2013-08-08 富士通株式会社 仮想マシン制御プログラム、仮想マシン制御方法および情報処理装置
US9268593B2 (en) 2012-02-03 2016-02-23 Fujitsu Limited Computer-readable recording medium, virtual machine control method and information processing apparatus
JPWO2013114620A1 (ja) * 2012-02-03 2015-05-11 富士通株式会社 仮想マシン制御プログラム、仮想マシン制御方法および情報処理装置
JP2013175996A (ja) * 2012-02-27 2013-09-05 Hitachi Ltd 管理計算機、転送経路管理方法及び計算機システム
WO2013146808A1 (ja) * 2012-03-28 2013-10-03 日本電気株式会社 コンピュータシステム、及び通信経路変更方法
JP2013232864A (ja) * 2012-05-02 2013-11-14 Ntt Docomo Inc 移動体通信システム、呼処理ノード及び通信制御方法
JP2015523747A (ja) * 2012-06-12 2015-08-13 日本電気株式会社 コンピュータシステム、通信制御サーバ、通信制御方法およびプログラム
WO2013186825A1 (en) * 2012-06-12 2013-12-19 Nec Corporation Computer system, communication control server, communication control method, and program
US9571379B2 (en) 2012-06-12 2017-02-14 Nec Corporation Computer system, communication control server, communication control method, and program
JP2014006792A (ja) * 2012-06-26 2014-01-16 Ntt Comware Corp 通信制御装置、通信制御方法、通信制御プログラム
US9584546B2 (en) 2012-10-01 2017-02-28 International Business Machines Corporation Providing services to virtual overlay network traffic
JP2014130474A (ja) * 2012-12-28 2014-07-10 Fujitsu Ltd 情報処理システム制御装置、該プログラム、及び該方法
KR20150139489A (ko) 2013-03-29 2015-12-11 가부시키가이샤 사이버 솔루션스 그린 네트워크 구축 방법
JP2015197892A (ja) * 2014-04-03 2015-11-09 河村電器産業株式会社 データセンタ節電システム
US10063437B2 (en) 2014-06-26 2018-08-28 Fujitsu Limited Network monitoring system and method
JP2016052032A (ja) * 2014-09-01 2016-04-11 日本電信電話株式会社 ネットワークシステム、仮想化方法および仮想化プログラム
JP2018504665A (ja) * 2014-12-19 2018-02-15 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 電力管理のための論理的にパーティション化された環境のイベント駆動型再最適化
US10664040B2 (en) 2014-12-19 2020-05-26 International Business Machines Corporation Event-driven reoptimization of logically-partitioned environment for power management
JP2016220291A (ja) * 2015-05-14 2016-12-22 株式会社Nttファシリティーズ 給電システム、給電方法およびサーバ
JP2017010439A (ja) * 2015-06-25 2017-01-12 株式会社Nttファシリティーズ 統合型設備管理システム
JP2017174063A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 サーバ装置、サーバ制御方法、プログラム
US10012968B2 (en) 2016-03-23 2018-07-03 Nec Corporation Server device, server control method, and program
JP2019061359A (ja) * 2017-09-25 2019-04-18 富士ゼロックス株式会社 プログラム及び情報処理装置
WO2022153346A1 (ja) * 2021-01-12 2022-07-21 日本電信電話株式会社 電源制御装置、電源制御方法、および、電源制御プログラム
WO2023157399A1 (ja) * 2022-02-17 2023-08-24 日本電信電話株式会社 通信システム、統合コントローラ、制御装置及び切替方法

Also Published As

Publication number Publication date
CN102549973A (zh) 2012-07-04
JP5435399B2 (ja) 2014-03-05
CN102549973B (zh) 2015-07-22
EP2487837A4 (en) 2013-06-05
WO2011043317A1 (ja) 2011-04-14
US20120204051A1 (en) 2012-08-09
EP2487837A1 (en) 2012-08-15

Similar Documents

Publication Publication Date Title
JP5435399B2 (ja) 省電力化システム、省電力化方法、及び省電力化用プログラム
US11855766B2 (en) Technologies for dynamically managing resources in disaggregated accelerators
EP2304565B1 (en) Method and system for power management in a virtual machine environment withouth disrupting network connectivity
US9092223B1 (en) Systems and methods to save power in data-center networks
Hammadi et al. A survey on architectures and energy efficiency in data center networks
US8103778B2 (en) Network operations management method and apparatus
US9008079B2 (en) System and method for high-performance, low-power data center interconnect fabric
US9141171B2 (en) Network routing protocol power saving method for network elements
US9507392B2 (en) Information processing system, and its power-saving control method and device
US8107458B1 (en) Power-based networking path allocation
JP2010161501A (ja) ネットワークの管理システム及び管理方法
US20090003229A1 (en) Adaptive Bandwidth Management Systems And Methods
JP5505925B2 (ja) ネットワーク運用管理方法及びネットワーク運用管理装置
CN102281153A (zh) 在网络中管理能效和控制机制的***和方法
US20120278503A1 (en) Energy management system for a data center network
EP2490403A1 (en) Network communication node comprising a plurality of processors for processing layers of communication and associated node
US8457121B1 (en) Heterogeneous network switch system
JP5252571B2 (ja) ネットワークの管理システム及び管理方法
Yu et al. An energy-aware algorithm for optimizing resource allocation in software defined network
CN111782138A (zh) 路径切换方法及装置
WO2016003127A1 (ko) 서버/스토리지 관리 시스템
Kantarci et al. Minimum outage probability provisioning in an energy-efficient cloud backbone
El Bakely et al. Using shortest job first scheduling in greencloud computing
Suzuki et al. A large-scale power-saving cloud system composed of multiple data centers
Schlösser et al. Energy efficient network equipment for data centers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131201

R150 Certificate of patent or registration of utility model

Ref document number: 5435399

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees