JP5471080B2 - Information system, control device, data processing method thereof, and program - Google Patents
Information system, control device, data processing method thereof, and program Download PDFInfo
- Publication number
- JP5471080B2 JP5471080B2 JP2009155930A JP2009155930A JP5471080B2 JP 5471080 B2 JP5471080 B2 JP 5471080B2 JP 2009155930 A JP2009155930 A JP 2009155930A JP 2009155930 A JP2009155930 A JP 2009155930A JP 5471080 B2 JP5471080 B2 JP 5471080B2
- Authority
- JP
- Japan
- Prior art keywords
- physical server
- load
- information
- virtual machine
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Description
本発明は、情報システム、制御装置、そのデータ処理方法およびプログラムに関し、特に、仮想マシンが動作する複数の物理サーバを有する情報システムにおいて、仮想マシンが動作する物理サーバを制御する制御装置、そのデータ処理方法およびプログラム、ならびに、その情報システムに関する。 The present invention relates to an information system, a control apparatus, a data processing method thereof, and a program, and in particular, in an information system having a plurality of physical servers on which a virtual machine operates, a control apparatus for controlling the physical server on which the virtual machine operates, and its data The present invention relates to a processing method and program, and an information system thereof.
サーバ仮想化は、単一の物理サーバ上で複数の仮想的なサーバを動作させる（以下、「ホストする」とも言う）技術であり、物理サーバの有効利用のために広く使われている。前記仮想的なサーバは仮想マシンと呼ばれる。サーバ仮想化では動作中の仮想マシンを停止させることなく別の物理サーバにネットワークを介して移送する機能も実現されており、当該機能はライブマイグレーションと呼ばれる。 Server virtualization is a technique for operating a plurality of virtual servers on a single physical server (hereinafter also referred to as “hosting”), and is widely used for effective use of physical servers. The virtual server is called a virtual machine. In server virtualization, a function of transferring a running virtual machine to another physical server without stopping it is realized, and this function is called live migration.
複数の仮想マシンをいくつかの物理サーバに集約し、仮想マシンをホストしてない物理サーバを電源オフ状態またはサスペンド状態にすることで消費電力を削減することができる。たとえば、特許文献１では、低負荷な物理サーバがホストしている仮想マシンを別の物理サーバに移送し当該物理サーバを電源オフ状態にすることで消費電力を削減する技術が提案されている。
It is possible to reduce power consumption by aggregating a plurality of virtual machines into several physical servers and putting a physical server that does not host virtual machines into a power-off state or a suspended state. For example,
また、非特許文献１ではライブマイグレーションを用いて自律的に、低負荷な仮想マシンを集約し、高負荷な物理サーバ上の仮想マシンは別の物理サーバに移送して高負荷状態を解消する技術が提案されている。非特許文献１で提案されている技術では物理サーバと仮想マシンの負荷情報に基づき、消費電力を削減するためになるべく少ない台数の物理マシンに仮想マシンを集約できるように配置先の物理サーバを決定する。
Further, in
また、特許文献２には、サービスの最適配置後の動的な負荷状況の変化などのサービスの実行状況に応じたサービスの再配置を確実に行うことが可能なクラスタシステムが記載されている。また、サービスを実行可能な計算機が複数あるときに優先的に割り当てられる計算機の順位を付けることが記載されている。
Further,
ところで、技術的進歩によって物理サーバの電力効率は向上するため、世代の異なる物理サーバが混在する場合は電源オン状態の物理サーバの台数を減らすことが必ずしも消費電力の削減につながらない。たとえば、１台の旧型の物理サーバで仮想マシンをホストするよりも、２台の新型の物理サーバで仮想マシンをホストした方が、消費電力が小さくなる場合がある。また、同じ台数の物理サーバで仮想マシンをホストするときは、消費電力の小さいものを選択した方が消費電力は小さくなる。 By the way, since the power efficiency of physical servers is improved by technological advancement, when physical servers of different generations coexist, reducing the number of power-on physical servers does not necessarily reduce power consumption. For example, the power consumption may be smaller when the virtual machine is hosted by two new physical servers than when the virtual machine is hosted by one old physical server. Also, when hosting virtual machines with the same number of physical servers, the power consumption is smaller when the one with lower power consumption is selected.
また、一般的に仮想マシンをホストするためにはブレードサーバに代表される高密度型の物理サーバが使用されることが多い。仮想マシンを近接した物理マシンに集中して配置すると、当該物理マシンの発熱量が大きくなり局所的に高温になる。局所的に高温となった場所はホットスポットや熱だまりと呼ばれる。ホットスポットは物理サーバの障害の原因となり、障害を避けるために空調装置の性能を高めると空調装置の消費電力が増大する。データセンタでは、物理サーバを冷却するための空調装置の消費電力が物理サーバの消費電力を上回ることがあり、ホットスポットの発生は消費電力の大きな増大につながる。 In general, in order to host a virtual machine, a high-density physical server represented by a blade server is often used. If a virtual machine is concentrated on a physical machine that is close to the virtual machine, the amount of heat generated by the physical machine increases and the temperature locally increases. A place where the temperature is locally high is called a hot spot or a hot pool. The hot spot causes a failure of the physical server, and if the performance of the air conditioner is improved to avoid the failure, the power consumption of the air conditioner increases. In a data center, the power consumption of an air conditioner for cooling a physical server may exceed the power consumption of the physical server, and the occurrence of a hot spot leads to a large increase in power consumption.
このため、仮想マシンの配置先とする物理サーバを決定する際に、単に物理サーバや仮想マシンの負荷を考慮するだけでなく、各物理サーバの電力効率やホットスポットの発生可能性など、様々な要因を考慮して柔軟に決定することを可能とする技術が望まれている。 For this reason, when deciding the physical server where the virtual machine is to be placed, there are various factors such as the power efficiency of each physical server and the possibility of hot spots. A technique that enables flexible determination in consideration of factors is desired.
また、上述した特許文献２に記載のシステムは、サーバの優先順位などのポリシに従ってサービス負荷を分散させるが、サービス負荷を少数の計算機に集中させて消費電力を低減することはできない。したがって、上述した様々な要因を考慮して消費電力を低減する技術が望まれている。
Moreover, although the system described in
本発明の目的は、上述した課題である消費電力の増大を解決する情報システム、制御装置、そのデータ処理方法およびプログラムを提供することにある。 An object of the present invention is to provide an information system, a control device, a data processing method thereof, and a program that solve the increase in power consumption, which is the problem described above.
本発明の制御装置は、複数の物理サーバのいずれかに、少なくとも１つの仮想マシンを配置するように前記物理サーバを制御する配置制御手段と、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得手段と、
前記物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶手段と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶手段と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する選択手段と、を備え、
前記仮想マシン毎に、前記選択手段による前記物理サーバの選択、および前記配置制御手段による、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、前記配置制御手段は、前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する。
The control apparatus of the present invention includes an arrangement control unit that controls the physical server so that at least one virtual machine is arranged on any of the plurality of physical servers.
Load information acquisition means for acquiring load information indicating a load for each of the virtual machines operating on each physical server;
Priority information storage means for storing priority information indicating the priority of the physical server;
Constraint condition information storage means for storing constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server And a selection means for selecting
For each of the virtual machines, the selection of the physical server by the selection unit and the placement of the virtual machine on the selected physical server by the placement control unit are sequentially repeated. Then, the virtual machine is controlled to be placed on the selected physical server with the highest priority, and all the virtual machines are placed on the physical server.
本発明の第１の制御装置のデータ処理方法は、
前記制御装置が、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、を備え、
前記制御装置が、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得し、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得し、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得し、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択し、
前記仮想マシン毎に、前記物理サーバの選択、および選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する。
The data processing method of the first control device of the present invention is as follows.
The control device is
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server,
The control device is
Obtain load information indicating the load of each virtual machine running on each physical server,
Refer to the priority information storage device, obtain the priority information,
Referencing the constraint condition information storage device, obtaining the constraint condition information,
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server Select
For each of the virtual machines, the selection of the physical server and the placement of the virtual machine on the selected physical server are sequentially repeated.
For each virtual machine, the virtual machine is controlled to be placed on the selected physical server with the highest priority, and all virtual machines are placed on the physical server.
本発明の第２の制御装置のデータ処理方法は、
前記制御装置が、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、
現在および過去に取得した負荷の情報を含む負荷情報を記憶する負荷履歴情報記憶装置と、を備え、
前記制御装置が、
前記負荷履歴情報記憶装置を参照し、各物理サーバ上で動作する前記仮想マシン毎の現在および過去の負荷を示す負荷情報を取得し、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得し、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得し、
前記負荷情報から前記各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択し、
前記仮想マシン毎に、前記物理サーバの選択、および選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する。
The data processing method of the second control device of the present invention is as follows:
The control device is
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
A load history information storage device that stores load information including load information acquired in the present and the past, and
The control device is
Refer to the load history information storage device, obtain load information indicating current and past loads for each virtual machine operating on each physical server,
Refer to the priority information storage device, obtain the priority information,
Referencing the constraint condition information storage device, obtaining the constraint condition information,
Each virtual machine operated on the physical server based on the result of estimating the amount of computer resources that each virtual machine will need in the future from the load information, the priority information, and the constraint information And select the physical server with the highest priority that satisfies the constraints of the virtual machine,
For each of the virtual machines, the selection of the physical server and the placement of the virtual machine on the selected physical server are sequentially repeated.
For each virtual machine, the virtual machine is controlled to be placed on the selected physical server with the highest priority, and all virtual machines are placed on the physical server.
本発明の情報システムは、少なくとも１つの仮想マシンが動作する複数の物理サーバと、
複数の前記物理サーバを制御する制御装置と、を備え、
前記制御装置は、
複数の前記物理サーバのいずれかに、少なくとも１つの仮想マシンを配置するように前記物理サーバを制御する配置制御手段と、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得手段と、
前記物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶手段と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶手段と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する選択手段と、を備え、
前記仮想マシン毎に、前記選択手段による前記物理サーバの選択、および前記配置制御手段による、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、前記配置制御手段は、前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する。
The information system of the present invention includes a plurality of physical servers on which at least one virtual machine operates,
A control device that controls the plurality of physical servers,
The control device includes:
Placement control means for controlling the physical server so that at least one virtual machine is placed on any of the plurality of physical servers;
Load information acquisition means for acquiring load information indicating a load for each of the virtual machines operating on each physical server;
Priority information storage means for storing priority information indicating the priority of the physical server;
Constraint condition information storage means for storing constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server And a selection means for selecting
For each of the virtual machines, the selection of the physical server by the selection unit and the placement of the virtual machine on the selected physical server by the placement control unit are sequentially repeated. Then, the virtual machine is controlled to be placed on the selected physical server with the highest priority, and all the virtual machines are placed on the physical server.
本発明の第１のコンピュータプログラムは、制御装置を実現するコンピュータが、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、を備え、
コンピュータに、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する手順と、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得する手順と、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得する手順と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する手順と、
前記仮想マシン毎に、前記物理サーバの選択、および、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返す手順と、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する手順と、を実行させるためのプログラムである。
The first computer program of the present invention is a computer that implements a control device.
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server,
On the computer,
A procedure for acquiring load information indicating a load of each virtual machine operating on each physical server;
A procedure for referring to the priority information storage device and acquiring the priority information;
A procedure for obtaining the constraint condition information with reference to the constraint condition information storage device;
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server The steps to select
For each of the virtual machines, a procedure for sequentially repeating the selection of the physical server and the placement of the virtual machine on the selected physical server;
A program for controlling each virtual machine to place the virtual machine on the selected physical server with the highest priority, and for controlling the placement of all virtual machines on the physical server. It is.
本発明の第２のコンピュータプログラムは、制御装置を実現するコンピュータが、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、
現在および過去に取得した負荷の情報を含む負荷情報を記憶する負荷履歴情報記憶装置と、を備え、
コンピュータに、
前記負荷履歴情報記憶装置を参照し、各物理サーバ上で動作する前記仮想マシン毎の現在および過去の負荷を示す負荷情報を取得する手順と、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得する手順と、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得する手順と、
前記負荷情報から前記各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する手順と、
前記仮想マシン毎に、前記物理サーバの選択、および、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返す手順と、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する手順と、を実行させるためのプログラムである。
The second computer program of the present invention is a computer that implements a control device.
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
A load history information storage device that stores load information including load information acquired in the present and the past, and
On the computer,
A procedure for referring to the load history information storage device and acquiring load information indicating current and past loads for each virtual machine operating on each physical server;
A procedure for referring to the priority information storage device and acquiring the priority information;
A procedure for obtaining the constraint condition information with reference to the constraint condition information storage device;
Each virtual machine operated on the physical server based on the result of estimating the amount of computer resources that each virtual machine will need in the future from the load information, the priority information, and the constraint information And selecting a physical server with the highest priority that satisfies the constraints of the virtual machine,
For each of the virtual machines, a procedure for sequentially repeating the selection of the physical server and the placement of the virtual machine on the selected physical server;
A program for controlling each virtual machine to place the virtual machine on the selected physical server with the highest priority, and for controlling the placement of all virtual machines on the physical server. It is.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。 The various components of the present invention do not necessarily have to be independent of each other. A plurality of components are formed as a single member, and a single component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, or the like.
また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障しない範囲で変更することができる。 In addition, although a plurality of procedures are described in order in the data processing method and the computer program of the present invention, the described order does not limit the order in which the plurality of procedures are executed. For this reason, when implementing the data processing method and computer program of this invention, the order of the several procedure can be changed in the range which does not interfere in content.
さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。 Furthermore, the plurality of procedures of the data processing method and the computer program of the present invention are not limited to being executed at different timings. For this reason, another procedure may occur during the execution of a certain procedure, or some or all of the execution timing of a certain procedure and the execution timing of another procedure may overlap.
本発明によれば、仮想マシンの配置先の物理サーバを、様々な要因を考慮して柔軟に決定し、消費電力の低減を効率よく実現する情報システム、制御装置、そのデータ処理方法およびプログラムが提供される。 According to the present invention, there is provided an information system, a control device, a data processing method, and a program thereof that flexibly determine a physical server to which a virtual machine is placed in consideration of various factors and efficiently realize reduction of power consumption. Provided.
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings, the same reference numerals are given to the same components, and the description will be omitted as appropriate.
（第１の実施の形態）
図１は、本発明の実施の形態に係る情報システムの構成を示す機能ブロック図である。
本実施形態の情報システムは、少なくとも１つの仮想マシン（不図示）が動作する複数の物理サーバ１０と、複数の物理サーバ１０を制御する制御装置１００と、を備える。
(First embodiment)
FIG. 1 is a functional block diagram showing a configuration of an information system according to an embodiment of the present invention.
The information system according to the present embodiment includes a plurality of
本実施形態の制御装置１００は、複数の物理サーバ１０のいずれかに、少なくとも１つの仮想マシンを配置するように物理サーバ１０を制御する配置制御部１１４と、各物理サーバ１０上で動作する仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得部１０２と、物理サーバ１０の優先順位を示す優先順位情報を記憶する優先順位情報記憶部１０６と、物理サーバ１０に仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶部１０８と、負荷情報と、優先順位情報と、制約条件情報と、に基づいて、物理サーバ１０上で動作させる仮想マシン毎に、当該仮想マシンの制約条件を満足する最も優先順位の高い物理サーバ１０を選択する選択部１１０と、を備え、仮想マシン毎に、選択部１１０による物理サーバ１０の選択、および配置制御部１１４による、選択された物理サーバ１０への仮想マシンの配置を順に繰り返し、配置制御部１１４は、仮想マシン毎に、当該仮想マシンを選択された最も優先順位の高い物理サーバ１０に配置するように制御し、すべての仮想マシンを物理サーバ１０に配置制御する。
The
制御装置１００は、図示されないインタフェースを介して、ネットワーク３上の複数の物理サーバ１０に接続され、複数の物理サーバ１０の動作および物理サーバ１０上で動作する少なくとも１つの仮想マシンの動作を制御する。たとえば、制御装置１００は、ある物理サーバ１０がホストする仮想サーバを他の物理サーバ１０に移送するコマンドを物理サーバ１０に送信することで、仮想マシンの再配置を制御するとともに、移送先の物理サーバ１０が電源オフ状態であれば、物理サーバ１０の電源をオンに制御するコマンドを物理サーバ１０に送信し、１台も仮想サーバをホストしなくなった物理サーバ１０の電源をオフ、または、サスペンド状態に制御するコマンドを物理サーバ１０に送信する。ネットワーク３は、たとえば、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などである。
The
図２は、図１の物理サーバ群１１を構成する複数の物理サーバ１０の物理的な配置位置の一例を示したものである。同図に示すとおり、収容筐体２０には、物理サーバ群１１に属する複数の物理サーバ１０（図では、１５台の物理サーバ１０を含み、Ｓ１〜Ｓ１５と示す）が、５列３段に収容されている。最上段の破線で囲まれた５つの物理サーバＳ１からＳ５は省電力型であり、物理サーバＳ６からＳ１５よりも高い電力効率をもつ。図２は、配置位置の一例であり、収容筐体２０は複数あってもよい。また、物理サーバ１０は収容筐体２０に収容されず、棚や床に置かれてもよい。また、図２は二次元に物理サーバ１０を配置した例であるが、これに限定されない。物理サーバ１０の配置は、一列に物理サーバ１０を並べた一次元の配置でもよく、あるいは、縦横方向に加え、奥行き方向にも物理サーバ１０を配置した三次元の配置でもよい。また、図では上下に垂直方向に並べて配置されているが、左右または前後に水平方向に並べて配置されても、他の方向でも、あるいは、それらの組み合わせでもよい。
FIG. 2 shows an example of physical arrangement positions of a plurality of
制御装置１００は、図示しないＣＰＵやメモリ、ハードディスク、および通信装置を備え、キーボードやマウス等の入力装置やディスプレイやプリンタ等の出力装置と接続されるサーバコンピュータやパーソナルコンピュータ、またはそれらに相当する装置により実現することができる。そして、ＣＰＵが、ハードディスクに記憶されるプログラムをメモリに読み出して実行することにより、後述する各ユニットの各機能を実現することができる。
The
また、本実施形態の情報システムの各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。 In addition, each component of the information system according to the present embodiment includes a CPU, a memory of any computer, a program that realizes the components of the figure loaded in the memory, a storage unit such as a hard disk that stores the program, and a network connection It is realized by an arbitrary combination of hardware and software with a focus on the user interface. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus. Each figure described below shows functional unit blocks, not hardware unit configurations.
具体的には、制御装置１００は、負荷情報取得部１０２と、負荷情報記憶部１０４と、優先順位情報記憶部１０６と、制約条件情報記憶部１０８と、選択部１１０と、物理サーバ制御部１１２と、配置制御部１１４と、を備える。物理サーバ１０は、負荷情報送信部１２と、仮想マシン制御部１４と、電源制御部１６と、を備える。
Specifically, the
物理サーバ１０において、負荷情報送信部１２は、たとえば、仮想化ソフトウェアまたは仮想化ハードウェアから仮想マシンのＣＰＵクロック使用量および物理サーバ１０のＣＰＵクロックを取得し、ネットワーク３を介して負荷情報３０を制御装置１００に送信する。負荷情報送信部１２は、たとえば、ＳＮＭＰ（Simple Network Management Protocol）のような汎用的なプロトコル、または、前記仮想化ソフトウェアや仮想化ハードウェアが提供する独自のプロトコルにしたがって、制御装置１００からの問合せに対して応答し、物理サーバ１０から制御装置１００に負荷情報３０を送信することができる。
In the
図３は、１つの物理サーバ１０の負荷情報送信部１２から制御装置１００の負荷情報取得部１０２に送られる負荷情報３０の一例である。図３に示すように負荷情報３０は、たとえば、当該物理サーバ１０がホストしている各仮想マシン（不図示）のＣＰＵクロック使用量と、当該物理サーバ１０のＣＰＵクロックとを含む。負荷情報３０には、ＣＰＵクロックに限らず他の計算機資源、たとえば、ＣＰＵコア数、メモリ容量、ストレージ容量、ネットワーク帯域、接続されているデバイスの数などの仮想マシンの使用量、および、物理サーバ１０が提供できる量を含めてもよい。
FIG. 3 is an example of the
また、図４に示すように、負荷情報３０には、仮想マシンの使用量を物理サーバ１０が提供できる量で割った使用率を含めてもよい。また、負荷情報３０には物理サーバ１０がホストしている仮想マシンの数を含めてもよい。また各物理サーバ１０が提供できる計算機資源の量は、送信せずにあらかじめ制御装置１００に記憶しておいてもよい。
As illustrated in FIG. 4, the
図１に戻り、仮想マシン制御部１４は、仮想マシンの稼働やライブマイグレーションを制御する。電源制御部１６は、物理サーバ１０の電源の状態を制御する。すなわち、物理サーバ１０の電源をオン、オフ、または、サスペンド状態に制御する。本実施形態では、電源制御部１６は、制御装置１００からのコマンドをネットワーク３を介して受信し、コマンドにしたがって物理サーバ１０の電源の制御を行うことができる。
Returning to FIG. 1, the virtual
制御装置１００において、負荷情報取得部１０２は、物理サーバ１０からネットワーク３を介して負荷情報３０を受信し、負荷情報記憶部１０４に保存する。負荷情報記憶部１０４は、各物理サーバ１０の負荷情報３０を記憶する。図５に負荷情報記憶部１０４の構造の一例を示す。優先順位情報記憶部１０６は、予め設定された物理サーバ１０の優先順位情報を記憶する。制約条件情報記憶部１０８は、物理サーバ１０に仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する。
In the
図６は、図２のように配置された物理サーバ１０の優先順位の一例を示す図である。ここでは、図２に示した物理サーバ群１１の各物理サーバ１０に優先順位をつけた一例を示してあり、「＃」記号に続く数値は物理サーバの優先順位を表している。なお、図６では物理サーバ１０の符号１０は図示していない。物理サーバ１０の優先順位とは、物理サーバ群１１の中で、どの物理サーバ１０を優先して稼働させるかを示す順位である。本実施形態では、数値が小さいほど優先順位は高く、すなわち、優先して稼働させるが、これに限定されない。優先順位は、物理サーバ群１１の中で一意に順番が決まるように、各物理サーバ１０、すなわち、制御対象の機器毎に必ず異なる数値が割り当てられる。優先順位を示す数値は連番でなくてもよく、小数でもよいし、数値を表記する文字列、あるいは、アルファベット順などでもよい。要は、物理サーバ群１１の中で各物理サーバ１０の優先順位が一意に決まればよい。
FIG. 6 is a diagram illustrating an example of priorities of the
上述したように、省電力型の電力効率の高い物理サーバＳ１からＳ５を最優先し、隣接した物理サーバ１０になるべく連続しない優先順位をつけると、たとえば、図６に示すとおりになる。このように優先順位をつけることで、ホットスポットの発生を回避して空調装置の出力を下げ、空調装置を含めた消費電力を削減することができる。信頼性の低い物理サーバに低い優先順位をつけてシステムの信頼性を向上させるなど、システムの運用方針に合わせて電力効率と配置位置以外の基準を用いてもよい。
As described above, when the power-saving physical servers S1 to S5 with high power efficiency are given the highest priority and priorities that are not continuous to the adjacent
図７は、優先順位情報記憶部１０６に記憶される優先順位情報の一例であり、図６の優先順位の例に対応している。本実施形態において、優先順位情報記憶部１０６は、電力効率の高い物理サーバ１０に高い優先順位をつけるとともに、物理サーバ１０どうしの相対位置を考慮して優先順位をつけた優先順位情報を記憶する。優先順位は、必ずしも図７に示すように明示的に数値として優先順位情報記憶部１０６に記憶する必要はなく、たとえば、物理サーバ１０のリストを優先順位に従ってソートしておき、先頭の物理サーバ１０から使用してもよい。また、優先順位に従って物理サーバ１０のＩＰアドレスなどの識別番号を設定し、識別番号を優先順位情報としてもよい。
FIG. 7 is an example of priority information stored in the priority
図１には図示していないが、制御装置１００の操作画面で操作部を用いてユーザが設定した優先順位を優先順位情報記憶部１０６に記憶してもよいし、記録媒体や外部の他の装置から、優先順位情報が設定されたファイルを受け付け、優先順位情報記憶部１０６に記憶してもよい。また、優先順位情報記憶部１０６に記憶されている優先順位情報は、制御装置１００や他の装置に出力可能であり、設定一覧を転送したり、印字出力したり、画面表示したりすることでユーザに提示することができる。ユーザは、提出された設定一覧を確認し、設定されている優先順位の変更画面で操作部を用いて変更することもできるものとする。
Although not shown in FIG. 1, the priority set by the user using the operation unit on the operation screen of the
図８は、制約条件情報記憶部１０８に記憶される制約条件情報の一例である。一般的に、物理サーバ１０は極度に高負荷な状態になると性能が低下する。そこで、物理サーバ１０の性能が低下しない程度の負荷を予め制約条件として物理サーバ１０毎に設定する。制約条件としては、たとえば、ＣＰＵクロック使用率、メモリ容量使用率、または、ネットワーク帯域使用率、およびこれらの組み合わせ等が含まれる。図８の例では、後述する配置制御部１１４が物理サーバ１０に仮想マシンを配置するとき、物理サーバ１０のＣＰＵクロック使用率は８０％まで、メモリ容量使用率は８０％まで、ネットワーク帯域使用率は５０％までとしている。
FIG. 8 is an example of constraint condition information stored in the constraint condition
図１に戻り、選択部１１０は、負荷情報と優先順位情報に基づいて、物理サーバ１０に仮想マシンを再配置する。すなわち、選択部１１０は、負荷情報と、優先順位情報と、制約条件情報と、に基づいて、物理サーバ１０上で動作させる仮想マシン毎に、当該仮想マシンの制約条件を満足する最も優先順位の高い物理サーバ１０を選択する。選択された物理サーバ１０が、仮想マシンの移送先に決定される。選択部１１０は、仮想マシン毎に、物理サーバ１０の選択、および選択された物理サーバ１０への仮想マシンの配置を順に繰り返し、すべての仮想マシンを物理サーバ１０に配置制御する。
Returning to FIG. 1, the
本実施形態において、上述した制約条件情報記憶部１０８は、物理サーバ１０が仮想マシンの移送先または移送元となるときの制約条件を含む制約条件情報をさらに記憶し、選択部１１０は、制約条件情報に基づいて制約条件を満足しない物理サーバ１０を移送先または移送元の候補として選択しない。
In the present embodiment, the above-described constraint condition
具体的には、選択部１１０は、上述した制約条件情報記憶部１０８に記憶される制約条件情報に含まれる制約条件のいずれか１つ以上を満たさない場合、当該物理サーバ１０に仮想マシンを配置しない。すなわち、当該物理サーバ１０を移送先として選択しない。また、仮想マシンの負荷が変動してこれら制約条件のいずれか１つ以上が満たされなくなった場合、選択部１１０は、当該物理サーバ１０上の仮想マシンを別の物理サーバ１０に移送して制約条件を満たすように仮想マシンの移送先の物理サーバ１０を選択する。仮想マシンの再配置制御では上記のように複数の計算機資源を考慮すべきであるが、以下では説明を簡単にするためにＣＰＵ使用率を考慮する例を説明する。
Specifically, if the
物理サーバ制御部１１２は、仮想マシンが１つも動作していない、すなわち、仮想マシンを１つもホストしていない物理サーバ１０に対して、当該物理サーバ１０の電源をオフ、または、サスペンド状態にするよう制御するとともに、仮想マシンを移送する際、移送先の物理サーバ１０の電源状態を確認し、当該物理サーバ１０の電源がオフまたはサスペンド状態の場合、当該物理サーバ１０の電源をオンするように制御する。
The physical
配置制御部１１４は、少なくとも１つの仮想マシン（不図示）が動作する複数の物理サーバ１０間で、仮想マシンを移送させるように物理サーバ１０を制御する。仮想マシン毎に、選択部１１０による物理サーバ１０の選択、および配置制御部１１４による、選択された物理サーバ１０への仮想マシンの配置を順に繰り返すことで、配置制御部１１４は、仮想マシン毎に、当該仮想マシンを選択された最も優先順位の高い物理サーバ１０に移送させるように制御し、すべての仮想マシンを物理サーバ１０に配置制御する。ここで、配置制御部１１４は、選択された移送対象の仮想マシンを移送先の物理サーバ１０に移送するコマンドをネットワーク３を介して物理サーバ１０に送信する。
The
本実施形態のコンピュータプログラムは、制御装置１００を実現するコンピュータに、各物理サーバ１０上で動作する仮想マシン毎の負荷を示す負荷情報を取得する手順と、優先順位情報記憶部１０６を参照し、優先順位情報を取得する手順と、制約条件情報記憶部１０８を参照し、制約条件情報を取得する手順と、負荷情報と、優先順位情報と、制約条件情報と、に基づいて、物理サーバ１０上で動作させる仮想マシン毎に、当該仮想マシンの制約条件を満足する最も優先順位の高い物理サーバを選択する手順と、仮想マシン毎に、物理サーバ１０の選択、および選択された物理サーバ１０への仮想マシンの配置を順に繰り返す手順と、仮想マシン毎に、当該仮想マシンを選択された最も優先順位の高い物理サーバ１０に配置するように制御し、すべての仮想マシンを物理サーバ１０に配置制御する手順と、を実行させるように記述されている。
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記憶媒体に記録されてもよい。
The computer program of the present embodiment refers to the procedure for acquiring load information indicating the load for each virtual machine operating on each
The computer program of this embodiment may be recorded on a computer-readable storage medium.
このように構成された本実施形態の情報システムの動作について以下に説明する。図９は、本発明の実施の形態に係る制御装置１００の動作の一例を示すフローチャートである。以下、図１乃至図９を用いて説明する。
The operation of the information system of this embodiment configured as described above will be described below. FIG. 9 is a flowchart showing an example of the operation of the
本実施形態の制御装置１００のデータ処理方法は、制御装置１００が、各物理サーバ１０上で動作する仮想マシン毎の負荷を示す負荷情報３０を取得し（ステップＳ１０１）、優先順位情報記憶部１０６を参照し、優先順位情報を取得し、制約条件情報記憶部１０８を参照し、制約条件情報を取得し、負荷情報３０と、優先順位情報と、制約条件情報と、に基づいて、物理サーバ１０上で動作させる仮想マシン毎に、当該仮想マシンの制約条件を満足する最も優先順位の高い物理サーバ１０を選択し（ステップＳ１０３、Ｓ１０４）、仮想マシン毎に、物理サーバ１０の選択および、選択された物理サーバ１０への仮想マシンの配置を順に繰り返し（ステップＳ１０２：ループＡ）、仮想マシン毎に、当該仮想マシンを選択された最も優先順位の高い物理サーバ１０に配置するように制御し（ステップＳ１０３：ループＢ）、すべての仮想マシンを物理サーバ１０に配置制御する。
In the data processing method of the
具体的には、制御装置１００において、負荷情報取得部１０２が、各物理サーバ１０の負荷情報送信部１２から各物理サーバ１０の電源状態を含む負荷情報３０を受信して収集する（ステップＳ１０１）。ここで、負荷情報３０が受信できなかった場合は、当該物理サーバ１０は電源オフ状態またはサスペンド状態であると判定してもよい。負荷情報取得部１０２が受信した負荷情報３０は負荷情報記憶部１０４に格納される。なお、負荷情報記憶部１０４は必ずしも必要なく、負荷情報取得部１０２が取得した負荷情報３０を直接選択部１１０に受け渡してもよい。
Specifically, in the
そして、選択部１１０が、物理サーバ１０がホストしているすべての仮想サーバについて、仮想マシン毎にループＡの処理を繰り返す（ステップＳ１０２）。ループＡでは、選択部１１０が、優先順位情報記憶部１０６を参照し、物理サーバ１０の優先順位に従って、優先順位の順に、すべての物理サーバ１０について、ループＢの処理を繰り返す（ステップＳ１０３）。ループＢでは、物理サーバ１０毎に以下の処理を繰り返す。
Then, the
すなわち、選択部１１０が、負荷情報記憶部１０４を参照し、負荷情報を取得し、さらに、制約条件情報記憶部１０８を参照し、制約条件情報を取得する。そして、選択部１１０が、負荷情報と制約条件情報に基づいて、当該仮想マシンを当該物理サーバ１０に配置可能か否かを判定する。すなわち、当該物理サーバ１０の制約条件を、当該物理サーバ１０に当該仮想マシンが配置された時、当該物理サーバ１０が満足するかを判定する（ステップＳ１０４）。
That is, the
ここで、電源オフ状態またはサスペンド状態の物理サーバ１０であっても、電源オン状態にすることで制約条件を満足する場合は満足すると判定する（ステップＳ１０４のＹＥＳ）。制約条件を満たさない場合（ステップＳ１０４のＮＯ）、ステップＳ１０３に戻り、次の優先順位の物理サーバ１０について、ループＢを繰り返す。制約条件を満足した場合（ステップＳ１０４のＹＥＳ）、選択部１１０が、当該物理サーバ１０を当該仮想マシンの移送先に決定してステップＳ１０５からステップＳ１０８の処理に移り、ループＢの繰り返しを終了する。
Here, even if the
そして、ステップＳ１０４で制約条件を満たすと判定したとき（ＹＥＳ）、選択部１１０が、当該仮想マシンは当該物理サーバ１０で既にホストされているかを判定する（ステップＳ１０５）。ホストされていれば（ステップＳ１０５のＹＥＳ）、ステップＳ１０６からステップＳ１０８を実行しない。すなわち、移送先と移送元が同一の物理サーバ１０であれば移送ステップをスキップする。
When it is determined in step S104 that the constraint condition is satisfied (YES), the
移送先と移送元の物理サーバ１０が異なれば（ステップＳ１０５のＮＯ）、選択部１１０が、負荷情報記憶部１０４を参照し、物理サーバ１０が電源オン状態であるかを判定する（ステップＳ１０６）。電源オン状態でなければ（ステップＳ１０６のＮＯ）、物理サーバ制御部１１２が、物理サーバ１０の電源制御部１６に当該物理サーバ１０を電源オン状態にするコマンドをネットワーク３を介して送信する（ステップＳ１０７）。その後、すなわち、当該物理サーバ１０が電源オンされて、制御装置１００からのコマンドを受信して実行可能な状態になってから、配置制御部１１４が、当該仮想マシンを当該物理サーバ１０に移送するコマンドをネットワーク３を介して送信する（ステップＳ１０８）。そして、次の仮想サーバについて、ループＡを繰り返す。
If the transfer destination and the transfer source
すべての仮想マシンについて、ループＡの繰り返しが完了すると、物理サーバ制御部１１２が、仮想マシンを１台もホストしていない物理サーバ１０の電源制御部１６に当該物理サーバ１０を電源オフ状態にするコマンドをネットワーク３を介して送信する（ステップＳ１０９）。
When the loop A is repeated for all the virtual machines, the physical
このステップＳ１０９において、対象となるすべての物理サーバ１０を電源オフ状態にせず、優先順位の高いいくつかの物理サーバ１０を電源オン状態またはサスペンド状態にしておくことで、負荷上昇時に、仮想サーバの移送先となる物理サーバ１０を起動して電源オン状態にする時間を短縮でき、高負荷状態を早く解消することができる。
In this step S109, not all of the target
以下、具体的な例を用いて説明する。
図１０では、制御装置１００において、配置制御部１１４が、１つの仮想マシンを再配置する一例を示している。同図に示すように、優先順位＃１から＃５をもつ物理サーバＳ１とＳ５とＳ３とＳ２とＳ４は電源オン状態であり、それぞれが１つから３つの仮想マシンをホストしている。それ以外の物理サーバ１０は仮想マシンをホストしておらず電源オフ状態である。
Hereinafter, a specific example will be described.
FIG. 10 illustrates an example in which the
たとえば、物理サーバＳ４がホストしている仮想マシンをホスト可能な物理サーバは、優先順位＃５から＃１５をもつ物理サーバである。優先順位＃１から＃４をもつ物理サーバは、制約条件であるＣＰＵ使用率の配置上限しきい値ＵHを超えてしまうため、これらの物理サーバ１０には前記仮想マシンを配置することはできない。前記仮想マシンをホスト可能な物理サーバのうち最も高い優先順位を持つ物理サーバは優先順位＃５をもつ物理サーバＳ４であるが、前記仮想マシンは当該物理サーバですでにホストされているため配置制御部１１４は前記仮想マシンを移送しない。
For example, physical servers that can host virtual machines hosted by the physical server S4 are physical servers having
図１１は、制御装置１００において、配置制御部１１４が、１つの仮想マシンを再配置する他の一例を示している。同図に示すように、優先順位＃１から＃５をもつ物理サーバＳ１とＳ５とＳ３とＳ２とＳ４は電源オン状態であり、それぞれが１つから３つの仮想マシンをホストしている。それ以外の物理サーバは仮想マシンをホストしておらず電源オフ状態である。たとえば、物理サーバＳ４がホストしている仮想マシンをホスト可能な物理サーバ１０は、優先順位＃４から＃１５をもつ物理サーバ１０である。優先順位＃１から＃３をもつ物理サーバ１０は、物理サーバＳ４がホストしている仮想マシンを移送すると、制約条件であるＣＰＵ使用率の配置上限しきい値ＵHを超えてしまうため、これらの物理サーバ１０には前記仮想マシンを配置することはできない。
FIG. 11 shows another example in which the
選択部１１０は、前記仮想マシンをホスト可能な物理サーバ１０のうち最も高い優先順位＃４をもつ物理サーバＳ２を、前記仮想マシンの移送先に決定する。物理サーバＳ２は電源オン状態なので、そのまま、配置制御部１１４は物理サーバＳ４の仮想マシン制御部１４に、当該仮想マシンを物理サーバＳ２に移送するコマンドをネットワーク３を介して送信する。移送が完了すると物理サーバＳ４がホストする仮想マシンはなくなり、当該物理サーバを電源オフ状態にすることができる。物理サーバ制御部１１２は、物理サーバＳ４の電源制御部１６に当該物理サーバを電源オフ状態にするコマンドをネットワーク３を介して送信する。このように、図１１の例では、優先順位の高い物理サーバ１０に対象の仮想マシンを集約し、これにより、消費電力を削減することができる。
The
図１２は、制御装置１００において、配置制御部１１４が、１つの仮想マシンを再配置する一例を示している。同図に示すように、優先順位＃１から＃４をもつ物理サーバＳ１とＳ５とＳ３とＳ２は電源オン状態であり、それぞれが１つから３つの仮想マシンをホストしている。それ以外の物理サーバは仮想マシンをホストしておらず電源オフ状態である。たとえば、優先順位＃１をもつ物理サーバＳ１がホストしているＣＰＵ使用率の大きい方の仮想マシンをホスト可能な物理サーバは、優先順位＃５から＃１５をもつ物理サーバである。優先順位＃１から＃４をもつ物理サーバはＣＰＵ使用率の配置上限しきい値ＵHを超えてしまうため、前記仮想マシンを配置できない。
FIG. 12 shows an example in which the
選択部１１０は、前記仮想マシンをホスト可能な物理サーバのうち最も高い優先順位＃５をもつ物理サーバＳ４を移送先に決定する。物理サーバ制御部１１２は物理サーバＳ４の電源制御部１６に電源オン状態にするコマンドをネットワーク３を介して送信する。その後、物理サーバＳ１の仮想マシン制御部１４に当該仮想マシンを物理サーバＳ４に移送するコマンドをネットワーク３を介して送信する。このように、図１２の例では、対象の仮想マシンを優先順位の高い物理サーバ１０に移動することで、仮想マシンを分散させ、これにより、物理サーバＳ１のＣＰＵ使用率が配置上限しきい値ＵHを超えている状態を解消することができる。
The
前記再配置を各仮想マシンに対して繰り返すことによって優先順位の高い物理サーバに仮想マシンを集約することができ、仮想マシンをホストしていない優先順位の低い物理サーバを電源オフ状態またはサスペンド状態にすることで消費電力を削減することができる。 By repeating the relocation for each virtual machine, the virtual machines can be aggregated on a physical server with a high priority, and the physical server with a low priority that does not host the virtual machine is put into a power-off state or a suspended state. By doing so, power consumption can be reduced.
前記再配置を各仮想マシンに対して実行するとき、仮想マシンを選択する順序は任意で良い。ただし、負荷の高い仮想マシンから選択することで、少ない数の物理サーバに仮想マシンを集めることができる。また、メモリ使用量の小さい仮想マシンから選択することで、ライブマイグレーションにかかるネットワークの負荷を低減することができる。 When the rearrangement is executed for each virtual machine, the order in which the virtual machines are selected may be arbitrary. However, virtual machines can be collected on a small number of physical servers by selecting from virtual machines with a high load. In addition, by selecting a virtual machine with a small memory usage, it is possible to reduce the network load related to live migration.
図１３は、図６で示した優先順位の例に従って優先順位の高い１０台の物理サーバを電源オン状態にした物理サーバの配置を示している。なお、図１３では物理サーバ１０の符号１０は図示していない。最上段の電力効率の良い物理サーバが優先的に使用され、それ以外の物理サーバは隣り合った物理サーバが電源オン状態にならないように使用されている。これによって、ホットスポットの発生を防止し消費電力を削減することができる。
FIG. 13 shows an arrangement of physical servers in which 10 physical servers with high priorities are powered on according to the example of priorities shown in FIG. In FIG. 13,
以上説明したように、本実施形態の制御装置１００によれば、電力効率の高い物理サーバを優先し、また、隣接する物理サーバがなるべく連続する優先順位を持たないように付けられた物理サーバの優先順位に基づき、各仮想マシンを当該仮想マシンをホスト可能な最も優先順位の高い物理サーバに移送するステップを繰り返すことで、優先順位の高い物理サーバに仮想マシンを集め、仮想マシンをホストしていない物理サーバを電源オフ状態にすることで消費電力を削減することができる。
As described above, according to the
本実施形態では、各物理サーバ１０に重複しない一意に決められた優先順位を用いることで、仮想マシンをその仮想マシンを配置可能な最も優先順位の高い物理サーバに移送させるという処理を繰り返すだけで、仮想マシンをできる限り少ない台数の物理サーバに効率よく集約することができる。このように、シンプルな構成で、高効率な再配置を実現することができる。
In the present embodiment, by using a uniquely determined priority order that does not overlap each
（第２の実施の形態）
本発明の実施の形態に係る情報システムは、上記実施形態とは、各仮想マシンの最新の負荷だけでなく過去に受信した負荷を含む負荷履歴情報に基づいて、再配置を行う点で相違する。本実施形態は、上記実施形態の仮想マシンの移送頻度を低くしたものである。
(Second Embodiment)
The information system according to the embodiment of the present invention is different from the above-described embodiment in that relocation is performed based on load history information including not only the latest load of each virtual machine but also a load received in the past. . In the present embodiment, the transfer frequency of the virtual machine of the above embodiment is lowered.
ライブマイグレーションによる仮想マシンの移送では、仮想マシンが使用している全てのメモリの内容がネットワーク３を介して転送される。また、移送元と移送先の双方でＣＰＵに負荷がかかる。このために、移送の頻度が高いとネットワークとＣＰＵが高負荷になりシステムの性能が低下する。システムの性能を低下させないためには、効果の低い、または、逆効果の移送を避け効果的な再配置をする必要がある。
In the transfer of a virtual machine by live migration, the contents of all memories used by the virtual machine are transferred via the
効果の高い移送をするためには、仮想マシンが近い将来に必要とするＣＰＵクロックなどを正確に見積もる必要がある。たとえば、５分おきに再配置する場合、将来１５分から３０分程度の負荷変動を見込んで仮想マシンが必要とするＣＰＵクロックなどを見積もり、見積もった量に基づいて仮想マシンを配置することで仮想マシンの移送頻度を低くすることができる。 In order to perform highly efficient transfer, it is necessary to accurately estimate a CPU clock or the like that the virtual machine will need in the near future. For example, in the case of relocation every 5 minutes, the CPU clock required by the virtual machine is estimated in anticipation of a load fluctuation of about 15 to 30 minutes in the future, and the virtual machine is arranged based on the estimated amount. The frequency of transfer can be reduced.
図１４は、本発明の実施の形態に係る情報システムの構成を示す機能ブロック図である。同図に示すように、本実施形態の制御装置２００は、上記実施形態の制御装置１００と同じ、負荷情報取得部１０２と、優先順位情報記憶部１０６と、制約条件情報記憶部１０８と、物理サーバ制御部１１２と、配置制御部１１４と、を備えるとともに、さらに、負荷履歴情報記憶部２０２と、負荷推定部２０４と、選択部２０６と、を備える。図１の上記実施形態の制御装置１００と同様の構成要素については図１の制御装置１００と同一の符号を付し、詳細な説明を省略する。
FIG. 14 is a functional block diagram showing the configuration of the information system according to the embodiment of the present invention. As shown in the figure, the
本実施形態の制御装置２００は、負荷情報取得部１０２が現在および過去に取得した負荷の情報を含む負荷情報（負荷履歴情報）を記憶する負荷履歴情報記憶部２０２と、負荷情報（負荷履歴情報）から各仮想マシンが将来に必要とする計算機資源の量を見積もる負荷推定部２０４と、見積もった結果と、優先順位情報と、制約条件情報と、に基づいて、物理サーバを選択する選択部２０６と、をさらに備える。
The
負荷履歴情報記憶部２０２は、たとえば、各仮想マシンが将来に必要とする計算機資源の量として、仮想マシンが将来必要とするＣＰＵクロックなどを見積もれるようにするために、最新の負荷だけでなく過去の負荷を含む負荷履歴情報を記憶する。負荷推定部２０４は、負荷履歴情報を負荷履歴情報記憶部２０２から取得し、各仮想マシンが将来必要とするＣＰＵクロックなどを見積もる。各仮想マシンが将来に必要とする計算機資源の量として、ＣＰＵクロックに限らず他の計算機資源、たとえば、ＣＰＵコア数、メモリ容量、ストレージ容量、ネットワーク帯域、接続されているデバイスの数などの仮想マシンの使用量、および、物理サーバ１０が提供できる量を含めてもよい。
The load history
負荷履歴情報記憶部２０２に記憶される負荷履歴情報の一例を図１５に示す。同図に示すように、負荷履歴情報は時系列データとして記憶することができる。
An example of the load history information stored in the load history
図１５に示した負荷履歴情報から、仮想マシンＩＤがＶＭ０３３である行のうち新しいものから１１件を抽出した例を図１６に示す。同図に示すとおり、仮想マシンをホストする物理サーバは当該仮想マシンの移送によって変化することがある。 FIG. 16 shows an example in which 11 cases are extracted from the new one of the rows with the virtual machine ID VM033 from the load history information shown in FIG. As shown in the figure, the physical server that hosts the virtual machine may change due to the transfer of the virtual machine.
図１６に示すとおり、当該仮想マシンの最新のＣＰＵクロック使用量は１３６２ＭＨｚであるが、過去のＣＰＵクロック使用量によると１分後にも大きくＣＰＵクロック使用量が変化する可能性が高いことは明らかであり、このように変動の大きい負荷に対して最新のＣＰＵクロック使用量が当該仮想マシンが必要とするＣＰＵクロックであると見積もることは不適切である。最新のＣＰＵクロック使用量だけに基づいて移送して移送後にＣＰＵクロック使用量が大きく変動すると、再度移送の対象となり移送頻度が高くなってネットワークとＣＰＵの負荷が増大する。 As shown in FIG. 16, the latest CPU clock usage of the virtual machine is 1362 MHz, but according to the past CPU clock usage, it is clear that there is a high possibility that the CPU clock usage will change greatly even after one minute. Thus, it is inappropriate to estimate that the latest CPU clock usage amount is the CPU clock required by the virtual machine for such a large load. If the CPU clock usage is greatly changed after the transfer based on only the latest CPU clock usage, it becomes a target of transfer again, and the transfer frequency increases, increasing the load on the network and the CPU.
変動の大きい負荷に対して仮想マシンが必要とするＣＰＵクロックなどを適切に見積もるためには、たとえば、負荷履歴情報のパーセンタイル値や移動平均を使うことができる。図１６に示した例で、たとえば、９５パーセンタイル値を１１個の数値の最大の数と二番目に大きい数の相加平均であると定義すると、９５パーセンタイル値は１８９９ＭＨｚと計算できる。また、負荷の変動パターンがモデル化されている場合、モデルを用いた予測を行ってもよい。たとえば、午前３時にバックアップ処理のため負荷が高くなると分かっている仮想マシンに対して、午前３時前後に多くの見積もりをすることができる。 In order to appropriately estimate the CPU clock required by the virtual machine for a load with large fluctuations, for example, the percentile value or moving average of the load history information can be used. In the example shown in FIG. 16, for example, if the 95th percentile value is defined as the arithmetic average of the maximum number of 11 numbers and the second largest number, the 95th percentile value can be calculated as 1899 MHz. Further, when the load fluctuation pattern is modeled, prediction using the model may be performed. For example, for a virtual machine that is known to have a high load due to backup processing at 3 am, many estimates can be made around 3 am.
本実施形態では、負荷履歴情報のパーセンタイル値や移動平均を使った例を説明したが、これに限定されるものではなく、たとえば、パーセンタイル値や移動平均にマージンを加えたり、負荷変動を一次関数やその他の関数にあてはめて予測したりしてもよい。
なお、前記見積もりは負荷推定部２０４ではなく物理サーバで行って、見積もった結果を負荷情報（負荷履歴情報）として制御装置１００に送信してもよい。このようにすれば、大規模なシステムにおいて制御装置１００の計算量が増大することを防ぐことができる。
In the present embodiment, an example using the percentile value or moving average of the load history information has been described. However, the present invention is not limited to this example. Or may be applied to other functions.
The estimation may be performed by the physical server instead of the
さらに移送頻度を低くし、ネットワークとＣＰＵの負荷を低減するためには、効果の低い移送は行わないようにする。具体的には、物理サーバに対して適切な負荷の範囲を設定しておき、すでに適切な負荷の物理サーバからは仮想マシンを移送しない。たとえば、３０％から７０％までを適切な負荷の範囲とすれば、５０％の負荷の物理サーバからは仮想マシンを移送しない。ただし、常にこのようにすると優先順位が守られる保証がなくなるため、ネットワーク帯域およびＣＰＵ使用率に余裕があるときは移送を行ってもよい。あるいは、移送時間や時刻を制限してもよい。 Furthermore, in order to reduce the transfer frequency and reduce the load on the network and the CPU, transfer that is not effective is not performed. Specifically, an appropriate load range is set for a physical server, and a virtual machine is not transferred from a physical server that already has an appropriate load. For example, if an appropriate load range is 30% to 70%, a virtual machine is not transferred from a physical server with a load of 50%. However, if this is always done, there is no guarantee that the priority order will be maintained, so transfer may be performed when there is a margin in the network bandwidth and CPU usage rate. Or you may restrict | limit transfer time and time.
本実施形態の制約条件情報記憶部１０８が記憶する制約条件情報の一例を図１７に示す。図１７に示すとおり、ＣＰＵクロックとメモリ容量については、４０％から７０％までが適切な負荷の範囲である。ネットワーク帯域については、１０％から４０％までが適切な負荷の範囲である。図１７の制約条件情報は一例であり、たとえば、適正負荷は５５％±１５％など中央値と中央値からの許容範囲の組み合わせでもよい。
An example of the constraint condition information stored in the constraint condition
本実施形態のコンピュータプログラムは、制御装置２００を実現するコンピュータに、負荷履歴情報記憶部２０２を参照し、各物理サーバ１０上で動作する仮想マシン毎の現在および過去の負荷を示す負荷情報（負荷履歴情報）を取得する手順と、優先順位情報記憶部１０６を参照し、優先順位情報を取得する手順と、制約条件情報記憶部１０８を参照し、制約条件情報を取得する手順と、負荷情報（負荷履歴情報）から各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、優先順位情報と、制約条件情報と、に基づいて、物理サーバ１０上で動作させる仮想マシン毎に、当該仮想マシンの制約条件を満足する最も優先順位の高い物理サーバ１０を選択する手順と、仮想マシン毎に、物理サーバ１０の選択、および、選択された物理サーバ１０への仮想マシンの配置を順に繰り返す手順と、仮想マシン毎に、当該仮想マシンを選択された最も優先順位の高い物理サーバ１０に配置するように制御し、すべての仮想マシンを物理サーバ１０に配置制御する手順と、を実行させるように記述されている。
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記憶媒体に記録されてもよい。
The computer program of the present embodiment refers to the load history
The computer program of this embodiment may be recorded on a computer-readable storage medium.
このように構成された本実施形態の情報システムの動作について説明する。図１８は、本発明の実施の形態に係る制御装置２００の動作の一例を示すフローチャートである。以下、図１４乃至図１８を用いて説明する。
The operation of the information system of the present embodiment configured as described above will be described. FIG. 18 is a flowchart showing an example of the operation of the
本実施形態の制御装置２００のデータ処理方法は、制御装置２００が、負荷履歴情報記憶部２０２を参照し、各物理サーバ１０上で動作する仮想マシン毎の現在および過去の負荷を示す負荷情報（負荷履歴情報）を取得し（ステップＳ１０１）、優先順位情報記憶部１０６を参照し、優先順位情報を取得し、制約条件情報記憶部１０８を参照し、制約条件情報を取得し、負荷情報（負荷履歴情報）から各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と（ステップＳ２０２）、優先順位情報と、制約条件情報と、に基づいて、物理サーバ１０上で動作させる仮想マシン毎に、当該仮想マシンの制約条件を満足する最も優先順位の高い物理サーバ１０を選択し（ステップＳ２０３〜Ｓ２０５）、仮想マシン毎に、物理サーバ１０の選択、および選択された物理サーバ１０への仮想マシンの配置を順に繰り返し（ループＣ）、仮想マシン毎に、当該仮想マシンを選択された最も優先順位の高い物理サーバ１０に配置するように制御し（ループＤ）、すべての仮想マシンを物理サーバ１０に配置制御する。
In the data processing method of the
具体的には、本実施形態の制御装置２００は、上記実施形態の制御装置１００の図９のフローチャートと同様なステップＳ１０１と、ステップＳ１０５〜Ｓ１０９と、を有するとともに、さらに、以下に説明するステップＳ２０１およびＳ２０２を有する。
Specifically, the
まず、制御装置２００において、負荷情報取得部１０２が、各物理サーバ１０の負荷情報送信部１２から各物理サーバ１０の電源状態を含む負荷情報３０を受信して収集する（ステップＳ１０１）。ここで、負荷情報３０が受信できなかった場合は、当該物理サーバ１０は電源オフ状態またはサスペンド状態であると判定してもよい。負荷情報取得部１０２が受信した負荷情報３０は負荷履歴情報記憶部２０２に格納される。
First, in the
そして、選択部２０６が、物理サーバ１０がホストしているすべての仮想サーバについて、仮想マシン毎にループＣの処理を繰り返す（ステップＳ２０１）。ループＣでは、負荷推定部２０４が、負荷履歴情報記憶部２０２を参照し、負荷履歴情報を取得し、負荷履歴情報から各仮想マシンが将来に必要とする計算機資源の量を見積もる（ステップＳ２０２）。そして、選択部２０６が、制約条件情報記憶部１０８を参照し、制約条件情報を取得する。そして、選択部２０６が、仮想マシンをホストしている物理サーバが適正負荷であるかを制約条件情報に基づいて判定する（ステップＳ２０３）。前記判定で物理サーバが適正負荷であれば（ステップＳ２０３のＹＥＳ）、ステップＳ２０４のループＤを実行せずにステップ２０１のループＣの繰り返しを続行する。
Then, the
前記判定で物理サーバが適正負荷でない場合（ステップＳ２０３のＮＯ）、選択部２０６が、優先順位情報記憶部１０６を参照し、物理サーバ１０の優先順位に従って、優先順位の順に、すべての物理サーバ１０について、ループＤの処理を繰り返す（ステップＳ２０４）。ループＤでは、物理サーバ１０毎に以下の処理を繰り返す。
If the physical server is not at an appropriate load in the determination (NO in step S203), the
すなわち、選択部２０６が、負荷履歴情報と制約条件情報に基づいて、当該仮想マシンを当該物理サーバ１０に配置可能か否かを判定する。すなわち、当該物理サーバ１０に当該仮想マシンが配置された時、当該物理サーバ１０の制約条件を、当該物理サーバ１０が満足するかを負荷履歴情報に基づいて判定する（ステップＳ２０５）。
That is, the
ここで、電源オフ状態またはサスペンド状態の物理サーバ１０であっても、電源オン状態にすることで制約条件を満足する場合は満足すると判定する（ステップＳ２０５のＹＥＳ）。制約条件を満たさない場合（ステップＳ２０５のＮＯ）、ステップＳ２０４に戻り、次の優先順位の物理サーバ１０について、ループＤを繰り返す。制約条件を満足した場合（ステップＳ２０５のＹＥＳ）、選択部２０６が、当該物理サーバ１０を当該仮想マシンの移送先に決定してステップＳ１０５からステップＳ１０８の処理に移り、ループＤの繰り返しを終了する。
Here, even if the
そして、ステップＳ２０５で制約条件を満たすと判定したとき（ＹＥＳ）、選択部２０６が、当該仮想マシンは当該物理サーバ１０で既にホストされているかを判定する（ステップＳ１０５）。ホストされていれば（ステップＳ１０５のＹＥＳ）、ステップＳ１０６からステップＳ１０８を実行しない。すなわち、移送先と移送元が同一の物理サーバ１０であれば移送ステップをスキップする。
When it is determined in step S205 that the constraint condition is satisfied (YES), the
移送先と移送元の物理サーバ１０が異なれば（ステップＳ１０５のＮＯ）、選択部１１０が、負荷履歴情報記憶部２０２を参照し、物理サーバ１０が電源オン状態であるかを判定する（ステップＳ１０６）。電源オン状態でなければ（ステップＳ１０６のＮＯ）、物理サーバ制御部１１２が、物理サーバ１０の電源制御部１６に当該物理サーバ１０を電源オン状態にするコマンドをネットワーク３を介して送信する（ステップＳ１０７）。その後、すなわち、当該物理サーバ１０が電源オンされて、制御装置２００からのコマンドを受信して実行可能な状態になってから、配置制御部１１４が、当該仮想マシンを当該物理サーバ１０に移送するコマンドをネットワーク３を介して送信する（ステップＳ１０８）。そして、次の仮想サーバについて、ループＣを繰り返す。
If the transfer destination and the transfer source
すべての仮想マシンについて、ループＣの繰り返しが完了すると、物理サーバ制御部１１２が、仮想マシンを１台もホストしていない物理サーバ１０の電源制御部１６に当該物理サーバ１０を電源オフ状態にするコマンドをネットワーク３を介して送信する（ステップＳ１０９）。
When the repetition of the loop C is completed for all virtual machines, the physical
上述したように、本実施形態では、ステップＳ２０２とステップＳ２０５の判定では、最新の負荷情報だけに基づいて判定するのではなく、負荷履歴情報記憶部２０２に記憶された負荷履歴情報を用いて見積もった仮想マシンが必要とするＣＰＵクロックなどに基づいて判定する。
As described above, in the present embodiment, the determination in step S202 and step S205 is not performed based on only the latest load information, but is estimated using the load history information stored in the load history
以上説明したように、本実施形態の制御装置２００によれば、図１の上記実施形態と同様な効果を奏するとともに、負荷履歴情報から仮想マシンが近い将来必要とするＣＰＵクロックなどを見積もって配置することと、制約条件情報に基づいて適正負荷の物理サーバからは仮想マシンを移送しないことで、仮想マシンの移送頻度を低くしネットワークとＣＰＵの負荷を低減することができる。
As described above, according to the
（第３の実施の形態）
本発明の実施の形態に係る情報システムは、上記実施形態とは、上記実施形態の制約条件情報を自動的に調節する点で相違する。
(Third embodiment)
The information system according to the embodiment of the present invention is different from the above embodiment in that the constraint condition information of the above embodiment is automatically adjusted.
図１および図１４のいずれの上記実施形態においても、制約条件情報は固定されていたが、適切な制約条件をあらかじめ設定しておくことは難しい。なぜなら、適切な制約条件は負荷の変動パターンによって異なり、負荷の変動パターンは未知であることが多いためである。本実施形態では、物理サーバの負荷が配置上限しきい値を超過した時間に応じて配置上限しきい値を自動的に調節し、システムが提供するサービスの品質を一定に保つ例を説明する。 In any of the above-described embodiments of FIGS. 1 and 14, the constraint condition information is fixed, but it is difficult to set appropriate constraint conditions in advance. This is because the appropriate constraint condition varies depending on the load fluctuation pattern, and the load fluctuation pattern is often unknown. In the present embodiment, an example will be described in which the placement upper limit threshold value is automatically adjusted according to the time when the load on the physical server exceeds the placement upper limit threshold value, and the quality of service provided by the system is kept constant.
図１９は、本発明の実施の形態に係る情報システムの構成を示す機能ブロック図である。同図に示すように、本実施形態の制御装置３００は、図１４の上記実施形態の制御装置２００と同じ、負荷情報取得部１０２と、優先順位情報記憶部１０６と、制約条件情報記憶部１０８と、物理サーバ制御部１１２と、配置制御部１１４と、負荷履歴情報記憶部２０２と、負荷推定部２０４と、選択部２０６と、を備えるとともに、さらに、制約条件情報更新部３０２と、目標値情報記憶部３０４と、を備える。図１４の上記実施形態の制御装置２００と同様の構成要素については図１４の制御装置２００と同一の符号を付し、詳細な説明を省略する。
FIG. 19 is a functional block diagram showing the configuration of the information system according to the embodiment of the present invention. As shown in the figure, the
なお、本実施形態は、図１４の上記実施形態の制御装置２００の構成の拡張として説明しているが、これに限定されない。たとえば、図１の上記実施形態の制御装置１００の構成の拡張とすることもできる。
In addition, although this embodiment has been described as an extension of the configuration of the
本実施形態の制御装置３００は、システムの評価値の目標値を示す目標値情報を記憶する目標値情報記憶部３０４と、制約条件情報を更新する制約条件情報更新部３０２と、をさらに備え、負荷履歴情報記憶部２０２は、現在および過去に取得した負荷の情報を含む負荷情報（負荷履歴情報）をさらに記憶し、制約条件情報更新部３０２は、負荷情報（負荷履歴情報）から評価値を算出し、算出した評価値と目標値を比較し、評価値が目標値に近づくように制約条件情報記憶部１０８の制約条件情報を更新する制約条件更新処理を繰り返し実行する。
The
目標値情報記憶部３０４は、達成すべき目標値を示す目標値情報を記憶する。制約条件情報更新部３０２は、負荷履歴情報と目標値情報に基づいて制約条件情報を更新する。
The target value
図２０に、目標値情報記憶部３０４に記憶される目標値情報の一例を示す。同図に示すように、目標値情報には、たとえば、物理サーバの負荷が配置上限しきい値を超えた時間の割合の平均を示す物理サーバ平均高負荷率を含めることができる。図の例では、物理サーバ平均高負荷率は、上限が６％、下限が４％である。物理サーバ平均高負荷率は、たとえば、過去１時間に物理サーバの負荷が配置上限しきい値を超過した時間を１時間で割って物理サーバ高負荷率を算出し、全ての物理サーバで物理サーバ高負荷率を相加平均することで求められる。たとえば、過去１時間に物理サーバの負荷が配置上限しきい値を超えた時間が合計３分であれば、当該物理サーバの物理サーバ高負荷率は５％である。また、負荷が配置上限しきい値を超えた物理サーバで仮想マシンがホストされた時間の割合の平均を示す仮想マシン平均高負荷率を用いてもよい。あるいは、評価値としては、物理サーバ平均高負荷率や仮想マシン平均高負荷率など以外に、ウェブサーバの応答速度などを用いることもできる。
FIG. 20 shows an example of target value information stored in the target value
本実施形態のコンピュータプログラムは、制御装置３００を実現するコンピュータに、上記実施形態の手順に加え、目標値情報記憶部３０４を参照し、目標値情報を取得する手順と、負荷情報（負荷履歴情報）から評価値を算出する手順と、参照した評価値と目標値を比較する手順と、比較の結果に基づいて、評価値が目標値に近づくように、制約条件情報記憶部１０８の制約条件情報を更新する手順と、をさらに実行させるように記述されている。
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記憶媒体に記録されてもよい。
In addition to the procedure of the above embodiment, the computer program of the present embodiment refers to the target value
The computer program of this embodiment may be recorded on a computer-readable storage medium.
このように構成された本実施形態の情報システムの動作について説明する。図２１は、本発明の実施の形態に係る制御装置３００の動作の一例を示すフローチャートである。以下、図１９乃至図２１を用いて説明する。
The operation of the information system of the present embodiment configured as described above will be described. FIG. 21 is a flowchart showing an example of the operation of the
本実施形態の制御装置３００のデータ処理方法は、制御装置３００が、上記実施形態の処理に加え、目標値情報記憶部３０４を参照し、目標値情報を取得し、負荷情報（負荷履歴情報）から評価値を算出し、参照した評価値と目標値を比較し、比較の結果に基づいて、評価値が目標値に近づくように、制約条件情報記憶部１０８の制約条件情報を更新する（ステップＳ３０１）。
In the data processing method of the
具体的には、まず、制約条件情報更新部３０２が、負荷履歴情報記憶部２０２の負荷履歴情報と目標値情報記憶部３０４の目標値情報に基づいて、制約条件情報記憶部１０８の制約条件情報を更新する（ステップＳ３０１）。次に、選択部２０６により、負荷履歴情報記憶部２０２の負荷履歴情報と制約条件情報記憶部１０８の制約条件情報に基づいて選択された仮想マシンの再配置を配置制御部１１４が行う（ステップＳ３０２）。ステップＳ３０２は上記実施形態の図１８のフローチャートに示す動作と同等であるため詳細な説明は省略する。
Specifically, first, the constraint condition
次に、図２２を用いて、図２１のステップ３０１の具体的な動作例を説明する。まず、制約条件情報更新部３０２が、負荷履歴情報記憶部２０２から負荷履歴情報を取得し（ステップＳ４０１）、負荷履歴情報からたとえば、物理サーバ平均高負荷率などの評価値を算出する（ステップＳ４０２）。制約条件情報更新部３０２が、目標値情報記憶部３０４から目標値情報に含まれる目標値を取得する（ステップＳ４０３）。次に、前記評価値が前記目標値の下限を下回るかを判定する（ステップＳ４０４）。下回る場合は（ステップＳ４０４のＹＥＳ）、評価値を上げるように制約条件情報を更新して（ステップＳ４０５）、処理を終了する。
Next, a specific operation example of
具体的には、たとえば、物理サーバ平均高負荷率の目標値の下限が４％で負荷履歴情報から算出した評価値が３％であれば、高負荷率を上げるために配置上限しきい値に１％を加算する。 Specifically, for example, if the lower limit of the target value of the physical server average high load factor is 4% and the evaluation value calculated from the load history information is 3%, the placement upper limit threshold is set to increase the high load factor. Add 1%.
前記判定の結果評価値が目標値を下回らなかった場合は（ステップＳ４０４のＮＯ）、評価値が目標値の上限を上回るかを判定する（ステップＳ４０６）。上回る場合は（ステップＳ４０６のＹＥＳ）、評価値を下げるように制約条件情報を更新して（ステップＳ４０７）、処理を終了する。 As a result of the determination, if the evaluation value does not fall below the target value (NO in step S404), it is determined whether the evaluation value exceeds the upper limit of the target value (step S406). If it exceeds (YES in step S406), the constraint condition information is updated so as to lower the evaluation value (step S407), and the process ends.
具体的には、たとえば、物理サーバ平均高負荷率の目標値の上限が６％で負荷履歴情報から算出した評価値が７％であれば、高負荷率を下げるために配置上限しきい値から１％を減算する。これにより、負荷の変動パターンが未知であっても物理サーバ平均高負荷率を目標値前後に制御することができる。
一方、前記判定の結果評価値が目標値を上回らなかった場合は（ステップＳ４０６のＮＯ）、処理を終了する。
Specifically, for example, if the upper limit of the target value of the physical server average high load factor is 6% and the evaluation value calculated from the load history information is 7%, in order to lower the high load factor, the upper limit threshold is set. Subtract 1%. As a result, even if the load fluctuation pattern is unknown, the physical server average high load factor can be controlled around the target value.
On the other hand, if the result of the determination is that the evaluation value does not exceed the target value (NO in step S406), the process ends.
以上説明したように、本実施形態の制御装置３００によれば、図１および図１４の上記実施形態と同様な効果を奏するとともに、システムの評価値が目標値に達しているかを判定して達していなければ達するように制約条件情報を自動的に更新することで、仮想マシンの負荷変動のパターンが未知の場合でも本装置を適用可能にする。
As described above, according to the
（第４の実施の形態）
本発明の実施の形態に係る情報システムは、上記実施形態とは、システムの運用中に自動的に優先順位情報を更新する点で相違する。本実施形態は、図１の上記実施形態の信頼性を高めたものである。
(Fourth embodiment)
The information system according to the embodiment of the present invention is different from the above-described embodiment in that priority information is automatically updated during operation of the system. In the present embodiment, the reliability of the above-described embodiment of FIG. 1 is enhanced.
優先順位が固定されていると、電源状態の切り替えが一部の物理サーバで頻繁に行われることがある。たとえば、平均３０台の物理サーバが電源オン状態にされるシステムにおいては、３０番目付近の優先順位を持つ物理サーバの電源状態が頻繁に切り替わる可能性が高い。電源状態の頻繁な切り替えは、物理サーバの故障につながる場合がある。たとえば、一般的にハードディスク装置は電源状態の切り替えによって寿命が縮む。 If the priority order is fixed, the power supply state may be frequently switched in some physical servers. For example, in a system in which an average of 30 physical servers are powered on, there is a high possibility that the power state of a physical server having a priority order near the 30th is frequently switched. Frequent switching of the power state may lead to failure of the physical server. For example, in general, the life of a hard disk device is shortened by switching the power supply state.
第４の実施の形態では、優先順位情報を定期的に更新することで一部の物理サーバで電源状態の切り替えが頻繁に発生することを防止する。また、物理サーバの信頼性情報を参照し信頼性の低い物理サーバに低い優先順位をつける。これらにより、システムの信頼性を高める。 In the fourth embodiment, the priority order information is periodically updated to prevent frequent switching of the power state in some physical servers. Also, by referring to the reliability information of the physical server, a low priority is assigned to the physical server with low reliability. These enhance the reliability of the system.
図２３は、本発明の実施の形態に係る情報システムの構成を示す機能ブロック図である。同図に示すように、本実施形態の制御装置４００は、図１の上記実施形態の制御装置１００と同じ、負荷情報取得部１０２と、負荷情報記憶部１０４と、優先順位情報記憶部１０６と、制約条件情報記憶部１０８と、選択部１１０と、物理サーバ制御部１１２と、配置制御部１１４と、を備えるとともに、さらに、信頼性情報記憶部４０２と、優先順位情報更新部４０４と、を備える。図１の上記実施形態の制御装置１００と同様の構成要素については図１の制御装置１００と同一の符号を付し、詳細な説明を省略する。
FIG. 23 is a functional block diagram showing the configuration of the information system according to the embodiment of the present invention. As shown in the figure, the
なお、本実施形態は、図１の上記実施形態の制御装置１００の構成の拡張として説明しているが、これに限定されない。たとえば、図１４の上記実施形態の制御装置２００または図１９の上記実施形態の制御装置３００の構成の拡張とすることもできる。
In addition, although this embodiment has been described as an extension of the configuration of the
本実施形態の制御装置４００は、本実施形態の物理サーバ４０の信頼性を示す信頼性情報を記憶する信頼性情報記憶部４０２と、優先順位情報を更新する優先順位情報更新部４０４と、をさらに備え、優先順位情報更新部４０４は、信頼性情報に基づき、信頼性の低い物理サーバの優先順位を低くし、信頼性の高い物理サーバの優先順位を高くする優先順位更新処理を繰り返し実行する。
The
優先順位情報更新部４０４は、優先順位情報を更新する。信頼性情報記憶部４０２は、物理サーバの信頼性を示す信頼性情報を記憶する。
The priority order
図２４に、本実施形態の物理サーバ群４２の物理サーバ４０の配置位置の一例を示す。同図に示すとおり、収容筐体５０には物理サーバＳ２１からＳ３５が５列３段に配置されており、各物理サーバ４０の電力効率は同じとする。物理サーバに付けられた「＃」に続く数値は優先順位を示しており、数値が小さいほど優先順位は高い。図２４に示すとおり、隣り合った物理サーバ同士は連続した優先順位をもたず、これによりホットスポットの発生を防止する。
FIG. 24 shows an example of the arrangement positions of the
図２５は、信頼性情報記憶部４０２に記憶される信頼性情報の一例である。システム管理者などのユーザは、システムの過去の障害履歴やハードウェアの診断情報などから各物理サーバの信頼性を判断し、信頼性が高いか低いかを設定することができる。すなわち、ユーザの設定を受け付ける受付部（不図示）と、信頼性情報記憶部４０２の信頼性情報の設定の変更を行うことができる。あるいは、物理サーバの信頼性を自動的に評価するハードウェアおよびソフトウェアがあれば、前記評価の結果を自動的に信頼性情報記憶部４０２に反映してもよい。
FIG. 25 is an example of reliability information stored in the reliability
本実施形態のコンピュータプログラムは、制御装置４００を実現するコンピュータに、上記実施形態の手順に加え、信頼性情報記憶部４０２を参照し、信頼性情報を取得する手順と、信頼性情報に基づき、信頼性の低い物理サーバ１０の優先順位が低く、信頼性の高い物理サーバ１０の優先順位が高くなるように、優先順位情報記憶部１０６の優先順位情報を更新する手順と、を実行させるように記述されている。
本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記憶媒体に記録されてもよい。
The computer program of the present embodiment refers to the computer that realizes the
The computer program of this embodiment may be recorded on a computer-readable storage medium.
このように構成された本実施形態の情報システムの動作について説明する。図２６は、本発明の実施の形態に係る制御装置４００の動作の一例を示すフローチャートである。以下、図２３乃至図２６を用いて説明する。
The operation of the information system of the present embodiment configured as described above will be described. FIG. 26 is a flowchart showing an example of the operation of the
本実施形態の制御装置４００のデータ処理方法は、制御装置４００が、上記実施形態のデータ処理に加え、さらに、信頼性情報記憶部４０２を参照し、信頼性情報を取得し（ステップＳ５０１）、信頼性情報に基づき、信頼性の低い物理サーバ１０の優先順位が低く（ステップＳ５０４）、信頼性の高い物理サーバ１０の優先順位が高くなるように（ステップＳ５０３）、優先順位情報記憶部１０６の優先順位情報を更新する（ステップＳ５０８）。
In the data processing method of the
具体的には、優先順位情報更新部４０４が、まず信頼性情報を信頼性情報記憶部４０２から取得し（ステップＳ５０１）、優先順位情報記憶部１０６から優先順位情報を取得する（ステップＳ５０２）。次に、優先順位情報更新部４０４が、信頼性情報を参照し、信頼性が高い物理サーバの優先順位の百の位を０にする（ステップＳ５０３）。また同様に、信頼性が低い物理サーバの優先順位の百の位を１にする（ステップＳ５０４）。
Specifically, the priority
そして、優先順位情報更新部４０４が、全ての物理サーバの優先順位に１を加算する（ステップＳ５０５）。このとき、優先順位が１６の物理サーバがあれば優先順位を１に変更する（ステップＳ５０６）。また、優先順位が１１６の物理サーバがあれば優先順位を１０１に変更する（ステップＳ５０７）。そして、優先順位情報記憶部１０６の優先順位情報を更新する（ステップＳ５０８）。上記の動作は、たとえば、１時間おきに行われる。更新のタイミングは、特に限定されない。予め決められた時間おきに実行されてもよいし、予めスケジュールされた日時に実行されてもよいし、システム管理者などのユーザの更新要求を受け付けた時に実行されてもよい。
Then, the priority order
図２７は、図２４の優先順位を、図２５の信頼性情報を参照して更新した例を示す。一部の物理サーバの電源状態が頻繁に切り替わらないように優先順位が変更され、信頼性の低い物理サーバＳ２６に低い優先順位、図では、♯１１３をつけることで、信頼性の低い物理サーバＳ２６は優先的に選ばれ難くなるため、システムの安定性が高まる。図２８に、図２７の優先順位をさらに図２５の信頼性情報を参照して更新した例を示す。このように、優先順位をずらしながら変更することで優先順位を更新してもホットスポットの発生を防止できる。 FIG. 27 shows an example in which the priority order of FIG. 24 is updated with reference to the reliability information of FIG. The priority is changed so that the power states of some physical servers do not switch frequently, and a low priority, # 113 in the figure, is assigned to the physical server S26 with low reliability, so that the physical server S26 with low reliability is assigned. Since it is difficult to select the first priority, the stability of the system is increased. FIG. 28 shows an example in which the priority order of FIG. 27 is further updated with reference to the reliability information of FIG. Thus, even if the priority is updated by changing the priority while shifting the priority, the occurrence of a hot spot can be prevented.
優先順位のローテーションの仕方は、これに限定されるものではなく、様々な態様が考えられる。たとえば、新しい物理サーバ１０や電力効率のよい物理サーバ１０は、高い優先順位に固定しておき、古い物理サーバ１０や電力効率の悪い物理サーバ１０など、優先順位が低いものの中で、優先順位のローテーションを行ってもよい。あるいは、優先順位が一番高いものの優先順位を一番低くしてもよいし、逆に一番低いものを一番高くするようにローテーションしてもよい。さらに、物理サーバ１０の電源のオンオフ回数を記録して、上限を超えた物理サーバ１０の優先順位を低くするようにしてもよい。あるいは、ハードディスクのエラー回数を検出し、上限を超えた物理サーバ１０の優先順位を低くするようにしてもよい。
The method of rotating the priority order is not limited to this, and various modes are conceivable. For example, the new
本実施形態の制御装置４００によれば、上記実施形態の効果を奏するとともに、優先順位情報を定期的に更新することで一部の物理サーバで電源状態の切り替えが頻繁に発生することを防止し、物理サーバの信頼性情報を参照し信頼性の低い物理サーバに低い優先順位をつけることで、システムの信頼性を高めることができる。
According to the
以上、説明したように、本発明の実施の形態によれば、仮想マシンの配置先とする物理サーバを、様々な要因を考慮して柔軟に決定することが可能となる。
たとえば、物理サーバと仮想マシンの負荷だけでなく、各物理サーバの電力効率も考慮して仮想マシンの配置先とする物理サーバを決定することが可能となる。これにより、情報システムの消費電力を全体として最適化することが可能となる。
As described above, according to the embodiment of the present invention, it is possible to flexibly determine a physical server as a virtual machine placement destination in consideration of various factors.
For example, it is possible to determine a physical server as a virtual machine placement destination in consideration of not only the load of the physical server and the virtual machine but also the power efficiency of each physical server. As a result, the power consumption of the information system can be optimized as a whole.
また、たとえば、物理サーバと仮想マシンの負荷だけでなく、各物理サーバの配置位置も考慮して仮想マシンの配置先とする物理サーバを決定することが可能となる。これにより、空調装置までも含めた全体の消費電力を最適化することが可能となる。また、たとえば、物理サーバと仮想マシンの負荷だけでなく、各物理サーバの信頼性も考慮して仮想マシンの配置先とする物理サーバを決定することが可能となる。これにより、システムの信頼性を高めることが可能となる。
本発明は、高密度に配置された物理サーバに仮想マシンを自律的に集約して消費電力を削減する制御装置の実現といった用途に適用できる。
Further, for example, it is possible to determine a physical server as a virtual machine placement destination in consideration of not only the load of the physical server and the virtual machine but also the placement position of each physical server. This makes it possible to optimize the overall power consumption including the air conditioner. Further, for example, it is possible to determine a physical server as a virtual machine placement destination in consideration of not only the load of the physical server and the virtual machine but also the reliability of each physical server. Thereby, it is possible to improve the reliability of the system.
The present invention can be applied to an application such as realizing a control device that autonomously aggregates virtual machines on physical servers arranged at high density to reduce power consumption.
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以下、参考形態の例を付記する。
１． 複数の物理サーバのいずれかに、少なくとも１つの仮想マシンを配置するように前記物理サーバを制御する配置制御手段と、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得手段と、
前記物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶手段と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶手段と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する選択手段と、を備え、
前記仮想マシン毎に、前記選択手段による前記物理サーバの選択、および前記配置制御手段による、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、前記配置制御手段は、前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する制御装置。
２． １．に記載の制御装置において、
前記負荷情報取得手段が現在および過去に取得した負荷の情報を含む負荷情報を記憶する負荷情報記憶手段をさらに備え、
前記選択手段は、前記負荷情報から各前記仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバを選択する制御装置。
３． ２．に記載の制御装置において、
システムの評価値の目標値を示す目標値情報を記憶する目標値情報記憶手段と、
前記制約条件情報を更新する制約条件更新手段と、をさらに備え、
前記制約条件更新手段は、前記負荷情報から評価値を算出し、算出した前記評価値と前記目標値を比較し、前記評価値が前記目標値に近づくように、前記制約条件情報記憶手段の前記制約条件情報を更新する制約条件更新処理を繰り返し実行する制御装置。
４． １．乃至３．いずれかに記載の制御装置において、
前記制約条件情報記憶手段は、前記物理サーバが前記仮想マシンの移送先または移送元となるときの制約条件を含む制約条件情報をさらに記憶し、
前記選択手段は、前記制約条件情報に基づいて制約条件を満足しない物理サーバを移送先または移送元の候補として選択しない制御装置。
５． １．乃至４．いずれかに記載の制御装置において、
前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶手段と、
前記優先順位情報記憶手段の前記優先順位情報を更新する優先順位情報更新手段と、をさらに備え、
前記優先順位情報更新手段は、前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位を低くし、前記信頼性の高い物理サーバの前記優先順位を高くする優先順位更新処理を繰り返し実行する制御装置。
６． １．乃至５．いずれかに記載の制御装置において、
前記優先順位情報記憶手段は、電力効率の高い物理サーバに高い優先順位をつけるとともに、前記物理サーバどうしの相対位置を考慮して前記優先順位をつけた前記優先順位情報を記憶する制御装置。
７． １．乃至６．いずれかに記載の制御装置において、
前記仮想マシンが１つも動作していない物理サーバに対して、当該物理サーバの電源をオフ、または、サスペンド状態にするよう制御するとともに、
前記仮想マシンを配置する際、配置先の物理サーバの電源状態を確認し、当該物理サーバの電源がオフまたはサスペンド状態の場合、当該物理サーバの電源をオンするように制御する電源制御手段をさらに備える制御装置。
８． 制御装置のデータ処理方法であって、
前記制御装置が、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、を備え、
前記制御装置が、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得し、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得し、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得し、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択し、
前記仮想マシン毎に、前記物理サーバの選択、および選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する制御装置のデータ処理方法。
９． 制御装置のデータ処理方法であって、
前記制御装置が、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、
現在および過去に取得した負荷の情報を含む負荷情報を記憶する負荷履歴情報記憶装置と、を備え、
前記制御装置が、
前記負荷履歴情報記憶装置を参照し、各物理サーバ上で動作する前記仮想マシン毎の現在および過去の負荷を示す負荷情報を取得し、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得し、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得し、
前記負荷情報から前記各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択し、
前記仮想マシン毎に、前記物理サーバの選択、および選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する制御装置のデータ処理方法。
１０． ９．に記載の制御装置のデータ処理方法において、
前記制御装置は、システムの評価値の目標値を示す目標値情報を記憶する目標値情報記憶装置をさらに備え、
前記制御装置は、
前記目標値情報記憶装置を参照し、前記目標値情報を取得し、
前記負荷情報から評価値を算出し、
参照した前記評価値と前記目標値を比較し、
前記比較の結果に基づいて、前記評価値が前記目標値に近づくように、前記制約条件情報記憶装置の前記制約条件情報を更新する制御装置のデータ処理方法。
１１． ８．乃至１０．いずれかに記載の制御装置のデータ処理方法において、
前記制御装置の前記制約条件情報記憶装置は、前記物理サーバに仮想マシンの移送先または移送元となるときの制約条件を示す制約条件情報をさらに記憶し、
前記制御装置は、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記各仮想マシンをホストする物理サーバが前記制約条件を満足する場合に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択し、
移送先の物理サーバが選択された前記仮想マシンを、選択された前記物理サーバに移送させるように前記物理サーバを制御させる再配置処理を繰り返し実行する制御装置のデータ処理方法。
１２． ８．乃至１１．いずれかに記載の制御装置のデータ処理方法において、
前記制御装置は、前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶装置をさらに備え、
さらに、
前記制御装置は、
前記信頼性情報記憶装置を参照し、前記信頼性情報を取得し、
前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位が低く、前記信頼性の高い物理サーバの前記優先順位が高くなるように、前記優先順位情報記憶装置の前記優先順位情報を更新する制御装置のデータ処理方法。
１３． 少なくとも１つの仮想マシンが動作する複数の物理サーバと、
複数の前記物理サーバを制御する制御装置と、を備え、
前記制御装置は、
複数の前記物理サーバのいずれかに、少なくとも１つの仮想マシンを配置するように前記物理サーバを制御する配置制御手段と、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得手段と、
前記物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶手段と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶手段と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する選択手段と、を備え、
前記仮想マシン毎に、前記選択手段による前記物理サーバの選択、および前記配置制御手段による、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、前記配置制御手段は、前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する情報システム。
１４． １３．に記載の情報システムにおいて、
前記制御装置は、現在および過去に受信した負荷の情報を含む負荷情報を記憶する負荷情報記憶手段をさらに備え、
前記制御装置の前記選択手段は、前記負荷情報から各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバを選択する情報システム。
１５． １４．に記載の情報システムにおいて、
前記制御装置が、
システムの評価値の目標値を示す目標値情報を記憶する目標値情報記憶手段と、
前記制約条件情報を更新する制約条件更新手段と、をさらに備え、
前記制御装置の前記負荷情報記憶手段は、現在および過去に受信した負荷の情報を含む負荷情報をさらに記憶し、
前記制御装置の前記制約条件更新手段は、前記負荷情報から評価値を算出し、算出した前記評価値と前記目標値を比較し、前記評価値が前記目標値に近づくように前記制約条件情報記憶手段の前記制約条件情報を更新する制約条件更新処理を繰り返し実行する情報システム。
１６． １３．乃至１５．いずれかに記載の情報システムにおいて、
前記制御装置の前記制約条件情報記憶手段は、前記物理サーバが前記仮想マシンの移送先または移送元となるときの制約条件を含む制約条件情報をさらに記憶し、
前記制御装置の前記選択手段は、前記制約条件情報に基づいて制約条件を満足しない物理サーバを移送先または移送元の候補として選択しない情報システム。
１７． １３．乃至１６．いずれかに記載の情報システムにおいて、
前記制御装置は、
前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶手段と、
前記優先順位情報記憶手段の前記優先順位情報を更新する優先順位情報更新手段と、をさらに備え、
前記制御装置の前記優先順位情報更新手段は、前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位を低くし、前記信頼性の高い物理サーバの前記優先順位を高くする優先順位更新処理を繰り返し実行する情報システム。
１８． 制御装置を実現するコンピュータが、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、を備え、
コンピュータに、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する手順と、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得する手順と、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得する手順と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する手順と、
前記仮想マシン毎に、前記物理サーバの選択、および、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返す手順と、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する手順と、を実行させるためのプログラム。
１９． 制御装置を実現するコンピュータが、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置するときの制約条件を示す制約条件情報を記憶する制約条件情報記憶装置と、
現在および過去に取得した負荷の情報を含む負荷情報を記憶する負荷履歴情報記憶装置と、を備え、
コンピュータに、
前記負荷履歴情報記憶装置を参照し、各物理サーバ上で動作する前記仮想マシン毎の現在および過去の負荷を示す負荷情報を取得する手順と、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得する手順と、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得する手順と、
前記負荷情報から前記各仮想マシンが将来に必要とする計算機資源の量を見積もった結果と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記物理サーバ上で動作させる仮想マシン毎に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する手順と、
前記仮想マシン毎に、前記物理サーバの選択、および、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返す手順と、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する手順と、を実行させるためのプログラム。
２０． １９．に記載のプログラムにおいて、
前記コンピュータが、システムの評価値の目標値を示す目標値情報を記憶する目標値情報記憶装置をさらに備え、
前記コンピュータに、
前記目標値情報記憶装置を参照し、前記目標値情報を取得する手順と、
前記負荷情報から評価値を算出する手順と、
参照した前記評価値と前記目標値を比較する手順と、
前記比較の結果に基づいて、前記評価値が前記目標値に近づくように、前記制約条件情報記憶装置の前記制約条件情報を更新する手順と、をさらに実行させるためのプログラム。
２１． １８．乃至２０．いずれかに記載のプログラムにおいて、
前記物理サーバに仮想マシンの移送先または移送元となるときの制約条件を示す制約条件情報をさらに前記制約条件情報記憶装置に記憶する手順と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、前記各仮想マシンをホストする物理サーバが前記制約条件を満足する場合に、当該仮想マシンの前記制約条件を満足する最も優先順位の高い物理サーバを選択する手順と、
移送先の物理サーバが選択された前記仮想マシンを、選択された前記物理サーバに移送させるように前記物理サーバを制御させる再配置処理を繰り返し実行する手順と、をコンピュータにさらに実行させるためのプログラム。
２２． １８．乃至２１．いずれかに記載のプログラムにおいて、
前記コンピュータが、前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶装置をさらに備え、
前記コンピュータに、
前記信頼性情報記憶装置を参照し、前記信頼性情報を取得する手順と、
前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位が低く、前記信頼性の高い物理サーバの前記優先順位が高くなるように、前記優先順位情報記憶装置の前記優先順位情報を更新する手順と、をさらに実行させるためのプログラム。
While the present invention has been described with reference to the embodiments and examples, the present invention is not limited to the above embodiments and examples. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
Hereinafter, examples of the reference form will be added.
1. Placement control means for controlling the physical server to place at least one virtual machine on any of the plurality of physical servers;
Load information acquisition means for acquiring load information indicating a load for each of the virtual machines operating on each physical server;
Priority information storage means for storing priority information indicating the priority of the physical server;
Constraint condition information storage means for storing constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server And a selection means for selecting
For each of the virtual machines, the selection of the physical server by the selection unit and the placement of the virtual machine on the selected physical server by the placement control unit are sequentially repeated. And a control device that controls the virtual machine to be placed on the selected physical server with the highest priority, and controls the placement of all virtual machines on the physical server.
2. 1. In the control device described in
The load information acquisition means further comprises load information storage means for storing load information including information on loads acquired in the present and the past,
The selection means selects the physical server based on a result of estimating the amount of computer resources that each virtual machine will need in the future from the load information, the priority order information, and the constraint condition information. Control device.
3. 2. In the control device described in
Target value information storage means for storing target value information indicating the target value of the evaluation value of the system;
A constraint condition update means for updating the constraint condition information,
The constraint condition update unit calculates an evaluation value from the load information, compares the calculated evaluation value with the target value, and the evaluation condition value approaches the target value so that the evaluation value approaches the target value. A control device that repeatedly executes constraint condition update processing for updating constraint condition information.
4). 1. To 3. In any one of the control devices,
The constraint condition information storage means further stores constraint condition information including a constraint condition when the physical server is a transfer destination or a transfer source of the virtual machine,
The selection unit is a control device that does not select a physical server that does not satisfy the constraint condition as a transfer destination or transfer source candidate based on the constraint condition information.
5). 1. To 4. In any one of the control devices,
Reliability information storage means for storing reliability information indicating the reliability of the physical server;
Priority order information updating means for updating the priority order information in the priority order information storage means,
The priority information update unit repeatedly performs priority update processing for lowering the priority of the physical server with low reliability and increasing the priority of the physical server with high reliability based on the reliability information. Control device to execute.
6). 1. To 5. In any one of the control devices,
The priority order information storage means assigns a high priority order to a physical server with high power efficiency, and stores the priority order information assigned the priority order in consideration of the relative positions of the physical servers.
7). 1. To 6. In any one of the control devices,
For the physical server in which no virtual machine is operating, control is performed so that the physical server is powered off or suspended.
A power control unit configured to confirm a power state of a physical server at a placement destination when the virtual machine is disposed, and to control to power on the physical server when the physical server is powered off or suspended; A control device provided.
8). A control device data processing method comprising:
The control device is
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server,
The control device is
Obtain load information indicating the load of each virtual machine running on each physical server,
Refer to the priority information storage device, obtain the priority information,
Referencing the constraint condition information storage device, obtaining the constraint condition information,
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server Select
For each of the virtual machines, the selection of the physical server and the placement of the virtual machine on the selected physical server are sequentially repeated.
A data processing method of a control device that controls, for each virtual machine, the virtual machine to be placed on the selected physical server with the highest priority, and controls the placement of all virtual machines on the physical server.
9. A control device data processing method comprising:
The control device is
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
A load history information storage device that stores load information including load information acquired in the present and the past, and
The control device is
Refer to the load history information storage device, obtain load information indicating current and past loads for each virtual machine operating on each physical server,
Refer to the priority information storage device, obtain the priority information,
Referencing the constraint condition information storage device, obtaining the constraint condition information,
Each virtual machine operated on the physical server based on the result of estimating the amount of computer resources that each virtual machine will need in the future from the load information, the priority information, and the constraint information And select the physical server with the highest priority that satisfies the constraints of the virtual machine,
For each of the virtual machines, the selection of the physical server and the placement of the virtual machine on the selected physical server are sequentially repeated.
A data processing method of a control device that controls, for each virtual machine, the virtual machine to be placed on the selected physical server with the highest priority, and controls the placement of all virtual machines on the physical server.
10. 9. In the data processing method of the control device described in
The control device further includes a target value information storage device that stores target value information indicating a target value of the evaluation value of the system,
The controller is
Refer to the target value information storage device, obtain the target value information,
An evaluation value is calculated from the load information,
Compare the referenced evaluation value with the target value,
A data processing method for a control device that updates the constraint condition information in the constraint condition information storage device so that the evaluation value approaches the target value based on a result of the comparison.
11. 8). To 10. In the data processing method of the control device according to any one of
The constraint condition information storage device of the control device further stores constraint condition information indicating a constraint condition when it becomes a transfer destination or a transfer source of a virtual machine in the physical server,
The controller is
Based on the load information, the priority information, and the constraint condition information, when a physical server that hosts each virtual machine satisfies the constraint condition, the constraint condition of the virtual machine is satisfied Select the physical server with the highest priority,
A data processing method of a control device that repeatedly executes a relocation process for controlling the physical server so that the virtual machine selected as a physical server of a transfer destination is transferred to the selected physical server.
12 8). To 11. In the data processing method of the control device according to any one of
The control device further includes a reliability information storage device that stores reliability information indicating the reliability of the physical server,
further,
The controller is
Referring to the reliability information storage device to obtain the reliability information;
Based on the reliability information, the priority information of the priority information storage device is set so that the priority of the physical server with low reliability is low and the priority of the physical server with high reliability is high. Data processing method of the control device to be updated.
13. A plurality of physical servers running at least one virtual machine;
A control device that controls the plurality of physical servers,
The controller is
Placement control means for controlling the physical server so that at least one virtual machine is placed on any of the plurality of physical servers;
Load information acquisition means for acquiring load information indicating a load for each of the virtual machines operating on each physical server;
Priority information storage means for storing priority information indicating the priority of the physical server;
Constraint condition information storage means for storing constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server And a selection means for selecting
For each of the virtual machines, the selection of the physical server by the selection unit and the placement of the virtual machine on the selected physical server by the placement control unit are sequentially repeated. In addition, the information system controls the virtual machine to be placed on the selected physical server with the highest priority, and controls the placement of all virtual machines on the physical server.
14 13. In the information system described in
The control device further includes load information storage means for storing load information including information on loads received at present and in the past,
The selection unit of the control device, based on the result of estimating the amount of computer resources that each virtual machine will need in the future from the load information, the priority order information, and the constraint condition information, An information system that selects a server.
15. 14 In the information system described in
The control device is
Target value information storage means for storing target value information indicating the target value of the evaluation value of the system;
A constraint condition update means for updating the constraint condition information,
The load information storage means of the control device further stores load information including information on current and past received loads,
The constraint condition update unit of the control device calculates an evaluation value from the load information, compares the calculated evaluation value with the target value, and stores the constraint condition information so that the evaluation value approaches the target value. An information system for repeatedly executing constraint condition update processing for updating the constraint condition information of the means.
16. 13. To 15. In any one of the information systems
The constraint condition information storage unit of the control device further stores constraint condition information including a constraint condition when the physical server is a transfer destination or a transfer source of the virtual machine,
The information system in which the selection unit of the control device does not select a physical server that does not satisfy the constraint condition as a transfer destination or transfer source candidate based on the constraint condition information.
17. 13. To 16. In any one of the information systems
The controller is
Reliability information storage means for storing reliability information indicating the reliability of the physical server;
Priority order information updating means for updating the priority order information in the priority order information storage means,
The priority information updating means of the control device lowers the priority of the physical server with low reliability and increases the priority of the physical server with high reliability based on the reliability information. An information system that repeatedly executes update processing.
18. A computer that implements a control device
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server,
On the computer,
A procedure for acquiring load information indicating a load of each virtual machine operating on each physical server;
A procedure for referring to the priority information storage device and acquiring the priority information;
A procedure for obtaining the constraint condition information with reference to the constraint condition information storage device;
Based on the load information, the priority information, and the constraint information, the physical server with the highest priority that satisfies the constraint conditions of the virtual machine for each virtual machine operated on the physical server The steps to select
For each of the virtual machines, a procedure for sequentially repeating the selection of the physical server and the placement of the virtual machine on the selected physical server;
A program for controlling each virtual machine to place the virtual machine on the selected physical server with the highest priority, and for controlling the placement of all virtual machines on the physical server. .
19. A computer that implements a control device
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
A constraint condition information storage device that stores constraint condition information indicating a constraint condition when placing the virtual machine on the physical server;
A load history information storage device that stores load information including load information acquired in the present and the past, and
On the computer,
A procedure for referring to the load history information storage device and acquiring load information indicating current and past loads for each virtual machine operating on each physical server;
A procedure for referring to the priority information storage device and acquiring the priority information;
A procedure for obtaining the constraint condition information with reference to the constraint condition information storage device;
Each virtual machine operated on the physical server based on the result of estimating the amount of computer resources that each virtual machine will need in the future from the load information, the priority information, and the constraint information And selecting a physical server with the highest priority that satisfies the constraints of the virtual machine,
For each of the virtual machines, a procedure for sequentially repeating the selection of the physical server and the placement of the virtual machine on the selected physical server;
A program for controlling each virtual machine to place the virtual machine on the selected physical server with the highest priority, and for controlling the placement of all virtual machines on the physical server. .
20. 19. In the program described in
The computer further includes a target value information storage device that stores target value information indicating a target value of a system evaluation value;
In the computer,
A procedure for obtaining the target value information with reference to the target value information storage device;
A procedure for calculating an evaluation value from the load information;
A procedure for comparing the referred evaluation value and the target value;
A program for further executing a procedure for updating the constraint condition information in the constraint condition information storage device so that the evaluation value approaches the target value based on the result of the comparison.
21. 18. To 20. In any program,
A procedure for further storing constraint condition information indicating a constraint condition when the physical server is a transfer destination or a transfer source of a virtual machine in the constraint condition information storage device;
Based on the load information, the priority information, and the constraint condition information, when a physical server that hosts each virtual machine satisfies the constraint condition, the constraint condition of the virtual machine is satisfied The procedure to select the physical server with the highest priority,
A program for causing a computer to further execute a procedure for repeatedly executing a rearrangement process for controlling the physical server so that the virtual machine selected by the destination physical server is transferred to the selected physical server .
22. 18. Thru 21. In any program,
The computer further comprises a reliability information storage device that stores reliability information indicating the reliability of the physical server,
In the computer,
A procedure for referring to the reliability information storage device and obtaining the reliability information;
Based on the reliability information, the priority information of the priority information storage device is set so that the priority of the physical server with low reliability is low and the priority of the physical server with high reliability is high. A program for further executing the update procedure.
３ ネットワーク
１０ 物理サーバ
１１ 物理サーバ群
１２ 負荷情報送信部
１４ 仮想マシン制御部
１６ 電源制御部
２０ 収容筐体
３０ 負荷情報
１００ 制御装置
１０２ 負荷情報取得部
１０４ 負荷情報記憶部
１０６ 優先順位情報記憶部
１０８ 制約条件情報記憶部
１１０ 選択部
１１２ 物理サーバ制御部
１１４ 配置制御部
２００ 制御装置
２０２ 負荷履歴情報記憶部
２０４ 負荷推定部
２０６ 選択部
３００ 制御装置
３０２ 制約条件情報更新部
３０４ 目標値情報記憶部
４０ 物理サーバ
４２ 物理サーバ群
５０ 収容筐体
４００ 制御装置
４０２ 信頼性情報記憶部
４０４ 優先順位情報更新部
3
Claims (18)
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得手段と、
前記物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶手段と、
前記物理サーバに前記仮想マシンを配置できる制約条件として、当該物理サーバにかかる負荷が適正範囲となるように、当該物理サーバが提供できる計算機資源の量について、当該仮想マシンを配置する当該物理サーバにかかる負荷の上限しきい値が設定される制約条件情報を記憶する制約条件情報記憶手段と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する選択手段と、を備え、
前記仮想マシン毎に、前記選択手段による前記物理サーバの選択、および前記配置制御手段による、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、前記配置制御手段は、前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御し、
さらに、
前記負荷情報取得手段が現在および過去に取得した負荷の情報を含む負荷履歴情報を記憶する負荷履歴情報記憶手段と、
前記物理サーバの前記負荷が前記上限しきい値を超えた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す物理サーバ平均高負荷率、または、前記負荷が前記上限しきい値を超えた物理サーバで仮想マシンがホストされた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す仮想マシン平均高負荷率を用いた負荷評価値の目標値を示す目標値情報を記憶する目標値情報記憶手段と、
前記制約条件情報を更新する制約条件更新手段と、を備え、
前記制約条件更新手段は、
前記負荷履歴情報から前記負荷評価値を算出し、算出した前記負荷評価値と前記目標値とを比較し、
前記比較の結果に基づいて、
前記負荷評価値が前記目標値の下限を下回る場合は、前記上限しきい値を上げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を延ばして前記負荷評価値を上げるように、
前記負荷評価値が前記目標値の上限を上回る場合は、前記上限しきい値を下げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を短縮して前記負荷評価値を下げるように、
前記上限しきい値を変更し、前記制約条件情報記憶手段の前記制約条件情報を更新する制約条件更新処理を実行する制御装置。 Placement control means for controlling the physical server to place at least one virtual machine on any of the plurality of physical servers;
Load information acquisition means for acquiring load information indicating a load for each of the virtual machines operating on each physical server;
Priority information storage means for storing priority information indicating the priority of the physical server;
As a constraint condition that the virtual machine can be placed on the physical server, the amount of computer resources that can be provided by the physical server so that the load on the physical server falls within an appropriate range is set on the physical server on which the virtual machine is placed. Restriction condition information storage means for storing restriction condition information in which the upper limit threshold of such load is set;
Based on the load information, the priority information, and the constraint condition information, the load applied to each physical server in the order of priority for each virtual machine operated on any of the plurality of physical servers, It is determined whether or not the upper limit threshold or less, and by selecting a physical server determined to be equal to or lower than the upper limit threshold as a physical server on which the virtual machine can be arranged, from among the plurality of physical servers, Selecting means for selecting the physical server with the highest priority,
For each of the virtual machines, the selection of the physical server by the selection unit and the placement of the virtual machine on the selected physical server by the placement control unit are sequentially repeated. To control the virtual machine to be placed on the selected physical server with the highest priority, and to control the placement of all virtual machines on the physical server,
further,
Load history information storage means for storing load history information including information of loads acquired by the load information acquisition means at present and in the past;
The ratio of the time when the load of the physical server exceeds the upper threshold value is calculated for each physical server, and the physical server average high load ratio indicating the average of the ratio calculated for all the physical servers , Or, the ratio of the time when the virtual machine is hosted on the physical server whose load exceeds the upper threshold value is calculated for each physical server, and indicates the average of the ratios calculated for all the physical servers Target value information storage means for storing target value information indicating the target value of the load evaluation value using the virtual machine average high load rate ;
A constraint condition update means for updating the constraint condition information,
The constraint condition update means includes:
Calculating the load evaluation value from the load history information, comparing the calculated load evaluation value and the target value;
Based on the result of the comparison,
When the load evaluation value is below the lower limit of the target value, the load evaluation value is increased by increasing the upper limit threshold so as to extend the time that the load of the physical server exceeds the upper limit threshold. In addition,
When the load evaluation value exceeds the upper limit of the target value, the load evaluation value is decreased by reducing the time over which the load of the physical server exceeds the upper limit threshold by lowering the upper limit threshold. like,
A control device that executes a constraint condition update process that changes the upper limit threshold and updates the constraint condition information in the constraint condition information storage unit.
前記選択手段は、前記負荷履歴情報から各前記仮想マシンが将来に必要とする計算機資源の量を見積もった結果を前記物理サーバに配置する仮想マシンの負荷として、当該仮想マシンを配置する当該物理サーバにかかる負荷を求め、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する制御装置。 The control device according to claim 1,
The selecting means includes the physical server that places the virtual machine as a load of the virtual machine that places the result of estimating the amount of computer resources that each virtual machine will need in the future from the load history information. The load applied to each physical server is determined whether or not the load applied to each physical server is equal to or lower than the upper threshold value in the order of priority. A control device that selects a physical server with the highest priority from the plurality of physical servers by selecting the physical servers that can be arranged.
前記仮想マシンの負荷が変動して、前記負荷情報取得手段が取得した前記負荷情報に基づく、前記物理サーバにかかる負荷が、前記上限しきい値を超えた場合、前記選択手段は、前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値を超えた前記物理サーバを除く物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、前記上限しきい値を超えた前記物理サーバを除く複数の前記物理サーバの中から最も優先順位の高い物理サーバを選択する制御装置。 The control device according to claim 1 or 2,
When the load of the virtual machine fluctuates and the load applied to the physical server based on the load information acquired by the load information acquisition unit exceeds the upper limit threshold, the selection unit And, based on the priority information and the constraint information, for each virtual machine operated on any of the plurality of physical servers, the load applied to each physical server in the priority order is the upper limit. It is determined whether or not the threshold value is exceeded, and the physical server excluding the physical server exceeding the upper threshold value is selected as a physical server on which the virtual machine can be placed, so that the upper threshold value is exceeded. A control device that selects a physical server with the highest priority from the plurality of physical servers excluding the physical server.
前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶手段と、
前記優先順位情報記憶手段の前記優先順位情報を更新する優先順位情報更新手段と、をさらに備え、
前記優先順位情報更新手段は、前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位を低くし、前記信頼性の高い物理サーバの前記優先順位を高くする優先順位更新処理を実行する制御装置。 The control device according to any one of claims 1 to 3,
Reliability information storage means for storing reliability information indicating the reliability of the physical server;
Priority order information updating means for updating the priority order information in the priority order information storage means,
The priority information update means executes priority update processing for lowering the priority of the physical server with low reliability and increasing the priority of the physical server with high reliability based on the reliability information. Control device.
前記優先順位情報記憶手段は、電力効率の高い物理サーバに高い優先順位をつけるとともに、前記物理サーバどうしの相対位置を考慮して前記優先順位をつけた前記優先順位情報を記憶する制御装置。 The control device according to any one of claims 1 to 4,
The priority order information storage means assigns a high priority order to a physical server with high power efficiency, and stores the priority order information assigned the priority order in consideration of the relative positions of the physical servers.
前記仮想マシンが１つも動作していない物理サーバに対して、当該物理サーバの電源をオフ、または、サスペンド状態にするよう制御するとともに、
前記仮想マシンを配置する際、配置先の物理サーバの電源状態を確認し、当該物理サーバの電源がオフまたはサスペンド状態の場合、当該物理サーバの電源をオンするように制御する電源制御手段をさらに備える制御装置。 The control device according to any one of claims 1 to 5,
For the physical server in which no virtual machine is operating, control is performed so that the physical server is powered off or suspended.
A power control unit configured to confirm a power state of a physical server at a placement destination when the virtual machine is disposed, and to control to power on the physical server when the physical server is powered off or suspended; A control device provided.
前記制御装置が、
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置できる制約条件として、当該物理サーバにかかる負荷が適正範囲となるように、当該物理サーバが提供できる計算機資源の量について、当該仮想マシンを配置する当該物理サーバにかかる負荷の上限しきい値が設定される制約条件情報を記憶する制約条件情報記憶装置と、を備え、
前記制御装置が、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得し、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得し、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得し、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択し、
前記仮想マシン毎に、前記物理サーバの選択、および選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御し、
さらに、
前記制御装置が、
現在および過去に取得した負荷の情報を含む負荷履歴情報を記憶する負荷履歴情報記憶装置と、
前記物理サーバの前記負荷が前記上限しきい値を超えた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す物理サーバ平均高負荷率、または、前記負荷が前記上限しきい値を超えた物理サーバで仮想マシンがホストされた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す仮想マシン平均高負荷率を用いた負荷評価値の目標値を示す目標値情報を記憶する目標値情報記憶装置と、を備え、
前記制御装置が、
前記負荷履歴情報から前記負荷評価値を算出し、算出した前記負荷評価値と前記目標値とを比較し、
前記比較の結果に基づいて、
前記負荷評価値が前記目標値の下限を下回る場合は、前記上限しきい値を上げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を延ばして前記負荷評価値を上げるように、
前記負荷評価値が前記目標値の上限を上回る場合は、前記上限しきい値を下げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を短縮して前記負荷評価値を下げるように、
前記上限しきい値を変更し、前記制約条件情報記憶装置の前記制約条件情報を更新する制約条件更新処理を実行する制御装置のデータ処理方法。 A control device data processing method comprising:
The control device is
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
As a constraint condition that the virtual machine can be placed on the physical server, the amount of computer resources that can be provided by the physical server so that the load on the physical server falls within an appropriate range is set on the physical server on which the virtual machine is placed. A constraint condition information storage device that stores constraint condition information in which an upper limit threshold of such load is set, and
The control device is
Obtain load information indicating the load of each virtual machine running on each physical server,
Refer to the priority information storage device, obtain the priority information,
Referencing the constraint condition information storage device, obtaining the constraint condition information,
Based on the load information, the priority information, and the constraint condition information, the load applied to each physical server in the order of priority for each virtual machine operated on any of the plurality of physical servers, It is determined whether or not the upper limit threshold or less, and by selecting a physical server determined to be equal to or lower than the upper limit threshold as a physical server on which the virtual machine can be arranged, from among the plurality of physical servers Select the physical server with the highest priority,
For each of the virtual machines, the selection of the physical server and the placement of the virtual machine on the selected physical server are sequentially repeated.
For each virtual machine, the virtual machine is controlled to be arranged on the selected physical server with the highest priority, and all virtual machines are arranged and controlled on the physical server,
further,
The control device is
A load history information storage device for storing load history information including information on loads acquired at present and in the past;
The ratio of the time when the load of the physical server exceeds the upper threshold value is calculated for each physical server, and the physical server average high load ratio indicating the average of the ratio calculated for all the physical servers , Or, the ratio of the time when the virtual machine is hosted on the physical server whose load exceeds the upper threshold value is calculated for each physical server, and indicates the average of the ratios calculated for all the physical servers A target value information storage device that stores target value information indicating a target value of a load evaluation value using a virtual machine average high load factor ,
The control device is
Calculating the load evaluation value from the load history information, comparing the calculated load evaluation value and the target value;
Based on the result of the comparison,
When the load evaluation value is below the lower limit of the target value, the load evaluation value is increased by increasing the upper limit threshold so as to extend the time that the load of the physical server exceeds the upper limit threshold. In addition,
When the load evaluation value exceeds the upper limit of the target value, the load evaluation value is decreased by reducing the time over which the load of the physical server exceeds the upper limit threshold by lowering the upper limit threshold. like,
A data processing method of a control device that executes a constraint condition update process for changing the upper threshold value and updating the constraint condition information in the constraint condition information storage device.
前記制御装置が、
前記負荷履歴情報から前記各仮想マシンが将来に必要とする計算機資源の量を見積もった結果を前記物理サーバに配置する仮想マシンの負荷として、当該仮想マシンを配置する当該物理サーバにかかる負荷を求め、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する制御装置のデータ処理方法。 The data processing method of the control device according to claim 7,
The control device is
The load on the physical server on which the virtual machine is placed is obtained as the load on the virtual machine on which the virtual machine places the result of estimating the amount of computer resources that each virtual machine will need in the future from the load history information In the order of priority, it is determined whether or not the load applied to each physical server is equal to or less than the upper threshold value, and the physical server determined to be equal to or lower than the upper threshold value is defined as a physical server on which the virtual machine can be placed. A data processing method of a control device that selects a physical server with the highest priority from the plurality of physical servers by selecting.
前記制御装置は、
前記仮想マシンの負荷が変動して、取得した前記負荷情報に基づく、前記物理サーバにかかる負荷が、前記上限しきい値を超えた場合、前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値を超えた前記物理サーバを除く物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、前記上限しきい値を超えた前記物理サーバを除く複数の前記物理サーバの中から最も優先順位の高い物理サーバを選択する制御装置のデータ処理方法。 In the data processing method of the control device according to claim 7 or 8,
The control device includes:
When the load of the virtual machine fluctuates and the load on the physical server based on the acquired load information exceeds the upper limit threshold, the load information, the priority information, and the constraint condition On the basis of the information, for each virtual machine operated on any of the plurality of physical servers, in the order of priority, determine whether the load on each physical server is equal to or less than the upper threshold, By selecting a physical server excluding the physical server exceeding the upper threshold as a physical server on which the virtual machine can be placed, a plurality of physical servers excluding the physical server exceeding the upper threshold are selected. Data processing method of the control device that selects the physical server with the highest priority from
前記制御装置は、前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶装置をさらに備え、
さらに、
前記制御装置は、
前記信頼性情報記憶装置を参照し、前記信頼性情報を取得し、
前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位が低く、前記信頼性の高い物理サーバの前記優先順位が高くなるように、前記優先順位情報記憶装置の前記優先順位情報を更新する制御装置のデータ処理方法。 In the data processing method of the control apparatus in any one of Claims 7 thru | or 9,
The control device further includes a reliability information storage device that stores reliability information indicating the reliability of the physical server,
further,
The control device includes:
Referring to the reliability information storage device to obtain the reliability information;
Based on the reliability information, the priority information of the priority information storage device is set so that the priority of the physical server with low reliability is low and the priority of the physical server with high reliability is high. Data processing method of the control device to be updated.
複数の前記物理サーバを制御する制御装置と、を備え、
前記制御装置は、
複数の前記物理サーバのいずれかに、少なくとも１つの仮想マシンを配置するように前記物理サーバを制御する配置制御手段と、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する負荷情報取得手段と、
前記物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶手段と、
前記物理サーバに前記仮想マシンを配置できる制約条件として、当該物理サーバにかかる負荷が適正範囲となるように、当該物理サーバが提供できる計算機資源の量について、当該仮想マシンを配置する当該物理サーバにかかる負荷の上限しきい値が設定される制約条件情報を記憶する制約条件情報記憶手段と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する選択手段と、を備え、
前記仮想マシン毎に、前記選択手段による前記物理サーバの選択、および前記配置制御手段による、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返し、前記配置制御手段は、前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御し、
さらに、
前記制御装置は、
前記負荷情報取得手段が現在および過去に受信した負荷の情報を含む負荷履歴情報を記憶する負荷履歴情報記憶手段と、
前記物理サーバの前記負荷が前記上限しきい値を超えた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す物理サーバ平均高負荷率、または、前記負荷が前記上限しきい値を超えた物理サーバで仮想マシンがホストされた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す仮想マシン平均高負荷率を用いた負荷評価値の目標値を示す目標値情報を記憶する目標値情報記憶手段と、
前記制約条件情報を更新する制約条件更新手段と、を備え、
前記制御装置の前記制約条件更新手段は、
前記負荷履歴情報から前記負荷評価値を算出し、算出した前記負荷評価値と前記目標値とを比較し、
前記比較の結果に基づいて、
前記負荷評価値が前記目標値の下限を下回る場合は、前記上限しきい値を上げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を延ばして前記負荷評価値を上げるように、
前記負荷評価値が前記目標値の上限を上回る場合は、前記上限しきい値を下げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を短縮して前記負荷評価値を下げるように、
前記上限しきい値を変更し、前記制御装置の前記制約条件情報記憶手段の前記制約条件情報を更新する制約条件更新処理を実行する情報システム。 A plurality of physical servers running at least one virtual machine;
A control device that controls the plurality of physical servers,
The control device includes:
Placement control means for controlling the physical server so that at least one virtual machine is placed on any of the plurality of physical servers;
Load information acquisition means for acquiring load information indicating a load for each of the virtual machines operating on each physical server;
Priority information storage means for storing priority information indicating the priority of the physical server;
As a constraint condition that the virtual machine can be placed on the physical server, the amount of computer resources that can be provided by the physical server so that the load on the physical server falls within an appropriate range is set on the physical server on which the virtual machine is placed. Restriction condition information storage means for storing restriction condition information in which the upper limit threshold of such load is set;
Based on the load information, the priority information, and the constraint condition information, the load applied to each physical server in the order of priority for each virtual machine operated on any of the plurality of physical servers, It is determined whether or not the upper limit threshold or less, and by selecting a physical server determined to be equal to or lower than the upper limit threshold as a physical server on which the virtual machine can be arranged, from among the plurality of physical servers, Selecting means for selecting the physical server with the highest priority,
For each of the virtual machines, the selection of the physical server by the selection unit and the placement of the virtual machine on the selected physical server by the placement control unit are sequentially repeated. To control the virtual machine to be placed on the selected physical server with the highest priority, and to control the placement of all virtual machines on the physical server,
further,
The control device includes:
Load history information storage means for storing load history information including information on loads received by the load information acquisition means at present and in the past;
The ratio of the time when the load of the physical server exceeds the upper threshold value is calculated for each physical server, and the physical server average high load ratio indicating the average of the ratio calculated for all the physical servers , Or, the ratio of the time when the virtual machine is hosted on the physical server whose load exceeds the upper threshold value is calculated for each physical server, and indicates the average of the ratios calculated for all the physical servers Target value information storage means for storing target value information indicating the target value of the load evaluation value using the virtual machine average high load rate ;
A constraint condition update means for updating the constraint condition information,
The constraint condition update means of the control device is
Calculating the load evaluation value from the load history information, comparing the calculated load evaluation value and the target value;
Based on the result of the comparison,
When the load evaluation value is below the lower limit of the target value, the load evaluation value is increased by increasing the upper limit threshold so as to extend the time that the load of the physical server exceeds the upper limit threshold. In addition,
When the load evaluation value exceeds the upper limit of the target value, the load evaluation value is decreased by reducing the time over which the load of the physical server exceeds the upper limit threshold by lowering the upper limit threshold. like,
An information system that executes a constraint condition update process for changing the upper limit threshold value and updating the constraint condition information in the constraint condition information storage unit of the control device.
前記制御装置の前記選択手段は、前記負荷履歴情報から各仮想マシンが将来に必要とする計算機資源の量を見積もった結果を前記物理サーバに配置する仮想マシンの負荷として、当該仮想マシンを配置する当該物理サーバにかかる負荷を求め、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する情報システム。 The information system according to claim 11, wherein
The selection unit of the control device arranges the virtual machine as a load of the virtual machine that arranges the result of estimating the amount of computer resources that each virtual machine will need in the future from the load history information. The load applied to the physical server is obtained, and it is determined whether or not the load applied to each physical server is equal to or lower than the upper threshold value in the order of priority. An information system that selects a physical server with the highest priority from the plurality of physical servers by selecting the physical server on which a virtual machine can be placed.
前記仮想マシンの負荷が変動して、前記制御装置の前記負荷情報取得手段が取得した前記負荷情報に基づく、前記物理サーバにかかる負荷が、前記上限しきい値を超えた場合、前記制御装置の前記選択手段は、前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値を超えた前記物理サーバを除く物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、前記上限しきい値を超えた前記物理サーバを除く複数の前記物理サーバの中から最も優先順位の高い物理サーバを選択する情報システム。 The information system according to claim 11 or 12,
When the load on the physical server based on the load information acquired by the load information acquisition unit of the control device exceeds the upper limit threshold when the load of the virtual machine fluctuates, The selecting means is configured so that each physical server is arranged in the order of priority for each virtual machine operated on any of the plurality of physical servers based on the load information, the priority order information, and the constraint condition information. Determining whether the load applied to the virtual server is less than or equal to the upper threshold, and selecting a physical server excluding the physical server that exceeds the upper threshold as a physical server on which the virtual machine can be placed, An information system for selecting a physical server with the highest priority from a plurality of the physical servers excluding the physical server exceeding an upper threshold.
前記制御装置は、
前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶手段と、
前記優先順位情報記憶手段の前記優先順位情報を更新する優先順位情報更新手段と、をさらに備え、
前記制御装置の前記優先順位情報更新手段は、前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位を低くし、前記信頼性の高い物理サーバの前記優先順位を高くする優先順位更新処理を実行する情報システム。 The information system according to any one of claims 11 to 13,
The control device includes:
Reliability information storage means for storing reliability information indicating the reliability of the physical server;
Priority order information updating means for updating the priority order information in the priority order information storage means,
The priority information updating means of the control device lowers the priority of the physical server with low reliability and increases the priority of the physical server with high reliability based on the reliability information. An information system that executes update processing.
少なくとも１つの仮想マシンが動作する複数の物理サーバの優先順位を示す優先順位情報を記憶する優先順位情報記憶装置と、
前記物理サーバに前記仮想マシンを配置できる制約条件として、当該物理サーバにかかる負荷が適正範囲となるように、当該物理サーバが提供できる計算機資源の量について、当該仮想マシンを配置する当該物理サーバにかかる負荷の上限しきい値が設定される制約条件情報を記憶する制約条件情報記憶装置と、を備え、
コンピュータに、
各物理サーバ上で動作する前記仮想マシン毎の負荷を示す負荷情報を取得する手順と、
前記優先順位情報記憶装置を参照し、前記優先順位情報を取得する手順と、
前記制約条件情報記憶装置を参照し、前記制約条件情報を取得する手順と、
前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する手順と、
前記仮想マシン毎に、前記物理サーバの選択、および、選択された前記物理サーバへの前記仮想マシンの配置を順に繰り返す手順と、
前記仮想マシン毎に、当該仮想マシンを選択された前記最も優先順位の高い物理サーバに配置するように制御し、すべての仮想マシンを前記物理サーバに配置制御する手順と、を実行させ、
さらに、
コンピュータが、
現在および過去に取得した負荷の情報を含む負荷履歴情報を記憶する負荷履歴情報記憶装置と、
前記物理サーバの前記負荷が前記上限しきい値を超えた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す物理サーバ平均高負荷率、または、前記負荷が前記上限しきい値を超えた物理サーバで仮想マシンがホストされた時間の割合を、各前記物理サーバ毎に算出し、全ての前記物理サーバで算出した前記割合の平均を示す仮想マシン平均高負荷率を用いた負荷評価値の目標値を示す目標値情報を記憶する目標値情報記憶装置と、を備え、
コンピュータに、
前記負荷履歴情報から前記負荷評価値を算出し、算出した前記負荷評価値と前記目標値とを比較する手順と、
前記比較する手順で比較した結果に基づいて、
前記負荷評価値が前記目標値の下限を下回る場合は、前記上限しきい値を上げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を延ばして前記負荷評価値を上げるように、
前記負荷評価値が前記目標値の上限を上回る場合は、前記上限しきい値を下げることにより、前記物理サーバの前記負荷が前記上限しきい値を超える時間を短縮して前記負荷評価値を下げるように、
前記上限しきい値を変更し、前記制約条件情報記憶装置の前記制約条件情報を更新する制約条件更新処理を実行する手順と、を実行させるためのプログラム。 A computer that implements a control device
A priority information storage device for storing priority information indicating the priority of a plurality of physical servers on which at least one virtual machine operates;
As a constraint condition that the virtual machine can be placed on the physical server, the amount of computer resources that can be provided by the physical server so that the load on the physical server falls within an appropriate range is set on the physical server on which the virtual machine is placed. A constraint condition information storage device that stores constraint condition information in which an upper limit threshold of such load is set, and
On the computer,
A procedure for acquiring load information indicating a load of each virtual machine operating on each physical server;
A procedure for referring to the priority information storage device and acquiring the priority information;
A procedure for obtaining the constraint condition information with reference to the constraint condition information storage device;
Based on the load information, the priority information, and the constraint condition information, the load applied to each physical server in the order of priority for each virtual machine operated on any of the plurality of physical servers, It is determined whether or not the upper limit threshold or less, and by selecting a physical server determined to be equal to or lower than the upper limit threshold as a physical server on which the virtual machine can be arranged, from among the plurality of physical servers, The procedure to select the physical server with the highest priority,
For each of the virtual machines, a procedure for sequentially repeating the selection of the physical server and the placement of the virtual machine on the selected physical server;
For each virtual machine, the virtual machine is controlled to be arranged on the selected physical server with the highest priority, and the procedure for controlling the arrangement of all virtual machines on the physical server is executed.
further,
Computer
A load history information storage device for storing load history information including information on loads acquired at present and in the past;
The ratio of the time when the load of the physical server exceeds the upper threshold value is calculated for each physical server, and the physical server average high load ratio indicating the average of the ratio calculated for all the physical servers , Or, the ratio of the time when the virtual machine is hosted on the physical server whose load exceeds the upper threshold value is calculated for each physical server, and indicates the average of the ratios calculated for all the physical servers A target value information storage device that stores target value information indicating a target value of a load evaluation value using a virtual machine average high load factor ,
On the computer,
Calculating the load evaluation value from the load history information, and comparing the calculated load evaluation value with the target value;
Based on the result of the comparison in the comparison procedure,
When the load evaluation value is below the lower limit of the target value, the load evaluation value is increased by increasing the upper limit threshold so as to extend the time that the load of the physical server exceeds the upper limit threshold. In addition,
When the load evaluation value exceeds the upper limit of the target value, the load evaluation value is decreased by reducing the time over which the load of the physical server exceeds the upper limit threshold by lowering the upper limit threshold. like,
And a procedure for executing a constraint condition update process for changing the upper limit threshold value and updating the constraint condition information in the constraint condition information storage device.
コンピュータに、
前記負荷履歴情報から前記各仮想マシンが将来に必要とする計算機資源の量を見積もった結果を前記物理サーバに配置する仮想マシンの負荷として、当該仮想マシンを配置する当該物理サーバにかかる負荷を求め、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値以下と判定された物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、複数の前記物理サーバの中から、最も優先順位の高い物理サーバを選択する手順をさらに実行させるためのプログラム。 The program according to claim 15, wherein
On the computer,
The load on the physical server on which the virtual machine is placed is obtained as the load on the virtual machine on which the virtual machine places the result of estimating the amount of computer resources that each virtual machine will need in the future from the load history information. In the order of priority, it is determined whether or not the load applied to each physical server is equal to or less than the upper threshold value, and the physical server determined to be equal to or lower than the upper threshold value is defined as a physical server on which the virtual machine can be placed. A program for further executing a procedure of selecting a physical server with the highest priority from the plurality of physical servers by selecting.
前記仮想マシンの負荷が変動して、取得した前記負荷情報に基づく、前記物理サーバにかかる負荷が、前記上限しきい値を超えた場合、前記負荷情報と、前記優先順位情報と、前記制約条件情報と、に基づいて、複数の前記物理サーバのいずれかで動作させる仮想マシン毎に、前記優先順位順に、各物理サーバにかかる負荷が、前記上限しきい値以下か否かを判定し、前記上限しきい値を超えた前記物理サーバを除く物理サーバを、当該仮想マシンを配置できる物理サーバとして選択することで、前記上限しきい値を超えた前記物理サーバを除く複数の前記物理サーバの中から最も優先順位の高い物理サーバを選択する手順をコンピュータにさらに実行させるためのプログラム。 The program according to claim 15 or 16,
When the load of the virtual machine fluctuates and the load on the physical server based on the acquired load information exceeds the upper limit threshold, the load information, the priority information, and the constraint condition On the basis of the information, for each virtual machine operated on any of the plurality of physical servers, in the order of priority, determine whether the load on each physical server is equal to or less than the upper threshold, By selecting a physical server excluding the physical server exceeding the upper threshold as a physical server on which the virtual machine can be placed, a plurality of physical servers excluding the physical server exceeding the upper threshold are selected. A program for causing a computer to further execute a procedure for selecting a physical server with the highest priority from the computer.
前記コンピュータが、前記物理サーバの信頼性を示す信頼性情報を記憶する信頼性情報記憶装置をさらに備え、
前記コンピュータに、
前記信頼性情報記憶装置を参照し、前記信頼性情報を取得する手順と、
前記信頼性情報に基づき、前記信頼性の低い物理サーバの前記優先順位が低く、前記信頼性の高い物理サーバの前記優先順位が高くなるように、前記優先順位情報記憶装置の前記優先順位情報を更新する手順と、をさらに実行させるためのプログラム。 The program according to any one of claims 15 to 17,
The computer further comprises a reliability information storage device that stores reliability information indicating the reliability of the physical server,
In the computer,
A procedure for referring to the reliability information storage device and obtaining the reliability information;
Based on the reliability information, the priority information of the priority information storage device is set so that the priority of the physical server with low reliability is low and the priority of the physical server with high reliability is high. A program for further executing the update procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009155930A JP5471080B2 (en) | 2009-06-30 | 2009-06-30 | Information system, control device, data processing method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009155930A JP5471080B2 (en) | 2009-06-30 | 2009-06-30 | Information system, control device, data processing method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011013822A JP2011013822A (en) | 2011-01-20 |
| JP5471080B2 true JP5471080B2 (en) | 2014-04-16 |
Family
ID=43592663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009155930A Active JP5471080B2 (en) | 2009-06-30 | 2009-06-30 | Information system, control device, data processing method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5471080B2 (en) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5767480B2 (en) * | 2011-01-31 | 2015-08-19 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Information processing apparatus, information processing system, arrangement configuration determining method, program, and recording medium |
| JP5664376B2 (en) * | 2011-03-17 | 2015-02-04 | 日本電気株式会社 | Virtual machine assignment system and virtual machine assignment method |
| WO2012127641A1 (en) * | 2011-03-23 | 2012-09-27 | 株式会社日立製作所 | Information processing system |
| TW201250464A (en) * | 2011-06-01 | 2012-12-16 | Hon Hai Prec Ind Co Ltd | System and method for monitoring virtual machines |
| WO2013011624A1 (en) * | 2011-07-15 | 2013-01-24 | 日本電気株式会社 | Virtual machine management system and virtual machine management method |
| JP5971249B2 (en) * | 2011-07-20 | 2016-08-17 | 日本電気株式会社 | User shared data center system |
| JP5910811B2 (en) * | 2011-07-27 | 2016-04-27 | 日本電気株式会社 | Switch device control system, configuration control device and configuration control method thereof |
| JPWO2013021533A1 (en) * | 2011-08-08 | 2015-03-05 | 日本電気株式会社 | Virtual machine management apparatus and virtual machine management method |
| US9438498B2 (en) | 2011-09-14 | 2016-09-06 | Nec Corporation | Resource optimization method, IP network system and resource optimization program |
| WO2013042271A1 (en) | 2011-09-22 | 2013-03-28 | 富士通株式会社 | Electronic computer system and virtual machine deployment method |
| JP2013080346A (en) * | 2011-10-03 | 2013-05-02 | Daiwa Securities Group Inc | Information processing device, maintenance work support method and maintenance work support program |
| US9372707B2 (en) | 2011-11-18 | 2016-06-21 | Hitachi, Ltd. | Computer, virtual machine deployment method and program |
| JP5978673B2 (en) * | 2012-03-15 | 2016-08-24 | 富士通株式会社 | Information processing device |
| JP5998566B2 (en) * | 2012-03-27 | 2016-09-28 | 富士通株式会社 | Movement control program, movement control method, and control apparatus |
| WO2014045549A1 (en) * | 2012-09-19 | 2014-03-27 | 日本電気株式会社 | Information processing device that generates machine disposition plan, and method for generating machine disposition plan |
| JP6079226B2 (en) | 2012-12-27 | 2017-02-15 | 富士通株式会社 | Information processing apparatus, server management method, and server management program |
| WO2014192254A1 (en) | 2013-05-29 | 2014-12-04 | 日本電気株式会社 | Virtual-machine control device, virtual-machine control method, computer-readable recording medium recording program for virtual-machine control method, and data center |
| JP6075226B2 (en) * | 2013-06-26 | 2017-02-08 | 富士通株式会社 | Program, virtual machine management method, and information processing apparatus |
| JP2015022321A (en) * | 2013-07-16 | 2015-02-02 | 日本電気株式会社 | Virtual machine management device, virtual machine management method, and program |
| JP5988505B2 (en) * | 2013-11-26 | 2016-09-07 | 日本電信電話株式会社 | Virtual resource management apparatus, selection method, and selection program |
| JP2016053841A (en) * | 2014-09-03 | 2016-04-14 | 日本電信電話株式会社 | Power source state control device and program |
| US9886083B2 (en) * | 2014-12-19 | 2018-02-06 | International Business Machines Corporation | Event-driven reoptimization of logically-partitioned environment for power management |
| JP6032314B2 (en) * | 2015-03-27 | 2016-11-24 | 日本電気株式会社 | system |
| US10158526B2 (en) | 2015-03-27 | 2018-12-18 | Nec Corporation | System that manages server function |
| KR101669567B1 (en) * | 2015-04-27 | 2016-10-27 | 울산과학기술원 | Method for managing a placement of virtual machine |
| JP7468651B2 (en) | 2020-06-26 | 2024-04-16 | 日本電信電話株式会社 | SERVER GROUP SELECTION SYSTEM, SERVER GROUP SELECTION METHOD, AND PROGRAM |
| JP7452668B2 (en) | 2020-08-17 | 2024-03-19 | 日本電信電話株式会社 | Task management device, task management method, and task management program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5972557A (en) * | 1982-10-20 | 1984-04-24 | Hitachi Ltd | Optimum load control type multi-computer system |
| JPH1027167A (en) * | 1996-07-12 | 1998-01-27 | Hitachi Ltd | Method for distributing load of parallel computer |
| JPH1185707A (en) * | 1997-09-04 | 1999-03-30 | Hitachi Ltd | Selection method/device for job input computer for parallel computer |
| JP2004240669A (en) * | 2003-02-05 | 2004-08-26 | Sharp Corp | Job scheduler and multiprocessor system |
| JP3987517B2 (en) * | 2003-09-02 | 2007-10-10 | 株式会社東芝 | Computer system and cluster system program |
-
2009
- 2009-06-30 JP JP2009155930A patent/JP5471080B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011013822A (en) | 2011-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5471080B2 (en) | Information system, control device, data processing method thereof, and program | |
| JP5259725B2 (en) | Computer system | |
| JP2009175788A (en) | Power consumption controller for server, power consumption control method for server and computer program | |
| JP2008141290A (en) | System equipment provided with nic and power saving control method for the system equipment | |
| JP2011258119A (en) | Cluster configuration management method, management device and program | |
| JP6075327B2 (en) | Image forming apparatus, processing method, and control program | |
| US9568981B2 (en) | Apparatus and method for managing power consumption of a plurality of information processing apparatuses by suppressing the power consumption of an information processing apparatus having higher priority | |
| JP2009237859A (en) | Virtual machine management system | |
| JP2014228946A (en) | Information processing apparatus, information processing system, control method of information processing apparatus, and control program of information processing apparatus | |
| JP5576827B2 (en) | Server management system, server management apparatus, server management method, and server management program | |
| Babu et al. | Interference aware prediction mechanism for auto scaling in cloud | |
| JPWO2013042269A1 (en) | Power management device, power management method, and power management program | |
| US20100205306A1 (en) | Grid computing system, management apparatus, and method for managing a plurality of nodes | |
| JP5673167B2 (en) | Power management method for electrical equipment | |
| JP5617586B2 (en) | Information processing program, relay device, and relay management device | |
| JP2010128804A (en) | Method for controlling power of a plurality of power supply units, and power control device, and program | |
| WO2013035719A1 (en) | Data placement system, distributed access node, data placement method and program | |
| JP5699589B2 (en) | Process allocation device, process allocation system, process allocation method, process allocation program | |
| CN112748850B (en) | Method, apparatus and computer program product for storage management | |
| JP6172735B2 (en) | Blade server, power supply control method, and power supply control program | |
| JP6874594B2 (en) | Power management device, node power management method and node power management program | |
| JP2014013459A (en) | Control device, storage device and method for controlling control device | |
| JP2014206805A (en) | Control device | |
| JP2010182017A (en) | Distributed computer system, manager succession method and manager succession program | |
| JP2011065469A (en) | Distributed file system and node start-up method in distributed file system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120511 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5471080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |