JP5827594B2 - Virtual machine placement apparatus and virtual machine placement method - Google Patents
Virtual machine placement apparatus and virtual machine placement method Download PDFInfo
- Publication number
- JP5827594B2 JP5827594B2 JP2012112926A JP2012112926A JP5827594B2 JP 5827594 B2 JP5827594 B2 JP 5827594B2 JP 2012112926 A JP2012112926 A JP 2012112926A JP 2012112926 A JP2012112926 A JP 2012112926A JP 5827594 B2 JP5827594 B2 JP 5827594B2
- Authority
- JP
- Japan
- Prior art keywords
- physical server
- virtual machine
- evaluation
- resource
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は、物理サーバで構成される物理サーバ群の中から、アプリケーションを搭載した仮想マシンを実行させる物理サーバを決定する技術に関する。 The present invention relates to a technique for determining a physical server that executes a virtual machine on which an application is mounted from a group of physical servers configured by physical servers.
複数の仮想マシンを１台の物理サーバ上に配置して実行することで、１つの仮想マシンを１台の物理サーバで実行する場合に比べて、物理サーバの台数を削減する仮想化技術の検討が進んでいる。例えば、下記に示す特許文献１には、アプリケーションの過去のリソース使用状況に基づいて、今後のリソース使用状況を予測し、各物理サーバへ配置する仮想マシンの組み合わせを決定する技術が開示されている。
Examination of virtualization technology that reduces the number of physical servers by placing multiple virtual machines on one physical server and executing them, compared to executing one virtual machine on one physical server Is progressing. For example,
しかしながら、特許文献１に記載の技術は、アプリケーションのリソース使用傾向が不規則に変化するような環境では、適切に予測ができないため、物理サーバにおいて、リソース競合が発生したり、仮想マシンの集約効率が低下したり、集約効率の低い物理サーバが多数散在することになったりして、物理サーバで構成される物理サーバ群を効率的に使用できないという問題がある。
However, since the technology described in
そこで、本発明は、仮想マシンを物理サーバへ配置するときに、集約効率を向上し、リソース競合を防止し、物理サーバの稼動台数を低減することを満足させるように制御する仮想マシン配置装置および仮想マシン配置方法を提供することを課題とする。 Therefore, the present invention provides a virtual machine placement device that controls to improve aggregation efficiency, prevent resource contention, and reduce the number of operating physical servers when placing virtual machines on physical servers, and It is an object to provide a virtual machine arrangement method.
本発明は、仮想マシンを、前記仮想マシンを実行する物理サーバに配置する仮想マシン配置装置であって、処理部と、前記物理サーバの使用リソース量に対する上限閾値および下限閾値と、前記仮想マシンを配置元の物理サーバから移動先の物理サーバに移動したときに発生するサービス中断時間と、前記サービス中断時間に対して許容できる限界を示す許容サービス中断時間閾値と、を記憶している記憶部と、を備え、前記処理部が、（１）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えるか否かを判定し、（２）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えると判定した場合、前記配置元の物理サーバの使用リソース量が前記上限閾値を下回るように、移動対象の仮想マシンを抽出し、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを移動先の物理サーバとして抽出し、（２ａ）前記移動先の物理サーバが抽出された場合、前記移動先の物理サーバを選択する優先順位の決定に用いる物理サーバスコアを、リソースの余裕を測る物差しである評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記移動先の物理サーバに前記移動対象の仮想マシンを移動し、（２ｂ）前記移動先の物理サーバがない場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを増加して、（２ａ）の処理を実行し、（３）前記配置元の物理サーバの使用リソース量が前記上限閾値以下と判定した場合、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回るか否かを判定し、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回ると判定した場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを第２の移動先の物理サーバとして抽出し、前記第２の移動先の物理サーバが抽出された場合、前記第２の移動先の物理サーバを選択する優先順位の決定に用いる前記物理サーバスコアを、前記評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記第２の移動先の物理サーバに、前記配置元の物理サーバから前記仮想マシンを移動する設定をし、前記配置元の物理サーバから前記仮想マシンすべてについて移動する設定が終了した場合、移動する設定をした前記仮想マシンを前記第２の移動先の物理サーバへ移動することを特徴とする。 The present invention is a virtual machine placement device that places a virtual machine on a physical server that executes the virtual machine, and includes a processing unit, an upper limit threshold and a lower limit threshold for the amount of resources used by the physical server, and the virtual machine. A storage unit that stores a service interruption time that occurs when moving from a physical server that is an arrangement source to a physical server that is a movement destination, and an allowable service interruption time threshold that indicates an allowable limit for the service interruption time; The processing unit (1) determines whether or not the used resource amount of the physical server of the placement source exceeds the upper limit threshold, and (2) the used resource amount of the physical server of the placement source is the If it is determined that the upper limit threshold is exceeded, the migration target virtual machine is extracted so that the used resource amount of the placement source physical server falls below the upper limit threshold, and the service Extracts the physical server that interruption time is determined within the allowable service interruption time threshold as the destination physical server, (2a) when the physical servers of the destination is extracted, select a physical server of the destination the physical server scores used to determine the priority, computed by the use resource amount indicated by the evaluation element is a ruler to measure the margin of resources prioritized based on the magnitude relation of the physical server score, the When the migration target virtual machine is migrated to the migration destination physical server with the highest priority and (2b) there is no migration destination physical server, the service interruption time is determined to be within the allowable service interruption time threshold. Increase the number of physical servers to execute the process (2a), and (3) determine that the amount of used resources of the physical server that is the placement source is equal to or less than the upper threshold. If it is determined whether the used resource amount of the physical server of the placement source is below the lower limit threshold for a predetermined time, and it is determined that the used resource amount of the physical server of the placement source is lower than the lower limit threshold for a predetermined time When the physical server determined that the service interruption time is within the allowable service interruption time threshold is extracted as a second movement destination physical server, and the second movement destination physical server is extracted, the physical server score used to determine the priority for selecting 2 physical server of the destination, calculated by the use resource amount indicated by the evaluation element, the priority on the basis of the magnitude relation of the physical server score attached, the highest the second destination physical server of the priority, and the setting to move the virtual machine from the physical server of the arrangement source ones of the arrangement source If the settings from the management server to the mobile for all the virtual machines has been completed, characterized by moving the virtual machine settings to move to the second destination physical server.
また、本発明は、仮想マシンを、前記仮想マシンを実行する物理サーバに配置する仮想マシン配置装置の仮想マシン配置方法であって、前記仮想マシン配置装置が、処理部と、前記物理サーバの使用リソース量に対する上限閾値および下限閾値と、前記仮想マシンを配置元の物理サーバから移動先の物理サーバに移動したときに発生するサービス中断時間と、前記サービス中断時間に対して許容できる限界を示す許容サービス中断時間閾値と、を記憶している記憶部と、を備え、前記処理部が、（１）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えるか否かを判定するステップ、（２）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えると判定した場合、前記配置元の物理サーバの使用リソース量が前記上限閾値を下回るように、移動対象の仮想マシンを抽出し、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを移動先の物理サーバとして抽出するステップ、（２ａ）前記移動先の物理サーバが抽出された場合、前記移動先の物理サーバを選択する優先順位の決定に用いる物理サーバスコアを、リソースの余裕を測る物差しである評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記移動先の物理サーバに前記移動対象の仮想マシンを移動するステップ、（２ｂ）前記移動先の物理サーバがない場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを増加して、（２ａ）の処理を実行するステップ、（３）前記配置元の物理サーバの使用リソース量が前記上限閾値以下と判定した場合、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回るか否かを判定し、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回ると判定した場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを第２の移動先の物理サーバとして抽出するステップ、前記第２の移動先の物理サーバが抽出された場合、前記第２の移動先の物理サーバを選択する優先順位の決定に用いる前記物理サーバスコアを、前記評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記第２の移動先の物理サーバに、前記配置元の物理サーバから前記仮想マシンを移動する設定を行うステップ、前記配置元の物理サーバから前記仮想マシンすべてについて移動する設定が終了した場合、移動する設定をした前記仮想マシンを前記第２の移動先の物理サーバへ移動するステップを実行することを特徴とする。 The present invention is also a virtual machine placement method of a virtual machine placement device that places a virtual machine on a physical server that executes the virtual machine, wherein the virtual machine placement device uses a processing unit and the physical server. Upper and lower thresholds for the resource amount, service interruption time that occurs when the virtual machine is moved from the physical server of the placement source to the physical server of the migration destination, and tolerances that indicate acceptable limits for the service interruption time A storage unit that stores a service interruption time threshold, and the processing unit (1) determines whether or not a resource usage amount of the physical server that is the arrangement source exceeds the upper limit threshold; (2) When it is determined that the used resource amount of the physical server of the placement source exceeds the upper limit threshold, the used resource amount of the physical server of the placement source is the upper limit As below the value, to extract the virtual machine to be moved, to extract the physical server that the service interruption time is determined within said allowable service interruption time threshold as the destination physical server in step, (2a) the mobile When the destination physical server is extracted, the physical server score used to determine the priority order for selecting the destination physical server is calculated based on the amount of used resources indicated by the evaluation element that is a measure for measuring the margin of the resource. and prioritize based on the magnitude relation of the physical server score, moving at highest the destination physical server to the mobile target virtual machine of the priority, (2b) the destination physical server If no, then increase the physical server that the service interruption time is determined within said allowable service interruption time threshold, (2a) A step of executing processing; (3) if it is determined that the used resource amount of the physical server of the placement source is equal to or less than the upper limit threshold value, whether or not the used resource amount of the physical server of the placement source falls below the lower limit threshold value for a predetermined time And when it is determined that the used resource amount of the physical server of the placement source is lower than the lower limit threshold for a predetermined time, the physical server for which the service interruption time is determined to be within the allowable service interruption time threshold is set to the second A step of extracting as a physical server of a migration destination, when the physical server of the second migration destination is extracted, the physical server score used for determining a priority order for selecting the physical server of the second migration destination , calculated by the use resource amount indicated by the evaluation elements, prioritized based on the magnitude relation of the physical server scores the highest above the priority The second destination physical server, performing a setting to move the virtual machine from the physical server of the arrangement source if the setting to go about all the virtual machines from the physical server of the arrangement original is finished, transfer the virtual machine configuration for moving and to execute the step of moving to the second destination physical server.
このような構成によれば、マシン配置装置は、構成（２ａ）（２ｂ）を備えて、物理サーバの増加を極力抑えることによって、仮想マシンの集約効率を向上することができる。また、マシン配置装置は、構成（２）を備えることによって、リソース競合を防止し、リソース使用効率を向上することができる。また、マシン配置装置は、構成（３）を備えることによって、集約効率の低い物理サーバを無くすことができるため、物理サーバの稼動台数を低減する（電力使用効率を向上する）ことができる。 According to such a configuration, the machine placement apparatus includes the configurations (2a) and (2b), and can suppress the increase in physical servers as much as possible, thereby improving the aggregation efficiency of virtual machines. In addition, the machine placement device can prevent resource contention and improve resource use efficiency by providing the configuration (2). In addition, since the machine placement apparatus includes the configuration (3), it is possible to eliminate physical servers with low aggregation efficiency, and thus it is possible to reduce the number of operating physical servers (improve power use efficiency).
また、本発明は、前記処理部が、リソースの前記評価要素が１種類の場合には、前記仮想マシンの実行スケジュールの所定期間に亘って、前記物理サーバの空きリソース量の合計値を前記物理サーバスコアとして算出し、前記空きリソース量の合計値が大きいほど、優先順位を高く設定することを特徴とする。 Further, the present invention, the processing unit, if the evaluation element of the resource is one kind, over a predetermined period of execution schedule of the virtual machine, the physical total amount of free resources of the physical server calculated as the server scores, as the sum of the vacant resource amount is large, characterized by high rather set the priority.
このような構成によれば、物理サーバの空きリソース量が大きいほど仮想マシンを移動しやすいので、集約効率の向上、リソース競合の防止および物理サーバの稼動台数の低減（電力使用効率の向上）を満足した上で、容易に移動先の物理サーバを見つけることができる。 According to such a configuration, the larger the amount of free resources on the physical server, the easier it is to move virtual machines. Therefore, it is possible to improve aggregation efficiency, prevent resource contention, and reduce the number of physical servers in operation (improve power usage efficiency). It is easy to find the destination physical server after satisfying.
また、本発明は、前記処理部が、前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、リソースの前記評価要素が複数種類の場合には、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を前記物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定することを特徴とする。 Further, the present invention, the processing unit, when creating the execution schedule of the virtual machines, the resource allocation timing indicating timing for switching the amount of resources as a delimiter of schedule, if the evaluation element of the resource is a plurality of types is the use resource amount in each of the evaluation elements, the resource allocation for each sandwiched period timing calculated as evaluation measure values by projecting a single evaluation axis, the period in which the sandwiched resource allocation timing calculated in calculating the deviation of the evaluation scale values of the plurality of evaluation elements, the further average value obtained by averaging over a predetermined period of the execution schedule for deviation of the calculated evaluation scale value as the physical server score and, as the average value is small, characterized by high rather set the priority.
このような構成によれば、リソースの評価要素が複数種類（例えば、ＣＰＵ（Central Processing Unit）使用率、メモリ使用率等）の場合には、異なる評価要素間で比較ができるように、１つの評価軸に射影して求めた評価尺度値を算出し、その評価尺度値の偏りの平均値が、実行スケジュールの所定期間に亘って小さいほど仮想マシンを移動しやすいので、集約効率の向上、リソース競合の防止および物理サーバの稼動台数の低減（電力使用効率の向上）を満足した上で、容易に移動先の物理サーバを見つけることができる。 According to such a configuration, when there are a plurality of types of resource evaluation elements (for example, CPU (Central Processing Unit) usage rate, memory usage rate, etc.), one evaluation element can be compared between different evaluation elements. The evaluation scale value calculated by projecting to the evaluation axis is calculated, and the smaller the average deviation of the evaluation scale value over the predetermined period of the execution schedule, the easier it is to move the virtual machine. It is possible to easily find a destination physical server after satisfying prevention of competition and reduction of the number of operating physical servers (improvement of power use efficiency).
また、本発明は、前記処理部が、前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、リソースの前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定することを特徴とする。 Further, the present invention, the processing unit, the in creating the execution schedule of the virtual machines, the resource allocation timing indicating timing for switching the amount of resources and separators of schedule, the use resource amount in each of the evaluation blocks of a resource , said calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched resource allocation timing, maximum evaluation measure among all the rating scales value over a predetermined period of the execution schedule A value is extracted for each physical server, the extracted maximum evaluation measure value is set as the physical server score, and a physical server having a smaller evaluation measure value among the extracted maximum evaluation measure values has a higher priority. and characterized in that the Ku set.
このような構成によれば、リソースの評価要素が複数種類の場合には、異なる評価要素間で比較ができるように、１つの評価軸に射影して求めた評価尺度値を算出し、その評価尺度値の最大値が、実行スケジュールの所定期間に亘って小さいほど仮想マシンを移動しやすいので、集約効率の向上、リソース競合の防止および物理サーバの稼動台数の低減（電力使用効率の向上）を満足した上で、容易に移動先の物理サーバを見つけることができる。 According to such a configuration, when there are a plurality of types of resource evaluation elements, an evaluation scale value obtained by projecting on one evaluation axis is calculated so that comparison can be made between different evaluation elements, and the evaluation The smaller the maximum scale value is, the easier it is to move a virtual machine over a predetermined period of the execution schedule. This improves aggregation efficiency, prevents resource contention, and reduces the number of operating physical servers (improves power usage efficiency). It is easy to find the destination physical server after satisfying.
また、本発明は、前記処理部が、前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、リソースの前記評価要素が複数種類の場合には、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を第１の物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定し、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して前記評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバの第２の物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定し、前記第１の物理サーバスコアおよび前記第２の物理サーバスコアそれぞれに重み計数を乗算し、両者を合計した合計値を前記物理サーバスコアとして設定することを特徴とする。 Further, the present invention, the processing unit, when creating the execution schedule of the virtual machines, the resource allocation timing indicating timing for switching the amount of resources as a delimiter of schedule, if the evaluation element of the resource is a plurality of types is the use resource amount in each of the evaluation elements, the resource allocation for each sandwiched period timing calculated as evaluation measure values by projecting a single evaluation axis, the period in which the sandwiched resource allocation timing in calculating the deviation of the evaluation scale values of the plurality of evaluation elements, further wherein the calculated evaluation scale value the average value obtained by averaging over a predetermined period of the execution schedule for bias first physical server scores calculated as the as the average value is smaller, the priority higher rather to set the said use Li in each of the evaluation element The over scan volume, projected to a single evaluation axis for each period sandwiched between the resource allocation timing calculated as the evaluation scale value, the rating scale value for a predetermined period of the execution schedule of all A maximum evaluation scale value is extracted for each physical server, the extracted maximum evaluation scale value is set as a second physical server score of the physical server , and a small evaluation scale value among the extracted maximum evaluation scale values more physical server having a highly rather set the priority, the weight count multiplied to each of the first physical server score and the second physical server scores, the total value which is the sum of both as the physical server score It is characterized by setting.
このような構成によれば、２つの異なる方法によって算出した物理サーバスコアに重み付けをして物理サーバスコアを算出するので、２つの異なる方法双方を加味して、集約効率の向上、リソース競合の防止および物理サーバの稼動台数の低減（電力使用効率の向上）を満足した上で、容易に移動先の物理サーバを見つけることができる。 According to such a configuration, the physical server score is calculated by weighting the physical server score calculated by two different methods. Therefore, the aggregation efficiency is improved and the resource competition is prevented by taking both two different methods into consideration. In addition, after satisfying the reduction in the number of operating physical servers (improvement of power usage efficiency), it is possible to easily find the physical server of the movement destination.
また、本発明は、前記処理部が、前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、リソースの前記評価要素が複数種類の場合には、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を前記物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定し、前記物理サーバスコアを複数の段階で表現し、前記物理サーバスコアが同じ段階で表されるときには、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して前記評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定することを特徴とする。 Further, the present invention, the processing unit, when creating the execution schedule of the virtual machines, the resource allocation timing indicating timing for switching the amount of resources as a delimiter of schedule, if the evaluation element of the resource is a plurality of types is the use resource amount in each of the evaluation elements, the resource allocation for each sandwiched period timing calculated as evaluation measure values by projecting a single evaluation axis, the period in which the sandwiched resource allocation timing calculated in calculating the deviation of the evaluation scale values of the plurality of evaluation elements, the further average value obtained by averaging over a predetermined period of the execution schedule for deviation of the calculated evaluation scale value as the physical server score and, the higher the average value is smaller, the priority higher rather set the, representing the physical server score in a plurality of stages When the physical server score is represented by the same step, calculates the used resource amount of each of the evaluation factors, as the evaluation scale values by projecting a single evaluation axis for each period sandwiched between the resource allocation timing Then, the maximum evaluation scale value among all the evaluation scale values over the predetermined period of the execution schedule is extracted for each physical server, and the extracted maximum evaluation scale value is extracted as the physical server score. more physical server having a small rating scale value among the maximum rating scale value, characterized by high rather set the priority.
また、本発明は、前記処理部が、前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、リソースの前記評価要素が複数種類の場合には、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定し、前記物理サーバスコアを複数の段階で表現し、前記物理サーバスコアが同じ段階で表されるときには、前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して前記評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を前記物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定することを特徴とする。 Further, the present invention, the processing unit, when creating the execution schedule of the virtual machines, the resource allocation timing indicating timing for switching the amount of resources as a delimiter of schedule, if the evaluation element of the resource is a plurality of types is the use resource amount in each of the evaluation elements, the calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched resource allocation timing, over a predetermined period of the execution schedule the The maximum evaluation scale value among all the evaluation scale values is extracted for each physical server, the extracted maximum evaluation scale value is set as the physical server score, and the small evaluation scale is extracted among the extracted maximum evaluation scale values. more physical server having a value, and a high rather set the priority to represent the physical server score in multiple stages, the physical server When the score is expressed in the same stage, the use resource amount in each of the evaluation element, the projection and is calculated as the evaluation scale value in one evaluation axis for each period sandwiched between the resource allocation timing, the within a period sandwiched between the resource allocation timing to calculate the deviation of the evaluation scale values of the plurality of evaluation elements, it was obtained by averaging over a further predetermined period of the execution schedule for deviation of the calculated evaluation scale value calculating an average value as the physical server score, the more the average value is small, characterized by high rather set the priority.
このような構成によれば、２つの異なる方法によって算出した物理サーバスコアのうち、一方の方法によって算出した物理サーバスコアがほぼ等しい場合であっても、他方の方法によって算出した物理サーバスコアの違いによって優先順位を付けることができるので、集約効率の向上、リソース競合の防止および物理サーバの稼動台数の低減（電力使用効率の向上）を満足した上で、容易に移動先の物理サーバを見つけることができる。 According to such a configuration, even if the physical server scores calculated by one of the two different methods are substantially equal, the difference in the physical server scores calculated by the other method Can be prioritized, so it is easy to find the destination physical server after satisfying the improvement of aggregation efficiency, prevention of resource contention and reduction of the number of physical servers in operation (improvement of power usage efficiency). Can do.
本発明によれば、仮想マシンを物理サーバへ配置するときに、集約効率を向上し、リソース競合を防止し、物理サーバの稼動台数を低減することを満足させることができる。 According to the present invention, when a virtual machine is arranged on a physical server, it is possible to improve the aggregation efficiency, prevent resource contention, and reduce the number of operating physical servers.
本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。 A mode for carrying out the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings as appropriate.
（仮想マシン実行システム）
はじめに、本実施形態における仮想マシン実行システムの構成例について、図１を用いて説明する。
図１に示すように、仮想マシン実行システム５０は、仮想マシン配置装置１０、１台以上の物理サーバ２０（２０ａ，２０ｂ，・・２０ｍ）で構成される物理サーバ群２１および記憶装置３１を備える。仮想マシン配置装置１０、物理サーバ２０および記憶装置３１は、ネットワーク４０を介して、通信可能に接続されている。なお、図１では、記憶装置３１は、１台しか記載していないが、２台以上であっても構わない。
(Virtual machine execution system)
First, a configuration example of a virtual machine execution system in the present embodiment will be described with reference to FIG.
As shown in FIG. 1, the virtual machine execution system 50 includes a virtual
記憶装置３１は、ネットワーク４０を介して仮想マシンＡ（ＶＭ（Virtual Machine）プログラム）３０ａ〜仮想マシンＥ（ＶＭプログラム）３０ｅを読み書きする機能を有する。なお、以降の説明では、仮想マシンＡ（３０ａ）〜仮想マシンＥ（３０ｅ）を区別する必要がない場合には、仮想マシン３０と表記することとする。また、図１には、５つの仮想マシン３０が記載されているが、５つに限られることはなく、４以下または６以上であっても構わない。また、本実施形態では、１つの仮想マシン３０は、１つのアプリケーションを実行するものとして説明する。
The storage device 31 has a function of reading and writing the virtual machine A (VM (Virtual Machine) program) 30 a to virtual machine E (VM program) 30 e via the
仮想マシン配置装置１０は、記憶装置３１に記憶されている仮想マシン３０を物理サーバ２０に配置する機能を有する。仮想マシン配置装置１０は、物理サーバ２０に仮想マシン３０を配置するとき、物理サーバ２０の集約効率を向上しつつリソース競合を防止するとともに、物理サーバ２０の稼動台数を低減する（電力使用効率を向上する）ように制御を行う。なお、仮想マシン配置装置１０の機能例の詳細については後記する。
The virtual
物理サーバ２０は、仮想マシン配置装置１０によって配置された仮想マシン３０を実行する機能を有する。例えば、図１では、物理サーバ２０ａは、配置された仮想マシンＡ（３０ａ）および仮想マシンＣ（３０ｃ）を実行する。また、物理サーバ２０ｂは、配置された仮想マシンＢ（３０ｂ）、仮想マシンＤ（３０ｄ）、仮想マシンＥ（３０ｅ）を実行する。また、物理サーバ２０ｍは、仮想マシン３０が配置されていないため、電源がＯＦＦされるかまたは低電力消費モードに移行される。そのため、仮想マシン実行システム５０全体の電力消費効率が向上する。
The
（仮想マシンを配置するときに考慮する３条件）
本発明では、仮想マシン配置装置１０は、下記３条件を満足するようにして、仮想マシン３０の配置を決定する。
条件１：物理サーバ２０において、仮想マシン３０の集約効率を高くすること
条件２：１台の物理サーバ２０に配置された仮想マシン３０間で、リソース競合が起きない範囲において、リソース使用効率を高くすること
条件３：リソース使用効率が低い物理サーバ２０に配置されている仮想マシン３０すべてを他の物理サーバ２０に移動し、仮想マシン３０が配置されていない物理サーバ２０を電源ＯＦＦまたは低電力消費モードに移行させ、電力使用効率を高くすること
(Three conditions to consider when placing virtual machines)
In the present invention, the virtual
Condition 1: Increase the aggregation efficiency of the
（仮想マシンの必要リソース量の算出）
条件１〜３を満たすように、仮想マシン３０をどの物理サーバ２０に配置するかを決定するためには、まず、仮想マシン３０（アプリケーション）の必要リソース量が明らかになっている必要がある。
(Calculation of required resource amount of virtual machine)
In order to determine which
そこで、アプリケーションの処理を、事前に処理の実行期間をスケジューリング可能な処理と、不定期に突発的に発生する処理等のように事前に処理の実行期間をスケジューリングできない処理とに分類する。そして、スケジューリング可能な処理に対しては、処理の発生期間に対して必要なリソース量を割り当てる。また、スケジューリングできない処理に対しては、いつ処理が発生しても処理性能を確保できるように、常時リソースを割り当てる。このようにして、仮想マシン３０の必要リソース量を決定する。
Therefore, application processing is classified into processing that can schedule the execution period of the process in advance and processing that cannot schedule the execution period of the process in advance, such as processing that occurs unexpectedly and unexpectedly. For a process that can be scheduled, a necessary resource amount is assigned to the generation period of the process. For a process that cannot be scheduled, resources are always allocated so that the processing performance can be ensured whenever the process occurs. In this way, the required resource amount of the
仮想マシン３０の必要リソース量の決定方法について、図２を用いて具体的に説明する。
図２の上段は、１つのアプリケーション（仮想マシン３０）を、そのアプリケーションを構成する処理ａ，ｂ，ｃに分解できたものとし、第１期間〜第Ｎ期間までの各処理の必要リソース量を決定する場面を示している。
第１期間〜第Ｎ期間は、リソース量を切替えるタイミングを示すリソース割当タイミング（縦方向の破線）に挟まれた期間であって、この期間の間は、必要リソース量は一定とする。本来は、処理の発生期間中にのみ必要リソース量を割り当てることが望ましいが、処理の発生が頻繁に変化する場合には、仮想マシン３０の配置先の物理サーバ２０を決定するための計算量が増加してしまう。したがって、リソース割当タイミングを所定期間ごとに設定して揃えることによって、計算量を低減させている。
A method for determining the required resource amount of the
In the upper part of FIG. 2, it is assumed that one application (virtual machine 30) can be decomposed into processes a, b, and c constituting the application, and the amount of resources required for each process from the first period to the Nth period is shown. The scene to decide is shown.
The first period to the Nth period are periods between resource allocation timings (vertical broken lines) indicating the timing for switching the resource amount, and the required resource amount is constant during this period. Originally, it is desirable to allocate the necessary resource amount only during the process generation period. However, when the process generation frequently changes, the calculation amount for determining the
図２の上段に示すように、処理ａはスケジューリングできる処理であり、第１期間内および第Ｎ期間内に、両端矢印線とドットの付された矩形が表示されている。両端矢印線は、処理発生期間を表している。また、矩形は、割り当てた必要リソース量を表し、処理発生期間を含む第１期間および第Ｎ期間に示される。 As shown in the upper part of FIG. 2, the process a is a process that can be scheduled, and a rectangle with a double-ended arrow line and dots is displayed in the first period and the Nth period. A double-ended arrow line represents a processing occurrence period. In addition, the rectangle represents the necessary resource amount allocated, and is indicated in the first period and the Nth period including the process generation period.
処理ｂはスケジューリングできる処理であり、第１期間から第２期間にまたがって、両端矢印線（処理発生期間）が表示されている。この場合には、第１期間および第２期間に斜め線のハッチングが付された矩形で示すように必要リソース量が割り当てられる。また、第Ｎ−１期間から第Ｎ期間にまたがる両端矢印線（処理発生期間）に対して、第Ｎ−１期間および第Ｎ期間に斜め線の付された矩形で示すように必要リソース量が割り当てられる。 The process b is a process that can be scheduled, and a double-ended arrow line (process occurrence period) is displayed from the first period to the second period. In this case, a necessary resource amount is allocated as shown by a rectangle with hatching in the first period and the second period. Further, with respect to the double-ended arrow line (processing generation period) extending from the (N-1) period to the N period, the required resource amount is indicated by a rectangle with diagonal lines in the (N-1) period and the N period. Assigned.
処理ｃはスケジューリングできない処理である。この場合、いつ処理が発生しても処理性能を確保できるように、常に、縦線のハッチングが付された矩形で示すように必要リソース量が割り当てられる。
余裕分はアプリケーションを構成する処理ａ，ｂ，ｃ以外に、突発的に発生する処理に対応するため、リソース量が割り当てられる。
The process c is a process that cannot be scheduled. In this case, a necessary resource amount is always allocated as shown by a rectangle with vertical hatching so that processing performance can be ensured whenever processing occurs.
In addition to the processes a, b, and c constituting the application, the margin is assigned a resource amount in order to cope with a process that occurs unexpectedly.
上記のようにして、仮想マシン３０の必要リソース量は、図２の下段に示すように、処理ａ，ｂ，ｃと余裕分とを合計して、期間ごとに算出される。そして、仮想マシン３０の必要リソース量の変更は、リソース割当タイミングのときに行われる。
As described above, the required resource amount of the
（仮想マシン配置装置の機能）
次に、仮想マシン配置装置１０の機能例について、図３を用いて説明する（適宜、図１参照）。
仮想マシン配置装置１０は、処理部１００、記憶部１１０および通信部１２０を備える。
通信部１２０は、通信インタフェースであり、ネットワーク４０を介して物理サーバ２０や記憶装置３１と情報を送受信する。
(Function of virtual machine placement device)
Next, a function example of the virtual
The virtual
The
処理部１００は、必要リソース量演算部１０１、初期配置決定部１０２および再配置決定部１０３を備える。処理部１００は、図示しないＣＰＵ（Central Processing Unit）およびメインメモリによって構成され、処理部１００の各部は、記憶部１１０に記憶されているアプリケーションプログラムをメインメモリに展開して具現化される。
The processing unit 100 includes a necessary resource
必要リソース量演算部１０１は、図２を用いて説明したように、仮想マシン３０の必要リソース量を第１期間〜第Ｎ期間について算出する。
As described with reference to FIG. 2, the necessary resource
初期配置決定部１０２は、必要リソース量演算部１０１によって算出された必要リソース量を用いて、前記条件１（集約効率）および条件２（リソース使用効率）を満足するように、仮想マシン３０を物理サーバ２０に初期配置して、物理サーバ２０の初期台数を決定する。
The initial
再配置決定部１０３は、前記条件１（集約効率）、条件２（リソース使用効率）および条件３（電力使用効率）を満足するように、既に配置済の仮想マシン３０を再配置（配置換え）する移動先の物理サーバ２０を決定する。再配置の処理は、物理サーバ２０が仮想マシン３０の初期配置の状態から処理を実行している間に、使用リソース量が上限閾値を超えてリソース競合が起きそうになった場合や、使用リソース量が所定期間常に下限閾値を下回ると予想される場合に実行される。なお、使用リソース量とは、実際に処理に使用されているリソース量のことであって、前記した必要リソース量とは言葉の定義が異なる。ただし、使用リソース量の大きさおよび必要リソース量の大きさは一致する場合もあるし、異なる場合もある。
The
記憶部１１０は、メモリやハードディスク等の記憶媒体である。記憶部１１０には、アプリケーションの処理スケジュール１１１、仮想マシン必要リソース量情報１１２、物理サーバリソース情報１１３、許容サービス中断時間閾値情報１１４、仮想マシンの移行時間情報１１５、物理サーバスコア情報１１６および仮想マシン配置情報１１７が記憶される。記憶部１１０に記憶されている情報は、処理部１００によって読み書きされる。記憶部１１０に記憶される各情報の一例については、図７に示した。
The storage unit 110 is a storage medium such as a memory or a hard disk. The storage unit 110 includes an
アプリケーションの処理スケジュール１１１は、図２の上段で説明した、第１期間から第Ｎ期間までの間で発生する処理発生期間を、アプリケーション（仮想マシン３０）ごとに関連付けた情報である（図７（ａ）参照）。
仮想マシン必要リソース量情報１１２は、図２の下段で説明した、仮想マシン３０の必要リソース量の情報であり、仮想マシン３０と必要リソース量とを関連付けた情報である（図７（ｂ）参照）。なお、必要リソース量は、期間と関連付けて記憶される。
物理サーバリソース情報１１３は、リソース競合が起きないようにするための物理サーバ２０の使用リソース量の上限閾値、およびリソース使用効率が低いか否かを判定するための使用リソース量の下限閾値を物理サーバ２０と関連付けた情報である（図７（ｃ）参照）。なお、図７（ｃ）中の「評価要素」欄において、「評価要素１」「評価要素２」とは、例えば、空き容量、ＣＰＵ使用率、メモリ使用率等であって、物理サーバ２０の余裕を測る物差しを意味している。この評価要素の詳細については、後記する。また、図７（ｃ）中の「リソース量」は、評価要素ごとのリソース量を意味している。
The
The virtual machine required
The physical
許容サービス中断時間閾値情報１１４は、アプリケーションの処理が中断しても許容できるサービスの中断時間の閾値であり、仮想マシン３０とサービス中断時間閾値とを関連付けた情報である（図７（ｄ）参照）。
仮想マシンの移行時間情報１１５は、既に物理サーバ２０に配置済の仮想マシン３０を再配置して移動先の物理サーバ２０に移動させる際に発生するサービス中断時間を、仮想マシン３０と配置元の物理サーバ２０と移動先の物理サーバ２０と関連付けた情報である（図７（ｅ）参照）。サービス中断時間は、例えば、再配置に係る物理サーバ２０間の距離（経由するハブ等のノードの台数）によって異なる。
The allowable service interruption time threshold value information 114 is a threshold value of service interruption time that can be tolerated even if application processing is interrupted, and is information that associates the
The virtual machine migration time information 115 indicates the service interruption time that occurs when the
物理サーバスコア情報１１６は、物理サーバ２０ごとに算出される物理サーバスコアに関する情報である（図７（ｆ）参照）。本実施形態では、物理サーバスコアの最も大きな物理サーバ２０に仮想マシン３０が割り当てられるものとして説明するが、その逆であっても構わない。なお、物理サーバスコアの算出方法については後記する。
仮想マシン配置情報１１７は、仮想マシン３０とその仮想マシン３０が配置されている物理サーバ２０とを関連付けた情報である（図７（ｇ）参照）。
The physical
The virtual
ここで、処理部１００における必要リソース量演算部１０１、初期配置決定部１０２および再配置決定部１０３の各処理と、記憶部１１０に記憶される情報との入出力関係について、説明する。
Here, an input / output relationship between each process of the required resource
必要リソース量演算部１０１は、アプリケーションの処理スケジュール１１１を入力とし、仮想マシン必要リソース量情報１１２を出力する。
The required resource
初期配置決定部１０２は、仮想マシン必要リソース量情報１１２を入力とし、物理サーバスコア情報１１６を参照して、仮想マシン３０の初期配置の状態を仮想マシン配置情報１１７に出力する。なお、初期配置決定部１０２は、物理サーバ２０のリソース状態を入力とし、物理サーバスコアを演算するとともに、物理サーバスコア情報１１６に対して物理サーバスコアを読み書きする。
The initial
再配置決定部１０３は、仮想マシン配置情報１１７に記憶されている仮想マシン３０の初期配置の状態を入力とし、物理サーバリソース情報１１３を参照して、使用リソース量が上限閾値を超えるかまたは下限閾値を下回るかを判定し、再配置対象とする仮想マシン候補を抽出する。次に、再配置決定部１０３は、仮想マシン候補を再配置する場合、仮想マシンの移動時間情報１１５および許容サービス中断時間閾値情報１１４を参照して、サービス中断時間が許容サービス中断時間閾値を満足する移動先の物理サーバ２０を抽出する。そして、再配置決定部１０３は、物理サーバスコア情報１１６を参照して、仮想マシン３０の再配置の状態を仮想マシン配置情報１１７に出力する。なお、再配置決定部１０３は、物理サーバ２０のリソース状態を入力とし、物理サーバスコアを演算するとともに、物理サーバスコア情報１１６に対して物理サーバスコアを読み書きする。
The
（初期配置処理フロー）
次に、仮想マシン３０の初期配置を決定するための初期配置処理フロー例について、図４を用いて説明する（適宜、図１，２参照）。
ステップＳ４０１では、初期配置決定部１０２は、物理サーバ台数設定ルールに従って物理サーバ２０の初期台数を決定する。
物理サーバ台数設定ルールとは、第１期間から第Ｎ期間までの間で、期間ごとに配置予定の仮想マシン３０の必要リソース量の合計値を算出し、最も大きな合計値の必要リソース量を配置可能な物理サーバ２０の台数を求めることである。
(Initial placement processing flow)
Next, an example of an initial arrangement process flow for determining the initial arrangement of the
In step S401, the initial
The physical server number setting rule is to calculate the total required resource amount of the
ステップＳ４０２では、初期配置決定部１０２は、配置予定の仮想マシン３０の中から、必要リソース量の大きい順に１つ選択する。ただし、当該必要リソース量とは、第１期間から第Ｎ期間までの間で必要リソース量を合計した合計値のことである。
In step S <b> 402, the initial
ステップＳ４０３では、初期配置決定部１０２は、物理サーバ選定ルールに従って、配置先の物理サーバ２０を決定する。ただし、ステップＳ４０３の時点で決定する配置先の物理サーバ２０は、配置先の候補であるので、複数であっても構わない。
物理サーバ選定ルールとは、配置予定の仮想マシン３０の必要リソース量と、物理サーバ２０に既に割当済のリソース量との合計値が、第１期間〜第Ｎ期間に亘って、物理サーバ２０に設定した使用リソース量の上限閾値以下となる条件を満たすように、物理サーバ２０を選ぶことである。なお、使用リソース量が上限閾値以下になるとは、リソースの評価要素が複数の場合には、リソースの評価要素それぞれについて、上限閾値以下となることを意味している。ただし、リソースの評価要素については後記する。また、上限閾値は、物理サーバリソース情報１１３に記憶されている。
In step S403, the initial
The physical server selection rule is that the total value of the required resource amount of the
一般的な仮想マシン３０のリソースの使用方法は、予約モードと制限モードの２種類が知られている。予約モードでは、仮想マシン３０は、その仮想マシン３０が使用する最低限のリソース量を保証され、空きリソースが存在する場合には、最低限のリソース量を超えて空きリソースを使用できる。制限モードでは、仮想マシン３０は、使用可能なリソース量の上限値を設定され、設定された上限値を超えてリソースを使用できない。本実施形態では、仮想マシン３０が、制限モードでリソースを使用するものとする。
There are two known methods for using resources of a general virtual machine 30: a reservation mode and a restriction mode. In the reservation mode, the
ステップＳ４０４では、初期配置決定部１０２は、配置先の物理サーバ２０があるか否かを判定する。
配置先の物理サーバ２０がある場合（ステップＳ４０４でＹｅｓ）、処理はステップＳ４０５へ進み、配置先の物理サーバ２０がない場合（ステップＳ４０４でＮｏ）、処理はステップＳ４０８へ進む。
In step S404, the initial
If there is a
ステップＳ４０５では、初期配置決定部１０２は、配置先の物理サーバ２０のリソース状態に基づいて優先順位を示す物理サーバスコアを算出し、優先順位の最も高い物理サーバ２０に仮想マシン３０を配置する。
In step S405, the initial
ここで、物理サーバスコアの算出方法について説明する。物理サーバスコアの算出方法は、リソースの評価要素の数によって異なる。
リソースの評価要素として、例えば、ＣＰＵ使用率、メモリ使用率等がある。ＣＰＵ使用率は、実行中のアプリケーションがＣＰＵを占有している時間の割合を表す。メモリ使用率は、実行中のアプリケーションがメモリを占有している割合を表す。
Here, a method for calculating the physical server score will be described. The calculation method of the physical server score differs depending on the number of resource evaluation elements.
Examples of resource evaluation elements include a CPU usage rate and a memory usage rate. The CPU usage rate represents a ratio of time during which an executing application occupies the CPU. The memory usage rate represents a rate at which a running application occupies memory.
ここで、リソースの評価要素を１種類だけ（例えば、ＣＰＵ使用率だけ）で考えた場合、初期配置決定部１０２は、第１期間〜第Ｎ期間（仮想マシン３０の実行スケジュールの所定期間）に亘って、物理サーバ２０の空きリソース量の合計値を算出し、空きリソース量の合計値が大きいほど、優先順位を高くするように物理サーバスコアを設定する。なお、優先順位が高いとは、物理サーバ２０が選択されやすいことを意味している。つまり、物理サーバスコアは、リソース状態（空きリソース量の合計値）の違いによって異なる。
Here, when only one type of resource evaluation element is considered (for example, only the CPU usage rate), the initial
また、リソースの評価要素が複数の場合（ＣＰＵ使用率、メモリ使用率等）、初期配置決定部１０２は、リソースの評価要素それぞれの評価尺度値を算出する。評価尺度値とは、ＣＰＵ使用率の場合には、ＣＰＵ使用率の最大値が１００％で、使用時には８０％であれば、０．８（＝８０÷１００）と算出し、その算出した値を１つの評価軸に射影して求めた評価値である。また、メモリ使用率の場合には、評価尺度値は、最大メモリ容量が１ＧＢで、使用時には７００ＭＢであれば、０．７（＝７００÷１０００）と算出し、その算出した値を１つの評価軸に射影して求めた評価値である。ここで、１つの評価尺度に射影するとは、例えば、リソースの評価要素ごとに所定の重み係数を乗算することであっても構わない。つまり、ＣＰＵ使用率の評価尺度値およびメモリ使用率の評価尺度値は、１つの評価軸（１次元）の評価値で表現されているため、その評価値の大きさを直接比較することができる。
そこで、初期配置決定部１０２は、まず、一つの期間（期間とは図２に示す第〇期間のこと）内において評価要素の種類を問わずこれらの評価尺度値の偏りを個別期間値として算出し、次に個別期間値をさらに第１期間〜第Ｎ期間に亘って平均して求めた平均値を全期間平均値として算出し、全期間平均値が小さいほど、優先順位を高くするように物理サーバスコアを設定する。つまり、物理サーバスコアは、リソース状態（評価尺度値の偏りの平均値）の違いによって異なる。
When there are a plurality of resource evaluation elements (CPU usage rate, memory usage rate, etc.), the initial
Therefore, the initial
ステップＳ４０６では、初期配置決定部１０２は、未配置の仮想マシン３０が残っているか否かを判定する。
未配置の仮想マシン３０が残っている場合（ステップＳ４０６でＹｅｓ）、処理はステップＳ４０２へ戻り、未配置の仮想マシンが残っていない場合（ステップＳ４０６でＮｏ）、処理はステップＳ４０７へ進む。
In step S <b> 406, the initial
If an unallocated
ステップＳ４０７では、初期配置決定部１０２は、物理サーバ台数を決定する。具体的には、物理サーバ２０の台数は、配置予定の仮想マシン３０が配置された物理サーバ２０の台数となる。そして、初期配置の処理は終了する。
ステップＳ４０８では、初期配置決定部１０２は、物理サーバ２０を増加する。そして、処理はステップＳ４０３へ戻る。
In step S407, the initial
In step S408, the initial
以上、図４に示す初期配置処理フローでは、初期配置決定部１０２は、ステップＳ４０１において、物理サーバ台数設定ルールに従って理論上の物理サーバ２０の初期台数（理論上の最小台数）を設定することにより、条件１（集約効率）を満たすための初期状態を設定することができる。また、初期配置決定部１０２は、ステップＳ４０３において、物理サーバ選定ルールに従って配置先の物理サーバ２０を決定することにより、条件２（リソース使用効率）を満たすための初期状態を設定することができる。また、初期配置決定部１０２は、必要リソース量の大きい順に仮想マシン３０を選択し（ステップＳ４０２）、優先順位の最も高い物理サーバ２０に当該仮想マシン３０を配置する（ステップＳ４０５）ことにより、ランダムに仮想マシン３０を配置する場合に比べて、物理サーバ２０の台数を少なくすることができる。
As described above, in the initial arrangement processing flow shown in FIG. 4, the initial
（再配置処理フロー）
次に、配置済の仮想マシン３０を他の物理サーバ２０に再配置するための再配置処理フロー例について、図５，６を用いて説明する（適宜、図１，３参照）。なお、以下の説明では、再配置と移動とを同じ意味で用いている。また、再配置（移動）は、図２で説明したリソース割当タイミングに実行されるものとする。
(Relocation processing flow)
Next, an example of a relocation processing flow for relocating a
図５において、ステップＳ５０１では、再配置決定部１０３は、次の期間（期間とは図２に示す第〇期間のこと）において、物理サーバ２０の使用リソース量が上限閾値を超えるか否かを判定する。
具体的には、再配置決定部１０３は、物理サーバリソース情報１１３を参照して、上限閾値とリソース量とを取得して、物理サーバ２０の使用リソース量が上限閾値を超えるか否かを判定する。
上限閾値を超えると判定した場合（ステップＳ５０１でＹｅｓ）、処理はステップＳ５０２へ進み、上限閾値以下と判定した場合（ステップＳ５０１でＮｏ）、処理は図６の丸Ａに進む。
In FIG. 5, in step S501, the
Specifically, the
If it is determined that the upper limit threshold is exceeded (Yes in step S501), the process proceeds to step S502. If it is determined that the upper limit threshold is not exceeded (No in step S501), the process proceeds to circle A in FIG.
ステップＳ５０２では、再配置決定部１０３は、移動対象仮想マシン選定ルールに従って、移動する仮想マシン候補を抽出する。
移動対象仮想マシン選定ルールとは、物理サーバ２０の使用リソース量が上限閾値を超えると予想される場合、物理サーバ２０の使用リソース量が上限閾値を下回るように、使用リソース量の大きい仮想マシン３０から順に、移動対象の仮想マシン候補として抽出することである。なお、移動対象の仮想マシン候補の台数は、物理サーバ２０の使用リソース量と上限閾値との差分に基づいて、再配置決定部１０３によって決定される。このようにすることによって、計算量を低減することができる。また、使用リソース量が上限閾値を下回るとは、リソースの評価要素が複数の場合には、リソースの評価要素それぞれについて、上限閾値を下回ることを意味している。
In step S502, the
The migration target virtual machine selection rule is a
ステップＳ５０３では、再配置決定部１０３は、仮想マシン候補の中から、任意に仮想マシン３０を選択し、移動先物理サーバ選定ルールに従って、移動先の物理サーバ２０を抽出する。
In step S503, the
移動先物理サーバ選定ルールとは、前記した物理サーバ選定ルールに従って抽出された物理サーバ２０の中で、配置予定の仮想マシン３０を物理サーバ２０へ移動する際のサービス中断時間が許容サービス中断時間以内である物理サーバ２０を選ぶことである。具体的には、再配置決定部１０３は、記憶部１１０に記憶されている仮想マシンの移動時間情報１１６および許容サービス中断時間閾値情報１１４を参照して、サービス中断時間が許容サービス中断時間以内と判定される物理サーバ２０を移動先の物理サーバ２０として選ぶ。
The migration destination physical server selection rule is a service interruption time when moving the
ステップＳ５０４では、再配置決定部１０３は、移動先の物理サーバ２０があるか否かを判定する。
移動先の物理サーバ２０がある場合（ステップＳ５０４でＹｅｓ）、処理はステップＳ５０５に進み、移動先の物理サーバ２０がない場合（ステップＳ５０４でＮｏ）、処理はステップＳ５０７へ進む。
In step S504, the
If there is a destination physical server 20 (Yes in step S504), the process proceeds to step S505. If there is no destination physical server 20 (No in step S504), the process proceeds to step S507.
ステップＳ５０５では、再配置決定部１０３は、移動先の物理サーバ２０のリソース状態に基づいて優先順位を示す物理サーバスコアを演算し、優先順位の最も高い物理サーバ２０に仮想マシン３０を移動する。なお、物理サーバスコアの算出方法は、前記した通りである。
In step S505, the
ステップＳ５０６では、再配置決定部１０３は、未移動の仮想マシン候補が残っているか否かを判定する。
未移動の仮想マシン候補が残っていると判定した場合（ステップＳ５０６でＹｅｓ）、処理はステップＳ５０３へ戻り、未移動の仮想マシン候補が残っていないと判定した場合（ステップＳ５０６でＮｏ）、処理は終了する。
In step S506, the
If it is determined that unmoved virtual machine candidates remain (Yes in step S506), the process returns to step S503, and if it is determined that no unmoved virtual machine candidates remain (No in step S506), processing is performed. Ends.
ステップＳ５０７では、再配置決定部１０３は、移動先物理サーバ選定ルールに従う物理サーバ２０を増加する。そして、処理はステップＳ５０３へ戻る。
In step S507, the
次に、図６の丸Ａから処理を開始して、ステップＳ６０１では、再配置決定部１０３は、次の期間（期間とは図２に示す第〇期間のこと）において、物理サーバ２０の使用リソース量が下限閾値を所定時間下回るか否かを判定する。なお、使用リソース量が下限閾値を下回るとは、リソースの評価要素が複数の場合には、リソースの評価要素それぞれについて、下限閾値を下回ることを意味している。
具体的には、再配置決定部１０３は、物理サーバリソース情報１１３を参照して、下限閾値とリソース量とを取得して、物理サーバ２０の使用リソース量が下限閾値を所定時間下回るか否かを判定する。
下限閾値を所定時間下回ると判定した場合（ステップＳ６０１でＹｅｓ）、処理はステップＳ６０２へ進み、下限閾値を所定時間下回らないと判定した場合（ステップＳ６０１でＮｏ）、処理はステップＳ６０７に進む。
Next, the processing is started from the circle A in FIG. 6, and in step S601, the
Specifically, the
If it is determined that the lower limit threshold is below a predetermined time (Yes in step S601), the process proceeds to step S602. If it is determined that the lower limit threshold is not decreased for a predetermined time (No in step S601), the process proceeds to step S607.
ステップＳ６０２では、再配置決定部１０３は、物理サーバ２０上の仮想マシン３０すべての中から、任意に１つの仮想マシン３０を選択し、移動先物理サーバ選定ルールに従って、移動先の物理サーバ２０を抽出する。
In step S602, the
ステップＳ６０３では、再配置決定部１０３は、移動先の物理サーバ２０があるか否かを判定する。
移動先の物理サーバ２０があると判定した場合（ステップＳ６０３でＹｅｓ）、処理はステップＳ６０４に進み、移動先の物理サーバ２０がないと判定した場合（ステップＳ６０３でＮｏ）、処理はステップＳ６０８へ進む。
In step S603, the
If it is determined that there is a destination physical server 20 (Yes in step S603), the process proceeds to step S604. If it is determined that there is no destination physical server 20 (No in step S603), the process proceeds to step S608. move on.
ステップＳ６０４では、再配置決定部１０３は、移動先の物理サーバ２０のリソース状態に基づいて優先順位を示す物理サーバスコアを演算し、優先順位の最も高い物理サーバ２０に仮想マシン３０を仮移動する。なお、物理サーバスコアの算出方法は、前記した通りである。
In step S604, the
ステップＳ６０５では、再配置決定部１０３は、仮移動していない仮想マシン３０が残っているか否かを判定する。
仮移動していない仮想マシン３０が残っていると判定した場合（ステップＳ６０５でＹｅｓ）、処理はステップＳ６０２へ戻り、仮移動していない仮想マシン３０が残っていないと判定した場合（ステップＳ６０５でＮｏ）、処理はステップＳ６０６へ進む。
In step S605, the
When it is determined that there are remaining
ステップＳ６０６では、再配置決定部１０３は、仮想マシン３０を仮移動先の物理サーバ２０へ移動する。そして、仮想マシン配置装置１０は、仮想マシン３０が配置されていない物理サーバ２０を電源ＯＦＦまたは低消費電力モードに移行することで、電力使用効率を向上させることができる。
In step S <b> 606, the
ステップＳ６０７では、再配置決定部１０３は、仮想マシン３０の再配置を中止する。そして、処理は終了する。
In step S <b> 607, the
ステップＳ６０８では、再配置決定部１０３は、仮想マシン３０の移動を中止する。そして、処理は終了する。
In step S608, the
以上、図５に示す再配置処理フローでは、再配置決定部１０３は、移動対象仮想マシン選定ルールに従って移動する仮想マシン候補を抽出する（ステップＳ５０２）ことによって、条件２（リソース使用効率）を満たすことができる。また、再配置決定部１０３は、移動先物理サーバ選定ルールに従って、移動先の物理サーバ２０を抽出する（ステップＳ５０３）ことによって、条件１（集約効率）を満たすことができる。また、再配置決定部１０３は、図６に示す処理を実行することによって、条件３（電力使用効率）を満たすことができる。
As described above, in the relocation processing flow shown in FIG. 5, the
以上、本実施形態の仮想マシン実行システム５０は、移動先物理サーバ選定ルール（サービス中断時間が許容サービス中断時間以内と判定される物理サーバ２０を移動先の物理サーバ２０として抽出する）を用いる（ステップＳ５０３）ことによって、条件１（集約効率）を満たすことができる。また、仮想マシン実行システム５０は、移動対象仮想マシン選定ルール（物理サーバ２０の使用リソース量が上限閾値を超えると予想される場合、物理サーバ２０の使用リソース量が上限閾値を下回るように、使用リソース量の大きい仮想マシン３０から順に、移動対象の仮想マシン候補を抽出する）を用いる（ステップＳ５０２）ことによって、条件２（リソース使用効率）を満たすことができる。また、仮想マシン実行システム５０は、物理サーバ２０の使用リソース量が下限閾値を所定時間下回る場合、当該物理サーバ２０に配置されている仮想マシン３０を他の物理サーバ２０に移動する（図６に示す処理）ことによって、条件３（電力使用効率）を満たすことができる。
As described above, the virtual machine execution system 50 according to the present embodiment uses the migration destination physical server selection rule (extracts the
なお、本実施形態に記載した物理サーバ台数設定ルールの変形例として、第１期間において、配置予定の仮想マシン３０の必要リソース量の合計値を算出し、その合計値の必要リソース量を配置可能な物理サーバ２０の台数を求めるようにしても構わない。
As a modified example of the physical server number setting rule described in this embodiment, the total required resource amount of the
また、物理サーバスコアの算出において、リソースの評価要素が複数の場合の変形例として、本実施形態に記載した方法以外に、４つの変形パターンについて説明する。
第１の変形パターンは、第１期間〜第Ｎ期間に亘って、リソースの評価要素の違いを問わず、リソースの評価要素すべての評価尺度値の中で最大の評価尺度値を物理サーバ２０ごとに抽出し、次に、抽出した最大の評価尺度値を物理サーバ２０間で比較して、比較した最大の評価尺度値の中で小さい評価尺度値を有する物理サーバ２０ほど、優先順位が高くなるように設定する。つまり、余裕のある物理サーバ２０ほど、優先順位が高くなるように設定する。
In addition, in the calculation of the physical server score, as a modification example when there are a plurality of resource evaluation elements, four modification patterns will be described in addition to the method described in the present embodiment.
In the first deformation pattern, the maximum evaluation scale value among the evaluation scale values of all the evaluation elements of the resources is set for each
第２の変形パターンは、本実施形態で説明した物理サーバスコアに重み係数αを乗算し、第１の変形パターンで説明した物理サーバスコアに重み係数βを乗算し、両者を加算して加算値を物理サーバスコアとして設定する。ただし、α＋β＝１である。 The second modified pattern is obtained by multiplying the physical server score described in the present embodiment by the weighting factor α, multiplying the physical server score described in the first modified pattern by the weighting factor β, and adding both to add the value. Is set as the physical server score. However, α + β = 1.
第３の変形パターンは、物理サーバスコアを、例えば、複数の段階で表現したとき、本実施形態で説明した物理サーバスコアが同じ段階に属していた場合、次に第１の変形パターンの方法で求めた物理サーバスコアの大小に基づいて物理サーバスコアを設定する。 For example, when the physical server score is expressed in a plurality of stages and the physical server score described in the present embodiment belongs to the same stage, the third modification pattern is a method of the first modification pattern. A physical server score is set based on the obtained physical server score.
第４の変形パターンは、物理サーバスコアを、例えば、複数の段階で表現したとき、第１の変形パターンの方法で求めた物理サーバスコアが同じ段階に属していた場合、本実施形態で説明した方法で説明した物理サーバスコアの大小に基づいて物理サーバスコアを設定する。 In the fourth modification pattern, when the physical server score is expressed in a plurality of stages, for example, when the physical server score obtained by the first modification pattern method belongs to the same stage, the fourth modification pattern has been described in the present embodiment. A physical server score is set based on the magnitude of the physical server score described in the method.
１０ 仮想マシン配置装置
２０ 物理サーバ
２１ 物理サーバ群
３０ 仮想マシン
３１ 記憶装置
５０ 仮想マシン実行システム
１００ 処理部
１０１ 必要リソース量演算部
１０２ 初期配置決定部
１０３ 再配置決定部
１１０ 記憶部
１１１ アプリケーションの処理スケジュール
１１２ 仮想マシン必要リソース量情報
１１３ 物理サーバリソース情報
１１４ 許容サービス中断時間閾値情報
１１５ 仮想マシンの移行時間情報
１１６ 物理サーバスコア情報
１１７ 仮想マシン配置情報
DESCRIPTION OF
Claims (8)
処理部と、前記物理サーバの使用リソース量に対する上限閾値および下限閾値と、前記仮想マシンを配置元の物理サーバから移動先の物理サーバに移動したときに発生するサービス中断時間と、前記サービス中断時間に対して許容できる限界を示す許容サービス中断時間閾値と、を記憶している記憶部と、を備え、
前記処理部は、
（１）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えるか否かを判定し、
（２）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えると判定した場合、前記配置元の物理サーバの使用リソース量が前記上限閾値を下回るように、移動対象の仮想マシンを抽出し、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを移動先の物理サーバとして抽出し、
（２ａ）前記移動先の物理サーバが抽出された場合、前記移動先の物理サーバを選択する優先順位の決定に用いる物理サーバスコアを、リソースの余裕を測る物差しである評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記移動先の物理サーバに前記移動対象の仮想マシンを移動し、
（２ｂ）前記移動先の物理サーバがない場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを増加して、（２ａ）の処理を実行し、
（３）前記配置元の物理サーバの使用リソース量が前記上限閾値以下と判定した場合、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回るか否かを判定し、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回ると判定した場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを第２の移動先の物理サーバとして抽出し、
前記第２の移動先の物理サーバが抽出された場合、前記第２の移動先の物理サーバを選択する優先順位の決定に用いる前記物理サーバスコアを、前記評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記第２の移動先の物理サーバに、前記配置元の物理サーバから前記仮想マシンを移動する設定をし、
前記配置元の物理サーバから前記仮想マシンすべてについて移動する設定が終了した場合、移動する設定をした前記仮想マシンを前記第２の移動先の物理サーバへ移動する
ことを特徴とする仮想マシン配置装置。 A virtual machine placement device that places a virtual machine on a physical server that executes the virtual machine,
A processing unit, an upper limit threshold and a lower limit threshold for the amount of resource used by the physical server, a service interruption time that occurs when the virtual machine is moved from an allocation source physical server to a destination physical server, and the service interruption time A storage unit storing an allowable service interruption time threshold indicating an allowable limit with respect to
The processor is
(1) It is determined whether or not the used resource amount of the physical server of the placement source exceeds the upper limit threshold value,
(2) When it is determined that the used resource amount of the placement source physical server exceeds the upper limit threshold, the migration target virtual machine is extracted so that the used resource amount of the placement source physical server falls below the upper limit threshold And extracting the physical server determined as the service interruption time within the allowable service interruption time threshold as a destination physical server,
(2a) When the destination physical server is extracted , the physical server score used for determining the priority order for selecting the destination physical server is indicated by the evaluation element that is a measure for measuring the margin of the resource. was calculated by the amount of resources used to prioritize based on the magnitude relation of the physical server score, moving the movement target virtual machine to the highest said destination physical server of the priority,
(2b) If there is no physical server to be moved, increase the number of physical servers determined to be within the allowable service interruption time threshold , and execute the process (2a).
(3) When it is determined that the used resource amount of the physical server of the placement source is equal to or less than the upper limit threshold, it is determined whether the used resource amount of the physical server of the placement source is less than the lower limit threshold for a predetermined time, and the placement When it is determined that the amount of used resources of the original physical server is less than the lower limit threshold for a predetermined time, the physical server that is determined that the service interruption time is within the allowable service interruption time threshold is set as the second destination physical server. Extract and
When the second destination physical server is extracted, the physical server score used for determining the priority order for selecting the second destination physical server is the amount of resource used indicated by the evaluation element. calculated by, prioritized based on the magnitude relation of the physical server score, the highest the second destination physical server of the priority, to move the virtual machine from the physical server of the arrangement source Set
If the setting of moving for all the virtual machines from the physical server of the arrangement original is completed, the virtual machine is characterized in that moving the virtual machine settings to move to the second destination physical server arrangement apparatus.
リソースの前記評価要素が１種類の場合には、前記仮想マシンの実行スケジュールの所定期間に亘って、前記物理サーバの空きリソース量の合計値を前記物理サーバスコアとして算出し、前記空きリソース量の合計値が大きいほど、優先順位を高く設定する
ことを特徴とする請求項１に記載の仮想マシン配置装置。 The processor is
If the evaluation element of the resource is one kind, over a predetermined period of execution schedule of the virtual machine, and calculates the total value of the free resources of the physical server as the physical server score, the vacant resource amount higher the sum, the virtual machine placement apparatus according to claim 1, characterized in that the high rather set the priority.
前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、
リソースの前記評価要素が複数種類の場合には、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を前記物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定する
ことを特徴とする請求項１に記載の仮想マシン配置装置。 The processor is
When creating the execution schedule of the virtual machine, the resource allocation timing indicating the timing of switching the resource amount is set as a schedule break,
If the evaluation element of the resource is a plurality of types,
The use resource amount in each of the evaluation elements, the calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched resource allocation timing, a plurality within a period sandwiched between the resource allocation timing Calculating a bias of the evaluation scale value of the evaluation element, and calculating an average value obtained by averaging over a predetermined period of the execution schedule for the bias of the calculated evaluation scale value, as the physical server score, virtual machine placement apparatus according to claim 1, characterized in that the higher the average value is smaller, a high rather set the priority.
前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、
リソースの前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定する
ことを特徴とする請求項１に記載の仮想マシン配置装置。 The processor is
When creating the execution schedule of the virtual machine, the resource allocation timing indicating the timing of switching the resource amount is set as a schedule break,
The use resource amount in the evaluation elements each resource, the calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched resource allocation timing, the over a predetermined period of the execution schedule The maximum evaluation scale value among all the evaluation scale values is extracted for each physical server, the extracted maximum evaluation scale value is set as the physical server score, and the small evaluation scale is extracted among the extracted maximum evaluation scale values. more physical server having a value, the virtual machine placement apparatus according to claim 1, characterized in that the high rather set the priority.
前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、
リソースの前記評価要素が複数種類の場合には、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を第１の物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定し、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して前記評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバの第２の物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定し、
前記第１の物理サーバスコアおよび前記第２の物理サーバスコアそれぞれに重み計数を乗算し、両者を合計した合計値を前記物理サーバスコアとして設定する
ことを特徴とする請求項１に記載の仮想マシン配置装置。 The processor is
When creating the execution schedule of the virtual machine, the resource allocation timing indicating the timing of switching the resource amount is set as a schedule break,
If the evaluation element of the resource is a plurality of types,
The use resource amount in each of the evaluation elements, the calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched resource allocation timing, a plurality within a period sandwiched between the resource allocation timing the calculated deviation of the rating scale value of the evaluation element is calculated, the more the average value obtained by averaging over a predetermined period of the execution schedule for deviation of the calculated evaluation scale value as a first physical server scores and, the higher the average value is small, and high rather set the priority,
Wherein the use resource amount in the evaluation elements each projection and calculated as the evaluation scale value in one evaluation axis for each period sandwiched between the resource allocation timing, the evaluation over a predetermined period of the execution schedule The maximum evaluation scale value among all the scale values is extracted for each physical server, the extracted maximum evaluation scale value is set as the second physical server score of the physical server, and the extracted maximum evaluation scale value more physical server having a small rating scale values in the medium, and high rather set the priority,
2. The virtual machine according to claim 1, wherein each of the first physical server score and the second physical server score is multiplied by a weighting factor, and a total value of both is set as the physical server score. Placement device.
前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、
リソースの前記評価要素が複数種類の場合には、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を前記物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定し、
前記物理サーバスコアを複数の段階で表現し、前記物理サーバスコアが同じ段階で表されるときには、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して前記評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定する
ことを特徴とする請求項１に記載の仮想マシン配置装置。 The processor is
When creating the execution schedule of the virtual machine, the resource allocation timing indicating the timing of switching the resource amount is set as a schedule break,
If the evaluation element of the resource is a plurality of types,
The use resource amount in each of the evaluation elements, the calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched resource allocation timing, a plurality within a period sandwiched between the resource allocation timing Calculating a bias of the evaluation scale value of the evaluation element, and calculating an average value obtained by averaging over a predetermined period of the execution schedule for the bias of the calculated evaluation scale value, as the physical server score, as the average value is small, and high rather set the priority,
When the physical server score is expressed in multiple stages and the physical server score is expressed in the same stage,
Wherein the use resource amount in the evaluation elements each projection and calculated as the evaluation scale value in one evaluation axis for each period sandwiched between the resource allocation timing, the evaluation over a predetermined period of the execution schedule The largest evaluation scale value among all the scale values is extracted for each physical server, the extracted maximum evaluation scale value is set as the physical server score, and the smallest evaluation scale value among the extracted maximum evaluation scale values more physical server having a virtual machine arrangement according to claim 1, characterized in that the high rather set the priority.
前記仮想マシンの実行スケジュールを作成する際に、リソース量を切替えるタイミングを示すリソース割当タイミングをスケジュールの区切りとし、
リソースの前記評価要素が複数種類の場合には、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して評価尺度値として算出し、前記実行スケジュールの所定期間に亘って前記評価尺度値すべての中で最大の評価尺度値を前記物理サーバごとに抽出し、抽出した前記最大の評価尺度値を前記物理サーバスコアとし、抽出した前記最大の評価尺度値の中で小さい評価尺度値を有する物理サーバほど、優先順位を高く設定し、
前記物理サーバスコアを複数の段階で表現し、前記物理サーバスコアが同じ段階で表されるときには、
前記評価要素それぞれにおける前記使用リソース量を、前記リソース割当タイミングに挟まれた期間ごとに１つの評価軸に射影して前記評価尺度値として算出し、前記リソース割当タイミングに挟まれた期間内で複数の前記評価要素の前記評価尺度値の偏りを算出し、さらに前記算出した評価尺度値の偏りについて前記実行スケジュールの所定期間に亘って平均して求めた平均値を前記物理サーバスコアとして算出し、前記平均値が小さいほど、優先順位を高く設定する
ことを特徴とする請求項１に記載の仮想マシン配置装置。 The processor is
When creating the execution schedule of the virtual machine, the resource allocation timing indicating the timing of switching the resource amount is set as a schedule break,
If the evaluation element of the resource is a plurality of types,
The use resource amount, calculated as evaluation measure values by projecting a single evaluation axis for each period sandwiched between the resource allocation timing in each of the evaluation elements, the rating scale for a predetermined period of the execution schedule The maximum evaluation scale value among all the values is extracted for each physical server, the extracted maximum evaluation scale value is set as the physical server score, and a small evaluation scale value is extracted from the extracted maximum evaluation scale values. as a physical server that has, to a high rather than setting priorities,
When the physical server score is expressed in multiple stages and the physical server score is expressed in the same stage,
The use resource amount in each of the evaluation elements, projected to a single evaluation axis for each period sandwiched between the resource allocation timing calculated as the evaluation scale value, in a period sandwiched between the resource allocation timing calculating the deviation of the evaluation scale values of the plurality of evaluation elements, and further calculates an average value obtained by averaging over a predetermined period of the execution schedule for deviation of the calculated evaluation scale value as the physical server score , the virtual machine placement apparatus according to claim 1, characterized in that the higher the average value is smaller, a high rather set the priority.
前記仮想マシン配置装置は、
処理部と、前記物理サーバの使用リソース量に対する上限閾値および下限閾値と、前記仮想マシンを配置元の物理サーバから移動先の物理サーバに移動したときに発生するサービス中断時間と、前記サービス中断時間に対して許容できる限界を示す許容サービス中断時間閾値と、を記憶している記憶部と、を備え、
前記処理部は、
（１）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えるか否かを判定するステップ、
（２）前記配置元の物理サーバの使用リソース量が前記上限閾値を超えると判定した場合、前記配置元の物理サーバの使用リソース量が前記上限閾値を下回るように、移動対象の仮想マシンを抽出し、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを移動先の物理サーバとして抽出するステップ、
（２ａ）前記移動先の物理サーバが抽出された場合、前記移動先の物理サーバを選択する優先順位の決定に用いる物理サーバスコアを、リソースの余裕を測る物差しである評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記移動先の物理サーバに前記移動対象の仮想マシンを移動するステップ、
（２ｂ）前記移動先の物理サーバがない場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを増加して、（２ａ）の処理を実行するステップ、
（３）前記配置元の物理サーバの使用リソース量が前記上限閾値以下と判定した場合、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回るか否かを判定し、前記配置元の物理サーバの使用リソース量が前記下限閾値を所定時間下回ると判定した場合、前記サービス中断時間が前記許容サービス中断時間閾値以内と判定される前記物理サーバを第２の移動先の物理サーバとして抽出するステップ、
前記第２の移動先の物理サーバが抽出された場合、前記第２の移動先の物理サーバを選択する優先順位の決定に用いる前記物理サーバスコアを、前記評価要素で示された前記使用リソース量により演算し、当該物理サーバスコアの大小関係に基づいて優先順位を付け、当該優先順位の最も高い前記第２の移動先の物理サーバに、前記配置元の物理サーバから前記仮想マシンを移動する設定を行うステップ、
前記配置元の物理サーバから前記仮想マシンすべてについて移動する設定が終了した場合、移動する設定をした前記仮想マシンを前記第２の移動先の物理サーバへ移動するステップ
を実行することを特徴とする仮想マシン配置方法。 A virtual machine placement method of a virtual machine placement device for placing a virtual machine on a physical server that executes the virtual machine,
The virtual machine placement device is:
A processing unit, an upper limit threshold and a lower limit threshold for the amount of resource used by the physical server, a service interruption time that occurs when the virtual machine is moved from an allocation source physical server to a destination physical server, and the service interruption time A storage unit storing an allowable service interruption time threshold indicating an allowable limit with respect to
The processor is
(1) A step of determining whether or not the amount of used resources of the placement source physical server exceeds the upper limit threshold;
(2) When it is determined that the used resource amount of the placement source physical server exceeds the upper limit threshold, the migration target virtual machine is extracted so that the used resource amount of the placement source physical server falls below the upper limit threshold Extracting the physical server determined as the service interruption time within the allowable service interruption time threshold as a destination physical server,
(2a) When the destination physical server is extracted , the physical server score used for determining the priority order for selecting the destination physical server is indicated by the evaluation element that is a measure for measuring the margin of the resource. step of calculating the amount of resources used to prioritize based on the magnitude relation of the physical server score, moving the movement target virtual machine to the highest said destination physical server of the priority,
(2b) when there is no physical server to be moved, increasing the number of physical servers determined to be within the allowable service interruption time threshold , and executing the process (2a);
(3) When it is determined that the used resource amount of the physical server of the placement source is equal to or less than the upper limit threshold, it is determined whether the used resource amount of the physical server of the placement source is less than the lower limit threshold for a predetermined time, and the placement When it is determined that the amount of used resources of the original physical server is less than the lower limit threshold for a predetermined time, the physical server that is determined that the service interruption time is within the allowable service interruption time threshold is set as the second destination physical server. Extracting step,
When the second destination physical server is extracted, the physical server score used for determining the priority order for selecting the second destination physical server is the amount of resource used indicated by the evaluation element. calculated by, prioritized based on the magnitude relation of the physical server score, the highest the second destination physical server of the priority, to move the virtual machine from the physical server of the arrangement source Steps to configure ,
If the setting of moving for all the virtual machines from the physical server of the arrangement source is finished, and characterized by performing the step of moving the virtual machine settings to move to the second destination physical server To place virtual machines.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012112926A JP5827594B2 (en) | 2012-05-17 | 2012-05-17 | Virtual machine placement apparatus and virtual machine placement method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012112926A JP5827594B2 (en) | 2012-05-17 | 2012-05-17 | Virtual machine placement apparatus and virtual machine placement method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013239095A JP2013239095A (en) | 2013-11-28 |
| JP5827594B2 true JP5827594B2 (en) | 2015-12-02 |
Family
ID=49764056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012112926A Expired - Fee Related JP5827594B2 (en) | 2012-05-17 | 2012-05-17 | Virtual machine placement apparatus and virtual machine placement method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5827594B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10977072B2 (en) | 2019-04-25 | 2021-04-13 | At&T Intellectual Property I, L.P. | Dedicated distribution of computing resources in virtualized environments |
| US11620150B2 (en) | 2019-07-31 | 2023-04-04 | Okestro Co., Ltd. | Virtual machine management method using virtual machine deployment simulation |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150163157A1 (en) * | 2013-12-09 | 2015-06-11 | Alcatel-Lucent Usa Inc. | Allocation and migration of cloud resources in a distributed cloud system |
| WO2015087449A1 (en) * | 2013-12-13 | 2015-06-18 | 株式会社日立製作所 | Computer system, and computer-system control method |
| KR101595854B1 (en) | 2013-12-24 | 2016-02-19 | 주식회사 케이티 | Method and Apparatus for placing a virtual machine in cloud system |
| US10120727B2 (en) | 2014-02-27 | 2018-11-06 | Intel Corporation | Techniques to allocate configurable computing resources |
| JP2016053841A (en) * | 2014-09-03 | 2016-04-14 | 日本電信電話株式会社 | Power source state control device and program |
| JP6459633B2 (en) * | 2015-02-27 | 2019-01-30 | 日本電気株式会社 | Information processing system and control method thereof |
| JP6666553B2 (en) * | 2016-05-10 | 2020-03-18 | 富士通株式会社 | Information processing apparatus, job management method, and job management program |
| JP6741941B2 (en) * | 2016-08-16 | 2020-08-19 | 富士通株式会社 | Virtual machine management program, virtual machine management method, and virtual machine management apparatus |
| CN109905435A (en) * | 2017-12-08 | 2019-06-18 | 京东方科技集团股份有限公司 | Resource subscription method and system, storage medium, electronic equipment |
| JP7040319B2 (en) | 2018-06-26 | 2022-03-23 | 富士通株式会社 | Operation management device, destination recommended method and destination recommended program |
| CN114168266A (en) * | 2021-12-15 | 2022-03-11 | 中能融合智慧科技有限公司 | Virtual machine migration method and system |
| KR102557617B1 (en) * | 2022-12-27 | 2023-07-21 | 오케스트로 주식회사 | A virtual machine placement ecaluation device and a sever operating system using the same |
| KR102622088B1 (en) * | 2023-03-31 | 2024-01-09 | 오케스트로 주식회사 | A cloud operation evaluation device considering performance guarantee of the cloud operating environment and stability and a sever operating system using the same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3861087B2 (en) * | 2003-10-08 | 2006-12-20 | 株式会社エヌ・ティ・ティ・データ | Virtual machine management apparatus and program |
| WO2008102739A1 (en) * | 2007-02-23 | 2008-08-28 | Nec Corporation | Virtual server system and physical server selecting method |
| US8595737B2 (en) * | 2009-03-17 | 2013-11-26 | Hitachi, Ltd. | Method for migrating a virtual server to physical server according to a variation ratio, a reference execution time, a predetermined occupied resource amount and a occupancy amount |
| JP5544967B2 (en) * | 2010-03-24 | 2014-07-09 | 富士通株式会社 | Virtual machine management program and virtual machine management apparatus |
-
2012
- 2012-05-17 JP JP2012112926A patent/JP5827594B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10977072B2 (en) | 2019-04-25 | 2021-04-13 | At&T Intellectual Property I, L.P. | Dedicated distribution of computing resources in virtualized environments |
| US11526374B2 (en) | 2019-04-25 | 2022-12-13 | At&T Intellectual Property I, L.P. | Dedicated distribution of computing resources in virtualized environments |
| US11620150B2 (en) | 2019-07-31 | 2023-04-04 | Okestro Co., Ltd. | Virtual machine management method using virtual machine deployment simulation |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013239095A (en) | 2013-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5827594B2 (en) | Virtual machine placement apparatus and virtual machine placement method | |
| JP6241300B2 (en) | Job scheduling apparatus, job scheduling method, and job scheduling program | |
| JP5218390B2 (en) | Autonomous control server, virtual server control method and program | |
| JP5827678B2 (en) | Method and apparatus for resource capacity evaluation in a virtual container system | |
| JP6233413B2 (en) | Task assignment determination device, control method, and program | |
| US20140033220A1 (en) | Process grouping for improved cache and memory affinity | |
| JP6260407B2 (en) | Storage management device, performance adjustment method, and performance adjustment program | |
| US10740138B2 (en) | Migration control apparatus and migration control method | |
| Tang et al. | Reducing fragmentation on torus-connected supercomputers | |
| JP6149595B2 (en) | Cache memory control program, processor incorporating cache memory, and cache memory control method | |
| JP5765423B2 (en) | Multi-core processor system and scheduling method | |
| JP2011186701A (en) | Resource allocation apparatus, resource allocation method and resource allocation program | |
| KR20130088513A (en) | Task distribution method on multicore system and apparatus thereof | |
| JP5515889B2 (en) | Virtual machine system, automatic migration method and automatic migration program | |
| CN101908004A (en) | Promote the apparatus and method that request is carried out | |
| JP2011243117A (en) | Input/output control program, information processor and input/output control method | |
| US20220237016A1 (en) | Apparatus for determining resource migration schedule | |
| JP6237170B2 (en) | Allocation determination apparatus, control method, and program | |
| CN109725835A (en) | For managing the method, equipment and computer program product of disk array | |
| JP2014167713A (en) | Information processing device, information processing system, information processing device management program and information processing device management method | |
| CN116302327A (en) | Resource scheduling method and related equipment | |
| JP2019046041A (en) | Information processing apparatus, information processing system, control method of information processing apparatus, and control program of information processing apparatus | |
| JP2014206805A (en) | Control device | |
| JP7239861B2 (en) | Resource allocation device, resource allocation method, and resource allocation program | |
| JP2012181673A (en) | Resource allocation device, resource allocation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140502 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20140528 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151016 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5827594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |