JP2017138895A - Virtualization environment management system and virtualization environment management method - Google Patents

Virtualization environment management system and virtualization environment management method Download PDF

Info

Publication number
JP2017138895A
JP2017138895A JP2016020873A JP2016020873A JP2017138895A JP 2017138895 A JP2017138895 A JP 2017138895A JP 2016020873 A JP2016020873 A JP 2016020873A JP 2016020873 A JP2016020873 A JP 2016020873A JP 2017138895 A JP2017138895 A JP 2017138895A
Authority
JP
Japan
Prior art keywords
container
containers
hardware
virtual environment
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016020873A
Other languages
Japanese (ja)
Inventor
有一 小島
Yuichi Kojima
有一 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016020873A priority Critical patent/JP2017138895A/en
Publication of JP2017138895A publication Critical patent/JP2017138895A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To suppress a surplus resource in a virtual environment and achieve efficient system operation.SOLUTION: A virtualization environment management system 10 comprises: a utilization analyzing server 200 for monitoring a utilization state of each system which is virtualized by a container in a container type virtualization environment; and a container management server 100 for, based on the utilization state identified by the utilization analyzing server 200 and a processing performance for a unit container which is identified in advance, identifying the number of containers required for the system, and according to deficiency and excess of the identified number of containers and the current number of containers for the system, increasing and reducing the number of containers for the system on hardware forming the container type virtualization environment.SELECTED DRAWING: Figure 1

Description

本発明は、仮想化環境管理システムおよび仮想化環境管理方法に関するものであり、具体的には、仮想環境における余剰リソースの抑制を図り、効率的なシステム運用を可能とする技術に関する。   The present invention relates to a virtual environment management system and a virtual environment management method, and more specifically, to a technique that enables efficient system operation by suppressing surplus resources in a virtual environment.

コンピュータシステムのリソースを複数ユーザ間で効率的かつ機動的に利用する手段として、仮想化技術が存在する。例えば、ハイパーバイザーによる仮想化技術においては、ハードウェアに搭載されているCPUやメモリの利用タイミング、或いはストレージ容量を、各ユーザ向けに分割して割り当てることで仮想マシンを構成する。   As a means for efficiently and flexibly using computer system resources among a plurality of users, there is a virtualization technology. For example, in the virtualization technology using a hypervisor, a virtual machine is configured by dividing and allocating the use timing or storage capacity of a CPU and memory installed in hardware for each user.

このように、1台のハードウェアのリソースを複数ユーザで分け合う際には、そのリソースの振り分け状況を管理する必要がある。このような管理技術としては、例えば、仮想化環境のための管理システムであって、資格に基づく使用制限を有する少なくとも1つのコンピュータ・エンティティと、プロセッサを使用し、メモリ・ストレージ・デバイス上にプログラミングされ、前記メモリ・ストレージ・デバイスから実行されるリソース・マネージャであって、前記リソース・マネージャが仮想化環境内のリソースを管理するように構成されるリソース・マネージャと、前記リソース・マネージャに結合され、前記仮想化環境の変化に応じて資格関連制約を追跡し、前記リソース・マネージャが前記資格関連制約を含む割り振り決定を行えるようにして、前記少なくとも1つのコンピュータ・エンティティについて前記使用制限を満たしていることを保証するように構成される、資格使用率モジュールとを含むシステム(特許文献1参照)などが提案されている。   In this way, when a single hardware resource is shared by a plurality of users, it is necessary to manage the resource distribution status. Such management techniques include, for example, a management system for a virtualized environment that uses at least one computer entity with usage restrictions based on entitlements and a processor to program on a memory storage device. A resource manager executed from the memory storage device, the resource manager configured to manage resources in a virtualized environment, and coupled to the resource manager Tracking the entitlement-related constraints in response to changes in the virtualization environment and allowing the resource manager to make an allocation decision that includes the entitlement-related constraints to satisfy the usage limit for the at least one computer entity Configured to ensure that It is, like the system (see Patent Document 1) that includes a credential usage module is proposed.

特開2011−253523号公報JP 2011-253523 A

ところが、金融機関におけるシステムには特有の事情が存在し、従来技術を適用しても効率的なシステム運用が難しい。すなわち、時間帯や季節、休前日といった時期的要因に応じて金融取引の頻度、量が大幅に変化する事情、顧客数や業務数の増加等に応じて時間経過と共に金融取引の頻度、量が徐々に増加する事情、および、金融取引ゆえに高信頼性を常に要求される事情、などが存在する。   However, there are peculiar circumstances in systems in financial institutions, and it is difficult to operate the system efficiently even if the conventional technology is applied. In other words, the frequency and quantity of financial transactions will change over time, depending on the factors such as the time of day, season and the day before holidays There are circumstances that gradually increase and circumstances that always require high reliability due to financial transactions.

こうした各事情に対応しつつ必要な処理性能を維持するためには、例えば取引量のピーク値と高信頼性の条件を併せてクリア出来るだけのコンピュータ資源を用意する必要がある。換言すれば、システム運用開始からしばらくの期間や、特段の取引量増大が生じない通常時に関しては、当該システムにおいて大幅な余剰リソースが生まれることになりうる。   In order to maintain the necessary processing performance while dealing with each of these circumstances, for example, it is necessary to prepare computer resources that can clear both the peak value of the transaction volume and the high reliability condition. In other words, a significant surplus resource can be generated in the system for a period of time after the start of system operation or in a normal time when no particular increase in transaction volume occurs.

そこで本発明の目的は、仮想環境における余剰リソースの抑制を図り、効率的なシステム運用を可能とする技術を提供することにある。   Accordingly, an object of the present invention is to provide a technology that enables to suppress an excessive resource in a virtual environment and to enable an efficient system operation.

上記課題を解決する本発明の仮想化環境管理システムは、コンテナ型仮想化環境においてコンテナにより仮想化された各システムの稼働状況を監視し、当該稼働状況と予め特定されている単位コンテナ当たりの処理性能とに基づき、当該システムに必要なコンテナ数を特定し、当該特定したコンテナ数と当該システム向けの現コンテナ数との過不足に応じて、当該コンテナ型仮想化環境を成すハードウェアでの当該システム向けのコンテナ数を増減させる演算装置を備えることを特徴とする。   The virtual environment management system of the present invention that solves the above problems monitors the operating status of each system virtualized by a container in a container-type virtual environment, and the processing per unit container specified in advance as the operating status Based on the performance, the number of containers required for the system is specified, and the hardware in the container-type virtualization environment is determined according to the excess or deficiency between the specified number of containers and the current number of containers for the system. An arithmetic device that increases or decreases the number of containers for the system is provided.

また、本発明の仮想化環境管理方法は、情報処理システムが、コンテナ型仮想化環境においてコンテナにより仮想化された各システムの稼働状況を監視し、当該稼働状況と予め特定されている単位コンテナ当たりの処理性能とに基づき、当該システムに必要なコンテナ数を特定し、当該特定したコンテナ数と当該システム向けの現コンテナ数との過不足に応じて、当該コンテナ型仮想化環境を成すハードウェアでの当該システム向けのコンテナ数を増減させる、ことを特徴とする。   In the virtual environment management method of the present invention, the information processing system monitors the operating status of each system virtualized by the container in the container type virtual environment, and per unit container specified in advance as the operating status. The number of containers required for the system is identified based on the processing performance of the system, and the hardware that constitutes the container-type virtualization environment is determined according to the excess or deficiency between the identified number of containers and the current number of containers for the system. The number of containers for the system is increased or decreased.

本発明によれば、仮想環境における余剰リソースの抑制を図り、効率的なシステム運用を可能とする。   According to the present invention, it is possible to suppress surplus resources in a virtual environment and enable efficient system operation.

本実施形態の仮想化環境管理システムを含むネットワーク構成図である。It is a network block diagram containing the virtual environment management system of this embodiment. 本実施形態におけるコンテナ管理サーバのハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the container management server in this embodiment. 本実施形態における稼働分析サーバのハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the operation analysis server in this embodiment. 本実施形態のサーバ情報テーブルのデータ構成例を示す図である。It is a figure which shows the data structural example of the server information table of this embodiment. 本実施形態のシステム情報テーブルのデータ構成例を示す図である。It is a figure which shows the data structural example of the system information table of this embodiment. 本実施形態の可用性マスタテーブルのデータ構成例を示す図である。It is a figure which shows the example of a data structure of the availability master table of this embodiment. 本実施形態のコンテナリストテーブルのデータ構成例を示す図である。It is a figure which shows the example of a data structure of the container list table of this embodiment. 本実施形態のコンテナ配置状況テーブルのデータ構成例を示す図である。It is a figure which shows the example of a data structure of the container arrangement | positioning condition table of this embodiment. 本実施形態のコンテナ調整トリガテーブルのデータ構成例を示す図である。It is a figure which shows the data structural example of the container adjustment trigger table of this embodiment. 本実施形態における仮想化環境管理方法の処理手順例1を示すフロー図である。It is a flowchart which shows process sequence example 1 of the virtual environment management method in this embodiment. 本実施形態における仮想化環境管理方法の処理手順例2を示すフロー図である。It is a flowchart which shows process sequence example 2 of the virtual environment management method in this embodiment.

−−−ネットワーク構成−−−
以下に本発明の実施形態について図面を用いて詳細に説明する。図1は、本実施形態の仮想化環境管理システム10を含むネットワーク構成図である。図1に示す仮想化環境管理システム10は、仮想環境における余剰リソースの抑制を図り、効率的なシステム運用を可能とするコンピュータシステムである。
--- Network configuration ---
Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a network configuration diagram including the virtual environment management system 10 of the present embodiment. A virtual environment management system 10 shown in FIG. 1 is a computer system that suppresses surplus resources in a virtual environment and enables efficient system operation.

こうした仮想化環境管理システム10は、本実施形態においては、ネットワーク5で通信可能に結ばれた、コンテナ管理サーバ100および稼働分析サーバ200により構成される。   In this embodiment, such a virtual environment management system 10 includes a container management server 100 and an operation analysis server 200 that are connected to each other via a network 5.

このうちコンテナ管理サーバ100は、仮想化環境管理システム10としての機能を主として実装し、コンテナ管理ソフトウェア110を適宜に利用した各種処理を行うサーバ装置である。一方、稼働分析サーバ200は、仮想化環境を実現しているサーバ群300をネットワーク5を介して監視し、その稼働状況に関する情報を得て、これをコンテナ管理サーバ100に通知可能なサーバ装置である。いずれのサーバについても、その具体的な構成等については後述する。   Among these, the container management server 100 is a server device that mainly implements functions as the virtual environment management system 10 and performs various processes using the container management software 110 as appropriate. On the other hand, the operation analysis server 200 is a server device that can monitor the server group 300 realizing the virtual environment via the network 5, obtain information on the operation status, and notify the container management server 100 of the information. is there. The specific configuration of each server will be described later.

他方、サーバ群300は、金融機関等における各業務システムを仮想化環境で実現するためのハードウェアとなる。サーバ群300の最小構成は、当該金融機関向けのデータセンタなどにオンプレミスで構成されたサーバ群310となる。このオンプレミスのサーバ群310による仮想化環境では、必要な処理性能を発揮するためのコンテナを配置しきれない場合に用いるのが、外部サーバであるパブリッククラウド320である。よって、図1の例では、パブリッククラウド320をサーバ群300に含めているが、仮想化環境管理システム10として利用しない状況もありうる。   On the other hand, the server group 300 is hardware for realizing each business system in a financial institution or the like in a virtual environment. The minimum configuration of the server group 300 is a server group 310 configured on-premises in a data center for the financial institution. In the virtual environment with this on-premises server group 310, the public cloud 320, which is an external server, is used when containers for demonstrating necessary processing performance cannot be arranged. Therefore, in the example of FIG. 1, the public cloud 320 is included in the server group 300, but there may be a situation where it is not used as the virtual environment management system 10.

ここで、本実施形態の仮想化環境とは、コンテナ型仮想環境である。コンテナ型仮想化環境では、いわゆるハイパーバイザ型の仮想化環境とは異なり、1台のハードウェア上の1つのOSに、それぞれが単体のサーバ装置とみなせるコンテナを複数配置して構成した仮想化環境である。本実施形態の場合、各コンテナは各業務システムや業務アプリケーションなどを実現するものとなる。   Here, the virtual environment of this embodiment is a container type virtual environment. Unlike the so-called hypervisor type virtualization environment, the container type virtualization environment is configured by arranging a plurality of containers, each of which can be regarded as a single server device, on one OS on one piece of hardware. It is. In the present embodiment, each container realizes each business system, business application, and the like.

こうしたコンテナは、既に起動しているOS上のプロセスとして起動されるため、高速起動が可能である。また、各コンテナは、ミドルウェアとアプリケーションおよびそれらが利用するライブラリを一体に備える構成であり、異なるハードウェア(サーバ装置)やクラウド間で移動させることも容易という特徴もある。   Since such a container is activated as a process on the OS that has already been activated, high-speed activation is possible. In addition, each container has a configuration in which middleware, an application, and a library used by them are integrated, and has a feature that it can be easily moved between different hardware (server devices) and clouds.

なお、サーバ群300で実現しているコンテナ型仮想化環境は、具体的には、コンテナ管理ソフトウェア110で管理されることになる。このコンテナ管理ソフトウェア110も含め、コンテナ型仮想環境は、既存技術により構築、運用されるものであり、その詳細は省略する。いずれにしても、仮想化環境管理システム10におけるコンテナ管理サーバ100が、このコンテナ管理ソフトウェア110に対してコンテナの増減や配置変更等の適宜な指示を行い、当該仮想化環境管理方法を実行する。   Note that the container virtual environment realized by the server group 300 is specifically managed by the container management software 110. The container type virtual environment including the container management software 110 is constructed and operated by existing technology, and details thereof are omitted. In any case, the container management server 100 in the virtual environment management system 10 instructs the container management software 110 to appropriately increase / decrease containers, change the arrangement, etc., and execute the virtual environment management method.

−−−ハードウェア構成−−−
また、仮想化環境管理システム10を構成する情報処理装置のハードウェア構成は以下の如くとなる。図2は、本実施形態におけるコンテナ管理サーバ100のハードウェア構成例を示す図である。
--- Hardware configuration ---
In addition, the hardware configuration of the information processing apparatus constituting the virtual environment management system 10 is as follows. FIG. 2 is a diagram illustrating a hardware configuration example of the container management server 100 according to the present embodiment.

コンテナ管理サーバ100は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置101、RAMなど揮発性記憶素子で構成されるメモリ103、記憶装置101に保持されるプログラム102をメモリ103に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUなどの演算装置104、ネットワーク5と接続し他装置との通信処理を担う通信装置105、を備える。   The container management server 100 is held in a storage device 101 composed of an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive, a memory 103 composed of a volatile storage element such as a RAM, and the storage device 101. Communication such as reading out the program 102 to the memory 103 and executing it to perform overall control of the device itself, and performing various determinations, computations and control processing, such as a CPU and the network 5, and communication processing with other devices Device 105.

なお、記憶装置101内には、本実施形態の仮想化環境管理システム10を構成する情報処理装置として必要な機能を実装する為のプログラム102と、各種テーブルが少なくとも記憶されている。このうちプログラム102には、上述したコンテナ管理ソフトウェア110が含まれる。また、テーブルとしては、サーバ情報テーブル125、システム情報テーブル126、可用性マスタテーブル127、コンテナリストテーブル128、コンテナ配置状況テーブル129、およびコンテナ調整トリガテーブル130が含まれる。各テーブルのデータ構造の詳細は後述する。   The storage device 101 stores at least a program 102 for implementing functions necessary as an information processing device constituting the virtual environment management system 10 of the present embodiment and various tables. Among these, the program 102 includes the container management software 110 described above. The tables include a server information table 125, a system information table 126, an availability master table 127, a container list table 128, a container arrangement status table 129, and a container adjustment trigger table 130. Details of the data structure of each table will be described later.

図3は、本実施形態における稼働分析サーバ200のハードウェア構成例を示す図である。稼働分析サーバ200は、SSD(Solid State Drive)やハードディスクドライブなど適宜な不揮発性記憶素子で構成される記憶装置201、RAMなど揮発性記憶素子で構成されるメモリ203、記憶装置201に保持されるプログラム202をメモリ203に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうCPUなどの演算装置204、ネットワーク5と接続し他装置との通信処理を担う通信装置205、を備える。   FIG. 3 is a diagram illustrating a hardware configuration example of the operation analysis server 200 according to the present embodiment. The operation analysis server 200 is held in a storage device 201 configured by an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive, a memory 203 configured by a volatile storage element such as a RAM, and the storage device 201. Communication such as reading out the program 202 to the memory 203 and executing it to perform overall control of the device itself and performing various determinations, computations and control processing, such as a CPU, the network 5 and communication processing with other devices Device 205.

なお、記憶装置201内には、本実施形態の仮想化環境管理システム10を構成する情報処理装置として必要な機能を実装する為のプログラム202と、トリガ情報225が少なくとも記憶されている。このうちトリガ情報225は、監視対象たるサーバ群300の各業務システムやそのコンテナの状況に応じて感知した、コンテナ管理サーバ100に通知すべきイベントの情報である。   Note that the storage device 201 stores at least a program 202 and trigger information 225 for implementing functions necessary as an information processing device constituting the virtual environment management system 10 of the present embodiment. Of these, the trigger information 225 is information on an event to be notified to the container management server 100 that is sensed according to the status of each business system of the server group 300 to be monitored and its container.

例えば、或る業務システムの所定コンテナについて観測したTPS(Transactions Per Second)が所定基準より大きく変動している、サーバ群300のうち或るサーバに配置されたコンテナ数が所定基準以下になっている、といった情報になる。こうしたトリガ情報225は、稼働分析サーバ200からコンテナ管理サーバ100に送信され、後述するコンテナ調整トリガテーブル130に格納される。   For example, the TPS (Transactions Per Second) observed for a predetermined container of a certain business system fluctuates greatly from a predetermined standard, and the number of containers arranged in a certain server in the server group 300 is below the predetermined standard. It becomes information such as. Such trigger information 225 is transmitted from the operation analysis server 200 to the container management server 100 and stored in a container adjustment trigger table 130 described later.

−−−データ構造例−−−
続いて、本実施形態の仮想化環境管理システム10が用いるテーブル類について説明する。図4に、本実施形態におけるサーバ情報テーブル125の一例を示す。
--- Data structure example ---
Next, tables used by the virtual environment management system 10 of this embodiment will be described. FIG. 4 shows an example of the server information table 125 in the present embodiment.

本実施形態におけるサーバ情報テーブル125は、コンテナ型仮想環境を実現するハードウェア、すなわちサーバ群300が含む各サーバの情報を蓄積したテーブルである。本実施形態の場合、サーバ群300のうち、オンプレミスのサーバ群310が3つの物理サーバを含み、パブリッククラウド320が1つの物理サーバを含む状況を想定する。   The server information table 125 in the present embodiment is a table in which information for each server included in the hardware that realizes the container-type virtual environment, that is, the server group 300 is accumulated. In the present embodiment, it is assumed that the on-premises server group 310 of the server group 300 includes three physical servers and the public cloud 320 includes one physical server.

サーバ情報テーブル125のデータ構造は、各サーバを一意に特定するサーバIDをキーとして、オンプレミスかパブリッククラウドのいずれのサーバ装置かを示す「区分」、当該サーバの「サーバ名」、「搭載CPUコア数」、「メモリ容量」、「ステータス」、「稼働中コンテナ数」、「空きCPUコア数」、および「空きメモリ容量」、といったデータから成るレコードの集合体である。このうち、「ステータス」、「稼働中コンテナ数」、「空きCPUコア数」、および「空きメモリ容量」の各値は、稼働分析サーバ200より送信されてきた値である。   The data structure of the server information table 125 includes a “classification” that indicates which server device is on-premises or public cloud, with a server ID that uniquely identifies each server as a key, a “server name” of the server, and an “installed CPU core” This is a set of records composed of data such as “number”, “memory capacity”, “status”, “number of active containers”, “number of free CPU cores”, and “free memory capacity”. Among these values, the values of “status”, “number of active containers”, “number of free CPU cores”, and “free memory capacity” are values transmitted from the operation analysis server 200.

図5に、本実施形態におけるシステム情報テーブル126の一例を示す。本実施形態におけるシステム情報テーブル126は、コンテナ型仮想環境で実現している各業務システムの情報を蓄積したテーブルである。本実施形態の場合、「Aシステム」、「Bシステム」の2つの業務システムをコンテナ型仮想環境で構築・運用する状況を想定する。   FIG. 5 shows an example of the system information table 126 in the present embodiment. The system information table 126 in this embodiment is a table in which information on each business system realized in a container type virtual environment is accumulated. In the case of this embodiment, a situation is assumed in which two business systems of “A system” and “B system” are constructed and operated in a container-type virtual environment.

こうしたシステム情報テーブル126のデータ構造は、業務システムを一意に特定するシステムIDをキーとして、当該システムの、「システム名」、「可用性ID」、「性能要件」、「性能要件更新日」といったデータから成るレコードの集合体である。   The data structure of the system information table 126 includes data such as “system name”, “availability ID”, “performance requirement”, and “performance requirement update date” of the system with a system ID that uniquely identifies the business system as a key. A collection of records consisting of

このうち可用性IDは、当該システムに求められている可用性を一意に特定する識別情報であり、後述する可用性マスタテーブル127でその内容が規定されるものである。また、性能要件は、当該システムに求められる、1秒あたりのトランザクション処理数、すなわちTPSであり、稼働分析サーバ200により直近の所定期間内で観測された値となる。また、性能要件更新日は、上述の性能要件の値を稼働分析サーバ200から得て更新した日時を示す値である。   Among these, the availability ID is identification information for uniquely specifying the availability required for the system, and its contents are defined in an availability master table 127 described later. The performance requirement is the number of transaction processes per second required for the system, that is, the TPS, and is a value observed by the operation analysis server 200 within the most recent predetermined period. The performance requirement update date is a value indicating the date and time when the performance requirement value is obtained from the operation analysis server 200 and updated.

図6に、本実施形態における可用性マスタテーブル127の一例を示す。本実施形態における可用性マスタテーブル127は、上述のシステム情報テーブル126において各業務システムに紐付いている可用性の内容を規定したテーブルである。そのデータ構造は、可用性を一意に特定する可用性IDをキーとして、当該可用性の名称、障害の発生を許容しうるサーバの台数、といったデータから成るレコードの集合体である。   FIG. 6 shows an example of the availability master table 127 in the present embodiment. The availability master table 127 in the present embodiment is a table that defines the contents of availability associated with each business system in the system information table 126 described above. The data structure is a collection of records composed of data such as the name of the availability and the number of servers that can allow a failure, using an availability ID that uniquely identifies the availability as a key.

図7に、本実施形態におけるコンテナリストテーブル128の一例を示す。本実施形態におけるコンテナリストテーブル128は、各業務システムを構成する各コンテナの情報を蓄積したテーブルである。本実施形態の場合、上述した「Aシステム」と「Bシステム」の2つの業務システムが、それぞれ「端末アプリケーション」(図中は“端末AP”)、「バッチアプリケーション」(図中は“バッチAP”)、および「データベース」(図中は“DB”)に対応したコンテナで構成される状況を想定する。   FIG. 7 shows an example of the container list table 128 in the present embodiment. The container list table 128 in the present embodiment is a table in which information on each container constituting each business system is accumulated. In the case of this embodiment, the above-described two business systems of “A system” and “B system” are respectively “terminal application” (“terminal AP” in the figure) and “batch application” (“batch AP” in the figure). ”) And“ database ”(“ DB ”in the figure) are assumed.

こうしたコンテナリストテーブル128のデータ構造は、コンテナを一意に特定するコンテナIDをキーとして、当該コンテナのコンテナ名、割当先の業務システムのシステムID、コンテナ性能、次回ピーク想定日、ピーク時間帯(開始)、ピーク時間帯(終了)、および登録日、といったデータから成るレコードの集合体である。   The data structure of the container list table 128 includes a container ID that uniquely identifies a container as a key, a container name of the container, a system ID of a business system to which the container is assigned, a container performance, a next expected peak date, a peak time zone (start ), Peak time zone (end), and registration date.

このうち、コンテナ性能は、各コンテナに対し、稼働分析サーバ200等の所定装置が所定量の処理負荷をかけて予め測定したTPSの値であり、コンテナ管理サーバ100が、そうした稼働分析サーバ200等より得て格納したものとなる。また、次回ピーク想定日、ピーク時間帯(開始)、およびピーク時間帯(終了)の各値は、当該レコードの「コンテナ名」が示す、業務システム(におけるアプリケーションやDB)のデータ処理のピーク時期(換言すれば対応するサーバにおけるリソース使用量のピーク)を示すものである。また、こうしたピーク時期の各値は、例えば各業務システムの管理者等が、過去のシステム運用実績や曜日や季節の要因、或いは今後の事業計画、所定期間先までの顧客動向等に基づいて予め予想し、設定した値である。なお、登録日は、コンテナ性能、次回ピーク想定日、ピーク時間帯(開始)、およびピーク時間帯(終了)の各値の登録日である。   Among these, the container performance is a TPS value measured in advance by a predetermined device such as the operation analysis server 200 with a predetermined amount of processing load applied to each container, and the container management server 100 performs such operation analysis server 200 or the like. It will be obtained and stored. In addition, each value of the next peak estimated date, peak time zone (start), and peak time zone (end) is the peak time of data processing of the business system (application or DB) indicated by the “container name” of the record. (In other words, the peak of resource usage in the corresponding server). In addition, each value of such peak time is determined in advance by, for example, the manager of each business system based on past system operation results, day and season factors, future business plans, customer trends up to a predetermined period, etc. Expected and set value. The registration date is a registration date of each value of the container performance, the next expected peak date, the peak time zone (start), and the peak time zone (end).

図8に、本実施形態におけるコンテナ配置状況テーブル129の一例を示す。本実施形態におけるコンテナ配置状況テーブル129は、上述のコンテナリストテーブル128で規定した各業務システム向けのそれぞれのコンテナに関して、配置先のサーバとステータスの情報を蓄積したテーブルである。そのデータ構造は、コンテナをサーバに配置した通番をキーとして、当該通番の順でサーバに配置された当該コンテナのコンテナID、配置先のサーバを示すサービスID、当該コンテナの稼働状況等を示すステータス、および、当該コンテナの起動日時、といったデータから成るレコードの集合体である。   FIG. 8 shows an example of the container arrangement status table 129 in the present embodiment. The container arrangement status table 129 according to the present embodiment is a table in which arrangement destination servers and status information are stored for each container for each business system defined by the container list table 128 described above. The data structure is a status indicating the container ID of the container arranged in the server in the order of the serial number, the service ID indicating the arrangement destination server, the operation status of the container, etc. , And the start date and time of the container.

図9に、本実施形態におけるコンテナ調整トリガテーブル130の一例を示す。本実施形態におけるコンテナ調整トリガテーブル130は、コンテナ管理サーバ100が稼働分析サーバ200から受信したトリガ情報225を格納するテーブルである。   FIG. 9 shows an example of the container adjustment trigger table 130 in the present embodiment. The container adjustment trigger table 130 in the present embodiment is a table that stores trigger information 225 received from the operation analysis server 200 by the container management server 100.

そのデータ構造は、トリガ情報を一意に特定するトリガIDをキーとして、トリガの契機となった稼働状況が生じたコンテナを示すコンテナID、トリガ区分1、トリガ区分2、トリガ名称、当該コンテナで構成する業務システムのシステムID、当該業務システムでの取引量、当該レコード(すなわちトリガ情報)の登録日時、当該トリガ情報に基づくコンテナ数変更適用日時、といったデータから成るレコードの集合体である。   The data structure is composed of a container ID indicating a container in which the operation status that triggered the trigger has occurred, a trigger category 1, a trigger category 2, a trigger name, and the container, with a trigger ID that uniquely identifies the trigger information as a key. This is a set of records composed of data such as a system ID of a business system to be processed, a transaction amount in the business system, a registration date and time of the record (that is, trigger information), and a container number change application date and time based on the trigger information.

このうちトリガ区分1は、各コンテナに関して、対応する業務システムにおける深夜帯でのバッチ処理やリブートといった定常処理に伴うイベントか、または、そうした定常処理とは異なり、当該コンテナでの取引量(TPS)が短時間で急増した、或いは、当該コンテナが配置されたサーバでコンテナ数が減少したので再配置が必要、といった特別なイベントのいずれかを示す区分である。   Of these, trigger category 1 is an event associated with steady processing such as batch processing and rebooting at midnight in the corresponding business system for each container, or, unlike such steady processing, the transaction volume (TPS) in the container. Is a category indicating one of special events such as a rapid increase in a short time, or a relocation is necessary because the number of containers has decreased on the server where the container is disposed.

また、トリガ区分2は、上述のトリガ区分1が示すイベントへの対処内容を示すもので、トリガ区分1「特別」のうち取引量急増のイベントに対する「コンテナ数調整」、トリガ区分1「特別」のうちコンテナ再配置必要とのイベントに対する「再配置」、といった値になる。また、トリガ名称は、上述のトリガ区分1が示すイベントの内容を示すものである。また、取引量は、当該コンテナにおける取引量(TPS)の値であり、当該トリガの契機になった観測値である。   In addition, the trigger category 2 indicates the contents to be dealt with for the event indicated by the trigger category 1 described above. Among the trigger category 1 “special”, “container number adjustment” for the event of a sudden increase in transaction volume, trigger category 1 “special” Among them, the value is “relocation” for the event that the container relocation is necessary. The trigger name indicates the content of the event indicated by the trigger category 1 described above. Further, the transaction amount is a value of the transaction amount (TPS) in the container, and is an observed value that triggers the trigger.

−−−フロー例1−−−
以下、本実施形態における仮想化環境管理方法の実際手順について図に基づき説明する。以下で説明する仮想化環境管理方法に対応する各種動作は、仮想化環境管理システム10を構成する各サーバらがメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
--- Flow example 1 ---
Hereinafter, the actual procedure of the virtual environment management method according to the present embodiment will be described with reference to the drawings. Various operations corresponding to the virtual environment management method described below are realized by a program that is read and executed by a server or the like constituting the virtual environment management system 10 in a memory or the like. And this program is comprised from the code | cord | chord for performing the various operation | movement demonstrated below.

図10は、本実施形態における仮想化環境管理方法のフロー例1を示す図である。ここでは、サーバ群300のうちどのサーバにもコンテナが配置されていない初期状態で、各業務システムに必要なコンテナを可用性等を踏まえて特定し、適宜なサーバに配置する初期設定時の処理について示す。   FIG. 10 is a diagram illustrating a flow example 1 of the virtual environment management method according to the present embodiment. Here, in the initial state in which no server is placed on any server in the server group 300, a container required for each business system is identified based on availability, etc., and the process at the time of initial setting is placed on an appropriate server. Show.

この場合、コンテナ管理サーバ100は、システム情報テーブル126から、各業務システムの性能要件の値を取得し、また、コンテナリストテーブル128から、各業務システム向けのコンテナのコンテナ性能の値を取得する(s100)。   In this case, the container management server 100 acquires the performance requirement value of each business system from the system information table 126, and acquires the container performance value of the container for each business system from the container list table 128 ( s100).

次にコンテナ管理サーバ100は、上述のs100で得た、業務システムの性能要件の値を、当該業務システム向けのコンテナのコンテナ性能の値で除算して、必要なコンテナ数(これを「m」とする)を算定する処理を、各業務システムに関して実行する(s101)。   Next, the container management server 100 divides the value of the performance requirement of the business system obtained in s100 above by the value of the container performance of the container for the business system, and calculates the required number of containers (this is “m”). Is calculated for each business system (s101).

例えば、「Aシステム」の性能要件が「15」(TPS)であり、この「Aシステム」のための各コンテナのうち例えば、「端末AP」のコンテナ性能が「5」(TPS)であるため、コンテナ管理サーバ100は、「Aシステム」の「端末AP」コンテナの必要数を、15÷5=3つ、と算定する。また同様に、「Aシステム」の「バッチAP」コンテナの必要数を、15÷15=1つ、「Aシステム」の「DB」コンテナの必要数を、15÷15=1つ、などと算定する。   For example, the performance requirement of “A system” is “15” (TPS), and among the containers for this “A system”, for example, the container performance of “terminal AP” is “5” (TPS). The container management server 100 calculates the required number of “terminal AP” containers of “A system” as 15 ÷ 5 = 3. Similarly, the required number of “Batch AP” containers of “A system” is calculated as 15 ÷ 15 = 1, the required number of “DB” containers of “A system” is calculated as 15 ÷ 15 = 1, and so on. To do.

続いてコンテナ管理サーバ100は、サーバ情報テーブル125において、各サーバの情報のうち、「ステータス」の値が「正常」、かつ「区分」が「オンプレミス」であるサーバに関して、「区分」、「搭載CPUコア数」、「メモリ容量」、「稼働中コンテナ数」、「空きCPUコア数」、および「空きメモリ容量」の各値を参照し、新たにコンテナを配置可能なサーバ数(これを「s」とする)を特定する(s102)。   Subsequently, in the server information table 125, the container management server 100 sets “category” and “installed” for servers whose “status” value is “normal” and “category” is “on-premises” in the information of each server. With reference to the values of “CPU core count”, “memory capacity”, “active container count”, “free CPU core count”, and “free memory capacity”, the number of servers on which containers can be newly placed (referred to as “ s ”) is specified (s102).

この場合のコンテナ管理サーバ100は、まず、「稼働中コンテナ数」が「0」のサーバの数をカウントし、これをメモリ103に記憶する。またコンテナ管理サーバ100は、稼働中コンテナ数が「1」以上のサーバのうち、「搭載CPUコア数」で「空きCPUコア数」が占める割合と、「メモリ容量」で「空きメモリ容量」が占める割合が、それぞれ所定の基準以下であるサーバの数をカウントし、既にメモリ103に記憶しておいた値と合算する。この合算値が当該ステップs102で特定すべき、新たにコンテナを配置可能なサーバ数、となる。   In this case, the container management server 100 first counts the number of servers whose “number of active containers” is “0” and stores this in the memory 103. The container management server 100 has a ratio of “free CPU cores” in “number of installed CPU cores” and “free memory capacity” in “memory capacity” among servers having an active container number of “1” or more. The number of servers whose occupying ratio is less than or equal to a predetermined standard is counted and added to the value already stored in the memory 103. This total value is the number of servers on which containers can be newly placed that should be specified in step s102.

次に、コンテナ管理サーバ100は、各業務システムに求められる可用性について、システム情報テーブル126で当該業務システムに関して規定されている可用性IDをキーに、可用性マスタテーブル127を検索し、該当する可用性の情報を特定する(s103)。 例えば、システム情報テーブル126において、「Aシステム」の可用性IDは「0001」と規定されている。そこでコンテナ管理サーバ100は、この可用性ID「0001」をキーに、可用性マスタテーブル127を検索し、該当レコードから「障害許容台数」の値「1」を特定する。一方、「Bシステム」の場合、その可用性ID「0002」をキーに、可用性マスタテーブル127を検索すると、該当レコードから「障害許容台数」の値「0」が特定される。   Next, the container management server 100 searches the availability master table 127 for the availability required for each business system, using the availability ID defined for the business system in the system information table 126 as a key, and the corresponding availability information. Is specified (s103). For example, in the system information table 126, the availability ID of “A system” is defined as “0001”. Therefore, the container management server 100 searches the availability master table 127 using the availability ID “0001” as a key, and specifies the value “1” of “fault tolerance” from the corresponding record. On the other hand, in the case of “B system”, when the availability master table 127 is searched using the availability ID “0002” as a key, the value “0” of “allowable failure” is identified from the corresponding record.

上述のステップs103の結果、「障害許容台数」の値が「0」であった場合、コンテナ管理サーバ100は、当該業務システムは高可用性が要求されないシステムであると判定し(s104:n)、s101で得ている必要なコンテナ数の値「m」を、s102で得ているサーバ数の値「s」で除算する処理を、各業務システムの各コンテナに関して実行し、各サーバへの各コンテナの配置数を特定し、コンテナ管理ソフトウェア110に対して当該コンテナの当該サーバへの配置処理を指示する(s105)。この指示に伴い、コンテナ管理サーバ100は、コンテナ配置状況テーブル129において当該コンテナのレコードを更新する。   As a result of the above-described step s103, when the value of the “allowable number of failures” is “0”, the container management server 100 determines that the business system is a system that does not require high availability (s104: n), A process of dividing the value “m” of the necessary number of containers obtained in s101 by the value “s” of the number of servers obtained in s102 is executed for each container of each business system, and each container to each server And the container management software 110 is instructed to place the container on the server (s105). In response to this instruction, the container management server 100 updates the container record in the container arrangement status table 129.

例えば、「Bシステム」の「端末AP」コンテナに関してs101で得ている必要なコンテナ数の値が「1」、s102で得ているサーバ数の値が「3」であった場合、m÷s=1÷3=0.3、これを切り上げた実際のコンテナ数「1」を、各サーバ(新たにコンテナを配置可能なサーバ)への「Bシステム_端末AP」コンテナの配置数とする。従って、図8に例示したコンテナ配置状況テーブル129において、「Bシステム_端末AP」コンテナである、コンテナID「00000004」は、サーバ「00000002」、および「00000003」、のそれぞれに1つずつ配置されている。   For example, if the value of the required number of containers obtained in s101 for the “terminal AP” container of “B system” is “1” and the value of the number of servers obtained in s102 is “3”, m ÷ s = 1 ÷ 3 = 0.3, and the actual number of containers “1” rounded up is set as the number of “B system_terminal AP” containers to be allocated to each server (a server that can newly allocate containers). Therefore, in the container arrangement status table 129 illustrated in FIG. 8, the container ID “00000004”, which is the “B system_terminal AP” container, is arranged for each of the servers “00000002” and “00000003”. ing.

他方、上述のステップs103の結果、「障害許容台数」の値が「1」以上であった場合、コンテナ管理サーバ100は、当該業務システムは高可用性が求められるサーバであると判定し(s104:y)、s101で得ている必要なコンテナ数の値「m」を、s102で得ているサーバ数の値「s」から「障害許容台数」の値(s103で得ている値)を減算した値で除算する処理を、各業務システムの各コンテナに関して実行し、各サーバへの各コンテナの配置数を特定し、コンテナ管理ソフトウェア110に対して当該コンテナの当該サーバへの配置処理を指示する(s106)。この指示に伴い、コンテナ管理サーバ100は、コンテナ配置状況テーブル129において当該コンテナのレコードを更新する。   On the other hand, as a result of the above-described step s103, if the value of “Allowable number of failures” is “1” or more, the container management server 100 determines that the business system is a server that requires high availability (s104: y) The value “m” of the necessary number of containers obtained in s101 is subtracted from the value “s” of the number of servers obtained in s102 and the value of “allowable number of failures” (value obtained in s103). The process of dividing by the value is executed for each container of each business system, the number of containers placed on each server is specified, and the container management software 110 is instructed to place the container on the server ( s106). In response to this instruction, the container management server 100 updates the container record in the container arrangement status table 129.

例えば、「Aシステム」の「端末AP」コンテナに関してs101で得ている必要なコンテナ数の値が「3」、s102で得ているサーバ数の値が「3」、この「Aシステム」の障害許容台数が「1」であった場合、m÷(s−1)=3÷2=1.5、これを切り上げた実際のコンテナ数「2」を、各サーバ(新たにコンテナを配置可能なサーバ)への「Aシステム_端末AP」コンテナの配置数とする。従って、図8に例示したコンテナ配置状況テーブル129において、「Aシステム_端末AP」コンテナである、コンテナID「00000001」は、サーバ「00000001」、「00000002」、および「00000003」、のそれぞれに2つずつ配置されている。   For example, regarding the “terminal AP” container of “A system”, the value of the required number of containers obtained in s101 is “3”, the value of the number of servers obtained in s102 is “3”, and this “A system” failure When the allowable number is “1”, m ÷ (s−1) = 3 ÷ 2 = 1.5, and the actual number of containers “2” obtained by rounding up the number is added to each server (a container can be newly placed). The number of “A system_terminal AP” containers placed on the server). Accordingly, in the container arrangement status table 129 illustrated in FIG. 8, the container ID “00000001”, which is the “A system_terminal AP” container, is 2 in each of the servers “00000001”, “00000002”, and “00000003”. It is arranged one by one.

なお、「Aシステム」の「バッチAP」コンテナおよび「DB」コンテナに関して、s101で得ている必要なコンテナ数の値が「1」、s102で得ているサーバ数の値が「3」、この「Aシステム」の障害許容台数が「1」であった場合、m÷(s−1)=1÷2=0.5、これを切り上げた実際のコンテナ数「1」を、各サーバ(新たにコンテナを配置可能なサーバ)への「Aシステム_バッチAP」および「Aシステム_DB」の各コンテナの配置数とする。   For the “Batch AP” container and “DB” container of “A system”, the value of the required number of containers obtained in s101 is “1”, the value of the number of servers obtained in s102 is “3”, If the allowable number of failures in “A system” is “1”, m ÷ (s−1) = 1 ÷ 2 = 0.5, and the actual number of containers “1” rounded up is added to each server (new The number of containers of “A system_batch AP” and “A system_DB” arranged in the server).

但し、図8のコンテナ配置状況テーブル129に示すように、「Aシステム_バッチAP」コンテナである、コンテナID「00000002」は、サーバ「00000001」、および「00000003」、のそれぞれに1つずつ配置され、サーバ「00000003」には配置していない。これは「Aシステム_DB」のコンテナである、コンテナID「00000003」についても同様である。これは、障害許容台数が「1」、すなわちどれか1つのサーバに障害が発生しても、該当業務システムの性能要件を達成出来ればよいことを踏まえ、3つのサーバのうち2つにのみコンテナを配置すれば、そのうちの1つに障害が発生しても性能要件は達成出来ることに対応したものとなる。一方、障害許容台数が「2」、すなわちどれか2つのサーバに障害が発生しても、該当業務システムの性能要件を達成出来ればよい場合に、3つのサーバ全てではなく2つのサーバのみにコンテナを配置すれば、その2つのサーバに障害が発生したならば、性能要件は達成出来ないことになる。そのため、必要なコンテナ数および障害許容台数が所定数以下の場合のみ、コンテナ管理サーバ100は、各サーバのうち所定数のサーバのみにコンテナを配置する対応を行う。   However, as shown in the container arrangement status table 129 of FIG. 8, the container ID “00000002”, which is the “A system_batch AP” container, is arranged for each of the servers “00000001” and “00000003”. The server “00000003” is not arranged. The same applies to the container ID “00000003”, which is a container of “A system_DB”. This is based on the fact that the allowable number of failures is “1”, that is, if any one of the servers fails, it is only necessary to achieve the performance requirements of the corresponding business system. If one of them is arranged, the performance requirement can be achieved even if a failure occurs in one of them. On the other hand, if the allowable number of failures is “2”, that is, if it is sufficient to meet the performance requirements of the corresponding business system even if any two servers fail, the container is not only for all three servers but only for two servers. If a failure occurs on the two servers, the performance requirement cannot be achieved. Therefore, only when the necessary number of containers and the allowable number of faults are equal to or less than the predetermined number, the container management server 100 performs correspondence to arrange the containers only on the predetermined number of servers among the servers.

続いて、コンテナ管理サーバ100は、ここまでの処理で、コンテナリストテーブル128に規定したコンテナのコンテナIDと、コンテナ配置状況テーブル129の配置コンテナIDのうちステータスが「稼働中」のものとを照合し、コンテナリストテーブル128に規定したコンテナのうち、サーバに配置出来ていないものがあるか判定する(s107)。図8で示すコンテナ配置状況テーブル129の例では、コンテナID「00000005」および「00000006」については、「配置サーバID」が「NULL」であり、「ステータス」が「稼働中」ではなく、「配置待ち」となっており、サーバに配置出来ていないことが判明する。   Subsequently, the container management server 100 collates the container ID of the container defined in the container list table 128 with the container ID of the container arrangement status table 129 whose status is “in operation” by the processing so far. Then, it is determined whether there is a container defined in the container list table 128 that cannot be placed on the server (s107). In the example of the container arrangement status table 129 shown in FIG. 8, for the container IDs “00000005” and “00000006”, the “arrangement server ID” is “NULL”, and the “status” is not “in operation”, "Waiting", and it turns out that it is not placed on the server.

上述の判定の結果、未配置のコンテナが特定されなければ(s108:n)、コンテナ管理サーバ100は、当該フローを終了する。   If no unallocated container is identified as a result of the above determination (s108: n), the container management server 100 ends the flow.

他方、上述の判定の結果、未配置のコンテナが特定されたならば(s108:y)、コンテナ管理サーバ100は、サーバ情報テーブル125において、各サーバの情報のうち、「ステータス」の値が「正常」、かつ「区分」が「パブリッククラウド」であるサーバに関して、ステップs102と同様の処理で、新たにコンテナを配置可能なサーバ数を特定する(s109)。   On the other hand, if an unallocated container is identified as a result of the above determination (s108: y), the container management server 100 sets the value of “status” among the information of each server in the server information table 125 to “ For servers with “normal” and “category” “public cloud”, the number of servers on which containers can be newly placed is specified by the same processing as step s102 (s109).

この結果、パブリッククラウドのうち、新たにコンテナを配置可能なサーバが特定出来なかった場合(s110:n)、コンテナ管理サーバ100は、更なるパブリッククラウドの契約増を要求するメッセージ等を、システム管理者等の所定端末に宛てて出力し(s111)、当該フローを終了する。   As a result, when a server that can newly place a container in the public cloud cannot be identified (s110: n), the container management server 100 sends a message for requesting a further increase in the public cloud contract to the system management. Output to a predetermined terminal such as a person (s111), and the flow ends.

他方、パブリッククラウドのうち、新たにコンテナを配置可能なサーバ(例:サーバID「00000004」のパブリッククラウド)が特定出来た場合(s110:y)、コンテナ管理サーバ100は、上述のステップs108の判定で特定された未配置のコンテナについて、コンテナ管理ソフトウェア110に対して当該コンテナの当該サーバへの配置処理を指示する(s112)。この指示に伴い、コンテナ管理サーバ100は、コンテナ配置状況テーブル129において当該コンテナのレコードを更新する。   On the other hand, when a server capable of newly placing a container (for example, a public cloud with a server ID “00000004”) can be identified among the public clouds (s110: y), the container management server 100 determines in step s108 described above. The container management software 110 is instructed to place the container on the server for the unplaced container identified in (S112). In response to this instruction, the container management server 100 updates the container record in the container arrangement status table 129.

以上で、初期状態のサーバへのコンテナの配置処理が完了する。   This completes the container placement process on the server in the initial state.

−−−フロー例2−−−
次に、上述のフロー例1のように構成したコンテナ型仮想環境が稼働を開始し、その状況を稼働分析サーバ200が監視している状況での処理について図に基づき説明する。図11は、本実施形態における仮想化環境管理方法のフロー例2を示す図である。なお、稼働分析サーバ200は、サーバ群300における各コンテナに関して、稼働状況を監視し、所定のイベントを検知した場合に、その情報をトリガ情報225としてコンテナ管理サーバ100に送信しているものとする。また、その場合、コンテナ管理サーバ100は、トリガ情報225をコンテナ調整トリガテーブル130に格納しているものとする。
--- Flow example 2 ---
Next, processing in a situation where the container-type virtual environment configured as in the above flow example 1 starts operating and the operation analysis server 200 monitors the situation will be described with reference to the drawings. FIG. 11 is a diagram illustrating a flow example 2 of the virtual environment management method according to the present embodiment. Note that the operation analysis server 200 monitors the operation status of each container in the server group 300 and, when a predetermined event is detected, transmits the information to the container management server 100 as trigger information 225. . In this case, it is assumed that the container management server 100 stores trigger information 225 in the container adjustment trigger table 130.

こうした状況におけるコンテナ管理サーバ100は、例えば所定時間ごとにコンテナ調整トリガテーブル130にアクセスして、コンテナ数変更適用日時が「NULL」、すなわち、未対応のトリガを特定する(s200)。   In such a situation, the container management server 100 accesses the container adjustment trigger table 130 every predetermined time, for example, and specifies the trigger for changing the number of containers to be “NULL”, that is, an unsupported trigger (s200).

次にコンテナ管理サーバ100は、上述のステップs200で特定した未対応のトリガのトリガ区分1が「通常」、かつトリガ区分2が「停止」か否か判定する(s201)。   Next, the container management server 100 determines whether or not the trigger category 1 of the unsupported trigger identified in step s200 is “normal” and the trigger category 2 is “stopped” (s201).

この判定の結果、未対応トリガのトリガ区分1が「通常」かつトリガ区分2が「停止」であった場合(s201:y)、コンテナ管理サーバ100は、コンテナ管理ソフトウェア110に対して該当コンテナ停止を指示し(s202)、当該フローを終了する。   As a result of this determination, when the trigger category 1 of the unsupported trigger is “normal” and the trigger category 2 is “stop” (s201: y), the container management server 100 stops the corresponding container with respect to the container management software 110. (S202), and the flow ends.

他方、上述の判定の結果、未対応トリガのトリガ区分1が「特別」であった場合(s201:n)、コンテナ管理サーバ100は、当該トリガのトリガ区分2が「コンテナ数調整」か否か判定する(s203)。   On the other hand, if the trigger classification 1 of the unsupported trigger is “special” as a result of the above determination (s201: n), the container management server 100 determines whether the trigger classification 2 of the trigger is “container adjustment”. Determination is made (s203).

この判定の結果、当該トリガのトリガ区分2が「コンテナ数調整」であった場合(s203:y)、コンテナ管理サーバ100は、コンテナ調整トリガテーブル130において、当該トリガに関する情報のうち、「取引量(TPS)」の値を抽出する(s204)。   As a result of this determination, when the trigger category 2 of the trigger is “container number adjustment” (s203: y), the container management server 100 selects “transaction amount” from the information regarding the trigger in the container adjustment trigger table 130. The value of “(TPS)” is extracted (s204).

この場合のコンテナ管理サーバ100は、該当コンテナに対応する業務システムでの取引量(TPS)が急増或いは急減した状況を解消すべく、該当コンテナを増減させる対応を開始したことになる。   In this case, the container management server 100 has started a response to increase or decrease the corresponding container in order to eliminate the situation where the transaction volume (TPS) in the business system corresponding to the corresponding container has increased or decreased rapidly.

続いてコンテナ管理サーバ100は、コンテナリストテーブル128から、各業務システム向けのコンテナのうち、当該コンテナのコンテナ性能の値を取得する(s205)。   Subsequently, the container management server 100 acquires the container performance value of the container for each business system from the container list table 128 (s205).

また、コンテナ管理サーバ100は、上述のs204で得た、取引量(TPS)の値を、当該コンテナのコンテナ性能の値で除算して、現状において必要なコンテナ数(これを「m’」とする)を算定する(s206)。   In addition, the container management server 100 divides the value of the transaction volume (TPS) obtained in the above s204 by the value of the container performance of the container to obtain the number of containers currently required (this is “m ′”). Is calculated (s206).

例えば、トリガID「00000001」が示すシステムID「00001」、すなわち「Aシステム」での取引量(TPS)が「8」(TPS)であり、この「Aシステム」の当該コンテナ「00000001」、すなわち「端末AP」のコンテナ性能が「5」(TPS)であるため、コンテナ管理サーバ100は、現状における「Aシステム」の「端末AP」コンテナの必要数を、8÷5=1.6、すなわち2つ、と算定する。   For example, the system ID “00001” indicated by the trigger ID “00000001”, that is, the transaction volume (TPS) in “A system” is “8” (TPS), and the container “00000001” of this “A system”, Since the container performance of the “terminal AP” is “5” (TPS), the container management server 100 sets the necessary number of “terminal AP” containers of the “A system” at present to 8 ÷ 5 = 1.6, Two are calculated.

続いてコンテナ管理サーバ100は、上述のステップs206で算定したコンテナ数「m’」と、フロー例1のステップs101で算定したコンテナ数「m」、すなわち初期設定時のコンテナ数と比較する(s207)。   Subsequently, the container management server 100 compares the number of containers “m ′” calculated in step s206 described above with the number of containers “m” calculated in step s101 of the flow example 1, that is, the number of containers at the initial setting (s207). ).

この比較の結果、m>m’、すなわち必要なコンテナ数が初期設定時より減少した場合(s208:y)、コンテナ管理サーバ100は、当該コンテナが配置されているサーバを、コンテナ配置状況テーブル129にて特定する(s209)。   As a result of this comparison, when m> m ′, that is, when the number of necessary containers has decreased from the initial setting (s208: y), the container management server 100 designates the server in which the container is arranged as the container arrangement status table 129. (S209).

コンテナ管理サーバ100は、s209で特定したサーバの数で、上述の現状において必要なコンテナ数「m’」を除算し、該当サーバへの当該コンテナの配置数を特定し、この配置数と、当該フロー開始前の当該サーバへの当該コンテナの配置数との差分を算定する(s210)。   The container management server 100 divides the number of containers “m ′” necessary in the current situation by the number of servers specified in s209, specifies the number of containers placed on the server, A difference from the number of containers arranged on the server before the flow is started is calculated (s210).

例えば、「Aシステム」の「端末AP」コンテナに関してs206で得ている、現状において必要なコンテナ数の値が「1」、s209で特定した当該コンテナが配置されているサーバの数が「3」であった場合、m’÷3=1÷3=0.3、これを切り上げた実際のコンテナ数「1」が、当該サーバへの「Aシステム_端末AP」コンテナの配置数と特定できる。また、当該フロー開始前の当該サーバへの該当コンテナの配置数が「3」であった場合、現状において必要なコンテナ数と当該フロー開始前のコンテナの配置数との差分は、3−1=2、と算定出来る。つまりこの場合、3台の各サーバに配置する当該コンテナを、1つずつ減少させる必要があることになる。   For example, for the “terminal AP” container of “A system”, the value of the number of containers required at present is “1”, and the number of servers on which the container identified in s209 is arranged is “3”. In this case, m ′ ÷ 3 = 1 ÷ 3 = 0.3, and the actual number of containers “1” obtained by rounding up can be identified as the number of “A system_terminal AP” containers placed on the server. Further, when the number of containers arranged on the server before the start of the flow is “3”, the difference between the number of containers currently required and the number of containers arranged before the flow starts is 3-1 = 2 can be calculated. That is, in this case, it is necessary to reduce the containers arranged in the three servers one by one.

そこでコンテナ管理サーバ100は、コンテナ管理ソフトウェア110に対し、当該サーバにおける当該コンテナの配置数を、(上述の例の場合、1つ)減ずる処理を指示し(s211)、フローを終了する。なお、こうしたコンテナの低減を行う場合、コンテナ管理サーバ100は、パブリッククラウド320に配置されたコンテナから優先的に停止させるものとする。   Accordingly, the container management server 100 instructs the container management software 110 to reduce the number of containers arranged in the server (one in the above example) (s211), and ends the flow. Note that, when performing such container reduction, the container management server 100 is preferentially stopped from the containers arranged in the public cloud 320.

上述の指示に伴い、コンテナ管理サーバ100は、コンテナ配置状況テーブル129において当該コンテナのレコードを更新する。   In response to the above instruction, the container management server 100 updates the container record in the container arrangement status table 129.

一方、上述のステップs207の比較の結果、m<m’、すなわち必要なコンテナ数が初期設定時より増加した場合(s208:n)、コンテナ管理サーバ100は、コンテナ配置状況テーブル129と、サーバ情報テーブル125を参照し、当該コンテナが配置されているサーバを含め全サーバについて、フロー例1のステップs102と同様に、新たなコンテナを配置可能なサーバ数(これを「s’」とする)を特定する(s212)。   On the other hand, if m <m ′, that is, the number of necessary containers has increased from the initial setting (s208: n) as a result of the comparison in step s207, the container management server 100 determines that the container arrangement status table 129 and the server information With reference to the table 125, the number of servers that can place a new container (referred to as “s ′”) for all servers including the server in which the container is placed, as in step s102 of flow example 1. Specify (s212).

また、コンテナ管理サーバ100は、当該業務システムに求められる可用性について、上述のフロー例1のステップs103と同様に、「障害許容台数」の値を特定する(s213)。   Further, the container management server 100 specifies the value of “allowable number of failures” for the availability required for the business system, as in step s103 of the flow example 1 described above (s213).

上述のステップs213の結果、「障害許容台数」の値が「0」であった場合、コンテナ管理サーバ100は、当該業務システムは高可用性が要求されないシステムであると判定し(s214:n)、s206で得ている必要なコンテナ数の値「m’」を、s212で得ているサーバ数の値「s’」で除算する処理を実行し、該当各サーバへの当該コンテナの配置数を特定し、コンテナ管理ソフトウェア110に対して当該コンテナの当該サーバへの配置処理を指示し(s215)、フローを終了する。   As a result of the above-described step s213, when the value of the “allowable number of failures” is “0”, the container management server 100 determines that the business system is a system that does not require high availability (s214: n), Execute the process of dividing the value “m ′” of the required number of containers obtained in s206 by the value “s ′” of the number of servers obtained in s212, and specify the number of containers placed on each server The container management software 110 is instructed to place the container on the server (s215), and the flow ends.

なお、こうしたコンテナの増加を行う場合、コンテナ管理サーバ100は、オンプレミスのサーバ群310のサーバから優先的に配置させるものとする。但し、この優先的な配置を経ても、パブリッククラウド320へのコンテナ配置を行う必要がある場合、コンテナ管理サーバ100は、予め定めた業務システムごとのパブリッククラウド320へのコンテナ移行可否の基準(例えば、システム情報テーブル126や、コンテナリストテーブル128で、各業務システムまたは各コンテナに関して移行可否が設定してあるとする)に基づき、新たに配置すべきコンテナの移行要否を判定する。この判定の結果、当該コンテナの移行が不可であった場合、コンテナ管理サーバ100は、上述の基準において移行可能な他コンテナをパブリッククラウド320に移行させる。そしてコンテナ管理サーバ100は、当該移行させたコンテナが元々配置されていたオンプレミスのサーバに、上述の当該コンテナを移行させる。勿論、こうした移行の処理はコンテナ管理ソフトウェア110に指示を行って実行する。   In addition, when such an increase in containers is performed, the container management server 100 is preferentially arranged from the servers in the on-premises server group 310. However, if it is necessary to perform container placement in the public cloud 320 even after this preferential placement, the container management server 100 determines whether or not to migrate containers to the public cloud 320 for each predetermined business system (for example, Based on the system information table 126 and the container list table 128, it is determined whether or not migration is possible for each business system or each container). As a result of the determination, when the container cannot be migrated, the container management server 100 migrates another container that can be migrated according to the above-described criteria to the public cloud 320. Then, the container management server 100 migrates the container to the on-premises server where the migrated container was originally arranged. Of course, such a migration process is executed by instructing the container management software 110.

上述の指示に伴い、コンテナ管理サーバ100は、コンテナ配置状況テーブル129において当該コンテナのレコードを更新する。   In response to the above instruction, the container management server 100 updates the container record in the container arrangement status table 129.

例えば、「Aシステム」の「バッチAP」コンテナに関してs206で得ている、現状において必要なコンテナ数の値が「4」、s212で特定した新たなコンテナを配置可能なサーバの数が「3」であった場合、m’÷3=4÷3=1.3、これを切り上げた実際のコンテナ数「2」が、当該サーバへの「Aシステム_バッチAP」コンテナの配置数と特定できる。また、当該フロー開始前の当該サーバへの該当コンテナの配置数が「1」であった場合、現状において必要なコンテナ数と当該フロー開始前のコンテナの配置数との差分は、4−1=3、と算定出来る。当該フロー開始前から当該コンテナを配置しているサーバ(便宜的に既存配置先とする)において、新たにコンテナの配置を受けるリソースの余裕が無い場合、こうした差分、すなわち増加するコンテナ数の配置先は、上述の既存配置先とは別のサーバになる。   For example, the value of the number of containers that is currently required in s206 regarding the “batch AP” container of “A system” is “4”, and the number of servers that can place the new container specified in s212 is “3”. In this case, m ′ ÷ 3 = 4 ÷ 3 = 1.3, and the actual number of containers “2” rounded up can be identified as the number of “A system_batch AP” containers arranged on the server. Further, when the number of arrangement of the corresponding container to the server before the start of the flow is “1”, the difference between the number of containers currently required and the number of arrangement of the container before the start of the flow is 4-1 = 3 can be calculated. If there is no room for resources to newly place a container on the server where the container is placed before the start of the flow (for convenience, the existing placement destination), this difference, that is, the placement destination of the increasing number of containers Becomes a server different from the above-described existing location.

他方、上述のステップs213の結果、「障害許容台数」の値が「1」以上であった場合、コンテナ管理サーバ100は、当該業務システムは高可用性が求められるサーバであると判定し(s214:y)、s206で得ている必要なコンテナ数の値「m’」を、s212で得ているサーバ数の値「s’」から「障害許容台数」の値(s213で得ている値)を減算した値で除算する処理を実行し、該当各サーバへの当該コンテナの配置数を特定し、コンテナ管理ソフトウェア110に対して当該コンテナの当該サーバへの配置処理を指示し(s216)、フローを終了する。なお、こうしたコンテナの増加を行う場合、コンテナ管理サーバ100は、オンプレミスのサーバ群310のサーバから優先的に配置させるものとする。   On the other hand, as a result of the above-described step s213, when the value of “allowable number of failures” is “1” or more, the container management server 100 determines that the business system is a server that requires high availability (s214: y) The value “m ′” of the necessary number of containers obtained in s206 is changed from the value “s ′” of the number of servers obtained in s212 to the value of “allowable number of failures” (value obtained in s213). A process of dividing by the subtracted value is executed, the number of arrangement of the container to each corresponding server is specified, the container management software 110 is instructed to arrange the container to the server (s216), and the flow is performed. finish. In addition, when such an increase in containers is performed, the container management server 100 is preferentially arranged from the servers in the on-premises server group 310.

上述の指示に伴い、コンテナ管理サーバ100は、コンテナ配置状況テーブル129において当該コンテナのレコードを更新する。   In response to the above instruction, the container management server 100 updates the container record in the container arrangement status table 129.

なお、上述のようにコンテナ数の増減を行うに際し、コンテナ管理サーバ100は、当該業務システムにおける処理の繁閑時期に基づき、コンテナ数の過不足の状態が所定期間継続することが特定できる場合に、コンテナ数増減を実行するとすれば好適である。例えば、上述のコンテナ数の増減指示をコンテナ管理ソフトウェア110に通知するに先立ち、コンテナリストテーブル128にて、当該コンテナの次回ピーク想定日、ピーク時間帯(開始)、およびピーク時間帯(終了)、の各値を参照する。またコンテナ管理サーバ100は、ここで参照して特定出来た次回のピーク日時、すなわち繁忙期まで現日時から所定時間以内であれば、コンテナ数減少は実行せず、他方、次回のピーク日時まで現日時から所定時間以上であれば、コンテナ数増加は実行しない、といった処理を実行する。   In addition, when performing increase / decrease in the number of containers as described above, the container management server 100 can specify that the state of excess or deficiency in the number of containers continues for a predetermined period based on the busy season of processing in the business system. It is preferable to increase or decrease the number of containers. For example, prior to notifying the container management software 110 of the above-described instruction to increase or decrease the number of containers, in the container list table 128, the next estimated peak date, peak time zone (start), and peak time zone (end) of the container, Refer to each value of. Further, the container management server 100 does not perform the decrease in the number of containers if it is within a predetermined time from the current date and time until the next peak date and time that can be specified by reference here, that is, until the busy season, and on the other hand, If it is equal to or more than a predetermined time from the date and time, a process is executed in which the increase in the number of containers is not executed.

他方、上述のステップs203の判定の結果、当該トリガのトリガ区分2が「コンテナ数調整」でなかった場合(s203:n)、コンテナ管理サーバ100は、当該トリガのトリガ区分2は「再配置」であると特定し(s217)、当該コンテナの配置先の各サーバを含む、サーバ群300のいずれか複数のサーバのうち所定のサーバに、他のサーバのコンテナを移動させる処理を実行し(s218)、フローを終了する。   On the other hand, as a result of the determination in the above step s203, when the trigger category 2 of the trigger is not “container adjustment” (s203: n), the container management server 100 determines that the trigger category 2 of the trigger is “relocation”. (S217), and a process of moving a container of another server to a predetermined server among any of a plurality of servers in the server group 300 including each server where the container is arranged (s218). ) And end the flow.

こうした「再配置」の処理は、当該コンテナの配置先の各サーバのうち少なくともいずれか複数のサーバにおけるコンテナ数が所定基準より少なく、サーバの使用効率が低下しているため、コンテナの配置をいずれかのサーバに集約し、配置コンテナがゼロになったサーバを停止して全体のサーバ運用を効率化するためものとなる。   Such “relocation” processing is performed because the number of containers in at least one of the servers to which the container is disposed is less than a predetermined standard, and the use efficiency of the server is reduced. This is to consolidate such servers and stop the server whose placement container has become zero to improve the efficiency of overall server operation.

「再配置」の処理としては、コンテナ管理サーバ100は、コンテナ配置状況テーブル129を参照し、例えば、オンプレミスのサーバ群310(配置サーバIDをキーにサーバ情報テーブル125で特定)において、配置コンテナの数が他サーバよりも少ないか配置コンテナ数がゼロ、かつ、リソースの使用率が低い(サーバ情報テーブル125で特定)、といった所定のサーバを特定し、このサーバに対し、他のサーバのコンテナを移動させて集約配置する。また、コンテナ管理サーバ100は、これによりリソースに余剰が生じたオンプレミスのサーバ(上述の所定のサーバ以外のオンプレミスのサーバ)に対し、それまでパブリッククラウド320に配置されていたコンテナを移動させる、といった更なる処理を実行する。   For the “relocation” processing, the container management server 100 refers to the container arrangement status table 129 and, for example, in the on-premises server group 310 (identified by the server information table 125 using the arrangement server ID as a key) A predetermined server is specified such that the number of containers is smaller than that of other servers or the number of arranged containers is zero, and the resource usage rate is low (identified by the server information table 125). Move and place them together. In addition, the container management server 100 moves containers that have been arranged in the public cloud 320 until then to an on-premises server (on-premises server other than the above-described predetermined server) on which resource surplus has occurred. Perform further processing.

但し当然ながら、当該業務システムに求められる可用性の要件を満たす範囲で、サーバ間でのコンテナ移動を行うことになる。従って、該当業務システムの可用性を可用性マスタテーブル127で特定し、既に述べた障害許容台数の値を用いた各サーバへのコンテナ配置数の算定手法を利用する。他方、この配慮を採用せず、徒にコンテナの集約を進めた結果、該当サーバでの障害発生が生じれば、全く機能を失う事態に至る。   However, as a matter of course, container movement between servers is performed within a range that satisfies the availability requirement required for the business system. Therefore, the availability of the corresponding business system is specified by the availability master table 127, and the method for calculating the number of containers arranged on each server using the value of the allowable number of failures described above is used. On the other hand, if this consideration is not adopted and container consolidation is promoted, if a failure occurs in the corresponding server, the function is completely lost.

以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。   Although the best mode for carrying out the present invention has been specifically described above, the present invention is not limited to this, and various modifications can be made without departing from the scope of the invention.

こうした本実施形態によれば、仮想環境における余剰リソースの抑制を図り、効率的なシステム運用が可能となる。   According to such an embodiment, it is possible to suppress surplus resources in the virtual environment and to perform efficient system operation.

本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より少ない場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて低減するものである、としてもよい。   At least the following will be clarified by the description of the present specification. That is, in the virtual environment management system according to the present embodiment, when the computing device increases or decreases the number of containers, there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is the current container number. When the number is smaller than the number, the container for the system arranged in the hardware may be reduced according to the value of the difference.

これによれば、コンテナ数低減に伴う余剰リソースの抑制処理を効率的なものとし、ひいては、より効率的なシステム運用が可能となる。   According to this, the surplus resource suppression process accompanying the reduction in the number of containers is made efficient, and as a result, more efficient system operation becomes possible.

また、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より多い場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて増加させるものである、としてもよい。   Further, in the virtual environment management system of the present embodiment, when the computing device increases or decreases the number of containers, there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is the current container number. When the number is larger than the number, the container for the system arranged in the hardware may be increased according to the value of the difference.

これによれば、システム稼働状況に的確に対応して精度良くコンテナ数を増加させ、ひいては、より効率的なシステム運用が可能となる。   According to this, the number of containers can be increased with high accuracy corresponding to the system operating condition, and as a result, more efficient system operation can be achieved.

また、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数との差異の値を、前記ハードウェアの数から当該システムの可用性基準に応じた障害発生ハードウェア数を減算した値で除算し、当該除算により得た値だけ、前記ハードウェアでの当該システム向けのコンテナ数を増減させるものである、としてもよい。   Further, in the virtualization environment management system of the present embodiment, the arithmetic device, when increasing or decreasing the number of containers, calculates a difference value between the specified number of containers and the current number of containers from the number of hardware. It is also possible to divide by the value obtained by subtracting the number of failed hardware according to the availability criteria of the system and increase or decrease the number of containers for the system in the hardware by the value obtained by the division.

これによれば、システム稼働状況とともに、当該システムに求められる可用性を併せて踏まえて、必要なコンテナ数をさらに精度良好に特定し、ひいては、安定的で更に効率的なシステム運用が可能となる。   According to this, it is possible to specify the required number of containers with higher accuracy in consideration of the availability of the system as well as the system operation status, and thus stable and more efficient system operation is possible.

また、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、各ハードウェアのうち少なくともいずれか複数のハードウェアに配置したコンテナ数が所定基準より少ない場合、当該複数のハードウェアのうち所定のハードウェアに他のハードウェアのコンテナを移動させる処理を更に実行するものである、としてもよい。   In the virtual environment management system according to the present embodiment, the computing device may have a predetermined number of hardware items when the number of containers arranged in at least one of the hardware items is smaller than a predetermined reference. It is also possible to further execute a process of moving another hardware container to the other hardware.

これによれば、コンテナを配置するハードウェア数を絞り込むことで、不要となったハードウェアの稼働を停止させ、当該ハードウェアの運用コスト等を低減することができる。ひいては、より効率的なシステム運用が可能となる。   According to this, by narrowing down the number of hardware in which containers are arranged, it is possible to stop the operation of hardware that is no longer needed, and to reduce the operating cost of the hardware. As a result, more efficient system operation becomes possible.

また、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、前記過不足に応じて、前記ハードウェアでの当該システム向けのコンテナ数を増加させる必要があり、前記ハードウェアに配置しきれない未配置コンテナが生じる場合、所定の外部サーバに構築したコンテナ型仮想化環境に、前記未配置コンテナを配置する処理を更に実行するものである、としてもよい。   Further, in the virtualization environment management system of the present embodiment, the computing device needs to increase the number of containers for the system in the hardware according to the excess or deficiency, and can be arranged in the hardware. When there is no unplaced container, the process of placing the unplaced container in the container-type virtual environment constructed in a predetermined external server may be further executed.

これによれば、例えば金融機関に設置したオンプレミスのサーバらが、各システムのコンテナを収容しきれない状況が生じる事態となっても、いわゆるパブリッククラウド等の外部サーバ上のコンテナ型仮想化環境をコンテナ配置先として機動的に利用することが出来る。勿論、オンプレミスのサーバらで必要なコンテナを全て収容可能な状況になれば、こうした外部サーバに配置したコンテナをオンプレミスのコンテナ型仮想化環境に復帰させるといった運用も可能である。ひいては、システム負荷等の変化に応じたダイナミックで更に効率的なシステム運用が可能となる。   According to this, for example, even if an on-premises server installed in a financial institution has a situation in which containers of each system cannot be accommodated, a container-type virtual environment on an external server such as a public cloud is created. It can be used flexibly as a container placement destination. Of course, if the on-premises servers can accommodate all the necessary containers, it is possible to operate such that the containers arranged on the external server are returned to the on-premises container-type virtual environment. As a result, dynamic and more efficient system operation corresponding to changes in system load and the like becomes possible.

また、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、前記未配置コンテナを前記外部サーバのコンテナ型仮想化環境に配置するに際し、予め定めたシステムごとの外部サーバへのコンテナ移行可否の基準に基づき、前記未配置コンテナに対応したシステムの移行要否を判定し、当該未配置コンテナの移行不可であった場合に、前記基準において移行可能な他システムの所定コンテナを前記外部サーバのコンテナ型仮想化環境に移行させ、当該移行させた前記所定コンテナが元々配置されていたハードウェアに、前記未配置コンテナを移行させる処理を更に実行するものである、としてもよい。   Further, in the virtual environment management system of the present embodiment, when the unallocated container is placed in the container-type virtual environment of the external server, the computing device can determine whether or not to migrate the container to an external server for each predetermined system. On the basis of the standard, it is determined whether or not the system corresponding to the non-arranged container needs to be migrated, and when the non-arranged container cannot be migrated, a predetermined container of another system that can be migrated based on the standard is assigned to the external server. It is also possible to migrate to a container-type virtualization environment and further execute a process of migrating the non-arranged container to the hardware where the migrated predetermined container was originally arranged.

これによれば、金融機関等に特有の厳格なセキュリティポリシーの運用に適応しつつ、コンテナの効率的な配置管理が可能となる。ひいては、セキュアなシステム運用と効率的な仮想化環境管理を両立させ、更により効率的なシステム運用が可能となる。   According to this, it is possible to efficiently manage container placement while adapting to the operation of a strict security policy unique to a financial institution or the like. As a result, both secure system operation and efficient virtual environment management can be achieved, and more efficient system operation becomes possible.

また、本実施形態の仮想化環境管理システムにおいて、前記演算装置は、前記コンテナ数を増減させるに際し、当該システムにおける処理の繁閑時期に関する所定の予測情報に基づき、前記コンテナ数の過不足の状態が所定期間継続することが特定できる場合に、前記コンテナ数の増減を実行するものである、としてもよい。   Further, in the virtual environment management system of the present embodiment, when the number of containers is increased or decreased, the computing device is in a state where the number of containers is excessive or insufficient based on predetermined prediction information related to the busy season of processing in the system. The increase / decrease of the number of containers may be executed when it can be specified that the data continues for a predetermined period.

これによれば、徒にコンテナ数増減を繰り返すことで、そうしたコンテナ配置の管理処理に関する負荷や時間が増大し、ついには全体効率が低下するといった懸念を解消出来る。ひいては、仮想環境における余剰リソースの効率的な抑制を図り、更に効率的なシステム運用が可能となる。   According to this, by repeating the increase / decrease in the number of containers, it is possible to eliminate the concern that the load and time related to the management processing of such container arrangement increase and finally the overall efficiency decreases. As a result, it is possible to efficiently suppress surplus resources in the virtual environment, and to further efficiently operate the system.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より少ない場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて低減する、としてもよい。   In the virtualization environment management method of the present embodiment, when the information processing system increases or decreases the number of containers, there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is When the number is smaller than the number of containers, the containers for the system arranged in the hardware may be reduced according to the difference value.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より多い場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて増加させる、としてもよい。   In the virtualization environment management method of the present embodiment, when the information processing system increases or decreases the number of containers, there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is When the number of containers is larger, the number of containers for the system arranged in the hardware may be increased according to the difference value.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数との差異の値を、前記ハードウェアの数から当該システムの可用性基準に応じた障害発生ハードウェア数を減算した値で除算し、当該除算により得た値だけ、前記ハードウェアでの当該システム向けのコンテナ数を増減させる、としてもよい。   In the virtualization environment management method of the present embodiment, when the information processing system increases or decreases the number of containers, the difference value between the specified number of containers and the current number of containers is calculated from the number of hardware. It is also possible to divide by the value obtained by subtracting the number of failed hardware corresponding to the availability criteria of the system, and increase or decrease the number of containers for the system in the hardware by the value obtained by the division.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、各ハードウェアのうち少なくともいずれか複数のハードウェアに配置したコンテナ数が所定基準より少ない場合、当該複数のハードウェアのうち所定のハードウェアに他のハードウェアのコンテナを移動させる処理を更に実行する、としてもよい。   In the virtualization environment management method of the present embodiment, when the information processing system has a number of containers arranged in at least any one of a plurality of hardware less than a predetermined reference, Processing for moving another hardware container to predetermined hardware may be further executed.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、前記過不足に応じて、前記ハードウェアでの当該システム向けのコンテナ数を増加させる必要があり、前記ハードウェアに配置しきれない未配置コンテナが生じる場合、所定の外部サーバに構築したコンテナ型仮想化環境に、前記未配置コンテナを配置する処理を更に実行する、としてもよい。   Further, in the virtualization environment management method of the present embodiment, the information processing system needs to increase the number of containers for the system in the hardware according to the excess or shortage, and the information processing system is arranged in the hardware. When an unplaced container that cannot be removed occurs, a process of placing the unplaced container in a container-type virtual environment constructed in a predetermined external server may be further executed.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、前記未配置コンテナを前記外部サーバのコンテナ型仮想化環境に配置するに際し、予め定めたシステムごとの外部サーバへのコンテナ移行可否の基準に基づき、前記未配置コンテナに対応したシステムの移行要否を判定し、当該未配置コンテナの移行不可であった場合に、前記基準において移行可能な他システムの所定コンテナを前記外部サーバのコンテナ型仮想化環境に移行させ、当該移行させた前記所定コンテナが元々配置されていたハードウェアに、前記未配置コンテナを移行させる処理を更に実行する、としてもよい。   Further, in the virtualization environment management method of the present embodiment, when the information processing system places the unplaced container in the container-type virtual environment of the external server, container migration to the external server for each predetermined system is performed. It is determined whether or not the system corresponding to the non-arranged container needs to be migrated based on the criteria for availability, and when the non-arranged container cannot be migrated, a predetermined container of another system that can be migrated based on the criteria is assigned to the external server. The container type virtualization environment may be migrated, and the process of migrating the non-arranged container to the hardware where the migrated predetermined container was originally arranged may be executed.

また、本実施形態の仮想化環境管理方法において、前記情報処理システムが、前記コンテナ数を増減させるに際し、当該システムにおける処理の繁閑時期に関する所定の予測情報に基づき、前記コンテナ数の過不足の状態が所定期間継続することが特定できる場合に、前記コンテナ数の増減を実行する、としてもよい。   Further, in the virtual environment management method of the present embodiment, when the information processing system increases or decreases the number of containers, the number of containers is excessive or insufficient based on predetermined prediction information related to the busy season of processing in the system. When it is possible to specify that the container continues for a predetermined period, the number of containers may be increased or decreased.

5 ネットワーク
10 仮想化環境管理システム
100 コンテナ管理サーバ
101 記憶装置
102 プログラム
103 メモリ
104 演算装置
105 通信装置
110 コンテナ管理ソフトウェア
125 サーバ情報テーブル
126 システム情報テーブル
127 可用性マスタテーブル
128 コンテナリストテーブル
129 コンテナ配置状況テーブル
130 コンテナ調整トリガテーブル
200 稼働分析サーバ
201 記憶装置
202 プログラム
203 メモリ
204 演算装置
205 通信装置
225 トリガ情報
300 サーバ群
310 オンプレミスのサーバ群
320 パブリッククラウド(外部サーバ)
5 Network 10 Virtualization Environment Management System 100 Container Management Server 101 Storage Device 102 Program 103 Memory 104 Computing Device 105 Communication Device 110 Container Management Software 125 Server Information Table 126 System Information Table 127 Availability Master Table 128 Container List Table 129 Container Placement Status Table 130 Container Adjustment Trigger Table 200 Operation Analysis Server 201 Storage Device 202 Program 203 Memory 204 Computing Device 205 Communication Device 225 Trigger Information 300 Server Group 310 On-Premise Server Group 320 Public Cloud (External Server)

Claims (16)

コンテナ型仮想化環境においてコンテナにより仮想化された各システムの稼働状況を監視し、当該稼働状況と予め特定されている単位コンテナ当たりの処理性能とに基づき、当該システムに必要なコンテナ数を特定し、当該特定したコンテナ数と当該システム向けの現コンテナ数との過不足に応じて、当該コンテナ型仮想化環境を成すハードウェアでの当該システム向けのコンテナ数を増減させる演算装置を備える仮想化環境管理システム。   Monitor the operating status of each system virtualized by a container in a container-type virtualization environment, and specify the number of containers required for the system based on the operating status and the processing performance per unit container specified in advance. A virtualization environment including a computing device that increases or decreases the number of containers for the system in hardware constituting the container-type virtualization environment according to the excess or deficiency between the specified number of containers and the current number of containers for the system Management system. 前記演算装置は、
前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より少ない場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて低減するものである、
ことを特徴とする請求項1に記載の仮想化環境管理システム。
The arithmetic unit is:
When increasing or decreasing the number of containers, if there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is less than the current number of containers, the container for the system arranged in the hardware, It is reduced according to the value of the difference.
The virtual environment management system according to claim 1.
前記演算装置は、
前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より多い場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて増加させるものである、
ことを特徴とする請求項1に記載の仮想化環境管理システム。
The arithmetic unit is:
When increasing or decreasing the number of containers, if there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is greater than the current number of containers, the container for the system arranged in the hardware, Increase according to the value of the difference,
The virtual environment management system according to claim 1.
前記演算装置は、
前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数との差異の値を、前記ハードウェアの数から当該システムの可用性基準に応じた障害発生ハードウェア数を減算した値で除算し、当該除算により得た値だけ、前記ハードウェアでの当該システム向けのコンテナ数を増減させるものである、
ことを特徴とする請求項1に記載の仮想化環境管理システム。
The arithmetic unit is:
When increasing or decreasing the number of containers, the difference between the specified number of containers and the current number of containers is divided by a value obtained by subtracting the number of hardware that has failed according to the availability criteria of the system from the number of hardware. The number of containers for the system in the hardware is increased or decreased by the value obtained by the division.
The virtual environment management system according to claim 1.
前記演算装置は、
各ハードウェアのうち少なくともいずれか複数のハードウェアに配置したコンテナ数が所定基準より少ない場合、当該複数のハードウェアのうち所定のハードウェアに他のハードウェアのコンテナを移動させる処理を更に実行するものである、
ことを特徴とする請求項1に記載の仮想化環境管理システム。
The arithmetic unit is:
If the number of containers arranged on at least one of the hardwares is smaller than a predetermined reference, a process of moving another hardware container to the predetermined hardware among the plurality of hardwares is further executed. Is,
The virtual environment management system according to claim 1.
前記演算装置は、
前記過不足に応じて、前記ハードウェアでの当該システム向けのコンテナ数を増加させる必要があり、前記ハードウェアに配置しきれない未配置コンテナが生じる場合、所定の外部サーバに構築したコンテナ型仮想化環境に、前記未配置コンテナを配置する処理を更に実行するものである、
ことを特徴とする請求項1に記載の仮想化環境管理システム。
The arithmetic unit is:
In response to the excess or deficiency, it is necessary to increase the number of containers for the system in the hardware, and when there is an unallocated container that cannot be allocated in the hardware, a container-type virtual constructed in a predetermined external server Further executing the process of placing the unplaced container in the computer environment.
The virtual environment management system according to claim 1.
前記演算装置は、
前記未配置コンテナを前記外部サーバのコンテナ型仮想化環境に配置するに際し、予め定めたシステムごとの外部サーバへのコンテナ移行可否の基準に基づき、前記未配置コンテナに対応したシステムの移行要否を判定し、当該未配置コンテナの移行不可であった場合に、前記基準において移行可能な他システムの所定コンテナを前記外部サーバのコンテナ型仮想化環境に移行させ、当該移行させた前記所定コンテナが元々配置されていたハードウェアに、前記未配置コンテナを移行させる処理を更に実行するものである、
ことを特徴とする請求項6に記載の仮想化環境管理システム。
The arithmetic unit is:
When placing the unplaced container in the container-type virtual environment of the external server, whether or not the system corresponding to the unplaced container needs to be migrated is determined based on a predetermined standard for whether or not to migrate the container to the external server for each system. If it is determined that the unallocated container cannot be migrated, the predetermined container of another system that can be migrated in the standard is migrated to the container-type virtualization environment of the external server, and the migrated predetermined container is originally The process of migrating the unplaced container to the placed hardware is further executed.
The virtual environment management system according to claim 6.
前記演算装置は、
前記コンテナ数を増減させるに際し、当該システムにおける処理の繁閑時期に関する所定の予測情報に基づき、前記コンテナ数の過不足の状態が所定期間継続することが特定できる場合に、前記コンテナ数の増減を実行するものである、
ことを特徴とする請求項1に記載の仮想化環境管理システム。
The arithmetic unit is:
When the number of containers is increased or decreased, the number of containers is increased or decreased when it is possible to specify that the state of excess or deficiency in the number of containers continues for a predetermined period based on predetermined prediction information regarding the busy season of processing in the system. To do,
The virtual environment management system according to claim 1.
情報処理システムが、
コンテナ型仮想化環境においてコンテナにより仮想化された各システムの稼働状況を監視し、当該稼働状況と予め特定されている単位コンテナ当たりの処理性能とに基づき、当該システムに必要なコンテナ数を特定し、当該特定したコンテナ数と当該システム向けの現コンテナ数との過不足に応じて、当該コンテナ型仮想化環境を成すハードウェアでの当該システム向けのコンテナ数を増減させる、
ことを特徴とする仮想化環境管理方法。
Information processing system
Monitor the operating status of each system virtualized by a container in a container-type virtualization environment, and specify the number of containers required for the system based on the operating status and the processing performance per unit container specified in advance. , Increase or decrease the number of containers for the system in the hardware that constitutes the container-type virtualization environment according to the excess or deficiency of the specified number of containers and the current number of containers for the system,
A virtual environment management method characterized by the above.
前記情報処理システムが、
前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より少ない場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて低減する、
ことを特徴とする請求項9に記載の仮想化環境管理方法。
The information processing system is
When increasing or decreasing the number of containers, if there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is less than the current number of containers, the container for the system arranged in the hardware, Reduce according to the value of the difference,
The virtual environment management method according to claim 9.
前記情報処理システムが、
前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数とに差異があり、前記特定したコンテナ数が現コンテナ数より多い場合、前記ハードウェアに配置した当該システム向けのコンテナを、前記差異の値に応じて増加させる、
ことを特徴とする請求項9に記載の仮想化環境管理方法。
The information processing system is
When increasing or decreasing the number of containers, if there is a difference between the specified number of containers and the current number of containers, and the specified number of containers is greater than the current number of containers, the container for the system arranged in the hardware, Increase according to the value of the difference,
The virtual environment management method according to claim 9.
前記情報処理システムが、
前記コンテナ数を増減させるに際し、前記特定したコンテナ数と前記現コンテナ数との差異の値を、前記ハードウェアの数から当該システムの可用性基準に応じた障害発生ハードウェア数を減算した値で除算し、当該除算により得た値だけ、前記ハードウェアでの当該システム向けのコンテナ数を増減させる、
ことを特徴とする請求項9に記載の仮想化環境管理方法。
The information processing system is
When increasing or decreasing the number of containers, the difference between the specified number of containers and the current number of containers is divided by a value obtained by subtracting the number of hardware that has failed according to the availability criteria of the system from the number of hardware. And increase or decrease the number of containers for the system in the hardware by the value obtained by the division.
The virtual environment management method according to claim 9.
前記情報処理システムが、
各ハードウェアのうち少なくともいずれか複数のハードウェアに配置したコンテナ数が所定基準より少ない場合、当該複数のハードウェアのうち所定のハードウェアに他のハードウェアのコンテナを移動させる処理を更に実行する、
ことを特徴とする請求項9に記載の仮想化環境管理方法。
The information processing system is
If the number of containers arranged on at least one of the hardwares is smaller than a predetermined reference, a process of moving another hardware container to the predetermined hardware among the plurality of hardwares is further executed. ,
The virtual environment management method according to claim 9.
前記情報処理システムが、
前記過不足に応じて、前記ハードウェアでの当該システム向けのコンテナ数を増加させる必要があり、前記ハードウェアに配置しきれない未配置コンテナが生じる場合、所定の外部サーバに構築したコンテナ型仮想化環境に、前記未配置コンテナを配置する処理を更に実行する、
ことを特徴とする請求項9に記載の仮想化環境管理方法。
The information processing system is
In response to the excess or deficiency, it is necessary to increase the number of containers for the system in the hardware, and when there is an unallocated container that cannot be allocated in the hardware, a container-type virtual constructed in a predetermined external server Further executing the process of placing the unplaced container in the computer environment.
The virtual environment management method according to claim 9.
前記情報処理システムが、
前記未配置コンテナを前記外部サーバのコンテナ型仮想化環境に配置するに際し、予め定めたシステムごとの外部サーバへのコンテナ移行可否の基準に基づき、前記未配置コンテナに対応したシステムの移行要否を判定し、当該未配置コンテナの移行不可であった場合に、前記基準において移行可能な他システムの所定コンテナを前記外部サーバのコンテナ型仮想化環境に移行させ、当該移行させた前記所定コンテナが元々配置されていたハードウェアに、前記未配置コンテナを移行させる処理を更に実行する、
ことを特徴とする請求項14に記載の仮想化環境管理方法。
The information processing system is
When placing the unplaced container in the container-type virtual environment of the external server, whether or not the system corresponding to the unplaced container needs to be migrated is determined based on a predetermined standard for whether or not to migrate the container to the external server for each system. If it is determined that the unallocated container cannot be migrated, the predetermined container of another system that can be migrated in the standard is migrated to the container-type virtualization environment of the external server, and the migrated predetermined container is originally Further executing the process of migrating the unplaced container to the placed hardware;
The virtual environment management method according to claim 14.
前記情報処理システムが、
前記コンテナ数を増減させるに際し、当該システムにおける処理の繁閑時期に関する所定の予測情報に基づき、前記コンテナ数の過不足の状態が所定期間継続することが特定できる場合に、前記コンテナ数の増減を実行する、
ことを特徴とする請求項9に記載の仮想化環境管理システム。
The information processing system is
When the number of containers is increased or decreased, the number of containers is increased or decreased when it is possible to specify that the state of excess or deficiency in the number of containers continues for a predetermined period based on predetermined prediction information regarding the busy season of processing in the system. To
The virtual environment management system according to claim 9.
JP2016020873A 2016-02-05 2016-02-05 Virtualization environment management system and virtualization environment management method Pending JP2017138895A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016020873A JP2017138895A (en) 2016-02-05 2016-02-05 Virtualization environment management system and virtualization environment management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016020873A JP2017138895A (en) 2016-02-05 2016-02-05 Virtualization environment management system and virtualization environment management method

Publications (1)

Publication Number Publication Date
JP2017138895A true JP2017138895A (en) 2017-08-10

Family

ID=59565070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016020873A Pending JP2017138895A (en) 2016-02-05 2016-02-05 Virtualization environment management system and virtualization environment management method

Country Status (1)

Country Link
JP (1) JP2017138895A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117593A1 (en) * 2017-12-13 2019-06-20 주식회사 넥스클라우드 Cloud computing device and method for supporting container-based resource allocation
JP2020061032A (en) * 2018-10-11 2020-04-16 富士通株式会社 Database server management program, database server management method, and database system
US10819603B2 (en) 2018-02-05 2020-10-27 Fujitsu Limited Performance evaluation method, apparatus for performance evaluation, and non-transitory computer-readable storage medium for storing program
US10887199B2 (en) 2018-02-05 2021-01-05 Fujitsu Limited Performance adjustment method, apparatus for performance adjustment, and non-transitory computer-readable storage medium for storing program
KR20220067757A (en) * 2020-11-18 2022-05-25 (주) 글루시스 Virtualization system based on container and method for expanding resource of container in virtualization system
JP2022100620A (en) * 2020-12-24 2022-07-06 株式会社日立製作所 Information processing system and data arrangement in information processing system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117593A1 (en) * 2017-12-13 2019-06-20 주식회사 넥스클라우드 Cloud computing device and method for supporting container-based resource allocation
US10819603B2 (en) 2018-02-05 2020-10-27 Fujitsu Limited Performance evaluation method, apparatus for performance evaluation, and non-transitory computer-readable storage medium for storing program
US10887199B2 (en) 2018-02-05 2021-01-05 Fujitsu Limited Performance adjustment method, apparatus for performance adjustment, and non-transitory computer-readable storage medium for storing program
JP2020061032A (en) * 2018-10-11 2020-04-16 富士通株式会社 Database server management program, database server management method, and database system
KR20220067757A (en) * 2020-11-18 2022-05-25 (주) 글루시스 Virtualization system based on container and method for expanding resource of container in virtualization system
WO2022107932A1 (en) * 2020-11-18 2022-05-27 (주)글루시스 Container-based virtualization system and method for expanding container resources in virtualization system
KR102438916B1 (en) 2020-11-18 2022-09-01 (주)글루시스 Virtualization system based on container and method for expanding resource of container in virtualization system
JP2022100620A (en) * 2020-12-24 2022-07-06 株式会社日立製作所 Information processing system and data arrangement in information processing system
JP7247161B2 (en) 2020-12-24 2023-03-28 株式会社日立製作所 Information processing system and data arrangement method in information processing system

Similar Documents

Publication Publication Date Title
JP7138126B2 (en) Timeliness resource migration to optimize resource placement
US20220342693A1 (en) Custom placement policies for virtual machines
JP2017138895A (en) Virtualization environment management system and virtualization environment management method
EP2701064B1 (en) Robust tenant placement and migration in database-as-a-service environments
JP6190389B2 (en) Method and system for performing computations in a distributed computing environment
US9176762B2 (en) Hierarchical thresholds-based virtual machine configuration
US9164791B2 (en) Hierarchical thresholds-based virtual machine configuration
US10649811B2 (en) Sunder management for a cluster of disperse nodes
US10705873B2 (en) Predictive virtual server scheduling and optimization of dynamic consumable resources to achieve priority-based workload performance objectives
US20190317824A1 (en) Deployment of services across clusters of nodes
US9507676B2 (en) Cluster creation and management for workload recovery
US10616134B1 (en) Prioritizing resource hosts for resource placement
US20130185531A1 (en) Method and apparatus to improve efficiency in the use of high performance storage resources in data center
US11418583B2 (en) Transaction process management by dynamic transaction aggregation
US11863675B2 (en) Data flow control in distributed computing systems
US11500663B1 (en) Predictive virtual machine launch-based capacity management
US9928092B1 (en) Resource management in a virtual machine cluster
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
US20220413902A1 (en) Partition migration with critical task prioritization
US11580082B2 (en) Object storage system with control entity quota usage mapping
US11204717B2 (en) Object storage system with access control quota status check
US11121981B1 (en) Optimistically granting permission to host computing resources
US10721181B1 (en) Network locality-based throttling for automated resource migration
US11381468B1 (en) Identifying correlated resource behaviors for resource allocation
US11157205B2 (en) Object storage system with control entity quota enforcement