JP2012053899A - Operation management device and information processing system - Google Patents
Operation management device and information processing system Download PDFInfo
- Publication number
- JP2012053899A JP2012053899A JP2011234898A JP2011234898A JP2012053899A JP 2012053899 A JP2012053899 A JP 2012053899A JP 2011234898 A JP2011234898 A JP 2011234898A JP 2011234898 A JP2011234898 A JP 2011234898A JP 2012053899 A JP2012053899 A JP 2012053899A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- server
- state
- server group
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Power Sources (AREA)
Abstract
Description
本発明は、運用管理装置および情報処理システムに関する。 The present invention relates to an operation management apparatus and an information processing system.
地球温暖化と言う問題が、昨今聞かれる。地球温暖化対策の一つとしては電力需要を減らすことがある。電力は一般的に水力発電、太陽光発電、風力発電、地熱発電などの自然由来の発電や、原子力を使う原子力発電や、ガス、石油、石炭などを燃料として燃やし発電を行う火力発電によって供給されている。この中でも特に火力発電は地球温暖化を進める大きな要因となっている。電力需要を減らせば火力発電の発電量も減らすことができるので、その分地球温暖化も抑止されうる。 The problem of global warming has been heard recently. One measure against global warming is to reduce demand for electricity. Electricity is generally supplied by hydropower, solar power, wind power, geothermal power, and other natural power generation, nuclear power generation using nuclear power, and thermal power generation that uses gas, oil, coal, etc. as fuel to generate power. ing. Of these, thermal power generation is a major factor in promoting global warming. Decreasing power demand can reduce the amount of thermal power generation, so global warming can be suppressed accordingly.
IT(Information Technology)やICT(Information and Communication Technology)の分野でも、コンピュータやネットワーク機器、データセンタ機器が消費する電力を低減する必要性が指摘され始めている。 In the fields of IT (Information Technology) and ICT (Information and Communication Technology), the necessity of reducing the power consumed by computers, network devices, and data center devices has begun to be pointed out.
近年のインターネットの普及により、多くのデータセンタは、ネットワーク接続型の形態を有しており、インターネットなどの外部のネットワークからの仕事要求を受けて処理を行う。これらのデータセンタのなかには、一度に多くのアクセスを処理するために複数の並列に配置されたサーバを備える構成を採用したものがある(特許文献1参照)。 With the spread of the Internet in recent years, many data centers have a network connection type, and perform processing in response to a job request from an external network such as the Internet. Some of these data centers employ a configuration including a plurality of servers arranged in parallel in order to process many accesses at once (see Patent Document 1).
このようなデータセンタを管理する運用管理システムとしては、株式会社野村総合研究所が提供する千手(登録商標)や株式会社日立製作所が提供するOpenTP1001(登録商標)や富士通株式会社が提供するシステムウォーカーがある。
また、ネットワーク接続装置の消費電力低減装置が知られている(特許文献2参照)。
As an operation management system for managing such a data center, Sente (registered trademark) provided by Nomura Research Institute, Ltd., OpenTP1001 (registered trademark) provided by Hitachi, Ltd., and a system provided by Fujitsu Ltd. There is a walker.
Further, a power consumption reduction device for a network connection device is known (see Patent Document 2).
現行の運用管理システムはロードバランサを備え、アクセス数が少ない場合でも個々のサーバに要求を分散させる。そのようなロードバランサには、それに接続されているサーバに均等にアクセスを分配するものが多い。この場合、各サーバの処理能力や省エネの度合いは無視された形でアクセスが分配されうる。 The current operation management system has a load balancer and distributes requests to individual servers even when the number of accesses is small. Many such load balancers distribute access evenly to the servers connected to it. In this case, access can be distributed in a manner that ignores the processing capacity and the degree of energy saving of each server.
サーバの特性について、製造年月日や機器の種類やメーカや装備(メモリ、ディスク)や電源ユニットなどの違いにより、処理能力や省エネの度合いはサーバごとに異なる場合が多い。例えば、同じWEB(World Wide Web)サーバで同じプロセスを走らせた場合でも、メーカが異なればそのプロセスで消費される電力は異なりうる。したがって、現行の運用管理システムにおけるアクセスの分配の方法は、省エネ化の観点からは必ずしも最適な方法とは言えない。 Regarding server characteristics, the processing capacity and the degree of energy saving often differ from server to server depending on the date of manufacture, type of equipment, manufacturer, equipment (memory, disk), power supply unit, and the like. For example, even when the same process is run on the same WEB (World Wide Web) server, the power consumed by the process may differ depending on the manufacturer. Therefore, the access distribution method in the current operation management system is not necessarily the optimum method from the viewpoint of energy saving.
本発明はこうした課題に鑑みてなされたものであり、その目的は、複数の要求処理ユニットで並列的に要求を処理する際の消費電力を低減できる運用管理技術の提供にある。 The present invention has been made in view of such problems, and an object thereof is to provide an operation management technique capable of reducing power consumption when a request is processed in parallel by a plurality of request processing units.
本発明のある態様は運用管理装置に関する。この運用管理装置は、複数の要求処理ユニットがネットワークで接続されることによって構成された情報処理装置に対する要求の負荷の履歴を保持する負荷履歴保持部と、負荷履歴保持部を参照して今後発生する負荷を予測する負荷予測部と、負荷予測部によって予測された負荷が所定の第1しきい値より少ない場合、少なくともひとつの要求処理ユニットを、要求を受付可能な第1状態よりも省電力の第2状態に設定する状態設定部と、ネットワークから得られる情報から、複数の要求処理ユニットの稼動状況が示された指標を算出する指標算出部と、を備える。状態設定部は、指標算出部によって算出された指標に基づいて、第2状態に設定する要求処理ユニットを選択する。 One embodiment of the present invention relates to an operation management apparatus. This operation management device is generated in the future with reference to a load history holding unit for holding a load history of a request for an information processing device configured by connecting a plurality of request processing units via a network, and a load history holding unit. When the load predicted by the load predictor and the load predicted by the load predictor are smaller than the predetermined first threshold, at least one request processing unit is saved more power than the first state in which a request can be accepted. A state setting unit that sets the second state, and an index calculation unit that calculates an index indicating the operating status of the plurality of request processing units from information obtained from the network. The state setting unit selects a request processing unit to be set to the second state based on the index calculated by the index calculation unit.
「要求」とは、例えば情報処理装置に対する処理の要求であってもよい。
「負荷」とは、例えば要求の量を示す値であってもよい。
The “request” may be a request for processing to the information processing apparatus, for example.
The “load” may be a value indicating the amount of request, for example.
この態様によると、指標算出部によって算出された指標に基づいて、第2状態に設定する要求処理ユニットを選択できる。 According to this aspect, the request processing unit to be set to the second state can be selected based on the index calculated by the index calculation unit.
なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements, or those obtained by replacing the constituent elements and expressions of the present invention with each other between apparatuses, methods, systems, computer programs, recording media storing computer programs, and the like are also included in the present invention. It is effective as an embodiment of
本発明によれば、複数の要求処理ユニットで並列的に要求を処理する際の消費電力を低減できる。 According to the present invention, it is possible to reduce power consumption when processing requests in parallel by a plurality of request processing units.
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。 The present invention will be described below based on preferred embodiments with reference to the drawings. The same or equivalent components, members, and processes shown in the drawings are denoted by the same reference numerals, and repeated descriptions are omitted as appropriate.
実施の形態に係る運用管理装置は、複数の並列に配置されたサーバ群でユーザからのアクセスを処理している情報処理システムの管理サーバとして好適に利用される。運用管理装置は、ネットワークから情報処理システム宛に到来する要求の負荷を過去の運用実績から予測し、その予測値が少ない場合は不必要なサーバ群のOSを休眠させたり、サーバ群の電源自体をオフにする。また、サーバ群の電力特性は使用する機種等により異なる場合があるが、運用管理装置はネットワークを傍受することにより各サーバ群の電力特性を計測する。これにより例えば電力効率が悪いサーバ群からOSを休眠させたり電源をオフにしたりすることができ、情報処理システムが総合的に省エネ化される。 The operation management apparatus according to the embodiment is suitably used as a management server of an information processing system that processes access from a user with a plurality of servers arranged in parallel. The operation management apparatus predicts a load of a request coming from the network to the information processing system from past operation results, and when the predicted value is small, sleeps an unnecessary OS of the server group, or power supply itself of the server group Turn off. The power characteristics of the server group may vary depending on the model used, but the operation management apparatus measures the power characteristics of each server group by intercepting the network. As a result, for example, the OS can be put to sleep or the power can be turned off from a group of servers with low power efficiency, and the information processing system is comprehensively energy-saving.
図1は、実施の形態に係る運用管理装置1010を備える情報処理システム2を示す概略図である。情報処理システム2は、ネットワーク接続型のデータセンタであり、例えば証券会社のインターネット株取引システムを提供するデータセンタである。情報処理システム2は、運用管理装置1010と、情報処理装置1020と、ロードバランサ1030と、を備える。情報処理装置1020は、第1サーバ群1022aと、第2サーバ群1022bと、第3サーバ群1022cと、第4サーバ群1022dと、第5サーバ群1022eと、を含む。第1サーバ群1022aは、第1フロントエンドサーバ1024aと、第1アプリケーションサーバ1026aと、第1データベースサーバ1028aと、を含む。第2サーバ群1022b、第3サーバ群1022c、第4サーバ群1022d、および第5サーバ群1022eは、それぞれ第1サーバ群1022aと同等の構成を有する。
FIG. 1 is a schematic diagram showing an
以下、第1サーバ群1022a、第2サーバ群1022b、第3サーバ群1022c、第4サーバ群1022d、第5サーバ群1022e、はサーバ群1022と総称される場合がある。また、第1フロントエンドサーバ1024a、第2フロントエンドサーバ1024b、第3フロントエンドサーバ1024c、第4フロントエンドサーバ1024d、第5フロントエンドサーバ1024e、はフロントエンドサーバ1024と総称される場合がある。また、第1アプリケーションサーバ1026a、第2アプリケーションサーバ1026b、第3アプリケーションサーバ1026c、第4アプリケーションサーバ1026d、第5アプリケーションサーバ1026e、はアプリケーションサーバ1026と総称される場合がある。また、第1データベースサーバ1028a、第2データベースサーバ1028b、第3データベースサーバ1028c、第4データベースサーバ1028d、第5データベースサーバ1028e、はデータベースサーバと総称される場合がある。
Hereinafter, the
情報処理システム2は、外部ネットワーク1004と接続され同じく外部ネットワーク1004に接続されている少なくともひとつのユーザ端末1006から要求を受ける。ここで要求とは、例えばユーザ端末1006からのアクセスである。アクセスとは、ユーザ端末1006と情報処理システム2のひとつのサーバ群1022とが接続を確立して一連の情報をやりとりすることである。異なるユーザ端末からのアクセスは異なるアクセスであり、同じユーザ端末1006からでも異なるアクセスがなされうる。
外部ネットワーク1004は、例えばLAN(Local Area Network)・WAN(Wide Area Network)・インターネットである。ユーザ端末1006は、ユーザが使用するコンピュータであり、例えば有線で外部ネットワーク1004に接続された家庭用デスクトップコンピュータや、無線で外部ネットワーク1004に接続されたラップトップコンピュータである。
The
The
ロードバランサ1030は、外部ネットワーク1004と接続され、また情報処理装置1020に含まれる個々のサーバ群1022と内部ネットワーク3を介して接続される。ロードバランサ1030は、データの流れの観点からは情報処理装置1020と外部ネットワーク1004との間に位置し、外部ネットワーク1004からの情報処理装置1020に対するアクセスを仲介する。
ロードバランサ1030はさらに、情報処理装置1020に含まれる複数のサーバ群1022のうちアクセスを受付可能な状態(以下、稼動状態と称する)に設定されたサーバ群に、ユーザからのアクセスを割り当てる。なお、サーバ群1022の状態として、稼動状態と省電力状態とが基本的に規定される。
The
The
運用管理装置1010は、情報処理装置1020およびロードバランサ1030を管理する管理サーバである。運用管理装置1010は以下で説明する負荷予測機能などの他に、例えば株式会社野村総合研究所が提供する先手(登録商標)と同様のサーバ運用管理のための機能を搭載する。
The
運用管理装置1010は、外部ネットワーク1004、ロードバランサ1030、内部ネットワーク3、のそれぞれを通過するパケットを傍受する。また運用管理装置1010は、各サーバ群1022の内部でやりとりされるパケットも傍受する。これは例えば、フロントエンドサーバ1024とアプリケーションサーバ1026とを接続するサブネットや、アプリケーションサーバ1026とデータベースサーバ1028とを接続するサブネットに解析装置100が接続されることによって実現される。内部ネットワーク3は、各サーバ群1022のサーバを相互接続するこれらのサブネットを含む。
「傍受する」ことは、傍受対象のパケットを消滅させることなくその内容を取得することであってもよく、例えばパケットをそれに含まれる終点IPアドレスによらずに取得することであってもよい。
運用管理装置1010は、傍受したパケットの内容を蓄積し、IPアドレスでソートすることで各IPアドレスに対応するサーバやロードバランサ1030における仕事の内訳を導出する。
The
“Intercepting” may be acquiring the contents of the packet to be intercepted without annihilating it, for example, acquiring the packet regardless of the destination IP address included in the packet.
The
運用管理装置1010は、例えば各サーバに電力を供給するバスバー方式のテーブルタップ型のPDUから、各サーバに供給された電力の計測値を取得し蓄積する。運用管理装置1010は、蓄積された電力の計測値および上記の仕事の内訳から、サーバ群1022の稼働状況が示された指標、例えばサーバ群1022における単位有効仕事量あたりの消費電力を算出する。
The
運用管理装置1010は、外部ネットワーク1004から情報処理装置1020へのアクセスによる負荷を算出し記録する一方、過去に要求された負荷をもとに今後発生する負荷を予測する。運用管理装置1010は、その予測された負荷が所定の値より少なくなると、算出されたサーバ群1022の稼働状況が示された指標に基づいて、稼動状態にあるサーバ群のうちアクセスの処理に不要なサーバ群を選択し、選択されたサーバ群を稼動状態よりも省電力の省電力状態に設定する。
The
ここで負荷とは、例えばサーバ群1022が行う仕事の量を表す値であり、単位時間当たりのアクセスの数を基に定められる。例えば負荷は、単位時間当たりのアクセスの数と比例関係などの数学的関係を有する値であってもよい。また、負荷は単位時間当たりのアクセスの数に上限値または下限値若しくはその両方を課した値であってもよい。以下では、負荷が単に単位時間当たりのアクセスの数(以下、アクセス数と称す)である場合について説明する。
なお、負荷が所定の値以上の場合は運用管理装置1010は全てのサーバ群1022を稼動状態に設定する。
Here, the load is a value representing the amount of work performed by the server group 1022, for example, and is determined based on the number of accesses per unit time. For example, the load may be a value having a mathematical relationship such as a proportional relationship with the number of accesses per unit time. The load may be a value obtained by imposing an upper limit value, a lower limit value, or both on the number of accesses per unit time. Hereinafter, a case where the load is simply the number of accesses per unit time (hereinafter referred to as the number of accesses) will be described.
If the load is equal to or greater than a predetermined value, the
情報処理装置1020は、外部ネットワーク1004からのアクセスを処理する。情報処理装置1020は、複数のサーバ群1022を含み、そのそれぞれのサーバ群1022はアクセスの処理単位である要求処理ユニットとして機能する。
本実施の形態では、TCP(Transmission Control Protocol)/IP(Internet Protocol)プロトコルにしたがった通信が行われる場合を考える。
The
In the present embodiment, a case is considered in which communication is performed according to the TCP (Transmission Control Protocol) / IP (Internet Protocol) protocol.
サーバ群1022はいわゆる3階層のサーバ群であり、これら1セットでアクセスの処理単位を構成する。フロントエンドサーバ1024は、WEBサーバとも呼ばれ、HTTP(HyperText Transfer Protocol)に則り、ユーザ端末1006のWEBブラウザに対して、HTML(HyperText Markup Language)や画像などのオブジェクトの表示を提供するサービスが動作するサーバコンピュータである。アプリケーションサーバ1026は、フロントエンドサーバ1024からジャバサーブレット(Java Servlet、ジャバは登録商標)の処理などのアプリケーションに関する機能を切り出して実現するサーバコンピュータである。データベースサーバ1028は、アプリケーションサーバ1026のアプリケーションが使用するデータが格納されるサーバコンピュータである。フロントエンドサーバ1024、アプリケーションサーバ1026、およびデータベースサーバ1028は、公知の情報処理技術を使用して実現される。本実施の形態では、フロントエンドサーバ1024とアプリケーションサーバ1026とデータベースサーバ1028とは別個のサーバであり、この順に直列に接続されている。
The server group 1022 is a so-called three-level server group, and one set of these constitutes an access processing unit. The front-end server 1024 is also called a WEB server, and a service that provides display of objects such as HTML (HyperText Markup Language) and images to the WEB browser of the
サーバ群1022のフロントエンドサーバ1024は内部ネットワーク3を介して運用管理装置1010およびロードバランサ1030と接続される。各サーバ群1022は運用管理装置1010によって管理されている。
The front end server 1024 of the server group 1022 is connected to the
なお、個々のサーバ群1022に含まれるサーバは個々にもしくは全体としてOSに管理されている。個々のサーバ群の稼動状態は、ユーザからのアクセスを即時処理可能な状態である。この状態は、サーバ群1022がユーザからのアクセスを処理しつつ新たなアクセスを処理可能である状態と、ユーザからのアクセスがなく仕事が発生していないアイドル状態と、を含む。稼動状態では、たとえアイドル状態であっても少なくとも基本OS機能とネットワークモニタリングのタスクは稼動しており、その分電力を消費する。本発明者の当業者としての経験から、このアイドル状態での消費電力は、サーバ機器の種類によってピークアクセス数での稼動時のおよそ30%から70%の範囲にある。特に、最新のブレードサーバでは、その高密度な回路構成と狭いスペースに多くの半導体素子が設置されている都合上、アイドル状態でも消費電力は大きくなる。一部のブレードサーバではアイドル状態においてピークアクセス数での稼動時の70%もの電力を消費しているものも存在する。また、標準的なサーバ機器を用いる場合は60%程度である。ここでピークアクセス数とは、サーバ群1022がその処理速度を落とさずに稼動できるアクセス数の範囲の上限値であり、サーバ群1022ごとにその仕様を基に予め定められている。ここで処理速度とは、サーバ群1022におけるユーザからのアクセスの処理速度である。 The servers included in each server group 1022 are managed by the OS individually or as a whole. The operating state of each server group is a state in which access from a user can be processed immediately. This state includes a state in which the server group 1022 can process a new access while processing an access from the user, and an idle state in which there is no access from the user and no work is generated. In the operating state, even in the idle state, at least the basic OS function and the network monitoring task are operating, and power is consumed accordingly. From the experience of the present inventor as a person skilled in the art, the power consumption in the idle state is in the range of approximately 30% to 70% during operation at the peak access number depending on the type of server device. In particular, the latest blade server consumes a large amount of power even in an idle state because of its high-density circuit configuration and many semiconductor elements installed in a narrow space. Some blade servers consume 70% of electric power during operation at the peak number of accesses in an idle state. When standard server equipment is used, it is about 60%. Here, the peak number of accesses is an upper limit value of the range of the number of accesses that the server group 1022 can operate without reducing its processing speed, and is predetermined for each server group 1022 based on its specifications. Here, the processing speed is a processing speed of access from the user in the server group 1022.
個々のサーバ群1022の省電力状態は、ユーザからのアクセスを即時処理できない状態である。この状態は、サーバ群1022へ電源は供給されているがそのサーバ群1022はユーザからのアクセスを処理できないOS休眠状態を含む。サーバ群1022は運用管理装置1010から休眠導入信号を受信するとOS休眠状態となる。このOS休眠状態では、サーバ群1022のOSは休眠(ハイボネート)しており、ユーザからのアクセスがあってもそれを受け付けない。OS休眠状態にあるサーバ群1022は運用管理装置1010から休眠解除信号を受信すると、稼動状態に復帰する。OS休眠状態から稼動状態に復帰するためには通常数秒から数十秒かかる。また本発明者の当業者としての経験から、OS休眠状態におけるサーバ群1022の消費電力は、ピークアクセス数での稼働時のおよそ5%から10%である。
The power saving state of each server group 1022 is a state where access from a user cannot be processed immediately. This state includes an OS sleep state in which power is supplied to the server group 1022 but the server group 1022 cannot process access from the user. When the server group 1022 receives the sleep introduction signal from the
サーバ群1022の省電力状態はさらに、サーバ群1022への電源が遮断されている電源オフ状態を含む。サーバ群1022は運用管理装置1010から電源オフ信号を受信すると電源オフ状態となる。サーバ群1022は運用管理装置1010からWOL(Wake Up on LAN)信号などの電源オン信号を受信すると、稼動状態に復帰する。電源オフ状態から稼動状態に復帰するためには通常数分かかる。
本実施の形態ではサーバ群1022が省電力状態から稼動状態に復帰するためにかかる時間(以下、オーバヘッドと称す)と、省電力状態で低減される消費電力とのかねあいで、省電力状態とされるサーバ群の数が決定される。つまり、現在のアクセス数を処理するのに必要なぎりぎりの数のサーバ群だけを稼動状態としていると、突然のアクセス数の増大に対して対処できなくなる可能性がある。一方で稼動状態のサーバ群の数が多いほど待機電力由来の消費電力も大きくなる。そこでそれらの影響が拮抗するように、省電力状態とされるサーバ群の数が決定される。
The power saving state of the server group 1022 further includes a power off state in which power to the server group 1022 is cut off. When the server group 1022 receives a power-off signal from the
In the present embodiment, the server group 1022 is set in the power saving state in consideration of the time taken for the server group 1022 to return from the power saving state to the operating state (hereinafter referred to as overhead) and the power consumption reduced in the power saving state. The number of server groups to be determined is determined. In other words, if only the server group as many as necessary to process the current number of accesses is operating, there is a possibility that a sudden increase in the number of accesses cannot be handled. On the other hand, the power consumption derived from standby power increases as the number of active server groups increases. Therefore, the number of server groups to be placed in the power saving state is determined so that their influences are antagonized.
図2は、図1におけるアクセスの流れを説明するための説明図である。以下、1回のアクセスにおいて、少なくともひとつのパケットがユーザ端末1006とアクセスが割り当てられたサーバ群との間でやりとりされる場合について説明する。このパケットは、送信元のIPアドレスである始点IPアドレスと、受信先のIPアドレスである終点IPアドレスと、シーケンス番号と、ポート番号と、タイムスタンプと、を含む。多くの場合において一回のアクセスにつき複数個のパケットがユーザ端末1006とサーバ群との間を行き来する。図2では第3サーバ群1022cがアクセスに割り当てられたとする。ユーザ端末1006のIPアドレスを「175.34.11.21」、ロードバランサ1030のIPアドレスを「100.10.10.10」、第3サーバ群1022cに含まれる第3フロントエンドサーバ1024cのIPアドレスを「121.21.15.3」とする。
FIG. 2 is an explanatory diagram for explaining the flow of access in FIG. Hereinafter, a case where at least one packet is exchanged between the
ロードバランサ1030は、ユーザ端末1006に対して仮想サーバとして働く。つまり、外部ネットワーク1004では、ユーザが情報処理装置1020が有する情報資源にアクセスしようとする場合、かかる情報資源のURL(Uniform Resource Locator)がロードバランサ1030のIPアドレス「100.10.10.10」に名前解決されるよう設定されている。
The
まずユーザは、ユーザ端末1006のウェブブラウザに対して情報処理装置1020が有する情報資源のURLを指定する。ユーザ端末1006のウェブブラウザによって始点IPアドレスを「175.34.11.21」、終点IPアドレスを「100.10.10.10」とした第1パケットP1が生成され、外部ネットワーク1004に送られる。ロードバランサ1030は第1パケットP1を受信し、稼動状態にあるサーバ群のなかから第3サーバ群1022cを選択してこのアクセスを割り当てる。ロードバランサ1030は、第1パケットP1の始点IPアドレスはそのままにして終点IPアドレスを「121.21.15.3」とした第2パケットP2を内部ネットワーク3に送出する。第3サーバ群1022cの第3フロントエンドサーバ1024cは自己宛の第2パケットP2を受信し、第2パケットP2のポート番号やそのパケットに搭載されるデータに基づき処理を行う。その処理の結果ユーザ端末1006へ戻すべき情報は、始点IPアドレスを「121.21.15.3」、終点IPアドレスを「175.34.11.21」とした第3パケットP3に含められ、第3フロントエンドサーバ1024cから内部ネットワーク3に送出される。ロードバランサ1030は第3パケットP3を受信する。ロードバランサ1030は、第3パケットP3の終点IPアドレスはそのままにして始点IPアドレスを「100.10.10.10」とした第4パケットP4を外部ネットワーク1004に送る。ユーザ端末1006は自己宛の第4パケットP4を外部ネットワーク1004から受信する。
以下、ユーザ端末1006からロードバランサ1030に送られるパケット(第1パケットP1)を総称して行きパケット、ロードバランサ1030から情報処理装置1020へ送られるパケット(第2パケットP2)を総称して割当パケットという。
First, the user specifies the URL of the information resource that the
Hereinafter, the packet (first packet P1) sent from the
図3は、ロードバランサ1030の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPU(central processing unit)をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
FIG. 3 is a block diagram showing the function and configuration of the
ロードバランサ1030は、第1サーバ群状態保持部1322と、接続保持部1324と、要求取得部1034と、要求割当部1036と、を備える。
第1サーバ群状態保持部1322は、現在設定されているであろうサーバ群1022の状態を記憶するテーブルである。第1サーバ群状態保持部1322の詳細は後述する。
The
The first server group
接続保持部1324は、同一アクセス内のパケットは同じサーバ群へ送られること(以下、アクセスの同一性と称す)を保証するためのテーブルである。図4は、接続保持部1324を示すデータ構造図である。接続保持部1324には、後述する接続更新部1368によってアクセスに対応するエントリ1118が生成される。一回のアクセスに対してひとつのエントリが対応する。接続保持部1324のエントリ1118は、アクセスしてきたユーザ端末1006のIPアドレスであるユーザ端末IPアドレス1210と、ロードバランサ1030のIPアドレスであるロードバランサIPアドレス1212と、ロードバランサ1030によってそのアクセスに割り当てられたサーバ群のフロントエンドサーバのIPアドレスである割当サーバ群IPアドレス1214と、ユーザ端末1006が同一の場合にアクセスの異同を判別するためのシーケンス番号1216と、を有する。同一ユーザ端末において、異なるアクセスには異なるシーケンス番号が割り振られる。以下、サーバ群のフロントエンドサーバのIPアドレスを単にサーバ群のIPアドレスと称す。
The
図3に戻る。要求取得部1034は、外部ネットワーク1004と接続される。要求取得部1034は、外部ネットワーク1004から到来するユーザ端末1006からのアクセスの行きパケットを取得する。この際、要求取得部1034は行きパケットに含まれる終点IPアドレスを基に自己宛のパケットであるか否かを判別する。要求取得部1034は、取得した行きパケットを要求割当部1036に渡す。
Returning to FIG. The
なお、本明細書において「渡す」とは、ある機能ブロックからある機能ブロックに情報要素に対する処理が移ることを意味する。要求取得部1034と要求割当部1036との間で言うと、渡すとは、例えば要求取得部1034が図示しない一時メモリを有し、取得した行きパケットをそこに蓄えた上で、要求割当部1036からの要請に応じて適宜行きパケットを一時メモリから要求割当部1036に伝達することである。また渡すとは、第1記憶装置1032が図示しない記憶領域を有し、要求取得部1034は取得した行きパケットをその記憶領域に書き込み、要求割当部1036は適宜その記憶領域から必要な行きパケットを読み出して処理することであってもよい。
In this specification, “pass” means that processing for an information element is transferred from a certain functional block to a certain functional block. Speaking between the
要求割当部1036は、ユーザ端末1006からのアクセスの行きパケットを稼動状態にあるサーバ群のうちのひとつに割り当てる。特に傾斜配分モードでは、ユーザ端末1006からのアクセスが新規のアクセスである場合、要求割当部1036は運用管理装置1010から取得する指標に基づいて、その新規のアクセスをサーバ群のうちのひとつに割り当てる。要求割当部1036は、同一接続判断部1362と、サーバ群選択部1364と、アドレス変換部1366と、接続更新部1368と、を含む。
The
同一接続判断部1362は、要求取得部1034から行きパケットを取得し、その行きパケットが新規のアクセスによるものか否かを判別する。同一接続判断部1362は、取得した行きパケットの始点IPアドレスとシーケンス番号とを読み取る。同一接続判断部1362は、読み取られた始点IPアドレスとシーケンス番号とをキーとして接続保持部1324のエントリを検索し、それらと一致するエントリが存在する場合、そのエントリに含まれる割り当てられたサーバ群の割当サーバ群IPアドレスを取得する。同一接続判断部1362は、この取得された割当サーバ群IPアドレスと行きパケットとをアドレス変換部1366に渡す。
The same
なお、このように一致するエントリが存在する場合は、当該行きパケットは既にあるサーバ群1022(エントリの割当サーバ群IPアドレスで指定されるサーバ群1022)に割り当てられたアクセスのなかのひとつのパケットである。アドレス変換部1366は、渡された行きパケットの終点IPアドレスを、同一接続判断部1362によって接続保持部1324から取得された割当サーバ群IPアドレスに変換する。このように終点IPアドレスが変換された行きパケットはアドレス変換部1366から割当パケットとして内部ネットワーク3に送出される。
If there is such a matching entry, the outgoing packet is one packet in the access assigned to the existing server group 1022 (the server group 1022 specified by the assigned server group IP address of the entry). It is. The
一致するエントリが存在しない場合は、同一接続判断部1362は当該行きパケットをサーバ群選択部1364に渡す。この場合は同一接続判断部1362は新規のアクセスを検知したと言うことができる。
If there is no matching entry, the identical
サーバ群選択部1364は、同一接続判断部1362から新規のアクセスに対応する行きパケットを受け取ると、第1サーバ群状態保持部1322を参照してそのアクセスを処理させるサーバ群1022を選択する。第1サーバ群状態保持部1322は、運用管理装置1010におけるアクセス数の予測および算出される指標に基づき運用管理装置1010によって更新される。
When the server
図5は、第1サーバ群状態保持部1322を示すデータ構造図である。第1サーバ群状態保持部1322は、サーバ群1022のIPアドレス1202と、サーバ群1022の状態1204と、サーバ群1022の稼働率1206と、サーバ群1022の電力コスト1207と、を対応付けて保持する。
FIG. 5 is a data structure diagram showing the first server group
サーバ群1022の稼働率1206は、サーバ群1022のピークアクセス数に対する現在そのサーバ群1022が処理しているアクセス数の割合を%単位で示す。この稼働率は、図示されない稼働率更新部によって、予め定められているサーバ群1022のピークアクセス数と、接続保持部1324から分かるサーバ群1022に現在割り当てられているアクセス数とから演算され更新されてもよい。あるいは、図示されない稼働率更新部が稼動状態にあるサーバ群1022から稼働率を取得し、第1サーバ群状態保持部1322の稼働率を更新してもよい。あるいはまた、第1サーバ群状態保持部1322の稼働率は運用管理装置1010によって更新されてもよい。
The
サーバ群1022の電力コスト1207は、WEB通信用の単位仕事量に対する消費電力を表す。単位仕事量は、例えば単位データ量であってもよく、1つのアクセスであってもよい。サーバ群1022の電力コストがWEB通信用の単位データ量に対する消費電力を表す場合、この電力コストが1(W/GB)であることは、WEBサーバにおいて1GB分のWEB通信用のデータを処理するのに1W消費することを示す。WEB通信用のデータ量をWEBサーバに対する負荷と考えると、電力コストは、各WEBサーバにおいて同じ負荷(単位データ量)がかけられた場合にそのWEBサーバで消費される電力を示す。
第1サーバ群状態保持部1322の電力コストの値は、運用管理装置1010によって更新される。
A
The value of the power cost of the first server group
図3に戻る。サーバ群選択部1364は、第1サーバ群状態保持部1322に登録されたサーバ群のなかからサーバ群の状態を参照して稼動状態にあるサーバ群を抽出する。要求割当部1036が省電力モードに設定されているか通常モードに設定されているか傾斜配分モードに設定されているかによって、サーバ群選択部1364が稼動状態にあるサーバ群から新規のアクセスを処理させるサーバ群を選択するアルゴリズムは異なる。以下それぞれの場合について説明する。
Returning to FIG. The server
1.省電力モード
省電力モードでは、サーバ群選択部1364は、稼動状態にあるサーバ群の稼働率が100%となるように、稼動状態にあるサーバ群から新規のアクセスを処理させるサーバ群を選択する。例えば図5の例では、サーバ群選択部1364は新規のアクセスを処理させるサーバ群として第3サーバ群1022cを選択する。また、例えば第1サーバ群1022a、第2サーバ群1022b、第3サーバ群1022cが稼動状態に設定されており、第1サーバ群1022aの稼働率が100%、第2サーバ群1022bの稼働率が80%、第3サーバ群1022cの稼働率が0%の場合、サーバ群選択部1364は新規のアクセスを処理させるサーバ群として第2サーバ群1022bを選択する。
1. Power Saving Mode In the power saving mode, the server
2.通常モード
通常モードでは、サーバ群選択部1364は、予め情報処理システム2の管理者によって設定されている負荷分散アルゴリズムにしたがって、新規のアクセスを処理させるのに最適なサーバ群を選択する。ここで使用される負荷分散アルゴリズムは、順番にサーバ群1022が選択されるラウンドロビン方式や、処理しているアクセス数が最小のサーバ群を選択する最小接続方式や、1番早く応答しているサーバ群を選択する最速方式などの公知のアルゴリズムである。
2. Normal Mode In the normal mode, the server
3.傾斜配分モード
傾斜配分モードでは、サーバ群選択部1364は、第1サーバ群状態保持部1322を参照し、稼動状態にあるサーバ群から、新規のアクセスを処理させるサーバ群として電力コストが小さいサーバ群を優先的に選択する。
3. Inclined distribution mode In the inclined distribution mode, the server
サーバ群選択部1364は、は、選択されたサーバ群のIPアドレスと新規のアクセスに対応する行きパケットとをアドレス変換部1366に渡す。アドレス変換部1366は、渡された行きパケットの終点IPアドレスを、サーバ群選択部1364によって選択されたサーバ群のIPアドレスに変換する。このように終点IPアドレスが変換された行きパケットはアドレス変換部1366から割当パケットとして内部ネットワーク3に送出される。
The server
接続更新部1368は、サーバ群選択部1364で新規のアクセスに対してサーバ群1022の選択が行われる毎に、その選択に関する情報をサーバ群選択部1364から取得し、接続保持部1324に対応するエントリを追加する。この選択に関する情報は、新規のアクセスを行ったユーザのユーザ端末1006のユーザ端末IPアドレスと、ロードバランサIPアドレスと、新規のアクセスに対して選択されたサーバ群の割当サーバ群IPアドレスと、シーケンス番号と、を含む。
また、接続更新部1368は、適宜不要となったエントリを削除する。
Each time the server
Also, the
図6は、運用管理装置1010の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのCPU(central processing unit)をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
FIG. 6 is a block diagram showing the function and configuration of the
運用管理装置1010は、指標算出部100と、指標送信部154と、表示制御部120と、負荷履歴保持部1112と、第2サーバ群状態保持部1114と、学習部1130と、状態設定部1140と、乖離判定部1150と、オーバライド部1160と、を備える。
The
指標算出部100は、外部ネットワーク1004、ロードバランサ1030および内部ネットワーク3から得られる情報から、複数のサーバ群1022の稼動状況が示された指標を算出する。
指標算出部100は、ネットワークインタフェース部102と、通信情報保持部104と、分類部132と、集計部130と、第1指標保持部108と、係数保持部114と、第1解析部116と、使用状況取得部110と、使用状況保持部112と、第2指標保持部118と、第2解析部152と、第3指標保持部158と、を含む。
The
The
ネットワークインタフェース部102は、傍受部122と、抽出部124と、フィルタ部126と、登録部128と、を含む。
傍受部122は、外部ネットワーク1004とロードバランサ1030と内部ネットワーク3とからパケットを傍受する。抽出部124は、傍受部122によって傍受されたパケットから始点IPアドレスと終点IPアドレスとポート番号とシーケンス番号とを抽出する。
The
The intercepting
以下、ロードバランサ1030またはサーバ群1022またはサーバ群1022のサーバをノードと呼ぶ場合がある。
フィルタ部126は、フィルタ機能がオンとされるフィルタリングモードでは、抽出部124によって抽出された始点IPアドレスおよび終点IPアドレスを基に、計測対象のノードのIPアドレスが含まれたパケットのみを選択して、登録部128に出力する。より具体的にはフィルタ部126は、抽出部124によって抽出された始点IPアドレスおよび終点IPアドレスのうちの少なくとも一方が計測対象のノードのIPアドレスと一致する場合にのみ、抽出元のパケットを登録部128に出力する。
Hereinafter, the
In the filtering mode in which the filter function is turned on, the
特にフィルタ部126は、計測対象のノードを、情報処理システム2に含まれる複数のノードから順番に選択する。すなわち、フィルタ部126は、計測対象のノードのIPアドレスを、情報処理システム2に含まれる複数のノードのIPアドレスのなかで順番に切り替える。
フィルタ部126は、フィルタ機能がオフとされるフィルタリングオフモードでは、抽出部124によって始点IPアドレスと終点IPアドレスとポート番号とシーケンス番号とが抽出されたパケットを登録部128に出力する。
In particular, the
In the filtering off mode in which the filter function is turned off, the
登録部128は、フィルタ部126によって出力されたパケットについて、そのパケットに関する時刻と、抽出部124によってそのパケットから抽出された始点IPアドレスと、抽出部124によってそのパケットから抽出された終点IPアドレスと、抽出部124によってそのパケットから抽出されたポート番号に対応する通信用途と、そのパケットのデータ量と、抽出部124によってそのパケットから抽出されたシーケンス番号と、を対応付けて通信情報保持部104に登録する。
For the packet output by the
図7は、通信情報保持部104に保持されるデータの一例を示すデータ構造図である。通信情報保持部104は、時刻202と、始点IPアドレス204と、終点IPアドレス206と、通信用途208と、データ量210と、シーケンス番号211と、を対応付けて保持する。
時刻202は、パケットに関する時刻であり、例えばパケットにタイムスタンプが含まれているのであればそのタイムスタンプで示される時刻である。あるいはまた、傍受部122によってパケットが傍受された時刻であってもよい。
始点IPアドレス204および終点IPアドレス206およびシーケンス番号211はそれぞれ、抽出部124によって抽出された始点IPアドレスおよび終点IPアドレスおよびシーケンス番号である。
通信用途208は、抽出部124によって抽出されたポート番号に対応する通信用途である。
データ量210は、パケットに搭載されているデータの量をバイト(B)単位で示す。
FIG. 7 is a data structure diagram showing an example of data held in the communication
The
The start
The
The data amount 210 indicates the amount of data loaded in the packet in units of bytes (B).
図6に戻る。分類部132は、抽出部124によって抽出された始点IPアドレスおよび終点IPアドレスのうちの少なくともひとつとポート番号とによってパケットを分類する。以下では分類部132が始点IPアドレスとポート番号とによってパケットを分類する場合について説明する。しかしながら、分類部が終点IPアドレスとポート番号とによってパケットを分類する場合、および分類部が始点および終点IPアドレスとポート番号とによってパケットを分類する場合でも以下と同様の説明が成り立つことは、本明細書に触れた当業者には明らかである。
Returning to FIG. The classification unit 132 classifies the packet based on at least one of the start point IP address and the end point IP address extracted by the
分類部132は、通信情報保持部104に保持されるデータを始点IPアドレスについてソーティングする。以下、通信情報保持部104に登録されている始点IPアドレスを登録IPアドレスと称す。分類部132は、各登録IPアドレスについて通信用途によってパケットを分類する。特に分類部132は、サーバ情報保持部138を参照し、登録IPアドレスに対応するノード(以下、登録ノードと称す)に対して予め定められた通信用途である本来用途に関する情報を取得する。分類部132は、その本来用途に対応したパケットと、本来用途以外の通信用途である非本来用途に対応したパケットとに分類する。本来用途は、例えば登録ノードがWEBサーバであれば、ポート番号「80」に対応するWEB通信である。非本来用途は、例えば本来用途以外の通信用途であり、登録ノードがWEBサーバであればポート番号「20」に対応するFTP転送などである。
The classification unit 132 sorts the data held in the communication
図8は、サーバ情報保持部138に保持されるデータの一例を示すデータ構造図である。サーバ情報保持部138は、ノードのノード名214と、ノードのIPアドレス218と、ノードの用途224と、を対応付けて保持する。
分類部132は、サーバ情報保持部138を参照してあるノードの本来用途に関する情報を取得する際、そのノードの用途を参照して本来用途を取得してもよい。
FIG. 8 is a data structure diagram showing an example of data held in the server
When the classification unit 132 acquires information on the original use of a node by referring to the server
図6に戻る。集計部130は、少なくともひとつの登録ノードについて、本来用途に対応したパケットを集計する。特に集計部130は、所定の長さの期間すなわち時間帯ごとに、登録ノードの本来用途に対応したパケットのデータ量を集計し、また非本来用途に対応したパケットのデータ量を集計する。
例えば、登録IPアドレス「121.21.15.1」に対応する登録ノードについて、時間帯「02/15/10 11:10:00~11:20:00」で集計する場合について考える。図8のサーバ情報保持部138から登録ノードは第1フロントエンドサーバ1024aでありWEBサーバである。集計部130は、分類部132における分類結果から、始点IPアドレスが「121.21.15.1」であり、通信用途が「WEB通信」であり、時刻が時間帯「02/15/10 11:10:00~11:20:00」に含まれるパケットのデータ量を足し合わせて、本来用途に対する集計結果を得る。また、集計部130は、始点IPアドレスが「121.21.15.1」であり、通信用途が「WEB通信」ではなく、時刻が時間帯「02/15/10 11:10:00~11:20:00」に含まれるパケットのデータ量を足し合わせて、非本来用途に対する集計結果を得る。
Returning to FIG. The totaling
For example, consider a case where the registered nodes corresponding to the registered IP address “121.21.15.1” are counted in the time zone “02/15/10 11:10:00 to 11:20:00”. The registered node from the server
集計部130は、少なくともひとつの登録ノードについて、始点IPアドレスと終点IPアドレスとシーケンス番号とを参照して時間帯ごとのアクセスの数を算出する。集計部130は算出されたアクセスの数を時間帯の長さで除すことで、その登録ノードにおけるその時間帯でのアクセス数を算出する。
なお、集計部130は、ロードバランサ1030については、情報処理システム2の外部から情報処理装置1020全体へのアクセス数(以下、総アクセス数と称す)を算出する。つまり、集計部130は、情報処理システム2の外部の端末のIPアドレスを始点IPアドレスとし、ロードバランサ1030のIPアドレスを終点IPアドレスとするパケットを集計することで、ロードバランサ1030についての総アクセス数を算出する。
集計部130は、集計結果および算出結果を第1指標保持部108に登録する。
The totaling
For the
The
図9は、第1指標保持部108に保持されるデータの一例を示すデータ構造図である。第1指標保持部108は、登録ノードのノード名228と、登録ノードの本来用途230と、本来用途に対応するポート番号である主なポート番号232と、本来用途データ量234と、非本来用途データ量236と、集計部130で使用される所定の長さの期間すなわち時間帯に対応する計測期間238と、アクセス数239と、を対応付けて保持する。
本来用途データ量234は、登録ノードの本来用途に対応したパケットのデータ量を計測期間内で足し合わせた結果のデータ量である。
非本来用途データ量236は、登録ノードの非本来用途に対応したパケットのデータ量を計測期間内で足し合わせた結果のデータ量である。
FIG. 9 is a data structure diagram illustrating an example of data held in the first
The original use data amount 234 is a data amount obtained as a result of adding the data amount of the packet corresponding to the original use of the registered node within the measurement period.
The non-original use data amount 236 is a data amount obtained as a result of adding the data amount of the packet corresponding to the non-original use of the registered node within the measurement period.
図6に戻る。使用状況取得部110は、内部ネットワーク3を通じて所定の時間間隔もしくはリアルタイムで、情報処理システム2のノードから、そのノードの使用状況に関する情報を取得する。ノードの使用状況は、例えばノードがフロントエンドサーバ(WEBサーバ)1024やアプリケーションサーバ1026であれば消費電力(単位はW)や機器の温度(単位は℃)やCPU使用率(単位は%)であり、ノードがデータベースサーバ1028であればデータ転送量(単位はMB/秒)や消費電力や機器の温度であり、ノードがロードバランサ1030などのネットワーク機器であればデータ転送量や消費電力や機器の温度である。
Returning to FIG. The usage
使用状況取得部110は、サーバの基本OSに搭載されているシステムパフォーマンスモニタのデータを取得してもよい。
使用状況取得部110は、各ノードに電力を供給するバスバー方式のテーブルタップ型のPDUから各ノードに供給された電力の計測値を消費電力として取得してもよい。
使用状況取得部110は、ノードの温度を計測できる市販の装置(温度センサや、光ファイバ方式の温度センサ)と、その温度データを記憶して報告するデータ収集機能(市販されているソフトウエアパッケージ、またはサーバ組み込み型の特殊ハードウエアパッケージ)と、を利用して機器の温度を取得してもよい。
The usage
The usage
The usage
あるいはまた、使用状況取得部110は、米国EPAのEnergy Star for Server 2で登録し認定されるノードからは、下記の3つの報告機能を使用して消費電力と機器の温度とCPU使用率とを取得する。すなわち、米国のEPAが行っているEnergy Star for Server 2では、登録し認定される機器は、3つの報告機能をハードウエア本体のマイクロコード(ファームウエア)のレベルで提供でき、基本OSや他の計測ソフト、アプリケーションや本来のサーバの処理能力(本体のCPU・MPU(Micro Processing Unit))には、影響を与えないハードウエアの管理機能を持つこととされている。この3つの報告機能は、1)サーバの実電力消費数値、2)サーバの本体CPU・MPU等の処理用プロセッサの使用率、3)サーバの実稼動の温度、である。
Alternatively, the usage
使用状況取得部110は、取得した使用状況に関する情報と、それを取得した時刻に対応する時間帯と、取得先のノード名と、IPアドレスと、を対応付けて使用状況保持部112に登録する。使用状況取得部110が所定の時間間隔で情報を取得する場合は、時間帯は例えば取得した時刻から所定の時間間隔が経過するまでの期間に設定される。あるいはまた、使用状況取得部110がリアルタイムで情報を取得する場合は、所定の長さを有する期間を時間帯とし、使用状況に関する情報をその期間で時間平均する。
The usage
図10は、使用状況保持部112に保持されるデータの一例を示すデータ構造図である。使用状況保持部112は、使用状況取得部110によって使用状況が取得されたノードのノード名244と、IPアドレス245と、使用状況が取得された時刻に対応する記録時間帯246と、取得された消費電力248と、取得された機器温度250と、取得されたCPU使用率252と、取得されたデータ転送量253と、を対応付けて保持する。
FIG. 10 is a data structure diagram illustrating an example of data held in the usage
一般的に、WEBサーバにおいて、所定の量、例えば1kBのWEB通信用のデータを処理して送るにはどれだけのCPU使用率が必要かは測定できる。つまり、WEBサーバについて、WEB通信用のデータ量とCPU使用率との関係は事前に測定できる。係数保持部114はその関係を示す係数(例えば、%・分/GBの単位)を保持する。この係数が1である場合、例えば1GB分のWEB通信用のデータを処理して送るためにWEBサーバは1%のCUP使用率で1分間稼動しなければならないことを意味する。
Generally, in a WEB server, it is possible to measure how much CPU usage is required to process and send data for a predetermined amount, for example, 1 kB of WEB communication. That is, for the WEB server, the relationship between the data amount for WEB communication and the CPU usage rate can be measured in advance. The
図11は、係数保持部114に保持されるデータの一例を示すデータ構造図である。係数保持部114は、WEBサーバのサーバ名240と、係数242と、を対応付けて保持する。
FIG. 11 is a data structure diagram illustrating an example of data held in the
図6に戻る。第1解析部116は、第1算出部134と、第2算出部136と、第1合成部142と、を含む。
第1算出部134は、第1指標保持部108に登録される登録ノードのうちWEBサーバ(以下、登録WEBサーバと称す)について、本来用途データ量すなわちWEB通信用のデータ量を対応する計測期間の長さ、例えば分を単位とする長さ、で除し、WEB通信用の時間平均データ量(例えば、GB/分の単位)を得る。第1算出部134は、係数保持部114からその登録WEBサーバに対応する係数を取得する。第1算出部134は、その登録WEBサーバについて、WEB通信用の時間平均データ量と係数とを乗算し、乗算の結果得られる値(例えば、%の単位)を、その登録WEBサーバおよび計測期間における、WEB通信に関する処理によるCPU使用率の推測値(以下、第1推測値と称す)とする。
Returning to FIG. The
The
例えば、図9の第1指標保持部108に登録されるノード名「第1フロントエンドサーバ」に着目すると、第1算出部134は、計測期間「02/15/10 11:10:00~11:20:00」におけるWEB通信用のデータ量として「500(GB)」を得る。第1算出部134は、「500(GB)」を計測期間の長さ「10(分)」で除し、WEB通信用の時間平均データ量「50(GB/分)」を得る。第1算出部134は、図11の係数保持部114を参照し、係数「1.5(%・分/GB)」を得る。第1算出部134は、WEB通信用の時間平均データ量「50(GB/分)」と係数「1.5(%・分/GB)」とを乗算し「75(%)」を得る。第1算出部134は、この値「75(%)」をノード名「第1フロントエンドサーバ」のWEBサーバにおける計測期間「02/15/10 11:10:00~11:20:00」中のWEB通信に関する処理による第1推測値とする。
For example, when paying attention to the node name “first front-end server” registered in the first
第2算出部136は、第1算出部134における第1推測値の計算で対象とされた登録WEBサーバのサーバ名と計測期間とをキーとして使用状況保持部112を検索し、対応する消費電力と機器温度とCPU使用率とを抽出する。第2算出部136は、第1推測値を使用状況保持部112から抽出したCPU使用率から減じ、WEB通信に関する処理以外の処理によるCPU使用率の推測値(以下、第2推測値と称す)とする。
WEB通信に関する処理以外の処理は、例えば他の通信に関する処理や、ウイルスチェッカーによるウイルススキャンや、ハードディスクドライブへのデータの書き込みである。あるいはまた、アイドル状態にあってなにも仕事をしていないことも考えられる。
The
Processing other than processing related to WEB communication is, for example, processing related to other communication, virus scanning by a virus checker, and writing of data to a hard disk drive. Or, you may be idle and not working.
第2算出部136は、抽出された消費電力を第1推測値と第2推測値との比に分け、第1推測値に対応する値をWEB通信に関する処理のために使用された電力の推測値、第2推測値に対応する値をそうでない処理のために使用された電力の推測値とする。機器温度についても、機器温度と外気温との差を第1推測値と第2推測値との比に分ける点で同様である。
The
例えば、図9の第1指標保持部108に登録されるノード名「第1フロントエンドサーバ」に着目すると、第2算出部136は図10に示される使用状況保持部112から、ノード名「第1フロントエンドサーバ」と計測期間「02/15/10 11:10:00~11:20:00」とに対応する消費電力「30(W)」、機器温度「35(℃)」、CPU使用率「80(%)」を抽出する。第2算出部136は、第1推測値「75(%)」をCPU使用率「80(%)」から減じ、第2推測値「5(%)」を得る。第2算出部136は、消費電力「30(W)」を第1推測値「75(%)」と第2推測値「5(%)」との比すなわち15:1に分け、WEB通信に関する処理のために使用された電力の推測値「28(W)」とそれ以外の処理のために使用された電力の推測値「2(W)」と、を得る。
For example, focusing on the node name “first front-end server” registered in the first
第1合成部142は、時刻およびノード名をキーとして、第1指標保持部108に保持されるデータと、使用状況保持部112に保持されるデータと、第2算出部136による計算結果(登録WEBサーバについての、WEB通信処理由来の消費電力、WEB通信処理由来の上昇温度、WEB通信処理由来のCPU使用率)と、を対応付けて第2指標保持部118に登録する。
The
図12は、第2指標保持部118に保持されるデータの一例を示すデータ構造図である。第2指標保持部118は、ノード名254と、本来用途256と、主なポート番号258と、本来用途データ量260と、非本来用途データ量262と、計測期間264と、消費電力266と、機器温度268と、CPU使用率270と、データ転送量271と、WEB通信由来消費電力272と、WEB通信由来上昇温度274と、WEB通信由来CPU使用率276と、を対応付けて保持する。
WEB通信由来消費電力272は、第2算出部136によって算出された、WEB通信に関する処理のために使用された電力の推測値である。WEB通信由来上昇温度274は、第2算出部136によって算出された、機器温度と外気温との差のうちWEB通信に関する処理によって上昇したと予測される分である。ここでは外気温は25(℃)とされている。WEB通信由来CPU使用率276は、第1算出部134によって算出された第1推測値である。
FIG. 12 is a data structure diagram illustrating an example of data held in the second
The WEB communication-derived
図6に戻る。第2解析部152は、第2指標保持部118に保持されるデータのうちWEBサーバ(フロントエンドサーバ1024)に関するデータを、使用状況取得部110における所定の時間間隔よりも長い時間間隔、例えば1ヶ月や半年の時間間隔で統計処理する。
第2解析部152は、第2指標保持部118に登録されているノードのうちWEBサーバについて、消費電力の時間平均である平均消費電力と、統計処理対象の期間内における消費電力の最高値である最高消費電力と、を算出する。
第2解析部152は、第2指標保持部118に登録されているノードのうちWEBサーバについて、WEB通信由来の消費電力の時間平均を本来用途データ量(WEB通信用のデータ量)の時間平均で除し、電力コスト(例えば、W/GBの単位)を算出する。
第2解析部152は、サーバ名と、平均消費電力と、最高消費電力と、電力コストと、を対応付けて第3指標保持部158に登録する。
Returning to FIG. The second analysis unit 152 uses the data related to the WEB server (front-end server 1024) among the data stored in the second
The second analysis unit 152 uses the average power consumption that is the time average of power consumption and the maximum value of power consumption within the statistical processing target period for the WEB server among the nodes registered in the second
The second analysis unit 152 calculates the time average of the power consumption derived from WEB communication for the WEB server among the nodes registered in the second
The second analysis unit 152 registers the server name, average power consumption, maximum power consumption, and power cost in the third
図13は、第3指標保持部158に保持されるデータの一例を示すデータ構造図である。第3指標保持部158は、サーバ名304と、平均消費電力306と、最高消費電力308と、電力コスト310と、を対応付けて保持する。
FIG. 13 is a data structure diagram illustrating an example of data held in the third
図6に戻る。表示制御部120は、第1指標保持部108、第2指標保持部118、第3指標保持部158のうちの少なくともひとつに基づき、ノードごとに各種パラメータを示す画面をモニタ140に表示させる。
Returning to FIG. The
指標送信部154は、第1サーバ群状態保持部1322の更新のために、第3指標保持部158に登録されている電力コストに関する情報をロードバランサ1030に送信する。
The
学習部1130は、更新部1132と、負荷予測部1134と、を含む。学習部1130は、更新部1132によって総アクセス数の履歴を負荷履歴保持部1112に記憶し、その記憶をふまえて負荷予測部1134によって今後発生しうる総アクセス数を予測する。これにより、運用実績が長いほど省エネの観点からより賢くなる運用管理が可能となる。
The learning unit 1130 includes an
更新部1132は、第1指標保持部108から総アクセス数を取得する。更新部1132は、取得した総アクセス数をもとに負荷履歴保持部1112を更新する。負荷履歴保持部1112はしたがって、総アクセス数の履歴すなわち過去に要求された総アクセス数を保持する。
The
図14は、負荷履歴保持部1112を示すデータ構造図である。負荷履歴保持部1112は、時間帯1218と、その時間帯が属する属性1220と、その時間帯に取得された総アクセス数1222と、その時間帯に稼動状態に設定される稼動サーバ群の数1224と、その時間帯の平均稼動率1226と、を対応付けて記憶する。時間帯が属する属性1220とは、例えば月曜日、火曜日などの曜日や、平日休日の別や、年末年始とそれ以外の別や、午前午後の別や、それらの任意の組み合わせである。平均稼働率1226は、稼動状態に設定されるサーバ群の稼働率の平均値である。
更新部1132は、稼動状態に設定される稼動サーバ群の数1224を取得するために第2サーバ群状態保持部1114を参照してもよい。
時間帯1218は、運用管理装置1010のモードを更新する基準となる時間間隔を有する期間である。
FIG. 14 is a data structure diagram showing the load
The
The
図6に戻る。負荷予測部1134は、過去に要求された総アクセス数をもとに今後発生する総アクセス数を予測する。負荷予測部1134は、未来の時間帯ごとに総アクセス数を予測する。後述の状態設定部1140もまた、この時間帯ごとに必要に応じてサーバ群1022の状態を設定する。特に負荷予測部1134は、総アクセス数予測の対象となる時間帯(以下、予測対象の時間帯と称す)について負荷履歴保持部1112を参照して総アクセス数を予測する。以下、負荷予測部1134によって予測される総アクセス数を予測総アクセス数と称す。
Returning to FIG. The
負荷予測部1134では、情報処理システム2が使用される目的に応じた総アクセス数の傾向(トレンド)を負荷履歴保持部1112から抽出する処理と、抽出された傾向に基づいて予測対象の時間帯の総アクセス数を予測する処理とが行われる。特に負荷予測部1134では、時間帯の属性をキーとして総アクセス数の傾向が抽出される。
The
負荷予測部1134は予測対象の時間帯が属する属性に対応する総アクセス数を負荷履歴保持部1112から取得してその時間帯に対する予測総アクセス数とする。
例えば、曜日がキーとして設定された場合、負荷予測部1134は負荷履歴保持部1112を参照し、曜日毎の総アクセス数の平均値を演算する。負荷予測部1134は、これらの平均値のうち予測対象の時間帯の曜日にマッチする曜日の平均値を予測総アクセス数とする。また、例えば平日休日の別がキーとして設定された場合、負荷予測部1134は負荷履歴保持部1112を参照し、平日の総アクセス数の平均値と休日の総アクセス数の平均値を演算する。負荷予測部1134は、これらの平均値のうち予測対象の時間帯が平日であれば平日の、休日であれば休日の平均値を予測総アクセス数とする。
なお、ここでは一例として平均値を用いたが、代表値などの他の統計的なパラメータであってもよい。
The
For example, when a day of the week is set as a key, the
Note that although the average value is used here as an example, other statistical parameters such as a representative value may be used.
負荷予測部1134は予測総アクセス数を乖離判定部1150および状態設定部1140の負荷比較部1142に渡す。
The
状態設定部1140は、予測総アクセス数が所定のアクセスしきい値Moより少ない場合、予測対象の時間帯において情報処理装置1020に含まれる少なくともひとつのサーバ群1022を省電力状態に設定する。
When the predicted total number of accesses is smaller than the predetermined access threshold Mo, the
状態設定部1140におけるモアクセスしきい値Moは、情報処理装置1020の性能が落ちない範囲に設定される。ここで性能とは、例えばどれだけのアクセス数をどの程度の速さで処理できるかということである。あるいは性能とは、ひとつのアクセスが処理されるのにかかる時間などのレスポンスタイムであってもよい。また、情報処理装置1020の性能が落ちる、とは、例えばあるサーバ群1022に対してピークアクセス数を越える数のアクセスが割り当てられ、その結果そのサーバ群1022の処理速度が落ちることにより情報処理装置1020全体のアクセスの処理速度が落ちることである。
The mo access threshold value Mo in the
例えば第1サーバ群1022aから第5サーバ群1022eのピークアクセス数が全て2000であるとする。この場合アクセスしきい値Moを9000に設定すると、予測総アクセス数が8500であっても予測対象の時間帯で少なくともひとつのサーバ群を省電力状態に設定しなくてはならない。ここでは第5サーバ群1022eを省電力状態に設定したとする。残りの4つのサーバ群1022a〜22dのトータルのピークアクセス数は8000であり、予測総アクセス数9500よりも少ない。したがってこの場合、予測対象の時間帯が到来したときに、残りの4つのサーバ群1022a〜22dのうちの少なくともひとつのサーバ群がピークアクセス数以上のアクセスを処理しなくてはならなくなる可能性が高くなり、その場合そのサーバ群の処理速度は低下する。これにより情報処理装置1020全体の処理速度が落ちる可能性がある。このような状況を避けるために、アクセスしきい値Moは情報処理装置1020の性能が落ちない範囲に設定される。上述の例ではアクセスしきい値Moは8000以下に設定されればよい。
For example, it is assumed that the peak access counts of the
状態設定部1140は、サーバ群1022の最大性能を発揮せしめる前提で、アクセスを処理させるサーバ群を決定し、予測対象の時間帯において残りのサーバ群を省電力状態に設定する。この場合サーバ群1022の最大性能を発揮せしめる、とは、例えばサーバ群1022にピークアクセス数でアクセス処理を行わせることであり、言い換えるとサーバ群を100%の稼働率で使用することである。さらに状態設定部1140は、予測総アクセス数の変動により情報処理装置1020の性能が落ちると予測される場合には、予測対象の時間帯において省電力状態に設定されている少なくともひとつのサーバ群を稼動状態に設定する。
The
サーバ群1022を省電力状態または稼動状態に設定することに関して、状態設定部1140では、予測対象の時間帯において稼動状態にするサーバ群の数に応じた予測総アクセス数の範囲が定められている。状態設定部1140は例えば予測総アクセス数が0から第1しきい値T1の範囲にあれば予測対象の時間帯においてひとつのサーバ群のみを稼動状態とし、他のサーバ群を省電力状態とする。表1は、状態設定部1140における状態設定に関して、稼動状態とするサーバ群の数と、OS休眠状態とするサーバ群の数と、電源オフ状態とするサーバ群の数と、予測総アクセス数の範囲と、の関係を示す。T2は第2しきい値、T3は第3しきい値であり、T1<T2<T3である。個々のしきい値は予め情報処理システム2の管理者によって設定される。
第1しきい値T1、第2しきい値T2、第3しきい値T3はそれぞれサーバ群1022を100%の稼働率で使用することを前提に設定される。つまり上述の第1サーバ群1022aから第5サーバ群1022eのピークアクセス数が全て2000であるとする例では、T1=2000、T2=4000、T3=6000である。この場合、予測総アクセス数のアクセスを処理するのに必要最低限の数のサーバ群が予測対象の時間帯において稼動状態とされる。また、例えば第1しきい値T1と第2しきい値T2との間にあった予測総アクセス数が増大して第2しきい値T2を越えた場合、そのままだと予測対象の時間帯において少なくともひとつのサーバ群の稼働率が100%を上回ると予測されるので、予測対象の時間帯において稼動状態とするサーバ群の数をひとつ増やして情報処理装置1020の処理速度の低下を回避する。
The first threshold value T1, the second threshold value T2, and the third threshold value T3 are set on the assumption that the server group 1022 is used at an operation rate of 100%. That is, in the example in which all the peak access numbers of the
状態設定部1140は、負荷比較部1142と、稼動サーバ群決定部1144と、状態信号生成部1146と、を含む。
負荷比較部1142は、負荷予測部1134から取得した予測総アクセス数と、第1しきい値T1、第2しきい値T2、第3しきい値T3、アクセスしきい値Moとの大小関係を判別する。この大小関係は例えば「T2<予測総アクセス数<T3」という情報である。負荷比較部1142はこの大小関係に関する情報を稼動サーバ群決定部1144に渡す。
The
The
稼動サーバ群決定部1144は、この情報を基に表1のストラテジにしたがい、次の時間帯における状態の切替の必要性を判定する。稼動サーバ群決定部1144は、状態の切替が必要な場合には、指標算出部100から取得する指標に基づいて、稼動状態とするサーバ群とOS休眠状態とするサーバ群と電源オフ状態とするサーバ群を決定する。稼動サーバ群決定部1144は次の時間帯の到来に合わせて、この決定に基づき第2サーバ群状態保持部1114およびロードバランサ1030の第1サーバ群状態保持部1322を更新する。稼動サーバ群決定部1144は、次の時間帯の到来に合わせて、状態の切り替えが必要なサーバ群の情報を状態信号生成部1146に渡す。稼動サーバ群決定部1144は、状態の切り替えが必要ない場合には処理を中断または終了し、次の情報を待ち受ける。
第2サーバ群状態保持部1114は図5に示される第1サーバ群状態保持部1322と同様のテーブルである。なお、運用管理装置1010またはロードバランサ1030のいずれか一方がサーバ群状態テーブルを備え、そのテーブルを備えない方が備える方のテーブルを参照する構成としてもよい。
Based on this information, the active server
The second server group
稼動サーバ群決定部1144は、表1のストラテジから稼動状態、OS休眠状態および電源オフ状態とするサーバ群の数をまず決める。次に稼動サーバ群決定部1144は第2サーバ群状態保持部1114を参照し、次の時間帯でサーバ群の状態を切り替える必要があるか、言い換えると負荷予測部1134が予測した次の時間帯での予測総アクセス数に対応する各状態のサーバ群の数と第2サーバ群状態保持部1114に登録されている現在の各状態のサーバ群の数とが一致するか否かを判断する。そこで一致する場合は稼動サーバ群決定部1144は処理を中断または終了する。
The active server
一致しない場合は、稼動サーバ群決定部1144は次の時間帯でそれぞれの状態にするサーバ群を決める。稼動サーバ群決定部1144は、指標算出部100の第3指標保持部158に保持されるデータを取得する。稼動サーバ群決定部1144は、取得したデータを基に各サーバ群1022に対して省電力状態とされる順番を示す省エネ停止可能順位を設定する。省エネ停止可能順位は「1」が最も高く、数が増えるにつれて低くなる順位である。
稼動サーバ群決定部1144では、第3指標保持部158に保持されるフロントエンドサーバ1024の平均消費電力、最高消費電力、電力コストを、そのフロントエンドサーバ1024が属するサーバ群1022の平均消費電力、最高消費電力、電力コストのそれぞれとみなす。
If they do not match, the active server
In the active server
表2は、サーバ群1022の電力コストに基づき省エネ停止可能順位を定める場合の、サーバ群名と平均消費電力と最高消費電力と電力コストと省エネ停止可能順位との関係を示す。
表3は、サーバ群1022の消費電力に基づき省エネ停止可能順位を定める場合の、サーバ群名と平均消費電力と最高消費電力と電力コストと省エネ停止可能順位との関係を示す。
情報処理装置1020において各サーバ群1022が主にWEB通信をおこなっており他の用途の処理は無視できる程度であり、またロードバランサ1030において稼動状態にあるサーバ群にアクセスが均等に割り当てられる設定となっている場合は、稼動状態にあるサーバ群には同じ負荷がかけられれていると考えることができる。したがって、稼動状態にある各サーバ群の平均消費電力は、同じ負荷がかけられれている場合に消費される電力の平均値と同一視することができ、また、稼動状態にある各サーバ群の最高消費電力は、同じ負荷がかけられれている場合に消費される電力の最高値と同一視することができる。この場合、表3のストラテジでは、サーバ群1022に同じ負荷がかけられた場合に消費される電力が大きいほど優先的にそのサーバ群1022が省電力状態とされるように省エネ停止可能順位が設定されているといえる。
Table 3 shows the relationship among the server group name, the average power consumption, the maximum power consumption, the power cost, and the energy saving stoppable order when the energy saving stoppable order is determined based on the power consumption of the server group 1022.
In the
稼動サーバ群決定部1144は、稼動状態にあるサーバ群のひとつを省電力状態に切り替える必要がある場合、稼動状態にあるサーバ群のうち表2または表3で設定される省エネ停止可能順位が最も高いサーバ群を省電力状態とすべきサーバ群として選択する。
稼動サーバ群決定部1144は、省電力状態にあるサーバ群のひとつを稼動状態に切り替える必要がある場合、省電力状態にあるサーバ群のうち表2または表3で設定される省エネ停止可能順位が最も低いサーバ群を稼動状態とすべきサーバ群として選択する。
When one of the server groups in the operating state needs to be switched to the power saving state, the active server
When it is necessary to switch one of the server groups in the power saving state to the operating state, the active server
なお、稼動サーバ群決定部1144でのサーバ群1022を決める上述のアルゴリズムでは、特に稼動状態を省電力状態に切り替える場合は、アクセスの同一性が考慮されてもよい。例えば、稼動サーバ群決定部1144は、稼動状態を省電力状態に切り替える場合、次の時間帯の到来に合わせて第2サーバ群状態保持部1114および第1サーバ群状態保持部1322を更新して省電力状態に切り替えるべきサーバ群への新規アクセスの割り当てを制限する一方、ロードバランサ1030の接続保持部1324を参照し、省電力状態に切り替えるべきサーバ群へのアクセスがなくなったことを確認してから状態の切り替えが必要なサーバ群の情報を状態信号生成部1146に渡してもよい。これによりアクセスの同一性が保証されうる。
In the above-described algorithm for determining the server group 1022 in the active server
状態信号生成部1146は内部ネットワーク3を介して第1サーバ群1022a〜第5サーバ群1022eに接続される。
状態信号生成部1146は、状態の切り替えが必要なサーバ群の情報に基づきそのサーバ群に対して切替に対応する休眠導入信号、休眠解除信号、電源オフ信号、および電源オン信号のうちのいずれかを送る。例えば第3サーバ群1022cを稼動状態(OS休眠状態)からOS休眠状態(稼動状態)とする必要がある場合、状態信号生成部1146は第3サーバ群1022cに対して休眠導入信号(休眠解除信号)を送出する。また、第3サーバ群1022cを稼動状態(電源オフ状態)から電源オフ状態(稼動状態)とする必要がある場合、状態信号生成部1146は第3サーバ群1022cに対して電源オフ信号(電源オン信号)を送出する。
状態信号生成部1146によって省電力状態から稼動状態に設定されたサーバ群は、それが稼動状態であることが稼動サーバ群決定部1144によってロードバランサ1030の第1サーバ群状態保持部1322に記録されるので、ロードバランサ1030の要求割当部1036によって新規のアクセスが割り当てられる。
The
The state
The server group set from the power saving state to the operating state by the status
運用管理装置1010は、予測総アクセス数を基に状態設定部1140でサーバ群1022の状態を設定する上述の負荷予測モードの他に、第1指標保持部108に保持される総アクセス数を基に状態設定部1140でサーバ群1022の状態を適応的に設定する適応モードを有する。以下、この適応モードについて説明する。
The
乖離判定部1150は、予測された総アクセス数と実際の総アクセス数との差が大きい、つまりその差の絶対値が所定の乖離値よりも大きい場合、状態設定部1140に実際の総アクセス数に基づいてサーバ群の状態を設定せしめる。
乖離判定部1150は、第1指標保持部108から現在の時間帯に対応する総アクセス数を取得する。また乖離判定部1150は負荷予測部1134から現在の時間帯に対して予測された予測総アクセス数も取得する。そして乖離判定部1150は、両者の差を演算する。その差の絶対値が乖離値より大きい場合は、乖離判定部1150は状態設定部1140の負荷比較部1142に、予測総アクセス数の代わりに第1指標保持部108からの総アクセス数を使用させる。この場合負荷比較部1142は、第1指標保持部108からの総アクセス数と、第1しきい値T1、第2しきい値T2、第3しきい値T3、アクセスしきい値Moとの大小関係を判別する。状態設定部1140はかかる大小関係を使用して上述の処理と同様の処理を行う。これにより状態設定部1140は、予測された総アクセス数と実際の総アクセス数との差が大きい場合に、実際の総アクセス数に応じて適応的にサーバ群1022の状態を設定することができる。
When the difference between the predicted total number of accesses and the actual total number of accesses is large, that is, when the absolute value of the difference is larger than a predetermined divergence value, the divergence determination unit 1150 indicates to the
The deviation determination unit 1150 acquires the total number of accesses corresponding to the current time zone from the first
また、運用管理装置1010は、情報処理システム2の管理者がマニュアルでサーバ群1022の状態を設定できるマニュアル設定モードも有する。
オーバライド部1160は、運用管理装置1010に付随するキーボードなどの入力装置1012から管理者によるマニュアル設定を受け付ける。オーバライド部1160はこのマニュアル設定を受け付けると状態設定部1140に、このマニュアル設定に基づいてサーバ群1022の状態を設定せしめる。これにより急激な使用環境の変化にも対応可能となる。
The
The
表示制御部120は、第1指標保持部108から現在の時間帯における総アクセス数を、第2サーバ群状態保持部1114から現在のサーバ群1022の状態を、取得する。表示制御部120は、運用管理装置1010に付随するモニタ140に総アクセス数とサーバ群1022の状態とを示すステータス画面1400a〜1400dを表示させる。また、表示制御部120は、乖離判定部1150において予測された総アクセス数と実際の総アクセス数との差の絶対値が乖離値よりも大きいと判断された場合、モニタ140に警告画面1402を表示させる。また、表示制御部120は、管理者によるマニュアル設定のための状態設定画面1404をモニタ140に表示させる。
The
図15(a)〜(d)は、ステータス画面1400a〜1400dの代表画面図である。ここでは、第1サーバ群1022aから第5サーバ群1022eのピークアクセス数が全て2000であるとする。また、稼動サーバ群決定部1144では表2のストラテジが使用され、サーバ群選択部1364では傾斜配分モードが使用される場合を考える。図15(a)〜図15(d)はそれぞれ現在の時間帯における総アクセス数が1600、2800、4400、7000の場合に対応する。
図15(a)は、現在の時間帯における総アクセス数が1600の場合に対応するステータス画面1400aの代表画面図である。ステータス画面1400aは、総アクセス数領域1406と、グラフ1408と、オーバライドボタン1410と、を含む。総アクセス数領域1406は、現在の時間帯における総アクセス数を示す。グラフ1408は、各サーバ群1022の稼働率を示す。グラフ1408において「△」はOS休眠状態を示し、「×」は電源オフ状態を示す。オーバライドボタン1410は、押し下げられるとオーバライド部1160をトリガする。オーバライドボタン1410が押し下げられると表示制御部120は状態設定画面1404をモニタ140に表示させる。図15(b)〜図15(d)についても同様である。
15A to 15D are representative screen diagrams of the
FIG. 15A is a representative screen diagram of the
図16は、警告画面1402の代表画面図である。
図17は、状態設定画面1404の代表画面図である。状態設定画面1404は、設定領域1412と、設定ボタン1414と、を含む。状態設定画面1404を開いた直後の状態では、設定領域1412には各サーバ群の現在の状態がラジオボタン方式で示されている。設定領域1412では第1サーバ群1022a〜第5サーバ群1022eはそれぞれサーバ群A〜サーバ群Eという名称で表示されている。管理者はマウスなどの入力装置1012を使用して各サーバ群の状態を選択し、設定ボタン1414を押し下げる。すると設定領域1412に設定された各サーバ群1022の状態が所望のマニュアル設定としてオーバライド部1160に送られる。これにより、第1サーバ群1022a〜第5サーバ群1022eのそれぞれを稼動状態とするか、OS休眠状態とするか、または電源オフ状態とするかを設定できる。
FIG. 16 is a representative screen diagram of the
FIG. 17 is a representative screen diagram of the
上述のロードバランサ1030や運用管理装置1010において、保持部の例は、ハードディスクやメモリである。また、本明細書の記載に基づき、各部を、図示しないCPUや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶するメモリなどにより実現できることは本明細書に触れた当業者には理解されるところである。
In the
以上の構成による運用管理装置1010の動作を説明する。図18は、指標算出部100における一連の処理を示すフローチャートである。傍受部122は、ネットワークからパケットを傍受する(S402)。抽出部124は、傍受されたパケットから始点アドレスとポート番号とを抽出する(S404)。登録部128は、抽出された始点アドレスとポート番号とパケットのデータ量とを通信情報保持部104に登録する(S406)。分類部132は、通信情報保持部104に保持されるデータを始点アドレスでソーティングする(S408)。分類部132は、ソーティングされたデータを本来用途と非本来用途とに分類する(S410)。集計部130は、分類されたデータを集計する(S412)。第2解析部152は、集計結果から各サーバ群1022の電力コストを算出する(S414)。
The operation of the
図19は、学習部1130および状態設定部1140における一連の処理を時系列に沿って示すチャートである。更新部1132が第1指標保持部108から総アクセス数を取得する時間間隔は15分間隔である場合を考える。2009年9月16日の9:15に、更新部1132は第1指標保持部108から総アクセス数を取得する(S502)。更新部1132は、取得された総アクセス数をもとに負荷履歴保持部1112を更新する(S504)。一方、2009年9月16日の9:15−9:30の時間帯内でステップS504の負荷履歴保持部1112更新と重ならないときに、負荷予測部1134は負荷履歴保持部1112を参照して次の時間帯(1009:30−9:45)の総アクセス数を予測する(S506)。状態設定部1140は、予測総アクセス数とアクセスしきい値Mo、第1しきい値T1、第2しきい値T2、第3しきい値T3との大小比較を行う(S508)。状態設定部1140は、その大小比較を基に次の時間帯においてサーバ群1022の状態の切替が必要か否かを判断する(S510)。状態の切替が必要でない場合(S510のN)、次の時間帯が到来してもサーバ群1022の状態の設定は行わない。状態の切替が必要な場合(S510のY)、状態設定部1140は省エネ停止可能順位に基づき、次の時間帯におけるサーバ群1022の状態を決定する(S512)。次の時間帯が到来すると、つまり2009年9月16日の9:30になると、状態設定部1140はサーバ群の状態をステップS512で決定されたように設定する。また、状態設定部1140は平行して第2サーバ群状態保持部1114およびロードバランサ1030の第1サーバ群状態保持部1322を更新する(S514)。運用管理装置1010はこの処理を時間帯単位で繰り返す。
FIG. 19 is a chart showing a series of processes in the learning unit 1130 and the
本実施の形態に係る運用管理装置1010によると、データセンタなどの情報処理システム2が使用される目的、例えば証券業務や検索エンジンなど、に応じた総アクセス数の傾向を把握し、それを用いて今後発生しうる総アクセス数を予測できる。そしてこの予測総アクセス数が少ない場合は、予測対象の時間帯において少なくともひとつのサーバ群が省電力状態に設定される。
According to the
上述した通り稼動状態のサーバ群の消費電力は、アイドル状態であってもピーク時のおよそ60%である。これに対して省電力状態のサーバ群の消費電力はピーク時のおよそ0〜10%である。本実施の形態では、アクセス数が少ないと予測され、したがってアクセスを処理する必要がないと予測されるサーバ群がある場合はそれらのサーバ群をアイドル状態ではなく省電力状態としている。これにより、情報処理装置1020全体の消費電力を低減でき、電力の無駄遣いを抑え、省エネ化を図ることができる。
As described above, the power consumption of the server group in the operating state is approximately 60% of the peak time even in the idle state. On the other hand, the power consumption of the server group in the power saving state is approximately 0 to 10% at the peak time. In the present embodiment, when there are server groups that are predicted to have a small number of accesses and are therefore predicted not to be processed, the server groups are set in a power saving state instead of an idle state. As a result, power consumption of the entire
また本実施の形態に係る運用管理装置1010では、情報処理システム2が使用される目的に応じた総アクセス数の傾向を把握し、それを用いて今後発生しうる総アクセス数を予測しているので、個々の使用目的に対して最適な消費電力低減化、省エネ化を実現できる。
In addition, the
さらに、本実施の形態に係る運用管理装置1010によると、指標算出部100はネットワークを傍受して各サーバ群1022の特性の違いを示す指標を算出する。状態設定部1140は、少なくともひとつのサーバ群1022を省電力状態に設定する際、指標算出部100によって算出されたこの指標に基づいて、省電力状態に設定するサーバ群を選択する。したがって、各サーバ群1022の特性の違いの解析結果を取り入れた形で、稼動状態にあるサーバ群のなかから省電力状態とするサーバ群を選択できる。これにより、全てのサーバ群1022を特性上同等と見なした上で省電力状態とするサーバ群を選択する場合と比べて、選択に各サーバ群1022の特性の違いを反映できるので、省エネの観点からより好適なサーバ群1022の状態制御が可能となる。その結果、情報処理システム2の省エネ化を一層進めることができる。
Furthermore, according to the
また、稼動サーバ群決定部1144は、電力コストが大きいサーバ群を省電力状態とするサーバ群として優先的に選択する。したがって、結果として稼動状態とされるサーバ群の電力コストは、省電力状態とされるサーバ群の電力コストよりも小さくなるので、情報処理システム2全体で見たときに有効な仕事をより少ない消費電力で処理できる。
In addition, the active server
また、本実施の形態に係る運用管理装置1010によると、パケットをネットワークから傍受し、傍受したパケットを始点IPアドレスとポート番号とで分類する。したがって、始点IPアドレスごとおよびポート番号ごとに通信データ量を計測できる。これにより、所望の解析対象のノードについて、どの通信用途(メール通信やWEB閲覧など)に対応する仕事をどの程度行ったかを、そのノードに直接問い合わせることなしにネットワーク上を流れるパケットから追跡できる。ノードへ問い合わせないので、仕事量の解析に伴うノード側の負担はほとんどない。運用管理装置1010はネットワークの傍受を行うので、運用管理装置1010自身の測定への寄与は小さく、また把握できる。
Further, according to the
さらに本実施の形態では、更新部1132は指標算出部100によって算出された総アクセス数に基づいて負荷履歴保持部1112を更新する。したがって、総アクセス数を予測するための履歴データを、サーバ側の負担をほとんど増やすことなしに得ることができる。
Further, in the present embodiment, the
また、本実施の形態では、稼動サーバ群決定部1144は、予測総アクセス数が所定の値より多くなると予測される場合には、指標算出部100によって算出された指標に基づいて、省電力状態に設定されている複数のサーバ群のうちの少なくともひとつのサーバ群を選択する。状態信号生成部1146は、稼動サーバ群決定部1144によって選択された少なくともひとつのサーバ群を稼動状態に設定する。これにより、まず、サーバ群1022をピークアクセス数以上で使用しなければならない状況を回避し、アクセス処理の遅滞を避けることができる。さらに、各サーバ群1022の特性の違いの解析結果を取り入れた形で、省電力状態にあるサーバ群のなかから稼動状態とするサーバ群を選択できる。これにより、全てのサーバ群を特性上同等と見なした上で稼動状態とするサーバ群を選択する場合と比べて、選択に各サーバ群1022の特性の違いを反映できるので、省エネの観点からより好適なサーバ群1022の状態制御が可能となる。
In the present embodiment, the active server
また、稼動サーバ群決定部1144は、電力コストが小さいサーバ群を稼動状態とするサーバ群として優先的に選択する。したがって、結果として稼動状態とされるサーバ群の電力コストは、省電力状態とされるサーバ群の電力コストよりも小さくなるので、情報処理システム2全体で見たときに有効な仕事をより少ない消費電力で処理できる。
In addition, the operating server
また、本実施の形態では、ロードバランサ1030は、取得されたアクセスを、電力コストが小さいサーバ群に優先的に割り当てる。したがって、結果としてアクセスがより多く割り当てられるサーバ群の電力コストは、そうでないサーバ群の電力コストよりも小さくなるので、情報処理システム2全体で見たときに有効な仕事をより少ない消費電力で処理できる。
In the present embodiment, the
また、本実施の形態に係る運用管理装置1010では、負荷履歴保持部1112は、取得された総アクセス数と、その総アクセス数が取得された時間帯が属する属性と、を対応付けて記憶する。したがって、総アクセス数の傾向を属性を基準にして把握することができる。さらに運用管理装置1010では、予測対象の時間帯が属する属性に対応する総アクセス数を負荷履歴保持部1112から取得してその時間帯に対して予測される総アクセス数とする。したがって、属性を情報処理システム2の使用目的に応じて適切に設定することにより、予測される総アクセス数の精度を向上することができる。
Moreover, in the
図20は、本実施の形態に係る情報処理システム2が証券会社のインターネット株取引システムを提供するデータセンタとして使用される場合の、負荷履歴保持部1112aの一例を示すデータ構造図である。ここでは稼動サーバ群の数および平均稼動率は説明を明瞭とするため省略される。この場合の総アクセス数の傾向としては、証券取引所の取引時間内にアクセスが集中することがある。また、証券取引所が閉まってからしばらくはいわゆるバッチ処理を行うためにいくらかの仕事が発生する。それ以外で証券取引所が閉まっている時間帯、例えば休日などにはアクセスはほとんどない。あっても証券会社の顧客が自己の口座の情報を参照する程度である。したがって、図20に示されるように、時間帯の属性として、証券取引所の取引時間にあたる時間帯に「取引時間」という属性を、バッチ処理が行われる時間帯に「バッチ処理」という属性を、それ以外の時間帯に「時間外」もしくは土日祝日の場合は「休日」を、それぞれ与えてもよい。このような属性を付与することで、証券会社のインターネット株取引システムを提供するデータセンタに発生する総アクセス数をより適切に予測することができる。
FIG. 20 is a data structure diagram showing an example of the load
図21は、本実施の形態に係る情報処理システム2が検索サービスを提供するデータセンタとして使用される場合の、負荷履歴保持部1112bの一例を示すデータ構造図である。ここでは稼動サーバ群の数および平均稼動率は説明を明瞭とするため省略される。この場合の総アクセス数の傾向としては、平日よりも休日の方が利用が多く、また平日でも午前よりも午後の方が利用が多いことがある。したがって、図21に示されるように、時間帯の属性として、平日休日の別と午前午後の別との組み合わせを与えてもよい。このような属性を付与することで、検索サービスを提供するデータセンタに発生する総アクセス数をより適切に予測することができる。
FIG. 21 is a data structure diagram showing an example of the load
本実施の形態に係る運用管理装置1010では、省電力モード(予測総アクセス数<アクセスしきい値Mo)においては、表1に示される通りOS休眠状態とするサーバ群と電源オフ状態とするサーバ群との両方を設けている。これにより、予測対象の時間帯において突然総アクセス数が増大した場合は、適応モードに移行した後復帰のためのオーバヘッドが小さいOS休眠状態にあるサーバ群を稼動状態に戻すことで対応できる。また、そのように対応できる限りにおいては他のサーバ群は電力を消費しない電源オフ状態とし、情報処理装置1020全体の消費電力をさらに低減している。なお、表1ではOS休眠状態とするサーバ群をひとつだけ確保しているが、この数はオーバヘッドと消費電力とのかねあいで定められればよく、適宜増減可能であることは本明細書に触れた当業者には理解される。
In the
本実施の形態に係る運用管理装置1010では、状態設定部1140はサーバ群の最大性能を発揮せしめる前提で、予測対象の時間帯において稼動状態とするサーバ群を決定する。このサーバ群の決定方式によると、所与の予測総アクセス数に対してより多くの数のサーバ群を省電力状態とすることができる。したがって、情報処理装置1020全体の消費電力をより低減できる。なお、稼働率によってサーバ群の消費電力が異なるのも事実ではあるが、上述の通りアイドル状態でもピーク時のおよそ60%の電力が消費されることを考えると、稼働率を下げることによる電力削減効果よりもアイドル状態を省電力状態とすることによる電力削減効果のほうが大きいと考えられる。
In the
また、アクセスしきい値Moは情報処理装置1020の性能が落ちない範囲に設定される。これにより、予測総アクセス数が多い場合は通常モードで情報処理装置1020の並列処理能力をいかんなく発揮させ、予測総アクセス数が少なくなると省電力モードに移行させて性能を保ちつつ電力消費量を低減できる。
Further, the access threshold Mo is set in a range where the performance of the
また、本実施の形態に係る運用管理装置1010では、IPアドレスは仕事の主体を示し、ポート番号は通信用途を示すので、それらを用いてノードで行われている仕事の内訳を導出し、特に有効仕事量を計測できる。この点、現実的に有効仕事量の計測が困難であった従来の技術とは大きく異なる。運用管理装置1010によると、ノードにおける仕事量を解析することで、そのノードが有効な仕事をどの程度行ったかを計測でき、情報処理システム2を省エネ化するためのよい指標が得られる。
Further, in the
また、本実施の形態に係る運用管理装置1010では、通信情報保持部104に保持される傍受されたパケットの情報を本来用途と非本来用途とで分類する。したがって、図9の第1指標保持部108に示されるように、所望の解析対象のノードについて、本来用途データ量と非本来用途データ量とを得ることができる。これにより、両者の比率などから解析対象のノードがどの程度本来の用途で使用されているかを追跡できる。これは情報処理システム2を省エネ化するためのよい指標のひとつである。例えば、本来の用途で使用されていないノードを発見し、適切な処置を施すことで情報処理システム2の効率を向上できる。
Also, in the
また、運用管理装置1010では、第2指標保持部118は、第1指標保持部108と使用状況保持部112とが対応付けられた形となっている。したがって、情報処理システム2の省エネ化を考える際に、ノードにおける仕事量と使用状況とを対応付けて把握できる。すなわち、ノードが何の仕事をいつどれだけ行ったことにより、どれだけのCPUの処理能力を使用し、どれだけの電力を消費し、どれだけの温度上昇があったかを解析できる。
In the
例えば、CPU使用率が100%とされているサーバの仕事量の内訳を見ることにより、実際100%のCPU使用率のうちどれだけが有効な仕事のために使用されたかを知ることができる。100%のCPU使用率でもその大半が有効な仕事のために使用されていなければ、そのサーバは省エネ化のための検討対象とすべきである。PUE(Power Usage Effectiveness)(非特許文献1参照)などを使用する従来の技術では、仕事の内訳が見えないのでこのような判断をすることができなかったが、運用管理装置1010を使用すると可能となる。
For example, by looking at the breakdown of the workload of the server whose CPU usage rate is 100%, it is possible to know how much of the CPU usage rate of 100% is actually used for effective work. If most of the CPU usage rate is not used for effective work, the server should be considered for energy saving. In the conventional technology using PUE (Power Usage Effectiveness) (see Non-Patent Document 1) or the like, it is impossible to make such a determination because the breakdown of work cannot be seen, but it is possible to use the
また例えば、消費電力および有効仕事量の両者が共に低いサーバがある場合、使用状況だけを見ていると消費電力が低いので省エネ的によいサーバに見え、このサーバに対しては何ら対策がなされない可能性が高い。しかしながら、運用管理装置1010を使用して使用状況と仕事量とが対比可能な形で提示される場合、有効仕事量も低いことが分かるので、データセンタの効率を向上してさらなる省エネ化を進めるために、例えば仮想化により他の高負荷サーバから仕事を回す等の対策を取ることができる。したがって、データセンタの省エネ化への寄与は大きい。
Also, for example, if there is a server with both low power consumption and effective workload, it looks like a server that is good for energy saving because of low power consumption when looking only at the usage status, and no measures are taken against this server. It is likely not. However, if the
また例えば、有効仕事量的には問題ないが排熱の大きなサーバがある場合にそれを見つけることができる。したがって、そのようなサーバがホットアイルに存在する場合には他の位置に移設したほうがよいことをサーバの持ち主に提案できる。 In addition, for example, when there is a server with a large exhaust heat although there is no problem in the effective work amount, it can be found. Therefore, if such a server exists in the hot aisle, it can be proposed to the server owner that it is better to move it to another location.
また、運用管理装置1010では、フィルタ部126は、フィルタリングモードでは、抽出部124によって抽出された始点IPアドレスおよび終点IPアドレスを基に、計測対象のノードのIPアドレスが含まれたパケットのみを選択して、登録部128に出力する。したがって、計測に影響を与えない範囲で通信情報保持部104に保持されるデータの量を低減できる。
Also, in the
また、フィルタ部126は、計測対象のノードを、情報処理システム2に含まれる複数のノードから順番に選択する。つまり、一度に全てのノードを計測対象とするのではなく、例えば月曜日は第1サーバ群1022a、火曜日は第2サーバ群1022b、等のように計測対象のノードを順番に変えてゆく。これにより、計測に影響を与えない範囲で通信情報保持部104に保持されるデータの量を低減した上で、ネットワークの全てのノードを計測対象とすることができる。
In addition, the
仮想化が行なわれているサーバについて考える。従来では主に、VMOTION機能等を使用して、親(ホスト)仮想化OSの上での個々のサーバイメージ(個々のゲストOS)のプロセッサ使用率を取得して比較する。そして、ゲストOSを他のプロセッサ使用率的に空いている仮想化ホストOSサーバへ移設させている。しかしながら、このように単にプロセッサ使用率のみを尺度として仮想化サーバ間のゲストOSの移動を行う場合には、実際にゲストOSで行われている仕事の内訳までは考慮されていない。したがって、有効仕事量に基づいた移設が行われているとは言い難い。 Consider a server that is being virtualized. Conventionally, the processor usage rate of each server image (individual guest OS) on the parent (host) virtualized OS is mainly obtained and compared using the VMOTION function or the like. Then, the guest OS is relocated to another virtual host OS server that is vacant in terms of processor utilization. However, in the case where the guest OS is moved between the virtualization servers using only the processor usage rate as a scale in this way, the breakdown of work actually performed by the guest OS is not taken into consideration. Therefore, it cannot be said that the relocation based on the effective work volume is performed.
運用管理装置1010を使用して仮想化されたサーバにおける仕事を解析する場合、仮想化のプラットフォームごとに仕事量が分かるので、有効仕事量に基づいた精度の高いゲストOSの移設が可能となる。
また、例えば仮想化したことによってどの程度状況が改善されているかを知ることができる。つまり、有効仕事量と消費電力とについて仮想化の前後で比較することで、改善の度合いを知ることができる。また、仮想化後は個々のゲストOSが行っている仕事についてはあまり注意されないのが現状であるが、解析装置100で各ゲストOSについて有効仕事量を追跡することにより、例えば時と共に使用されなくなったゲストOSを特定できる。したがって、そのように特定されたゲストOSを外すことで他のゲストOSの性能を改善できる。これはデータセンタの効率の向上に貢献する。
When analyzing the work in the virtualized server using the
In addition, for example, it is possible to know how much the situation has been improved by virtualization. That is, the degree of improvement can be known by comparing the effective work amount and power consumption before and after virtualization. In addition, after virtualization, the current situation is that little attention is paid to the work performed by each guest OS, but the
従来ではシステム運用者は、システムを運用するにあたり、主にサーバのプロセッサ使用率やメモリの利用度を使用してサーバの性能を評価し、その性能評価を軸にして、サーバの統合、アプリケーションの移設、分配、統合、サーバの更新(新しい機器に交換する・買い換える)を行っている。しかしながら、特に昨今の景気低迷期では、サーバのさらなる有効利用やさらなる消費電力の低減によって一段とデータセンタ全体の運用コストを下げることが求められている。
そこで、運用管理装置1010を使用することにより、サーバにおける仕事が内向け(対サーバ)か、外向け(サーバ発)なのかを詳細に解析でき、また、その仕事がデータセンタ外部への仕事なのかデータセンタ内の他のサーバやアプリケーションに対する仕事なのかも解析できる。したがって、この解析を元にして、省エネ化のための精度の高いサーバ統合、分配、アプリケーション統合、分配、機器の更新、増強、廃止などが行える。
In the past, system operators have mainly evaluated server performance using server processor usage and memory utilization in system operation, and server integration and application Relocation, distribution, integration, and server update (exchange / replace with new equipment). However, particularly in the recent economic downturn, there is a need to further reduce the operational cost of the entire data center by further effective use of servers and further reduction of power consumption.
Therefore, by using the
以上、実施の形態に係る運用管理装置1010の構成と動作について説明した。この実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
The configuration and operation of the
実施の形態では、ユーザ端末1006からサーバ群1022へのパケットの流れを基に説明したが、サーバ群1022からユーザ端末1006へパケットを返すときもロードバランサ1030が適宜接続保持部1324を参照してアドレス変換できることは本明細書に触れた当業者には明らかである。
In the embodiment, the description has been made based on the flow of packets from the
実施の形態では、アクセスしきい値Mo、第1しきい値T1、第2しきい値T2、および第3しきい値T3が稼動状態のサーバ群の数を決めるしきい値となる場合について説明したが、これに限られない。例えば、それぞれのしきい値にヒステリシスを持たせてもよい。この場合、予測総アクセス数がしきい値付近で変動しても、しきい値をまたぐ毎にサーバ群の状態を切り替えなくてもよいので、状態切替に伴うオーバヘッドを低減できる。その結果情報処理システム2全体のレスポンスが向上しうる。
In the embodiment, a case where the access threshold value Mo, the first threshold value T1, the second threshold value T2, and the third threshold value T3 are threshold values that determine the number of servers in the active state will be described. However, it is not limited to this. For example, each threshold value may have hysteresis. In this case, even if the predicted total number of accesses fluctuates in the vicinity of the threshold value, it is not necessary to switch the state of the server group every time the threshold value is crossed, so that the overhead associated with the state switching can be reduced. As a result, the overall response of the
実施の形態では、サーバ群1022をどの状態に置くかについて、状態設定部1140において表1に示されるストラテジが使用される場合について説明したが、これに限られない。例えば、省電力状態としてOS休眠状態を使用し、電源オフ状態を使用しなくてもよい。この場合、電源オンオフにかかる比較的長いオーバヘッドがなくなるので、より早いレスポンスが期待できる。また、処理が簡素化される。別の例としては、省電力状態として電源オフ状態を使用し、OS休眠状態を使用しなくてもよい。この場合、消費電力をより低減できる。
In the embodiment, the state in which the server group 1022 is placed has been described in the case where the strategy shown in Table 1 is used in the
実施の形態では、フロントエンドサーバ1024とアプリケーションサーバ1026とデータベースサーバ1028とは別個のサーバであり、この順に直列に接続されている場合について説明したが、これに限られない。個々のサーバ群は少なくともひとつのサーバを含めばよく、例えば、サーバ群はフロントエンドサーバとアプリケーションサーバとデータベースサーバの機能を全て併せ持つ1台のサーバを含んでもよい。また、サーバ群は、それら3つのサーバの機能のうちの任意の2つの機能を併せ持つサーバと、残りの機能を持つサーバと、を含んでもよい。 In the embodiment, the front end server 1024, the application server 1026, and the database server 1028 are separate servers, and the case where they are connected in series in this order has been described. However, the present invention is not limited to this. Each server group may include at least one server. For example, the server group may include one server having all functions of a front-end server, an application server, and a database server. The server group may include a server having any two functions of the functions of the three servers and a server having the remaining functions.
実施の形態では、負荷予測部1134は属性をキーとする場合について説明したが、時間帯であってもよい。負荷予測部1134は、負荷履歴保持部1112を参照し、予測対象の時間帯に対して過去の同月同日の同じ時間帯の負荷履歴を取得し、これを基に予測対象の時間帯の予測総アクセス数を決定する。例えば、負荷予測部1134が2009年7月28日の9:15〜9:30における総アクセス数を予測する場合、負荷予測部1134は2008年7月28日の9:15〜9:30における総アクセス数(図14の場合、5400)を負荷履歴保持部1112から取得し、それを予測総アクセス数とする。
In the embodiment, the case where the
実施の形態では、情報処理システム2が使用される例として証券業務や検索エンジンを挙げたが、これに限られない。本実施の形態に係る技術的思想は、例えば不特定多数のユーザが利用するコンピュータセンタの機器の管理に適用されうる。このコンピュータセンタの例としては、大学等の学術関係で、多くの生徒や研究者が利用するサーバとストレージのシステムがある。
図22は、本発明のある実施の形態を大学の共用データセンタに適用した場合の負荷履歴保持部1112cを示すデータ構造図である。この場合、仕事量の傾向をより正確に把握するために大学のスケジュールに応じた属性が選択されることが望ましい。
In the embodiment, as an example in which the
FIG. 22 is a data structure diagram showing the load
実施の形態では、要求処理ユニットがサーバ群である場合について説明したが、これに限られない。本実施の形態に係る技術思想は例えばGSLB(Global Server Load Balance)にも応用されうる。そこでは、要求処理ユニットはそれ自体が複数の並列に配されたサーバ群を有するシステムであってもよい。また、実施の形態では要求はユーザからのアクセスである場合について説明したが、これに限られず、本実施の形態に係る技術思想が適用されるシステムによって異なってもよい。要求とは処理主体への処理の指示であるとも言える。 In the embodiment, the case where the request processing unit is a server group has been described. However, the present invention is not limited to this. The technical idea according to the present embodiment can be applied to, for example, GSLB (Global Server Load Balance). There, the request processing unit may itself be a system having a plurality of servers arranged in parallel. Further, in the embodiment, the case where the request is an access from a user has been described. However, the request is not limited to this, and may be different depending on a system to which the technical idea according to the present embodiment is applied. It can be said that the request is an instruction of processing to the processing subject.
実施の形態では、サーバ群1022の平均消費電力、最高消費電力、電力コストのそれぞれとして、そのサーバ群1022のフロントエンドサーバ(WEBサーバ)1024の平均消費電力、最高消費電力、電力コストを採用する場合について説明したが、これに限られない。例えば、サーバ群1022に含まれる各サーバの電力コストを算出し、それを平均した値をそのサーバ群1022の電力コストとして採用してもよい。 In the embodiment, the average power consumption, the maximum power consumption, and the power cost of the front-end server (WEB server) 1024 of the server group 1022 are adopted as the average power consumption, the maximum power consumption, and the power cost of the server group 1022, respectively. Although the case has been described, the present invention is not limited to this. For example, the power cost of each server included in the server group 1022 may be calculated, and an average value thereof may be adopted as the power cost of the server group 1022.
実施の形態では、例えば図18に示されるように、指標算出部100においてパケットの傍受(S402)からデータの集計(S412)が一連の処理として行われる場合について説明したが、これに限られない。例えば、指標算出部は、パケットの傍受からデータの分類までを随時行って分類結果のデータを蓄積し、所定の条件が満たされると分類結果のデータを集計してもよい。ここで所定の条件は、例えば前回の集計から所定の期間が経過したこと、もしくは分類結果のデータの量が所定の量に達したことである。
In the embodiment, for example, as illustrated in FIG. 18, the case has been described in which the
図23は、変形例に係る指標算出部における一連の処理を示すフローチャートである。変形例に係る指標算出部は、傍受部と、抽出部と、登録部と、通信情報保持部と、分類部と、分類結果保持部と、集計部と、を備える。傍受部は、ネットワークからパケットを傍受する(S502)。抽出部は、傍受されたパケットから始点アドレスとポート番号とを抽出する(S504)。登録部は、抽出された始点アドレスとポート番号とパケットのデータ量とを通信情報保持部に登録する(S506)。分類部は、通信情報保持部に保持されるデータを始点アドレスでソーティングする(S508)。分類部は、ソーティングされたデータを本来用途と非本来用途とに分類する(S510)。分類部は、分類結果を分類結果保持部に登録する(S512)。所定の条件が満たされていない場合(S514のN)、ステップS502に処理が戻る。これにより、所定の条件が満たされるまで分類結果が分類結果保持部に蓄積されてゆく。所定の条件が満たされた場合(S514のY)、集計部は、分類結果保持部に蓄積されたデータを集計する(S516)。
本変形例によると、所定の条件を変えることにより、集計の母集団として使用する分類結果データの量を調整できる。したがって、集計の結果得られる指標に対して求められている精度に応じて柔軟に分類結果データの量を調整できる。
FIG. 23 is a flowchart showing a series of processes in the index calculation unit according to the modification. The index calculation unit according to the modification includes an intercept unit, an extraction unit, a registration unit, a communication information holding unit, a classification unit, a classification result holding unit, and a counting unit. The intercepting unit intercepts the packet from the network (S502). The extraction unit extracts the start point address and the port number from the intercepted packet (S504). The registration unit registers the extracted start point address, port number, and packet data amount in the communication information holding unit (S506). The classification unit sorts the data held in the communication information holding unit with the start point address (S508). The classification unit classifies the sorted data into an original use and a non-original use (S510). The classification unit registers the classification result in the classification result holding unit (S512). If the predetermined condition is not satisfied (N in S514), the process returns to step S502. Thereby, the classification result is accumulated in the classification result holding unit until a predetermined condition is satisfied. When the predetermined condition is satisfied (Y in S514), the totaling unit totals the data accumulated in the classification result holding unit (S516).
According to the present modification, the amount of classification result data used as a total population can be adjusted by changing predetermined conditions. Therefore, it is possible to flexibly adjust the amount of classification result data according to the accuracy required for the index obtained as a result of aggregation.
以上、実施の形態にもとづき本発明を説明したが、実施の形態は、本発明の原理、応用を示しているにすぎないことはいうまでもなく、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が可能であることはいうまでもない。 Although the present invention has been described based on the embodiments, the embodiments merely show the principle and application of the present invention, and the embodiments are defined in the claims. Needless to say, many modifications and arrangements can be made without departing from the spirit of the present invention.
2 情報処理システム、 100 指標算出部、 102 ネットワークインタフェース部、 104 通信情報保持部、 108 第1指標保持部、 110 使用状況取得部、 112 使用状況保持部、 114 係数保持部、 116 第1解析部、 118 第2指標保持部、 120 表示制御部、 130 集計部、 132 分類部、 138 ノード情報保持部、 140 モニタ、 152 第2解析部、 158 第3指標保持部、 1006 ユーザ端末、 1010 運用管理装置、 1020 情報処理装置、 1030 ロードバランサ、 1130 学習部、 1140 状態設定部、 1150 乖離判定部、 1160 オーバライド部。
2 Information processing system, 100 index calculation unit, 102 network interface unit, 104 communication information holding unit, 108 first index holding unit, 110 usage status acquisition unit, 112 usage status holding unit, 114 coefficient holding unit, 116
Claims (4)
前記負荷履歴保持部を参照して今後発生する負荷を予測する負荷予測部と、
前記負荷予測部によって予測された負荷が所定の第1しきい値より少ない場合、少なくともひとつのサーバを、要求を受付可能な第1状態よりも省電力の第2状態に設定する状態設定部と、
ネットワークから得られる情報から、サーバの温度を取得する使用状況取得部と、を備え、
前記状態設定部は、前記使用状況取得部によって取得された温度が高いサーバを、前記第2状態に設定するサーバとして優先的に選択することを特徴とする運用管理装置。 A load history holding unit for holding a load history of requests for an information processing apparatus configured by connecting a plurality of servers via a network;
A load prediction unit that predicts a load that will occur in the future with reference to the load history holding unit;
A state setting unit configured to set at least one server in a second state of power saving rather than the first state capable of accepting a request when the load predicted by the load prediction unit is less than a predetermined first threshold; ,
A usage status acquisition unit that acquires the temperature of the server from information obtained from the network,
The state setting unit preferentially selects a server having a high temperature acquired by the use state acquisition unit as a server to be set to the second state.
前記負荷履歴保持部を参照して今後発生する負荷を予測する負荷予測部と、
前記負荷予測部によって予測された負荷が所定の第1しきい値より少ない場合、少なくともひとつのサーバを、要求を受付可能な第1状態よりも省電力の第2状態に設定する状態設定部と、
ネットワークから得られる情報から、サーバの仕事の量をサーバに対して予め定められた本来用途用の仕事の量と本来用途以外の用途である非本来用途用の仕事の量とに分類し、本来用途用の仕事の一単位の処理に起因するサーバの温度の上昇値を算出する指標算出部と、を備え、
前記状態設定部は、前記指標算出部によって算出された上昇値が大きいサーバを、前記第2状態に設定するサーバとして優先的に選択することを特徴とする運用管理装置。 A load history holding unit for holding a load history of requests for an information processing apparatus configured by connecting a plurality of servers via a network;
A load prediction unit that predicts a load that will occur in the future with reference to the load history holding unit;
A state setting unit configured to set at least one server in a second state of power saving rather than the first state capable of accepting a request when the load predicted by the load prediction unit is less than a predetermined first threshold; ,
Based on the information obtained from the network, the amount of work of the server is classified into the amount of work for the original purpose predetermined for the server and the amount of work for the non-original purpose that is a use other than the original purpose. An index calculation unit that calculates an increase in the temperature of the server due to processing of one unit of work for use, and
The operation management apparatus, wherein the state setting unit preferentially selects a server having a large increase value calculated by the index calculation unit as a server to be set to the second state.
ネットワークから得られる情報から、サーバの温度を取得する解析装置と、を備え、
前記解析装置は、
複数のサーバのうち要求に対応した処理の実行が不要な少なくともひとつのサーバを選択するユニット選択部と、
前記ユニット選択部によって選択された少なくともひとつのサーバを、要求を受付可能な稼動状態から、稼動状態よりも省電力の省電力状態に設定するユニット設定部と、を含み、
前記ユニット選択部は、前記解析装置によって取得された温度が高いほど優先的に省電力状態に設定されるように、各サーバに対して省電力状態とされる順番を設定し、
前記ユニット選択部は、要求の負荷が所定の値より少ない場合、稼動状態にあるサーバのうち省電力状態とされる順番が最も高いサーバを、要求に対応した処理の実行が不要なサーバとして選択することを特徴とする情報処理システム。 A load management device that obtains a request for an information processing device configured by connecting a plurality of servers through a network from outside, and assigns the obtained request to at least one of the plurality of servers;
An analysis device that acquires the temperature of the server from information obtained from the network,
The analysis device includes:
A unit selection unit that selects at least one server that does not require execution of processing corresponding to the request among a plurality of servers;
A unit setting unit that sets at least one server selected by the unit selection unit from an operating state in which a request can be received to a power saving state that is lower than the operating state; and
The unit selection unit sets the order in which the power saving state is set for each server so that the higher the temperature acquired by the analysis device is, the higher the temperature is, the power saving state is set.
When the requested load is less than a predetermined value, the unit selection unit selects a server in the operating state that has the highest power saving state as a server that does not need to execute processing corresponding to the request. An information processing system characterized by
ネットワークから得られる情報から、サーバごとに、サーバの仕事の量をサーバに対して予め定められた本来用途用の仕事の量と本来用途以外の用途である非本来用途用の仕事の量とに分類し、本来用途用の仕事の一単位の処理に起因するサーバの温度の上昇値を算出する解析装置と、を備え、
前記解析装置は、
複数のサーバのうち要求に対応した処理の実行が不要な少なくともひとつのサーバを選択するユニット選択部と、
前記ユニット選択部によって選択された少なくともひとつのサーバを、要求を受付可能な稼動状態から、稼動状態よりも省電力の省電力状態に設定するユニット設定部と、を含み、
前記ユニット選択部は、前記解析装置によって算出された上昇値が大きいほど優先的に省電力状態に設定されるように、各サーバに対して省電力状態とされる順番を設定し、
前記ユニット選択部は、要求の負荷が所定の値より少ない場合、稼動状態にあるサーバのうち省電力状態とされる順番が最も高いサーバを、要求に対応した処理の実行が不要なサーバとして選択することを特徴とする情報処理システム。 A load management device that obtains a request for an information processing device configured by connecting a plurality of servers through a network from outside, and assigns the obtained request to at least one of the plurality of servers;
From the information obtained from the network, for each server, the amount of work for the server is determined in advance for the amount of work for the original use and the amount of work for the non-original use that is a use other than the original use. An analysis device that classifies and calculates an increase in the temperature of the server due to the processing of one unit of work for intended use,
The analysis device includes:
A unit selection unit that selects at least one server that does not require execution of processing corresponding to the request among a plurality of servers;
A unit setting unit that sets at least one server selected by the unit selection unit from an operating state in which a request can be received to a power saving state that is lower than the operating state; and
The unit selection unit sets the order in which the power saving state is set for each server so that the increase value calculated by the analysis device is larger and the power saving state is preferentially set.
When the requested load is less than a predetermined value, the unit selection unit selects a server in the operating state that has the highest power saving state as a server that does not need to execute processing corresponding to the request. An information processing system characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011234898A JP5309200B2 (en) | 2011-10-26 | 2011-10-26 | Operation management apparatus and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011234898A JP5309200B2 (en) | 2011-10-26 | 2011-10-26 | Operation management apparatus and information processing system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010072547A Division JP4878394B2 (en) | 2010-03-26 | 2010-03-26 | Operation management apparatus and operation management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012053899A true JP2012053899A (en) | 2012-03-15 |
JP5309200B2 JP5309200B2 (en) | 2013-10-09 |
Family
ID=45907072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011234898A Expired - Fee Related JP5309200B2 (en) | 2011-10-26 | 2011-10-26 | Operation management apparatus and information processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5309200B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014236637A (en) * | 2013-06-04 | 2014-12-15 | 日本電気株式会社 | Server system, its control method and control program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302242A (en) * | 1994-04-30 | 1995-11-14 | Mitsubishi Electric Corp | Load distribution system |
JP2003281008A (en) * | 2002-03-26 | 2003-10-03 | Toshiba Corp | Device, method and program for distributing server computer load, and server computer system |
JP2003295983A (en) * | 2002-03-18 | 2003-10-17 | Internatl Business Mach Corp <Ibm> | Method and program for controlling power consumption of computer server |
WO2004092971A1 (en) * | 2003-04-14 | 2004-10-28 | Fujitsu Limited | Server allocation control method |
JP2006146605A (en) * | 2004-11-19 | 2006-06-08 | Internatl Business Mach Corp <Ibm> | Information processor, control method, and program |
JP2007179437A (en) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | Management system, management program and management method |
JP2008242614A (en) * | 2007-03-26 | 2008-10-09 | Nec Corp | Job scheduling apparatus and job scheduling method |
-
2011
- 2011-10-26 JP JP2011234898A patent/JP5309200B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07302242A (en) * | 1994-04-30 | 1995-11-14 | Mitsubishi Electric Corp | Load distribution system |
JP2003295983A (en) * | 2002-03-18 | 2003-10-17 | Internatl Business Mach Corp <Ibm> | Method and program for controlling power consumption of computer server |
JP2003281008A (en) * | 2002-03-26 | 2003-10-03 | Toshiba Corp | Device, method and program for distributing server computer load, and server computer system |
WO2004092971A1 (en) * | 2003-04-14 | 2004-10-28 | Fujitsu Limited | Server allocation control method |
JP2006146605A (en) * | 2004-11-19 | 2006-06-08 | Internatl Business Mach Corp <Ibm> | Information processor, control method, and program |
JP2007179437A (en) * | 2005-12-28 | 2007-07-12 | Fujitsu Ltd | Management system, management program and management method |
JP2008242614A (en) * | 2007-03-26 | 2008-10-09 | Nec Corp | Job scheduling apparatus and job scheduling method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014236637A (en) * | 2013-06-04 | 2014-12-15 | 日本電気株式会社 | Server system, its control method and control program |
US9910486B2 (en) | 2013-06-04 | 2018-03-06 | Nec Corporation | Controlling power allocation in a server system that utilizes supplemental batteries |
Also Published As
Publication number | Publication date |
---|---|
JP5309200B2 (en) | 2013-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4681676B1 (en) | Information processing system and information processing method | |
Hameed et al. | A survey and taxonomy on energy efficient resource allocation techniques for cloud computing systems | |
Yao et al. | Data centers power reduction: A two time scale approach for delay tolerant workloads | |
Yadav et al. | Managing overloaded hosts for energy-efficiency in cloud data centers | |
JP4824806B2 (en) | Load management apparatus, information processing system, and load management method | |
Zhang et al. | Energy-efficient workload allocation and computation resource configuration in distributed cloud/edge computing systems with stochastic workloads | |
Jeevitha et al. | RETRACTED ARTICLE: A novel scheduling approach to improve the energy efficiency in cloud computing data centers | |
Guo et al. | JET: Electricity cost-aware dynamic workload management in geographically distributed datacenters | |
Wang et al. | An adaptive model-free resource and power management approach for multi-tier cloud environments | |
Dou et al. | An energy‐aware virtual machine scheduling method for service QoS enhancement in clouds over big data | |
Xie et al. | Energy saving virtual machine allocation in cloud computing | |
Chaabouni et al. | Energy management strategy in cloud computing: a perspective study | |
Vrbsky et al. | Decreasing power consumption with energy efficient data aware strategies | |
Pore et al. | Techniques to achieve energy proportionality in data centers: A survey | |
Lin et al. | A heuristic task scheduling algorithm for heterogeneous virtual clusters | |
JP4878394B2 (en) | Operation management apparatus and operation management method | |
JP4846038B2 (en) | Analysis apparatus, information processing system, and analysis method | |
JP4824807B2 (en) | Load management apparatus, information processing system, and load management method | |
Puhan et al. | Energy efficiency for cloud computing applications: A survey on the recent trends and future scopes | |
Mandal et al. | PbV mSp: A priority-based VM selection policy for VM consolidation in green cloud computing | |
Qaiser et al. | Utilization driven model for server consolidation in cloud data centers | |
JP4878397B2 (en) | Information processing system and information processing method | |
JP5309200B2 (en) | Operation management apparatus and information processing system | |
Liu et al. | An energy-efficient adaptive resource provision framework for cloud platforms | |
HoseinyFarahabady et al. | Energy efficient resource controller for Apache Storm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130701 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |