JP5887846B2 - Power control system and power control method - Google Patents
Power control system and power control method Download PDFInfo
- Publication number
- JP5887846B2 JP5887846B2 JP2011246043A JP2011246043A JP5887846B2 JP 5887846 B2 JP5887846 B2 JP 5887846B2 JP 2011246043 A JP2011246043 A JP 2011246043A JP 2011246043 A JP2011246043 A JP 2011246043A JP 5887846 B2 JP5887846 B2 JP 5887846B2
- Authority
- JP
- Japan
- Prior art keywords
- power consumption
- server
- job
- power
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000005259 measurement Methods 0.000 claims description 15
- 230000003111 delayed effect Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000001934 delay Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 8
- 230000001174 ascending effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Power Sources (AREA)
Description
本発明は、不要な消費電力を削減する電力制御システムおよび電力制御方法に関する。 The present invention relates to a power control system and a power control method for reducing unnecessary power consumption.
ストレージやデータセンタにおいて、消費電力削減を目的とする電力制御システムが知られている。この電力制御システムは、記憶している過去の情報から今後の負荷を予測し、その結果で装置の状態を制御し、不要な消費電力を削減する。 A power control system for reducing power consumption is known in storage and data centers. This power control system predicts a future load from stored past information, controls the state of the apparatus based on the result, and reduces unnecessary power consumption.
電力制御システムの一例が特許文献1に記載されている。特許文献1に記載されたジョブスケジューリング装置は、ジョブの投入による全ての計算機の消費電力増加分と温度上昇分を予測する。さらに、そのジョブスケジューリング装置は、その予測結果に従って前記所望のジョブを割り当てる計算機を決定する。
An example of a power control system is described in
また、特許文献2に記載されたストレージシステムは、入出力エラーによる性能低下を招くことなくストレージの電源ON/OFFを制御する。
In addition, the storage system described in
また、特許文献3に記載された負荷管理装置は、今後の総アクセス数を予測し、予測結果からサーバ群の負荷を見積もり省電力状態と稼動状態の制御を行う。
The load management device described in
また、特許文献4に記載された負荷管理装置は、特許文献3に記載の負荷管理装置に更に見積もった負荷から電気料金の見込みを計算し、より安いリソースで代替することを可能とする。
In addition, the load management device described in
しかしながら、上述した特許文献1に記載された装置では、予測温度のみでジョブを制御するため、計算機の状態によっては温度上昇値が大きいからといって消費電力が大きいとは限らない。したがって、消費電力削減の観点からはこの制御は適切ではないという問題点がある。また、特許文献2記載のストレージシステム、特許文献3記載の負荷管理装置、特許文献4記載の負荷管理装置は、システムの処理状況に応じてリソースを減少させ消費電力を削減する。したがって、消費電力ピーク時はシステムをフル稼働せざるを得ず、電力の上限値を超えない制御を実現できないという問題点がある。
However, in the apparatus described in
本発明の目的の一例は、上述した問題点を解決できる電力制御システムを提供することにある。 An object of the present invention is to provide a power control system that can solve the above-described problems.
本発明の一形態における第一の電力制御システムは、
サーバごとに過去の消費電力データを記憶した消費電力記憶部と、
前記サーバごとに現在の消費電力を測定する消費電力測定部と、
ジョブ投入時、前記消費電力記憶部から出力された過去電力データと、前記消費電力測定部から出力された現消費電力から予測した予測消費電力を基に、あらかじめ設定された前記サーバの消費電力の上限値を超えるかどうかを判定し、超える場合は前記ジョブの投入タイミングを遅らせる制御を行う制御部を備える。
The first power control system according to one aspect of the present invention is:
A power consumption storage unit storing past power consumption data for each server;
A power consumption measuring unit that measures current power consumption for each server;
Based on the predicted power consumption predicted from the past power data output from the power consumption storage unit and the current power output output from the power consumption measurement unit at the time of job submission, the power consumption of the server set in advance is set. It is determined whether or not the upper limit value is exceeded, and if it exceeds, a control unit that performs control to delay the job submission timing is provided.
本発明の一形態における第一の電力制御方法は、ジョブ投入時、サーバごとの消費電力記憶部が出力する過去の消費電力データと、前記サーバごとの消費電力測定部が出力する現消費電力から制御部が予測消費電力を予測し、
前記予測消費電力を基に前記制御部が、あらかじめ設定されたサーバの消費電力の上限値を超えるかどうかを判定し、
超える場合は前記ジョブの投入タイミングを遅らせる制御を行う。
A first power control method according to an aspect of the present invention is based on past power consumption data output from a power consumption storage unit for each server and current power consumption output from a power consumption measurement unit for each server when a job is submitted. The control unit predicts the predicted power consumption,
Based on the predicted power consumption, the control unit determines whether it exceeds a preset upper limit value of power consumption of the server,
If it exceeds, control is performed to delay the job submission timing.
本発明によれば、電力ピーク時も電力の上限値を超えない制御を実現できるという効果が得られる。 According to the present invention, it is possible to obtain an effect that it is possible to realize control that does not exceed the upper limit value of power even at the time of power peak.
次に、本発明の実施形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
[第1の実施の形態]
図1は、本発明の第1の実施の形態における電力制御システム100の構成を示すブロック図である。図1を参照すると、電力制御システム100は、ネットワーク101とネットワーク101に接続された制御部102と、サーバ111(サーバA)、112(サーバB)とを備える。各サーバ111、112などは消費電力記憶部121、消費電力測定部122を備える。なお、サーバ111、112以外のサーバが、ネットワーク101に接続されても良く、接続されるサーバの数は、限定しない。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of a power control system 100 according to the first embodiment of the present invention. Referring to FIG. 1, a power control system 100 includes a network 101, a
第1の実施の形態における電力制御システム100において、サーバ111,112へのジョブ投入時、過去の消費電力データと、現消費電力から、制御部102はジョブ投入後の消費電力を予測する。予測された消費電力を基に制御部102は、あらかじめ設定されたサーバの消費電力の上限値を超えるかどうかを判定する。そして、超えると判定した場合、制御部102はジョブの投入タイミングを遅らせる制御を行う。したがって、第1の実施の形態における電力制御システム100は、消費電力ピーク時も電力の上限値を超えない制御を実現できる。
In the power control system 100 according to the first embodiment, when a job is input to the
次に、第1の実施の形態における電力制御システム100の構成について説明する。 Next, the configuration of the power control system 100 in the first embodiment will be described.
消費電力記憶部121は、サーバ111に、ユーザから過去にジョブが投入された回数(ジョブ投入回数)と、投入された際の消費電力の上昇分の平均値(過去電力データ)をユーザごとに記憶する。過去電力データは、言わば、ユーザごとのジョブ投入時の消費電力の電力増分であり、サーバごとに記憶される。また、消費電力記憶部121は、サーバごとに定めた消費電力の上限値(ピーク電力)も記憶する。
The power
消費電力測定部122はサーバ111の現在の消費電力を測定する。また、消費電力測定部122は、ジョブ処理中のサーバの消費電力を測定することで、ジョブ投入で発生する消費電力上昇分を測定する。
The power
制御部102は、ユーザによる操作に基づき、ジョブと投入サーバ(サーバ111または112)の指定、ジョブ処理の優先度の指定、性能の指定を受信し、それら指定に基づいて、ジョブの投入タイミングを制御してもよい。さらに、制御部102は、ジョブ処理の優先度が高いほどユーザから高いシステム使用料金を徴収するよう、サーバ111を制御してもよい。また制御部102は、ジョブ投入制御の際に参照するデータの更新とデータの出力を行う。ジョブ投入制御の際に更新し出力するデータとは、各サーバの消費電力記憶部121が記憶している過去電力データとジョブ投入回数、ピーク電力である。
Based on the operation by the user, the
制御部102が受信するジョブ処理の優先度は、ジョブの投入待ち時間の許容値とユーザから徴収する料金の情報を含む。この場合、たとえば、制御部102は、ジョブ投入サーバに対し、優先度が高いほど待ち時間の許容値を小さく、料金を高く設定する。
The job processing priority received by the
なお、制御部102は、CPU(中央処理装置)と、プログラムを記録した記憶媒体を含み、その記憶媒体に記憶されたプログラムに基づいて、以降に説明する制御の動作を実行しても良い。
Note that the
また、サーバ112及びそれ以外のサーバについてもサーバ111と同様の構成を有する。
The
以上のように構成された電力制御システム100の動作について、図2のフローチャートを参照して説明する。 The operation of the power control system 100 configured as described above will be described with reference to the flowchart of FIG.
図2は、第1の実施の形態における電力制御システム100でのジョブ割り当ての動作の概要を示すフローチャートである。 FIG. 2 is a flowchart illustrating an outline of job assignment operation in the power control system 100 according to the first embodiment.
図2に示すように、まず、制御部102は、新規投入のジョブを受信したとする。この場合、制御部102は、ユーザの選択によってジョブ投入サーバを決定する(ステップS101)。
As shown in FIG. 2, it is assumed that the
次に、制御部102は、ジョブ投入サーバの消費電力記憶部121が記憶している過去電力データと消費電力測定部122で測定される現消費電力を抽出する(ステップS102)。
Next, the
ここで、制御部102は、過去電力データが消費電力記憶部121に登録されているかどうかを判定する(ステップS103)。制御部102は、登録されていると判定した場合、現消費電力に過去電力データを加算し、その加算値を予測消費電力のデータとして発生する(ステップS104)。
Here, the
もし、過去電力データが消費電力記憶部121に無い場合、制御部102は消費電力記憶部121に記憶されている全ユーザの過去電力データの平均を算出し、ジョブ投入ユーザの過去電力データとして設定し、消費電力記憶部121にそのデータを格納する(ステップS105)。また、過去電力データが消費電力記憶部121に登録されている場合と同様、制御部102は、現消費電力に過去電力データを加算した値を予測消費電力のデータとして発生する(ステップS104)。
If there is no past power data in the power
次に、制御部102は、ジョブ投入サーバの消費電力記憶部121に記憶されているピーク電力を確認し、予測消費電力のデータ(以下、単に予測消費電力とも呼ぶ)と比較する(ステップS106)。
Next, the
もし、予測消費電力がピーク電力を超えている場合、制御部102は、ジョブの投入待ち時間がユーザの指定した許容値を超過するまではジョブ投入サーバで既に実行されているジョブのうち一つが完了するまで待機する(ステップS107)。これにより、ジョブ投入のタイミングを、現在処理している1つのジョブの処理が完了するまで遅らせることができる。
If the predicted power consumption exceeds the peak power, the
一つのジョブが完了すると現消費電力が減少し、従って予測消費電力が減少する。待ち時間が許容値に達成していない場合(ステップS111でNo)、制御部102は、ステップS104,106を実行し、再度ピーク電力と予測消費電力と比較する。
When one job is completed, the current power consumption decreases, and thus the predicted power consumption decreases. When the waiting time has not reached the allowable value (No in Step S111), the
予測消費電力がピーク電力を下回っている場合、制御部102はジョブをジョブ投入サーバに投入する(ステップS108)。
If the predicted power consumption is lower than the peak power, the
ジョブ投入後、消費電力測定部122はジョブ投入による消費電力上昇を測定し(ステップS109)、制御部102は当該ジョブの消費電力上昇分を消費電力測定部122から読み出し、また当該ユーザが過去にジョブ投入した回数を消費電力記憶部121から読み出す。次に、制御部102は、(過去電力データ×記録回数+消費電力上昇分)/(記録回数+1)の式で新たに平均値を算出し、ジョブ投入回数は1を加算し、それぞれを消費電力記憶部121に出力する。消費電力記憶部121は過去電力データとジョブ投入回数をそれぞれ記憶する(ステップS110)。
After the job is submitted, the power
ジョブの投入待ち時間がユーザの指定した優先度に応じた許容値を超過してしまった場合(ステップS111のYes)の電力制御システム100の動作について図3に示すフローチャートを参照して説明する。 The operation of the power control system 100 when the job submission waiting time exceeds the allowable value according to the priority specified by the user (Yes in step S111) will be described with reference to the flowchart shown in FIG.
待ち時間が許容値を超えた場合、ジョブ投入ユーザの要求を満たすことができない。この場合、電力制御システム100の制御部102は、ユーザに対してのシステム使用料金を、ペナルティ分に相当する一定額を引き下げる(ステップS112)。具体的には、制御部102は、ジョブ投入サーバの図示しない課金システム、あるいは別な課金用サーバを経由して、使用料金を引き下げるように制御する。
If the waiting time exceeds the allowable value, the job submission user's request cannot be satisfied. In this case, the
その後、ステップS104〜ステップS111と同様に、制御部102は予測消費電力を算出し(ステップS113)、ピーク電力を超えるかどうか比較する(ステップS114)。超える場合、制御部102は、実行中ジョブのうち一つの完了を待って(ステップS115)、再度予測消費電力の算出とピーク電力との比較を行う(ステップS113、S114)。
Thereafter, similarly to step S104 to step S111, the
予測消費電力がピーク電力を下回った場合、最初から下回っている場合と同様に制御部102はジョブを投入し(ステップS108)、消費電力測定部122はジョブ投入による消費電力上昇を測定する(ステップS109)。制御部102は過去電力データとジョブ投入回数を更新し、消費電力記憶部121にそれぞれ格納する(ステップS110)。
When the predicted power consumption is lower than the peak power, the
以上で、電力制御システム100は、ジョブ割り当ての動作を終了する。 Thus, the power control system 100 ends the job assignment operation.
次に、本発明の第1の実施の形態の効果について説明する。 Next, effects of the first exemplary embodiment of the present invention will be described.
上述した本実施形態における電力制御システムは、消費電力ピーク時も電力の上限値を超えない制御を実現できる。 The power control system according to the present embodiment described above can realize control that does not exceed the upper limit value of power even during peak power consumption.
その理由は、以下のような構成を含むからである。即ち、第1に制御部102は、過去電力データと現消費電力を基にジョブ投入後の電力を予測する。第2に制御部102は予測した電力とサーバごとに定めた消費電力の上限値(ピーク電力)を超えるか否かを判定する。そして、制御部102は、サーバの消費電力の上限値を超える場合、前記ジョブの投入タイミングを遅らせる制御を行う。これにより、制御部102は、予測電力がピーク電力を超過する場合は、予測電力が下回るまでジョブ投入しない制御を行うので、消費電力ピーク時も電力の上限値を超えない制御を実現できるという効果が得られる。
This is because the following configuration is included. That is, first, the
[第2の実施形態]
次に、本発明の第2の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. Hereinafter, the description overlapping with the above description is omitted as long as the description of the present embodiment is not obscured.
図4は、本発明の第2の実施形態に係る電力制御システム200の構成を示すブロック図である。 FIG. 4 is a block diagram showing a configuration of a power control system 200 according to the second embodiment of the present invention.
図4を参照すると、本実施形態における電力制御システム200は、第1の実施形態のそれと比べて、電源管理部203とアイドリング状態消費電力記憶部204を更に備える。
Referring to FIG. 4, the power control system 200 in the present embodiment further includes a
電源管理部203は、制御部102の制御によりネットワーク101に接続された各サーバ111、112などの電源の起動、停止を含む電源状態を管理する。
The
アイドリング状態消費電力記憶部204は、ネットワーク101に接続された全てのサーバ111、112などのジョブ未投入時(アイドリング状態とも言う)の消費電力を記憶する。制御部102は、各サーバのジョブ未投入時(アイドリング状態)の消費電力を、消費電力測定部122で測定し、その測定値をサーバごとにアイドリング状態消費電力記憶部204に記憶するようにしても良い。
The idling state power
次に、電力制御システム200の動作について図5、図6、図7、図8、図9、図10に示すフローチャートを参照して説明する。 Next, the operation of the power control system 200 will be described with reference to the flowcharts shown in FIGS. 5, 6, 7, 8, 9, and 10.
図5、図6、図7、図8、図9は、第2の実施の形態における電力制御システム200でのジョブ割り当ての動作の概要を示すフローチャートである。 FIG. 5, FIG. 6, FIG. 7, FIG. 8, and FIG. 9 are flowcharts showing an outline of the job assignment operation in the power control system 200 in the second embodiment.
図5を参照すると、まず、制御部102はジョブ投入サーバを決定し、予測消費電力と過去電力データを比較し、ジョブの投入待ち時間がユーザの指定した優先度に応じた許容値を超過するまでは、予測消費電力がピーク電力を下回るまでジョブ投入を遅らせる処理までは第1の実施の形態のステップS101〜S111と同様である(ステップS201〜ステップS211)。
Referring to FIG. 5, first, the
ジョブの投入待ち時間がユーザの指定した優先度に応じた許容値を超過する場合(ステップS211のYes)の電力制御システム200の動作について図6に示すフローチャートを参照して説明する。 The operation of the power control system 200 when the job submission waiting time exceeds the allowable value according to the priority designated by the user (Yes in step S211) will be described with reference to the flowchart shown in FIG.
ジョブの投入待ち時間が許容値を超過しているため、電力制御システム200は至急ジョブ投入できるサーバを調査する必要がある。 Since the job submission waiting time exceeds an allowable value, the power control system 200 needs to investigate a server that can urgently submit a job.
制御部102は、たとえば、電源管理部203における電源状態を監視することで、各サーバの稼動状態を監視し、ジョブ投入予定のサーバ(例えば、サーバ111)以外に他に稼働中のサーバがあるかどうかを調べる(ステップS212)。
The
稼働中のサーバがあった場合、制御部102は当該サーバ(たとえば、サーバ112)でジョブを投入できる性能があるかどうかを調べる(ステップS213)。
When there is an active server, the
投入できる性能がある場合、制御部102はサーバ(112)でジョブの投入待ちがないかどうかを調べる(ステップS214)。
If there is a performance that can be submitted, the
ジョブの投入待ちが無い場合、制御部102はそのサーバでジョブを投入する(図5ステップS208)。
When there is no job submission waiting, the
以降は第1の実施の形態と同様とする(ステップS208〜ステップS210)。 The subsequent steps are the same as those in the first embodiment (steps S208 to S210).
ジョブの投入待ちがあった場合またはジョブを投入できる性能ではなかった場合、制御部102は他に稼働中サーバがないかどうか調べ、あった場合は同様に調査する(ステップS212〜ステップS214)。
When there is a job submission wait or when the performance is not sufficient to submit the job, the
制御部102は、全ての稼働中サーバを調査し、ジョブが投入できるサーバが無かった場合(ステップS212でNo)の電力制御システム200の動作について図7に示すフローチャートを参照して説明する。
The
まず、制御部102はネットワーク101に接続された各サーバ111、112などの全体の余裕電力としてWmを設定する。ここではWm=0として初期化する(ステップS215)。
First, the
制御部102は当該サーバのピーク電力と現消費電力のギャップが閾値、たとえば100Wを超えているかどうかを調べる(ステップS216)。
The
超えている場合、制御部102は当該サーバの消費電力記憶部121に記憶されているピーク電力を50W減少させて更新する(ステップS217)。ピーク電力の減少分は、上述の閾値より小さな値でなければならない。次に、制御部102は余裕電力Wmに、ピーク電力を減少させた分の電力50Wを追加する。具体的にはWm=Wm+50の加算を行う(ステップS218)。
If it exceeds, the
制御部102はジョブ投入予定のサーバ以外に他に稼働中のサーバがあるかどうかを調べる(ステップS219)。稼働中のサーバがあった場合、制御部102は稼働中のサーバに対して以上の処理を繰り返す(ステップS216〜ステップS219)。
The
次に、制御部102はネットワーク101に接続された各サーバ111、112などの中からお客様の要求を満たす停止中のサーバがあるかどうかを調べる(ステップS220)。
Next, the
停止中のサーバがあった場合、制御部102はアイドリング状態消費電力記憶部204に記憶されている当該サーバのアイドリング状態消費電力を確認する(ステップS221)。余裕電力Wmが当該サーバのアイドリング状態消費電力+100W(100WはステップS216での閾値)より大きい場合(ステップS222)、電源管理部203は当該サーバの電源を投入し起動させる(ステップS223)。制御部102はその起動したサーバでジョブを投入する(図5ステップS208)。
When there is a stopped server, the
以降は第1の実施の形態と同様とする。 The subsequent steps are the same as those in the first embodiment.
余裕電力Wmが当該サーバのアイドリング状態消費電力+100Wより小さい場合、電源は投入せず、制御部102は他に停止中のサーバがないと判定するまで以上の処理を繰り返す(ステップS220〜ステップS222)。
If the surplus power Wm is less than the idle state power consumption of the server +100 W, the power is not turned on, and the
全ての停止中サーバを調査し、電源が投入できるサーバが無かった場合の電力制御システム200の動作(ステップS220でNo)について図8に示すフローチャートを参照して説明する。 The operation of the power control system 200 (No in step S220) when all the stopped servers are investigated and no server can be turned on will be described with reference to the flowchart shown in FIG.
まず、制御部102は最初にユーザに指定されたサーバをジョブ投入サーバとして選定する(ステップS224)。
First, the
次に、制御部102は最初にユーザに指定されたサーバに関して、消費電力測定部122で測定される現消費電力に消費電力記憶部121が記憶している過去電力データ(ステップS203、S205にて最初にユーザに指定されたサーバの過去電力データが存在することは明らかである)を加算した値を予測消費電力のデータとして発生する(ステップS225)。最初にユーザに指定されたサーバの予測消費電力のデータは既にステップS204にて算出済みであるが、現消費電力が変化している可能性があるため、再度このステップにて算出する。
Next, with respect to the server first designated by the user, the
次に、制御部102は、最初にユーザに指定されたサーバの消費電力記憶部121に記憶されているピーク電力と余裕電力Wmを加算し、予測消費電力と比較する(ステップS226)。予測消費電力がピーク電力と余裕電力Wmの和を下回っている場合、制御部102は、消費電力記憶部121に記憶されているピーク電力を、選定したサーバのピーク電力と余裕電力Wmとの和で更新する(ステップS227)。次に、制御部102は、最初にユーザに指定されたサーバにジョブを投入する(図5ステップS208)。
Next, the
以降は第1の実施の形態と同様とする。 The subsequent steps are the same as those in the first embodiment.
予測消費電力がピーク電力と余裕電力Wmの和を超えている場合、制御部102はネットワーク101に接続された稼働中の各サーバ111、112などの中からお客様の要求を満たし、かつ最もピーク電力と現消費電力の差が大きいものを選定する。(ステップS228)。
When the predicted power consumption exceeds the sum of the peak power and the surplus power Wm, the
制御部102は選定したサーバの消費電力記憶部121が記憶している過去電力データと消費電力測定部122で測定される現消費電力を確認する(ステップS229)。
The
ここで制御部102は、過去電力データが消費電力記憶部121にあるかどうかを確認し(ステップS230)、ある場合は現消費電力に過去電力データを加算した値を予測消費電力とする(ステップS231)。もし、過去電力データが消費電力記憶部121に無い場合、制御部102は消費電力記憶部121に記憶されている全ユーザの過去電力データの平均を算出し、平均値をジョブ投入ユーザの過去電力データとして設定し、消費電力記憶部121にそのデータを記憶する(ステップS232)。次に、過去電力データが消費電力記憶部121にあった場合と同様、制御部102は、現消費電力に過去電力データを加算した値を予測消費電力とする(ステップS231)。
Here, the
次に、制御部102は、ステップS228で選定したサーバの消費電力記憶部121に記憶されているピーク電力と余裕電力Wmを加算し、予測消費電力と比較する(ステップS233)。
Next, the
予測消費電力がピーク電力と余裕電力Wmの和を下回っている場合、制御部102は、消費電力記憶部121に記憶されているピーク電力を、選定したサーバのピーク電力と余裕電力Wmとの和で更新する(ステップS227)。次に、制御部102は、ステップS228で選定したサーバにジョブを投入する(図5ステップS208)。
When the predicted power consumption is less than the sum of the peak power and the surplus power Wm, the
以降は第1の実施の形態と同様とする。 The subsequent steps are the same as those in the first embodiment.
もし、予測消費電力がピーク電力と余裕電力Wmの和を超えている場合(ステップS233でNo)の電力制御システム200の動作について図9に示すフローチャートを参照して説明する。 The operation of the power control system 200 when the predicted power consumption exceeds the sum of the peak power and the surplus power Wm (No in step S233) will be described with reference to the flowchart shown in FIG.
まず、制御部102は最初にユーザに指定されたサーバをジョブ投入サーバとして再選定する(ステップS234)。
First, the
制御部102は、実行中ジョブのうち一つの完了を待つ(ステップS235)。
The
ジョブ投入ユーザの要求を満たすことができなかったため、電力制御システム200はユーザに対してのシステム使用料金をペナルティ分として一定額引き下げる(ステップS236)。 Since the job input user's request could not be satisfied, the power control system 200 reduces the system usage fee for the user by a fixed amount (step S236).
その後、ステップS231、ステップS233と同様に、制御部102は、予測消費電力を算出し(ステップS237)、ピーク電力と余裕電力Wmの和を超えるかどうか比較する(ステップS238)。超える場合、制御部102は、実行中ジョブのうち一つの完了を待って(ステップS239)再度予測消費電力の算出(ステップS237)と、ピーク電力と余裕電力Wmの和との比較を行う(ステップS238)。
Thereafter, similarly to step S231 and step S233, the
予測消費電力がピーク電力を下回っている場合、制御部102は、消費電力記憶部121に記憶されているピーク電力を、選定したサーバのピーク電力と余裕電力Wmとの和で更新する(ステップS240)。次に、制御部102はジョブを投入する(図5ステップS208)。
When the predicted power consumption is lower than the peak power, the
以降は第1の実施の形態と同様とする。 The subsequent steps are the same as those in the first embodiment.
以上で、電力制御システム200は、ジョブ割り当ての動作を終了する。 Thus, the power control system 200 ends the job assignment operation.
また、この実施形態の場合、電力制御システム200を放置しておくと停止中のサーバに電源投入されアイドリング状態のサーバが増え消費電力が増加する可能性がある。このため、使っていないアイドリング状態のサーバは電源断にする必要がある。アイドリング状態のサーバの電源断の動作の一例を図10に示すフローチャートを参照して説明する。 In the case of this embodiment, if the power control system 200 is left unattended, there is a possibility that the servers that are stopped are powered on and the number of idle servers increases and power consumption increases. For this reason, it is necessary to power off servers that are not being used. An example of the power-off operation of the server in the idling state will be described with reference to the flowchart shown in FIG.
制御部102はネットワーク101に接続された各サーバ111、112などから稼働中のサーバを探す(ステップS241)。
The
稼働中サーバがあった場合、制御部102は当該サーバに現在投入されているジョブがあるかどうか(アイドリング状態でないかどうか)を確認する(ステップS242)。
If there is an active server, the
投入されているジョブがある場合、制御部102はネットワーク101に接続された各サーバ111、112などから他に稼働中のサーバがあるか探す(ステップS241)。
If there is an input job, the
投入されているジョブが無い場合、電源管理部203は当該サーバを停止させ電源断とする(ステップS243)。
If there is no input job, the
制御部102は停止したサーバのピーク電力を、ネットワーク101に接続された稼働中のサーバ全てに均等に上乗せし稼働中の各サーバの消費電力記憶部121に出力し更新する。稼働中の各サーバの消費電力記憶部121は更新されたピーク電力を記憶する(ステップS244)。
The
制御部102はネットワーク101に接続された各サーバ111、112などから他に稼働中のサーバがあるか探す(ステップS241)。あった場合は同様の処理を行う(ステップS242〜ステップS244)。
The
全ての稼働中のサーバを確認した場合、終了とする。 When all the servers in operation are confirmed, the process ends.
以上で、電力制御システム200は、アイドリング状態のサーバの電源断の動作を終了する。アイドリング状態のサーバの電源断動作については一定の時間周期で実施することが必要であるが、時間周期の設定についてはシステム管理者が任意に決定してよい。 Thus, the power control system 200 ends the power-off operation of the idle server. The power-off operation of the server in the idling state needs to be performed at a certain time period, but the system administrator may arbitrarily determine the setting of the time period.
次に、本発明の第2の実施の形態の効果について説明する。 Next, effects of the second exemplary embodiment of the present invention will be described.
上述した本実施形態における電力制御システムは、ジョブ投入待ち時間の許容値超過を削減できる。 The power control system according to the present embodiment described above can reduce the job input waiting time exceeding the allowable value.
その理由は、以下のような構成を含むからである。即ち、第1に制御部102は、第1の実施の形態に加えてネットワーク101に接続されたサーバ111、112など他のサーバの電力消費状況を確認し、ジョブを投入できる稼働中サーバがあればジョブを投入する。第2に、制御部102は、ネットワーク101に接続されたサーバ111、112など他のサーバのピーク電力を減少させて、ネットワーク101に接続された停止中のサーバを起動させてジョブ投入を実行する。第3に、制御部102は、ネットワーク101に接続されたサーバ111、112など他のサーバのピーク電力を減少させて稼働中サーバのピーク電力を増加させてジョブ投入を実行する。したがって、制御部102はユーザから投入指定されたサーバだけではなくネットワーク101に接続された全てのサーバを対象にしてジョブ投入の制御を行うので、ジョブ投入待ち時間の許容値超過を削減できるという効果が得られる。
This is because the following configuration is included. That is, firstly, in addition to the first embodiment, the
なお、全ての停止中サーバを調査し、電源が投入できるサーバが無かった場合の電力制御システム200の動作(ステップS220でNo)については、ステップS228に直接移行しても良い。 It should be noted that all the stopped servers are investigated, and the operation of the power control system 200 (No in step S220) when there is no server that can be powered on may be directly transferred to step S228.
[第3の実施形態]
次に、本発明の第3の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. Hereinafter, the description overlapping with the above description is omitted as long as the description of the present embodiment is not obscured.
図11は、本発明の第3の実施形態に係る電力制御システム300の構成を示すブロック図である。 FIG. 11 is a block diagram showing a configuration of a power control system 300 according to the third embodiment of the present invention.
図11を参照すると、本実施形態における電力制御システム300は、第1の実施形態のそれと比べて、ジョブ行列制御部305を更に備える。
Referring to FIG. 11, the power control system 300 in the present embodiment further includes a job
ジョブ行列制御部305はネットワーク101に接続された各サーバ111、112などのジョブ行列の入替を制御する。ジョブ行列制御部305は、各サーバに投入予定のジョブをスタックするジョブキューを含む。
A job
次に、電力制御システム300の動作について図12、図13、図14に示すフローチャートを参照して説明する。 Next, the operation of the power control system 300 will be described with reference to the flowcharts shown in FIGS.
図12、図13は、第3の実施の形態における電力制御システム300でのジョブ割り当ての動作の概要を示すフローチャートである。第1の実施の形態のそれと同じ部分は省略する。 FIGS. 12 and 13 are flowcharts showing an outline of job assignment operation in the power control system 300 according to the third embodiment. The same parts as those of the first embodiment are omitted.
図12を参照すると、まず、制御部102はユーザが選択したサーバをジョブ投入サーバとして選定する(ステップS301)。このときにユーザが選択したサーバに既に投入待ちジョブがあるかどうかを確認し(ステップS302)、もしあれば制御部102はサーバ選定時点で既にあった投入待ちジョブがなくなるまでジョブを待機させる(ステップS303)。待機時にジョブ投入待ち時間の余裕具合が小さい順になるようジョブ行列制御部305によりジョブ行列の制御(ソート)が行われる(方法の一例については後述する)。
Referring to FIG. 12, first, the
選定時点で既にあった投入待ちジョブがなくなった場合、もしくは選定時点で最初から投入待ちジョブがなかった場合、ユーザが選択したサーバに関して予測消費電力と過去電力データを比較し、ジョブの投入待ち時間がユーザの指定した優先度に応じた許容値を超過するまでは、予測消費電力がピーク電力を下回るまでジョブ投入を遅らせる。ここまでは第1の実施の形態のステップS102〜S111と同様である(ステップS304〜ステップS313)。 When there are no jobs waiting to be submitted at the time of selection, or there are no jobs waiting to be submitted from the beginning at the time of selection, the estimated power consumption and past power data are compared for the server selected by the user, and the job submission waiting time is compared. Until the value exceeds the allowable value according to the priority specified by the user, the job submission is delayed until the predicted power consumption falls below the peak power. The steps so far are the same as steps S102 to S111 of the first embodiment (steps S304 to S313).
ジョブの投入待ち時間がユーザの指定した許容値を超過してしまった場合(ステップS313でYes)の電力制御システム300の動作について図13に示すフローチャートを参照して説明する。この場合も第1の実施の形態の図3、ステップS113〜S116と同様、ジョブ投入ユーザの要求を満たすことができないため、電力制御システム100の制御部102は、ユーザに対してのシステム使用料金を、ペナルティ分に相当する一定額を引き下げる(ステップS314)。
The operation of the power control system 300 when the job submission waiting time exceeds the allowable value designated by the user (Yes in step S313) will be described with reference to the flowchart shown in FIG. Also in this case, similarly to FIG. 3 of the first embodiment and steps S113 to S116, since the request of the job input user cannot be satisfied, the
その後、ステップS104〜ステップS111と同様に、制御部102は予測消費電力を算出し(ステップS315)、ピーク電力を超えるかどうか比較する(ステップS316)。超える場合、制御部102は、実行中ジョブのうち一つの完了を待って(ステップS317)、再度予測消費電力の算出とピーク電力との比較を行う(ステップS315、S316)。
Thereafter, similarly to step S104 to step S111, the
予測消費電力がピーク電力を下回った場合、最初から下回っている場合と同様に制御部102はジョブを投入し(ステップS310)、消費電力測定部122はジョブ投入による消費電力上昇を測定する(ステップS311)。制御部102は過去電力データとジョブ投入回数を更新し、消費電力記憶部121にそれぞれ格納する(ステップS312)。
When the predicted power consumption is lower than the peak power, the
ジョブ行列制御部305によるジョブ行列の制御(ソート)方法の一例を図14を用いて説明する。
An example of a job matrix control (sort) method by the job
最初に、ジョブ行列制御部305はネットワーク101内に稼働中のサーバがあるかどうか探す(ステップS318)。もしネットワーク101内に稼働中のサーバがなければ処理を終了させる。稼働中のサーバがあった場合、その稼働中のサーバの投入待ちジョブ数Nを調べ、Nが3より大きいかどうかを判定する(ステップS319)。ジョブ行列の先頭ジョブは制御部102のジョブ割り当ての動作対象であるので、ジョブ行列制御部305のジョブ行列制御(ソート)の対象外である。すなわち投入待ちジョブ数Nが1の場合はジョブ行列制御の対象ジョブが存在せず、投入待ちジョブ数Nが2の場合はジョブ行列制御の対象ジョブは存在するが複数ではないためジョブ行列のソートが発生しない。
First, the job
次に、パラメータとしてjを定義する。jの初期値を0として設定する。また、1回のソート処理におけるジョブの順番の交換回数をiとして定義する。iの初期値も0である(ステップS320)。 Next, j is defined as a parameter. The initial value of j is set as 0. Also, i is defined as the number of exchanges in the order of jobs in one sort process. The initial value of i is also 0 (step S320).
jがN−1より小さい場合(ステップS321)、ジョブ行列のj番目のジョブの投入待ち時間の許容値をTL(j)、ジョブの投入待ち時間をTW(j)とすると、
TL(N−j)−TW(N−j)<TL(N−j−1)−TW(N−j−1)
が成立する場合、ジョブ行列の(N−j)番目のジョブは一つ前の(N−j−1)番目のジョブよりもジョブ投入待ち時間の余裕具合が小さいため、(N−j−1)番目のジョブよりも先に投入されることが好ましい。そのため、
TL(N−j)−TW(N−j)<TL(N−j−1)−TW(N−j−1)
が成立する場合は(ステップS323)、ジョブ行列制御部305は(N−j)番目のジョブと(N−j−1)番目のジョブを入れ替える処理を行う(ステップS324)。また、順番交換回数iをi+1に更新する(ステップS324)。成立しない場合は何も処理しない。
If j is smaller than N−1 (step S321), let T L (j) be the allowable value for the jth job submission wait time in the job matrix and T W (j) be the job submission wait time.
T L (N−j) −T W (N−j) <T L (N−j−1) −T W (N−j−1)
Is satisfied, the (N−j−1) th job in the job matrix has a smaller margin of job input waiting time than the previous (N−j−1) th job. It is preferable that the job is submitted before the first job. for that reason,
T L (N−j) −T W (N−j) <T L (N−j−1) −T W (N−j−1)
If this is true (step S323), the job
ジョブ行列制御部305はパラメータjをj+1として更新し(ステップS325)、再度ステップS321〜ステップS325の処理を行う。
The job
これらの処理は、ジョブ行列制御部305がジョブ行列の最後尾のジョブと一つ前のジョブとを比較し、よりジョブ投入待ち時間の余裕具合が小さいジョブが行列の後ろにあった場合、一つ前のジョブと順番を交換するという処理である。
These processes are performed when the job
jがN−1以上となった場合(ステップS321)、ジョブ行列最後尾のジョブから2番目のジョブまでの順番交換処理が1回分完了する。この処理を全てのジョブがジョブ投入待ち時間の余裕具合が小さい順番にソート完了するまで繰り返す。ソート完了した場合、ジョブの順番の交換が行われなくなるため、順番交換回数iが0となる場合をソート完了の条件とする。 If j is greater than or equal to N−1 (step S321), the order exchange process from the last job in the job queue to the second job is completed once. This process is repeated until all jobs are sorted in order of increasing margin of job input waiting time. When the sorting is completed, the job order is not exchanged. Therefore, a case where the order exchange number i is 0 is set as a condition for completion of sorting.
1回の順番交換処理が完了した際に順番交換回数iが0でない場合(ステップS326)、まだ全てのジョブがジョブ投入待ち時間の余裕具合が小さい順番にソートされていない可能性があるため、再度ステップS320〜ステップS326の処理を行う。 If the number of order exchanges i is not 0 when one order exchange process is completed (step S326), all jobs may not be sorted in the order in which the margin of the job input waiting time is small. Steps S320 to S326 are performed again.
1回の順番交換処理が完了した際に順番交換回数iが0となった場合(ステップS326)、ジョブ行列制御部305はそのサーバにおけるジョブ投入待ち時間の余裕具合が小さい順番へのジョブのソートを完了とし、ネットワーク101内に他に稼働中のサーバがあるかどうか探す(ステップS327)。もしネットワーク101内に稼働中のサーバがあればジョブ行列制御部305は同様の処理を行い(ステップS319〜ステップS327)、稼働中のサーバがなければ処理を終了させる。
When the number of order exchanges i becomes 0 when one order exchange process is completed (step S326), the job
以上で、電力制御システム300は、ジョブ割り当ての動作を終了する。 Thus, the power control system 300 ends the job assignment operation.
次に、本発明の第3の実施の形態の効果について説明する。 Next, effects of the third exemplary embodiment of the present invention will be described.
上述した本実施形態における電力制御システムは、ジョブ投入待ち時間の許容値超過を削減できる。 The power control system according to the present embodiment described above can reduce the job input waiting time exceeding the allowable value.
その理由は、以下のような構成を含むからである。即ち、第1にジョブ行列制御部305は、第1の実施の形態に加えてジョブの投入待ち行列の連続する2件の待ちジョブの投入待ち時間と許容値を確認する。第2に、一つ前のジョブの投入待ち時間よりジョブ投入待ち時間の余裕具合が小さい場合、ジョブ行列制御部305は投入予定ジョブと一つ前の待ちジョブとの順序を入れ替える処理を繰り返し、ジョブ投入待ち時間の余裕具合が小さい順番にジョブをソートする。したがって、ジョブ投入待ち時間の許容値超過を削減できるという効果が得られる。
This is because the following configuration is included. That is, first, the job
[第4の実施形態]
次に、本発明の第4の実施形態について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described in detail with reference to the drawings. Hereinafter, the description overlapping with the above description is omitted as long as the description of the present embodiment is not obscured.
図15は、本発明の第4の実施形態に係る電力制御システム400の構成を示すブロック図である。 FIG. 15 is a block diagram showing a configuration of a power control system 400 according to the fourth embodiment of the present invention.
図15を参照すると、本実施形態における電力制御システム400は、第2の実施形態のそれと比べて、ジョブ行列制御部305を更に備える。また第3の実施形態のそれと比べて、電源管理部203とアイドリング状態消費電力記憶部204を更に備える。つまり第2の実施形態のシステムと第3の実施形態のシステムが複合された電力制御システムである。
Referring to FIG. 15, the power control system 400 in the present embodiment further includes a job
次に、電力制御システム400の動作について図16、図17、図18、図19、図20に示すフローチャートを参照して説明する。 Next, the operation of the power control system 400 will be described with reference to the flowcharts shown in FIGS. 16, 17, 18, 19, and 20.
図16、図17、図18、図19、図20は、第4の実施の形態における電力制御システム400でのジョブ割り当ての動作の概要を示すフローチャートである。 16, FIG. 17, FIG. 18, FIG. 19, and FIG. 20 are flowcharts showing an overview of job assignment operations in the power control system 400 according to the fourth embodiment.
図16を参照すると、まず、制御部102はユーザが選択したサーバをジョブ投入サーバとして選定する(ステップS401)。このときにユーザが選択したサーバに既に投入待ちジョブがあるかどうかを確認し(ステップS402)、もしあれば制御部102はサーバ選定時点で既にあった投入待ちジョブがなくなるまでジョブを待機させる(ステップS403)。待機時にジョブ投入待ち時間の余裕具合が小さい順になるようジョブ行列制御部305によりジョブ行列の制御(ソート)が行われる。
Referring to FIG. 16, first, the
選定時点で既にあった投入待ちジョブがなくなった場合、もしくは選定時点で最初から投入待ちジョブがなかった場合、ユーザが選択したサーバに関して予測消費電力と過去電力データを比較し、ジョブの投入待ち時間がユーザの指定した優先度に応じた許容値を超過するまでは、予測消費電力がピーク電力を下回るまでジョブ投入を遅らせる。ここまでは第1の実施の形態のステップS101〜S112と同様である(ステップS404〜ステップS413)。 When there are no jobs waiting to be submitted at the time of selection, or there are no jobs waiting to be submitted from the beginning at the time of selection, the estimated power consumption and past power data are compared for the server selected by the user, and the job submission waiting time is compared. Until the value exceeds the allowable value according to the priority specified by the user, the job submission is delayed until the predicted power consumption falls below the peak power. The steps so far are the same as steps S101 to S112 of the first embodiment (steps S404 to S413).
ジョブの投入待ち時間がユーザの指定した許容値を超過してしまった場合(ステップS413でYes)の電力制御システム300の動作について図17に示すフローチャートを参照して説明する。 The operation of the power control system 300 when the job submission waiting time exceeds the allowable value designated by the user (Yes in step S413) will be described with reference to the flowchart shown in FIG.
ジョブの投入待ち時間が許容値を超過しているため、電力制御システム400は至急ジョブ投入できるサーバを調査する必要がある。 Since the job submission waiting time exceeds the allowable value, the power control system 400 needs to investigate a server that can urgently submit the job.
制御部102は、たとえば、電源管理部203における電源状態を監視することで、各サーバの稼動状態を監視し、ジョブ投入予定のサーバ(例えば、サーバ111)以外に他に稼働中のサーバがあるかどうかを調べる(ステップS414)。
The
稼働中のサーバがあった場合、制御部102は当該サーバ(たとえば、サーバ112)でジョブを投入できる性能があるかどうかを調べる(ステップS415)。
When there is an active server, the
投入できる性能がある場合、制御部102はサーバ(112)でジョブの投入待ちがないかどうかを調べる(ステップS416)。
If there is a performance that can be submitted, the
ジョブの投入待ちが無い場合、制御部102はそのサーバでジョブを投入する(図16ステップS410)。
When there is no job submission waiting, the
以降は第1の実施の形態のステップS108〜S110と同様とする(ステップS410〜ステップS412)。 The subsequent steps are the same as steps S108 to S110 of the first embodiment (steps S410 to S412).
ジョブの投入待ちがあった場合またはジョブを投入できる性能ではなかった場合、制御部102は他に稼働中サーバがないかどうか調べ、あった場合は同様に調査する(ステップS414〜ステップS416)。
When there is a job submission wait or when the performance is not sufficient to submit the job, the
制御部102は、全ての稼働中サーバを調査し、ジョブが投入できるサーバが無かった場合(ステップS414でNo)の電力制御システム400の動作について図18に示すフローチャートを参照して説明する。
The
まず、制御部102はネットワーク101に接続された各サーバ111、112などの全体の余裕電力としてWmを設定する。ここではWm=0として初期化する(ステップS417)。
First, the
制御部102は当該サーバのピーク電力と現消費電力のギャップが閾値、たとえば100Wを超えているかどうかを調べる(ステップS418)。
The
超えている場合、制御部102は当該サーバの消費電力記憶部121に記憶されているピーク電力を50W減少させて更新する(ステップS419)。ピーク電力の減少分は、上述の閾値より小さな値でなければならない。次に、制御部102は余裕電力Wmに、ピーク電力を減少させた分の電力50Wを追加する。具体的にはWm=Wm+50の加算を行う(ステップS420)。
If it exceeds, the
制御部102はジョブ投入予定のサーバ以外に他に稼働中のサーバがあるかどうかを調べる(ステップS421)。稼働中のサーバがあった場合、制御部102は稼働中のサーバに対して以上の処理を繰り返す(ステップS418〜ステップS421)。
The
次に、制御部102はネットワーク101に接続された各サーバ111、112などの中から停止中のサーバがあるかどうかを調べる(ステップS422)。
Next, the
停止中のサーバがあった場合、制御部102はアイドリング状態消費電力記憶部204に記憶されている当該サーバのアイドリング状態消費電力を確認する(ステップS423)。余裕電力Wmが当該サーバのアイドリング状態消費電力+100W(100WはステップS418での閾値)より大きい場合(ステップS424)、電源管理部203は当該サーバの電源を投入し起動させる(ステップS425)。制御部102はその起動したサーバでジョブを投入する(図16ステップS410)。
When there is a stopped server, the
以降は第1の実施の形態のステップS108〜S110と同様とする(ステップS410〜ステップS412)。 The subsequent steps are the same as steps S108 to S110 of the first embodiment (steps S410 to S412).
余裕電力Wmが当該サーバのアイドリング状態消費電力+100Wより小さい場合、電源は投入せず、制御部102は他に停止中のサーバがないと判定するまで以上の処理を繰り返す(ステップS422〜ステップS424)。
If the surplus power Wm is smaller than the idle state power consumption of the server +100 W, the power is not turned on and the
全ての停止中サーバを調査し、電源が投入できるサーバが無かった場合の電力制御システム200の動作(ステップS422でNo)について図19に示すフローチャートを参照して説明する。 The operation of the power control system 200 (No in step S422) when all the stopped servers are investigated and no server can be turned on will be described with reference to the flowchart shown in FIG.
図19を参照すると、まず、制御部102は最初にユーザに指定されたサーバをジョブ投入サーバとして選定する(ステップS426)。このときにユーザが選択したサーバに既に投入待ちジョブがあるかどうかを確認し(ステップS427)、もしあれば制御部102はサーバ選定時点で既にあった投入待ちジョブがなくなるまでジョブを待機させる(ステップS428)。待機時にジョブ投入待ち時間の余裕具合が小さい順になるようジョブ行列制御部305によりジョブ行列の制御(ソート)が行われる(方法の一例については第3の実施の形態参照)。
Referring to FIG. 19, first, the
選定時点で既にあった投入待ちジョブがなくなった場合、もしくは選定時点で最初から投入待ちジョブがなかった場合、ユーザが選択したサーバに関して、消費電力測定部122で測定される現消費電力に消費電力記憶部121が記憶している過去電力データ(ステップS405、S407にて最初にユーザに指定されたサーバの過去電力データが存在することは明らかである)を加算した値を予測消費電力のデータとして発生する(ステップS429)。最初にユーザに指定されたサーバの予測消費電力のデータは既にステップS406にて算出済みであるが、現消費電力が変化している可能性があるため、再度このステップにて算出する。
When there is no job waiting to be submitted already at the time of selection, or when there is no job waiting to be submitted from the beginning at the time of selection, the power consumption is compared with the current power consumption measured by the power
次に、制御部102は、最初にユーザに指定されたサーバの消費電力記憶部121に記憶されているピーク電力と余裕電力Wmを加算し、予測消費電力と比較する(ステップS430)。予測消費電力がピーク電力と余裕電力Wmの和を下回っている場合、制御部102は、消費電力記憶部121に記憶されているピーク電力を、選定したサーバのピーク電力と余裕電力Wmとの和で更新する(ステップS431)。次に、制御部102は、最初にユーザに指定されたサーバにジョブを投入する(図16ステップS410)。
Next, the
以降は第1の実施の形態のステップS108〜S110と同様とする(ステップS410〜ステップS412)。 The subsequent steps are the same as steps S108 to S110 of the first embodiment (steps S410 to S412).
予測消費電力がピーク電力と余裕電力Wmの和を超えている場合、制御部102はネットワーク101に接続された稼働中の各サーバ111、112などの中から最もピーク電力と現消費電力の差が大きいものを選定する。(ステップS432)。このときに選定したサーバに既に投入待ちジョブがあるかどうかを確認し(ステップS433)、もしあれば制御部102はサーバ選定時点で既にあった投入待ちジョブがなくなるまでジョブを待機させる(ステップS434)。待機時にジョブ投入待ち時間の余裕具合が小さい順になるようジョブ行列制御部305によりジョブ行列の制御(ソート)が行われる(方法の一例については第3の実施の形態参照)。
When the predicted power consumption exceeds the sum of the peak power and the surplus power Wm, the
選定時点で既にあった投入待ちジョブがなくなった場合、もしくは選定時点で最初から投入待ちジョブがなかった場合、選定したサーバに関して、消費電力記憶部121が記憶している過去電力データと消費電力測定部122で測定される現消費電力を確認する(ステップS435)。
When there is no job waiting to be submitted that has already been selected at the time of selection, or when there is no job waiting to be submitted from the beginning at the time of selection, the past power data and power consumption measurement stored in the power
ここで制御部102は、過去電力データが消費電力記憶部121にあるかどうかを確認し(ステップS436)、ある場合は現消費電力に過去電力データを加算した値を予測消費電力とする(ステップS438)。もし、過去電力データが消費電力記憶部121に無い場合、制御部102は消費電力記憶部121に記憶されている全ユーザの過去電力データの平均を算出し、平均値をジョブ投入ユーザの過去電力データとして設定し、消費電力記憶部121にそのデータを記憶する(ステップS437)。次に、過去電力データが消費電力記憶部121にあった場合と同様、制御部102は、現消費電力に過去電力データを加算した値を予測消費電力とする(ステップS438)。
Here, the
次に、制御部102は、ステップS432で選定したサーバの消費電力記憶部121に記憶されているピーク電力と余裕電力Wmを加算し、予測消費電力と比較する(ステップS439)。
Next, the
予測消費電力がピーク電力と余裕電力Wmの和を下回っている場合、制御部102は、消費電力記憶部121に記憶されているピーク電力を、選定したサーバのピーク電力と余裕電力Wmとの和で更新する(ステップS431)。次に、制御部102は、ステップS432で選定したサーバにジョブを投入する(図16ステップS410)。
When the predicted power consumption is less than the sum of the peak power and the surplus power Wm, the
以降は第1の実施の形態のステップS108〜S110と同様とする(ステップS410〜ステップS412)。 The subsequent steps are the same as steps S108 to S110 of the first embodiment (steps S410 to S412).
もし、予測消費電力がピーク電力と余裕電力Wmの和を超えている場合(ステップS439でNo)の電力制御システム400の動作について図20に示すフローチャートを参照して説明する。 The operation of the power control system 400 when the predicted power consumption exceeds the sum of the peak power and the surplus power Wm (No in step S439) will be described with reference to the flowchart shown in FIG.
まず、制御部102は最初にユーザに指定されたサーバをジョブ投入サーバとして再選定する(ステップS440)。
First, the
制御部102は、実行中ジョブのうち一つの完了を待つ(ステップS441)。
The
ジョブ投入ユーザの要求を満たすことができなかったため、電力制御システム400はユーザに対してのシステム使用料金をペナルティ分として一定額引き下げる(ステップS442)。 Since the job input user's request could not be satisfied, the power control system 400 reduces the system usage fee for the user by a fixed amount (step S442).
その後、ステップS438、ステップS439と同様に、制御部102は、予測消費電力を算出し(ステップS443)、ピーク電力と余裕電力Wmの和を超えるかどうか比較する(ステップS444)。超える場合、制御部102は、実行中ジョブのうち一つの完了を待って(ステップS445)再度予測消費電力の算出(ステップS443)と、ピーク電力と余裕電力Wmの和との比較を行う(ステップS444)。
Thereafter, similarly to step S438 and step S439, the
予測消費電力がピーク電力を下回っている場合、制御部102は、消費電力記憶部121に記憶されているピーク電力を、選定したサーバのピーク電力と余裕電力Wmとの和で更新する(ステップS446)。次に、制御部102は最初にユーザに指定されたサーバにジョブを投入する(図16ステップS410)。
When the predicted power consumption is lower than the peak power, the
以降は第1の実施の形態のステップS108〜S110と同様とする(ステップS410〜ステップS412)。 The subsequent steps are the same as steps S108 to S110 of the first embodiment (steps S410 to S412).
以上で、電力制御システム400は、ジョブ割り当ての動作を終了する。 Thus, the power control system 400 ends the job assignment operation.
また、この実施の形態の場合、第2の実施の形態と同様、電力制御システム400を放置するとアイドリング状態のサーバが増える。このため、使っていないアイドリング状態のサーバは電源断にする必要がある。アイドリング状態のサーバの電源断の動作の概要は図10に示される。 In the case of this embodiment, as in the second embodiment, if the power control system 400 is left unattended, the number of idle servers increases. For this reason, it is necessary to power off servers that are not being used. An outline of the power-off operation of the server in the idling state is shown in FIG.
制御部102はネットワーク101に接続された各サーバ111、112などからアイドリング状態の稼働中のサーバを探し、見つけたら電源管理部203は当該サーバを停止させ電源断とする。また、制御部102は停止したサーバのピーク電力を、ネットワーク101に接続された稼働中のサーバ全てのピーク電力に均等に上乗せしピーク電力を更新する(ステップS236〜ステップS239)。
The
全ての稼働中のサーバを確認した場合、終了とする。 When all the servers in operation are confirmed, the process ends.
以上で、電力制御システム400は、アイドリング状態のサーバの電源断の動作を終了する。 As described above, the power control system 400 ends the power-off operation of the idle server.
次に、本発明の第4の実施の形態の効果について説明する。 Next, the effect of the 4th Embodiment of this invention is demonstrated.
上述した本実施形態における電力制御システムは、第1の実施形態、第2の実施形態、第3の実施形態よりも強力に消費電力ピーク時も電力の上限値を超えない制御を実現できる。 The power control system in the present embodiment described above can realize control that does not exceed the upper limit value of power more strongly than the first embodiment, the second embodiment, and the third embodiment even during a power consumption peak.
その理由は、以下のような構成を含むからである。即ち、第1に制御部102は、予測電力がピーク電力を超過する場合は、予測電力が下回るまでジョブ投入しない制御を行う。第2に、制御部102はユーザから投入指定されたサーバだけではなくネットワーク101に接続された全てのサーバを対象にしてジョブ投入の制御を行う。第3に、制御部102は当該サーバの投入待ちジョブ行列の制御を行い、ジョブ投入待ち時間の余裕具合が小さい順になるよう投入の順序を最適化する。したがって、第1の実施形態、第2の実施形態、第3の実施形態よりも強力に消費電力ピーク時も電力の上限値を超えない制御を実現できるという効果が得られる。
This is because the following configuration is included. That is, first, when the predicted power exceeds the peak power, the
以上説明した、本発明の各実施形態における各構成要素は、その機能をハードウェア的に実現することはもちろん、プログラム制御に基づくコンピュータ装置、ファームウェアで実現することができる。プログラムは、磁気ディスクや半導体メモリなどのコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られる。この読み取られたプログラムは、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における構成要素として機能させる。 Each component in each embodiment of the present invention described above can be realized by a computer apparatus and firmware based on program control as well as by realizing the function in hardware. The program is provided by being recorded on a computer-readable recording medium such as a magnetic disk or a semiconductor memory, and is read by the computer when the computer is started up. The read program causes the computer to function as a component in each of the embodiments described above by controlling the operation of the computer.
以上、各実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえる様々な変更をすることができる。 Although the present invention has been described with reference to each embodiment, the present invention is not limited to the above embodiment. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
たとえば、以上の各実施形態で説明した各構成要素は、必ずしも個々に独立した存在である必要はない。例えば、各構成要素は、複数の構成要素が1個のモジュールとして実現されたり、一つの構成要素が複数のモジュールで実現されたりしてもよい。また、各構成要素は、ある構成要素が他の構成要素の一部であったり、ある構成要素の一部と他の構成要素の一部とが重複していたり、といったような構成であってもよい。 For example, each component described in each of the above embodiments does not necessarily have to be individually independent. For example, for each component, a plurality of components may be realized as one module, or one component may be realized as a plurality of modules. Each component is configured such that a component is a part of another component, or a part of a component overlaps a part of another component. Also good.
また、以上説明した各実施形態では、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は内容的に支障しない範囲で変更することができる。 Further, in each of the embodiments described above, a plurality of operations are described in order in the form of a flowchart, but the described order does not limit the order in which the plurality of operations are executed. For this reason, when each embodiment is implemented, the order of the plurality of operations can be changed within a range that does not hinder the contents.
さらに、以上説明した各実施形態では、複数の動作は個々に相違するタイミングで実行されることに限定されない。例えば、ある動作の実行中に他の動作が発生したり、ある動作と他の動作との実行タイミングが部分的に乃至全部において重複していたりしていてもよい。 Furthermore, in each embodiment described above, a plurality of operations are not limited to being executed at different timings. For example, another operation may occur during the execution of a certain operation, or the execution timing of a certain operation and another operation may partially or entirely overlap.
さらに、以上説明した各実施形態では、ある動作が他の動作の契機になるように記載しているが、その記載はある動作と他の動作の全ての関係を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の関係は内容的に支障のない範囲で変更することができる。また各構成要素の各動作の具体的な記載は、各構成要素の各動作を限定するものではない。このため、各構成要素の具体的な各動作は、各実施形態を実施する上で機能的、性能的、その他の特性に対して支障をきたさない範囲内で変更されて良い。 Furthermore, in each of the embodiments described above, a certain operation is described as a trigger for another operation, but the description does not limit all relationships between the certain operation and the other operations. For this reason, when each embodiment is implemented, the relationship between the plurality of operations can be changed within a range that does not hinder the contents. The specific description of each operation of each component does not limit each operation of each component. For this reason, each specific operation | movement of each component may be changed in the range which does not cause trouble with respect to a functional, performance, and other characteristic in implementing each embodiment.
101 ネットワーク
102 制御部
111、112 サーバ
121 消費電力記憶部
122 消費電力測定部
203 電源管理部
204 アイドリング状態消費電力記憶部
305 ジョブ行列制御部
DESCRIPTION OF SYMBOLS 101
Claims (9)
前記サーバごとに現在の消費電力を測定する消費電力測定部と、
ジョブ投入時、前記消費電力記憶部から出力された過去電力データと、前記消費電力測定部から出力された現消費電力から予測した予測消費電力を基に、あらかじめ設定された前記サーバの消費電力の上限値を超えるかどうかを判定し、超える場合は前記ジョブの投入タイミングを遅らせる制御を行う制御部と、
前記サーバの電源の起動、停止を管理する電源管理部と、
全ての前記サーバのアイドリング状態での消費電力データを記憶したアイドリング状態消費電力記憶部と
を含み、
前記制御部が前記ジョブの投入タイミングをユーザ設定の許容値まで遅らせてもユーザ投入希望のサーバの消費電力の上限値を下回らない場合、前記制御部が他のサーバにて消費電力の上限値を超えるかどうかを判定し、超えない場合はそのサーバに前記ジョブを投入し、超える場合は他の稼働中サーバの消費電力の余裕と前記アイドリング状態消費電力記憶部から出力された前記サーバのアイドリング状態消費電力データを基に、前記サーバのうち停止中のサーバの一つを稼動状態にできる場合、前記電源管理部が前記停止中サーバの電源を投入し、前記制御部が前記ジョブを投入する制御を行う電力制御システム。 A power consumption storage unit storing past power consumption data for each server;
A power consumption measuring unit that measures current power consumption for each server;
Based on the predicted power consumption predicted from the past power data output from the power consumption storage unit and the current power output output from the power consumption measurement unit at the time of job submission, the power consumption of the server set in advance is set. It is determined whether or not the upper limit is exceeded, and if it exceeds, a control unit that performs control to delay the submission timing of the job ;
A power management unit that manages start and stop of the power of the server;
An idling state power consumption storage unit storing power consumption data in an idling state of all the servers;
Including
If the control unit delays the job submission timing to an allowable value set by the user and does not fall below the upper limit value of power consumption of the server desired by the user, the control unit sets the upper limit value of power consumption at another server. If it does not exceed, if it does not exceed, submit the job to the server, if it exceeds, the power consumption margin of the other active server and the idling state of the server output from the idling state power consumption storage unit Control where the power management unit powers on the stopped server and the control unit submits the job when one of the servers being stopped can be put into operation based on the power consumption data Do power control system.
前記予測消費電力を基に前記制御部が、あらかじめ設定されたサーバの消費電力の上限値を超えるかどうかを判定し、超える場合は前記ジョブの投入タイミングを遅らせる制御を行い、
前記制御部が前記ジョブの投入タイミングをユーザ設定の許容値まで遅らせても前記サーバの消費電力の上限値を下回らない場合、前記制御部が他のサーバにて消費電力の上限値を超えるかどうかを判定し、超えない場合はそのサーバに前記ジョブを投入し、超える場合は他の稼働中サーバの消費電力の余裕とアイドリング状態消費電力記憶部から出力された前記サーバのアイドリング状態消費電力データを基に、前記サーバのうち停止中のサーバの一つを稼動状態にできる場合、電源管理部が前記停止中サーバの電源を投入し、前記制御部が前記ジョブを投入し、稼動状態にできない場合は前記制御部がユーザ投入希望のサーバ或いは前記稼働中サーバのうち最も消費電力の余裕があるサーバに対して前記予測消費電力と前記サーバの消費電力の上限値と他の稼働中サーバの消費電力の余裕を基に前記ジョブが投入できるかを判定し、投入できる場合は前記ジョブを投入する制御を行う電力制御方法。 When the job is submitted, the control unit predicts the predicted power consumption from the past power consumption data output by the power consumption storage unit for each server and the current power consumption output by the power consumption measurement unit for each server,
Wherein said control unit predicted power consumption based on may determine whether more than a preset server upper limit of power consumption, have row control to delay the introduced timing of the job if it exceeds,
Whether or not the control unit exceeds the upper limit value of power consumption in another server if the control unit does not fall below the upper limit value of power consumption of the server even if the job submission timing is delayed to a user-set allowable value If it does not exceed, the job is submitted to the server, and if it exceeds, the idle power consumption data of the server output from the idle power consumption storage unit and the surplus power consumption of other active servers On the basis of this, when one of the servers that are stopped can be put into operation, the power management unit turns on the server that is stopped, and the control unit puts the job and cannot be put into operation Is the predicted power consumption and server consumption for the server that the control unit wishes to input by the user or the server that has the most power margin among the active servers. The upper limit value and the margin of the power consumption of the other operating in the server of the force to determine whether the job group can turned, power control method performs control to put the job if you can put.
前記予測消費電力を基に、あらかじめ設定されたサーバの消費電力の上限値を超えるかどうかを判定し、
超える場合は前記ジョブの投入タイミングを遅らせ、
前記ジョブの投入タイミングをユーザ設定の許容値まで遅らせても前記サーバの消費電力の上限値を下回らない場合、他のサーバにて消費電力の上限値を超えるかどうかを判定し、超えない場合はそのサーバに前記ジョブを投入し、超える場合は他の稼働中サーバの消費電力の余裕と前記サーバのアイドリング状態消費電力データを基に、前記サーバのうち停止中のサーバの一つを稼動状態にできる場合、前記停止中サーバの電源を投入し前記ジョブを投入し、稼動状態にできない場合は前記ユーザ投入希望のサーバ或いは前記稼働中サーバのうち最も消費電力の余裕があるサーバに対して前記予測消費電力と前記サーバの消費電力の上限値と他の稼働中サーバの消費電力の余裕を基に前記ジョブが投入できるかを判定し、投入できる場合は前記ジョブを投入する処理
をコンピュータに実行させるプログラム。 Predict predicted power consumption from past power consumption data output by the power consumption storage unit for each server and current power output by the power consumption measurement unit for each server when a job is submitted,
Based on the predicted power consumption, it is determined whether or not the upper limit value of power consumption of the server set in advance is exceeded,
If it exceeds, delay the job submission timing ,
Even if the job submission timing is delayed to the user-set allowable value, if it does not fall below the upper limit value of power consumption of the server, it is determined whether the upper limit value of power consumption is exceeded by other servers. If the job is submitted to the server and exceeds that, one of the servers that are stopped is put into operation based on the power consumption margin of other active servers and the idle state power consumption data of the server. If possible, turn on the stopped server and submit the job. If the server cannot be put into operation, the prediction is made for the server that the user wants to input or the server that has the most power consumption among the active servers. If the job can be submitted based on the power consumption, the upper limit value of the power consumption of the server and the margin of power consumption of other active servers, Program for executing a process to introduce the serial jobs in the computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011246043A JP5887846B2 (en) | 2011-11-10 | 2011-11-10 | Power control system and power control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011246043A JP5887846B2 (en) | 2011-11-10 | 2011-11-10 | Power control system and power control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013101576A JP2013101576A (en) | 2013-05-23 |
JP5887846B2 true JP5887846B2 (en) | 2016-03-16 |
Family
ID=48622123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011246043A Expired - Fee Related JP5887846B2 (en) | 2011-11-10 | 2011-11-10 | Power control system and power control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5887846B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645723B2 (en) | 2011-05-11 | 2014-02-04 | Apple Inc. | Asynchronous management of access requests to control power consumption |
CN105474173B (en) * | 2013-10-01 | 2019-08-06 | 英特尔公司 | For reducing the parallel network application scheduling of power consumption |
JP2016071841A (en) * | 2014-09-30 | 2016-05-09 | 日本電気株式会社 | Job management device, job management system, job management method, and program |
JP6032314B2 (en) * | 2015-03-27 | 2016-11-24 | 日本電気株式会社 | system |
US10158526B2 (en) | 2015-03-27 | 2018-12-18 | Nec Corporation | System that manages server function |
JP6131979B2 (en) * | 2015-03-27 | 2017-05-24 | 日本電気株式会社 | system |
JP6959506B2 (en) | 2017-06-12 | 2021-11-02 | 富士通株式会社 | Parallel processing system system management device, parallel processing system and power control method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07168726A (en) * | 1993-12-16 | 1995-07-04 | Matsushita Electric Ind Co Ltd | Scheduling method for electronic computer and multiprocess operating system |
JP4815195B2 (en) * | 2005-11-16 | 2011-11-16 | みずほ情報総研株式会社 | Job execution management method, job execution management system, and job execution management program |
JP5151203B2 (en) * | 2007-03-26 | 2013-02-27 | 日本電気株式会社 | Job scheduling apparatus and job scheduling method |
JP2011013764A (en) * | 2009-06-30 | 2011-01-20 | Hitachi Ltd | Method, system and program for managing power consumption |
-
2011
- 2011-11-10 JP JP2011246043A patent/JP5887846B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013101576A (en) | 2013-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887846B2 (en) | Power control system and power control method | |
US11886914B1 (en) | Energy efficient scheduling for computing systems and method therefor | |
RU2599967C2 (en) | Application lifecycle management | |
KR101029414B1 (en) | Method and apparatus for providing for detecting processor state transitions | |
Lin et al. | Energy-efficient virtual machine provision algorithms for cloud systems | |
US8082459B2 (en) | Power management based on policy | |
CN100401232C (en) | Apparatus and method for automatically controlling processor mode of multi-core processor | |
US8271818B2 (en) | Managing under-utilized resources in a computer | |
US7814485B2 (en) | System and method for adaptive power management based on processor utilization and cache misses | |
US8023842B2 (en) | Methods and apparatus for adjusting printing device power consumption based on usage data | |
US8397097B2 (en) | Computer system and operating method thereof | |
CN101981529A (en) | Power-aware thread scheduling and dynamic use of processors | |
CN102326134A (en) | Energy-aware server management | |
US20090210741A1 (en) | Information processing apparatus and information processing method | |
US20080127193A1 (en) | Scheduling method for executing jobs, scheduling apparatus for executing jobs, rewritable recording medium on which scheduling program for executing jobs is recorded | |
US9513694B2 (en) | Information processing apparatus and power-source switching method | |
WO2017014786A1 (en) | Power management for electronic devices | |
CN102208986A (en) | Cluster power consumption distribution and control method | |
Yang et al. | Dynamic cluster reconfiguration for energy conservation in computation intensive service | |
Hikita et al. | Saving 200kw and $200 k/year by power-aware job/machine scheduling | |
CN117519980B (en) | Energy-saving data center | |
US8510273B2 (en) | System, method, and computer-readable medium to facilitate application of arrival rate qualifications to missed throughput server level goals | |
JP4448163B2 (en) | Device management method for computer systems and processes | |
US20100205306A1 (en) | Grid computing system, management apparatus, and method for managing a plurality of nodes | |
US8938629B2 (en) | Power control apparatus, method for controlling the same and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5887846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |