JP5011028B2 - ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体 - Google Patents

ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体 Download PDF

Info

Publication number
JP5011028B2
JP5011028B2 JP2007216626A JP2007216626A JP5011028B2 JP 5011028 B2 JP5011028 B2 JP 5011028B2 JP 2007216626 A JP2007216626 A JP 2007216626A JP 2007216626 A JP2007216626 A JP 2007216626A JP 5011028 B2 JP5011028 B2 JP 5011028B2
Authority
JP
Japan
Prior art keywords
task
power control
storage
power
control target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007216626A
Other languages
English (en)
Other versions
JP2009048583A (ja
Inventor
俊哉 田端
伸夫 紅山
卓哉 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007216626A priority Critical patent/JP5011028B2/ja
Priority to US11/968,214 priority patent/US7849285B2/en
Publication of JP2009048583A publication Critical patent/JP2009048583A/ja
Application granted granted Critical
Publication of JP5011028B2 publication Critical patent/JP5011028B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • G06F1/3221Monitoring of peripheral devices of disk drive devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3268Power saving in hard disk drive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625Power saving in storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Power Sources (AREA)

Description

本発明は、ストレージ装置の省電力化技術に関する。
近年、企業で扱うデータ量の増加に伴い、ストレージ環境が大規模化しており、ストレージ装置の消費する電力が問題となっている。更に、消費電力の増加から、データセンタにおける発熱量の問題がある。このような問題に対して、ストレージ装置ではMAID(Massive Array of Idle Disks)のようにディスクの起動または停止をアレイグループ単位で制御することのできる機能を提供して解決を図っている。たとえば、特許文献1では、低消費電力のストレージシステムを実現するために、MAIDに関する技術が開示されている。
米国特許出願公開第20040054939号明細書
しかし、一方で、MAID技術では、アレイグループ単位で起動または停止を行うため、同一アレイグループに対するアクセスが少しでも有る時間帯には、そのアレイグループを停止できない。このため、複数のアクセスが異なる時間帯に発生する場合は、同一の時間帯にこれらのアクセスが発生する場合に比べて、消費電力が増大することになる。また、省電力化を実現するためには、アクセスが無い時間帯に電源を停止すればよいが、頻繁に電源の起動または停止を行うと、物理ディスクの寿命が短くなる可能性がある。更に、複数の物理ディスクが特定期間に集中的に起動すると、ストレージ装置全体のその期間における消費電力が急激に増加するため、装置の安定稼動に影響を与える可能性がある。省電力化を実現する際には、これらの不都合な事態をもたらす可能性を低減させるといった条件下で行うことに留意する必要がある。
上記事情を鑑みて、本発明は、一定の条件下であってもストレージ装置の省電力化を実現することを課題とする。
本発明は、上記の課題を解決するために、以下の手段を用いて、ストレージ装置の省電力を実現する。
(1)複数のタスクが実行されるストレージ装置を対象として、指定されたタスクの実施時期に関する条件を満たし、トータルの消費電力、ピーク時の消費電力、電源の起動または停止回数などを基にして判定した、適切なタスクのスケジュール案を作成し、ユーザに選択してもらうように提示する。
(2)ユーザによって選択されたスケジュール案に基づいてタスクの実行および電源制御対象ユニットの起動停止制御を行う。この起動停止制御に際してはストレージ装置から電源制御に関するタイミングを受信することで、実際のタスクの実行に合わせたスケジューリングを行う。これにより、ストレージ装置の省電力化を実現する。
(3)特定のタスクの実行に追従して他のタスクを実行することにより、省電力化を実現する簡易的なタスクのスケジュール案を提供する。
本発明によれば、一定の条件下であってもストレージ装置の省電力化を実現することができる。
以下、本発明の一実施の形態を、図面を参照しながら詳細に説明する。
1.第1の実施の形態
第1の実施の形態は、省電力化を行うためにストレージ装置を管理するにあたり、ユーザに選択してもらうスケジュール案を作成するものである。以下、そのスケジュール案を作成する方法等も含めて詳細に説明する。
1.1.システムの構成
図1は、本発明の第1の実施の形態のストレージシステムのブロック図である。このストレージシステムは、サーバ101、SAN(Storage Area Network)103、ストレージ装置104、ストレージ管理サーバ108及びLAN(Local Area Network)113により構成される。
1.1.1.ストレージ装置
ストレージ装置104は、電源制御機能付きコントローラ105、電源制御対象ユニット106、論理ボリューム107、SANインタフェース116及びLANインタフェース117を備える。
電源制御機能付きコントローラ105は、サーバ101から論理ボリューム107へのデータの入出力の制御および電源制御対象ユニット106への電源の制御を行う制御部である。
論理ボリューム107は、ストレージ装置104の記憶領域(ストレージ記憶領域)にデータを記憶し、記憶したデータに対して一つまたは複数の管理単位を構成する記憶部である。論理ボリューム107は、実際には、一つまたは複数の物理ディスク(HDD(Hard Disk Drive)等の記憶デバイス)から一つまたは複数の管理単位を構成するように仮想的に作成されているが、図1では、説明の便宜上、物理ディスクの記載を省略している。サーバ101は、SAN103を介して、ストレージ装置104の記憶領域にアクセスし、その記憶領域を論理ボリューム107として認識する。このとき、サーバ101からすれば、論理ボリューム107の仕様によっては、一つの論理ボリューム107が複数の物理ディスクを構成しているようにも見えるし、複数の論理ボリューム107が一つの物理ディスクを構成しているようにも見える。
電源制御の対象となる電源制御対象ユニット(「PCU」(Power Control Unit)と記載する場合もある。)106は、一つまたは複数の論理ボリューム107からなり、物理ディスクの動作に必要な電源の電源制御の単位である。電源制御対象ユニット106は電源制御機能付きコントローラ105により、個別に電源制御される。実際には、電源制御対象ユニット106は、物理ディスクの単位で電源制御されるように構成しても良いが、図1には、電源制御対象ユニット106に含まれる、物理ディスクから作成された論理ボリュームを記載しており、論理ボリュームの単位で制御されることとする。ストレージ装置104を動作させるときのリソースの性能を確保しつつも適切な省電力化を実現することができるからである。
ストレージ装置104はSANインタフェース116を有し、SANインタフェース116によりSAN103に接続している。更にストレージ装置104はLANインタフェース117を有し、LANインタフェース117によりLAN113に接続されている。
1.1.2.サーバ
サーバ101上では、アプリケーションプログラム(以下、「AP」(Application Program)と記す。)102が動作する。サーバ101はSANインタフェース115を有し、SANインタフェース115によりSAN103に接続している。サーバ101はSAN103を介してストレージ装置104の電源制御機能付きコントローラ105に接続されている。なお、サーバ101は、SAN103の代わりに、IP−SAN(Internet Protocol - Storage Area Network)又はNAS(Network Attached Storage)等の他のネットワークを介して電源制御機能付きコントローラ105に接続されていてもよい。また、サーバ101はLANインタフェース114を有し、LANインタフェース114によりLAN113に接続されている。
AP102は論理ボリューム107として認識したストレージ装置104の記憶領域を使用するタスクを一つまたは複数実行するソフトウェアである。本実施形態では、一つのサーバ101上では一つのAP102が動作されるものとするが、複数のAP102が動作される場合であっても良い。また、AP102により実行されるタスクを「APタスク」と記述する場合もある。
また、サーバ101は、ダミーアクセス発行部122を有している。ダミーアクセス発行部122は論理ボリューム107に対し、ダミーとして、データの読み取り専用(Readのみであり、データの書き込み(Write)は行わない。)でアクセスするダミーアクセスを発行する。AP102はダミーアクセスを用いたタスクを実行する。
1.1.3.ストレージ管理サーバ
ストレージ管理サーバ108は、CPU(Central Processing Unit)109、メモリ110、表示部111、入力部119、タイマ120、ダミーアクセス発行制御部121、電源制御タイミング受信部112及びLANインタフェース118を備える。CPU109は、図2で後記するメモリ110に記憶されているプログラムを読み出して実行することによって、各種処理を行う。更に、CPU109は各種処理過程でユーザとのインタラクションを必要とする情報を表示部111に表示する。また、CPU109は前記インタラクションを通じて、入力部119から入力された情報を処理する。
ストレージ管理サーバ108は、LANインタフェース118によりLAN113に接続されている。電源制御タイミング受信部112はストレージ装置104からLAN113を介して電源制御対象ユニット106における電源制御のタイミングを受信する。電源制御のタイミングとは、電源制御対象ユニット106ごとに電源の起動または停止の制御を実行するタイミングを意味する。タイマ120は、計時機能を有し、CPU109からの命令に従い、時刻の情報を生成する。生成する時刻には、現在時刻、タスクの実行の開始時刻、タスクの実行の終了時刻、電源制御対象ユニットごとに電源制御のタイミングを受信した時の時刻等がある。また、ダミーアクセス発行制御部121は、ダミーアクセスの発行をサーバ101に要求する。なお、ストレージ管理サーバ108は、メモリ110に記憶されているプログラムを記録するROM(Read Only Memory)等といった記録媒体を備えていても良い。
1.2.メモリの構成
図2は、本発明の第1の実施の形態のストレージ管理サーバ上のメモリのブロック図である。メモリ110は、運用管理プログラム200及び運用管理データベース(以下、「運用管理DB(Data Base)」と記す。)201を記憶している。
運用管理プログラム200は、APタスク情報および電源制御条件収集プログラム2001、APタスク実行スケジュール案作成・表示プログラム2002、APタスク実行および電源制御プログラム2003及びAPタスク実行スケジュール変更プログラム2004により構成される。また、運用管理DB201は、ストレージ構成情報テーブル2011、APタスク情報テーブル2012、許容ピーク電力情報テーブル2013、消費電力情報テーブル2014、電源停止回数テーブル2015、APタスク実行スケジュールテーブル2016、電源制御スケジュールテーブル2017及びAPタスク実実行時間テーブル2018から構成されている。
1.2.1.APタスク情報および電源制御条件収集プログラム
APタスク情報および電源制御条件収集プログラム2001は、ストレージ装置104のストレージ構成情報、サーバ101上のAP102が行うタスクの情報、ストレージ装置104全体で許容できる最大の電力の情報であるピーク電力の情報、電源制御対象ユニット106ごとの消費電力の情報及び電源制御対象ユニット106ごとの電源停止回数の情報をストレージ装置104、サーバ101、入力部119から収集し、それぞれ運用管理DB201のストレージ構成情報テーブル2011、APタスク情報テーブル2012、許容ピーク電力情報テーブル2013、消費電力情報テーブル2014、電源停止回数テーブル2015に格納する。APタスク情報および電源制御条件収集プログラム2001の処理および各情報の詳細は、図3から図8を用いて後記する。
1.2.2.APタスク実行スケジュール案作成・表示プログラム
APタスク実行スケジュール案作成・表示プログラム2002は、サーバ101上のAP102が行うタスクのAPタスク実行スケジュール案およびストレージ装置104の電源制御対象ユニット106ごとの電源起動または停止のスケジュールである電源制御スケジュール案を作成し、それぞれ、運用管理DB201のAPタスク実行スケジュールテーブル2016および電源制御スケジュールテーブル2017に格納する。更に、作成した各スケジュール案を表示部111に表示する。APタスク実行スケジュール案作成・表示プログラム2002の処理および各テーブルの詳細は、図9から図14を用いて後記する。
1.2.3.APタスク実行および電源制御プログラム
APタスク実行および電源制御プログラム2003は、サーバ101に対してAP102が行うタスクの実行を要求する。また、電源制御機能付きコントローラ105に対して電源制御対象ユニットの電源の起動または停止を要求する。APタスク実行および電源制御プログラム2003の処理の詳細は、図15及び図16を用いて後記する。
1.2.4.APタスク実行スケジュール変更プログラム
APタスク実行スケジュール変更プログラム2004は、電源制御タイミング受信部112において受信した電源制御のタイミングを基にスケジュールの更新を行う。タイマ120を用いてタスクの実行の開始時刻及び終了時刻を取得し、そのタスクの実実行時間を求める。求めた実実行時間は、APタスク実実行時間テーブル2018に格納される。そして、電源制御のタイミングを受信した場合、そのタスクの実実行時間をAPタスク実実行時間テーブル2018から取得する。APタスク実行スケジュール変更プログラム2004の処理の詳細は、図16及び図17を用いて後記する。
1.3.システムの処理
次に、本発明の第1の実施の形態のストレージシステムの処理について説明する。この処理は、運用管理プログラム200を構成するAPタスク情報および電源制御条件収集プログラム2001、APタスク実行スケジュール案作成・表示プログラム2002、APタスク実行および電源制御プログラム2003及びAPタスク実行スケジュール変更プログラム2004によって行われる処理に分類して説明される。以下、それぞれの処理について詳細に説明する。
1.3.1.APタスク情報および電源制御条件収集処理
図3は、本発明の第1の実施の形態の、APタスク情報および電源制御条件収集プログラム2001において行われる、APタスク情報および電源制御条件収集処理を示すフローチャートである。本フローチャートについて図4から図8を参照し、以下に説明する。
運用管理プログラム200は、ストレージ装置104の構成の変更やサーバ101において行われるタスクの増減、ユーザによるストレージ装置104の電源制御方針の変更(入力部119から変更の旨を入力)などを契機として、本APタスク情報および電源制御条件の収集を行う。
まず、運用管理プログラム200はストレージ構成情報の収集ステップを実行する(ステップS301)。ストレージ構成情報の収集ステップでは、ストレージ装置104からストレージ構成情報を収集し、ストレージ構成情報テーブル2011に格納する。なお、ストレージ構成情報とは、ストレージ装置104の論理ボリューム107が、データを記憶するのにどの程度の容量を有しており、また、どの電源制御対象ユニット106に属しているかを示す情報である。
図4は、ストレージ構成情報テーブル2011の内容を図示したものである。ストレージ構成情報テーブル2011はボリューム(本実施形態では論理ボリュームのことを意味する。)を一意に識別するボリュームID(identification)2011A、ボリュームの記憶可能領域の容量を示す容量2011B及び所属する電源制御対象ユニットの識別子である所属電源制御対象ユニットID2011Cをフィールドとして含む。例えば、ストレージ装置104からストレージ構成情報を収集し、「0:01」と識別される論理ボリュームの容量が10GB(Giga‐Byte)であり、所属する電源制御対象ユニットが「1−1−1」と識別されるものであると判明した場合、ストレージ構成情報テーブル2011において、ボリュームID2011Aのフィールドには「0:01」という値(ボリューム名)が格納され、容量2011Bのフィールドには「10GB」という値が格納され、所属電源制御対象ユニットID2011Cには「1−1−1」という値(電源制御対象ユニットのユニット名)が格納される。
次に、運用管理プログラム200はAPタスク実行可能時間帯の設定ステップを実行する(ステップS302)。APタスク実行可能時間帯の設定ステップでは、各サーバ101から、サーバ101上のAP102が実行するタスクのタスク名を取得する。更に、取得したタスク名を基に、ユーザが各タスクの実行可能時間帯を設定する画面を表示部111に表示する。
図5は、ユーザが各タスクの実行可能時間帯を設定する画面例を図示したものである。本画面例ではタスクごとに実行可能な時間帯を1日1区間設定することができる。本画面には、「タスク名」、「指定時間」及び「タスク実行可能時間帯」という欄が設けられた表が表示されている。「タスク名」の欄には、サーバ101から取得したタスク名が「タスクA」、「タスクB」、・・・といった具合に順次記載されている。「指定時間」の欄には、「タスク名」の欄に記載されているタスクが現時点で実行可能であるとして指定されている時間帯が記載されている。例えば、図5では、タスクAの現時点で指定されている時間帯は「17:00〜6:00」である。「タスク実行可能時間帯」の欄には、ユーザが入力部119から、これから設定したいタスクの実行可能な時間帯を入力できるように、タスク名ごとにボックスが設けられている。ユーザはそのボックスに前記時間帯を表す区間の開始時刻及び終了時刻を入力する。例えば、図5では、タスクAの実行可能時間帯の開始時刻を「17:00」と入力し、その終了時刻を「6:00」と入力する。
なお、他の画面例として、ひとつのタスクに対して、他の期間や複数の実行可能時間帯で設定できる画面としてもよい。具体的には、例えば、1週間の範囲で2つの時間帯の設定ができる画面としてもよい。本画面においてユーザがタスクごとの実行可能時間帯の設定を行うと、運用管理プログラム200は、画面において入力された実行可能時間帯をAPタスク情報テーブル2012に格納する。
図6は、APタスク情報テーブル2012の内容を図示したものである。APタスク情報テーブル2012は、サーバ101上のAP102が実行するタスク名2012A、タスクが使用するボリュームを識別する使用ボリュームID2012B、タスクの実行可能時間帯の開始時刻2012C、タスクの実行可能時間帯の終了時刻2012D及びタスクの使用するボリュームごとのタスクを実行するために必要とする時間である所要時間2012Eをフィールドとして含む。
タスク名2012Aは、本ステップにおいて、サーバ101から取得したタスク名を格納する。また、使用ボリュームID2012Bは、サーバ101から取得したタスクの使用するボリュームのIDを格納する。また、開始時刻2012C及び終了時刻2012Dは、タスク実行可能時間帯を設定する画面(図5参照)においてユーザから入力された値を格納する。また、所要時間2012Eは、使用ボリュームID2012Bとストレージ構成情報テーブル2011(図4参照)のボリュームID2011Aを結びつけることにより、使用ボリュームの容量を取得し、その容量から実行時間を見積り、格納する。ここでは、実行時間を容量から見積るとしたが、他にも例えば、実際にサーバ101上のAP102が行うタスクの実行をモニタすることにより、タイマ120からタスクの開始時刻および終了時刻を取得し、(実際の)実行時間を算出してもよい。このようにして、タスクごとに、そのタスクを実行するときにどの論理ボリューム107が使用されるのかを示すタスク管理情報が生成される。
図6について具体的に説明すると、タスクAの使用する論理ボリューム107の使用ボリュームIDが「0:01」及び「0:04」であり、ユーザにより、入力部119からタスク実行可能時間帯が「17:00〜6:00」と設定されたとする。この場合、ストレージ構成情報テーブル2011(図4参照)の容量20110Bを参照すれば、「0:01」及び「0:04」の論理ボリュームの容量は「10GB」であるので、実行時間は双方とも1時間となる。なお、説明を簡単にするため、10GBの容量に対しては、実行時間は1時間と見積もることにする。20GBの容量に対しては、実行時間は2時間と見積もることになる。従って、APタスク情報テーブル2012の「タスクA」のレコードに関しては、タスク名2012Aのフィールドには「タスクA」という値が格納され、使用ボリュームID2012Bのフィールドには「0:01」及び「0:04」という値が格納され、開始時刻2012Cのフィールドには「17:00」という値が格納され、終了時刻2012Dのフィールドには「6:00」という値が格納され、所要時間2012Eのフィールドには「1時間」(「0:01」に対応)及び「1時間」(「0:04」に対応)という値が格納される。
次に、運用管理プログラム200は許容ピーク電力の設定ステップを実行する(ステップS303)。図7は、運用管理プログラム200が行う許容ピーク電力の設定ステップの概要を図示したものである。許容ピーク電力の設定ステップにおいて運用管理プログラム200は、ユーザが許容ピーク電力情報を設定するための設定画面を表示部111に表示する。本実施形態では電源制御対象ユニット106ごとの消費電力およびストレージ装置104全体で許容できる許容ピーク電力を設定することができる。ここで、「許容」とは、ストレージ装置104が安定に稼動することができるという意味である。
本画面には、「電源制御対象ユニット」及び「消費電力(kW)」という欄が設けられた表と、許容ピーク電力の値を入力部119から設定することが可能なボックスが表示されている。「電源制御対象ユニット」の欄には、ストレージ装置104から取得した電源制御対象ユニットのユニット名が「1−1−1」、「1−2−1」、・・・といった具合に順次記載される。「消費電力(kW)」の欄には、「電源制御対象ユニット」の欄に記載されている電源制御対象ユニットにおいて消費される電力の値を入力部119から設定することが可能なボックスが設けられている。例えば、図7では、「1−1−1」と識別される電源制御対象ユニットにおける消費電力(kW)を「10」と入力し、許容ピークの電力値(kW)を「30」と入力する。
本画面においてユーザが入力部119から許容ピーク電力の設定を行うと、運用管理プログラム200は、画面において入力された電源制御対象ユニットごとの消費電力およびストレージ装置104全体で許容できる許容ピーク電力を、それぞれ許容ピーク電力情報テーブル2013および消費電力情報テーブル2014に格納する。
図7において、許容ピーク電力情報テーブル2013は、許容できるピーク電力を設定した対象のストレージ装置名2013A及び設定した許容ピーク電力2013Bをフィールドとして含む。
ストレージ装置名2013Aのフィールドには、本ステップにおいて、本実施形態のストレージシステムを構成するストレージ装置の装置名を(例えば、「装置1」のように)格納する。また、許容ピーク電力2013Bのフィールドには、設定画面(図7参照)において、ユーザから入力された値を(例えば、「30kW」のように)格納する。
図7において、消費電力情報テーブル2014は、消費電力を設定した電源制御対象ユニット106の識別子である電源制御対象ユニットID2014A及びユーザが許容ピーク電力情報を設定する画面において設定した消費電力である消費電力2014Bをフィールドとして含む。
電源制御対象ユニットID2014Aのフィールドには、本ステップにおいて、電源制御対象ユニットのユニット名を(例えば、「1−1−1」のように)格納する。また、消費電力2014Bのフィールドには、設定画面(図7参照)において、電源制御対象ユニットごとに、ユーザから入力された値を(例えば、「10kW」のように)格納する。
本実施形態では、各電源制御対象ユニット106の消費電力はユーザによる入力部119からの入力により取得するとしたが、電源制御対象ユニット106の電力消費をモニタリングする手段を、ストレージ管理サーバ108が具備することにより、取得してもよい。
次に、運用管理プログラム200は電源停止回数の設定ステップを実行する(ステップS304)。図8は、運用管理プログラム200が行う電源停止回数の設定ステップの概要を図示したものである。電源停止回数の設定ステップにおいて運用管理プログラム200は、ユーザが電源停止回数を設定するための設定画面を表示部111に表示する。本実施形態では電源制御対象ユニット106ごとの一日の電源停止回数の制限値を入力することができる。
本画面には、「電源制御対象ユニット」及び「電源停止回数(回/日)」という欄が設けられて表示されている。「電源制御対象ユニット」の欄には、ストレージ装置104から取得した電源制御対象ユニットのユニット名が「1−1−1」、「1−2−1」、・・・といった具合に順次記載される。「電源停止回数(回/日)」の欄には、「電源制御対象ユニット」の欄に記載されている電源制御対象ユニットの電源を停止する回数の値を入力部119から設定することが可能なボックスが設けられている。例えば、図8では、「1−1−1」と識別される電源制御対象ユニットにおける電源停止回数(回/日)を「1」と入力する。
本画面においてユーザが電源停止回数の設定を行うと、運用管理プログラム200は、画面において入力された電源制御対象ユニットごとの電源停止回数を、電源停止回数テーブル2015に格納する。
図8において、電源停止回数テーブル2015は、電源停止回数を設定した電源制御対象ユニット106の識別子である電源制御対象ユニットID2015A及びユーザが電源停止回数を設定する画面において設定した電源停止回数である電源停止回数2015Bをフィールドとして含む。
電源制御対象ユニットID2015Aのフィールドには、本ステップにおいて、電源制御対象ユニットのユニット名を(例えば、「1−1−1」のように)格納する。また、電源停止回数2015Bのフィールドには、設定画面(図8参照)において、電源制御対象ユニットごとに、ユーザから入力された値を(例えば、「1回」のように)格納する。
以上により、APタスク情報および電源制御条件収集処理を終了する。
1.3.2.スケジュール案作成処理
図9は、本発明の第1の実施の形態の、スケジュール案作成・表示プログラム2002において運用管理プログラム200により行われる、スケジュール案作成処理を示すフローチャートである。本フローチャートでは、APタスク情報および電源制御条件収集プログラム2001において収集した電源制御対象ユニット106ごとの消費電力とストレージ装置全体で許容できる許容ピーク電力および電源制御対象ユニット106ごとの一日の電源停止回数の制限値の情報を基に、これらの条件を満たす、APタスクの実行及び電源制御のスケジューリングを行う。本スケジュール案作成処理は、例えばユーザによる入力部119からのスケジュール案作成の指示を契機として実行する。
まず、作成するスケジュール案における、同時に実行するAPタスクの数(以下、「APタスク同時実行数」という。)を1として、スケジュール案の作成を行う(ステップS901)。ここで、APタスク同時実行数は、作成するスケジュール案に、その数で同時に実行されるタスクの組合せがひとつ以上存在するということを示している。
ステップS902では、ステップS901のAPタスク同時実行数において、実行可能なAPタスクの実行順序の組合せを求める。このとき、APタスク情報テーブル2012(図6参照)を参照して、開始時刻2012Cのフィールド及び終了時刻2012Dのフィールドから各APタスクの実行可能時間帯の開始時間及び終了時間を取得し、実行可能時間帯内で実行したときの実行順序の組合せを求める。
次に、ステップS902で求めた組合せが存在するかどうか判定する(ステップS903)。「No」と判定された場合、ステップS906へ、「Yes」と判定された場合、ステップS904へ移る。まず、「Yes」と判定されたとして、ステップS904へ移る場合について説明する。
ステップS904では、ステップS902で作成した組合せについて、APタスクの実行順序の早いものから順に、各APタスクの実行可能時間帯に並べ、APタスクを並べた組合せからAPタスク実行スケジュール案を作成する。このとき、APタスク情報テーブル2012(図6参照)を参照して、所要時間2012Eのフィールドから各APタスクのボリュームごとの所要時間を取得し、同時に実行するAPタスク間同士以外は、そのAPタスクの実行時間中は実行しないように並べる。更に、このとき、可能な限りAPタスクがひとつも実行されていない時間がなくなるように、各APタスクの実行可能時間帯内で近づけて並べる。
次に、APタスク同時実行数をインクリメント(1を加算)する(ステップS905)。ステップS905の完了後、再度、ステップS902へ移る。以降、APタスク同時実行数が2の場合、3の場合、・・・、と順次ステップS902からステップS905の処理を繰り返し、各々の場合におけるAPタスクの実行順序の組合せを求め、その組み合わせからAPタスク実行スケジュール案を作成する。
次に、ステップS902で作成した組合せの存在の判定(ステップS903)において、「No」と判定されたとして、ステップS906へ移る。もし、APタスク同時実行数が、組合せを構成しているAPタスクの個数、つまり、APタスク情報テーブル2012のタスク名2012Aのフィールドに格納されているタスク名の個数を超えることになった場合、その組合せは実現不可能であるため、ステップS903において組合せが存在しないと判定し(「No」)、ステップS906へ移る。また、APタスク同時実行数が、組合せを構成しているAPタスクの個数以下であっても、APタスクの実行可能時間帯がいつであるかによって、特定の組合せが実現不可能になる場合がある(図11A参照)。
ステップS906では、ステップS904で作成された実行順序の組合せごとのAPタスク実行スケジュール案について、電源制御対象ユニット106ごとの電源停止回数の条件を満たし、最も電源停止時間が大きくなるように、電源制御スケジュール案を求める。ここで電源制御対象ユニット106ごとの電源停止回数は、電源停止回数テーブル2015(図8参照)を参照して、電源停止回数2015Bのフィールドから取得する。従って、ある電源制御対象ユニットのある期間において、APタスクが実行されていなくても、電源停止回数を超える場合は、物理ディスクの寿命を考慮して、電源を起動しておくように電源制御スケジュール案を作成する。
ここで、上記の電源制御スケジュール案を作成するための電源制御スケジュール案作成処理について詳細に説明する。図10は、本発明の第1の実施の形態の電源制御スケジュール案作成処理を示すフローチャートである。ここでは、電源制御対象ユニットごとにステップS1002からステップS1005を繰り返すループ処理が実行される(ステップS1001)。
ステップS1002では、ステップS904(図9参照)にて作成されたAPタスク実行スケジュール案から、対象の電源制御対象ユニットにおいてAPタスクの未実行な時間帯である未実行時間帯を取得する。
ステップS1003では、ステップS1002で取得したAPタスクの未実行時間帯を時間の長い順にソートして並び替える。
ステップS1004では、ステップS1003で並び替えたAPタスクの未実行時間帯の時間が長い期間から順に電源停止回数分の期間を選び、その期間を「電源停止期間」とする。
ステップS1005では、ステップS1004で選ばれた電源停止期間以外の期間を「電源起動期間」とする。このように各期間を定めた後、対象とする電源制御対象ユニットにおける電源制御スケジュール案を作成する。
すべての電源制御対象ユニットに対して電源制御スケジュール案を作成した後、本処理を完了する。
ただ、作成した電源制御スケジュール案によっては、タスクのアクセスがなく、電源を起動しておく必要のある期間が存在し、ストレージ装置104の電源制御機能が一定期間のアクセスがないと電源制御対象ユニット106への電源を停止するようなものである場合、つまり、外部のストレージ管理サーバ108により電源制御対象ユニット106の電源の起動または停止の制御が出来ない場合がある。この場合、タスクからのアクセスがなく電源を起動しておく必要のある期間に対して、ダミーアクセス発行部122から発行される(Readのみの)ダミーアクセスを行うタスクを、電源制御スケジュール案に登録する。このダミーアクセスを行うタスクは、ストレージ装置104の電源が停止するまでの一定期間より短い間隔で行う。ダミーアクセス発行制御部121は、ダミーアクセスの発行、及びタスクがダミーアクセスを行う間隔をダミーアクセス発行部122に指示する。
図9に戻って説明を続ける。ステップS907では、ステップS906で作成した電源制御スケジュール案についてピーク電力を求め、ピーク電力の上限である許容ピーク電力を満たさない電源制御スケジュール案を除く。ここで、ピーク電力はある特定の期間において同時に起動している電源制御対象ユニット106の消費電力の総和で求められる。電源制御対象ユニット106ごとの消費電力は、消費電力情報テーブル2014(図7参照)を参照して、消費電力2014Bのフィールドから取得する。更に、ストレージ装置104全体の許容ピーク電力は許容ピーク電力情報テーブル2013(図7参照)を参照して、許容ピーク電力2013Bのフィールドから取得する。
ステップS908では、ステップS906で作成した電源制御スケジュール案から、各電源制御対象ユニットのトータル消費電力を求める。ここで、トータル消費電力は電源制御対象ユニット106ごとの消費電力と総起動時間の積の総和で求められる。電源制御対象ユニット106ごとの消費電力は、消費電力情報テーブル2014(図7参照)を参照して、消費電力2014Bのフィールドから取得する。更に、電源制御対象ユニット106ごとの総起動時間はステップS906で作成した電源制御スケジュール案から取得する。
ステップS909では、ステップS901からステップS906まで作成した、APタスク実行スケジュール案及び電源制御スケジュール案をそれぞれAPタスク実行スケジュールテーブル2016及び電源制御スケジュールテーブル2017に格納する。
以上でスケジュール案作成処理を終了する。なお、ステップS907で求められたピーク電力及びステップS908で求められたトータル消費電力は、このスケジュール案作成処理によって作成されたスケジュール案を評価するための評価値として用いられる。この評価値は、ユーザに選択されるように提示するスケジュール案とともに提示される。ユーザは提示された評価値を参考にして、ストレージ環境の状況を踏まえて省電力化において適切なスケジュール案を容易に選択することができる。また、ストレージ管理サーバ108は、評価値を指標にしてスケジュール案を表示する場合に、スケジュール案を、例えば、トータル消費電力の小さい順やピーク電力の小さい順のように適宜並べ替えて表示することができる。
図12は、APタスク実行スケジュールテーブル2016を図示したものである。APタスク実行スケジュールテーブル2016は、APタスク実行スケジュール案の名前である案2016A、スケジューリングを行ったタスク名であるタスク2016B、スケジューリングされたタスクのタスク実行時間の開始時刻である開始時刻2016C及びスケジューリングされたタスクのタスク実行時間の終了時刻である終了時刻2016Dをフィールドとして含む。
図12について、具体的に説明すると、APタスク情報テーブル2012(図6参照)に格納されているすべてのタスク(タスクA、タスクB、タスクC、タスクD)に対し、実現可能なすべてのAPタスク実行スケジュール案を作成していくことになる。このとき、作成した案は、「案1」、「案2」、・・・のように順次作成し、案2016Aのフィールドに格納される。「案3」に着目すると、タスク2016Bのフィールドには、対象となるタスクのタスク名として、「タスクA」、「タスクB」、「タスクC」、「タスクD」という値が格納される。開始時刻2016Cのフィールドには、タスクの開始時刻として、タスクA、タスクB、タスクC、タスクDに対してそれぞれ、「1:00」、「23:00」、「0:00」、「3:00」という値が格納される。また、終了時刻2016Dのフィールドには、タスクの終了時刻として、タスクA、タスクB、タスクC、タスクDに対してそれぞれ、「2:00」、「2:00」、「1:00」、「4:00」という値が格納される。
また、図13は、電源制御スケジュールテーブル2017を図示したものである。電源制御スケジュールテーブル2017は、電源制御スケジュール案の名前である案2017A、スケジューリングを行った電源制御対象ユニットを一意に表す電源制御対象ユニットID2017B、スケジューリングされた電源制御対象ユニット106ごとの電源起動期間の起動時刻である起動時刻2017C、スケジューリングされた電源制御対象ユニット106ごとの電源停止期間の停止時刻である停止時刻2017D、スケジューリングされた電源制御対象ユニット106ごとの停止回数である停止回数2017E、作成された電源制御スケジュール案ごとのトータル消費電力であるトータル消費電力2017F及び作成された電源制御スケジュール案ごとのピーク電力であるピーク電力2017Gをフィールドとして含む。
図13について、具体的に説明すると、APタスク実行スケジュールテーブル2016(図12参照)の案2016Aのフィールドに格納されているすべての案(「案1」、「案2」、「案3」、・・・)に対して、電源制御スケジュール案を作成していくことになる。このとき、案2017Aのフィールドには、案2016Aのフィールドに格納されているすべての案である「案1」、「案2」、「案3」、・・・という値が格納される。「案3」に着目すると、電源制御対象ユニットID2017Bのフィールドには、案2017Aのフィールドの「案3」において格納されているタスク名(「タスクA」、「タスクB」、「タスクC」、「タスクD」)が使用するボリュームが所属する電源制御対象ユニットを一意に表す電源制御対象ユニットIDとして「1−1−1」、「1−2−1」、「1−3−1」という値が格納される(図4のストレージ構成情報テーブル2011及び図6のAPタスク情報テーブル2012参照)。また、起動時刻2017Cのフィールドには、「1−1−1」、「1−2−1」、「1−3−1」で表される電源制御対象ユニットの起動時刻としてそれぞれ「1:00」、「23:00」、「23:00」という値が格納される。また、停止時刻2017Dのフィールドには、「1−1−1」、「1−2−1」、「1−3−1」で表される電源制御対象ユニットの停止時刻としてそれぞれ「4:00」、「2:00」、「1:00」という値が格納される。また、停止回数2017Eのフィールドには、電源制御対象ユニットごとに電源停止回数テーブル2015(図8参照)に格納された値と同じ値(「1−1−1」、「1−2−1」、「1−3−1」で表される電源制御対象ユニットにつき「1回」)が格納される。また、トータル消費電力2017Fのフィールドには、ステップS908にて求められたトータル消費電力として「100kW」という値が格納される。また、ピーク電力2017Gのフィールドには、ステップS1005において定められた電源起動期間において生じ得るピーク電力として「30kW」という値が格納される。
以上、APタスク実行スケジュールテーブル2016及び電源制御スケジュールテーブル2017に対し、所定の値を格納することが完了して本スケジュール案作成処理は終了する。
本スケジュール案作成処理の具体例を、図11Aおよび図11Bを用いて説明する。各APタスクにはタスク実行可能時間帯が存在する(図6のAPタスク情報テーブル2012参照)。また、各APタスクの使用するボリュームは各電源制御対象ユニット(PCU)を使用している。更に、各APタスクには実行に掛かる実行時間が存在する。例えば図11A中の「タスクA」は17時から6時の間が実行可能な時間帯であり、また、電源制御対象ユニット1−1−1および1−2−1を使用している。更に、タスクAを実行するのにかかる所要時間は1時間(1h)であることを表す。以上のAPタスクの情報から実行可能なAPタスクの実行順序の組合せを求める。組合せはAPタスク同時実行数を1から順に増やして求める。
図11A中ではAPタスク同時実行数が2の場合の組合せを求めている。例えば図11A中の{[タスクB、タスクC]、タスクA、タスクD}(1101)という組合せは、タスクBとタスクCを同時に実行し、次にタスクA、最後にタスクDを実行する、という組合せを表している。また、{[タスクD、タスクC]、[タスクB、タスクA]}(1102)のような組合せは、各APタスクのタスク実行可能時間帯において、実行不可能である(タスクDのタスク実行可能時間帯「3:00〜6:00」が、タスクBの実行可能時間帯「18:00〜1:00」よりも後に存在している)ため除かれる。実際には組合せが存在するすべてのAPタスク同時実行数で組合せを求める。求めた組合せからAPタスク実行スケジュール案を作成する。このとき各APタスクのタスク実行可能時間帯内で、APタスク間の実行時間を近づけて並べる。
図11B中では{[タスクB、タスクC]、タスクA、タスクD}の順で各APタスクのタスク実行可能時間帯内で近づけて並べることで、電源制御スケジュール案を作成する例を示している。ここで、作成した電源制御スケジュール案から許容ピーク電力を満たさないものは除く(図9ステップS907参照。)。既に求めたAPタスク実行スケジュール案から、電源制御対象ユニットごとの電源停止回数の条件を満たし、最も電源停止時間が大きくなるように、電源制御スケジュール案を作成する。図11B中では各電源制御対象ユニットの電源停止回数の上限1を満たし、最も停止期間が長くなるように、電源制御スケジュール案を作成している。例えば、図11Bでは電源制御対象ユニット1−1−1は、電源停止回数の上限が1で、4時から1時の期間がタスク未実行である期間として最も長いため、この期間を停止する。逆に、1時から4時の期間は起動する。従って、図11Bでは電源制御対象ユニット1−1−1、1−2−1、1−3−1はそれぞれ、1時から4時、23時から2時、23時から1時の間起動することとなる。
ここで、タスクのアクセスがなく電源を起動しておく必要のある期間が存在し、外部のストレージ管理サーバ108により電源制御対象ユニット106電源の起動または停止の制御が出来ない場合、Readのみのダミーアクセスを行うタスクを電源制御スケジュール案に登録する。例えば、図11Bでは、電源制御対象ユニット1−1−1における2時から3時の間にダミーアクセスを行うタスクを登録する。以上のようにAPタスクの実行スケジュールおよび電源制御対象ユニットの電源制御スケジュールを作成する。
以上のスケジュール案作成処理を行うことによって、APタスクの要件であるAPタスクのタスク実行可能時間帯および電源制御の条件であるストレージ装置104全体で許容できる許容ピーク電力および電源制御対象ユニット106ごとの1日の電源停止回数の制限値を満たすスケジュール案を作成することができる。
図14は、本発明の第1の実施の形態の、APタスク実行スケジュール案作成・表示プログラム2002において、表示部111により表示されるAPタスク実行スケジュール案を提示、選択するための画面例を図示したものである。本画面には、図9のスケジュール案作成処理において、作成されたスケジュール案を、図12のAPタスク実行スケジュールテーブル2016および図13の電源制御スケジュールテーブル2017から取得し、「案3」、「案1」などと記されたスケジュール案ごとに、「タスク実行スケジュール」、「電源制御スケジュール」、「トータル消費電力」及び「ピーク電力」という欄が設けられた表を表示する。「電源制御スケジュール」の欄については、更に「電源制御対象ユニット」、「電源ON期間」及び「停止回数」という欄に分類した表を表示する。
ここで、運用管理プログラム200は本画面の表示を行う際には、スケジュール案を消費電力の観点から並び替えを行い、順に表示する。これにより、ユーザはより消費電力を低減することのできるAPタスク実行スケジュール案及び電源制御スケジュール案を選択することができる。具体的には各スケジュール案のトータル消費電力またはピーク電力、停止回数などで並び替えを行うことによって表示する。
本画面例では、トータル消費電力の小さいスケジュール案の順に並び替えを行って表示されている。「案3」のトータル消費電力は、「100kW」であり、「案1」のそれは「120kW」である。従って、図14において「案3」、「案1」の順で表示されている。そして、本画面によりユーザにより入力部119から選択されたスケジュール案に基づき、APタスクの実行および電源制御対象ユニットの制御が行われる。図14では、ラジオボタンで「案3」が選択されている。
1.3.3.APタスク実行および電源制御処理
図15A、図15Bおよび図15Cは、本発明の第1の実施の形態の、APタスク実行および電源制御プログラム2003において運用管理プログラム200により行われる、APタスク実行および電源制御処理を表すフローチャートである。本処理は図14のAPタスク実行スケジュール案を提示、選択するための画面においてユーザにより入力部119から選択されたスケジュール案に基づき、運用管理プログラム200が実行する。また、本処理は例えば図14のAPタスク実行スケジュール案を提示、選択するための画面においてユーザの選択が完了したことを契機として、運用管理プログラム200が実行する。
まず、APタスク実行スケジュールテーブル2016(図12参照)に格納された案であってユーザによって選択されたものに対応付けられたAPタスクが実行中かそうでないかを表すAPタスク実行フラグ、及び当該APタスクが使用するボリュームが属する電源制御対象ユニットが起動中かどうかを表す電源制御対象ユニット起動フラグをともに、FALSEに設定する(ステップS1401)。APタスク実行フラグは、APタスクが実行中である場合「TRUE」であり、実行中でない場合「FALSE」である。また、電源制御対象ユニット起動フラグは、電源制御対象ユニットが起動中である場合「TRUE」であり、起動中でない場合「FALSE」である。
次に、現在時刻をタイマ120から取得する(ステップS1402)。
次に、未実行のAPタスクで現在時刻以前に開始する予定のタスクがあるか否か判定する(ステップS1403)。つまり、ステップS1401にて設定したAPタスク実行フラグがFALSEで、ステップS1402で取得した現在時刻において実行すべきAPタスクが存在するか否か判定する。ここでは、APタスク実行フラグがFALSEであるAPタスクの名前をAPタスク実行スケジュールテーブル2016(図12参照)から取得する。更に、取得したAPタスクの名前でAPタスク実行スケジュールテーブル2016(図12参照)を参照して開始時刻2016Cのフィールドから取得した開始時刻が現在時刻より前であるAPタスクが存在するか否か判定する。存在する場合、そのAPタスクは実行すべきAPタスクであり、「Yes」としてステップS1404へ移る。存在しない場合、そのAPタスクはまだ実行すべきでないAPタスクであり、「No」としてステップS1410に移る。ここでは「Yes」と判定したとして、ステップS1404へ移る。
ステップS1404では、ステップS1403において実行すべきと判定したAPタスクを起動してもピーク電力の上限を満たすかどうか判定する。APタスク実行フラグがTRUEのAPタスクの名前の一覧及びステップS1403において実行すべきと判定したAPタスクの名前をAPタスク実行スケジュールテーブル2016(図12参照)から取得し、APタスクの名前でAPタスク情報テーブル2012(図6参照)を参照して、使用ボリュームID2012BのフィールドからAPタスクにより使用されているボリュームIDの一覧を取得する。更に、使用ボリュームIDの一覧に基づいて、ストレージ構成情報テーブル2011(図4参照)を参照して、所属電源制御対象ユニットID2011Cのフィールドから所属電源制御対象ユニットIDの一覧を取得する。更に、所属電源制御対象ユニットIDの一覧に基づいて、消費電力情報テーブル2014(図7参照)を参照して、電源制御対象ユニットの一覧の消費電力2014Bのフィールドから消費電力を取得し、消費電力の総和を求める。そして、許容ピーク電力情報テーブル2013(図7参照)の許容ピーク電力2013Bのフィールドに格納された許容ピーク電力と求めた電源制御対象ユニットの一覧の消費電力2014Bのフィールドに格納された消費電力の総和を比べる。もし、求めた電源制御対象ユニットの消費電力の総和が許容ピーク電力よりも小さかった場合「Yes」としてステップS1405へ、大きかった場合「No」としてステップS1410へ移る。ここでは「Yes」と判定したとして、ステップS1405へ移る。
ステップS1405では、ステップS1403において実行すべきと判定した対象のAPタスクが使用する電源制御対象ユニットが未起動かどうか判定する。ここでは、ステップS1403において実行すべきと判定したAPタスクの名前をAPタスク実行スケジュールテーブル2016(図12参照)から取得し、APタスクの名前でAPタスク情報テーブル2012(図6参照)を参照して、使用ボリュームID2012BのフィールドからAPタスクにより使用されているボリュームID2012Bの一覧を取得する。更に、使用ボリュームIDの一覧に基づいて、ストレージ構成情報テーブル2011(図4参照)を参照して、所属電源制御対象ユニットID2011Cのフィールドから所属電源制御対象ユニットIDの一覧を取得する。更に、所属電源制御対象ユニットIDの一覧の電源制御対象ユニット起動フラグを確認し、(その起動フラグがFALSEとなっている)未起動の電源制御対象ユニットIDの一覧を取得する。もし、未起動の電源制御対象ユニットが存在した場合「Yes」としてステップS1406へ、存在しなかった場合「No」としてステップS1408へ移る。ここでは「Yes」と判定したとして、ステップS1406へ移る。
ステップS1406では、ステップS1405において未起動であると判定した、対象のAPタスクが使用するボリュームが属する電源制御対象ユニット106の電源を起動する。ここではステップS1405で取得した未起動の電源制御対象ユニットIDの一覧を用いて、ストレージ装置104の電源制御機能付きコントローラ105へ電源の起動を要求する。
次に、ステップS1406において起動した電源制御対象ユニット106の電源制御対象ユニット起動フラグをTRUEに更新する(ステップS1407)。
ステップS1405において「No」と判定した後、またはステップS1407が完了した後、ステップS1408では、ステップS1403において実行すべきと判定した、対象のAPタスクを実行する。ここでは、ステップS1403において実行すべきと判定したAPタスクの名前で、サーバ101上のAP102へAPタスクの実行を要求する。更にステップS1402で取得した現在時刻を、対象のAPタスクの実行開始時刻として保持する。
次に、ステップS1408において実行したAPタスクのAPタスク実行フラグをTRUEに更新する(ステップS1409)。本ステップ完了後、再度、ステップS1402へ移る。
ステップS1403において「No」と判定した後、またはステップS1404において「No」と判定した後、ステップS1410では、ステップS1408において実行したAPタスクが完了したかどうか判定する。ここでは、APタスク実行フラグがTRUEであるAPタスクの名前で、サーバ101上のAP102へAPタスクの実行を問い合わせる。問い合わせたAPタスクがひとつでも実行中でなかった場合(つまり、問い合わせたAPタスクがすべて完了した場合)「Yes」としてステップS1411へ、ひとつでも実行中であった場合(つまり、問い合わせたAPタスクが完了していない場合)「No」としてステップS1413へ移る。ここでは「Yes」と判定したとして、ステップS1411へ移る。
ステップS1411では、ステップS1409において実行中であった(APタスク実行フラグをTRUEに更新していた)、対象のAPタスクの実実行時間を更新する。ここでは、ステップS1409において実行中であったAPタスクについて、ステップS1402で取得した現在時刻とステップS1408において設定した実行開始時刻の差分を実実行時間として求め、APタスク実実行時間テーブル2018の実実行時間2018Cのフィールドに格納されている値を更新する。
図16は、APタスク実実行時間テーブル2018を図示したものである。APタスク実実行時間テーブル2018は、サーバ上のAP102が実行するタスクのタスク名2018A、タスクが使用するボリュームを識別する使用ボリュームID2018B、タスクの実実行時間である実実行時間2018Cをフィールドとして含む。このようにして、タスクごとに、実行したタスクの実実行時間がどの程度であるかを示すタスク実実行時間情報が生成される。
図16について、具体的に説明すると、タスク名2018Aのフィールドには、サーバ上のAP102が実行するタスクのタスク名として、APタスク実行スケジュールテーブル2016(図12参照)に格納された案であってユーザに選択されたものに対応付けられたタスクのタスク名である「タスクA」、「タスクB」、「タスクC」、「タスクD」という値が格納される。タスクAに着目すると、使用ボリュームID2018Bのフィールドには、タスクAが使用するボリュームを表すボリュームIDとして「0:01」及び「0:04」という値が格納される。また、実実行時間2018Cのフィールドには、ステップS1411において求めた実実行時間から「1時間」(「0:01」に対応)及び「1時間」(「0:04」に対応)という値が格納される。
ステップS1412では、ステップS1410において実行中でなかった(完了した)APタスクのAPタスク実行フラグをFALSEに更新する。
ステップS1410において「No」と判定した後、またはステップS1412の後、ステップS1413では、電源制御対象ユニットが停止可能かどうか判定する。ここでは、電源制御対象ユニット起動フラグがTRUEである起動中の電源制御対象ユニットごとに、電源制御対象ユニットのIDで、ストレージ構成情報テーブル2011(図4参照)を参照して、電源制御対象ユニット106に含まれるボリュームID2011AのフィールドからボリュームIDの一覧を取得する。更に、取得したボリュームのIDの一覧に基づいて、APタスク情報テーブル2012(図6参照)を参照して、タスク名2012Aのフィールドから、ボリュームを使用しているタスク名の一覧を取得する。更に、取得したタスク名の一覧のタスクのAPタスク実行フラグを確認し、すべてFALSEであれば、当該電源制御対象ユニットを停止可能電源制御対象ユニットとして判定し、当該電源制御対象ユニットのIDを停止可能電源制御対象ユニットのリストに加える。更に、すべての電源制御対象ユニットに対して完了後、もし、停止可能電源制御対象ユニットが存在する場合「Yes」としてステップS1414へ、存在しない場合「No」としてステップS1402へ移る。ここでは「Yes」と判定したとして、ステップS1414へ移る。
ステップS1414では、ステップS1413において停止可能電源制御対象ユニットと判定された電源制御対象ユニットが電源制御スケジュールに基づいて、電源停止期間であるかどうか判定する。ここでは、ステップS1413の停止可能電源制御対象ユニットのリストに加えられた電源制御対象ユニットごとに、電源制御対象ユニットのIDを用いて、電源制御スケジュールテーブル2017(図13参照)を参照して、現在実行中の電源制御スケジュールに関する、電源起動期間の起動時刻2017Cのフィールド及び停止時刻2017Dのフィールドから起動時刻及び停止時刻を取得する。更に、ステップS1402で取得した現在時刻が電源制御対象ユニットの起動時刻と停止時刻の間に含まれない場合、当該電源制御対象ユニットを停止電源制御対象ユニットとして判定し、当該電源制御対象ユニットのIDを停止電源制御対象ユニットのリストに加える。更に、すべての停止可能電源制御対象ユニットに対して完了後、もし、停止電源制御対象ユニットが存在する場合、「Yes」としてステップS1415へ、存在しない場合「No」として1402へ移る。ここでは「Yes」と判定したとして、ステップS1415へ移る。
ステップS1415では、ステップS1414において停止電源制御対象ユニットと判定された電源制御対象ユニットの電源を停止する。ここでは、ステップS1414の停止電源制御対象ユニットのリストに加えられた電源停止ユニットのIDを用いて、ストレージ装置104の電源制御機能付きコントローラ105へ電源の停止を要求する。
ステップS1416では、ステップS1415において電源を停止した電源制御対象ユニットの電源制御対象ユニット起動フラグを、FALSEに更新する。本ステップ完了後、再度、ステップS1402へ移る。
以上のAPタスク実行および電源制御処理を繰り返し行うことによって、スケジュール案に基づき、タスクの実行および電源の制御を実行することができる。
1.3.4.APタスク実行スケジュール変更処理
図17は、本発明の第1の実施の形態の、APタスク実行スケジュール変更プログラム2004において運用管理プログラム200により行われる、APタスク実行スケジュール変更処理を表すフローチャートである。
まず、ステップS1601では、運用管理プログラム200はストレージ装置104から電源制御対象ユニットの電源停止の通知を受信する。ここでは、ストレージ装置104から電源を停止する電源制御対象ユニット106のIDを受信する。また、電源制御タイミング受信部112は、この通知から電源制御のタイミング(電源を停止したというタイミング)を取得する。このストレージ装置104からの通知は、例えば、ある一定期間、電源制御対象ユニットが稼動していないことをストレージ装置104が確認した後に行われる。
ステップS1602では、実際のタスクの実行に掛かった時間を取得する。ここでは、電源制御タイミング受信部112における電源制御のタイミングの受信を契機として、APタスクごとのAPタスク実実行時間テーブル2018テーブル(図16参照)を参照して、実実行時間2018Cのフィールドから実実行時間を取得する。
ステップS1603では、タスクの所要時間を更新する。ここでは、ステップS1602で取得した実実行時間を用いて、APタスク情報テーブル2012(図6参照)の所要時間2012Eのフィールドに格納されている所要時間(使用するボリュームの容量から見積もった所要時間)の値を、その実実行時間に更新する。
ステップS1604では、ステップS1603で変更した情報(実実行時間が格納されたAPタスク情報テーブル2012(図6参照)から定まる情報)を基に、図9で示したスケジュール案作成処理を実行する。
ステップS1604を完了後、APタスク実行スケジュール変更処理を完了する。
以上のAPタスク実行スケジュール変更処理を行うことによって、実際のAPタスクの実行に合わせて動的にスケジュールを変更することができる。更に、変更されたスケジュールに基づき、APタスク実行および電源制御プログラム2003において運用管理プログラム200により行われる、APタスク実行および電源制御処理(図15Aから図15C)が行われることにより、実際のAPタスクの実行に合わせて動的にAPタスクの実行および電源の制御を実行することができる。
1.4.第1の実施の形態のまとめ
第1の実施形態により、以下の効果を奏する。すなわち、複数のタスクが実行されるストレージ装置を対象として、論理ボリュームが属する電源制御対象ユニットにより電源制御を行うにあたり、タスクの実行可能時間帯、トータルの消費電力、ピーク電力、電源の起動または停止回数といった一定の条件下において最適な省電力化を実現するという効果を奏する。
上記電源制御においては、タスクの実行スケジュール及び電源制御のスケジュールに着目したスケジュール案を作成し、それをユーザに提示することにより、ユーザはストレージシステムの運用状況を考慮して、都合の良いスケジュール案を選択することができる。
また、実際にタスクを実行するにあたり、電源制御を行った場合のタイミングに基づいて、スケジュール案を動的に変更し、実行したタスクに合わせて別のタスクを実行および電源の制御をすることができ、スケジューリングの効率性が増す。
2.第2の実施の形態
第1の実施の形態では、タスクの実行および電源制御のスケジュール案を作成し、作成したスケジュール案に基づきタスクの実行および電源の制御を行う例を説明した。第2の実施の形態では、より簡易的にスケジューリングを行い、タスク実行および電源の制御を行うことにより、省電力化を実現するストレージシステムの例である。第1の実施の形態では、タスクの省電力化を実現する最適なスケジュール案をユーザとのインタラクションを経て決定した。本実施の形態の特徴は、第1の実施の形態と異なり、ユーザが意識せず省電力化を実現するスケジューリングが行われることにある。従って、本実施の形態は、明確な実行可能時間帯が存在しないタスク、ユーザが実行可能時間帯を明確に定めることができないタスク、またはタスク間の実行順序に関する依存性がないタスクについて適応し易いという利点がある。第2の実施の形態について、第1の実施の形態との相違点を中心に説明する。
2.1.システムの構成
図18は、本発明の第2の実施の形態のストレージ管理サーバ上のメモリのブロック図である。運用管理プログラム200に、APタスク実行スケジュール案作成・表示プログラム2002、APタスク実行および電源制御プログラム2003及びAPタスク実行スケジュール変更プログラム2004が含まれず、APタスク実行監視プログラム2005が含まれ、また運用管理DB201に許容ピーク電力情報テーブル2013、消費電力情報テーブル2014、電源停止回数テーブル2015、APタスク実行スケジュールテーブル2016、電源制御スケジュールテーブル2017が含まれず、APタスク実行情報テーブル2019が含まれる点が本発明の第1の実施の形態と異なる(図2参照)。なお、本実施の形態では、APタスク情報テーブル2012(図6参照)について、実行可能時間帯の開始時刻2012Cのフィールドおよび終了時刻2012Dのフィールドには、開始時刻及び終了時刻の値が格納されていないものとする。
2.1.1.APタスク情報および電源制御条件収集プログラム
APタスク情報および電源制御条件収集プログラム2001は、ストレージ装置104全体で許容できる最大の電力の情報であるピーク電力の情報および電源制御対象ユニット106の電源停止回数の収集を行わず、APタスクの実行の情報を収集し、APタスク実行情報テーブル2019に格納する点が第1の実施の形態と異なる。APタスク情報および電源制御条件収集プログラム2001の処理の詳細は、図19及び図20を用いて後記する。
2.1.2.APタスク実行監視プログラム
APタスク実行監視プログラム2005は、サーバ101上のAP102が実行しているAPタスクを監視し、サーバ101のAP102に対してAPタスクの実行を要求する。APタスク実行監視プログラム2005の処理の詳細は、図21を用いて後記する。
2.1.3.APタスク実行情報テーブル
APタスク実行情報テーブル2019は、APタスクの実行状態を表す情報である。APタスク実行情報テーブル2019の内容は、図20を用いて後記する。
2.2.システムの処理
次に、本発明の第2の実施の形態のストレージシステムの処理について説明する。この処理は、運用管理プログラム200を構成するAPタスク情報および電源制御条件収集プログラム2001及びAPタスク実行監視プログラム2005によって行われる処理に分類して説明される。以下、それぞれの処理について詳細に説明する。
2.2.1.APタスク情報および電源制御条件収集の処理
図19は、本発明の第2の実施の形態の、APタスク情報および電源制御条件収集プログラム2001において、運用管理プログラム200により行われる、APタスク情報および電源制御条件収集の処理を示すフローチャートである。本フローチャートについては、図19および図20を参照し、以下に説明する。
ストレージ構成情報の収集のステップS301は第1の実施の形態と同様なため、ここでは省略する(図3参照)。
ストレージ構成情報の収集のステップS301の後、運用管理プログラム200はAPタスク実行情報の設定ステップを実行する(ステップS1801)。
APタスク実行情報の設定ステップにおいて、運用管理プログラム200は、APタスク情報を収集するために、各サーバ101から、サーバ101上のAP102が実行するタスクのタスク名を取得する。更に取得したタスク名を基に、ユーザが各タスクの完了間隔を設定する画面を表示部111に表示する。「完了間隔」とは、各タスクの完了周期に相当し、あるタスクが完了した後に、次にそのタスクを完了するまでの最長の時間である。各タスクは、実行が完了してから、完了間隔に収まる時間に再実行される。つまり、このタスクの完了間隔は、各タスクの実行契機として用いられる。例えば、実行されるタスクがストレージ装置のバックアップ処理であった場合には、この完了間隔とはRPO(Recovery Point Object)に相当する。
図20は、本発明の第2の実施の形態の運用管理プログラム200が行うAPタスク実行情報の設定ステップの概要を図示したものである。図20には、ユーザが各タスクの完了間隔を設定する画面例が図示されており、この画面で設定された完了間隔を満たしながらタスクはスケジューリングされ、実行される。本画面には、「タスク名」の欄と「タスク完了間隔」の欄が設けられた表が表示されており、「タスク完了間隔」の欄においては、ユーザがタスクごとにタスクが完了する間隔を設定することができるように入力用のボックスが設けられている。本画面においてユーザが入力部119からタスクごとの完了間隔の設定を行うと、運用管理プログラム200は、画面において入力された完了間隔を、図20のAPタスク実行情報テーブル2019の完了間隔2019Bのフィールドに格納する。
また、図20には、APタスク実行情報テーブル2019が図示されており、APタスク実行情報テーブル2019はサーバ101上のAP102が実行するAPタスク名2018A、APタスクが完了する間隔である完了間隔2019B、前回APタスクが完了した日時である前回完了時刻2019Cをフィールドとして含む。
図20のAPタスク実行情報テーブル2019について具体的に説明すると、タスク2019Aのフィールドには、サーバ101から取得したタスクのタスク名である「タスクA」、「タスクB」、「タスクC」及び「タスクD」という値が格納される。また、タスクAに着目すると、タスク情報の完了間隔2019Bのフィールドには、ユーザにより入力部119から入力された完了間隔として「24時間」という値が格納される。また、タスク情報の前回完了時刻2019Cのフィールドには、タイマ120から取得した、タスクAが前回に完了した時刻として「2007/01/02/12:00(西暦2007年1月2日の12:00)」という値が格納される。
2.2.2.APタスク実行監視および電源制御処理
図21Aおよび図21Bは、本発明の第2の実施の形態の、APタスク実行監視プログラム2005において運用管理プログラム200により行われる、APタスク実行監視および電源制御処理を表すフローチャートである。
まず、ステップS1901では、運用管理プログラム200はサーバ101上で動作するAPタスクのAPタスク名をAPタスク情報テーブル2012(図6参照)から取得する。更にそのAPタスクごとに、APタスクが実行中かそうでないかを表すAPタスク実行フラグを用意し、FALSEに設定する。APタスク実行フラグは、APタスクが実行中である場合「TRUE」であり、実行中でない場合「FALSE」である。
ステップS1902では、現在時刻をタイマ120から取得する。
ステップS1903では、ステップS1902で取得した現在時刻に完了間隔が満たされなくなるAPタスクが存在するかどうか判定する。ここでは、APタスクごとにステップS1902で取得した現在時刻と、APタスク実行情報テーブル2019(図20参照)の前回完了時刻2019Cのフィールドに格納された前回完了時刻との差を求め、その差を経過時間とする。更に、APタスクごとにAPタスク情報テーブル2012(図6参照)を参照して、所要時間2012Eのフィールドから所要時間を取得する。そして、APタスクごとに、経過時間と所要時間の和が、APタスク実行情報テーブル2019の完了間隔2019Bのフィールドから取得した完了間隔より大きい場合、完了間隔が満たされないと判定し、「Yes」としてステップS1904へ、小さい場合、完了間隔が満たされると判定し、「No」としてステップS1909へ移る。ここでは「Yes」と判定したとして、ステップS1904へ移る。
ステップS1904では、ステップS1903において完了間隔が満たされないと判定された、対象のAPタスクを実行APタスクリストに加える。
ステップS1905では、対象のAPタスクの使用するボリュームが所属する電源制御対象ユニットと同じ電源制御対象ユニットに所属するボリュームを使用するAPタスクを実行APタスクリストに加える。ここでは、実行APタスクリストに加えられたAPタスクの名前で、APタスク情報テーブル2012(図6参照)を参照して、使用ボリュームID2012Bのフィールドから、使用されるボリュームの使用ボリュームIDの一覧を取得する。更に、使用ボリュームIDの一覧に基づいて、ストレージ構成情報テーブル2011(図4参照)を参照して、所属電源制御対象ユニットID2011Cのフィールドから所属電源制御対象ユニットIDの一覧を取得し、この所属電源制御対象ユニットIDの一覧に所属するボリュームIDの一覧を、ボリュームID2011Aのフィールドから取得する。更に、所属するボリュームIDの一覧に基づいて、APタスク情報テーブル2012(図6参照)を参照して、タスク名2012Aのフィールドからこれらのボリュームを使用するタスク名を取得し、取得したタスク名に係るAPタスクを実行APタスクリストに加える。
ステップS1906では、ステップS1905までで作成した実行APタスクリストに加えられたAPタスクが使用する電源制御対象ユニットの電源を起動する。ここでは、ステップS1905で取得した所属電源制御対象ユニットのIDを用いて、ストレージ装置104の電源制御機能付きコントローラ105へ電源の起動を要求する。
ステップS1907では、ステップS1905までで作成した実行APタスクリストに含まれるAPタスクを実行する。ここでは、ステップS1905までで作成した実行APタスクリストに加えられたAPタスクの名前を用いて、サーバ101上のAP102へAPタスクの実行を要求する。
ステップS1908では、ステップS1907において実行したAPタスク実行フラグをTRUEに更新するように設定する。
ステップS1903において、「No」と判定された場合、またはステップS1908が完了した後、ステップS1909が実行される。ステップS1909では、ステップS1908において実行した(APタスク実行フラグをTRUEに設定した)APタスクの実行開始時刻をタイマ120から取得する。
ステップS1910では、実行中のAPタスクが完了したかどうか判定が行われる。ここではAPタスク実行フラグがTRUEであるタスクの名前をAPタスク情報テーブル2012(図6参照)から取得する。更に、取得したAPタスクの名前で、サーバ101上のAP102へAPタスクの実行を問い合わせる。もし、完了しているAPタスクが存在した場合「Yes」としてステップS1911へ、存在しない場合「No」としてステップS1902へ移る。ここでは「Yes」と判定したとして、ステップS1911へ移る。
ステップS1911では、ステップS1910で完了したAPタスクの所要時間を更新する。ここでは、ステップS1902で取得した現在時刻と、ステップS1909において取得した実行開始時間の差から所要時間を求める。更に、求めた所要時間については、APタスク情報テーブル2012(図6参照)において、対象のAPタスクの所要時間2012Eのフィールドに格納された値を、求めた所要時間に更新する。
ステップS1912では、完了したAPタスクの前回完了時刻を更新する。ステップS1902で取得した現在時刻については、APタスク実行情報テーブル2019(図20参照)において、対象のタスクの前回完了時刻2019Cのフィールドに格納された値を、取得した現在時刻に更新する。
ステップS1913では、ステップS1910において完了したと判定されたAPタスク実行フラグをFALSEに更新するように設定する。
ステップS1914では、ステップS1910において完了したと判定されたAPタスクを実行APタスクリストから削除する。
ステップS1915では、完了したAPタスクの使用するボリュームが所属する電源制御対象ユニットに、他の実行中のAPタスクの使用するボリュームが所属するか判定する。つまり、完了したAPタスクと同じ電源制御対象ユニットを使用する実行中APタスクが存在するか否か判定する。ここでは、完了したタスクの名前で、APタスク情報テーブル2012(図6参照)を参照して、使用ボリュームID2012Bのフィールドから使用しているボリュームIDの一覧を取得する。更に、取得したボリュームIDの一覧で、ストレージ構成情報テーブル2011(図4参照)を参照して、所属電源制御対象ユニットID2011Cのフィールドから、ボリュームが所属している所属電源制御対象ユニットIDの一覧を取得する。更に、取得した所属電源制御対象ユニットIDで、ストレージ構成情報テーブル2011のボリュームID2011Aのフィールドから電源制御対象ユニットに所属するボリュームのボリュームIDの一覧を取得する。更に、取得したボリュームIDの一覧で、APタスク情報テーブル2012(図6参照)を参照して、タスク名2012Aのフィールドから取得したボリュームIDを使用するタスク名を取得する。そして、取得したタスク名のAPタスク実行フラグを確認し、ひとつでもTRUEとなるAPタスクが存在する場合「Yes」としてステップS1902へ、ひとつもTRUEとなるAPタスクが存在しない場合「No」としてステップS1916へ移る。ここでは、「No」と判定したとして、ステップS1916へ移る。
ステップS1916では、ステップS1910において完了したと判定されたAPタスクの使用するボリュームが所属する電源制御対象ユニットの電源を停止する。ここでは、ステップS1915で取得した所属電源制御対象ユニットIDの一覧を用いて、ストレージ装置104の電源制御機能付きコントローラ105へ電源の停止を要求する。
以上により、APタスク実行監視および電源制御処理を終了する。
以上の、APタスク実行監視および電源制御処理を行うことによって、APタスクの要件であるAPタスクの完了間隔を満たしながら、APタスクの実行および電源の制御を行うことができる。
なお、本実施の形態では、APタスクの起動契機として、各APタスクの完了間隔を設定する例を示したが、この他にもユーザによりあるAPタスクが実行されたことを契機とする方法も考えられる。これらの例のように、本実施の形態は、タスクの実行の開始のタイミングを定めてタスクの実行状況を監視する。そして、あるタスクの実行に追従して、他のタスクを実行するようスケジューリングすることにより省電力化を実現することを可能とする。
2.3.第2の実施の形態のまとめ
第2の実施形態により、以下の効果を奏する。すなわち、複数のタスクが実行されるストレージ装置を対象として、論理ボリュームが属する電源制御対象ユニットにより電源制御を行うにあたり、タスクの完了間隔に従い、特定のタスクの実行に追従して他のタスクを実行することにより、最適な省電力化を実現するという効果を奏する。電源を起動しているにもかかわらず、タスクを実行していないといった状況が起こる可能性を低減することになるからである。
ユーザがタスクごとに完了間隔さえ設定すれば、スケジュール案を選択するなどといったインタラクションを経ることなく、ユーザが意識することのない簡易的な、タスクのスケジューリングを行うことができる。
ストレージ環境は刻々と変化するものであるため、タスクごとに一律にタスク実行可能時間帯を設定することが困難な場合がある。また、タスクによっては、あるタスクを実行するためには他のタスクを実行していなければならないといったタスク間の実行順序に気を配ってスケジュール案を作成しなければならない場合がある。本実施の形態では元々タスク実行可能時間帯を設定する必要がなく、かつ、完了間隔からタスクの実行の完了を想定している以上、タスク間の実行順序を気にする必要がないので、簡易的にスケジューリングを行うことができる。
なお、上述した形態は、本発明を実施するための最良のものであるが、かかる実施形式に限定する趣旨ではない。従って、本発明の要旨を変更しない範囲内において、その実施形式を種々変形することが可能である。
本発明の第1の実施の形態のストレージシステムのブロック図である。 本発明の第1の実施の形態のストレージ管理サーバ上のメモリのブロック図である。 本発明の第1の実施の形態のAPタスク情報および電源制御条件収集を示すフローチャートである。 本発明の第1の実施の形態のストレージ構成情報テーブル2011の内容を図示したものである。 ユーザが各タスクの実行可能時間帯を設定する画面例を図示したものである。 本発明の第1の実施の形態のAPタスク情報テーブル2012の内容を図示したものである。 本発明の第1の実施の形態の運用管理プログラム200が行う許容ピーク電力の設定ステップの概要を図示したものである。 本発明の第1の実施の形態の運用管理プログラム200が行う電源停止回数の設定ステップの概要を図示したものである。 本発明の第1の実施の形態のスケジュール案作成処理を示すフローチャートである。 本発明の第1の実施の形態の電源制御スケジュール案作成処理を示すフローチャートである。 本発明の第1の実施形態のスケジュール案作成処理の具体例を示す図その1である。 本発明の第1の実施形態のスケジュール案作成処理の具体例を示す図その2である。 APタスク実行スケジュールテーブル2016を図示したものである。 電源制御スケジュールテーブル2017を図示したものである。 APタスク実行スケジュール案を提示、選択するための画面例を図示したものである。 本発明の第1の実施の形態のAPタスク実行および電源制御処理を表すフローチャートその1である。 本発明の第1の実施の形態のAPタスク実行および電源制御処理を表すフローチャートその2である。 本発明の第1の実施の形態のAPタスク実行および電源制御処理を表すフローチャートその3である。 APタスク実実行時間テーブル2018を図示したものである。 本発明の第1の実施の形態のAPタスク実行スケジュール変更処理を表すフローチャートである。 本発明の第2の実施の形態のストレージ管理サーバ上のメモリのブロック図である。 本発明の第2の実施の形態のAPタスク情報および電源制御条件収集を表すフローチャートである。 本発明の第2の実施の形態の運用管理プログラム200が行うAPタスク実行情報の設定ステップの概要を図示したものである。 本発明の第2の実施の形態のAPタスク実行監視および電源制御処理を表すフローチャートその1である。 本発明の第2の実施の形態のAPタスク実行監視および電源制御処理を表すフローチャートその2である。
符号の説明
101 サーバ
102 AP(アプリケーション)
103 SAN
104 ストレージ装置
105 電源制御機能付きコントローラ
106 電源制御対象ユニット
107 論理ボリューム
108 ストレージ管理サーバ
109 CPU
110 メモリ
111 表示部
112 電源制御タイミング受信部
113 LAN
114 LANインタフェース
115 SANインタフェース
116 SANインタフェース
117 LANインタフェース
118 LANインタフェース
119 入力部
120 タイマ
121 ダミーアクセス発行制御部
122 ダミーアクセス発行部
200 運用管理プログラム
201 運用管理DB
2001 APタスク情報および電源制御条件収集プログラム
2002 APタスク実行スケジュール案作成・表示プログラム
2003 APタスク実行および電源制御プログラム
2004 APタスク実行スケジュール変更プログラム
2005 APタスク実行監視プログラム
2011 ストレージ構成情報テーブル
2012 APタスク情報テーブル
2013 許容ピーク電力情報テーブル
2014 消費電力情報テーブル
2015 電源停止回数テーブル
2016 APタスク実行スケジュールテーブル
2017 電源制御スケジュールテーブル
2018 APタスク実実行時間テーブル
2019 APタスク実行情報テーブル

Claims (8)

  1. 記憶デバイスを有し、前記記憶デバイスからストレージ記憶領域を作成するストレージ装置と、
    前記ストレージ装置にネットワークを経由して接続され、前記ストレージ記憶領域にアクセスすることが可能なサーバ装置と、
    前記ストレージ装置及び前記サーバ装置にネットワークを経由して接続され、ストレージ環境を管理する管理装置と、
    を有するストレージシステムにおいて、
    前記ストレージ装置は、
    前記ストレージ記憶領域からなるユニットを、前記記憶デバイスの動作に必要な電源の電源制御の単位とする電源制御対象ユニットとし、前記電源制御を前記電源制御対象ユニットごとに行う電源制御手段を有し、
    前記サーバ装置は、
    前記ストレージ記憶領域を使用するタスクを実行するアプリケーションを有し、
    前記管理装置は、
    前記ストレージ記憶領域と前記ストレージ記憶領域が所属する電源制御対象ユニットとの対応関係を定めたストレージ構成情報を記憶する手段と、
    前記タスクと前記タスクを実行する場合に前記タスクが使用するストレージ記憶領域との対応関係を定めたタスク管理情報を記憶する手段と、
    前記タスクの実行可能時間帯を定めたタスク実行条件を収集する手段と、
    前記ストレージ装置における許容ピーク電力の値及び前記電源制御対象ユニットにおける電源の停止回数を定めた電源制御条件を収集する手段と、
    前記ストレージ構成情報及び前記タスク管理情報に基づいて、前記タスク実行条件及び前記電源制御条件を満たすように作成されるスケジュール案に従い、前記タスクの実行及び前記電源制御を実行する手段と
    前記スケジュール案を、当該スケジュール案を評価するための評価値と共に表示する表示手段と、
    前記表示されたスケジュール案のうちユーザが希望するものを選択することが可能な入力を行う入力手段と、を有し、
    前記管理装置は、前記スケジュール案を作成する際、前記電源制御対象ユニットにおける所定期間内の消費電力の合計値、及び前記電源制御対象ユニットを起動して生じる所定期間内のピーク電力の値を、前記スケジュール案を評価するための前記評価値として算出し、前記表示手段に前記スケジュール案を表示する際、前記評価値に基づいて、前記消費電力の合計値の小さい順に前記スケジュール案の並び替えを行って表示することを特徴とするストレージシステム。
  2. 前記管理装置は、
    前記入力手段からの入力により選択されたスケジュール案に従い、前記タスクの実行及び前記電源制御を実行することを特徴とする請求項に記載のストレージシステム。
  3. 前記タスク管理情報は、それぞれの前記ストレージ記憶領域において、各ストレージ記憶領域に対応する前記タスクの実行に要するタスク実実行時間の情報をさらに含み、
    前記管理装置は、
    前記ストレージ構成情報及び前記タスク管理情報に基づいて、前記タスク実行条件及び前記電源制御条件を満たすように前記スケジュール案を変更し、
    前記変更したスケジュール案に従い、前記タスクの実行及び前記電源制御を実行することを特徴とする請求項1に記載のストレージシステム。
  4. 前記管理装置は、
    前記ストレージ装置から、前記電源制御対象ユニットごとに電源制御の起動時刻及び停止時刻を含む電源制御のタイミングを受信する手段を有し、
    前記電源制御のタイミングに基づいて、前記タスク実実行時間を算出することを特徴とする請求項に記載のストレージシステム。
  5. 記憶デバイスを有し、前記記憶デバイスからストレージ記憶領域を作成し、前記ストレージ記憶領域からなるユニットを、前記記憶デバイスの動作に必要な電源の電源制御の単位とする電源制御対象ユニットとし、前記電源制御を前記電源制御対象ユニットごとに行う電源制御手段を有するストレージ装置、及び、前記ストレージ装置にネットワークを経由して接続され、前記ストレージ記憶領域にアクセスすることが可能であり、前記ストレージ記憶領域を使用するタスクを実行するアプリケーションを有するサーバ装置にネットワークを経由して接続され、ストレージ環境を管理する管理装置において、
    前記ストレージ記憶領域と前記ストレージ記憶領域が所属する電源制御対象ユニットとの対応関係を定めたストレージ構成情報を記憶する手段と、
    前記タスクと前記タスクを実行する場合に前記タスクが使用するストレージ記憶領域との対応関係を定めたタスク管理情報を記憶する手段と、
    前記タスクの実行可能時間帯を定めたタスク実行条件を収集する手段と、
    前記ストレージ装置における許容ピーク電力の値及び前記電源制御対象ユニットにおける電源の停止回数を定めた電源制御条件を収集する手段と、
    前記ストレージ構成情報及び前記タスク管理情報に基づいて、前記タスク実行条件及び前記電源制御条件を満たすように作成されるスケジュール案に従い、前記タスクの実行及び前記電源制御を実行する手段と
    前記スケジュール案を、当該スケジュール案を評価するための評価値と共に表示する表示手段と、
    前記表示されたスケジュール案のうちユーザが希望するものを選択することが可能な入力を行う入力手段と、を有し、
    前記スケジュール案を作成する際、前記電源制御対象ユニットにおける所定期間内の消費電力の合計値、及び前記電源制御対象ユニットを起動して生じる所定期間内のピーク電力の値を、前記スケジュール案を評価するための前記評価値として算出し、前記表示手段に前記スケジュール案を表示する際、前記評価値に基づいて、前記消費電力の合計値の小さい順に前記スケジュール案の並び替えを行って表示することを特徴とする管理装置。
  6. 記憶デバイスを有し、前記記憶デバイスからストレージ記憶領域を作成し、前記ストレージ記憶領域からなるユニットを、前記記憶デバイスの動作に必要な電源の電源制御の単位とする電源制御対象ユニットとし、前記電源制御を前記電源制御対象ユニットごとに行う電源制御手段を有するストレージ装置、及び、前記ストレージ装置にネットワークを経由して接続され、前記ストレージ記憶領域にアクセスすることが可能であり、前記ストレージ記憶領域を使用するタスクを実行するアプリケーションを有するサーバ装置にネットワークを経由して接続され、
    前記ストレージ記憶領域と前記ストレージ記憶領域が所属する電源制御対象ユニットとの対応関係を定めたストレージ構成情報及び前記タスクと前記タスクを実行する場合に前記タスクが使用するストレージ記憶領域との対応関係を定めたタスク管理情報を記憶して、ストレージ環境を管理する管理装置における、タスクの実行及び電源制御の実行に関するスケジューリング方法において、
    前記タスクの実行可能時間帯を定めたタスク実行条件を収集するステップと、
    前記ストレージ装置における許容ピーク電力の値及び前記電源制御対象ユニットにおける電源の停止回数を定めた電源制御条件を収集するステップと、
    前記ストレージ構成情報及び前記タスク管理情報に基づいて、前記タスク実行条件及び前記電源制御条件を満たし、前記電源制御対象ユニットにおける所定期間内の消費電力の合計値、及び前記電源制御対象ユニットを起動して生じる所定期間内のピーク電力の値を評価値として算出し、当該評価値に基づいてスケジュール案を作成するステップと、
    前記スケジュール案を、前記評価値に基づいて、前記消費電力の合計値の小さい順に前記スケジュール案の並び替えを行って表示するステップと、
    前記表示されたスケジュール案のうちユーザが希望するものの選択を受け付けるステップと、
    選択されたスケジュール案に従い、前記タスクの実行及び前記電源制御を実行するステップと、
    を実行することを特徴とするスケジューリング方法。
  7. 記憶デバイスを有し、前記記憶デバイスからストレージ記憶領域を作成し、前記ストレージ記憶領域からなるユニットを、前記記憶デバイスの動作に必要な電源の電源制御の単位とする電源制御対象ユニットとし、前記電源制御を前記電源制御対象ユニットごとに行う電源制御手段を有するストレージ装置、及び、前記ストレージ装置にネットワークを経由して接続され、前記ストレージ記憶領域にアクセスすることが可能であり、前記ストレージ記憶領域を使用するタスクを実行するアプリケーションを有するサーバ装置にネットワークを経由して接続され、ストレージ環境を管理する管理装置のコンピュータに、タスクの実行及び電源制御の実行に関するスケジューリングを実行させるプログラムにおいて、
    前記ストレージ記憶領域と前記ストレージ記憶領域が所属する電源制御対象ユニットとの対応関係を定めたストレージ構成情報を記憶する手段と、
    前記タスクと前記タスクを実行する場合に前記タスクが使用するストレージ記憶領域との対応関係を定めたタスク管理情報を記憶する手段と、
    前記タスクの実行可能時間帯を定めたタスク実行条件を収集する手段と、
    前記ストレージ装置における許容ピーク電力の値及び前記電源制御対象ユニットにおける電源の停止回数を定めた電源制御条件を収集する手段と、
    前記ストレージ構成情報及び前記タスク管理情報に基づいて、前記タスク実行条件及び前記電源制御条件を満たし、前記電源制御対象ユニットにおける所定期間内の消費電力の合計値、及び前記電源制御対象ユニットを起動して生じる所定期間内のピーク電力の値を評価値として算出し、当該評価値に基づいてスケジュール案を作成する手段と、
    前記スケジュール案を、前記評価値に基づいて、前記消費電力の合計値の小さい順に前記スケジュール案の並び替えを行って表示する手段と、
    前記表示されたスケジュール案のうちユーザが希望するものを選択することが可能な入力を行う手段と、
    選択されたスケジュール案に従い、前記タスクの実行及び前記電源制御を実行する手段と、
    して機能させることを特徴とするプログラム。
  8. 請求項に記載のプログラムを記録した記録媒体。
JP2007216626A 2007-08-23 2007-08-23 ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体 Expired - Fee Related JP5011028B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007216626A JP5011028B2 (ja) 2007-08-23 2007-08-23 ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体
US11/968,214 US7849285B2 (en) 2007-08-23 2008-01-02 Method for scheduling of storage devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007216626A JP5011028B2 (ja) 2007-08-23 2007-08-23 ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2009048583A JP2009048583A (ja) 2009-03-05
JP5011028B2 true JP5011028B2 (ja) 2012-08-29

Family

ID=40383198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007216626A Expired - Fee Related JP5011028B2 (ja) 2007-08-23 2007-08-23 ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体

Country Status (2)

Country Link
US (1) US7849285B2 (ja)
JP (1) JP5011028B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090326728A1 (en) * 2008-06-27 2009-12-31 Sharp Laboratories Of America, Inc. Systems and methods for controlling power usage on a device
US8127154B2 (en) * 2008-10-02 2012-02-28 International Business Machines Corporation Total cost based checkpoint selection
CN101510117B (zh) * 2009-03-12 2011-05-11 成都市华为赛门铁克科技有限公司 一种控制存储设备状态的方法、装置及存储设备
US8255715B2 (en) * 2009-05-25 2012-08-28 Hitachi, Ltd. Storage system and power control method thereof with mode selection defined by timeout period and power supply
WO2011007391A1 (en) * 2009-07-15 2011-01-20 Hitachi, Ltd. Storage system, control method of storage device
US8239701B2 (en) * 2009-07-28 2012-08-07 Lsi Corporation Methods and apparatus for power allocation in a storage system
US8621472B2 (en) * 2009-11-03 2013-12-31 International Business Machines Corporation Job scheduling with optimization of power consumption
JP4912456B2 (ja) * 2009-12-17 2012-04-11 株式会社日立製作所 ストレージ装置及びその制御方法
US8527800B2 (en) * 2010-03-02 2013-09-03 Solarwinds Worldwide, Llc Method and apparatus for displaying hour by hour power level status transitions for a network device by parsing cron job strings associated with the network device
JP5354106B2 (ja) * 2010-08-05 2013-11-27 富士通株式会社 制御プログラム、制御装置、および制御方法
WO2012120667A1 (ja) * 2011-03-09 2012-09-13 株式会社日立製作所 計算機システム、データ複製スケジューリング方法及び計算機読み取り可能な非一時的記憶媒体
JP5984348B2 (ja) * 2011-08-23 2016-09-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5704123B2 (ja) * 2012-06-11 2015-04-22 日本電気株式会社 入出力制御装置、ストレージシステム、電源制御方法、および、コンピュータ・プログラム
US10345766B2 (en) * 2012-12-11 2019-07-09 Kabushiki Kaisha Toshiba Energy management server, energy management method, and medium
US9727522B1 (en) * 2012-12-14 2017-08-08 Amazon Technologies, Inc. Multi-tenant storage service object lifecycle management using transition job objects
US20140281606A1 (en) * 2013-03-15 2014-09-18 Silicon Graphics International Corp. Data storage power consumption threshold
JP2015076060A (ja) 2013-10-11 2015-04-20 富士通株式会社 情報処理システム、管理装置の制御プログラムおよび情報処理システムの制御方法
US9552229B2 (en) 2015-05-14 2017-01-24 Atlassian Pty Ltd Systems and methods for task scheduling
US9639394B2 (en) * 2015-07-13 2017-05-02 At&T Intellectual Property I, L.P. Determining life-cycle of task flow performance for telecommunication service order
JP6540409B2 (ja) 2015-09-14 2019-07-10 富士通株式会社 ストレージ制御装置、ストレージ制御プログラムおよびストレージ制御方法
CN105320246B (zh) * 2015-09-29 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
US10067798B2 (en) 2015-10-27 2018-09-04 International Business Machines Corporation User interface and system supporting user decision making and readjustments in computer-executable job allocations in the cloud
US10474379B2 (en) * 2017-01-31 2019-11-12 NE One LLC Controlled access to storage
CN108345510B (zh) * 2018-01-11 2022-02-08 中国人民解放军国防科技大学 一种自动巡检检测大规模离线归档***可靠性的方法
CN110018906B (zh) * 2019-02-26 2020-11-27 上海丽人丽妆网络科技有限公司 调度方法、服务器及调度***
US11579681B2 (en) * 2019-04-08 2023-02-14 Commvault Systems, Inc. Power management of components within a storage management system
EP3979021A1 (en) * 2020-09-30 2022-04-06 Ricoh Company, Ltd. Scheduling system, scheduling method, and carrier means

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035972B2 (en) 2002-09-03 2006-04-25 Copan Systems, Inc. Method and apparatus for power-efficient high-capacity scalable storage system
JP4485370B2 (ja) * 2005-01-06 2010-06-23 三菱電機株式会社 並列計算装置
JPWO2006098036A1 (ja) * 2005-03-17 2008-08-21 富士通株式会社 省電力制御装置、省電力制御方法および省電力制御プログラム
JP4694333B2 (ja) * 2005-09-30 2011-06-08 株式会社日立製作所 計算機システム及びストレージ装置とシステム管理装置並びにディスク装置電源制御方法
JP4764696B2 (ja) * 2005-10-07 2011-09-07 ルネサスエレクトロニクス株式会社 半導体集積回路装置
TW200805047A (en) * 2005-12-23 2008-01-16 Koninkl Philips Electronics Nv Performance analysis based system level power management

Also Published As

Publication number Publication date
JP2009048583A (ja) 2009-03-05
US7849285B2 (en) 2010-12-07
US20090055520A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
JP5011028B2 (ja) ストレージシステム、管理装置、スケジューリング方法、プログラム、記録媒体
US20200233711A1 (en) System and Method of Providing System Jobs Within a Compute Environment
JP4733461B2 (ja) 計算機システム、管理計算機及び論理記憶領域の管理方法
JP5047806B2 (ja) データ・ウェアハウジングのための装置および方法
KR101721892B1 (ko) 쿼리 관리
US8880524B2 (en) Scalable real time event stream processing
JP5816424B2 (ja) 情報処理装置、テープ装置、およびプログラム
JP5052592B2 (ja) ストレージ管理システム、ストレージ階層管理方法及び管理サーバ
US20070118710A1 (en) Storage system and data migration method
JP4764472B2 (ja) データベース管理方法、データベース管理プログラム、および、データベース管理装置
CN103930874B (zh) 使用经调度资源组转变通过对便携式计算装置的工作负载估计而节省功率
US9329892B1 (en) Systems and methods for performing scheduling for a cluster
US20100313044A1 (en) Storage array power management through i/o redirection
CN104040481A (zh) 用于融合、存储和检索增量式备份数据的方法和***
CN103544153A (zh) 一种基于数据库的数据更新方法和***
JP2009080670A (ja) ストレージ装置、計算機システム及びバックアップ管理方法
JP5212580B2 (ja) ログ情報記録システム、装置、方法およびプログラム
Babar et al. Energy aware smart city management system using data analytics and Internet of Things
CN109426550A (zh) 资源的调度方法及设备
CN106843890B (zh) 基于智能决策的传感器网络、节点及其运行方法
CN113986642A (zh) 任务监控***、方法、装置、电子设备和存储介质
CN110019132A (zh) 点赞数据存储方法及设备
US9535753B2 (en) Context and optimization framework
WO2021171457A1 (ja) 制御方法、情報処理装置及び制御プログラム
JP5370791B2 (ja) 知的財産データベースにおける年金インターフェイス及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120604

R150 Certificate of patent or registration of utility model

Ref document number: 5011028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150608

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees