JP6227771B2 - 論理ボリュームを管理するためのシステム及び方法 - Google Patents

論理ボリュームを管理するためのシステム及び方法 Download PDF

Info

Publication number
JP6227771B2
JP6227771B2 JP2016520693A JP2016520693A JP6227771B2 JP 6227771 B2 JP6227771 B2 JP 6227771B2 JP 2016520693 A JP2016520693 A JP 2016520693A JP 2016520693 A JP2016520693 A JP 2016520693A JP 6227771 B2 JP6227771 B2 JP 6227771B2
Authority
JP
Japan
Prior art keywords
logical volume
volume
logical
state
host system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016520693A
Other languages
English (en)
Other versions
JP2016532927A (ja
Inventor
レリン, パブロ マルティネス
レリン, パブロ マルティネス
中島 淳
淳 中島
裕教 江丸
裕教 江丸
幸徳 坂下
幸徳 坂下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2016532927A publication Critical patent/JP2016532927A/ja
Application granted granted Critical
Publication of JP6227771B2 publication Critical patent/JP6227771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、概して、論理ボリュームの管理に関する。
データセンタは、リソースを効率的に利用し、ボトルネック及び障害を迅速に解消又は軽減するために、最近では、データセンタのコンピュータ、ネットワーク及びストレージに、仮想化されたリソースを動的に割り当てるようになっている。詳細には、単一の論理ボリュームでは満たすことができない、サービスの読出し作業負荷需要の予期された又は予期されていない増大を満たすために、ボリュームスケールアウトが実行される。さらに、ディスク性能需要(例えば、SATAからSSDへの変更を要求する)の予期された又は予期されていない増大を満たし、いくつかのストレージの作業負荷の平衡をとるために、ボリュームマイグレーションが実行される。マイグレーションは、ホストと、その提供される論理ボリュームとの間のI/Oパスにおいて問題が生じるときにサービスを再開するのにも必要とされる場合がある。しかしながら、ボリュームスケールアウト及びボリュームマイグレーションを実行することは、完全なデータコピーが必要とされるため、長い時間がかかる。
他方で、論理ボリューム間で大量のデータ量をコピーすることを回避するために、データ再利用方法が存在する。特許文献1は、アプリケーションデータを削除するコマンドを用いる場合であっても、記憶されたアプリケーションデータが削除されず、同じアプリケーションによる将来の再利用のために記憶されたままにされるシステムを開示している。この方法は、バックアップを作成し、再利用される必要があるアプリケーションデータをリストアするという時間のかかるタスクを回避するものである。
米国特許出願公開第2012/0179823号
特許文献1によって開示されている関連技術は、以前に破棄されたデータのコピーとしてデータを再利用する目的で用いられる。しかしながら、この技術は、論理ボリュームのスケールアウト又はマイグレーションのために用いることができない。なぜなら、これらの事例では、少なくとも1つの論理ボリュームが依然としてホストに提供されるためである。したがって、元のデータに対し一旦複製されたデータを再利用するためには、元のデータ間の関係の管理が必要とされる。例えば、論理ボリュームが新たな論理ボリュームにマイグレーションされるとき、通常、元のボリュームは削除される。ソース論理ボリュームにおけるデータが削除されず保持される場合であっても、これを、ホストに提供される、デスティネーション論理ボリューム内のデータのコピーとして用いることができない。なぜなら、特許文献1のシステムにおいて、(1)保持されるデータは、元のデータに関連付けられているのではなく、アプリケーションに関連付けられており、(2)保持されるデータは、関係する元データの変更に応じて更新されないためである。結果として、論理ボリュームスケールアウト及び論理ボリュームマイグレーションのうちの少なくとも1つのような管理オペレーションを実行するときに、時間及びリソースを消費する、論理ボリュームをコピーするタスク、を回避するために、保持されるデータを再利用することが不可能である。論理ボリュームスケールアウト及び論理ボリュームマイグレーションは、ダウンタイム及び性能不良が生じる前に、予期されない問題及び需要を解決するために短時間で行われる必要があるオペレーションである。
管理システムが、ホストシステムに接続されたストレージシステム内の複数の論理ボリュームを管理する。複数の論理ボリュームは、ホストシステムに提供される第1の論理ボリュームと、第2の論理ボリュームとを含む。管理システムは、第2の論理ボリュームを、第1の論理ボリュームの複製ボリュームとし、且つ、ホストシステムに提供された論理ボリュームである第1の状態のボリュームとして管理する。管理システムは、第2の論理ボリュームを、第1の論理ボリュームに関連付けられた第2の状態のボリュームに変更する。第2の状態のボリュームは、ホストシステムに提供された論理ボリュームではなく、ホストシステムによる将来の使用のためにスタンバイ状態にある。管理システムは、第1の論理ボリュームにデータが新たに格納される場合、第2の状態のボリュームである第2の論理ボリュームに格納されているデータと、第2の論理ボリュームに関連付けられた第1の論理ボリュームに格納されたデータとの間のデータ差分を管理する。
本発明によれば、データセンタにおいて、自動化プロセス又は管理者は、時間のかかる論理ボリュームコピーを必要とすることなく、スケールアウト及びマイグレーションのうちの少なくとも1つのような計画されていない管理オペレーションを実行することができる。
本発明の一実施形態に係る、実行された管理オペレーションに応答した、ストレージシステムにおける、ホストと論理ボリュームとの関連付け及び論理ボリューム状態の経時的展開を示す図である。 実施形態に係る計算機システムの概略構成を示す図である。 管理計算機において提供される論理ボリューム関連付けテーブルの構成例を示す図である。 管理計算機において提供される論理ボリュームペアリングテーブルの構成例を示す図である。 管理計算機において提供される論理ボリューム管理テーブルの構成例を示す図である。 管理計算機において提供されるストレージ管理テーブルの構成例を示す図である。 論理ボリューム複製要求が到達する時点において管理計算機によって実行される処理を説明するためのフローチャートを示す図である。 論理ボリューム削除要求が到達する時点において管理計算機によって実行される処理を説明するためのフローチャートを示す図である。 管理計算機によって、例えば短い時間間隔で周期的に実行されるプロセスを説明するためのフローチャートを示す図である。
本発明の一実施形態を以下で説明する。
以下の説明において、「aaaテーブル」という表現を用いて情報を説明するが、情報は、テーブル以外のデータ構造で表すこともできる。データ構造からの独立性を表すために、「aaaテーブル」という用語は「aaa情報」という用語と置き換えることができる。
ID(識別子)が以下の説明におけるターゲットを識別するための情報として用いられるが、IDは、他の種類の識別情報と置き換えることができる。
以下の説明において、「プログラム」という用語が、プロセスを説明するための主格として用いられることがある。しかしながら、プログラムは、ストレージユニット(例えば、メモリ)及びインターフェースユニット(例えば、通信ポート)のうちの少なくとも1つを用いて決定されたプロセスを実行するプロセッサユニット(例えば、CPU(中央処理装置))によって実行される。したがって、プロセスの主体はプロセッサユニットとすることができる。プロセスの一部はハードウェア回路によって実行することができ、プロセッサユニットはハードウェア回路を備えることができる。プログラムはプログラムソースからインストールすることができる。プログラムソースは、例えば、プログラム分散サーバ又はポータブルストレージ媒体とすることができる。
以下の説明では、論理ボリュームを管理し、表示用の情報を表示するように構成された1つ又は複数のコンピュータの集合体を「管理システム」と呼ぶ場合がある。管理計算機が表示用の情報を表示する例では、管理計算機は管理システムとしての役割を果たすことができる。さらに、管理計算機及び表示コンピュータの組合せも、管理システムとしての役割を果たすことができる。管理プロセスの速度及び信頼性を向上させるために、複数のコンピュータを用いて、管理計算機によって実行されるプロセスと同一であるか又は類似したプロセスを達成することができる。この場合、複数のコンピュータ(表示コンピュータが表示用に用いられる場合は表示コンピュータを含む場合がある)が管理システムとしての役割を果たすことができる。実施形態において、管理計算機は管理システムとしての役割を果たすことができる。「管理計算機が情報を表示する」というフレーズは、管理計算機によって保有される表示デバイス上に情報が表示されることを表すこともできるし、表示用の情報が管理計算機に接続された表示コンピュータに送信されることを表すこともできる。後者の場合、表示コンピュータが情報を表示し、この情報は、この表示コンピュータによって保有される表示デバイス上の表示用の情報によって表される。
以下の説明において、「論理ボリューム」という用語は、論理ストレージデバイスを表す。論理ボリュームは、実論理ボリュームとすることもできるし、仮想論理ボリュームとすることもできる。「実論理ボリューム」という用語は、1つ又は複数のPDEVに基づく論理ボリュームを表す。「PDEV」という用語は、HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)等の不揮発性物理ストレージデバイスの略記である。複数のPDEVは複数のRAID(独立(又は安価)ディスクの冗長アレイ)グループを形成することができる。RAIDグループを「パリティグループ」と呼ぶことができる。「仮想論理ボリューム」の例は、ストレージ仮想化技術に従う論理ボリュームを含むことができ、これは、仮想論理ボリュームと、容量仮想化技術(通常、シンプロビジョニング)に従う論理ボリュームと、元の論理ボリュームのスナップショットとして提供される論理ボリュームとを有するストレージ装置に接続された外部ストレージ装置のストレージリソース(例えば、論理ボリューム)に基づく。
<実施形態の概要>
図1に示す図を参照することによって、実施形態の概要が説明される。
図1は、4つの異なる時点におけるストレージシステム内の論理ボリューム2212の状態を示す。時点は、早いものから後のものへと順に、(t)、(t+1)、(t+2)及び(t+3)である。各時点は、前の時点から任意の期間が経過した後に生じる。論理ボリュームは、管理計算機によって管理される3つの状態のうちの1つを有する(図5)。3つの状態は、「提供済み」、「スタンバイ」及び「フォーマット済み」である。フォーマット済み論理ボリュームは、データを有さず、ストレージシステムに接続されたホスト計算機2000等のホストシステムに提供されていない論理ボリュームである。言い換えれば、フォーマット済み論理ボリュームは、ホスト計算機によって管理されず、ホスト計算機によって認識されることが不可能である。(ホストシステムは、図1による例において、Host1及びHost2という名称の2つのホスト計算機を備える)。フォーマット済み論理ボリュームは、フォーマットされた論理ボリュームとすることができる。スタンバイ論理ボリュームは、データを有し、ホストシステムに提供されていない論理ボリュームである。スタンバイ論理ボリュームは、ホストシステムによる将来の使用のためにスタンバイ状態にある。提供済み論理ボリュームは、データを有し、ホスト計算機2000に提供されている論理ボリュームである。すなわち、ホスト計算機2000は、提供済み論理ボリューム内のデータに対する読出しアクセス及び/又は書込みアクセスを有することができる。
時点(t)は、サービスを提供するHost1という名称のホスト計算機を表す。論理ボリューム1という名称の提供済み論理ボリューム、以後LV1、がHost1に接続される(図5)。LV2及びLV3という名称の2つの論理ボリュームがフォーマット済み状態に留まっている。
時点(t)の後、Host1によって提供されるサービスは、LV1単独では満たすことができない重い読出し作業負荷に対する一時的な需要を有する。したがって、スケールアウトが要求される。LV1は、スタンバイ論理ボリュームと一切関連付けられていないので、スケールアウトは以下のように実行される(図7)。(1)管理システムからの要求に応答して、ストレージシステムによって、論理ボリュームLV1に格納されたデータ全体をLV2にコピーし、(2)コピー後に、ストレージシステムによって、自律的に、又は管理システムからの要求に応答して、Host2という名称の別のホスト計算機にLV2を提供する(LV2はHost2の代わりにHost1に提供されてもよい)。結果として、論理ボリュームがコピーされた後に需要が満たされる。これは、論理ボリュームのサイズに依拠してかなり長い時間を要する場合がある。さらに、LV1をLV2にコピーすることは、LV1が最も必要とされているとき、LV1の性能に負の影響を与える場合がある。
時点(t+1)は、スケールアウトタスクが終了し、LV2が、Host2に接続された提供済み論理ボリュームであるときの状態を表す。サービスの重い読出し作業負荷は、Host1とHost2との間で分割され又は平衡をとられる。LV1及びLV2におけるデータは、論理ボリュームのうちの一方に到達した変化(書込み)を他方の論理ボリュームに伝搬することによって、同じに保たれる。変化は、ストレージシステム、ホストシステム及び管理システムのうちの少なくとも1つによって伝搬することができる。論理ボリュームLV1及びLV2は、ストレージシステムによってそれらの同期が保たれるので、ペアリング関係にあるとみなされる。LV1の近時の読み書きレートが管理システムによって管理される。読み書きレートは、読出し周波数(例えば、IOPS(1秒あたりのI/O))を読出し周波数及び書込み周波数で除算した値として表される。さらに、ストレージシステムは、LV1とLV2との間のペアリング関係を管理し、それらのデータの同期を保つことができる。
時点(t+1)の後、重い読出し作業負荷に対するサービス需要が終了する。ストレージシステムリソースを効率的に用いるために、Host2はサービスから解放され、Host2及びLV2を接続するためのリソースが解放される。管理システムは、LV1の近時の読み書きレートに基づいて、LV2がスタンバイ論理ボリュームになるのに適していると判断する。これは、サービスが重い読出し作業負荷を有し、重い書込み作業負荷を有していないことを表す(図8)。また、管理システムは、ストレージシステムに、LV2のステータスを提供済みからスタンバイに変更することを要求することができる。要求に応答して、ストレージシステムは、LV2をスタンバイ論理ボリュームとして管理することができる。
LV2がスタンバイ論理ボリュームになるとき、LV2は、LV1と同じデータを保有するが、それらのデータは、書込みがLV1に到達すると異なったものになる。LV1とLV2との間の関連付け及びデータ差分は、管理システム及びストレージシステムのうちの少なくとも1つによって管理される(図3)。ある条件に達すると、ストレージシステムによって、自律的に、又は管理システムからの要求に応答して、LV1及びLV2を部分的に又は完全に同期させるために(図9)、異なるデータをLV1からLV2にコピーすることができる。計算機システムの空き領域又はフォーマット済み論理ボリュームがなくなると、スタンバイ論理ボリュームLV2が削除又はフォーマットされる(図7)。
時点(t+2)は、LV1及びLV2が関連付けられ、それらのデータ差分が、管理システム及びストレージシステムのうちの少なくとも1つによって管理されるときの状態を表す。LV1は提供済み論理ボリュームであり、LV2はスタンバイ論理ボリュームである。時点(t+2)において、データ差分の量が閾値を超える場合、管理されるデータ差分を、その量が閾値未満となるように、ストレージシステムによって、自律的に、又は管理システムからの要求に応答して、完全に又は部分的にLV1からLV2にコピーすることができる。結果として、時点(t+2)の後にLV1及びLV2を同期させることが可能である。
時点(t+2)の後、Host1によって提供されるサービスは、ここでも、LV1単独では満たすことができない重い読出し作業負荷に対する一時的な需要を有する。したがって、スケールアウトが要求される。LV1は、スタンバイ論理ボリュームと関連付けられているので、スケールアウトは以下のように短時間で実行される(図7)。(1)LV1及びLV2を完全に同期させるために、管理されているデータ差分をLV1からLV2にコピーし、(2)コピー後に、LV2を、Host2という名称のホストに提供する。結果として、需要は、データのごく一部分又は任意の部分をコピーした後に、かなり迅速に満たされる。LV1がいくつかのスタンバイ論理ボリュームに関連付けられているとき、提供されるのに最も適したボリュームは、LV1との最も小さなデータ差分を有するスタンバイ論理ボリュームとして選択される。
時点(t+3)は、時点(t+1)において表される状態と同様に、スケールアウトタスクが終了したときの状態を表す。
上記の概要において記載されたように、(1)削除されることを要求された論理ボリュームを保持し、(2)保持された論理ボリュームを、ホストに提供されるその元の論理ボリュームに関連付け、(3)論理ボリューム間のデータ差分を管理することによって、元の論理ボリュームの1つの複製された論理ボリュームを、その論理ボリュームが最初に複製されるときにその論理ボリュームの完全なコピーを実行することにより、複数回提供することができる。さらに、実施形態に係る管理システムは、いずれの論理ボリュームが保持されるか、どの程度の期間保持されるか、及びいつ再利用又は削除されるべきであるかを判定する負担に対処するので、管理システムは、オートスケール及びマイグレーション等の自動化されたプロセスによって用いることもでき、論理ボリューム複製及び論理ボリューム削除のオペレーションを要求するスキルのないユーザ及び管理者によって用いることもできる。
<計算機システムの構成>
図2は、本発明の実施形態に係る計算機システムの概略構成を示す図である。
計算機システム100は、ストレージシステムと、SAN(ストレージエリアネットワーク)等のネットワークを介してストレージシステムに接続されたホストシステムとを備える。複数の論理ボリューム2212を管理する管理システムが、LAN(ローカルエリアネットワーク)等の同じ又は別のネットワークを介してストレージシステム及びホストシステムに接続される。
ホストシステムは少なくとも1つのホスト計算機2000である。ホスト計算機2000は、ストレージ装置2200によって提供される論理ボリューム2212を用いるコンピュータであり、特に、ホスト計算機2000は、論理ボリューム2212をストレージ装置2200に指定するI/O(入出力)要求を発行する。ホスト計算機200は、インターフェースユニットと、ストレージユニットと、入力ユニットと、出力ユニットと、これらに接続されたプロセッサユニットとを備える。インターフェースユニットは、データI/F2015及び管理I/F2016等の少なくとも1つのインターフェースデバイスである。データI/F2015(例えば、SANのインターフェースデバイス)は、ストレージシステムに接続される。管理I/F2016(例えば、LANのインターフェースデバイス)は、管理システムに接続される。データI/F2015及び管理I/F2016は同じとすることができる。ストレージユニットは、メモリ2014等の少なくとも1つのストレージデバイスである。入力ユニットは、キーボード、ポインティングデバイス等の少なくとも1つの入力デバイス2011である。出力ユニットは、表示デバイス等の少なくとも1つの出力デバイス2013である。プロセッサユニットは、CPU2012等の少なくとも1つのプロセッサである。メモリ2014は、アプリケーション2021等のプログラムを記憶し、CPU2012は、アプリケーション2021を実行する。アプリケーション2021は、提供済み論理ボリュームを使用するためのプログラムを含む。
ストレージシステムは少なくとも1つのストレージ装置2200である。ストレージ装置2200は、複数のディスクデバイス2213と、複数のディスクデバイス2213に接続されたストレージコントローラユニットとを備える。
各ディスクデバイス2213はPDEVの一例である。複数のディスクデバイス2213は、少なくとも1つのRAIDグループとすることができる。複数の論理ボリューム2212は、複数のディスクデバイス2213に基づく。
ストレージコントローラユニットは、ディスクコントローラ2211等の少なくとも1つのストレージコントローラである。ディスクコントローラ2211は、インターフェースユニットと、メモリ2244等のストレージユニットと、インターフェースユニット及びストレージユニットに接続されたCPU2223等のプロセッサユニットとを備える。インターフェースユニットは、ホストシステムに接続されたデータI/F2211と、管理システムに接続された管理I/F2222と、複数のディスクデバイス2213に接続されたディスクI/F2215とを備える。メモリ2224は、管理情報2231及び制御プログラム2232を記憶する。管理情報2231は、複数の論理ボリューム2212に関する情報である。管理情報2231は、テーブル2121からテーブル2124と同じテーブルを含むことができる。CPU2223は制御プログラム2232を実行する。ディスクコントローラ2211は、論理ボリューム2212を指定するI/O要求と、論理ボリュームの基礎となるディスクデバイス2213における/からの書込み/読出しデータとを受信する。ディスクコントローラ2211は、第1の論理ボリュームに格納されたデータと、第1の論理ボリュームとある特定の関係を有する第2の論理ボリュームに格納されたデータとの間のデータ差分を管理する。実施形態において、第1の論理ボリュームは、セカンダリ論理ボリューム(コピー先論理ボリューム)とのペアリング関係を有するプライマリ論理ボリューム(コピー元論理ボリューム)等の提供済み論理ボリュームであるか、又はコピー対を形成していないがスタンバイ論理ボリュームと関連付けられている論理ボリュームである。第2の論理ボリュームは、プライマリ論理ボリュームとペアリング関係を有するセカンダリ論理ボリューム、プライマリ論理ボリュームと関連付けられたスタンバイ論理ボリューム、又はフォーマット済み論理ボリュームである。ディスクコントローラ2211は、自律的に、又は管理システムからの要求に応答して、1つのボリュームから別のボリュームへのデータ(全てのデータ又は差分データ)のコピーを実行することによって、同じ対(グループ)内のボリュームを同じに保つように構成される。さらに、ディスクコントローラ2211は、自律的に、又は管理システムからの要求に応答して、提供済み論理ボリュームに格納されたデータと、提供済み論理ボリュームに関連付けられたスタンバイ論理ボリュームに格納されたデータとの間のデータ差分を完全に又は部分的にコピーするように構成される。さらに、ディスクコントローラ2211は、ホストシステムからI/O要求によって指定された論理ボリューム内のデータ及びこの論理ボリュームからのデータを入力(書込み)及び出力(読出し)するように構成される。さらに、ディスクコントローラ2211は、管理システムからの要求に応答して、管理情報2231内の情報を設定するように構成される。この種類の処理に必要な情報は、管理情報2231に格納される。例えば、管理情報2231は、論理ボリュームごとに、ボリュームID、ボリュームタイプ(例えば、プライマリ、セカンダリ、提供済み又はスタンバイ)、関係付けられたボリュームID(例えば、ペアリングされたボリュームID又は関連付けられたスタンバイ論理ボリュームID)を定義する情報を含むことができる。
上記で定義したように、実施形態において、管理システムは管理計算機2100である。管理計算機2100は、インターフェースユニットと、ストレージユニットと、入力ユニットと、出力ユニットと、これらに接続されたプロセッサユニットとを備える。インターフェースユニットは、管理I/F2215等の少なくとも1つのインターフェースデバイスである。管理I/F2215はホストシステム及び管理システムに接続される。ストレージユニットは、メモリ2114等の少なくとも1つのストレージデバイスである。入力ユニットは、キーボード、ポインティングデバイス等の少なくとも1つの入力デバイス2111である。出力ユニットは、表示デバイス等の少なくとも1つの出力デバイス2113である。プロセッサユニットは、CPU2112等の少なくとも1つのプロセッサである。メモリ2114はプログラム及び情報を記憶する。情報は、(1)提供済み論理ボリュームと、スタンバイ論理ボリュームと、それらのデータ差分との間の関連付けを管理するための論理ボリューム関連付けテーブル2121(図3)、(2)同じデータを含む提供済み論理ボリューム間の関係を管理するための論理ボリュームペアリングテーブル2122(図4)、(3)ホストへの論理ボリュームの提供、並びに論理ボリュームの状態及び容量を管理するための論理ボリューム管理テーブル2123(図5)、(4)ストレージ装置2200の容量を管理するためのストレージ管理テーブル2124(図6)等である。プログラムは、(1)要求時に論理ボリュームをホストシステムに提供するための論理ボリューム提供プログラム2125(図7)、(2)論理ボリューム削除要求に対処するための論理ボリューム削除プログラム2126(図8)、及び(3)関連付けられた論理ボリューム間のデータ差分を更新するための差分更新プログラム2127(図9)等である。論理ボリューム関連付けテーブル2121、論理ボリュームペアリングテーブル2122、論理ボリューム管理テーブル2123、及びストレージ管理テーブル2124によって格納される情報は、論理ボリューム提供プログラム2125、論理ボリューム削除プログラム2126、及び差分更新プログラム2127によって適宜参照され、更新される。
<論理ボリューム関連付けテーブル2121>
図3は、管理計算機2100において提供される論理ボリューム関連付けテーブル2121の構成例を示す。論理ボリューム関連付けテーブル2121は、全てのストレージ装置2200にわたって、提供済み論理ボリュームと、スタンバイ論理ボリュームと、それらのデータ差分との間の関連付けを管理するテーブルである。論理ボリューム関連付けテーブル2121は、構成情報として、論理ボリューム2212を識別するための情報である提供済み論理ボリュームID3001と、論理ボリューム2212を識別するための情報であるスタンバイ論理ボリュームID3002と、2つの論理ボリューム間のデータ差分量を表すデータ差分量3303と、2つの論理ボリューム間で異なるデータの部分の情報(例えば、データ差分を表すビットマップ)へのポインタであるデータ差分3004と、提供済み論理ボリュームが重要であるか否かを表す重要フラグ3005と、重要である提供済み論理ボリュームについて許可される最大データ差分を示すデータ差分閾値3006を有する。ボリュームIDについて、例えば、「V010(VSP1)」はストレージIDが「VSP1」であるストレージ装置が、IDが「V010」である論理ボリュームを有することを表す。
論理ボリューム関連付けテーブル2121の行は、提供済み論理ボリュームとスタンバイ論理ボリュームとの間の関連付けを表す。行は、論理ボリュームがスタンバイになるとき、すなわち、関連付けが作成されるときに追加される(図8)。行は、提供済み論理ボリューム及び/又はスタンバイ論理ボリュームが状態を変更するか又は削除されるとき、すなわち、関連付けが解消されたときに削除される(図7、図9)。論理ボリュームは、同時に提供済み且つスタンバイであることができない(図5)。提供済み論理ボリュームは0、1又は複数個のスタンバイ論理ボリュームに関連付けられる。提供済み論理ボリュームがゼロ個のスタンバイ論理ボリュームに関連付けられているとき、提供済み論理ボリュームは、論理ボリューム関連付けテーブル2121内に登場しない。提供済み論理ボリュームが1つ又は複数のスタンバイ論理ボリュームに関連付けられているとき、スタンバイ論理ボリュームへの各関連付けが異なる行に登場する。論理ボリューム関連付けテーブル2121において、ID V010を有する提供済み論理ボリュームが、2つのスタンバイ論理ボリューム:V030及びV025に関連付けられていることがわかる。スタンバイ論理ボリュームは常に1つの提供済み論理ボリュームに関連付けられ、常に論理ボリューム関連付けテーブル2121内の1つの行に登場する。
スタンバイ論理ボリュームは、CPU2212によって、論理ボリューム関連付けテーブル2121において、論理ボリュームペアリングテーブル2122(図4)におけるプライマリ論理ボリュームとしても登場する提供済み論理ボリュームに関連付けられることが可能である。論理ボリューム関連付けテーブル2121から、ID「V10」を有する論理ボリュームが2つのスタンバイ論理ボリュームに関連付けられていることがわかり、論理ボリュームペアリングテーブル2122(図4)から、論理ボリュームV10が同時に、ID「V070」を有するセカンダリ論理ボリュームのプライマリ論理ボリュームであることがわかる。しかしながら、スタンバイ論理ボリュームは、CPU2212によって、論理ボリューム関連付けテーブル2121において、論理ボリュームペアリングテーブル2122におけるセカンダリ論理ボリュームとしても登場する提供済み論理ボリュームに関連付けられることが不可能である。論理ボリューム関連付けテーブル2121及び論理ボリュームペアリングテーブル2122に登場する提供済み論理ボリュームが、CPU2112によって役割をプライマリからセカンダリに変更すると、それに応じて、CPU2112によって論理ボリューム関連付けテーブル2121も変更され、スタンバイ論理ボリュームは新たなプライマリ論理ボリュームに関連付けられる。
提供済み論理ボリュームID3001及びスタンバイ論理ボリュームID3002はそれぞれ、論理ボリューム2212及びこの論理ボリュームが属するストレージ装置2200を識別する。論理ボリューム2212は、論理ボリュームが削除されるまで、すなわち空き領域6002(図6)になるまで決して変化しない、作成時に割り当てられたIDを有する。論理ボリュームIDは、論理ボリューム関連付けテーブル2121、論理ボリュームペアリングテーブル(図4)、及び論理ボリューム管理テーブル(図5)において用いられる。
データ差分量3003及びデータ差分3004はそれぞれ、論理ボリューム関連付けテーブル2121内の同じ行において識別される提供済み論理ボリュームとスタンバイ論理ボリュームとの間の、異なるデータの量及び異なるデータの部分を表す。双方の値がCPU2112(管理計算機2100)によって変更される(図9)。スタンバイ論理ボリュームは、関連付けの時点で提供済み論理ボリュームと同じデータを有し、スタンバイ論理ボリュームは、CPU2112による明示的な同期要求がない限り変化しないので、異なるデータは、ある時点から、例えば、最後の同期から、又は関連付けが行われた時点から、提供済み論理ボリュームにおいて変化したデータとして表すこともできる。データ差分3004は、情報が格納されている場所、例えば、提供済み論理ボリュームが属するストレージ装置2200のメモリ2224内へのポインタである。情報は、例えば、ビットマップ技術を用いて記憶することができる。論理ボリューム関連付けテーブル2121のいくつかの行は、同じ情報、又はメモリリソースを効率的に利用するための組合せをポインティングすることができる。
重要フラグ3005は、2つの値:「Yes」及び「No」のうちの一方を含む。「Yes」の値は、論理ボリューム関連付けテーブル2121内の同じ行によって表される論理ボリューム関連付けが重要であることを表す。「No」の値は、上述の関連付けが重要でないことを表す。このフラグは、関連付けが作成されたときに作成され、任意の時点に変更されることが可能である。フラグは、例えば、管理部が、サービスが達することが可能であるべき最大性能のパラメータを事前に設定するシナリオにおいて、CPU2112(管理計算機2100)によって自動的に設定することができ、CPU2112は、所望の最大性能を迅速に満たすことを可能にするために、重要であると設定されるべきスタンバイ論理ボリューム関連付けの数を決定する。
データ差分閾値3006は、関連付けが重要フラグ3005によって重要であるとして設定された行内に設定される値である。「Yes」に設定された重要フラグ3005を有する行においてデータ差分3004がデータ差分閾値3006に達すると、CPU2112は、提供済み論理ボリュームからスタンバイ論理ボリュームへのデータ差分3004に基づいて指定されたデータ差分をコピーすることによって、提供済み論理ボリューム及びスタンバイ論理ボリュームに完全に又は部分的に同期することを決める(図9)。
論理ボリューム関連付けテーブル2121から、ID「VSP1」を有するストレージ装置に属するIDV010を有する提供済み論理ボリュームが、ID「VSP2」を有するストレージ装置に属するID「V030」を有するスタンバイ論理ボリュームに関連付けられ、論理ボリューム間に70MBの異なるデータが存在し、異なるデータの部分の情報は、ポインタ「0x00F65000」によりアクセスされることが可能であり、関連付けが重要であり、データ差分閾値が「100MB」に設定されていることがわかる。
<論理ボリュームペアリングテーブル2122>
図4は、管理計算機2100において提供される論理ボリュームペアリングテーブル2122の構成例を示す。論理ボリュームペアリングテーブル2122は、全てのストレージ装置2200にわたって、提供済み論理ボリューム間のペアリング、及びそれらの近時の読み書きレートを管理するテーブルである。論理ボリュームペアリングテーブル2122は、構成情報として、論理ボリューム2212を識別するための情報であるプライマリ論理ボリュームID4001と、論理ボリューム2212を識別するための情報であるセカンダリ論理ボリュームID4002と、論理ボリュームの読み書きレートを表す論理ボリューム読み書きレート4003とを有する。
論理ボリュームペアリングテーブル2122の行は、プライマリ論理ボリュームとセカンダリ論理ボリュームとの間のペアリング関係を表し、プライマリ論理ボリュームはセカンダリ論理ボリュームにコピーされ、これらのデータは、例えばストレージシステム、ホストシステム及び管理システムのうちの少なくとも1つによって同期を保たれる(図7)。論理ボリュームのコピーが行われるか、その関連付けられたスタンバイが提供されると、それらのデータの同期を保つ目的で行が追加される(図7)。論理ボリュームペアリングテーブル2122に登場する論理ボリュームは提供済み論理ボリュームである。提供済み論理ボリュームは、プライマリ論理ボリュームであるか、セカンダリ論理ボリュームであるか、又はそれらのいずれでもない。提供済み論理ボリュームがプライマリ論理ボリュームでもセカンダリ論理ボリュームでもないとき、この提供済み論理ボリュームは論理ボリュームペアリングテーブル2122に登場しない。プライマリ論理ボリュームは1つ又は複数のセカンダリ論理ボリュームにペアリングされ、各ペアリングは1つの行に表される。論理ボリュームペアリングテーブル2122において、ID「V001」を有するプライマリ論理ボリュームが2つのスタンバイ論理ボリュームV003及びV012に関連付けられていることがわかる。セカンダリ論理ボリュームは、1つのプライマリ論理ボリュームにペアリングされ、論理ボリュームペアリングテーブル2122内の1つの行に登場する。
行は、対応するペアリング関係が解消されるとき、又は対応するプライマリ論理ボリューム4001又はセカンダリ論理ボリューム4002が削除されるか、スタンバイ又はフォーマット済みになると削除される(図8)。プライマリ論理ボリュームがセカンダリ論理ボリュームにコピーされると、プライマリ及びセカンダリの役割がセットされるが、これらの役割は任意の時点において変更することができる。プライマリ論理ボリュームが1つ又は複数のセカンダリ論理ボリュームにペアリングされている間に、このプライマリ論理ボリュームを削除するか、スタンバイにするか、又はフォーマットすることは珍しい(strange)。通例、削除の前にペアリング関係が解消されるか、プライマリ論理ボリュームにペアリングされているセカンダリ論理ボリュームが削除されるか、又は役割が変更される。
プライマリ論理ボリュームID4001及びセカンダリ論理ボリュームID4002はそれぞれ、論理ボリューム関連付けテーブル2121(図3)において用いられている論理ボリュームIDと同様に、論理ボリューム2212及びこの論理ボリュームが属するストレージ装置2200を識別する。
論理ボリューム読み書きレート4003は、論理ボリュームペアリングテーブル2122の同じ行内で識別されるプライマリ論理ボリュームの近時のレートを含む。読み書きレートは、読出しIOPSを、読み書きIOPSを含む全てのIOPSによって除算したものとして表される、1から0の値である。レート値が高いほど、より多くの読出しIO及びより少ない書込みIOが論理ボリュームを有し、したがって、論理ボリュームはCPU2112によってスタンバイになるのにより適している(図8)。
論理ボリュームペアリングテーブル2122から、ID「VSP1」を有するストレージ装置に属するID「V010」を有するプライマリ論理ボリュームが、ID「VSP2」を有するストレージ装置に属するID「V070」を有するセカンダリ論理ボリュームに関連付けられ、論理ボリューム読み書きレートが「0.2」であることがわかる。
<論理ボリューム管理テーブル2123>
図5は、管理計算機2100において提供される論理ボリューム管理テーブル2123の構成例を示す。論理ボリューム管理テーブル2123は、全てのストレージ装置2200にわたって、論理ボリューム、及びホスト計算機へのそれらの論理ボリューム提供を管理するテーブルである。論理ボリューム管理テーブル2123は、構成情報として、論理ボリューム2212を識別するための情報である論理ボリュームID5001と、ID5001に基づいて識別される論理ボリュームに格納することができる総データ量である容量5002と、3つの値:「提供済み」、「スタンバイ」及び「フォーマット済み」のうちの1つを含み、識別される論理ボリューム5001の状態を表す状態5003と、ID5001に基づいて識別される論理ボリュームが、提供される場合、いずれのホスト計算機に提供されるかを表す提供先ホスト5004を有する。
各論理ボリュームは、論理ボリューム管理テーブル2123内の1つの行によって表される。行は、論理ボリュームが作成されるとき、又は削除されるとき、すなわち空き領域になるときに、追加及び削除される(図7)。容量5002は、論理ボリュームがサイズ変更されるときに変化する。
状態5003「フォーマット済み」を有する論理ボリュームは、データを有さず、ホストシステムに提供されない論理ボリュームである。状態5003「スタンバイ」を有する論理ボリュームは、データを有し、ホストシステムに提供されていない論理ボリュームである。状態5003「提供済み」を有する論理ボリュームは、データを有する論理ボリュームであり、ホストシステムに接続される。論理ボリュームの状態は、CPU2112(管理計算機2100)(図7、図8及び図9)によって変更される。
論理ボリュームID5001は、論理ボリューム関連付けテーブル2121(図3)において用いられる論理ボリュームIDと同様に、論理ボリューム2212及びこの論理ボリュームが属する及びストレージ装置2200を識別する。
図5の構成例に加えて、論理ボリューム関連付けテーブル2121は、異なるタイプのディスクデバイス2213(例えば、SATA、SSD)を管理することができ、用いられるリソース(ストレージポート、スイッチポート等)等の、論理ボリュームのホストへの提供に関する追加情報を管理することができる。
論理ボリューム管理テーブル2123から、ID「VSP1」を有するストレージ装置に属するID「V010」を有する提供済み論理ボリュームが、「800GB」の容量を有し、「Host5」という名称のホスト計算機に提供されることがわかる。
<ストレージ管理テーブル2124>
図6は、管理計算機2100において提供されるストレージ管理テーブル2124の構成例を示す。ストレージ管理テーブル2124は、全てのストレージ装置2200にわたってストレージ領域を管理するテーブルである。ストレージ管理テーブル2124は、構成情報として、ストレージ装置を識別するための情報であるストレージID6001と、識別されたストレージ装置6001内の論理ボリュームに割り当てられていない空きストレージ領域量を表す空き領域6002と、識別されたストレージ装置6001内の論理ボリュームに割り当てられ、任意の使用に利用可能な空きストレージ領域の量を表す空き論理ボリューム6003と、識別されたストレージ装置6001において論理ボリュームに割り当てられ、ホストシステムに提供されるストレージ領域の量を表す提供済み論理ボリューム6004を有する。
各ストレージ装置2200は、ストレージ管理テーブル2124内の1つの行によって表される。空き領域6002内のストレージ領域の量、空き論理ボリューム6003及び提供済み論理ボリューム6004は、論理ボリュームが作成され(空き領域が論理ボリュームに割り当てられる)、状態を変更し(図5 5003)、削除される(空き領域にされる)ときに変化する。
図6の構成例に加えて、ストレージ管理テーブル2124は、様々なタイプのディスクデバイス2213(例えば、SATA、SSD)を管理することができる。
ストレージ管理テーブル2124から、ID「VSP1」を有するストレージが30TBの空きストレージ領域と、2TBのフォーマット済み空きストレージ領域と、4TBのスタンバイ空きストレージ領域と、50TBの提供済みストレージ領域とを有することがわかる。
<論理ボリューム提供処理>
図7は、例えば、オートスケール(スケールアウト)又はマイグレーション(新たな論理ボリュームへの元の論理ボリュームのコピー)の目的での、提供済み論理ボリュームのコピーである新たな論理ボリュームのプロビジョニング要求に応答する処理を説明するためのフローチャートである。要求は、入力デバイス2111を介して管理者から受信することができる。処理は、入力として、コピーされる提供済み論理ボリュームを受信する。処理は、条件に達したとき(例えば、オートスケール機能が用いられ、性能が所定の限界値未満になるとき)、自動化されたプロセスによって開始される。処理は、エンドユーザによりプロビジョニングサービスを通じて、又は管理者により管理計算機2100を通じて開始することもできる。
7001において、論理ボリューム提供プログラム2125は、論理ボリューム関連付けテーブル2121(図3)を参照して、入力された提供済み論理ボリュームが3001における少なくとも1つの行に登場するか否かを判断する。登場することは、少なくとも1つのスタンバイ論理ボリュームが、入力された提供済み論理ボリュームに関連付けられていることを意味する。いずれのスタンバイ論理ボリュームも関連付けられていない場合(7001におけるNo)、処理は7003に進む。少なくとも1つのスタンバイ論理ボリュームが関連付けられているとき(7001におけるYes)、処理は7006に進む。
7002において、論理ボリューム提供プログラム2125は、論理ボリューム関連付けテーブル2121(図3)を参照して、出力される論理ボリュームとして、入力された提供済み論理ボリュームに関連付けられたスタンバイ論理ボリュームから、最も適したスタンバイ論理ボリュームを選択する。最も適したスタンバイ論理ボリュームは、最も小さなデータ差分3004(図3)を有するスタンバイ論理ボリュームとして選択される。なぜなら、最も小さいデータ差分は、処理が7006に達したときの最も短い同期時間を示唆するためである。ディスクデバイス2213のタイプ(例えば、SATA、SSD)、例えば、計算機システム100の現在のボトルネックを回避するためのトポロジ、及び同じストレージ装置2200内の同じ提供済み論理ボリュームに関連付けられた他のスタンバイ論理ボリュームの存否等の他のパラメータを考慮に入れることができる。
7003において、論理ボリューム提供プログラム2125は、ストレージ管理テーブル2124(図6)を参照して、入力された提供済み論理ボリュームのサイズを有する新たな論理ボリュームを提供することができるか否かを判断する。新たな論理ボリュームは、ストレージ装置2200のうちの1つからの空き容量6002(図6)、フォーマット済みの空き論理ボリューム6003(図6)又は双方の組合せにより、必要とされるサイズに到達することができる場合に提供することができる。システムが、空き領域6002よりもフォーマット済みのボリュームを優先的に選択するポリシーをセットする場合、システムは、新たなボリュームをフォーマットするための時間を節減することができる。新たな論理ボリュームを提供することができるとき(7003におけるYes)、処理は7005に進む。新たな論理ボリュームを提供することができないとき(7003におけるYes)、処理は7004に進む。
7004において、論理ボリューム提供プログラム2125は、論理ボリューム関連付けテーブル2121(図3)を参照して、削除される、すなわち空き領域にされるか又はフォーマットされるのに最も適したスタンバイ論理ボリュームを選択する。上記で説明したように、スタンバイ論理ボリュームは、現在用いられているボリュームのスタンバイとなるように管理され、他方で、スタンバイ論理ボリューム自体はホストによって用いられない。したがって、空き領域が不足している場合、スタンバイボリュームを用いてホストからの新たなリソース要件を満たすことができる。最も適したスタンバイ論理ボリュームを選択する基準は、例えば、最も大きなデータ差分3004(図3)及び/又は重要フラグ3005(図3)を用いるものである。一部分又は全体の選択された論理ボリュームが提供されることを検討するとき、計算機システム100の論理ボリュームの容量、ディスク2213のタイプ(例えば、SATA、SSD)、トポロジ、及び現在のボトルネックも考慮に入れることができる。スタンバイ論理ボリュームは、選択されると、フォーマットされるか又は空き領域にされ、したがって、ストレージ管理テーブル2124(図6)内の容量値が変化する。次に、処理は7003に戻り、再び、空き領域又はフォーマット済み論理ボリュームが十分であるか否かが判断される。入力された提供済み論理ボリュームのサイズを有する新たな論理ボリュームを提供する十分な空き領域がなく、スタンバイ論理ボリュームがない、すなわち、論理ボリューム関連付けテーブルが行を有しないとき、例えば、管理計算機2100の出力2113を通じてシステム100の管理者に、「領域不十分」メッセージを有するエラーが投げられる。
7005において、論理ボリューム提供プログラム2125はストレージ管理テーブル2124(図6)及び論理ボリューム管理テーブル2123(図5)を参照して、空き領域6002(図6)から新たな論理ボリュームを作成することによって、又は必要なサイズを有するフォーマット済み論理ボリューム6003(図6)を選択することによって、論理ボリュームを出力される論理ボリュームとしてとして選択する。必要なサイズを有する新たな論理ボリュームを作成するために、フォーマット済み論理ボリュームを削除する、すなわち空き領域にすることができる。出力される論理ボリュームが選択されると、入力された提供済み論理ボリューム全体が、出力される論理ボリュームにコピーされる。
7006において、論理ボリューム提供プログラム2125は、論理ボリューム関連付けテーブル2121(図3)及びデータ差分3004(図3)によってポインティングされている情報を参照して、入力された提供済み論理ボリュームから、選択されたスタンバイ論理ボリュームへデータ差分をコピーすることによって、入力された提供済み論理ボリュームと、7002において選択された出力されるスタンバイ論理ボリュームとの同期をとる。双方の論理ボリュームが既に同期しており、したがってコピーが必要とされない状況が起こり得る。ストレージシステムの現在の状態及びスタンバイ論理ボリュームの現在のデータ差分量3003に基づいて、同期が完全なコピーよりも時間がかかると判断される場合、同期の代わりに完全なコピーが行われる。
7007において、論理ボリューム提供プログラム2125は、論理ボリューム関連付けテーブル2121(図3)から、7002において選択された出力されるスタンバイ論理ボリュームに対応する行を削除する。
7008において、論理ボリューム提供プログラム2125は、論理ボリュームペアリングテーブル2122(図4)に、入力される提供済み論理ボリュームがプライマリ論理ボリュームになり、7002又は7005において出力される論理ボリュームとして選択された論理ボリュームがセカンダリ論理ボリュームとなる対関係を表す新たな行を追加する。
スケールアウトを実行するときの通常の状況は、双方の論理ボリュームの同期を保つことであり、マイグレーションを実行するときの通常の状況は、対関係の役割を変更し、次に、論理ボリューム内のデータが変更される前に、入力された論理ボリュームを削除することである。2つの論理ボリュームの同期が保たれない異常な状況では、ペアリング関係は解消される。
入力された論理ボリュームが既に、論理ボリュームペアリングテーブル2122(図4)内のプライマリ論理ボリュームVとペアリングされたセカンダリ論理ボリュームである状況において、追加される新たな行は、論理ボリュームVがプライマリ論理ボリュームとなり、出力される論理ボリュームがセカンダリ論理ボリュームとなる対関係を表す。これはなぜなら、同じデータを有する1組のペアリングされた論理ボリュームが同じプライマリボリュームにペアリングされることを確実にし、したがってそれらのスタンバイ論理ボリュームの管理を容易にするために、提供済み論理ボリュームは同時にプライマリ且つセカンダリであることができないためである。
7009において、論理ボリューム提供プログラム2125は、出力される論理ボリュームを新たなホスト計算機(又は入力された論理ボリュームを既に認識している同じホスト計算機)に以下のように提供する:(1)論理ボリューム管理テーブル2123(図5)において、出力される論理ボリュームの状態を提供済みに変更し、(2)ストレージ管理テーブル2124(図6)内のストレージ領域を更新し、(3)I/Oパスを構成し、新たなホストが論理ボリュームに到達することを確実にする(例えば、ポートを割り当て、許可を構成する)ために、対応するディスクコントローラ2211に、及びストレージ装置2200の他のリソースに、及び新たなホスト計算機200に要求を送信する。
ペアリング関係に応じた同期関数が、プライマリ論理ボリューム又はセカンダリ論理ボリュームが属するストレージ装置2200内のディスクコントローラ2211に要求される。同期関数は他のリソースにおいて構成されてもよい。
さらに、7003及び7004によって作成されるサブプロセスは、他の論理ボリュームのコピーでない論理ボリュームの提供を要求するときに用いられる。この場合、要求される領域量が空いているか否かがステップ7003において判断される。
さらに、計算機システム100又は各ストレージ装置2200が、総ストレージ容量からの所定のパーセンテージのフォーマット済み論理ボリュームを保持しているとき、7003及び7004のサブプロセスが用いられる。この場合、所定のパーセンテージのフォーマット済み論理ボリュームが存在するか否かは7003において判断され、存在しない場合、7004が実行される。このプロセスにより、システムはフォーマットプロセスの待機を回避することができる。
<論理ボリューム削除処理>
図8は、例えば、オートスケール(リソースを低減)又はマイグレーション(コピー後に元の論理ボリュームを削除)の目的での、ペアリング関係を有する提供済み論理ボリュームの削除の要求に応答する処理を説明するためのフローチャートである。要求は、入力デバイス2111を介して管理者から受信することができる。処理は、入力として、削除される論理ボリュームを受信する。処理は、条件に達すると、自動化されたプロセスによって開始される(例えば、オートスケール)。処理は、エンドユーザによりプロビジョニングサービスを通じて、又は管理者により管理計算機を通じて開始することもできる。
8001において、論理ボリューム削除プログラム2126は、論理ボリュームペアリングテーブル2122(図4)を参照して、入力された論理ボリュームがスタンバイ論理ボリュームとなるのに適しているか否かを判断する。これはなぜなら、全ての削除された論理ボリュームがスタンバイになる場合、ストレージ装置2200は、空き領域及びフォーマット済み論理ボリュームが不足し、空き領域を取得するためにスタンバイ論理ボリュームの削除をトリガーする場合があるためである。結果として、将来に有用となる場合があるスタンバイ論理ボリュームが削除され、将来に用いることができない。これを回避するために、削除されることになるペアリングされた論理ボリュームのうち、有用であると予期されるもののみが保持される。
ペアリングされた論理ボリュームは、対応する論理ボリューム読み書きレート4003(図4)が所定の閾値を超えている場合、スタンバイになるのに適している。レート値が高いほど、より多くの読出しI/O及びより少ない書込みI/Oが論理ボリュームを有し、論理ボリュームにおけるデータの変更が少なくなる。したがって、論理ボリュームは、スタンバイになるのにより適している。閾値は、各ストレージ装置2200について、又は全てのストレージ装置について、管理部によってあらかじめ規定することができる。論理ボリュームキャッシュから推測することができる論理ボリュームの最近のデータ変更レート、以前のスケールアウトオペレーション数、及び現在の空き領域量等の他のパラメータに基づいて適切性を判断することもできる。
入力された論理ボリュームが適切であるとき(8001におけるYes)、処理は8002に進む。入力された論理ボリュームが適切でないとき(8001におけるNo)、処理は8003に進む。
8002において、論理ボリューム削除プログラム2126は、リソースを解放し、管理計算機のテーブルを以下のように更新する:(1)入力された論理ボリュームが提供されたホスト計算機、及びホスト計算機と論理ボリュームとの間の接続を可能にしたリソース(例えば、ストレージポート、スイッチ)を解放することの要求を送信し、(2)論理ボリューム管理テーブル2123(図5)において、入力された論理ボリュームの状態をスタンバイに変更し、(3)ストレージ管理テーブル2124(図6)を更新し、(4)入力された論理ボリュームが登場する論理ボリュームペアリングテーブル2122(図4)における行を除去し、(5)入力された論理ボリュームと提供済み論理ボリュームとの間で異なるものとなるデータを追跡する(異なるものとなるデータの経過は他の場所に格納することができる)ことの要求をディスクコントローラ2211に送信し、(6)入力された論理ボリューム3002と、入力された論理ボリュームとペアリング関係にあるプライマリ論理ボリュームであった提供済み論理ボリューム3001との間の関連付け、及びディスクコントローラが異なるものとなるデータの経過を格納するロケーションへのポインタ3004を有する新たな行を、論理ボリューム関連付けテーブル2121(図3)に作成する。
8003において、論理ボリューム削除プログラム2126は、ストレージ装置に、入力された論理ボリュームを削除する、すなわち空き領域にするか、又はフォーマットする、すなわちフォーマット済みにするように要求する。処理は、論理ボリューム管理テーブル2123(図5)及びストレージ管理テーブル2124(図6)を更新する。
<差分更新処理>
図9は、スタンバイ論理ボリュームと提供済み論理ボリュームとの間の関連付けを最新に保つ処理を説明するためのフローチャートである。処理は、短い時間間隔においてバックグラウンドで実行される。処理は、データ変更イベントが受信されるときにも実行することができる。処理は、単一のプロセスによって、又はストレージ装置2200ごと若しくは管理計算機2100ごとに独立した複数のプロセスによって行うことができる。
9001において、差分更新プログラム2127は、論理ボリューム関連付けテーブル2121(図3)を参照して、全てのスタンバイ論理ボリュームを検索する。例えば、処理がストレージ装置2200ごとに行われる場合、そのストレージ装置2200のスタンバイ論理ボリュームが検索される。
9002において、差分更新プログラム2127は、9001において検索されるスタンバイ論理ボリュームの各々を反復する。以後、反復ごとに選択されるスタンバイ論理ボリュームを反復論理ボリュームと呼ぶ。
9003において、差分更新プログラム2127は、論理ボリューム関連付けテーブル2121(図3)を参照して、9002における反復論理ボリュームに関連付けられた論理ボリュームを検索し、論理ボリューム管理テーブル2123(図5)を参照して、検索された関連付けられた論理ボリュームが提供済みであるか否かを判断する。関連付けられた論理ボリュームが提供済みであるとき(9003におけるYes)、処理は9005に進む。関連付けられた論理ボリュームが提供済みでないとき(9003におけるNo)、すなわち、フォーマット済みであるか、スタンバイ状態にあるか、論理ボリューム管理テーブル2123に登場しない場合、処理は9004に進む。論理ボリューム管理テーブル2123(図5)を参照することによって、関連付けられた論理ボリューム及び反復論理ボリュームの容量を比較することができる。例えば、ボリュームスケールアップ又はスケールダウンによって、容量が異なるものとなる場合の選択肢は、処理が9004に進み、反復論理ボリュームが削除されることである。代替形態は、反復論理ボリュームを、容量に合致するようにサイズ変更し、次に処理が9005に進み、データ差分を更新することである。
9004において、差分更新プログラム2127は、9002において、ストレージ装置に、反復論理ボリュームを削除する、すなわち、空き領域にするか、又はフォーマットする、すなわち、フォーマット済みにするように命令する。処理は、論理ボリューム管理テーブル2123(図5)及びストレージ管理テーブル2124(図6)を更新する。
9005において、差分更新プログラム2127は、論理ボリューム関連付けテーブル2121(図3)を参照して、反復論理ボリュームと、その関連付けられた論理ボリュームとの間のデータ差分へのポインタ3004を検索し、現在のデータ差分量を計算し、論理ボリューム関連付けテーブル2121内の対応するデータ差分量3003を更新する。
9006において、差分更新プログラム2127は、論理ボリューム関連付けテーブル2121(図3)を参照して、9002において、反復された論理ボリュームが同期をとられる必要があるか否かを判断する。この実施形態において、論理ボリュームは、その重要フラグ3005が「YES」であり、且つデータ差分量3003がデータ差分閾値3006に達するか又はこのデータ差分閾値を超えたときに、同期をとられる必要がある。あるいは、全ての論理ボリュームを、それらの重要性を管理することなく同期化されるプロセスの対象にすることが可能である。論理ボリュームが同期をとられる必要があるとき(9006におけるYes)、処理は9007に進む。論理ボリュームが同期をとられる必要がないとき(9006におけるNo)、処理は9002において、次のスタンバイ論理ボリュームをチェックすることの反復を継続する。
9007において、差分更新プログラム2127は、少なくともデータ差分閾値3006を超えて同期をとるために、論理ボリューム関連付けテーブル2121(図3)内の、3004においてデータ差分値によってポインティングされた情報を参照する。1つの例として、反復論理ボリュームがその関連付けられた論理ボリュームとどの程度同期するかは、計算機システム100の作業負荷に依拠する。これは、作業負荷が所定の値よりも高い場合、論理ボリュームが部分的にしか同期しないことを意味する。そして、作業負荷が所定の値よりも低い場合、論理ボリュームは完全に同期する。これは、論理ボリュームが、頻繁に変化する1組のファイルと、時々しか変化しない1組のファイルとを有する場合があることに起因する。このとき、頻繁に変化するファイルのサイズがデータ差分閾値未満であるとき、時々変化するファイルの同期しかとらないことが好都合である。頻繁に変化するファイルを毎回コピーするのは効率的でない場合がある。ステップ9006及び9007は、システムにとって重要ではないが、これらのステップにより、データ差分量3003がデータ差分閾値3006以下に保たれる。したがって、スタンバイ論理ボリュームからホストに対しボリュームを準備するための時間を、所望の時間量未満に保つことができる。
上記で記載したように、実施形態によれば、管理計算機2100は、論理ボリューム全体をコピーする多くの将来のタスクを回避するために、論理ボリューム全体を別の論理ボリュームにコピーする、大量の時間及びリソースを消費するタスクである実行されたタスクを利用する。実施形態は、管理者にトランスペアレントな管理処理として実施することができる。
したがって、スケールアウト及びマイグレーション等の管理オペレーションが実行されることを可能にして、論理ボリュームの完全なコピーを回避することによって、(1)リソースが効率的に用いられ、(2)ダウンタイム及び性能不良が生じる前に、短時間で、予期されない問題をクリアし、需要を満たすことができる。
上記で一実施形態が記載されたが、本発明は、上記で記載した実施形態に限定されるものではなく、本発明の範囲及び趣旨から逸脱することなく様々な形で変更することができることを理解するべきである。
100 計算機システム
2000 ホスト計算機
2100 管理計算機
2200 ストレージ装置
2212 論理ボリューム

Claims (12)

  1. ストレージシステムと前記ストレージシステムのホストシステムとに接続されたインターフェースユニットと、
    前記インターフェースユニットに接続され、複数の論理ボリュームを管理するプロセッサユニットと、
    を備え、
    前記複数の論理ボリュームは、前記ホストシステムに提供された第1の論理ボリュームと、第2の論理ボリュームとを含み、
    前記プロセッサユニットは、
    前記第2の論理ボリュームを、前記第1の論理ボリュームの複製ボリュームとし、且つ、前記ホストシステムに提供されている論理ボリュームである第1の状態のボリュームとして管理し、
    前記第2の論理ボリュームを、前記第1の論理ボリュームに関連付けられた第2の状態のボリュームに変更し、前記第2の状態のボリュームは、前記ホストシステムに提供された論理ボリュームではなく、前記ホストシステムによる将来の使用のためにスタンバイ状態にあり、
    前記第1の論理ボリュームにデータが新たに格納される場合、前記第2の状態のボリュームである前記第2の論理ボリュームに格納されているデータと、前記第2の論理ボリュームに関連付けられた前記第1の論理ボリュームに格納されたデータとの間のデータ差分を管理
    前記プロセッサユニットは、前記第1の論理ボリュームのI/O間の読出しI/Oレートが所定の閾値を超えている場合、前記第2の論理ボリュームを前記第2の状態のボリュームとして管理することを決定するように構成される、
    管理システム。
  2. 管理されている第2の状態のボリュームが、前記第1の論理ボリュームに関連付けられた前記第2の論理ボリュームを含む場合、前記プロセッサユニットは、前記第1の論理ボリュームを複製することの要求に応答して、前記第2の論理ボリュームを前記ホストシステムに提供する、
    請求項1に記載の管理システム。
  3. 前記管理されている第2の状態のボリュームが、前記第1の論理ボリュームに関連付けられた前記第2の論理ボリュームを含まない場合、前記プロセッサユニットは、第3の状態のボリュームを前記ホストシステムに提供し、
    前記第3の状態のボリュームは、前記ホストシステムに提供された論理ボリュームでなく、フォーマットされた論理ボリュームである、
    請求項2に記載の管理システム。
  4. 前記データ差分が存在する場合、前記プロセッサユニットは、前記第2の論理ボリュームを前記ホストシステムに提供する前に、前記データ差分を前記第1の論理ボリュームに関連付けられた前記第2の論理ボリュームに格納する、
    請求項2に記載の管理システム。
  5. 前記第1の論理ボリュームに関連付けられた2以上の第2の状態のボリュームが存在する場合、前記第2の論理ボリュームは、前記2以上の第2の論理ボリュームのうちの、データ差分が最も小さい前記第2の状態のボリュームである、
    請求項2に記載の管理システム。
  6. 前記第1の論理ボリュームが前記第2の論理ボリュームに関連付けられていないとき、前記プロセッサユニットは、前記第2の論理ボリュームを第3の状態の論理ボリュームに変更し、
    前記第3の状態のボリュームは、前記ホストシステムに提供された論理ボリュームでなく、フォーマット済みの論理ボリュームである、
    請求項1に記載の管理システム。
  7. 前記データ差分の量が閾値を超えている場合、前記プロセッサユニットは、前記第2の状態のボリュームであ、前記第1の論理ボリュームに関連付けられた前記第2の論理ボリュームに、前記データ差分を完全に又は部分的に格納する、
    請求項1に記載の管理システム。
  8. 前記プロセッサユニットは、前記第2の論理ボリュームに関連付けられた前記第1の論理ボリュームをマイグレーションすることの要求に応答して、前記第2の論理ボリュームを前記ホストシステムに提供する、
    請求項2に記載の管理システム。
  9. 前記プロセッサユニットは、前記複製ボリュームを削除することに応答して、前記第2の論理ボリュームを前記第2の状態のボリュームに変更する、
    請求項1に記載の管理システム。
  10. 前記第1の論理ボリュームの前記I/O間の前記読出しI/Oレートが所定の閾値以下である場合、前記プロセッサユニットは、前記第2の論理ボリュームを第3の状態のボリュームとして管理することを決定し、
    前記第3の状態のボリュームは、前記ホストシステムに提供された論理ボリュームでなく、フォーマット済みの論理ボリュームである、
    請求項に記載の管理システム。
  11. ホストシステムに接続されたストレージシステムであって、
    複数の論理ボリュームに含まれる論理ボリュームの基になる複数のストレージデバイスと、
    前記複数のストレージデバイス及び前記ホストシステムに接続されたコントローラユニットと、
    を備え、
    前記複数の論理ボリュームは、前記ホストシステムに提供された第1の論理ボリュームと、第2の論理ボリュームとを含み、
    前記コントローラユニットは、
    前記第2の論理ボリュームを、前記第1の論理ボリュームの複製ボリュームとなるように制御して、前記第2の論理ボリュームを前記ホストシステムに提供し、それにより、前記第2の論理ボリュームが、前記ホストシステムに提供されている論理ボリュームである第1の状態のボリュームとなり、
    前記第2の論理ボリュームを、前記第1の論理ボリュームの複製ボリュームとなるように制御することと、前記第2の論理ボリュームを前記ホストシステムに提供することとを中止し、
    前記第2の論理ボリュームが前記ホストシステムによる将来の使用のためにスタンバイ状態にあるように、前記第2の論理ボリュームを前記第1の論理ボリュームに関連付け、それにより、前記第2の論理ボリュームが、前記第1の論理ボリュームに関連付けられた第2の状態のボリュームとなり、
    前記ホストシステムによって前記第1の論理ボリュームにデータが新たに格納される場合、前記第2の状態のボリュームである前記第2の論理ボリュームに格納されているデータと、前記第2の論理ボリュームに関連付けられた前記第1の論理ボリュームに格納されたデータとの間のデータ差分を管理する、
    ように構成され、
    前記第1の論理ボリュームのI/O間の読出しI/Oレートが所定の閾値を超えている場合、前記第2の論理ボリュームが前記第2の状態のボリュームとされる、
    ストレージシステム。
  12. ホストシステムに接続されたストレージシステム内の、前記ホストシステムに提供された第1の論理ボリュームと、第2の論理ボリュームとを含む複数の論理ボリュームを、管理する方法であって、
    前記第2の論理ボリュームを、前記第1の論理ボリュームの複製ボリュームとし、且つ、前記ホストシステムに提供されている論理ボリュームである第1の状態のボリュームとして管理し、
    前記第1の論理ボリュームのI/O間の読出しI/Oレートが所定の閾値を超えている場合、前記第2の論理ボリュームを、前記第1の論理ボリュームに関連付けられた第2の状態のボリュームに変更し、前記第2の状態のボリュームは、前記ホストシステムに提供された論理ボリュームではなく、前記ホストシステムによる将来の使用のためにスタンバイ状態にあり、
    前記第1の論理ボリュームにデータが新たに格納される場合、前記第2の状態のボリュームである前記第2の論理ボリュームに格納されているデータと、前記第2の論理ボリュームに関連付けられた前記第1の論理ボリュームに格納されたデータとの間のデータ差分を管理する、
    方法。
JP2016520693A 2014-02-18 2014-02-18 論理ボリュームを管理するためのシステム及び方法 Active JP6227771B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/000829 WO2015125171A1 (en) 2014-02-18 2014-02-18 System and method for managing logical volumes

Publications (2)

Publication Number Publication Date
JP2016532927A JP2016532927A (ja) 2016-10-20
JP6227771B2 true JP6227771B2 (ja) 2017-11-08

Family

ID=50280450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016520693A Active JP6227771B2 (ja) 2014-02-18 2014-02-18 論理ボリュームを管理するためのシステム及び方法

Country Status (3)

Country Link
US (1) US20160054946A1 (ja)
JP (1) JP6227771B2 (ja)
WO (1) WO2015125171A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058120B2 (en) * 2011-11-09 2015-06-16 International Business Machines Corporation Setting optimal space allocation policy for creating dependent snapshots to enhance application write performance and reduce resource usage
US9996267B2 (en) 2015-08-11 2018-06-12 International Business Machines Corporation Adjustment of volume synchronization
WO2018011839A1 (ja) * 2016-07-11 2018-01-18 株式会社日立製作所 情報処理システム、及び、情報処理システムの制御方法
US11150998B2 (en) * 2018-06-29 2021-10-19 EMC IP Holding Company LLC Redefining backup SLOs for effective restore

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728832B2 (en) * 1990-02-26 2004-04-27 Hitachi, Ltd. Distribution of I/O requests across multiple disk units
JP3955453B2 (ja) * 2001-10-09 2007-08-08 株式会社日立製作所 外部記憶装置の制御方法
US7529897B1 (en) * 2003-12-31 2009-05-05 Vmware, Inc. Generating and using checkpoints in a virtual computer system
JP4927408B2 (ja) * 2006-01-25 2012-05-09 株式会社日立製作所 記憶システム及びそのデータ復元方法
JP2008112291A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 記憶制御装置及び記憶制御装置のデータ移動方法
JP2008171032A (ja) * 2007-01-05 2008-07-24 Hitachi Ltd ストレージ装置、及びこれを用いた記憶制御方法
JP5368285B2 (ja) 2009-12-11 2013-12-18 株式会社日立製作所 計算機システム、計算機リソースの管理方法及びプログラム

Also Published As

Publication number Publication date
US20160054946A1 (en) 2016-02-25
WO2015125171A1 (en) 2015-08-27
JP2016532927A (ja) 2016-10-20

Similar Documents

Publication Publication Date Title
US20190377651A1 (en) Switching over from using a first primary storage to using a second primary storage when the first primary storage is in a mirror relationship
US8448167B2 (en) Storage system, and remote copy control method therefor
US7558916B2 (en) Storage system, data processing method and storage apparatus
US10915406B2 (en) Storage unit replacement using point-in-time snap copy
US7996611B2 (en) Backup data management system and backup data management method
US10162563B2 (en) Asynchronous local and remote generation of consistent point-in-time snap copies
US20060047926A1 (en) Managing multiple snapshot copies of data
JP2009048514A (ja) 仮想ボリュームのバックアップを行うストレージシステム及び方法
JP2010092259A (ja) ストレージ容量仮想化技術における障害管理方式
US20120260051A1 (en) Computer system, management system and data management method
WO2014174570A1 (ja) ストレージ管理計算機、ストレージ管理方法、およびストレージシステム
US20130254500A1 (en) Storage apparatus, computer system, and control method for storage apparatus
US9395936B2 (en) Method and apparatus for remote storage performance data copy
US10757191B2 (en) System and method for client policy assignment in a data storage system
JP6227771B2 (ja) 論理ボリュームを管理するためのシステム及び方法
US10761767B2 (en) Computer system and method for controlling storage apparatus that has replication direction from first logical device (in first storage) to second logical device (in second storage) and from said second logical device to third logical device (in said second storage), wherein said replication direction is reversed when second computer takes over for first computer
US10698627B2 (en) Storage system and storage control method
US11003541B2 (en) Point-in-time copy on a remote system
US11196806B2 (en) Method and apparatus for replicating data between storage systems
WO2015145680A1 (ja) 管理計算機、及び計算機システム
JP5947974B2 (ja) 情報処理装置及び情報処理装置の交換支援システム並びに交換支援方法
US20240220378A1 (en) Information processing system and information processing method
WO2015020636A1 (en) Method and apparatus of storage system which stores information for relationship between logical volumes and operations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171011

R150 Certificate of patent or registration of utility model

Ref document number: 6227771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150