JP4835249B2 - ストレージシステム、リモートコピー、その管理方法 - Google Patents

ストレージシステム、リモートコピー、その管理方法 Download PDF

Info

Publication number
JP4835249B2
JP4835249B2 JP2006121539A JP2006121539A JP4835249B2 JP 4835249 B2 JP4835249 B2 JP 4835249B2 JP 2006121539 A JP2006121539 A JP 2006121539A JP 2006121539 A JP2006121539 A JP 2006121539A JP 4835249 B2 JP4835249 B2 JP 4835249B2
Authority
JP
Japan
Prior art keywords
copy
data
logical volume
storage system
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006121539A
Other languages
English (en)
Other versions
JP2007293651A (ja
Inventor
晋広 牧
友理 平岩
好行 西
和久 宮田
彰 出口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006121539A priority Critical patent/JP4835249B2/ja
Priority to US11/491,363 priority patent/US7689790B2/en
Publication of JP2007293651A publication Critical patent/JP2007293651A/ja
Priority to US12/706,133 priority patent/US8024537B2/en
Priority to US13/209,578 priority patent/US8307178B2/en
Application granted granted Critical
Publication of JP4835249B2 publication Critical patent/JP4835249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2064—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本明細書で開示される技術は、記憶制御装置およびその制御方法に関し、特に、複数の記憶制御装置を有する計算機システムでのリモートコピー環境におけるストレージシステムおよびその制御方法に関する。
データ量の爆発的な増加に伴い、計算機システム内のホスト計算機が扱うストレージシステムの容量や個数は増加傾向にある。
また、業務が情報処理システムの依存度を高め、データ喪失のときの被害が甚大なものになるにつれ、当該データのディザスタリカバリの重要性も高まる一方である。
ディザスタリカバリの代表的な実装例としてリモートコピー構成がある。例えば特許文献１には、ホスト計算機が発行したデータをストレージシステムが受信し、当該ストレージシステムは自装置に当該データを書き込み、物理的に離れた場所に配置された異なるストレージシステムに対し、当該データを転送し保存する技術が開示される。
特開平11−85408
正ストレージシステムと、副ストレージシステムがそれぞれ複数あり、正副ストレージシステムの論理ボリューム間でペアを構成し、複数のペアを一つのグループとしてコピーを開始する場合、それぞれのペアでのデータ転送状況が異なる場合や副ストレージシステム間での通信可能かを確認する必要がある。したがって、複数のストレージシステム間でデータの書き込み順序を保証するために、複数のペア間で整合性をとってから開始する必要がある。
上記課題のいずれか一を解決するために、例えば、ある計算機システムは、ホスト計算機に接続され、ホスト計算機から受信するデータが格納される第一の論理ボリュームを有するコピー元のストレージシステムAと、第二の論理ボリュームを有するコピーのストレージシステムBと、ストレージシステムAに接続され、第一の論理ボリュームに格納されるデータの複製が格納される第三の論理ボリュームを有するコピー先のストレージシステムCと、ストレージシステムBに接続され、第二の論理ボリュームに格納されるデータの複製データが格納される第四の論理ボリュームを有するコピー先のストレージシステムDと、を有する。
ストレージシステムAは、ホスト計算機が時刻情報を付与して発行したライトデータを受領し、ライトデータと時刻情報とをストレージシステムCに送信し、ストレージシステムBも同様にホスト計算機が時刻情報とともに発行したライトデータを受領し、ライトデータと時刻情報とをストレージシステムDに送信する場合に、ストレージシステムDが代表として、ストレージシステムAから受信したライトデータの時刻情報とストレージシステムBから受信したライトデータの両時刻情報を比較し、それらの時刻情報に従って第三の論理ボリューム、第四の論理ボリュームに格納する手段を有する。
ストレージシステムAおよびBは上記データ複製処理の状態をホスト計算機に提示する手段を有する。
さらに、ストレージシステムDは上記データの複製処理開始後に、ストレージシステムCと複製初期化のための通信関係の構築処理を実施し、その処理の進捗をホスト計算機に提示する手段を有する。
ホスト計算機はデータの複製処理の進捗と、ストレージシステムDによるストレージシステムCと複製初期化の両方が完了した時点で、コピー先ストレージシステムのデータの書き込み処理が正常に実施されていると判定する方法を備える。
複数のストレージシステムでライトデータの書き込み順序を維持することが可能なリモートコピーで、任意の時点でデータの書き込みが正しくなされていることを判定することが可能になり、上記リモートコピーでライトデータの書き込み順序が維持されていることを保証することができる。
以下に本発明の一実施例を説明する。尚、本発明は以下に説明する実施形態に限定されるものではない。
図１は本実施形態における計算機システムの構成例を示す図である。計算機システムは、１か複数の正ホスト計算機100、複数の正記憶制御装置1000a、１か複数の副ホスト計算機200、複数の副記憶制御装置1000bを有する。
複数の正記憶制御装置1000aと正ホスト計算機100はそれぞれ通信パス500で接続されている。同様に複数の副記憶制御装置1000bと副ホスト計算機200はそれぞれ通信パス500で接続されている。副ホスト計算機200は災害時やメインテナンス時に正ホスト計算機の交替計算機として利用される他、正ホスト計算機とは異なる業務を実施する場合に利用される。尚、正ホスト計算機100、副ホスト計算機200は制御ネットワーク550にも接続されていても構わない。
正ホスト計算機100、副ホスト計算機200は図示しないがプロセッサ、メモリ、IO処理部を有し、それぞれは内部ネットワークによって接続される計算機である。また、上記メモリにはOS（Operating System）130、データベースなどのアプリケーションプログラム（以下APとよぶ）110、ストレージ管理ソフト120が格納される。これらは正ホスト計算機100、副ホスト計算機200が有するプロセッサにより実行される。また、副ホスト計算機200、副ホスト計算機200も正ホスト計算機同様に図示しないがプロセッサ、メモリ、IO処理部を有し、それぞれは内部ネットワークによって接続される計算機である。上記メモリにはOS（Operating System）230、AP220が格納される。これらは副ホスト計算機200、副ホスト計算機200が有するプロセッサにより実行される。
正ホスト計算機100、副ホスト計算機200のAPやストレージ管理ソフトからOSを介して発行されたIO要求は、各々通信パス500を介して正記憶制御装置1000aや副記憶制御装置1000bで処理される。
複数の正記憶制御装置1000aは各々入出力制御部1100、共有メモリ1200、キャッシュ1300a、ディスク制御装置1400a、１または複数のディスク装置1600aを有し、上記は内部的にネットワークにより接続される。入出力制御部1100aは、正データ受領部1110a、正ライトデータ転送部1120aの各種プログラムを実行可能である。また、複数の正記憶制御装置1000aのうち、一の正記憶制御装置1000aの入出力制御部1100は、各種プログラムの実行や通信線を介する外部との送受信の制御を行う。
入出力制御部で実施する処理で必要となる情報は、ボリュームセット管理情報1210a、ライトデータ管理情報1220a、正コピーペア管理情報1230a、正ボリューム管理情報1240a、正コピーグループ管理情報1250aがある。上記情報は共有メモリ1200に格納される。
キャッシュ1300aは主にリードデータやライトデータを格納する高速なメモリであり、キャッシュ1300aを使用することによって高いIO処理性能を実現することができる。
ディスク制御部1400aは１か複数のディスク装置1600aを論理的な記憶資源（以下、論理ボリュームとよぶ）として提供する処理を行う。また、ディスク制御部1400aは必要に応じキャッシュ1300aとディスク装置1600a間のリードデータやライトデータの転送処理も行う。
ディスク装置1600aはハードディスクドライブやフラッシュメモリなどの物理的な大容量データ記憶装置である。ディスク装置1600aはディスク制御部からの入出力指示に従って、データの書き込み、読み出し処理を行う。
複数の副記憶制御装置1000bも各々入出力制御部1100、共有メモリ1200、キャッシュ1300b、ディスク制御装置1400b、１または複数のディスク装置1600bを有し、上記は内部的にネットワークにより接続される。入出力制御部1100は副データ受領部1110b、副ライトデータ反映部1150bの各プログラムを実行する。また、一の副記憶制御装置1000bの入出力制御部1100は、グループ代表処理部1140bを実行する。このグループ代表処理部1140bは共有メモリ1200に格納されているプログラムであって、入出力制御部1100が共有メモリから読み出し、実行する。
共有メモリ1200bには入出力制御部1100bが使用する、ボリュームセット管理情報1210b、ライトデータ管理情報1220b、副コピーペア管理情報1230b、副ボリューム管理情報1240b、コピーグループ管理情報1250bが格納される。
キャッシュメモリ1300b、ディスク制御部1400b、ディスク装置1600bの役割は前述の正記憶制御装置1000aと同じである。
また、複数の正記憶制御装置1000aと複数の副記憶制御装置1000b間は、通信パス510により接続される。複数の正記憶制御装置1000a間、および複数の副記憶制御装置間もまた通信パス530により接続される。なお、正記憶制御装置1000aとディスク装置1600aとを備えるシステムを正ストレージシステム、副記憶制御装置1000bとディスク装置1600bとを備えるシステムを副ストレージシステムという。
図１７は本実施例のハードウェアシステム構成を示している。複数の正記憶制御装置1000aは通信パス530により接続される。
同様に複数の副記憶制御装置1000bも通信パス530により接続される。複数の正/副記憶制御装置1000a/bは、各々入出力制御部1100、共有メモリ1200/b、キャッシュ1300a/b、ディスク制御装置1400a/b、１または複数のディスク装置1600a/bを有し、上記は内部的にネットワークにより接続される。
上述のとおり、グループ代表処理部1140bは複数ある副記憶制御装置1000bの１副記憶制御装置にある。ここで、グループ代表処理部1140bはコピーグループを使用する１リモートコピーに対し１存在する。
次に、正副記憶制御装置間で実施するリモートコピーの動作概要について説明する。例えば正ホスト計算機100が正記憶制御装置1000aに対しライトIO要求を発行する場合を考える。ここで、正ホスト計算機100はライトIO要求に当該ホスト計算機の持つ時刻（以後ライト時刻とよぶ）を含めることが可能な計算機を想定する。正ホスト計算機100が発行したライトIO要求が正記憶制御装置1000aに到着すると、当該IO要求に含まれるライトデータは当該正記憶制御装置1000aの論理ボリュームに格納される。
ここで、当該IO要求があらかじめリモートコピーとして登録された論理ボリュームへのライトであった場合、正記憶制御装置1000aは、当該ライトデータに対しリモートコピーを実施する。リモートコピーとは正記憶制御装置1000aの特定論理ボリュームへのライトデータを副記憶制御装置1000b内の特定論理ボリュームにリモートコピーする手続きを指す。リモートコピーのコピー元ボリュームとライトデータのコピー先ボリュームの組み合わせをコピーペアとよぶ。
本実施例では、正記憶制御装置1000aおよび副記憶制御装置1000b間には複数のコピーペアが存在し、特定のコピーペアをまとめてグループ化されている。グループ化されたリモートコピーの一例を示す概念図を図2に示す。図2で、正記憶制御装置1000aにはボリュームセットＡ、ボリュームセットＢ、ボリュームセットＣが、記憶制御装置1000bにはボリュームセットＤ、ボリュームセットＥ、ボリュームセットＦが存在する。グループには記憶制御装置内の１か複数の論理ボリューム1500が存在する。ボリューム1500a/b間の矢印はグループ間のコピーペアの対応関係を示している。すなわち、コピー元のボリュームセットＡはコピー先のボリュームセットＤとコピーペア関係が有り、同様にボリュームセットＢとボリュームセットＥおよび、ボリュームセットＣとボリュームセットＦがコピーペアの関係がある。本実施例ではグループ単位で、正記憶制御装置1000aが受信したライトデータの順序や、正記憶制御装置1000aから副記憶制御装置1000bへのライトデータの転送や、副記憶制御装置1000bにおけるライトデータのボリュームへの反映を管理していて、このような処理に必要な資源の割り当てを行っている。
ボリュームセット単位でリモートコピーを制御可能にすることで、多数のコピーペア単位の制御の必要がなくなり、リモートコピー制御が容易になる。また、業務やユーザの要望などに応じたコピーペアのみをボリュームセットとしてまとめることができるため、不要な論理ボリューム1500のリモートコピーを実施することもなくなる。また、正ホスト計算機100の性能やIO処理性能の違いにより論理ボリューム1500に対する要求性能が異なるため、これらは別のボリュームセットに分けてそれぞれで処理を行うようにし、処理に対するユーザからの操作やチューニング条件の設定などを別々に受けられるようにする目的もある。
本実施例の記憶制御装置ではさらに、複数のボリュームあるいは、複数のボリュームセットをまとめたリモートコピー制御が可能で、コピーグループを用いる。コピーグループを使用することで、記憶制御装置内の論理ボリュームにリモートコピーの制御範囲が限定される上記グループの枠を超えた、複数記憶制御装置を横断したリモートリモートコピー制御が可能になる。例えば図２では、コピーグループにはコピー元のボリュームセットＡ、ボリュームセットＢ、ボリュームセットＣおよび、コピー先のボリュームセットＤ、ボリュームセットＥ、ボリュームセットＦが存在する。コピーグループを使用することで上記コピー元からコピー先への複数グループをまとめたコピー操作が可能になる。コピーグループを使用する例として、IO処理性能を向上させるために複数記憶制御装置に跨ってデータ処理を行う分散データベースなどがある。
また、本実施例によると、グループおよびコピーグループ内では、正記憶制御装置1000aの当該グループに属する複数論理ボリュームへのライトデータの順序関係を、副記憶制御装置1000bでも保障するリモートコピーを実施する。上記のようなリモートコピーでライトデータの順序関係を保障することを、ライトデータの整合性とよぶ。グループを使用することで、記憶制御装置内の該当グループに属する論理ボリューム間でライト順序を保障することが可能なリモートコピーを実現する。また、コピーグループを使用する場合は、コピーグループ内にある記憶制御装置1000を横断した論理ボリュームへのライトデータ順序を保障するリモートコピーを実現する。
グループ内でライトデータの整合性を保障することで、たとえば記憶制御装置内の複数論理ボリュームにまたがって処理をするデータベースはグループを用いることで、複数記憶制御装置間をまたがって処理を行う分散データベースなどではコピーグループを用いることで副記憶制御装置からの回復を可能にする。正記憶制御装置が受信するライトデータの書き込み順序は副記憶制御装置でも保障されるため、副記憶制御装置からの回復手順は正記憶制御装置における障害時の回復手順と同一である。ここで、コピーグループを用いない場合、正ホスト計算機が１正記憶制御装置1000aに発行したライトデータが回線障害などでコピー先の副記憶制御装置に転送不可能になったとしても、別正記憶制御装置1000aの回線に障害が発生しない限り、当該別正記憶制御装置が受信したライトデータは副記憶制御装置1000bに転送される。ここで、正記憶制御装置1000aが被災すると、副ホスト計算機から回復処理がなされたとしても、副記憶制御装置1000b間でデータの書き込み順序が正記憶制御装置に発行した順序と異なってしまっているため、アプリケーションプログラムが必要とするデータが正しく転送されていないことがあり、業務の復帰ができないことがある。
図４にボリュームセット管理情報の形式の一例を示す。ボリュームセット管理情報1210aはボリュームセットＩＤ（2A）、コピーグループID（2B）、ライト時刻（2C）、論理ボリューム数（2D）、論理ボリューム（2E）、相手記憶制御装置ID（2F）、相手ボリュームセットＩＤ(2G)、最新データ反映時刻（２H）を含む。ボリュームセットＩＤ（2A）は正制御装置1000a内のグループを識別するために使用する。コピーグループID（2B）はコピーグループを識別するためのIDである。ライト時刻（2C）はホスト計算機により発行された該当ライトデータの時刻が格納される。論理ボリューム数（2D）は当該グループに存在する論理ボリューム1500の総数である。ボリュームIDは該当グループ内に存在するボリュームのIDであり、論理ボリューム数（２D）分存在する。相手記憶制御装置ID（2F） は、正記憶制御装置1000aとリモートコピーにおいてコピー先となっている副記憶制御装置1000bのIDである。相手ボリュームセットＩＤ（2G）はコピー先の記憶制御装置IDにおいて、コピー先の論理ボリュームが属するグループを識別するIDである。最新データ反映時刻（２H）は副記憶制御装置のグループ内論理ボリュームで最後に書き込んだライトデータの持つ時刻を示す。
また、副記憶制御装置1000bもボリュームセット管理情報1210bを有するが、この項目も正記憶制御装置1000aのボリュームセット管理情報1210aと同様である。ただし、ボリュームセット管理情報1210bのボリュームセットＩＤはコピー先の論理ボリューム1500が属するグループを特定するIDであり、相手記憶制御装置IDはコピー送元の論理ボリュームを有する正記憶制御装置1000aを特定するIDであり、相手ボリュームセットＩＤは相手記憶装置IDが指す正記憶制御装置1000aにおけるコピー元の論理ボリュームが属するグループを特定するためのIDである。
図５にライトデータ管理情報1220aの一例を示す。副記憶制御装置でコピー元の論理ボリュームに格納されるデータの複製データをコピー先の論理ボリュームに格納するのに参照される情報を含む。ライトデータ管理情報1220aは論理ボリュームID（3A）、ライトアドレス（3B）、ライトデータ長（3C）、ライトデータポインタ（3D）、シーケンシャル番号（3E）、ライト時刻（3F）、転送必要ビット（3G）を含む。論理ボリュームID（3A）は当該ライトデータのライト先ボリュームを特定するためのIDである。ライトアドレス（3B）は当該ライトデータのライト先論理ボリューム上のライトアドレスである。ライトデータ長（3C）は当該ライトデータのデータサイズである。転送必要ビット（3G）はリモートコピー対象の有無を示す。
また、副記憶制御装置1000bのライトデータ管理情報1220bの内容は、正記憶制御装置のライトデータ管理情報1220aのものと同様である。ただし、副記憶制御装置1000bの共有メモリ1200に格納されるライトデータ管理情報1220bは、論理ボリュームIDがコピー先ボリューム１５００のIDであり、ライトデータポインタは副側記憶制御装置1000bのキャッシュメモリ1300bにおけるライトデータの開始アドレスであり、転送必要ビットは転送なしを示すビットになっていることが、正記憶制御装置1000aが有するライトデータ管理情報と異なる。
コピーペアの状態は７状態存在する。初期、コピー中、2重化、一時停止中、一時停止、ペア解除中、エラーである。初期はコピーが開始されていない状態である。コピー中は初期コピー中の状態である。初期コピーとはコピーペアのコピー元論理ボリュームの内容をコピー先論理ボリュームに転送し終えていない過渡的な状態で、コピー開始直後に遷移する状態で、ライトデータの整合性を保証できない。2重化はコピーペアのコピー元論理ボリュームの内容をコピー先論理ボリュームに転送を完了し、論理内容が一致した状態である。2重化遷移以降は正記憶制御装置1000ａの該当ボリュームへのライトデータ受信時のみ、データ転送を実施する。一時停止中はコピーを一時的に停止する状態に移行する途中の過渡状態である。一時停止はコピーを一時的に停止した状態である。この状態では、ライトデータはコピー元の正記憶制御装置1000aに一時的に保管される。一方コピー再開時は、一時停止中に保管していたライトデータが当該正記憶制御装置から副記憶制御装置1000bに転送される。この一時停止状態から二重化状態に遷移する状態も一時停止中状態となる。ペア解除中はコピーを終了するときに遷移する過渡的な状態である。また、エラー状態はコピー処理中に障害が発生した時点で遷移する。図１８にコピー状態の遷移表を示す。矢印は遷移方向を指している。また、円は定常的な状態を、四角は過渡的な状態をさす。たとえば、ペア解除中は一時停止、2重化状態から遷移が可能であることを指している。また、エラーはどの状態からも遷移する可能性があるため、図では遷移方向を示していない。
図６にコピーペア管理情報1230aの形式例を示す。コピーペア管理情報1230aには正論理ボリュームID(5A)、コピー状態（5B）、副記憶制御装置ID（５C）、副論理ボリュームID（5D）、ボリュームセットＩＤ(５F)、コピーグループID（5G）を含む。正論理ボリュームID(5A)は正記憶制御装置上のコピー元の論理ボリュームを識別するIDである。コピー状態（5B）はコピーの処理状態を示す。副記憶制御装置ID(5C)はコピー先の副記憶制御装置を識別するIDである。副論理ボリュームID(5D)は前述の副記憶制御装置にあるコピー先の論理ボリュームを識別するためのIDである。正ボリュームセットＩＤ（5F）はコピーペアが属する正記憶制御装置1000aのコピーグループを識別するID、コピーグループ(5G)は正・副記憶制御装置の正副コピーグループをまとめるコピーグループを識別するIDである。
コピーペア管理情報1230aは、保存された正記憶制御装置1000aで動作する全リモートコピーのコピーペア情報が記載される。
また、副記憶制御装置1000bにもコピーペア管理情報も持つが、この項目も正記憶制御装置1000aのものと同様である。
図７は、ボリューム管理情報1240aの形式例である。ボリューム管理情報1240aは正記憶制御装置1000aが正記憶制御装置内の全ボリュームの状態を管理するための管理情報で、ボリューム管理情報1240aには論理ボリュームID(6A)、ボリューム状態(6B)、容量（6C）、ペアID（6D）、ボリュームセットＩＤ（6F）、コピーグループID（6G）を含む。論理ボリュームID(6A)は正記憶制御装置上のコピー元の論理ボリュームを識別するIDである。ボリューム状態(6B)はボリュームの状態を示し、正常、正、副、異常、未使用のいずれかの値を取る。ボリューム状態が正常または正の場合には、その論理ボリュームに対して正ホスト計算機100もしくは副ホスト計算機200が正常にアクセス可能であることを意味する。また、ボリューム状態が正の場合には、コピー元の論理ボリュームであることを意味する。ボリューム状態が副の場合には、コピー先の論理ボリュームであることを意味する。ボリューム状態が異常の場合には、その論理ボリュームに対して正ホスト計算機100もしくは副ホスト計算機200が正常にアクセスできないことを意味する。たとえば、論理ボリュームを有するディスク装置1600aの故障による障害が該当する。ボリューム状態が未使用の場合には、その論理ボリュームは使用されていないことを意味する。ペアID(6D)は、ペアを特定するためのIDを示す。ボリュームセットＩＤ(6F)はコピーグループ内の正記憶制御装置1000aにおいてグループを特定するためのIDである。コピーグループID（6G）はコピーグループを特定するためのIDである。
また、副記憶制御装置1000bにもボリューム管理情報1240bを持つが、正記憶制御装置1000aのものと同様である。
図３にコピーグループ管理情報1250bの形式の一例を示す。コピーグループ管理情報1250bはグループ代表処理部1140bが動作する副記憶制御装置に存在する。コピーグループ管理情報にはコピーグループID（1A）、ボリュームセット数ボリュームセット数（1B）、コンテナ時刻（1C）、グループ情報（1D）を含む。コピーグループID（1A）は正副記憶制御装置間でコピーグループを識別するためのIDである。ボリュームセット数（1B）はコピーグループ内に存在するボリュームセットの総数を示す。コンテナ時刻（1C）はコピーグループ内の副記憶制御装置の論理ボリュームに最後に書き込んだライトデータの持つ時刻を示す。ボリュームセット情報（1D）はコピーグループに登録されたボリュームセット情報が保持され、副記憶制御装置を識別する記憶制御装置IDおよび当該記憶制御装置内の該当ボリュームセットのIDおよびグループ代表処理部の登録有無などを保持するグループ登録状態、グループの動作状態を示すグループ動作情報を含む。また、グループ情報（１D）はボリュームセット数（１B）分存在する。
次に、コピーグループを使用した通常時のリモートコピーの動作について説明する。
図９は正記憶制御装置1000aが正ホスト計算機100もしくは副ホスト計算機200から、リモートコピーのコピー元となる論理ボリューム1500aに対するライトIO要求を受領した場合の処理の一例を示した図である。
正記憶制御装置1000aの正データ受領部1110aは、通信パス５００を介して、正ホスト計算機が発行したライトIO要求を受領する。正データ受領部1110aでは当該受領ライトIO要求の解析を行い、ライト先の論理ボリュームID、ライトアドレス、ライトデータ長、ライト時刻およびライトデータを取得する（ステップ5000）。
正データ受領部1110aは取得したライトデータをキャッシュメモリ1300aに格納する（ステップ5010）。さらに、正データ受領部1110aは共有メモリ1200に保管されたボリューム管理情報1240aを参照する。
次に、正データ受領部1110aは当該管理情報の正論理ボリュームID（5A）の内容と、受領したライトIO要求のライト先の論理ボリュームIDが合致するものを検出する。検出結果、ボリューム管理情報の該当する論理ボリューム情報の要素に有効なペアIDが存在する場合、リモートコピー対象と判定する（ステップ5020YES）。
受領したライトIO要求がリモートコピー対象である場合、正データ受領部1230aは当該ライトデータからライト時刻を取り出し、さらに転送必要ビットが「有り」であるライトデータとして当該ライトデータを関連付ける（ステップ5030）。取り出したライト時刻はグループおよびコピーグループ内で実施されるリモートコピーのコピー先論理ボリュームの書き込み順序を保障するために利用される。
ステップ5030の後、もしくはコピーペア管理情報1230ａの正論理ボリュームID（5A）と受領したライトIO要求が指すボリューム管理情報に有効なペアIDが存在しない場合（5020NO）、ステップ５０００で取得した情報（ライト先の論理ボリュームID、ライトアドレス、ライトデータ長）、ステップ5010でライトデータを格納したキャッシュメモリの格納先アドレス（ライトデータポインタ）、およびリモートコピー開始からライトデータ管理情報が作成された個数であるシーケンシャル番号を用いて、ライトデータ管理情報1220aを作成する。また、ステップ5030で転送必要ビットが「有り」と関連付けられている場合は当該転送必要ビットも当該ライトデータ管理情報に格納する（ステップ5040）。
最後にデータ受領部1110aは正ホスト計算機100にライト完了を報告する（ステップ5050）。
以上のように、記憶制御装置1000にホストからのIO要求を受領してから完了報告をホストに返すまでに、一般的に多大な時間が必要になるといわれる物理ディスクへのライトや、別記憶制御装置への転送処理が含まれない。これらの処理は適当なタイミングで非同期に実施される。従って、正ホスト計算機や正ホスト計算機からのIO要求は短時間で完了が可能となる。
図１１A及び図１１Bは、正記憶制御装置1000aから副記憶制御装置1000bへのライトデータの転送処理の一例を示す図である。
まず図１１Aは、正記憶制御装置1000aの正ライトデータ転送部1120aの処理を示す。正ライトデータ転送部1120aは、ライトデータ管理情報1220aを参照し、転送必要ビットが転送「有り」を示しているライトデータを求め、ライトデータ管理情報1220aとボリュームセット管理情報1210aとコピーペア管理情報1230aを参照し、ライトデータ情報を作成する（ステップ6000）。
上記ライトデータ情報には、ライトデータ管理情報1220aから参照したライトアドレス、ライトデータ長、ライト時刻と、コピーペア管理情報1230aから収集した相手ボリュームセットＩＤ、副記憶制御装置ID、副論理ボリュームIDが含まれる。
次に正ライトデータ転送部1120aは、ステップ6000で特定したライトデータとステップ6000で共有メモリ1200から読み出したライトデータ情報を、副記憶制御装置1000bに転送する（ステップ6010）。
図１１Bは、副記憶制御装置1000bの副データ受領部1110bが、正記憶制御装置1000aから受領したデータに関する処理の流れを示す図である。副データ受領部1110bは、当該装置内の副データ受領部1110bが、受領したライトデータと当該ライトデータのライトデータ情報をキャッシュメモリ1300bに格納する（ステップ6020）。
副データ受領部1110bはライトデータ情報からライトデータ管理情報1220bを作成する（ステップ6030）。
副データ受領部1110bは、受領したライトデータ情報に含まれているライト時刻が最新のものであることを確認し（ステップ6040）、最新であればこのライト時刻をボリュームセット管理情報1210bの最新データ反映時刻（2H）に記録する（ステップ6050）。
最後に副データ受領部1110bは正ライトデータ転送部1120aにライトデータ受領完了を報告する（ステップ6060）。ライトデータ受領完了の報告を受信したライトデータ転送部1120aは、完了報告に対応するライトデータについてライトデータ管理情報1220aの転送必要ビットが不要を示すビットに変更する。正記憶制御装置1000aが有するコピー元の論理ボリューム1500にライトデータが書き込まれている条件で、キャッシュメモリから当該ライトデータを破棄できる。
図１２、図１９は、副記憶制御装置1000bにおけるコピー先論理ボリュームへのライトデータの反映処理の一例を示す図である。
図１２は、上記処理でグループ代表処理部1140bが存在する副記憶制御装置1000bの処理を示す。
複数の副記憶制御装置1000bのうち１の副側記憶制御装置1000bに存在するグループ代表処理部1140bは、すべての副側記憶制御装置1000bから、ボリュームセット管理情報1210bに記録されている最新データ反映時刻を全グループについて取得する。次に、取得した最新データ反映時刻の内、最も過去の時刻を求め、得られた時刻をコピーグループ管理情報のコンテナ時刻（１C）に格納する(ステップ6500)。さらに、グループ代表処理部1140bはステップ6500で求めたコンテナ時刻よりも過去の時刻を示すライトデータ管理情報1220bのライトデータをコピー先論理ボリュームに反映するように、すべての副記憶制御装置1000bに対し指示する（ステップ6510）。
グループ代表処理部1140bは、コピーグループの対象となる副記憶制御装置1000bからコピー先論理ボリュームへの反映処理に関する報告が、あるのを確認する。グループ代表処理部1140bは、反映処理に関する報告を確認し（ステップ6540、6550）、対象となるすべての副記憶制御装置1000bにおけるライトデータの反映の完了を確認した場合（ステップ6550YES）、処理を終了する（ステップ6560）。
図１９は上記処理でグループ代表処理部1140bが存在しない副記憶制御装置1000bの処理を示す。
副ライトデータ反映部1150bは、ステップ6510で発行された指示に該当するライトデータのコピー先論理ボリューム1500へ、各グループにおけるIO発行時刻順に書き込む。副ライトデータ反映部は、指示されたライトデータの論理ボリュームへの書き込みが完了した場合、反映完了をグループ代表処理部1140bに報告する（ステップ6540）。
以上が、各副記憶制御装置での副ライトデータ反映部1110bの処理である。グループ代表処理部を有する副記憶制御装置では副ライトデータ反映部1110bと、同じ副記憶制御装置内でグループ代表処理部とのやりとりが行われる。グループ代表処理部を有さない副記憶制御装置の副ライトデータ反映部1110bは、通信パス500を介してグループ代表処理部と通信を行う。
図１６は正・副ホスト計算機上130a/bのストレージ管理ソフト120/220が使用するリモートコピー構成情報121の一例で、ホスト計算機上のメモリに格納される。リモートコピー構成情報はリモートコピーの構成の他、コピーグループ、コピーペアの状態を管理するために利用する。リモートコピー構成情報には、コピーグループID(9A)、代表記憶制御装置ID（9B）、ライトデータ整合性保証(9C)、正ボリュームセットＩＤ（9D）、副ボリュームセットＩＤ(9E)、正記憶制御装置ID（9F）、副記憶制御装置ID(9G) 、正論理ボリュームID(9H)、副論理ボリュームID(9I) 、ペア状態(9J)からなる。コピーグループIDはコピーグループを識別するためのID、代表記憶制御装置IDはグループ代表処理部1140bが動作する副記憶制御装置1000b、ライトデータ整合性保証はコピーグループでライトデータ整合性を保証できるか否かを示す。また、正ボリュームセットＩＤは正記憶制御装置で動作するボリュームセットＩＤ、副ボリュームセットＩＤは副記憶制御装置で動作するボリュームセットＩＤ、正論理ボリュームIDは正記憶制御装置内で正論理ボリュームを識別するためのID、副論理ボリュームIDは副記憶制御装置内で副論理ボリュームを識別するためのID、ペア状態は当該コピーペアの状態が格納される。
図１５にストレージ制御指示7300の一例を示す。ストレージ制御指示は正ホスト計算機100が記憶制御装置1000に発行するIO要求の一種で、あて先(8A)、指示内容(8B)、コピーグループID（8C）、ボリュームセットＩＤ（８D）、オプション（８E）を含む。あて先(8A)には正ホスト計算機100が発行するIO要求の発行先（記憶制御装置1000と論理ボリュームを識別するID）が入る。指示内容（8B）にはストレージ制御の指示内容が指定される。指示内容には、コピーグループ操作（コピーグループの登録、コピーグループの削除、コピーグループへのグループ追加、コピーグループからグループの解除）、コピーグループコピー操作（コピー一時停止、コピー再開、コピー解除）、グループ代表処理部操作（代表登録、解除、状態報告）、グループコピー操作（コピー一時停止、コピー再開、コピー解除）、コピーペア操作（コピー開始、コピー一時停止、コピー再開、コピー解除、コピー状態取得）がある。コピーグループID（8C）にはコピーグループを識別するためのIDが入る。ボリュームセットＩＤにはグループを識別するためのIDが入る。オプション(8E)にはストレージ制御指示を補助するオプション情報が指定される。
次にホスト計算機によるコピーグループを使用したコピー開始時動作について図１３を用いて説明する。
はじめに、リモートコピーを管理するユーザ等が正ホスト計算機100のストレージ管理ソフト120上でリモートコピー構成情報121を作成する（ステップ5320）。次に、正ホスト計算機100では作成したリモートコピー構成情報から、リモートコピーを開始するためのストレージ制御指示7300を作成する（ステップ5330）。ストレージ制御指示内容はコピーペア操作（開始）である。次に、上記で作成したストレージ制御指示コマンドをリモートコピーの制御対象となる正記憶制御装置に発行する（ステップ5340）。次に、複数の記憶制御装置間でライトデータの整合性維持を可能にするために、正ホスト計算機100は複数のリモートコピーをコピーグループに結合するためのストレージ制御指示（指示内容は、グループ代表処理部操作（コピーグループへグループ追加）を作成する（ステップ5350）。当該ストレージ制御指示にはコピーグループの制御対象にするグループ情報（正副ボリュームセットＩＤ、正副記憶制御装置ID）をすべて記載する。最後に、正ホスト計算機は、作成したストレージ制御指示を、グループ代表処理部が動作する副記憶制御装置1000ｂに対し発行する（ステップ5360）。ここで、副記憶制御装置に直接通信パス500が接続されていない場合は、通信パス500に接続されている正記憶制御装置を経由して上記副記憶制御装置に対して、ストレージ制御指示を発行しても構わない。
次に、記憶制御装置におけるコピーグループを使用したコピー開始時のリモートコピーの動作について、図１０A、１０B、１４を用いて説明する。
図１０Aは正記憶制御装置1000aがリモートコピー開始直後の処理の一例を示した図である。
まず、正記憶制御装置1000aの入出力制御部1100aがストレージ制御指示によりコピーペア操作（コピー開始）の指示を受けると、当該ストレージ制御指示7300のオプション（12D）に格納されたリモートコピーの構成情報を抜き出す（ステップ5500）。コピー構成情報には、正記憶制御装置ID、コピー元論理ボリュームID、副記憶制御装置ID、およびコピー先論理ボリュームID、コピー種別、正ボリュームセットＩＤ、副ボリュームセットＩＤがある。上述のコピー構成情報は正データ受領部1110aがコピーペア管理情報1230a、ボリューム管理情報1240aに登録する。さらに、正データ受領部は上述のコピーペア管理情報1230aのコピー状態（5B）の内容をコピー中の状態に、ボリューム管理情報1240aのボリューム状態(6B)を正に設定する。
次に、正データ受領部は取得したリモートコピーの構成情報を特殊なデータとして、正ライトデータ転送部1120aを介して、上記で得られた情報を基に副記憶制御装置1000bに転送する(ステップ5515)。
次に、正データ受領部はディスク処理部1400aに初期コピー開始を指示する（ステップ5520）。ディスク処理部1400aは指示に従って、リモートコピーに該当するデータをディスク装置1600aから読み出し、キャッシュメモリに書き込み、データの一部を読み込んだことを正データ受領部に通知する。正データ受領部はキャッシュメモリから該当データを読み出して、ライトデータ管理情報1240bを生成し、当該ライトデータ管理情報1240bを副記憶制御装置3000bに転送する（ステップ5530）。正データ受領部はコピー元論理ボリュームの内容をすべて副記憶制御装置に転送し終えるまで、ステップ5520、5530を繰り返し実施する。副記憶制御装置への転送が完了した時点で、データ受領部1110aはコピーペア管理情報1230aのコピー状態（5B）の内容を2重化の状態に設定する。また、正データ受領部は副記憶制御装置に対し、コピー中の状態が終了したことを通知する。
図１０Bにリモートコピー開始直後の副記憶制御装置1000bの処理の一例を示した図である。副記憶制御装置1000bでは副データ受領部1110bが上述のステップ5515で転送されたリモートコピーの構成情報を基に、ボリューム管理情報1240b、コピーペア管理情報1230bを作成する(ステップ5700)。また、ボリューム管理情報1240ｂのボリューム状態は副、コピーペア管理情報1230bのコピー状態はコピー中として設定する（ステップ5710）。
副記憶制御装置1000bではステップ5530で正記憶制御装置から転送されるリモートコピーのデータを図１１Bで示した処理を実施する。また、副記憶制御装置への転送完了が通知された時点で、データ受領部1110bはコピーペア管理情報1230bのコピー状態（5B）の内容を2重化の状態に設定し、処理を継続する。
図１４は、それぞれの記憶制御装置内で独立して動作するリモートコピーを、複数記憶制御装置間でライトデータの整合性を保証可能にするために実施する、グループ代表処理部1140bの処理の一例を示した図である。この処理はホスト計算機によるグループ代表処理部操作（コピーグループへグループ追加）を正記憶制御装置が受信したときに実施する処理で、図１０A、１０Bで示した処理と並行して実施しても構わない。
いずれか１の副記憶制御装置1000b上で動作するグループ代表処理部1140bは、正ホスト計算機からのグループ代表処理部への指示（コピーグループへグループ追加）を受信すると、はじめにグループ代表処理部が動作する副記憶制御装置間から対象の副記憶制御装置までの通信パス530の有効性、それぞれの副記憶制御装置内のグループの有無、コピーペアの有無など初期化処理を実施する（ステップ5220）。グループ代表処理部1140bは、上記初期化処理が完了した時点（ステップ5230YES）でグループ代表処理部はコピーグループ管理情報1250bの該当グループ情報（１D）内グループ登録情報を登録済みにする（ステップ5240）。コピーグループ管理情報に登録されるすべてのグループ登録情報を「登録済み」にするまで、ステップ5220からステップ5250までの処理を繰り返す。
グループ代表処理部1140bは、コピーグループ管理情報に登録されるすべてのグループ登録情報を「登録済み」した場合（ステップ5250YES）、リモートコピー対象の副記憶制御装置のグループに対し、それぞれの装置内のボリュームセット管理情報1210bで管理される最新データ反映時刻を取得する（ステップ5260）。グループ代表処理部1140bは、取得した最新データ反映時刻とコピーグループ管理情報に保持されるコンテナ時刻を比較し、最新データ反映時刻が遅れている場合(5270YES)、最新データ反映時刻がコンテナ時刻に追いつくまで、当該グループのコピーペア状態をコピー中状態に変更し、グループ代表処理部によるライトデータの整合性制御対象から除外する（ステップ5280）。グループ代表処理部1140bは、コンテナ時刻を比較し、最新データ反映時刻が進んでいる場合(5270NO)、コンテナ時刻が追いつくまで当該グループのコピーペア状態をコピー中状態に変更する(ステップ5290)。ただし、当該グループは グループ代表処理部によるライトデータの整合性制御対象には含まれる。
以上のように、記憶制御装置内で独立して動作するリモートコピーを、複数記憶制御装置間でライトデータの整合性を保証可能にする際に、新たにコピーグループに追加されるグループの最新データ反映時刻とコンテナ時刻にずれがある場合、新たに追加されるグループのコピー状態をコピー中にすることで、ライトデータの整合性が取れていないことをストレージ管理ソフトに通知することが可能になる。
次に、ホスト計算機によるコピーグループを使用したリモートコピー制御で、ライトデータの整合性が取れているか否かの判定方法について図８を用いて説明する。
ストレージ管理ソフト120の指示によりホスト計算機100は、リモートコピー構成情報121を参照し、リモートコピー対象の記憶制御装置に対し、コピー状態を取得するため、ストレージ制御指示（指示内容はコピーペア操作（コピー状態取得））を作成する。次に、ホスト計算機は、当該ストレージ制御指示を該当する記憶制御装置に発行し、コピー状態を取得する（ステップ4000）。
次に、ホスト計算機はステップ5220で示したグループ代表処理部による初期化処理の進捗を取得するために、ストレージ制御指示（指示内容はグループ代表処理部操作（状態報告））を作成する。次に、ホスト計算機は、当該ストレージ制御指示を該当する副記憶制御装置に発行し、グループ代表処理部による初期化処理の進捗状況を取得する（ステップ4010）。
ここで、ホスト計算機はコピー状態が2重化かつ、グループ代表処理部による初期化処理の進捗状況が完了（すべての対象グループの初期化処理が登録済み）である場合(ステップ4020YES)、ライトデータの整合性が取れていると判定する（ステップ4030）。
ホスト計算機は一旦ライトデータの整合性が取れていると判定した場合、エラー状態にならない限り、ライトデータの整合性を保証する。
また、ホスト計算機はライトデータの整合性が保証できていない状態をコピー状態のコピー中と判定しても構わない。コピー中の状態はライトデータの整合性が保証できない状態であるため、本実施例で想定しているリモートコピーとは異なる種別のリモートコピーとの差異がなくなるため、互換性を保つことが可能となる。これはたとえば、リモートコピーを制御する応用ソフトウェアに対し、本実施例のリモートコピーを適用するに当たり、特に修正を加える必要が無くなるなどの長所が生じる。
以上のように、本実施例によれば、複数の記憶制御装置を横断して実施するリモートコピーは、複数の記憶制御装置間のコピーで転送されるデータの書き込み順序を保証するグループ代表処理部の初期化の完了と、リモートコピーの状態の2重化への遷移の両方を満たして初めて、データの書き込み順序の保証が可能であることを判定可能となる。
また、異なる記憶制御装置間で実施する複数のリモートコピーを、グループ代理処理に結合指示を出すことで、１つのリモートコピーに結合することが可能になり、さらに上記データの書き込み順序を保証の判定方式を利用することで、リモートコピー利用者にデータの書き込み順序の保証が可能になる。
本発明の第1の実施例の計算機システムの構成に関するブロック図である。 本実施形態で対象とする複数記憶制御装置を横断して実施するリモートコピーのグループ、コピーグループの考え方を示す概念図である。 本実施形態の記憶制御装置に保存されるコピーグループ管理情報の構成図である。 本実施形態の記憶制御装置に保存されるボリュームセット管理情報の構成図である。 本実施形態の記憶制御装置に保存されるライトデータ管理情報の構成図である。 本実施形態の記憶制御装置に保存されるコピーペア管理情報の構成図である。 本実施形態の記憶制御装置に保存されるボリューム管理情報の構成図である。 本実施形態のホスト計算機がリモートコピーのライトデータの整合性を判定するために使用するフローである。 本実施形態の記憶制御装置が論理ボリュームに対するライトIO要求を受領した場合の処理の一例を示したフローである。 本実施形態の正記憶制御装置1000aがリモートコピー開始直後の処理の一例を示したフローである。 本実施形態のリモートコピー開始直後の副記憶制御装置1000bの処理の一例を示したフローである。 本実施形態の正記憶制御装置における正ライトデータ転送部の処理一例を示したフローである。 本実施形態の副記憶制御装置の副データ受領部が、正記憶制御装置から受領したデータに関する処理の一例を示したフローである。 本実施形態のグループ代表処理部が動作する副記憶制御装置による、コピー先論理ボリュームに対するライトデータの反映処理処理の一例を示すフローである。 本実施形態のホスト計算機によるコピーグループを使用したコピー開始時の動作の一例を示したフローである。 記憶制御装置内で独立して動作するリモートコピーを、複数記憶制御装置間でライトデータの整合性を保証可能にするために実施する、グループ代表処理部の処理の一例を示すフローである。 本実施形態でホスト計算機が記憶制御装置を制御するときに使用するストレージ制御指示の一例を示す図である。 本実施形態のホスト計算機上で動作するストレージ管理ソフトが使用するリモートコピー構成情報の一例を示す図である。 本実施形態の複数記憶制御装置間の関係を示すためのハードウェアシステム構成例を示している。 本実施形態で対象とするリモートコピーの状態遷移表である。 本実施形態のグループ代表処理部が動作していない副記憶制御装置における、コピー先論理ボリュームへのライトデータの反映処理の一例を示すフローである。
符号の説明
100・・・正ホスト計算機、1000a・・・正記憶制御装置、200・・・副ホスト計算機、1000b・・・副記憶制御装置、1100・・・入出力制御部、1200・・・共有メモリ、1300a・・・キャッシュ、1400a、1600a・・・ディスク制御装置、1210a・・・ボリュームセット管理情報、1220a・・・ライトデータ管理情報、1230a・・・正コピーペア管理情報、1240a・・・正ボリューム管理情報、1250a・・・正コピーグループ管理情報、1140b・・・グループ代表処理部

Claims (4)

  1. 計算機システムであって、
    計算機と、
    前記計算機に接続され、計算機から受信する第1の時刻情報と第1のデータが格納される第1の論理ボリュームを有し、他のストレージシステムに第1の論理ボリュームに格納される前記第1のデータと前記第1の時刻情報とを送信する第1のストレージシステムと、
    前記計算機から受信する第2の時刻情報と第2のデータが格納される第２の論理ボリュームを有し、他のストレージシステムに、前記第2の論理ボリュームに格納される前記第2の時刻情報と前記第2のデータを送信する第２のストレージシステムと、
    前記第1のストレージシステムに接続され、第１のストレージシステムから前記第1の時刻情報及び第1のデータを受信し、前記第1の論理ボリュームに格納される第1のデータの複製データが格納される第３の論理ボリュームを有する第３のストレージシステムと、
    前記第２のストレージシステムに接続され、前記第2のストレージシステムから前記第2の時刻情報及び第2のデータを受信し、前記第２の論理ボリュームに格納される第2のデータの複製データが格納される第４の論理ボリュームを有する第４のストレージシステムと、
    を備え、
    前記計算機は、
    前記第1の論理ボリュームと前記第3の論理ボリュームとの第1のコピーペアと、前記第2の論理ボリュームと前記第4の論理ボリュームとの第2のコピーペアと、を管理し、
    前記第1のコピーペアと前記第2のコピーペアとを一つのグループとして複製処理を制御するグループ制御指示を前記第3のストレージシステムに送信し、
    前記第1のストレージシステム及び前記第2のストレージシステムに前記複製処理の状況を問合せる複製状況問合せを送信し、
    前記グループ制御指示及び前記複製状況の応答に応じて前記一つのグループの状態を管理し、
    前記第3のストレージシステムは、
    前記一つのグループに含まれるコピーペアの状態情報を有し、
    前記第2のコピーペアを前記第1のコピーペアに追加して一つのグループとする制御指示を前記計算機より受信すると、
    前記第4のストレージシステムより、前記第4の論理ボリュームに最後に格納した前記第2のデータの複製データとともに受信した前記第2の時刻情報を取得して、
    取得した前記第2の時刻情報を、前記第3の論理ボリュームに最後に格納した前記第1のデータの複製データとともに受信した前記第1の時刻情報と比較し、
    比較の結果、前記第2の時刻情報の時刻が前記第1の時刻情報の時刻と異なる場合は、前記コピーペアの状態情報をコピー中状態に変更する
    ことを特徴とする計算機システム。
  2. 請求項１記載の計算機システムであって、
    前記比較の結果、前記第2の時刻情報の時刻が前記第1の時刻情報の時刻より遅れている場合は、前記第3のストレージシステムは、前記計算機から受信したデータの書き込み順序に従った複製処理を制御する対象から、前記第2のコピーペアを除外することを特徴とする計算機システム。
  3. 請求項２記載の計算機システムであって、
    前記第3のストレージシステムは、前記第2の時刻情報の時刻が、前記第1の時刻情報の時刻と等しくなるまで、前記コピーペアの状態情報の変更を維持することを特徴とする計算機システム。
  4. 請求項１乃至請求項３のいずれか１つに記載の計算機システムであって、
    前記第3のストレージシステムは、前記時刻の比較を行う前に、前記第3のストレージシステム及び前記第4のストレージシステムに対してコピーペアの有無の初期化処理を実行することを特徴とする計算機システム。
JP2006121539A 2006-04-26 2006-04-26 ストレージシステム、リモートコピー、その管理方法 Active JP4835249B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006121539A JP4835249B2 (ja) 2006-04-26 2006-04-26 ストレージシステム、リモートコピー、その管理方法
US11/491,363 US7689790B2 (en) 2006-04-26 2006-07-24 Storage system, remote copy and management method therefor
US12/706,133 US8024537B2 (en) 2006-04-26 2010-02-16 Storage system, remote copy and management method therefor
US13/209,578 US8307178B2 (en) 2006-04-26 2011-08-15 Storage system, remote copy and management method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006121539A JP4835249B2 (ja) 2006-04-26 2006-04-26 ストレージシステム、リモートコピー、その管理方法

Publications (2)

Publication Number Publication Date
JP2007293651A JP2007293651A (ja) 2007-11-08
JP4835249B2 true JP4835249B2 (ja) 2011-12-14

Family

ID=38649668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006121539A Active JP4835249B2 (ja) 2006-04-26 2006-04-26 ストレージシステム、リモートコピー、その管理方法

Country Status (2)

Country Link
US (3) US7689790B2 (ja)
JP (1) JP4835249B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835249B2 (ja) * 2006-04-26 2011-12-14 株式会社日立製作所 ストレージシステム、リモートコピー、その管理方法
JP4842720B2 (ja) * 2006-06-29 2011-12-21 株式会社日立製作所 ストレージシステム及びデータ複製方法
JP5317495B2 (ja) 2008-02-27 2013-10-16 株式会社日立製作所 ストレージシステム、コピー方法及び正側のストレージ装置
JP5486793B2 (ja) 2008-11-07 2014-05-07 株式会社日立製作所 リモートコピー管理システム、方法及び装置
JP5605043B2 (ja) * 2010-07-16 2014-10-15 富士通株式会社 データコピー装置、データコピー方法およびストレージ装置
US8788877B2 (en) * 2011-08-03 2014-07-22 International Business Machines Corporation Acquiring a storage system into copy services management software
JP5760843B2 (ja) * 2011-08-19 2015-08-12 富士通株式会社 ストレージ装置、制御装置、およびデータコピー方法
WO2013061376A1 (en) * 2011-10-28 2013-05-02 Hitachi, Ltd. Storage system and data processing method in storage system
US9213753B2 (en) * 2013-11-18 2015-12-15 Hitachi, Ltd. Computer system
CN105447033B (zh) 2014-08-28 2019-06-11 国际商业机器公司 在复制初始化中生成初始副本的方法和装置
JP6802209B2 (ja) * 2018-03-27 2020-12-16 株式会社日立製作所 ストレージシステム
JP7065928B2 (ja) * 2020-11-06 2022-05-12 株式会社日立製作所 ストレージシステム及びその制御方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0619271B2 (ja) 1988-01-20 1994-03-16 関西電力株式会社 管内点検作業用ロボット
JPH05341918A (ja) * 1992-05-12 1993-12-24 Internatl Business Mach Corp <Ibm> 二重化デイスク記憶装置システムを構成するための接続装置
JP3872118B2 (ja) * 1995-03-20 2007-01-24 富士通株式会社 キャッシュコヒーレンス装置
US5937414A (en) * 1997-02-28 1999-08-10 Oracle Corporation Method and apparatus for providing database system replication in a mixed propagation environment
JP3414218B2 (ja) 1997-09-12 2003-06-09 株式会社日立製作所 記憶制御装置
JPH11185408A (ja) 1997-12-18 1999-07-09 Funai Electric Co Ltd ピックアップ送り装置
US6353878B1 (en) * 1998-08-13 2002-03-05 Emc Corporation Remote control of backup media in a secondary storage subsystem through access to a primary storage subsystem
JP4689137B2 (ja) * 2001-08-08 2011-05-25 株式会社日立製作所 リモートコピー制御方法、及びストレージシステム
US6529944B1 (en) * 1999-01-06 2003-03-04 Emc Corporation Host system for remote control of mass storage volumes using cascading commands
US6625703B2 (en) * 2000-11-02 2003-09-23 International Business Machines Corporation Verifying primary and backup copies of vital information for a processing system employing a pseudo-fixed reference identifier
JP2002189570A (ja) * 2000-12-20 2002-07-05 Hitachi Ltd 記憶システムの二重化方法および記憶システム
US20060195667A1 (en) * 2001-05-10 2006-08-31 Hitachi, Ltd. Remote copy for a storage controller with consistent write order
US7139885B2 (en) * 2001-12-27 2006-11-21 Hitachi, Ltd. Method and apparatus for managing storage based replication
JP2004013367A (ja) * 2002-06-05 2004-01-15 Hitachi Ltd データ記憶サブシステム
JP2004259079A (ja) * 2003-02-27 2004-09-16 Hitachi Ltd データ処理システム
US7003706B2 (en) * 2003-05-27 2006-02-21 International Business Machines Corporation Method, system, and program for improved device blocking and suspension
JP4629342B2 (ja) * 2004-01-09 2011-02-09 株式会社日立製作所 ストレージ装置およびその制御方法
JP2005242403A (ja) * 2004-02-24 2005-09-08 Hitachi Ltd 計算機システム
JP4422519B2 (ja) * 2004-03-18 2010-02-24 株式会社日立製作所 情報処理システム
JP4382602B2 (ja) * 2004-04-23 2009-12-16 株式会社日立製作所 リモートコピーシステム
JP4477950B2 (ja) * 2004-07-07 2010-06-09 株式会社日立製作所 リモートコピーシステム及び記憶装置システム
JP4401895B2 (ja) * 2004-08-09 2010-01-20 株式会社日立製作所 計算機システム、計算機及びそのプログラム。
JP4508798B2 (ja) * 2004-08-09 2010-07-21 株式会社日立製作所 ストレージリモートコピー方式
JP2006072635A (ja) * 2004-09-01 2006-03-16 Hitachi Ltd データ処理システムおよびそのコピー処理方法
JP4469252B2 (ja) * 2004-10-19 2010-05-26 株式会社日立製作所 ストレージネットワークシステム及びホスト計算機並びに物理パス割当方法
JP2007047892A (ja) * 2005-08-08 2007-02-22 Hitachi Ltd 計算機システム及び計算機システムの状態管理方法
JP4835249B2 (ja) * 2006-04-26 2011-12-14 株式会社日立製作所 ストレージシステム、リモートコピー、その管理方法

Also Published As

Publication number Publication date
US7689790B2 (en) 2010-03-30
US20110302382A1 (en) 2011-12-08
JP2007293651A (ja) 2007-11-08
US20100146232A1 (en) 2010-06-10
US8024537B2 (en) 2011-09-20
US8307178B2 (en) 2012-11-06
US20070255914A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4835249B2 (ja) ストレージシステム、リモートコピー、その管理方法
JP2007047892A (ja) 計算機システム及び計算機システムの状態管理方法
JP4728031B2 (ja) リモートコピーペアの移行を行うシステム
JP4727437B2 (ja) データベースを有するストレージシステムの記憶制御方法
US7383264B2 (en) Data control method for duplicating data between computer systems
US8108606B2 (en) Computer system and control method for the computer system
US7370228B2 (en) Data processing system and copy processing method thereof
US10191685B2 (en) Storage system, storage device, and data transfer method
JP4382602B2 (ja) リモートコピーシステム
JP2005301590A (ja) ストレージシステム及びデータ複製方法
US7571292B2 (en) Producing tertiary instant virtual copies without volume suspension
JP5286212B2 (ja) ストレージクラスタ環境でのリモートコピー制御方法及びシステム
JP2005228217A (ja) ディスクアレイ装置及びディスクアレイ装置の制御方法
JP5564494B2 (ja) 計算機システム、及び、それを用いたバックアップ方法
JP2007122117A (ja) ストレージシステム及び記憶制御方法
CN101755257A (zh) 管理在不同的网络上将写入从首要存储器复制到次要存储器
US7069400B2 (en) Data processing system
US8275937B2 (en) Storage system and processing efficiency improving method of storage system
US7694089B2 (en) Resource efficient remote copy pair for data retention
JP4289056B2 (ja) 計算機システム間のデータ二重化制御方法
JP2007310448A (ja) 計算機システム、管理計算機、および、ストレージシステム管理方法
JP2006285336A (ja) 記憶装置及びストレージシステム並びにその制御方法
JP2007193839A (ja) ストレージシステム、ストレージシステムにおけるデータ送受信方法及びシステム
JP4122724B2 (ja) データの複製方法及び情報処理システム
JP2007179552A (ja) 情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110912

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4835249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3