JP4728031B2

JP4728031B2 - リモートコピーペアの移行を行うシステム

Info

Publication number: JP4728031B2
Application number: JP2005117679A
Authority: JP
Inventors: 彰出口; 卓成岩村; 健太二瀬; 敬史荒川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-04-15
Filing date: 2005-04-15
Publication date: 2011-07-20
Anticipated expiration: 2025-04-15
Also published as: US20060236048A1; JP2006293947A; US20080140966A1; US7650477B2; US7330948B2

Description

本発明は、複数台の記憶装置がネットワークで接続されている情報処理システムに関し、データ転送技術に関する。

記憶装置（ストレージシステムとも呼ぶ）を含む情報処理システムにおいて、地震やハリケーンなどの天災や、電源障害によって情報処理システムに障害が発生した場合には、記憶装置に格納されていたデータの全てまたは一部が消失してしまうほか、当該情報処理システムを利用する業務が停止する可能性がある。これらの問題に対する一解決手法として、遠隔地にも記憶装置（以下、コピー先憶装置と呼ぶ）を配置し、業務を行っている記憶装置（以下、コピー元記憶装置と呼ぶ）に書き込まれるデータをコピー元とコピー先の2台の記憶装置に対して２重書きする技術（以下、リモートコピーと呼ぶ）がある。

リモートコピーには、同期リモートコピーと非同期リモートコピーの二つの方式が存在する。

同期リモートコピーは、コピー元記憶装置に対して書き込み要求が発行される都度、コピー元およびコピー先記憶装置にデータを2重書きし、書き込み要求完了を報告する方式である。このため、同期リモートコピーでは、コピー元とコピー先の記憶装置の間のデータ同一性が高く、コピー元記憶装置に障害が発生した際にもデータ消失を最小限に抑えることが可能である。その反面、コピー元記憶装置とコピー先記憶装置間の距離に応じて書き込み応答時間は悪化するという欠点が知られる。

非同期リモートコピーは、コピー元記憶装置に対して書き込み要求が発行されると、コピー元記憶装置にデータを書き込み、書き込み要求完了を書き込み要求元へ報告する。そしてその後、コピー元記憶装置からコピー先記憶装置へとデータをコピーする方式である。このため、書き込み応答時間は同期リモートコピーに比較して短い。しかし、コピー元記憶装置の障害発生時に起こりうるデータ消失の可能性が同期リモートコピーより高く、データ消失量も同期リモートコピーよりも多いという欠点が知られる。

リモートコピーは、記憶装置内の任意の記憶領域間に定義できる（これを、リモートコピーペアと呼ぶ）。

特許文献１では、非同期リモートコピーのデータ転送に関して、コピー元記憶装置に対する書き込み順序の整合性をコピー先記憶装置において維持するための技術が開示されている。特許文献１では、コピー元記憶装置で書き込み要求を受け付けた際に、書き込みデータに対して、書き込み順序を示す制御情報を付加しておく。そして、コピー先記憶装置は、コピー元記憶装置から受信した書き込みデータを、この制御情報を利用して並び替え、書き込み順序順にコピー先記憶装置へ反映する（格納する）。

更に特許文献１には、複数のコピー元記憶装置とこれらのコピー元記憶装置にアクセスする正ホスト計算機（以下、正ホストと呼ぶ）を有する正サイトと、複数のコピー先記憶装置とこれらのコピー先記憶装置にアクセスする副ホスト計算機（以下、副ホストと呼ぶ）を有する副サイト間の非同期リモートコピーについても記載されている。そして特許文献１では、複数のコピー元記憶装置に対する書き込み順序の整合性を、複数のコピー先記憶装置においても維持する技術が開示されている。

特開１１−８５４０８号公報

特許文献１には、複数のコピー元記憶装置と複数のコピー先記憶装置間で書き込み順序の整合性を維持しつつ非同期リモートコピー処理が実行されている場合に、あるコピー元記憶装置とあるコピー先記憶装置間で実行されている非同期リモートコピーペアの一部若しくは全てを、他のコピー元記憶装置と他のコピー先記憶装置へ移行することは記載されていない。

係る技術は、記憶装置の負荷分散や記憶装置の保守点検等の観点から必要とされている。

正サイトから副サイトへリモートコピーを行う計算機システムにおいて、リモートコピーペアの移行を行う。

正サイトは、移行元正記憶領域を含む複数の第1正記憶領域と該複数の第1正記憶領域を制御する第1正制御部を有する第1正記憶装置と、移行先正記憶領域を含む複数の第2正記憶領域と該複数の第2正記憶領域を制御する第2正制御部を有する第2正記憶装置とを有する。副サイトは、移行元副記憶領域を含む複数の第1副記憶領域と該複数の第1副記憶領域を制御する第1副制御部を有する第1副記憶装置と、移行先副記憶領域を含む複数の第2副記憶領域と該複数の第2副記憶領域を制御する第2副制御部を有する第2副記憶装置とを有する。

移行元正記憶領域を含む複数の第1正記憶領域及び複数の第2正記憶領域と、移行元副記憶領域を含む複数の第1副記憶領域及び複数の第2副記憶領域の間には、複数の非同期リモートコピーペアが形成されている。そして、第1正制御部、第2正制御部、第1副制御部、及び第2副制御部は、移行元正記憶領域を含む複数の第1正記憶領域及び複数の第2正記憶領域に対して計算機が発行したライト要求の順序に従って、移行元副記憶領域を含む複数の第1副記憶領域及び複数の第2副記憶領域にライトデータのコピーが格納されるよう、複数の非同期リモートコピーペアに関する非同期リモートコピー処理を実行している。
リモートコピーペアを移行する場合には、複数の非同期リモートコピーペアに関する非同期リモートコピー処理を実行しながら、移行元正記憶領域に格納されているデータのコピーを移行先正記憶領域に格納し、更に移行元正記憶領域に格納されているデータのコピーを、第2正記憶装置若しくは第1副記憶装置のいずれかを介して、移行先副記憶領域に格納する。そして、移行先正記憶領域と移行先副記憶領域との間に形成された非同期リモートコピーペアと、前述の複数の非同期リモートコピーペアに関して、第1正制御部、第2正制御部、第1副制御部、及び第2副制御部が、複数の第1正記憶領域及び複数の第2正記憶領域に対して計算機が発行したライト要求の順序に従って、複数の第1副記憶領域及び複数の第2副記憶領域にライトデータのコピーが格納されるよう非同期リモートコピー処理を実行することにより、移行元正記憶領域と移行元副記憶領域間の非同期リモートコピーペアを移行先正記憶領域と移行先副記憶領域間の非同期リモートコピーペアに移行する。

複数のコピー元記憶装置と複数のコピー先記憶装置間で書き込み順序の整合性を維持しつつ非同期リモートコピー処理が実行されている場合に、あるコピー元記憶装置とあるコピー先記憶装置間で実行されている非同期リモートコピーペアの一部若しくは全てを、他のコピー元記憶装置と他のコピー先記憶装置へ移行することができる。

以下、本発明の実施形態を説明する。以下に説明する実施形態は一例であって、本発明はこれに限定されるものではない。

図１は、本発明が適用される情報処理システムの一例を示している。

情報処理システムは、正ホスト110、及び複数の正記憶装置120（第1正記憶装置と第2正記憶装置）を有する正サイトと、副ホスト140と複数の副記憶装置130（第1副記憶装置と第2副記憶装置）を有する副サイトとを有し、正ホスト110、複数の正記憶装置120、副ホスト140、及び複数の副記憶装置130は各々管理用ネットワーク１５０に接続されている。尚、正ホスト110及び副ホスト140は複数台存在しても良く、また正記憶装置120及び副記憶装置130の数は図１に示す例には限られない。また、情報処理システムに管理用ネットワーク150がない構成、副ホスト140を配置しない構成であっても良い。

正ホスト110及び副ホスト140は同様のハードウェア構成を有している。以下、正ホスト110及び副ホスト140を区別する必要がない場合には単にホストと呼ぶ。

ホストはCPU(Central Processing Unit)111、メモリ112、管理ネットワーク150と接続するための管理ネットワーク用インタフェース113、記憶装置と接続するためのI/Oインタフェース114を有しており、これらは装置内ネットワークで相互に接続されている。

メモリ112には、OS(Operating System)、ミドルウェア、アプリケーション等のソフトウェアが記録されており、CPU111がこれを実行する。またホストは、CPU111によって実行されるソフトウェアが利用するデータの一部または全てを正記憶装置120または副記憶装置130の記憶デバイス125に格納する。

I/Oインタフェース 114は、記憶装置に対してデータのライトやリードといったI/O処理を要求するためのインタフェースである。正ホスト110のI/Oインタフェース114は正記憶装置120とネットワーク160を介して接続され、副ホスト140のI/Oインタフェース114は副記憶装置130とネットワーク160を介して接続される。なお、ネットワーク１６０としてはファイバーチャネルやＡＴＭ、イーサーネット等が考えられるが、ホストと記憶装置の間でI/O処理の要求（以下単にI/O要求と呼ぶ）及びその応答を送受信できる媒体であればこれ以外であってもよい。

複数の正記憶装置120及び複数の副記憶装置130は同様のハードウェア構成を有しており、各記憶装置を区別する必要がない場合には単に記憶装置と呼ぶ。

記憶装置はCPU121、メモリ122、ホストからI/O要求を受け付けるI/Oインタフェース 123、管理ネットワーク150と接続するための管理ネットワーク用インタフェース124、一以上の記憶デバイス125、及びリモートコピー用インタフェース126を有し、これらが装置内ネットワークで相互に接続されている。

メモリ122には、後述するリモートコピー処理や、ホストから受け付けるI/O要求を処理するためのプログラムが格納されており、CPU121はこれを実行する。

記憶デバイス125には、ホストによって実行されるソフトウェアが利用するデータが格納される。記憶デバイス125としては、ハードディスクや、光磁気ディスク、光ディスク、フラッシュメモリ等の物理的なデバイスが考えられるがこれ以外の記憶媒体であっても良い。また、高信頼化のためにＲＡＩＤのような方法で、複数の物理的な記憶デバイスをまとめて1つの論理的な記憶デバイスとして取り扱ったり、論理的な記憶デバイスや物理的な記憶デバイスの記憶領域を分割し、分割後の一記憶領域を１つの論理的な記憶デバイスとして取り扱っても良い。論理的な記憶デバイスをボリュームと呼ぶ。

リモートコピー用インタフェース126は、リモートコピー処理においてデータを送受信する際に用いられるインタフェースである。複数の正記憶装置120各々のリモートコピー用インタフェース126は、ネットワーク170を介して複数の副記憶装置130のリモートコピー用インタフェース126に接続される。又、本発明では後述するように、複数の正記憶装置120間、若しくは複数の副記憶装置130間においてもリモートコピー処理が実行されるので、各正記憶装置120のリモートコピー用インタフェース126は、ネットワーク170を介して他の正記憶装置120のリモートコピー用インタフェース126に接続され、各副記憶装置130のリモートコピー用インタフェース126は、ネットワーク170を介して他の副記憶装置130のリモートコピー用インタフェース126に接続される。

尚、図１には複数の正記憶装置120各々が、複数の副記憶装置130全てにネットワーク170を介して接続される例を示したが、各正記憶装置120は、複数の副記憶装置130のいずれか１つに接続されていれば、必ずしも全ての副記憶装置130に接続されている必要はない。また、ネットワーク170はファイバーチャネルで構成することが考えられるがこれ以外であってもよい。

図２はホストのソフトウェア構成の一例を示す図である。正ホスト110及び副ホスト140は同様のソフトウェア構成を有しているので、以下これらを区別することなく、ホストのソフトウェア構成として説明する。尚図２に示すソフトウェアはホストのメモリ112に格納されておりCPU111によって実行される。

ホストは、データベースやＷｅｂサーバなどのアプリケーションプログラム212およびホストから記憶装置へ各種設定を行うために使用される管理ソフト214を有する。

アプリケーション212は、記憶装置内のボリューム442に格納されているデータを用いて実行されるプログラムであり、ボリューム442内のデータにアクセスするために記憶装置にライト要求やリード要求等のI/O要求を発行する。

図３はホストから記憶装置に発行されるライト要求の一例を示す図である。ホストから発行されるライト要求300には、ライト時刻310、ライトデータ320、ライト対象ボリュームの識別情報であるライト対象ボリュームＩＤ340、当該ライト対象ボリューム内におけるライト位置を示すライトアドレス330、ライトデータのデータ長350が格納される。

通常時には、正記憶装置120に接続されている正ホスト110が業務を行うので、本実施例では、正ホスト110が正記憶装置120にライト要求300を発行するときに、ライト要求300にライト時刻310を付与する。ライト時刻310は、当該ライト要求300が発行された時刻を示しており、正記憶装置120に複数の正ホスト110が接続されていたとしても、当該正記憶装置120はこのライト時刻310を用いることにより、異なる正ホスト110から発行されたライト要求300の発行順序を把握(順序付け)することができる。尚、副記憶装置130に接続されている副ホスト140は、正ホスト110や正記憶装置120に障害が発生した際、正ホスト110で行われていた業務を引き継ぐための待機系ホストである。

図２に戻って、管理ソフト214は、リモートコピーペアの定義または解除を行うための指示を記憶装置に発行するほか、後述する論理グループ440の定義や、複数の記憶装置にわたって書き込み順序の整合性を維持するために利用されるＭＮコンシステンシグループの定義を行うための指示を記憶装置に発行するためのプログラムである。

図４は、記憶装置の構成の一例を示す図である。複数の正記憶装置120、複数の副記憶装置130は同様の構成を有しているが、各記憶装置が後述する同期リモートコピーペアのコピー元としての処理を実行するのかコピー先としての処理を実行するのか、非同期リモートコピーペアのコピー元としての処理を実行するのかコピー先としての処理を実行するのかによって、図４に示す各部のうちどの部位が実際に起動されるかが異なる。そこで、図４では、複数の正記憶装置120、複数の副記憶装置130を区別することなく記憶装置の構成を説明し、各部の処理内容の詳細を説明する際に、各部がどの様な場合に起動されるかを説明する。

記憶装置は大きく分けて制御部410、制御情報部420、及びボリューム442を有する。

制御部410はホスト若しくは他の記憶装置からライト要求300を受信してこれを処理するライトデータ受領部412と、ボリューム442に対するライト処理を実行するライト実行部413と、リモートコピーを実行するためのリモートコピー部414、及び後述するアービトレータ416を有する。尚、制御部410は記憶装置のCPU121がメモリ122に格納されているプログラムを実行することによって構成される。

制御情報部420は、ペア情報テーブル422、MNCTGテーブル424、更新情報記憶部426、ＳＥＱ＃情報430を有する。更新情報記憶部426には後述の更新情報600が記憶される。尚、制御情報部420に含まれる各種情報は、実際には記憶装置のメモリ122若しくは記憶デバイス125に格納されている。

ボリューム442は記憶デバイス125から構成される論理的なデバイスである。正記憶装置120のボリューム442は主に正ホスト110によってアクセスされるデータを格納している。一方、副記憶装置130のボリューム442には正記憶装置120のボリューム442に格納されているデータのコピーが格納され、正サイトにおける障害発生等により、副ホスト140が副記憶装置130を用いて業務を行う場合には、副記憶装置130のボリューム442内に格納されているデータが用いられる。

記憶装置には1又は複数の論理グループ440が構成されており、各論理グループ440はボリューム442から構成される。論理グループの詳細は後述する。尚、記憶装置内にはいずれの論理グループ440にも属していないボリューム442が存在していても良い。

次に、記憶装置が有するリモートコピー部414の構成の一例を、図９を用いて説明する。リモートコピー部414は、同期リモートコピー部710、非同期リモートコピー部720、そしてペア情報テーブル422やMNCTGテーブル424等を更新するためのリモートコピー情報変更部730、形成コピー部740を有する。非同期リモートコピー部720は、更新情報作成部721、データ転送部722、パージ部723、反映部724を有する。また、反映部724はAsync反映部725とMN反映部726とを有する。尚、リモートコピー部414が有する各部の説明は後述するが、ここではリモートコピー部414によって実行される同期リモートコピー処理および非同期リモートコピー処理の概要を述べる。

以後の説明では、コピー元となるボリュームをコピー元ボリューム、コピー先となるボリュームをコピー先ボリュームと呼ぶことにする。また、コピー元ボリュームを有する記憶装置をコピー元記憶装置、コピー先ボリュームを有する記憶装置をコピー先記憶装置と呼ぶことにする。さらに、コピー元ボリュームとコピー先ボリュームの組をリモートコピーのペアと呼ぶ。

まず、同期リモートコピー処理の概要を述べる。

同期リモートコピー部710は、コピー元記憶装置内のコピー元ボリュームと、コピー先記憶装置のコピー先ボリュームの間でミラーリングを行うための処理を実行する。同期リモートコピー部710は、コピー元記憶装置が同期リモートコピーのコピー元ボリュームに対するライト要求300を受信した場合、コピー元ボリュームとコピー先ボリューム間の状態を示す、ペア状態（このペア状態には、Ｓｉｍｐｌｅｘ，Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ，Ｄｕｐｌｅｘ，Ｓｕｓｐｅｎｄ，Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇの5つの状態が存在する。）に応じた処理を実行する。尚ペア状態は、後述する制御情報部420が有するペア情報テーブル422に記録され、管理される。

Ｓｉｍｐｌｅｘ状態は、コピー元とコピー先のボリューム間で、リモートコピーが開始されていない状況である。尚、本実施形態ではペア状態がSimplex状態である場合、2つのボリューム間でリモートコピーが定義されていないものとして扱う。従ってSimplex状態においては、リモートコピー部414は起動されない。

Ｄｕｐｌｅｘ状態は、コピー元とコピー先のボリューム間にリモートコピーペアが設定され、後述する初期化コピーも完了して、コピー元とコピー先のボリュームに格納されているデータが同一となった状態である。同期リモートコピーの場合、コピー元ボリュームに対して発行されたライト要求300の内容をコピー先ボリュームに対しても反映した（データをボリュームに書き込むこと、又は、記憶装置がキャッシュメモリを有している場合にはキャッシュメモリ上にデータを当該ボリュームのデータとして書き込むこと等、データを当該ボリュームのデータとしてアクセス可能な状態にすることを以降「データをボリュームに反映する」と表現する。）後に、ライト要求300を発行したプログラム（例えばホストのアプリケーション212）に対してライト要求完了メッセージを送信する。従って、ライト中の記憶領域を除けば、コピー元ボリュームのデータとコピー先ボリュームのデータは同じとなる。
ただし、例えばボリューム毎に一意な識別子が保存される場合等では、この様な識別子が保存されているボリューム内の特定の記憶領域について、コピー元ボリュームとコピー先ボリュームのデータの内容が同一でない場合があっても良いものとする。なお、こうしたデータの同一性を、以降の説明では「巨視的に同一である」と表現する。

Duplex状態中にコピー元記憶装置がコピー元ボリュームに対するライト要求300を受信した際、同期リモートコピー部710が実行する処理については、後にフローチャートを用いて説明する。また、ペアがＤｕｐｌｅｘ状態である場合には、例えばコピー元ボリュームとコピー先ボリューム間でデータの同一性を保持するため等の目的で、コピー先ボリュームに対するライト要求300の受付や処理を拒否したり、あるいはこれに類する処理を行っても良いものとする。

Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態はＳｉｍｐｌｅｘ状態からＤｕｐｌｅｘ状態へ遷移するまでの中間状態であり、この期間中に必要ならばコピー元ボリュームからコピー先ボリュームへの初期化コピーが行われる。この初期化コピーは形成コピー部740によって実行され、コピー元ボリュームとコピー先ボリュームのデータの内容が巨視的に同一になるまで、コピー元ボリュームからコピー先ボリュームへデータがコピーされる。初期化コピーが完了し、Ｄｕｐｌｅｘ状態へ遷移するために必要な処理が終わった段階でペア状態はＤｕｐｌｅｘとなる。尚、Initial-Copying状態中にコピー元記憶装置がコピー元ボリュームに対するライト要求300を受信した際に、同期リモートコピー部710が実行する処理については、後述する。

Ｓｕｓｐｅｎｄ状態はコピー元ボリュームに対するライト要求300に含まれるライトデータ320を、コピー先ボリュームに反映させない状態で、この状態においては、コピー元ボリュームとコピー先ボリュームとの間におけるデータの巨視的な同一性は保障されなくなる。本状態へは、オペレータからの指示や、管理ソフト214からの指示を契機に、他の状態から遷移する他に、コピー元ボリュームからコピー先ボリュームへデータのコピーを行うことが出来なくなった場合に遷移することが考えられる。以後の説明では、後者の場合を特に、障害Ｓｕｓｐｅｎｄ状態と呼ぶことにする。障害Ｓｕｓｐｅｎｄ状態となる代表的な原因としては、コピー元ボリュームやコピー先ボリュームの障害、コピー元記緒装置やコピー先記憶装置の障害、コピー元記憶装置とコピー先記憶装置の間の通信路障害等が考えられる。

尚、Ｄｕｐｌｅｘ状態においてコピー先記憶装置が、コピー先ボリュームに対するコピー元記憶装置以外（たとえば、副ホスト140）の装置からのライト要求300の受付や処理を拒否したり、またはそれに類する処理を行っていた場合は、Suspend状態（障害Suspend状態を含む）となったのを機に、コピー先ボリュームに対するライト処理を許可してもよい。

また、Ｓｕｓｐｅｎｄ状態となった後に、コピー元ボリュームやコピー先ボリュームに対するライト要求300を受信した記憶装置は、ライト要求300を処理すると共に、ライト要求300に含まれるライトアドレス330を差分記録として記録してもよい。この場合、差分記録を記録する処理は同期リモートコピー部710が行う。尚、差分記録は図示しないが制御情報部420に含まれる情報であって、例えばビットマップ形式を有する情報であっても良い。

また、障害Ｓｕｓｐｅｎｄ時には、コピー元記憶装置が、コピー元ボリュームに対するライト要求300の受付や処理を拒否する機能を有していても良い。この機能を用いると、コピー元記憶装置とコピー先記憶装置間の通信路が切断された後も、コピー元ボリューム内のデータとコピー先ボリューム内のデータの巨視的な同一性は保証されるので、通信路の切断後にコピー元記憶装置に障害が発生した場合でもデータ消失を防ぐことが出来る。尚、この機能を障害Ｓｕｓｐｅｎｄライト禁止機能と呼ぶ。

Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態はＳｕｓｐｅｎｄ状態からＤｕｐｌｅｘ状態に遷移するまでの中間状態であり、コピー元ボリュームからコピー先ボリュームに対するデータのコピー処理が実行される。Ｄｕｐｌｅｘ状態で説明したようなコピー元ボリュームとコピー先ボリューム間でのデータの巨視的な同一性を確保できた後に、ペア状態はＤｕｐｌｅｘとなる。なお、Duplex-Pending状態におけるコピー処理は、Ｓｕｓｐｅｎｄ状態中に記憶装置が記録していた差分記録を利用して、コピー元ボリュームとコピー先ボリュームとの間で格納されているデータが異なる記憶領域についてのみコピー処理を実行する、差分コピー処理によって実行しても良い。差分コピー処理によってコピー時間の短縮化を図ることができる。この差分コピー処理は形成コピー部740によって実行される。また、Duplex-Pending状態中にコピー元記憶装置がコピー元ボリュームに対するライト要求300を受信した際に、同期リモートコピー部710が実行する処理については、後述する。

なお、以上の説明ではＩｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態とＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態は別々な状態としたが、これらをまとめて一つの状態として表示、遷移させても良い。

次に非同期リモートコピー処理の概要を説明する。

非同期リモートコピー処理においては、同期リモートコピー処理と同様に、コピー元記憶装置内のコピー元ボリュームと、それとは異なるコピー先記憶装置のコピー先ボリュームの間のミラーリングが行われる。ただし、同期リモートコピーとは異なり、非同期リモートコピーでは、ペアがＤｕｐｌｅｘ状態である場合、コピー先ボリュームに対するライト要求300中のライトデータ320の反映は、ライト要求300を発行したプログラム（例えばホストのアプリケーション212）に対するライト要求完了メッセージの送信とは無関係（非同期）に行われる。

非同期リモートコピー部720が実行するコピー元ボリュームからコピー先ボリュームへのデータのコピー方法としては、コピー元記憶装置に書き込まれたライトデータ320と当該ライトデータ320のコピー元ボリュームにおけるライトアドレス330とを含む更新情報600を、コピー元記憶装置がライト要求300を受信する度に作成し、更新情報600をコピー元記憶装置からコピー先記憶装置へ送信し、コピー先記憶装置が更新情報600に含まれるライトアドレス330に基づいてコピー先ボリュームにライトデータ320を書き込む方法がある。さらに本実施形態ではこの発展形として、更新情報600にライト要求300の発行順序を示す順序情報を含ませておき、コピー先ボリュームへライトデータ320を書き込む際には、この順序情報を利用してライトデータ320をライト要求300の発行順に従ってコピー先ボリュームに書き込む。

また、非同期リモートコピー処理をより効率化するために、コピー元ボリューム内の同一記憶領域に対してある期間内にライト要求300が複数回発行された場合には、全てのライト要求300について更新情報600をコピー先記憶装置に送信するのではなく、当該期間内に発行された最後のライト要求300に対する更新情報600のみをコピー先記憶装置に送信することとしても良い。

また、記憶装置がキャッシュメモリを有する場合には、ライトデータ320が格納されているコピー元記憶装置のキャッシュメモリ上の記憶領域を示すポインタを、更新情報600に付加しておき、キャッシュメモリ上のライトデータ320が別のライト要求300によって更新されるのを契機に、キャッシュメモリから更新情報記憶部426へライトデータ320をコピーして更新情報600にライトデータ320を付与しても良い。即ち、コピー元記憶装置のキャッシュメモリ上でライトデータ320の更新が起こる直前まで、更新情報600作成のためのデータのコピーを遅延させてもよい。

非同期リモートコピー部720もペア状態（ペア状態には、Ｓｉｍｐｌｅｘ，Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ，Ｄｕｐｌｅｘ，Ｓｕｓｐｅｎｄ，Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ, Ｓｕｓｐｅｎｄｉｎｇの６つの状態が存在する）に応じた処理を実行する。

Ｓｉｍｐｌｅｘ，Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ，Ｓｕｓｐｅｎｄ，Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇについては同期リモートコピーの場合と同様である。
即ち、Simplex状態の時にはそもそもコピー元ボリュームとコピー先ボリューム間にリモートコピーペアが定義されていないので、リモートコピー部414が起動されることがない。Initial-Copying状態又はDuplex-Pending状態においては、形成コピー部740によるコピー処理が実行されると共に、この状態においてコピー元記憶装置がコピー元ボリュームに対するライト要求300を受信した場合には更新情報作成部721によって後述の処理が実行される。またSuspend状態においては、コピー元記憶装置がコピー元ボリュームについて受信したライト要求300がコピー先ボリュームには反映されない代わりに、更新情報作成部721によって上述の差分記録が記録される。

Ｄｕｐｌｅｘ状態も基本的には同期リモートコピーの場合と同じであるが、コピー元記憶装置が受信したライト要求300に含まれるライトデータ320が、コピー先ボリュームへ非同期に反映されるため、コピー元ボリュームとコピー先ボリューム間でのデータの同一性は同期リモートコピーの場合とは異なる。尚、Duplex状態においてコピー元記憶装置がコピー元ボリュームに対するライト要求300を受信した際、更新情報作成部721が実行する処理については、後述する。また非同期リモートコピーにおいて、データ転送部722によって実行されるコピー元記憶装置からコピー先記憶装置へのデータのコピー処理についても後述する。

Ｓｕｓｐｅｎｄｉｎｇ状態とは、Ｄｕｐｌｅｘ状態からＳｕｓｐｅｎｄ状態へ遷移するまでの中間状態であり、非同期リモートコピー部720の場合はＳｕｓｐｅｎｄｉｎｇ状態を経由してＳｕｓｐｅｎｄ状態へ遷移することになる。この状態で、コピー元記憶装置及びコピー先記憶装置は、更新情報600をコピー先記憶装置へ反映させる処理を行っても良い。尚、Suspending状態においてコピー先記憶装置に反映できなかった更新情報600がある場合には、更新情報作成部721が上述の差分記録に、反映できなかった更新情報600に含まれるライトアドレス330を記録しておいても良い。

ところで上述の様に、同期リモートコピー処理においても非同期リモートコピー処理においても、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態およびＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態においてコピー元記憶装置はホストからコピー元ボリュームに対するライト要求300を受け付けることができる。そこで係る場合に同期リモートコピー処理の場合には同期リモートコピー部710が、非同期リモートコピーの場合には更新情報作成部721が実行する処理について以下に説明する。

Initial-Copying状態やDuplex-Pending状態では、形成コピー部740が初期化コピーや差分コピーを実行する。この時、コピー元記憶装置がコピー元ボリュームに対するライト要求300を受信した場合には、同期リモートコピー部710若しくは更新情報作成部721は、初期化コピーや差分コピーの完了部分へのライト要求300に関しては、Ｄｕｐｌｅｘ状態と同様の処理を実行する。すなわち、同期リモートコピー部710は、コピー先ボリュームに対してライトデータ320を含むライト要求を送信し、ライト要求がコピー先記憶装置に反映されたことを確認した後に、ホストへライト要求完了メッセージが返信されるよう制御する。更新情報作成部721は、受信したライト要求300を用いて更新情報600を作成し、更新情報記憶部426に格納する。

一方、初期化コピーや差分コピーが行われている間にコピー元記憶装置がコピー元ボリュームについて受信したライト要求300が、初期化コピーや差分コピーが完了していない部分へのライト要求300である場合には、同期リモートコピー部710若しくは更新情報作成部721はＳｕｓｐｅｎｄ状態と同様の動作を行う。すなわち、同期リモートコピー部710若しくは更新情報作成部721はライト要求300に含まれるライトアドレス330を差分記録として記録し、ライト実行部413に完了メッセージを返す。

図5は、図4に示す記憶装置が有しているペア情報テーブル422の一例を示した図である。ペア情報テーブル422は、コピー元ボリュームＩＤ、コピー先ボリュームＩＤ、ペア状態、相手記憶装置ＩＤ、論理グループＩＤ、タイプに関する情報を保持する。

コピー元ボリュームＩＤは、リモートコピーのコピー元ボリュームに割り当てられ、当該ボリュームを一意に識別可能な識別情報である。コピー先ボリュームＩＤは、リモートコピーのコピー先ボリュームに割り当てられ、当該ボリュームを一意に識別可能な識別情報である。

ペア状態は、ペア情報テーブルに記録されているコピー元ボリューム若しくはコピー先ボリュームのうち、本ペア情報テーブル422を有している記憶装置内に存在するボリュームのペア状態を示している。

相手記憶装置ＩＤは、コピー元ボリュームを保持する記憶装置においては、コピー先ボリュームを有するコピー先記憶装置の識別情報であり、コピー先ボリュームを有する記憶装置においては、コピー元ボリュームを有するコピー元記憶装置の識別情報である。

論理グループＩＤは、ペア情報テーブル422に記録されているコピー元ボリューム若しくはコピー先ボリュームのうち、本ペア情報テーブル422を有している記憶装置内に存在するボリュームが属する論理グループの識別情報である。ここで論理グループとは、同一記憶装置内に存在する一つ以上のボリューム442を含むグループであって、これらのボリューム442に対してライトデータ320を反映する際には、ライト要求300の発行順序に基づき反映順序の整合性を維持すべき単位として定義されるグループである。

尚、本実施形態では、リモートコピーペアを形成するコピー元ボリュームとコピー先ボリュームとは、コピー元記憶装置若しくはコピー先記憶装置において、同じ値の論理グループIDで識別される論理グループに属するよう、論理グループIDが割り振られているものとして以降の処理を説明する。ただし、コピー元記憶装置とコピー先記憶装置の双方が、リモートコピーペアを形成するコピー元ボリューム及びコピー先ボリューム各々が属する論理グループのIDを知っている場合には、必ずしもこれらの論理グループに同じ値の論理グループIDを割り当てる必要はない。

タイプは、コピー元ボリュームＩＤとコピー先ボリュームＩＤで示される２つのボリューム間で実行されるリモートコピー処理のタイプを示しており、同期または非同期のいずれかの値を取り得る。

図１０は各記憶装置が制御部410に備えているライトデータ受領部412の処理の一例を示す図である。尚、図１０に示すライトデータ受領部412の処理は、各記憶装置が、同期リモートコピーのコピー元記憶装置、同期リモートコピーのコピー先記憶装置、若しくは非同期リモートコピーのコピー元記憶装置として機能する際に実行される。

ステップ901で、ライトデータ受領部412はホスト若しくは他の記憶装置から、ライト要求300を受信する。このとき、図3に示すようにライト要求300としてライトデータ受領部412は、ライト時刻310、ライトデータ320、ライト対象ボリュームＩＤ340、ライトアドレス330、データ長350を受け取る。

次に、ライトデータ受領部412はステップ902でライト実行部413を呼び出し、ステップ903でライト実行部413からの完了メッセージを待つ。最後に、ライトデータ受領部412はステップ904でライト要求完了メッセージをライト要求元であるホスト若しくは他の記憶装置へ返す。

図１１はライトデータ受領部412によって呼び出されるライト実行部413の処理の一例を示す図である。尚、ライト実行部413は後述するAsync反映部725やMN反映部726によっても呼び出される。従って、ライト実行部413の処理は、各記憶装置が、同期リモートコピーのコピー元記憶装置、同期リモートコピーのコピー先記憶装置、非同期リモートコピーのコピー元記憶装置、及び非同期リモートコピーのコピー先記憶装置として機能する際に実行される。

ステップ1101でライト実行部413は、図10のステップ901でライトデータ受領部412が受信したライト要求300や、後述するAsync反映部725、ＭＮ反映部726が発行するライト指示に含まれる、ライト対象ボリュームIDが示すボリューム442特定し、当該ボリューム442をコピー元ボリュームとしたリモートコピーペアが定義されているかどうかをチェックする。具体的にはライト実行部413は、ライト対象ボリュームＩＤ340をキーとしてペア情報テーブル422を検索し、コピー元ボリュームIDにライト対象ボリュームIDと同じ識別情報が登録されているか否かを調べる。

ステップ1102でライト実行部413は更に、ライト対象ボリュームIDが示すボリューム442をコピー元ボリュームとした同期リモートコピーのペアが定義されているかを調べる。尚、ステップ1101でライト対象ボリュームIDが示すボリューム442をコピー元ボリュームとしたリモートコピーペアが存在しなかった場合には、ステップ1102の結果は「no」となる。一方ステップ1101で該当リモートコピーペアが存在した場合には、ライト実行部413は更に当該リモートコピーペアのタイプが”同期”であるかをペア情報テーブル422を参照してチェックし、同期リモートコピーのペアが定義されているかを調べる。

ステップ1102の結果が「no」の場合、ライト実行部413はステップ1103及び1104をスキップして、ステップ1105を実行する。

ステップ1102の結果が「yes」の場合、ライト実行部413はステップ1103で、ペア情報テーブル422に登録されているコピー先ボリュームＩＤおよび相手記憶装置ＩＤをパラメータとして、同期リモートコピー部710を呼び出し、ステップ1104で同期リモートコピー部710からの応答を待つ。

ステップ1105でライト実行部413は、ライト対象ボリュームIDが示すボリューム442をコピー元ボリュームとした非同期リモートコピーペアが定義されているかを調べる。このステップは、ライト実行部413がリモートコピーペアのタイプが“非同期”であるかをペア情報テーブル422を参照してチェックする点を除き、ステップ1102と同様の方法で実行される。

ステップ1105の結果が「no」の場合、ライト実行部413はステップ1106及びステップ1007をスキップして、ステップ1108を実行する。

ステップ1105の結果が「yes」の場合、ライト実行部413はステップ1106で、ペア情報テーブル422に登録されているコピー先ボリュームＩＤ、論理グループＩＤ、相手記憶装置ＩＤをパラメータとして更新情報作成部721を呼び出す。そしてステップ1107でライト実行部413は、更新情報作成部721からの完了メッセージを待つ。

ステップ1108でライト実行部413は、ライト要求の対象であるボリューム442に対してライト操作を実行する。

最後にステップ1109で、ライト実行部413は、ライト操作の要求元であるライトデータ受領部412、Async反映部725、若しくはMN反映部726へライト要求完了メッセージを送る。

図１２はライト実行部413が図１１のステップ1103で同期リモートコピー部710を呼び出した際、同期リモートコピー部710によって実行される処理の一例を示す図である。同期リモート部710の処理は、各記憶装置が、同期リモートコピーのコピー元記憶装置として機能する際に実行される。

同期リモートコピー部710は、コピー先記憶装置へのライトデータ320の反映を行った後、ライト実行部413に完了メッセージを返すことで、同期リモートコピーを実現する。

ステップ1001で同期リモートコピー部710は、ペア情報テーブル422を参照して、ライト対象ボリュームID340が示すボリューム442をコピー元ボリュームとした同期リモートコピーのペア状態を調べる。

ペア状態がSuspend状態の場合には同期リモートコピー部710はステップ1005に進み、ライト要求300に含まれるライトアドレス330を差分記録に記録し、ステップ1006で完了メッセージをライト実行部413に送って処理を終了する。

ペアがDuplex状態の場合には、同期リモートコピー部710はステップ1002をスキップしてステップ1003以降の処理を実行する。

ペアがInitial-Coping状態若しくはDuplex-pending状態の場合には、ライト要求300のライト対象記憶領域が、形成コピー部740によって実行されている初期化コピー若しくは差分コピーが既に完了している記憶領域であるか否かを、同期リモートコピー部710が判断する（ステップ1002）。形成コピー部740は後述する様に、初期化コピー処理若しくは差分コピー処理を実行中の記憶領域のアドレスを示すコピーポインタを用いて、初期化コピー処理若しくは差分コピー処理を実行する。従って、同期リモートコピー部710はこのコピーポインタが示すアドレスとライト要求300中のライトアドレス330とを比較することにより、ステップ1002の判断を行うことができる。尚、コピーポインタは図示しないが制御情報部420に含まれる情報である。

ライト要求300のライト対象記憶領域が、初期化コピー若しくは差分コピーが未完了の記憶領域である場合には（ステップ1002で判断結果が「No」の場合）、同期リモートコピー部710はSuspend状態の場合と同様、ステップ1005及びステップ1006の処理を実行する。

一方、ライト要求300のライト対象領域が、初期化コピー若しくは差分コピーが完了済の記憶領域である場合には（ステップ1002で判断結果が「Yes」の場合）、同期リモートコピー部710はステップ1003以降の処理を実行する。

ステップ1003で同期リモートコピー部710は、ライトデータ受領部412が受信したライト要求300中に含まれるライト対象ボリュームＩＤ340を、ライト実行部413からパラメータとして渡されたコピー先ボリュームＩＤへと変更し、コピー先ボリューム442を有するコピー先記憶装置のライトデータ受領部412へ、このライト要求300を発行する。

ステップ1004で同期リモートコピー部710は、コピー先記憶装置のライトデータ受領部412からのコピー先ボリューム442へのライト完了メッセージを待つ。ライトデータ受領部412から完了メッセージを受け付けると、ステップ1006で同期リモートコピー部710はライト実行部413へライト完了メッセージを送る。

尚、同期リモートコピー部710からライト要求300を受信するコピー先記憶装置のライトデータ受領部412は、図１０で説明した処理を実行する。

同期リモートコピー部710は、ライトデータ受領部412が受信したライト要求300中のライト時刻310を、コピー先記憶装置のライトデータ受領部412に発行するライト要求300のライト時刻310として用いて、ライト要求をコピー先記憶装置に送信するものとする。これによって、後述する複数の記憶装置間における書き込み順序の整合性維持が実現される。

次に、形成コピー部740が実行する処理の概要を説明する。形成コピー部740が起動されると、リモートコピーペアのペア状態はInitial-Copying状態若しくはDuplex-Pending状態となる。形成コピー部740の処理は、各記憶装置が、同期リモートコピーのコピー元記憶装置、若しくは非同期リモートコピーのコピー元記憶装置として機能する際に実行される。

形成コピー部740は初期化コピーを実行する場合、まずペア情報テーブル422を参照し、初期化コピー対象となっているリモートコピーペアのペア状態をInitial-Copying状態とする。次に、コピーポインタをコピー元ボリュームの先頭アドレスに合わせる。そして、形成コピー部740はコピーポインタが指すアドレスから一定サイズ分の記憶領域に格納されているデータを、コピー先ボリュームにコピーすべくコピー先記憶装置に送信する。更に形成コピー部740はコピーポインタが指すアドレス位置を前述の一定サイズ分進める。以降、形成コピー部740はコピー処理とコピーポインタの更新とを繰り返し行う。そしてコピーポインタがコピー元ボリュームの終了アドレスに達すると、形成コピー部740はコピー元ボリュームとコピー先ボリューム間のリモートコピーペアのペア状態をDuplex状態に変更して（すなわちペア情報テーブル422のペア状態を更新して）、初期化コピー処理の実行を終了する。

一方、形成コピー部740が差分コピー処理を実行する場合も、基本的には初期化コピーを実行する場合と同様の処理を実行する。但し差分コピー処理においては、以下の2点で初期化コピーと異なる。1点目は、差分コピー処理の最初で、処理対象となっているリモートコピーペアの状態をInitial-Copying状態ではなく、Duplex_pending状態とする。2点目は、コピーポインタが指すアドレス位置から一定サイズ分のデータをコピーする際、形成コピー部740は、当該データ全てをコピー先記憶装置に送信するのではなく、前述の差分記録を参照して、差分記録として記録されているアドレスのデータのみを選択してコピー先記憶装置に送信する。差分コピー処理は、上記2点が初期化コピー処理と異なるだけで、他の処理は初期化コピー処理と同様である。

以上のように、ライトデータ受領部412、ライト実行部413、同期リモートコピー部710、形成コピー部740の連携によって同期リモートコピー処理が実現される。

引き続き、コピー元記憶装置の論理グループ440に含まれるコピー元ボリューム442と、コピー先記憶装置の論理グループ440に含まれるコピー先ボリューム442の間の、非同期リモートコピーの動作について説明する。

図６は、更新情報作成部721が割り当てるシーケンシャル番号（以下、ＳＥＱ＃と呼ぶ）を保持しているＳＥＱ＃情報430の一例を示している。SEQ#情報430は属性として、論理グループＩＤとＳＥＱ＃を持つ。論理グループＩＤは、1つの記憶装置内に存在する、書き込み順序の整合性を維持すべきリューム44２の集合からなる論理グループ440に対して割り当てられ、当該論理グループ440を一意に識別可能な数字とする。尚、ボリューム442を１つも含まない論理グループ440を定義することも可能であり、この論理グループ440にも論理グループIDは割り当てられる。

ＳＥＱ＃は、論理グループ440毎に１つずつ値を持ち、論理グループ440に含まれるボリューム442に対するライト要求300を受信するたびに、更新情報作成部721によって1増加される数字である。SEQ＃によって、コピー先記憶装置においても書き込み順序の整合性を維持しながらライトデータをコピー先ボリュームに反映することができる。

尚、ここでコピー先記憶装置において書き込み順序の整合性が維持されている状態とは、ある時刻以前にコピー元記憶装置が受け付けたライト要求300に基づくライトデータ320は全てコピー先ボリューム442に反映されており、当該時刻以降にコピー元記憶装置が受け付けたライト要求300に基づくライトデータ320は全くコピー先ボリューム442に反映されていない状態を意味する。論理グループ440においては、当該論理グループ440に属する1以上のボリューム442間で、書き込み順序の整合性が維持される。

図７には、非同期リモートコピーを行う際に、コピー元記憶装置からコピー先記憶装置へ送信される更新情報600の一例を示す。

更新情報600は、ライト時刻310、ＳＥＱ＃、ライトデータ320、コピー先ボリュームＩＤ、ライトアドレス330、データ長350、論理グループＩＤ、コピー先記憶装置ＩＤを有する。

ライト時刻310、ライトデータ320、ライトアドレス330、データ長350は、ライトデータ受領部412が受信するライト要求300内に格納されている情報と同一である。ＳＥＱ＃は更新情報作成部721がＳＥＱ＃情報430から取得する。コピー先ボリュームＩＤ、論理グループＩＤ、コピー先記憶装置ＩＤは、ライト実行部413がペア情報テーブル422から取得し、更新情報作成部721にパラメータとして渡す値である。更新情報600は、更新情報作成部721が作成する。

次に更新情報作成部721の処理について説明する。図１３は更新情報作成部721の処理の一例を示す図である。更新情報作成部721は図11に示すライト実行部413の処理のステップ1106において、ライト実行部413によって呼び出されて起動される。尚、更新情報作成部721の処理は、各記憶装置が、非同期リモートコピーのコピー元記憶装置として機能する際に実行される。

更新情報作成部721は、ホストからコピー元記憶装置が受信したライト要求300中のライトデータ320にＳＥＱ＃を割り当て、更新情報600を作成する。ここでSEQ#は、ホストからコピー元記憶装置が受信したライト要求300中のライトデータ320をコピー先記憶装置に反映させる際に、論理グループ440単位で書き込み順序の整合性を維持するため使用される。

更新情報作成部721はステップ1201で、ペア情報テーブル422を参照し、ホストから受信したライト要求300中のライト対象ボリュームID340で識別されるボリュームをコピー元ボリュームとする非同期リモートコピーペアのペア状態をチェックする。

ペア状態がSuspend状態若しくはSuspending状態であれば、更新情報作成部721はステップ1207でライト要求300に含まれるライトアドレス330を差分記録に記録し、ステップ1208で完了メッセージをライト実行部413に送って処理を終了する。

ペアがDuplex状態の場合には、更新情報作成部721はステップ1202をスキップしてステップ1203以降の処理を実行する。

ペアがInitial-Coping状態若しくはDuplex-pending状態の場合には、ライト要求300のライト対象記憶領域が、形成コピー部740によって実行されている初期化コピー若しくは差分コピーが既に完了している記憶領域であるか否かを、更新情報作成部721が判断する（ステップ1202）。更新情報作成部721は形成コピー部740が使用しているコピーポインタが示すアドレスとライト要求300中のライトアドレス330とを比較することにより、ステップ1202の判断を行うことができる。

ライト要求300のライト対象記憶領域が、初期化コピー若しくは差分コピーが未完了の記憶領域である場合には（ステップ1202で判断結果が「No」の場合）、更新情報作成部721はSuspend状態の場合と同様、ステップ1207及びステップ1208の処理を実行する。

一方、ライト要求300のライト対象領域が、初期化コピー若しくは差分コピーが完了済の記憶領域である場合には（ステップ1202で判断結果が「Yes」の場合）、更新情報作成部721はステップ1203以降の処理を実行する。

ステップ1203で更新情報作成部721は、ライト実行部413からパラメータとして渡される論理グループＩＤをキーとして、ＳＥＱ＃情報430を検索し、コピー元ボリューム442が属する論理グループ440の現在のＳＥＱ＃を得る。

次にステップ1204で更新情報作成部721は、次の更新情報に付与するＳＥＱ＃の値を用意しておくために、SEQ#情報430に記録されているＳＥＱ＃に１を加える。

ステップ1205で更新情報作成部721は、ステップ1203で得たＳＥＱ＃と、ライト実行部413からパラメータとして渡されるコピー先ボリュームＩＤ、論理グループＩＤ、コピー先記憶装置ＩＤと、ホストから受信したライト要求300中の情報を用いて更新情報600を作成する。

そして更新情報作成部721は、ステップ1206で更新情報600を更新情報記憶部426に格納し、ライト実行部413に完了報告を送信する（ステップ1208）。

図１４には、更新情報作成部721によって、更新情報記憶部426に格納された更新情報600をコピー先記憶装置へ送信するデータ転送部722の処理の一例を示す。尚、データ転送部722の処理は、各記憶装置が、非同期リモートコピーのコピー元記憶装置として機能する際に実行される。

ステップ1301でデータ転送部722は、更新情報作成部721によって更新情報600が更新情報記憶部426に格納されるまで待つ。尚、データ転送部722は更新情報600が更新情報記憶部426に格納される度に以降の処理を実行するのではなく、ある特定のサイズ以上の更新情報600が更新情報記憶部426に格納された時点で以降の処理を実行する等、更新情報600が更新情報記憶部426に格納されるタイミングとは異なるタイミングで以降の処理を実行することができる。

ステップ1302で転送部722は、更新情報記憶部426から、一つまたは複数個の更新情報600を読み出し、ステップ1303で読み出した更新情報600をコピー先記憶装置へ送信する。そして、データ転送部722はステップ1301に戻り、上述の処理を繰り返す。

図１５は、コピー元記憶装置から更新情報600を受信するコピー先記憶装置の更新情報受領部727の処理の一例を示している。尚、更新情報受領部727の処理は、各記憶装置が、非同期リモートコピーのコピー先記憶装置として機能する際に実行される。

ステップ1401で、更新情報受領部727は、コピー元記憶装置のデータ転送部722から更新情報600を受け取る。そしてステップ1402で更新情報受領部727は、受け取った一つまたは複数の更新情報600を、コピー先記憶装置内の更新情報記憶部426へ格納し、処理を終了する。

図１６は、コピー先記憶装置の更新情報記憶部426に格納されている更新情報600の内容に基づき、ライトデータ320をコピー先ボリュームへ反映する、Ａｓｙｎｃ反映部725の処理の一例を示す図である。Ａｓｙｎｃ反映部725は、論理グループ440毎に１つ割り当てられるものとする。尚、Async反映部725の処理は、各記憶装置が、非同期リモートコピーのコピー先記憶装置として機能する際に実行される。

ある論理グループ440を担当するＡｓｙｎｃ反映部725は、ステップ1501で、更新情報記憶部426に格納されている更新情報600の内、論理グループＩＤが自身が担当する論理グループ440のＩＤと一致する更新情報600を探し、これを更新情報集合とする。

次に、ステップ1502でＡｓｙｎｃ反映部725は、ステップ1501で得た更新情報集合を更新情報600内に含まれるＳＥＱ＃を用いてソートし、ＳＥＱ＃が連続している部分（更新情報集合に含まれる更新情報600をＳＥＱ＃順に並べた際に、ＳＥＱ＃に抜けが生じない部分）に含まれる更新情報600を、ＳＥＱ＃順にライト実行部413を呼び出しライトを指示する。この指示には少なくともライトデータと、ライト対象ボリュームのＩＤであるコピー先ボリュームＩＤと、ライトアドレスとが含まれている。

ライト実行部413はＡｓｙｎｃ反映部725から呼び出されると、図１１に示す処理を実行し、この結果コピー先ボリュームにライトデータが書き込まれる（ステップ1503）。

次に、ＳＥＱ＃が連続している部分に含まれる更新情報６００のライトデータ３２０の反映を全て終了すると、Ａｓｎｃ反映部725はステップ1504にて、コピー先ボリュームにライトされたライトデータ３２０を含む更新情報600が有するＳＥＱ＃の内、最大の値であるＳＥＱ＃（最後にライトを実行した更新情報６００が持つＳＥＱ＃）と、論理グループＩＤを、コピー元記憶装置のパージ部７２３へ通知する。

そしてＡｓｙｎｃ反映部725は再びステップ1501に戻って処理を繰り返す。

図１７は、Ａｓｙｎｃ反映部725から、ＳＥＱ＃と論理グループＩＤを受け取るコピー元記憶装置のパージ部723の処理の一例を示す図である。尚、パージ部723の処理は、各記憶装置が、非同期リモートコピーのコピー元記憶装置として機能する際に実行される。

ステップ1601でパージ部723は、コピー先記憶装置のＡｓｙｎｃ反映部725若しくはコピー先記憶装置のＭＮ反映部726（詳細は後述する）からのメッセージを待つ。次に、ステップ1602で、パージ部７２３は、コピー先記憶装置のＡｓｙｎｃ反映部725若しくはＭＮ反映部726から通知されるメッセージに含まれる論理グループＩＤを有し、かつこのメッセージに含まれるＳＥＱ＃以下のＳＥＱ＃を持つ更新情報６００をコピー元記憶装置の更新情報記憶部426から削除する。

以上のように、ライトデータ受領部412、更新情報作成部721、データ転送部722、更新情報受領部727、Ａｓｙｎｃ反映部725、パージ部723、ライト実行部413、及び形成コピー部730によって、コピー元記憶装置のコピー元ボリュームに対するライトデータ320を、コピー先記憶装置のコピー先ボリュームへ、ライト要求300とは非同期に送信し、論理グループ440毎にライトデータ320をＳＥＱ＃順に反映することで、コピー元ボリュームとコピー先ボリューム間で書き込み順序の整合性を維持した非同期リモートコピー処理を実行することができる。

これまでは論理グループ440内で書き込み順序の整合性を維持しつつ、非同期リモートコピー処理を実行する方法を述べてきたが、次に複数の記憶装置に存在する複数のボリューム間で書き込み順序の整合性を維持しつつ非同期リモートコピー処理を実行する方法を説明する。即ち、非同期リモートコピー処理において、コピー元記憶装置及びコピー先記憶装置が各々複数存在する場合に、複数のコピー元記憶装置の論理ボリュームへの書き込み順序の整合性を複数のコピー先記憶装置において維持する手順を以下に示す。

尚、複数の記憶装置に跨って定義される、書き込み順序の整合性を維持すべき単位を、以下ＭＮコンシステンシグループと呼ぶことにする。ＭＮコンシステンシグループには、複数の記憶装置に存在する複数の論理ボリューム442が属することになる。即ちＭＮコンシステンシグループは、複数の論理グループから構成され、当該複数の論理グループの少なくとも２つは各々異なる記憶装置に存在する。

尚、ＭＮコンシステンシグループ内で書き込み順序の整合性を維持しつつ非同期リモートコピー処理を実行する場合も、コピー元記憶装置における処理は、前述した論理グループ内で書き込み順序の整合性を維持しつつ非同期リモートコピー処理を実行する場合と同様である。そこで、ここでは前述の非同期リモートコピー処理とは異なる点についてのみ説明する。

ＭＮコンシステンシグループ内での書き込み順序の整合性を維持しつつ、非同期リモートコピー処理を実行するには、コピー先記憶装置が更に、アービトレータ416及びＭＮ反映部726を有している必要がある。本実施形態では、コピー先記憶装置の更新情報記憶部426に格納されている更新情報600内のライトデータの反映を、Ａｓｙｎｃ反映部725に代わってＭＮ反映部726が行う。更に各ＭＮコンシステンシグループに対して１つ定義されるアービトレータ416がＭＮ反映部726に対して更新情報600の反映を指示することで、複数のコピー先記憶装置間で書き込み順序の整合性を維持しつつライトデータをコピー先ボリュームに反映させることができる。

図８はアービトレータ416が利用するＭＮＣＴＧテーブル424の一例を示す図である。ＭＮＣＴＧテーブル424は、ＭＮＣＴＧＩＤ、論理グループＩＤ、グループ配置記憶装置IDを有する。

ＭＮＣＴＧＩＤは、ＭＮコンシステンシグループを一意に識別するための識別情報である。

論理グループＩＤは、論理グループ440を一意に識別するための識別情報であり、ＭＮＣＴＧテーブル424では、ＭＮＣＴＧＩＤで識別されるＭＮコンシステンシグループに当該論理グループＩＤで識別される論理グループが含まれることを意味している。

グループ配置記憶装置ＩＤは、論理グループＩＤで識別される論理グループが存在する記憶装置の識別情報を示している。

尚これらの情報は、ホスト上の管理ソフト214から登録される。

図１８は、アービトレータ416が実行する処理の一例を示す図である。

アービトレータ416は、各ＭＮコンシステンシグループに対して1つ定義され、当該ＭＮコンシステンシグループに属する論理グループを有する複数のコピー先記憶装置のいずれかで動作すれば、いずれで動作しても良い。アービトレータ416が動作するコピー先記憶装置の指定は、ホスト上の管理ソフト214から行われる。

以下にアービトレータ416の処理内容を示す。

ステップ1701でアービトレータ416は、ＭＮＣＴＧテーブル424を自身が担当するＭＮコンシステンシグループのＭＮＣＴＧＩＤで検索し、当該ＭＮコンシステンシグループに属する複数の論理グループ各々の論理グループＩＤと、グループ配置記憶装置ＩＤとを取得する。

ステップ1702でアービトレータ416は、ステップ1701で得た複数のグループ配置記憶装置ＩＤが示す複数のコピー先記憶装置に対して、ステップ1701で得た論理グループＩＤを持つ更新情報６００内のライト時刻で最も新しい時刻を報告するようメッセージを送る。

ステップ1703でアービトレータ416は、ステップ1702で送信したメッセージの送信宛先であるコピー先記憶装置からの応答を待つ。

ステップ1704でアービトレータ416は、複数のコピー先記憶装置から報告された最新時刻の内で、最も古い時刻を基準時刻とする。

ステップ1705でアービトレータ416は、ステップ1702でメッセージの送信宛先となった複数のコピー先記憶装置各々のＭＮ反映部726に対して、ステップ1704で定めた基準時刻以前のライト時刻310を持つ更新情報600をコピー先ボリュームへの反映するよう指示する。

最後にアービトレータ416は、ステップ1706でコピー先ボリュームへの更新情報600の反映処理を終えたコピー先記憶装置から完了メッセージを受け取とり、ステップ1701へ戻る。

図１９には、アービトレータ416から指示を受けて最新時刻をアービトレータ416に報告すると共に、アービトレータ416からの指示を受けて、更新情報600をコピー先ボリュームに反映するＭＮ反映部726の処理の一例を示す図である。尚、MN反映部726の処理は、各記憶装置が、非同期リモートコピーのコピー先記憶装置として機能する際に実行される。

ＭＮ反映部726は、アービトレータ416からの指示に応じて、図１９に示すステップ1801から1802の処理か、ステップ1803から1808の処理のいずれかを行うものとする。又、Ａｓｙｎｃ反映部725と同様、ＭＮ反映部726も論理グループ毎に割り当てられるものとする。

ステップ1801から1802は、ＭＮ反映部726がアービトレータ416から最新時刻を報告するよう指示を受けた場合に実行される。

ステップ1801でＭＮ反映部726は、アービトレータ416から最新時刻を報告するよう指示を受け付ける。

ステップ1802でＭＮ反映部726は、更新情報記憶部426に保持されている自身が担当する論理グループ440に関する更新情報600を調べ、更新情報600中に含まれるＳＥＱ＃が連続している範囲内で（ＳＥＱ＃に抜けがない範囲内で）、更新情報600のライト時刻で最も新しい時刻をアービトレータ416へ報告する。

ステップ1803からステップ1808はＭＮ反映部726がアービトレータ416から更新情報600の反映を指示された際に実行される。

ステップ1803でＭＮ反映部726は、アービトレータ416から基準時刻までの更新情報600をコピー先ボリュームへ反映するよう指示を受ける。

そして、1804でＭＮ反映部726は、更新情報記憶部426に格納されている更新情報600の内、自身が担当する論理グループの論理グループＩＤを有する更新情報600を探し、これを更新情報集合とする。

次に、ステップ1805でＭＮ反映部726は、ステップ1804で得た更新情報集合に属する更新情報600の内、アービトレータ416から渡された基準時刻以前のライト時刻を持つ更新情報600をＳＥＱ＃でソートする。そしてＳＥＱ＃の小さい順に、当該更新情報600をコピー先ボリュームへと反映するようライト実行部413にライト指示を発行する。この指示には少なくともライト対象ボリュームのＩＤであるコピー先ボリュームＩＤ、ライトアドレス、ライトデータが含まれている。

指示を受信したライト実行部413は、ＭＮ反映部726から指示された順に受け取ったライトデータをコピー先ボリュームに書き込む。これによって更新情報600はコピー先ボリュームへ反映される（ステップ1806）。

反映後、ステップ1807では、ステップ1806でコピー先ボリュームに反映した更新情報600の持つＳＥＱ＃の内、最も大きいＳＥＱ＃、すなわち、最後にコピー先ボリュームに反映した更新情報600が有するＳＥＱ＃と、論理グループＩＤを、コピー元記憶装置のパージ部７２３へ通知する。

最後にステップ1808においてＭＮ反映部726は、アービトレータ416へ更新情報600の反映完了メッセージを送る。

尚、ＭＮ反映部726からＳＥＱ＃を受信したパージ部723の動作は、上述の説明通りである。

ここで、アービトレータ416がライト時刻を利用して更新情報600の反映をＭＮ反映部726に指示することは、各記憶装置間での同期時刻を作成して、この同期時刻までの更新情報を複数のコピー先記憶装置でコピー先ボリュームに反映することを意味する。さらに、各コピー先記憶装置における更新順序の維持はＳＥＱ＃を利用することによって可能となる。よって、コピー元記憶装置とコピー先記憶装置が共に複数個存在する場合においても、書き込み順序の整合性が維持可能となる。

これまでは、情報処理システムの構成例と、各記憶装置が有する機能を説明した。次に、係る情報処理システムにおいて、非同期リモートコピーのペアを記憶装置間で移行する手順について説明する。

尚、以降では図20に示す様に、第１の正記憶装置120が有する複数のコピー元ボリュームと第1の副記憶装置130が有する複数のコピー先ボリュームとの間で複数の非同期リモートコピーペアが定義されており、第2の正記憶装置120が有するコピー元ボリュームと第2の副記憶装置130が有するコピー先ボリュームとの間でも非同期リモートコピーペアが定義されており、これらのコピー元ボリューム及びコピー先ボリュームが同じMNコンシステンシグループ2100に属している場合を例に、非同期リモートコピーのペアの移行方法を説明する。

即ち、第1の正記憶装置120、第2の正記憶装置120、第1の副記憶装置130及び第2の副記憶装置130に定義されているMNコンシステンシグループ2100に属する複数の非同期リモートコピーペアの内、第1の正記憶装置120と第1の副記憶装置130間に設定された非同期リモートコピーペアを、第2の正記憶装置120と第2の副記憶装置130間の非同期リモートコピーペアとなるよう移行する場合を例に、非同期リモートコピーペアの移行方法を説明する。

より具体的には、以降図20に示す様に、移行元ボリューム2101と移行元ボリューム2102間の非同期リモートコピーのペアを、移行先ボリューム2103と移行先ボリューム2104間の非同期リモートコピーのペアに移行する場合を例に、非同期リモートコピーペアの移行方法を説明する。ここで、移行元ボリューム2101を正記憶装置内移行元ボリューム2101、移行先ボリューム2103を正記憶装置内移行先ボリューム2103、移行元ボリューム2102を副記憶装置内移行元ボリューム2102、移行先ボリューム2104を副記憶装置内移行先ボリューム2104と呼ぶことにする。

尚、本実施形態では、非同期リモートコピーのペアを移行する前の段階で、正記憶装置内移行元ボリューム2101が属する論理グループ440、正記憶装置内移行先ボリューム2103が属する論理グループ440、副記憶装置内移行元ボリューム2102が属する論理グループ440、副記憶装置内移行先ボリューム2104が属する論理グループ440は同じMNコンシステンシグループ2100に属しているものとする。

また本実施形態では、移行対象の非同期リモートコピーペアを、前述のMNコンシステンシグループ2100から除くことなく、かつ正サイトから副サイトへの非同期リモートコピー処理を停止することなく、移行処理を行う。この結果、複数の記憶装置にまたがって非同期リモートコピーの書き込み順序の整合性を維持しながらも、正サイトから副サイトへの非同期リモートコピー処理を停止することなく非同期リモートコピーペアを記憶装置間で移行することができる。従って、ある正記憶装置及び副記憶装置の負荷が増加してこれらの記憶装置を用いた業務処理の実行が困難になった場合に、非同期リモートコピーペアの移行により、非同期リモートコピー処理を停止することなく負荷分散が行うことができる。また、ある正記憶装置や副記憶装置を保守作業の為に停止する場合にも、非同期リモートコピー処理を停止することなく当該正記憶装置及び副記憶装置を用いた非同期リモートコピーペアを他の正記憶装置及び副記憶装置間に移行し、保守作業を実現できる。

尚、図20に示す例は一例であって、正サイト及び副サイトに存在する記憶装置の数、各記憶装置に存在する論理グループ440の数、論理グループ440に属するボリューム442の数、MNコンシステンシグループ2100に属する論理グループ440の数、移行対象の非同期リモートコピーペアの数等は図20の例に限られるものではない。

図21は本実施形態に係る非同期リモートコピーペアの移行方法の一例を示す概念図である。本実施形態ではまず、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間で同期リモートコピーのペアを定義して、同期リモートコピー処理を実行し、ペア状態をDuplex状態にする。この後、正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104との間で非同期リモートコピーペアを定義して非同期リモートコピー処理を実行する。そして正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104との間の非同期リモートコピーペアのペア状態がDuplex状態となった後に、正ホストから正記憶装置内移行元ボリューム2101へのI/Oを一旦停止し、前述の同期リモートコピーペアを解除し、更に正ホスト110から発行されるI/O要求の宛先を、正記憶装置内移行元ボリューム2101から正記憶装置内移行先ボリューム2103に変更し再開する。そして、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102との間の非同期リモートコピーペアを解除する。

図22は本実施形態における非同期リモートコピーペアの移行方法の一例を示すフローチャートである。尚、図22に示す処理は、正ホスト110が有する管理ソフト214が実行する処理として、以降の説明を行うが、ホストではなく記憶装置が係る処理を実行するための機能をメモリ122に備えていて、記憶装置がこの機能を実行することにより行われることとしても良い。また副ホスト140が有する管理ソフト214や、管理ネットワーク150に接続される管理計算機（図示せず）が有する管理ソフト214によって実行されるものとしても良い。

管理ソフト214は、実行時にパラメータとして、正ホスト110のユーザ等から入力された、正記憶装置内移行元ボリューム2101のＩＤ、当該正記憶装置内移行元ボリューム2101を含む論理グループ440のＩＤ、正記憶装置内移行先ボリューム2103のＩＤ、当該正記憶装置内移行先ボリューム2103を含む論理グループ440のＩＤ、副記憶装置内移行元ボリューム2102のＩＤ、副記憶装置内移行元ボリューム2102を含む論理グループ440のＩＤ、副記憶装置内移行先ボリューム2104のＩＤ、副記憶装置内移行先ボリューム2104を含む論理グループ440のＩＤ、正記憶装置内移行元ボリューム2101を有する第1正記憶装置120のＩＤ、正記憶装置内移行先ボリューム2103を有する第2正記憶装置120のＩＤ、副記憶装置内移行元ボリューム2102を有する第1副記憶装置130のＩＤ、及び副記憶装置内移行先ボリューム2104を有する第2副記憶装置130のＩＤを受け取る。

ステップ１９０１で管理ソフト214は、正記憶装置内移行元ボリューム2101をコピー元と正記憶装置内移行先ボリューム2103をコピー先とする、同期リモートコピーペアを定義するための指示を、第1正記憶装置120及び第2正記憶装置120へ送る。この指示は、各正記憶装置120のリモートコピー情報変更部730によって受信される。

図23には、記憶装置が有するリモートコピー情報変更部730の処理の一例を示す。リモートコピー情報変更部730には、管理ソフト214から、同期リモートコピーペアや非同期リモートコピーペアの定義若しくは解除の要求が発行される。そしてリモートコピー情報変更部730は、管理ソフト214から発行される要求内容に応じて、リモートコピーペアを定義する場合はステップ2001から2002を、リモートコピーペアを解除する場合はステップ2003を実行する。

尚、管理ソフト214がリモートコピーペアの定義若しくは解除要求を発行する場合、コピー元記憶装置のＩＤ、コピー先記憶装置のＩＤ、コピー元ボリュームのＩＤ、コピー先ボリュームのＩＤ、コピー元ボリュームが含まれる論理グループＩＤ、コピー先ボリュームが含まれる論理グループＩＤ、およびリモートコピータイプが、パラメータとしてリモートコピー情報変後部730に渡されるものとする。

ステップ2001でリモートコピーペアの定義要求を受信したリモートコピー情報変更部730は、パラメータとして管理ソフト214から渡されるコピー元記憶装置ＩＤ及びコピー先記憶装置ＩＤと、自記憶装置のＩＤを比較して、自身がコピー元記憶装置であるのかコピー先記憶装置であるのかを判定し、判定結果と受信したパラメータに基づき相手記憶装置ＩＤ及び論理グループＩＤを特定する。
そして、ステップ2002でリモートコピー情報変更部730は、ペア情報テーブル422に、コピー元ボリュームＩＤ、コピー先ボリュームＩＤ、ペア状態としてInitial-Copying、相手記憶装置ＩＤ、論理グループＩＤ、タイプからなる情報（行）を追加する。

一方、リモートコピー情報変更部730が管理ソフト214からリモートコピーペアの解除要求を受信した場合には、ステップ2003でリモートコピー情報変更部730は、ペア情報テーブル422を検索して、コピー元ボリュームＩＤ及びコピー先ボリュームＩＤが、パラメータとして管理ソフト214から受け取ったコピー元ボリュームのＩＤ及びコピー先ボリュームのＩＤと一致する行を見つけ、この行の情報をペア情報テーブル422から削除する。

リモートコピー情報変更部730がステップ2002若しくはステップ2003を実行すると、ペア情報テーブル422の内容が変更される。そして以降は変更後のペア情報テーブル422の内容に基づいて、前述のライトデータ受領部412、ライト実行部413、リモートコピー部414、アービトレータ416の処理が実行されることとなる。従って、リモートコピー情報変更部730によってペア情報テーブル422が書き換えられることにより、第1正記憶装置120、第2正記憶装置120、第1副記憶装置130、及び第2副記憶装置130において実行される処理が変更されることとなる。

図22に戻り、ステップ1902で管理ソフト214は、第1正記憶装置120及び第２正記憶装置120のペア情報テーブル422を、管理ネットワーク150を介して参照し、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間の同期リモートコピーペアのペア状態がＤｕｐｌｅｘへと遷移するまで待つ。

当該同期リモートコピーペアのペア状態がDuplex状態となったら、続いてステップ1903で管理ソフト214は、正記憶装置内移行先ボリューム2103をコピー元と副記憶装置内移行先ボリューム2104をコピー先とする非同期リモートコピーペアを定義するための指示を、第２正記憶装置120及び第2副記憶装置130へ送る。この指示は第2正記憶装置120及び第2副記憶装置130各々のリモートコピー情報変更部730によって受信され、図23を用いて説明した処理により、非同期リモートコピーペアが定義される。

ステップ1904で管理ソフト214は、第2正記憶装置120及び第2副記憶装置130のペア情報テーブル422を管理ネットワーク150を介して参照し、正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104の間の非同期リモートコピーペアのペア状態がＤｕｐｌｅｘへと遷移するまで待つ。

次に、ステップ1905で管理ソフト214は、正ホスト110に対して正記憶装置内移行元ボリューム2101へのI/O要求の発行を停止するよう指示し、これに基づいて正ホスト110が正記憶装置内移行元ボリューム2101へのI/O要求の発行を停止する。

次にステップ1906で管理ソフト214は、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間の同期リモートコピーペアを解除するための指示を、第1正記憶装置120及び第2正記憶装置120へ送る。この指示を受信した第1正記憶装置120及び第2正記憶装置120では、各正記憶装置内のリモートコピー情報変更部730が図23のステップ2003に示す処理を実行することにより、管理ソフト214から指定された同期リモートコピーペアを解除する。

ステップ1907で管理ソフト214は、正ホスト110に対して、正ホスト110が持つボリューム管理テーブル中(図示せず)にI/O要求の発行先として登録されている正記憶装置内移行元ボリューム2101のボリュームIDを正記憶装置内移行先ボリューム2103のボリュームIDへ変更するよう指示する。正ホスト110はこの指示に基づいてボリュームIDを更新し、正記憶装置内移行元2101に代わり正記憶装置内移行先ボリューム2103にＩ／Ｏ要求の発行先を変更して、I/O要求の発行を再開する。

ステップ1908で管理ソフト214は、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102間の非同期リモートコピーペアを解除するための指示を、第１正記憶装置120及び第1副記憶装置130へ送る。この指示を受信した第1正記憶装置120及び第1副記憶装置130では、各記憶装置内のリモートコピー情報変更部730が、図23のステップ2003に示す処理を実行することにより、管理ソフト214から指定された非同期リモートコピーペアを解除する。

以上のようにして、ある正記憶装置120と副記憶装置130間に定義されている非同期リモートコピーペアを、正サイトから副サイトへのリモートコピー処理を停止することなく、かつ、MNコンシステンシグループ2100内における書き込み順序の整合性を維持しながら、異なる正記憶装置120と副記憶装置130間の非同期リモートコピーペアとなるよう、移行することができる。
尚ステップ1901から1904の間に、第1正記憶装置120が正ホスト110から正記憶装置内移行元ボリューム2101に対するライト要求300を受け付けた場合には、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102間の非同期リモートコピーペアのペア状態、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間の同期リモートコピーペアのペア状態、及び正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104間の非同期リモートコピーのペア状態は、いずれも、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ、Ｄｕｐｌｅｘ−ＰｅｎｄｉｎｇまたはＤｕｐｌｅｘ状態のいずれかにあるため、第1正記憶装置120は当該ライト要求300を受け付け、リモートコピー処理することができる。

そしてステップ1904の時点では、正ホスト110から正記憶装置内移行元ボリューム2101に対するライト要求が発行されると、第１正記憶装置120のライト実行部413によって正記憶装置内移行元ボリューム2101にライトデータ320が書き込まれる。同時に、ライト実行部413によって同期リモートコピー部710が呼び出されてライトデータ320を含むライト要求300が第1正記憶装置120から第2正記憶装置120へ送信されると共に、非同期リモートコピー部７２０の更新情報作成部７２７が呼び出され、非同期リモートコピー処理によって、ライトデータ320が副記憶装置内移行元ボリューム2102にも書き込まれる。第1正記憶装置120の同期リモートコピーからライト要求300を受領する第2正記憶装置120では、ライト実行部413によって正記憶装置内移行先ボリューム2103にライトデータ320が書き込まれる。更に第2正記憶装置120では、第1正記憶装置120から受信したライト要求300に基づき非同期リモートコピー部720の更新情報作成部727が呼び出され、以降上述の非同期リモートコピー処理によって、ライトデータ320が副記憶装置内移行先ボリューム2104にも書き込まれる。
また、ステップ1905実行後には、正記憶装置内移行元ボリューム2101に対するI/O要求は発行されないので、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間におけるデータのコピー処理や正記憶装置内移行元ボリューム2101及び副記憶装置内移行元ボリューム2102間のデータのコピー処理は行われない。以降は、正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104間の非同期リモートコピーペアについての非同期リモートコピー処理が実行されることになる。

尚、図２１及び図２２を用いて説明した例では、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間のリモートコピー方式として、同期リモートコピーを用いたが、非同期リモートコピーを用いても本実施例は実現可能である。係る場合の処理の一例を、同期リモートコピー方式が用いられる上述の例との差分のみ以下に説明する。

まず図２２のステップ1901において、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間に非同期リモートコピーペアを定義するための指示が発行される。そしてステップ1902で管理ソフト214は、ステップ1901において定義した非同期リモートコピーペアのペア状態がDuplexになるまで待つ。

また、ステップ1906においては、まず管理ソフト214が、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間の非同期リモートコピーペアのペア状態をSuspendにするよう指示を発行する。

この指示を受信したこの指示を受信した第1正記憶装置120では、データ転送部722によって、第1正記憶装置120の更新情報記憶部426に格納されている正記憶装置内移行元ボリューム2101に関する未転送の更新情報600が、第2正記憶装置120へと転送される。そして当該未転送の更新情報600を第1正記憶装置120から第２正記憶装置120へ転送し終えたら、第1正記憶装置120は、Ｓｕｓｐｅｎｄ指示を示す空の更新情報600（ライトデータ320などを含まない）を転送し、第２正記憶装置120へＳｕｓｐｅｎｄを知らせる。続けて、第1正記憶装置120は、ペア情報テーブル422に登録されている当該非同期リモートコピーペアのペア状態をSuspendにする。第２正記憶装置120では、Ｓｕｓｐｅｎｄ指示を示す空の更新情報600を検出すると、ペア情報テーブル422に登録されている当該非同期リモートコピーペアのペア状態をSuspendにする。このペア情報テーブル422の更新処理は、たとえば各記憶装置が有するリモートコピー情報変更部730によって実行される。以上の処理によって、非同期リモートコピーペアをＳｕｓｐｅｎｄする。

管理ソフト214が第1正記憶装置120及び第２正記憶装置120のペア情報テーブル422を、管理ネットワーク150を介して参照し、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間の非同期リモートコピーペアのペア状態をSuspendになったことを確認したら、管理ソフト214はこの非同期リモートコピーペアを解除するための指示を発行する。

これ以外の処理は、同期リモートコピー方式が用いられる場合と同様である。

実施例１では、正記憶装置内移行先ボリューム2103を含む論理グループ440と副記憶装置内移行先ボリューム2104を含む論理グループ440が、非同期リモートコピーペアの移行処理の前に既に、正記憶装置内移行元ボリューム2101を含む論理グループ440及び副記憶装置内移行元ボリューム2102を含む論理グループ440が属するＭＮコンシステンシグループ2100と同じMNコンシステンシグループに属することを前提としてきた。

そこで、本実施形態では、正記憶装置内移行先ボリューム2103を含む論理グループ440や副記憶装置内移行先ボリューム2104を含む論理グループ440が、非同期リモートコピーペアの移行処理を開始する段階ではまだ、正記憶装置内移行元ボリューム2101を含む論理グループ440及び副記憶装置内移行元ボリューム2102を含む論理グループ440が属するＭＮコンシステンシグループ2100には含まれていない場合の、非同期リモートコピーペアの移行手順を説明する。

尚、以降の説明では実施例１との差異点を主に説明する。以降の説明で触れなかった構成、処理は実施例1と同様であるものとする。

図24に、本実施形態における非同期リモートコピーペアの移行処理の一例を示す。図24に示す処理は、図22に示す処理の一部に変更を加えたものである。

尚、図24に示す処理は、正ホスト110が有する管理ソフト214が実行する処理として、以降の説明を行うが、ホストではなく記憶装置が係る処理を実行するための機能をメモリ122に備えていて、記憶装置がこの機能を実行することにより行われることとしても良い。また副ホスト140が有する管理ソフト214や、管理ネットワーク150に接続される管理計算機（図示せず）が有する管理ソフトによって実行されるものとしても良い。

実行時にパラメータとして管理ソフト214は、正記憶装置内移行元ボリューム2101のＩＤ、正記憶装置内移行元ボリューム2102を含む論理グループのＩＤ、正記憶装置内移行先ボリューム2103のＩＤ、正記憶装置内移行先ボリューム2103を含む論理グループのＩＤ、副記憶装置内移行元ボリューム2102のＩＤ、副記憶装置内移行元ボリューム2102を含む論理グループのＩＤ、副記憶装置内移行先ボリューム2104のＩＤ、副記憶装置内移行先ボリューム2104を含む論理グループのＩＤ、正記憶装置内移行元ボリューム2101を有する第1正記憶装置120のＩＤ、正記憶装置内移行先ボリューム2103を有する第2正記憶装置120のＩＤ、副記憶装置内移行元ボリューム2102を有する第1副記憶装置のＩＤ、副記憶装置内移行先ボリューム2104を有する第2副記憶装置のＩＤ、及び正記憶装置内移行元ボリューム2101及び副記憶装置内移行元ボリューム2102が属するMNコンシステンシグループ2100のＭＮＣＴＧＩＤを受け取る。

ステップ1901からステップ1904までは、図22に示したものと同一である。

本実施形態ではステップ1904の後に、ステップ2501として、管理ソフト214が、正記憶装置内移行先ボリューム2103が属する論理グループ440と副記憶装置内移行先ボリューム2104が属する論理グループ440をＭＮコンシステンシグループ2100に追加するための指示を、全ての正記憶装置120、及び、副記憶装置130のリモートコピー情報変更部７３０に発行する。この時、パラメータとして管理ソフト214は、ＭＮＣＴＧＩＤ、副記憶装置内移行先ボリューム2104が属する論理グループ440のＩＤ、副記憶装置内移行先ボリューム2104を有する第2副記憶装置130のＩＤを送信する。この指示を受信したリモートコピー情報変更部730の処理については後述する。

ステップ2501の後に実行されるステップ1905からステップ1908に関しては図22に示す処理と同様である。

ステップ1908の後管理ソフト214はステップ2502として、管理ネットワーク150を介して第１正記憶装置120のペア情報テーブル422の内容を参照し、ステップ2503で正記憶装置内移行元ボリューム2101を含んでいた論理グループ440に含まれる他のボリューム442がまだ存在するかどうかを調べる。

ステップ2503で他のボリューム442が存在しない場合（yesの場合）にはステップ2504に進み、ステップ2503で他のボリュームが存在する場合（noの場合）にはステップ2504はスキップして処理が終了する。

ステップ2504で管理ソフト214は、正記憶装置内移行元ボリューム2101を含んでいた論理グループ440と副記憶装置内移行元ボリューム2102を含んでいた論理グループ440をＭＮコンシステンシグループ2100から除くための指示を、全ての正記憶装置120、及び、副記憶装置130のリモートコピー情報変更部７３０へと発行する。このとき当該リモートコピー情報変更部730には、パラメータとして、正記憶装置内移行元ボリューム2101を含んでいた論理グループ440のＩＤ、副記憶装置内移行元ボリューム2102を含んでいた論理グループ440のＩＤ、正記憶装置内移行元ボリューム2101を有する第1正記憶装置のＩＤと、副記憶装置内移行元ボリューム2102を有する第1副記憶装置のＩＤを渡す。この指示を受信したリモートコピー情報変更部730の処理については後述する。そして管理ソフト214は処理を終了する。

次に図25を用いて、リモートコピー情報変更部730の処理の他の一例を説明する。図25に示す処理は、図24のステップ2501、ステップ2504で管理ソフト214から発行される指示に対する処理の一例であり、リモートコピー情報変更部730は論理グループ440をMNコンシステンシグループに追加するための指示を受信すると図25のステップ2601の処理を、MNコンシステンシグループから論理グループ440を削除するための指示を受信すると図25のステップ2602の処理を実行する。

ステップ2601ではリモートコピー情報変更部730は、MNCTGテーブル424に、パラメータとして渡されるＭＮＣＴＧＩＤと論理グループＩＤ、記憶装置ＩＤを追加する。

一方ステップ2602ではリモートコピー情報変更部730は、パラメータとして渡される論理グループＩＤ、記憶装置ＩＤをキーとしてMNCTGテーブル424を検索し、この論理グループID及び記憶装置IDを有する行をＭＮＣＴＧテーブル424から削除することで、ＭＮコンシステンシグループから指定された論理グループ440を除く。

以上に述べた処理によって、ＭＮコンシステンシグループに含まれていない論理グループへの非同期リモートコピーペアの移行が可能となる。また、非同期リモートコピーペアの移行前に副記憶装置内移行元ボリュームを含んでいた論理グループを、移行後にはＭＮコンシステンシグループに含めておく必要がなくなった場合には、当該論理グループを当該MNコンシステンシグループから取り除くことができる。

尚、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間のリモートコピー方式として、非同期リモートコピーを用いても良いことは実施例１と同様である。

次に本発明の他の実施形態として、副記憶装置内移行先ボリューム2104へのデータのコピー処理を副記憶装置内移行元ボリューム2102から行うことで、非同期リモートコピーペアの移行に伴う非同期リモートコピーによるコピー量を低く抑える方法に付いて述べる。なお、実施例3では、実施例１と異なる部分に付いてのみ説明する。以降に説明する構成と処理以外の構成、処理に関しては実施例１と同一である。

図26は本実施形態に係る非同期リモートコピーペアの移行方法の一例を示す概念図である。本実施形態ではまず、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間で同期リモートコピーのペアを定義し、副記憶装置内移行元ボリューム2102と副記憶装置内移行先ボリューム2104の間にも同期リモートコピーペアを定義し、これらの同期リモートコピーペアについて同期リモートコピー処理を実行して、ペア状態をDuplex状態にする。この後、正ホスト110からの正記憶装置内移行元ボリューム2101に対するＩ／Ｏ要求の受け付けを一旦停止して、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102間の非同期リモートコピーペアのペア状態をSuspend状態にする。更に先に定義した正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間の同期リモートコピーペア及び副記憶装置内移行元ボリューム2102及び副記憶装置内移行先ボリューム2104間の同期リモートコピーペアを解除する。その後、正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104間に非同期リモートコピーペアを定義し、初期化コピーを実行することなく当該非同期リモートコピーペアのペア状態をDuplex状態とする。そして、正ホスト110のＩ／Ｏ要求の発行先を正記憶装置内移行元ボリューム2101から正記憶装置内移行先ボリューム2103へ変更して、正ホスト110から発行される正記憶装置内移行先ボリューム2103へのＩ／Ｏ要求の処理を開始する。最後に、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102間の非同期リモートコピーペアを解除する。

図27は、本実施形態における非同期リモートコピーペアの移行処理の一例を示す図である。尚図27に示す処理は、正ホスト110が有する管理ソフト214が実行する処理として、以降の説明を行うが、ホストではなく記憶装置が係る処理を実行するための機能をメモリ122に備えていて、正記憶装置120がこの機能を実行することにより行われることとしても良い。また副ホスト140が有する管理ソフト214や、管理ネットワーク150に接続される管理計算機（図示せず）が有する管理ソフト214によって実行されるものとしても良い。

ステップ2701で管理ソフト214は、正記憶装置内移行元ボリューム2101をコピー元と、正記憶装置内移行先ボリューム2103をコピー先とする同期リモートコピーペアを定義するための指示を、第1正記憶装置120及び第2正記憶装置120へ送る。またステップ2702で管理ソフト214は副記憶装置内移行元ボリューム2102をコピー元と、副記憶装置内移行先ボリューム2104をコピー先とする同期リモートコピーペアを定義するための指示を、第1副記憶装置130及び第2副記憶装置130へ送る。

ステップ2701若しくはステップ2702によって管理ソフト214から同期リモートコピーペアの定義指示を受けた各記憶装置では、リモートコピー情報変更部730が実行されて上述の図23で説明したステップ2001及びステップ2002の処理が実行される。

次に、ステップ2703で管理ソフト214は、第1正記憶装置120、第2正記憶装置120、第1副記憶装置130、及び第2副記憶装置130のペア情報テーブル422を、管理ネットワーク150を介して参照し、ステップ2701及びステップ2702で定義した同期リモートコピーペアのペア状態が、双方共にＤｕｐｌｅｘへと遷移するまで待つ。

ステップ2703で上述の2つの同期リモートコピーペアが共にDuplex状態となった場合、正ホスト110から正記憶装置内移行元ボリューム2101に対してライト要求300が発行されると、第1正記憶装置120ではライト実行部413によって正記憶装置内移行元ボリューム2101にライトデータ320が書き込まれると共に、同期リモートコピー部710が呼び出されて同期リモートコピー部710によってライトデータ320を含む正記憶装置内移行先ボリューム2103宛てのライト要求300が第2正記憶装置120に送信される。そして第2正記憶装置120では、ライト実行部413によって第1正記憶装置120から受信したライト要求300に基づきライトデータ320が正記憶装置内移行先ボリューム2103に書き込まれる。

更に第1正記憶装置120では、更新情報作成部721が起動されて、ライトデータ320を有する更新情報600が作成され、データ転送部722によって更新情報600が第1副記憶装置130に送信される。第1副記憶装置130では、ＭＮ反映部726及びライト実行部413により更新情報600中のライトデータ320が副記憶装置内移行元ボリューム2102に書き込まれる。更にライト実行部413によって同期リモートコピー部710が呼び出され、同期リモートコピー部710によってライトデータ320を含むライト要求300が第2副記憶装置130に送信される。そして、そして第2副記憶装置130では、ライト実行部413によって第1副記憶装置130から受信したライト要求300に基づきライトデータ320が副記憶装置内移行先ボリューム2104に書き込まれる。

図27に戻ってステップ2704で管理ソフト214は、正ホスト110に対して正記憶装置内移行元ボリューム2101に対するＩ／Ｏ要求の発行を停止するよう指示する。

そして、ステップ2705で管理ソフト214は、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102間の非同期リモートコピーペアのペア状態をＳｕｓｐｅｎｄにするよう、第1正記憶装置120に指示を発行する。

この指示を受信した第1正記憶装置120では、データ転送部722によって、第1正記憶装置120の更新情報記憶部426に格納されている正記憶装置内移行元ボリューム2101に関する未転送の更新情報600が、第1副記憶装置130へと転送される。そして当該未転送の更新情報600を第1正記憶装置120から第1副記憶装置130へ転送し終えたら、第1正記憶装置120は、Ｓｕｓｐｅｎｄ指示を示す空の更新情報600（ライトデータ320などを含まない）を転送し、第1副記憶装置130へＳｕｓｐｅｎｄを知らせる。続けて、第1正記憶装置120は、ペア情報テーブル422に登録されている当該非同期リモートコピーペアのペア状態をSuspendにする。第1副記憶装置130では、Ｓｕｓｐｅｎｄ指示を示す空の更新情報600を検出すると、ペア情報テーブル422に登録されている当該非同期リモートコピーペアのペア状態をSuspendにする。このペア情報テーブル422の更新処理は、たとえば各記憶装置が有するリモートコピー情報変更部730によって実行される。以上の処理によって、非同期リモートコピーペアをＳｕｓｐｅｎｄする。

ステップ2706で管理ソフト214は、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間の同期リモートコピーペアを解除するための指示を第1正記憶装置120及び第2正記憶装置120に送る。またステップ2707で管理ソフト214は副記憶装置内移行元ボリューム2102と副記憶装置内移行先ボリューム2104の間の同期リモートコピーペアを解除するための指示を第1副記憶装置130及び第2副記憶装置130に送る。

ステップ2706若しくはステップ2707によって管理ソフト214から同期リモートコピーペアの解除指示を受けた各記憶装置では、リモートコピー情報変更部730が実行されて上述の図23で説明したステップ2003の処理が実行される。
ステップ2708で管理ソフト214は、正記憶装置内移行先ボリューム2103をコピー元と、副記憶装置内移行先ボリューム2104をコピー先とする非同期リモートコピーペアを定義すると共に、当該非同期リモートコピーペア間で初期化コピーをすることなく、ペア状態をDuplex状態とするよう第2正記憶装置120と第2副記憶装置130に指示を発行する。この指示を受信した第2正記憶装置120と第2副記憶装置130では、各々リモートコピー情報変更部730によってペア情報テーブル422が変更されることになるが、この処理については後述する。

尚、ステップ2708において、上述の様に初期化コピーをせずに非同期リモートコピーペアをDuplex状態とするよう指示するのではなく、実施例1の図22のステップ1903及びステップ1904の様に、管理ソフト214は単に正記憶装置内移行先ボリューム2103と副記憶装置内移行先ボリューム2104の間の非同期リモートコピーペアを定義するよう指示し、当該非同期リモートコピーペアがDuplex状態となるのを待つこととしても良い。この場合には、指示を受けた第1正記憶装置120と第2副記憶装置130では実施例1と同様の処理が行われるので、初期化コピーが実行されることとなる。

ステップ2708によってペア情報テーブル422が変更されると、これに伴って第2正記憶装置120及び第2副記憶装置130の処理が変更される。具体的にはペア情報テーブル422の変更に伴い、変更後に正記憶装置内移行先ボリューム2103に対するライト要求300を受け付けると、第2正記憶装置120ではライト実行部413によって更新情報作成部721が起動され、ライト要求300に含まれるライトデータ320を有する更新情報600が作成されることになる。そしてこの更新情報600はデータ転送部722によって第2副記憶装置130に送信され、第2副記憶装置130のＭＮ反映部726及びライト実行部413によって副記憶装置内移行先ボリューム2104にライトデータ320が書き込まれることになる。

次にステップ2709で管理ソフト214は正ホスト110に対して、Ｉ／Ｏ要求の発行先を正記憶装置内移行元ボリューム2101から正記憶装置内移行先ボリューム2103へ変更するよう指示し、これに応じて正ホスト110は、ボリューム管理テーブルにＩ／Ｏ要求の発行先として登録されている正記憶装置内移行元ボリューム2101のＩＤを正記憶装置内移行先ボリューム2103のＩＤへと変更することで、Ｉ／Ｏ要求の発行先を変更する。そして、正ホスト110は、I/O要求を再開する。
最後に、ステップ2710で管理ソフト214は、正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102の間の非同期リモートコピーペアを解除するための指示を第1正記憶装置120と第1副記憶装置130へ送る。ステップ2710で非同期リモートコピーペアの解除指示を受けた各記憶装置では、リモートコピー情報変更部730が実行されて上述の図23で説明したステップ2003の処理が実行される。

図28はリモートコピー情報変更部730の処理の他の一例を示す図である。この図は、リモートコピー情報変更部730が図27のステップ2708の様に、リモートコピーペアを定義すると共に、当該リモートコピーペア間で初期化コピーを実行することなくペア状態をDuplex状態とするよう指示を受けた場合に実行される処理である。

リモートコピー情報変更部730はまずステップ2001を実行するが、この処理は図23に示すステップ2001と同様の処理である。

次にステップ2801では、リモートコピー情報変更部730は、ペア情報テーブル422に、コピー元ボリュームＩＤ、コピー先ボリュームＩＤ、ペア状態としてDuplex、相手記憶装置ＩＤ、論理グループＩＤ、タイプからなる情報（行）を追加し、処理を終了する。

以上で説明した様に、ステップ2703の後は、正記憶装置内移行元ボリューム2101に対して発行されたライト要求300中のライトデータ320は、同期リモートコピー処理によって正記憶装置内移行先ボリューム2103にコピーされると共に、非同期リモートコピー処理によって副記憶装置内移行元ボリューム2102へもコピーされる。更に副記憶装置内移行元ボリューム2102へコピーされたライトデータ320は同期リモートコピー処理によって副記憶装置内移行先ボリューム2104にもコピーされる。

そして、2704で正ホスト110が正記憶装置内移行元ボリューム2101に対するI/O要求の発行を停止し、ステップ2705によって正記憶装置内移行元ボリューム2101と副記憶装置内移行元ボリューム2102間の非同期リモートコピーもSuspend状態となって停止されているので、ステップ2708の時点では正記憶装置内移行先ボリューム2103のデータと副記憶装置内移行先ボリューム2104のデータとは既に等しくなっており、非同期リモートコピーを開始するに際して初期化コピーを実行する必要がない。従って本実施形態においては、実施例1におけるメリットに加え、初期化コピーを実行することなく、非同期リモートコピーペアのペア状態をDuplex状態とすることができ、正サイトと副サイト間の初期化コピーによる処理負荷を軽減できるというメリットがある。

尚、実施例3では、実施例１と同様、正記憶装置内移行元ボリューム2101が属する論理グループ440及び副記憶装置内移行元ボリューム2102が属する論理グループ440を含むMNコンシステンシグループ2100に、正記憶装置内移行先ボリューム2103が属する論理グループ440及び副記憶装置内移行先ボリューム2104が属する論理グループ440が既に含まれている場合を前提としている。

しかし、当該ＭＮコンシステンシグループ2100に正記憶装置内移行先ボリューム2103が属する論理グループ440若しくは副記憶装置内移行先ボリューム2104が属する論理グループ440が含まれていない場合にも、実施例2と同様の処理によって本発明を適用可能である。即ち図２７のステップ２７０８の後に、図24のステップ２５０１に相当する処理を実行し、図２７のステップ２７１０の後に図24のステップ２５０２から２５０４に相当する処置を実行することとすれば良い。

尚、図２６及び図２７を用いて説明した例では、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103間のリモートコピー方式、及び副記憶装置内移行元ボリューム2102と副記憶装置内移行先ボリューム2104間のリモートコピー方式として、同期リモートコピーを用いたが、非同期リモートコピーを用いても本実施例は実現可能である。かかる場合の処理の一例を、同期リモートコピー方式が用いられる上述の例との差分のみ以下に説明する。

まず図２７のステップ2701及び2702においては各々、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間、若しくは副記憶装置内移行元ボリューム2102と副記憶装置内移行先ボリューム2104の間に非同期リモートコピーペアを定義するための指示が発行される。そしてステップ2703で管理ソフト214は、ステップ2701及び2702において定義した非同期リモートコピーペアのペア状態がDuplexになるまで待つ。

また、ステップ2706においては、まず管理ソフト214が、正記憶装置内移行元ボリューム2101と正記憶装置内移行先ボリューム2103の間の非同期リモートコピーペアのペア状態をSuspendにするよう指示を発行する。

またステップ2707においては上述のステップ2706と同様の処理が副記憶装置内移行元ボリューム2102と副記憶装置内移行先ボリューム2104間の非同期リモートコピーペアに関して実行される。

本実施形態においては、実施例１から３において各々図２２、図２４、図２７を用いて説明した非同期リモートコピーペアの移行処理の、実行契機を説明する。非同期リモートコピーペアの移行処理は、管理者から、ホスト、記憶装置若しくは管理計算機上で実行される管理ソフト214に移行処理の契機が入力されたことを契機に実行されることとしても良いが、他にも以下の様なタイミングを実行契機とすることができる。

（1）Ｉ／Ｏ要求数に基づく契機
正記憶装置120が有するボリューム442に対し、正ホスト110から発行されるＩ／Ｏ要求の数に基づき、移行処理を実行することができる。即ち、各正記憶装置120が一定時間内に自身が有するボリューム442に対して発行されるＩ／Ｏ要求の数を監視し、監視結果を管理ソフト214に（即ちホストが有する管理ソフト214、管理計算機が有する管理ソフト214、若しくは自身が有する管理ソフト214）に通知する。管理ソフト214は、通知された監視結果が予め設定された閾値を超えているか否かをチェックし、閾値を超えている場合には閾値を超えている正記憶装置120が有するボリューム422をコピー元ボリュームとする非同期リモートコピーペアについて、実施例１から３で説明した移行処理の実行を開始する。

管理ソフト214が正記憶装置120に対するＩ／Ｏ要求の数に基づき移行処理の実行要否を決定することにより、記憶装置のＩ／Ｏ要求処理による負荷を分散することができる。

尚、以降、移行処理の契機については、上述の様に記憶装置から通知された情報と閾値とに基づいて管理ソフト214が決定するものとして説明するが、正記憶装置120が自身が取得した情報と閾値と監視結果を用いて移行処理の要否を判断し、判断結果に基づいて移行処理の実行を開始するよう管理ソフト214に通知することとしても良い。また管理ソフト214が定期的に記憶装置にアクセスして情報を取得し、取得した情報と閾値とに基づき移行処理の要否を判断するものとしても良い。これらのバリエーションについては、後述の他の契機についても同様に適用可能である。

（２）更新情報量に基づく契機
正記憶装置120の更新情報記憶部426に記憶されている更新情報600のデータ量に基づき移行処理を実行することもできる。即ち、各正記憶装置120が、自身の更新情報記憶部426に記憶されている更新情報600のデータ量を管理ソフト214に通知し、管理ソフト214は通知されたデータ量が予め定められた閾値を超えているか否かを判断して、閾値を超えている場合には閾値を超えている正記憶装置120が有するボリュームをコピー元ボリュームとする非同期リモートコピーペアについて、移行処理の実行を開始する。

これにより、記憶装置の非同期リモートコピー処理による負荷を分散することができる。

（３）ＣＰＵ121の負荷に基づく契機
記憶装置のＣＰＵ121の負荷に基づき移行処理を実行することもできる。即ち、各記憶装置が、自身のＣＰＵ121の稼働率を取得してこれを管理ソフト214に通知し、管理ソフト214は通知された稼働率が予め定められた閾値を超えているか否かを判断する。そして閾値を超えている場合には、管理ソフト214は閾値を超えている記憶装置120が有するボリュームをコピー元ボリューム若しくはコピー先ボリュームとする非同期リモートコピーペアについて、移行処理の実行を開始する。

これにより、記憶装置のＣＰＵ121の負荷を分散することができる。
（４）論理グループ440に属するボリューム数に基づく契機
論理グループ440に属するボリューム442数に基づき移行処理を実行することもできる。即ち、各記憶装置が、自身が有する各論理グループ440に属するボリューム442の数を管理ソフト214に通知し、管理ソフト214は通知されたボリューム数が予め定められた閾値を超えている論理グループ440が存在するか否かを判断する。そしてボリューム数が閾値を超えている論理グループ440が存在する場合には、管理ソフト214は閾値を超えている論理グループ440に属するボリューム442をコピー元ボリューム若しくはコピー先ボリュームとする非同期リモートコピーペアについて、移行処理の実行を開始する。

これにより、論理グループ440に属するボリューム442の数に制限を設けることができ、論理グループ440単位でアクセス処理負荷を分散することができる。
（５）電源の動作状態に基づく契機
記憶装置の電源の動作状態に基づき移行処理を実行することもできる。記憶装置の電源は通常二重化されている。そこで、二重化されている電源のうち一方が障害等により停止し、片方のみが動作している場合には、当該記憶装置が有するボリューム442をコピー元若しくはコピー先とする非同期リモートコピーペアを移行する。
具体的には、各記憶装置は自身が有する電源の状態をチェックしチェック結果を管理ソフト214に通知する。管理ソフト214は通知された情報に基づき、電源が片方しか動作していない記憶装置が存在するか否かを判断し、存在する場合には当該記憶装置が有するボリューム442をコピー元ボリューム若しくはコピー先ボリュームとする非同期リモートコピーペアの移行処理の実行を開始する。

これにより、電源の片方に障害が生じている記憶装置について、もう片方の電源が停止する前に当該記憶装置がコピー元若しくはコピー先となっている非同期リモートコピーペアを移行することができるので、電源障害に対する耐性を高めることができる。

（６）メモリ状態に基づく契機
記憶装置が有するメモリ122の状態に基づき移行処理を実行することもできる。記憶装置のメモリ122は通常二重化されている。そこで、二重化されているメモリ122のうち一方が障害等により停止し、片方のみで処理が実行されている場合には、当該記憶装置が有するボリューム442をコピー元若しくはコピー先とする非同期リモートコピーペアを移行する。
具体的には、各記憶装置は自身が有するメモリ122の動作状態をチェックしチェック結果を管理ソフト214に通知する。管理ソフト214は通知された情報に基づき、メモリ122が障害等により二重化されていない（片方のメモリしか動作していない）記憶装置が存在するか否かを判断し、存在する場合には当該記憶装置が有するボリューム442をコピー元ボリューム若しくはコピー先ボリュームとする非同期リモートコピーペアの移行処理の実行を開始する。

これにより、メモリ122の片方に障害が生じている記憶装置について、もう片方のメモリ122が停止する前に当該記憶装置がコピー元若しくはコピー先となっている非同期リモートコピーペアを移行することができるので、メモリ障害に対する耐性を高めることができる。

尚、移行処理の要否の決定に用いられる閾値については、利用者からの入力に基づき、管理ソフト214によって設定されるものとする。

実施例１から実施例３では、ホストから発行されるライト要求300にライト時刻310が含まれていたので、異なるホストから発行されるライト要求300間のライト順序も記憶装置が把握することができた。しかし、ライト要求300にライト時刻310を付与しないホストも存在する。そこで本実施例では、ライト要求300にライト時刻310を付与しないホストが情報処理システムに含まれる場合にも、複数の記憶装置をまたがって書き込み順序の整合性を維持するための手法を述べる。

図２９は記憶装置の他の一例を示す図である。図４に示す記憶装置との違いは、時刻配信部3001を制御部410に有することである。時刻配信部3001は、アービトレータ416と同様、各ＭＮコンシステンシグループに対して1つ動作すれば良く、時刻配信部3001はＭＮコンシステンシグループに属するボリューム442を有する複数の正記憶装置120、複数の副記憶装置130の内のいずれで動作しても良い。

以下には、時刻配信部3001の処理の一例を示す。

時刻配信部3001は、定期的にＭＮコンシステンシグループに属する論理グループ440が配置される記憶装置に対して時刻を割り当てる。

ステップ１：時刻配信部3001は、自身が担当するMNコンシステンシグループのMNCTGIDをキーとしてMNCTGテーブル424を検索し、当該MNコンシステンシグループに属する論理グループ440の論理グループID、当該論理グループ440が配置される記憶装置のIDの集合を得る。

ステップ２：次に時刻配信部3001は、ステップ１で得た論理グループＩＤで示される論理グループ440に属するボリューム442に対するライト要求300の処理を保留するためのメッセージを、当該論理グループ440を有する記憶装置へ発行する。

ステップ３：時刻配信部3001は、ライト要求300の処理を保留するためのメッセージを発行した発行先の記憶装置からの応答を待つ。

ステップ４：記憶装置からの応答を受信した時刻配信部3001は、ステップ１で得た記憶装置ＩＤによって示される記憶装置へ時刻情報を配信する。なお、この時刻情報とは、実時刻を示す情報であっても良いし論理時刻（前回時刻配信部3001から発行された時刻情報と今回発行される時刻情報との先後が分かる情報のこと。たとえばシーケンシャルな番号等が該当する）であっても良いが、同一値を有する時刻情報が各記憶装置へ発行される。

ステップ５：ステップ１で得た記憶装置IDによって示される記憶装置へライト要求300の処理の保留を解除するためのメッセージを発行する。

次に、時刻配信部3001から時刻情報を受信した記憶装置の処理の一例を説明する。ここで、記憶装置が時刻情報として時刻配信部3001から時刻Aを受信した場合を考える。この後記憶装置がホストからライト要求300を受信すると、このライト要求300に時刻配信部3001から受信した時刻Aをライト時刻320として付与する。この処理は、ライトデータ受領部412によって、図10に示すステップ901の後、ステップ902の前に実行されるものとする。尚、各記憶装置は、次に時刻配信部3001から新たな時刻が配信されるまでは、ライト要求300にこの時刻Ａを付与するものとし、次に時刻配信部3001から時刻Bが配信されると、ライト要求300に付与するライト時刻320を時刻Bに変更する。

以降各記憶装置では、時刻配信部3001から配信された時刻情報を、ライト時刻320として用いて、実施例１から３に示した処理が実行される。

この様に時刻配信部3001から同じMNコンシステンシグループに属する論理グループ440について配信される時刻情報を用いて、当該MNコンシステンシグループに属するボリューム442に対するライト要求300を処理することは、当該ＭＮコンシステンシグループに含まれる論理グループ間の同期ポイントとして時刻配信部3001から配信される時刻情報を用いることに相当するので、この同期ポイントを利用して当該MNコンシステンシグループ内で書き込み順序の整合性が維持することが可能となる。

また時刻配信部3001から配信される時刻情報をライト時刻320として用いることにより、ホストから発行されるライト要求300にライト時刻320が含まれていない場合にも、実施例１から３に示す処理と同様の処理が実行可能となり、非同期リモートコピーペアの移行処理も可能となる。

本発明が適用される情報処理システムの一例を示す図である。ホストの構成の一例を示す図である。ライト要求の一例を示す図である。記憶装置の構成の一例を示す図である。ペア情報テーブルの一例を示す図である。 SEQ#情報の一例を示す図である。更新情報の一例を示す図である。ＭＮＣＴＧテーブルの一例を示す図である。リモートコピー部の構成の一例を示す図である。ライトデータ受領部による処理の一例を示す図である。ライト実行部による処理の一例を示す図である。同期リモートコピー部による処理の一例を示す図である。更新情報作成部の処理の一例を示す図である。データ転送部の処理の一例を示す図である。更新情報受領部727の処理の一例を示す図である。Ａｓｙｎｃ反映部の処理の一例を示す図である。パージ部の処理の一例を示す図である。アービトレータの処理の一例を示す図である。ＭＮ反映部の処理の一例を示す図である。非同期リモートコピーペアの移行の一例を示す図である。非同期リモートコピーペアの移行方法の一例を示す図である。非同期リモートコピーペアの移行処理の一例を示すフローチャートである。リモートコピー情報変更部の処理の一例を示す図である。非同期リモートコピーペアの移行処理の他の一例を示すフローチャートである。リモートコピー情報変更部の処理の他の一例を示す図である。非同期リモートコピーペアの移行方法の他の一例を示す図である。非同期リモートコピーペアの移行処理の他の一例を示すフローチャートである。リモートコピー情報変更部の処理の他の一例を示す図である。記憶装置の他の構成例を示す図である。

符号の説明

110・・・正ホスト
120・・・正記憶装置
130・・・副記憶装置
140・・・副ホスト
214・・・管理ソフト
300・・・ライト要求
412・・・ライトデータ受領部
413・・・ライト実行部
414・・・リモートコピー部
416・・・アービトレータ
422・・・ペア情報テーブル
424・・・MNCTGテーブル
426・・・更新情報記憶部
430・・・SEQ#情報
440・・・論理グループ
442・・・ボリューム
600・・・更新情報
710・・・同期リモートコピー部
720・・・非同期リモートコピー部
730・・・リモートコピー情報変更部
740・・・形成コピー部

Claims

正サイトから副サイトへリモートコピーを行う計算機システムにおけるリモートコピーペアの移行方法であって、
前記正サイトは、移行元正記憶領域を含む複数の第1正記憶領域と該複数の第1正記憶領域を制御する第1正制御部を有する第1正記憶装置と、移行先正記憶領域を含む複数の第2正記憶領域と該複数の第2正記憶領域を制御する第2正制御部を有する第2正記憶装置とを有し、
前記副サイトは、移行元副記憶領域を含む複数の第1副記憶領域と該複数の第1副記憶領域を制御する第1副制御部を有する第1副記憶装置と、移行先副記憶領域を含む複数の第2副記憶領域と該複数の第2副記憶領域を制御する第2副制御部を有する第2副記憶装置とを有し、
前記移行元正記憶領域を含む複数の第1正記憶領域及び複数の第2正記憶領域と、前記移行元副記憶領域を含む複数の第1副記憶領域及び複数の第2副記憶領域の間には、複数の非同期リモートコピーペアが形成されており、
前記第1正制御部、前記第2正制御部、前記第1副制御部、及び前記第2副制御部は、前記移行元正記憶領域を含む複数の第1正記憶領域及び複数の第2正記憶領域に対して計算機が発行したライト要求の順序に従って、前記移行元副記憶領域を含む複数の第1副記憶領域及び複数の第2副記憶領域にライトデータのコピーが格納されるよう、前記複数の非同期リモートコピーペアに関する非同期リモートコピー処理を実行しており、
前記複数の非同期リモートコピーペアに関する非同期リモートコピー処理を実行しながら、
前記移行元正記憶領域に格納されているデータのコピーを前記移行先正記憶領域に格納するステップと、
前記移行元記憶領域に格納されているデータのコピーを、前記第2正記憶装置若しくは前記第1副記憶装置のいずれかを介して、前記移行先副記憶領域に格納するステップと、
前記移行先正記憶領域と前記移行先副記憶領域との間に形成された非同期リモートコピーペアと、前記複数の非同期リモートコピーペアに関して、前記第1正制御部、前記第2正制御部、前記第1副制御部、及び前記第2副制御部が、前記複数の第1正記憶領域及び前記複数の第2正記憶領域に対して計算機が発行したライト要求の順序に従って、前記複数の第1副記憶領域及び前記複数の第2副記憶領域にライトデータのコピーが格納されるよう非同期リモートコピー処理を実行するステップとを有し、
前記移行元正記憶領域と前記移行元副記憶領域間の非同期リモートコピーペアを前記移行先正記憶領域と前記移行先副記憶領域間の非同期リモートコピーペアに移行し、
前記移行元正記憶領域に格納されているデータのコピーを前記移行先正記憶領域に格納するステップは、前記移行元正記憶領域と前記移行先正記憶領域との間に非同期リモートコピーペアを形成するステップと、該非同期リモートコピーペア間で第1初期化コピーを実行するステップとを有し、
前記移行元正記憶領域に格納されているデータのコピーを前記移行先副記憶領域に格納するステップは、前記移行元副記憶領域と前記移行先副記憶領域との間に非同期リモートコピーペアを形成するステップと、該非同期リモートコピーペア間で第2初期化コピーを実行するステップとを有し、
更に、前記第1初期化コピー及び前記第2初期化コピーの後、前記計算機が前記移行元正記憶領域に対するライト要求の発行を停止するステップと、
前記計算機が前記移行元正記憶領域に対するライト要求の発行を停止した後に、前記移行元正記憶領域と前記移行元副記憶領域の間の非同期リモートコピーペアのペア状態をサスペンド状態に遷移させるステップと、
前記移行元正記憶領域と前記移行元副記憶領域との間の非同期リモートコピーペアのペア状態がサスペンド状態となった後に、前記移行元正記憶領域と前記移行先正記憶領域間の非同期リモートコピーペア、及び前記移行元副記憶領域と前記移行先副記憶領域間の非同期リモートコピーペアについて、ペア状態をサスペンドにした後に非同期リモートコピーペアを解除するステップと、
前記移行先正記憶領域と前記移行先副記憶領域との間で非同期リモートコピーペアを形成し、初期化コピーを実行することなく該非同期リモートコピーペアのペア状態をデュープレックス状態とするステップと、
前記計算機が、前記移行元正記憶領域に替えて、前記移行先正記憶領域にライト要求を発行するステップを有することを特徴とするリモートコピーペアの移行方法。
請求項１記載のリモートコピーペアの移行方法であって、
前記第1正制御部、前記第2正制御部、前記第1副制御部、及び前記第2副制御部は、コンシステンシグループに属する複数の正記憶領域及び複数の副記憶領域に関する非同期リモートコピー処理について、前記計算機が前記複数の正記憶領域に対して発行するライト要求の順序に従って、ライトデータのコピーが前記複数の副記憶領域に格納されるよう制御しており、
前記複数の第1正記憶領域、前記複数の第2正記憶領域、前記複数の第1副記憶領域、及び前記複数の第2副記憶領域は同じコンシステンシグループに属する記憶領域であることを特徴とするリモートコピーペアの移行方法。
請求項１記載のリモートコピーペアの移行方法であって、
前記第1正制御部、前記第2正制御部、前記第1副制御部、及び前記第2副制御部は、コンシステンシグループに属する複数の正記憶領域及び複数の副記憶領域に関する非同期リモートコピー処理について、前記計算機が前記複数の正記憶領域に対して発行するライト要求の順序に従って、ライトデータのコピーが前記複数の副記憶領域に格納されるよう制御しており、
前記リモートコピーペアの移行方法は更に、前記移行先正記憶領域と前記移行先副記憶領域との間で非同期リモートコピーペアを形成した後に、前記移行先正記憶領域と前記移行先副記憶領域を、前記移行元正記憶領域と前記移行元副記憶領域が属しているコンシステンシグループと同じコンシステンシグループに追加するステップを有することを特徴とするリモートコピーペアの移行方法。