JP5147570B2 - ストレージシステム及びリモートコピー復旧方法 - Google Patents

ストレージシステム及びリモートコピー復旧方法 Download PDF

Info

Publication number
JP5147570B2
JP5147570B2 JP2008173513A JP2008173513A JP5147570B2 JP 5147570 B2 JP5147570 B2 JP 5147570B2 JP 2008173513 A JP2008173513 A JP 2008173513A JP 2008173513 A JP2008173513 A JP 2008173513A JP 5147570 B2 JP5147570 B2 JP 5147570B2
Authority
JP
Japan
Prior art keywords
storage device
logical volume
write data
volume
journal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008173513A
Other languages
English (en)
Other versions
JP2010015301A (ja
Inventor
信太郎 井上
勝博 奥元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008173513A priority Critical patent/JP5147570B2/ja
Priority to US12/194,625 priority patent/US7996637B2/en
Priority to EP09250028.9A priority patent/EP2148278B1/en
Publication of JP2010015301A publication Critical patent/JP2010015301A/ja
Priority to US13/177,080 priority patent/US8117411B2/en
Priority to US13/355,617 priority patent/US8296537B2/en
Priority to US13/623,253 priority patent/US8452933B2/en
Application granted granted Critical
Publication of JP5147570B2 publication Critical patent/JP5147570B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082—Data synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ストレージシステム及びリモートコピー復旧方法に関し、例えば３ＤＣ（Data Center）システムに適用して好適なものである。
従来、ストレージシステムに対する被災対策（ディザスタリカバリ）として、あるサイトにおいて運用されているストレージ装置が提供する正論理ボリュームに書き込まれたデータを、これと遠隔したサイトに設置されたストレージ装置が提供する副論理ボリュームにコピー（以下、これをリモートコピーと呼ぶ）するようにしてバックアップする技術が知られている。
また近年では、運用されている第１のサイトに設置された第１のストレージ装置が提供する正論理ボリュームに書き込まれたデータを、第２のサイトに設置された第２のストレージ装置を介して第３のサイトに設置された第３のストレージ装置に転送し、この第３のストレージ装置において、当該第３のストレージ装置が提供する副論理ボリュームにかかるデータをコピーする３ＤＣシステムと呼ばれるストレージシステムに関する技術も多く提案されている。
例えば特許文献１には、かかる３ＤＣシステムにおいて、中間サイト（第２のサイト）において転送対象のデータを保持することなく、第３のストレージ装置に転送する技術が開示されている。この方法によれば、第２のストレージ装置に正論理ボリュームと同じ容量の論理ボリュームを用意する必要がなく、その分、安価に３ＤＣシステムを構築し得る利点がある。
特開２００５−３０９５５０号公報
ところで、３ＤＣシステムでは、例えば第２及び第３のストレージ装置間を接続するネットワークに障害が発生した場合、当該ネットワークが障害から回復した後に第１のストレージ装置内のリモートコピー対象のデータをすべて第２のストレージ装置を介して第３のストレージ装置に転送していた。このため、かかるネットワーが障害から復旧してから３ＤＣシステムの運用を通常の運用に戻すまでに相当の時間を要する問題があった。
本発明は以上の点を考慮してなされたもので、リモートコピーの障害からの復旧時間を短時間で行い得るストレージシステム及びリモートコピー復旧方法を提案しようとするものである。
かかる課題を解決するため本発明においては、ストレージシステムにおいて、第１のサイトに設置され、第１の論理ボリュームを提供する第１のストレージ装置と、第２のサイトに設置され、前記第１のストレージ装置と第１のネットワークを介して接続され、前記第１の論理ボリュームとコピーペアを形成する仮想ボリュームと、第２の論理ボリュームを提供する第２のストレージ装置と、第３のサイトに設置され、前記第２のストレージ装置と第２のネットワークを介して接続され、前記第１の論理ボリュームのバックアップとなる第３の論理ボリュームを提供する第３のストレージ装置とを備え、前記第１の論理ボリュームと前記仮想ボリュームによる前記コピーペアが同期状態の場合に、前記第１のストレージ装置は、前記第１の論理ボリュームに書き込まれたライトデータを前記第２のストレージ装置の前記仮想ボリュームヘ送信し、前記第２のストレージ装置は、受信した前記ライトデータを前記第２の論理ボリュームに一時的に格納し、前記ライトデータを前記第２の論理ボリュームからリードして前記第３のストレージ装置に転送するように制御し、前記第３のストレージ装置は、前記第２のストレージ装置を介して転送された前記ライトデータを前記第３の論理ボリューム内の前記第１の論理ボリュームと対応するアドレスに書き込み、前記第２のストレージ装置と前記第３のストレージ装置間の前記第２のネットワークにおける障害を検出した場合には、前記第１の論理ボリュームと前記仮想ボリュームによる前記コピーペアの同期状態を解除して、前記第１のストレージ装置から前記第２のストレージ装置の前記仮想ボリュームへのライトデータの送信を中断し、前記第１のストレージ装置は、前記第１の論理ボリューム内の同期状態解除後にライトデータが格納されたアドレスを管理する第１の管理情報を管理し、前記第２のストレージ装置は、前記第１のストレージ装置から送信され未だ前記第２の論理ボリュームに転送されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理し、前記第３のストレージ装置は、前記第２のストレージ装置から送信され未だ第３の論理ボリュームに格納されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理する第３の管理情報を管理し、前記第２のネットワークが障害から回復した場合には、前記第１乃至第３の管理情報を第１のストレージ装置に集約し、集約された管理情報に基づき、前記第１の論理ボリュームに格納されたデータのうち、前記第３の論理ボリュームに書き込まれるべきデータを前記第１のストレージ装置から前記第２のストレージ装置を介して前記第３のストレージ装置に転送することを特徴とする。
また本発明においては、第１のストレージ装置が提供する第１の論理ボリュームに書き込まれたライトデータを第２のストレージ装置の前記第１の論理ボリュームとコピーペアを形成する仮想ボリュームと第２の論理ボリュームを提供する第２のストレージ装置の前記仮想ボリュームへ送信し、前記第２のストレージ装置は、受信した前記ライトデータを前記第２の論理ボリュームに一時的に格納し、該第２の論理ボリュームからリードした前記ライトデータを第３のストレージ装置に転送し、前記第３のストレージ装置において、前記ライトデータを前記第３の論理ボリューム内の前記第１の論理ボリュームと対応するアドレスに書き込むストレージシステムにおけるリモートコピー復旧方法において、前記第２のストレージ装置と前記第３のストレージ装置間の第２のネットワークにおける障害を検出した場合には、前記第１の論理ボリュームと前記仮想ボリュームによる前記コピーペアの同期状態を解除して、前記第１のストレージ装置から前記第２のストレージ装置の前記仮想ボリュームへのライトデータの送信を中断して、前記第１のストレージ装置は、前記第１の論理ボリューム内の同期状態解除後にライトデータが格納されたアドレスを管理する第１の管理情報を管理し、前記第２のストレージ装置は、前記第１のストレージ装置から送信され未だ前記第２の論理ボリュームに転送されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理し、前記第３のストレージ装置は、前記第２のストレージ装置から送信され未だ第３の論理ボリュームに格納されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理する第３の管理情報を管理する第１のステップと、前記第２のネットワークが障害から回復した場合には、前記第１乃至第３の管理情報を第１のストレージ装置に集約し、集約された管理情報に基づき、前記第１の論理ボリュームに格納されたデータのうち、前記第３の論理ボリュームに書き込まれるべきデータを前記第１のストレージ装置から前記第２のストレージ装置を介して前記第３のストレージ装置に転送する第２のステップとを備えることを特徴とする。
本発明のストレージシステム及びリモートコピー復旧方法によれば、第１乃至第３のストレージ装置間におけるデータの転送を再開する際に、第１の論理ボリューム及び副論理ボリューム間の差分のみがコピーされるため、第１の論理ボリューム内のすべてのデータを副論理ボリュームにコピーする従来の方法と比して、リモートコピーを格段的に短時間で通常の状態に復旧させることができる。
本発明によれば、リモートコピーの障害からの復旧時間を短時間で行い得るストレージシステム及びリモートコピー復旧方法を実現できる。
以下図面について、本発明の一実施の形態を詳述する。
（１）本実施の形態によるストレージシステムの構成
図１は、本実施の形態によるストレージシステム１を示す。ストレージシステム１は、第１〜第３のサイト２Ａ〜２Ｃにそれぞれ設置された第１〜第３のホストコンピュータ３Ａ〜３Ｃ及び第１〜第３のストレージ装置４Ａ〜４Ｃを含んで構成される。第１〜第３のサイト２Ａ〜２Ｃは、例えば大学や企業などの組織によって運営されるコンピュータ施設や、インターネット上のＷｅｂサーバの運営、ＡＳＰ（Application Service Provider）の運用などが行われているデータセンタなどである。このストレージシステム１は、地震、火災、台風、洪水、落雷又はテロなどに対するディザスタリカバリのために構築される。
３つのサイトのうちの第１のサイト２Ａには、第１のホストコンピュータ３Ａ及び第１のストレージ装置４Ａが設置される。また第２のサイト２Ｂには、第２のホストコンピュータ３Ｂ及び第２のストレージ装置４Ｂが設置され、第３のサイト２Ｃには、第３のホストコンピュータ３Ｃ及び第３のストレージ装置４Ｃが設置される。
第１のサイト２Ａに設置された第１のホストコンピュータ３Ａ及び第１のストレージ装置４Ａは業務用として運用され、第３のサイト２Ｃに設置された第３のホストコンピュータ３Ｃ及び第３のストレージ装置４Ｃは、バックアップ用として運用される。また、第２のサイト２Ａに設置された第２のホストコンピュータ３Ｂ及び第２のストレージ装置４Ｂは、第１及び第３のストレージ装置４Ａ，４Ｃ間におけるデータ転送時の中継用として用いられる。
第１〜第３のサイト２Ａ〜２Ｃにそれぞれ設置された第１〜第３のホストコンピュータ３Ａ〜３Ｃは、ネットワーク５を介して通信可能に接続される。このネットワーク５は、具体的にはＩＰ（Internet Protocol）ネットワークから構成されるＷＡＮ（Wide Area Network）などである。
また第１及び第２のストレージ装置４Ａ，４Ｂ間、並びに、第２及び第３のストレージ装置４Ｂ，４Ｃ間も、それぞれネットワーク６Ａ，６Ｂを介して接続される。この場合におけるネットワーク６Ａ，６Ｂとしては、後述する第２及び第３のストレージ装置４Ｂ，４Ｃ間でのリモートコピー時におけるコピーデータの送信のために、例えばＡＴＭ（Asynchronous Transfer Mode）やファイバーチャネルなどの高速かつ大容量のネットワークが採用される。
第１〜第３のホストコンピュータ３Ａ〜３Ｃは、それぞれＣＰＵ（Central Processing Unit）及びメモリ等のハードウェア資源を備えたコンピュータ装置であり、例えばパーソナルコンピュータや、ワークステーション、メインフレームなどから構成される。
第１〜第３のストレージ装置４Ａ〜４Ｃは、図２に示すように、それぞれ複数のハードディスク装置１０から構成されるディスクアレイ１１部と、これらハードディスク装置１０に対するデータの入出力を制御するコントロール部１２とから構成される。
ハードディスク装置１０は、例えばＦＣ（Fibre channel）ディスク等の高価なディスク又はＳＡＴＡ（Serial AT Attachment）ディスク等の安価なディスクから構成される。１又は複数のハードディスク装置１０が提供する記憶領域上に１又は複数の論理的なボリューム（以下、これを論理ボリュームと呼ぶ）ＶＯＬが作成される。そしてデータは、この論理ボリュームＶＯＬ内に所定大きさのブロック（以下、これを論理ブロックと呼ぶ）単位で記憶される。
各論理ボリュームＶＯＬには、それぞれ固有の識別子（以下、これを論理ボリューム番号と呼ぶ）が付与される。本実施の形態の場合、データの入出力は、この論理ボリューム番号と、各論理ブロックにそれぞれ付与されるその論理ブロックに固有の番号（ＬＢＡ：Logical Block Address）とを組み合わせたものをアドレスとして、当該アドレスを指定して行われる。
コントロール部１２は、複数のチャネルアダプタ２０、接続部２１、共有メモリ２２、キャッシュメモリ２３及び複数のディスクアダプタ２４を備えて構成される。
各チャネルアダプタ２０は、それぞれマイクロプロセッサ、メモリ及び通信インタフェース等を備えたマイクロコンピュータシステムとして構成されており、自ストレージ装置と接続された第１〜第３のホストコンピュータ３Ａ〜３Ｃや、ネットワークを介して自ストレージ装置と接続された第１〜第３のストレージ装置４Ａ〜４Ｃとの間の通信インタフェースとして機能する。
接続部２１は、チャネルアダプタ２０、共有メモリ２２、キャッシュメモリ２３及びディスクアダプタ２４と接続される。チャネルアダプタ２０、共有メモリ２２、キャッシュメモリ２３及びディスクアダプタ２４間でのデータやコマンドの授受は、この接続部２１を介して行われる。接続部２１は、例えば高速スイッチングによりデータ伝送を行う超高速クロスバススイッチなどのスイッチ又はバス等で構成される。
共有メモリ２２は、チャネルアダプタ２０及びディスクアダプタ２４により共有される記憶メモリである。共有メモリ２２には、そのストレージ装置の構成情報などの情報が格納される。後述するボリューム情報テーブル３０（図３）、ペア情報テーブル３１（図４）及びジャーナルグループ設定情報テーブル３２（図５）もこの共有メモリ２２に格納される。
キャッシュメモリ２３も、チャネルアダプタ２０及びディスクアダプタ２４により共有される記憶メモリである。このキャッシュメモリ２３は、主として論理ボリュームＶＯＬに入出力するデータを一時的に記憶するために利用される。
各ディスクアダプタ２４は、マイクロプロセッサやメモリ等を備えたマイクロコンピュータシステムとして構成され、各ハードディスク装置１０との通信時におけるプロトコル制御を行うインタフェースとして機能する。これらディスクアダプタ２４は、例えばファイバーチャネルケーブルを介して対応するハードディスク装置１０と接続されており、ファイバーチャネルプロトコルに従ってこれらハードディスク装置１０との間のデータの授受を行う。
（２）本ストレージシステムにおけるリモートコピーの流れ
次に、図１を用いて、本ストレージシステム１におけるリモートコピーの流れについて説明する。なお、以下においては、第１のストレージ装置４Ａ内に第１及び第２の論理ボリュームＶＯＬ１，ＶＯＬ２が設けられており、第１のホストコンピュータからのデータは第１の論理ボリュームＶＯＬ１に読み書きされるものとする。つまり本ストレージシステム１では、第１の論理ボリュームＶＯＬ１が３ＤＣシステムにおける正論理ボリュームとなる。
また第２のストレージ装置４Ｂ内には、第１の論理ボリュームＶＯＬ１とコピーペアに設定された、実体を有さない仮想的な論理ボリューム（以下、これを仮想ボリュームと呼ぶ）ＶＶＯＬと、後述するジャーナルが格納される第１のジャーナルボリュームＪＶＯＬ１とが設けられているものとする。なお、「コピーペア」とは、第１及び第２のサイト２Ａ，２Ｂ間や第２及び第３のサイト２Ｂ，２Ｃ間においてデータコピーを行うように設定されたコピー元の論理ボリュームＶＯＬ及びコピー先の論理ボリュームＶＯＬの対のことをいう。
さらに第３のストレージ装置４Ｃ内には、第１のジャーナルボリュームＪＶＯＬ１とコピーペアに設定された第２のジャーナルボリュームＪＶＯＬ２と、第１の論理ボリュームＶＯＬ１の最終的なバックアップボリューム（副論理ボリューム）である第３の論理ボリュームＶＯＬ３とが設けられているものとする。
まず、ジャーナルについて説明する。ジャーナルは、ある論理ボリュームに格納されたデータの更新があった場合に作成されるその論理ボリュームの更新履歴情報であり、更新データそのものと、その更新が行われた論理ボリューム内のアドレスや更新時間などの情報（以下、これを更新情報と呼ぶ）とから構成される。
ある時点におけるコピー元の論理ボリュームのデータイメージをコピー先の論理ボリュームにコピー（以下、これを初期コピーと呼ぶ）しておき、これ以降、コピー元の論理ボリュームに対するデータの書き込みがある度に上述のジャーナルを作成し、作成したジャーナルをコピー先のストレージ装置に転送する。
そしてコピー先のストレージ装置では、転送されてきたジャーナルを古いものから順番にコピー先の論理ボリュームに反映する。これによりコピー元の論理ボリュームのデータイメージが更新されたときに、これと同様にコピー先の論理ボリュームのデータイメージを更新することができる。なお「ジャーナルの反映」とは、ジャーナルに含まれるライトデータをコピー先の論理ボリューム内のそのジャーナルに含まれる更新情報により指定されたアドレス位置に書き込むことを意味する。
論理ボリュームと、その論理ボリュームに関するジャーナルが格納されるジャーナルボリュームとからなる論理ボリューム群をジャーナルグループと呼ぶ。本ストレージシステムでは、仮想ボリュームＶＶＯＬ及び第１のジャーナルボリュームＪＮＡＬ１によって１つのジャーナルグループＪＧ１が構成され、第２のジャーナルボリュームＪＮＡＬ２及び第３の論理ボリュームによってもう１つのジャーナルグループＪＧ２が構成される。
本ストレージシステム１におけるリモートコピーの流れについて説明を続ける。第１のストレージ装置４Ａは、第１のホストコンピュータ３Ａから第１の論理ボリュームＶＯＬ１に対するライト命令及びライトデータが与えられると（図１の矢印）、ライト命令において指定された第１の論理ボリュームＶＯＬ１内の当該ライト命令において指定されたアドレス位置にそのライトデータを格納する。また第１のストレージ装置４Ａは、かかるライトデータを、仮想ボリュームＶＶＯＬを書込み先とするライト命令と共に第２のストレージ装置４Ｂに転送する（図１の矢印ａ１）。
第２のストレージ装置４Ｂは、第１のストレージ装置４Ａから転送されるライト命令及びライトデータを受信すると、これらライト命令及びライトデータに基づいてジャーナルを作成し、作成したジャーナルを第１のジャーナルボリュームＪＶＯＬ１に格納する（図１の矢印ａ２）。また第２のストレージ装置４Ｂは、この後、第１のストレージ装置４Ａからのライト命令及びライトデータの転送とは非同期に、第１のジャーナルボリュームＪＶＯＬ１に格納されたジャーナルを第３のストレージ装置４Ｃに送信する（図１の矢印ａ３）。
第３のストレージ装置４Ｃは、第２のストレージ装置４Ｂから送信されるジャーナルを第２のジャーナルボリュームＪＶＯＬ２に格納する。また第３のストレージ装置４Ｃは、この後、第２のジャーナルボリュームＪＶＯＬ２に格納されたジャーナルを読み出し、当該ジャーナルを第３の論理ボリュームＶＯＬ３に反映する（図１の矢印ａ４）。
なお、第２のストレージ装置４Ｂの第１のジャーナルボリュームＪＶＯＬ１に格納されたジャーナルを第３のストレージ装置４Ｃの第２のジャーナルボリュームＪＶＯＬ２にリモートコピーする方式としては、第２のストレージ装置４Ｂが主体となって第３のストレージ装置４Ｃにジャーナルを転送する方式（以下、これをＰＵＳＨ方式と呼ぶ）と、第３のストレージ装置４Ｃが主体となって第２のストレージ装置４Ｂからジャーナルを読み出す方式（以下、これをＰＵＬＬ方式と呼ぶ）とがある。
ＰＵＬＬ方式では、第３のストレージ装置４Ｃから第２のストレージ装置４Ｂにジャーナルのリード命令（以下、これをジャーナルリード命令と呼ぶ）が与えられる。そして第２のストレージ装置４Ｂは、かかるジャーナルリード命令が第３のストレージ装置４Ｃから与えられると、第３のストレージ装置４Ｃに未転送のジャーナルを第１のジャーナルボリュームＪＶＯＬ１から読み出して第３のストレージ装置４Ｃに転送する。以下においては、第２のストレージ装置４Ｂから第３のストレージ装置４Ｃにジャーナルを転送する方式として、ＰＵＬＬ方式が採用されているものとする。
以上のようなリモートコピーを行うための手段として、第１〜第３のストレージ装置４Ａ〜４Ｃの共有メモリ２２には、それぞれ図３に示すようなボリューム情報テーブル３０及び図４に示すようなペア情報テーブル３１が格納され、第２及び第３のストレージ装置４Ｂ，４Ｃの共有メモリ２２には、さらに図５に示すようなジャーナルグループ設定情報テーブル３２が格納されている。
ボリューム情報テーブル３０（図３）は、第１〜第３のストレージ装置４Ａ〜４Ｃのチャネルアダプタ２０が自ストレージ装置内に設定された論理ボリュームＶＯＬを管理するためのテーブルであり、図３に示すように、論理ボリューム番号欄３０Ａ、ボリューム状態欄３０Ｂ及びペア番号欄３０Ｃから構成される。
そして論理ボリューム番号欄３０Ａには、その第１〜第３のストレージ装置４Ａ〜４Ｃ内の各論理ボリュームＶＯＬ（仮想ボリュームＶＶＯＬ及びジャーナルボリュームＬＶＯＬ１，ＪＶＯＬ２も含む）にそれぞれ付与された論理ボリューム番号が格納され、ボリューム状態欄３０Ｂには、対応する論理ボリュームＶＯＬの状態が格納される。またペア番号欄３０Ｃには、対応する論理ボリュームＶＯＬが他の論理ボリュームＶＯＬとコピーペアに設定されている場合に、そのコピーペアに対して付与された固有の識別子（以下、これをペア番号とよぶ）が格納される。なお、このペア番号は、図４について後述するペア情報テーブル３１のペア番号欄３１Ａに格納されたペア番号と同じものである。
従って、図３の例では、論理ボリューム番号が「１」の論理ボリュームＶＯＬ（仮想ボリュームＶＶＯＬ）の状態は「正常」であり、その論理ボリュームＶＯＬが他の論理ボリュームＶＯＬ（第１の論理ボリュームＶＯＬ１）と共にペア番号が「１」のコピーペアを構成していることが示されている。
ペア情報テーブル３１（図４）は、第１〜第３のストレージ装置４Ａ〜４Ｃ内のチャネルアダプタ２０が、上述のボリューム情報テーブル３０に登録された論理ボリュームＶＯＬが自ストレージ装置内又は他のストレージ装置内に設定された他の論理ボリュームＶＯＬとコピーペアに設定されている場合に、そのコピーペアを管理するためのテーブルである。このペア情報テーブル３１は、図５に示すように、ペア番号欄３１Ａ、ペア状態欄３１Ｂ、装置内論理ボリューム番号欄３１Ｃ、相手装置番号欄３１Ｄ、相手論理ボリューム番号欄３１Ｅ及び仮想化フラグ欄３１Ｆから構成される。
そしてペア番号欄３１Ａには、対応するコピーペアに付与されたペア番号が格納され、ペア状態欄３１Ｂには、対応するコピーペアの状態が格納される。なおコピーペアの状態としては、コピー元の論理ボリュームＶＯＬの更新内容が同期又は非同期にコピー先の論理ボリュームＶＯＬに反映される状態にある「同期」と、コピー元の論理ボリュームＶＯＬの更新内容をコピー先の論理ボリュームＶＯＬに反映するのを中断した状態にある「障害」と、「障害」の状態から「同期」の状態に遷移するためにコピー元の論理ボリュームＶＯＬ及びコピー先の論理ボリュームＶＯＬの差分をコピー先の論理ボリュームＶＯＬに反映する「同期中」とがある。
装置内論理ボリューム番号欄３１Ｃには、対応するコピーペアを構成するその第１〜第３のストレージ装置４Ａ〜４Ｃ内の論理ボリュームＶＯＬの論理ボリューム番号が格納される。また相手論理ボリューム番号欄３１Ｅには、装置内論理ボリューム番号欄３１Ｃに論理ボリューム番号が格納された論理ボリュームＶＯＬと共にそのコピーペアを構成する相手側の論理ボリューム（以下、これを相手側論理ボリュームと呼ぶ）ＶＯＬの論理ボリューム番号が格納され、相手装置番号欄３１Ｄには、その相手側論理ボリュームＶＯＬが設けられたストレージ装置（第１〜第３のストレージ装置４Ａ〜４Ｃ）に付与された固有の識別子（以下、これを装置番号と呼ぶ）が格納される。
さらに仮想化フラグ欄３１Ｆには、相手側論理ボリュームＶＯＬが仮想ホリュームであるか否かを表すフラグ（以下、これを仮想化フラグと呼ぶ）が格納される。この仮想化フラグは、相手側論理ボリュームＶＯＬが仮想ボリュームのときにはオン（ＯＮ）に設定され、相手側論理ボリュームが仮想ボリュームでない（つまり実体を有する通常の論理ボリューム）であるときにはオフ（０）に設定される。
従って、図４の例では、ペア番号が「１」のコピーペアは、コピー元の論理ボリュームＶＯＬ及びコピー先の論理ボリュームＶＯＬ間で同期がとれた状態（「同期」）にあり、相手側論理ボリュームＶＯＬは装置番号が「１」のストレージ装置内に設定された論理ボリューム番号が「１」の仮想ボリューム（仮想化フラグが「ＯＮ」）であることが分かる。
ジャーナルグループ設定情報テーブル３２（図５）は、第２及び第３のストレージ装置４Ｂ，４Ｃのチャネルアダプタ２０が自ストレージ装置内に設定されたジャーナルグループＪＧ１，ＪＧ２（図１）を管理するためのテーブルであり、図５に示すように、ジャーナルグループ番号欄３２Ａ、ソースボリューム欄３２Ｂ、ジャーナルボリューム番号欄３２Ｃ、パス障害検知監視時間欄３２Ｄ及びパス切れ検知時刻欄３２Ｅから構成される。
そしてジャーナルグループ番号欄３２Ａには、その第２又は第３のストレージ装置４Ｂ，４Ｃ内に設定された各ジャーナルグループＪＧ１，ＪＧ２にそれぞれ付与された固有の識別子（以下、これをジャーナルグループ番号と呼ぶ）が格納される。またジャーナルボリューム欄３２Ｃには、そのジャーナルグループＪＧ１，ＪＧ２に属するジャーナルボリューム（第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２）の論理ボリューム番号が格納され、ソースボリューム欄３２Ｂには、かかるジャーナルボリュームと共にそのジャーナルグループＪＧ１，ＪＧ２を構成する論理ボリュームＶＯＬの論理ボリューム番号が格納される。
さらにパス障害検知監視時間欄３２Ｄには、対応するジャーナルグループＪＧ１，ＪＧ２のジャーナルを送受信するパス（ネットワーク６Ａ，６Ｂ）に異常が発生してからチャネルアダプタ２０が当該パスに障害が発生したと認識するまでの時間（以下、これをパス障害検知監視時間と呼ぶ）が格納される。本ストレージシステム１では、第２及び第３のストレージ装置４Ｂ，４Ｃ間において相互にハートビート信号をやり取りしており、このハートビート信号を受信しなくなってからチャネルアダプタ２０がネットワーク６Ａ，６Ｂに障害が発生したと検知するまでの時間としてユーザが設定した時間がパス障害検知監視時間としてパス障害検知監視時間欄３２Ｄに格納される。さらにパス切れ検知時刻欄３２Ｅには、チャネルアダプタ２０がパス障害を検知した時刻（年／月／日／時／分）が格納される。
従って、図５の例では、ジャーナルグループ番号が「１」のジャーナルグループＪＧ１，ＪＧ２は、論理ボリューム番号が「１」の論理ボリュームＶＯＬと、論理ボリューム番号が「３」のジャーナルボリュームＪＶＯＬ１、ＪＶＯＬ２とから構成されており、そのパス障害検知監視時間として「５分」が設定されていることが示されている。
図６〜図１０は、以上のようなリモートコピー時における第１〜第３のストレージ装置４Ａ〜４Ｃ内での命令及びデータの流れを示す。図６〜図１０において、細い矢印は命令の流れを示し、太い矢印はデータの流れを示している。
また図６〜図１０において、命令受信処理プログラム４０、命令転送処理プログラム４１、ジャーナルリード処理プログラム４３、リストア処理プログラム４４及び差分化処理プログラム４５はそれぞれチャネルアダプタ２０に実装された処理プログラムであり、リード／ライト処理プログラム４２はディスクアダプタ２４に実装された処理プログラムである。
図６〜図１０において、ある処理プログラムを始点とする細い矢印が記載されている場合は、その処理プログラムから当該矢印の終点に向けて命令が発行されることを表し、処理プログラムを始点とし又は処理プログラム上を通過するように太い矢印が記載されている場合には、その処理プログラムに基づいてデータがその矢印に沿って転送されることを表す。
図６に示すように、第１のホストコンピュータ３Ａから第１のストレージ装置４Ａにライト命令及びライトデータが与えられた場合、これらライト命令及びライトデータを受信した第１のストレージ装置４Ａのチャネルアダプタ２０は、ライトデータをキャッシュメモリ２３に保存する（図６の矢印ａ１０）と共にライト命令を共有メモリ２２に保存する。
そしてキャッシュメモリ２３に格納されたライトデータは、その後、対応するディスクアダプタ２４によりキャッシュメモリ２３から読み出され、共有メモリ２２に保存された上述のライト命令において指定された論理ボリュームＶＯＬ１内の当該ライト命令において指定されたアドレス位置に格納される（図６の矢印ａ１１）。
またかかるライト命令及びライトデータを受信したチャネルアダプタ２０は、ボリューム情報テーブル３０（図３）及びペア情報テーブル３１（図４）を参照して、第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０に対してかかるライトデータを第２のストレージ装置４Ｂに転送すべき旨の命令（以下、これをデータ転送命令と呼ぶ）を送信する（図６の矢印ａ１２）。
そしてかかるデータ転送命令を受信したチャネルアダプタ２０は、ボリューム情報テーブル３０及びペア情報テーブル３１を参照して、キャッシュメモリ２３に格納されたライトデータを読み出し、読み出したライトデータを、仮想ボリュームＶＶＯＬをライト先として指定したライト命令と共に第２のストレージ装置４Ｂに転送する（図６の矢印ａ１３）。
一方、かかるライト命令及びライトデータを受信した第２のストレージ装置４Ｂのチャネルアダプタ２０は、図７に示すように、ライト命令を共有メモリ２２に格納すると共にライトデータをキャッシュメモリ２３に格納する。またチャネルアダプタ２０は、これと併せて、かかるライト命令に基づくジャーナルの更新情報を生成し、これをキャッシュメモリ２３に格納する（図７の矢印ａ２０）。
そしてチャネルアダプタ２０は、この後、ライトデータの書き込みが完了したことを第１のストレージ装置４Ａに報告する。かくしてこの報告を受けた第１のストレージ装置４Ａのチャネルアダプタ２０は、データ書込み完了通知を第１のホストコンピュータ３Ａと接続されたチャネルアダプタ２０を介して第１のホストコンピュータ３Ａに送信する。
なお、第２のストレージ装置４Ｂのキャッシュメモリ２３に格納されたライトデータ及び更新情報は、その後、第１のジャーナルボリュームＪＶＯＬ１を管轄するディスクアダプタ２４によりキャッシュメモリ２３から読み出され、そのライトデータのジャーナルとして第１のジャーナルボリュームＪＶＯＬ１に格納される（図７の矢印ａ２１，ａ２２）。
他方、図９に示すように、第３のストレージ装置４Ｃ内のチャネルアダプタ２０のうち、第２のストレージ装置４Ａと接続されたチャネルアダプタ２０は、自己の負荷状況に応じて都合の良いタイミングで第２のストレージ装置４Ｂに対してリードジャーナル命令を送信する（図９の矢印ａ３０）。
そしてこのリードジャーナル命令を受信した第２のストレージ装置４Ｂのチャネルアダプタ２０は、図８に示すように、第３のストレージ装置４Ｃに未転送のジャーナルが第１のジャーナルボリュームＪＶＯＬ１内に存在するか否かを調査する。そしてチャネルアダプタ２０は、かかるジャーナルが第１のジャーナルボリュームＪＶＯＬ１内に存在する場合には、第１のジャーナルボリュームＪＶＯＬ１を管轄するディスクアダプタ２４に対してそのジャーナルのリード命令を送信する。
このリード命令を受信したディスクアダプタ２４は、第１のジャーナルボリュームＪＶＯＬ１に格納されているジャーナルのうち、作成順位が最も早いジャーナルを当該第１のジャーナルボリュームＪＶＯＬ１から読み出し、これをキャッシュメモリ２３に格納する（図８の矢印ａ３１，ａ３２）。そしてこのキャッシュメモリ２３に格納されたジャーナルは、この後第３のストレージ装置４Ａと接続されたチャネルアダプタ２０により、キャッシュメモリ２３から読み出されて第３のストレージ装置４Ｃに転送される（図８の矢印ａ３３）。
第３のストレージ装置４Ｃ側では、図９に示すように、このジャーナルを受信したチャネルアダプタ２０が、当該ジャーナルをキャッシュメモリ２３に格納する（図９の矢印ａ３４）。そしてこのキャッシュメモリ２３に格納されたジャーナルは、この後、第２のジャーナルボリュームＪＶＯＬ２を管轄するディスクアダプタ２４によりキャッシュメモリ２３から読み出されてジャーナルとして第２のジャーナルボリュームＪＶＯＬ２に格納される（図９の矢印ａ３５，ａ３６）。
この後、図１０に示すように、かかる第２のジャーナルボリュームＪＶＯＬ２を管轄するディスクアダプタ２４に対して特定又は任意のチャネルアダプタ２０からリストア命令が与えられる（図１０の矢印ａ３７）。そしてこのリストア命令を受信したディスクアダプタ２４は、第２のジャーナルボリュームＪＶＯＬ２に格納されているジャーナルを順次読み出し、当該ジャーナルのうちの更新情報をキャッシュメモリ２３に格納すると共に、当該ジャーナルのうちのライトデータをキャッシュメモリ２３内のキャッシュ領域２３Ａに格納する（図１０の矢印ａ３８）。
そしてこのキャッシュ領域２３Ａに格納されたライトデータは、この後第３の論理ボリュームＶＯＬ３を管理するディスクアダプタ２４により読み出される。そして、ディスクアダプタ２４は、キャッシュメモリ２３に格納された対応する更新情報を参照して、かかるライトデータを第３の論理ボリュームＶＯＬ３内の対応するアドレス位置に書き込む（図１０の矢印ａ３９）。
以上のようにして、本ストレージシステム１では、第１の論理ボリュームＶＯＬ１に書き込まれたデータが第２のストレージ装置４Ｂを介して第３の論理ボリュームＶＯＬ３にリモートコピーされる。
（３）第１〜第３のストレージ装置における同期解除処理及び再同期処理
次に、第２及び第３のストレージ装置４Ｂ，４Ｃ間を接続するネットワーク６Ｂに障害が発生したことに起因して又はユーザからの指示により、第２及び第３のストレージ装置４Ｂ，４Ｃ間におけるジャーナルのリモートコピーを中断する第１〜第３のストレージ装置４Ｂ，４Ｃ内で行われる同期解除処理と、かかるリモートコピー処理を再開する場合に、ユーザ操作に応じて第１〜第３のストレージ装置４Ａ〜４Ｃにおいて行われる再同期処理とについて、図１１〜図２８を用いて説明する。
なお、図１１〜図２８において、細い矢印は命令の流れを示し、太い矢印はデータの流れを示す。また図１１〜図２８において、命令受信処理プログラム４０、命令転送処理プログラム４１、ジャーナルリード処理プログラム４３、リストア処理プログラム４４、差分化処理プログラム４５及びペア状態管理処理プログラム４６はそれぞれチャネルアダプタ２０に実装された処理プログラムであり、リード／ライト処理プログラム４２はディスクアダプタ２４に実装された処理プログラムである。
さらに図１４、図１６、図２０、図２２、図２５及び図２７を除く図１１〜図２８において、ある処理プログラムを始点とする細い矢印が記載されている場合は、その処理プログラムから当該矢印の終点に向けて命令が発行されることを表し、処理プログラムを始点とし又は処理プログラム上を通過するように太い矢印が記載されている場合には、その処理プログラムに基づいてデータがその矢印に沿って転送されることを表す。
（３−１）同期解除処理
まず、同期解除処理について説明する。第２及び第３のストレージ装置４Ｂ，４Ｃは、ネットワーク６Ｂに障害が発生したことを検知し、又はユーザより第２及び第３のストレージ装置４Ｂ，４Ｃ間のリモートコピーを中断すべき指示が与えられると、図１１に示すように、自ストレージ装置が保持する第３の論理ボリュームＶＯＬ３に未反映のデータをそれぞれ管理する。
具体的に、第２及び第３のストレージ装置４Ｂ，４Ｃは、自ストレージ装置内の第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２に格納されている各ジャーナルがそれぞれ反映されるべき第３の論理ボリュームＶＯＬ３内のアドレス位置を、それぞれ副側Ｐ／Ｉ間差分ビットマップ５１Ｂ又は副側Ｉ／Ｒ間差分ビットマップ５１Ｂを用いて管理する。
また第１のストレージ装置４Ａは、第２及び第３のストレージ装置４Ｂ，４Ｃ間のリモートコピーを中断してから更新された第１の論理ボリュームＶＯＬ１内のアドレス位置を正側Ｐ／Ｉ間差分ビットマップ５１Ａを用いて管理する。
図１２は、このような同期解除処理のうち、ネットワーク６Ｂに発生した障害を第２のストレージ装置４Ｂが検知した場合に当該第２のストレージ装置４Ｂにおいて行われる同期解除処理の流れを示す。
第２のストレージ装置４Ｂのチャネルアダプタ２０のうち、第３のストレージ装置４Ｃと接続されたチャネルアダプ２０は、ペア状態監視処理プログラム４６に基づいて、第３のストレージ装置４Ｃに対して所定の検査用信号を送信し、その検査用信号に対する第３のストレージ装置４Ｃの応答の有無に基づいて第２及び第３のストレージ装置４Ｂ，４Ｃ間を接続するネットワーク６Ｂの状態を常に監視している（図１２の矢印ａ４０）。
そしてチャネルアダプタ２０は、検査用信号を第３のストレージ装置４Ｃに送信してから、ジャーナルグループ設定情報テーブル３２（図５）上で設定された対応するパス障害検知監視時間を超える時間を経過しても第３のストレージ装置４Ｃから応答が得られなかった場合、第１のストレージ装置４Ａと接続されたチャネルアダプタ２０に対して同期解除命令を送信する（図１２の矢印ａ４１）。
この同期解除命令を受信したチャネルアダプタ２０は、まず、図１４に示すように、ペア情報テーブル３１のエントリのうち、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２から構成されるコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態を「障害」に変更する。
次いで、そのチャネルアダプタ２０は、同期解除対象の第１のジャーナルボリュームＪＶＯＬ１を管轄するディスクアダプタ２４に対して、その時点で第１のジャーナルボリュームＪＶＯＬ１に格納されているジャーナルのうち、１つのジャーナルの更新情報を読み出してキャッシュメモリ２３に格納すべき旨のリード命令を発行する（図１２の矢印ａ４２）。
このリード命令を受信したディスクアダプタ２４は、まず、キャッシュメモリ２３に保持されているライトデータ及びその更新情報のうち、未だ第１のジャーナルボリュームＪＶＯＬ１に格納していないライトデータ及びその更新情報をジャーナルとして第１のジャーナルボリュームＪＶＯＬ１に保存する。そしてディスクアダプタ２４は、この後、第１のジャーナルボリュームＪＶＯＬ１に格納されている１つのジャーナルの更新情報を読み出し、読み出した更新情報をキャッシュメモリ２４に格納する（図１２の矢印ａ４３）。
続いて、同期解除命令を受信したチャネルアダプタ２０は、第１のホストコンピュータ３Ａに提供される第１の論理ボリュームＶＯＬ１の各ブロックにそれぞれ対応させてビットが設けられた差分ビットマップ（以下、これを正側Ｉ／Ｒ間差分ビットマップと呼ぶ）５０Ａを共有メモリ２２上に作成する。この正側Ｉ／Ｒ間差分ビットマップ５０Ａは、初期時にはこれらすべてのビットがオフ（「０」）に設定される。
そして、同期解除命令を受信したチャネルアダプタ２０は、この後、キャッシュメモリ２３に読み出された更新情報に基づいて、対応するジャーナルが反映されるべき第３の論理ボリュームＶＯＬ３上のアドレス位置を判定し、正側Ｐ／Ｉ間差分ビットマップ５０Ａ上のそのアドレス位置に対応するビットをオンに設定する（図１２の矢印ａ４４）。
この後、かかるチャネルアダプタ２０は、第１のジャーナルボリュームＪＶＯＬ１に格納されているすべてのジャーナルについて同様の処理を実行する。これにより第２及び第３のストレージ装置４Ｂ，４Ｃ間を接続するネットワーク６Ｂの障害が検知された時点において第１のジャーナルボリュームＪＶＯＬ１内に保持された各ジャーナルがそれぞれ反映されるべき第３の論理ボリュームＶＯＬ３内のアドレス位置が正側Ｉ／Ｒ間差分ビットマップ５０Ａに登録される。
一方、図１３は、例えば第２のホストコンピュータ３Ｂから第２のストレージ装置４Ｂに対して第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２間の同期を解除すべき同期解除命令（図１３の矢印ａ５０）が与えられた場合における当該第２のストレージ装置４Ｂの具体的な処理内容を示している。
この場合、かかる同期解除命令を受信した第２のストレージ装置４Ｂのチャネルアダプタ２０は、そのとき受信した同期解除命令を第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０に転送する（図１３の矢印ａ５１）。また第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０は、受信した同期解除命令を第３のストレージ装置４Ｃに転送する（図１３の矢印ａ５２）。
また第１のストレージ装置４Ａと接続されたチャネルアダプタ２０は、この後、図１２において矢印ａ４２，ａ４４について上述した処理と同様の処理を実行する。この結果、この場合にも図１２の場合と同様に、かかる同期解除命令が第２のストレージ装置に与えられた時点においてキャッシュメモリ２３又は第１のジャーナルボリュームＪＶＯＬ１内に保持された各ジャーナルがそれぞれ反映されるべき第３の論理ボリュームＶＯＬ３内のアドレス位置が正側Ｉ／Ｒ間差分ビットマップ５０Ａに登録される。
他方、図１５は、第２及び第３のストレージ装置４Ｂ，４Ｃ間を接続するネットワーク６Ｂに発生した障害を第３のストレージ装置４Ｃが検知した場合における当該第３のストレージ装置４Ｃの処理の流れを示す。
第３のストレージ装置４Ｂのチャネルアダプタ２０のうち、第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０は、自己又は他のチャネルアダプタ２０からの要求に応じてリードジャーナル命令を第２のストレージ装置４Ｂに送信した場合（図１５の矢印ａ６０）、当該リードジャーナル命令を送信してから応答が得られるまでの時間を常に計測している。
そしてかかるチャネルアダプタ２０は、リードジャーナル命令を第２のストレージ装置４Ｂに送信してから、ジャーナルグループ設定情報テーブル３２（図５）上で設定された対応するパス障害検知監視時間を超える時間を経過しても第２のストレージ装置４Ｂから応答が得られなかった場合、特定又は任意のチャネルアダプタ２０に対して同期解除命令を送信する（図１５の矢印ａ６１）。
この同期解除命令を受信したチャネルアダプタ２０は、まず、図１６に示すように、ペア情報テーブル３１のエントリのうち、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２から構成されるコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態を「障害」に更新する。
次いで、同期解除命令を受信したチャネルアダプタ２０は、同期解除対象の第２のジャーナルボリュームＪＶＯＬ２を管理しているディスクアダプタ２４に対して、その時点で第２のジャーナルボリュームＪＶＯＬ２に格納されているジャーナルのうち、１つのジャーナルの更新情報を読み出すべき旨のリード命令を発行する（図１５の矢印ａ６２）。
このリード命令を受信したディスクアダプタ２４は、まず、キャッシュメモリ２３に保持されているライトデータ及びその更新情報のうち、未だ第２のジャーナルボリュームＪＶＯＬ２に格納していないライトデータ及びその更新情報をジャーナルとして第２のジャーナルボリュームＪＶＯＬ２に保存する。そしてディスクアダプタ２４は、この後、第２のジャーナルボリュームＪＶＯＬ２に格納されている１つのジャーナルの更新情報を第２のジャーナルボリュームＪＶＯＬ２から読み出し、これをキャッシュメモリ２３に格納する（図１５の矢印ａ６３）。
続いて、同期解除命令を受信したチャネルアダプタ２０は、第１の論理ボリュームＶＯＬ１の各ブロックにそれぞれ対応させてビットが設けられた差分ビットマップ（以下、これを副側Ｉ／Ｒ間差分ビットマップと呼ぶ）５０Ｂを共有メモリ２２上に作成する。この副側Ｉ／Ｒ間差分ビットマップ５０Ｂは、初期時にはこれらすべてのビットがオフ（「０」）に設定される。
そして、同期解除命令を受信したチャネルアダプタ２０は、この後、キャッシュメモリ２３に格納された更新情報に基づいて、対応するジャーナルが反映されるべき第３の論理ボリュームＶＯＬ３上のアドレス位置を判定し、副側Ｉ／Ｒ間差分ビットマップ５０Ｂ上のそのアドレス位置に対応するビットをオンに設定する（図１５の矢印ａ６４）。
この後、かかるチャネルアダプタ２０は、第２のジャーナルボリュームＪＶＯＬ２に格納されているすべてのジャーナルについて同様の処理を実行する。これにより第２及び第３のストレージ装置４Ｂ，４Ｃ間を接続するネットワーク６Ｂの障害が検知された時点においてキャッシュメモリ２３又は第２のジャーナルボリュームＪＶＯＬ２内に保持された各ジャーナルがそれぞれ反映されるべき第３の論理ボリュームＶＯＬ３内のアドレス位置が副側Ｉ／Ｒ間差分ビットマップ５０Ｂに登録される。
なお、第１のホストコンピュータ３Ａから第１のストレージ装置４Ａを介して第２のストレージ装置４Ｂに対して同期解除命令が与えられたときも、第３のストレージ装置４Ｃにおいて同様の処理が行われる。この場合、図１３について上述したように、かかる同期解除命令が第２のストレージ装置４Ｂから第３のストレージ装置４Ｃに転送される。そしてこの同期解除命令を受信した第３のストレージ装置４Ｃのチャネルアダプタ２０は、この同期解除命令を特定又は任意のチャネルアダプタ２０に対して同期解除命令を送信する。
また同期解除命令を受信した特定又は任意のチャネルアダプタ２０は、上述と同様の同期解除処理を実行する。これにより第２のストレージ装置４Ｂから同期解除命令が転送されてきた時点において第２のジャーナルボリュームＪＶＯＬ２内に保持された各ジャーナルがそれぞれ反映されるべき第３の論理ボリュームＶＯＬ３内のアドレス位置が登録された副側Ｉ／Ｒ間差分ビットマップ５０Ｂが第３のストレージ装置４Ｃにおいて作成される。
さらに、図１７は、第２及び第３のストレージ装置４Ｂ，４Ｃ間におけるリモートコピーがネットワーク６Ｂの障害又はユーザ指示により中断した場合における第１のストレージ装置４Ａの具体的な処理内容を示している。
図６について上述したように、第１のストレージ装置４Ａは、第１のホストコンピュータ３Ａからライト命令及びライトデータが与えられると、第２のストレージ装置４Ｂにそのライト命令を転送する。そして第２のストレージ装置４Ｂは、このとき第３のストレージ装置４Ｃとの間のリモートコピーを中断している場合には、障害発生通知を第１のストレージ装置４Ａに送信する。
この障害発生通知を受信した第１のストレージ装置４Ａ内のチャネルアダプタ２０は、共有メモリ２２に格納されているペア情報テーブル３１（図４）のエントリのうち、第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬから構成されるコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態を「障害」に変更する。
また第１のホストコンピュータ３Ａと接続されたチャネルアダプタ２０は、この後、第１のホストコンピュータ３Ａから第１の論理ボリュームＶＯＬ１をデータ書込み先とするライト命令及びライトデータが転送されると、そのライトデータをキャッシュメモリ２３に格納した後（図１７の矢印ａ７０）、直ちに第１のホストコンピュータ３Ａにライト完了通知を発行する（図１７の矢印ａ７１）。
そして、そのチャネルアダプタ２０は、この後、共有メモリ２２に格納されている差分ビットマップ（以下、これを正側Ｐ／Ｉ間差分ビットマップと呼ぶ）５１Ａ上のビットのうち、そのとき受信したライト命令において指定された第１の論理ボリュームＶＯＬ１内のブロックと対応するビットをオンに設定する（図１７の矢印ａ７３）。これにより、第２及び第３のストレージ装置４Ｂ，４Ｃ間においてリモートコピーを中断した後に更新された第１の論理ボリュームＶＯＬ１内の位置が正側Ｐ／Ｉ間差分ビットマップ５０Ａにより管理される。
なお、キャッシュメモリ２３に格納されたライトデータは、この後、第１の論理ボリュームＶＯＬ１を管轄するディスクアダプタ２４によりキャッシュメモリ２３から読み出されて第１の論理ボリュームＶＯＬ１内のかかるライト命令により指定された位置に格納される（図１７の矢印ａ７４）。
（３−２）再同期処理
次に、再同期処理について説明する。本ストレージシステム１において、第２及び第３のストレージ装置４Ｂ，４Ｃ間のネットワーク６Ｂが復旧した後、第１及び第３の論理ボリュームＶＯＬ１，ＶＯＬ３間のリモートコピーを再開する場合、ユーザは、まず、図２８に示すように、第２のホストコンピュータ３Ｂを操作して、第２及び第３のサイト２Ｂ，２Ｃ間を再同期させる再同期命令を第２のホストコンピュータ３Ｂから第２のストレージ装置４Ｂに送信する。
かかる再同期命令を受信した第２のストレージ装置４Ｂは、図２８及び図１８に示すように、副側Ｉ／Ｒ間差分ビットマップ５０Ｂを転送すべき旨の差分ビットマップ転送命令を第３のストレージ装置４Ｃに送出する（図２８のＳＰ１００）。またこの差分ビットマップ転送命令を受信した第３のストレージ装置４Ｃは、そのとき共有メモリ２２に保持している副側Ｉ／Ｒ間差分ビットマップ５０Ｂを第２のストレージ装置４Ｂに送信する（図２８のＳＰ１０１）。さらに、この副側Ｉ／Ｒ間差分ビットマップ５０Ｂを受信した第２のストレージ装置４Ｃは、当該副側Ｉ／Ｒ間差分ビットマップ５０Ｂを、そのとき共有メモリ２２に保持している正側Ｐ／Ｉ間差分ビットマップ５１Ａにマージする（図２８のＳＰ１０２）。
この後、第２及び第３のストレージ装置４Ｂ，４Ｃにおいて、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２からなるコピーペアのペア状態がそれぞれ「同期」に戻され、第３のストレージ装置４Ｃから第２のストレージ装置４Ｂに対するリードジャーナル命令の発行が再開される（図２８のＳＰ１０３）。
またユーザは、この後図２８に示すように、第１のホストコンピュータ３Ａを操作して第１及び第２のサイト２Ａ，２Ｂ間を再同期させる再同期命令を第１のホストコンピュータ３Ａから第１のストレージ装置４Ａに送信する。
かかる再同期命令を受信した第１のストレージ装置４Ａは、図２８及び図２３に示すように、副側Ｐ／Ｉ間差分ビットマップ５１Ｂを転送すべき旨の差分ビットマップ転送命令を第２のストレージ装置４Ｂに送出する（図２８のＳＰ１０４）。またこの差分ビットマップ転送命令を受信した第２のストレージ装置４Ｂは、そのとき共有メモリ２２に保持している副側Ｐ／Ｉ間差分ビットマップ５１Ｂを第１のストレージ装置４Ａに送信する（図２８のＳＰ１０５）。さらに、この副側Ｐ／Ｉ間差分ビットマップ５１Ｂを受信した第１のストレージ装置４Ａは、当該副側Ｐ／Ｉ間差分ビットマップ５１Ｂを正側Ｐ／Ｉ間差分ビットマップ５１Ａにマージする（図２８のＳＰ１０６）。
この後、第１及び第２のストレージ装置４Ａ，４Ｂにおいて、第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬからなるコピーペアのペア状態がそれぞれ「同期」に戻され、第１の論理ボリュームＶＯＬ１内のブロックのうち、正側Ｐ／Ｉ間差分ビットマップ５１Ａにおいて対応するビットがオンに設定された各ブロックに格納されているデータを第１のストレージ装置４Ａ及び第２のストレージ装置４Ｂ間でリモートコピーするいわゆる差分コピーが実行される（図２８のＳＰ１０７）。
そしてかかる差分コピーが完了すると、第１及び第２のストレージ装置４Ａ，４Ｂ間において、図６及び図７について上述したリモートコピーが再開される。
ここで図１９は、図２８について上述した一連の処理のうち、第２のホストコンピュータ３Ｂから第２のストレージ装置４Ｂに再同期命令が与えられた場合に当該第２のストレージ装置４Ｂにおいて行われる再同期処理の内容を示している。
この場合、かかる再同期命令（図１９の矢印ａ８１）を受信した第２のストレージ装置４Ｂのチャネルアダプタ２０は、第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０にこの再同期命令を転送する（図１９の矢印ａ８２）。
さらに第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０は、この再同期命令を受信すると、差分ビットマップの転送命令（以下、これを差分ビットマップ転送命令と呼ぶ）を第３のストレージ装置４Ｃに送信する（図１９の矢印ａ８３）。
かくして、この差分ビットマップ転送命令を受信した第３のストレージ装置４Ｃのチャネルアダプタ２０は、図２１に示すように、共有メモリ２２から副側Ｉ／Ｒ間差分ビットマップ５０Ｂを読み出し、これを第２のストレージ装置４Ｂに転送する（図２１の矢印ａ８４）。またかかるチャネルアダプタ２０は、図２２に示すように、共有メモリ２３に格納されたペア情報テーブル３１のエントリのうち、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２からなるコピーペアと対応するエントリのペア状態欄３１Ｂに格納されているペア状態を「障害」から「同期中」に更新する。
さらに、かかる副側Ｉ／Ｒ間差分ビットマップ５０Ｂを受信した第２のストレージ装置４Ｂのチャネルアダプタ２０は、図２１に示すように、当該副側Ｉ／Ｒ間差分ビットマップ５０Ｂを、共有メモリ２３上に予め用意した正側Ｉ／Ｒ間差分ビットマップ５０Ａにマージする。またそのチャネルアダプタ２０は、この後、正側Ｉ／Ｒ間差分ビットマップ５０Ａを共有メモリ２３に保持している上述の副側Ｐ／Ｉ間差分ビットマップ５１Ｂにマージする（図２１の矢印ａ８５）。
具体的に、かかるチャネルアダプタ２０は、まず、副側Ｉ／Ｒ間差分ビットマップ５０Ｂ上のオンに設定された各ビットとそれぞれ対応する正側Ｉ／Ｒ間差分ビットマップ５０Ａ上のビットをそれぞれオンに設定する。またチャネルアダプタ２０は、この後、正側Ｉ／Ｒ間差分ビットマップ５０Ａ上のオンに設定された各ビットとそれぞれ対応する副側Ｐ／Ｉ間差分ビットマップ５１Ｂ上のビットをそれぞれオンに設定する。
次いで、第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０は、図２０に示すように、共有メモリ２３に格納されたペア情報テーブル３１のエントリのうち、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２から構成されるコピーペアと対応するエントリのペア状態欄３１Ｂに格納されているペア状態を「障害」から「同期中」に更新する。
他方、図２４は、図２８について上述した一連の処理のうち、第１のホストコンピュータ３Ａから第１のストレージ装置４Ａに再同期命令が与えられた場合に当該第１のストレージ装置４Ａにおいて行われる再同期処理の内容を示している。
この場合、かかる再同期命令（図２４の矢印ａ９１）を受信した第１のストレージ装置４Ａのチャネルアダプタ２０は、第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０にこの再同期命令を転送する（図２４の矢印ａ９２）。
さらに第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０は、この再同期命令を受信すると、差分ビットマップの転送命令（以下、これを差分ビットマップ転送命令と呼ぶ）を第２のストレージ装置４Ｂに送信する（図２３の矢印ａ９３）。
かくして、この差分ビットマップ転送命令を受信した第２のストレージ装置４Ｂのチャネルアダプタ２０は、図２６に示すように、共有メモリ２２から副側Ｐ／Ｉ間差分ビットマップ５１Ｂを読み出し、これを第１のストレージ装置４Ａに転送する（図２６の矢印ａ９４）。またかかるチャネルアダプタ２０は、図２７に示すように、共有メモリ２３に格納されたペア情報テーブル３１のエントリのうち、第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬからなるコピーペアと対応するエントリのペア状態欄３１Ｂに格納されているペア状態を「障害」から「同期中」に更新する。
さらに、かかる副側Ｐ／Ｉ間差分ビットマップ５１Ｂを受信した第１のストレージ装置４Ａのチャネルアダプタ２０は、図２４に示すように、当該副側Ｐ／Ｉ間差分ビットマップ５１Ｂを、正側Ｐ／Ｉ間差分ビットマップ５１Ａにマージする（図２４の矢印ａ９５）。具体的に、かかるチャネルアダプタ２０は、副側Ｐ／Ｉ間差分ビットマップ５１Ｂ上のオンに設定された各ビットとそれぞれ対応する正側Ｐ／Ｉ間差分ビットマップ５１Ａ上のビットをそれぞれオンに設定する。
この後、第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０は、図２５に示すように、共有メモリ２３に格納されたペア情報テーブル３１のエントリのうち、第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬから構成されるコピーペアと対応するエントリのペア状態欄３１Ｂに格納されているペア状態を「障害」から「同期中」に更新する。
（４）チャネルアダプタの処理
次に、同じサイト内に設置された第１〜第３のホストコンピュータ３Ａ〜３Ｃや、自ストレージ装置と接続された第１〜第３のストレージ装置４Ａ〜４Ｃから送信された命令を受信した第１〜第３のストレージ装置４Ａ〜４Ｃのチャネルアダプタ２０が実行する具体的な処理内容について説明する。
（４−１）命令受信処理
図２９は、同じサイト内に設置された第１〜第３のホストコンピュータ３Ａ〜３Ｃや、自ストレージ装置と接続された第１〜第３のストレージ装置４Ａ〜４Ｃからの命令を受信したチャネルアダプタ２０が実行する命令受信処理の処理内容を示している。
チャネルアダプタ２０は、かかる命令を受信すると、この図２９に示す命令受信処理を開始し、まず、その命令がライト命令であるか否かを判断する（ＳＰ１）。そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、その命令（ライト命令）に応じたライト処理を実行し（ＳＰ２）、この後、この命令受信処理を終了する。なお、ライト命令は、第１及び第２のストレージ装置４Ａ，４Ｂが受信する可能性がある命令であり、第３のストレージ装置４Ｃが受信することはない。
これに対してチャネルアダプタ２０は、ステップＳＰ１の判断において否定結果を得ると、その命令が同期解除命令であるか否かを判断する（ＳＰ３）。そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、同期解除命令において指定されたコピーペアの同期を解除する同期解除処理を実行し（ＳＰ４）、この後、この命令受信処理を終了する。なお、同期解除命令は、第１〜第３のストレージ装置４Ａ〜４Ｃのいずれもが受信する可能性がある命令である。
またチャネルアダプタ２０は、ステップＳＰ３の判断において否定結果を得ると、その命令が差分ビットマップ転送命令であるか否かを判断する（ＳＰ５）。そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、自ストレージ装置内の共有メモリ２２に格納されている副側Ｐ／Ｉ間差分ビットマップ５１Ｂ又は副側Ｉ／Ｒ間差分ビットマップ５０Ｂを当該命令の送信元に転送する差分ビットマップ転送処理を実行し（ＳＰ６）、この後、この命令受信処理を終了する。なお、差分ビットマップ転送命令は、第２及び第３のストレージ装置４Ｂ，４Ｃが受信する可能性がある命令であり、第１のストレージ装置４Ａが受信することはない。
一方、チャネルアダプタ２０は、ステップＳＰ５の判断において否定結果を得ると、その命令が再同期命令であるか否かを判断する（ＳＰ７）。そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、その命令（再同期命令）において指定された第１〜第３のストレージ装置４Ａ〜４Ｃとの間で再同期を取るための再同期処理を実行し（ＳＰ８）、この後、この命令受信処理を終了する。なお再同期命令は、第１〜第３のストレージ装置４Ａ〜４Ｃのいずれもが受信する可能性がある命令である。
さらにチャネルアダプタ２０は、ステップＳＰ７の判断において否定結果を得ると、その命令に応じた処理を実行し（ＳＰ９）、この後、この命令受信処理を終了する。
（４−２）ライト処理
図３０は、上述した命令受信処理のステップＳＰ２において行われるライト処理の具体的な処理内容を示している。本実施の形態の場合、このライト処理は、第１のストレージ装置４Ａのチャネルアダプタ２０のうちの第１のホストコンピュータ３Ａと接続されたチャネルアダプタ２０、又は第２のストレージ装置４Ｂのチャネルアダプタ２０のうちの第１のストレージ装置４Ａと接続されたチャネルアダプタ２０において行われる処理である。
かかるチャネルアダプタ２０は、図２９について上述した命令受信処理のステップＳＰ２に進むとこのライト処理を開始し、まず、共有メモリ２３に格納されているボリューム情報テーブル３０（図３）を参照して、ライト命令において指定されたライトデータの書込み先の論理ボリューム（第１の論理ボリュームＶＯＬ１又は仮想ボリュームＶＶＯＬであり、以下、これをデータ書込み先論理ボリュームと呼ぶ）の状態が正常であるか否かを判断する（ＳＰ１０）。
そしてチャネルアダプタ２０は、この判断において否定結果を得ると、ライト命令の送信元（第１のホストコンピュータ３Ａ又は第１のストレージ装置４Ａ）にその旨のエラー報告を行なった後（ＳＰ１１）、このライト処理を終了して図２９の命令受信処理に戻る。
これに対してチャネルアダプタ２０は、ステップＳＰ１０の判断において肯定結果を得ると、かかるライト命令と共に当該ライト命令の送信元から送信されるライトデータをキャッシュメモリ２３に格納する（ＳＰ１２）。
続いてチャネルアダプタ２０は、共有メモリ２２に格納されているペア情報テーブル３１（図４）を参照して、ライト命令において指定されたデータ書込み先論理ボリュームが、他の論理ボリュームとコピーペアに設定されていないか否かを判断する（ＳＰ１３）。
そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、そのライト命令の送信元にライトデータの書込み処理を終了したことを報告した後（ＳＰ２２）、このライト処理を終了して図２９の命令受信処理に戻る。なお、このときキャッシュメモリ２３に格納されたライトデータは、この後、対応するディスクアダプタ２４により読み出され、上述のライト命令により指定された論理ボリュームの当該ライト命令により指定されたアドレス位置に書き込まれる。
一方、チャネルアダプタ２０は、ステップＳＰ１３の判断において否定結果を得ると、ペア情報テーブル３１を参照して、データ書込み先論理ボリュームが構成するコピーペアのペア状態が「同期」又は「同期中」であるか否かを判断する（ＳＰ１４）。
この判断において否定結果を得ることは、かかるコピーペアのペア状態が「障害」であることを意味する。ただし、第１のストレージ装置４Ａは第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬからなるコピーペアのペア状態が「障害」となった後は第２のストレージ装置４Ｂにライト命令を送信しないため、この判断において否定結果を得るのは第１のストレージ装置４Ａのチャネルアダプタ２０だけである。
かくしてこのとき、そのチャネルアダプタ２０は、共有メモリ２２に格納されている正側Ｐ／Ｉ間差分ビットマップ５１Ａ上のビットのうち、そのとき受信したライト命令において指定されたデータ書込み先のブロックと対応するビットをオンに設定する（ＳＰ１５）。またそのチャネルアダプタ２０は、そのライト命令の送信元（ここでは第１のホストコンピュータ３Ａ）にライトデータの書込み処理が終了したことを報告し（ＳＰ２２）、この後、このライト処理を終了して図２９の命令受信処理に戻る。
他方、チャネルアダプタ２０は、ステップＳＰ１４の判断において肯定結果を得ると、そのデータ書込み先論理ボリュームが自ストレージ装置内に設定されたいずれかのジャーナルグループに属するか否かを判断する（ＳＰ１６）。
ここで、そのチャネルアダプタ２０が第１のストレージ装置４Ａのものである場合、そのチャネルアダプタ２０は、このステップＳ１５の判断において否定結果を得る。かくして、このときそのチャネルアダプタ２０は、第１のホストコンピュータ３Ａから転送されてきたライトデータを第２のストレージ装置４Ｂに転送し（ＳＰ１７）、この後、第２のストレージ装置４Ｂからの応答の有無等に基づいて、このライトデータの転送が成功したか否かを判断する（ＳＰ１８）。
そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、そのライト命令の送信元（ここでは第１のホストコンピュータ３Ａ）にライトデータの書込み処理が終了したことを報告し（ＳＰ２２）、この後このライト処理を終了して図２９の命令受信処理に戻る。
これに対してチャネルアダプタ２０は、ステップＳＰ１８の判断において否定結果を得ると、ペア情報テーブル３１の対応するエントリのペア状態欄３１Ｂ（図４）に格納されているそのコピーペアのペア状態を「障害」に変更する（ＳＰ１９）。
またチャネルアダプタ２０は、共有メモリ２２に格納されている正側Ｐ／Ｉ間差分ビットマップ５１Ａ上のビットのうち、そのライト命令において指定された論理ボリューム（第１の論理ボリュームＶＯＬ１）内の当該ライト命令において指定されたブロックに対応するビットをオンに設定する（ＳＰ２０）。
次いでチャネルアダプタ２０は、そのライト命令の送信元（第１のホストコンピュータ３Ａ）にライトデータの書き込み処理が終了したことを報告し（ＳＰ２２）、この後、このライト処理を終了して図２９の命令受信処理に戻る。
さらに、チャネルアダプタ２０が第２のストレージ装置４Ｂのものである場合、そのチャネルアダプタ２０は、ステップＳＰ１６の判断において肯定結果を得る。かくして、このときそのチャネルアダプタ２０は、ステップＳＰ１２においてキャッシュメモリ２３に格納したライトデータについての更新情報を作成し、これをキャッシュメモリ２３に格納する（ＳＰ２１）。そしてこのとき作成された更新情報は、この後、対応するディスクアダプタ２４によりステップＳＰ１２においてキャッシュメモリ２３に書き込まれた対応するライトデータと共にジャーナルとして第１のジャーナルボリュームＪＶＯＬ１に書き込まれる。
（４−３）同期解除処理
一方、図３１は、上述した命令受信処理のステップＳＰ４において行われる同期解除処理の具体的な処理内容を示している。本実施の形態の場合、この同期解除処理は、第２のストレージ装置４Ｂのチャネルアダプタ２０のうちの第１のストレージ装置と接続されたチャネルアダプタ２０、又は第３のストレージ装置４Ｃのチャネルアダプタ２０のうちの第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０において行われる処理である。
かかるチャネルアダプタ２０は、図２９について上述した命令受信処理のステップＳＰ４に進むとこの同期解除処理を開始し、まず、ペア情報テーブル３１（図４）のエントリのうち、同期解除命令において指定された同期解除対象のコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態を「障害」に変更する（ＳＰ３０）。
続いてチャネルアダプタ２０は、未だ第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２に格納されていないジャーナル（ライトデータ及びその更新情報）がキャッシュメモリ２３上に存在するときには、対応するディスクアダプタ２４を制御して、当該ジャーナルを第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２に格納させる（ＳＰ３１）。
この後、チャネルアダプタ２０は、自ストレージ装置内の第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２内に、第３のストレージ装置４Ｃに未転送又は第３の論理ボリュームＶＯＬ３に未反映のジャーナルが存在するか否かを判断する（ＳＰ３２）。
チャネルアダプタ２０は、この判断において肯定結果を得ると、対応するディスクアダプタ２４を制御することにより、第１又は第２のジャーナルボリュームＪＶＯＬ１、ＪＶＯＬ２に格納されているジャーナルのうちの１つのジャーナルの更新情報をキャッシュメモリ２３に読み出させる（ＳＰ３３）。
続いてチャネルアダプタ２０は、このときディスクアダプタ２４により読み出された更新情報に基づいて、共有メモリ２２に格納されている副Ｐ／Ｉ間差分ビットマップ５１Ｂ又は副Ｉ／Ｒ間差分ビットマップ５０Ｂ上のビットのうち、ステップＳＰ３３において更新情報が読み出されたジャーナルが反映されるべき第３の論理ボリュームＶＯＬ３内のブロックに対応するビットをオンに設定する（ＳＰ３４）。
さらにチャネルアダプタ２０は、第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２内のそのジャーナルが格納されている記憶領域を解放する（ＳＰ３５）。これにより、第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２からそのジャーナルが消去される。
この後、チャネルアダプタ２０は、ステップＳＰ３２において否定結果を得るまで、ステップＳＰ３２〜ステップＳＰ３５の処理を繰り返す。これにより、そのとき、第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２に格納されているジャーナルにより更新されるべき第３の論理ボリュームＶＯＬ３のアドレス位置にそれぞれ対応する副側Ｐ／Ｉ間差分ビットマップ５１Ｂ又は副側Ｉ／Ｒ間差分ビットマップ５０Ｂ上の各ビットが順次オンに設定されてゆく。
そしてチャネルアダプタ２０は、やがて、第１又は第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２に格納されていたすべてのジャーナルについて上述の処理を実行し終えることによりステップＳＰ３２の判断において否定結果を得ると、この同期解除処理を終了して図２９について上述したコマンド実行処理に戻る。
（４−４）差分ビットマップ転送処理
他方、図３２は、上述した命令受信処理のステップＳＰ６において行われる差分ビットマップ転送処理の具体的な処理内容を示している。本実施の形態の場合、この差分ビットマップ転送処理は、第２のストレージ装置４Ｂのチャネルアダプタ２０のうちの第１のストレージ装置と接続されたチャネルアダプタ２０、又は第３のストレージ装置４Ｃのチャネルアダプタ２０のうちの第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０において行われる処理である。
かかるチャネルアダプタ２０は、図２９について上述した命令受信処理のステップＳＰ６に進むと、図３２に示す差分ビットマップ転送処理を開始し、副側Ｐ／Ｉ間差分ビットマップ５１Ｂ又は副側Ｉ／Ｒ間差分ビットマップ５０Ｂを共有メモリ２２から読み出し、これを差分ビットマップ転送命令の送信元（第１又は第２のストレージ装置４Ａ，４Ｂ）に転送する（ＳＰ４０）。
続いてチャネルアダプタ２０は、共有メモリ２２に格納されているペア情報テーブル３１（図４）のエントリのうち、第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬからなるコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態（そのチャネルアダプタ２０が第２のストレージ装置４Ｂのものである場合）、又はかかるペア情報テーブル３１（図４）のエントリのうち、第１及び第２のジャーナルボリュームＬＶＯＬ１，ＬＶＯＬ２からなるコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態（そのチャネルアダプタ２０が第３のストレージ装置４Ｃのものである場合）を「同期」に変更する（ＳＰ４１）。
そしてチャネルアダプタ２０は、この後この差分ビットマップ転送処理を終了して図２９について上述した命令受信処理に戻る。
（４−５）再同期処理
さらに図３３は、上述した命令受信処理のステップＳＰ８において行われる再同期処理の具体的な処理内容を示している。本実施の形態の場合、この再同期処理は、第１のストレージ装置４Ａのチャネルアダプタ２０のうちの第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０、又は第２のストレージ装置４Ｂのチャネルアダプタ２０のうちの第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０において行われる処理である。
かかるチャネルアダプタ２０は、図２９について上述した命令受信処理のステップＳＰ８に進むとこの再同期処理を開始し、まず、相手側ストレージ装置（チャネルアダプタ２０が第１のストレージ装置４Ａのものである場合には第２のストレージ装置４Ｂ、チャネルアダプタ２０が第２のストレージ装置４Ｂのものである場合には第３のストレージ装置４Ｃ）に対して、第１の論理ボリュームＶＯＬ１及び仮想ボリュームＶＶＯＬ（チャネルアダプタ２０が第１のストレージ装置４Ａのものである場合）又は第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２（チャネルアダプタ２０が第２のストレージ装置４Ｂのものである場合）からなるコピーペアの再同期を要求するペア再同期要求を送信する（ＳＰ５０）。
続いてチャネルアダプタ２０は、相手側ストレージ装置からの応答の有無や当該応答の内容等に基づいて、かかるコピーペアの再同期が可能であるか否かを判断する（ＳＰ５１）。そしてチャネルアダプタ２０は、この判断において否定結果を得ると、再同期が失敗したことを再同期命令の発行元の第１又は第２のホストコンピュータ３Ａ，３Ｂに報告し（ＳＰ６０）、この後、この再同期処理を終了して図２９について上述した命令受信処理に戻る。
これに対してチャネルアダプタ２０は、ステップＳＰ５１の判断において肯定結果を得ると、相手側ストレージ装置に対して差分ビットマップ転送要求を発行し（ＳＰ５２）、この後、相手側ストレージ装置から差分ビットマップ（副側Ｐ／Ｉ間差分ビットマップ５１Ｂ又は副側Ｉ／Ｒ間差分ビットマップ５０Ｂ）が転送されてきたか否かを判断する（ＳＰ５３）。
チャネルアダプタ２０は、この判断において否定結果を得るとステップＳＰ６０に進み、これに対して肯定結果を得ると、そのとき取得した差分ビットマップを自ストレージ装置の共有メモリ２２に保持している正側Ｐ／Ｉ間差分ビットマップ５１Ａ又は正側Ｉ／Ｒ間差分ビットマップ５０Ａにマージする（ＳＰ５４）。
続いてチャネルアダプタ２０は、自ストレージ装置が設置されているサイトが中間サイト（第２のサイト２Ｂ）であるか否かを判断する（ＳＰ５５）。
この判断において否定結果を得ることは、そのチャネルアダプタ２０が第１のストレージ装置４Ａのものであることを意味する。かくしてこのときチャネルアダプタ２０は、ステップＳＰ５８に進む。
これに対してステップＳＰ５５の判断において肯定定結果を得ることは、そのチャネルアダプタ２０が第２のストレージ装置４Ｂのものであることを意味する。かくしてこのときチャネルアダプタ２０は、共有メモリ２２に格納されている正側Ｉ／Ｒ間差分ビットマップ５０Ａを副側Ｐ／Ｒ間差分ビットマップ５１Ｂにマージし（ＳＰ５６）、この後、正側Ｉ／Ｒ間差分ビットマップ５０Ａを破棄する（ＳＰ５７）。
この後、チャネルアダプタ２０は、共有メモリ２２に格納されているペア情報テーブル３１（図４）のエントリのうち、そのとき対象としているコピーペアに対応するエントリのペア状態欄３１Ｂに格納されたペア状態を「同期」に変更する（ＳＰ５８）。
またチャネルアダプタ２０は、再同期が完了したことを再同期命令の発行元の第１又は第２のホストコンピュータ３Ａ，３Ｂに報告し（ＳＰ５９）、この後、この再同期処理を終了して図２９について上述した命令受信処理に戻る。
（４−６）第２のストレージ装置におけるペア状態監視処理
一方、第２のストレージ装置４Ｂのチャネルアダプタ２０のうち、第３のストレージ装置４Ｃと接続されたチャネルアダプタ２０は、図２９〜図３３について上述した命令受信処理と並行して、図３４に示すペア状態管理処理を定期的に実行することにより、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２からなるコピーペアのペア状態を監視する。
すなわち、かかるチャネルアダプタ２０は、定期的にこの図３４に示すペア状態管理処理を開始し、まず、共有メモリ２２に格納されたペア情報テーブル３１（図４）を参照して、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２からなるコピーペアのペア状態が「同期」であるか否か（第１のジャーナルボリュームＪＶＯＬ１に格納されているジャーナルが正常に第２のジャーナルボリュームＪＶＯＬ２に転送されている状態にあるか否か）を判断する（ＳＰ７０）。
チャネルアダプタ２０は、この判断において否定結果を得ると、このペア状態管理処理を終了する。これに対してチャネルアダプタ２０は、この判断において肯定結果を得ると、第３のストレージ装置４Ｃとの間のネットワーク６Ｂに障害が発生しているか否かをチェックする（ＳＰ７１）。具体的には、第３のストレージ装置４Ｃに対して検査用信号を送信し、その検査用信号に対する応答の有無をチェックすることになる。
そしてチャネルアダプタ２０は、ステップＳＰ７１のチェック結果に基づいて、ネットワーク６Ｂに障害が発生しているか否かを判断する（ＳＰ７２）。
チャネルアダプタ２０は、この判断において否定結果を得ると、ジャーナルグループ設定情報テーブル３２（図５）のエントリのうち、第１のジャーナルボリュームＪＶＯＬ１が属するジャーナルグループＪＧ１に対応するエントリのパス切れ検知時刻欄３２Ｅに、パス切れ検知時刻として無効値（０）を格納し（ＳＰ７３）、この後、このペア状態管理処理を終了する。
これに対してチャネルアダプタ２０は、ステップＳＰ７２の判断において肯定結果を得ると、かかるパス切れ検知時刻欄３２Ｅに設定されているパス切れ検知時刻が無効値（０）であるか否かを判断する（ＳＰ７４）。そしてチャネルアダプタ２０は、この判断において肯定結果を得ると、そのパス切れ検知時刻欄３２Ｅに現在の時刻を格納した後（ＳＰ７５）、ステップＳＰ６６に進む。
これに対してチャネルアダプタ２０は、ステップＳＰ７４の判断において否定結果を得ると、ジャーナルグループ設定情報テーブル３２のエントリのうち、第１のジャーナルボリュームＪＶＯＬ１が属するジャーナルグループＪＧ１に対応するエントリのパス障害検知監視時間欄３２Ｄに格納されているパス障害検知監視時間を読み出し、ステップＳＰ７１において第３のストレージ装置４Ｃに検査用信号を送信してから当該パス障害検知監視時間が経過したか否かを判断する（ＳＰ７６）。
チャネルアダプタ２０は、この判断において否定結果を得ると、このペア状態管理処理を終了する。これに対してチャネルアダプタ２０は、この判断において否定結果を得ると、図３１について上述した同期解除処理を実行し（ＳＰ７７）、この後、このペア状態管理処理を終了する。
（４−７）第３のストレージ装置におけるペア状態監視処理
他方、図３５は、第３のストレージ装置４Ｃのチャネルアダプタ２０のうち、第２のストレージ装置４Ｂと接続されたチャネルアダプタ２０が実行するリードジャーナル処理の処理内容を示す。かかるチャネルアダプタ２０は、第２のストレージ装置４Ｂにリードジャーナル命令を発行する際、図２９〜図３３について上述した命令受信処理と並行して、この図３５に示すリードジャーナル処理を実行する。
すなわち、かかるチャネルアダプタ２０は、リードジャーナル命令を第２のストレージ装置４Ｂに発行する際、このリードジャーナル処理を開始し、まず、共有メモリ２２に格納されたペア情報テーブル３１（図４）を参照して、第１及び第２のジャーナルボリュームＪＶＯＬ１，ＪＶＯＬ２からなるコピーペアのペア状態が「同期」であるか否か（第１のジャーナルボリュームＪＶＯＬ１に格納されているジャーナルが正常に第２のジャーナルボリュームＪＶＯＬ２に転送されている状態にあるか否か）を判断する（ＳＰ８０）。
チャネルアダプタ２０は、この判断において肯定結果を得ると、このリードジャーナル処理を終了する。これに対してチャネルアダプタ２０は、この判断において肯定結果を得ると、第２のストレージ装置４Ｂに対してリードジャーナル命令を送信する（ＳＰ８１）。
そしてチャネルアダプタ２０は、この後、かかるリードジャーナル命令に対する第２のストレージ装置４Ｂからの応答の有無に基づいて、第２及び第３のストレージ装置４Ｂ，４Ｃ間を接続するネットワーク６Ｂに障害が発生しているか否かを判断する（ＳＰ８２）。
チャネルアダプタ２０は、この判断において肯定結果を得ると（つまり、かかるリードジャーナル命令に応じて第２のストレージ装置４Ｂからジャーナルが送信されてくると）、ジャーナルグループ設定情報テーブル３２（図５）のエントリのうち、第２のジャーナルボリュームＪＶＯＬ２が属するジャーナルグループＪＧ２に対応するエントリのパス切れ検知時刻欄３２Ｅに、パス切れ検知時刻として無効値（０）を格納する（ＳＰ８３）。次いでチャネルアダプタ２０は、そのとき取得したジャーナルをキャッシュメモリ２３に格納し、この後、このリードジャーナル処理を終了する。
これに対してチャネルアダプタ２０は、ステップＳＰ８２の判断において否定結果を得ると、ステップＳＰ８５〜ステップＳＰ８８までを、図３４について上述したペア状態管理処理のステップＳＰ７４〜ステップＳＰ７７までと同様に処理し、この後このリードジャーナル処理を終了する。
（５）本実施の形態の効果
以上のように本実施の形態によるストレージシステム１では、第１〜第３のストレージ装置４Ａ〜４Ｃ間におけるリモートコピーを中断したときに、第２及び第３のストレージ装置４Ｂ，４Ｃにおいて、自己が保持するデータが書き込まれるべき第３の論理ボリュームＶＯＬ３内の位置をそれぞれ管理し、データの転送を再開する際には、第２及び第３のストレージ装置４Ｂ，４Ｃにおいてそれぞれ管理している第３の論理ボリュームＶＯＬ３内の位置を集約し、集約した第３の論理ボリュームＶＯＬ３の各位置にそれぞれ書き込まれるべきデータを第１のストレージ装置４Ａから第２のストレージ装置４Ｂを介して第３のストレージ装置４Ｃに転送するようにしているため、第１〜第３のストレージ装置４Ａ〜４Ｃ間におけるデータの転送を再開する際に、第１の論理ボリュームＶＯＬ１及び第３の論理ボリュームＶＯＬ３間の差分のみがコピーされる。
従って、本ストレージシステム１では、第１の論理ボリュームＶＯＬ１内のすべてのデータを第３の論理ボリュームＶＯＬ３にコピーする従来の方法と比して、リモートコピーを格段的に短時間で通常の状態に復旧させることができる。
（６）他の実施の形態
なお上述の実施の形態においては、第２のサイト３Ｂを１つのみ有するストレージシステム１に本発明を適用するようにした場合について述べたが、本発明はこれに限らず、第２のサイト３Ｂが複数設けられ、これら第２のサイト３Ｂにそれぞれ設置された第２のストレージ装置３Ｂがカスケードに接続されたストレージシステムにも本発明を適用することができる。
また上述の実施の形態においては、第１のストレージ装置４Ａの第１の論理ボリュームＶＯＬ１とコピーペアに設定される第２のストレージ装置４Ｂの論理ボリュームを仮想ボリュームＶＶＯＬとする場合について述べたが、本発明はこれに限らず、かかる仮想ボリュームＶＶＯＬに代えて、実体を有する論理ボリュームを適用するようにしても良い。
本実施の形態によるストレージシステムの全体構成を示すブロック図である。 第１〜第３のストレージ装置の構成を示すブロック図である。 ボリューム情報テーブルの構成を概念的に示す概念図である。 ペア情報テーブルの構成を概念的に示す概念図である。 ジャーナルグループ設定情報テーブルの構成を概念的に示す概念図である。 第１のストレージ装置におけるリモートコピー処理の説明に供するブロック図である。 第２のストレージ装置におけるリモートコピー処理の説明に供するブロック図である。 第２のストレージ装置におけるリモートコピー処理の説明に供するブロック図である。 第３のストレージ装置におけるリモートコピー処理の説明に供するブロック図である。 第３のストレージ装置におけるリモートコピー処理の説明に供するブロック図である。 第１〜第３のストレージ装置における同期解除処理の説明に供するブロック図である。 第２のストレージ装置における同期解除処理の説明に供するブロック図である。 第２のストレージ装置における同期解除処理の説明に供するブロック図である。 第２のストレージ装置における同期解除処理の説明に供する概念図である。 第３のストレージ装置における同期解除処理の説明に供するブロック図である。 第３のストレージ装置における同期解除処理の説明に供する概念図である。 第１のストレージ装置における同期解除処理の説明に供するブロック図である。 第２及び第３のストレージ装置間の再同期に関して第２及び第３のストレージ装置において行われる再同期処理の説明に供するブロック図である。 第２及び第３のストレージ装置間の再同期に関して第２のストレージ装置において行われる再同期処理の説明に供するブロック図である。 第２及び第３のストレージ装置間の再同期に関して第２のストレージ装置において行われる再同期処理の説明に供する概念図である。 第２及び第３のストレージ装置間の再同期に関して第３のストレージ装置において行われる再同期処理の説明に供するブロック図である。 第２及び第３のストレージ装置間の再同期に関して第３のストレージ装置において行われる再同期処理の説明に供する概念図である。 第１及び第２のストレージ装置間の再同期に関して第１及び第２のストレージ装置において行われる再同期処理の説明に供するブロック図である。 第１及び第２のストレージ装置間の再同期に関して第１のストレージ装置において行われる再同期処理の説明に供するブロック図である。 第１及び第２のストレージ装置間の再同期に関して第１のストレージ装置において行われる再同期処理の説明に供する概念図である。 第１及び第２のストレージ装置間の再同期に関して第２のストレージ装置において行われる再同期処理の説明に供するブロック図である。 第１及び第２のストレージ装置間の再同期に関して第２のストレージ装置において行われる再同期処理の説明に供する概念図である。 第１〜第３のストレージ装置間の再同期に関して第１〜第３のストレージ装置において行われる再同期処理の説明に供するタイムチャートである。 命令受信処理の処理手順を示すフローチャートである。 ライト処理の処理手順を示すフローチャートである。 同期解除処理の処理手順を示すフローチャートである。 差分ビットマップ転送処理の処理手順を示すフローチャートである。 再同期処理の処理手順を示すフローチャートである。 ペア状態監視処理の処理手順を示すフローチャートである。 ジャーナルリード処理の処理手順を示すフローチャートである。
符号の説明
１……ストレージシステム、２Ａ〜２Ｃ……サイト、３Ａ〜３Ｃ……ホストコンピュータ、４Ａ〜４Ｃ……ストレージ装置、６Ａ，６Ｂ……ネットワーク、１０……ハードディスク装置、１２……コントロール部、２０……チャネルアダプタ、２１……接続部、２２……共有メモリ、２３……キャッシュメモリ、２４……ディスクアダプタ、３０……ボリューム情報テーブル、３１……ペア情報テーブル、３２……ジャーナルグループ設定情報テーブル、５０Ａ……正側Ｉ／Ｒ間差分ビットマップ、５０Ｂ……副側Ｉ／Ｒ間差分ビットマップ、５１Ａ……正側Ｐ／Ｉ間差分ビットマップ、５１Ｂ……副側Ｐ／Ｉ間差分ビットマップ、ＶＯＬ……論理ボリューム、ＶＶＯＬ……仮想ボリューム、ＪＶＯＬ……ジャーナルボリューム、ＪＧ……ジャーナルグループ。

Claims (8)

  1. 第１のサイトに設置され、第１の論理ボリュームを提供する第１のストレージ装置と、
    第２のサイトに設置され、前記第１のストレージ装置と第１のネットワークを介して接続され、前記第１の論理ボリュームとコピーペアを形成する仮想ボリュームと、第２の論理ボリュームを提供する第２のストレージ装置と、
    第３のサイトに設置され、前記第２のストレージ装置と第２のネットワークを介して接続され、前記第１の論理ボリュームのバックアップとなる第３の論理ボリュームを提供する第３のストレージ装置と
    を備え、
    前記第１の論理ボリュームと前記仮想ボリュームによる前記コピーペアが同期状態の場合に、
    前記第１のストレージ装置は、前記第１の論理ボリュームに書き込まれたライトデータを前記第２のストレージ装置の前記仮想ボリュームヘ送信し、
    前記第２のストレージ装置は、受信した前記ライトデータを前記第２の論理ボリュームに一時的に格納し、前記ライトデータを前記第２の論理ボリュームからリードして前記第３のストレージ装置に転送するように制御し、
    前記第３のストレージ装置は、前記第２のストレージ装置を介して転送された前記ライトデータを前記第３の論理ボリューム内の前記第１の論理ボリュームと対応するアドレスに書き込み、
    前記第２のストレージ装置と前記第３のストレージ装置間の前記第２のネットワークにおける障害を検出した場合には、
    前記第１の論理ボリュームと前記仮想ボリュームによる前記コピーペアの同期状態を解除して、前記第１のストレージ装置から前記第２のストレージ装置の前記仮想ボリュームへのライトデータの送信を中断し、
    前記第１のストレージ装置は、前記第１の論理ボリューム内の同期状態解除後にライトデータが格納されたアドレスを管理する第１の管理情報を管理し、
    前記第２のストレージ装置は、前記第１のストレージ装置から送信され未だ前記第２の論理ボリュームに転送されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理し、
    前記第３のストレージ装置は、前記第２のストレージ装置から送信され未だ第３の論理ボリュームに格納されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理する第３の管理情報を管理し、
    前記第２のネットワークが障害から回復した場合には、
    前記第１乃至第３の管理情報を第１のストレージ装置に集約し、集約された管理情報に基づき、前記第１の論理ボリュームに格納されたデータのうち、前記第３の論理ボリュームに書き込まれるべきデータを前記第１のストレージ装置から前記第２のストレージ装置を介して前記第３のストレージ装置に転送する
    ことを特徴とするストレージシステム。
  2. 前記第２及び第３のストレージ装置は、
    前記第２のネットワークにおける障害を検出した場合には、自己が保持する前記ライトデータが書き込まれるべき前記第３の論理ボリューム内のアドレスを差分ビットマップを用いてそれぞれ管理し、
    前記第２のネットワークが障害から回復した場合には、前記第２及び第３のストレージ装置がそれぞれ保持する前記差分ビットマップをマージすることにより、前記第２及び第３のストレージ装置がそれぞれ管理している前記第３の論理ボリューム内のアドレスを管理する
    ことを特徴とする請求項１に記載のストレージシステム。
  3. 前記第１及び第２のストレージ装置間では、前記第１の論理ボリュームにライトデータが書き込まれるのと同期して前記ライトデータを前記第１のストレージ装置から前記第２のストレージ装置に転送し、
    前記第２及び第３のストレージ装置間では、前記第１のストレージ装置から前記第２のストレージ装置に対する前記ライトデータの転送とは非同期に当該ライトデータを前記第２のストレージ装置から前記第３のストレージ装置に転送する
    ことを特徴とする請求項１に記載のストレージシステム。
  4. 前記第１のストレージ装置は、前記第１の論理ボリュームに書き込まれたライトデータを、前記仮想ボリュームを書込み先とするライト命令と共に前記第２のストレージ装置に送信し、
    前記第２のストレージ装置は、前記第１のストレージ装置から送信される前記ライト命令及び前記ライトデータに基づいて、当該ライトデータ及び当該ライトデータの更新情報からなるジャーナルを作成し、当該ジャーナルを前記第３のストレージ装置に転送する
    ことを特徴とする請求項１に記載のストレージシステム。
  5. 第１のストレージ装置が提供する第１の論理ボリュームに書き込まれたライトデータを第２のストレージ装置の前記第１の論理ボリュームとコピーペアを形成する仮想ボリュームと第２の論理ボリュームを提供する第２のストレージ装置の前記仮想ボリュームへ送信し、前記第２のストレージ装置は、受信した前記ライトデータを前記第２の論理ボリュームに一時的に格納し、該第２の論理ボリュームからリードした前記ライトデータを第３のストレージ装置に転送し、前記第３のストレージ装置において、前記ライトデータを前記第３の論理ボリューム内の前記第１の論理ボリュームと対応するアドレスに書き込むストレージシステムにおけるリモートコピー復旧方法において、
    前記第２のストレージ装置と前記第３のストレージ装置間の第２のネットワークにおける障害を検出した場合には、前記第１の論理ボリュームと前記仮想ボリュームによる前記コピーペアの同期状態を解除して、前記第１のストレージ装置から前記第２のストレージ装置の前記仮想ボリュームへのライトデータの送信を中断して、前記第１のストレージ装置は、前記第１の論理ボリューム内の同期状態解除後にライトデータが格納されたアドレスを管理する第１の管理情報を管理し、前記第２のストレージ装置は、前記第１のストレージ装置から送信され未だ前記第２の論理ボリュームに転送されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理し、前記第３のストレージ装置は、前記第２のストレージ装置から送信され未だ第３の論理ボリュームに格納されていないライトデータと対応する前記第１の論理ボリューム内のアドレスを管理する第３の管理情報を管理する第１のステップと、
    前記第２のネットワークが障害から回復した場合には、前記第１乃至第３の管理情報を第１のストレージ装置に集約し、集約された管理情報に基づき、前記第１の論理ボリュームに格納されたデータのうち、前記第３の論理ボリュームに書き込まれるべきデータを前記第１のストレージ装置から前記第２のストレージ装置を介して前記第３のストレージ装置に転送する第２のステップと
    を備えることを特徴とするリモートコピー復旧方法。
  6. 前記第１のステップでは、
    前記第２のネットワークにおける障害を検出した場合には、自己が保持する前記ライトデータが書き込まれるべき前記第３の論理ボリューム内のアドレスを差分ビットマップを用いてそれぞれ管理し、
    前記第２のネットワークが障害から回復した場合には、前記第２及び第３のストレージ装置がそれぞれ保持する前記差分ビットマップをマージすることにより、前記第２及び第３のストレージ装置がそれぞれ管理している前記第３の論理ボリューム内のアドレスを管理する
    ことを特徴とする請求項５に記載のリモートコピー復旧方法。
  7. 前記第１及び第２のストレージ装置間では、前記第１の論理ボリュームにライトデータが書き込まれるのと同期して前記ライトデータを前記第１のストレージ装置から前記第２のストレージ装置に転送し、
    前記第２及び第３のストレージ装置間では、前記第１のストレージ装置から前記第２のストレージ装置に対する前記ライトデータの転送とは非同期に当該ライトデータを前記第２のストレージ装置から前記第３のストレージ装置に転送する
    ことを特徴とする請求項５に記載のリモートコピー復旧方法。
  8. 前記第１のストレージ装置は、前記第１の論理ボリュームに書き込まれたライトデータを、前記仮想ボリュームを書込み先とするライト命令と共に前記第２のストレージ装置に送信し、
    前記第２のストレージ装置は、前記第１のストレージ装置から送信される前記ライト命令及び前記ライトデータに基づいて、当該ライトデータ及び当該ライトデータの更新情報からなるジャーナルを作成し、当該ジャーナルを前記第３のストレージ装置に転送する
    ことを特徴とする請求項５に記載のリモートコピー復旧方法。
JP2008173513A 2008-07-02 2008-07-02 ストレージシステム及びリモートコピー復旧方法 Expired - Fee Related JP5147570B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2008173513A JP5147570B2 (ja) 2008-07-02 2008-07-02 ストレージシステム及びリモートコピー復旧方法
US12/194,625 US7996637B2 (en) 2008-07-02 2008-08-20 Storage system and remote copy recovery method
EP09250028.9A EP2148278B1 (en) 2008-07-02 2009-01-07 Storage system and remote copy recovery method
US13/177,080 US8117411B2 (en) 2008-07-02 2011-07-06 Storage system and remote copy recovery method
US13/355,617 US8296537B2 (en) 2008-07-02 2012-01-23 Storage system and remote copy recovery method
US13/623,253 US8452933B2 (en) 2008-07-02 2012-09-20 Storage system and remote copy recovery method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008173513A JP5147570B2 (ja) 2008-07-02 2008-07-02 ストレージシステム及びリモートコピー復旧方法

Publications (2)

Publication Number Publication Date
JP2010015301A JP2010015301A (ja) 2010-01-21
JP5147570B2 true JP5147570B2 (ja) 2013-02-20

Family

ID=40756266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008173513A Expired - Fee Related JP5147570B2 (ja) 2008-07-02 2008-07-02 ストレージシステム及びリモートコピー復旧方法

Country Status (3)

Country Link
US (4) US7996637B2 (ja)
EP (1) EP2148278B1 (ja)
JP (1) JP5147570B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843783B2 (en) * 2006-03-31 2014-09-23 Emc Corporation Failover to backup site in connection with triangular asynchronous replication
US8250031B2 (en) * 2008-08-26 2012-08-21 Hitachi, Ltd. Low traffic failback remote copy
JP5199464B2 (ja) * 2009-01-20 2013-05-15 株式会社日立製作所 ストレージシステム及びストレージシステムの制御方法
TWI414992B (zh) * 2009-01-23 2013-11-11 Infortrend Technology Inc 遠端非同步資料卷複製的方法及其裝置
US8713266B2 (en) * 2010-04-15 2014-04-29 Hitachi, Ltd. Storage apparatus and method including page discard processing for primary and secondary volumes configured as a copy pair
US9588858B2 (en) * 2010-11-29 2017-03-07 Ca, Inc. Periodic data replication
JP5776267B2 (ja) 2011-03-29 2015-09-09 日本電気株式会社 分散ファイルシステム
GB2521964A (en) * 2013-03-14 2015-07-08 Hitachi Ltd Method and apparatus of disaster recovery virtualization
US9015062B2 (en) * 2013-06-20 2015-04-21 Aol Advertising Inc. Systems and methods for cross-browser advertising ID synchronization
US9239845B2 (en) 2013-12-24 2016-01-19 Hitachi, Ltd. Backup system
US9489149B2 (en) 2014-06-16 2016-11-08 Netapp, Inc. Methods and systems for using a write cache in a storage system
US10572357B2 (en) 2017-03-29 2020-02-25 International Business Machines Corporation Switching over from using a first primary storage to using a second primary storage when the first primary storage is in a mirror relationship
US10740007B2 (en) 2018-03-06 2020-08-11 International Business Machines Corporation Synchronized primary-secondary role swaps with synchronized safe data commit scans
US10809938B2 (en) 2018-03-06 2020-10-20 International Business Machines Corporation Synchronized safe data commit scans in multiple data storage systems
CN112328794B (zh) * 2020-11-10 2021-08-24 南京师范大学 台风事件信息聚合方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049418A (ja) 1996-08-02 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ジャーナルデータの反映方法及び装置と、冗長構成形計算機システム
US6237008B1 (en) 1998-07-20 2001-05-22 International Business Machines Corporation System and method for enabling pair-pair remote copy storage volumes to mirror data in another storage volume
JP4689137B2 (ja) 2001-08-08 2011-05-25 株式会社日立製作所 リモートコピー制御方法、及びストレージシステム
US6209002B1 (en) * 1999-02-17 2001-03-27 Emc Corporation Method and apparatus for cascading data through redundant data storage units
US6457109B1 (en) 2000-08-18 2002-09-24 Storage Technology Corporation Method and apparatus for copying data from one storage system to another storage system
US7007042B2 (en) 2002-03-28 2006-02-28 Hewlett-Packard Development Company, L.P. System and method for automatic site failover in a storage area network
JP4214832B2 (ja) * 2002-07-30 2009-01-28 株式会社日立製作所 記憶装置システム
US7103727B2 (en) 2002-07-30 2006-09-05 Hitachi, Ltd. Storage system for multi-site remote copy
US7134044B2 (en) 2002-08-16 2006-11-07 International Business Machines Corporation Method, system, and program for providing a mirror copy of data
US7149919B2 (en) 2003-05-15 2006-12-12 Hewlett-Packard Development Company, L.P. Disaster recovery system with cascaded resynchronization
JP2005309550A (ja) 2004-04-19 2005-11-04 Hitachi Ltd リモートコピー方法及びリモートコピーシステム
JP4374953B2 (ja) * 2003-09-09 2009-12-02 株式会社日立製作所 データ処理システム
JP4419460B2 (ja) * 2003-08-04 2010-02-24 株式会社日立製作所 リモートコピーシステム
US7284105B2 (en) 2003-09-10 2007-10-16 International Business Machines Corporation Fast and economical establishment of remote copy
US7188272B2 (en) 2003-09-29 2007-03-06 International Business Machines Corporation Method, system and article of manufacture for recovery from a failure in a cascading PPRC system
US7188222B2 (en) 2003-09-29 2007-03-06 International Business Machines Corporation Method, system, and program for mirroring data among storage sites
US7152183B2 (en) 2003-11-20 2006-12-19 Hitachi, Ltd. Method and apparatus for volume replication management at planned and unplanned link down
US7139851B2 (en) * 2004-02-25 2006-11-21 Hitachi, Ltd. Method and apparatus for re-synchronizing mirroring pair with data consistency
JP2005258850A (ja) * 2004-03-12 2005-09-22 Hitachi Ltd 計算機システム
JP2005301590A (ja) * 2004-04-09 2005-10-27 Hitachi Ltd ストレージシステム及びデータ複製方法
JP4563725B2 (ja) * 2004-05-17 2010-10-13 株式会社日立製作所 計算機システム
JP4477950B2 (ja) * 2004-07-07 2010-06-09 株式会社日立製作所 リモートコピーシステム及び記憶装置システム
JP4376750B2 (ja) 2004-10-14 2009-12-02 株式会社日立製作所 計算機システム
JP2006331100A (ja) * 2005-05-26 2006-12-07 Hitachi Ltd 差分ビットマップ管理方法、ストレージ装置及び情報処理システム
JP2007148520A (ja) * 2005-11-24 2007-06-14 Hitachi Ltd 情報通知方法及び計算機システム
US7627729B2 (en) 2006-09-07 2009-12-01 International Business Machines Corporation Apparatus, system, and method for an improved synchronous mirror swap
JP5124183B2 (ja) * 2007-06-27 2013-01-23 株式会社日立製作所 非同期リモートコピーシステムの制御方法及び非同期リモートコピーシステム

Also Published As

Publication number Publication date
US20110264881A1 (en) 2011-10-27
US20130019075A1 (en) 2013-01-17
US8117411B2 (en) 2012-02-14
US8296537B2 (en) 2012-10-23
US7996637B2 (en) 2011-08-09
JP2010015301A (ja) 2010-01-21
US20100005260A1 (en) 2010-01-07
US8452933B2 (en) 2013-05-28
US20120144137A1 (en) 2012-06-07
EP2148278B1 (en) 2018-03-28
EP2148278A1 (en) 2010-01-27

Similar Documents

Publication Publication Date Title
JP5147570B2 (ja) ストレージシステム及びリモートコピー復旧方法
JP5042644B2 (ja) リモートコピーシステム
US7603581B2 (en) Remote copying of updates to primary and secondary storage locations subject to a copy relationship
JP4939174B2 (ja) ミラーリングされたシステム内の障害を管理するための方法
US8495014B2 (en) Asynchronous remote copy system and storage control method
JP4611922B2 (ja) 制御プログラム、制御方法および制御装置
TWI307035B (en) Method and system for backing up remote mirror data on internet
US7966463B2 (en) Asynchronous remote copy system and control method for the same
JP5352115B2 (ja) ストレージシステム及びその監視条件変更方法
CN101755257B (zh) 管理在不同的网络上将写入从首要存储器拷贝到次要存储器
US20090013099A1 (en) System and program for transmitting input/output requests from a first controller to a second controller
JP4942371B2 (ja) 記憶システム及びデータ管理方法
JP2004535012A (ja) 仮想ストレージエリアネットワークを構築するためのネットワークデータミラーリング
US7831550B1 (en) Propagating results of a volume-changing operation to replicated nodes
JP2006309447A (ja) 記憶システム及びバックアップ方法
JP5286212B2 (ja) ストレージクラスタ環境でのリモートコピー制御方法及びシステム
US8745006B2 (en) Computing system and backup method using the same
JP2007206931A (ja) 記憶システム、データ処理方法並びにストレージ装置
JP2006227964A (ja) ストレージシステム、処理方法及びプログラム
US11321005B2 (en) Data backup system, relay site storage, data backup method, and control program for relay site storage
JP2006039976A (ja) リモートコピーシステム
US20090024812A1 (en) Copying writes from primary storages to secondary storages across different networks
JP5170169B2 (ja) ディスクアレイ装置間のリモートコピー処理システム、処理方法、及び処理用プログラム
JP5218121B2 (ja) 情報システム及びディザスタリカバリ方法
US9218313B2 (en) Shared-bandwidth multiple target remote copy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5147570

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees