JP2003263280A - 複数リモートストレージのデータ同期方式 - Google Patents
複数リモートストレージのデータ同期方式Info
- Publication number
- JP2003263280A JP2003263280A JP2002369171A JP2002369171A JP2003263280A JP 2003263280 A JP2003263280 A JP 2003263280A JP 2002369171 A JP2002369171 A JP 2002369171A JP 2002369171 A JP2002369171 A JP 2002369171A JP 2003263280 A JP2003263280 A JP 2003263280A
- Authority
- JP
- Japan
- Prior art keywords
- data
- remote
- storage system
- remote storage
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2082—Data synchronisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2064—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
- G06F11/2074—Asynchronous techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2069—Management of state, configuration or failover
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】 （修正有）
【課題】ローカルストレージの障害時においても、複数
のリモートデータストレージシステムが同じデータイメ
ージを保持できるようにする。 【解決手段】一つのローカルストレージシステムと、こ
のローカルストレージシステムに保持されているデータ
のミラーを行うための複数のリモートストレージシステ
ムを有し、ローカルストレージシステムで書き込まれ、
変更され、削除その他で更新になったデータは、各リモ
ートシステムで維持されているミラーデータを更新する
ために、ローカルストレージシステムによって、リモー
トコピーコマンドを通して、周期的に各リモートストレ
ージシステムに送信される。ローカル又は、他のリモー
トストレージシステムの一システムが障害になると、他
の生存システムが、各システムが維持しているデータに
関する情報交換をして、差異が存在すると、更にデータ
交換を実施して、各生存システムが保持するデータを同
一にする。
のリモートデータストレージシステムが同じデータイメ
ージを保持できるようにする。 【解決手段】一つのローカルストレージシステムと、こ
のローカルストレージシステムに保持されているデータ
のミラーを行うための複数のリモートストレージシステ
ムを有し、ローカルストレージシステムで書き込まれ、
変更され、削除その他で更新になったデータは、各リモ
ートシステムで維持されているミラーデータを更新する
ために、ローカルストレージシステムによって、リモー
トコピーコマンドを通して、周期的に各リモートストレ
ージシステムに送信される。ローカル又は、他のリモー
トストレージシステムの一システムが障害になると、他
の生存システムが、各システムが維持しているデータに
関する情報交換をして、差異が存在すると、更にデータ
交換を実施して、各生存システムが保持するデータを同
一にする。
Description
【発明の属する技術分野】本発明は、一般的に、ローカ
ルストレージシステムと、このローカルストレージシス
テムが保持するデータの少なくとも一部をミラーする複
数のリモートストレージシステムとから構成されるデー
タストレージ処理システムに関係する。更に具体的に
は、本発明は、これらのシステム中の一システムが障害
になった場合に、生存するストレージシステムのデータ
を同期させるための、方法及びこの方法を実装した装置
に関連する。
ルストレージシステムと、このローカルストレージシス
テムが保持するデータの少なくとも一部をミラーする複
数のリモートストレージシステムとから構成されるデー
タストレージ処理システムに関係する。更に具体的に
は、本発明は、これらのシステム中の一システムが障害
になった場合に、生存するストレージシステムのデータ
を同期させるための、方法及びこの方法を実装した装置
に関連する。
【従来の技術】商業、軍、政府、やその他の事業での積
年のデータ処理の利用により大量のデータが保存されて
おり、この多くのものは、実質上金銭に換算できないほ
どの重要性を持っている。例えばデータが失われると、
企業は倒産する危険がある。偏にこのために、、ローカ
ルデータは一つ以上のコピーでバックアップされてお
り、元データが万一失われても利用できるように保持さ
れている。データが重要であるほど、バックアップ方法
は精密化されなければならない。重要データを保護する
一つの方法は、例えば、ローカルストレージシステムか
ら地理的に離れた一つ以上のサイトで、そのデータのバ
ックアップコピーを保存することである。各リモートス
トレージシステムがローカルストレージシステムのデー
タのミラーイメージを保持し、ローカルストレージシス
テムのローカルデータイメージに変更(書き込み、削除
等による)が生じた場合には、該変更データイメージを
各リモートストレージシステムに転送して、各リモート
ストレージシステムがローカルデータイメージのミラー
を維持できるようにする。ローカルストレージシステム
のデータをリモートストレージシステムがミラーする一
つの例が米国特許 Ｎｏ.５,９３３,６５３に開示されて
いる。リモートストレージシステムに送信される更新デ
ータはしばしばキューされ、リモートコピー動作のオー
バヘッドを最小にするために、グループとして送信され
る。又転送媒体には、インターネットまたは類似媒体が
よく使用される。このような理由で、ローカルデータを
ミラーしているデータイメージと言えども、各時点では
必ずしも同じではない。もし、ローカルデータのミラー
のために複数のリモートストレージが使用されている場
合には、各リモートストレージ間でデータイメージが一
致していないことがしばしば発生する。少なくとも、ロ
ーカルストレージシステムによるデータを更新し終わる
迄の時間は不一致になってしまう。このような異なった
データイメージが存在する事は、ローカルストレージシ
ステムが障害になり、リモートストレージシステムが取
り残された時には、問題になる。ローカルストレージシ
ステムが障害になった時点では、あるリモートストレー
ジは、完全なミラーとまではいかなくても、最新に最も
近いローカルストレージシステムのデータイメージを保
持しており、他のリモートストレージでは、ある種のデ
ータイメージは全く更新されていないという事態が発生
する。かくのごとく、ローカルストレージシステムが障
害になった場合に、全システムを再起動させるには、他
のリモートストレージシステムのデータを同期させて、
各システムが最新に最も近い同じデータイメージを保持
するようにすることが必要になる。幾つかのデータ同期
方式が存在する。もし、ローカル及びリモートストレー
ジシステムで可搬媒体(例えば、テープ、ＣＤ−Ｒ，Ｄ
ＶＤ等)が使用出来る場合は、そのような可搬媒体を用
いることが出来る。例えば、システム管理者は、ローカ
ルストレージシステムの最新に最も近いデータイメージ
を保持していると信じられるリモートストレージシステ
ムのデータをテープにコピーする。次いで、他のリモー
トストレージシステムで同期させるために使われる前に
データイメージが変更されてしまうのを防ぐために、こ
のテープを持ちまわって他のリモートストレージシステ
ムのデータを更新し終えるまで、データイメージを供給
するストレージシステムの入力／出力（Ｉ／Ｏ）動作は
停止される。リモートストレージシステムでは、管理者
が可搬媒体からリモートサイトのストレージにコピーす
る。コピーが終わった所で、システム管理者はこれまで
はリモートストレージシステムの一つであったものが新
たなローカルストレージシステムになるように全システ
ムを指定替えをして、Ｉ／Ｏ動作が開始できることにな
る。この方式は、関連するデータ量が少なく、それほど
大きくないシステムに有効である。より大きなシステム
ではデータ量が急速に増大し、全同期プロセスに必要な
コピー時間が過大になる。可搬媒体が使用できない場合
は、別の方式として、いろいろなストレージシステム間
のデータ転送にネットワーク接続を使用する方式が考え
られる。この方式では、一つのストレージシステムが、
前の、（現在は障害になった）ローカルストレージシス
テムの代わりを務めるために選択される。この選択され
たストレージシステムは、先に述べたと同じ理由で、Ｉ
／Ｏ動作は停止され、この選択されたストレージシステ
ムと他のリモートストレージシステムとの間で、同期コ
ピー処理が開始される。同期処理が完了すると、選択さ
れたストレージシステムにおいてＩ／Ｏ動作が再スター
トされ、(以前の、障害になったローカルストレージシ
ステムの分だけ)ストレージシステムが一つ少なくはな
るがシステムは以前と同様に業務を続けることができ
る。この後者の方式の大きな問題は、同期処理に必要な
時間であり、特に大量データを保有する大システムでは
問題が大きい。例えば、１００ＴＢのデータを１００Ｍ
Ｂ／ｓの転送速度のネットワークで同期化する場合の時
間は１１．５７日が必要となる。(100x1012/(100x106)=
106秒=277時間=11.57日)。この時間はただ一つのストレ
ージシステムを同期するのに必要な時間である。同期を
必要とするストレージシステムが増加すると、この問題
は深刻化する。更に、同期処理中は、関係するストレー
ジシステムのＩ／Ｏ動作は停止しなければならない。
年のデータ処理の利用により大量のデータが保存されて
おり、この多くのものは、実質上金銭に換算できないほ
どの重要性を持っている。例えばデータが失われると、
企業は倒産する危険がある。偏にこのために、、ローカ
ルデータは一つ以上のコピーでバックアップされてお
り、元データが万一失われても利用できるように保持さ
れている。データが重要であるほど、バックアップ方法
は精密化されなければならない。重要データを保護する
一つの方法は、例えば、ローカルストレージシステムか
ら地理的に離れた一つ以上のサイトで、そのデータのバ
ックアップコピーを保存することである。各リモートス
トレージシステムがローカルストレージシステムのデー
タのミラーイメージを保持し、ローカルストレージシス
テムのローカルデータイメージに変更(書き込み、削除
等による)が生じた場合には、該変更データイメージを
各リモートストレージシステムに転送して、各リモート
ストレージシステムがローカルデータイメージのミラー
を維持できるようにする。ローカルストレージシステム
のデータをリモートストレージシステムがミラーする一
つの例が米国特許 Ｎｏ.５,９３３,６５３に開示されて
いる。リモートストレージシステムに送信される更新デ
ータはしばしばキューされ、リモートコピー動作のオー
バヘッドを最小にするために、グループとして送信され
る。又転送媒体には、インターネットまたは類似媒体が
よく使用される。このような理由で、ローカルデータを
ミラーしているデータイメージと言えども、各時点では
必ずしも同じではない。もし、ローカルデータのミラー
のために複数のリモートストレージが使用されている場
合には、各リモートストレージ間でデータイメージが一
致していないことがしばしば発生する。少なくとも、ロ
ーカルストレージシステムによるデータを更新し終わる
迄の時間は不一致になってしまう。このような異なった
データイメージが存在する事は、ローカルストレージシ
ステムが障害になり、リモートストレージシステムが取
り残された時には、問題になる。ローカルストレージシ
ステムが障害になった時点では、あるリモートストレー
ジは、完全なミラーとまではいかなくても、最新に最も
近いローカルストレージシステムのデータイメージを保
持しており、他のリモートストレージでは、ある種のデ
ータイメージは全く更新されていないという事態が発生
する。かくのごとく、ローカルストレージシステムが障
害になった場合に、全システムを再起動させるには、他
のリモートストレージシステムのデータを同期させて、
各システムが最新に最も近い同じデータイメージを保持
するようにすることが必要になる。幾つかのデータ同期
方式が存在する。もし、ローカル及びリモートストレー
ジシステムで可搬媒体(例えば、テープ、ＣＤ−Ｒ，Ｄ
ＶＤ等)が使用出来る場合は、そのような可搬媒体を用
いることが出来る。例えば、システム管理者は、ローカ
ルストレージシステムの最新に最も近いデータイメージ
を保持していると信じられるリモートストレージシステ
ムのデータをテープにコピーする。次いで、他のリモー
トストレージシステムで同期させるために使われる前に
データイメージが変更されてしまうのを防ぐために、こ
のテープを持ちまわって他のリモートストレージシステ
ムのデータを更新し終えるまで、データイメージを供給
するストレージシステムの入力／出力（Ｉ／Ｏ）動作は
停止される。リモートストレージシステムでは、管理者
が可搬媒体からリモートサイトのストレージにコピーす
る。コピーが終わった所で、システム管理者はこれまで
はリモートストレージシステムの一つであったものが新
たなローカルストレージシステムになるように全システ
ムを指定替えをして、Ｉ／Ｏ動作が開始できることにな
る。この方式は、関連するデータ量が少なく、それほど
大きくないシステムに有効である。より大きなシステム
ではデータ量が急速に増大し、全同期プロセスに必要な
コピー時間が過大になる。可搬媒体が使用できない場合
は、別の方式として、いろいろなストレージシステム間
のデータ転送にネットワーク接続を使用する方式が考え
られる。この方式では、一つのストレージシステムが、
前の、（現在は障害になった）ローカルストレージシス
テムの代わりを務めるために選択される。この選択され
たストレージシステムは、先に述べたと同じ理由で、Ｉ
／Ｏ動作は停止され、この選択されたストレージシステ
ムと他のリモートストレージシステムとの間で、同期コ
ピー処理が開始される。同期処理が完了すると、選択さ
れたストレージシステムにおいてＩ／Ｏ動作が再スター
トされ、(以前の、障害になったローカルストレージシ
ステムの分だけ)ストレージシステムが一つ少なくはな
るがシステムは以前と同様に業務を続けることができ
る。この後者の方式の大きな問題は、同期処理に必要な
時間であり、特に大量データを保有する大システムでは
問題が大きい。例えば、１００ＴＢのデータを１００Ｍ
Ｂ／ｓの転送速度のネットワークで同期化する場合の時
間は１１．５７日が必要となる。(100x1012/(100x106)=
106秒=277時間=11.57日)。この時間はただ一つのストレ
ージシステムを同期するのに必要な時間である。同期を
必要とするストレージシステムが増加すると、この問題
は深刻化する。更に、同期処理中は、関係するストレー
ジシステムのＩ／Ｏ動作は停止しなければならない。
【発明が解決しようとする課題】本発明は、ローカルス
トレージの障害時に於いても、複数のリモートデータス
トレージシステムが同じデータイメージを保持できるよ
うに、当該リモートデータストレージシステムを同期さ
せるための方法及び当方法を実装するための方式を提供
する。
トレージの障害時に於いても、複数のリモートデータス
トレージシステムが同じデータイメージを保持できるよ
うに、当該リモートデータストレージシステムを同期さ
せるための方法及び当方法を実装するための方式を提供
する。
【課題を解決するための手段】一般的に本発明は、複数
のリモートストレージシステムに通信結合したローカル
データストレージシステムから成る、データ処理システ
ムに関係する。各ストレージシステムはローカルである
にせよ、リモートであるにせよ、データストレージにス
トレージメディアを保有する。ローカルデータストレー
ジシステムのストレージメディアにて維持されているデ
ータは、各リモートストレージシステム内のストレージ
メディアにミラーされる。ローカルストレージシステム
で発生したデータイメージの変更は、更新データと共に
データメッセージを送信する、リモートコピープロセス
を用いて定期的にリモートストレージシステムに送信さ
れ、当該システムのデータイメージの更新が行われる。
各ストレージシステムは、リモートストレージシステム
がどんな更新データを受信したかのヒストリを示す情
報、及びどんな更新データを（かかるリモートストレー
ジシステムの各ストレージメディアへ書き込むことで）
取り込んだかのヒストリを示す情報を保持している。一
つのストレージシステムが障害になった場合は、生存ス
トレージシステムが、このヒストリの更新データを持ち
回って、システム間のデータイメージの差異、即ち、各
生存ストレージシステムでの未受領の更新データの有無
を調べる。もし差異が存在する場合には、生存ストレー
ジシステムがデータイメージの同期を実施して、全ての
生存システムが実質的に同一データイメージを保有する
ようにする。本発明の一実施例では、同期は、ヒストリ
の更新データ情報が示す最新の更新データを有するリモ
ートストレージシステムが、他のリモートストレージシ
ステムに必要な更新データを送信して、全てのデータイ
メージを最新状態に持ち上げる“ロールフォワード”方
式で達成される。もう一つの“ロールバック”方式の同
期方式では、不揃いの更新データを切り捨てて、すべて
のデータイメージを共通の更新レベルに戻してしまう。
本発明の一つの効果は、ミラーされるストレージを有す
るデータ処理システムに於いては、ミラーするローカル
ストレージシステムに障害が起こった場合、ローカルス
トレージのミラーイメージは、互いに、対応付けが出来
ると言う事実にある。本発明のもう一つの実施例では、
各ストレージシステムはキュー構造を持ち、ロールバッ
クキューでは、ストレージメディアに未書き込みのメッ
セージを識別し、ライトヒストリキューでは、実際に書
き込みが完了したメッセージを識別する。もし、ローカ
ルストレージシステムで障害が発生したら、各リモート
ストレージシステムは、各システムのロールバックキュ
ーとライトヒストリキューの内容を示した情報を持ち回
って、一つのストレージシステムでは保有しているが他
のストレージシステムでは保有していないデータを見つ
け出し、この情報に基づいて不揃いデータを、保有して
いるシステムから保有していないシステムに送信する。
本発明の更に他の実施例では、アラインメント処理を有
し、ローカルストレージシステムがリモートストレージ
システムで受信されたメッセージの来歴を追いかけて、
当該情報により、各ロールバック及びライトヒストリキ
ュー内に存在するメッセージを特定する。後になって、
ロールバック、ロールフォワード、又はパージ処理が実
施できるように、各ロールバックキュー及びライトヒス
トリキューに登録されているメッセージのオーバラップ
を維持するために、ローカルストレージシステムはデー
タ転送を抑制し調整する。本発明の、これら及び他の効
果が、添付する図面と共にこの明細書の以降に記載する
詳細な説明により、本分野に造詣のある人には明確にな
る。
のリモートストレージシステムに通信結合したローカル
データストレージシステムから成る、データ処理システ
ムに関係する。各ストレージシステムはローカルである
にせよ、リモートであるにせよ、データストレージにス
トレージメディアを保有する。ローカルデータストレー
ジシステムのストレージメディアにて維持されているデ
ータは、各リモートストレージシステム内のストレージ
メディアにミラーされる。ローカルストレージシステム
で発生したデータイメージの変更は、更新データと共に
データメッセージを送信する、リモートコピープロセス
を用いて定期的にリモートストレージシステムに送信さ
れ、当該システムのデータイメージの更新が行われる。
各ストレージシステムは、リモートストレージシステム
がどんな更新データを受信したかのヒストリを示す情
報、及びどんな更新データを（かかるリモートストレー
ジシステムの各ストレージメディアへ書き込むことで）
取り込んだかのヒストリを示す情報を保持している。一
つのストレージシステムが障害になった場合は、生存ス
トレージシステムが、このヒストリの更新データを持ち
回って、システム間のデータイメージの差異、即ち、各
生存ストレージシステムでの未受領の更新データの有無
を調べる。もし差異が存在する場合には、生存ストレー
ジシステムがデータイメージの同期を実施して、全ての
生存システムが実質的に同一データイメージを保有する
ようにする。本発明の一実施例では、同期は、ヒストリ
の更新データ情報が示す最新の更新データを有するリモ
ートストレージシステムが、他のリモートストレージシ
ステムに必要な更新データを送信して、全てのデータイ
メージを最新状態に持ち上げる“ロールフォワード”方
式で達成される。もう一つの“ロールバック”方式の同
期方式では、不揃いの更新データを切り捨てて、すべて
のデータイメージを共通の更新レベルに戻してしまう。
本発明の一つの効果は、ミラーされるストレージを有す
るデータ処理システムに於いては、ミラーするローカル
ストレージシステムに障害が起こった場合、ローカルス
トレージのミラーイメージは、互いに、対応付けが出来
ると言う事実にある。本発明のもう一つの実施例では、
各ストレージシステムはキュー構造を持ち、ロールバッ
クキューでは、ストレージメディアに未書き込みのメッ
セージを識別し、ライトヒストリキューでは、実際に書
き込みが完了したメッセージを識別する。もし、ローカ
ルストレージシステムで障害が発生したら、各リモート
ストレージシステムは、各システムのロールバックキュ
ーとライトヒストリキューの内容を示した情報を持ち回
って、一つのストレージシステムでは保有しているが他
のストレージシステムでは保有していないデータを見つ
け出し、この情報に基づいて不揃いデータを、保有して
いるシステムから保有していないシステムに送信する。
本発明の更に他の実施例では、アラインメント処理を有
し、ローカルストレージシステムがリモートストレージ
システムで受信されたメッセージの来歴を追いかけて、
当該情報により、各ロールバック及びライトヒストリキ
ュー内に存在するメッセージを特定する。後になって、
ロールバック、ロールフォワード、又はパージ処理が実
施できるように、各ロールバックキュー及びライトヒス
トリキューに登録されているメッセージのオーバラップ
を維持するために、ローカルストレージシステムはデー
タ転送を抑制し調整する。本発明の、これら及び他の効
果が、添付する図面と共にこの明細書の以降に記載する
詳細な説明により、本分野に造詣のある人には明確にな
る。
【発明の実施の形態】図１は、データ通信ネットワーク
１６で互いに通信結合される、ローカルサイト１２と多
数のリモートサイト１４を含む、データ処理システム１
０を説明する。ローカルサイト１２は、ホストプロセッ
サ１０１とローカルストレージシステム１０４を含む。
ホストプロセッサ１０１とローカルストレージシステム
１０４は、ローカルサイト１２でのデータイメージの更
新データをリモートサイト１４と交信するために、デー
タ通信ネットワーク１６を介してリモートサイト１４に
結合している。これにより、リモートサイト１４は、ロ
ーカルサイト１２のデータのミラーとなるデータイメー
ジを維持することが出来る。各リモートサイト１４は、
リモートストレージシステム１０５，１０６を有し、対
応するホストプロセッサ１０２，１０３は持つ場合と持
たない場合がある。リモートストレージシステム１０
５，１０６は、ローカルストレージシステム１０４のデ
ータイメージのミラーとなるデータイメージを保持する
ために、ローカルストレージシステム１０４のストレー
ジメディアと極めて類似したストレージメディアを有す
る(後に更に議論する)。リモートサイトは、ローカルス
トレージシステム１０４が計画的又は予期しない停止に
なった場合には、必要データへのアクセスを可能にする
が、ローカルサイト１２が災害でデータが失われる場合
のことを考えると、リモートサイト１４は、サイト及び
維持するデータを保護するために、ローカルストレージ
システム１０４から地理的に離れた位置に設置すること
がより大きな効果をもたらす。リモートストレージシス
テム１０５，１０６は、ローカルストレージシステム１
０４と実質的には、同一であり、ローカルストレージシ
ステムに対する議論は、等しくリモートストレージシス
テム１０５，１０６にも適用される。ローカルサイト１
２では、ホストプロセッサ１０１は、ネットワークイン
ターフェース（Ｉ／Ｆ）１１１とネットワーク結合１１
１ａを通して、ネットワーク１６に結合し、入力／出力
バス（Ｉ／Ｏバス）１０８とＩ／Ｏインターフェース１
１０を通して、ローカルストレージシステム１０４に結
合する。ローカルストレージシステム１０４は、デイス
クコントローラ１４１を有し、このデイスクコントロー
ラは、Ｉ／Ｏバス１０８を通してホストからのＩ／Ｏ要
求を受け取るための、Ｉ／Ｏインターフェース１３０を
持ち、ネットワークインターフェース（Ｉ／Ｆ）１３１
とネットワーク結合１３１ａを通して、データ通信ネッ
トワーク１６に接続される。更に、このローカルストレ
ージシステム１０４は、データバス１３２とＩ／Ｏイン
ターフェース１３７，１３８を通してこのデイスクコン
トローラ１４１に接続される、デイスクユニット１４０
で構成されるストレージメディア１４２を有する。この
デイスクコントローラ１４１自身、内部バス１３２を通
して、メモリ１３４に結合するＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）１３
３を持ち、この内部バス１３２は、デイスクコントロー
ラの多様なインターフェース（例えば、Ｉ／Ｏ Ｉ／Ｆ
１３０，１３８，ネットワークＩ／Ｆ１３１等）にも接
続される。メモリ１３４はキャッシュメモリ１３５を含
み、このキャッシュメモリはホストプロセッサ１０１か
らのＩ／Ｏ要求に応じて、ストレージメディア１４２と
の間の読み書き時のキャッシュ用として利用される。こ
のメモリは、制御情報１３６のようなある種のデータ構
造や情報を保持するために使用される。ＣＰＵ１３３
は、ストレージメディア１４２のデータイメージへの
（例えば、ホストプロセッサ１０１から要求された）変
更データを、通常のやり方で(自らのストレージメディ
アを持つ)リモートストレージシステム１０５，１０６
に送信処理する、リモートコピープロセスを優先的に実
行する。これにより、リモートストレージシステム１０
５，１０６は、ローカルストレージシステム１０４のデ
ータをミラーできる。簡単に言うと、リモートコピープ
ロセスは以下の通り処理される：デイスクコントローラ
１４１は、ストレージメディア１４２上に保持されてい
るデータ(データイメージ)への追加、変更、削除、その
他の修正のいずれかを行う書き込みＩ／Ｏ要求を受け取
ると、当該ストレージメディア１４２へデータの書き込
みを行う。そのようなストレージメディアへの書き込み
または、少なくとも書き込みの一部でも、リモートサイ
ト１４でミラーされたデータイメージが必要な場合に
は、データメッセージが生成されて、リモートコピーキ
ュー(図示されていない)に登録される。このリモートコ
ピーキューは、ＣＰＵ１３３上で走行している、リモー
トコピープロセスにより周期的にチェックされる。も
し、このキュー内に一つ以上のデータメッセージが検出
されたら、このメッセージは抽出されて、各リモートス
トレージシステム１０５，１０６に送信され、データメ
ッセージのデータが書き込まれ、それによって、それら
のデータイメージを更新してローカルサイト１２のデー
タイメージに一致させる。データメッセージに関する情
報は、ストレージシステム１０４，１０５，１０６に
て、ローカルストレージシステム１０４から送信され
た、又は送信途中のデータメッセージか、又は、リモー
トストレージシステムで受信されたデータメッセージ
か、を識別するヒストリ情報として保持される。各スト
レージシステムでは、ヒストリ情報を複数のキュー構造
により実装する。図２はこれらのキュー構造を示す。図
２に示す通り、ローカルストレージシステム１０４は、
ワーキングキュー１１０、ロールバックキュー１１１、
中間キュー１１２、及びライトヒストリキュー１１３の
各キューを含む。ワーキングキュー、ロールバックキュ
ー、中間キュー、及びライトヒストリキュー（１１０−
１１３）は、リモートストレージシステム１０５（キュ
ー１２０，１２１，１２２、及び１２３）及びリモート
ストレージシステム１０６（キュー１３０，１３１，１
３２、及び１３３）にそれぞれミラーされる。各キュー
は、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕ
ｔ：先入れ先出し）構造で実装される。典型的な読み書
きＩ／Ｏ要求は、コマンドエントリとこれに伴うか又は
後続するデータ（書き込み要求の場合）を含む。各コマ
ンドエントリには、データと，データが読み書きされる
ストレージメディア１４２のロケーション及び、実装に
従って必要とするその他の情報が指定される。もしホス
トプロッセサ１０１から、リモートストレージシステム
１０５，１０６でミラーされるデータイメージを変更す
るデータを書き込むためのＩ／Ｏ要求を受けたら、該コ
マンドエントリには順序番号がアサインされる。すると
コマンドエントリはコマンドエントリとアサインされた
順序番号により形成されたものになる。このコマンドエ
ントリは次に、ワーキングキュー１１０に登録される。
これは、データに先立って、リモートストレージシステ
ムに送信される、データとデータメッセージのためのヒ
ストリ情報を形成する。コマンドエントリがワーキング
キュー１１０にある間に、対応する書き込み要求は受信
処理されている。この処理は、書き込み要求に対応する
データ (ホスト１０１とストレージシステム１０４に適
用されている通信プロトコル次第で、要求と共に転送さ
れるか、又は要求の後に続いて転送されるかどちらかで
ある) の受信、キャッシュ１３５にデータを格納するた
めのキャッシュエリアのアサイン、及び受信時の、この
エリアへのデータの書き込み、を含む。キャッシュされ
たデータへのポインタは、対応するコマンドエントリに
関連付けられる。このＩ／Ｏ要求の送信者に対して、状
態メッセージが返送されて、このＩ／Ｏ要求のデータ状
態即ち受信できたか、又は受信時エラーが検出されたか
が報告される。図２は、デイスクコントローラ１０４で
受信され、順序番号“１５”がアサインされた書き込み
Ｉ／Ｏ要求１０１ａと、アサインされた順序番号と書き
込み要求のコマンドエントリで形成されたコマンドエン
トリを示す。コマンドエントリは既に述べられたように
更に処理する為に、ワーキングキュー１１０に登録され
る。当該Ｉ／Ｏ要求が処理され、エラーが検出されない
場合、このコマンドエントリは、ワーキングキュー１１
０からロールバックキュー１１１に移される。ロールバ
ックキューは一時的な保持エリアで、後により詳しく説
明される、ローカルストレージシステム１０４とリモー
トストレージシステム１０５，１０６の間のロールバッ
ク同期のために使用される。リモートストレージシステ
ム１０５，１０６は、ロールバックキュー含めて、基本
的には、同じ目的のために、同じキュー構造を持ってい
る。ここでは、ロールバックキューに含まれているコマ
ンドエントリに対応するデータは、本発明では、同期プ
ロセスで使用され、ストレージシステムの一つが、障害
になった場合には、破棄されるか、生存ストレージシス
テム間で比較するために使用される、とだけ言っておけ
ば十分であろう。コマンドエントリは、ロールバックキ
ュー１１１から、ストレージメディア１４２への書き込
み待ちの間又は、書き込んでいる間エントリを保持する
中間キュー１１２に移される。当該ストレージメディア
への書き込みが終了すると、当該コマンドエントリは、
プライマリ（ローカル）ストレージシステム１０４のミ
ラーコピーを行うリモートストレージシステムに対して
データイメージの更新を行わせるために送信される、デ
ータメッセージを作成してリモートコピー要求を作成す
るために利用される。次いで、キャッシュポインタはコ
マンドエントリから削除され、エントリは中間キューか
らライトヒストリキュー１１３に移される。図２は、既
に示されたように、ホストプロセッサ１０１から受信し
た順序番号１５をアサインされ、ワーキングキュー１１
０に登録されているコマンドエントリを示す。現在ロー
ルバックキュー１１１に登録されている順序番号１３，
１４のコマンドエントリは、関連データが、ストレージ
メディア１４２に書き込まれるのを待っている。中間キ
ュー１１２は、順序番号１０，１１、及び１２のコマン
ドエントリを保有している。順序番号１０のコマンドエ
ントリは、次に書き込まれるか、書き込まれている最中
であることを示している。順序番号７，８，及び９のコ
マンドエントリは、関連データをストレージメディア１
４２に書き込み済で、それ故にライトヒストリキュー１
１３に登録されている。リモートストレージシステムは
基本的には、同じキュー構造を持ち、同様に操作され
る。例えば、リモートストレージシステム１０５は、当
該エントリの全データパッケージを受信している間、ワ
ーキングキュー１２０に登録されている順序番号１０が
アサインされたコマンドエントリを持つ、データメッセ
ージを受信中であることを示している。この順序番号１
０はローカルストレージシステム１０４で与えられたも
のである。一度、データメッセージが、受信されると、
そのコマンドエントリは、ワーキングキュー１２０から
ロールバックキュー１２１に移される。このロールバッ
クキューには現在、順序番号６−９を持つデータメッセ
ージのコマンドエントリが登録されている。中間キュー
１２２には順序番号５のデータメッセージのコマンドエ
ントリが存在し、ストレージシステム１０５のストレー
ジメディア１４２'への書き込み中であることを示して
いる。書き込みが終了すると、当該エントリは、順序番
号１−４のデータメッセージのコマンドエントリが既に
存在するライトヒストリキュー１２３に移動する。ライ
トヒストリキュー１２３の深さにより、最古のエント
リ、例えば順序番号１のエントリは順序番号５のコマン
ドエントリの加入により追い出されることになる。他の
リモートストレージ１０６も同じデータキュー構造（１
３０，１３１、・・・１３３）を持つ。図２では、リモ
ートストレージ１０６が、現在順序番号１２のデータメ
ッセージを受信しつつあり、ワーキングキュー１３０に
順序番号１２のコマンドエントリが入っている。ロール
バックキュー１３１には、順序番号８−１１を持つ制御
情報が登録されている。以下同様である。このようなヒ
ストリ情報をストレージシステムによりトレースするキ
ューは通常、メモリに保持されているが、ストレージメ
ディアに保持してもかまわないことは、本分野に造詣の
ある人には明らかである。ローカルストレージシステム
１０４は、更に、メモリ１３４(図１)中にリモートコピ
ー状態テーブル１１４を持ち、どのデータメッセージが
送信され、どのリモートストレージシステムによりどの
データメッセージが受信され、完了報告が出されたかを
表示している。例えば、最も最近に、リモートストレー
ジシステム１０５（表１１４で“Ｓ１”と表示）に受け
取られたのは、順序番号９であり、リモートストレージ
システム１０６（“Ｓ２”と表示）に受け取られたデー
タメッセージは、順序番号１１であることが分かる。リ
モートコピー状態テーブル１１４は更に、リモートスト
レージシステムのロールバックキュー、ライトヒストリ
キューに関する情報も保持している。即ち、テーブル１
１４が示すようにリモートストレージシステム１０５，
１０６のロールバックキューの長さはデータメッセージ
４エントリ分で、１０ＭＢの容量まで収容可能であるこ
とが分かる。各リモートストレージシステム１０５，１
０６のライトヒストリキューは５データメッセージの５
エントリ分である。このライトヒストリキューのバイト
単位の容量をこのテーブル１１４に保持させても良い。
図３は各種のネットワークアーキテクチュアを持つデー
タ処理システムで発生し得る、種々の傷害モードのシナ
リオを示す。最初の図３Ａでは、ローカルストレージシ
ステム３０４Ａを持つデータ処理システムは、リモート
ストレージシステム３０５Ａ，３０６Ａに並列に通信接
続されている。図３Ａに示すように、リモートストレー
ジシステム３０５Ａが障害になった場合は、データ同期
プロセスの必要性はない。ローカルストレージシステム
３０４Ａは依然稼動中であり、生存リモートストレージ
システム３０６Ａが通常のリモートコピー処理によりデ
ータ更新を継続できるからである。図３Ｂはローカルス
トレージシステムが障害になった場合のシナリオを図で
示す。この場合も、ローカルストレージシステム３０４
Ｂは、リモートストレージシステム３０５Ｂ，３０６Ｂ
に並列に通信接続されている。もし、ローカルストレー
ジシステム３０４Ｂの障害が検出されると、図３Ｂの下
半分に記されているように、リモートストレージシステ
ム３０５Ｂ’，３０６Ｂ’は、最新の更新データを保有
しているリモートストレージシステムのデータイメージ
に対して、自己の持つデータイメージを同期させる。リ
モートストレージシステム３０５Ｂが最新更新情報を保
有しているとすると、本発明での同期プロセスは、リモ
ートストレージシステム中のデータイメージの一つを、
他システム中のそれと同期することにより行われる。す
ぐ分かるように同期には二つの方式が存在する。ロール
フォワード方式では、最新の更新データがこれを必要と
しているリモートストレージシステムに送信され、ロー
ルバック方式では、最新の更新データは破棄される。い
ずれの方式でも、生存リモートストレージシステムが保
持しているデータイメージは同一化される。図３Ｃ，３
Ｄ，３Ｅでは、ローカル及びリモートストレージシステ
ム３０４Ｃ，３０５Ｃ，３０６Ｃが各々、デイジーチエ
ンネットワーク結合で接続されている。図３Ｃでは、ロ
ーカルストレージシステム３０４Ｃが障害になり、リモ
ートストレージシステム３０５Ｃがリモートストレージ
システム３０６Ｃを同期させる場合を示している。一方
に於いて、図３Ｄの如く、デイジーチエンの遠端に存在
するリモートストレージシステム３０６Ｃが障害になっ
た場合は、データ同期の必要性はない。図３Ｅの如く、
中間のリモートストレージシステムが障害になった場合
は、残ったリモートストレージシステムは、ネットワー
ク結合が正常である限り、ローカルストレージシステム
により同期化される。図４Ａ−４Ｅは、ローカルストレ
ージシステムが障害になった場合に、各ストレージシス
テムで保有している受信されたデータメッセージに関す
るヒストリ情報を用いて、本発明によるリモートストレ
ージシステムのデータイメージの同期方法を一般的に説
明する。図４Ａは、ローカルストレージシステム４０４
が、リモートコピーキュー４０４ａに３つのデータメッ
セージ（１，２，３）を持っている正常時の状態を示
す。そのデータメッセージ中の二つ（１，２）がリモー
トストレージシステム４０５に送信され受信されている
が、３番目のデータメッセージ３は、当該リモートスト
レージシステム４０５に送信中である。しかしながら、
リモートストレージシステム４０６には、データメッセ
ージ１，２，３が一つも受け取られいていなく、何れも
送信準備中か、送信中である。この状態で、即ち、デー
タメッセージ３はリモートストレージシステム４０５で
受信が完了しておらず、データメッセージ１，２，３の
いずれもリモートストレージシステム４０６で受信が完
了していない状態で、ローカルストレージシステム４０
４が、障害になった場合の結果を図４Ｂに示す。この状
態では、リモートストレージシステム４０５，４０６間
でデータメッセージは、リモートストレージシステム４
０５のロールバックキュー４２１に蓄えられている、最
新のデータメッセージ１，２だけが相違している。この
状態での、本発明によれば、二つのストレージシステム
４０５，４０６により保持されているデータイメージを
同期させる方式の一つの技術は、リモートストレージシ
ステム４０６にも、データメッセージ１，２を受け取ら
せ、リモートストレージシステム４０６が保有している
データイメージを更新させることを必要とする。かくし
て、図４Ｃに示すように、データイメージの相違はリモ
ートストレージシステム４０５に保持される二つのデー
タメッセージ１，２にあることを検出した上で、これら
のデータメッセージをロールフォワード同期のためにリ
モートストレージシステム４０６に転送する。反対に、
ロールバック方式の同期では、リモートストレージシス
テム４０５に、保有しているデータメッセージ１，２を
破棄させる。このロールバック同期方式を図４Ｅに示
し、以下に論ずる。図４Ｄは、システム中任意の場所に
存在しえるソフトウエアマネージャ４０７により実行さ
れるロールフォワード同期を示す。このようにこのマネ
ージャはシステムの他の部分とは分離していながら、ロ
ーカルストレージシステムや、リモートストレージシス
テム４０５，４０６にアクセス可能であってもよいし、
全体のストレージシステムの一部を形成してもよい。実
装方法にかかわらず、マネージャ４０７は、プライマリ
ストレージシステム４０４の障害検出を契機に始まる、
リモートストレージシステム４０５，４０６間の交信に
立ち入る。この交信の結果により、マネージャ４０７
は、プライマリストレージシステム４０４が倒れた時点
の、更新情報の受信の差異をリモートストレージシステ
ム間について調査する。図４Ｄの例では、マネージャ４
０７は、リモートストレージシステム４０５が、リモー
トストレージシステム４０６が持っていないデータメッ
セージ１，２を受信しており、データメッセージ１，２
はストレージシステム４０５のロールバックキューの中
にあると知らされる。そこで、このマネージャ４０７は
リモートストレージシステム４０５にアクセスし、メッ
セージ１，２に関するデータをリモートストレージシス
テム４０６に転送し、リモートストレージシステム４０
６のデータイメージをリモートストレージシステム４０
５のデータイメージと同期させる。代わりに、マネージ
ャ４０７は、リモートストレージシステム４０５のロー
ルバックキューのデータメッセージを破棄させることも
出来る。この場合、当該データメッセージは、中間キュ
ーには入っていないため、メッセージに対応するデータ
は書き込まれず、データイメージは変更されない。メデ
ィアこの後者の同期方式はロールバック同期と呼ばれ、
リモートストレージシステム４０５のデータイメージを
リモートストレージシステム４０６のデータイメージに
同期させるものである。図４Ｅは、ロールバック同期処
理の他のやり方を説明する。前と同様に、プライマリス
トレージシステム４０４が、リモートストレージシステ
ムのデータイメージを更新するために転送すべき、デー
タメッセージ１，２，３を保有したまま、障害になった
とする。このとき、リモートストレージシステム４０５
のみがデータが更新されて、データメッセージ１，２の
み保有しており、リモートストレージシステム４０６は
全く更新されず、データメッセージ１，２，３の何れも
保有していないとする。従って、プライマリ（ローカ
ル）ストレージシステム４０４がこの状態で障害になっ
た場合は、両リモートストレージシステム４０５，４０
６のデータイメージは、データメッセージ１，２だけが
相違している。本発明のロールバック処理では、それぞ
れの保有するデータイメージを同期させるために、デー
タメッセージ１，２のデータをリモートストレージシス
テム４０５からリモートストレージシステム４０６にフ
ォワード転送するのではなく、リモートストレージシス
テム４０５が保有しているデータメッセージを破棄させ
る。図５は、ローカルストレージシステム１０４(図１)
が、ホスト１０１(図１)から受信した更新データを各リ
モートストレージシステムに転送する、リモートコピー
処理のために行う主要ステップを説明する。既に説明し
たように、ローカルストレージシステム104の保有する
データイメージを更新させるホストプロセッサ１０１か
らの書き込みＩ／Ｏ要求は、リモートストレージシステ
ムの保有するデータイメージのミラーに就いても同様な
更新を必要とする。この書き込みＩ／Ｏ要求の発生によ
り、アサインされた順序番号及び、この要求データへの
ポインタを含む、対応するコマンドエントリが形成され
る。このコマンドエントリは、全てのデータが受信さ
れ、完了報告がホストプロセッサ１０１に返されるま
で、ワーキングキュー１１０に収容されている。その
後、このコマンドエントリはロールバックキュー１１１
に移される。その後、このロールバックキュー１１１が
満杯になるか、フラッシュコマンド(後述する)が受信さ
れると、このコマンドエントリは中間キュー１１２に移
される。中間キュー１１２に存在している間に、この要
求に対応するデータがストレージメディア１４２に書き
込まれる。ＣＰＵ１３３上で走行している、リモートコ
ピープロセスは、周期的にリモートコピーキューの内容
をチェックして、リモートストレージシステム１０５，
１０６の各々に更新データをコピーするために受信した
Ｉ／Ｏ要求に対してデータメッセージの形成が必要なコ
マンドエントリを見つける。図５のステップ５０１に
て、ローカルストレージシステム１０４は各リモートス
トレージシステムがデータメッセージの受付が出来るか
否かをチェックする。このチェックは、ＲＣ状態テーブ
ル１１４を参照して行う。このテーブルでは、各リモー
トストレージシステムが、どんなメッセージを受信して
完了報告したか、完了報告してないか、及びリモートス
トレージシステムの各キューの受信可能サイズをローカ
ルストレージシステムに伝える。このテーブルによりロ
ーカルストレージシステムは、特定のストレージシステ
ムが別のデータメッセージや関連データの受信するスペ
ースがあるか否かを判断する。もし否であったら、ステ
ップ５０１は次の処理に移る。リモートストレージシス
テム自身が、これ以上データメッセージを受け取れない
ことの表示、例えば、ＳＣＳＩ等で定義された“ＢＵＳ
Ｙ（０ｘ０８）：使用中”や“キュー満杯（０ｘ２
８）”等の状態信号を返答することも出来る。もし、対
象リモートストレージシステムがデータメッセージを受
信するのに十分なスペースを持っていることが分かれ
ば、ローカルストレージシステムは、リモートストレー
ジシステム（例えばリモートストレージシステム１０
５）にデータメッセージの形式でＲＣ（リモートコピ
ー）コマンドを発行し、これに続いてステップ５０３で
関連するデータを送信する。ローカルストレージシステ
ム１０４は、その後、データメッセージを受信したか否
かの状態報告を待ち（ステップ５０４）、ローカルスト
レージシステムが報告を受信すると、ステップ５０５
で、全てのリモートストレージシステムがデータメッセ
ージの更新が済んだかのチェックを行う。未了のリモー
トストレージシステムが存在すれば、処理はステップ５
０６ａに移り、対象となるリモートストレージシステム
がデータイメージを受信したことを示すようにＲＣ状態
テーブル１１４を更新して、次のリモートストレージシ
ステムがデータメッセージを受け取るために、ステップ
５０１に戻る。しかしながら、ステップ５０５にて全て
のリモートストレージシステムがデータメッセージを受
信したことが判明すれば、当該データメッセージ（コマ
ンドエントリ）は、ステップ５０６でＲＣキューから削
除され、ステップ５０７でＲＣ状態テーブル１１４が更
新され、このデータメッセージのための処理は終了す
る。図６は、リモートストレージシステムがリモートコ
ピープロセスのデータメッセージを受信するステップを
一般的に示す。ステップ６０１でリモートストレージシ
ステムはデータメッセージを受信し、ステップ６０２で
当該データメッセージを受け取るための十分なキュー資
源がアサイン可能か、即ち受信のスペースがあるかを判
定する。更に、このステップ６０２の判定は、他のリモ
ートストレージシステムのキュー内容に比較して、自ら
のキュー（即ち、ロールバック、中間、ライトヒストリ
キュー）の状態の分布、即ちアラインメント（後述され
る）に基づいて実施される。もし、ステップ６０２で、
この時点では、当該データの受け取りは不可能と判定さ
れたら、ステップ６０２からステップ６０６に移り、こ
のリモートストレージシステムは、ローカルストレージ
システム１０４に対して、“使用中”の応答を返し、こ
の受信処理を終える。ローカルストレージシステムは、
この応答により後の再試行の必要性を確認する。もし、
ステップ６０２で、受付可能と判定されたら、ステップ
６０３でデータを受信し、ステップ６０４でリモートス
トレージシステムはデータ転送の状態を返す。続いて、
ステップ６０５でこのデータメッセージは、メッセージ
及びデータ受信用のワーキングキューから、ロールバッ
クキューに移される。図７は、ローカルストレージシス
テムで(又は、図３Ｅのデイジーチェイン接続での中間
サイトのリモートストレージシステムで)障害が検出さ
れた場合の同期プロセスの処理ステップを示す。ステッ
プ７０１で障害が検出される。障害検出は数々の方法で
なされる。例えば、ストレージシステムは、互いに、ハ
ートビート信号を他のストレージシステムに送信し、こ
れが来なければ当該システムは障害とみなす；或いはス
トレージシステムは自己診断可能で、自システムの障害
を他システムに同報通信することが出来る；或いはその
他の任意の慣用的障害検知技術を用いることが出来る。
もし、障害が検出されると、他の生存システム、例え
ば、図２のリモートストレージシステム１０５，１０６
は互いに交信し、誰が新しいリモートコピーマネージャ
になれるかを判定する。選択されたストレージシステム
が、残りのすべての生存システムのデータイメージを同
一状態に同期するためのリモートコピー処理をコントロ
ールする。あるいは、リモートコピーマネージャは、シ
ステム管理者により事前定義されている場合もある。い
ずれにせよ、選択されると、リモートコピーマネージャ
は、ローカルストレージシステムとなり、ステップ７０
３で生存ストレージシステムで維持されている、各種キ
ューの構造と内容に関する情報を集める。この情報に
は、ロールバックキューとライトヒストリキューの範囲
（エントリ数）と、どれだけの数のエントリがデータメ
ッセージを有するかの情報が含まれる。例えば、図２に
ついて、ローカルストレージシステム１０４が障害にな
り（ステップ７０１）、リモートストレージシステム１
０５がステップ７０２でリモートコピーマネージャとし
て選択されると、リモートストレージシステム１０６
は、自分のロールバックキュー１３１にはデータメッセ
ージ８，９，１０，１１が、ライトヒストリキュー１３
３にはデータメッセージ３，４，５，６が保有されてい
ることを報告する。リモートストレージシステム１０６
の中間キューの内容は、障害が検出されるとリモートス
トレージシステムは優先的に中間キューを空にして、そ
れにより該当データがストレージメディアに書き込まれ
るようにするので、短時間のうちにライトヒストリキュ
ーに付け加えられる。ストレージシステムの一つに障害
が起きた後、生存ストレージシステムのリモートコピー
環境に関する情報が得られた場合、選択されたリモート
コピーマネージャは、ロールバックか、ロールフォワー
ドかの何れの同期方式を選択するかを決める。これは、
典型的には、リモートコピー環境の管理者又はユーザに
よって、障害の場合にストレージシステムを同期させる
最良の方式に関するフラグをセットしておく形で、事前
決定されている。もし、ステップ７０４で、ロールバッ
ク処理が選択されたら、ステップ７０５でリモートコピ
ーマネージャーはすべてのストレージシステムが共有す
る最も大きな順序番号を持つデータメッセージを決定す
る。図２の例では、順序番号９のデータメッセージがこ
れに該当する。続いて、ステップ７０６にて、選択され
たリモートコピーマネージャは、ロールバックコマンド
を他の全てのストレージシステムに対して発行し、受信
後順序番号９を超えるデータメッセージを破棄させる。
かくして、図２に戻って、リモートストレージシステム
１０６はこのロールバックコマンド受領により、順序番
号１０，１１のデータメッセージを破棄する。この処理
はステップ７１５で終了する。一方において、ステップ
７０４にて、ロールフォワードが選択された場合には、
ステップ７０７でロールフォワードの順序番号を決定す
る。この処理では、リモートコピー処理が、各種のロー
ルバックキューとライトヒストリキューの内容を比較し
て、最新のデータメッセージを保有するストレージシス
テム決定する。かくして図２に於いて、選択されたリモ
ートコピーマネージャが、リモートストレージシステム
１０５の場合は、リモートストレージシステム１０６が
順序番号１０，１１のメッセージを持っており、自分は
持っていないことを認識する。そこで、各システムのデ
ータイメージの同期を計るために、リモートストレージ
システム１０６の順序番号１０，１１のデータメッセー
ジを自システムに転送するリモートコピー処理を起動す
る。かくして、ステップ７０８にて、選択されたリモー
トコピーマネージャは、それが最新のストレージシステ
ムだと判定すると、ステップ７０９にて、最新データを
有するストレージシステムから必要データを取得する。
このことは、選択されたＲＣマネージャ自身にも起こり
得るし、他のストレージシステムの一つにも起こり得
る。いずれにせよ、選択されたＲＣマネージャが更新デ
ータを受領すると、ステップ７１０に移り、更新データ
を必要とする他のストレージシステムに対して更新デー
タ又はその一部を選択的に転送してすべてのリモートス
トレージシステムのデータイメージの同期を完了する。
この処理はステップ７１５で完結する。もし、逆に、ス
テップ７０８にて、同期処理は、最新データメッセージ
を保有するストレージシステムにより実施され、当該ス
トレージシステムは選択されたＲＣマネージャではない
場合(あるいは、他のストレージシステムが予め、同期
システムとして、事前指定されている場合)は、ＲＣマ
ネージャは、どのストレージシステムがデータ更新を必
要としているかを含む更新情報を、最新更新データ保有
ストレージシステムに送信する。次にステップ７１２に
て、更新データはデータメッセージの形で、このデータ
イメージの同期を必要とするすべてのストレージシステ
ムに送信され、処理はステップ７１５で完了する。も
し、 (図４Ｅで説明され、既に議論されたように) ロー
ルバック処理が採用された場合には、リモートストレー
ジシステム１０５，１０６（図１）のＲＢ（ロールバッ
ク）キューは、アライン(調整)されている必要がある。
アラインメント処理は、ローカルストレージシステム１
０４で、ＣＰＵ１３３上で走行しているリモートコピー
プロセスと（リモートストレージシステム１０５，１０
６で維持されている各種のキューの状態に関する情報を
提供する）リモートコピー状態テーブル１１４を用い
て、実行される。例えば、あるリモートストレージシス
テムはローカルストレージシステムからのリモートコピ
ーデータメッセージを受信できず、他のリモートストレ
ージシステムは受信できるという事態が存在する。この
ような場合には同期目的のために、注意しなければなら
ないことは、同期が必要なときに、同期が必ず成立する
ためには、一つのリモートストレージシステムのキュー
の中にあるデータメッセージと他のリモートストレージ
システムのキューの中にあるデータメッセージとを比較
したときに、少なくとも一つのデータメッセージが共通
に保有（オーバラップ）されている必要があることであ
る。図８，９はすべてのキュー（特にＲＢキューと、ラ
イトヒストリキュー）に就いての、アライメント処理を
説明する。図８では、リモートストレージシステム８０
５／８０６のＲＢキュー８２１／８３１は２エントリの
深さで、ライトヒストリキュー８２３／８３３はそれぞ
れ５エントリの深さの状態でのオーバラップを説明す
る。（ワーキングキュー及び中間キューは、不必要に話
を複雑化させるために図示されていない）。図８に於い
て、リモートストレージシステム８０５は、ライトヒス
トリキュー８２３にデータメッセージ６，７，８，９，
１０が、ＲＢキュー８２１にデータメッセージ１１，１
２が登録されている。リモートストレージシステム８０
５は、更にメッセージ１３の受信途上であり、ローカル
ストレージシステム(図８に図示されていない)は、更に
データメッセージ１４を送る準備をしている。リモート
ストレージシステムがデータメッセージ１３を受信し受
け付けると、このメッセージ１３は、ＲＢキュー８２１
に入り込む。これにより、データメッセージ１１が、ス
ペースを作るためにライトヒストリキューに移動して、
データメッセージエントリ６がライトヒストリキューか
ら排出されることになる。リモートストレージシステム
８０５は更に、順序番号１４のデータメッセージを受け
取れる状態になる。同時にリモートストレージシステム
８０６は、ライトヒストリキュー８３３にデータメッセ
ージ１−５を持ち、ＲＢキュー８３１にデータメッセー
ジ６，７を持っており、データメッセージ８，９を受信
中である。この状態で、更に、リモートストレージシス
テム８０５がメッセージ１４受信し受け付けたとする
と、ライトヒストリキュー８２３から末尾にあるメッセ
ージ７が脱落することになる。この状態で、リモートス
トレージシステム８０６がデータメッセージ８，９を受
信し受け付ける前に、例えばローカルストレージシステ
ムが障害になったとすると、データメッセージ７に関す
る情報がリモートストレージシステム８０５から欠落し
ているため、ロールバック方式を用いて二つのリモート
ストレージシステムを同期させることができない結果に
なってしまう。このことより、ローカルストレージシス
テム(図８には図示されていない)は、データメッセージ
の受信状態及びリモートストレージシステム８０５，８
０６のキューの保有状態に関する、リモートコピー状態
テーブル１１４(図２)からの情報により、リモートスト
レージシステム８０６が少なくともデータメッセージ８
を受信し受け付けられる迄は、データメッセージ１４の
送信を抑制することによって両者のアライメントを維持
する必要がある。図９は、ローカルストレージシステム
１０４で採用され、定期的に発行されるフラッシュコマ
ンドを用いたアライメント処理を説明する。図９では、
ローカルストレージシステム１０４は、データメッセー
ジ６を指定して、フラッシュコマンドを発行する。これ
により、両リモートストレージシステム８０５，８０６
とも、データメッセージ６に後続するすべてのデータメ
ッセージ（７，８、・・・）の保有を確実にさせる。し
かしながら、リモートストレージシステム８０５は依然
として、データメッセージ１４は受信不可能で“使用
中”状態を返答する。
１６で互いに通信結合される、ローカルサイト１２と多
数のリモートサイト１４を含む、データ処理システム１
０を説明する。ローカルサイト１２は、ホストプロセッ
サ１０１とローカルストレージシステム１０４を含む。
ホストプロセッサ１０１とローカルストレージシステム
１０４は、ローカルサイト１２でのデータイメージの更
新データをリモートサイト１４と交信するために、デー
タ通信ネットワーク１６を介してリモートサイト１４に
結合している。これにより、リモートサイト１４は、ロ
ーカルサイト１２のデータのミラーとなるデータイメー
ジを維持することが出来る。各リモートサイト１４は、
リモートストレージシステム１０５，１０６を有し、対
応するホストプロセッサ１０２，１０３は持つ場合と持
たない場合がある。リモートストレージシステム１０
５，１０６は、ローカルストレージシステム１０４のデ
ータイメージのミラーとなるデータイメージを保持する
ために、ローカルストレージシステム１０４のストレー
ジメディアと極めて類似したストレージメディアを有す
る(後に更に議論する)。リモートサイトは、ローカルス
トレージシステム１０４が計画的又は予期しない停止に
なった場合には、必要データへのアクセスを可能にする
が、ローカルサイト１２が災害でデータが失われる場合
のことを考えると、リモートサイト１４は、サイト及び
維持するデータを保護するために、ローカルストレージ
システム１０４から地理的に離れた位置に設置すること
がより大きな効果をもたらす。リモートストレージシス
テム１０５，１０６は、ローカルストレージシステム１
０４と実質的には、同一であり、ローカルストレージシ
ステムに対する議論は、等しくリモートストレージシス
テム１０５，１０６にも適用される。ローカルサイト１
２では、ホストプロセッサ１０１は、ネットワークイン
ターフェース（Ｉ／Ｆ）１１１とネットワーク結合１１
１ａを通して、ネットワーク１６に結合し、入力／出力
バス（Ｉ／Ｏバス）１０８とＩ／Ｏインターフェース１
１０を通して、ローカルストレージシステム１０４に結
合する。ローカルストレージシステム１０４は、デイス
クコントローラ１４１を有し、このデイスクコントロー
ラは、Ｉ／Ｏバス１０８を通してホストからのＩ／Ｏ要
求を受け取るための、Ｉ／Ｏインターフェース１３０を
持ち、ネットワークインターフェース（Ｉ／Ｆ）１３１
とネットワーク結合１３１ａを通して、データ通信ネッ
トワーク１６に接続される。更に、このローカルストレ
ージシステム１０４は、データバス１３２とＩ／Ｏイン
ターフェース１３７，１３８を通してこのデイスクコン
トローラ１４１に接続される、デイスクユニット１４０
で構成されるストレージメディア１４２を有する。この
デイスクコントローラ１４１自身、内部バス１３２を通
して、メモリ１３４に結合するＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）１３
３を持ち、この内部バス１３２は、デイスクコントロー
ラの多様なインターフェース（例えば、Ｉ／Ｏ Ｉ／Ｆ
１３０，１３８，ネットワークＩ／Ｆ１３１等）にも接
続される。メモリ１３４はキャッシュメモリ１３５を含
み、このキャッシュメモリはホストプロセッサ１０１か
らのＩ／Ｏ要求に応じて、ストレージメディア１４２と
の間の読み書き時のキャッシュ用として利用される。こ
のメモリは、制御情報１３６のようなある種のデータ構
造や情報を保持するために使用される。ＣＰＵ１３３
は、ストレージメディア１４２のデータイメージへの
（例えば、ホストプロセッサ１０１から要求された）変
更データを、通常のやり方で(自らのストレージメディ
アを持つ)リモートストレージシステム１０５，１０６
に送信処理する、リモートコピープロセスを優先的に実
行する。これにより、リモートストレージシステム１０
５，１０６は、ローカルストレージシステム１０４のデ
ータをミラーできる。簡単に言うと、リモートコピープ
ロセスは以下の通り処理される：デイスクコントローラ
１４１は、ストレージメディア１４２上に保持されてい
るデータ(データイメージ)への追加、変更、削除、その
他の修正のいずれかを行う書き込みＩ／Ｏ要求を受け取
ると、当該ストレージメディア１４２へデータの書き込
みを行う。そのようなストレージメディアへの書き込み
または、少なくとも書き込みの一部でも、リモートサイ
ト１４でミラーされたデータイメージが必要な場合に
は、データメッセージが生成されて、リモートコピーキ
ュー(図示されていない)に登録される。このリモートコ
ピーキューは、ＣＰＵ１３３上で走行している、リモー
トコピープロセスにより周期的にチェックされる。も
し、このキュー内に一つ以上のデータメッセージが検出
されたら、このメッセージは抽出されて、各リモートス
トレージシステム１０５，１０６に送信され、データメ
ッセージのデータが書き込まれ、それによって、それら
のデータイメージを更新してローカルサイト１２のデー
タイメージに一致させる。データメッセージに関する情
報は、ストレージシステム１０４，１０５，１０６に
て、ローカルストレージシステム１０４から送信され
た、又は送信途中のデータメッセージか、又は、リモー
トストレージシステムで受信されたデータメッセージ
か、を識別するヒストリ情報として保持される。各スト
レージシステムでは、ヒストリ情報を複数のキュー構造
により実装する。図２はこれらのキュー構造を示す。図
２に示す通り、ローカルストレージシステム１０４は、
ワーキングキュー１１０、ロールバックキュー１１１、
中間キュー１１２、及びライトヒストリキュー１１３の
各キューを含む。ワーキングキュー、ロールバックキュ
ー、中間キュー、及びライトヒストリキュー（１１０−
１１３）は、リモートストレージシステム１０５（キュ
ー１２０，１２１，１２２、及び１２３）及びリモート
ストレージシステム１０６（キュー１３０，１３１，１
３２、及び１３３）にそれぞれミラーされる。各キュー
は、ＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕ
ｔ：先入れ先出し）構造で実装される。典型的な読み書
きＩ／Ｏ要求は、コマンドエントリとこれに伴うか又は
後続するデータ（書き込み要求の場合）を含む。各コマ
ンドエントリには、データと，データが読み書きされる
ストレージメディア１４２のロケーション及び、実装に
従って必要とするその他の情報が指定される。もしホス
トプロッセサ１０１から、リモートストレージシステム
１０５，１０６でミラーされるデータイメージを変更す
るデータを書き込むためのＩ／Ｏ要求を受けたら、該コ
マンドエントリには順序番号がアサインされる。すると
コマンドエントリはコマンドエントリとアサインされた
順序番号により形成されたものになる。このコマンドエ
ントリは次に、ワーキングキュー１１０に登録される。
これは、データに先立って、リモートストレージシステ
ムに送信される、データとデータメッセージのためのヒ
ストリ情報を形成する。コマンドエントリがワーキング
キュー１１０にある間に、対応する書き込み要求は受信
処理されている。この処理は、書き込み要求に対応する
データ (ホスト１０１とストレージシステム１０４に適
用されている通信プロトコル次第で、要求と共に転送さ
れるか、又は要求の後に続いて転送されるかどちらかで
ある) の受信、キャッシュ１３５にデータを格納するた
めのキャッシュエリアのアサイン、及び受信時の、この
エリアへのデータの書き込み、を含む。キャッシュされ
たデータへのポインタは、対応するコマンドエントリに
関連付けられる。このＩ／Ｏ要求の送信者に対して、状
態メッセージが返送されて、このＩ／Ｏ要求のデータ状
態即ち受信できたか、又は受信時エラーが検出されたか
が報告される。図２は、デイスクコントローラ１０４で
受信され、順序番号“１５”がアサインされた書き込み
Ｉ／Ｏ要求１０１ａと、アサインされた順序番号と書き
込み要求のコマンドエントリで形成されたコマンドエン
トリを示す。コマンドエントリは既に述べられたように
更に処理する為に、ワーキングキュー１１０に登録され
る。当該Ｉ／Ｏ要求が処理され、エラーが検出されない
場合、このコマンドエントリは、ワーキングキュー１１
０からロールバックキュー１１１に移される。ロールバ
ックキューは一時的な保持エリアで、後により詳しく説
明される、ローカルストレージシステム１０４とリモー
トストレージシステム１０５，１０６の間のロールバッ
ク同期のために使用される。リモートストレージシステ
ム１０５，１０６は、ロールバックキュー含めて、基本
的には、同じ目的のために、同じキュー構造を持ってい
る。ここでは、ロールバックキューに含まれているコマ
ンドエントリに対応するデータは、本発明では、同期プ
ロセスで使用され、ストレージシステムの一つが、障害
になった場合には、破棄されるか、生存ストレージシス
テム間で比較するために使用される、とだけ言っておけ
ば十分であろう。コマンドエントリは、ロールバックキ
ュー１１１から、ストレージメディア１４２への書き込
み待ちの間又は、書き込んでいる間エントリを保持する
中間キュー１１２に移される。当該ストレージメディア
への書き込みが終了すると、当該コマンドエントリは、
プライマリ（ローカル）ストレージシステム１０４のミ
ラーコピーを行うリモートストレージシステムに対して
データイメージの更新を行わせるために送信される、デ
ータメッセージを作成してリモートコピー要求を作成す
るために利用される。次いで、キャッシュポインタはコ
マンドエントリから削除され、エントリは中間キューか
らライトヒストリキュー１１３に移される。図２は、既
に示されたように、ホストプロセッサ１０１から受信し
た順序番号１５をアサインされ、ワーキングキュー１１
０に登録されているコマンドエントリを示す。現在ロー
ルバックキュー１１１に登録されている順序番号１３，
１４のコマンドエントリは、関連データが、ストレージ
メディア１４２に書き込まれるのを待っている。中間キ
ュー１１２は、順序番号１０，１１、及び１２のコマン
ドエントリを保有している。順序番号１０のコマンドエ
ントリは、次に書き込まれるか、書き込まれている最中
であることを示している。順序番号７，８，及び９のコ
マンドエントリは、関連データをストレージメディア１
４２に書き込み済で、それ故にライトヒストリキュー１
１３に登録されている。リモートストレージシステムは
基本的には、同じキュー構造を持ち、同様に操作され
る。例えば、リモートストレージシステム１０５は、当
該エントリの全データパッケージを受信している間、ワ
ーキングキュー１２０に登録されている順序番号１０が
アサインされたコマンドエントリを持つ、データメッセ
ージを受信中であることを示している。この順序番号１
０はローカルストレージシステム１０４で与えられたも
のである。一度、データメッセージが、受信されると、
そのコマンドエントリは、ワーキングキュー１２０から
ロールバックキュー１２１に移される。このロールバッ
クキューには現在、順序番号６−９を持つデータメッセ
ージのコマンドエントリが登録されている。中間キュー
１２２には順序番号５のデータメッセージのコマンドエ
ントリが存在し、ストレージシステム１０５のストレー
ジメディア１４２'への書き込み中であることを示して
いる。書き込みが終了すると、当該エントリは、順序番
号１−４のデータメッセージのコマンドエントリが既に
存在するライトヒストリキュー１２３に移動する。ライ
トヒストリキュー１２３の深さにより、最古のエント
リ、例えば順序番号１のエントリは順序番号５のコマン
ドエントリの加入により追い出されることになる。他の
リモートストレージ１０６も同じデータキュー構造（１
３０，１３１、・・・１３３）を持つ。図２では、リモ
ートストレージ１０６が、現在順序番号１２のデータメ
ッセージを受信しつつあり、ワーキングキュー１３０に
順序番号１２のコマンドエントリが入っている。ロール
バックキュー１３１には、順序番号８−１１を持つ制御
情報が登録されている。以下同様である。このようなヒ
ストリ情報をストレージシステムによりトレースするキ
ューは通常、メモリに保持されているが、ストレージメ
ディアに保持してもかまわないことは、本分野に造詣の
ある人には明らかである。ローカルストレージシステム
１０４は、更に、メモリ１３４(図１)中にリモートコピ
ー状態テーブル１１４を持ち、どのデータメッセージが
送信され、どのリモートストレージシステムによりどの
データメッセージが受信され、完了報告が出されたかを
表示している。例えば、最も最近に、リモートストレー
ジシステム１０５（表１１４で“Ｓ１”と表示）に受け
取られたのは、順序番号９であり、リモートストレージ
システム１０６（“Ｓ２”と表示）に受け取られたデー
タメッセージは、順序番号１１であることが分かる。リ
モートコピー状態テーブル１１４は更に、リモートスト
レージシステムのロールバックキュー、ライトヒストリ
キューに関する情報も保持している。即ち、テーブル１
１４が示すようにリモートストレージシステム１０５，
１０６のロールバックキューの長さはデータメッセージ
４エントリ分で、１０ＭＢの容量まで収容可能であるこ
とが分かる。各リモートストレージシステム１０５，１
０６のライトヒストリキューは５データメッセージの５
エントリ分である。このライトヒストリキューのバイト
単位の容量をこのテーブル１１４に保持させても良い。
図３は各種のネットワークアーキテクチュアを持つデー
タ処理システムで発生し得る、種々の傷害モードのシナ
リオを示す。最初の図３Ａでは、ローカルストレージシ
ステム３０４Ａを持つデータ処理システムは、リモート
ストレージシステム３０５Ａ，３０６Ａに並列に通信接
続されている。図３Ａに示すように、リモートストレー
ジシステム３０５Ａが障害になった場合は、データ同期
プロセスの必要性はない。ローカルストレージシステム
３０４Ａは依然稼動中であり、生存リモートストレージ
システム３０６Ａが通常のリモートコピー処理によりデ
ータ更新を継続できるからである。図３Ｂはローカルス
トレージシステムが障害になった場合のシナリオを図で
示す。この場合も、ローカルストレージシステム３０４
Ｂは、リモートストレージシステム３０５Ｂ，３０６Ｂ
に並列に通信接続されている。もし、ローカルストレー
ジシステム３０４Ｂの障害が検出されると、図３Ｂの下
半分に記されているように、リモートストレージシステ
ム３０５Ｂ’，３０６Ｂ’は、最新の更新データを保有
しているリモートストレージシステムのデータイメージ
に対して、自己の持つデータイメージを同期させる。リ
モートストレージシステム３０５Ｂが最新更新情報を保
有しているとすると、本発明での同期プロセスは、リモ
ートストレージシステム中のデータイメージの一つを、
他システム中のそれと同期することにより行われる。す
ぐ分かるように同期には二つの方式が存在する。ロール
フォワード方式では、最新の更新データがこれを必要と
しているリモートストレージシステムに送信され、ロー
ルバック方式では、最新の更新データは破棄される。い
ずれの方式でも、生存リモートストレージシステムが保
持しているデータイメージは同一化される。図３Ｃ，３
Ｄ，３Ｅでは、ローカル及びリモートストレージシステ
ム３０４Ｃ，３０５Ｃ，３０６Ｃが各々、デイジーチエ
ンネットワーク結合で接続されている。図３Ｃでは、ロ
ーカルストレージシステム３０４Ｃが障害になり、リモ
ートストレージシステム３０５Ｃがリモートストレージ
システム３０６Ｃを同期させる場合を示している。一方
に於いて、図３Ｄの如く、デイジーチエンの遠端に存在
するリモートストレージシステム３０６Ｃが障害になっ
た場合は、データ同期の必要性はない。図３Ｅの如く、
中間のリモートストレージシステムが障害になった場合
は、残ったリモートストレージシステムは、ネットワー
ク結合が正常である限り、ローカルストレージシステム
により同期化される。図４Ａ−４Ｅは、ローカルストレ
ージシステムが障害になった場合に、各ストレージシス
テムで保有している受信されたデータメッセージに関す
るヒストリ情報を用いて、本発明によるリモートストレ
ージシステムのデータイメージの同期方法を一般的に説
明する。図４Ａは、ローカルストレージシステム４０４
が、リモートコピーキュー４０４ａに３つのデータメッ
セージ（１，２，３）を持っている正常時の状態を示
す。そのデータメッセージ中の二つ（１，２）がリモー
トストレージシステム４０５に送信され受信されている
が、３番目のデータメッセージ３は、当該リモートスト
レージシステム４０５に送信中である。しかしながら、
リモートストレージシステム４０６には、データメッセ
ージ１，２，３が一つも受け取られいていなく、何れも
送信準備中か、送信中である。この状態で、即ち、デー
タメッセージ３はリモートストレージシステム４０５で
受信が完了しておらず、データメッセージ１，２，３の
いずれもリモートストレージシステム４０６で受信が完
了していない状態で、ローカルストレージシステム４０
４が、障害になった場合の結果を図４Ｂに示す。この状
態では、リモートストレージシステム４０５，４０６間
でデータメッセージは、リモートストレージシステム４
０５のロールバックキュー４２１に蓄えられている、最
新のデータメッセージ１，２だけが相違している。この
状態での、本発明によれば、二つのストレージシステム
４０５，４０６により保持されているデータイメージを
同期させる方式の一つの技術は、リモートストレージシ
ステム４０６にも、データメッセージ１，２を受け取ら
せ、リモートストレージシステム４０６が保有している
データイメージを更新させることを必要とする。かくし
て、図４Ｃに示すように、データイメージの相違はリモ
ートストレージシステム４０５に保持される二つのデー
タメッセージ１，２にあることを検出した上で、これら
のデータメッセージをロールフォワード同期のためにリ
モートストレージシステム４０６に転送する。反対に、
ロールバック方式の同期では、リモートストレージシス
テム４０５に、保有しているデータメッセージ１，２を
破棄させる。このロールバック同期方式を図４Ｅに示
し、以下に論ずる。図４Ｄは、システム中任意の場所に
存在しえるソフトウエアマネージャ４０７により実行さ
れるロールフォワード同期を示す。このようにこのマネ
ージャはシステムの他の部分とは分離していながら、ロ
ーカルストレージシステムや、リモートストレージシス
テム４０５，４０６にアクセス可能であってもよいし、
全体のストレージシステムの一部を形成してもよい。実
装方法にかかわらず、マネージャ４０７は、プライマリ
ストレージシステム４０４の障害検出を契機に始まる、
リモートストレージシステム４０５，４０６間の交信に
立ち入る。この交信の結果により、マネージャ４０７
は、プライマリストレージシステム４０４が倒れた時点
の、更新情報の受信の差異をリモートストレージシステ
ム間について調査する。図４Ｄの例では、マネージャ４
０７は、リモートストレージシステム４０５が、リモー
トストレージシステム４０６が持っていないデータメッ
セージ１，２を受信しており、データメッセージ１，２
はストレージシステム４０５のロールバックキューの中
にあると知らされる。そこで、このマネージャ４０７は
リモートストレージシステム４０５にアクセスし、メッ
セージ１，２に関するデータをリモートストレージシス
テム４０６に転送し、リモートストレージシステム４０
６のデータイメージをリモートストレージシステム４０
５のデータイメージと同期させる。代わりに、マネージ
ャ４０７は、リモートストレージシステム４０５のロー
ルバックキューのデータメッセージを破棄させることも
出来る。この場合、当該データメッセージは、中間キュ
ーには入っていないため、メッセージに対応するデータ
は書き込まれず、データイメージは変更されない。メデ
ィアこの後者の同期方式はロールバック同期と呼ばれ、
リモートストレージシステム４０５のデータイメージを
リモートストレージシステム４０６のデータイメージに
同期させるものである。図４Ｅは、ロールバック同期処
理の他のやり方を説明する。前と同様に、プライマリス
トレージシステム４０４が、リモートストレージシステ
ムのデータイメージを更新するために転送すべき、デー
タメッセージ１，２，３を保有したまま、障害になった
とする。このとき、リモートストレージシステム４０５
のみがデータが更新されて、データメッセージ１，２の
み保有しており、リモートストレージシステム４０６は
全く更新されず、データメッセージ１，２，３の何れも
保有していないとする。従って、プライマリ（ローカ
ル）ストレージシステム４０４がこの状態で障害になっ
た場合は、両リモートストレージシステム４０５，４０
６のデータイメージは、データメッセージ１，２だけが
相違している。本発明のロールバック処理では、それぞ
れの保有するデータイメージを同期させるために、デー
タメッセージ１，２のデータをリモートストレージシス
テム４０５からリモートストレージシステム４０６にフ
ォワード転送するのではなく、リモートストレージシス
テム４０５が保有しているデータメッセージを破棄させ
る。図５は、ローカルストレージシステム１０４(図１)
が、ホスト１０１(図１)から受信した更新データを各リ
モートストレージシステムに転送する、リモートコピー
処理のために行う主要ステップを説明する。既に説明し
たように、ローカルストレージシステム104の保有する
データイメージを更新させるホストプロセッサ１０１か
らの書き込みＩ／Ｏ要求は、リモートストレージシステ
ムの保有するデータイメージのミラーに就いても同様な
更新を必要とする。この書き込みＩ／Ｏ要求の発生によ
り、アサインされた順序番号及び、この要求データへの
ポインタを含む、対応するコマンドエントリが形成され
る。このコマンドエントリは、全てのデータが受信さ
れ、完了報告がホストプロセッサ１０１に返されるま
で、ワーキングキュー１１０に収容されている。その
後、このコマンドエントリはロールバックキュー１１１
に移される。その後、このロールバックキュー１１１が
満杯になるか、フラッシュコマンド(後述する)が受信さ
れると、このコマンドエントリは中間キュー１１２に移
される。中間キュー１１２に存在している間に、この要
求に対応するデータがストレージメディア１４２に書き
込まれる。ＣＰＵ１３３上で走行している、リモートコ
ピープロセスは、周期的にリモートコピーキューの内容
をチェックして、リモートストレージシステム１０５，
１０６の各々に更新データをコピーするために受信した
Ｉ／Ｏ要求に対してデータメッセージの形成が必要なコ
マンドエントリを見つける。図５のステップ５０１に
て、ローカルストレージシステム１０４は各リモートス
トレージシステムがデータメッセージの受付が出来るか
否かをチェックする。このチェックは、ＲＣ状態テーブ
ル１１４を参照して行う。このテーブルでは、各リモー
トストレージシステムが、どんなメッセージを受信して
完了報告したか、完了報告してないか、及びリモートス
トレージシステムの各キューの受信可能サイズをローカ
ルストレージシステムに伝える。このテーブルによりロ
ーカルストレージシステムは、特定のストレージシステ
ムが別のデータメッセージや関連データの受信するスペ
ースがあるか否かを判断する。もし否であったら、ステ
ップ５０１は次の処理に移る。リモートストレージシス
テム自身が、これ以上データメッセージを受け取れない
ことの表示、例えば、ＳＣＳＩ等で定義された“ＢＵＳ
Ｙ（０ｘ０８）：使用中”や“キュー満杯（０ｘ２
８）”等の状態信号を返答することも出来る。もし、対
象リモートストレージシステムがデータメッセージを受
信するのに十分なスペースを持っていることが分かれ
ば、ローカルストレージシステムは、リモートストレー
ジシステム（例えばリモートストレージシステム１０
５）にデータメッセージの形式でＲＣ（リモートコピ
ー）コマンドを発行し、これに続いてステップ５０３で
関連するデータを送信する。ローカルストレージシステ
ム１０４は、その後、データメッセージを受信したか否
かの状態報告を待ち（ステップ５０４）、ローカルスト
レージシステムが報告を受信すると、ステップ５０５
で、全てのリモートストレージシステムがデータメッセ
ージの更新が済んだかのチェックを行う。未了のリモー
トストレージシステムが存在すれば、処理はステップ５
０６ａに移り、対象となるリモートストレージシステム
がデータイメージを受信したことを示すようにＲＣ状態
テーブル１１４を更新して、次のリモートストレージシ
ステムがデータメッセージを受け取るために、ステップ
５０１に戻る。しかしながら、ステップ５０５にて全て
のリモートストレージシステムがデータメッセージを受
信したことが判明すれば、当該データメッセージ（コマ
ンドエントリ）は、ステップ５０６でＲＣキューから削
除され、ステップ５０７でＲＣ状態テーブル１１４が更
新され、このデータメッセージのための処理は終了す
る。図６は、リモートストレージシステムがリモートコ
ピープロセスのデータメッセージを受信するステップを
一般的に示す。ステップ６０１でリモートストレージシ
ステムはデータメッセージを受信し、ステップ６０２で
当該データメッセージを受け取るための十分なキュー資
源がアサイン可能か、即ち受信のスペースがあるかを判
定する。更に、このステップ６０２の判定は、他のリモ
ートストレージシステムのキュー内容に比較して、自ら
のキュー（即ち、ロールバック、中間、ライトヒストリ
キュー）の状態の分布、即ちアラインメント（後述され
る）に基づいて実施される。もし、ステップ６０２で、
この時点では、当該データの受け取りは不可能と判定さ
れたら、ステップ６０２からステップ６０６に移り、こ
のリモートストレージシステムは、ローカルストレージ
システム１０４に対して、“使用中”の応答を返し、こ
の受信処理を終える。ローカルストレージシステムは、
この応答により後の再試行の必要性を確認する。もし、
ステップ６０２で、受付可能と判定されたら、ステップ
６０３でデータを受信し、ステップ６０４でリモートス
トレージシステムはデータ転送の状態を返す。続いて、
ステップ６０５でこのデータメッセージは、メッセージ
及びデータ受信用のワーキングキューから、ロールバッ
クキューに移される。図７は、ローカルストレージシス
テムで(又は、図３Ｅのデイジーチェイン接続での中間
サイトのリモートストレージシステムで)障害が検出さ
れた場合の同期プロセスの処理ステップを示す。ステッ
プ７０１で障害が検出される。障害検出は数々の方法で
なされる。例えば、ストレージシステムは、互いに、ハ
ートビート信号を他のストレージシステムに送信し、こ
れが来なければ当該システムは障害とみなす；或いはス
トレージシステムは自己診断可能で、自システムの障害
を他システムに同報通信することが出来る；或いはその
他の任意の慣用的障害検知技術を用いることが出来る。
もし、障害が検出されると、他の生存システム、例え
ば、図２のリモートストレージシステム１０５，１０６
は互いに交信し、誰が新しいリモートコピーマネージャ
になれるかを判定する。選択されたストレージシステム
が、残りのすべての生存システムのデータイメージを同
一状態に同期するためのリモートコピー処理をコントロ
ールする。あるいは、リモートコピーマネージャは、シ
ステム管理者により事前定義されている場合もある。い
ずれにせよ、選択されると、リモートコピーマネージャ
は、ローカルストレージシステムとなり、ステップ７０
３で生存ストレージシステムで維持されている、各種キ
ューの構造と内容に関する情報を集める。この情報に
は、ロールバックキューとライトヒストリキューの範囲
（エントリ数）と、どれだけの数のエントリがデータメ
ッセージを有するかの情報が含まれる。例えば、図２に
ついて、ローカルストレージシステム１０４が障害にな
り（ステップ７０１）、リモートストレージシステム１
０５がステップ７０２でリモートコピーマネージャとし
て選択されると、リモートストレージシステム１０６
は、自分のロールバックキュー１３１にはデータメッセ
ージ８，９，１０，１１が、ライトヒストリキュー１３
３にはデータメッセージ３，４，５，６が保有されてい
ることを報告する。リモートストレージシステム１０６
の中間キューの内容は、障害が検出されるとリモートス
トレージシステムは優先的に中間キューを空にして、そ
れにより該当データがストレージメディアに書き込まれ
るようにするので、短時間のうちにライトヒストリキュ
ーに付け加えられる。ストレージシステムの一つに障害
が起きた後、生存ストレージシステムのリモートコピー
環境に関する情報が得られた場合、選択されたリモート
コピーマネージャは、ロールバックか、ロールフォワー
ドかの何れの同期方式を選択するかを決める。これは、
典型的には、リモートコピー環境の管理者又はユーザに
よって、障害の場合にストレージシステムを同期させる
最良の方式に関するフラグをセットしておく形で、事前
決定されている。もし、ステップ７０４で、ロールバッ
ク処理が選択されたら、ステップ７０５でリモートコピ
ーマネージャーはすべてのストレージシステムが共有す
る最も大きな順序番号を持つデータメッセージを決定す
る。図２の例では、順序番号９のデータメッセージがこ
れに該当する。続いて、ステップ７０６にて、選択され
たリモートコピーマネージャは、ロールバックコマンド
を他の全てのストレージシステムに対して発行し、受信
後順序番号９を超えるデータメッセージを破棄させる。
かくして、図２に戻って、リモートストレージシステム
１０６はこのロールバックコマンド受領により、順序番
号１０，１１のデータメッセージを破棄する。この処理
はステップ７１５で終了する。一方において、ステップ
７０４にて、ロールフォワードが選択された場合には、
ステップ７０７でロールフォワードの順序番号を決定す
る。この処理では、リモートコピー処理が、各種のロー
ルバックキューとライトヒストリキューの内容を比較し
て、最新のデータメッセージを保有するストレージシス
テム決定する。かくして図２に於いて、選択されたリモ
ートコピーマネージャが、リモートストレージシステム
１０５の場合は、リモートストレージシステム１０６が
順序番号１０，１１のメッセージを持っており、自分は
持っていないことを認識する。そこで、各システムのデ
ータイメージの同期を計るために、リモートストレージ
システム１０６の順序番号１０，１１のデータメッセー
ジを自システムに転送するリモートコピー処理を起動す
る。かくして、ステップ７０８にて、選択されたリモー
トコピーマネージャは、それが最新のストレージシステ
ムだと判定すると、ステップ７０９にて、最新データを
有するストレージシステムから必要データを取得する。
このことは、選択されたＲＣマネージャ自身にも起こり
得るし、他のストレージシステムの一つにも起こり得
る。いずれにせよ、選択されたＲＣマネージャが更新デ
ータを受領すると、ステップ７１０に移り、更新データ
を必要とする他のストレージシステムに対して更新デー
タ又はその一部を選択的に転送してすべてのリモートス
トレージシステムのデータイメージの同期を完了する。
この処理はステップ７１５で完結する。もし、逆に、ス
テップ７０８にて、同期処理は、最新データメッセージ
を保有するストレージシステムにより実施され、当該ス
トレージシステムは選択されたＲＣマネージャではない
場合(あるいは、他のストレージシステムが予め、同期
システムとして、事前指定されている場合)は、ＲＣマ
ネージャは、どのストレージシステムがデータ更新を必
要としているかを含む更新情報を、最新更新データ保有
ストレージシステムに送信する。次にステップ７１２に
て、更新データはデータメッセージの形で、このデータ
イメージの同期を必要とするすべてのストレージシステ
ムに送信され、処理はステップ７１５で完了する。も
し、 (図４Ｅで説明され、既に議論されたように) ロー
ルバック処理が採用された場合には、リモートストレー
ジシステム１０５，１０６（図１）のＲＢ（ロールバッ
ク）キューは、アライン(調整)されている必要がある。
アラインメント処理は、ローカルストレージシステム１
０４で、ＣＰＵ１３３上で走行しているリモートコピー
プロセスと（リモートストレージシステム１０５，１０
６で維持されている各種のキューの状態に関する情報を
提供する）リモートコピー状態テーブル１１４を用い
て、実行される。例えば、あるリモートストレージシス
テムはローカルストレージシステムからのリモートコピ
ーデータメッセージを受信できず、他のリモートストレ
ージシステムは受信できるという事態が存在する。この
ような場合には同期目的のために、注意しなければなら
ないことは、同期が必要なときに、同期が必ず成立する
ためには、一つのリモートストレージシステムのキュー
の中にあるデータメッセージと他のリモートストレージ
システムのキューの中にあるデータメッセージとを比較
したときに、少なくとも一つのデータメッセージが共通
に保有（オーバラップ）されている必要があることであ
る。図８，９はすべてのキュー（特にＲＢキューと、ラ
イトヒストリキュー）に就いての、アライメント処理を
説明する。図８では、リモートストレージシステム８０
５／８０６のＲＢキュー８２１／８３１は２エントリの
深さで、ライトヒストリキュー８２３／８３３はそれぞ
れ５エントリの深さの状態でのオーバラップを説明す
る。（ワーキングキュー及び中間キューは、不必要に話
を複雑化させるために図示されていない）。図８に於い
て、リモートストレージシステム８０５は、ライトヒス
トリキュー８２３にデータメッセージ６，７，８，９，
１０が、ＲＢキュー８２１にデータメッセージ１１，１
２が登録されている。リモートストレージシステム８０
５は、更にメッセージ１３の受信途上であり、ローカル
ストレージシステム(図８に図示されていない)は、更に
データメッセージ１４を送る準備をしている。リモート
ストレージシステムがデータメッセージ１３を受信し受
け付けると、このメッセージ１３は、ＲＢキュー８２１
に入り込む。これにより、データメッセージ１１が、ス
ペースを作るためにライトヒストリキューに移動して、
データメッセージエントリ６がライトヒストリキューか
ら排出されることになる。リモートストレージシステム
８０５は更に、順序番号１４のデータメッセージを受け
取れる状態になる。同時にリモートストレージシステム
８０６は、ライトヒストリキュー８３３にデータメッセ
ージ１−５を持ち、ＲＢキュー８３１にデータメッセー
ジ６，７を持っており、データメッセージ８，９を受信
中である。この状態で、更に、リモートストレージシス
テム８０５がメッセージ１４受信し受け付けたとする
と、ライトヒストリキュー８２３から末尾にあるメッセ
ージ７が脱落することになる。この状態で、リモートス
トレージシステム８０６がデータメッセージ８，９を受
信し受け付ける前に、例えばローカルストレージシステ
ムが障害になったとすると、データメッセージ７に関す
る情報がリモートストレージシステム８０５から欠落し
ているため、ロールバック方式を用いて二つのリモート
ストレージシステムを同期させることができない結果に
なってしまう。このことより、ローカルストレージシス
テム(図８には図示されていない)は、データメッセージ
の受信状態及びリモートストレージシステム８０５，８
０６のキューの保有状態に関する、リモートコピー状態
テーブル１１４(図２)からの情報により、リモートスト
レージシステム８０６が少なくともデータメッセージ８
を受信し受け付けられる迄は、データメッセージ１４の
送信を抑制することによって両者のアライメントを維持
する必要がある。図９は、ローカルストレージシステム
１０４で採用され、定期的に発行されるフラッシュコマ
ンドを用いたアライメント処理を説明する。図９では、
ローカルストレージシステム１０４は、データメッセー
ジ６を指定して、フラッシュコマンドを発行する。これ
により、両リモートストレージシステム８０５，８０６
とも、データメッセージ６に後続するすべてのデータメ
ッセージ（７，８、・・・）の保有を確実にさせる。し
かしながら、リモートストレージシステム８０５は依然
として、データメッセージ１４は受信不可能で“使用
中”状態を返答する。
【発明の効果】本発明により、従来の技術に勝る数々の
便益が実現される。
便益が実現される。
【図１】図１は、本発明を実装する、ローカル及び複数
のリモートストレージシステムを有するデータ処理シス
テムのブロックダイアグラムである。
のリモートストレージシステムを有するデータ処理シス
テムのブロックダイアグラムである。
【図２】図２は、ローカルストレージからリモートスト
レージシステムに送られた更新データのヒストリ情報を
保持するために、ローカル及び複数のリモートストレー
ジシステムの各々で実装されるキュー構造を説明するダ
イアグラムである。
レージシステムに送られた更新データのヒストリ情報を
保持するために、ローカル及び複数のリモートストレー
ジシステムの各々で実装されるキュー構造を説明するダ
イアグラムである。
【図３Ａ】図３Ａは、ローカル及びリモートストレージ
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
【図３Ｂ】図３Ｂは、ローカル及びリモートストレージ
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
【図３Ｃ】図３Ｃは、ローカル及びリモートストレージ
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
【図３Ｄ】図３Ｄは、ローカル及びリモートストレージ
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
【図３Ｅ】図３Ｅは、ローカル及びリモートストレージ
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
【図４Ａ】図４Ａは、ストレージシステムの一つ（例え
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
【図４Ｂ】図４Ｂは、ストレージシステムの一つ（例え
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
【図４Ｃ】図４Ｃは、ストレージシステムの一つ（例え
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
【図４Ｄ】図４Ｄは、ストレージシステムの一つ（例え
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
【図４Ｅ】図４Ｅは、ストレージシステムの一つ（例え
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム）が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
【図５】図５は、ローカルストレージのデータイメージ
になされたデータ変更をリモートストレージシステムに
データメッセージを送信することによってコピーする、
リモートコピー処理の主要ステップを説明する。
になされたデータ変更をリモートストレージシステムに
データメッセージを送信することによってコピーする、
リモートコピー処理の主要ステップを説明する。
【図６】図６は、ローカルストレージシステムからのデ
ータメッセージの受領に応じてリモートストレージシス
テムが行う主要ステップを説明する。
ータメッセージの受領に応じてリモートストレージシス
テムが行う主要ステップを説明する。
【図７】図７は、ローカルストレージシステムでの障害
が検出された時に、リモートストレージシステムが行う
主要ステップを説明する。
が検出された時に、リモートストレージシステムが行う
主要ステップを説明する。
【図８】図８は、各リモートストレージシステム間での
情報キューのオーバラップを維持するために、ローカル
ストレージシステムで発行される、アラインメント処理
及びフラッシュ処理を図で説明する。
情報キューのオーバラップを維持するために、ローカル
ストレージシステムで発行される、アラインメント処理
及びフラッシュ処理を図で説明する。
【図９】図９は、各リモートストレージシステム間での
情報キューのオーバラップを維持するために、ローカル
ストレージシステムで発行される、アラインメント処理
及びフラッシュ処理を図で説明する。
情報キューのオーバラップを維持するために、ローカル
ストレージシステムで発行される、アラインメント処理
及びフラッシュ処理を図で説明する。
１６・・・ネットワーク、１０１・・・プライマリホスト、１
０２・１０３・・・リモートホスト、１０４・・・プライマリ
ストレージ、１０５・１０６・・・セカンダリストレー
ジ、１１０・１３０・１３７・１３８・・・Ｉ／Ｏインタ
フェース、１１１・１３１・・・ネットワークインタフェ
ース、１３２・・・内部バス、１３３・・・ＣＰＵ、１３４・・
・メモリ、１３５・・・キャッシュメモリ、１３６・・・コン
トロール情報、１４０・・・ディスク、１４２・・・ボリュー
ム
０２・１０３・・・リモートホスト、１０４・・・プライマリ
ストレージ、１０５・１０６・・・セカンダリストレー
ジ、１１０・１３０・１３７・１３８・・・Ｉ／Ｏインタ
フェース、１１１・１３１・・・ネットワークインタフェ
ース、１３２・・・内部バス、１３３・・・ＣＰＵ、１３４・・
・メモリ、１３５・・・キャッシュメモリ、１３６・・・コン
トロール情報、１４０・・・ディスク、１４２・・・ボリュー
ム
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｆ 13/10 ３４０ Ｇ０６Ｆ 13/10 ３４０Ａ
15/00 ３１０ 15/00 ３１０Ｂ
３２０ ３２０Ｄ
Claims (9)
- 【請求項１】一つの処理システムであって、該システム
は、 データ記憶のためのストレージメディアを有し、該スト
レージメディアに対するデータの読み書きのためのＩ／
Ｏ（入力／出力）要求を受信する、ローカルストレージ
システムと、 リモートコピーコマンドに応答して、データを書き込む
ためのストレージメディアを有し、受信されたリモート
コピーコマンドに関する情報を有するキュー構造、及び
（２）それぞれのリモートストレージシステムのストレ
ージメディアにデータを書き込むために働きかけるリモ
ートコピーコマンドに関する情報を保持するキュー構造
を持つ、複数のリモートストレージシステムとを有し、
該ローカルストレージシステムは、受信したデータ書き
込みＩ／Ｏ要求の中から選択したＩ／Ｏ要求に対応し
て、該各リモートストレージシステムにリモートコピー
コマンドを送信して、該各リモートストレージシステム
のストレージメディアにデータを書き込ませることと、
該各リモートストレージシステムは、どのリモートコピ
ーコマンドが、、該各リモートストレージシステムのス
トレージメディアに書き込まれたか、及びどのリモート
コピーコマンドが書き込み未了かを識別する、該ローカ
ルストレージシステムから受信した、各リモートコピー
コマンドに関する情報を保持することとから構成される
処理システム。 - 【請求項２】ローカルストレージシステムと複数のリモ
ートストレージシステムで構成されるシステムにおい
て、該複数のリモートストレージシステムに記憶された
該ローカルストレージシステムのバックアップデータを
同期させるための方法であって、該方法は、 該各リモートストレージシステムは該ローカルストレー
ジシステムよりのデータ更新要求を受信し、該受信した
データ更新要求の識別子を記録するステップと、 該各リモートストレージシステムは該ローカルストレー
ジシステムよりのデータ更新要求を受信し、該データ更
新要求に付随するデータをストレージメディアへ書き込
んだデータ更新要求の識別子を記録するステップと、 該ローカルストレージシステムで障害が検出されると、
該受信したデータ更新要求の識別子及び該受信し書き込
みを完了したデータ更新要求の識別子の該各リモートス
トレージシステム間での差異を検出するステップと、 該差異に基づいて、該各リモートストレージシステム間
のデータを同期させるステップとから構成されるデータ
同期方法。 - 【請求項３】一つの処理システムであって、該システム
は、 データ記憶のためのストレージメディアを持つローカル
ストレージシステムと、 各々付随データを有するリモートコピーコマンドに応答
して、データを記憶するためのストレージメディアを持
ち、受信したリモートコピーコマンドを識別する情報及
び付随データをストレージメディアに書き込んだ、受信
したリモートコピーコマンドを識別するための情報を維
持する、少なくとも二つのリモートストレージシステム
と、 該ローカルストレージシステムは、該各リモートストレ
ージシステム内のストレージメディアにデータを書き込
ませるために、該各リモートストレージシステムに該リ
モートコピーコマンドを送信することと、 該ローカルストレージシステムでの障害検出により、該
各リモートストレージシステムは、それぞれが維持して
いる情報を共有して、一つのリモートストレージシステ
ムでは受信未了で、他のリモートストレージシステムで
は受信完了しているリモートコピーコマンドを特定する
こと、とから構成される処理システム。 - 【請求項４】リモートコピーコマンドと共に受信された
データを互いに送受信する手段を持つ、請求範囲３の処
理システム。 - 【請求項５】一つのリモートストレージシステムで受信
済みのデータを他のリモートストレージシステムに送信
する為に、通信手段を用いる、請求範囲４の処理システ
ム。 - 【請求項６】一つの処理システムであって、該システム
は、データイメージの形でデータを記憶するストレージ
メディアを有するローカルストレージシステムと、 複数のリモートストレージシステムであって、それぞれ
がリモートコピーコマンドに応答して受信したデータを
保存するストレージメディアを持ち、受信したリモート
コピーコマンドを識別する情報及び付随データを該スト
レージメディアに記憶済の受信したリモートコピーコマ
ンドを識別する情報と共に該ローカルストレージシステ
ム内のデータイメージをミラーするデータイメージを形
成した、リモートストレージシステムと、 該ローカルストレージシステムは、該各リモートストレ
ージシステム内のストレージメディアにデータを書き込
ませるために、該各リモートストレージシステムにリモ
ートコピーコマンドを送信することと、 該ローカルストレージシステムでの障害検出により、該
各リモートストレージシステムは、互いに保有するデー
タイメージの差異に関する情報を共有して、一つのリモ
ートストレージシステムで受信されている情報を、他の
未受信のリモートストレージシステムに送信して、リモ
ートストレージシステム間で、互いにデータイメージが
ミラーとなるように修正すること、とから構成される処
理システム。 - 【請求項７】各リモートストレージシステムはそれぞれ
が維持している情報を保持するキューを含む、請求範囲
６の処理システム。 - 【請求項８】該情報は、受信されたリモートコピーコマ
ンドの記録を持つ、請求範囲７の処理システム。 - 【請求項９】該情報は、該リモートストレージシステム
のストレージメディアに書き込み済みの受信リモートコ
ピーコマンドの記録を持つ、請求範囲８の処理システ
ム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/042,376 US6745303B2 (en) | 2002-01-03 | 2002-01-03 | Data synchronization of multiple remote storage |
| US10/042,376 | 2002-01-03 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003263280A true JP2003263280A (ja) | 2003-09-19 |
| JP2003263280A5 JP2003263280A5 (ja) | 2006-02-09 |
| JP4325836B2 JP4325836B2 (ja) | 2009-09-02 |
Family
ID=21921581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002369171A Expired - Fee Related JP4325836B2 (ja) | 2002-01-03 | 2002-12-20 | 複数リモートストレージのデータ同期方式 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US6745303B2 (ja) |
| JP (1) | JP4325836B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250921A (ja) * | 2004-03-05 | 2005-09-15 | Hitachi Ltd | バックアップシステムおよび方法 |
| KR100639142B1 (ko) | 2005-04-28 | 2006-10-30 | 후지쯔 가부시끼가이샤 | 리모트 카피 처리 방법, 프로그램을 기록한 컴퓨터로판독가능한 기록 매체 및 장치 |
| JP2009531770A (ja) * | 2006-03-30 | 2009-09-03 | エヌエイチエヌ コーポレーション | サーバーミラーリング方法及びそのシステム |
| JP2010510564A (ja) * | 2006-11-16 | 2010-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ミラー・ボリューム内の不一致を検出するための装置、システム、および方法（メタデータを使用して連続リモート・コピー内の不一致を検出するための装置、システム、および方法） |
| JP2012512468A (ja) * | 2008-12-19 | 2012-05-31 | エーティーアイ・テクノロジーズ・ユーエルシー | 複製された書き込み要求を伴うコヒーレントメモリコピーのための方法及び装置 |
| JP2012532397A (ja) * | 2009-07-02 | 2012-12-13 | サンドフォース インク． | ストレージデバイスに関連付けられた複数の書き込みコマンドの順序付け |
Families Citing this family (189)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100365261B1 (ko) * | 2000-03-02 | 2002-12-18 | 주식회사 로직플랜트 | 웹 드라이브 시스템 |
| US20040235523A1 (en) * | 2001-03-07 | 2004-11-25 | Schrire Michael Anton | System for replicating data of a mobile station |
| GB0208922D0 (en) * | 2002-04-19 | 2002-05-29 | Ibm | Cache memory arrangement and methods for use in a cache memory system |
| US20040006587A1 (en) * | 2002-07-02 | 2004-01-08 | Dell Products L.P. | Information handling system and method for clustering with internal cross coupled storage |
| US7103727B2 (en) * | 2002-07-30 | 2006-09-05 | Hitachi, Ltd. | Storage system for multi-site remote copy |
| US7047377B2 (en) * | 2002-08-20 | 2006-05-16 | Gruintine Pueche, Inc. | System and method for conducting an auction-based ranking of search results on a computer network |
| JP2004110367A (ja) * | 2002-09-18 | 2004-04-08 | Hitachi Ltd | 記憶装置システムの制御方法、記憶制御装置、および記憶装置システム |
| US7546482B2 (en) * | 2002-10-28 | 2009-06-09 | Emc Corporation | Method and apparatus for monitoring the storage of data in a computer system |
| US20040153558A1 (en) * | 2002-10-31 | 2004-08-05 | Mesut Gunduc | System and method for providing java based high availability clustering framework |
| US20040199910A1 (en) * | 2003-04-05 | 2004-10-07 | Baack James E. | Automated change back off process for restoring the root disk |
| US7415591B1 (en) * | 2003-04-23 | 2008-08-19 | Emc Corporation | Method and apparatus for migrating data and automatically provisioning a target for the migration |
| KR100638017B1 (ko) * | 2003-05-30 | 2006-10-23 | 엘지전자 주식회사 | 네트워크 디바이스 |
| KR100605216B1 (ko) * | 2003-05-30 | 2006-07-31 | 엘지전자 주식회사 | 네트워크 디바이스 |
| KR100596755B1 (ko) * | 2003-05-30 | 2006-07-04 | 엘지전자 주식회사 | 홈 네트워크 시스템 |
| US20070223500A1 (en) * | 2003-05-30 | 2007-09-27 | Lg Electronics Inc. | Home Network System |
| KR100605218B1 (ko) * | 2003-05-30 | 2006-07-31 | 엘지전자 주식회사 | 홈 네트워크 시스템 |
| US7287186B2 (en) * | 2003-06-02 | 2007-10-23 | Surgient Inc. | Shared nothing virtual cluster |
| US7124323B2 (en) * | 2003-06-18 | 2006-10-17 | International Business Machines Corporation | Method, system, and program for recovery of a reverse restore operation |
| US7065589B2 (en) * | 2003-06-23 | 2006-06-20 | Hitachi, Ltd. | Three data center remote copy system with journaling |
| US7159234B1 (en) * | 2003-06-27 | 2007-01-02 | Craig Murphy | System and method for streaming media server single frame failover |
| JP4374953B2 (ja) * | 2003-09-09 | 2009-12-02 | 株式会社日立製作所 | データ処理システム |
| US7130975B2 (en) * | 2003-06-27 | 2006-10-31 | Hitachi, Ltd. | Data processing system |
| US8689043B1 (en) * | 2003-06-30 | 2014-04-01 | Symantec Operating Corporation | Fast failover with multiple secondary nodes |
| US7165145B2 (en) * | 2003-07-02 | 2007-01-16 | Falconstor Software, Inc. | System and method to protect data stored in a storage system |
| US7779169B2 (en) * | 2003-07-15 | 2010-08-17 | International Business Machines Corporation | System and method for mirroring data |
| JP4021823B2 (ja) * | 2003-09-01 | 2007-12-12 | 株式会社日立製作所 | リモートコピーシステム及びリモートコピーの方法 |
| US7904428B2 (en) | 2003-09-23 | 2011-03-08 | Symantec Corporation | Methods and apparatus for recording write requests directed to a data store |
| US7827362B2 (en) | 2004-08-24 | 2010-11-02 | Symantec Corporation | Systems, apparatus, and methods for processing I/O requests |
| US7296008B2 (en) * | 2004-08-24 | 2007-11-13 | Symantec Operating Corporation | Generation and use of a time map for accessing a prior image of a storage device |
| US7730222B2 (en) | 2004-08-24 | 2010-06-01 | Symantec Operating System | Processing storage-related I/O requests using binary tree data structures |
| US7287133B2 (en) | 2004-08-24 | 2007-10-23 | Symantec Operating Corporation | Systems and methods for providing a modification history for a location within a data store |
| US7991748B2 (en) | 2003-09-23 | 2011-08-02 | Symantec Corporation | Virtual data store creation and use |
| US7577806B2 (en) | 2003-09-23 | 2009-08-18 | Symantec Operating Corporation | Systems and methods for time dependent data storage and recovery |
| US7725760B2 (en) | 2003-09-23 | 2010-05-25 | Symantec Operating Corporation | Data storage system |
| US7769004B2 (en) * | 2003-09-26 | 2010-08-03 | Surgient, Inc. | Network abstraction and isolation layer for masquerading machine identity of a computer |
| US7325109B1 (en) * | 2003-10-24 | 2008-01-29 | Network Appliance, Inc. | Method and apparatus to mirror data at two separate sites without comparing the data at the two sites |
| US7200726B1 (en) | 2003-10-24 | 2007-04-03 | Network Appliance, Inc. | Method and apparatus for reducing network traffic during mass storage synchronization phase of synchronous data mirroring |
| US7203796B1 (en) | 2003-10-24 | 2007-04-10 | Network Appliance, Inc. | Method and apparatus for synchronous data mirroring |
| US7596672B1 (en) | 2003-10-24 | 2009-09-29 | Network Appliance, Inc. | Synchronous mirroring including writing image updates to a file |
| EP1692602A4 (en) * | 2003-10-31 | 2007-10-24 | Landmark Technology Partners I | INTELLIGENT CLIENT ARCHITECTURE COMPUTER SYSTEM AND METHOD |
| US7137033B2 (en) * | 2003-11-20 | 2006-11-14 | International Business Machines Corporation | Method, system, and program for synchronizing subtasks using sequence numbers |
| JP2005157521A (ja) * | 2003-11-21 | 2005-06-16 | Hitachi Ltd | 遠隔記憶装置の状態情報監視方法および記憶サブシステム |
| JP4412989B2 (ja) * | 2003-12-15 | 2010-02-10 | 株式会社日立製作所 | 複数の記憶システムを有するデータ処理システム |
| US8589513B1 (en) * | 2003-12-23 | 2013-11-19 | Emc Corporation | Remote mirroring of group name services |
| JP2005258850A (ja) | 2004-03-12 | 2005-09-22 | Hitachi Ltd | 計算機システム |
| JP4563725B2 (ja) * | 2004-05-17 | 2010-10-13 | 株式会社日立製作所 | 計算機システム |
| US7383462B2 (en) * | 2004-07-02 | 2008-06-03 | Hitachi, Ltd. | Method and apparatus for encrypted remote copy for secure data backup and restoration |
| US7284150B2 (en) * | 2004-09-22 | 2007-10-16 | International Business Machines Corporation | System and method for reliably storing data and providing efficient incremental backup and asynchronous mirroring by preferentially handling new data |
| JP4376750B2 (ja) * | 2004-10-14 | 2009-12-02 | 株式会社日立製作所 | 計算機システム |
| US20060182050A1 (en) * | 2005-01-28 | 2006-08-17 | Hewlett-Packard Development Company, L.P. | Storage replication system with data tracking |
| US7519851B2 (en) * | 2005-02-08 | 2009-04-14 | Hitachi, Ltd. | Apparatus for replicating volumes between heterogenous storage systems |
| US20060230245A1 (en) * | 2005-04-08 | 2006-10-12 | Microsoft Corporation | Data storage safety indicator and expander |
| US8010498B2 (en) * | 2005-04-08 | 2011-08-30 | Microsoft Corporation | Virtually infinite reliable storage across multiple storage devices and storage services |
| US7681074B2 (en) * | 2005-04-29 | 2010-03-16 | Microsoft Corporation | Transport high availability |
| US7634514B2 (en) * | 2005-05-09 | 2009-12-15 | Microsoft Corporation | Synchronizing file system directories |
| US7440984B2 (en) * | 2005-06-28 | 2008-10-21 | International Business Machines Corporation | Reconciliation of local and remote backup data |
| US7600149B2 (en) * | 2005-09-20 | 2009-10-06 | International Business Machines Corporation | Failure transparency for update applications under single-master configuration |
| US20070094336A1 (en) * | 2005-10-24 | 2007-04-26 | Microsoft Corporation | Asynchronous server synchronously storing persistent data batches |
| US7921165B2 (en) * | 2005-11-30 | 2011-04-05 | Microsoft Corporation | Retaining mail for availability after relay |
| US8078728B1 (en) | 2006-03-31 | 2011-12-13 | Quest Software, Inc. | Capacity pooling for application reservation and delivery |
| US7376805B2 (en) * | 2006-04-21 | 2008-05-20 | Hewlett-Packard Development Company, L.P. | Distributed storage array |
| JP4887893B2 (ja) * | 2006-04-26 | 2012-02-29 | 株式会社日立製作所 | 計算機システム及び計算機システムの制御方法 |
| JP2007310448A (ja) * | 2006-05-16 | 2007-11-29 | Hitachi Ltd | 計算機システム、管理計算機、および、ストレージシステム管理方法 |
| US8010509B1 (en) * | 2006-06-30 | 2011-08-30 | Netapp, Inc. | System and method for verifying and correcting the consistency of mirrored data sets |
| US20090248744A1 (en) * | 2006-07-17 | 2009-10-01 | Kika Medical | Transactional storage system for healthcare information |
| US7587628B2 (en) * | 2006-09-20 | 2009-09-08 | International Business Machines Corporation | System, method and computer program product for copying data |
| US7650476B2 (en) * | 2006-10-18 | 2010-01-19 | International Business Machines Corporation | System, method and computer program product for generating a consistent point in time copy of data |
| US20080109804A1 (en) * | 2006-11-06 | 2008-05-08 | Richard Welcher Bloomstein | Additional uses of virtualization for disaster recovery and prevention |
| US9293032B2 (en) * | 2006-12-29 | 2016-03-22 | Echostar Technologies L.L.C. | Two-way communication for control of an entertainment device |
| US7752404B2 (en) * | 2006-12-29 | 2010-07-06 | Emc Corporation | Toggling between concurrent and cascaded triangular asynchronous replication |
| US7734884B1 (en) | 2006-12-29 | 2010-06-08 | Emc Corporation | Simultaneous concurrent and cascaded triangular asynchronous replication |
| US7779291B2 (en) * | 2006-12-29 | 2010-08-17 | Emc Corporation | Four site triangular asynchronous replication |
| US7680997B1 (en) | 2006-12-29 | 2010-03-16 | Emc Corporation | Data recovery simulation |
| US7702953B2 (en) * | 2007-01-04 | 2010-04-20 | International Business Machines Corporation | Storage management in cascaded replication of data |
| CN101765465A (zh) | 2007-03-23 | 2010-06-30 | 忠诚股份有限公司 | 流体收集和处理***及相关方法 |
| US9889239B2 (en) | 2007-03-23 | 2018-02-13 | Allegiance Corporation | Fluid collection and disposal system and related methods |
| US8460256B2 (en) | 2009-07-15 | 2013-06-11 | Allegiance Corporation | Collapsible fluid collection and disposal system and related methods |
| US7751398B1 (en) * | 2007-03-28 | 2010-07-06 | Emc Corporation | Techniques for prioritization of messaging traffic |
| US7756995B1 (en) | 2007-03-28 | 2010-07-13 | Amazon Technologies, Inc. | Regulating transmission rates |
| US7747770B1 (en) * | 2007-03-28 | 2010-06-29 | Amazon Technologies, Inc. | Protocol for managing information |
| US8001307B1 (en) | 2007-04-27 | 2011-08-16 | Network Appliance, Inc. | Apparatus and a method to eliminate deadlock in a bi-directionally mirrored data storage system |
| US8145976B1 (en) | 2007-05-14 | 2012-03-27 | Marvell International Ltd. | Error correcting |
| US8028090B2 (en) | 2008-11-17 | 2011-09-27 | Amazon Technologies, Inc. | Request routing utilizing client location information |
| US7991910B2 (en) | 2008-11-17 | 2011-08-02 | Amazon Technologies, Inc. | Updating routing information based on client location |
| US8301791B2 (en) * | 2007-07-26 | 2012-10-30 | Netapp, Inc. | System and method for non-disruptive check of a mirror |
| US7861049B2 (en) * | 2007-11-19 | 2010-12-28 | Hitachi, Ltd. | Methods and apparatus for archiving digital data |
| US8194674B1 (en) | 2007-12-20 | 2012-06-05 | Quest Software, Inc. | System and method for aggregating communications and for translating between overlapping internal network addresses and unique external network addresses |
| US8156415B1 (en) | 2007-12-26 | 2012-04-10 | Marvell International Ltd. | Method and system for command queuing in disk drives |
| US10572188B2 (en) * | 2008-01-12 | 2020-02-25 | Hewlett Packard Enterprise Development Lp | Server-embedded distributed storage system |
| US8321568B2 (en) | 2008-03-31 | 2012-11-27 | Amazon Technologies, Inc. | Content management |
| US7970820B1 (en) | 2008-03-31 | 2011-06-28 | Amazon Technologies, Inc. | Locality based content distribution |
| US8606996B2 (en) | 2008-03-31 | 2013-12-10 | Amazon Technologies, Inc. | Cache optimization |
| US8601090B1 (en) | 2008-03-31 | 2013-12-03 | Amazon Technologies, Inc. | Network resource identification |
| US7962597B2 (en) | 2008-03-31 | 2011-06-14 | Amazon Technologies, Inc. | Request routing based on class |
| US8447831B1 (en) | 2008-03-31 | 2013-05-21 | Amazon Technologies, Inc. | Incentive driven content delivery |
| US8370717B1 (en) | 2008-04-08 | 2013-02-05 | Marvell International Ltd. | Method and apparatus for flexible buffers in an XOR engine |
| US8437744B1 (en) * | 2008-04-23 | 2013-05-07 | Zerotouchdigital, Inc. | Methods and devices for remote processing of information originating from a mobile communication device |
| US9407681B1 (en) | 2010-09-28 | 2016-08-02 | Amazon Technologies, Inc. | Latency measurement in resource requests |
| JP4774085B2 (ja) * | 2008-07-31 | 2011-09-14 | 富士通株式会社 | ストレージシステム |
| US7962780B2 (en) * | 2008-08-22 | 2011-06-14 | International Business Machines Corporation | Command sequence numbering apparatus and method |
| US8671081B2 (en) * | 2008-09-18 | 2014-03-11 | Sap Ag | Data processing systems and methods to ensure the consistency of data |
| US8073940B1 (en) | 2008-11-17 | 2011-12-06 | Amazon Technologies, Inc. | Managing content delivery network service providers |
| US8122098B1 (en) | 2008-11-17 | 2012-02-21 | Amazon Technologies, Inc. | Managing content delivery network service providers by a content broker |
| US8412823B1 (en) | 2009-03-27 | 2013-04-02 | Amazon Technologies, Inc. | Managing tracking information entries in resource cache components |
| US8756341B1 (en) | 2009-03-27 | 2014-06-17 | Amazon Technologies, Inc. | Request routing utilizing popularity information |
| US8688837B1 (en) | 2009-03-27 | 2014-04-01 | Amazon Technologies, Inc. | Dynamically translating resource identifiers for request routing using popularity information |
| US8782236B1 (en) | 2009-06-16 | 2014-07-15 | Amazon Technologies, Inc. | Managing resources using resource expiration data |
| JP4951652B2 (ja) * | 2009-06-24 | 2012-06-13 | 株式会社日立製作所 | コンピュータシステムのリモートコピー方法及びコンピュータシステム |
| JP4871980B2 (ja) * | 2009-08-10 | 2012-02-08 | 株式会社日立製作所 | データ処理方法とデータ処理プログラムおよびデータ処理システム |
| WO2011026661A1 (en) | 2009-09-03 | 2011-03-10 | International Business Machines Corporation | Shared-bandwidth multiple target remote copy |
| US8397073B1 (en) | 2009-09-04 | 2013-03-12 | Amazon Technologies, Inc. | Managing secure content in a content delivery network |
| US8433771B1 (en) | 2009-10-02 | 2013-04-30 | Amazon Technologies, Inc. | Distribution network with forward resource propagation |
| US8219768B2 (en) * | 2010-01-05 | 2012-07-10 | Hitachi, Ltd. | System and method for establishing a copy pair relationship between source and destination volumes |
| US8862816B2 (en) | 2010-01-28 | 2014-10-14 | International Business Machines Corporation | Mirroring multiple writeable storage arrays |
| US9495338B1 (en) | 2010-01-28 | 2016-11-15 | Amazon Technologies, Inc. | Content distribution network |
| US20110231602A1 (en) * | 2010-03-19 | 2011-09-22 | Harold Woods | Non-disruptive disk ownership change in distributed storage systems |
| CN102326152B (zh) | 2010-04-07 | 2014-11-26 | 株式会社日立制作所 | 非同步远程复制***以及存储控制方法 |
| KR101635030B1 (ko) * | 2010-07-08 | 2016-07-01 | 엘지전자 주식회사 | 데이터 동기화 방법 및 이를 이용하는 이동 단말기 |
| US9712484B1 (en) | 2010-09-28 | 2017-07-18 | Amazon Technologies, Inc. | Managing request routing information utilizing client identifiers |
| US9003035B1 (en) | 2010-09-28 | 2015-04-07 | Amazon Technologies, Inc. | Point of presence management in request routing |
| US10097398B1 (en) | 2010-09-28 | 2018-10-09 | Amazon Technologies, Inc. | Point of presence management in request routing |
| US8468247B1 (en) | 2010-09-28 | 2013-06-18 | Amazon Technologies, Inc. | Point of presence management in request routing |
| US10958501B1 (en) | 2010-09-28 | 2021-03-23 | Amazon Technologies, Inc. | Request routing information based on client IP groupings |
| US8452874B2 (en) | 2010-11-22 | 2013-05-28 | Amazon Technologies, Inc. | Request routing processing |
| US10467042B1 (en) | 2011-04-27 | 2019-11-05 | Amazon Technologies, Inc. | Optimized deployment based upon customer locality |
| US8909996B2 (en) * | 2011-08-12 | 2014-12-09 | Oracle International Corporation | Utilizing multiple storage devices to reduce write latency for database logging |
| US10623408B1 (en) | 2012-04-02 | 2020-04-14 | Amazon Technologies, Inc. | Context sensitive object management |
| US9154551B1 (en) | 2012-06-11 | 2015-10-06 | Amazon Technologies, Inc. | Processing DNS queries to identify pre-processing information |
| US9323577B2 (en) | 2012-09-20 | 2016-04-26 | Amazon Technologies, Inc. | Automated profiling of resource usage |
| US10205698B1 (en) | 2012-12-19 | 2019-02-12 | Amazon Technologies, Inc. | Source-dependent address resolution |
| US9811432B2 (en) | 2013-03-04 | 2017-11-07 | Netapp, Inc. | Systems and methods for resynchronizing mirroring partners in a storage system |
| US9294391B1 (en) | 2013-06-04 | 2016-03-22 | Amazon Technologies, Inc. | Managing network computing components utilizing request routing |
| US9660930B2 (en) | 2014-03-17 | 2017-05-23 | Splunk Inc. | Dynamic data server nodes |
| US9836358B2 (en) * | 2014-03-17 | 2017-12-05 | Splunk Inc. | Ephemeral remote data store for dual-queue systems |
| US9753818B2 (en) | 2014-09-19 | 2017-09-05 | Splunk Inc. | Data forwarding using multiple data pipelines |
| US9838346B2 (en) | 2014-03-17 | 2017-12-05 | Splunk Inc. | Alerting on dual-queue systems |
| US9838467B2 (en) | 2014-03-17 | 2017-12-05 | Splunk Inc. | Dynamically instantiating dual-queue systems |
| US10339010B1 (en) * | 2014-04-05 | 2019-07-02 | Bruce Talley | Systems and methods for synchronization of backup copies |
| US10033627B1 (en) | 2014-12-18 | 2018-07-24 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
| US10091096B1 (en) | 2014-12-18 | 2018-10-02 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
| US10097448B1 (en) | 2014-12-18 | 2018-10-09 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
| US20180107535A1 (en) * | 2014-12-31 | 2018-04-19 | International Business Machines Corporation | Vault redundancy reduction within a dispersed storage network |
| US20180101434A1 (en) * | 2014-12-31 | 2018-04-12 | International Business Machines Corporation | Listing types in a distributed storage system |
| US10656866B2 (en) * | 2014-12-31 | 2020-05-19 | Pure Storage, Inc. | Unidirectional vault synchronization to support tiering |
| US20180107728A1 (en) * | 2014-12-31 | 2018-04-19 | International Business Machines Corporation | Using tombstone objects to synchronize deletes |
| US10225326B1 (en) | 2015-03-23 | 2019-03-05 | Amazon Technologies, Inc. | Point of presence based data uploading |
| US9819567B1 (en) | 2015-03-30 | 2017-11-14 | Amazon Technologies, Inc. | Traffic surge management for points of presence |
| US9832141B1 (en) | 2015-05-13 | 2017-11-28 | Amazon Technologies, Inc. | Routing based request correlation |
| US10097566B1 (en) | 2015-07-31 | 2018-10-09 | Amazon Technologies, Inc. | Identifying targets of network attacks |
| US9774619B1 (en) | 2015-09-24 | 2017-09-26 | Amazon Technologies, Inc. | Mitigating network attacks |
| US10270878B1 (en) | 2015-11-10 | 2019-04-23 | Amazon Technologies, Inc. | Routing for origin-facing points of presence |
| US10257307B1 (en) | 2015-12-11 | 2019-04-09 | Amazon Technologies, Inc. | Reserved cache space in content delivery networks |
| US10049051B1 (en) | 2015-12-11 | 2018-08-14 | Amazon Technologies, Inc. | Reserved cache space in content delivery networks |
| US10348639B2 (en) | 2015-12-18 | 2019-07-09 | Amazon Technologies, Inc. | Use of virtual endpoints to improve data transmission rates |
| US10055807B2 (en) | 2016-03-02 | 2018-08-21 | Samsung Electronics Co., Ltd. | Hardware architecture for acceleration of computer vision and imaging processing |
| US10075551B1 (en) | 2016-06-06 | 2018-09-11 | Amazon Technologies, Inc. | Request management for hierarchical cache |
| US10110694B1 (en) | 2016-06-29 | 2018-10-23 | Amazon Technologies, Inc. | Adaptive transfer rate for retrieving content from a server |
| US9992086B1 (en) | 2016-08-23 | 2018-06-05 | Amazon Technologies, Inc. | External health checking of virtual private cloud network environments |
| US10033691B1 (en) | 2016-08-24 | 2018-07-24 | Amazon Technologies, Inc. | Adaptive resolution of domain name requests in virtual private cloud network environments |
| US10515671B2 (en) | 2016-09-22 | 2019-12-24 | Advanced Micro Devices, Inc. | Method and apparatus for reducing memory access latency |
| US10469513B2 (en) | 2016-10-05 | 2019-11-05 | Amazon Technologies, Inc. | Encrypted network addresses |
| US10372499B1 (en) | 2016-12-27 | 2019-08-06 | Amazon Technologies, Inc. | Efficient region selection system for executing request-driven code |
| US10831549B1 (en) | 2016-12-27 | 2020-11-10 | Amazon Technologies, Inc. | Multi-region request-driven code execution system |
| US10938884B1 (en) | 2017-01-30 | 2021-03-02 | Amazon Technologies, Inc. | Origin server cloaking using virtual private cloud network environments |
| US10394468B2 (en) * | 2017-02-23 | 2019-08-27 | International Business Machines Corporation | Handling data slice revisions in a dispersed storage network |
| US11410754B2 (en) * | 2017-03-31 | 2022-08-09 | Konica Minolta Healthcare Americas, Inc. | Cloud-to-local, local-to-cloud switching and synchronization of medical images and data |
| US10503613B1 (en) | 2017-04-21 | 2019-12-10 | Amazon Technologies, Inc. | Efficient serving of resources during server unavailability |
| US11075987B1 (en) | 2017-06-12 | 2021-07-27 | Amazon Technologies, Inc. | Load estimating content delivery network |
| US10447648B2 (en) | 2017-06-19 | 2019-10-15 | Amazon Technologies, Inc. | Assignment of a POP to a DNS resolver based on volume of communications over a link between client devices and the POP |
| US10742593B1 (en) | 2017-09-25 | 2020-08-11 | Amazon Technologies, Inc. | Hybrid content request routing system |
| US10635602B2 (en) | 2017-11-14 | 2020-04-28 | International Business Machines Corporation | Address translation prior to receiving a storage reference using the address to be translated |
| US10698686B2 (en) | 2017-11-14 | 2020-06-30 | International Business Machines Corporation | Configurable architectural placement control |
| US10496437B2 (en) | 2017-11-14 | 2019-12-03 | International Business Machines Corporation | Context switch by changing memory pointers |
| US10558366B2 (en) | 2017-11-14 | 2020-02-11 | International Business Machines Corporation | Automatic pinning of units of memory |
| US10592164B2 (en) | 2017-11-14 | 2020-03-17 | International Business Machines Corporation | Portions of configuration state registers in-memory |
| US10761751B2 (en) | 2017-11-14 | 2020-09-01 | International Business Machines Corporation | Configuration state registers grouped based on functional affinity |
| US10664181B2 (en) | 2017-11-14 | 2020-05-26 | International Business Machines Corporation | Protecting in-memory configuration state registers |
| US10761983B2 (en) * | 2017-11-14 | 2020-09-01 | International Business Machines Corporation | Memory based configuration state registers |
| US10901738B2 (en) | 2017-11-14 | 2021-01-26 | International Business Machines Corporation | Bulk store and load operations of configuration state registers |
| US10642757B2 (en) | 2017-11-14 | 2020-05-05 | International Business Machines Corporation | Single call to perform pin and unpin operations |
| US10592578B1 (en) | 2018-03-07 | 2020-03-17 | Amazon Technologies, Inc. | Predictive content push-enabled content delivery network |
| US11119850B2 (en) | 2018-06-29 | 2021-09-14 | International Business Machines Corporation | Determining when to perform error checking of a storage unit by using a machine learning module |
| US11099743B2 (en) | 2018-06-29 | 2021-08-24 | International Business Machines Corporation | Determining when to replace a storage device using a machine learning module |
| US11119662B2 (en) | 2018-06-29 | 2021-09-14 | International Business Machines Corporation | Determining when to perform a data integrity check of copies of a data set using a machine learning module |
| US10862852B1 (en) | 2018-11-16 | 2020-12-08 | Amazon Technologies, Inc. | Resolution of domain name requests in heterogeneous network environments |
| US11025747B1 (en) | 2018-12-12 | 2021-06-01 | Amazon Technologies, Inc. | Content request pattern-based routing system |
| US11593026B2 (en) | 2020-03-06 | 2023-02-28 | International Business Machines Corporation | Zone storage optimization using predictive protocol patterns |
| CN112130869B (zh) * | 2020-09-11 | 2022-11-29 | 苏州浪潮智能科技有限公司 | 一种ai平台镜像处理的方法和装置 |
| CN115080311B (zh) * | 2022-07-01 | 2023-01-24 | 深圳美克拉网络技术有限公司 | 一种大数据的信息化远程控制方法及装置 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5544347A (en) | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
| US5432922A (en) | 1993-08-23 | 1995-07-11 | International Business Machines Corporation | Digital storage system and method having alternating deferred updating of mirrored storage disks |
| US6304980B1 (en) | 1996-03-13 | 2001-10-16 | International Business Machines Corporation | Peer-to-peer backup system with failure-triggered device switching honoring reservation of primary device |
| US5870537A (en) | 1996-03-13 | 1999-02-09 | International Business Machines Corporation | Concurrent switch to shadowed device for storage controller and device errors |
| US5852715A (en) | 1996-03-19 | 1998-12-22 | Emc Corporation | System for currently updating database by one host and reading the database by different host for the purpose of implementing decision support functions |
| US5889935A (en) | 1996-05-28 | 1999-03-30 | Emc Corporation | Disaster control features for remote data mirroring |
| US6052797A (en) | 1996-05-28 | 2000-04-18 | Emc Corporation | Remotely mirrored data storage system with a count indicative of data consistency |
| US5673382A (en) | 1996-05-30 | 1997-09-30 | International Business Machines Corporation | Automated management of off-site storage volumes for disaster recovery |
| US6092066A (en) | 1996-05-31 | 2000-07-18 | Emc Corporation | Method and apparatus for independent operation of a remote data facility |
| JP2001514778A (ja) * | 1997-03-13 | 2001-09-11 | マーク・エム・ホイットニー | メッセージ・キューイング・ファシリティを含むネットワーク・トランザクションをメインフレームからインテリジェントな入出力装置にオフロードするシステム及び方法 |
| US6073209A (en) | 1997-03-31 | 2000-06-06 | Ark Research Corporation | Data storage controller providing multiple hosts with access to multiple storage subsystems |
| US6088740A (en) * | 1997-08-05 | 2000-07-11 | Adaptec, Inc. | Command queuing system for a hardware accelerated command interpreter engine |
| US6199074B1 (en) | 1997-10-09 | 2001-03-06 | International Business Machines Corporation | Database backup system ensuring consistency between primary and mirrored backup database copies despite backup interruption |
| US6304881B1 (en) | 1998-03-03 | 2001-10-16 | Pumatech, Inc. | Remote data access and synchronization |
| US6157991A (en) | 1998-04-01 | 2000-12-05 | Emc Corporation | Method and apparatus for asynchronously updating a mirror of a source device |
| US6189079B1 (en) | 1998-05-22 | 2001-02-13 | International Business Machines Corporation | Data copy between peer-to-peer controllers |
| JP2000020366A (ja) | 1998-07-06 | 2000-01-21 | Hitachi Ltd | レプリケーションシステム |
| US6260124B1 (en) | 1998-08-13 | 2001-07-10 | International Business Machines Corporation | System and method for dynamically resynchronizing backup data |
| US6308284B1 (en) | 1998-08-28 | 2001-10-23 | Emc Corporation | Method and apparatus for maintaining data coherency |
| JP3578385B2 (ja) | 1998-10-22 | 2004-10-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | コンピュータ、及びレプリカ同一性保持方法 |
| US6529944B1 (en) * | 1999-01-06 | 2003-03-04 | Emc Corporation | Host system for remote control of mass storage volumes using cascading commands |
| US6209002B1 (en) | 1999-02-17 | 2001-03-27 | Emc Corporation | Method and apparatus for cascading data through redundant data storage units |
| US6247099B1 (en) * | 1999-06-03 | 2001-06-12 | International Business Machines Corporation | System and method for maintaining cache coherency and data synchronization in a computer system having multiple active controllers |
| US6671705B1 (en) | 1999-08-17 | 2003-12-30 | Emc Corporation | Remote mirroring system, device, and method |
| US6877044B2 (en) * | 2000-02-10 | 2005-04-05 | Vicom Systems, Inc. | Distributed storage management platform architecture |
| US7065538B2 (en) * | 2000-02-11 | 2006-06-20 | Quest Software, Inc. | System and method for reconciling transactions between a replication system and a recovered database |
| US6643795B1 (en) | 2000-03-30 | 2003-11-04 | Hewlett-Packard Development Company, L.P. | Controller-based bi-directional remote copy system with storage site failover capability |
| US6480970B1 (en) * | 2000-05-17 | 2002-11-12 | Lsi Logic Corporation | Method of verifying data consistency between local and remote mirrored data storage systems |
| US6665780B1 (en) | 2000-10-06 | 2003-12-16 | Radiant Data Corporation | N-way data mirroring systems and methods for using the same |
| US6691245B1 (en) | 2000-10-10 | 2004-02-10 | Lsi Logic Corporation | Data storage with host-initiated synchronization and fail-over of remote mirror |
| US6728736B2 (en) | 2001-03-14 | 2004-04-27 | Storage Technology Corporation | System and method for synchronizing a data copy using an accumulation remote copy trio |
| US7139885B2 (en) | 2001-12-27 | 2006-11-21 | Hitachi, Ltd. | Method and apparatus for managing storage based replication |
-
2002
- 2002-01-03 US US10/042,376 patent/US6745303B2/en not_active Expired - Lifetime
- 2002-12-20 JP JP2002369171A patent/JP4325836B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-26 US US10/832,839 patent/US7234033B2/en not_active Expired - Lifetime
-
2007
- 2007-06-05 US US11/810,463 patent/US7698521B2/en not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005250921A (ja) * | 2004-03-05 | 2005-09-15 | Hitachi Ltd | バックアップシステムおよび方法 |
| JP4512386B2 (ja) * | 2004-03-05 | 2010-07-28 | 株式会社日立製作所 | バックアップシステムおよび方法 |
| KR100639142B1 (ko) | 2005-04-28 | 2006-10-30 | 후지쯔 가부시끼가이샤 | 리모트 카피 처리 방법, 프로그램을 기록한 컴퓨터로판독가능한 기록 매체 및 장치 |
| JP2009531770A (ja) * | 2006-03-30 | 2009-09-03 | エヌエイチエヌ コーポレーション | サーバーミラーリング方法及びそのシステム |
| JP2010510564A (ja) * | 2006-11-16 | 2010-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ミラー・ボリューム内の不一致を検出するための装置、システム、および方法（メタデータを使用して連続リモート・コピー内の不一致を検出するための装置、システム、および方法） |
| JP2012512468A (ja) * | 2008-12-19 | 2012-05-31 | エーティーアイ・テクノロジーズ・ユーエルシー | 複製された書き込み要求を伴うコヒーレントメモリコピーのための方法及び装置 |
| JP2015122113A (ja) * | 2008-12-19 | 2015-07-02 | エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ | 複製された書き込み要求を伴うコヒーレントメモリコピーのための方法及び装置 |
| JP2012532397A (ja) * | 2009-07-02 | 2012-12-13 | サンドフォース インク． | ストレージデバイスに関連付けられた複数の書き込みコマンドの順序付け |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040205309A1 (en) | 2004-10-14 |
| US6745303B2 (en) | 2004-06-01 |
| US20070239934A1 (en) | 2007-10-11 |
| US20030126387A1 (en) | 2003-07-03 |
| US7234033B2 (en) | 2007-06-19 |
| JP4325836B2 (ja) | 2009-09-02 |
| US7698521B2 (en) | 2010-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003263280A (ja) | 複数リモートストレージのデータ同期方式 | |
| JP2894676B2 (ja) | 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法 | |
| JP4301849B2 (ja) | 情報処理方法及びその実施システム並びにその処理プログラム並びにディザスタリカバリ方法およびシステム並びにその処理を実施する記憶装置およびその制御処理方法 | |
| US7225307B2 (en) | Apparatus, system, and method for synchronizing an asynchronous mirror volume using a synchronous mirror volume | |
| US7330861B2 (en) | Remote copying system and method of controlling remote copying | |
| JP4108074B2 (ja) | 多重リモートストレージでのデータ同期 | |
| JP2576847B2 (ja) | 記憶制御装置及び関連する方法 | |
| JP4437870B2 (ja) | 分散型トランザクション処理システムと方法 | |
| US7565572B2 (en) | Method for rolling back from snapshot with log | |
| US7757114B2 (en) | Data synchronization of multiple remote storage after remote copy suspension | |
| US8285824B2 (en) | Storage system and data replication method that refuses one or more requests for changing the first logical configuration information until the first storage apparatus and second storage apparatus are synchronized | |
| CN113396407A (zh) | 用于利用区块链技术扩充数据库应用的***和方法 | |
| US7254685B1 (en) | Method for maintaining high performance while preserving relative write I/O ordering for a semi-synchronous remote replication solution | |
| US20050071393A1 (en) | Data storage subsystem | |
| JPH076099A (ja) | リモート・データの２重化のためのシステム及び方法 | |
| JP4309354B2 (ja) | ストレージネットワークにおける書き込みオペレーション制御 | |
| JP2003233467A (ja) | ストレージベースリモートコピーでのパス選択方式 | |
| JP2001282628A (ja) | 記憶サブシステムのデータ二重化方法及びデータ二重化システム | |
| JP2007317186A (ja) | バックアップデータおよびジャーナルを管理するための方法および装置 | |
| JP2005276162A (ja) | 分散リモートコピーシステム | |
| JP2003248605A (ja) | ストレージシステム、主記憶システム、副記憶システム、及びそのデータ複写方法 | |
| JP2002149499A (ja) | データの完全性を備えるリモートコピーシステム | |
| JP4066617B2 (ja) | データの完全性を伴いデータネットワークに接続される記憶装置システム | |
| WO2017101731A1 (zh) | 数据库的服务提供方法和*** | |
| US8250240B2 (en) | Message conversion method and message conversion system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061023 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080821 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090604 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |