JP2003263280A - 複数リモートストレージのデータ同期方式 - Google Patents
複数リモートストレージのデータ同期方式Info
- Publication number
- JP2003263280A JP2003263280A JP2002369171A JP2002369171A JP2003263280A JP 2003263280 A JP2003263280 A JP 2003263280A JP 2002369171 A JP2002369171 A JP 2002369171A JP 2002369171 A JP2002369171 A JP 2002369171A JP 2003263280 A JP2003263280 A JP 2003263280A
- Authority
- JP
- Japan
- Prior art keywords
- data
- remote
- storage system
- remote storage
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2082—Data synchronisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2058—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using more than 2 mirrored copies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2064—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring while ensuring consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
- G06F11/2074—Asynchronous techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2069—Management of state, configuration or failover
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
のリモートデータストレージシステムが同じデータイメ
ージを保持できるようにする。 【解決手段】一つのローカルストレージシステムと、こ
のローカルストレージシステムに保持されているデータ
のミラーを行うための複数のリモートストレージシステ
ムを有し、ローカルストレージシステムで書き込まれ、
変更され、削除その他で更新になったデータは、各リモ
ートシステムで維持されているミラーデータを更新する
ために、ローカルストレージシステムによって、リモー
トコピーコマンドを通して、周期的に各リモートストレ
ージシステムに送信される。ローカル又は、他のリモー
トストレージシステムの一システムが障害になると、他
の生存システムが、各システムが維持しているデータに
関する情報交換をして、差異が存在すると、更にデータ
交換を実施して、各生存システムが保持するデータを同
一にする。
Description
ルストレージシステムと、このローカルストレージシス
テムが保持するデータの少なくとも一部をミラーする複
数のリモートストレージシステムとから構成されるデー
タストレージ処理システムに関係する。更に具体的に
は、本発明は、これらのシステム中の一システムが障害
になった場合に、生存するストレージシステムのデータ
を同期させるための、方法及びこの方法を実装した装置
に関連する。
年のデータ処理の利用により大量のデータが保存されて
おり、この多くのものは、実質上金銭に換算できないほ
どの重要性を持っている。例えばデータが失われると、
企業は倒産する危険がある。偏にこのために、、ローカ
ルデータは一つ以上のコピーでバックアップされてお
り、元データが万一失われても利用できるように保持さ
れている。データが重要であるほど、バックアップ方法
は精密化されなければならない。重要データを保護する
一つの方法は、例えば、ローカルストレージシステムか
ら地理的に離れた一つ以上のサイトで、そのデータのバ
ックアップコピーを保存することである。各リモートス
トレージシステムがローカルストレージシステムのデー
タのミラーイメージを保持し、ローカルストレージシス
テムのローカルデータイメージに変更(書き込み、削除
等による)が生じた場合には、該変更データイメージを
各リモートストレージシステムに転送して、各リモート
ストレージシステムがローカルデータイメージのミラー
を維持できるようにする。ローカルストレージシステム
のデータをリモートストレージシステムがミラーする一
つの例が米国特許 No.5,933,653に開示されて
いる。リモートストレージシステムに送信される更新デ
ータはしばしばキューされ、リモートコピー動作のオー
バヘッドを最小にするために、グループとして送信され
る。又転送媒体には、インターネットまたは類似媒体が
よく使用される。このような理由で、ローカルデータを
ミラーしているデータイメージと言えども、各時点では
必ずしも同じではない。もし、ローカルデータのミラー
のために複数のリモートストレージが使用されている場
合には、各リモートストレージ間でデータイメージが一
致していないことがしばしば発生する。少なくとも、ロ
ーカルストレージシステムによるデータを更新し終わる
迄の時間は不一致になってしまう。このような異なった
データイメージが存在する事は、ローカルストレージシ
ステムが障害になり、リモートストレージシステムが取
り残された時には、問題になる。ローカルストレージシ
ステムが障害になった時点では、あるリモートストレー
ジは、完全なミラーとまではいかなくても、最新に最も
近いローカルストレージシステムのデータイメージを保
持しており、他のリモートストレージでは、ある種のデ
ータイメージは全く更新されていないという事態が発生
する。かくのごとく、ローカルストレージシステムが障
害になった場合に、全システムを再起動させるには、他
のリモートストレージシステムのデータを同期させて、
各システムが最新に最も近い同じデータイメージを保持
するようにすることが必要になる。幾つかのデータ同期
方式が存在する。もし、ローカル及びリモートストレー
ジシステムで可搬媒体(例えば、テープ、CD−R,D
VD等)が使用出来る場合は、そのような可搬媒体を用
いることが出来る。例えば、システム管理者は、ローカ
ルストレージシステムの最新に最も近いデータイメージ
を保持していると信じられるリモートストレージシステ
ムのデータをテープにコピーする。次いで、他のリモー
トストレージシステムで同期させるために使われる前に
データイメージが変更されてしまうのを防ぐために、こ
のテープを持ちまわって他のリモートストレージシステ
ムのデータを更新し終えるまで、データイメージを供給
するストレージシステムの入力/出力(I/O)動作は
停止される。リモートストレージシステムでは、管理者
が可搬媒体からリモートサイトのストレージにコピーす
る。コピーが終わった所で、システム管理者はこれまで
はリモートストレージシステムの一つであったものが新
たなローカルストレージシステムになるように全システ
ムを指定替えをして、I/O動作が開始できることにな
る。この方式は、関連するデータ量が少なく、それほど
大きくないシステムに有効である。より大きなシステム
ではデータ量が急速に増大し、全同期プロセスに必要な
コピー時間が過大になる。可搬媒体が使用できない場合
は、別の方式として、いろいろなストレージシステム間
のデータ転送にネットワーク接続を使用する方式が考え
られる。この方式では、一つのストレージシステムが、
前の、(現在は障害になった)ローカルストレージシス
テムの代わりを務めるために選択される。この選択され
たストレージシステムは、先に述べたと同じ理由で、I
/O動作は停止され、この選択されたストレージシステ
ムと他のリモートストレージシステムとの間で、同期コ
ピー処理が開始される。同期処理が完了すると、選択さ
れたストレージシステムにおいてI/O動作が再スター
トされ、(以前の、障害になったローカルストレージシ
ステムの分だけ)ストレージシステムが一つ少なくはな
るがシステムは以前と同様に業務を続けることができ
る。この後者の方式の大きな問題は、同期処理に必要な
時間であり、特に大量データを保有する大システムでは
問題が大きい。例えば、100TBのデータを100M
B/sの転送速度のネットワークで同期化する場合の時
間は11.57日が必要となる。(100x1012/(100x106)=
106秒=277時間=11.57日)。この時間はただ一つのストレ
ージシステムを同期するのに必要な時間である。同期を
必要とするストレージシステムが増加すると、この問題
は深刻化する。更に、同期処理中は、関係するストレー
ジシステムのI/O動作は停止しなければならない。
トレージの障害時に於いても、複数のリモートデータス
トレージシステムが同じデータイメージを保持できるよ
うに、当該リモートデータストレージシステムを同期さ
せるための方法及び当方法を実装するための方式を提供
する。
のリモートストレージシステムに通信結合したローカル
データストレージシステムから成る、データ処理システ
ムに関係する。各ストレージシステムはローカルである
にせよ、リモートであるにせよ、データストレージにス
トレージメディアを保有する。ローカルデータストレー
ジシステムのストレージメディアにて維持されているデ
ータは、各リモートストレージシステム内のストレージ
メディアにミラーされる。ローカルストレージシステム
で発生したデータイメージの変更は、更新データと共に
データメッセージを送信する、リモートコピープロセス
を用いて定期的にリモートストレージシステムに送信さ
れ、当該システムのデータイメージの更新が行われる。
各ストレージシステムは、リモートストレージシステム
がどんな更新データを受信したかのヒストリを示す情
報、及びどんな更新データを(かかるリモートストレー
ジシステムの各ストレージメディアへ書き込むことで)
取り込んだかのヒストリを示す情報を保持している。一
つのストレージシステムが障害になった場合は、生存ス
トレージシステムが、このヒストリの更新データを持ち
回って、システム間のデータイメージの差異、即ち、各
生存ストレージシステムでの未受領の更新データの有無
を調べる。もし差異が存在する場合には、生存ストレー
ジシステムがデータイメージの同期を実施して、全ての
生存システムが実質的に同一データイメージを保有する
ようにする。本発明の一実施例では、同期は、ヒストリ
の更新データ情報が示す最新の更新データを有するリモ
ートストレージシステムが、他のリモートストレージシ
ステムに必要な更新データを送信して、全てのデータイ
メージを最新状態に持ち上げる“ロールフォワード”方
式で達成される。もう一つの“ロールバック”方式の同
期方式では、不揃いの更新データを切り捨てて、すべて
のデータイメージを共通の更新レベルに戻してしまう。
本発明の一つの効果は、ミラーされるストレージを有す
るデータ処理システムに於いては、ミラーするローカル
ストレージシステムに障害が起こった場合、ローカルス
トレージのミラーイメージは、互いに、対応付けが出来
ると言う事実にある。本発明のもう一つの実施例では、
各ストレージシステムはキュー構造を持ち、ロールバッ
クキューでは、ストレージメディアに未書き込みのメッ
セージを識別し、ライトヒストリキューでは、実際に書
き込みが完了したメッセージを識別する。もし、ローカ
ルストレージシステムで障害が発生したら、各リモート
ストレージシステムは、各システムのロールバックキュ
ーとライトヒストリキューの内容を示した情報を持ち回
って、一つのストレージシステムでは保有しているが他
のストレージシステムでは保有していないデータを見つ
け出し、この情報に基づいて不揃いデータを、保有して
いるシステムから保有していないシステムに送信する。
本発明の更に他の実施例では、アラインメント処理を有
し、ローカルストレージシステムがリモートストレージ
システムで受信されたメッセージの来歴を追いかけて、
当該情報により、各ロールバック及びライトヒストリキ
ュー内に存在するメッセージを特定する。後になって、
ロールバック、ロールフォワード、又はパージ処理が実
施できるように、各ロールバックキュー及びライトヒス
トリキューに登録されているメッセージのオーバラップ
を維持するために、ローカルストレージシステムはデー
タ転送を抑制し調整する。本発明の、これら及び他の効
果が、添付する図面と共にこの明細書の以降に記載する
詳細な説明により、本分野に造詣のある人には明確にな
る。
16で互いに通信結合される、ローカルサイト12と多
数のリモートサイト14を含む、データ処理システム1
0を説明する。ローカルサイト12は、ホストプロセッ
サ101とローカルストレージシステム104を含む。
ホストプロセッサ101とローカルストレージシステム
104は、ローカルサイト12でのデータイメージの更
新データをリモートサイト14と交信するために、デー
タ通信ネットワーク16を介してリモートサイト14に
結合している。これにより、リモートサイト14は、ロ
ーカルサイト12のデータのミラーとなるデータイメー
ジを維持することが出来る。各リモートサイト14は、
リモートストレージシステム105,106を有し、対
応するホストプロセッサ102,103は持つ場合と持
たない場合がある。リモートストレージシステム10
5,106は、ローカルストレージシステム104のデ
ータイメージのミラーとなるデータイメージを保持する
ために、ローカルストレージシステム104のストレー
ジメディアと極めて類似したストレージメディアを有す
る(後に更に議論する)。リモートサイトは、ローカルス
トレージシステム104が計画的又は予期しない停止に
なった場合には、必要データへのアクセスを可能にする
が、ローカルサイト12が災害でデータが失われる場合
のことを考えると、リモートサイト14は、サイト及び
維持するデータを保護するために、ローカルストレージ
システム104から地理的に離れた位置に設置すること
がより大きな効果をもたらす。リモートストレージシス
テム105,106は、ローカルストレージシステム1
04と実質的には、同一であり、ローカルストレージシ
ステムに対する議論は、等しくリモートストレージシス
テム105,106にも適用される。ローカルサイト1
2では、ホストプロセッサ101は、ネットワークイン
ターフェース(I/F)111とネットワーク結合11
1aを通して、ネットワーク16に結合し、入力/出力
バス(I/Oバス)108とI/Oインターフェース1
10を通して、ローカルストレージシステム104に結
合する。ローカルストレージシステム104は、デイス
クコントローラ141を有し、このデイスクコントロー
ラは、I/Oバス108を通してホストからのI/O要
求を受け取るための、I/Oインターフェース130を
持ち、ネットワークインターフェース(I/F)131
とネットワーク結合131aを通して、データ通信ネッ
トワーク16に接続される。更に、このローカルストレ
ージシステム104は、データバス132とI/Oイン
ターフェース137,138を通してこのデイスクコン
トローラ141に接続される、デイスクユニット140
で構成されるストレージメディア142を有する。この
デイスクコントローラ141自身、内部バス132を通
して、メモリ134に結合するCPU(Central
Processing Unit:中央処理装置)13
3を持ち、この内部バス132は、デイスクコントロー
ラの多様なインターフェース(例えば、I/O I/F
130,138,ネットワークI/F131等)にも接
続される。メモリ134はキャッシュメモリ135を含
み、このキャッシュメモリはホストプロセッサ101か
らのI/O要求に応じて、ストレージメディア142と
の間の読み書き時のキャッシュ用として利用される。こ
のメモリは、制御情報136のようなある種のデータ構
造や情報を保持するために使用される。CPU133
は、ストレージメディア142のデータイメージへの
(例えば、ホストプロセッサ101から要求された)変
更データを、通常のやり方で(自らのストレージメディ
アを持つ)リモートストレージシステム105,106
に送信処理する、リモートコピープロセスを優先的に実
行する。これにより、リモートストレージシステム10
5,106は、ローカルストレージシステム104のデ
ータをミラーできる。簡単に言うと、リモートコピープ
ロセスは以下の通り処理される:デイスクコントローラ
141は、ストレージメディア142上に保持されてい
るデータ(データイメージ)への追加、変更、削除、その
他の修正のいずれかを行う書き込みI/O要求を受け取
ると、当該ストレージメディア142へデータの書き込
みを行う。そのようなストレージメディアへの書き込み
または、少なくとも書き込みの一部でも、リモートサイ
ト14でミラーされたデータイメージが必要な場合に
は、データメッセージが生成されて、リモートコピーキ
ュー(図示されていない)に登録される。このリモートコ
ピーキューは、CPU133上で走行している、リモー
トコピープロセスにより周期的にチェックされる。も
し、このキュー内に一つ以上のデータメッセージが検出
されたら、このメッセージは抽出されて、各リモートス
トレージシステム105,106に送信され、データメ
ッセージのデータが書き込まれ、それによって、それら
のデータイメージを更新してローカルサイト12のデー
タイメージに一致させる。データメッセージに関する情
報は、ストレージシステム104,105,106に
て、ローカルストレージシステム104から送信され
た、又は送信途中のデータメッセージか、又は、リモー
トストレージシステムで受信されたデータメッセージ
か、を識別するヒストリ情報として保持される。各スト
レージシステムでは、ヒストリ情報を複数のキュー構造
により実装する。図2はこれらのキュー構造を示す。図
2に示す通り、ローカルストレージシステム104は、
ワーキングキュー110、ロールバックキュー111、
中間キュー112、及びライトヒストリキュー113の
各キューを含む。ワーキングキュー、ロールバックキュ
ー、中間キュー、及びライトヒストリキュー(110−
113)は、リモートストレージシステム105(キュ
ー120,121,122、及び123)及びリモート
ストレージシステム106(キュー130,131,1
32、及び133)にそれぞれミラーされる。各キュー
は、FIFO(First−In−First−Ou
t:先入れ先出し)構造で実装される。典型的な読み書
きI/O要求は、コマンドエントリとこれに伴うか又は
後続するデータ(書き込み要求の場合)を含む。各コマ
ンドエントリには、データと,データが読み書きされる
ストレージメディア142のロケーション及び、実装に
従って必要とするその他の情報が指定される。もしホス
トプロッセサ101から、リモートストレージシステム
105,106でミラーされるデータイメージを変更す
るデータを書き込むためのI/O要求を受けたら、該コ
マンドエントリには順序番号がアサインされる。すると
コマンドエントリはコマンドエントリとアサインされた
順序番号により形成されたものになる。このコマンドエ
ントリは次に、ワーキングキュー110に登録される。
これは、データに先立って、リモートストレージシステ
ムに送信される、データとデータメッセージのためのヒ
ストリ情報を形成する。コマンドエントリがワーキング
キュー110にある間に、対応する書き込み要求は受信
処理されている。この処理は、書き込み要求に対応する
データ (ホスト101とストレージシステム104に適
用されている通信プロトコル次第で、要求と共に転送さ
れるか、又は要求の後に続いて転送されるかどちらかで
ある) の受信、キャッシュ135にデータを格納するた
めのキャッシュエリアのアサイン、及び受信時の、この
エリアへのデータの書き込み、を含む。キャッシュされ
たデータへのポインタは、対応するコマンドエントリに
関連付けられる。このI/O要求の送信者に対して、状
態メッセージが返送されて、このI/O要求のデータ状
態即ち受信できたか、又は受信時エラーが検出されたか
が報告される。図2は、デイスクコントローラ104で
受信され、順序番号“15”がアサインされた書き込み
I/O要求101aと、アサインされた順序番号と書き
込み要求のコマンドエントリで形成されたコマンドエン
トリを示す。コマンドエントリは既に述べられたように
更に処理する為に、ワーキングキュー110に登録され
る。当該I/O要求が処理され、エラーが検出されない
場合、このコマンドエントリは、ワーキングキュー11
0からロールバックキュー111に移される。ロールバ
ックキューは一時的な保持エリアで、後により詳しく説
明される、ローカルストレージシステム104とリモー
トストレージシステム105,106の間のロールバッ
ク同期のために使用される。リモートストレージシステ
ム105,106は、ロールバックキュー含めて、基本
的には、同じ目的のために、同じキュー構造を持ってい
る。ここでは、ロールバックキューに含まれているコマ
ンドエントリに対応するデータは、本発明では、同期プ
ロセスで使用され、ストレージシステムの一つが、障害
になった場合には、破棄されるか、生存ストレージシス
テム間で比較するために使用される、とだけ言っておけ
ば十分であろう。コマンドエントリは、ロールバックキ
ュー111から、ストレージメディア142への書き込
み待ちの間又は、書き込んでいる間エントリを保持する
中間キュー112に移される。当該ストレージメディア
への書き込みが終了すると、当該コマンドエントリは、
プライマリ(ローカル)ストレージシステム104のミ
ラーコピーを行うリモートストレージシステムに対して
データイメージの更新を行わせるために送信される、デ
ータメッセージを作成してリモートコピー要求を作成す
るために利用される。次いで、キャッシュポインタはコ
マンドエントリから削除され、エントリは中間キューか
らライトヒストリキュー113に移される。図2は、既
に示されたように、ホストプロセッサ101から受信し
た順序番号15をアサインされ、ワーキングキュー11
0に登録されているコマンドエントリを示す。現在ロー
ルバックキュー111に登録されている順序番号13,
14のコマンドエントリは、関連データが、ストレージ
メディア142に書き込まれるのを待っている。中間キ
ュー112は、順序番号10,11、及び12のコマン
ドエントリを保有している。順序番号10のコマンドエ
ントリは、次に書き込まれるか、書き込まれている最中
であることを示している。順序番号7,8,及び9のコ
マンドエントリは、関連データをストレージメディア1
42に書き込み済で、それ故にライトヒストリキュー1
13に登録されている。リモートストレージシステムは
基本的には、同じキュー構造を持ち、同様に操作され
る。例えば、リモートストレージシステム105は、当
該エントリの全データパッケージを受信している間、ワ
ーキングキュー120に登録されている順序番号10が
アサインされたコマンドエントリを持つ、データメッセ
ージを受信中であることを示している。この順序番号1
0はローカルストレージシステム104で与えられたも
のである。一度、データメッセージが、受信されると、
そのコマンドエントリは、ワーキングキュー120から
ロールバックキュー121に移される。このロールバッ
クキューには現在、順序番号6−9を持つデータメッセ
ージのコマンドエントリが登録されている。中間キュー
122には順序番号5のデータメッセージのコマンドエ
ントリが存在し、ストレージシステム105のストレー
ジメディア142'への書き込み中であることを示して
いる。書き込みが終了すると、当該エントリは、順序番
号1−4のデータメッセージのコマンドエントリが既に
存在するライトヒストリキュー123に移動する。ライ
トヒストリキュー123の深さにより、最古のエント
リ、例えば順序番号1のエントリは順序番号5のコマン
ドエントリの加入により追い出されることになる。他の
リモートストレージ106も同じデータキュー構造(1
30,131、・・・133)を持つ。図2では、リモ
ートストレージ106が、現在順序番号12のデータメ
ッセージを受信しつつあり、ワーキングキュー130に
順序番号12のコマンドエントリが入っている。ロール
バックキュー131には、順序番号8−11を持つ制御
情報が登録されている。以下同様である。このようなヒ
ストリ情報をストレージシステムによりトレースするキ
ューは通常、メモリに保持されているが、ストレージメ
ディアに保持してもかまわないことは、本分野に造詣の
ある人には明らかである。ローカルストレージシステム
104は、更に、メモリ134(図1)中にリモートコピ
ー状態テーブル114を持ち、どのデータメッセージが
送信され、どのリモートストレージシステムによりどの
データメッセージが受信され、完了報告が出されたかを
表示している。例えば、最も最近に、リモートストレー
ジシステム105(表114で“S1”と表示)に受け
取られたのは、順序番号9であり、リモートストレージ
システム106(“S2”と表示)に受け取られたデー
タメッセージは、順序番号11であることが分かる。リ
モートコピー状態テーブル114は更に、リモートスト
レージシステムのロールバックキュー、ライトヒストリ
キューに関する情報も保持している。即ち、テーブル1
14が示すようにリモートストレージシステム105,
106のロールバックキューの長さはデータメッセージ
4エントリ分で、10MBの容量まで収容可能であるこ
とが分かる。各リモートストレージシステム105,1
06のライトヒストリキューは5データメッセージの5
エントリ分である。このライトヒストリキューのバイト
単位の容量をこのテーブル114に保持させても良い。
図3は各種のネットワークアーキテクチュアを持つデー
タ処理システムで発生し得る、種々の傷害モードのシナ
リオを示す。最初の図3Aでは、ローカルストレージシ
ステム304Aを持つデータ処理システムは、リモート
ストレージシステム305A,306Aに並列に通信接
続されている。図3Aに示すように、リモートストレー
ジシステム305Aが障害になった場合は、データ同期
プロセスの必要性はない。ローカルストレージシステム
304Aは依然稼動中であり、生存リモートストレージ
システム306Aが通常のリモートコピー処理によりデ
ータ更新を継続できるからである。図3Bはローカルス
トレージシステムが障害になった場合のシナリオを図で
示す。この場合も、ローカルストレージシステム304
Bは、リモートストレージシステム305B,306B
に並列に通信接続されている。もし、ローカルストレー
ジシステム304Bの障害が検出されると、図3Bの下
半分に記されているように、リモートストレージシステ
ム305B’,306B’は、最新の更新データを保有
しているリモートストレージシステムのデータイメージ
に対して、自己の持つデータイメージを同期させる。リ
モートストレージシステム305Bが最新更新情報を保
有しているとすると、本発明での同期プロセスは、リモ
ートストレージシステム中のデータイメージの一つを、
他システム中のそれと同期することにより行われる。す
ぐ分かるように同期には二つの方式が存在する。ロール
フォワード方式では、最新の更新データがこれを必要と
しているリモートストレージシステムに送信され、ロー
ルバック方式では、最新の更新データは破棄される。い
ずれの方式でも、生存リモートストレージシステムが保
持しているデータイメージは同一化される。図3C,3
D,3Eでは、ローカル及びリモートストレージシステ
ム304C,305C,306Cが各々、デイジーチエ
ンネットワーク結合で接続されている。図3Cでは、ロ
ーカルストレージシステム304Cが障害になり、リモ
ートストレージシステム305Cがリモートストレージ
システム306Cを同期させる場合を示している。一方
に於いて、図3Dの如く、デイジーチエンの遠端に存在
するリモートストレージシステム306Cが障害になっ
た場合は、データ同期の必要性はない。図3Eの如く、
中間のリモートストレージシステムが障害になった場合
は、残ったリモートストレージシステムは、ネットワー
ク結合が正常である限り、ローカルストレージシステム
により同期化される。図4A−4Eは、ローカルストレ
ージシステムが障害になった場合に、各ストレージシス
テムで保有している受信されたデータメッセージに関す
るヒストリ情報を用いて、本発明によるリモートストレ
ージシステムのデータイメージの同期方法を一般的に説
明する。図4Aは、ローカルストレージシステム404
が、リモートコピーキュー404aに3つのデータメッ
セージ(1,2,3)を持っている正常時の状態を示
す。そのデータメッセージ中の二つ(1,2)がリモー
トストレージシステム405に送信され受信されている
が、3番目のデータメッセージ3は、当該リモートスト
レージシステム405に送信中である。しかしながら、
リモートストレージシステム406には、データメッセ
ージ1,2,3が一つも受け取られいていなく、何れも
送信準備中か、送信中である。この状態で、即ち、デー
タメッセージ3はリモートストレージシステム405で
受信が完了しておらず、データメッセージ1,2,3の
いずれもリモートストレージシステム406で受信が完
了していない状態で、ローカルストレージシステム40
4が、障害になった場合の結果を図4Bに示す。この状
態では、リモートストレージシステム405,406間
でデータメッセージは、リモートストレージシステム4
05のロールバックキュー421に蓄えられている、最
新のデータメッセージ1,2だけが相違している。この
状態での、本発明によれば、二つのストレージシステム
405,406により保持されているデータイメージを
同期させる方式の一つの技術は、リモートストレージシ
ステム406にも、データメッセージ1,2を受け取ら
せ、リモートストレージシステム406が保有している
データイメージを更新させることを必要とする。かくし
て、図4Cに示すように、データイメージの相違はリモ
ートストレージシステム405に保持される二つのデー
タメッセージ1,2にあることを検出した上で、これら
のデータメッセージをロールフォワード同期のためにリ
モートストレージシステム406に転送する。反対に、
ロールバック方式の同期では、リモートストレージシス
テム405に、保有しているデータメッセージ1,2を
破棄させる。このロールバック同期方式を図4Eに示
し、以下に論ずる。図4Dは、システム中任意の場所に
存在しえるソフトウエアマネージャ407により実行さ
れるロールフォワード同期を示す。このようにこのマネ
ージャはシステムの他の部分とは分離していながら、ロ
ーカルストレージシステムや、リモートストレージシス
テム405,406にアクセス可能であってもよいし、
全体のストレージシステムの一部を形成してもよい。実
装方法にかかわらず、マネージャ407は、プライマリ
ストレージシステム404の障害検出を契機に始まる、
リモートストレージシステム405,406間の交信に
立ち入る。この交信の結果により、マネージャ407
は、プライマリストレージシステム404が倒れた時点
の、更新情報の受信の差異をリモートストレージシステ
ム間について調査する。図4Dの例では、マネージャ4
07は、リモートストレージシステム405が、リモー
トストレージシステム406が持っていないデータメッ
セージ1,2を受信しており、データメッセージ1,2
はストレージシステム405のロールバックキューの中
にあると知らされる。そこで、このマネージャ407は
リモートストレージシステム405にアクセスし、メッ
セージ1,2に関するデータをリモートストレージシス
テム406に転送し、リモートストレージシステム40
6のデータイメージをリモートストレージシステム40
5のデータイメージと同期させる。代わりに、マネージ
ャ407は、リモートストレージシステム405のロー
ルバックキューのデータメッセージを破棄させることも
出来る。この場合、当該データメッセージは、中間キュ
ーには入っていないため、メッセージに対応するデータ
は書き込まれず、データイメージは変更されない。メデ
ィアこの後者の同期方式はロールバック同期と呼ばれ、
リモートストレージシステム405のデータイメージを
リモートストレージシステム406のデータイメージに
同期させるものである。図4Eは、ロールバック同期処
理の他のやり方を説明する。前と同様に、プライマリス
トレージシステム404が、リモートストレージシステ
ムのデータイメージを更新するために転送すべき、デー
タメッセージ1,2,3を保有したまま、障害になった
とする。このとき、リモートストレージシステム405
のみがデータが更新されて、データメッセージ1,2の
み保有しており、リモートストレージシステム406は
全く更新されず、データメッセージ1,2,3の何れも
保有していないとする。従って、プライマリ(ローカ
ル)ストレージシステム404がこの状態で障害になっ
た場合は、両リモートストレージシステム405,40
6のデータイメージは、データメッセージ1,2だけが
相違している。本発明のロールバック処理では、それぞ
れの保有するデータイメージを同期させるために、デー
タメッセージ1,2のデータをリモートストレージシス
テム405からリモートストレージシステム406にフ
ォワード転送するのではなく、リモートストレージシス
テム405が保有しているデータメッセージを破棄させ
る。図5は、ローカルストレージシステム104(図1)
が、ホスト101(図1)から受信した更新データを各リ
モートストレージシステムに転送する、リモートコピー
処理のために行う主要ステップを説明する。既に説明し
たように、ローカルストレージシステム104の保有する
データイメージを更新させるホストプロセッサ101か
らの書き込みI/O要求は、リモートストレージシステ
ムの保有するデータイメージのミラーに就いても同様な
更新を必要とする。この書き込みI/O要求の発生によ
り、アサインされた順序番号及び、この要求データへの
ポインタを含む、対応するコマンドエントリが形成され
る。このコマンドエントリは、全てのデータが受信さ
れ、完了報告がホストプロセッサ101に返されるま
で、ワーキングキュー110に収容されている。その
後、このコマンドエントリはロールバックキュー111
に移される。その後、このロールバックキュー111が
満杯になるか、フラッシュコマンド(後述する)が受信さ
れると、このコマンドエントリは中間キュー112に移
される。中間キュー112に存在している間に、この要
求に対応するデータがストレージメディア142に書き
込まれる。CPU133上で走行している、リモートコ
ピープロセスは、周期的にリモートコピーキューの内容
をチェックして、リモートストレージシステム105,
106の各々に更新データをコピーするために受信した
I/O要求に対してデータメッセージの形成が必要なコ
マンドエントリを見つける。図5のステップ501に
て、ローカルストレージシステム104は各リモートス
トレージシステムがデータメッセージの受付が出来るか
否かをチェックする。このチェックは、RC状態テーブ
ル114を参照して行う。このテーブルでは、各リモー
トストレージシステムが、どんなメッセージを受信して
完了報告したか、完了報告してないか、及びリモートス
トレージシステムの各キューの受信可能サイズをローカ
ルストレージシステムに伝える。このテーブルによりロ
ーカルストレージシステムは、特定のストレージシステ
ムが別のデータメッセージや関連データの受信するスペ
ースがあるか否かを判断する。もし否であったら、ステ
ップ501は次の処理に移る。リモートストレージシス
テム自身が、これ以上データメッセージを受け取れない
ことの表示、例えば、SCSI等で定義された“BUS
Y(0x08):使用中”や“キュー満杯(0x2
8)”等の状態信号を返答することも出来る。もし、対
象リモートストレージシステムがデータメッセージを受
信するのに十分なスペースを持っていることが分かれ
ば、ローカルストレージシステムは、リモートストレー
ジシステム(例えばリモートストレージシステム10
5)にデータメッセージの形式でRC(リモートコピ
ー)コマンドを発行し、これに続いてステップ503で
関連するデータを送信する。ローカルストレージシステ
ム104は、その後、データメッセージを受信したか否
かの状態報告を待ち(ステップ504)、ローカルスト
レージシステムが報告を受信すると、ステップ505
で、全てのリモートストレージシステムがデータメッセ
ージの更新が済んだかのチェックを行う。未了のリモー
トストレージシステムが存在すれば、処理はステップ5
06aに移り、対象となるリモートストレージシステム
がデータイメージを受信したことを示すようにRC状態
テーブル114を更新して、次のリモートストレージシ
ステムがデータメッセージを受け取るために、ステップ
501に戻る。しかしながら、ステップ505にて全て
のリモートストレージシステムがデータメッセージを受
信したことが判明すれば、当該データメッセージ(コマ
ンドエントリ)は、ステップ506でRCキューから削
除され、ステップ507でRC状態テーブル114が更
新され、このデータメッセージのための処理は終了す
る。図6は、リモートストレージシステムがリモートコ
ピープロセスのデータメッセージを受信するステップを
一般的に示す。ステップ601でリモートストレージシ
ステムはデータメッセージを受信し、ステップ602で
当該データメッセージを受け取るための十分なキュー資
源がアサイン可能か、即ち受信のスペースがあるかを判
定する。更に、このステップ602の判定は、他のリモ
ートストレージシステムのキュー内容に比較して、自ら
のキュー(即ち、ロールバック、中間、ライトヒストリ
キュー)の状態の分布、即ちアラインメント(後述され
る)に基づいて実施される。もし、ステップ602で、
この時点では、当該データの受け取りは不可能と判定さ
れたら、ステップ602からステップ606に移り、こ
のリモートストレージシステムは、ローカルストレージ
システム104に対して、“使用中”の応答を返し、こ
の受信処理を終える。ローカルストレージシステムは、
この応答により後の再試行の必要性を確認する。もし、
ステップ602で、受付可能と判定されたら、ステップ
603でデータを受信し、ステップ604でリモートス
トレージシステムはデータ転送の状態を返す。続いて、
ステップ605でこのデータメッセージは、メッセージ
及びデータ受信用のワーキングキューから、ロールバッ
クキューに移される。図7は、ローカルストレージシス
テムで(又は、図3Eのデイジーチェイン接続での中間
サイトのリモートストレージシステムで)障害が検出さ
れた場合の同期プロセスの処理ステップを示す。ステッ
プ701で障害が検出される。障害検出は数々の方法で
なされる。例えば、ストレージシステムは、互いに、ハ
ートビート信号を他のストレージシステムに送信し、こ
れが来なければ当該システムは障害とみなす;或いはス
トレージシステムは自己診断可能で、自システムの障害
を他システムに同報通信することが出来る;或いはその
他の任意の慣用的障害検知技術を用いることが出来る。
もし、障害が検出されると、他の生存システム、例え
ば、図2のリモートストレージシステム105,106
は互いに交信し、誰が新しいリモートコピーマネージャ
になれるかを判定する。選択されたストレージシステム
が、残りのすべての生存システムのデータイメージを同
一状態に同期するためのリモートコピー処理をコントロ
ールする。あるいは、リモートコピーマネージャは、シ
ステム管理者により事前定義されている場合もある。い
ずれにせよ、選択されると、リモートコピーマネージャ
は、ローカルストレージシステムとなり、ステップ70
3で生存ストレージシステムで維持されている、各種キ
ューの構造と内容に関する情報を集める。この情報に
は、ロールバックキューとライトヒストリキューの範囲
(エントリ数)と、どれだけの数のエントリがデータメ
ッセージを有するかの情報が含まれる。例えば、図2に
ついて、ローカルストレージシステム104が障害にな
り(ステップ701)、リモートストレージシステム1
05がステップ702でリモートコピーマネージャとし
て選択されると、リモートストレージシステム106
は、自分のロールバックキュー131にはデータメッセ
ージ8,9,10,11が、ライトヒストリキュー13
3にはデータメッセージ3,4,5,6が保有されてい
ることを報告する。リモートストレージシステム106
の中間キューの内容は、障害が検出されるとリモートス
トレージシステムは優先的に中間キューを空にして、そ
れにより該当データがストレージメディアに書き込まれ
るようにするので、短時間のうちにライトヒストリキュ
ーに付け加えられる。ストレージシステムの一つに障害
が起きた後、生存ストレージシステムのリモートコピー
環境に関する情報が得られた場合、選択されたリモート
コピーマネージャは、ロールバックか、ロールフォワー
ドかの何れの同期方式を選択するかを決める。これは、
典型的には、リモートコピー環境の管理者又はユーザに
よって、障害の場合にストレージシステムを同期させる
最良の方式に関するフラグをセットしておく形で、事前
決定されている。もし、ステップ704で、ロールバッ
ク処理が選択されたら、ステップ705でリモートコピ
ーマネージャーはすべてのストレージシステムが共有す
る最も大きな順序番号を持つデータメッセージを決定す
る。図2の例では、順序番号9のデータメッセージがこ
れに該当する。続いて、ステップ706にて、選択され
たリモートコピーマネージャは、ロールバックコマンド
を他の全てのストレージシステムに対して発行し、受信
後順序番号9を超えるデータメッセージを破棄させる。
かくして、図2に戻って、リモートストレージシステム
106はこのロールバックコマンド受領により、順序番
号10,11のデータメッセージを破棄する。この処理
はステップ715で終了する。一方において、ステップ
704にて、ロールフォワードが選択された場合には、
ステップ707でロールフォワードの順序番号を決定す
る。この処理では、リモートコピー処理が、各種のロー
ルバックキューとライトヒストリキューの内容を比較し
て、最新のデータメッセージを保有するストレージシス
テム決定する。かくして図2に於いて、選択されたリモ
ートコピーマネージャが、リモートストレージシステム
105の場合は、リモートストレージシステム106が
順序番号10,11のメッセージを持っており、自分は
持っていないことを認識する。そこで、各システムのデ
ータイメージの同期を計るために、リモートストレージ
システム106の順序番号10,11のデータメッセー
ジを自システムに転送するリモートコピー処理を起動す
る。かくして、ステップ708にて、選択されたリモー
トコピーマネージャは、それが最新のストレージシステ
ムだと判定すると、ステップ709にて、最新データを
有するストレージシステムから必要データを取得する。
このことは、選択されたRCマネージャ自身にも起こり
得るし、他のストレージシステムの一つにも起こり得
る。いずれにせよ、選択されたRCマネージャが更新デ
ータを受領すると、ステップ710に移り、更新データ
を必要とする他のストレージシステムに対して更新デー
タ又はその一部を選択的に転送してすべてのリモートス
トレージシステムのデータイメージの同期を完了する。
この処理はステップ715で完結する。もし、逆に、ス
テップ708にて、同期処理は、最新データメッセージ
を保有するストレージシステムにより実施され、当該ス
トレージシステムは選択されたRCマネージャではない
場合(あるいは、他のストレージシステムが予め、同期
システムとして、事前指定されている場合)は、RCマ
ネージャは、どのストレージシステムがデータ更新を必
要としているかを含む更新情報を、最新更新データ保有
ストレージシステムに送信する。次にステップ712に
て、更新データはデータメッセージの形で、このデータ
イメージの同期を必要とするすべてのストレージシステ
ムに送信され、処理はステップ715で完了する。も
し、 (図4Eで説明され、既に議論されたように) ロー
ルバック処理が採用された場合には、リモートストレー
ジシステム105,106(図1)のRB(ロールバッ
ク)キューは、アライン(調整)されている必要がある。
アラインメント処理は、ローカルストレージシステム1
04で、CPU133上で走行しているリモートコピー
プロセスと(リモートストレージシステム105,10
6で維持されている各種のキューの状態に関する情報を
提供する)リモートコピー状態テーブル114を用い
て、実行される。例えば、あるリモートストレージシス
テムはローカルストレージシステムからのリモートコピ
ーデータメッセージを受信できず、他のリモートストレ
ージシステムは受信できるという事態が存在する。この
ような場合には同期目的のために、注意しなければなら
ないことは、同期が必要なときに、同期が必ず成立する
ためには、一つのリモートストレージシステムのキュー
の中にあるデータメッセージと他のリモートストレージ
システムのキューの中にあるデータメッセージとを比較
したときに、少なくとも一つのデータメッセージが共通
に保有(オーバラップ)されている必要があることであ
る。図8,9はすべてのキュー(特にRBキューと、ラ
イトヒストリキュー)に就いての、アライメント処理を
説明する。図8では、リモートストレージシステム80
5/806のRBキュー821/831は2エントリの
深さで、ライトヒストリキュー823/833はそれぞ
れ5エントリの深さの状態でのオーバラップを説明す
る。(ワーキングキュー及び中間キューは、不必要に話
を複雑化させるために図示されていない)。図8に於い
て、リモートストレージシステム805は、ライトヒス
トリキュー823にデータメッセージ6,7,8,9,
10が、RBキュー821にデータメッセージ11,1
2が登録されている。リモートストレージシステム80
5は、更にメッセージ13の受信途上であり、ローカル
ストレージシステム(図8に図示されていない)は、更に
データメッセージ14を送る準備をしている。リモート
ストレージシステムがデータメッセージ13を受信し受
け付けると、このメッセージ13は、RBキュー821
に入り込む。これにより、データメッセージ11が、ス
ペースを作るためにライトヒストリキューに移動して、
データメッセージエントリ6がライトヒストリキューか
ら排出されることになる。リモートストレージシステム
805は更に、順序番号14のデータメッセージを受け
取れる状態になる。同時にリモートストレージシステム
806は、ライトヒストリキュー833にデータメッセ
ージ1−5を持ち、RBキュー831にデータメッセー
ジ6,7を持っており、データメッセージ8,9を受信
中である。この状態で、更に、リモートストレージシス
テム805がメッセージ14受信し受け付けたとする
と、ライトヒストリキュー823から末尾にあるメッセ
ージ7が脱落することになる。この状態で、リモートス
トレージシステム806がデータメッセージ8,9を受
信し受け付ける前に、例えばローカルストレージシステ
ムが障害になったとすると、データメッセージ7に関す
る情報がリモートストレージシステム805から欠落し
ているため、ロールバック方式を用いて二つのリモート
ストレージシステムを同期させることができない結果に
なってしまう。このことより、ローカルストレージシス
テム(図8には図示されていない)は、データメッセージ
の受信状態及びリモートストレージシステム805,8
06のキューの保有状態に関する、リモートコピー状態
テーブル114(図2)からの情報により、リモートスト
レージシステム806が少なくともデータメッセージ8
を受信し受け付けられる迄は、データメッセージ14の
送信を抑制することによって両者のアライメントを維持
する必要がある。図9は、ローカルストレージシステム
104で採用され、定期的に発行されるフラッシュコマ
ンドを用いたアライメント処理を説明する。図9では、
ローカルストレージシステム104は、データメッセー
ジ6を指定して、フラッシュコマンドを発行する。これ
により、両リモートストレージシステム805,806
とも、データメッセージ6に後続するすべてのデータメ
ッセージ(7,8、・・・)の保有を確実にさせる。し
かしながら、リモートストレージシステム805は依然
として、データメッセージ14は受信不可能で“使用
中”状態を返答する。
便益が実現される。
のリモートストレージシステムを有するデータ処理シス
テムのブロックダイアグラムである。
レージシステムに送られた更新データのヒストリ情報を
保持するために、ローカル及び複数のリモートストレー
ジシステムの各々で実装されるキュー構造を説明するダ
イアグラムである。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
システム間の結合方式に対応して、発生し得る異なった
障害モードを、図で説明する。
ばローカルストレージシステム)が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム)が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム)が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム)が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
ばローカルストレージシステム)が障害になり、他の生
存ストレージシステムがデータイメージを同期させるた
めの、異なったシナリオを図で説明する。
になされたデータ変更をリモートストレージシステムに
データメッセージを送信することによってコピーする、
リモートコピー処理の主要ステップを説明する。
ータメッセージの受領に応じてリモートストレージシス
テムが行う主要ステップを説明する。
が検出された時に、リモートストレージシステムが行う
主要ステップを説明する。
情報キューのオーバラップを維持するために、ローカル
ストレージシステムで発行される、アラインメント処理
及びフラッシュ処理を図で説明する。
情報キューのオーバラップを維持するために、ローカル
ストレージシステムで発行される、アラインメント処理
及びフラッシュ処理を図で説明する。
02・103・・・リモートホスト、104・・・プライマリ
ストレージ、105・106・・・セカンダリストレー
ジ、110・130・137・138・・・I/Oインタ
フェース、111・131・・・ネットワークインタフェ
ース、132・・・内部バス、133・・・CPU、134・・
・メモリ、135・・・キャッシュメモリ、136・・・コン
トロール情報、140・・・ディスク、142・・・ボリュー
ム
Claims (9)
- 【請求項1】一つの処理システムであって、該システム
は、 データ記憶のためのストレージメディアを有し、該スト
レージメディアに対するデータの読み書きのためのI/
O(入力/出力)要求を受信する、ローカルストレージ
システムと、 リモートコピーコマンドに応答して、データを書き込む
ためのストレージメディアを有し、受信されたリモート
コピーコマンドに関する情報を有するキュー構造、及び
(2)それぞれのリモートストレージシステムのストレ
ージメディアにデータを書き込むために働きかけるリモ
ートコピーコマンドに関する情報を保持するキュー構造
を持つ、複数のリモートストレージシステムとを有し、
該ローカルストレージシステムは、受信したデータ書き
込みI/O要求の中から選択したI/O要求に対応し
て、該各リモートストレージシステムにリモートコピー
コマンドを送信して、該各リモートストレージシステム
のストレージメディアにデータを書き込ませることと、
該各リモートストレージシステムは、どのリモートコピ
ーコマンドが、、該各リモートストレージシステムのス
トレージメディアに書き込まれたか、及びどのリモート
コピーコマンドが書き込み未了かを識別する、該ローカ
ルストレージシステムから受信した、各リモートコピー
コマンドに関する情報を保持することとから構成される
処理システム。 - 【請求項2】ローカルストレージシステムと複数のリモ
ートストレージシステムで構成されるシステムにおい
て、該複数のリモートストレージシステムに記憶された
該ローカルストレージシステムのバックアップデータを
同期させるための方法であって、該方法は、 該各リモートストレージシステムは該ローカルストレー
ジシステムよりのデータ更新要求を受信し、該受信した
データ更新要求の識別子を記録するステップと、 該各リモートストレージシステムは該ローカルストレー
ジシステムよりのデータ更新要求を受信し、該データ更
新要求に付随するデータをストレージメディアへ書き込
んだデータ更新要求の識別子を記録するステップと、 該ローカルストレージシステムで障害が検出されると、
該受信したデータ更新要求の識別子及び該受信し書き込
みを完了したデータ更新要求の識別子の該各リモートス
トレージシステム間での差異を検出するステップと、 該差異に基づいて、該各リモートストレージシステム間
のデータを同期させるステップとから構成されるデータ
同期方法。 - 【請求項3】一つの処理システムであって、該システム
は、 データ記憶のためのストレージメディアを持つローカル
ストレージシステムと、 各々付随データを有するリモートコピーコマンドに応答
して、データを記憶するためのストレージメディアを持
ち、受信したリモートコピーコマンドを識別する情報及
び付随データをストレージメディアに書き込んだ、受信
したリモートコピーコマンドを識別するための情報を維
持する、少なくとも二つのリモートストレージシステム
と、 該ローカルストレージシステムは、該各リモートストレ
ージシステム内のストレージメディアにデータを書き込
ませるために、該各リモートストレージシステムに該リ
モートコピーコマンドを送信することと、 該ローカルストレージシステムでの障害検出により、該
各リモートストレージシステムは、それぞれが維持して
いる情報を共有して、一つのリモートストレージシステ
ムでは受信未了で、他のリモートストレージシステムで
は受信完了しているリモートコピーコマンドを特定する
こと、とから構成される処理システム。 - 【請求項4】リモートコピーコマンドと共に受信された
データを互いに送受信する手段を持つ、請求範囲3の処
理システム。 - 【請求項5】一つのリモートストレージシステムで受信
済みのデータを他のリモートストレージシステムに送信
する為に、通信手段を用いる、請求範囲4の処理システ
ム。 - 【請求項6】一つの処理システムであって、該システム
は、データイメージの形でデータを記憶するストレージ
メディアを有するローカルストレージシステムと、 複数のリモートストレージシステムであって、それぞれ
がリモートコピーコマンドに応答して受信したデータを
保存するストレージメディアを持ち、受信したリモート
コピーコマンドを識別する情報及び付随データを該スト
レージメディアに記憶済の受信したリモートコピーコマ
ンドを識別する情報と共に該ローカルストレージシステ
ム内のデータイメージをミラーするデータイメージを形
成した、リモートストレージシステムと、 該ローカルストレージシステムは、該各リモートストレ
ージシステム内のストレージメディアにデータを書き込
ませるために、該各リモートストレージシステムにリモ
ートコピーコマンドを送信することと、 該ローカルストレージシステムでの障害検出により、該
各リモートストレージシステムは、互いに保有するデー
タイメージの差異に関する情報を共有して、一つのリモ
ートストレージシステムで受信されている情報を、他の
未受信のリモートストレージシステムに送信して、リモ
ートストレージシステム間で、互いにデータイメージが
ミラーとなるように修正すること、とから構成される処
理システム。 - 【請求項7】各リモートストレージシステムはそれぞれ
が維持している情報を保持するキューを含む、請求範囲
6の処理システム。 - 【請求項8】該情報は、受信されたリモートコピーコマ
ンドの記録を持つ、請求範囲7の処理システム。 - 【請求項9】該情報は、該リモートストレージシステム
のストレージメディアに書き込み済みの受信リモートコ
ピーコマンドの記録を持つ、請求範囲8の処理システ
ム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/042,376 US6745303B2 (en) | 2002-01-03 | 2002-01-03 | Data synchronization of multiple remote storage |
US10/042,376 | 2002-01-03 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003263280A true JP2003263280A (ja) | 2003-09-19 |
JP2003263280A5 JP2003263280A5 (ja) | 2006-02-09 |
JP4325836B2 JP4325836B2 (ja) | 2009-09-02 |
Family
ID=21921581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002369171A Expired - Fee Related JP4325836B2 (ja) | 2002-01-03 | 2002-12-20 | 複数リモートストレージのデータ同期方式 |
Country Status (2)
Country | Link |
---|---|
US (3) | US6745303B2 (ja) |
JP (1) | JP4325836B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250921A (ja) * | 2004-03-05 | 2005-09-15 | Hitachi Ltd | バックアップシステムおよび方法 |
KR100639142B1 (ko) | 2005-04-28 | 2006-10-30 | 후지쯔 가부시끼가이샤 | 리모트 카피 처리 방법, 프로그램을 기록한 컴퓨터로판독가능한 기록 매체 및 장치 |
JP2009531770A (ja) * | 2006-03-30 | 2009-09-03 | エヌエイチエヌ コーポレーション | サーバーミラーリング方法及びそのシステム |
JP2010510564A (ja) * | 2006-11-16 | 2010-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ミラー・ボリューム内の不一致を検出するための装置、システム、および方法(メタデータを使用して連続リモート・コピー内の不一致を検出するための装置、システム、および方法) |
JP2012512468A (ja) * | 2008-12-19 | 2012-05-31 | エーティーアイ・テクノロジーズ・ユーエルシー | 複製された書き込み要求を伴うコヒーレントメモリコピーのための方法及び装置 |
JP2012532397A (ja) * | 2009-07-02 | 2012-12-13 | サンドフォース インク. | ストレージデバイスに関連付けられた複数の書き込みコマンドの順序付け |
Families Citing this family (189)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100365261B1 (ko) * | 2000-03-02 | 2002-12-18 | 주식회사 로직플랜트 | 웹 드라이브 시스템 |
US20040235523A1 (en) * | 2001-03-07 | 2004-11-25 | Schrire Michael Anton | System for replicating data of a mobile station |
GB0208922D0 (en) * | 2002-04-19 | 2002-05-29 | Ibm | Cache memory arrangement and methods for use in a cache memory system |
US20040006587A1 (en) * | 2002-07-02 | 2004-01-08 | Dell Products L.P. | Information handling system and method for clustering with internal cross coupled storage |
US7103727B2 (en) * | 2002-07-30 | 2006-09-05 | Hitachi, Ltd. | Storage system for multi-site remote copy |
US7047377B2 (en) * | 2002-08-20 | 2006-05-16 | Gruintine Pueche, Inc. | System and method for conducting an auction-based ranking of search results on a computer network |
JP2004110367A (ja) * | 2002-09-18 | 2004-04-08 | Hitachi Ltd | 記憶装置システムの制御方法、記憶制御装置、および記憶装置システム |
US7546482B2 (en) * | 2002-10-28 | 2009-06-09 | Emc Corporation | Method and apparatus for monitoring the storage of data in a computer system |
US20040153558A1 (en) * | 2002-10-31 | 2004-08-05 | Mesut Gunduc | System and method for providing java based high availability clustering framework |
US20040199910A1 (en) * | 2003-04-05 | 2004-10-07 | Baack James E. | Automated change back off process for restoring the root disk |
US7415591B1 (en) * | 2003-04-23 | 2008-08-19 | Emc Corporation | Method and apparatus for migrating data and automatically provisioning a target for the migration |
KR100638017B1 (ko) * | 2003-05-30 | 2006-10-23 | 엘지전자 주식회사 | 네트워크 디바이스 |
KR100605216B1 (ko) * | 2003-05-30 | 2006-07-31 | 엘지전자 주식회사 | 네트워크 디바이스 |
KR100596755B1 (ko) * | 2003-05-30 | 2006-07-04 | 엘지전자 주식회사 | 홈 네트워크 시스템 |
US20070223500A1 (en) * | 2003-05-30 | 2007-09-27 | Lg Electronics Inc. | Home Network System |
KR100605218B1 (ko) * | 2003-05-30 | 2006-07-31 | 엘지전자 주식회사 | 홈 네트워크 시스템 |
US7287186B2 (en) * | 2003-06-02 | 2007-10-23 | Surgient Inc. | Shared nothing virtual cluster |
US7124323B2 (en) * | 2003-06-18 | 2006-10-17 | International Business Machines Corporation | Method, system, and program for recovery of a reverse restore operation |
US7065589B2 (en) * | 2003-06-23 | 2006-06-20 | Hitachi, Ltd. | Three data center remote copy system with journaling |
US7159234B1 (en) * | 2003-06-27 | 2007-01-02 | Craig Murphy | System and method for streaming media server single frame failover |
JP4374953B2 (ja) * | 2003-09-09 | 2009-12-02 | 株式会社日立製作所 | データ処理システム |
US7130975B2 (en) * | 2003-06-27 | 2006-10-31 | Hitachi, Ltd. | Data processing system |
US8689043B1 (en) * | 2003-06-30 | 2014-04-01 | Symantec Operating Corporation | Fast failover with multiple secondary nodes |
US7165145B2 (en) * | 2003-07-02 | 2007-01-16 | Falconstor Software, Inc. | System and method to protect data stored in a storage system |
US7779169B2 (en) * | 2003-07-15 | 2010-08-17 | International Business Machines Corporation | System and method for mirroring data |
JP4021823B2 (ja) * | 2003-09-01 | 2007-12-12 | 株式会社日立製作所 | リモートコピーシステム及びリモートコピーの方法 |
US7904428B2 (en) | 2003-09-23 | 2011-03-08 | Symantec Corporation | Methods and apparatus for recording write requests directed to a data store |
US7827362B2 (en) | 2004-08-24 | 2010-11-02 | Symantec Corporation | Systems, apparatus, and methods for processing I/O requests |
US7296008B2 (en) * | 2004-08-24 | 2007-11-13 | Symantec Operating Corporation | Generation and use of a time map for accessing a prior image of a storage device |
US7730222B2 (en) | 2004-08-24 | 2010-06-01 | Symantec Operating System | Processing storage-related I/O requests using binary tree data structures |
US7287133B2 (en) | 2004-08-24 | 2007-10-23 | Symantec Operating Corporation | Systems and methods for providing a modification history for a location within a data store |
US7991748B2 (en) | 2003-09-23 | 2011-08-02 | Symantec Corporation | Virtual data store creation and use |
US7577806B2 (en) | 2003-09-23 | 2009-08-18 | Symantec Operating Corporation | Systems and methods for time dependent data storage and recovery |
US7725760B2 (en) | 2003-09-23 | 2010-05-25 | Symantec Operating Corporation | Data storage system |
US7769004B2 (en) * | 2003-09-26 | 2010-08-03 | Surgient, Inc. | Network abstraction and isolation layer for masquerading machine identity of a computer |
US7325109B1 (en) * | 2003-10-24 | 2008-01-29 | Network Appliance, Inc. | Method and apparatus to mirror data at two separate sites without comparing the data at the two sites |
US7200726B1 (en) | 2003-10-24 | 2007-04-03 | Network Appliance, Inc. | Method and apparatus for reducing network traffic during mass storage synchronization phase of synchronous data mirroring |
US7203796B1 (en) | 2003-10-24 | 2007-04-10 | Network Appliance, Inc. | Method and apparatus for synchronous data mirroring |
US7596672B1 (en) | 2003-10-24 | 2009-09-29 | Network Appliance, Inc. | Synchronous mirroring including writing image updates to a file |
EP1692602A4 (en) * | 2003-10-31 | 2007-10-24 | Landmark Technology Partners I | INTELLIGENT CLIENT ARCHITECTURE COMPUTER SYSTEM AND METHOD |
US7137033B2 (en) * | 2003-11-20 | 2006-11-14 | International Business Machines Corporation | Method, system, and program for synchronizing subtasks using sequence numbers |
JP2005157521A (ja) * | 2003-11-21 | 2005-06-16 | Hitachi Ltd | 遠隔記憶装置の状態情報監視方法および記憶サブシステム |
JP4412989B2 (ja) * | 2003-12-15 | 2010-02-10 | 株式会社日立製作所 | 複数の記憶システムを有するデータ処理システム |
US8589513B1 (en) * | 2003-12-23 | 2013-11-19 | Emc Corporation | Remote mirroring of group name services |
JP2005258850A (ja) | 2004-03-12 | 2005-09-22 | Hitachi Ltd | 計算機システム |
JP4563725B2 (ja) * | 2004-05-17 | 2010-10-13 | 株式会社日立製作所 | 計算機システム |
US7383462B2 (en) * | 2004-07-02 | 2008-06-03 | Hitachi, Ltd. | Method and apparatus for encrypted remote copy for secure data backup and restoration |
US7284150B2 (en) * | 2004-09-22 | 2007-10-16 | International Business Machines Corporation | System and method for reliably storing data and providing efficient incremental backup and asynchronous mirroring by preferentially handling new data |
JP4376750B2 (ja) * | 2004-10-14 | 2009-12-02 | 株式会社日立製作所 | 計算機システム |
US20060182050A1 (en) * | 2005-01-28 | 2006-08-17 | Hewlett-Packard Development Company, L.P. | Storage replication system with data tracking |
US7519851B2 (en) * | 2005-02-08 | 2009-04-14 | Hitachi, Ltd. | Apparatus for replicating volumes between heterogenous storage systems |
US20060230245A1 (en) * | 2005-04-08 | 2006-10-12 | Microsoft Corporation | Data storage safety indicator and expander |
US8010498B2 (en) * | 2005-04-08 | 2011-08-30 | Microsoft Corporation | Virtually infinite reliable storage across multiple storage devices and storage services |
US7681074B2 (en) * | 2005-04-29 | 2010-03-16 | Microsoft Corporation | Transport high availability |
US7634514B2 (en) * | 2005-05-09 | 2009-12-15 | Microsoft Corporation | Synchronizing file system directories |
US7440984B2 (en) * | 2005-06-28 | 2008-10-21 | International Business Machines Corporation | Reconciliation of local and remote backup data |
US7600149B2 (en) * | 2005-09-20 | 2009-10-06 | International Business Machines Corporation | Failure transparency for update applications under single-master configuration |
US20070094336A1 (en) * | 2005-10-24 | 2007-04-26 | Microsoft Corporation | Asynchronous server synchronously storing persistent data batches |
US7921165B2 (en) * | 2005-11-30 | 2011-04-05 | Microsoft Corporation | Retaining mail for availability after relay |
US8078728B1 (en) | 2006-03-31 | 2011-12-13 | Quest Software, Inc. | Capacity pooling for application reservation and delivery |
US7376805B2 (en) * | 2006-04-21 | 2008-05-20 | Hewlett-Packard Development Company, L.P. | Distributed storage array |
JP4887893B2 (ja) * | 2006-04-26 | 2012-02-29 | 株式会社日立製作所 | 計算機システム及び計算機システムの制御方法 |
JP2007310448A (ja) * | 2006-05-16 | 2007-11-29 | Hitachi Ltd | 計算機システム、管理計算機、および、ストレージシステム管理方法 |
US8010509B1 (en) * | 2006-06-30 | 2011-08-30 | Netapp, Inc. | System and method for verifying and correcting the consistency of mirrored data sets |
US20090248744A1 (en) * | 2006-07-17 | 2009-10-01 | Kika Medical | Transactional storage system for healthcare information |
US7587628B2 (en) * | 2006-09-20 | 2009-09-08 | International Business Machines Corporation | System, method and computer program product for copying data |
US7650476B2 (en) * | 2006-10-18 | 2010-01-19 | International Business Machines Corporation | System, method and computer program product for generating a consistent point in time copy of data |
US20080109804A1 (en) * | 2006-11-06 | 2008-05-08 | Richard Welcher Bloomstein | Additional uses of virtualization for disaster recovery and prevention |
US9293032B2 (en) * | 2006-12-29 | 2016-03-22 | Echostar Technologies L.L.C. | Two-way communication for control of an entertainment device |
US7752404B2 (en) * | 2006-12-29 | 2010-07-06 | Emc Corporation | Toggling between concurrent and cascaded triangular asynchronous replication |
US7734884B1 (en) | 2006-12-29 | 2010-06-08 | Emc Corporation | Simultaneous concurrent and cascaded triangular asynchronous replication |
US7779291B2 (en) * | 2006-12-29 | 2010-08-17 | Emc Corporation | Four site triangular asynchronous replication |
US7680997B1 (en) | 2006-12-29 | 2010-03-16 | Emc Corporation | Data recovery simulation |
US7702953B2 (en) * | 2007-01-04 | 2010-04-20 | International Business Machines Corporation | Storage management in cascaded replication of data |
CN101765465A (zh) | 2007-03-23 | 2010-06-30 | 忠诚股份有限公司 | 流体收集和处理***及相关方法 |
US9889239B2 (en) | 2007-03-23 | 2018-02-13 | Allegiance Corporation | Fluid collection and disposal system and related methods |
US8460256B2 (en) | 2009-07-15 | 2013-06-11 | Allegiance Corporation | Collapsible fluid collection and disposal system and related methods |
US7751398B1 (en) * | 2007-03-28 | 2010-07-06 | Emc Corporation | Techniques for prioritization of messaging traffic |
US7756995B1 (en) | 2007-03-28 | 2010-07-13 | Amazon Technologies, Inc. | Regulating transmission rates |
US7747770B1 (en) * | 2007-03-28 | 2010-06-29 | Amazon Technologies, Inc. | Protocol for managing information |
US8001307B1 (en) | 2007-04-27 | 2011-08-16 | Network Appliance, Inc. | Apparatus and a method to eliminate deadlock in a bi-directionally mirrored data storage system |
US8145976B1 (en) | 2007-05-14 | 2012-03-27 | Marvell International Ltd. | Error correcting |
US8028090B2 (en) | 2008-11-17 | 2011-09-27 | Amazon Technologies, Inc. | Request routing utilizing client location information |
US7991910B2 (en) | 2008-11-17 | 2011-08-02 | Amazon Technologies, Inc. | Updating routing information based on client location |
US8301791B2 (en) * | 2007-07-26 | 2012-10-30 | Netapp, Inc. | System and method for non-disruptive check of a mirror |
US7861049B2 (en) * | 2007-11-19 | 2010-12-28 | Hitachi, Ltd. | Methods and apparatus for archiving digital data |
US8194674B1 (en) | 2007-12-20 | 2012-06-05 | Quest Software, Inc. | System and method for aggregating communications and for translating between overlapping internal network addresses and unique external network addresses |
US8156415B1 (en) | 2007-12-26 | 2012-04-10 | Marvell International Ltd. | Method and system for command queuing in disk drives |
US10572188B2 (en) * | 2008-01-12 | 2020-02-25 | Hewlett Packard Enterprise Development Lp | Server-embedded distributed storage system |
US8321568B2 (en) | 2008-03-31 | 2012-11-27 | Amazon Technologies, Inc. | Content management |
US7970820B1 (en) | 2008-03-31 | 2011-06-28 | Amazon Technologies, Inc. | Locality based content distribution |
US8606996B2 (en) | 2008-03-31 | 2013-12-10 | Amazon Technologies, Inc. | Cache optimization |
US8601090B1 (en) | 2008-03-31 | 2013-12-03 | Amazon Technologies, Inc. | Network resource identification |
US7962597B2 (en) | 2008-03-31 | 2011-06-14 | Amazon Technologies, Inc. | Request routing based on class |
US8447831B1 (en) | 2008-03-31 | 2013-05-21 | Amazon Technologies, Inc. | Incentive driven content delivery |
US8370717B1 (en) | 2008-04-08 | 2013-02-05 | Marvell International Ltd. | Method and apparatus for flexible buffers in an XOR engine |
US8437744B1 (en) * | 2008-04-23 | 2013-05-07 | Zerotouchdigital, Inc. | Methods and devices for remote processing of information originating from a mobile communication device |
US9407681B1 (en) | 2010-09-28 | 2016-08-02 | Amazon Technologies, Inc. | Latency measurement in resource requests |
JP4774085B2 (ja) * | 2008-07-31 | 2011-09-14 | 富士通株式会社 | ストレージシステム |
US7962780B2 (en) * | 2008-08-22 | 2011-06-14 | International Business Machines Corporation | Command sequence numbering apparatus and method |
US8671081B2 (en) * | 2008-09-18 | 2014-03-11 | Sap Ag | Data processing systems and methods to ensure the consistency of data |
US8073940B1 (en) | 2008-11-17 | 2011-12-06 | Amazon Technologies, Inc. | Managing content delivery network service providers |
US8122098B1 (en) | 2008-11-17 | 2012-02-21 | Amazon Technologies, Inc. | Managing content delivery network service providers by a content broker |
US8412823B1 (en) | 2009-03-27 | 2013-04-02 | Amazon Technologies, Inc. | Managing tracking information entries in resource cache components |
US8756341B1 (en) | 2009-03-27 | 2014-06-17 | Amazon Technologies, Inc. | Request routing utilizing popularity information |
US8688837B1 (en) | 2009-03-27 | 2014-04-01 | Amazon Technologies, Inc. | Dynamically translating resource identifiers for request routing using popularity information |
US8782236B1 (en) | 2009-06-16 | 2014-07-15 | Amazon Technologies, Inc. | Managing resources using resource expiration data |
JP4951652B2 (ja) * | 2009-06-24 | 2012-06-13 | 株式会社日立製作所 | コンピュータシステムのリモートコピー方法及びコンピュータシステム |
JP4871980B2 (ja) * | 2009-08-10 | 2012-02-08 | 株式会社日立製作所 | データ処理方法とデータ処理プログラムおよびデータ処理システム |
WO2011026661A1 (en) | 2009-09-03 | 2011-03-10 | International Business Machines Corporation | Shared-bandwidth multiple target remote copy |
US8397073B1 (en) | 2009-09-04 | 2013-03-12 | Amazon Technologies, Inc. | Managing secure content in a content delivery network |
US8433771B1 (en) | 2009-10-02 | 2013-04-30 | Amazon Technologies, Inc. | Distribution network with forward resource propagation |
US8219768B2 (en) * | 2010-01-05 | 2012-07-10 | Hitachi, Ltd. | System and method for establishing a copy pair relationship between source and destination volumes |
US8862816B2 (en) | 2010-01-28 | 2014-10-14 | International Business Machines Corporation | Mirroring multiple writeable storage arrays |
US9495338B1 (en) | 2010-01-28 | 2016-11-15 | Amazon Technologies, Inc. | Content distribution network |
US20110231602A1 (en) * | 2010-03-19 | 2011-09-22 | Harold Woods | Non-disruptive disk ownership change in distributed storage systems |
CN102326152B (zh) | 2010-04-07 | 2014-11-26 | 株式会社日立制作所 | 非同步远程复制***以及存储控制方法 |
KR101635030B1 (ko) * | 2010-07-08 | 2016-07-01 | 엘지전자 주식회사 | 데이터 동기화 방법 및 이를 이용하는 이동 단말기 |
US9712484B1 (en) | 2010-09-28 | 2017-07-18 | Amazon Technologies, Inc. | Managing request routing information utilizing client identifiers |
US9003035B1 (en) | 2010-09-28 | 2015-04-07 | Amazon Technologies, Inc. | Point of presence management in request routing |
US10097398B1 (en) | 2010-09-28 | 2018-10-09 | Amazon Technologies, Inc. | Point of presence management in request routing |
US8468247B1 (en) | 2010-09-28 | 2013-06-18 | Amazon Technologies, Inc. | Point of presence management in request routing |
US10958501B1 (en) | 2010-09-28 | 2021-03-23 | Amazon Technologies, Inc. | Request routing information based on client IP groupings |
US8452874B2 (en) | 2010-11-22 | 2013-05-28 | Amazon Technologies, Inc. | Request routing processing |
US10467042B1 (en) | 2011-04-27 | 2019-11-05 | Amazon Technologies, Inc. | Optimized deployment based upon customer locality |
US8909996B2 (en) * | 2011-08-12 | 2014-12-09 | Oracle International Corporation | Utilizing multiple storage devices to reduce write latency for database logging |
US10623408B1 (en) | 2012-04-02 | 2020-04-14 | Amazon Technologies, Inc. | Context sensitive object management |
US9154551B1 (en) | 2012-06-11 | 2015-10-06 | Amazon Technologies, Inc. | Processing DNS queries to identify pre-processing information |
US9323577B2 (en) | 2012-09-20 | 2016-04-26 | Amazon Technologies, Inc. | Automated profiling of resource usage |
US10205698B1 (en) | 2012-12-19 | 2019-02-12 | Amazon Technologies, Inc. | Source-dependent address resolution |
US9811432B2 (en) | 2013-03-04 | 2017-11-07 | Netapp, Inc. | Systems and methods for resynchronizing mirroring partners in a storage system |
US9294391B1 (en) | 2013-06-04 | 2016-03-22 | Amazon Technologies, Inc. | Managing network computing components utilizing request routing |
US9660930B2 (en) | 2014-03-17 | 2017-05-23 | Splunk Inc. | Dynamic data server nodes |
US9836358B2 (en) * | 2014-03-17 | 2017-12-05 | Splunk Inc. | Ephemeral remote data store for dual-queue systems |
US9753818B2 (en) | 2014-09-19 | 2017-09-05 | Splunk Inc. | Data forwarding using multiple data pipelines |
US9838346B2 (en) | 2014-03-17 | 2017-12-05 | Splunk Inc. | Alerting on dual-queue systems |
US9838467B2 (en) | 2014-03-17 | 2017-12-05 | Splunk Inc. | Dynamically instantiating dual-queue systems |
US10339010B1 (en) * | 2014-04-05 | 2019-07-02 | Bruce Talley | Systems and methods for synchronization of backup copies |
US10033627B1 (en) | 2014-12-18 | 2018-07-24 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
US10091096B1 (en) | 2014-12-18 | 2018-10-02 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
US10097448B1 (en) | 2014-12-18 | 2018-10-09 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
US20180107535A1 (en) * | 2014-12-31 | 2018-04-19 | International Business Machines Corporation | Vault redundancy reduction within a dispersed storage network |
US20180101434A1 (en) * | 2014-12-31 | 2018-04-12 | International Business Machines Corporation | Listing types in a distributed storage system |
US10656866B2 (en) * | 2014-12-31 | 2020-05-19 | Pure Storage, Inc. | Unidirectional vault synchronization to support tiering |
US20180107728A1 (en) * | 2014-12-31 | 2018-04-19 | International Business Machines Corporation | Using tombstone objects to synchronize deletes |
US10225326B1 (en) | 2015-03-23 | 2019-03-05 | Amazon Technologies, Inc. | Point of presence based data uploading |
US9819567B1 (en) | 2015-03-30 | 2017-11-14 | Amazon Technologies, Inc. | Traffic surge management for points of presence |
US9832141B1 (en) | 2015-05-13 | 2017-11-28 | Amazon Technologies, Inc. | Routing based request correlation |
US10097566B1 (en) | 2015-07-31 | 2018-10-09 | Amazon Technologies, Inc. | Identifying targets of network attacks |
US9774619B1 (en) | 2015-09-24 | 2017-09-26 | Amazon Technologies, Inc. | Mitigating network attacks |
US10270878B1 (en) | 2015-11-10 | 2019-04-23 | Amazon Technologies, Inc. | Routing for origin-facing points of presence |
US10257307B1 (en) | 2015-12-11 | 2019-04-09 | Amazon Technologies, Inc. | Reserved cache space in content delivery networks |
US10049051B1 (en) | 2015-12-11 | 2018-08-14 | Amazon Technologies, Inc. | Reserved cache space in content delivery networks |
US10348639B2 (en) | 2015-12-18 | 2019-07-09 | Amazon Technologies, Inc. | Use of virtual endpoints to improve data transmission rates |
US10055807B2 (en) | 2016-03-02 | 2018-08-21 | Samsung Electronics Co., Ltd. | Hardware architecture for acceleration of computer vision and imaging processing |
US10075551B1 (en) | 2016-06-06 | 2018-09-11 | Amazon Technologies, Inc. | Request management for hierarchical cache |
US10110694B1 (en) | 2016-06-29 | 2018-10-23 | Amazon Technologies, Inc. | Adaptive transfer rate for retrieving content from a server |
US9992086B1 (en) | 2016-08-23 | 2018-06-05 | Amazon Technologies, Inc. | External health checking of virtual private cloud network environments |
US10033691B1 (en) | 2016-08-24 | 2018-07-24 | Amazon Technologies, Inc. | Adaptive resolution of domain name requests in virtual private cloud network environments |
US10515671B2 (en) | 2016-09-22 | 2019-12-24 | Advanced Micro Devices, Inc. | Method and apparatus for reducing memory access latency |
US10469513B2 (en) | 2016-10-05 | 2019-11-05 | Amazon Technologies, Inc. | Encrypted network addresses |
US10372499B1 (en) | 2016-12-27 | 2019-08-06 | Amazon Technologies, Inc. | Efficient region selection system for executing request-driven code |
US10831549B1 (en) | 2016-12-27 | 2020-11-10 | Amazon Technologies, Inc. | Multi-region request-driven code execution system |
US10938884B1 (en) | 2017-01-30 | 2021-03-02 | Amazon Technologies, Inc. | Origin server cloaking using virtual private cloud network environments |
US10394468B2 (en) * | 2017-02-23 | 2019-08-27 | International Business Machines Corporation | Handling data slice revisions in a dispersed storage network |
US11410754B2 (en) * | 2017-03-31 | 2022-08-09 | Konica Minolta Healthcare Americas, Inc. | Cloud-to-local, local-to-cloud switching and synchronization of medical images and data |
US10503613B1 (en) | 2017-04-21 | 2019-12-10 | Amazon Technologies, Inc. | Efficient serving of resources during server unavailability |
US11075987B1 (en) | 2017-06-12 | 2021-07-27 | Amazon Technologies, Inc. | Load estimating content delivery network |
US10447648B2 (en) | 2017-06-19 | 2019-10-15 | Amazon Technologies, Inc. | Assignment of a POP to a DNS resolver based on volume of communications over a link between client devices and the POP |
US10742593B1 (en) | 2017-09-25 | 2020-08-11 | Amazon Technologies, Inc. | Hybrid content request routing system |
US10635602B2 (en) | 2017-11-14 | 2020-04-28 | International Business Machines Corporation | Address translation prior to receiving a storage reference using the address to be translated |
US10698686B2 (en) | 2017-11-14 | 2020-06-30 | International Business Machines Corporation | Configurable architectural placement control |
US10496437B2 (en) | 2017-11-14 | 2019-12-03 | International Business Machines Corporation | Context switch by changing memory pointers |
US10558366B2 (en) | 2017-11-14 | 2020-02-11 | International Business Machines Corporation | Automatic pinning of units of memory |
US10592164B2 (en) | 2017-11-14 | 2020-03-17 | International Business Machines Corporation | Portions of configuration state registers in-memory |
US10761751B2 (en) | 2017-11-14 | 2020-09-01 | International Business Machines Corporation | Configuration state registers grouped based on functional affinity |
US10664181B2 (en) | 2017-11-14 | 2020-05-26 | International Business Machines Corporation | Protecting in-memory configuration state registers |
US10761983B2 (en) * | 2017-11-14 | 2020-09-01 | International Business Machines Corporation | Memory based configuration state registers |
US10901738B2 (en) | 2017-11-14 | 2021-01-26 | International Business Machines Corporation | Bulk store and load operations of configuration state registers |
US10642757B2 (en) | 2017-11-14 | 2020-05-05 | International Business Machines Corporation | Single call to perform pin and unpin operations |
US10592578B1 (en) | 2018-03-07 | 2020-03-17 | Amazon Technologies, Inc. | Predictive content push-enabled content delivery network |
US11119850B2 (en) | 2018-06-29 | 2021-09-14 | International Business Machines Corporation | Determining when to perform error checking of a storage unit by using a machine learning module |
US11099743B2 (en) | 2018-06-29 | 2021-08-24 | International Business Machines Corporation | Determining when to replace a storage device using a machine learning module |
US11119662B2 (en) | 2018-06-29 | 2021-09-14 | International Business Machines Corporation | Determining when to perform a data integrity check of copies of a data set using a machine learning module |
US10862852B1 (en) | 2018-11-16 | 2020-12-08 | Amazon Technologies, Inc. | Resolution of domain name requests in heterogeneous network environments |
US11025747B1 (en) | 2018-12-12 | 2021-06-01 | Amazon Technologies, Inc. | Content request pattern-based routing system |
US11593026B2 (en) | 2020-03-06 | 2023-02-28 | International Business Machines Corporation | Zone storage optimization using predictive protocol patterns |
CN112130869B (zh) * | 2020-09-11 | 2022-11-29 | 苏州浪潮智能科技有限公司 | 一种ai平台镜像处理的方法和装置 |
CN115080311B (zh) * | 2022-07-01 | 2023-01-24 | 深圳美克拉网络技术有限公司 | 一种大数据的信息化远程控制方法及装置 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544347A (en) | 1990-09-24 | 1996-08-06 | Emc Corporation | Data storage system controlled remote data mirroring with respectively maintained data indices |
US5432922A (en) | 1993-08-23 | 1995-07-11 | International Business Machines Corporation | Digital storage system and method having alternating deferred updating of mirrored storage disks |
US6304980B1 (en) | 1996-03-13 | 2001-10-16 | International Business Machines Corporation | Peer-to-peer backup system with failure-triggered device switching honoring reservation of primary device |
US5870537A (en) | 1996-03-13 | 1999-02-09 | International Business Machines Corporation | Concurrent switch to shadowed device for storage controller and device errors |
US5852715A (en) | 1996-03-19 | 1998-12-22 | Emc Corporation | System for currently updating database by one host and reading the database by different host for the purpose of implementing decision support functions |
US5889935A (en) | 1996-05-28 | 1999-03-30 | Emc Corporation | Disaster control features for remote data mirroring |
US6052797A (en) | 1996-05-28 | 2000-04-18 | Emc Corporation | Remotely mirrored data storage system with a count indicative of data consistency |
US5673382A (en) | 1996-05-30 | 1997-09-30 | International Business Machines Corporation | Automated management of off-site storage volumes for disaster recovery |
US6092066A (en) | 1996-05-31 | 2000-07-18 | Emc Corporation | Method and apparatus for independent operation of a remote data facility |
JP2001514778A (ja) * | 1997-03-13 | 2001-09-11 | マーク・エム・ホイットニー | メッセージ・キューイング・ファシリティを含むネットワーク・トランザクションをメインフレームからインテリジェントな入出力装置にオフロードするシステム及び方法 |
US6073209A (en) | 1997-03-31 | 2000-06-06 | Ark Research Corporation | Data storage controller providing multiple hosts with access to multiple storage subsystems |
US6088740A (en) * | 1997-08-05 | 2000-07-11 | Adaptec, Inc. | Command queuing system for a hardware accelerated command interpreter engine |
US6199074B1 (en) | 1997-10-09 | 2001-03-06 | International Business Machines Corporation | Database backup system ensuring consistency between primary and mirrored backup database copies despite backup interruption |
US6304881B1 (en) | 1998-03-03 | 2001-10-16 | Pumatech, Inc. | Remote data access and synchronization |
US6157991A (en) | 1998-04-01 | 2000-12-05 | Emc Corporation | Method and apparatus for asynchronously updating a mirror of a source device |
US6189079B1 (en) | 1998-05-22 | 2001-02-13 | International Business Machines Corporation | Data copy between peer-to-peer controllers |
JP2000020366A (ja) | 1998-07-06 | 2000-01-21 | Hitachi Ltd | レプリケーションシステム |
US6260124B1 (en) | 1998-08-13 | 2001-07-10 | International Business Machines Corporation | System and method for dynamically resynchronizing backup data |
US6308284B1 (en) | 1998-08-28 | 2001-10-23 | Emc Corporation | Method and apparatus for maintaining data coherency |
JP3578385B2 (ja) | 1998-10-22 | 2004-10-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | コンピュータ、及びレプリカ同一性保持方法 |
US6529944B1 (en) * | 1999-01-06 | 2003-03-04 | Emc Corporation | Host system for remote control of mass storage volumes using cascading commands |
US6209002B1 (en) | 1999-02-17 | 2001-03-27 | Emc Corporation | Method and apparatus for cascading data through redundant data storage units |
US6247099B1 (en) * | 1999-06-03 | 2001-06-12 | International Business Machines Corporation | System and method for maintaining cache coherency and data synchronization in a computer system having multiple active controllers |
US6671705B1 (en) | 1999-08-17 | 2003-12-30 | Emc Corporation | Remote mirroring system, device, and method |
US6877044B2 (en) * | 2000-02-10 | 2005-04-05 | Vicom Systems, Inc. | Distributed storage management platform architecture |
US7065538B2 (en) * | 2000-02-11 | 2006-06-20 | Quest Software, Inc. | System and method for reconciling transactions between a replication system and a recovered database |
US6643795B1 (en) | 2000-03-30 | 2003-11-04 | Hewlett-Packard Development Company, L.P. | Controller-based bi-directional remote copy system with storage site failover capability |
US6480970B1 (en) * | 2000-05-17 | 2002-11-12 | Lsi Logic Corporation | Method of verifying data consistency between local and remote mirrored data storage systems |
US6665780B1 (en) | 2000-10-06 | 2003-12-16 | Radiant Data Corporation | N-way data mirroring systems and methods for using the same |
US6691245B1 (en) | 2000-10-10 | 2004-02-10 | Lsi Logic Corporation | Data storage with host-initiated synchronization and fail-over of remote mirror |
US6728736B2 (en) | 2001-03-14 | 2004-04-27 | Storage Technology Corporation | System and method for synchronizing a data copy using an accumulation remote copy trio |
US7139885B2 (en) | 2001-12-27 | 2006-11-21 | Hitachi, Ltd. | Method and apparatus for managing storage based replication |
-
2002
- 2002-01-03 US US10/042,376 patent/US6745303B2/en not_active Expired - Lifetime
- 2002-12-20 JP JP2002369171A patent/JP4325836B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-26 US US10/832,839 patent/US7234033B2/en not_active Expired - Lifetime
-
2007
- 2007-06-05 US US11/810,463 patent/US7698521B2/en not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250921A (ja) * | 2004-03-05 | 2005-09-15 | Hitachi Ltd | バックアップシステムおよび方法 |
JP4512386B2 (ja) * | 2004-03-05 | 2010-07-28 | 株式会社日立製作所 | バックアップシステムおよび方法 |
KR100639142B1 (ko) | 2005-04-28 | 2006-10-30 | 후지쯔 가부시끼가이샤 | 리모트 카피 처리 방법, 프로그램을 기록한 컴퓨터로판독가능한 기록 매체 및 장치 |
JP2009531770A (ja) * | 2006-03-30 | 2009-09-03 | エヌエイチエヌ コーポレーション | サーバーミラーリング方法及びそのシステム |
JP2010510564A (ja) * | 2006-11-16 | 2010-04-02 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ミラー・ボリューム内の不一致を検出するための装置、システム、および方法(メタデータを使用して連続リモート・コピー内の不一致を検出するための装置、システム、および方法) |
JP2012512468A (ja) * | 2008-12-19 | 2012-05-31 | エーティーアイ・テクノロジーズ・ユーエルシー | 複製された書き込み要求を伴うコヒーレントメモリコピーのための方法及び装置 |
JP2015122113A (ja) * | 2008-12-19 | 2015-07-02 | エーティーアイ・テクノロジーズ・ユーエルシーAti Technologies Ulc | 複製された書き込み要求を伴うコヒーレントメモリコピーのための方法及び装置 |
JP2012532397A (ja) * | 2009-07-02 | 2012-12-13 | サンドフォース インク. | ストレージデバイスに関連付けられた複数の書き込みコマンドの順序付け |
Also Published As
Publication number | Publication date |
---|---|
US20040205309A1 (en) | 2004-10-14 |
US6745303B2 (en) | 2004-06-01 |
US20070239934A1 (en) | 2007-10-11 |
US20030126387A1 (en) | 2003-07-03 |
US7234033B2 (en) | 2007-06-19 |
JP4325836B2 (ja) | 2009-09-02 |
US7698521B2 (en) | 2010-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003263280A (ja) | 複数リモートストレージのデータ同期方式 | |
JP2894676B2 (ja) | 非同期式遠隔コピー・システム及び非同期式遠隔コピー方法 | |
JP4301849B2 (ja) | 情報処理方法及びその実施システム並びにその処理プログラム並びにディザスタリカバリ方法およびシステム並びにその処理を実施する記憶装置およびその制御処理方法 | |
US7225307B2 (en) | Apparatus, system, and method for synchronizing an asynchronous mirror volume using a synchronous mirror volume | |
US7330861B2 (en) | Remote copying system and method of controlling remote copying | |
JP4108074B2 (ja) | 多重リモートストレージでのデータ同期 | |
JP2576847B2 (ja) | 記憶制御装置及び関連する方法 | |
JP4437870B2 (ja) | 分散型トランザクション処理システムと方法 | |
US7565572B2 (en) | Method for rolling back from snapshot with log | |
US7757114B2 (en) | Data synchronization of multiple remote storage after remote copy suspension | |
US8285824B2 (en) | Storage system and data replication method that refuses one or more requests for changing the first logical configuration information until the first storage apparatus and second storage apparatus are synchronized | |
CN113396407A (zh) | 用于利用区块链技术扩充数据库应用的***和方法 | |
US7254685B1 (en) | Method for maintaining high performance while preserving relative write I/O ordering for a semi-synchronous remote replication solution | |
US20050071393A1 (en) | Data storage subsystem | |
JPH076099A (ja) | リモート・データの2重化のためのシステム及び方法 | |
JP4309354B2 (ja) | ストレージネットワークにおける書き込みオペレーション制御 | |
JP2003233467A (ja) | ストレージベースリモートコピーでのパス選択方式 | |
JP2001282628A (ja) | 記憶サブシステムのデータ二重化方法及びデータ二重化システム | |
JP2007317186A (ja) | バックアップデータおよびジャーナルを管理するための方法および装置 | |
JP2005276162A (ja) | 分散リモートコピーシステム | |
JP2003248605A (ja) | ストレージシステム、主記憶システム、副記憶システム、及びそのデータ複写方法 | |
JP2002149499A (ja) | データの完全性を備えるリモートコピーシステム | |
JP4066617B2 (ja) | データの完全性を伴いデータネットワークに接続される記憶装置システム | |
WO2017101731A1 (zh) | 数据库的服务提供方法和*** | |
US8250240B2 (en) | Message conversion method and message conversion system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080731 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090209 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090603 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090604 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |