JP4634812B2 - 複数のコントローラ間に仮想ストレージセグメントを割り当てる能力を有するストレージシステム - Google Patents
複数のコントローラ間に仮想ストレージセグメントを割り当てる能力を有するストレージシステム Download PDFInfo
- Publication number
- JP4634812B2 JP4634812B2 JP2005018280A JP2005018280A JP4634812B2 JP 4634812 B2 JP4634812 B2 JP 4634812B2 JP 2005018280 A JP2005018280 A JP 2005018280A JP 2005018280 A JP2005018280 A JP 2005018280A JP 4634812 B2 JP4634812 B2 JP 4634812B2
- Authority
- JP
- Japan
- Prior art keywords
- storage
- controller
- storage device
- controllers
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
- G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ますます適応進化する企業は、情報技術基盤を使用することによってこれらの難題に対処する。
この情報技術基盤は、サービスを実行するコンポーネントではなく、提供されたサービスがシステム構成時の最も重要な因子となるユーティリティの形式で機能するものである。
これらのサービスは、利用可能であり、かつ、ピークのアクティビティの期間のニーズおよび小康状態の期間のニーズを満たすように動的にマッピングされる。
適応進化する企業としてうまく運営を行うために、情報技術サービスは、変化する内部および外部のビジネス状況に素早く対応することができ、安全で途切れない計算サービスおよびストレージサービスを提供することができる。
これらの計算サービスおよびストレージサービスは、自動化されたインテリジェントな管理オペレーションと、事前に定義されたコンポーネントの「プール」からのサーバ、ネットワークコンポーネント、ストレージエレメント、およびアプリケーションサービスを含む資源の発見、割り当て、最適化、および割り当て解除を行う能力とを使用して保護され、最適化されるものである。
サーバの仮想化によって、サーバ環境を水平方向および垂直方向でスケーリングすることが可能になり、利用の最適化、サービスレベルの改善、および管理オーバーヘッドの削減が可能になる。
ネットワークの仮想化は、インテリジェントルータ、スイッチ、および仮想的なローカルエリアネットワーク(LAN)をサポートする他のネットワーク接続エレメントによって可能になる。
仮想化されたネットワークは、セキュリティを増大させ、顧客およびユーザの要求の予期しないスパイク(spike)をサポートすることができる。
ストレージの仮想化は、サーバ、ネットワーク、またはアレイに基づくことができ、ストレージサブシステムの利用を改善し、管理コストを削減し、かつ、貴重なデータを保護する。
例えば、すべてのサーバ、ストレージ、およびネットワークデバイスは、独立した資源プールに集約することができる。
いくつかのエレメントは、例えばサーバパーティション、ストレージ論理ユニット(LUN)等にさらに再分割されて、より一層細かな粒度レベルの制御を与えることもできる。
ビジネスの変化するニーズおよび優先度に適合するように、手動または自動のいずれかで、資源プールからのエレメントの割り当て、プロビジョニング、および管理を行うことができる。
アレイコントローラでは、仮想化によって、物理容量をより効率的かつ動的に割り当てることが可能になる。
ネットワーク接続されたストレージの仮想化によって、ストレージエリアネットワーク(SAN)、接続型アレイコントローラまたはネットワーク接続型ストレージ(NAS)ファイルサーバ等のネットワークストレージデバイス群のより高可用性、より良い利用、および集中管理が可能になる。
サーバに基づく利用によって、単一サーバという状況の中で、SANおよび直接接続型ストレージ(DAS(direct-attached storage))の双方の物理容量がプールされる。
抽象化によって、ストレージ基盤の詳細がサーバから隠蔽され、管理環境全体が簡略化される。
資源プール化によって、データ位置の物理的な詳細が隠蔽され、保護用の資源サブセットが作成され、より高い帯域幅、容量、および/または可用性を得るために資源が集約される。
仮想化はストレージ容量を抽象化する。
この抽象化は、物理デバイスや論理ユニット(LUN)等のストレージ容量を提供するエレメントを論理空間にマッピングし、アプリケーションに提示される論理デバイスを作成し、物理的境界を消去し、管理でき、かつ、必要に応じてアクセスできる容量プールを作成することによって行われる。
また、ストレージの仮想化によって、ストレージの利用も、適切に構成されたストレージ環境をアプリケーションおよびデータの要件にマッピングすることを確実にすることにより改善される。
また、仮想化によって、要求の増大またはピーク要求を満たすためのストレージ容量の重要な事前割り当ての負担も軽減される。
また、ストレージ仮想化によって、異種環境にわたるストレージサービスも可能になり、その結果、管理が簡略化され、既存の資源の利用が改善される。
アレイの主要なデータ転送および処理能力は、1つまたは2つ以上のコントローラ上に存在する。
いくつかのシステムは、フォールトトレランス用に丁度2つのコントローラを有し、サイズが適度にされている。
それ以外のシステムは、より高い性能を得るために3つ以上のコントローラを備えたより大きなアレイを有する。
あいにく、多くのコントローラを備えたアレイのエントリーコストは、より小さなよりモジュール形式のアレイよりもはるかに高くなる傾向を有する。
成長は、性能要求または容量要求が1つのコントローラペアまたはアレイの能力を超える時に生じる。
一般的な拡張には、コントローラまたはアレイをデータセンタに追加することが必要とされ、必要に応じて、アレイ間でデータを移動させて、コントローラ全体にわたる仕事量をバランスさせることが必要とされる。
各ディスクは、1つのアレイ内の多くとも2つのコントローラに直接接続されるので、データの移動は、コントローラペア全体にわたる負荷をバランスさせるために課される。
時間および資源の双方を費やすデータの移動なしに、コントローラ/ディスクの組み合わせを変更するように適合させることはできない。
性能ボトルネックを除去するコントローラ資源の拡張は、一般に、コントローラの追加だけでなく、ディスクの追加も要求する。
ディスクは、1つのコントローラペアとの制限された物理的関連を有するので、ボトルネックは、データを移動することなくコントローラペアで軽減することができない。
データ移動は、場合によってはオンラインであるが、時間および資源を費やし、したがって、性能または容量の頻度の高い負担、定期的な負担、または短期間の負担に対応するものとしては不適切である。
その結果、ストレージシステムが単一アレイを超えて成長することに対応することは困難である。
さらに、1つまたは複数のコントローラが障害になった場合に、ストレージシステムが性能および可用性を維持するのは困難である。
また、ストレージシステムは、要求の定期的な変更に対して性能を容易に最適化することができない。
ストレージシステムは、複数の組の関連したコントローラおよびストレージデバイスとして配置される。
この方法は、複数のストレージデバイス群間の性能要求を決定すること、個々のストレージデバイス群のコントローラプロセッサの利用と1組内のストレージデバイス群間で比例配分できる帯域幅の利用とに従って、性能要求値を分配すること、および性能要求値の分配に基づいて複数のストレージデバイス群をコントローラと関連付けることを含む。
例示のシステムでは、コントローラペアは、他のコントローラペアからのストレージデバイスに相互にアクセスすることができる。
例示のシステムは、コントローラ間で責任を分割する方法を含むことができ、柔軟なシェルフ管理およびストレージデバイスのアクセスの拡張を可能にする。
例示のシステムは、データを移動させることなく、1群のストレージデバイスに関係した制御機能および/またはデータ転送機能をコントローラ間およびアレイ間で移動させる方法を実施することができる。
例示のシステムは、複数のストレージデバイス群に関係した制御機能および/またはデータ転送機能を、システム内の複数のコントローラまたはアレイにわたってどのように委ねるべきかを決定する一般的な方法を実施することができる。
マルチコントローラファブリック(multiple-controller fabric)の利用、コントローラ帯域幅の利用、およびコントローラメモリの利用を考慮した自動化アルゴリズムの能力なしに、負荷バランシングの決定が行われる。
例示のシステムでは、ネットワークファブリック構成、例えば、限られた構成のファイバチャネルファブリックが、1群のアレイの背後に配置され、ストレージデバイスに関係したアクティビティが、データを移動することなくコントローラ間で移行できるようにする。
ストレージデバイスは、物理接続を複数のコントローラペアに拡張しており、したがって、データを移動することなく、コントローラペアのボトルネックを軽減することができる。
データの移動が回避されるので、コントローラの負荷の再バランシングは、性能または能力の頻度の高い負担、定期的な負担、または短期間の負担に対応するものとして適したものとなる。
1つのストレージシェルフのストレージデバイスを、そのファブリックに接続された群の任意のコントローラペアに関連付けることができる。
コントローラの障害の短時間、例えば数分以内で性能を再バランスさせることができる。
一般的なアレイ構成は、障害のコントローラおよび残りのアクティブなコントローラを含む2つのコントローラを有するので、この高速な対応は有益である。
残りのアクティブなコントローラは、ライトバックキャッシュの利益がない状態で、双方のコントローラの作業を実行する。
障害のコントローラを有するアレイは、マルチアレイアプリケーションを実行する際に、リンクが容易に弱くなる可能性があり、アプリケーション全体が通常の性能の半分で実行される可能性がある。
高速な再バランシングによって、障害のコントローラを有するアレイの作業を他のアレイ全体にわたって再分散させることができ、性能の劣化が大幅に低減される。
これに対して、従来のシステムは作業負荷の再分散を試みない。
その理由は、このような再分散は、トランジット時間を含めて、コントローラを修復する時間よりも、負荷を再バランスさせる時間の方が長い時間を要する可能性があるからである。
これに対して、従来のシステムは、データをコピーし、その結果、おそらく何時間もの移動時間を要することになる。
バックアップオペレーション中、余分なコントローラの帯域幅をそのオペレーションに割り当てることができ、ストレージデバイス群間でのローテーションが可能になる。
これに対して、従来のシステムでは、LUNの一部分をコピーすることができ、SANバックアップアクティビティの可能な2重化が行われる。
あらゆるコントローラペアがあらゆるストレージデバイスを使用することができ、その結果、新たなストレージデバイスシェルフの利益をシステム全体にわたって共有することができる。
このストレージシステム100は、複数の組の関連したコントローラ102およびストレージデバイス104として配置されている。
ストレージシステム100は、1つまたは2つ以上のストレージサブシステム106に複数のコントローラ102を含む。
例示の実施の形態では、ストレージサブシステム106は、カリフォルニア州パロアルトのHewlett Packard Company(商標)が製造して販売しているEnterprise Virtual Array(商標)ストレージサブシステムとすることができる。
コントローラ102は、ストレージデバイス群内に割り当てられた複数のストレージデバイス104の記憶を管理する集約された管理機能を実行する。
例示の実施の形態では、ストレージサブシステムは、マルチコントローラファブリック108、例えばバックエンドスイッチのアレイを介して、ストレージデバイスシェルフまたは単純ディスク束(JBOD(Just a Bunch of Disks))構成の複数のストレージデバイス104に記憶された情報を管理する。
1つまたは2つ以上のホストコンピュータ110は、ストレージエリアネットワーク(SAN)の仮想化を使用する一揃いのインテリジェントスイッチ112を介して、ストレージサブシステム106と通信することができる。
例えば、管理機器114等のデバイスで実行される管理ソフトウェアは、インテリジェントスイッチ112、マルチコントローラファブリック108、および/またはストレージサブシステム106のオペレーションを調整する。
あるいは、管理ソフトウェアは、ストレージサブシステム106、ホスト110、または他の適切なデバイス等のシステム100の他のプロセッサで実行することもできる。
管理コントローラは、インテリジェントスイッチ112の制御を介して、コントローラストライピング(controller striping)およびキャッシュ集約を含むオペレーションをハンドリングする。
管理ソフトウェアは、インテリジェントスイッチ112を操作して、トランスペアレントなマルチコントローラアクセスを構成する。
マルチコントローラファブリック108において、管理能力には、ストレージデバイス間での負荷バランシングが含まれる。
これに対して、ストレージデバイス群は、任意のコントローラ102によって管理されるストレージデバイス104のあらゆる組み合わせの論理的関連である。
このストレージボールト116は、単一の場所または建物の単一のキャビネット内に含まれたストレージシステムとすることもできるし、地理的に分散した複数のキャビネット内に含まれたストレージシステムとすることもできる。
例えば、ディスク等のストレージデバイスは、冗長な独立ディスクアレイ(RAID(Redundant Array of Independent Disks))スタイルの冗長アルゴリズムを円滑にするようにグループ化することができる。
ストレージデバイス群の帰属は、一般に、ストレージデバイス群を現在制御しているコントローラ102に存在するアルゴリズムに従って決定される。
コントローラのメモリ資源は、ストレージデバイス群を現在制御しているコントローラの仮想スロットとして管理することができる。
このバッテリバックアップされたメモリは、コントローラが障害の場合の連続的なデータアクセスがストレージデバイス群の移動を必要としないように、別のコントローラにミラーリングされている。
このネットワークは、複数の組の関連したコントローラペアおよびストレージデバイスシェルフとしてモデル化することができる。
これらの組の1つの内部の帯域幅は、その組のストレージデバイスのすべてにアクセスするのに十分であると仮定される。
しかしながら、これらの組と組との間の帯域幅は一般に限られている。
各コントローラとそのコントローラの組のストレージデバイスとの間の帯域幅がシステム全体にわたって一様であり、かつ、コントローラの内部帯域幅が、そのコントローラでインピングする(imping)すべての外部帯域幅の全利用を収容できる場合には、最適化アルゴリズムを簡略化することができる。
例えば、このコントローラは、環境監視ユニット等の関連したストレージデバイスシェルフコンポーネントとの相互作用を管理する。
ストレージデバイスに関係した障害情報は、その情報の検出方法に応じて、どのコントローラにも現れることがある。
この情報は、より高いレベルの管理ソフトウェアによって相関される。
この関連したコントローラは、或るデバイス群への割り当てを有効化または自動化する全システムストレージデバイスプール管理ユーティリティに、そのストレージデバイスが利用可能であることを知らせる。
デバイスを群に追加するプロセスは、その群を現在担当しているコントローラによって実行される。
この方法は、複数のストレージデバイス群202間の性能要求(performance demand)を決定することを含む。
さまざまな状況において、特定のシステム構成では、さまざまな技法を使用して、性能要求を決定することができる。
性能要求は、計測することもできるし、見積もることもできる。
性能要求パラメータは、データ転送帯域幅、単位時間当たりのオペレーションのオペレーションスループット等の1つまたは2つ以上の中から選択することができる。
性能監視をサポートするプロセッサのレジスタまたはメモリからプロセッサメトリックを読み出すことができる。
見積もりは、ストレージデバイスごとのスループットの比率としての性能要求の列挙、および/または、実施されたアップストリーム作業負荷管理パラメータの評価を組み込むことができる。
この分配は、個々のストレージデバイス群のコントローラプロセッサ利用および帯域幅利用に基づいている。
資源利用は、1組の内部のストレージデバイス群間で比例配分することができる。
この方法は、図2に示す動作を含み、コントローラプロセッサの利用ガイドラインおよび組間通信の利用ガイドラインを確立する(302)動作を追加する。
いくつかの実施の形態では、これらのガイドラインは、最大利用ターゲットのガイドラインおよび/またはコントローラプロセッサ全体にわたる均等化の適合性(appropriateness of equalization)304を含むことができる。
この方法は、図2に示す動作を含み、1つまたは2つ以上の技法を使用して、コントローラおよびストレージデバイス群の割り当てを最適化する(402)動作を追加する。
いくつかの実施の形態または状況では、3次元ビンパッキング(bin-packing)技法が割り当てを最適化する(404)。
3つの次元は、仮想スロット、コントローラプロセッサ利用、および組間リンク利用として定義することができる。
従来のビンパッキング技法は当業者に既知である。
いくつかの実施の形態または状況では、ビンパッキング技法を省略することもできるし、特定のアプリケーションまたは状況に対してあまりにも計算集中的(computationally-intensive)になり過ぎると判断することもできる。
ビンパッキング技法または他の計算技法の代わりに、経験または実験的評価に基づくカスタムなヒューリスティックアルゴリズム406を使用することができる。
他の実施の形態または状況では、1組の事前に計画された、コントローラとストレージデバイス群との関連パターンから、コントローラおよびストレージデバイス群の割り当てを最適化することができる(408)。
この方法は、図4に示す動作を含み、コントローラへのストレージデバイス群の割り当てが、事前に選択された判定基準を満たすかどうかを判断する(502)動作を追加する。
この判定基準が満たされると(504)、このコントローラとストレージデバイス群との関連が割り当てられる(206)。
そうでない場合には、ストレージデバイスのパターンは判定基準を満たさず、システムは割り当て失敗を示し(506)、1つまたは2つ以上の動作で応答する(508)。
可能な動作には、コントローラの追加、組間の帯域幅の追加、ストレージデバイスの追加、およびデータの移動によるストレージデバイスのグループ化の再構成が含まれる。
これらの動作の1つまたは2つ以上を実行することができる。
性能が前の性能よりもあまり良くない場合に、その状態を示すメッセージを生成することができる。
何らかのサービスレベル問題が存在するかどうかに応じて、或る応答を行うこともできるし、何ら動作を実行しないこともできる。
このストレージシステム600は、複数のストレージデバイス群604に構成可能な複数のストレージアレイ602と、個々のストレージアレイ602に選択的に接続された複数のコントローラ606とを備える。
デバイス群604は、原子的に移動(atomically migrated)可能な所有権属性(ownership attribute)を有する論理的に定義されたストレージデバイスの集合を表す論理構成体である。
ストレージシステム600は、複数の組610の関連したコントローラ606およびストレージデバイス612のリンク機構として配置されたネットワークファブリック608を形成する。
個々の組610の関連したコントローラペアおよびストレージシェルフは、その組610のすべてのストレージアレイ602にアクセスするのに十分な帯域幅を有し、組間の帯域幅は限られている。
いくつかの実施の形態では、ストレージエレメントに含まれるデータまたはメタデータへのアクセスのサポート以外のそのストレージエレメントとのすべての相互作用には、そのストレージエレメントと同じ組のコントローラ606が必要とされる。
このプロセッサ614は、個々のストレージデバイス群604のコントローラプロセッサの利用と1組610内のストレージデバイス群604間で比例配分できる帯域幅の利用とに基づく性能要求の分配に基づいて、複数のストレージデバイス群604をコントローラ606間で関連付けることができる。
複数のストレージアレイ602は、冗長な独立ディスクアレイ(RAID)スタイルの冗長アルゴリズム用にグループ化され、群の帰属は、群604を現在制御しているコントローラ606に存在するアルゴリズムに従って決定される。
コントローラの内部帯域幅は、そのコントローラ上でインピング(imping)するすべての外部帯域幅の全利用に対応するのに十分なものである。
いくつかの実施の形態では、仮想スロットにバッテリバックアップされたメモリが含まれる。
プロセッサ614で実行可能なプロセスは、このバッテリバックアップされたメモリの情報を1次コントローラから2次コントローラにミラーリングして、コントローラが障害事象の状況において、ストレージデバイス群を移動することなく、連続的なデータアクセスを維持する。
最大のストレージデバイス群604を収容できる十分大きな少なくとも1つの仮想スロットが、ストレージデバイス群の移動が実行されていない時に利用可能である。
ストレージシステム600は、他の制御エレメントも含み、他の制御エレメントには、アレイ602上のインテリジェントスイッチ620および下位ネットワークスイッチ622が含まれる。
ホスト618は、1つまたは2つ以上のストレージボールト626と通信することができ、このストレージボールト626は、ストレージアレイ602、コントローラ606、ネットワークファブリック608内のコンポーネントの一部を含む。
これらの能力は、ストレージシステム600のさまざまなレベルで制御することができる。
例えば、管理機器616は、数群のLUNおよびアレイに管理動作を適用することによって、単一のビューの管理の維持を容易にするレベルに存在する。
適切なLUNへのコマンドの転送およびLUNストライピングによって、LUNをアレイ全体にわたって配備することができる。
ストライピングは、冗長な独立ディスクアレイ(RAID)構成で使用される技法であり、この構成では、各ドライブのストレージ空間が、512バイトのセクタから数メガバイトまでの範囲のユニットに区画される。
すべてのドライブのストライプはインターリーブされて、順番にアドレス指定される。
アレイ全体にわたるLUNの配備は、例えば、レベルN+1のLUN全体にわたってレベルNのLUNをストライピングすることによって管理することができる。
この技法は、複数のアレイの資源を1つのホストレベルのLUNに適用するのに使用することができる。
LUNを移動させる能力は、コントローラ資源を追加すると同時に、過剰なストレージデバイスエンクロージャを除去することができる。
管理機器616は、数群のLUNおよびアレイに管理動作を適用することによって、LUNの移動を可能にすることができる。
また、管理機器616は、LUNの移動中にデータをコピーすることもできる。
インテリジェントスイッチ620は、LUN移動中に一貫したデータアクセスを容易にする。
この技法を使用すると、データを移動することなく、コントローラ606全体にわたるオンライン負荷平準化を可能にすることができ、ドライブエンクロージャを追加することなく、追加されたコントローラ606をストレージシステム600に適用することができ、物理ドライブを再割り当てして利用可能なストレージ容量に移行することを可能にすることができる。
管理機器616は、LUNおよびストレージデバイス群の移動を調整し、追跡することができ、作業の再分配動作の順序付けを制御することができ、数群のLUNおよびアレイに管理動作を適用することができる。
アレイ上のデータパスエージェントのインテリジェントスイッチ620は、コマンドを適切なLUNに転送することができ、組610のレベルで提示されたLUN全体にわたる、インテリジェントスイッチ620によって提示されたLUNのストライピングを管理することができ、移動中の中断を回避するようにキューを管理することができる。
コントローラ606は、メタデータでストレージデバイス群をパッケージすることおよびストレージデバイス群の移動プリミティブを供給することを含むいくつかの機能を実行することができ、また、データ移動中であっても再初期化および障害回復を実行することができる。
下位ストレージデバイスネットワーク622は、組間リンク624によって接続され、ストレージデバイス群のコントローラポート特有のビューを提供することができ、データを移動することなくボトルネックを軽減する断面帯域幅(cross-sectional bandwidth)を提供することができる。
例示の実施の形態では、組間リンク624は、下位ストレージデバイスネットワーク622のスイッチのペアを接続する組間スイッチから構成される。
また、下位ストレージデバイスネットワーク622は、ネットワーク構成の選択もサポートし、安全な発見および回復もサポートする。
例えば、システム600は、一般に、異なる動作能力を有するさまざまなストレージアレイコンポーネントまたはストレージシステムコンポーネントを含むことがあり、使用および容量の変化するレガシー(legacy)を有することがある。
システムコンポーネントおよびソフトウェアをストレージシステムの使用に適合させる最適化プロセスの一部は、組間リンク624の帯域幅、判定基準を含む性能を選択することとすることができる。
これらのプロセッサ614は、そのシステムのさまざまなレベルから実行されて、ストレージデバイスとは独立にコントローラのスケーリングを実施することができる。
プロセッサ614で実行可能な1つのプロセスは、データ転送帯域幅の計測および/または毎秒の実行オペレーションの計測を含む性能要求を計測することによって、複数のストレージデバイス群604間の性能要求を決定する。
他の実施の形態または他の状況で動作可能な実施の形態では、或るプロセスが、ストレージデバイスごとのスループットの比率として性能要求を列挙すること、および/または、実施されたアップストリーム作業負荷スロットルパラメータ(upstream workload throttling parameters)を評価することを含む性能要求を見積もることによって、複数のストレージデバイス群604間の性能要求を決定することができる。
いくつかの例および状況では、仮想スロット、コントローラプロセッサの利用、および組間リンクの利用として定義される次元を有する3次元ビンパッキング技法を使用して、ストレージを割り当てるプロセスが含まれる。
いくつかの実施の形態および/または状況では、カスタムなヒューリスティックアルゴリズムを使用して、コントローラおよびストレージデバイス群の割り当てを最適化する、プロセッサ614で実行されるプロセスを含めることができる。
いくつかの状況では、或るプロセスが、1組の事前に計画された、コントローラとストレージデバイス群との関連パターンの中から選択したものを使用して、コントローラおよびストレージデバイス群の割り当てを最適化する。
任意の個数の組610をストレージボールト626内に含めることができ、複数のストレージボールト626を相互接続することができる。
ストレージボールト626は、単一のシステムエンクロージャを含むこともできるし、複数のエンクロージャを含むこともでき、特定の場所にローカルなものとすることもできるし、地理的に分散させることもできる。
このストレージシステム700は、ディスクアレイ等の複数のストレージデバイス702を含み、この複数のストレージデバイス702は、ストレージドライブおよびそれらドライブのコントローラを含む。
図示したストレージデバイス702は、ストレージドライブ706、例えばディスクドライブアレイに相互接続された2つのコントローラ704を含む。
ストレージデバイス702は、データおよびコマンドを含む情報を、1つまたは2つ以上のネットワークファブリック710を介して多くのホストシステム708間で通信する。
図示したシステムは、エレメントマネージャ712を含み、このエレメントマネージャ712は、管理機器714に存在する。
管理機器714も、ネットワークファブリック710に接続される。
負荷バランシングを行う開示した技法は、一般に、コントローラ704の1つまたは2つ以上のもので実行される。
ただし、いくつかのシステムは、場合によっては、管理機器714のエレメントマネージャ712等の他のプロセッサまたはコントローラでこの技法を実行することができる。
コントローラペア704は、SCSIおよび/またはファイバチャネル(FC)スイッチ等のインタフェースループスイッチ716に接続される。
ストレージデバイス群814は、ストレージデバイスおよびデータ構造体を含み、データ構造体には、仮想データの論理表現を管理するのに使用できるメタデータ構造体の一例が含まれる。
例示の実施の形態では、メタデータ810に対して実行される、転送、通信、および変更を含むオペレーションによって、複数のアレイコントローラ間のネットワークファブリックの作成および管理が可能になり、それによって、コントローラ間で責任が割り当てられ、データを移動することなく、1群のストレージデバイスに関係した制御情報および/またはデータがコントローラ間およびアレイ間で移動される。
このコントローラは、論理ブロックアドレスの観点で表現された、ホストからの要求を、アクセスしたい情報を記憶した物理ストレージデバイスの特定の部分にアドレス指定された読み出し/書き込みコマンドに変換することを可能にする。
メタデータのメモリ表現は、コンパクトであり、適度に少ない量のメモリに記憶することができ、それによって、一般に単一のページアクセス内に含まれるオペレーションで読み出しアクセスが可能になる。
単一のLUN内で、複数のタイプのRAIDデータ保護を実施することができる。
ストレージプールが、1つまたは2つ以上のストレージデバイス群を含み、各ストレージデバイス群は、LUNをそこから割り当てることができる1組の物理ストレージデバイス818に対応する。
任意の個数のストレージデバイス群を定義することができる。
ストレージデバイス群は互いに独立に動作する。
LUNは、実際上、ホストが使用する接続プロトコルからの要求を一意に識別されるLUNにマッピングすることによってホストデバイスがアドレス指定できる連続した範囲の論理アドレスである。
例えば、クライアント等のデバイスは、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)等のネットワークを介してホストを使用して、LUNにアクセスすることができる。
この変換は、PSEGおよび各LUNに関連したテーブルが1つのストレージデバイス群に完全に含まれるように行われる。
特定のLUNを実施する物理ストレージセグメント(PSEG)808は、物理ストレージデバイスの多く、おそらく数百個にわたって分散される。
テーブル800、802、および804は、ストレージデバイス群内の空間割り当ておよび状態追跡を可能にする内部構造を有するテーブル配置の一実施の形態を示している。
この例示のテーブルは、レベル2マップ(level-two map)800、論理マップ802、および冗長セット記述子804を含む。
これらは、論理ストレージデバイスアドレスを、アドレスによって表された物理ストレージ位置にマッピングする主データ構造体(primary data structure)として結合する。
単一のレベル2マップ800は、LUN全体またはボリューム全体をハンドリングする。
各LUNは、特定の番号が、常に割り当てられる実際のアドレス空間に依存する複数の論理マップ802によって表される。
冗長セット記述子804も、割り当てられたストレージ空間用にのみ存在する。
各LUNのデータおよびマップのすべてが1つのストレージデバイス群に完全に含まれる限り、他のテーブル配置も同様に適用することができる。
利用可能な物理ストレージ容量の一部は、定数空間(quorum space)812として予約され、ストレージデバイス群に割り当てることも、LUNの実施に使用することもできない。
名前の文字列や他の識別情報または機能情報等の情報を、ストレージデバイス群およびLUNならびにオブジェクト作成のタイムスタンプに関連付けることができる。
このメタデータ情報には、各物理ドライブに一意である物理ストア識別子、バージョン制御情報、タイプ、物理ストレージセグメントサイズ、および状態情報が含まれる。
メタデータの物理ストレージセグメント(PSEG)808は、PSEGフリーリストも含むことができる。
この状態情報は、物理ストレージデバイスが予想通りに動作しているのか、利用可能でないのか、マージ中であるのか、取り替え中であるのか、再生中であるのかを示す。
マージにおいては、欠落しているドライブが再び現れて、使用前に元に戻されることになる。
取り替えにおいては、ドライブが除去のためマークを付けられて、データが分散スペアにコピーされることになる。
再生においては、ドライブが利用可能でなく、データが再生されることになる。
LLDIR816は、複数のLUNを指し示し、ストレージデバイス群におけるLUNの位置を特定するものである。
論理ディスクディレクトリのエントリは、そのLUNの主論理ディスクメタデータコンテナの位置を示す普遍固有識別子(UUID)である。
特定のLUNに特有のメタデータ810は、論理ディスクディレクトリ内にインデックスして特定のLUNのテーブルを見つけることによりアクセスすることができる。
主論理ディスクメタデータコンテナ内のメタデータ810は、マッピング構造体を含めて、メモリ内にロードされ、特定のLUNを実現することができる。
システムが、定数空間に含まれるメタデータを読み出して、対応する主論理ストレージデバイスメタデータコンテナへのポインタを取得し、次いで、主論理ストレージデバイスメタデータコンテナを取り出し、レベル2マップ800をロードすると、特定のLUNのメモリ表現が実現される。
このオペレーションは、あらゆるLUNについて実行され、通常、LUNの作成時に実行される。
ストレージアクセスの各要求は、LUNおよびアドレスを指定する。
ストレージコントローラは、特定のLUNに対して指定された論理ドライブがまだメモリに存在しない場合に、この論理ドライブをメモリにマッピングする。
テーブル800、802、および804もメモリにロードされる。
要求で指定された論理ストレージデバイスのアドレスは、第1のテーブル800内へのインデックスとして使用され、ポインタが、ストレージデバイス群に含まれる特定の構造体に従った任意の追加テーブルを通じて辿られ、ストレージアクセスに加わることになる具体的な物理ストレージセグメントが特定される。
メタデータ情報によって、コントローラは、ドライブ特有のコマンドを生成して、要求されたデータにアクセスすることが可能になる。
したがって、論理ストレージデバイスアドレスは、ストレージ要求を実施するためにアクセスされる1組の物理ストレージセグメントに容易にマッピングされる。
図9を参照して、フローチャートが、データを移動させることなく、コントローラ間およびアレイ間で制御および/またはデータを移動させるのに使用できる技法の一実施の形態900を示している。
ストレージデバイス群の移動に備えて、ユーザデータおよびメタデータのキャッシュに対するストレージデバイス群の依存のできるだけ多くを除去する(902)ことによって、データ移動オペレーションが容易になる。
具体的なオペレーションは、ユーザデータのライトバックキャッシュの使用を禁止すること、キャッシュをフラッシュすること、およびメタデータの変更を禁止することを含む。
十分な量のライトスルーユーザデータキャッシュおよびライトスルーメタデータキャッシュを保持することによって、群の可用性を持続することが確保される。
キャッシュのフラッシュおよびライトバックキャッシュ無効オペレーションによって、ストレージデバイス群の状態をストレージデバイスに完全に保持することが保証される。
例示の実施の形態では、依存の削減902によって、ストレージデバイス群のアクティビティがコントローラのアクティビティから十分に分離され、それによって、別のコントローラがLUNマップをアップロードすることが可能になる。
キューに入れられたコマンドのクラスは、メタデータに影響を与えるか、または、メタデータを変更するコマンドのサブセットであり、特に、メタデータを変えるコマンド、および、メタデータを変える他のコマンドに依存するコマンドである。
ストレージデバイス群のソースおよびデスティネーションの通常の配置では、コマンドは、図6に示すスイッチ620のレベルでキューに入れることができる。
システムは、実行中のコマンドが完了するのを待機する(906)。
状態が書き込まれると、元のコントローラまたは新たに関連付けられたコントローラのいずれかがストレージデバイス群をホストできる(910)ことを示すように、ステータス表示が設定される。
いずれかのコントローラからストレージデバイス群をホストできることによって、移動オペレーション中の障害からの回復を可能にする原子性(atomicity)が生成され、ストレージデバイス群の移動中の電力損失または単一障害に起因する可能性のあるあらゆる問題が解決される。
電力損失または単一障害に対する対応は、適切な優先ルールを使用して完了することができる(912)。
この優先ルールは、例えば、不確実な場合に、群にアクセスするコントローラペアを決定するために、障害のないコントローラペアを任意に順序付けること等の簡単な優先ルールである。
この新たなコントローラが、群のすべてのストレージデバイスのデータへのアクセスを制御するが、各ストレージデバイスと同じ組のコントローラペアが、ストレージデバイス管理の他の態様に対する制御を保持する。
したがって、アクセスは、管理から分離することができる。
表示を除去する前にアップロードが失敗すると(916)、ストレージデバイス群は任意の配置に従う(918)。
変更して送る動作904で阻止されなかったコマンドは、転送の一部として、ストレージ群を先に管理していたコントローラからフラッシュされる。
コマンドは、コマンド配信の再開と共に、ストレージデバイス群の移動のデスティネーション位置に転送される。
転送は、インテリジェントスイッチ、例えば図1に示すインテリジェントスイッチ112および図6に示すインテリジェントスイッチ620のレベルで行われる。
このプログラムは、あらゆるコンピュータ可読媒体に記憶することができる。
このコンピュータ可読媒体は、コンピュータに関係したあらゆるシステムまたは方法によって使用されるか、または、これらに関連して使用されるものである。
コンピュータ可読媒体は、電子デバイス、磁気デバイス、光デバイス、もしくは他の物理デバイスであるか、または、コンピュータに関係したシステム、方法、プロセス、もしくはプロシージャによって使用されるか、もしくは、これらに関連して使用されるコンピュータプログラムを収容もしくは記憶することができる手段である。
プログラムは、コンピュータ可読媒体に具体化することができる。
このコンピュータ可読媒体は、コンピュータもしくはプロセッサに基づくシステム等の命令実行システム、命令実行デバイス、命令実行コンポーネント、命令実行エレメント、もしくは命令実行装置、もしくは任意の適切なタイプの命令メモリもしくはストレージから命令をフェッチできる他のシステムによって使用されるか、または、それらに関連して使用されるものである。
コンピュータ可読媒体は、命令実行システム、命令実行装置、もしくは命令実行デバイスによって使用されるか、または、これらに関連して使用される任意の構造体、デバイス、コンポーネント、製品、または、プログラムの記憶、通信、伝搬、もしくは搬送が可能な他の手段とすることができる。
これらのプロセスステップまたはプロセスブロックは、そのプロセスの具体的な論理機能または論理ステップを実施する1つまたは2つ以上の実行可能命令を含むコードモジュール、コードセグメント、またはコード部分を表すことができる。
特定の例が具体的なプロセスステップまたはプロセス動作を示しているが、多くの代替的な実施形態が可能であり、一般に、簡単な設計選択によって行われる。
動作およびステップは、機能、目的、標準的なレガシー構造に対する整合性等の考慮に基づいて、本明細書の具体的な説明とは異なる順序で実行することができる。
説明した実施の形態の多くの変形、変更、追加、および改良が可能である。
例えば、当業者は、本明細書で開示した構造および方法を提供するのに必要なステップを容易に実施し、プロセスパラメータ、材料、および寸法が例として与えられているにすぎないことを理解する。
パラメータ、材料、および寸法は、所望の構造だけでなく変更をも達成するために変えることができ、これらの変更は特許請求の範囲に含まれる。
本明細書で開示した実施の形態の変形および変更も、添付の特許請求の範囲内に含まれることを維持しつつ行うことができる。
例えば、開示した装置および技法は、任意の適切な個数のストレージエレメントを有する任意のデータベース構成で使用することができる。
データベースシステムは磁気ディスクストレージエレメントを開示するが、任意の適切なタイプのストレージ技術を実施することができる。
システムは、さまざまなオペレーティングシステムおよびデータベースシステムで実施することができる。
制御エレメントは、汎用コンピュータシステム、ワークステーション、サーバ等のソフトウェアまたはファームウェアとして実施できるが、それ以外に、専用デバイスおよび組み込みシステムで実施することもできる。
108・・・マルチコントローラファブリック,
110・・・ホスト,
112・・・インテリジェントスイッチ,
114・・・管理ソフトウェア,
606・・・コントローラペア,
616・・・管理機器,
618・・・ホスト,
620・・・スイッチ,
622・・・スイッチ,
704・・・コントローラ,
706・・・ストレージドライブ,
708・・・ホスト,
710・・・ファブリック,
712・・・エレメントマネージャ,
714・・・管理機器,
716・・・SCSI/FCループスイッチ,
814・・・ストレージデバイス群
Claims (9)
- 複数のストレージデバイス群(604)に構成することができる複数のストレージアレイ(602)と、
前記ストレージデバイス群の1つ以上に選択的に接続された複数のコントローラペア(606)と、
関連したコントローラペアおよびストレージデバイス(612)からなる組(610)が複数あり、その複数の組のリンク機構として配置されたネットワークファブリック(608)と、
前記コントローラペアのいずれかから、前記コントローラペアの他のいずれかへコントローラ負荷を分配して、前記複数のストレージデバイス群の間でデータを移動させずに、ボトルネックを解消するプロセッサ(614)であって、前記コントローラ負荷の分配は、個々の前記ストレージデバイス群の前記コントローラペアによる利用と、1つの組(610)内のストレージデバイス群間の帯域幅の利用とに従った性能要求の分配に基づくプロセッサと
を備えるストレージシステム(600)。 - データ転送帯域幅の計測および/または毎秒の実行オペレーションの計測を含む性能要求を計測することによって、複数のストレージデバイス群(604)間の性能要求を決定する、前記プロセッサ(614)で実行可能なプロセス
をさらに備える請求項1に記載のストレージシステム。 - ストレージデバイスごとのスループットの比率として性能要求を見積もることにより、複数のストレージデバイス群(604)間の性能要求を決定する前記プロセッサ(614)で実行可能なプロセス
をさらに備える請求項1に記載のストレージシステム。 - 仮想スロット、コントローラプロセッサの利用および組間リンクの利用として定義される3つの次元を有する3次元ビンパッキング技法を使用して、コントローラペア(606)およびストレージデバイス群(604)の割り当てを最適化する前記プロセッサ(614)で実行可能なプロセス
をさらに備える請求項1に記載のストレージシステム。 - カスタムなヒューリスティックアルゴリズムを使用して、コントローラペア(606)およびストレージデバイス群(604)の割り当てを最適化する、前記プロセッサ(614)で実行可能なプロセス
をさらに備える請求項1に記載のストレージシステム。 - 1つの組(610)の事前に計画されたコントローラとストレージデバイス群との関連パターンの中から選択したものを使用して、コントローラペア(606)およびストレージデバイス群(604)の割り当てを最適化する前記プロセッサ(614)で実行可能なプロセス
をさらに備える請求項1に記載のストレージシステム。 - 前記ストレージデバイスは、複数の前記コントローラペアと物理的に接続されている
請求項1に記載のストレージシステム。 - 前記複数のストレージアレイ(602)は、冗長な独立ディスクアレイ(RAID)ストレージ用にグループ化される
請求項1に記載のストレージシステム。 - 前記ストレージデバイス群に関係した制御およびデータを配置するための仮想スロットとして管理されるコントローラメモリ資源
をさらに備える請求項1に記載のストレージシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/769,380 US7305520B2 (en) | 2004-01-30 | 2004-01-30 | Storage system with capability to allocate virtual storage segments among a plurality of controllers |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005222539A JP2005222539A (ja) | 2005-08-18 |
JP4634812B2 true JP4634812B2 (ja) | 2011-02-16 |
Family
ID=34808116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005018280A Expired - Fee Related JP4634812B2 (ja) | 2004-01-30 | 2005-01-26 | 複数のコントローラ間に仮想ストレージセグメントを割り当てる能力を有するストレージシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7305520B2 (ja) |
JP (1) | JP4634812B2 (ja) |
Families Citing this family (129)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3966459B2 (ja) * | 2002-05-23 | 2007-08-29 | 株式会社日立製作所 | ストレージ機器管理方法、システム、およびプログラム |
JP4322031B2 (ja) | 2003-03-27 | 2009-08-26 | 株式会社日立製作所 | 記憶装置 |
US7739577B2 (en) * | 2004-06-03 | 2010-06-15 | Inphase Technologies | Data protection system |
GB0415144D0 (en) * | 2004-07-06 | 2004-08-11 | Attar Software Ltd | Method and system for detecting events in process operating data and identifying associations between related events |
TWI344602B (en) * | 2005-01-13 | 2011-07-01 | Infortrend Technology Inc | Redundant storage virtualization computer system |
JP2006227856A (ja) * | 2005-02-17 | 2006-08-31 | Hitachi Ltd | アクセス制御装置及びそれに搭載されるインターフェース |
US7774514B2 (en) * | 2005-05-16 | 2010-08-10 | Infortrend Technology, Inc. | Method of transmitting data between storage virtualization controllers and storage virtualization controller designed to implement the method |
JP4327130B2 (ja) * | 2005-06-24 | 2009-09-09 | 富士通株式会社 | ディスクアレイアクセス動的制御装置、及び方法 |
US7457910B2 (en) * | 2005-06-29 | 2008-11-25 | Sandisk Corproation | Method and system for managing partitions in a storage device |
US7543089B2 (en) * | 2005-07-21 | 2009-06-02 | Dell Products L.P. | Adaptive input/output bus sharing method to improve performance of SCSI/SAS clusters |
JP4842593B2 (ja) * | 2005-09-05 | 2011-12-21 | 株式会社日立製作所 | ストレージ仮想化装置のデバイス制御引継ぎ方法 |
JP4634268B2 (ja) * | 2005-10-03 | 2011-02-16 | 株式会社日立製作所 | ストレージシステムの省電力化方法及びストレージシステム |
JP4790372B2 (ja) * | 2005-10-20 | 2011-10-12 | 株式会社日立製作所 | ストレージのアクセス負荷を分散する計算機システム及びその制御方法 |
US8549240B2 (en) * | 2006-02-16 | 2013-10-01 | Cisco Technology, Inc. | Apparatus and methods for an appliance to recover data from a storage device |
CN100423491C (zh) * | 2006-03-08 | 2008-10-01 | 杭州华三通信技术有限公司 | 虚拟化网络存储***及其网络存储设备 |
JP4901316B2 (ja) * | 2006-06-06 | 2012-03-21 | 株式会社日立製作所 | ストレージシステム及び記憶制御装置 |
US20080010513A1 (en) * | 2006-06-27 | 2008-01-10 | International Business Machines Corporation | Controlling computer storage systems |
US8706968B2 (en) | 2007-12-06 | 2014-04-22 | Fusion-Io, Inc. | Apparatus, system, and method for redundant write caching |
US8074011B2 (en) | 2006-12-06 | 2011-12-06 | Fusion-Io, Inc. | Apparatus, system, and method for storage space recovery after reaching a read count limit |
US9104599B2 (en) | 2007-12-06 | 2015-08-11 | Intelligent Intellectual Property Holdings 2 Llc | Apparatus, system, and method for destaging cached data |
US8161353B2 (en) | 2007-12-06 | 2012-04-17 | Fusion-Io, Inc. | Apparatus, system, and method for validating that a correct data segment is read from a data storage device |
US9734086B2 (en) | 2006-12-06 | 2017-08-15 | Sandisk Technologies Llc | Apparatus, system, and method for a device shared between multiple independent hosts |
US8151082B2 (en) * | 2007-12-06 | 2012-04-03 | Fusion-Io, Inc. | Apparatus, system, and method for converting a storage request into an append data storage command |
US8935302B2 (en) | 2006-12-06 | 2015-01-13 | Intelligent Intellectual Property Holdings 2 Llc | Apparatus, system, and method for data block usage information synchronization for a non-volatile storage volume |
US8443134B2 (en) | 2006-12-06 | 2013-05-14 | Fusion-Io, Inc. | Apparatus, system, and method for graceful cache device degradation |
US8489817B2 (en) | 2007-12-06 | 2013-07-16 | Fusion-Io, Inc. | Apparatus, system, and method for caching data |
US9495241B2 (en) | 2006-12-06 | 2016-11-15 | Longitude Enterprise Flash S.A.R.L. | Systems and methods for adaptive data storage |
US9116823B2 (en) | 2006-12-06 | 2015-08-25 | Intelligent Intellectual Property Holdings 2 Llc | Systems and methods for adaptive error-correction coding |
US7653767B2 (en) * | 2007-01-23 | 2010-01-26 | International Business Machines Corporation | Hierarchical enclosure management services |
JP5069011B2 (ja) * | 2007-01-29 | 2012-11-07 | 株式会社日立製作所 | ストレージモジュール及び容量プール空き容量調整方法 |
JP4362135B2 (ja) * | 2007-02-13 | 2009-11-11 | 富士通株式会社 | データ転送装置およびデータ転送方法 |
US8209365B2 (en) * | 2007-07-23 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Technique for virtualizing storage using stateless servers |
JP5124217B2 (ja) * | 2007-09-18 | 2013-01-23 | 株式会社日立製作所 | ストレージ装置 |
US7836226B2 (en) | 2007-12-06 | 2010-11-16 | Fusion-Io, Inc. | Apparatus, system, and method for coordinating storage requests in a multi-processor/multi-thread environment |
US8195912B2 (en) | 2007-12-06 | 2012-06-05 | Fusion-io, Inc | Apparatus, system, and method for efficient mapping of virtual and physical addresses |
US9519540B2 (en) | 2007-12-06 | 2016-12-13 | Sandisk Technologies Llc | Apparatus, system, and method for destaging cached data |
US8316277B2 (en) | 2007-12-06 | 2012-11-20 | Fusion-Io, Inc. | Apparatus, system, and method for ensuring data validity in a data storage process |
JP4542173B2 (ja) * | 2008-05-21 | 2010-09-08 | 富士通株式会社 | ストレージ装置、ディスクコントローラ、及びコマンド発行制御方法 |
US7970905B2 (en) * | 2008-07-03 | 2011-06-28 | International Business Machines Corporation | Method, system and computer program product for server selection, application placement and consolidation planning of information technology systems |
US8214404B2 (en) * | 2008-07-11 | 2012-07-03 | Avere Systems, Inc. | Media aware distributed data layout |
WO2010044131A1 (ja) * | 2008-10-13 | 2010-04-22 | 三菱電機株式会社 | リソース割り当て装置及びリソース割り当てプログラム及び記録媒体及びリソース割り当て方法 |
US8639808B1 (en) * | 2008-12-30 | 2014-01-28 | Symantec Corporation | Method and apparatus for monitoring storage unit ownership to continuously balance input/output loads across storage processors |
US8325724B2 (en) * | 2009-03-31 | 2012-12-04 | Emc Corporation | Data redistribution in data replication systems |
US8380924B2 (en) * | 2009-05-27 | 2013-02-19 | Hitachi, Ltd. | Storage system and processing efficiency improving method of storage system |
WO2010137070A1 (en) * | 2009-05-27 | 2010-12-02 | Hitachi, Ltd. | Storage system and processing efficiency improving method of storage system |
EP2476055B1 (en) | 2009-09-08 | 2020-01-22 | SanDisk Technologies LLC | Apparatus, system, and method for caching data on a solid-state storage device |
US9223514B2 (en) | 2009-09-09 | 2015-12-29 | SanDisk Technologies, Inc. | Erase suspend/resume for memory |
US9122579B2 (en) | 2010-01-06 | 2015-09-01 | Intelligent Intellectual Property Holdings 2 Llc | Apparatus, system, and method for a storage layer |
CN102598019B (zh) | 2009-09-09 | 2015-08-19 | 才智知识产权控股公司(2) | 用于分配存储的设备、***和方法 |
US8429436B2 (en) | 2009-09-09 | 2013-04-23 | Fusion-Io, Inc. | Apparatus, system, and method for power reduction in a storage device |
US8700752B2 (en) * | 2009-11-03 | 2014-04-15 | International Business Machines Corporation | Optimized efficient LPAR capacity consolidation |
WO2011143628A2 (en) | 2010-05-13 | 2011-11-17 | Fusion-Io, Inc. | Apparatus, system, and method for conditional and atomic storage operations |
WO2011145148A1 (en) * | 2010-05-20 | 2011-11-24 | Hitachi Software Engineering Co., Ltd. | Computer system and storage capacity extension method |
JP5552924B2 (ja) * | 2010-06-30 | 2014-07-16 | 富士通株式会社 | ストレージ制御プログラム、ストレージシステムおよびストレージ制御方法 |
US8725934B2 (en) | 2011-12-22 | 2014-05-13 | Fusion-Io, Inc. | Methods and appratuses for atomic storage operations |
US10013354B2 (en) | 2010-07-28 | 2018-07-03 | Sandisk Technologies Llc | Apparatus, system, and method for atomic storage operations |
US9411517B2 (en) * | 2010-08-30 | 2016-08-09 | Vmware, Inc. | System software interfaces for space-optimized block devices |
US8984216B2 (en) | 2010-09-09 | 2015-03-17 | Fusion-Io, Llc | Apparatus, system, and method for managing lifetime of a storage device |
JP5636853B2 (ja) | 2010-10-04 | 2014-12-10 | 富士通株式会社 | ストレージシステムの仮想化制御装置及び制御プログラム |
US10817421B2 (en) | 2010-12-13 | 2020-10-27 | Sandisk Technologies Llc | Persistent data structures |
US9218278B2 (en) | 2010-12-13 | 2015-12-22 | SanDisk Technologies, Inc. | Auto-commit memory |
WO2012082792A2 (en) | 2010-12-13 | 2012-06-21 | Fusion-Io, Inc. | Apparatus, system, and method for auto-commit memory |
US9047178B2 (en) | 2010-12-13 | 2015-06-02 | SanDisk Technologies, Inc. | Auto-commit memory synchronization |
US9208071B2 (en) | 2010-12-13 | 2015-12-08 | SanDisk Technologies, Inc. | Apparatus, system, and method for accessing memory |
US10817502B2 (en) | 2010-12-13 | 2020-10-27 | Sandisk Technologies Llc | Persistent memory management |
US8645652B2 (en) | 2010-12-17 | 2014-02-04 | International Business Machines Corporation | Concurrently moving storage devices from one adapter pair to another |
WO2012100087A2 (en) | 2011-01-19 | 2012-07-26 | Fusion-Io, Inc. | Apparatus, system, and method for managing out-of-service conditions |
WO2012106362A2 (en) | 2011-01-31 | 2012-08-09 | Fusion-Io, Inc. | Apparatus, system, and method for managing eviction of data |
US8874823B2 (en) | 2011-02-15 | 2014-10-28 | Intellectual Property Holdings 2 Llc | Systems and methods for managing data input/output operations |
US9003104B2 (en) | 2011-02-15 | 2015-04-07 | Intelligent Intellectual Property Holdings 2 Llc | Systems and methods for a file-level cache |
US9201677B2 (en) | 2011-05-23 | 2015-12-01 | Intelligent Intellectual Property Holdings 2 Llc | Managing data input/output operations |
WO2012116369A2 (en) | 2011-02-25 | 2012-08-30 | Fusion-Io, Inc. | Apparatus, system, and method for managing contents of a cache |
US8966191B2 (en) | 2011-03-18 | 2015-02-24 | Fusion-Io, Inc. | Logical interface for contextual storage |
US9563555B2 (en) | 2011-03-18 | 2017-02-07 | Sandisk Technologies Llc | Systems and methods for storage allocation |
US10007698B2 (en) * | 2011-11-28 | 2018-06-26 | Sybase, Inc. | Table parameterized functions in database |
US9274937B2 (en) | 2011-12-22 | 2016-03-01 | Longitude Enterprise Flash S.A.R.L. | Systems, methods, and interfaces for vector input/output operations |
US9251052B2 (en) | 2012-01-12 | 2016-02-02 | Intelligent Intellectual Property Holdings 2 Llc | Systems and methods for profiling a non-volatile cache having a logical-to-physical translation layer |
US10102117B2 (en) | 2012-01-12 | 2018-10-16 | Sandisk Technologies Llc | Systems and methods for cache and storage device coordination |
US9767032B2 (en) | 2012-01-12 | 2017-09-19 | Sandisk Technologies Llc | Systems and methods for cache endurance |
US9251086B2 (en) | 2012-01-24 | 2016-02-02 | SanDisk Technologies, Inc. | Apparatus, system, and method for managing a cache |
US9116812B2 (en) | 2012-01-27 | 2015-08-25 | Intelligent Intellectual Property Holdings 2 Llc | Systems and methods for a de-duplication cache |
US10019353B2 (en) | 2012-03-02 | 2018-07-10 | Longitude Enterprise Flash S.A.R.L. | Systems and methods for referencing data on a storage medium |
US9152336B1 (en) * | 2012-06-30 | 2015-10-06 | Emc Corporation | System and method for LUN adjustment |
US9612966B2 (en) | 2012-07-03 | 2017-04-04 | Sandisk Technologies Llc | Systems, methods and apparatus for a virtual machine cache |
US10339056B2 (en) | 2012-07-03 | 2019-07-02 | Sandisk Technologies Llc | Systems, methods and apparatus for cache transfers |
US10346095B2 (en) | 2012-08-31 | 2019-07-09 | Sandisk Technologies, Llc | Systems, methods, and interfaces for adaptive cache persistence |
US10318495B2 (en) | 2012-09-24 | 2019-06-11 | Sandisk Technologies Llc | Snapshots for a non-volatile device |
US10509776B2 (en) | 2012-09-24 | 2019-12-17 | Sandisk Technologies Llc | Time sequence data management |
US8959388B1 (en) * | 2012-12-28 | 2015-02-17 | Emc Corporation | Managing TLU recovery using pre-allocated LUN slices |
US9842053B2 (en) | 2013-03-15 | 2017-12-12 | Sandisk Technologies Llc | Systems and methods for persistent cache logging |
JP5907109B2 (ja) * | 2013-03-29 | 2016-04-20 | 日本電気株式会社 | 切り替え装置、この装置を搭載した記憶システム、切り替え方法および切り替えプログラム |
US10558561B2 (en) | 2013-04-16 | 2020-02-11 | Sandisk Technologies Llc | Systems and methods for storage metadata management |
US10102144B2 (en) | 2013-04-16 | 2018-10-16 | Sandisk Technologies Llc | Systems, methods and interfaces for data virtualization |
US9842128B2 (en) | 2013-08-01 | 2017-12-12 | Sandisk Technologies Llc | Systems and methods for atomic storage operations |
US10019320B2 (en) | 2013-10-18 | 2018-07-10 | Sandisk Technologies Llc | Systems and methods for distributed atomic storage operations |
US10073630B2 (en) | 2013-11-08 | 2018-09-11 | Sandisk Technologies Llc | Systems and methods for log coordination |
US9519580B2 (en) | 2013-11-11 | 2016-12-13 | Globalfoundries Inc. | Load balancing logical units in an active/passive storage system |
US9317210B2 (en) | 2013-12-13 | 2016-04-19 | International Business Machines Corporation | Balancing traffic through logical unit range partitioning |
US20150237140A1 (en) * | 2014-02-14 | 2015-08-20 | Tenoware R&D Limited | Data storage systems and methods |
JP6307962B2 (ja) * | 2014-03-19 | 2018-04-11 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び、情報処理プログラム |
CN104951243B (zh) * | 2014-03-28 | 2018-04-27 | 伊姆西公司 | 虚拟化存储***中的存储扩展方法和装置 |
JP6394313B2 (ja) | 2014-11-19 | 2018-09-26 | 富士通株式会社 | ストレージ管理装置、ストレージ管理方法及びストレージ管理プログラム |
US9946607B2 (en) | 2015-03-04 | 2018-04-17 | Sandisk Technologies Llc | Systems and methods for storage error management |
US9342372B1 (en) | 2015-03-23 | 2016-05-17 | Bmc Software, Inc. | Dynamic workload capping |
JP6558090B2 (ja) | 2015-06-15 | 2019-08-14 | 富士通株式会社 | ストレージ管理装置、ストレージ管理方法及びストレージ管理プログラム |
US9680657B2 (en) | 2015-08-31 | 2017-06-13 | Bmc Software, Inc. | Cost optimization in dynamic workload capping |
KR102611987B1 (ko) | 2015-11-23 | 2023-12-08 | 삼성전자주식회사 | 패브릭 네트워크를 이용한 파워 관리 방법 및 이를 적용하는 패브릭 네트워크 시스템 |
CN107526538B (zh) * | 2016-06-22 | 2020-03-20 | 伊姆西Ip控股有限责任公司 | 用于在存储***中传递消息的方法和*** |
US10102085B2 (en) * | 2016-08-25 | 2018-10-16 | GM Global Technology Operations LLC | Coordinated multi-mode allocation and runtime switching for systems with dynamic fault-tolerance requirements |
US10552079B2 (en) | 2017-01-18 | 2020-02-04 | International Business Machines Corporation | Planning of data segment merge for distributed storage system |
US10496531B1 (en) | 2017-04-27 | 2019-12-03 | EMC IP Holding Company LLC | Optimizing virtual storage groups by determining and optimizing associations between virtual devices and physical devices |
GB2605871B (en) * | 2017-05-01 | 2023-02-08 | Fisher Rosemount Systems Inc | Open architecture industrial control system |
US11086536B2 (en) * | 2018-07-30 | 2021-08-10 | EMC IP Holding Company LLC | Techniques for multiple directors concurrently servicing I/Os directed to same physical storage devices |
US11604590B2 (en) * | 2018-09-06 | 2023-03-14 | International Business Machines Corporation | Metadata track entry sorting in a data storage system |
US10817198B2 (en) | 2019-02-15 | 2020-10-27 | Wipro Limited | Method and system for realtime optimization of load on plurality of backup storage devices |
US11741056B2 (en) | 2019-11-01 | 2023-08-29 | EMC IP Holding Company LLC | Methods and systems for allocating free space in a sparse file system |
US11665068B2 (en) * | 2020-08-27 | 2023-05-30 | Oracle International Corporation | Techniques for allocating capacity in cloud-computing environments |
CN115220640A (zh) * | 2021-04-15 | 2022-10-21 | 伊姆西Ip控股有限责任公司 | 用于处理数据的方法、电子设备和计算机程序产品 |
US11579976B2 (en) | 2021-04-29 | 2023-02-14 | EMC IP Holding Company LLC | Methods and systems parallel raid rebuild in a distributed storage system |
US11740822B2 (en) | 2021-04-29 | 2023-08-29 | EMC IP Holding Company LLC | Methods and systems for error detection and correction in a distributed storage system |
US11669259B2 (en) | 2021-04-29 | 2023-06-06 | EMC IP Holding Company LLC | Methods and systems for methods and systems for in-line deduplication in a distributed storage system |
US11604610B2 (en) * | 2021-04-29 | 2023-03-14 | EMC IP Holding Company LLC | Methods and systems for storing data in a distributed system using offload components |
US11892983B2 (en) | 2021-04-29 | 2024-02-06 | EMC IP Holding Company LLC | Methods and systems for seamless tiering in a distributed storage system |
US11567704B2 (en) | 2021-04-29 | 2023-01-31 | EMC IP Holding Company LLC | Method and systems for storing data in a storage pool using memory semantics with applications interacting with emulated block devices |
CN113608697B (zh) * | 2021-08-04 | 2023-06-30 | 北京八分量信息科技有限公司 | 异构网络中存储负载的分类方法、装置及相关产品 |
US11762682B2 (en) | 2021-10-27 | 2023-09-19 | EMC IP Holding Company LLC | Methods and systems for storing data in a distributed system using offload components with advanced data services |
US12007942B2 (en) | 2021-10-27 | 2024-06-11 | EMC IP Holding Company LLC | Methods and systems for seamlessly provisioning client application nodes in a distributed system |
US11922071B2 (en) | 2021-10-27 | 2024-03-05 | EMC IP Holding Company LLC | Methods and systems for storing data in a distributed system using offload components and a GPU module |
US11677633B2 (en) | 2021-10-27 | 2023-06-13 | EMC IP Holding Company LLC | Methods and systems for distributing topology information to client nodes |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US665700A (en) * | 1900-03-14 | 1901-01-08 | Arthur L Stevens | Vehicle-wheel tire. |
JP2826028B2 (ja) | 1993-01-28 | 1998-11-18 | 富士通株式会社 | 分散メモリ型プロセッサシステム |
EP0785500B1 (en) | 1996-01-19 | 2004-03-03 | Hitachi, Ltd. | Storage device and method for data sharing |
US6658526B2 (en) | 1997-03-12 | 2003-12-02 | Storage Technology Corporation | Network attached virtual data storage subsystem |
US6061761A (en) * | 1997-10-06 | 2000-05-09 | Emc Corporation | Method for exchanging logical volumes in a disk array storage device in response to statistical analyses and preliminary testing |
US6341333B1 (en) * | 1997-10-06 | 2002-01-22 | Emc Corporation | Method for transparent exchange of logical volumes in a disk array storage device |
US6088766A (en) * | 1997-10-06 | 2000-07-11 | Emc Corporation | Method for exchanging data blocks on disk storage devices utilizing disk access statistics and testing for the effect of a change |
US6442650B1 (en) * | 1997-10-06 | 2002-08-27 | Emc Corporation | Maximizing sequential output in a disk array storage device |
US6189071B1 (en) * | 1997-10-06 | 2001-02-13 | Emc Corporation | Method for maximizing sequential output in a disk array storage device |
US6711649B1 (en) * | 1997-10-06 | 2004-03-23 | Emc Corporation | Load balancing on disk array storage device |
US6405282B1 (en) * | 1997-10-06 | 2002-06-11 | Emc Corporation | Method for analyzine disk seek times in a disk array storage device |
JP3726484B2 (ja) | 1998-04-10 | 2005-12-14 | 株式会社日立製作所 | 記憶サブシステム |
US6718347B1 (en) * | 1999-01-05 | 2004-04-06 | Emc Corporation | Method and apparatus for maintaining coherence among copies of a database shared by multiple computers |
US6654830B1 (en) | 1999-03-25 | 2003-11-25 | Dell Products L.P. | Method and system for managing data migration for a storage system |
JP2001051900A (ja) | 1999-08-17 | 2001-02-23 | Hitachi Ltd | 仮想計算機方式の情報処理装置及びプロセッサ |
US6647514B1 (en) | 2000-03-23 | 2003-11-11 | Hewlett-Packard Development Company, L.P. | Host I/O performance and availability of a storage array during rebuild by prioritizing I/O request |
US7054927B2 (en) * | 2001-01-29 | 2006-05-30 | Adaptec, Inc. | File system metadata describing server directory information |
US6633955B1 (en) * | 2001-09-27 | 2003-10-14 | Emc Corporation | Four way support for dynamic mirror service policy |
US6895467B2 (en) | 2001-10-22 | 2005-05-17 | Hewlett-Packard Development Company, L.P. | System and method for atomizing storage |
US20030217211A1 (en) * | 2002-05-14 | 2003-11-20 | Rust Robert A. | Controller communications over an always-on controller interconnect |
-
2004
- 2004-01-30 US US10/769,380 patent/US7305520B2/en active Active
-
2005
- 2005-01-26 JP JP2005018280A patent/JP4634812B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005222539A (ja) | 2005-08-18 |
US20050172097A1 (en) | 2005-08-04 |
US7305520B2 (en) | 2007-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4634812B2 (ja) | 複数のコントローラ間に仮想ストレージセグメントを割り当てる能力を有するストレージシステム | |
US8006056B2 (en) | Storage system including capability to move a virtual storage device group without moving data | |
US11663029B2 (en) | Virtual machine storage controller selection in hyperconverged infrastructure environment and storage system | |
US11132139B2 (en) | Systems and methods for migrating components in a hierarchical storage network | |
US20200267219A1 (en) | Systems and methods for granular resource management in a storage network | |
US8661216B2 (en) | Systems and methods for migrating components in a hierarchical storage network | |
US11847098B2 (en) | Metadata control in a load-balanced distributed storage system | |
US20080147878A1 (en) | System and methods for granular resource management in a storage network | |
US11853587B2 (en) | Data storage system with configurable durability | |
KR20040071187A (ko) | 데이터 네트워크에 배속된 스토리지 자원의 관리 | |
US11693738B2 (en) | Storage system spanning multiple failure domains |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070730 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071024 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071129 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101026 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4634812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |