JP2000242434A - 記憶装置システム - Google Patents

記憶装置システム

Info

Publication number
JP2000242434A
JP2000242434A JP11344260A JP34426099A JP2000242434A JP 2000242434 A JP2000242434 A JP 2000242434A JP 11344260 A JP11344260 A JP 11344260A JP 34426099 A JP34426099 A JP 34426099A JP 2000242434 A JP2000242434 A JP 2000242434A
Authority
JP
Japan
Prior art keywords
frame
disk array
node
host
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP11344260A
Other languages
English (en)
Other versions
JP2000242434A5 (ja
Inventor
Naoto Matsunami
直人 松並
Takashi Oeda
高 大枝
Akira Yamamoto
山本  彰
Yasuyuki Ajimatsu
康行 味松
Masahiko Sato
雅彦 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP11344260A priority Critical patent/JP2000242434A/ja
Publication of JP2000242434A publication Critical patent/JP2000242434A/ja
Publication of JP2000242434A5 publication Critical patent/JP2000242434A5/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】計算機システムの規模、要求などに応じた記憶
装置システムを構築でき、将来における記憶装置システ
ムの拡張、信頼性の向上を容易に実現できるようにす
る。 【解決手段】記憶装置システム1は、データを保持する
記憶装置とそれを制御する制御装置を有する複数のサブ
セット10とサブセット10とホスト30との間に配置
されるスイッチ装置20を有する。スイッチ装置20
は、記憶装置システム1の構成を管理する管理情報を保
持する管理テーブルを有し、管理情報に従ってホスト3
0が出力するフレーム情報に含まれるアドレス情報を変
換してフレーム情報をサブセット10に振り分ける。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数のディスク装
置を制御するディスク制御システムの実現方法に関し、
特に、ディスク制御システムの高速化、低コスト化、コ
ストパフォーマンスの向上の方法に関する。
【0002】
【従来の技術】計算機システムに用いられる記憶装置シ
ステムとして、複数のディスク装置を制御するディスク
アレイシステムがある。ディスクアレイシステムについ
ては、例えば、“A Case for Redundant Arrays of Ine
xpensive Disks (RAID)”; InProc. ACM SIGMOD, June
1988(カリフォルニア大学バークレー校発行)に開示さ
れている。ディスクアレイは、複数のディスク装置を並
列に動作させることで、ディスク装置を単体で用いた記
憶装置システムに比べ高速化を実現する技術である。
【0003】複数のディスクアレイシステムを、複数の
ホストと相互に接続する方法として、ファイバチャネル
(Fibre Channel)のFabricを使用した方法がある。こ
の方法を適用した計算機システムの例が、日経エレクト
ロニクス1995.7.3(no.639)「シリアルSCSIがいよいよ
市場へ」P.79 図3に示されている。ここに開示される
計算機システムでは、複数のホストコンピュータ(以下
では単にホストと呼ぶ)と複数のディスクアレイシステ
ムが、それぞれ、ファイバチャネルを介してファブリッ
ク装置に接続される。ファブリック装置は、ファイバチ
ャネルのスイッチであり、ファブリック装置に接続する
任意の装置間の転送路の接続を行う。ファブリック装置
はファイバチャネルのパケットである「フレーム」の転
送に対し透過であり、ホストとディスクアレイシステム
は、互いにファブリック装置を意識することなく2点間
で通信を行う。
【0004】
【発明が解決しようとする課題】従来のディスクアレイ
システムでは、大容量化のためディスク装置の台数を増
やし、高性能化のため台数に見合った性能を有するコン
トローラを実現しようとすると、コントローラの内部バ
スの性能限界や、転送制御を行うプロセッサの性能限界
が顕在化する。このような問題に対処するために、内部
バスを拡張し、プロセッサ数を増加することが行われて
いる。しかし、このような対処の仕方は、多数のバス制
御によるコントローラ構成の複雑化や、プロセッサ間の
共有データの排他制御等による制御ソフトの複雑化とオ
ーバヘッドの増加を招く。このため、コストを非常に上
昇させるとともに、性能は頭打ちになり、その結果、コ
ストパフォーマンスが悪化する。また、このような装置
は、大規模なシステムでは、そのコストに見合った性能
が実現できるものの、規模がそれほど大きくないシステ
ムには見合わない、拡張性が制限される、開発期間の増
大と開発コストの上昇を招くといった課題がある。
【0005】複数のディスクアレイシステムを並べファ
ブリック装置で相互接続することによって、システム全
体としての大容量化、高性能化を行うことが可能であ
る。しかし、この方法では、ディスクアレイシステム間
に関連性は全くなく、特定のディスクアレイシステムに
アクセスが集中したとしてもそれを他の装置に分散する
ことができないので、実使用上の高性能化が実現できな
い。また、ホストから見た論理的なディスク装置(論理
ユニットと呼ぶ)の容量は、1台のディスクアレイシス
テムの容量に制限されるので、論理ユニットの大容量化
は実現できない。
【0006】ディスクアレイシステム全体を高信頼化し
ようとした際に、ホストが備えているミラーリング機能
を用いて2台のディスクアレイシステムによるミラー構
成を実現することができるが、ホストによるミラーリン
グのための制御オーバヘッドが発生し、システム性能が
制限されるという課題がある。また、多数のディスクア
レイシステムがシステム内に個別に存在すると、システ
ム管理者が管理するための負荷が増加する。このため、
多数の保守人員、複数台分の保守費用が必要になる等、
管理コストが増加する。さらに、複数のディスクアレイ
システム、ファブリック装置は、それぞれ独立した装置
であるので、各種設定は、それぞれの装置毎に異なる方
法で実施する必要がある。このため、管理者のトレーニ
ングや、操作時間の増大にともない運用コストが増大す
る。
【0007】本発明の目的は、これら従来技術における
課題を解決し、計算機システムの規模、要求などに応じ
た記憶装置システムを構築でき、将来における記憶装置
システムの拡張、信頼性の向上などに容易に対応するこ
とのできる記憶装置システムを実現することにある。
【0008】
【課題を解決するための手段】本発明の記憶装置システ
ムは、データを保持する記憶媒体を有する記憶装置と、
この記憶装置を制御する制御装置とを有する複数の記憶
装置サブシステム、複数の記憶装置サブシステムに保持
されるデータを使用する計算機に接続された第1のイン
タフェースノード、各々が記憶装置サブシステムのいず
れかに接続された複数の第2のインタフェースノード、
及び第1のインタフェースノード及び複数の第2のイン
タフェースノードが接続され、第1のインタフェースノ
ードと複数の第2のインタフェースノードとの間でフレ
ームの転送を行う転送手段を有する。
【0009】好ましくは、第1のインタフェースノード
は、記憶装置システムの構成情報を格納した構成管理テ
ーブルと、計算機から送られてくるフレームに応答し
て、該フレームを解析し、構成管理テーブルに保持され
た構成情報に基づいてそのフレームの転送先に関する情
報変換して転送手段に転送する。
【0010】また、フレームの転送に際して、第1のイ
ンタフェースノードは、そのフレームを受け取るべきノ
ードのノードアドレス情報をフレームに付加する。転送
手段はフレームに付加されたノードアドレス情報に従っ
てフレームを転送する。第2のインタフェースノード
は、転送手段から受け取ったフレームからノードアドレ
ス情報を除いてフレームを再形成し、目的の記憶装置サ
ブシステムに転送する。
【0011】本発明のある態様において、記憶装置シス
テムは、転送手段に接続する管理プロセッサを有する。
管理プロセッサは、オペレータからの指示に従って、構
成管理テーブルに構成情報を設定する。構成情報には、
計算機からのアクセスを制限する情報が含まれる。
【0012】
【発明の実施の形態】[第1実施形態]図1は、本発明
が適用されたディスクアレイシステムを用いたコンピュ
ータシステムの一実施形態における構成図である。
【0013】1はディスクアレイシステム、30はディ
スクアレイシステムが接続されるホストコンピュータ
(ホスト)である。ディスクアレイシステム1は、ディ
スクアレイサブセット10、ディスクアレイスイッチ2
0、ディスクアレイシステム全体の設定管理を行うディ
スクアレイシステム構成管理手段70、ディスクアレイ
スイッチ20とディスクアレイシステム構成管理手段7
0との間、およびディスクアレイサブセット10ディス
クアレイシステム構成管理手段70との間の通信インタ
フェース(通信I/F)80を有する。ホスト30とデ
ィスクアレイシステム1とは、ホストインタフェース
(ホストI/F)31で接続されており、ホストI/F
31はディスクアレイシステム1のディスクアレイスイ
ッチ20に接続する。ディスクアレイシステム1の内部
において、ディスクアレイスイッチ20とディスクアレ
イサブセット10は、ディスクアレイインタフェース
(ディスクアレイI/F21)で接続される。
【0014】ホスト30、ディスクアレイサブセット1
0は、図では、各々4台示されているが、この台数に関
しては制限はなく任意である。ホスト30とディスクア
レイサブセット10の台数が異なっても構わない。ま
た、ディスクアレイスイッチ20は、本実施形態では図
示の通り二重化されている。各ホスト30および各ディ
スクアレイサブセット10は、それぞれ別々のホストI
/F31、ディスクアレイI/F21で二重化されたデ
ィスクアレイスイッチ20の双方に接続されている。こ
れは、一方のディスクアレイスイッチ20、ホストI/
F31、あるいはディスクアレイI/F21が故障して
も他方を使用することでホスト30からディスクアレイ
システム1へのアクセスを可能とし、高い可用性を実現
するためである。しかし、このような二重化は必ずしも
必須ではなく、システムに要求される信頼性レベルに応
じて選択可能である。
【0015】図2は、ディスクアレイサブセット10の
一構成例を示す構成図である。101は上位システム
(ホスト10)からのコマンドを解釈してキャッシュヒ
ットミス判定を実施し、上位システムとキャッシュ間の
データ転送を制御する上位アダプタ、102はディスク
データアクセス高速化のためのキャッシュ、および、マ
ルチプロセッサ間の共有データを格納する共有メモリ
(以下キャッシュ・共有メモリと呼ぶ)、104はディ
スクアレイサブセット10内に格納される複数のディスク
ユニットである。103はディスクユニット104を制
御し、ディスクユニット104とキャッシュ間のデータ
転送を制御する下位アダプタである。106はディスク
アレイサブセット構成管理手段であり、ディスクアレイ
システム1全体を管理するディスクアレイシステム構成
管理手段70と通信I/F80を介して通信し、構成パ
ラメータの設定や、障害情報の通報等の管理を行う。
【0016】上位アダプタ101、キャッシュ・共有メ
モリ102、下位アダプタ103はそれぞれ二重化され
ている。この理由は上記ディスクアレイスイッチ20の
二重化と同様、高可用性を実現するためであり必須では
ない。また、各ディスクユニット104は、二重化され
た下位アダプタ103のいずれからも制御可能である。
本実施形態では、低コスト化の観点から同一のメモリ手
段をキャッシュと共有メモリに共用しているが、これら
は勿論分離することも可能である。
【0017】上位アダプタ101は、上位アダプタ10
1の制御を実行する上位MPU1010、上位システ
ム、すなわちディスクアレイスイッチ20との接続I/
FであるディスクアレイI/F21を制御するディスク
アレイI/Fコントローラ1011、キャッシュ・共有
メモリ102と上位MPU1010とディスクアレイI
/Fコントローラ1011との間の通信、データ転送を
行う上位バス1012を含む。
【0018】図では各上位アダプタ101毎に1台のデ
ィスクアレイI/Fコントローラ1011が示されてい
るが、1つの上位アダプタに対し、複数のディスクアレ
イI/Fコントローラ1011を設けてもよい。
【0019】下位アダプタ103は、下位アダプタ10
3の制御を実行する下位MPU1030、ディスク10
4とのインタフェースであるディスクI/Fを制御する
ディスクI/Fコントローラ1031、キャッシュ・共
有メモリ102と下位MPU1030とディスクI/F
コントローラ1031との間の通信、データ転送を行う
下位バス1032を含む。
【0020】図では各下位アダプタ103毎に4台のデ
ィスクI/Fコントローラ1031が示されているが、
その数は任意であり、ディスクアレイの構成や、接続す
るディスク台数に応じて変更可能である。
【0021】図3は、ディスクアレイスイッチ20の一
構成例を示す構成図である。200はディスクアレイス
イッチ全体の制御および管理を行うプロセッサである管
理プロセッサ(MP)、201はn×nの相互スイッチ
経路を構成するクロスバスイッチ、202はディスクア
レイI/F21毎に設けられるディスクアレイI/Fノ
ード、203はホストI/F31毎に設けられるホスト
I/Fノード、204はディスクアレイシステム構成管
理手段70との間の通信を行う通信コントローラであ
る。2020はディスクアレイI/Fノード202とク
ロスバスイッチ201を接続するパス、2030はホス
トI/Fノード203とクロスバスイッチ201を接続
するパス、2040は他のディスクアレイスイッチ20
と接続し、クラスタを構成するためのクラスタ間I/
F、2050はMP200とクロスバスイッチ201を
接続するためのパスである。
【0022】図4はクロスバスイッチ201の構造を示
す構成図である。2010はクロスバスイッチ201に
接続するパス2020、2030、2050、およびク
ラスタ間I/F2040を接続するポートであるスイッ
チングポート(SWP)である。SWP2010はすべ
て同一の構造を有し、あるSWPから他のSWPへの転
送経路のスイッチング制御を行う。図では1つのSWP
についてのみ転送経路を示しているが、すべてのSWP
間で同様の転送経路が存在する。
【0023】図5は、ホストI/Fノード203の一構
成例を示す構成図である。本実施形態では、具体的に説
明をするためにホストI/F31とディスクアレイI/
F21の両方にファイバチャネルを使用するものと仮定
する。もちろんホストI/F31とディスクアレイI/
F21として、ファイバチャネル以外のインタフェース
を適用することも可能である。ホストI/Fノード20
3とディスクアレイI/Fノード202の両方に同一の
インタフェースを使用することで、両者を同一構造にで
きる。本実施形態においては、ディスクアレイI/Fノ
ード202も図に示すホストI/Fノード203と同様
に構成される。以下では、ホストI/Fノード203を
例に説明を行う。
【0024】2021は受信したファイバチャネルフレ
ーム(以下単にフレームと呼ぶ)をどのノードに転送す
るかを検索する検索プロセッサ(SP)、2022はホ
スト30(ディスクアレイI/Fノード202の場合
は、ディスクアレイサブセット10)との間でフレーム
を送受信するインタフェースコントローラ(IC)、2
022はIC2023が受信したフレームに対しSP2
021が検索した結果に基づいて変換を施すスイッチン
グコントローラ(SC)、2024はSC2021が変
換したフレームを他のノードに転送するためにクロスバ
スイッチ201を通過できる形式にパケット化するパケ
ット生成部(SPG)、2025は受信したフレームを
一時的に格納するフレームバッファ(FB)、2026
は一つのホストからのディスクアレイアクセス要求コマ
ンド(以下単にコマンドと呼ぶ)に対応した複数のフレ
ーム列であるエクスチェンジ(Exchange)を識別するた
めのエクスチェンジ番号を管理するエクスチェンジテー
ブル(ET)、2027は複数のディスクアレイサブセ
ット10の構成情報を格納するディスクアレイ構成管理
テーブル(DCT)である。
【0025】ディスクアレイスイッチ20の各構成部
は、すべてハードウェアロジックで構成されることが性
能上望ましい。しかし、求められる性能を満足できるな
らば、汎用プロセッサを用いたプログラム制御によりS
P2021やSC2022の機能を実現することも可能
である。
【0026】各ディスクアレイサブセット10は、各々
が有するディスクユニット104を1または複数の論理
的なディスクユニットとして管理している。この論理的
なディスクユニットを論理ユニット(LU)と呼ぶ。L
Uは、物理的なディスクユニット104と1対1で対応
する必要はなく、1台のディスクユニット104に複数
のLUが構成され、あるいは、複数のディスクユニット
104で1つのLUが構成されても構わない。
【0027】ディスクアレイサブセット10の外部から
見た場合、1つのLUは、1台のディスク装置として認
識される。本実施形態では、ディスクアレイスイッチ2
0によりさらに論理的なLUが構成され、ホスト30
は、このLUに対してアクセスするように動作する。本
明細書では、1つのLUでホスト30から認識される1
つのLUが構成される場合、ホスト30により認識され
るLUを独立LU(ILU)、複数のLUでホスト30
から認識される1つのLUが構成される場合、ホスト3
0により認識されるLUを統合LU(CLU)と呼ぶ。
【0028】図12に、4つのディスクアレイサブセッ
トのLUで1つの統合LUが構成される場合における各
階層間でのアドレス空間の対応関係を示す。図におい
て、1000は、一例として、ホスト“#2”からみた
ディスクアレイシステム1の1つの統合LUにおけるア
ドレス空間、1100は、ディスクアレイサブセット1
0のLUのアドレス空間、1200はディスクユニット
104(ここでは、ディスクアレイサブセット“#0”
についてのみ図示されている)のアドレス空間を示して
いる。
【0029】各ディスクアレイサブセット10のLU
は、ここでは、4台のディスクユニット104によりR
AID5(Redundant Arrays of
Inexpensive Disks Level
5)型ディスクアレイとして構成されるものとする。各
ディスクアレイサブセット10は、それぞれn0、n
1、n2、n3の容量を有するLUを持つ。ディスクア
レイスイッチ20は、これら4つのLUの持つアドレス
空間を(n0+n1+n2+n3)の容量を有するアド
レス空間に統合し、ホスト30から認識される統合LU
を実現する。
【0030】本実施形態では、例えば、ホスト#2が領
域A1001をアクセスする場合、領域A1001を指
定したアクセス要求は、ディスクアレイスイッチ20に
よりディスクアレイサブセット#0のLUの領域A′1
101をアクセスするための要求に変換されてディスク
アレイサブセット#0に転送される。ディスクアレイサ
ブセット#0は、領域A′1101をさらに、ディスク
ユニット104上の領域A″1201にマッピングして
アクセスを行う。アドレス空間1000とアドレス空間
1100との間のマッピングは、ディスクアレイスイッ
チ20が有するDCT207に保持された構成情報に基
づき行われる。この処理の詳細については後述する。な
お、ディスクアレイサブセット内におけるマッピングに
ついては、既によく知られた技術であり、本明細書では
詳細な説明については省略する。
【0031】本実施形態において、DCT207は、シ
ステム構成テーブルとサブセット構成テーブルを含む。
図6は、システム構成テーブルの構成を、図7は、サブ
セット構成テーブルの構成を示す。
【0032】図7に示すように、システム構成テーブル
20270は、ホストLUの構成を示す情報を保持する
ホストLU構成テーブル20271、及びディスクアレイス
イッチ20のディスクアレイI/Fノード202とディ
スクアレイサブセット10との接続関係を示すディスク
アレイI/Fノード構成テーブル20272を有する。
【0033】ホストLU構成テーブル20271は、ホスト
30からみたLUごとに、そのLUを識別する番号であ
るHost-LU No.、LUの属性を示すLU Type、CLU Clas
s、及びCLU Stripe Size、ホストLUの状態を示す情報
であるCondition、ホストLUを構成するディスクアレ
イサブセット10のLUに関する情報であるLU情報
(LU Info.)を有する。
【0034】LU Typeは、このホストLUがCLUであ
るか、ILUであるかといったLUの種類を示す情報で
ある。CLU Classは、LU TypeによりこのホストLUがC
LUであることが示される場合に、そのクラスが“Join
ed”、“mirrored”、及び“Striped”のいずれである
かを示す情報である。“Joined”は、図11により説明
したように、いくつかのLUを連結して1つの大きな記
憶空間を持つCLUが構成されていることを示す。“Mi
rrored”は、第6実施形態として後述するように、2つ
のLUにより二重化されたLUであることを示す。“St
riped”は、第7実施形態として後述するように、複数
のLUで構成され、データがこれら複数のLUに分散し
て格納されたLUであることを示す。CLU Stripe Size
は、CLU Classにより「Striped」であることが示される
場合に、ストライピングサイズ(データの分散の単位と
なるブロックのサイズ)を示す。
【0035】Conditionにより示される状態には、“Nor
mal”、“Warning”、“Fault”、及び“Not Defined”
の4種類がある。“Normal”はこのホストLUが正常な
状態であることを示す。“Warning”は、このホストL
Uを構成するLUに対応するいずれかのディスクユニッ
トに障害が発生している等の理由により縮退運転が行わ
れていることを示す。“Fault”は、ディスクアレイサ
ブセット10の故障などによりこのホストLUを運転す
ることができないことを示す。“Not Defined”は、対
応するHost-LU No.のホストLUが定義されていないこ
とを示す。
【0036】LU Infoは、このホストLUを構成するL
Uについて、そのLUが属するディスクアレイサブセッ
ト10を特定する情報、ディスクアレイサブセット内で
のLUN、及びそのサイズを示す情報を含む。ホストL
UがILUの場合には、唯一のLUに関する情報が登録
される。ホストLUがCLUの場合には、それを構成す
る全てのLUについて、それぞれのLUに関する情報が
登録される。例えば、図において、Host-LU No.が
“0”であるHost-LUは、ディスクアレイサブセット
“#0”のLUN“0”、ディスクアレイサブセット
“#1”のLUN“0”、ディスクアレイサブセット
“#2”のLUN“0”、ディスクアレイサブセット
“#3”のLUN“0”の4つのLUから構成されるC
LUであり、そのCLUクラスが“Joined”であるCL
Uであることが分かる。
【0037】ディスクアレイI/Fノード構成テーブル
20272は、ディスクアレイI/F21が接続するディス
クアレイサブセット10のポートごとに、どのディスク
アレイスイッチ20のディスクアレイI/Fノード20
2が接続されるかを示す情報を保持する。
【0038】具体的には、ディスクアレイサブセット1
0を特定するSubset No.、ポートを特定するSubset Por
t No.、そのポートに接続するディスクアレイスイッチ
20を特定するSwitch No.、及びそのディスクアレイス
イッチ20のディスクアレイI/Fノード202を特定
するI/F Node No.を有する。ディスクアレイサブセット
10が複数のポートを備えている場合には、そのポート
毎に情報が設定される。
【0039】サブセット構成テーブルは、図7に示すよ
うに、各ディスクアレイサブセット10に対応する複数
のテーブル202720〜202723を有する。各テーブルは、デ
ィスクアレイサブセット10内で構築されたRAIDグ
ループの構成を示す情報を保持するRAIDグループ構
成テーブル202730と、ディスクアレイサブセット10内
に構築されたLUの構成を示す情報を保持するLU構成
テーブル202740を含む。
【0040】RAIDグループ構成テーブル202730は、
RAIDグループに付加された番号を示すGroup No.、
そのRAIDグループのレベルを示すLevel、そのRA
IDグループを構成するディスクの数を示す情報である
Disks、そのRAIDグループがRAIDレベル0,5
等のストライピングされた構成の場合、そのストライプ
サイズを示すStripe Sizeを情報として含む。例えば、
図に示されるテーブルにおいて、RAIDグループ
“0”は、4台のディスクユニットにより構成されたR
AIDグループであり、RAIDレベルが5、ストライ
プサイズがS0である。
【0041】LU構成テーブル202740は、LUに付加さ
れた番号(LUN)を示すLU No.、このLUがどのRA
IDグループに構成されているのかを示すRAID Group、
LUの状態を示すCondition、このLUのサイズ(容
量)を示すSize、このLUがディスクアレイサブセット
10のどのポートからアクセス可能なのかを示すPort、
及びその代替となるポートを示すAlt. Portを情報とし
て含む。Conditionで示される状態は、ホストLUにつ
いてのConditionと同様、“Normal”、“Warning”、
“Fault”、“Not Defined”の4種類がある。Alt. Por
tに設定された情報により特定されるポートは、Portに
設定された情報で特定されるポートに障害が発生したと
きに用いられるが、単に複数のポートから同一のLUを
アクセスするために用いることもできる。
【0042】図8は、ファイバチャネルにおけるフレー
ムの構成図である。ファイバチャネルのフレーム40
は、フレームの先頭を示すSOF(Start Of Frame)4
00、フレームヘッダ401、転送の実態データを格納
する部位であるフレームペイロード402、32ビット
のエラー検出コードであるCRC(Cyclic RedundancyC
heck)403、フレームの最後尾を示すEOF(End Of
Frame)404を含む。フレームヘッダ401は、図9
に示すような構造になっており、フレーム転送元のID
(S_ID)、フレーム転送先のID(D_ID)、エクスチェ
ンジの起動元、応答先が指定するそれぞれのエクスチェ
ンジID(OX_ID、RX_ID)、エクスチェンジ中のフレー
ムグループを指定するシーケンスのID(SEQ_ID)等が
格納されている。
【0043】本実施形態では、ホスト30により発行さ
れるフレームには、S_IDとしてホスト30に割り当てら
れたIDが、また、D_IDとしてディスクアレイスイッチ
20のポートに割り当てられたIDが使用される。一つ
のホストコマンドに対し、1ペアのエクスチェンジID
(OX_ID、RX_ID)が割り当てられる。複数のデータフレ
ームを同一のエクスチェンジに対し発行する必要がある
ときは、その全データフレームに対して同一のSEQ_IDが
割り当てられ、おのおのはシーケンスカウント(SEQ_CN
T)で識別される。フレームペイロード402の最大長
は2110バイトであり、フレーム種毎に格納される内
容が異なる。例えば、後述するFCP_CMDフレームの場
合、図10に示すように、SCSIのLogical Unit Num
ber(LUN)、Command Description Block(CDB)
等が格納される。CDBは、ディスク(ディスクアレ
イ)アクセスに必要なコマンドバイト、転送開始論理ア
ドレス(LBA)、転送長(LEN)を含む。
【0044】以下、本実施形態のディスクアレイシステ
ムの動作を説明する。
【0045】ディスクアレイシステムを使用するのに先
立ち、ディスクアレイスイッチ20に対して、ディスク
アレイサブセット10の構成情報を設定する必要があ
る。システム管理者は、管理端末5からディスクアレイ
システム構成手段70を介して、すべてのディスクアレ
イサブセット10およびディスクアレイスイッチ20の
構成設定情報を獲得する。管理者は、管理端末5から所
望のシステム構成になるよう論理ユニットの構成設定、
RAIDレベルの設定、障害発生時の交代パスの設定等、各
種設定に必要な設定情報を入力する。ディスクアレイシ
ステム構成管理手段70は、その設定情報を受け、各デ
ィスクアレイサブセット10およびディスクアレイスイ
ッチ20に設定情報を転送する。なお、管理端末5にお
ける設定情報の入力については第5実施形態にて別途説
明する。
【0046】ディスクアレイスイッチ20では、通信コ
ントローラ204が設定情報を獲得し、MP200によ
り各ディスクアレイサブセット10のアドレス空間情報
等の構成情報が設定される。MP200は、クロスバス
イッチ201経由で各ホストI/Fノード203および
ディスクアレイI/Fノード202に、ディスクアレイ
サブセット10の構成情報を配信する。
【0047】各ノード203、および202はこの情報
を受信すると、SP2021により構成情報をDCT2
027に格納する。ディスクアレイサブセット10で
は、ディスクアレイサブセット構成管理手段106が、
設定情報を獲得し、共有メモリ102に格納する。各上
位MPU1010および下位MPU1030は、共有メ
モリ102上の設定情報を参照し、各々の構成管理を実
施する。
【0048】以下では、ホスト“#2”がディスクアレ
イシステム1に対し、リードコマンドを発行した場合の
動作を説明する。図11に、ホストからのリード動作時
にファイバチャネルを通して転送されるフレームのシー
ケンスを示す模式図を、図13にこのときのディスクア
レイスイッチのホストI/Fノード203における動作
のフローチャートを示す。
【0049】なお、以下の説明では、ホスト“#2”
が、図12における記憶領域A1001をアクセスする
ことを仮定する。記憶領域A1001に対応する実際の
記憶領域A″は、ディスクアレイサブセット“#0”の
LUN=0のLUを構成するディスクユニット#2のア
ドレス空間内に存在するものとする。また、アドレス空
間1000を構成するLUを定義しているホストLU構
成テーブル20271のLU Typeには「CLU」が、CLU Clas
sには「Joined」が設定されているものとする。
【0050】データのリード時、ホスト30は、リード
コマンドを格納したコマンドフレーム「FCP_CMD」をデ
ィスクアレイスイッチ20に発行する(図11矢印
(a))。ディスクアレイスイッチ20のホストI/F
ノード“#2”は、IC2023によりホストI/F3
1経由でコマンドフレーム「FCP_CMD」を受信する(ス
テップ20001)。IC2023は、SC2022にコマ
ンドフレームを転送する。SC2022は、受け取った
コマンドフレームを一旦FB2025に格納する。この
際、SC2022は、コマンドフレームのCRCを計算
し、受信情報が正しいことを検査する。CRCの検査に
誤りがあれば、SC2022は、その旨をIC2023
に通知する。IC2023は、誤りの通知をSC202
2から受けると、ホストI/F31を介してホスト30
にCRCエラーを報告する。(ステップ20002)。
【0051】CRCが正しい場合、SC2022は、F
B2025に保持したフレームをリードし、それがコマ
ンドフレームであることを認識してフレームヘッダ40
1を解析する(ステップ20003)。そして、SC202
2は、SP2021に指示し、S_ID、D_ID、OX_ID等の
エクスチェンジ情報をET2026に登録する(ステッ
プ20004)。
【0052】次に、SC2022は、フレームペイロー
ド402を解析し、ホスト30により指定されたLUN
およびCDBを取得する(ステップ20005)。SP20
21は、SC2022の指示により、DCT2027を
検索し、ディスクアレイサブセット10の構成情報を得
る。具体的には、SP2021は、ホストLU構成テー
ブル20271を検索し、受信したフレームペイロード40
2に格納されたLUNと一致するHost-LU No.を有する
情報を見つける。SP2021は、LU Type、CLU Class
に設定された情報からホストLUの構成を認識し、LU I
nfo.に保持されている情報に基づきアクセスすべきディ
スクサブセット10とその中のLUのLUN、及びこの
LU内でのLBAを判別する。次に、SP2021は、
サブセット構成テーブル202720のLU構成テーブル2027
40を参照し、目的のディスクアレイサブセット10の接
続ポートを確認し、ディスクアレイI/Fノード構成テ
ーブル20272からそのポートに接続するディスクアレイ
I/Fノード202のノードNo.を得る。SP2021
は、このようにして得たディスクアレイサブセット10
を識別する番号、LUN、LBA等の変換情報をSC2
022に報告する。(ステップ20006)。
【0053】次に、SC2022は、獲得した変換情報
を使用しフレームペイロード402のLUNとCDBの
なかのLBAを変換する。また、フレームヘッダ401
のD_IDを対応するディスクアレイサブセット10のホス
トI/Fコントローラ1011のD_IDに変換する。な
お、この時点ではS_IDは書き換えない(ステップ200
07)。
【0054】SC2022は、変換後のコマンドフレー
ムと、対象ディスクアレイサブセット10に接続するデ
ィスクアレイI/Fノード番号を、SPG2024に転
送する。SPG2024は、受け取った変換後のコマン
ドフレームに対し、図14に示すような簡単な拡張ヘッ
ダ601を付加したパケットを生成する。このパケット
をスイッチングパケット(S Packet)60と呼
ぶ。S Packet60の拡張ヘッダ601には、転送元(自
ノード)番号、転送先ノード番号、及び転送長が付加含
まれる。SPG2024は、生成したS Packet60をク
ロスバスイッチ201に送信する(ステップ20008)。
【0055】クロスバスイッチ201は、ホストI/F
ノード“#2”と接続するSWP2010によりS Pack
et60を受信する。SWP2010は、S Packet60の
拡張ヘッダ601を参照し、転送先のノードが接続する
SWPへのスイッチ制御を行って経路を確立し、S Pack
et60を転送先のディスクアレイI/Fノード202
(ここでは、ディスクアレイI/Fノード“#0”)に
転送する。SWP2010は、経路の確立をS Packet6
0の受信の度に実施し、S Packet60の転送が終了した
ら、その経路を解放する。ディスクアレイI/Fノード
“#0”では、SPG2024がS Packet60を受信
し、拡張ヘッダ601を外してコマンドフレームの部分
をSC2022に渡す。
【0056】SC2022は、受け取ったコマンドフレ
ームのフレームヘッダのS_IDに自分のIDを書き込む。
次にSC2022は、SP2021に対し、コマンドフ
レームのS_ID、D_ID、OX_ID等のエクスチェンジ情報、
及びフレーム転送元ホストI/Fノード番号をET20
26に登録するよう指示し、IC2023にコマンドフ
レームを転送する。IC2023は、フレームヘッダ4
01の情報に従い、接続するディスクアレイサブセット
10(ここでは、ディスクアレイサブセット“#0”)
にコマンドフレームを転送する(図11矢印(b))。
【0057】ディスクアレイサブセット“#0”は、変
換後のコマンドフレーム「FCP_CMD」をディスクアレイ
I/Fコントローラ1011で受信する。上位MPU1
010は、コマンドフレームのフレームペイロード40
2に格納されたLUNとCDBを取得し、指定された論
理ユニットのLBAからLEN長のデータをリードする
コマンドであると認識する。
【0058】上位MPU1010は、共有メモリ102
に格納されたキャッシュ管理情報を参照し、キャッシュ
ヒットミス/ヒット判定を行う。ヒットすればキャッシ
ュ102からデータ転送を実施する。ミスの場合、ディ
スクユニットからデータをリードする必要があるので、
RAID5の構成に基づくアドレス変換を実施し、キャ
ッシュ空間を確保する。そして、ディスクユニット2か
らのリード処理に必要な処理情報を生成し、下位MPU
1030に処理を引き継ぐべく、共有メモリ102に処
理情報を格納する。
【0059】下位MPU1030は、共有メモリ102
に処理情報が格納されたことを契機に処理を開始する。
下位MPU1030は、適切なディスクI/Fコントロ
ーラ1031を特定し、ディスクユニット2へのリード
コマンドを生成して、ディスクI/Fコントローラ10
31にコマンドを発行する。ディスクI/Fコントロー
ラ1031は、ディスクユニット2からリードしたデー
タをキャッシュ102の指定されたアドレスに格納して
下位MPU1030に終了報告を通知する。下位MPU
1030は、処理が正しく終了したことを上位MPU1
010に通知すべく共有メモリ102に処理終了情報を
格納する。
【0060】上位MPU1010は、共有メモリ102
に処理終了情報が格納されたことを契機に処理を再開
し、ディスクアレイI/Fコントローラ1011にリー
ドデータ準備完了を通知する。ディスクアレイI/Fコ
ントローラ1011は、ディスクアレイスイッチ20の
当該ディスクアレイI/Fノード“#0”に対し、ファ
イバチャネルにおけるデータ転送準備完了フレームであ
る「FCP_XFER_RDY」を発行する(図11矢印(c))。
【0061】ディスクアレイI/Fノード“#0”で
は、データ転送準備完了フレーム「FCP_XFER_RDY」を受
信すると、SC2022が、ディスクアレイサブセット
20から受信した応答先エクスチェンジID(RX_ID)
を獲得し、S_ID、D_ID、OX_IDを指定して、SP202
1に指示しET2026の当該エクスチェンジ情報にRX
_IDを登録する。SC2022は、データ転送準備完了
フレームの転送先(コマンドフレームの転送元)のホス
トI/Fノード番号を獲得する。SC2022は、この
フレームのS_IDを無効化し、SPG2024に転送す
る。SPG2024は、先に述べたようにしてS Packet
を生成し、クロスバスイッチ201経由で対象ホストI
/Fノード“#2”に転送する。
【0062】ホストI/Fノード“#2”では、SPG
2024がデータ転送準備完了フレームのS Packetを受
信すると、S Packetの拡張ヘッダを外し「FCP_XFER_RD
Y」を再生してSC2022に渡す(ステップ20011)。
SC2022は、SP2021に指示しET2026を
サーチして該当するエクスチェンジを特定する(ステッ
プ20012)。
【0063】次に、SC2022は、フレームが「FCP_
XFER_RDY」であるかどうか調べ(ステップ20013)、「F
CP_XFER_EDY」であれば、ET2026の応答先エクス
チェンジID(RX_ID)の更新をSP2021に指示す
る。応答先エクスチェンジIDとしては、このフレーム
に付加されていた値が使用される(ステップ20014)。
そして、SC2022は、フレームヘッダ401のS_I
D、D_IDをホストI/Fノード203のIDとホスト3
0のIDを用いた適切な値に変換する(ステップ2001
5)。これらの処理によりフレームヘッダ401は、ホ
スト“#2”に対するフレームに変換される。IC20
23は、ホスト“#2”に対し、このデータ転送準備完
了フレーム「FCP_XFER_RDY」を発行する(図11の矢印
(d):ステップ20016)。
【0064】ディスクアレイサブセット“#0”のディ
スクアレイI/Fコントローラ1011は、データ転送
を行うため、データフレーム「FCP_DATA」を生成し、デ
ィスクアレイスイッチ20に転送する(図11矢印
(e))。フレームペイロードの転送長には制限がある
ため、1フレームで転送できる最大のデータ長は2KB
である。データ長がこれを越える場合は、必要数だけデ
ータフレームを生成し発行する。すべてのデータフレー
ムには同一のSEQ_IDが割り当てられる。データフレーム
の発行は、同一のSEQ_IDに対し複数のフレームが生成さ
れることを除き(すなわちSEQ_CNTが変化する)、デー
タ転送準備完了フレームの場合と同様である。
【0065】ディスクアレイスイッチ20は、データ転
送準備完了フレームの処理と同様に、データフレーム
「FCP_DATA」のフレームヘッダ401の変換を実施す
る。ただし、データフレームの転送の場合、RX_IDが既
に確立されているので、データ転送準備完了フレームの
処理におけるステップ20014の処理はスキップされる。
フレームヘッダ401の変換後、ディスクアレイスイッ
チ20は、ホスト“#2”にデータフレームを転送する
(図11矢印(f))。
【0066】次に、ディスクアレイサブセット“#0”
のディスクアレイI/Fコントローラ1011は、終了
ステータス転送を行うため、ステータスフレーム「FCP_
RSP」を生成し、ディスクアレイスイッチ20に対し発
行する(図11矢印(g))。ディスクアレイスイッチ
20では、データ転送準備完了フレームの処理と同様
に、SPG2024がS Packetから拡張ヘッダを外し
「FCP_RSP」ステータスフレームを再現し(ステップ200
21)、SP2021によりET2026を検索しエクス
チェンジ情報を獲得する(ステップ20022)。SC20
22は、その情報に基づきフレームを変換する(ステッ
プの20023)。変換されたフレームは、IC2023に
よりホスト“#2”に転送される(図11矢印(h):
ステップ20024)。最後にSP2021は、ET202
6からエクスチェンジ情報を削除する(ステップ2002
5)。
【0067】以上のようにしてディスクアレイからのリ
ード処理が行われる。ディスクアレイシステム1に対す
るライト処理についてもデータフレームの転送方向が逆
転するのみで、上述したリード処理と同様の処理が行わ
れる。
【0068】図3に示したように、ディスクアレイスイ
ッチ20は、クロスバスイッチ201にクラスタ間I/
F2040を備えている。図1に示したシステム構成で
は、クラスタ間I/F2040は使用されていない。本
実施形態のディスクアレイスイッチ20は、クラスタ間
I/F2040を利用して図15に示すように、他のデ
ィスクアレイスイッチと相互に接続されることができ
る。
【0069】本実施形態におけるディスクアレイスイッ
チ20単独では、ホスト30とディスクアレイサブセッ
ト10を合計8台までしか接続できないが、クラスタ間
I/F2040を利用して複数のディスクアレイスイッ
チを相互接続し、接続できるホスト10とディスクアレ
イの数を増やすことができる。例えば、図15に示すシ
ステムでは、4台のディスクアレイスイッチ20を使っ
てホスト30とディスクアレイサブセット10を合計3
2台まで接続でき、これらの間で相互にデータ転送が可
能になる。
【0070】このように、本実施形態では、ディスク容
量や性能の必要性に合わせて、ディスクアレイサブセッ
トやホストの接続台数を増加していくことができる。ま
た、必要な転送帯域分のホストI/Fを用いてホスト−
ディスクアレイシステム間を接続することができるの
で、容量、性能、接続台数の拡張性を大幅に向上させる
ことができる。
【0071】以上説明した実施形態によれば、1台のデ
ィスクアレイサブセットの性能が、内部のMPUや内部
バスで制限されたとしても、複数のディスクアレイサブ
セットを用いて、ディスクアレイスイッチによりホスト
とディスクアレイサブセット間を相互接続することがで
きる。これにより、ディスクアレイシステムトータルと
して高い性能を実現することができる。ディスクアレイ
サブセットの性能が比較的低いものであっても、複数の
ディスクアレイサブセットを用いることで高性能化を実
現できる。したがって、低コストのディスクアレイサブ
セットをコンピュータシステムの規模に合わせて必要な
台数だけ接続することができ、規模に応じた適切なコス
トでディスクアレイシステムを構築することが可能とな
る。
【0072】また、ディスク容量の増大や性能の向上が
必要になったときは、ディスクアレイサブセットを必要
なだけ追加すればよい。さらに、複数のディスクアレイ
スイッチを用いて任意の数のホスト及びディスクアレイ
サブセットを接続できるので、容量、性能、接続台数の
いずれをも大幅に向上させることができ、高い拡張性を
有するシステムが実現できる。
【0073】さらにまた、本実施形態によれば、ディス
クアレイサブセットとして、従来のディスクアレイシス
テムそのものの縮小機を用いることができるので、既に
開発した大規模な制御ソフトウェア資産をそのまま利用
でき、開発コストの低減と開発期間の短縮を実現するこ
とができる。
【0074】[第2実施形態]図16は、本発明の第2
の実施形態におけるコンピュータシステムの構成図であ
る。本実施形態は、ディスクアレイスイッチのホストI
/Fノードにおいて、フレームヘッダ401のみを変換
し、フレームペイロード402は操作しない点、及び、
ディスクアレイスイッチ、ホストI/F、ディスクアレ
イI/Fが二重化されていない点で第1実施形態と構成
上相違する。したがって、各部の構成は、第1実施形態
と大きく変わるところがなく、その詳細については説明
を省略する。
【0075】図16において、各ディスクアレイサブセ
ット10は、複数の論理ユニット(LU)110で構成
されている。各LU110は、独立LUとして構成され
る。一般に、各ディスクアレイサブセット10内のLU
110に割り当てられるLUNは、0から始まる連続番
号である。このため、ホスト30に対して、ディスクア
レイシステム1内のすべてのLU110のLUNを連続
的に見せる場合には、第1実施形態と同様に、フレーム
ペイロード402のLUNフィールドを変換する必要が
ある。本実施形態では、各ディスクアレイサブセット1
0のLUNをそのままホスト30に見せることで、フレ
ームペイロード402の変換を不要とし、ディスクアレ
イスイッチの制御を簡単なものとしている。
【0076】本実施形態のディスクアレイスイッチ20
は、ホストI/Fノード203ごとに特定のディスクア
レイサブセット10をアクセスできるものと仮定する。
この場合、一つのホストI/F31を使うと、1台のデ
ィスクアレイサブセット10にあるLU110のみがア
クセス可能である。1台のホストから複数のディスクア
レイサブセット10のLU110をアクセスしたい場合
には、そのホストを複数のホストI/Fノード203に
接続する。また、複数のホスト30から1台のディスク
アレイサブセット10のLU110をアクセスできるよ
うにする場合は、同一のホストI/Fノード203にル
ープトポロジーや、ファブリックトポロジー等を用い、
複数のホスト30を接続する。このように構成すると、
1台のホスト30から1つのLU110をアクセスする
際に、ホストI/Fノード203のD_ID毎にディスクア
レイサブセット10が確定することになるため、各LU
のLUNをそのままホスト30に見せることが可能であ
る。
【0077】本実施形態では、上述した理由により、ホ
スト30に、各ディスクアレイサブセット10内のLU
110のLUNをそのままホスト30に見せているた
め、ディスクアレイスイッチ20におけるLUNの変換
は不要となる。このため、ディスクアレイスイッチ20
は、ホスト30からフレームを受信すると、フレームヘ
ッダ401のみを第1実施例と同様にして変換し、フレ
ームペイロード402は変換せずにディスクアレイサブ
セット10に転送する。本実施形態における各部の動作
は、フレームペイロード402の変換が行われないこと
を除くと第1実施形態と同様であるので、ここでは詳細
な説明を省略する。本実施形態によれば、ディスクアレ
イスイッチ20の開発を容易にできる。
【0078】[第3実施形態]第2実施形態では、ディ
スクアレイスイッチのホストI/Fノードにおいて、フ
レームヘッダのみを変換しているが、以下に説明する第
3実施形態ではフレームヘッダも含め、フレームの変換
を行わない形態について説明する。本実施形態のコンピ
ュータシステムは、図1に示す第1実施形態におけるコ
ンピュータシステムと同様に構成される。
【0079】第1、および第2実施形態では、ホスト3
0に対し、ディスクアレイサブセット10の台数や、L
U110の構成等、ディスクアレイシステム1の内部構
成を隠蔽している。このため、ホスト30からはディス
クアレイシステム1が全体で1つの記憶装置として見え
る。これに対し、本実施形態では、ディスクアレイサブ
セット10をそのままホスト30に公開し、ホスト30
がフレームヘッダのD_IDとして直接ディスクアレイサブ
セットのポートのIDを使えるようにする。これによ
り、ディスクアレイスイッチは、フレームヘッダの情報
に従ってフレームの転送を制御するだけで済み、従来技
術におけるファイバチャネルのファブリック装置と同等
のスイッチ装置をディスクアレイスイッチ20に替えて
利用することができる。
【0080】ディスクアレイシステム構成管理手段70
は、ディスクアレイサブセット10の通信コントローラ
106、及びディスクアレイスイッチ20の通信手段2
04と通信して各ディスクアレイサブセット10及びデ
ィスクアレイスイッチ20の構成情報を獲得し、あるい
は、設定する。
【0081】ディスクアレイスイッチ20は、基本的に
は図3に示す第1実施形態におけるディスクアレイスイ
ッチと同様の構成を有する。しかし、本実施形態では、
ホスト30が発行するフレームのフレームヘッダの情報
をそのまま使ってフレームの転送を制御するため、第1
実施形態、あるいは第2実施形態でディスクアレイスイ
ッチ20のホストI/Fノード203、ディスクアレイ
I/Fノード202が有するDCT2027や、SC2
022、SPG2024等により実現されるフレームヘ
ッダ等の変換の機能は不要となる。ディスクアレイスイ
ッチ20が有するクロスバスイッチ201は、フレーム
ヘッダの情報に従ってホストI/Fノード203、及び
ディスクアレイI/Fノード202の間でファイバチャ
ネルのフレームの転送を行う。
【0082】本実施形態では、ディスクアレイシステム
の構成をディスクアレイシステム構成管理手段70で一
括して管理するために、ディスクアレイ管理用テーブル
(以下、このテーブルもDCTと呼ぶ)をディスクアレ
イシステム構成管理手段70に備える。ディスクアレイ
システム構成管理手段70が備えるDCTは、図6、7
に示す、システム構成テーブル20270とサブセット構成
テーブル202720〜202723の2つのテーブル群を含む。な
お、本実施形態では、ホストLUは全てILUとして構
成されるため、ホストLU構成テーブル20271のLU Type
は全て「ILU」となり、CLU Class、CLU Stripe Size
は意味をなさない。
【0083】管理者は、管理端末5を操作してディスク
アレイシステム構成管理手段70と通信し、ディスクア
レイサブセット10のディスク容量、ディスクユニット
の台数等の情報を得て、ディスクアレイサブセット10
のLU110の設定、RAIDレベルの設定等を行う。
次に管理者は、管理端末5によりディスクアレイシステ
ム構成管理手段70と通信し、ディスクアレイスイッチ
20を制御して、各ホスト30とディスクアレイサブセ
ット20間の関係情報を設定する。
【0084】以上の操作により、ディスクアレイシステ
ム1の構成が確立し、ホスト30から管理者が望む通り
にLU110が見えるようになる。ディスクアレイ構成
管理手段70は以上の設定情報を保存し、管理者からの
操作に応じ構成の確認や、構成の変更を行うことができ
る。
【0085】本実施形態によれば、ひとたびディスクア
レイシステム1を構成すれば、管理者からディスクアレ
イスイッチ20の存在を認識させることが無く、複数の
ディスクアレイサブシステムを1台のディスクアレイシ
ステムと同様に扱うことができる。また、本実施形態に
よれば、ディスクアレイスイッチ20とディスクアレイ
サブセット10は、同一の操作環境によって統一的に操
作することができ、その構成確認や、構成変更も容易に
なる。さらに、本実施形態によれば、従来使用していた
ディスクアレイシステムを本実施形態におけるディスク
アレイシステムに置き換える場合に、ホスト30の設定
を変更することなく、ディスクアレイシステム1の構成
をそれまで使用していたディスクアレイシステムの構成
に合わせることができ、互換性を維持できる。
【0086】[第4実施形態]以上説明した第1から第
3の実施形態では、ホストI/Fにファイバチャネルを
使用している。以下に説明する実施形態では、ファイバ
チャネル以外のインタフェースが混在した形態について
説明する。
【0087】図17は、ホストI/FがパラレルSCS
Iである場合のホストI/Fノード203内部のIC2
023の一構成例を示す。20230はパラレルSCSIの
プロトコル制御を行うSCSIプロトコルコントローラ
(SPC)、20233はファイバチャネルのプロトコル制
御を行うファイバチャネルプロトコルコントローラ(F
PC)、20231はパラレルSCSIとファイバチャネル
のシリアルSCSIをプロトコル変換するプロトコル変
換プロセッサ(PEP)、20232はプロトコル変換中デ
ータを一時保存するバッファ(BUF)である。
【0088】本実施形態において、ホスト30は、ディ
スクアレイI/Fノード203に対してSCSIコマン
ドを発行する。リードコマンドの場合、SPC20230
は、これをBUF20232に格納し、PEP20231に割り込
みでコマンドの受信を報告する。PEP20231は、BU
F20232に格納されたコマンドを利用し、FPC20233へ
のコマンドに変換し、FPC20233に送る。FPC20233
は、このコマンドを受信すると、フレーム形式に変換
し、SC2022に引き渡す。この際、エクスチェンジ
ID、シーケンスID、ソースID、デスティネイショ
ンIDは、以降の処理が可能なようにPEP20231によ
り付加される。あとのコマンド処理は、第1実施形態と
同様に行われる。
【0089】ディスクアレイサブセット10は、データ
の準備が完了すると、データ転送準備完了フレームの発
行、データ転送、正常終了後ステータスフレームの発行
を実施する。ディスクアレイサブセット10からIC2
023までの間では、フレームヘッダ401やフレーム
ペイロード402が必要に応じ変換されながら、各種フ
レームの転送が行われる。IC2023のFPC20233
は、データ転送準備完了フレームを受信し、続いてデー
タを受信してBUF20232に格納し、続けて正常に転送
が終わったならば、ステータスフレームを受信し、PT
P20231に割り込みをかけてデータの転送完了を報告す
る。PTP20231は、割り込みを受けると、SPC20230
を起動し、ホスト30に対しデータ転送を開始するよう
指示する。SPC20230はホスト30にデータを送信
し、正常終了を確認するとPTP20231に対し割り込み
で正常終了を報告する。
【0090】ここでは、ファイバチャネル以外のホスト
I/Fの例としてパラレルSCSIを示したが、他のイ
ンタフェース、例えば、メインフレームへのホストI/
FであるESCON等に対しても同様に適用することが可能
である。ディスクアレイスイッチ20のホストI/Fノ
ード203として、例えば、ファイバチャネル、パラレ
ルSCSI、及びESCONに対応したホストI/Fノード
を設けることで、1台のディスクアレイシステム1に、
メインフレームと、パーソナルコンピュータ、ワークス
テーション等のいわゆるオープンシステムの両方を混在
させて接続することが可能である。本実施形態では、デ
ィスクアレイI/Fとしては、第1から第3実施形態と
同様、ファイバチャネルを用いているが、ディスクアレ
イI/Fに対しても任意のI/Fを使用することが可能
である。
【0091】[第5実施形態]次に、ディスクアレイシ
ステム1の構成管理の方法について、第5実施形態とし
て説明する。図18は、本実施形態のシステム構成図で
ある。本実施形態では、ホスト30が4台設けられてい
る。ホスト“#0”、“#1”とディスクアレイシステ
ム1の間のI/F30はファイバチャネル、ホスト“#
2”とディスクアレイシステム1の間は、パラレルSC
SI(Ultra SCSI)、ホスト“#3”とディスクアレイ
システム1の間は、パラレルSCSI(Ultra2 SCSI)で
接続されている。
【0092】パラレルSCSIのディスクアレイスイッ
チ20への接続は第4実施形態と同様に行われる。ディ
スクアレイシステム1は、4台のディスクアレイサブセ
ット30を有する。ディスクアレイサブセット“#0”
には4つの独立LU、ディスクアレイサブセット“#
1”には2つの独立LUがそれぞれ構成されている。デ
ィスクアレイサブセット“#2”と“#3”で1つの統
合LUが構成されている。本実施形態では、第1実施形
態と同様、ホスト30に対しディスクアレイサブセット
10を隠蔽し、ファイバチャネルのフレームを変換する
ものとする。各LUに割り当てられるLUNは、ディス
クアレイサブセット“#0”のLUから順に、LUN=
0、1、2、・・・6までの7つである。
【0093】図19は、管理端末5の表示画面上に表示
される画面の一例である。図は、ホストI/F31と各
論理ユニット(LU)との対応を示した論理接続構成画
面である。
【0094】論理接続構成画面50には、各ホストI/
F31に関する情報3100、各LU110に関する情
報11000、ディスクアレイサブセット10とLU110
の関係等が表示される。ホストI/F31に関する情報
としては、I/F種類、I/F速度、ステータス等が含
まれる。LU110に関する情報としては、格納サブセ
ット番号、LUN、容量、RAIDレベル、ステータ
ス、情報、等が表示される。管理者はこの画面を参照す
ることで、容易にディスクアレイシステム1の構成を管
理することができる。
【0095】論理接続構成画面50上で、ホストI/F
とLUの間に引かれている線は、各ホストI/F31を
経由してアクセス可能なLU110を示している。ホス
トI/Fから線の引かれていないLU110に対して、
そのホストI/Fに接続するホスト30からはアクセス
できない。ホスト30によって、扱うデータ形式が異な
り、また使用者も異なることから、セキュリティ維持
上、適切なアクセス制限を設けることが不可欠である。
そこで、システムを設定する管理者が、この画面を用い
て、各LU110とホストI/Fとの間のアクセス許可
をあたえるか否かによって、アクセス制限を実施する。
図において、例えば、LU“#0”は、ホストI/F
“#0”および“#1”からアクセス可能であるが、ホ
ストI/F“#2”、“#3”からはアクセスできな
い。LU“#4”は、ホストI/F“#2”からのみア
クセス可能である。
【0096】このようなアクセス制限を実現するためア
クセス制限情報は、ディスクアレイシステム構成管理手
段70からディスクアレイスイッチ20に対して送信さ
れる。ディスクアレイスイッチ20に送られたアクセス
制限情報は、各ホストI/Fノード203に配信され、
各ホストI/Fノード203のDCT2027に登録さ
れる。ホストにより、アクセスが制限されたLUに対す
るLU存在有無の検査コマンドが発行された場合、各ホ
ストI/Fノード203は、DCT2027の検査を行
い、検査コマンドに対し応答しないか、あるいは、エラ
ーを返すことで、そのLUは、ホストからは認識されな
くなる。LU存在有無の検査コマンドとしては、SCS
Iプロトコルの場合、Test Unit Readyコマンドや、Inq
uiryコマンドが一般に用いられる。この検査なしに、リ
ード/ライトが実施されることはないため、容易にアク
セスの制限をかけることが可能である。
【0097】本実施形態ではホストI/F31毎にアク
セス制限をかけているが、これを拡張することで、ホス
ト30毎にアクセス制限をかけることも容易に実現でき
る。また、ホストI/F31、ホスト30、あるいは、
アドレス空間を特定して、リードのみ可、ライトのみ
可、リード/ライトとも可、リード/ライトとも不可と
いった、コマンドの種別に応じたアクセス制限をかける
こともできる。この場合、アクセス制限情報としてホス
トI/F番号、ホストID、アドレス空間、制限コマン
ド等を指定してディスクアレイスイッチ20に制限を設
定する。
【0098】次に、新たなディスクアレイサブセット1
0の追加について説明する。ディスクアレイサブセット
10を新規に追加する場合、管理者は、ディスクアレイ
スイッチ20の空いているディスクアレイI/Fノード
202に追加するディスクアレイサブセット10を接続
する。つづけて、管理者は、管理端末5を操作し、論理
接続構成画面50に表示されている「最新状態を反映」
ボタン5001を押下する。この操作に応答して、未設
定のディスクアレイサブセットを表す絵が画面上に表示
される(図示せず)。このディスクアレイサブセットの
絵が選択されるすると、ディスクアレイサブセットの設
定画面が現れる。管理者は、表示された設定画面上で、
新規に追加されたディスクアレイサブセットの各種設定
を実施する。ここで設定される項目にはLUの構成、R
AIDレベル等がある。続けて、図19の論理接続構成
図の画面に切り替えると、新規ディスクアレイサブセッ
トとLUが現れる。以降、ホストI/F31毎に対する
アクセス制限を設定し、「設定実行」ボタン5002を
押下すると、ディスクアレイスイッチ20に対し、アク
セス制限情報、およびディスクアレイサブセット、LU
の情報が転送され、設定が実行される。
【0099】各ディスクアレイサブセット10にLU1
10を追加する際の手順も上述した手順で行われる。ま
た、ディスクアレイサブセット、およびLUの削除につ
いてもほぼ同様の手順で行われる。異なる点は、管理者
が各削除部位を画面上で選択して「削除」ボタン500
3を押下し、適切な確認が行われたのち、実行される点
である。以上のように、管理端末70を用いることで、
管理者はディスクアレイシステム全体を一元的に管理で
きる。
【0100】[第6実施形態]次に、ディスクアレイス
イッチ20によるミラーリングの処理について、第6実
施形態として説明する。ここで説明するミラーリングと
は、2台のディスクアレイサブセットの2つの独立LU
により二重書きをサポートする方法であり、ディスクア
レイサブセットのコントローラまで含めた二重化であ
る。従って、信頼性は、ディスクのみの二重化とは異な
る。
【0101】本実施形態におけるシステムの構成は図1
に示すものと同じである。図1に示す構成おいて、ディ
スクアレイサブセット“#0”と“#1”は全く同一の
LU構成を備えており、この2つのディスクアレイサブ
セットがホスト30からは1つのディスクアレイとして
見えるものとする。便宜上、ミラーリングされたディス
クアレイサブセットのペアの番号を“#01”と呼ぶ。
また、各ディスクアレイサブセットのLU“#0”とL
U“#1”によってミラーリングペアが形成され、この
LUのペアを便宜上、LU“#01”と呼ぶ。DCT2
027のホストLU構成テーブル20271上でLU#01
を管理するための情報は、CLU Classに「Mirrored」が
設定され、LU Info.として、LU#0とLU#1に関す
る情報が設定される。その他の各部の構成は第1実施形
態と同様である。
【0102】本実施形態における各部の動作は、第1実
施例とほぼ同様である。以下、第1実施形態と相違する
点について、ディスクアレイスイッチ20のホストI/
Fノード203の動作を中心に説明する。図20は、本
実施形態におけるライト動作時に転送されるフレームの
シーケンスを示す模式図、図21、22は、ライト動作
時におけるホストI/Fノード203による処理の流れ
を示すフローチャートである。
【0103】ライト動作時、ホスト30が発行したライ
トコマンドフレーム(FCP_CMD)は、IC2023によ
り受信される(図20の矢印(a):ステップ2100
1)。IC2023により受信されたライトコマンドフ
レームは、第1実施形態で説明したリード動作時におけ
るステップ20002 20005と同様に処理される(ステップ
21002 - 21005)。
【0104】SC2022は、SP2021を使ってD
CT2027を検索し、ミラー化されたディスクアレイ
サブセット“#01”のLU“#01”へのライトアク
セス要求であることを認識する(ステップ21006)。S
C2022は、FB2025上に、受信したコマンドフ
レームの複製を作成する(ステップ21007)。SC20
22は、DCT2027に設定されている構成情報に基
づいてコマンドフレームの変換を行い、LU“#0”と
LU“#1”の両者への別々のコマンドフレームを作成
する(ステップ21008)。ここで、LU“#0”を主L
U、LU“#1”を従LUと呼び、コマンドフレームに
もそれぞれ主コマンドフレーム、従コマンドフレームと
呼ぶ。そして、両者別々にET2026にエクスチェン
ジ情報を格納し、ディスクアレイサブセット“#0”お
よびディスクアレイサブセット“#1”に対し作成した
コマンドフレームを発行する(図20の矢印(b0)
(b1):ステップ21009)。
【0105】各ディスクアレイサブセット“#0”、
“#1”は、コマンドフレームを受信し、それぞれ独立
にデータ転送準備完了フレーム(FCP_XFER_RDY)をディ
スクアレイスイッチ20に送信する(図20の矢印(c
0)(c1))。ディスクアレイスイッチ20では、ホ
ストI/Fノード203が、第1実施形態におけるリー
ド動作のステップ20011 20013と同様の処理により転送
されてきたデータ転送準備完了フレームを処理する(ス
テップ21011 - 21013)。
【0106】各ディスクアレイサブセットからのデータ
転送準備完了フレームがそろった段階で(ステップ2101
4)、SC2022は、主データ転送準備完了フレーム
に対する変換を実施し(ステップ21015)、IC202
3により変換後のフレームをホスト30に送信する(図
20の矢印(d):ステップ21015)。
【0107】ホスト30は、データ転送準備完了フレー
ムを受信した後、ライトデータ送信のため、データフレ
ーム(FCP_DATA)をディスクアレイスイッチ20に送信
する(図20の矢印(e))。ホスト30からのデータ
フレームは、IC2023により受信されると(ステッ
プ21031)、リードコマンドフレームやライトコマンド
フレームと同様に、FB2025に格納され、CRC検
査、フレームヘッダの解析が行われる(ステップ2103
2、21033)。フレームヘッダの解析結果に基づき、ET
2026がSP2021により検索され、エクスチェン
ジ情報が獲得される(ステップ21034)。
【0108】SC2022は、ライトコマンドフレーム
のときと同様に複製を作成し(ステップ21035)、その
一方をディスクアレイサブセット“#0”内のLU“#
0”に、他方をディスクアレイサブセット“#1”内の
LU“#1”に向けて送信する(図20の矢印(f0)
(f1):ステップ21037)。
【0109】ディスクアレイサブセット“#0”、“#
1”は、各々、データフレームを受信し、ディスクユニ
ット104に対しそれぞれライトし、ステータスフレー
ム(FCP_RSP)をディスクアレイスイッチ20に送信す
る。
【0110】SC2022は、ディスクアレイサブセッ
ト“#0”、“#1”それぞれからステータスフレーム
を受信すると、それらのステータスフレームから拡張ヘ
ッダを外してフレームヘッダを再現し、ET2026か
らエクスチェンジ情報を獲得する(ステップ21041、210
42)。
【0111】ディスクアレイサブセット“#0”、“#
1”の両者からのステータスフレームが揃うと(ステッ
プ21043)、ステータスが正常終了であることを確認の
うえ、LU“#0”からの主ステータスフレームに対す
る変換を行い(ステップ21044)、従ステータスフレー
ム消去する(ステップ21045)。そして、IC2023
は、正常終了を報告するためのコマンドフレームをホス
トに送信する(図20の矢印(h):ステップ2104
6)。最後にSP2021は、ET2026のエクスチ
ェンジ情報を消去する(ステップ21047)。
【0112】以上でミラーリング構成におけるライト処
理が終了する。ミラーリングされたLU“#01”に対
するリード処理は、データの転送方向が異なるだけで、
上述したライト処理とほぼ同様に行われるが、ライトと
は異なり、2台のディスクアレイサブセットにリードコ
マンドを発行する必要はなく、どちらか一方に対してコ
マンドフレームを発行すればよい。たとえば、常に主L
Uに対してコマンドフレームを発行してもよいが、高速
化のため、主/従双方のLUに対して、交互にコマンド
フレームを発行するなどにより、負荷を分散すると有効
である。
【0113】上述した処理では、ステップ21014、及び
ステップ21043で2台のディスクアレイサブセット“#
0”、“#1”の応答を待ち、両者の同期をとって処理
が進められる。このような制御では、双方のディスクア
レイサブセットでの処理の成功が確認されてから処理が
進むため、エラー発生時の対応が容易になる。その一方
で、全体の処理速度が、どちらか遅いほうの応答に依存
してしまうため、性能が低下するという欠点がある。
【0114】この問題を解決するため、ディスクアレイ
スイッチにおいて、ディスクアレイサブセットの応答を
待たずに次の処理に進んだり、ディスクアレイサブセッ
トのどちらか一方からの応答があった時点で次の処理に
進む「非同期型」の制御をすることも可能である。非同
期型の制御を行った場合のフレームシーケンスの一例
を、図20において破線矢印で示す。
【0115】破線矢印で示されるフレームシーケンスで
は、ステップ21016で行われるホストへのデータ転送準
備完了フレームの送信が、ステップ21009の処理の後、
ディスクアレイサブセット10からのデータ転送準備完
了フレームを待たずに実施される。この場合、ホストに
送信されるデータ転送準備完了フレームは、ディスクア
レイスイッチ20のSC2022により生成される(破
線矢印(d′))。
【0116】ホスト30からは、破線矢印(e′)で示
されるタイミングでデータフレームがディスクアレイス
イッチ20に転送される。ディスクアレイスイッチ20
では、このデータフレームが一旦FB2025に格納さ
れる。SC2022は、ディスクアレイサブセット10
からのデータ転送準備完了フレームの受信に応答して、
データ転送準備完了フレームが送られてきたディスクア
レイサブセット10に対し、FB2025に保持された
データフレームを転送する(破線矢印(f0′)、(f
1′))。
【0117】ディスクアレイスイッチ20からホスト3
0への終了報告は、双方のディスクアレイサブシステム
10からの報告(破線矢印(g0′)、(g0′))が
あった時点でおこなわれる(破線矢印(h′))。この
ような処理により、図20に示される時間Taの分だけ
処理時間を短縮することが可能である。
【0118】ディスクアレイスイッチ20とディスクア
レイサブセット10間のフレーム転送の途中でエラーが
発生した場合、以下の処理が実施される。
【0119】実行中の処理がライト処理の場合、エラー
が発生したLUに対し、リトライ処理が行われる。リト
ライが成功すれば、処理はそのまま継続される。あらか
じめ設定された規定の回数のリトライが失敗した場合、
ディスクアレイスイッチ20は、このディスクアレイサ
ブセット10(もしくはLU)に対するアクセスを禁止
し、そのことを示す情報をDCT2027に登録する。
また、ディスクアレイスイッチ20は、MP200、通
信コントローラ204を経由して、ディスクシステム構
成手段70にそのことを通知する。
【0120】ディスクシステム構成手段70は、この通
知に応答して管理端末5にアラームを発行する。これに
より管理者は、トラブルが発生したことを認識できる。
その後、ディスクアレイスイッチ20は、正常なディス
クアレイサブセットを用いて運転を継続する。ホスト3
0は、エラーが発生したことを認識することはなく、処
理を継続できる。
【0121】本実施形態によれば、2台のディスクアレ
イサブシステムでミラー構成を実現できるので、ディス
クの耐障害性を上げることことができる。また、ディス
クアレイコントローラ、ディスクアレイI/F、及びデ
ィスクアレイI/Fノードの耐障害性を上げることがで
き、内部バスの二重化等するくとなくディスクアレイシ
ステム全体の信頼性を向上させることができる。
【0122】[第7実施形態]次に、3台以上のディス
クアレイサブセット10を統合し、1台の論理的なディ
スクアレイサブセットのグループを構成する方法につい
て説明する。本実施形態では、複数のディスクアレイサ
ブセット10にデータを分散して格納する。これによ
り、ディスクアレイサブセットへのアクセスを分散さ
せ、特定のディスクアレイサブセットへのアクセスの集
中を抑止することで、トータルスループットを向上させ
る。本実施形態では、ディスクアレイスイッチによりこ
のようなストライピング処理を実施する。
【0123】図23は、本実施形態におけるディスクア
レイシステム1のアドレスマップである。ディスクアレ
イサブセット10のアドレス空間は、ストレイプサイズ
Sでストライピングされている。ホストから見たディス
クアレイシステム1のアドレス空間は、ストライプサイ
ズS毎に、ディスクアレイサブセット“#0”、“#
1”、“#2”、“#3”に分散されている。ストライ
プサイズSのサイズは任意であるが、あまり小さくない
方がよい。ストライプサイズSが小さすぎると、アクセ
スすべきデータが複数のストライプに属するストライプ
またぎが発生したときに、その処理にオーバヘッドが発
生するおそれがある。ストライプサイズSを大きくする
と、ストライプまたぎが発生する確率が減少するので性
能向上のためには好ましい。LUの数は任意に設定する
ことができる。
【0124】以下、本実施形態におけるホストI/Fノ
ード203の動作について、図24に示す動作フローチ
ャートを参照しつつ第1実施形態との相違点に着目して
説明する説明する。なお、本実施形態では、DCT20
27のホストLU構成テーブル20271上で、ストライピ
ングされたホストLUに関する情報のCLU Classには「S
triped」が、CLU Stripe Sizeにはストライプサイズ
「S」が設定される。
【0125】ホスト30がコマンドフレームを発行する
と、ディスクアレイスイッチ20は、ホストI/Fノー
ド203のIC2023でこれを受信する(ステップ2
2001)、SC2022は、IC2023からこのコ
マンドフレームを受け取り、SP2021を使ってDC
T2027を検索し、ストライピングする必要があるこ
とを認識する(ステップ22005)。
【0126】次に、SC2022は、SP2021によ
りDCT2027を検索し、ストライプサイズSを含む
構成情報から、アクセスの対象となるデータが属するス
トライプのストライプ番号を求め、このストライプがど
のディスクアレイサブセット10に格納されているか特
定する(ステップ22006)。この際、ストライプまたぎ
が発生する可能性があるが、この場合の処理については
後述する。ストライプまたぎが発生しない場合、SP2
021の計算結果に基づき、SC2022はコマンドフ
レームに対し変換を施し(ステップ22007)、エクスチ
ェンジ情報をET2026に格納する(ステップ2200
8)。以降は、第1実施形態と同様の処理が行われる。
【0127】ストライプまたぎが発生した場合、SP2
021は、2つのコマンドフレームを生成する。この生
成は、例えば、ホスト30が発行したコマンドフレーム
を複製することで行われる。生成するコマンドフレーム
のフレームヘッダ、フレームペイロード等は、新規に設
定する。第6実施形態と同様、SC2022でコマンド
フレームの複製を作成した後、変換を実施することも可
能であるが、ここでは、SP2021により新規に作成
されるものとする。SC2022は、2つのコマンドフ
レームが生成されると、これらを各ディスクアレイサブ
セット10に送信する。
【0128】この後、第1実施形態と同様にデータ転送
が実施される。ここで、本実施形態では、第1実施形
態、あるいは第6実施形態と異なり、データ自体を1台
のホスト30と2台のディスクアレイサブセット10間
で転送する必要がある。たとえば、リード処理の場合、
2台のディスクアレイサブセット10から転送されるデ
ータフレームは、すべてホスト30に転送する必要があ
る。この際SC2022は、各ディスクアレイサブセッ
ト10から転送されてくるデータフレームに対し、ET
2026に登録されたエクスチェンジ情報に従い、適切
な順番で、適切なエクスチェンジ情報を付加してホスト
30に送信する。
【0129】ライト処理の場合は、コマンドフレームの
場合と同様、2つのデータフレームに分割して、該当す
るディスクアレイサブセット10に転送する。なお、デ
ータフレームの順序制御は、ホスト、あるいはディスク
アレイサブセットがアウトオブオーダー(Out of Orde
r)機能と呼ばれる、順不同処理に対応しているならば
必須ではない。
【0130】最後に、すべてのデータ転送が完了し、デ
ィスクアレイスイッチ20が2つのステータスフレーム
をディスクアレイサブセット10から受信すると、SP
2021(あるいはSC2022)は、ホスト30への
ステータスフレームを作成し、これをIC2023によ
りホスト30に送信する。
【0131】本実施形態によれば、アクセスを複数のデ
ィスクアレイサブセットに分散することができるので、
トータルとしてスループットを向上させることができる
とともに、アクセスレイテンシも平均的に低減させるこ
とが可能である。
【0132】[第8実施形態]次に、2台のディスクア
レイシステム(またはディスクアレイサブセット)間に
おける複製の作成について、第8実施形態として説明す
る。ここで説明するようなシステムは、2台のディスク
アレイシステムの一方を遠隔地に配置し、天災等による
他方のディスクアレイシステムの障害に対する耐性を備
える。このような災害に対する対策をディザスタリカバ
リと呼び、遠隔地のディスクアレイシステムとの間で行
われる複製の作成のことをリモートコピーと呼ぶ。
【0133】第6実施形態で説明したミラーリングで
は、地理的にほぼ同一の場所に設置されたディスクアレ
イサブセット10でミラーを構成するので、ディスクア
レイI/F21はファイバチャネルでよい。しかし、リ
モートコピーを行うディスクアレイ(ディスクアレイサ
ブセット)が10kmを越える遠隔地に設置される場
合、中継なしでファイバチャネルによりフレームを転送
する事ができない。ディザスタリカバリに用いられる場
合、お互いの間の距離は通常数百km以上となる、この
ため、ファイバチャネルでディスクアレイ間を接続する
ことは実用上不可能であり、ATM(Asynchronous Tra
nsfer Mode)等による高速公衆回線や衛星通信等が用い
られる。
【0134】図25は、本実施形態におけるディザスタ
リカバリシステムの構成例である。
【0135】81はサイトA、82はサイトBであり、
両サイトは、地理的な遠隔地に設置される。9は公衆回
線であり、ATMパケットがここを通過する。サイトA
81、およびサイトB82は、それぞれディスクアレイ
システム1を有する。ここでは、サイトA81が通常使
用される常用サイトであり、サイトB82はサイトA8
1が災害等でダウンしたときに使用されるリモートディ
ザスタリカバリサイトである。
【0136】サイトA81のディスクアレイシステム1
0のディスクアレイサブセット“#0”、“#1”の内
容は、サイトB82のディスクアレイシステム10のリ
モートコピー用ディスクアレイサブセット“#0”、
“#1”にコピーされる。ディスクアレイスイッチ20
のI/Fノードのうち、リモートサイトに接続するもの
はATMを用いて公衆回線9に接続されている。このノ
ードをATMノード205と呼ぶ。ATMノード205
は、図5に示すホストI/Fノードと同様に構成され、
IC2023がATM−ファイバチャネルの変換を行
う。この変換は、第4実施形態におけるSCSI−ファ
イバチャネルの変換と同様の方法により実現される。
【0137】本実施形態におけるリモートコピーの処理
は、第6実施形態におけるミラーリングの処理と類似す
る。以下、第6実施形態におけるミラーリングの処理と
異なる点について説明する。
【0138】ホスト30がライトコマンドフレームを発
行すると、サイトA81のディスクアレイシステム10
は、第6実施形態における場合と同様にフレームの二重
化を実施し、その一方を自身のディスクアレイサブセッ
ト10に転送する。他方のフレームは、ATMノード20
5によりファイバチャネルフレームからATMパケット
に変換され、公衆回線9を介してサイトB82に送られ
る。
【0139】サイトB82では、ディスクアレイスイッ
チ20のATMノード205がこのパケットを受信す
る。ATMノード205のIC2023は、ATMパケ
ットからファイバチャネルフレームを再現し、SC20
22に転送する。SC2022は、ホスト30からライ
トコマンドを受信したときと同様にフレーム変換を施
し、リモートコピー用のディスクアレイサブセットに転
送する。以降、データ転送準備完了フレーム、データフ
レーム、ステータスフレームのすべてにおいて、ATM
ノード205においてファイバチャネル−ATM変換を
行い、同様のフレーム転送処理を実施することにより、
リモートコピーが実現できる。
【0140】ホスト30がリードコマンドフレームを発
行した際には、ディスクアレイスイッチ20は、自サイ
トのディスクアレイサブセット10に対してのみコマン
ドフレームを転送し、自サイトのディスクアレイサブセ
ット10からのみデータをリードする。このときの動作
は、第1実施形態と同一となる。
【0141】本実施形態によれば、ユーザデータをリア
ルタイムでバックアップし、天災等によるサイト障害、
ディスクアレイシステム障害に対する耐性を備えること
ができる。
【0142】[第9実施形態]次に、一台のディスクア
レイサブセット10に包含される複数のLUの統合につ
いて説明する。例えば、メインフレーム用のディスク装
置は、過去のシステムとの互換性を維持するために、論
理ボリュームのサイズの最大値が2GBに設定されてい
る。このようなディスクアレイシステムをオープンシス
テムでも共用する場合、LUは論理ボリュームサイズの
制限をそのまま受けることになり、小サイズのLUが多
数ホストから見えることになる。このような方法では、
大容量化が進展した場合に運用が困難になるという問題
が生じる。そこで、ディスクアレイスイッチ20の機能
により、この論理ボリューム(すなわちLU)を統合し
て一つの大きな統合LUを構成することを考える。本実
施形態では、統合LUの作成をディスクアレイスイッチ
20で実施する。
【0143】本実施形態におけるLUの統合は、第1実
施形態における複数のディスクアレイサブセット10に
よる統合LUの作成と同一である。相違点は、同一のデ
ィスクアレイサブセット10内の複数LUによる統合で
あることだけである。ディスクアレイシステムとしての
動作は、第1実施形態と全く同一となる。
【0144】このように、同一のディスクアレイサブセ
ット10に包含される複数のLUを統合して一つの大き
なLUを作成することで、ホストから多数のLUを管理
する必要がなくなり、運用性に優れ、管理コストを低減
したディスクアレイシステムを構築できる。
【0145】[第10実施形態]次に、ディスクアレイ
スイッチ10による交代パスの設定方法について、図2
6を参照しつつ説明する。
【0146】図26に示された計算機システムにおける
各部の構成は、第1の実施形態と同様である。ここで
は、2台のホスト30が、各々異なるディスクアレイI
/F21を用いてディスクアレイサブセット10をアク
セスするとように構成していると仮定する。図では、デ
ィスクアレイサブセット、ディスクアレイスイッチ20
のホストI/Fノード203およびディスクアレイI/
Fノード202は、ここでの説明に必要な数しか示され
ていない。
【0147】ディスクアレイサブセット10は、図2と
同様の構成を有し、2つのディスクアレイI/Fコント
ローラはそれぞれ1台のディスクアレイスイッチ20に
接続している。ディスクアレイスイッチ20の各ノード
のDCT227には、ディスクアレイI/F21の交代
パスが設定される。交代パスとは、ある一つのパスに障
害が発生した場合にもアクセス可能になるように設けら
れる代替のパスのことである。ここでは、ディスクアレ
イI/F“#0”の交替パスをディスクアレイI/F
“#1”、ディスクアレイI/F“#1”の交替パスを
ディスクアレイI/F“#0”として設定しておく。同
様に、ディスクアレイサブセット10内の上位アダプタ
間、キャッシュ・交代メモリ間、下位アダプタ間のそれ
ぞれについても交代パスを設定しておく。
【0148】次に、図26に示すように、ディスクアレ
イサブセット1の上位アダプタ“#1”に接続するディ
スクアレイI/F21が断線し、障害が発生したと仮定
して、交替パスの設定動作を説明する。このとき、障害
が発生したディスクアレイI/F21を利用しているホ
スト“#1”は、ディスクアレイサブセット10にアク
セスできなくなる。ディスクアレイスイッチ20は、デ
ィスクアレイサブセット10との間のフレーム転送の異
常を検出し、リトライ処理を実施しても回復しない場
合、このパスに障害が発生したと認識する。
【0149】パスの障害が発生すると、SP2021
は、DCT2027にディスクアレイI/F“#1”に
障害が発生したことを登録し、交代パスとしてディスク
アレイI/F“#0”を使用することを登録する。以
降、ホストI/Fノード203のSC2022は、ホス
ト“#1”からのフレームをディスクアレイI/F“#
0”に接続するディスクアレイI/Fノード202に転
送するように動作する。
【0150】ディスクアレイサブセット10の上位アダ
プタ101は、ホスト“#1”からのコマンドを引き継
いで処理する。また、ディスクアレイスイッチ20は、
ディスクアレイシステム構成管理手段70に障害の発生
を通知し、ディスクアレイシステム構成管理手段70に
より管理者に障害の発生が通報される。
【0151】本実施形態によれば、パスに障害が発生し
た際の交替パスへの切り替えを、ホスト側に認識させる
ことなく行うことができ、ホスト側の交代処理設定を不
要にできる。これにより、システムの可用性を向上させ
ることができる。
【0152】以上説明した各実施形態では、記憶メディ
アとして、すべてディスク装置を用いたディスクアレイ
システムについて説明した。しかし、本発明は、これに
限定されるものではなく、記憶メディアとしてディスク
装置に限らず、光ディスク装置、テープ装置、DVD装
置、半導体記憶装置等を用いた場合にも同様に適用でき
る。
【0153】
【発明の効果】本発明によれば、計算機システムの規
模、要求などに応じた記憶装置システムの拡張、信頼性
の向上などを容易に実現することのできる記憶装置シス
テムを実現することができる。
【図面の簡単な説明】
【図1】第1実施形態のコンピュータシステムの構成図
である。
【図2】第1実施形態のディスクアレイサブセットの構
成図である。
【図3】第1実施形態のディスクアレイスイッチの構成
図である。
【図4】第1実施形態におけるディスクアレイスイッチ
のクロスバスイッチの構成図である。
【図5】第1実施形態におけるディスクアレイスイッチ
のホストI/Fノードの構成図である。
【図6】システム構成テーブルの構成図である。
【図7】サブセット構成テーブルの構成図である。
【図8】ファイバチャネルのフレームの構成図である。
【図9】ファイバチャネルのフレームヘッダの構成図で
ある。
【図10】ファイバチャネルのフレームペイロードの構
成図である。
【図11】ホストからのリード動作時にファイバチャネ
ルを通して転送されるフレームのシーケンスを示す模式
図である。
【図12】ホストLU、各ディスクアレイサブセットの
LU、及び各ディスクユニットの対応関係を示す模式図
である。
【図13】ライト処理時のホストI/Fノードにおける
処理のフローチャートである。
【図14】スイッチングパケットの構成図である。
【図15】複数のディスクアレイスイッチをクラスタ接
続したディスクアレイシステムの構成図である。
【図16】第2実施形態におけるコンピュータシステム
の構成図である。
【図17】第4実施形態におけるディスクアレイスイッ
チのインタフェースコントローラの構成図である。
【図18】第5実施形態におけるコンピュータシステム
の構成図である。
【図19】論理接続構成画面の表示例を示す画面構成図
である。
【図20】第6実施形態におけるフレームシーケンスを
示す模式図である。
【図21】第6実施形態のミラーリングライト処理時の
ホストI/Fノードにおける処理のフローチャートであ
る。
【図22】第6実施形態のミラーリングライト処理時の
ホストI/Fノードにおける処理のフローチャートであ
る。
【図23】第7実施形態におけるホストLUと各ディス
クアレイサブセットのLUとの対応関係を示す模式図で
ある。
【図24】第7実施形態におけるホストI/Fノードの
処理を示すフローチャートである。
【図25】第8実施形態におけるディザスタリカバリシ
ステムの構成図である。
【図26】交替パスの設定についての説明図である。
【符号の説明】
1…ディスクアレイシステム、5…管理端末、10…デ
ィスクアレイサブセット、20…ディスクアレイスイッ
チ、30…ホストコンピュータ、70…ディスクアレイ
システム構成管理手段、200…管理プロセッサ、20
1…クロスバスイッチ、202…ディスクアレイI/F
ノード、203…ホストI/Fノード、204…通信コ
ントローラ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 彰 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 味松 康行 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内 (72)発明者 佐藤 雅彦 神奈川県小田原市国府津2880番地 株式会 社日立製作所ストレージシステム事業部内

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】データを保持する記憶媒体を有する記憶装
    置と該記憶装置を制御する制御装置とを有する複数の記
    憶装置サブシステムと、前記複数の記憶装置サブシステ
    ムに保持されるデータを使用する計算機に接続され、記
    憶装置システムの構成情報を格納した構成管理テーブル
    と、前記計算機から送られてくるフレームに応答して、
    該フレームを解析し、前記構成管理テーブルに保持され
    た構成情報に基づいて前記フレームを変換するフレーム
    変換手段とを有する第1のインタフェースノードと、各
    々が前記記憶装置サブシステムのいずれか1つに接続さ
    れた複数の第2のインタフェースノードと、前記第1の
    インタフェースノード及び前記複数の第2のインタフェ
    ースノードが接続され、前記第1のインタフェースノー
    ドと前記複数の第2のインタフェースノードとの間で前
    記フレームの転送を行う転送手段とを有することを特徴
    とする記憶装置システム。
  2. 【請求項2】前記第1のインタフェースノードは、前記
    フレームに前記第2のインタフェースノードのノードア
    ドレス情報を付加して出力するパケット生成手段を有
    し、前記転送手段は、前記ノードアドレス情報に基づい
    て前記第1のインタフェースノードと前記複数の第2の
    インタフェースノードとの間で前記フレームの転送を行
    うことを特徴とする請求項1記載の記憶装置システム。
  3. 【請求項3】前記フレームは、転送元及び転送先を指定
    する識別子を保持するヘッダ部と、転送される実体デー
    タを保持するデータ実体部とを有し、前記変換手段は、
    前記構成情報に基づき前記ヘッダ部に保持された転送先
    の識別子を変換することを特徴とする請求項1記載の記
    憶装置システム。
  4. 【請求項4】前記フレームは、前記データ実体部に、前
    記計算機により認識されている第1の論理アドレス情報
    を含み、前記変換手段は、前記構成管理テーブルに保持
    された前記構成情報に基づいて、前記第1の論理アドレ
    ス情報を、該フレームの転送先となる記憶装置サブシス
    テム内で管理される第2の論理アドレスに変換すること
    を特徴とする請求項3記載の記憶装置システム。
  5. 【請求項5】前記記憶装置システムは、さらに、前記転
    送手段に接続し、オペレータから記憶装置システムの構
    成を定義する構成情報の入力を受け付け、該入力に応答
    して、各ノードの前記構成管理テーブルに前記構成情報
    を設定する管理プロセッサを有することを特徴とする請
    求項1記載の記憶装置システム。
  6. 【請求項6】前記構成情報は、前記計算機から前記複数
    の記憶装置サブシステムへのアクセスを制限する情報を
    含むことを特徴とする請求項5記載の記憶装置システ
    ム。
  7. 【請求項7】前記第1のインタフェースノードは、前記
    計算機から転送されてくるデータの書き込みを指示する
    ライトコマンドフレームに応答して、該ライトコマンド
    フレーム及びそれに続くデータフレームについてそれら
    の複製を生成し、前記ライトコマンドフレーム及びそれ
    に続くデータフレームが少なくとも2つの記憶装置サブ
    システムに送られるよう、各々のフレームに異なるノー
    ドアドレス情報を付加して前記転送手段に転送すること
    を特徴とする請求項2記載の記憶装置システム。
  8. 【請求項8】前記第1のインタフェースノードは、前記
    計算機から転送されてくるデータのリードを指示するリ
    ードコマンドフレームに応答して、該リードコマンドフ
    レームの複製を生成し、前記少なくとも2つの記憶装置
    サブシステムに前記リードコマンドフレームが送られる
    ように、各々のリードコマンドフレームに異なるノード
    アドレス情報を付加して前記転送手段に転送することを
    特徴とする請求項7記載の記憶装置サブシステム。
  9. 【請求項9】前記第1のインタフェースノードは、前記
    リードコマンドフレームに応答して前記少なくとも2つ
    の記憶装置サブシステムから転送されてくるデータフレ
    ームを受信し、その一方を選択して前記計算機に転送す
    ることを特徴とする請求項8記載の記憶装置システム。
  10. 【請求項10】前記第1のインタフェースノードは、前
    記計算機から転送されてくるデータのリードを指示する
    リードコマンドフレームに応答して、前記少なくとも2
    つの記憶装置サブシステムのうち予め定められた一の記
    憶装置サブシステムに接続する第2のインタフェースノ
    ードのノードアドレス情報を前記リードコマンドフレー
    ムに付加して前記転送手段に転送することを特徴とする
    請求項7記載の記憶装置サブシステム。
  11. 【請求項11】データを保持する記憶媒体を有する記憶
    装置、及び該記憶装置を制御する制御装置とを有する複
    数の記憶装置サブシステムと、前記記憶装置に格納され
    たデータを利用する計算機との間に接続されるスイッチ
    装置であって、前記計算機に接続され、記憶装置システ
    ムの構成情報を格納した構成管理テーブルと、前記計算
    機から送られてくるフレームに応答して、該フレームを
    解析し、前記構成管理テーブルに保持された前記構成情
    報に基づいて前記フレームを変換する変換手段と、各々
    が前記記憶装置サブシステムのいずれかに接続された複
    数の第2のインタフェースノードと、前記第1のインタ
    フェースノード及び前記複数の第2のインタフェースノ
    ードが接続され、前記第1のインタフェースノードと前
    記複数の第2のインタフェースノードとの間で前記フレ
    ームの転送を行う転送手段とを有すること特徴とするス
    イッチ装置。
  12. 【請求項12】前記第1のインタフェースノードが、前
    記フレームに前記第2のインタフェースノードのノード
    アドレス情報を付加して出力するパケット生成手段を有
    し、前記転送手段は、前記ノードアドレス情報に基づい
    て前記第1のインタフェースノードと前記複数の第2の
    インタフェースノードとの間で前記フレームの転送を行
    うことを特徴とする請求項11記載のスイッチ装置。
  13. 【請求項13】前記フレームは、転送元及び転送先を指
    定する識別子を保持するヘッダ部と、転送される実体デ
    ータを保持するデータ実体部とを有し、前記変換手段
    は、前記構成情報に基づき前記ヘッダ部に保持された転
    送先の識別子を変換することを特徴とする請求項11記
    載のスイッチ装置。
  14. 【請求項14】前記フレームは、前記データ実体部に、
    前記計算機により認識されている前記データの格納先を
    示す第1の論理アドレス情報を含み、前記変換手段は、
    前記構成管理テーブルに保持された前記構成情報に基づ
    いて、前記第1の論理アドレス情報を、該フレームの転
    送先となる記憶装置サブシステム内で管理される第2の
    論理アドレスに変換することを特徴とする請求項13記
    載のスイッチ装置。
  15. 【請求項15】前記スイッチ装置は、さらに、前記転送
    手段に接続し、オペレータから該スイッチ装置及び前記
    複数の記憶装置サブシステムを含んで構成される記憶装
    置システムの構成を定義する構成情報の入力を受け付
    け、該入力に応答して、各ノードの構成管理テーブルに
    前記構成情報を設定する管理プロセッサを有することを
    特徴とする請求項11記載のスイッチ装置。
  16. 【請求項16】前記第1のインタフェースノードは、前
    記計算機から転送されてくるデータの書き込みを指示す
    るライトコマンドフレームに応答して、該ライトコマン
    ドフレーム及びそれに続くデータフレームについてそれ
    らの複製を生成し、前記ライトコマンドフレーム及びそ
    れに続くデータフレームが少なくとも2つの記憶装置サ
    ブシステムに送られるよう、各々のフレームに異なるノ
    ードアドレス情報を付加して前記転送手段に転送するこ
    とを特徴とする請求項12記載のスイッチ装置。
  17. 【請求項17】前記第1のインタフェースノードは、前
    記計算機から転送されてくるデータのリードを指示する
    リードコマンドフレームに応答して、該リードコマンド
    フレームの複製を生成し、前記少なくとも2つの記憶装
    置サブシステムに前記リードコマンドフレームが送られ
    るように、各々のリードコマンドフレームに異なるノー
    ドアドレス情報を付加して前記転送手段に転送すること
    を特徴とする請求項16記載のスイッチ装置。
  18. 【請求項18】前記第1のインタフェースノードは、前
    記リードコマンドフレームに応答して前記少なくとも2
    つの記憶装置サブシステムから転送されてくるデータフ
    レームを受信し、その一方を選択して前記計算機に転送
    することを特徴とする請求項17記載のスイッチ装置。
  19. 【請求項19】前記第1のインタフェースノードは、前
    記計算機から転送されてくるデータのリードを指示する
    リードコマンドフレームに応答して、前記少なくとも2
    つの記憶装置サブシステムのうち予め定められた一の記
    憶装置サブシステムに接続する第2のインタフェースノ
    ードのノードアドレス情報を前記リードコマンドフレー
    ムに付加して前記転送手段に転送することを特徴とする
    請求項16記載のスイッチ装置。
  20. 【請求項20】データを保持する記憶媒体を有する記憶
    装置と、該記憶装置を制御する制御装置とを有する複数
    の記憶装置サブシステムと、前記複数の記憶装置サブシ
    ステムに保持されるデータを使用する計算機に接続され
    た第1のインタフェースノードと、各々が前記記憶装置
    サブシステムのいずれか1つに接続された複数の第2の
    インタフェースノードと、前記第1のインタフェースノ
    ード及び前記複数の第2のインタフェースノードが接続
    され、前記第1のインタフェースノードと前記複数の第
    2のインタフェースノードとの間でフレームの転送を行
    う転送手段と、前記転送手段に接続し、オペレータによ
    り入力された記憶装置システムの構成を定義する構成情
    報を保持する管理テーブルを備えて前記構成情報に基づ
    いて該記憶装置システムの構成を管理する管理プロセッ
    サとを有することを特徴とする記憶装置システム。
JP11344260A 1998-12-22 1999-12-03 記憶装置システム Withdrawn JP2000242434A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11344260A JP2000242434A (ja) 1998-12-22 1999-12-03 記憶装置システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-364079 1998-12-22
JP36407998 1998-12-22
JP11344260A JP2000242434A (ja) 1998-12-22 1999-12-03 記憶装置システム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2003426165A Division JP4874515B2 (ja) 1998-12-22 2003-12-24 記憶装置システム
JP2007035620A Division JP2007141264A (ja) 1998-12-22 2007-02-16 記憶装置システム

Publications (2)

Publication Number Publication Date
JP2000242434A true JP2000242434A (ja) 2000-09-08
JP2000242434A5 JP2000242434A5 (ja) 2004-12-09

Family

ID=26577730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11344260A Withdrawn JP2000242434A (ja) 1998-12-22 1999-12-03 記憶装置システム

Country Status (1)

Country Link
JP (1) JP2000242434A (ja)

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002215554A (ja) * 2000-12-20 2002-08-02 Internatl Business Mach Corp <Ibm> データ記録システム、データ記録方法およびネットワークシステム
WO2002065298A1 (en) 2001-02-13 2002-08-22 Candera, Inc. Silicon-based storage virtualization server
JP2003030167A (ja) * 2001-04-27 2003-01-31 Internatl Business Mach Corp <Ibm> クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作
JP2003202964A (ja) * 2002-01-09 2003-07-18 Hitachi Ltd 計算機システムの制御方法、計算機システム、記憶装置の制御方法及び記憶装置
WO2003062979A2 (en) * 2002-01-23 2003-07-31 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network
JP2004240949A (ja) * 2002-11-26 2004-08-26 Hitachi Ltd クラスタ型ストレージシステム及びその管理方法
JP2005011277A (ja) * 2003-06-23 2005-01-13 Hitachi Ltd 外部ストレージに接続されるストレージ装置
WO2005006175A1 (ja) * 2003-07-10 2005-01-20 Fujitsu Limited 複数の論理ユニットをグループ化する方法、受信した要求の処理方法、複数の論理ユニットをグループ化する装置及び、受信した要求の処理装置
JP2005524264A (ja) * 2002-04-25 2005-08-11 インターナショナル・ビジネス・マシーンズ・コーポレーション ネットワークにおけるデータ転送を管理するデータ処理システムおよび方法
JP2006178811A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd ストレージシステム及びストレージシステムのパス制御方法
JP2006195977A (ja) * 2005-01-14 2006-07-27 Internatl Business Mach Corp <Ibm> ストレージ・アクセス要求をリダイレクトするための方法、システム、および製品
US7120739B2 (en) 2004-04-14 2006-10-10 Hitachi, Ltd. Storage system
JP2007048323A (ja) * 2002-11-25 2007-02-22 Hitachi Ltd 仮想化制御装置およびデータ移行制御方法
JP2007065751A (ja) * 2005-08-29 2007-03-15 Hitachi Ltd ストレージシステム及び記憶制御方法
US7203814B2 (en) 2003-10-06 2007-04-10 Hitachi, Ltd. Storage system
US7213124B2 (en) 2003-05-28 2007-05-01 Hitachi, Ltd. Method for allocating storage area to virtual volume
JP2007115264A (ja) * 2003-09-17 2007-05-10 Hitachi Ltd 記憶システム
JP2007149068A (ja) * 2005-11-23 2007-06-14 Internatl Business Mach Corp <Ibm> ストライピング済みディスク・データのリバランシングを行う方法、システム、及び製品(ストライピング済みディスク・データのリバランシング)
JP2007157089A (ja) * 2005-12-09 2007-06-21 Fujitsu Ltd ストレージ仮想化装置およびそれを用いたコンピュータシステム
JP2007524877A (ja) * 2003-01-20 2007-08-30 イコールロジック, インク. データ記憶システム
US7287116B2 (en) 2002-04-05 2007-10-23 Hitachi, Ltd. Storage virtualization system and method having a virtualization switch
US7299333B2 (en) 2000-12-07 2007-11-20 Hitachi, Ltd. Computer system with storage system having re-configurable logical volumes
JP2008027459A (ja) * 2000-12-07 2008-02-07 Hitachi Ltd 計算機システム
US7337374B2 (en) 2002-04-23 2008-02-26 Hitachi, Ltd. Program, information processing method, information processing apparatus, and storage apparatus
JP2008071005A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd 空きポートを有効に活用したストレージシステム
US7356581B2 (en) 2001-04-18 2008-04-08 Hitachi, Ltd. Storage network switch
US7383385B2 (en) 2001-01-23 2008-06-03 Emc Corporation Remote mirroring in a switched environment
JP2008171420A (ja) * 2002-04-26 2008-07-24 Hitachi Ltd 記憶装置システムの制御方法および記憶制御装置
JP2008529167A (ja) * 2005-01-27 2008-07-31 ネットワーク・アプライアンス・インコーポレイテッド 協調的共用ストレージアーキテクチャ
WO2008126202A1 (ja) * 2007-03-23 2008-10-23 Fujitsu Limited ストレージシステムの負荷分散プログラム、ストレージシステムの負荷分散方法、及びストレージ管理装置
JP2008539531A (ja) * 2005-04-29 2008-11-13 ネットワーク・アプライアンス・インコーポレイテッド ストレージシステムクラスタの複数のボリュームにわたってデータコンテナをストライピングするためのデータ配置技術
US7548975B2 (en) 2002-01-09 2009-06-16 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network through a virtual enclosure
US7571280B2 (en) 2003-04-25 2009-08-04 Hitachi, Ltd. Cluster-type storage system and managing method of the cluster-type storage system
US7609649B1 (en) 2005-04-26 2009-10-27 Cisco Technology, Inc. Methods and apparatus for improving network based virtualization performance
JP2009259100A (ja) * 2008-04-18 2009-11-05 Nec Corp ディスクアレイシステム、ディスク装置、筐体間ミラーリング方法およびプログラム
JP2009541854A (ja) * 2006-06-20 2009-11-26 ラテゼ・リモート・エム・ジー・エム・テイ・エル・エル・シー ストレージシステム用コマンドの生成
US7694104B2 (en) 2002-11-25 2010-04-06 Hitachi, Ltd. Virtualization controller and data transfer control method
US7743211B2 (en) 2003-04-25 2010-06-22 Hitachi Ltd Cluster-type storage system and managing method of the cluster-type storage system
US7747827B2 (en) 2002-03-20 2010-06-29 Hitachi, Ltd. Storage system, disk control cluster, and its increase method
US7761677B2 (en) 2002-04-02 2010-07-20 Hitachi, Ltd. Clustered storage system and its control method
JP2010191989A (ja) * 2010-04-26 2010-09-02 Hitachi Ltd 記憶制御システム及び方法
JP2010211549A (ja) * 2009-03-11 2010-09-24 Fujitsu Ltd 管理プログラム、管理装置および管理方法
US7814270B2 (en) 2004-03-12 2010-10-12 Hitachi, Ltd. Storage systems and methods of controlling cache memory of storage systems
JP2010250813A (ja) * 2002-10-31 2010-11-04 Ring Technology Enterprises Llc ストレージシステムのための方法及びシステム
US7882287B2 (en) 2003-06-27 2011-02-01 Brother Kogyo Kabushiki Kaisha Peripheral device
US7899971B2 (en) 2008-01-22 2011-03-01 Hitachi, Ltd. Mainframe storage controller and mainframe volume virtualization method
US7934023B2 (en) 2003-12-01 2011-04-26 Cisco Technology, Inc. Apparatus and method for performing fast fibre channel write operations over relatively high latency networks
US8006056B2 (en) 2004-01-30 2011-08-23 Hewlett-Packard Development Company, L.P. Storage system including capability to move a virtual storage device group without moving data
US8782739B2 (en) 2002-12-04 2014-07-15 Cisco Technology, Inc. Access list key compression
US8805918B1 (en) 2002-09-11 2014-08-12 Cisco Technology, Inc. Methods and apparatus for implementing exchange management for virtualization of storage within a storage area network
JP2015065507A (ja) * 2013-09-24 2015-04-09 日本電気株式会社 ゲートウェイ装置および通信ネットワークおよびゲートウェイ装置の制御方法
US9430440B2 (en) 2012-01-06 2016-08-30 Fujitsu Limited Environment construction apparatus and method, environment registration apparatus and method, environment switching apparatus and method
US10140172B2 (en) 2016-05-18 2018-11-27 Cisco Technology, Inc. Network-aware storage repairs
US10222986B2 (en) 2015-05-15 2019-03-05 Cisco Technology, Inc. Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US10243823B1 (en) 2017-02-24 2019-03-26 Cisco Technology, Inc. Techniques for using frame deep loopback capabilities for extended link diagnostics in fibre channel storage area networks
US10243826B2 (en) 2015-01-10 2019-03-26 Cisco Technology, Inc. Diagnosis and throughput measurement of fibre channel ports in a storage area network environment
US10254991B2 (en) 2017-03-06 2019-04-09 Cisco Technology, Inc. Storage area network based extended I/O metrics computation for deep insight into application performance
US10303534B2 (en) 2017-07-20 2019-05-28 Cisco Technology, Inc. System and method for self-healing of application centric infrastructure fabric memory
US10404596B2 (en) 2017-10-03 2019-09-03 Cisco Technology, Inc. Dynamic route profile storage in a hardware trie routing table
US10545914B2 (en) 2017-01-17 2020-01-28 Cisco Technology, Inc. Distributed object storage
US10585830B2 (en) 2015-12-10 2020-03-10 Cisco Technology, Inc. Policy-driven storage in a microserver computing environment
US10664169B2 (en) 2016-06-24 2020-05-26 Cisco Technology, Inc. Performance of object storage system by reconfiguring storage devices based on latency that includes identifying a number of fragments that has a particular storage device as its primary storage device and another number of fragments that has said particular storage device as its replica storage device
US10778765B2 (en) 2015-07-15 2020-09-15 Cisco Technology, Inc. Bid/ask protocol in scale-out NVMe storage
US10826829B2 (en) 2015-03-26 2020-11-03 Cisco Technology, Inc. Scalable handling of BGP route information in VXLAN with EVPN control plane
US10872056B2 (en) 2016-06-06 2020-12-22 Cisco Technology, Inc. Remote memory access using memory mapped addressing among multiple compute nodes
US10942666B2 (en) 2017-10-13 2021-03-09 Cisco Technology, Inc. Using network device replication in distributed storage clusters
US11563695B2 (en) 2016-08-29 2023-01-24 Cisco Technology, Inc. Queue protection using a shared global memory reserve
US11588783B2 (en) 2015-06-10 2023-02-21 Cisco Technology, Inc. Techniques for implementing IPV6-based distributed storage space

Cited By (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027459A (ja) * 2000-12-07 2008-02-07 Hitachi Ltd 計算機システム
US7299333B2 (en) 2000-12-07 2007-11-20 Hitachi, Ltd. Computer system with storage system having re-configurable logical volumes
JP2002215554A (ja) * 2000-12-20 2002-08-02 Internatl Business Mach Corp <Ibm> データ記録システム、データ記録方法およびネットワークシステム
US7383385B2 (en) 2001-01-23 2008-06-03 Emc Corporation Remote mirroring in a switched environment
WO2002065298A1 (en) 2001-02-13 2002-08-22 Candera, Inc. Silicon-based storage virtualization server
EP1370947A4 (en) * 2001-02-13 2009-05-27 Candera Inc STORAGE VIRTUALIZATION SERVER SILICON BASE
EP1370947A1 (en) * 2001-02-13 2003-12-17 Candera, Inc. Silicon-based storage virtualization server
US7356581B2 (en) 2001-04-18 2008-04-08 Hitachi, Ltd. Storage network switch
JP2003030167A (ja) * 2001-04-27 2003-01-31 Internatl Business Mach Corp <Ibm> クラスタ化コンピュータ・システムでの入出力ブリッジ・デバイスのアトミック所有権変更動作
JP2003202964A (ja) * 2002-01-09 2003-07-18 Hitachi Ltd 計算機システムの制御方法、計算機システム、記憶装置の制御方法及び記憶装置
US7548975B2 (en) 2002-01-09 2009-06-16 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network through a virtual enclosure
WO2003062979A3 (en) * 2002-01-23 2005-05-12 Cisco Tech Ind Methods and apparatus for implementing virtualization of storage within a storage area network
US8725854B2 (en) 2002-01-23 2014-05-13 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network
WO2003062979A2 (en) * 2002-01-23 2003-07-31 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network
US7433948B2 (en) 2002-01-23 2008-10-07 Cisco Technology, Inc. Methods and apparatus for implementing virtualization of storage within a storage area network
CN100334534C (zh) * 2002-01-23 2007-08-29 思科技术公司 在存储区域网中实现存储虚拟化的方法与装置
US7747827B2 (en) 2002-03-20 2010-06-29 Hitachi, Ltd. Storage system, disk control cluster, and its increase method
US7761677B2 (en) 2002-04-02 2010-07-20 Hitachi, Ltd. Clustered storage system and its control method
US7287116B2 (en) 2002-04-05 2007-10-23 Hitachi, Ltd. Storage virtualization system and method having a virtualization switch
US7337374B2 (en) 2002-04-23 2008-02-26 Hitachi, Ltd. Program, information processing method, information processing apparatus, and storage apparatus
JP2005524264A (ja) * 2002-04-25 2005-08-11 インターナショナル・ビジネス・マシーンズ・コーポレーション ネットワークにおけるデータ転送を管理するデータ処理システムおよび方法
JP2008171420A (ja) * 2002-04-26 2008-07-24 Hitachi Ltd 記憶装置システムの制御方法および記憶制御装置
US9733868B2 (en) 2002-09-11 2017-08-15 Cisco Technology, Inc. Methods and apparatus for implementing exchange management for virtualization of storage within a storage area network
US8805918B1 (en) 2002-09-11 2014-08-12 Cisco Technology, Inc. Methods and apparatus for implementing exchange management for virtualization of storage within a storage area network
JP2010250813A (ja) * 2002-10-31 2010-11-04 Ring Technology Enterprises Llc ストレージシステムのための方法及びシステム
US7877568B2 (en) 2002-11-25 2011-01-25 Hitachi, Ltd. Virtualization controller and data transfer control method
US8190852B2 (en) 2002-11-25 2012-05-29 Hitachi, Ltd. Virtualization controller and data transfer control method
JP2007048323A (ja) * 2002-11-25 2007-02-22 Hitachi Ltd 仮想化制御装置およびデータ移行制御方法
US7694104B2 (en) 2002-11-25 2010-04-06 Hitachi, Ltd. Virtualization controller and data transfer control method
JP4509089B2 (ja) * 2002-11-25 2010-07-21 株式会社日立製作所 仮想化制御装置及びデータ移行制御方法
US8572352B2 (en) 2002-11-25 2013-10-29 Hitachi, Ltd. Virtualization controller and data transfer control method
JP4508612B2 (ja) * 2002-11-26 2010-07-21 株式会社日立製作所 クラスタ型ストレージシステム及びその管理方法
US7069385B2 (en) 2002-11-26 2006-06-27 Hitachi, Ltd. Cluster-type storage system and managing method of the cluster-type storage system
JP2004240949A (ja) * 2002-11-26 2004-08-26 Hitachi Ltd クラスタ型ストレージシステム及びその管理方法
US8782739B2 (en) 2002-12-04 2014-07-15 Cisco Technology, Inc. Access list key compression
JP2007524877A (ja) * 2003-01-20 2007-08-30 イコールロジック, インク. データ記憶システム
US7743211B2 (en) 2003-04-25 2010-06-22 Hitachi Ltd Cluster-type storage system and managing method of the cluster-type storage system
US7571280B2 (en) 2003-04-25 2009-08-04 Hitachi, Ltd. Cluster-type storage system and managing method of the cluster-type storage system
US7484071B2 (en) 2003-05-28 2009-01-27 Hitachi, Ltd. Method for allocating storage area to virtual volume
US7213124B2 (en) 2003-05-28 2007-05-01 Hitachi, Ltd. Method for allocating storage area to virtual volume
US7257694B2 (en) 2003-05-28 2007-08-14 Hitachi, Ltd. Method for allocating storage area to virtual volume
JP2005011277A (ja) * 2003-06-23 2005-01-13 Hitachi Ltd 外部ストレージに接続されるストレージ装置
US7882287B2 (en) 2003-06-27 2011-02-01 Brother Kogyo Kabushiki Kaisha Peripheral device
WO2005006175A1 (ja) * 2003-07-10 2005-01-20 Fujitsu Limited 複数の論理ユニットをグループ化する方法、受信した要求の処理方法、複数の論理ユニットをグループ化する装置及び、受信した要求の処理装置
JP2007115264A (ja) * 2003-09-17 2007-05-10 Hitachi Ltd 記憶システム
JP4486632B2 (ja) * 2003-09-17 2010-06-23 株式会社日立製作所 記憶システム
US7590818B2 (en) 2003-10-06 2009-09-15 Hitachi, Ltd. Storage system having a plurality of virtualization apparatuses that allocate a storage area, form a plurality of virtual volumes, and process input-output from a host processor
US7203814B2 (en) 2003-10-06 2007-04-10 Hitachi, Ltd. Storage system
US7334106B2 (en) 2003-10-06 2008-02-19 Hitachi, Ltd. Storage system
US7934023B2 (en) 2003-12-01 2011-04-26 Cisco Technology, Inc. Apparatus and method for performing fast fibre channel write operations over relatively high latency networks
US8006056B2 (en) 2004-01-30 2011-08-23 Hewlett-Packard Development Company, L.P. Storage system including capability to move a virtual storage device group without moving data
US7814270B2 (en) 2004-03-12 2010-10-12 Hitachi, Ltd. Storage systems and methods of controlling cache memory of storage systems
US7120739B2 (en) 2004-04-14 2006-10-10 Hitachi, Ltd. Storage system
US7249220B2 (en) 2004-04-14 2007-07-24 Hitachi, Ltd. Storage system
US7594074B2 (en) 2004-04-14 2009-09-22 Hitachi, Ltd. Storage system
JP2006178811A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd ストレージシステム及びストレージシステムのパス制御方法
JP2006195977A (ja) * 2005-01-14 2006-07-27 Internatl Business Mach Corp <Ibm> ストレージ・アクセス要求をリダイレクトするための方法、システム、および製品
JP2008529167A (ja) * 2005-01-27 2008-07-31 ネットワーク・アプライアンス・インコーポレイテッド 協調的共用ストレージアーキテクチャ
US8644174B2 (en) 2005-04-26 2014-02-04 Cisco Technology, Inc. Network based virtualization performance
US7609649B1 (en) 2005-04-26 2009-10-27 Cisco Technology, Inc. Methods and apparatus for improving network based virtualization performance
JP2008539531A (ja) * 2005-04-29 2008-11-13 ネットワーク・アプライアンス・インコーポレイテッド ストレージシステムクラスタの複数のボリュームにわたってデータコンテナをストライピングするためのデータ配置技術
JP2007065751A (ja) * 2005-08-29 2007-03-15 Hitachi Ltd ストレージシステム及び記憶制御方法
JP2007149068A (ja) * 2005-11-23 2007-06-14 Internatl Business Mach Corp <Ibm> ストライピング済みディスク・データのリバランシングを行う方法、システム、及び製品(ストライピング済みディスク・データのリバランシング)
JP4486921B2 (ja) * 2005-12-09 2010-06-23 富士通株式会社 ストレージ仮想化装置およびそれを用いたコンピュータシステム
JP2007157089A (ja) * 2005-12-09 2007-06-21 Fujitsu Ltd ストレージ仮想化装置およびそれを用いたコンピュータシステム
JP2009541854A (ja) * 2006-06-20 2009-11-26 ラテゼ・リモート・エム・ジー・エム・テイ・エル・エル・シー ストレージシステム用コマンドの生成
JP2008071005A (ja) * 2006-09-13 2008-03-27 Hitachi Ltd 空きポートを有効に活用したストレージシステム
US8516070B2 (en) 2007-03-23 2013-08-20 Fujitsu Limited Computer program and method for balancing processing load in storage system, and apparatus for managing storage devices
WO2008126202A1 (ja) * 2007-03-23 2008-10-23 Fujitsu Limited ストレージシステムの負荷分散プログラム、ストレージシステムの負荷分散方法、及びストレージ管理装置
US7899971B2 (en) 2008-01-22 2011-03-01 Hitachi, Ltd. Mainframe storage controller and mainframe volume virtualization method
JP2009259100A (ja) * 2008-04-18 2009-11-05 Nec Corp ディスクアレイシステム、ディスク装置、筐体間ミラーリング方法およびプログラム
JP2010211549A (ja) * 2009-03-11 2010-09-24 Fujitsu Ltd 管理プログラム、管理装置および管理方法
JP2010191989A (ja) * 2010-04-26 2010-09-02 Hitachi Ltd 記憶制御システム及び方法
US9430440B2 (en) 2012-01-06 2016-08-30 Fujitsu Limited Environment construction apparatus and method, environment registration apparatus and method, environment switching apparatus and method
JP2015065507A (ja) * 2013-09-24 2015-04-09 日本電気株式会社 ゲートウェイ装置および通信ネットワークおよびゲートウェイ装置の制御方法
US10243826B2 (en) 2015-01-10 2019-03-26 Cisco Technology, Inc. Diagnosis and throughput measurement of fibre channel ports in a storage area network environment
US10826829B2 (en) 2015-03-26 2020-11-03 Cisco Technology, Inc. Scalable handling of BGP route information in VXLAN with EVPN control plane
US10222986B2 (en) 2015-05-15 2019-03-05 Cisco Technology, Inc. Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US11354039B2 (en) 2015-05-15 2022-06-07 Cisco Technology, Inc. Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US10671289B2 (en) 2015-05-15 2020-06-02 Cisco Technology, Inc. Tenant-level sharding of disks with tenant-specific storage modules to enable policies per tenant in a distributed storage system
US11588783B2 (en) 2015-06-10 2023-02-21 Cisco Technology, Inc. Techniques for implementing IPV6-based distributed storage space
US10778765B2 (en) 2015-07-15 2020-09-15 Cisco Technology, Inc. Bid/ask protocol in scale-out NVMe storage
US10949370B2 (en) 2015-12-10 2021-03-16 Cisco Technology, Inc. Policy-driven storage in a microserver computing environment
US10585830B2 (en) 2015-12-10 2020-03-10 Cisco Technology, Inc. Policy-driven storage in a microserver computing environment
US10140172B2 (en) 2016-05-18 2018-11-27 Cisco Technology, Inc. Network-aware storage repairs
US10872056B2 (en) 2016-06-06 2020-12-22 Cisco Technology, Inc. Remote memory access using memory mapped addressing among multiple compute nodes
US10664169B2 (en) 2016-06-24 2020-05-26 Cisco Technology, Inc. Performance of object storage system by reconfiguring storage devices based on latency that includes identifying a number of fragments that has a particular storage device as its primary storage device and another number of fragments that has said particular storage device as its replica storage device
US11563695B2 (en) 2016-08-29 2023-01-24 Cisco Technology, Inc. Queue protection using a shared global memory reserve
US10545914B2 (en) 2017-01-17 2020-01-28 Cisco Technology, Inc. Distributed object storage
US10243823B1 (en) 2017-02-24 2019-03-26 Cisco Technology, Inc. Techniques for using frame deep loopback capabilities for extended link diagnostics in fibre channel storage area networks
US11252067B2 (en) 2017-02-24 2022-02-15 Cisco Technology, Inc. Techniques for using frame deep loopback capabilities for extended link diagnostics in fibre channel storage area networks
US10254991B2 (en) 2017-03-06 2019-04-09 Cisco Technology, Inc. Storage area network based extended I/O metrics computation for deep insight into application performance
US11055159B2 (en) 2017-07-20 2021-07-06 Cisco Technology, Inc. System and method for self-healing of application centric infrastructure fabric memory
US10303534B2 (en) 2017-07-20 2019-05-28 Cisco Technology, Inc. System and method for self-healing of application centric infrastructure fabric memory
US10999199B2 (en) 2017-10-03 2021-05-04 Cisco Technology, Inc. Dynamic route profile storage in a hardware trie routing table
US11570105B2 (en) 2017-10-03 2023-01-31 Cisco Technology, Inc. Dynamic route profile storage in a hardware trie routing table
US10404596B2 (en) 2017-10-03 2019-09-03 Cisco Technology, Inc. Dynamic route profile storage in a hardware trie routing table
US10942666B2 (en) 2017-10-13 2021-03-09 Cisco Technology, Inc. Using network device replication in distributed storage clusters

Similar Documents

Publication Publication Date Title
JP5132720B2 (ja) 記憶装置システム
JP2000242434A (ja) 記憶装置システム
US6598174B1 (en) Method and apparatus for storage unit replacement in non-redundant array
US6571354B1 (en) Method and apparatus for storage unit replacement according to array priority
US6446141B1 (en) Storage server system including ranking of data source
US6553408B1 (en) Virtual device architecture having memory for storing lists of driver modules
US6654830B1 (en) Method and system for managing data migration for a storage system
US6640278B1 (en) Method for configuration and management of storage resources in a storage network
US8683157B2 (en) Storage system and virtualization method
US9009427B2 (en) Mirroring mechanisms for storage area networks and network based virtualization
US6915379B2 (en) Storage device for processing an access request from a host and storage system including storage devices
US7660946B2 (en) Storage control system and storage control method
US9619171B2 (en) Storage system and virtualization method
US20070094465A1 (en) Mirroring mechanisms for storage area networks and network based virtualization
US20070094466A1 (en) Techniques for improving mirroring operations implemented in storage area networks and network based virtualization
US20090259817A1 (en) Mirror Consistency Checking Techniques For Storage Area Networks And Network Based Virtualization
IE20000203A1 (en) Storage domain management system
JP2006072636A (ja) ディスクアレイ装置
JP2005202495A (ja) データ移行方法
JP4783086B2 (ja) ストレージシステム、ストレージアクセス制限方法、及びコンピュータプログラム
JP4537425B2 (ja) ディスクアレイ装置
JP4874515B2 (ja) 記憶装置システム
JP2007141264A (ja) 記憶装置システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060413

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060516

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060714

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070316

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070405