JP2005301638A - ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法 - Google Patents
ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法 Download PDFInfo
- Publication number
- JP2005301638A JP2005301638A JP2004116360A JP2004116360A JP2005301638A JP 2005301638 A JP2005301638 A JP 2005301638A JP 2004116360 A JP2004116360 A JP 2004116360A JP 2004116360 A JP2004116360 A JP 2004116360A JP 2005301638 A JP2005301638 A JP 2005301638A
- Authority
- JP
- Japan
- Prior art keywords
- disk array
- array device
- release
- logical volume
- reserve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0637—Permissions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0617—Improving the reliability of storage systems in relation to availability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】 ホストのシステムダウン等によってLDEVに残されたリザーブ状態を簡単に確認して解除できるようにする。
【解決手段】 サーバ1がLDEV4をリザーブして排他的に使用している。サーバ1が障害等でシステムダウンした場合(S1)、LDEV4は、リザーブされたままの状態となる(S2)。このため、サーバ2は、LDEV4にアクセスすることができない。システム管理者は、管理端末7を介してメモリ5内の排他制御情報6を読み出す。これにより、各LDEV単位のリザーブ状態を端末画面に表示して確認できる。ユーザは、管理端末7からリザーブ状態の解除を指示する(S3)。ディスクアレイ装置3は、この解除指示を受けて、排他制御情報6を部分的に書き換え、リザーブ状態を解除する。
【選択図】 図1
【解決手段】 サーバ1がLDEV4をリザーブして排他的に使用している。サーバ1が障害等でシステムダウンした場合(S1)、LDEV4は、リザーブされたままの状態となる(S2)。このため、サーバ2は、LDEV4にアクセスすることができない。システム管理者は、管理端末7を介してメモリ5内の排他制御情報6を読み出す。これにより、各LDEV単位のリザーブ状態を端末画面に表示して確認できる。ユーザは、管理端末7からリザーブ状態の解除を指示する(S3)。ディスクアレイ装置3は、この解除指示を受けて、排他制御情報6を部分的に書き換え、リザーブ状態を解除する。
【選択図】 図1
Description
本発明は、ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法に関する。
例えば、企業や自治体あるいは学校等のような各種の組織では、多種多様のデータを多量に管理する。これらの多量のデータは、ホストコンピュータとは別体に形成されたストレージシステムにより管理される。ストレージシステムは、例えば、ディスクアレイ装置のような記憶装置を少なくとも一つ以上備えて構成される。
ディスクアレイ装置は、例えば、ハードディスクドライブや半導体メモリ装置等の記憶デバイスをアレイ状に配設して構成される。ディスクアレイ装置は、RAID(Redundant Array of Independent Inexpensive Disks)に基づく論理的な記憶領域を提供する。この論理的な記憶領域は、論理ボリューム(LU:Logical Unit)とも呼ばれる。
そして、ホストコンピュータは、ディスクアレイ装置の通信ポートを介して論理ボリュームにアクセスし、データの読み書き(I/O)を行う。ホストコンピュータは、データの整合性等を維持するために、論理ボリュームをリザーブし、排他的に論理ボリュームを使用する場合がある。論理ボリュームの使用を終えた場合、ホストコンピュータは、リザーブ状態を解除する。
ここで、ホストコンピュータが論理ボリュームをリザーブしている状態で、ホストコンピュータに何らかの障害が発生した場合は、リザーブ状態を解除しないままホストコンピュータがシステムダウンする可能性がある。この場合、他のホストコンピュータは、リザーブ状態に置かれたままの論理ボリュームを利用できない。従って、例えば、ディスクアレイ装置の電源を落としたり、通信ポートに接続されるケーブルを取り外したり、ディスクアレイ装置に接続されるチャネルスイッチの電源を落とすことにより、リセット処理を行い、リザーブ状態を解除する。
なお、ディスク装置をリザーブしているホストがハングアップしたときは、ディスク制御装置とホストとの間で応答確認を行い、ホストからの応答が無い場合にリザーブ状態を強制的に解除するようにした技術は知られている(特許文献1)。
特開平5−189396号公報
論理ボリュームのリザーブ状態を解除するために、ディスクアレイ装置の電源を落としてリセット処理を行う場合は、ディスクアレイ装置が再起動するまで、ホストコンピュータはストレージサービスを利用することができない。また、チャネルスイッチの電源を落としたり、通信ポートに接続されるケーブルを取り外すことによりリセット処理を行う場合は、リセットされるポートを介して他のホストコンピュータが他の論理ボリュームにアクセスすることができなくなる。
近年では、ディスクアレイ装置の高性能化高容量化に伴い、ディスクアレイ装置は、多数のホストコンピュータによって利用されることが多い。ディスクアレイ装置が備える複数の通信ポートには、それぞれ複数の論理ボリュームを関連付けることができる。従って、論理ボリュームに残されたリザーブ状態を解除するために、通信ポートにリセットをかけた場合は、その通信ポートに関連付けられる他の論理ボリュームへのアクセスも行うことができなくなる。
また、ディスクアレイ装置側で通信ポートをリセットし、論理ボリュームに残されたリザーブ状態を解除する場合、他のホストコンピュータは、リザーブ状態が解除されたことを認識することができない。従って、多数のホストコンピュータとディスクアレイ装置との間で、リザーブ状態の有無に関する認識が相違するおそれもある。
なお、上記文献に記載の技術は、ディスク装置へのリザーブ状態を解除するもので、ディスク装置上に設けられる論理ボリュームへのリザーブ状態を解除するものではない。従って、この従来技術は、論理ボリュームをリザーブしてアクセスするシステムに適用することができない。
本発明は、上記の問題点に鑑みてなされたもので、その目的の一つは、論理ボリューム単位で排他的使用状態を解除できるようにしたディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法を提供することにある。本発明の目的の一つは、論理ボリューム単位で排他的使用状態を確認することができ、論理ボリューム単位で排他的使用を解除することができるようにしたディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法を提供することにある。本発明の目的の一つは、アクセスの優先度に基づいて、リザーブ状態を論理ボリューム単位で解除可能としたディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法を提供することにある。本発明の更なる目的は、後述する実施の形態の記載から明らかになるであろう。
上記課題を解決すべく、本発明のディスクアレイ装置は、複数の上位装置とのデータ授受を通信ポートを介してそれぞれ制御する上位インターフェース制御部と、記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、上位インターフェース制御部及び下位インターフェース制御部により共用されるメモリ部と、記憶デバイス上に設けられ、通信ポートを介してアクセス可能な論理ボリュームと、各上位装置のうちいずれか一つの上位装置が通信ポートを介して論理ボリュームを排他的に使用するための排他制御情報を記憶する排他制御情報記憶領域と、上位インターフェース制御部に設けられ、排他制御情報に基づいて論理ボリュームの排他制御を実行する排他制御部と、解除指示を検出した場合に、排他制御情報を更新することにより、排他的使用を論理ボリューム単位で解除させる解除制御部と、を備えている。
論理ボリュームの排他的使用としては、例えば、上位装置から発行されるリザーブコマンドに基づくものを挙げることができる。これ以外に、論理ボリュームの排他的使用として、エラー等によるアクセス不可状態を含めることもできる。複数の上位装置は、フェイルオーバクラスタを構成することができる。論理ボリュームは、ディスクアレイ装置内に存在する必要は必ずしもなく、外部の他のディスクアレイ装置内に存在してもよい。なお、上位装置がいわゆるオープン系のコンピュータ装置である場合、この上位装置は、論理ボリュームを直接認識するのではなく、LUNを介して間接的に認識する。上位装置がいわゆるメインフレーム系のコンピュータ装置である場合、この上位装置は、論理ボリュームを直接的に認識する。
排他制御情報記憶領域は、メモリ部または上位インターフェース制御部の少なくともいずれか一方に設けることができる。
解除制御部は、上位インターフェース制御部に設けることができる。なお、排他制御情報をメモリ部または下位インターフェース制御部のいずれかに設ける場合は、解除制御部を下位インターフェース制御部に設けることもできる。
論理ボリュームは複数設けられており、通信ポートには複数の論理ボリュームを対応付けることができる。即ち、一つの通信ポートには、複数の論理ボリュームをそれぞれ接続することができる。
排他制御情報の全部または一部に基づいて、論理ボリュームの排他的使用に関する所定の情報を表示させる表示部を備えることもできる。
表示部により表示された所定の情報に基づいて、解除指示を解除制御部に与える解除対象選択部を備えることもできる。
各上位装置の優先度を管理するための優先度管理情報を記憶する優先度管理情報記憶領域と、相対的に優先度が低い上位装置が論理ボリュームを排他的に使用している場合において、相対的に優先度が高い上位装置が論理ボリュームへのアクセスを要求した場合は、解除指示を解除制御部に与える優先度判定部とを備えることもできる。
解除制御部は、論理ボリュームの排他的使用を解除した場合に、論理ボリュームの状態変更を各上位装置にそれぞれ通知することもできる。
本発明に従うディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法は、その構成の少なくとも一部をコンピュータプログラムから構成可能である。そして、このコンピュータプログラムは、例えば、ハードディスクや半導体メモリまたは光ディスク等の記憶媒体を介して流通することができる。あるいは、このコンピュータプログラムは、インターネット等の通信ネットワークを介して配信することもできる。
以下、図面に基づき、本発明の実施の形態を説明する。本実施形態では、詳細はさらに後述するが、複数の上位装置とのデータ授受を通信ポートを介してそれぞれ制御する上位インターフェース制御部と、記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、上位インターフェース制御部及び下位インターフェース制御部により共用されるメモリ部と、記憶デバイス上に設けられ、通信ポートを介してアクセス可能な論理ボリュームと、各上位装置のうちいずれか一つの上位装置が通信ポートを介して論理ボリュームをリザーブして使用するためのリザーブ情報を記憶するリザーブ情報記憶領域と、を備えたディスクアレイ装置が開示されている。そして、本実施形態では、論理ボリューム単位で解除指示を発生させる解除指示発生ステップと、解除指示が発生された場合は、リザーブ情報を更新することにより、リザーブ状態を解除させるリザーブ解除ステップと、を含むディスクアレイ装置のリザーブ解除制御方法が示されている。
図1は、本実施形態の全体概念を示す説明図である。このストレージシステムは、複数のサーバ1,2と、これらサーバ1,2により利用されるディスクアレイ装置3とを備えている。ディスクアレイ装置3は、少なくとも一つ以上の論理ボリューム(図中、「LDEV」と表記)4と、メモリ5とを備えることができる。メモリ5には、論理ボリューム4に対する排他制御の情報6が記憶されている。ディスクアレイ装置3には、管理端末7が接続されている。
サーバ1とサーバ2とは、例えば、LAN(Local Area Network)等の通信ネットワーク8を介して接続されている。サーバ1,2とディスクアレイ装置3とは、例えば、SAN(Storage Area Network)等の通信ネットワーク9A,9Bを介して接続されている。
サーバ1は、例えば、論理ボリューム4を特定するための情報を含むリザーブコマンドを発行することにより、論理ボリューム4をリザーブ状態に置き、排他的に使用することができる。サーバ1が論理ボリューム4をリザーブしている間、サーバ2は論理ボリューム4にアクセスすることはできない。サーバ1による論理ボリューム4のリザーブは、排他制御情報6に記憶される。図1中では、サーバ1は、LUN(Logical Unit Number)0を介して論理ボリューム4にアクセスしている。また、論理ボリューム4がサーバ1によりリザーブされていない場合、サーバ2は、LUN1を介して論理ボリューム4にアクセスすることができる。
図1(a)では、サーバ1が論理ボリューム4をリザーブして使用している。図1(b)に示すように、サーバ1が論理ボリューム4をリザーブしている状態で、サーバ1に障害が発生したとする(S1)。論理ボリューム4のリザーブ状態は解除されていないため(S2)、サーバ2は論理ボリューム4にアクセスすることができない。
システム管理者は、管理端末7を介して、リザーブ状態の解除を指示する(S3)。ディスクアレイ装置3は、サーバ1によるリザーブを強制的に除去して排他制御情報6を更新させる。これにより、サーバ2は、論理ボリューム4にアクセスすることができる。ここで、論理ボリューム4がリザーブされていない状態であることを示す情報が、排他制御情報6に設定される。この排他制御情報6を用いて、論理ボリューム4がリザーブされていない旨をサーバ2に通知することができる。
まず最初に、図2及び図3に基づいて、ディスクアレイ装置の一例について説明し、次に、図4以下を参照しながら本発明に特有の構成について説明する。
図2は、ディスクアレイ装置10の外観構成を示す概略斜視図である。ディスクアレイ装置10は、例えば、基本筐体11と複数の増設筐体12とから構成可能である。
基本筐体11は、ディスクアレイ装置10の最小構成単位であり、記憶機能及び制御機能の両方を備えている。増設筐体12は、ディスクアレイ装置10のオプションであり、基本筐体11の有する制御機能により制御される。例えば、最大4個の増設筐体12を基本筐体11に接続可能である。
基本筐体11には、複数の制御パッケージ13と、複数の電源ユニット14と、複数のバッテリユニット15と、複数のディスクドライブ26とがそれぞれ着脱可能に設けられている。増設筐体12には、複数のディスクドライブ26と、複数の電源ユニット14及び複数のバッテリユニット15が着脱可能に設けられている。また、基本筐体11及び各増設筐体12には、複数の冷却ファン16もそれぞれ設けられている。
制御パッケージ13は、後述するチャネルアダプタ(以下、CHA)21、ディスクアダプタ(以下、DKA)22及びキャッシュメモリ23等をそれぞれ実現するためのモジュールである。即ち、基本筐体11には、複数のCHAパッケージ、複数のDKAパッケージ及び一つ以上のメモリパッケージがそれぞれ着脱可能に設けられ、パッケージ単位で交換可能となっている。
図3は、ディスクアレイ装置10の全体概要を示すブロック図である。ディスクアレイ装置10は、通信ネットワークCN1を介して、複数のホストコンピュータ30と双方向通信可能にそれぞれ接続可能である。
通信ネットワークCN1は、例えば、LAN、SAN、インターネットまたは専用回線等である。LANを用いる場合、ホストコンピュータ30とディスクアレイ装置10との間のデータ転送は、例えば、TCP/IPに従う。SANを用いる場合、ホストコンピュータ30とディスクアレイ装置10とは、例えば、ファイバチャネルプロトコルに従ってデータ転送を行う。
また、ホストコンピュータ30がメインフレームの場合は、例えば、FICON(Fibre Connection:登録商標)、ESCON(Enterprise System Connection:登録商標)、ACONARC(Advanced Connection Architecture:登録商標)、FIBARC(Fibre Connection Architecture:登録商標)等の通信プロトコルに従ってデータ転送が行われる。
各ホストコンピュータ30は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、メインフレーム等として実現されるものである。例えば、各ホストコンピュータ30は、図外に位置する複数のクライアント端末と別の通信ネットワークを介して接続されている。各ホストコンピュータ30は、例えば、各クライアント端末からの要求に応じて、ディスクアレイ装置10にデータの読み書きを行うことにより、各クライアント端末へのサービスを提供する。
各CHA21は、各ホストコンピュータ30との間のデータ転送を制御するもので、通信ポート21Aを備えている。ディスクアレイ装置10には、例えば32個のCHA21を設けることができる。CHA21は、例えば、オープン系用CHA、メインフレーム系用CHA等のように、ホストコンピュータ30の種類に応じて用意される。各CHA21は、それぞれ複数の通信ポート(以下「ポート」と略記)21Aを備えている。後述のように、各ポート21Aにはそれぞれ少なくとも一つ以上のLDEVを接続できる。
各CHA21は、それぞれに接続されたホストコンピュータ30から、データの読み書きを要求するコマンド及びデータを受信し、ホストコンピュータ30から受信したコマンドに従って動作する。
DKA22の動作も含めて先に説明すると、CHA21は、ホストコンピュータ30からリードコマンドを受信すると、このリードコマンドを共有メモリ24に記憶させる。DKA22は、共有メモリ24を随時参照しており、未処理のリードコマンドを発見すると、ディスクドライブ26からデータを読み出して、キャッシュメモリ23に記憶させる。CHA21は、キャッシュメモリ23に移されたデータを読み出し、ホストコンピュータ30に送信する。
一方、CHA21は、ホストコンピュータ30からライトコマンドを受信すると、このライトコマンドを共有メモリ24に記憶させる。また、CHA21は、受信したデータ(ユーザデータ)をキャッシュメモリ23に記憶させる。CHA21は、キャッシュメモリ23にデータを記憶した後、ホストコンピュータ30に書込み完了を報告する。DKA22は、共有メモリ24に記憶されたライトコマンドに従って、キャッシュメモリ23に記憶されたデータを読出し、所定のディスクドライブ26に記憶させる。
各DKA22は、ディスクアレイ装置10内に例えば4個や8個等のように複数個設けることができる。各DKA22は、各ディスクドライブ26との間のデータ通信をそれぞれ制御する。各DKA22と各ディスクドライブ26とは、例えば、SAN等の通信ネットワークCN4を介して接続されており、ファイバチャネルプロトコルに従ってブロック単位のデータ転送を行う。各DKA22は、ディスクドライブ26の状態を随時監視しており、この監視結果は、内部ネットワークCN3を介して、SVP29に送信される。
各CHA21及び各DKA22は、例えば、プロセッサやメモリ等が実装されたプリント基板と、メモリに格納された制御プログラム(いずれも不図示)とをそれぞれ備えており、これらのハードウェアとソフトウェアとの協働作業によって、それぞれ所定の機能を実現するようになっている。
キャッシュメモリ23は、例えば、ユーザデータ等を記憶するものである。キャッシュメモリ23は、例えば不揮発メモリから構成される。ボリュームコピーや差分コピー等を行う場合は、コピー対象のデータがキャッシュメモリ23に読み出され、キャッシュメモリ23からCHA21またはDKA22のいずれか一方により、あるいはCHA21及びDKA22の両方により、コピー先に転送される。
共有メモリ(あるいは制御メモリ)24は、例えば不揮発メモリから構成される。共有メモリ24には、例えば、制御情報や管理情報等が記憶される。共有メモリ24及びキャッシュメモリ23は、それぞれ複数個設けることができる。また、同一のメモリ基板にキャッシュメモリ23と共有メモリ24とを混在させて実装することもできる。あるいは、メモリの一部をキャッシュ領域として使用し、他の一部を制御領域として使用することもできる。
スイッチ部25は、各CHA21と、各DKA22と、キャッシュメモリ23と、共有メモリ24とをそれぞれ接続するものである。これにより、全てのCHA21,DKA22は、キャッシュメモリ23及び共有メモリ24にそれぞれアクセス可能である。スイッチ部25は、例えば超高速クロスバスイッチ等として構成することができる。
ディスクアレイ装置10は、多数のディスクドライブ26を実装可能である。各ディスクドライブ26は、例えば、ハードディスクドライブ(HDD)や半導体メモリ装置等として実現することができる。
ディスクドライブ26は、物理的な記憶デバイスである。RAID構成等によっても相違するが、例えば、4個1組のディスクドライブ26が提供する物理的な記憶領域上には、仮想的な論理領域であるRAIDグループ27が構築される。さらに、RAIDグループ27上には、仮想的な論理ボリューム(LDEV)28を一つ以上設定可能である。
なお、ディスクアレイ装置10により使用される記憶資源は、全てディスクアレイ装置10内に設けられている必要はない。ディスクアレイ装置10は、ディスクアレイ装置10の外部に存在する記憶資源を、あたかも自己の記憶資源であるかのように取り込んで、利用することもできる。
サービスプロセッサ(SVP)29は、LAN等の内部ネットワークCN3を介して、各CHA21及び各DKA22とそれぞれ接続されている。また、SVP29は、LAN等の通信ネットワークCN2を介して、複数の管理端末31に接続可能である。SVP29は、ディスクアレイ装置10内部の各種状態を収集し、管理端末31に提供する。
管理端末31は、SVP29を介して、ディスクアレイ装置10のRAID構成等のような各種設定を行うためのものである。
図4は、LDEV毎にそれぞれリザーブ状態を解除できるようにしたディスクアレイ装置200を含むストレージシステムの概略ブロック図である。このストレージシステムは、複数のサーバ110,120,130と、ディスクアレイ装置200と、ファイバチャネルスイッチ(「スイッチ」と略記)300と、管理端末310とを備えている。
各サーバ110,120,130は、業務アプリケーションプログラム(「アプリケーション」と略記)111,121,131と、通信制御を行うためのHBA(Host Bus Adapter)112,122,132とを備えている。
サーバ110(N1)とサーバ120(N2)とは、LAN等の通信ネットワークCN12を介して接続されており、フェイルオーバクラスタを構成している。フェイルオーバクラスタとは、疎結合された各サーバのいずれか一つが障害等でダウンした場合に、フェイルオーバ先のサーバが業務を引き継ぐようなシステムである。フェイルオーバクラスタは、そのクラスタを利用するクライアント端末からは、全体として一つのコンピュータとして認識される。
ディスクアレイ装置200は、例えば、図2及び図3で述べたような構成を備えることができる。ディスクアレイ装置200は、例えば、複数のCHA210と、複数のDKA220(1個のみ図示)と、キャッシュメモリ230と、共有メモリ240と、複数のLDEV250と、SVP260と、を備えている。
詳細は図5と共に後述するが、CHA210は、複数のポートを備えている。各ポートには、それぞれ少なくとも一つ以上のLUNを割り当てることができる。CHA210は、図3中のCHA21に対応する。
DKA220は、各LDEV250とのデータ授受を行うものである。DKA220は、図3中のDKA22に対応する。キャッシュメモリ230は、サーバ110〜130から書込みを要求されたデータや読出しを要求されたデータを記憶するメモリである。キャッシュメモリ230は、図3中のキャッシュメモリ23に対応する。共有メモリ240は、制御情報や管理情報等を記憶するためのメモリである。共有メモリ240は、図3中の共有メモリ24に対応する。詳細は後述するが、共有メモリ240には、ポート−LUN構成情報T1及びLDEV排他制御情報(LDCB:Logical Device Control Block)T2がそれぞれ記憶される。
LDEV250は、物理的な記憶デバイス(例えば、図3中のディスクドライブ26)が提供する記憶領域上に設定される論理的な記憶デバイス(論理ボリューム)である。LDEV250は、図3中のLDEV28に対応する。一つのLDEV250には、少なくとも一つ以上のLUNが割り当てられる。一つのLDEV250に対し、複数のLUN(あるいは複数のポート)を割り当てることもできる。
SVP260は、ディスクアレイ装置200内の各種状態に関する情報を収集したり、管理端末310から指示された設定変更を反映させるものである。SVP260は、図3中のSVP29に対応する。詳細は後述するが、SVP260は、管理端末310からの指示に基づいて、共有メモリ240に記憶されているLDCB(T2)を更新する。図3中に示す内部ネットワークCN3のような通信経路(図示せず)を介して、SVP260と各CHA210、各CHA210と共有メモリ240等が接続されている。SVP260は、いずれか一つのCHA210を介して、共有メモリ240にアクセス可能である。なお、DKA220と共有メモリ240とも内部の通信ネットワークによって接続されるため、SVP260は、いずれか一つのDKA220を介して共有メモリ240にアクセスすることも可能である。
スイッチ300は、複数のサーバ110〜130とディスクアレイ装置200とをそれぞれ接続するための接続回路である。スイッチ300とHBA112,122,132とは、ケーブルF1を介してそれぞれ接続されている。スイッチ300と各CHA210の各ポートとは、ケーブルF2を介してそれぞれ接続されている。ケーブルF1,F2は、例えば、光ファイバケーブルやメタルケーブルとして構成される。
管理端末310は、SVP260を介して、ディスクアレイ装置200の各種設定を行ったり、ディスクアレイ装置200の各種状態を表示させて監視するものである。管理端末310は、図3中の管理端末31に対応する。管理端末310は、通信ネットワークCN11を介して、各サーバ110〜130に接続することもできる。
図5は、サーバ110,120及びCHA210のより詳細な構成を示すブロック図である。サーバ110は、例えば、業務アプリケーションプログラム111及びHBA112以外に、ハートビート監視部113と、起動停止制御部114と、排他制御部115とを備えることができる。ハートビート監視部113は、相手方のサーバ120との間でハートビート通信を行うことにより、相手方サーバ120がシステムダウン等したか否かを監視するものである。起動停止制御部114は、アプリケーション111の起動及び停止を制御するものである。排他制御部115は、各サーバ110,120により共有されるLDEV250を排他的に使用するためのものである。
サーバ120は、サーバ110と同様に、アプリケーション121と、HBA122と、ハートビート監視部123と、起動停止制御部124と、排他制御部125とを備えて構成することができる。これら各部の機能は、サーバ110で述べたと同様であるため、説明を省略する。
各CHA210は、例えば、ポート制御部211と、CHP(CHannel Processor)212と、メモリ213とを備えることができる。ポート制御部211は、例えば、ファイバチャネルプロトコル等の所定のプロトコルに基づいてデータの送受信等を行う。CHP212は、CHA210の全体動作を制御する。メモリ213には、ポート−LUN構成情報T1等が記憶される。
図示の例では、ディスクアレイ装置200が備える所定のLDEV250が、サーバ110,120により共有されている。サーバ110を稼働系サーバとし、サーバ120を待機系サーバとすると、通常時は、サーバ110がLDEV250をリザーブし、アクセスロックを取得して排他的に使用している。サーバ110がシステムダウンした場合は、サーバ120がLDEV250のアクセスロックを取得し、サーバ110で提供されていた業務サービスを引き継ぐ。
図6は、ポート−LUN構成情報T1の一例を示す説明図である。このポート−LUN構成情報T1は、例えば、各CHA210のメモリ213と共有メモリ240との両方にそれぞれ記憶される。
ポート−LUN構成情報T1は、例えば、連番(#)と、各ポートの番号と、各ポートに対応付けられるLUNと、各LUNに対応付けられるLDEV250のLDEV番号とを含んで構成される。CHA210は、サーバ110〜130からアクセスを要求された場合に、ポート−LUN構成情報T1を参照する。サーバ110〜130は、アクセス先ポート番号(ポート名)及びアクセス先LUNとを特定して、コマンドを発行する。CHA210は、このポート番号及びLUNに基づいて、ポート−LUN構成情報T1を参照し、アクセス対象のLDEV250を特定する。
図6に示す例では、LDEV番号「0001」で特定されるLDEV250は、2つのパスを介してアクセス可能であることがわかる。一つのパスは、ポート番号「1」からLUN「1」を介するパスである。他の一つのパスは、ポート番号「2」からLUN「1」を介してアクセスするパスである。
図7は、LDEV250の状態を管理するための制御情報LDCB(T2)の一例を示す説明図である。LDCB(T2)は、例えば、連続番号と、ポート番号と、LUNと、LDEV番号と、リザーブ状態を示すフラグと、リザーブが設定されているパス情報と、パーシステントリザーブ状態を示すフラグと、パーシステントリザーブが設定されているパス情報と、ACA(Automatic Contingent Allegiance)状態を示すフラグと、ACA状態となっているパスの情報と、UA(Unit Attention)状態を示すフラグと、を対応付けて構成することができる。
ここで、ACA状態とは、例えば、あるアクセスパスに障害が発生した場合にそのアクセスパスを使用禁止にするために設定される状態である。ACA状態は、ACA状態を設定したサーバからの解除コマンドにより解除可能である。但し、本実施形態では、管理端末310からSVP260を介して、ACA状態を解除することもできる。
UA状態とは、例えば、ディスクアレイ装置200の起動直後等に設定される状態である。後述のように、管理端末310からSVP260を介してリザーブ状態を解除した場合は、UA状態が設定されるようになっている。
パーシステントリザーブ状態とは、予め設定された複数のアクセスパスを介して、一つまたは複数のLDEV250をリザーブする状態である。通常のリザーブ状態では、一つのアクセスパスのみから所定のLDEV250にアクセス可能である。パーシステントリザーブ状態では、複数のアクセスパスのそれぞれから所定のLDEV250にアクセスすることができる。本実施形態では、管理端末310からSVP260を介して、パーシステントリザーブ状態を解除することができる。
図8〜図14に基づいて、ディスクアレイ装置200等の動作を説明する。図8は、ディスクアレイ装置200において実行されるリザーブ処理の概略を示すフローチャートである。このリザーブ処理は、サーバが所望のLDEVをリザーブして排他的に使用する場合の処理である。リザーブ処理は、例えば、リザーブコマンドを受信したCHA210(より詳しくはCHP212)により実行される。
CHA210は、サーバ110〜130からのリザーブコマンドを受信したか否かを監視している(S11)。リザーブコマンドを受信した場合(S11:YES)、CHA210は、リザーブコマンドに含まれているポート番号及びLUN番号に基づいて、ポート−LUN構成情報T1を参照し、リザーブ対象のLDEV番号を特定する(S12)。
次に、CHA210は、LDCB(T2)を参照し(S13)、リザーブ対象のLDEVが既にリザーブされているか否かを判定する(S14)。リザーブ対象のLDEVがリザーブ状態に無い場合(S14:NO)、CHA210は、リザーブ対象のLDEVにリザーブ情報を設定する(S15)。ここでいうリザーブ情報とは、どのアクセスパス(HBAのWWN(World Wide Name)やポート番号)によってリザーブされたかを示す情報である。このリザーブ情報は、LDCB(T2)に反映される。CHA210は、要求されたLDEVにリザーブ状態を設定した後、リザーブコマンドを発行したサーバに正常終了を応答する(S15)。
一方、リザーブ対象のLDEVが既に別のサーバからリザーブされている場合(S14:YES)、CHA210は、リザーブコマンドを発行したサーバに対し、リザーブすることができない旨を応答する(S17)。従って、例えば、サーバ110が所定のLDEV250をリザーブしている場合、サーバ110によるリザーブ状態が継続されている限り、他のサーバ120,130は、そのLDEV250をリザーブすることはできない。
図9は、ディスクアレイ装置200において実行されるリード/ライト処理(I/O処理)の概略を示すフローチャートである。このI/O処理は、例えば、CHA210によって、あるいはCHA210及びDKA220によって、実行される。
CHA210は、サーバ110〜130からリードコマンドまたはライトコマンドを受信したか否かを監視している(S21)。リードコマンドまたはライトコマンドのいずれかを受信した場合(S21:YES)、CHA210は、コマンドに含まれるポート番号及びLUN番号に基づいて、ポート−LUN構成情報T1を参照し、コマンド処理の対象とされたLDEV番号を特定する(S22)。
次に、CHA210は、LDCB(T2)を参照し(S23)、対象となるLDEVにアクセスしてI/O処理が可能か否かを判定する(S24)。例えば、データの書込み等が要求されたLDEVが、ライトコマンドの発行元サーバ以外のサーバによってリザーブされているような場合は、そのLDEVにアクセスすることはできない。その他、コマンド発行元サーバが、そのLDEVへのアクセス権限を有しない場合も、コマンド処理を行うことができない。逆に、コマンド処理の対象であるLDEVに何の制限(リザーブ等)も設定されていない場合やコマンド発行元サーバが所定のアクセス権限を有する場合は、そのLDEVにアクセスしてコマンド処理を行うことができる。
I/O処理が可能な場合(S24:YES)、CHA210は、コマンドに応じた処理を実行し(S25)、コマンド発行元のサーバに正常終了を応答する(S26)。例えば、ライトコマンドの場合、書込みを要求されたデータをキャッシュメモリ230に格納した時点で、コマンド発行元サーバに書込み完了を報告することができる。これにより、ディスクアレイ装置200の応答性が高まる。サーバから受信したデータは、キャッシュメモリ230上で多重管理され、タイミングを見計らってディスクドライブに書き込まれる。
要求されたI/O処理ができない場合(S24:NO)、CHA210は、コマンド発行元サーバに対し、エラーを通知する(S27)。
図10は、ディスクアレイ装置200において実行されるリリース処理の概略を示すフローチャートである。このリリース処理は、LDEVをリザーブしているサーバが、このリザーブ状態を自発的に解除するような場合に行われる。リリース処理は、例えば、リリースコマンドを受信したCHA210により実行される。
CHA210は、サーバ110〜130からリリースコマンドを受信したか否かを監視している(S31)。リリースコマンドを受信した場合(S31:YES)、CHA210は、リリースコマンドに含まれるポート番号及びLUN番号に基づいて、ポート−LUN構成情報T1を参照し、リリース対象のLDEV番号を特定する(S32)。
次に、CHA210は、LDCB(T2)を参照し(S33)、リリース可能か否かを判定する(S34)。ここで、リリース可能な場合とは、例えば、リリースコマンド発行元サーバがリリース対象のLDEVへのアクセス権限を有しており、かつ、そのLDEVがリザーブ状態に置かれているような場合である。リリース不能な場合とは、例えば、リリースコマンド発行元サーバがリリース対象のLDEVに関してアクセス権限を有しない場合、または、リリース対象のLDEVがリザーブされていない場合のいずれかまたは両方の場合である。
リリース可能な場合(S34:YES)、CHA210は、リリース対象のLDEVに設定されているリザーブ状態を解除し(S35)、リリースコマンド発行元サーバに正常終了を応答する(S36)。リリース不能な場合(S34:NO)、CHA210は、リリースコマンド発行元サーバに対して、リリース処理を実行不能である旨を応答する(S37)。
図11は、ディスクアレイ装置200において実行されるリザーブ状態表示処理の概略を示すフローチャートである。このリザーブ状態表示処理は、例えば、システム管理者等のユーザがディスクアレイ装置200の各LDEV毎に、そのリザーブ状態を把握するために実行される。リザーブ状態表示処理は、例えば、SVP260とCHA210との協働作業により実現される。なお、説明の便宜上、リザーブコマンドによるリザーブ状態を中心に述べるが、これに限らず、パーシステントリザーブ状態やACA状態も含めて、管理端末310の端末画面に表示し、確認することができる。
LDEV単位のリザーブ状態の確認を希望するユーザは、管理端末310を介してSVP260にログインし、リザーブ状態の表示を要求する(S41)。この際、ユーザは、表示を希望するLDEVを一つまたは複数指定する。ユーザは、LDCB(T2)に示す連番(#)やパス情報(ポート番号やWWN)でLDEVを間接的に指定することもできるし、あるいは、LDEV番号を直接指定することもできる。
SVP260は、管理端末310からリザーブ状態の表示を要求されると(S41:YES)、CHA210に対して、LDCB(T2)の取得を要求する(S42)。ここで、LDCB(T2)の全体を要求する必要はなく、管理端末310からリザーブ状態の表示を要求されたLDEVに関するLDCB情報のみを要求すれば足りる。ユーザが全てのLDEVについてリザーブ状態の表示を希望するような場合は、LDCB(T2)に登録されている全ての情報を要求することができる。
CHA210は、共有メモリ240にアクセスし、SVP260から要求された情報をLDCB(T2)から読み出す(S43)。CHA210は、この読み出した情報をSVP260に転送する(S44)。
SVP260は、CHA210からLDCBを取得し(S45)、このLDCBに基づいて、LDEV毎のリザーブ状態を管理端末310の端末画面に表示させる(S46)。これにより、ユーザは、例えば、図7に示すような形態で、所望のLDEVの状態を確認することができる。
図12は、ディスクアレイ装置200において実行されるリザーブ状態解除処理の概略を示すフローチャートである。このリザーブ状態解除処理は、ユーザがLDEV単位でリザーブ状態を解除するために実行される。このリザーブ状態解除処理は、例えば、SVP260とCHA210との協働作業により実現される。
まず、ユーザは、管理端末310を介して、リザーブ状態の解除を希望するLDEVを指定する(S51)。ここで、ユーザは、図11で述べたように、端末画面に表示されたLDEV単位のリザーブ状態に基づいて、リザーブ状態の解除を希望するLDEVを一つまたは複数指定することができる。あるいは、ユーザは、リザーブ状態表示画面を確認することなく、リザーブ状態の解除を希望するLDEVを指定することもできる。
SVP260は、管理端末310からリザーブ状態の解除指示を受信すると(S51)、CHA210に対して、リザーブ状態の解除を指示する(S52)。この解除指示情報には、リザーブ状態を解除すべきLDEVを特定可能な情報(連番、パス情報、LDEV番号)が含まれている。
CHA210は、SVP260からの解除指示を受信すると、解除対象のLDEVを特定する(S53)。CHA210は、共有メモリ240内のLDCB(T2)にアクセスし、解除対象のLDEVについて設定されているリザーブ状態フラグをリセットして、リザーブ状態を解除する(S54)。続いて、CHA210は、リザーブ状態を解除したLDEVについて、UA状態を示すフラグをセットし(S55)、SVP260にリザーブ状態の解除が完了した旨を報告する(S56)。
SVP260は、CHA210からの解除通知を受信すると、要求されたLDEVについてリザーブ状態が解除された旨を管理端末310の端末画面に表示させる(S57)。
図13は、ディスクアレイ装置200とサーバ110〜130との間で実行されるリザーブ状態解除後の新たなリザーブ処理を示すフローチャートである。説明の便宜上、ここでは、サーバ110によってリザーブされていた共有LDEVのリザーブ状態を、図12に示すリザーブ状態解除処理により解除し、その後で、サーバ120が共有LDEVにリザーブを設定するものとする。
サーバ120は、サーバ110との間で共有するLDEVについて、I/Oコマンド(リードコマンド、ライトコマンド、リザーブコマンド等)を発行する(S61)。CHA210は、サーバ120からのコマンドを受信すると(S62:YES)、ポート−LUN構成情報T1を参照し、コマンド処理の対象となるLDEVを特定する(S63)。
CHA210は、特定されたLDEVに関してLDCB(T2)を参照し(S64)、このLDEVがUA状態に置かれていることを検出する。上述のように、本実施形態では、ディスクアレイ装置200側でリザーブ状態を解除した後、UA状態に設定する。そこで、CHA210は、サーバ120に対して、目的のLDEVがUA状態に置かれていることを通知する(S65)。
サーバ120は、CHA210からUA状態の通知を受けることにより、目的とするLDEVにリザーブが設定されていないことを把握することができる(S66)。そこで、サーバ120は、目的とするLDEVを排他的に使用すべく、リザーブコマンドを発行する(S67)。CHA210は、このリザーブコマンドを受信すると、図8に示したようなリザーブ処理を行う(S68)。
以上図面に基づいて、各機能毎の処理をそれぞれ説明した。図14は、リザーブの設定からリザーブの再設定までの間の全体的な処理の流れを示すシーケンス図である。図中、「サーバN1」はサーバ110を、「サーバN2」はサーバ120を示す。
サーバ110は、例えば、inquiryコマンドを発行することにより、ディスクアレイ装置200で利用可能なLDEVに関する情報を取得する(S101,S102)。サーバ110は、リザーブコマンドを発行する(S103)。このリザーブコマンドに対して、ディスクアレイ装置200は、チェックコンディション応答を返す(S104)。このチェックコンディション応答には、リザーブを要求されたLDEVがUA状態に置かれていることが示されている。ディスクアレイ装置200の起動時には、LDEVにUA状態が設定される。このUA状態は、何らかのコマンドを受信した時点でリセットされる。
サーバ110は、チェックコンディション応答によって、所望のLDEVがリザーブ状態に置かれておらず、リザーブ可能であることを把握する。そこで、サーバ110は、改めてリザーブコマンドを発行する(S105)。ディスクアレイ装置200は、リザーブコマンドを受信すると、要求されたLDEVについてLDCB(T2)の情報を書き換えることにより、リザーブ状態を設定する。ディスクアレイ装置200は、リザーブ状態に設定した旨の応答をサーバ110に返す(S106)。
ここで、ディスクアレイ装置200がサーバ110から再度のリザーブコマンドを受信した時点で、そのLDEVのUA状態は解除され、通常状態にされる。そして、そのLDEVについてリザーブ状態が設定されると、そのLDEVは通常状態からリザーブ状態に遷移する。サーバ110は、目的とするLDEVをリザーブした後で、I/O要求を発行する(S107)。ディスクアレイ装置200は、サーバ110から要求された処理を行って応答を返す(S108)。
サーバ110とサーバ120とはフェイルオーバクラスタを構成しており、定期的にハートビート通信を行っている(S109)。サーバ110に何らかの障害が発生してシステムダウンした場合(S110)、LDEVのリザーブ状態は解除されない。サーバ120は、ハートビート通信の途絶を検出すると、フェイルオーバ処理を開始する。
サーバ120は、サーバ110で提供されていた業務アプリケーションサービスを引き継ぐために、共有しているLDEVのリザーブを要求する(S111)。しかし、サーバ110の突然のシステムダウンによって、そのLDEVにはリザーブ状態が設定されたままである。そこで、ディスクアレイ装置200は、サーバ120に対して「リザーブコンフリクト」を返し、リザーブが設定不可である旨を通知する(S112)。サーバ120は、続けてリクエストコマンドを再送信することができる(リトライ処理)。あるいは、サーバ120から管理端末310に対して、リザーブ状態の強制解除を依頼することもできる。この依頼は、コンピュータ間の自動的な通信であってもよいし、システム管理者等のユーザに対する電子的な通知(電子メール等)でもよい。
ユーザは、管理端末310を介してSVP260にログインし、SVP260に対してLDEV毎のリザーブ状態の表示を要求する。管理端末310からの要求を受けたSVP260は、ディスクアレイ装置200の共有メモリ240からLDCB(T2)の全部または一部を取得する(S113)。SVP260は、各LDEV毎のリザーブ状態(パーシステントリザーブ状態及びACA状態を含めることができる)を、管理端末310の端末画面に表示させる(S114)。
ユーザは、端末画面に表示された各LDEVのリザーブ状態に基づいて、問題となっているリザーブ状態を把握する。ユーザは、サーバ110によりリザーブ状態に設定されたままのLDEVを選択し、そのリザーブ状態の解除を要求する。管理端末310からの解除指示を受信したSVP260は、ディスクアレイ装置200のCHA210に対し、共有LDEVのリザーブ状態の解除を指示する(S116)。ここで、SVP260は、予め設定された所定のCHA210に対して解除指示を出すこともできるし、あるいは、複数のCHA210内から任意のCHA210を選択して解除指示を出すこともできる。
CHA210は、指定されたLDEVについてLDCB(T2)中のリザーブ情報を削除することにより、リザーブ状態を解除する。この際、CHA210は、リザーブ状態を解除したLDEVについて、UA状態を設定する。
サーバ120は、継続してリザーブコマンドを発行している。目的とするLDEVの状態がサーバ110によるリザーブ状態からUA状態に変更された後で、サーバ120がリザーブコマンドを発行した場合、ディスクアレイ装置200は、チェックコンディション応答を返す(S118)。このチェックコンディション応答には、目的のLDEVがUA状態に置かれていることが示されている。
そこで、サーバ120は、改めてリザーブコマンドを発行する(S119)。ディスクアレイ装置200は、リザーブコマンドを受信すると、リザーブ対象のLDEVのUA状態を解除する。続いて、ディスクアレイ装置200は、このLDEVについてリザーブ状態を設定し、サーバ120にリザーブ完了を報告する(S120)。
なお、サーバ120がリザーブコマンドを継続して発行する構成に限らず、ディスクアレイ装置200(SVP260やCHA210)または管理端末310からの電子的な通知をトリガとして、サーバ120がリザーブコマンドを発行する構成でもよい。
本実施例は上述のように構成したので、以下の効果を奏する。本実施例では、各LDEV単位でリザーブ状態を確認できるようにした。従って、ユーザは、各LDEV毎にリザーブ状態を容易に確認することができ、問題の所在を早期に把握することができる。
特に、ディスクアレイ装置200に多数のサーバが接続されているような場合は、どのサーバから解除すればよいのか等を把握するのが難しい。従って、サーバからリザーブ状態を解除するのに手間と時間がかかり、メンテナンス性が低下する。これに対し、本実施例では、多数のサーバがディスクアレイ装置200に接続されている場合でも、ディスクアレイ装置200側からリザーブ解除を一元的に実行できる。従って、本実施例では、メンテナンス性や使い勝手が向上する。
本実施例では、管理端末310からSVP260を介して、各LDEV単位でリザーブ状態の解除を指示できるようにした。従って、リザーブ状態を設定したままでサーバがシステムダウンしたような場合でも、ディスクアレイ装置200側でリザーブ状態を容易に解除することができる。特に、一つのポートに複数のLDEVが関連付けられているような場合は、もしもポート全体やディスクアレイ装置全体でリセット処理を実行すると、問題となっているLDEVとは無関係なLDEVを使用する他のサーバにも影響を与える。これに対し、本実施例では、LDEV単位でリザーブ状態を解除できるため、影響を与える範囲を最小限に抑制することができる。
本実施例では、リザーブコマンドに基づくリザーブ状態以外に、パーシステントリザーブ状態やACA状態についても、各LDEV単位で状況を確認することができ、ディスクアレイ装置200側で一元的に状態を変更(解除)することができる。
図15〜図17に基づいて第2実施例を説明する。本実施例は、第1実施例の変形例に該当する。本実施例の一つの特徴は、アクセス優先度が低いサーバにより設定されたリザーブ状態を、アクセス優先度の高いサーバからのアクセスに基づいて強制的かつ自動的に解除できるようにした点にある。
図15は、ストレージシステムの全体構成を示す概略ブロック図である。第1実施例との相違点を中心に説明する。サーバ110Aは、本番系サーバとして使用されており、サーバ120Aは開発系サーバとして使用されている。本番系サーバ110Aとは、実際の業務を提供するサーバである。開発系サーバ120Aとは、本番用業務アプリケーション111の開発等に使用されるサーバである。
共有メモリ240にはLDCB(T2A)が記憶されている。図16に示すように、本実施例におけるLDCB(T2A)には、前記実施例で述べた情報以外に、「アクセス優先度」が設定されている。アクセス優先度とは、サーバ110A,120Aからのアクセスに対して優劣を付けるための情報である。例えば、サーバ110A,120Aからのアクセスパス(例えば、ポート番号及びWWN)に対して、優先度が設定される。図示の例では、本番系のサーバ110Aに対して高いアクセス優先度が設定されている。開発系のサーバ120Aには、特にアクセス優先度が設定されていない。従って、相対的に、本番系サーバ110Aの方が開発系サーバ120Aよりもアクセス優先度が高くなっている。このように、高いアクセス優先度を設定するアクセスパス(サーバ)にのみアクセス優先度のレベル情報を設定することができる。これに限らず、例えば、「レベル1」、「レベル2」、「レベル3」等のように、複数段階でアクセス優先度を設定することもできる。アクセス優先度は、例えば、ユーザが管理端末310からSVP260を介して事前に登録しておくことができる。
図17は、本実施例による全体動作を示すシーケンス図である。S201〜S208は、図14中のS101〜S108にそれぞれ対応するので、詳細な説明を省略する。S201〜S208は、開発系サーバ120Aによって所定のLDEVがリザーブされ、使用されている状況を示している。
開発系サーバ120AがLDEVをリザーブしている状況下で、本番系サーバ110AがLDEVの使用を要求する(S211)。ディスクアレイ装置200(CHA210)は、LDCB(T2A)を参照し、アクセスパスの優先度を判定する(S212)。
上述の通り、本番系サーバ110Aの方が、開発系サーバ120Aよりもアクセス優先度が高く設定されている。従って、ディスクアレイ装置200は、開発系サーバ120Aによるリザーブ状態を解除する。これにより、開発系サーバ120AによりリザーブされていたLDEVは、リザーブ状態からUA状態に遷移する。
ディスクアレイ装置200は、本番系サーバ110Aに対して、チェックコンディション応答を返す(S214)。このチェックコンディション応答により、本番系サーバ110Aは、目的のLDEVがUA状態に置かれていることを認識する。そこで、本番系サーバ110Aは、改めてリザーブコマンドを送信する(S215)。このリザーブコマンドの受信によって、そのLDEVは、UA状態から通常状態に変化する。
ディスクアレイ装置200は、サーバ110Aから要求されたLDEVにリザーブ状態を設定する。そのLDEVの状態は、通常状態からリザーブ状態に変化する。ディスクアレイ装置200は、要求されたLDEVにリザーブ状態を設定した後、リザーブが完了した旨をサーバ110Aに報告する(S216)。
所望のLDEVのリザーブを確認したサーバ110Aは、このLDEVに対してデータの読み書きを行う(S217,S218)。これにより、サーバ110Aは、本番業務を図外のクライアント端末に対して提供する。
本実施例は、第1実施例と同様の効果を奏する。これに加えて、本実施例では、サーバ110A,120Aからのアクセスパスに対して予めアクセス優先度を設定し、アクセス優先度の高いサーバ110Aからアクセス要求があった場合は、アクセス優先度の低いサーバ120Aによるリザーブ状態を解除する構成とした。従って、優先度の低いサーバ120Aのリザーブによって、優先度の低いサーバ110Aの業務処理に影響が及ぶのを防止することができ、使い勝手が向上する。
特に、例えば、本番系と開発系、あるいは稼働系と待機系等のように、ストレージシステムの構成上、サーバ間の優劣が明確に定まっているような場合は、重要性や緊急性の高いサーバの稼働を保証することができ、利便性等が高まる。
図18は、本発明の第3実施例に係わるディスクアレイ装置200を含むストレージシステムの全体構成図である。本実施例は、第1実施例の変形例に相当する。本実施例の特徴は、通信インターフェースがそれぞれ異なる複数種類のサーバ110B,120B,130Bをサポートするディスクアレイ装置200に適用した点にある。
サーバ110Bは、例えば、SAN(ファイバチャネル)に従ってデータ通信を行う。サーバ120Bは、例えば、iSCSI(internet Small Computer System Interface)に従ってデータ通信を行う。サーバ130Bは、例えば、TCP/IPに従ってデータ通信を行う。iSCSIとは、サーバとディスクアレイ装置との間のSCSIコマンドを、IPネットワーク経由で送受信するためのプロトコルである。
ディスクアレイ装置200には、各種プロトコルに対応したCHA210Bがそれぞれ設けられている。一つのCHAパッケージ内において、それぞれ異なる種類のプロトコルをサポートするように構成することができる。あるいは、NAS(TCP/IP)用CHAやメインフレーム用CHA等のように、各CHAパッケージ単位で異種プロトコルに対応させる構成でもよい。
本実施例も第1実施例と同様の効果を奏する。これに加えて、いわゆるマルチプラットフォームの環境下では、各サーバ110B,120B,130B毎にそれぞれ通信プロトコルやOS等が相違する。従って、サーバ側からLDEVのリザーブを解除するための具体的な操作は、各サーバ毎にそれぞれ異なる。このため、LDEVに残されたリザーブ状態をサーバ側から解除するのは、手間と時間がかかる。
これに対し、本実施例では、通信プロトコルが異なっている場合でも、各LDEVのリザーブ状態等を一元的に管理するLDCB(T2)を直接操作することで、各LDEV単位でリザーブ状態を解除できるようにした。これにより、メンテナンス性や使い勝手等を向上させることができる。
図19は、本発明の第4実施例を示すブロック図である。本実施例は、第1実施例の変形例に相当する。本実施例の特徴は、LDCB(T2)を共有メモリ240に記憶させるのではなく、各CHA210のメモリ213にそれぞれ記憶させる点にある。
各CHA210のメモリ213には、それぞれLDCB(T2)が記憶されている。各CHA210は、互いに通信を行って、LDCB(T2)の内容を一致させる。LDCB(T2)の内容がいずれか一つのCHA210で変更された場合、この変更は、他のCHA210にそれぞれ保持されているLDCB(T2)にも反映される。
なお、場合によっては、LDCB(T2)を各DKA220のメモリにそれぞれ記憶させる構成でもよい。
図20,図21に基づいて本発明の第5実施例を説明する。本実施例は、第1実施例の変形例に相当する。本実施例の特徴は、外部のディスクアレイ装置が有する記憶資源を取り込んで使用する点にある。
ディスクアレイ装置200は、外部に位置する他のディスクアレイ装置400とSAN等の通信ネットワークを介して接続されている。この外部ディスクアレイ装置400は、ポート410及びLDEV420を備える。
外部のLDEV420は、例えば、ディスクアレイ装置200のLUNにマッピングされて、LDEV250Vを構築している。即ち、LDEV250Vの実体は、外部ディスクアレイ装置400内に存在する。ディスクアレイ装置200は、サーバ110,120に対して、LDEV250Vがあたかも自己に備わっている記憶資源であるかのように見せかけ、振る舞う。
例えば、図21に示すように、ポート−LUN構成情報T1A内に、外部のボリューム(LDEV)420へのパス情報を含めることにより、外部の記憶資源をディスクアレイ装置200内に取り込むことができる。なお、外部のLDEV420をLUNに直接的にマッピングするのではなく、中間の仮想的な記憶層を追加し、この中間記憶層に外部のLDEV420をマッピングする構成でもよい。
本実施例も第1実施例と同様の効果を奏する。これに加えて、本実施例では、外部の記憶資源を有効に利用することができ、外部の記憶資源に対するリザーブ状態の解除もディスクアレイ装置200側から一元的に行うことができる。
なお、本発明は、上述した実施の形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。
1,2…サーバ、3…ディスクアレイ装置、4…論理ボリューム、5…メモリ、6…排他制御情報、7…管理端末、8,9A,9B…通信ネットワーク、10…ディスクアレイ装置、11…基本筐体、12…増設筐体、13…制御パッケージ、14…電源ユニット、15…バッテリユニット、16…冷却ファン、21A…通信ポート、22…チャネルアダプタ、23…キャッシュメモリ、24…共有メモリ、25…スイッチ部、26…ディスクドライブ、27…RAIDグループ、28…LDEV(論理ボリューム)、29…SVP(サービスプロセッサ)、30…ホストコンピュータ、31…管理端末、110,120,130…サーバ、111,121,131…業務アプリケーションプログラム、112,122,132…HBA、113,123…ハートビート監視部、200…ディスクアレイ装置、210…チャネルアダプタ、220…ディスクアダプタ、230…キャッシュメモリ、240…共有メモリ、250…LDEV、260…SVP、300…ファイバチャネルスイッチ、310…管理端末、400…外部のディスクアレイ装置、410…通信ポート、420…LDEV、CN…通信ネットワーク
Claims (20)
- 複数の上位装置とのデータ授受を通信ポートを介してそれぞれ制御する上位インターフェース制御部と、
記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、
前記上位インターフェース制御部及び前記下位インターフェース制御部により共用されるメモリ部と、
前記記憶デバイス上に設けられ、前記通信ポートを介してアクセス可能な論理ボリュームと、
前記各上位装置のうちいずれか一つの上位装置が前記通信ポートを介して前記論理ボリュームを排他的に使用するための排他制御情報を記憶する排他制御情報記憶領域と、
前記上位インターフェース制御部に設けられ、前記排他制御情報に基づいて前記論理ボリュームの排他制御を実行する排他制御部と、
解除指示を検出した場合に、前記排他制御情報を更新することにより、前記排他的使用を前記論理ボリューム単位で解除させる解除制御部と、
を備えたディスクアレイ装置。 - 前記排他制御情報記憶領域は、前記メモリ部または前記上位インターフェース制御部の少なくともいずれか一方に設けられている請求項1に記載のディスクアレイ装置。
- 前記解除制御部は、前記上位インターフェース制御部に設けられている請求項1に記載のディスクアレイ装置。
- 前記論理ボリュームは複数設けられており、前記通信ポートには前記複数の論理ボリュームが対応付けられている請求項1に記載のディスクアレイ装置。
- 前記排他制御情報の全部または一部に基づいて、前記論理ボリュームの排他的使用に関する所定の情報を表示させる表示部を備えた請求項1に記載のディスクアレイ装置。
- 前記排他制御情報の全部または一部に基づいて、前記論理ボリュームの排他的使用に関する所定の情報を表示させる表示部と、
前記表示部により表示された前記所定の情報に基づいて、前記解除指示を前記解除制御部に与える解除対象選択部とを備えた請求項1に記載のディスクアレイ装置。 - 前記各上位装置の優先度を管理するための優先度管理情報を記憶する優先度管理情報記憶領域と、
相対的に優先度が低い上位装置が前記論理ボリュームを排他的に使用している場合において、相対的に優先度が高い上位装置が前記論理ボリュームへのアクセスを要求した場合は、前記解除指示を前記解除制御部に与える優先度判定部とを備えた請求項1に記載のディスクアレイ装置。 - 前記解除制御部は、前記論理ボリュームの排他的使用を解除した場合に、前記論理ボリュームの状態変更を前記各上位装置にそれぞれ通知する請求項1に記載のディスクアレイ装置。
- 前記論理ボリュームの排他的使用は、前記上位装置から発行されるリザーブコマンドに基づくものである請求項1に記載のディスクアレイ装置。
- 前記各上位装置は、フェイルオーバクラスタを構成している請求項1に記載のディスクアレイ装置。
- 前記論理ボリュームは、外部装置が有する他の論理ボリュームにより提供される請求項1に記載のディスクアレイ装置。
- 複数の上位装置とのデータ授受を通信ポートを介してそれぞれ制御する上位インターフェース制御部と、
記憶デバイスとのデータ授受を制御する下位インターフェース制御部と、
前記上位インターフェース制御部及び前記下位インターフェース制御部により共用されるメモリ部と、
前記記憶デバイス上に設けられ、前記通信ポートを介してアクセス可能な論理ボリュームと、
前記各上位装置のうちいずれか一つの上位装置が前記通信ポートを介して前記論理ボリュームをリザーブして使用するためのリザーブ情報を記憶するリザーブ情報記憶領域と、を備えたディスクアレイ装置のリザーブ解除制御方法であって、
前記論理ボリューム単位で解除指示を発生させる解除指示発生ステップと、
前記解除指示が発生された場合は、前記リザーブ情報を更新することにより、リザーブ状態を解除させるリザーブ解除ステップと、
を含むディスクアレイ装置のリザーブ解除制御方法。 - 前記論理ボリュームは複数設けられており、前記通信ポートには前記複数の論理ボリュームが対応付けられている請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記解除指示発生ステップの前に、前記リザーブ管理情報の全部または一部に基づいて前記論理ボリュームのリザーブ状態を表示させるリザーブ状態表示ステップを備える請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記解除指示発生ステップの前に、相対的に優先度が低い上位装置によりリザーブされている前記論理ボリュームに対して、相対的に優先度が高い上位装置がアクセスを要求したか否かを判定する優先度判定ステップを備えた請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記リザーブ解除ステップの後に、前記論理ボリュームのリザーブ状態が解除された旨を前記各上位装置にそれぞれ通知可能な解除通知ステップを備えた請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記リザーブ解除ステップの後に、前記論理ボリュームのリザーブ状態が解除された旨の状態変更情報を前記リザーブ管理情報に設定する設定ステップを備えた請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記設定ステップの後に、前記各上位装置からの問合せに対して前記リザーブ管理情報の前記状態変更情報を参照することにより、前記リザーブ状態が解除された旨をそれぞれ通知可能な解除通知ステップを備えた請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記各上位装置は、フェイルオーバクラスタを構成している請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
- 前記論理ボリュームは、外部装置が有する他の論理ボリュームにより提供される請求項12に記載のディスクアレイ装置のリザーブ解除制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004116360A JP2005301638A (ja) | 2004-04-12 | 2004-04-12 | ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法 |
US10/866,041 US7571289B2 (en) | 2004-04-12 | 2004-06-14 | Disk array device and reservation cancellation control method for disk array device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004116360A JP2005301638A (ja) | 2004-04-12 | 2004-04-12 | ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005301638A true JP2005301638A (ja) | 2005-10-27 |
Family
ID=35061879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004116360A Withdrawn JP2005301638A (ja) | 2004-04-12 | 2004-04-12 | ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7571289B2 (ja) |
JP (1) | JP2005301638A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148764A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ltd | データストレージシステム及びデータストレージ制御装置 |
JP2007172172A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | ファイバーチャネルスイッチおよびそれを用いたコンピュータシステム |
JP2009064067A (ja) * | 2007-09-04 | 2009-03-26 | Hitachi Ltd | 電源障害の発生を把握するストレージシステム |
JP2010092285A (ja) * | 2008-10-08 | 2010-04-22 | Hitachi Ltd | ストレージシステム |
WO2013001582A1 (en) | 2011-06-30 | 2013-01-03 | Hitachi, Ltd. | Computer system and access restriction method |
JP5158576B2 (ja) * | 2007-06-05 | 2013-03-06 | 日本電気株式会社 | 入出力制御システム、入出力制御方法、及び、入出力制御プログラム |
WO2016207995A1 (ja) * | 2015-06-24 | 2016-12-29 | 株式会社日立製作所 | 計算機システム及び記憶制御方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5020601B2 (ja) * | 2006-11-10 | 2012-09-05 | 株式会社日立製作所 | アクセス環境構築システム及び方法 |
JP5080140B2 (ja) * | 2007-06-13 | 2012-11-21 | 株式会社日立製作所 | I/oデバイス切り替え方法 |
CN104951383A (zh) * | 2014-03-31 | 2015-09-30 | 伊姆西公司 | 用于监测硬盘的健康状况的方法和装置 |
CN108228076B (zh) * | 2016-12-14 | 2020-10-16 | 华为技术有限公司 | 访问磁盘的方法和主机 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05189396A (ja) | 1992-01-16 | 1993-07-30 | Mitsubishi Electric Corp | ディスク排他制御方式 |
US6304980B1 (en) | 1996-03-13 | 2001-10-16 | International Business Machines Corporation | Peer-to-peer backup system with failure-triggered device switching honoring reservation of primary device |
US5890204A (en) * | 1996-06-03 | 1999-03-30 | Emc Corporation | User controlled storage configuration using graphical user interface |
US5892955A (en) * | 1996-09-20 | 1999-04-06 | Emc Corporation | Control of a multi-user disk storage system |
US6105085A (en) * | 1997-12-26 | 2000-08-15 | Emc Corporation | Lock mechanism for shared resources having associated data structure stored in common memory include a lock portion and a reserve portion |
JP2000047972A (ja) * | 1998-07-29 | 2000-02-18 | Hitachi Ltd | 入出力制御方式 |
US6275907B1 (en) | 1998-11-02 | 2001-08-14 | International Business Machines Corporation | Reservation management in a non-uniform memory access (NUMA) data processing system |
US6490659B1 (en) | 2000-03-31 | 2002-12-03 | International Business Machines Corporation | Warm start cache recovery in a dual active controller with cache coherency using stripe locks for implied storage volume reservations |
US6742135B1 (en) * | 2000-11-07 | 2004-05-25 | At&T Corp. | Fault-tolerant match-and-set locking mechanism for multiprocessor systems |
US6681339B2 (en) | 2001-01-16 | 2004-01-20 | International Business Machines Corporation | System and method for efficient failover/failback techniques for fault-tolerant data storage system |
US6816945B2 (en) | 2001-08-03 | 2004-11-09 | International Business Machines Corporation | Quiesce system storage device and method in a dual active controller with cache coherency using stripe locks for implied storage volume reservations |
US6973511B2 (en) | 2002-03-28 | 2005-12-06 | International Business Machines Corporation | System and method for dual stage persistent reservation preemption protocol |
JP2004334434A (ja) * | 2003-05-06 | 2004-11-25 | Hitachi Ltd | 双方向コピー制御機能を有する記憶装置システム |
-
2004
- 2004-04-12 JP JP2004116360A patent/JP2005301638A/ja not_active Withdrawn
- 2004-06-14 US US10/866,041 patent/US7571289B2/en not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148764A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ltd | データストレージシステム及びデータストレージ制御装置 |
JP4511455B2 (ja) * | 2005-12-20 | 2010-07-28 | 富士通株式会社 | ファイバーチャネルスイッチおよびそれを用いたコンピュータシステム |
JP2007172172A (ja) * | 2005-12-20 | 2007-07-05 | Fujitsu Ltd | ファイバーチャネルスイッチおよびそれを用いたコンピュータシステム |
US7889639B2 (en) | 2005-12-20 | 2011-02-15 | Fujitsu Limited | Fiber channel switch and computer system using the same |
JP5158576B2 (ja) * | 2007-06-05 | 2013-03-06 | 日本電気株式会社 | 入出力制御システム、入出力制御方法、及び、入出力制御プログラム |
JP2009064067A (ja) * | 2007-09-04 | 2009-03-26 | Hitachi Ltd | 電源障害の発生を把握するストレージシステム |
JP2010092285A (ja) * | 2008-10-08 | 2010-04-22 | Hitachi Ltd | ストレージシステム |
US8370570B2 (en) | 2008-10-08 | 2013-02-05 | Hitachi, Ltd. | Storage system |
US8966174B2 (en) | 2008-10-08 | 2015-02-24 | Hitachi, Ltd. | Storage system |
US9223508B2 (en) | 2008-10-08 | 2015-12-29 | Hitachi, Ltd. | Storage system |
US9710168B2 (en) | 2008-10-08 | 2017-07-18 | Hitachi, Ltd. | Storage system |
WO2013001582A1 (en) | 2011-06-30 | 2013-01-03 | Hitachi, Ltd. | Computer system and access restriction method |
US9021224B2 (en) | 2011-06-30 | 2015-04-28 | Hitachi, Ltd. | Method and apparatus for enhanced computer security |
WO2016207995A1 (ja) * | 2015-06-24 | 2016-12-29 | 株式会社日立製作所 | 計算機システム及び記憶制御方法 |
JPWO2016207995A1 (ja) * | 2015-06-24 | 2017-11-24 | 株式会社日立製作所 | 計算機システム及び記憶制御方法 |
US10346082B2 (en) | 2015-06-24 | 2019-07-09 | Hitachi Ltd. | Computer system and storage control method |
Also Published As
Publication number | Publication date |
---|---|
US7571289B2 (en) | 2009-08-04 |
US20050228946A1 (en) | 2005-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8301854B2 (en) | Storage system and virtualization method | |
US7152149B2 (en) | Disk array apparatus and control method for disk array apparatus | |
US7366838B2 (en) | Storage system and control method thereof for uniformly managing the operation authority of a disk array system | |
JP4575028B2 (ja) | ディスクアレイ装置およびその制御方法 | |
JP5057741B2 (ja) | ストレージ装置 | |
US9619171B2 (en) | Storage system and virtualization method | |
JP4671720B2 (ja) | ストレージシステム及びデータ移動方法 | |
US7480780B2 (en) | Highly available external storage system | |
JP4738941B2 (ja) | ストレージシステム及びストレージシステムの管理方法 | |
JP4274523B2 (ja) | 記憶装置システム、及び記憶装置システムの起動方法 | |
EP1645953B1 (en) | Storage apparatus | |
JP2006107151A (ja) | ストレージシステム及びストレージシステムの通信パス制御方法 | |
JP2008112291A (ja) | 記憶制御装置及び記憶制御装置のデータ移動方法 | |
JP2006178811A (ja) | ストレージシステム及びストレージシステムのパス制御方法 | |
JP2005267038A (ja) | ストレージシステムの運用方法 | |
JP2007072519A (ja) | ストレージシステム及びストレージシステムの制御方法 | |
JP5404914B2 (ja) | ストレージ・エリア・ネットワーク(「san」)内の仮想ストレージ管理のアクティブ−アクティブ・サポート | |
JP2005190057A (ja) | ディスクアレイ装置及びディスクアレイ装置のリモートコピー制御方法 | |
US7930482B2 (en) | Storage system and method for controlling cache residency setting in the storage system | |
US7886186B2 (en) | Storage system and management method for the same | |
JP2005301638A (ja) | ディスクアレイ装置及びディスクアレイ装置のリザーブ解除制御方法 | |
JP2005275494A (ja) | ストレージシステム及びストレージシステムのリモートコピー方法 | |
US20090228672A1 (en) | Remote copy system and check method | |
JP2009015845A (ja) | 好適なゾーン・スケジューリング | |
GB2414339A (en) | Controller for multiple disk arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070216 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070216 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090525 |