JP2003158526A - Protocol controller and disk array system - Google Patents
Protocol controller and disk array systemInfo
- Publication number
- JP2003158526A JP2003158526A JP2001357604A JP2001357604A JP2003158526A JP 2003158526 A JP2003158526 A JP 2003158526A JP 2001357604 A JP2001357604 A JP 2001357604A JP 2001357604 A JP2001357604 A JP 2001357604A JP 2003158526 A JP2003158526 A JP 2003158526A
- Authority
- JP
- Japan
- Prior art keywords
- information
- loop
- frame
- address
- protocol control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Systems (AREA)
- Small-Scale Networks (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、プロトコル制御技
術およびディスクアレイ技術に関し、特に、ループ状情
報伝送路に接続された複数の接続機器間のブロードキャ
ストコマンド処理等に適用して有効な技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a protocol control technique and a disk array technique, and more particularly to a technique effectively applied to broadcast command processing between a plurality of connected devices connected to a loop-shaped information transmission path.
【０００２】[0002]
【従来の技術】ファイバ・チャネル・アービトレーテッ
ド・ループ（ＦＣ−ＡＬ）に接続され、ファイバチャネ
ルプロトコルの制御を行う複数の制御装置間のコマンド
処理においては、ＦＣ−ＡＬ上の個々の接続機器を識別
する物理アドレス（ＡＬ＿ＰＡ）を用いて一対一でコマ
ンド処理を行っている。2. Description of the Related Art In a command processing between a plurality of control units which are connected to a fiber channel arbitrated loop (FC-AL) and control a fiber channel protocol, individual connected devices on the FC-AL are used. One-to-one command processing is performed using the physical address (AL_PA) for identifying
【０００３】また、アービトレーテッド・ループ上に接
続されている複数のディスク装置でＲＡＩＤシステムを
構成している場合、データの欠落したディスク装置をそ
の他のディスク装置のデータを用いデータ修復を行うＲ
ＥＧＥＮＥＲＡＴＥコマンド処理、新たに追加されたデ
ィスク装置のデータ構築をその他のディスク装置のデー
タを用いて行うＲＥＢＵＩＬＤコマンド処理がＡＮＳＩ
（ＡｍｅｒｉｃａｎＮａｔｉｏｎａｌ Ｓｔａｎｄａｒ
ｄｓ Ｉｎｓｔｉｔｕｔｅ）ＳＣＳＩ−３（Ｓｍａｌｌ
Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃ
ｅ−３）規格に定義されている。それぞれのコマンド処
理ではコマンドを受領したターゲットが一時的にイニシ
エータとなり、必要なディスク装置よりデータを入手し
当該ディスク装置のデータを更新している。Further, when a RAID system is composed of a plurality of disk devices connected on an arbitrated loop, a disk device with missing data is restored using data from other disk devices.
EGENERATE command processing, REBUILD command processing for constructing data of a newly added disk device using data of other disk devices is ANSI
(American National Standard
ds Institute) SCSI-3 (Small)
Computer System Interfac
e-3) Defined in the standard. In each command processing, the target that receives the command temporarily becomes the initiator, acquires data from the required disk device, and updates the data of the disk device.
【０００４】[0004]
【発明が解決しようとする課題】従来の技術では、ＦＣ
−ＡＬに接続されている複数の制御装置に同一のコマン
ド処理（たとえば当該制御装置内のマイクロプログラム
等のファームウェアの更新を実行するＳＣＳＩ−ＦＣＰ
のＷｒｉｔｅ Ｂｕｆｆｅｒ系コマンド等）を行わせる
ブロードキャストコマンド処理の場合、イニシエータが
それぞれの制御装置（ターゲット）に対し同一内容のコ
マンドをその都度発行する必要がある。In the conventional technology, FC is used.
-The same command processing for a plurality of control devices connected to the AL (e.g., SCSI-FCP for updating firmware such as microprograms in the control device).
In the case of the broadcast command processing for executing the Write Buffer system command, etc.), the initiator needs to issue a command of the same content to each control device (target) each time.
【０００５】この方法では同一内容のコマンド／データ
が対象のターゲットの数だけ複数回ＦＣ−ＡＬをループ
する事となり、ループ使用効率が悪くなるという技術的
課題がある。In this method, the commands / data having the same contents loop the FC-AL a plurality of times as many times as the number of target targets, and there is a technical problem that the loop use efficiency deteriorates.
【０００６】本発明の目的は、イニシエータからの１コ
マンド（フレーム）の発行によりブロードキャストコマ
ンド処理を実現し、ループ状情報伝送路の使用効率の向
上やイニシエータの負荷軽減を図ることにある。An object of the present invention is to realize broadcast command processing by issuing one command (frame) from the initiator, to improve the use efficiency of the loop-shaped information transmission path and to reduce the load on the initiator.
【０００７】本発明の他の目的は、ループ状情報伝送路
にフレームを１巡させることでループ状情報伝送路に接
続された複数のプロトコル制御装置の二つ以上の組み合
わせに対して選択的に共通の処理を行わせることが可能
な技術を提供することにある。Another object of the present invention is to selectively combine two or more combinations of a plurality of protocol control devices connected to a loop-shaped information transmission line by circulating a frame through the loop-shaped information transmission line. It is to provide a technique capable of performing common processing.
【０００８】[0008]
【課題を解決するための手段】本発明は、複数のプロト
コル制御装置が接続されたＦＣ−ＡＬ等のループ状情報
伝送路において、特定のプロトコル制御装置（イニシエ
ータ）が、ループ状情報伝送路を巡回するフレーム内に
共通の処理対象となる他のプロトコル制御装置（ターゲ
ット）の組み合わせを指定するＡＬ＿ＰＡ等のアドレス
情報のリストを管理する情報を設定し、リスト情報内の
最初の一つのプロトコル制御装置を宛先として当該フレ
ームを送信し、以後、リスト情報内の各プロトコル制御
装置は、受け取ったフレームに指定された共通の処理を
実行するとともに、リスト情報内の自装置の設定情報を
解除した後、当該リスト情報内の次のプロトコル制御装
置にフレームを巡回方向に順に受け渡すことで、フレー
ムが一巡する間に、リスト情報にて指定されたすべての
プロトコル制御装置に対して共通の処理を実行させるも
のである。According to the present invention, in a loop-shaped information transmission line such as an FC-AL to which a plurality of protocol control devices are connected, a specific protocol control device (initiator) uses the loop-shaped information transmission line. Information that manages a list of address information such as AL_PA that designates a combination of other protocol control devices (targets) to be commonly processed in the circulating frame is set, and the first protocol control device in the list information is set. , The protocol control device in the list information, after performing the common processing specified in the received frame, and after releasing the setting information of its own device in the list information, By sequentially passing frames in the circulation direction to the next protocol control device in the list information, while the frame makes one round, It is intended to execute processing common to all the protocol control device designated by the list information.
【０００９】[0009]
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings.
【００１０】図１は、本発明の一実施の形態であるプロ
トコル制御装置を含む情報処理システムの構成および作
用の一例を示す概念図であり、図２および図３は、本実
施の形態のループ状情報伝送路にて用いられる情報の一
例を示す概念図、図４および図５は、本実施の形態のプ
ロトコル制御装置の作用の一例を示すフローチャートで
ある。FIG. 1 is a conceptual diagram showing an example of the configuration and operation of an information processing system including a protocol control device according to an embodiment of the present invention, and FIGS. 2 and 3 are loops of this embodiment. A conceptual diagram showing an example of information used in the status information transmission path, and FIGS. 4 and 5 are flowcharts showing an example of the operation of the protocol control device of the present embodiment.
【００１１】図１の上側に例示されるように、本実施の
形態の情報処理システムは、上位システム１０と、複数
の磁気ディスク装置１１〜１７と、これらを接続するフ
ァイバ・チャネル・アービトレーテッド・ループ（ＦＣ
−ＡＬ）等のループ状情報伝送路１８を含んでいる。上
位システム１０は、ループ状情報伝送路１８を経由して
複数の磁気ディスク装置１１〜１７等の接続機器との間
で情報の授受を行うためのファイバチャネルプロトコル
を制御する機能を有するプロトコル制御装置１０ａを備
えている。As illustrated in the upper side of FIG. 1, the information processing system according to the present embodiment is provided with a host system 10, a plurality of magnetic disk devices 11 to 17, and a fiber channel arbitrated circuit connecting them.・ Loop (FC
-AL) and other loop-shaped information transmission paths 18 are included. The host system 10 is a protocol control device having a function of controlling a fiber channel protocol for exchanging information with connection devices such as a plurality of magnetic disk devices 11 to 17 via a loop information transmission path 18. 10a is provided.
【００１２】同様に、複数の磁気ディスク装置１１〜１
７の各々は、ループ状情報伝送路１８内の上位システム
１０や他の磁気ディスク装置等の接続機器との間での情
報の授受を行うためのファイバチャネルプロトコルを制
御する機能を備えた磁気ディスク制御装置１１ａ〜１７
ａと、磁気ディスク制御装置１１ａ〜１７ａの配下で記
憶媒体に対するデータの読み書きを行うディスクドライ
ブ１１ｂ〜１７ｂを含んでいる。Similarly, a plurality of magnetic disk devices 11 to 1
Each of the magnetic disks 7 has a function of controlling a fiber channel protocol for exchanging information with the host system 10 in the loop-shaped information transmission path 18 and connection devices such as other magnetic disk devices. Controllers 11a-17
a and disk drives 11b to 17b for reading and writing data from and to the storage medium under the control of the magnetic disk control devices 11a to 17a.
【００１３】本実施の形態の場合、ループ状情報伝送路
１８における各制御装置を識別するための物理アドレス
（ＡＬ＿ＰＡ）として、上位システム１０のプロトコル
制御装置１０ａにはＡＬ＿ＰＡ＝１が設定され、磁気デ
ィスク制御装置１１ａ〜１７ａの各々には、ＡＬ＿ＰＡ
＝２〜８が設定されている。In the case of the present embodiment, AL_PA = 1 is set in the protocol control device 10a of the host system 10 as a physical address (AL_PA) for identifying each control device in the loop-shaped information transmission line 18, and AL_PA is assigned to each of the disk control devices 11a to 17a.
= 2 to 8 is set.
【００１４】図２に、本実施の形態においてループ状情
報伝送路１８を巡回することで上記各制御装置間の情報
の授受（コマンド実行時）に用いられるフレームフォー
マットの一例を示す。FIG. 2 shows an example of a frame format used for exchanging information (when a command is executed) between the above-mentioned control devices by circulating the loop-shaped information transmission line 18 in the present embodiment.
【００１５】本実施の形態のフレーム２０はその先頭を
識別するためのフレーム開始部２０−１（ＳＯＦ：Ｓｔ
ａｒｔ Ｏｆ Ｆｒａｍｅ）、デバイスプロトコル制御
等のためのフレームヘッダ部２０−２（ＦＨ：Ｆｒａｍ
ｅ Ｈｅａｄｅｒ）、アドレスビットマップ２０−４
（ＢＭ：ＡＬ＿ＰＡ ｂｉｔ ｍａｐ）をふくむコマン
ド／データ転送等のためのペイロード部２０−３（Ｐ
Ｌ：Ｐａｙｌｏａｄ）、ＦＨおよびＰＬデータのチェッ
クを行うためのエラーチェック部２０−５（ＣＲＣ）、
およびフレーム２０の最後を認識するためのフレーム終
端部２０−６（ＥＯＦ：Ｅｎｄ Ｏｆ Ｆｒａｍｅ）よ
り構成されている。The frame 20 according to the present embodiment has a frame start portion 20-1 (SOF: St) for identifying its head.
art of frame), a frame header section 20-2 (FH: Frame) for device protocol control, etc.
e Header), address bit map 20-4
Payload section 20-3 (P: Command / Data transfer including (BM: AL_PA bit map))
L: Payload), an error check unit 20-5 (CRC) for checking FH and PL data,
And a frame end portion 20-6 (EOF: End Of Frame) for recognizing the end of the frame 20.
【００１６】アドレスビットマップ２０−４（ＢＭ）の
各ビットはＡＬ＿ＰＡと一対一に対応している。そし
て、この各ビットを“１”に設定することで後述のよう
なブロードキャストの実行対象の制御装置を指定し、
“０”にすることで指定解除（実行済み）とする。Each bit of the address bit map 20-4 (BM) has a one-to-one correspondence with AL_PA. Then, by setting each bit to “1”, a control device as a broadcast execution target as described later is designated,
The designation is canceled (executed) by setting it to “0”.
【００１７】図３にフレームヘッダ部２０−２（ＦＨ）
のフォーマット例を示す。本実施の形態の場合、宛先ア
ドレス３０（Ｄ＿ＩＤ）にコマンドを受領するターゲッ
トのＡＬ＿ＰＡ情報が含まれ、送信元アドレス３１（Ｓ
＿ＩＤ）にコマンドを発行したイニシエータ（この場
合、上位システム１０のプロトコル制御装置１０ａ）の
ＡＬ＿ＰＡ情報が含まれている。FIG. 3 shows the frame header section 20-2 (FH).
The format example of In the case of the present embodiment, the destination address 30 (D_ID) includes the AL_PA information of the target that receives the command, and the source address 31 (S
_ID) includes AL_PA information of the initiator that issued the command (in this case, the protocol control device 10a of the host system 10).
【００１８】以下、本実施の形態の作用の一例につい
て、図４および図５のフローチャート等を参照して説明
する。なお、図４はイニシエータの作用を示し、図５
は、ターゲット側の作用を例示している。An example of the operation of the present embodiment will be described below with reference to the flow charts of FIGS. 4 and 5. Note that FIG. 4 shows the action of the initiator, and FIG.
Shows the action on the target side.
【００１９】図１の下側には、ＡＬ＿ＰＡ＝１のイニシ
エータの上位システム１０から、ターゲットである磁気
ディスク装置１１（ＡＬ＿ＰＡ＝２）および磁気ディス
ク装置１７（ＡＬ＿ＰＡ＝８）に対して選択的なブロー
ドキャストを実行する場合のフレーム２０における宛先
アドレス３０（Ｄ＿ＩＤ）および送信元アドレス３１
（Ｓ＿ＩＤ）、さらにはアドレスビットマップ２０−４
（ＢＭ）のフレーム巡回に伴う推移例を示している。In the lower part of FIG. 1, from the host system 10 of the initiator of AL_PA = 1, selective to the magnetic disk device 11 (AL_PA = 2) and the magnetic disk device 17 (AL_PA = 8) which are the targets. Destination address 30 (D_ID) and source address 31 in frame 20 when performing broadcast
(S_ID), and further the address bit map 20-4
The transition example accompanying the frame circulation of (BM) is shown.
【００２０】ループ状情報伝送路１８に接続された上位
システム１０および磁気ディスク装置１１〜１７の各々
は、ループ状情報伝送路１８のループイニシャライズ処
理により、現在接続されている磁気ディスク装置１１〜
１７のすべての固有のアドレス（ＡＬ＿ＰＡ）を取得し
て記憶している。Each of the host system 10 and the magnetic disk devices 11 to 17 connected to the loop-shaped information transmission line 18 is currently connected to the magnetic disk device 11 to 11 by the loop initialization processing of the loop-shaped information transmission line 18.
All 17 unique addresses (AL_PA) are acquired and stored.
【００２１】上位システム１０（イニシエータ）よりル
ープ状情報伝送路１８内の複数の磁気ディスク制御装置
（磁気ディスク装置）へ同一のコマンドを発行する場
合、ターゲットとなる磁気ディスク制御装置（図１の例
では、磁気ディスク制御装置１１ａと１７ａ）のＡＬ＿
ＰＡ情報をＢＭ２０−４に設定（該当エントリにビット
“１”をセット）したフレーム２０を作成（ステップ４
０，４１）しフレームを送信する（ステップ４２）。When the same command is issued from the host system 10 (initiator) to a plurality of magnetic disk control devices (magnetic disk devices) in the loop-shaped information transmission path 18, the target magnetic disk control device (example in FIG. 1). Then, AL_ of the magnetic disk control devices 11a and 17a)
Create a frame 20 in which PA information is set in the BM 20-4 (bit "1" is set in the corresponding entry) (step 4)
0, 41) and the frame is transmitted (step 42).
【００２２】上位システム１０の下流に位置する磁気デ
ィスク制御装置はフレーム２０を受信（ステップ５０）
し、当該フレーム２０のＡＬ＿ＰＡ情報を宛先アドレス
３０（Ｄ＿ＩＤ）を参照してチェックし（ステップ５
１）、自分に対するフレームでなかった場合はそのまま
フレームを送信する（ステップ５８）。The magnetic disk controller located downstream of the host system 10 receives the frame 20 (step 50).
Then, the AL_PA information of the frame 20 is checked with reference to the destination address 30 (D_ID) (step 5
1) If the frame is not for itself, the frame is transmitted as it is (step 58).
【００２３】ステップ５１で自分に対するフレーム２０
であった場合はペイロード部２０−３の情報等に基づく
コマンド処理を行い（ステップ５２）、コマンド処理終
了後、フレーム２０内のＢＭ２０−４に設定されている
自ＡＬ＿ＰＡ情報のビットクリア（“０”に設定）の実
行（ステップ５３）およびデータ（たとえば自磁気ディ
スク制御装置内のマイクロプログラム）の更新（ステッ
プ５４）を行う。In step 51, the frame 20 for oneself
If it is, the command processing is performed based on the information of the payload section 20-3 (step 52), and after the command processing is completed, the bit clear of the own AL_PA information set in the BM 20-4 in the frame 20 (“0 "Set to""is executed (step 53) and data (for example, a microprogram in the magnetic disk controller itself) is updated (step 54).
【００２４】その後、ＢＭ２０−４のエントリ状態をチ
ェック（ステップ５５）し、ビットが“１”のエントリ
情報がある場合のみ、エントリ情報内の次のＡＬ＿ＰＡ
情報を宛先アドレス３０（Ｄ＿ＩＤ）に設定（ステップ
５６）し、フレームを送信（ステップ５８）する。この
時、送信元アドレス３１（Ｓ＿ＩＤ）は元のままとす
る。Thereafter, the entry status of the BM 20-4 is checked (step 55), and only when the entry information having the bit "1" is present, the next AL_PA in the entry information is checked.
The information is set to the destination address 30 (D_ID) (step 56), and the frame is transmitted (step 58). At this time, the source address 31 (S_ID) remains unchanged.
【００２５】ステップ５５でエントリ情報がない場合
は、現在の送信元アドレス３１（Ｓ＿ＩＤ）を宛先アド
レス３０（Ｄ＿ＩＤ）に設定し（ステップ５７）フレー
ムを送信する（ステップ５８）。If there is no entry information in step 55, the current source address 31 (S_ID) is set to the destination address 30 (D_ID) (step 57) and the frame is transmitted (step 58).
【００２６】一方、フレーム２０を最初に送出した上位
システム１０（イニシエータ）では、ループ状情報伝送
路１８を一巡して戻ってきたフレーム２０を受信し（ス
テップ４３）、その宛先アドレス３０（Ｄ＿ＩＤ）と送
信元アドレス３１（Ｓ＿ＩＤ）とが同じ、すなわち送信
元の自ＡＬ＿ＰＡ情報であるか否かを判別することによ
りコマンド処理が正常に終了したか否かを判別し（ステ
ップ４４）、不一致の場合には、ＢＭ２０−４の残りの
ビット“１”のエントリの最初のＡＬ＿ＰＡを宛先アド
レス３０（Ｄ＿ＩＤ）に設定して、ステップ４２以降に
戻って再試行を実行する。なお、ステップ４４等にて再
試行の回数を制限することで、恒常的なエラー状態に陥
ることを回避してもよい。また、前記不一致のＢＭ２０
−４の残りのビット“１”のエントリはエラー状態の磁
気ディスク装置を示すと考えられるのでエラー検出にも
用いることができる。On the other hand, the higher-level system 10 (initiator) that first transmitted the frame 20 receives the frame 20 that has returned after making a round in the loop-shaped information transmission path 18 (step 43), and its destination address 30 (D_ID). And the source address 31 (S_ID) are the same, that is, whether the command processing has been normally completed by determining whether or not the sender's own AL_PA information is determined (step 44). , The first AL_PA of the entry of the remaining bit “1” of the BM 20-4 is set to the destination address 30 (D_ID), and the process returns to step 42 and the subsequent steps to execute the retry. Note that it is possible to avoid falling into a constant error state by limiting the number of retries in step 44 and the like. In addition, the BM20 that does not match
The entry of the remaining bit "1" of -4 is considered to indicate the magnetic disk device in the error state, and therefore can be used for error detection.
【００２７】このように、本実施の形態の場合には、ル
ープ状情報伝送路１８に接続された複数の磁気ディスク
装置１１〜１７の一部またはすべてを指定したＢＭ２０
−４を設定した一つのフレーム２０（コマンド）を生成
してループ状情報伝送路１８を一巡させるだけで、磁気
ディスク装置１１〜１７の各々の磁気ディスク制御装置
１１ａ〜１７ａの各々のマイクロプログラムの更新等の
共通の処理（ブロードキャスト処理）を纏めて実行させ
ることが可能となる。また、部分的に指定する場合に
は、磁気ディスク装置１１〜１７の中のグループ毎に、
異なる版のマイクロプログラムを実装する等の複雑な処
理も簡単に行うことが可能となる。As described above, in the case of the present embodiment, the BM 20 designating a part or all of the plurality of magnetic disk devices 11 to 17 connected to the loop-shaped information transmission path 18.
Only by generating one frame 20 (command) in which -4 is set and circulating the loop-shaped information transmission path 18 once, the microprograms of the respective magnetic disk control devices 11a to 17a of the magnetic disk devices 11 to 17 are generated. It is possible to collectively execute common processing (broadcast processing) such as updating. Further, in the case of partially specifying, for each group in the magnetic disk devices 11 to 17,
Complex processing such as mounting different versions of microprograms can be easily performed.
【００２８】この結果、従来のようにフレーム２０を対
象の接続機器の数だけ個別にループ状情報伝送路１８に
送信して逐次的に処理する場合に比較して、フレーム２
０の発行数の削減によるループ状情報伝送路１８の負荷
の軽減およびフレーム２０を発行するイニシエータとし
ての上位システム１０の負荷の軽減を実現することが可
能となる。この軽減効果は、ブロードキャスト処理の対
象となる磁気ディスク制御装置（磁気ディスク装置）の
数が多い場合に特に顕著となる。As a result, in comparison with the conventional case where the frames 20 are individually transmitted to the loop-shaped information transmission line 18 by the number of target connecting devices and sequentially processed, the frame 2
It is possible to reduce the load on the loop-shaped information transmission path 18 by reducing the number of issuances of 0 and the load on the higher-level system 10 as an initiator that issues the frame 20. This mitigation effect is particularly remarkable when the number of magnetic disk control devices (magnetic disk devices) targeted for broadcast processing is large.
【００２９】上述のような、プロトコル制御装置を、デ
ィスクアレイシステムに適用した場合を、図６に例示す
る。FIG. 6 exemplifies a case where the protocol control device as described above is applied to a disk array system.
【００３０】図６に例示されるように、本実施の形態の
ディスクアレイシステム１００は、ディスクアレイ制御
装置２００と、配下のディスクアレイ３００からなる。As illustrated in FIG. 6, the disk array system 100 of this embodiment comprises a disk array controller 200 and a subordinate disk array 300.
【００３１】ディスクアレイ制御装置（ＤＫＣ）２００
は、上位装置５００との間で、ファイバチャネル等のホ
ストパス２１０（チャネルポート）を介して情報の授受
を制御するチャネルプロセッサ（ＣＨＰ）を各々が備え
た複数のチャネルアダプタ（ＣＨＡ）２２０と、ＲＡＩ
Ｄ等を構成するディスクアレイ３００を制御するディス
クプロセッサ（ＤＫＰ）を各々が備えた複数のディスク
制御アダプタ（ＤＫＡ）２３０と、上位装置５００によ
るリード／ライトデータが一時的に格納されるキャッシ
ュメモリ（Ｃａｃｈｅ）２４０と、チャネルアダプタ２
２０やディスク制御アダプタ２３０等から参照されるシ
ステム構成情報や同期制御情報等が格納される共有メモ
リ（ＳＭ）２５０と、これらを相互に接続するスイッチ
（ＣＳＷ）２６０、等で構成されている。Disk array controller (DKC) 200
Is a plurality of channel adapters (CHA) 220 each having a channel processor (CHP) that controls the exchange of information with the host device 500 via a host path 210 (channel port) such as a fiber channel, and RAI.
A plurality of disk control adapters (DKA) 230 each provided with a disk processor (DKP) that controls the disk array 300 that configures D and the like, and a cache memory (temporarily storing read / write data by the higher-level device 500 ( Cache) 240 and channel adapter 2
20, a shared memory (SM) 250 that stores system configuration information, synchronization control information, and the like referred to by the disk control adapter 230 and the like, a switch (CSW) 260 that connects these to each other, and the like.
【００３２】ディスクアレイ３００は、ＦＣ−ＡＬ等の
ループ状情報伝送路２７０を介してディスク制御アダプ
タ２３０に接続される冗長構成の複数の磁気ディスク装
置３１０で構成されている。The disk array 300 is composed of a plurality of redundant magnetic disk devices 310 connected to the disk control adapter 230 via a loop information transmission line 270 such as FC-AL.
【００３３】冗長構成の複数の磁気ディスク装置３１０
にてパリティグループが構成され、一つまたは複数のパ
リティグループにて論理ボリュームが構成される。一つ
のパリティグループ内に複数の論理ボリュームを定義す
ることもできる。A plurality of redundant magnetic disk devices 310
, A parity group is configured, and one or more parity groups configure a logical volume. It is also possible to define multiple logical volumes in one parity group.
【００３４】ホストパス２１０を介して上位装置５００
から受け取った書き込みデータは、一旦、キャッシュメ
モリ２４０に格納された後、当該書き込みデータから生
成された冗長データとともに、ディスクアレイ３００の
複数の磁気ディスク装置３１０に分散して格納される。Host system 500 via host path 210
The write data received from the HDD is once stored in the cache memory 240, and then distributed and stored in the plurality of magnetic disk devices 310 of the disk array 300 together with the redundant data generated from the write data.
【００３５】また、上位装置５００からのデータ読み出
し要求に対しては、ディスクアレイ３００から読み出さ
れたデータを、キャッシュメモリ２４０、ホストパス２
１０を介して上位装置５００に送出する。In response to a data read request from the host device 500, the data read from the disk array 300 is transferred to the cache memory 240 and the host path 2.
It is sent to the higher-level device 500 via 10.
【００３６】この図６のディスクアレイシステム１００
の場合、図１の上位システム１０および磁気ディスク装
置１１〜１７およびループ状情報伝送路１８が、それぞ
れ図６のディスク制御アダプタ２３０および複数の磁気
ディスク装置３１０およびループ状情報伝送路２７０に
相当する。The disk array system 100 shown in FIG.
In this case, the host system 10, the magnetic disk devices 11 to 17 and the loop-shaped information transmission line 18 of FIG. 1 correspond to the disk control adapter 230 and the plurality of magnetic disk devices 310 and the loop-shaped information transmission line 270 of FIG. 6, respectively. .
【００３７】ディスクアレイシステム１００の場合、規
模が年々増大しており、ディスクアレイ３００を構成す
る磁気ディスク装置の数も増大し、システムの仕様変更
やバク修正等のために個々の磁気ディスク装置（ターゲ
ット）のマイクロプログラム等を更新する作業は当該作
業のイニシエータとなるディスク制御アダプタ２３０の
負荷や、ループ状情報伝送路２７０の負荷増大による性
能低下をもたらす要因となる。In the case of the disk array system 100, the scale is increasing year by year, the number of magnetic disk devices constituting the disk array 300 is also increasing, and individual magnetic disk devices ( The work of updating the micro program of the (target) and the like becomes a factor that causes a decrease in performance due to an increase in the load of the disk control adapter 230 that is the initiator of the work and the load of the loop-shaped information transmission path 270.
【００３８】また、ループ状情報伝送路２７０に接続さ
れた多数の磁気ディスク装置３１０の中の一部のグルー
プに対して選択的にマイクロプログラムの更新する作業
も必要となる場合がある。Further, it may be necessary to selectively update the microprograms for some groups in a large number of magnetic disk devices 310 connected to the loop-shaped information transmission path 270.
【００３９】このような場合、本実施の形態の技術を用
いることにより、ループ状情報伝送路２７０に接続され
た全ての磁気ディスク装置、あるいは一部のグループの
磁気ディスク装置に対して、一つのフレーム２０をルー
プ状情報伝送路２７０に発行するだけで一括してマイク
ロプログラムの更新を実行する等のブロードキャスト処
理が可能であり、ディスクアレイシステム１００の運用
管理の効率化や、性能向上に寄与することが可能にな
る。In such a case, by using the technique of the present embodiment, one magnetic disk device is connected to all the magnetic disk devices connected to the loop-shaped information transmission path 270 or a part of the magnetic disk devices. By issuing the frame 20 to the loop-shaped information transmission path 270, it is possible to perform a broadcast process such as collectively updating microprograms, which contributes to efficient operation management of the disk array system 100 and performance improvement. It will be possible.
【００４０】なお、上述のブロードキャスト処理として
はマイクロプログラムの一括更新等にかぎらず、イニシ
エータから複数のターゲットへの任意のコマンドの一括
実行や情報の一括した授受等を行うことができる。The above-mentioned broadcast processing is not limited to batch update of microprograms, but batch execution of arbitrary commands from an initiator to a plurality of targets and batch transfer of information can be performed.
【００４１】たとえば、ディスクミラーリングのよう
に、複数のディスクに同一のデータを多重に書き込む場
合、ミラー対象の複数のディスクを指定するビットをア
ドレスビットマップ２０−４に設定するとともに、共通
の情報としてライトコマンドおよび書き込み対象のライ
トデータやシステム情報等をペイロード部２０−３に設
定することで、一回のコマンド発行で、複数のディスク
からなるミラーディスクに対する同一データやシステム
情報の多重書き込みを実行することができる。For example, in the case of writing the same data in a plurality of disks in a multiplexed manner like disk mirroring, the bits designating a plurality of disks to be mirrored are set in the address bit map 20-4 and also as common information. By setting a write command, write data to be written, system information, etc. in the payload section 20-3, the same data or system information can be multiple-written to a mirror disk composed of a plurality of disks by issuing the command once. be able to.
【００４２】尚、上述の実施の形態ではプロトコル制御
装置の一例として、磁気ディスク制御装置の例を示した
が、本発明はこれに限られず、光ディスク制御装置、光
磁気ディスク制御装置その他の制御装置にも適用可能で
ある。In the above-described embodiment, the magnetic disk control device is shown as an example of the protocol control device, but the present invention is not limited to this, and an optical disk control device, a magneto-optical disk control device, and other control devices. It is also applicable to.
【００４３】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。Although the invention made by the present inventor has been specifically described based on the embodiments, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say.
【００４４】[0044]
【発明の効果】ＦＣ−ＡＬ等のループ状情報伝送路を巡
回するフレーム内に処理対象の複数の制御装置のＡＬ＿
ＰＡ等のアドレス情報を設定し、設定された制御装置間
で順次フレームを受け渡すことにより、ループ状情報伝
送路に接続されている任意の複数の制御装置に対し、イ
ニシエータからの１コマンド（フレーム）の発行でブロ
ードキャストコマンド処理の実行が可能となるため、特
に処理対象となる制御装置の数が多い場合にループ使用
効率向上およびイニシエータの負荷軽減の効果がある。[Effects of the Invention] AL_ of a plurality of control devices to be processed in a frame circulating in a loop information transmission line such as FC-AL
By setting address information such as PA and sequentially passing frames between the set control devices, one command (frame) from an initiator is sent to any of a plurality of control devices connected to the loop information transmission path. ), The broadcast command processing can be executed, so that the loop usage efficiency is improved and the load on the initiator is reduced particularly when the number of control devices to be processed is large.
【図１】本発明の一実施の形態であるプロトコル制御装
置を含む情報処理システムの構成および作用の一例を示
す概念図である。FIG. 1 is a conceptual diagram showing an example of a configuration and an operation of an information processing system including a protocol control device according to an embodiment of the present invention.
【図２】本発明の一実施の形態であるプロトコル制御装
置が接続されるループ状情報伝送路にて用いられる情報
の一例を示す概念図である。FIG. 2 is a conceptual diagram showing an example of information used in a loop-shaped information transmission line to which a protocol control device according to an embodiment of the present invention is connected.
【図３】本発明の一実施の形態であるプロトコル制御装
置が接続されるループ状情報伝送路にて用いられる情報
の一例を示す概念図である。FIG. 3 is a conceptual diagram showing an example of information used in a loop-shaped information transmission line to which a protocol control device according to an embodiment of the present invention is connected.
【図４】本発明の一実施の形態であるプロトコル制御装
置のイニシエータとしての作用の一例を示すフローチャ
ートである。FIG. 4 is a flowchart showing an example of an operation of the protocol control device according to the exemplary embodiment of the present invention as an initiator.
【図５】本発明の一実施の形態であるプロトコル制御装
置のターゲットとしての作用の一例を示すフローチャー
トである。FIG. 5 is a flowchart showing an example of an operation as a target of the protocol control device according to the exemplary embodiment of the present invention.
【図６】本発明の一実施の形態であるプロトコル制御装
置を含むディスクアレイシステムの構成および作用の一
例を示す概念図である。FIG. 6 is a conceptual diagram showing an example of the configuration and operation of a disk array system including a protocol control device according to an embodiment of the present invention.
１０…上位システム、１０ａ…プロトコル制御装置、１
１〜１７…磁気ディスク装置（接続機器）、１１ａ〜１
７ａ…磁気ディスク制御装置（プロトコル制御装置）、
１１ｂ〜１７ｂ…ディスクドライブ、１８…ループ状情
報伝送路、２０…フレーム、２０−１…フレーム開始
部、２０−２…フレームヘッダ部、２０−３…ペイロー
ド部（第２情報）、２０−４…アドレスビットマップ
（第１情報）、２０−５…エラーチェック部、２０−６
…フレーム終端部、３０…宛先アドレス、３１…送信元
アドレス、１００…ディスクアレイシステム、２００…
ディスクアレイ制御装置（ＤＫＣ）、２１０…ホストパ
ス、２２０…チャネルアダプタ（ＣＨＡ）、２３０…デ
ィスク制御アダプタ（ＤＫＡ）、２４０…キャッシュメ
モリ（Ｃａｃｈｅ）、２５０…共有メモリ（ＳＭ）、２
６０…スイッチ（ＣＳＷ）、２７０…ループ状情報伝送
路、３００…ディスクアレイ、３１０…磁気ディスク装
置、５００…上位装置。10 ... Host system, 10a ... Protocol control device, 1
1 to 17 ... Magnetic disk device (connecting device), 11a to 1
7a ... Magnetic disk controller (protocol controller),
11b to 17b ... Disk drive, 18 ... Loop information transmission line, 20 ... Frame, 20-1 ... Frame start part, 20-2 ... Frame header part, 20-3 ... Payload part (second information), 20-4 ... address bit map (first information), 20-5 ... error check unit, 20-6
... frame end part, 30 ... destination address, 31 ... source address, 100 ... disk array system, 200 ...
Disk array controller (DKC), 210 ... Host path, 220 ... Channel adapter (CHA), 230 ... Disk control adapter (DKA), 240 ... Cache memory (Cache), 250 ... Shared memory (SM), 2
60 ... Switch (CSW), 270 ... Loop information transmission path, 300 ... Disk array, 310 ... Magnetic disk device, 500 ... Host device.
フロントページの続き Ｆターム(参考） 5B014 GB01 5B077 AA00 5K031 AA02 AA05 CB17 CB21 Continued front page F-term (reference) 5B014 GB01 5B077 AA00 5K031 AA02 AA05 CB17 CB21
Claims (5)
器の各々に備えられ、前記ループ状情報伝送路を経由し
てフレームの授受を行うことで前記ループ状情報伝送路
に接続された前記接続機器間の情報の授受を制御するプ
ロトコル制御装置であって、 前記ループ状情報伝送路に接続された複数の前記プロト
コル制御装置の中から選択された目的の二つ以上の前記
プロトコル制御装置の各々のアドレス情報を含む第１情
報および前記第１情報にて指定された個々の前記プロト
コル制御装置に対して共通に送るべき第２情報を前記フ
レームの一部に埋め込み、当該フレームの宛先アドレス
および送信元アドレスとして、前記第１情報に含まれる
一つの前記プロトコル制御装置の前記アドレス情報およ
び自プロトコル制御装置の前記アドレス情報をそれぞれ
設定して前記ループ状情報伝送路に送出する第１制御論
理、 受信した前記フレームの前記第１情報に前記自プロトコ
ル制御装置の前記アドレス情報が含まれている場合に
は、前記第２情報を前記フレームから読み出して処理す
るとともに、前記第１情報から前記自プロトコル制御装
置の前記アドレス情報を削除し、前記第１情報内に前記
アドレス情報が残っている場合には、当該フレームの前
記宛先アドレスとして残りの前記アドレス情報の一つを
設定し、残っていない場合には、前記送信元アドレスを
前記宛先アドレスに設定して前記ループ状情報伝送路に
送出する第２制御論理、 の少なくとも一方の制御論理を含むことを特徴とするプ
ロトコル制御装置。1. A device connected to the loop-shaped information transmission line, which is provided in each of the connection devices connected to the loop-shaped information transmission line, and which transmits and receives a frame via the loop-shaped information transmission line. A protocol control device for controlling the exchange of information between connected devices, wherein the protocol control device has two or more objects selected from a plurality of the protocol control devices connected to the loop-shaped information transmission path. First information including each address information and second information to be commonly sent to each of the protocol control devices designated by the first information are embedded in a part of the frame, and a destination address of the frame and As the source address, the address information of one of the protocol control devices and the address information of the own protocol control device included in the first information. The first control logic which is set respectively and is sent to the loop-shaped information transmission path; and when the first information of the received frame includes the address information of the own protocol control device, the second information. Is read from the frame and processed, the address information of the own protocol control device is deleted from the first information, and when the address information remains in the first information, the destination of the frame At least one of second control logic for setting one of the remaining address information as an address, and setting the source address as the destination address and sending it to the loop-shaped information transmission path when there is no remaining address information. A protocol control device including control logic of.
いて、 前記フレームは前記ループ状情報伝送路を一方向に巡回
し、前記第１および第２制御論理では、前記ループ状情
報伝送路に送出する前記フレームの前記宛先アドレスと
して、前記第１情報に含まれる前記アドレス情報のう
ち、前記巡回方向の下流側の最初のものを設定し、 前記第１制御論理では、さらに前記ループ状情報伝送路
を一巡して自プロトコル制御装置宛てに前記フレームが
戻って来たか否かを判別することでエラーの有無を検出
する機能を備えたことを特徴とするプロトコル制御装
置。2. The protocol control device according to claim 1, wherein the frame circulates in the loop-shaped information transmission line in one direction, and the frame is sent to the loop-shaped information transmission line in the first and second control logics. Of the address information included in the first information, the first one on the downstream side in the circulation direction is set as the destination address of the frame, and the first control logic further sets the loop-shaped information transmission path. A protocol control device having a function of detecting the presence or absence of an error by determining whether or not the frame has returned to its own protocol control device in one round.
が接続されるループ状情報伝送路と、前記ループ状情報
伝送路に接続され、前記記憶装置と上位装置との間にお
ける情報の授受を制御する記憶制御装置と、を含むディ
スクアレイシステムであって、 個々の前記記憶装置および前記記憶制御装置の各々に備
えられ、前記ループ状情報伝送路を経由した情報の授受
を制御するプロトコル制御装置は、 前記ループ状情報伝送路に接続された複数の前記プロト
コル制御装置の中から選択された目的の二つ以上の前記
プロトコル制御装置の各々のアドレス情報を含む第１情
報および前記第１情報にて指定された個々の前記プロト
コル制御装置に対して共通に送るべき第２情報をフレー
ムの一部に埋め込み、当該フレームの宛先アドレスおよ
び送信元アドレスとして、前記第１情報に含まれる一つ
の前記プロトコル制御装置の前記アドレス情報および自
プロトコル制御装置の前記アドレス情報をそれぞれ設定
して前記ループ状情報伝送路に送出する第１制御論理、 受信した前記フレームの前記第１情報に自プロトコル制
御装置の前記アドレス情報が含まれている場合には、前
記第２情報を前記フレームから読み出して処理するとと
もに、前記第１情報から自プロトコル制御装置の前記ア
ドレス情報を削除し、前記第１情報内に前記アドレス情
報が残っている場合には、当該フレームの前記宛先アド
レスとして残りの前記アドレス情報の一つを設定し、残
っていない場合には、前記送信元アドレスを前記宛先ア
ドレスに設定して前記ループ状情報伝送路に送出する第
２制御論理、 の少なくとも一方の制御論理を含むことを特徴とするデ
ィスクアレイシステム。3. A plurality of storage devices, a loop-shaped information transmission line to which each of the storage devices is connected, and information transmission / reception between the storage device and a host device connected to the loop-shaped information transmission line. A disk array system including: a storage control device for controlling the storage device, and a protocol control provided for each of the storage device and the storage control device, the protocol control for controlling transmission and reception of information via the loop-shaped information transmission path. The device includes first information and first information including address information of each of the two or more protocol control devices of a purpose selected from the plurality of protocol control devices connected to the loop-shaped information transmission path. Embedded in a part of the frame, the second information to be sent in common to each of the protocol control devices specified in 1. A first control logic for setting the address information of one of the protocol control devices and the address information of the own protocol control device, which are included in the first information, as addresses, and sending them to the loop-shaped information transmission path, received If the first information of the frame includes the address information of the own protocol control device, the second information is read from the frame and processed, and the first information of the own protocol control device is read from the first information. When the address information is deleted and the address information remains in the first information, one of the remaining address information is set as the destination address of the frame, and when the address information does not remain, the A second control logic for setting a transmission source address to the destination address and transmitting it to the loop-shaped information transmission path; A disk array system characterized by including control logic of either side.
において、 前記フレームは前記ループ状情報伝送路を一方向に巡回
し、前記第１および第２制御論理では、前記ループ状情
報伝送路に送出する前記フレームの前記宛先アドレスと
して、前記第１情報に含まれる前記アドレス情報のう
ち、前記巡回方向の下流側の最初のものを設定し、 前記第１制御論理では、さらに前記ループ状情報伝送路
を一巡して自プロトコル制御装置宛てに前記フレームが
戻って来たか否かを判別することでエラーの有無を検出
する機能を備えたことを特徴とするディスクアレイシス
テム。4. The disk array system according to claim 3, wherein the frame circulates in the loop-shaped information transmission line in one direction, and is sent to the loop-shaped information transmission line in the first and second control logics. Of the address information included in the first information, the first one on the downstream side in the circulation direction is set as the destination address of the frame, and the first control logic further sets the loop-shaped information transmission path. A disk array system having a function of detecting the presence or absence of an error by determining whether or not the frame has returned to its own protocol control device in one round.
システムにおいて、 前記ループ状情報伝送路は、ファイバ・チャネル・アー
ビトレーテッド・ループ（ＦＣ−ＡＬ）であり、前記第
１情報の前記アドレス情報は、ループイニシャライズ処
理により取得され、前記ＦＣ−ＡＬに接続された前記プ
ロトコル制御装置を個別に識別する物理アドレス（ＡＬ
＿ＰＡ）であることを特徴とするディスクアレイシステ
ム。5. The disk array system according to claim 3 or 4, wherein the loop-shaped information transmission path is a fiber channel arbitrated loop (FC-AL), and the address information of the first information. Is a physical address (AL) for individually identifying the protocol control device connected to the FC-AL, which is acquired by loop initialization processing.
_PA) is a disk array system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001357604A JP2003158526A (en) | 2001-11-22 | 2001-11-22 | Protocol controller and disk array system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001357604A JP2003158526A (en) | 2001-11-22 | 2001-11-22 | Protocol controller and disk array system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003158526A true JP2003158526A (en) | 2003-05-30 |
Family
ID=19168924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001357604A Pending JP2003158526A (en) | 2001-11-22 | 2001-11-22 | Protocol controller and disk array system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003158526A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011159243A (en) * | 2010-02-03 | 2011-08-18 | Fujitsu Ltd | Raid device, abnormal device detecting apparatus, and abnormal device detecting method |
| JP2014059883A (en) * | 2009-12-17 | 2014-04-03 | Toshiba Corp | Semiconductor device and host controller |
| US9836224B2 (en) | 2014-04-21 | 2017-12-05 | Samsung Electronics Co., Ltd. | Storage controller, storage system and method of operating storage controller |
-
2001
- 2001-11-22 JP JP2001357604A patent/JP2003158526A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059883A (en) * | 2009-12-17 | 2014-04-03 | Toshiba Corp | Semiconductor device and host controller |
| USRE47598E1 (en) | 2009-12-17 | 2019-09-10 | Toshiba Memory Corporation | System, device, and method for initializing a plurality of electronic devices using a single packet |
| USRE48495E1 (en) | 2009-12-17 | 2021-03-30 | Toshiba Memory Corporation | System, device, and method for initializing a plurality of electronic devices using a single packet |
| USRE49682E1 (en) | 2009-12-17 | 2023-10-03 | Kioxia Corporation | System, device, and method for initializing a plurality of electronic devices using a single packet |
| JP2011159243A (en) * | 2010-02-03 | 2011-08-18 | Fujitsu Ltd | Raid device, abnormal device detecting apparatus, and abnormal device detecting method |
| US8607092B2 (en) | 2010-02-03 | 2013-12-10 | Fujitsu Limited | Raid device, abnormal device detecting apparatus, and abnormal device detecting method |
| US9836224B2 (en) | 2014-04-21 | 2017-12-05 | Samsung Electronics Co., Ltd. | Storage controller, storage system and method of operating storage controller |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6961813B2 (en) | System and method for providing multi-initiator capability to an ATA drive | |
| US7209986B2 (en) | Method for controlling storage system, and storage control apparatus | |
| JP4859471B2 (en) | Storage system and storage controller | |
| US6948036B2 (en) | System and method for providing multi-initiator capability to an ATA drive | |
| US8352783B2 (en) | Information system and I/O processing method | |
| JP4477906B2 (en) | Storage system | |
| JP4555029B2 (en) | Disk array device | |
| US7426588B2 (en) | Storage apparatus | |
| US20040158673A1 (en) | Disk storage system including a switch | |
| US7340551B2 (en) | Bridge permitting access by multiple hosts to a single ported storage drive | |
| JP2005202495A (en) | Data transfer method | |
| JP5712713B2 (en) | Control device, control method, and storage device | |
| US7143176B2 (en) | Data communication with a protocol that supports a given logical address range | |
| US20050262390A1 (en) | Method and apparatus for constructing redundant array of independent disks system using disk drives | |
| US20100082924A1 (en) | Storage controller having virtual volume | |
| KR20030091664A (en) | Storage system and storage subsystem | |
| JPH07281840A (en) | Dual-disk recording device | |
| US20090228672A1 (en) | Remote copy system and check method | |
| JP2007280422A (en) | Disk array device | |
| JP4433372B2 (en) | Data access system and method | |
| JP4874515B2 (en) | Storage system | |
| JP2003158526A (en) | Protocol controller and disk array system | |
| US6950905B2 (en) | Write posting memory interface with block-based read-ahead mechanism | |
| JP3411451B2 (en) | Disk array device | |
| JP2927287B1 (en) | Recording and playback device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050111 |
|
| A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20050531 |