JP2000187617A - ディスクアレイ装置におけるキャッシュメモリ管理方法 - Google Patents
ディスクアレイ装置におけるキャッシュメモリ管理方法Info
- Publication number
- JP2000187617A JP2000187617A JP10365287A JP36528798A JP2000187617A JP 2000187617 A JP2000187617 A JP 2000187617A JP 10365287 A JP10365287 A JP 10365287A JP 36528798 A JP36528798 A JP 36528798A JP 2000187617 A JP2000187617 A JP 2000187617A
- Authority
- JP
- Japan
- Prior art keywords
- cache
- cache memory
- director
- disk
- disk array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
- G06F12/0873—Mapping of cache memory to specific storage devices or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
- G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/31—Providing disk cache in a specific location of a storage system
- G06F2212/312—In storage controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
(57)【要約】
【課題】 複数のディレクタが同じタイミングでキャッ
シュメモリの管理領域にアクセスしようとした場合、排
他されることなく並列して処理を遂行するディスクアレ
イ装置におけるキャッシュメモリ管理方法を提供する。 【解決手段】 本発明のディスクアレイ装置におけるキ
ャッシュメモリ管理方法は、複数のパーティションに論
理的に分割されたディスクアレイ装置内臓のキャッシュ
メモリと、I/O処理を行う複数のディレクタ部と、複
数のディスクユニットを有し、すべてのディスクアレイ
装置の論理アドレスについて、論理アドレスがどのキャ
ッシュパーティションに属するかという振り分け法則を
一意に決めるキャッシュパーティション対応のキャッシ
ュ管理領域を有し、I/O処理でディレクタ部が、キャ
ッシュメモリを使用する際に、複数のパーティションの
振り分け法則に従ってキャッシュメモリをディレクタ部
に割り当てることを特徴とする。
シュメモリの管理領域にアクセスしようとした場合、排
他されることなく並列して処理を遂行するディスクアレ
イ装置におけるキャッシュメモリ管理方法を提供する。 【解決手段】 本発明のディスクアレイ装置におけるキ
ャッシュメモリ管理方法は、複数のパーティションに論
理的に分割されたディスクアレイ装置内臓のキャッシュ
メモリと、I/O処理を行う複数のディレクタ部と、複
数のディスクユニットを有し、すべてのディスクアレイ
装置の論理アドレスについて、論理アドレスがどのキャ
ッシュパーティションに属するかという振り分け法則を
一意に決めるキャッシュパーティション対応のキャッシ
ュ管理領域を有し、I/O処理でディレクタ部が、キャ
ッシュメモリを使用する際に、複数のパーティションの
振り分け法則に従ってキャッシュメモリをディレクタ部
に割り当てることを特徴とする。
Description
【0001】
【発明の属する技術分野】本発明は、ディスクアレイ装
置に関し、特にディスクアレイ装置におけるキャッシュ
メモリ管理方法に関する。
置に関し、特にディスクアレイ装置におけるキャッシュ
メモリ管理方法に関する。
【0002】
【従来の技術】ディスクアレイ装置では、スループット
向上のためにキャッシュメモリの搭載が不可欠になって
いる。ディスクアレイ装置の全容量の中で、アクセス頻
度の高い領域というのは限られているので、その部分の
データをキャッシュメモリ上にコピーしておくことによ
りホストコンピュータへの応答を速く行うことができ
る。
向上のためにキャッシュメモリの搭載が不可欠になって
いる。ディスクアレイ装置の全容量の中で、アクセス頻
度の高い領域というのは限られているので、その部分の
データをキャッシュメモリ上にコピーしておくことによ
りホストコンピュータへの応答を速く行うことができ
る。
【0003】また、RAID5方式のディスクアレイに
おいては、ライトペナルティと呼ばれる特有の処理によ
ってディスクアレイの性能損失を抑えることができる。
最近ではディスクアレイ装置の大容量化に伴い、スルー
プット維持のために、キャッシュメモリに関しても大容
量化している傾向にある。
おいては、ライトペナルティと呼ばれる特有の処理によ
ってディスクアレイの性能損失を抑えることができる。
最近ではディスクアレイ装置の大容量化に伴い、スルー
プット維持のために、キャッシュメモリに関しても大容
量化している傾向にある。
【0004】また、I/O処理を行うディレクタ部を複
数搭載するマルチディレクタにより負荷分散させる技術
がある。これにより複数のホストからのI/O要求をそ
れぞれのホストディレクタが並列に処理することができ
る。さらにディスクアレイ内の物理ディスクアクセス処
理を独立させ、ディスクディレクタが行うことにより、
ホスト・キャッシュ間の優先的なデータ転送処理と、キ
ャッシュ・ディスク間のバックグラウンド処理を非同期
に行うことができ、スループットの向上が得られる。
数搭載するマルチディレクタにより負荷分散させる技術
がある。これにより複数のホストからのI/O要求をそ
れぞれのホストディレクタが並列に処理することができ
る。さらにディスクアレイ内の物理ディスクアクセス処
理を独立させ、ディスクディレクタが行うことにより、
ホスト・キャッシュ間の優先的なデータ転送処理と、キ
ャッシュ・ディスク間のバックグラウンド処理を非同期
に行うことができ、スループットの向上が得られる。
【0005】また、図6に示すように、特開平8−11
5257号公報にディスクキャッシュメモリを複数のブ
ロックに分け、各ブロックに対応する書き込み回数管理
テーブルを配置して、ブロックの使用状況を把握して、
ディスクキャッシュのブロックへのアクセスを制御する
磁気ディスク制御装置が開示されている。
5257号公報にディスクキャッシュメモリを複数のブ
ロックに分け、各ブロックに対応する書き込み回数管理
テーブルを配置して、ブロックの使用状況を把握して、
ディスクキャッシュのブロックへのアクセスを制御する
磁気ディスク制御装置が開示されている。
【0006】
【発明が解決しようとする課題】しかし、マルチディレ
クタによりI/O処理の並列動作が可能になったが、キ
ャッシュメモリの管理領域を同時に扱えるディレクタは
一つに限られる。各ディレクタはキャッシュメモリを使
用するために、キャッシュメモリの検索、割り当て、排
他制御、追い出しなどの処理を行うが、キャッシュメモ
リ管理領域上のこれらの操作はディレクタ間で排他的に
行われる。したがって複数のディレクタが同じタイミン
グでキャッシュメモリの管理領域にアクセスしようとし
た場合、排他されたディレクタは処理が終わるのを待つ
必要がある。このため、ディレクタの数が増えてくる
と、キャッシュ管理領域上の競合が頻繁に起こり、マル
チディレクタの利点が十分に生かせない場合がある。
クタによりI/O処理の並列動作が可能になったが、キ
ャッシュメモリの管理領域を同時に扱えるディレクタは
一つに限られる。各ディレクタはキャッシュメモリを使
用するために、キャッシュメモリの検索、割り当て、排
他制御、追い出しなどの処理を行うが、キャッシュメモ
リ管理領域上のこれらの操作はディレクタ間で排他的に
行われる。したがって複数のディレクタが同じタイミン
グでキャッシュメモリの管理領域にアクセスしようとし
た場合、排他されたディレクタは処理が終わるのを待つ
必要がある。このため、ディレクタの数が増えてくる
と、キャッシュ管理領域上の競合が頻繁に起こり、マル
チディレクタの利点が十分に生かせない場合がある。
【0007】本発明の目的は、複数のディレクタが同じ
タイミングでキャッシュメモリの管理領域にアクセスし
ようとした場合、排他されることなく並列して処理を遂
行するディスクアレイ装置におけるキャッシュメモリ管
理方法を提供することである。
タイミングでキャッシュメモリの管理領域にアクセスし
ようとした場合、排他されることなく並列して処理を遂
行するディスクアレイ装置におけるキャッシュメモリ管
理方法を提供することである。
【0008】
【課題を解決するための手段】本発明のディスクアレイ
装置におけるキャッシュメモリ管理方法は、複数のパー
ティションに論理的に分割されたディスクアレイ装置内
臓のキャッシュメモリと、 I/O処理を行う複数のデ
ィレクタ部と、複数のディスクユニットを有するディス
クアレイ装置におけるキャッシュメモリ管理方法におい
て、すべてのディスクアレイ装置の論理アドレスについ
て、論理アドレスがどのキャッシュパーティションに属
するかという振り分け法則を一意に決めるキャッシュパ
ーティション対応のキャッシュ管理領域を有し、I/O
処理においてディレクタ部がキャッシュメモリを使用す
る際に、複数のパーティションの振り分け法則に従って
キャッシュメモリをディレクタ部に割り当てることを特
徴とする。
装置におけるキャッシュメモリ管理方法は、複数のパー
ティションに論理的に分割されたディスクアレイ装置内
臓のキャッシュメモリと、 I/O処理を行う複数のデ
ィレクタ部と、複数のディスクユニットを有するディス
クアレイ装置におけるキャッシュメモリ管理方法におい
て、すべてのディスクアレイ装置の論理アドレスについ
て、論理アドレスがどのキャッシュパーティションに属
するかという振り分け法則を一意に決めるキャッシュパ
ーティション対応のキャッシュ管理領域を有し、I/O
処理においてディレクタ部がキャッシュメモリを使用す
る際に、複数のパーティションの振り分け法則に従って
キャッシュメモリをディレクタ部に割り当てることを特
徴とする。
【0009】また、本発明のディスクアレイ装置におけ
るキャッシュメモリ管理方法は、複数のパーティション
に論理的に分割されたディスクアレイ装置内臓のキャッ
シュメモリと、ホストに接続され、I/O処理を行う複
数のディレクタ部と、複数のディスクユニットを有し、
複数のディレクタ部が同時にキャッシュメモリを使用す
る際に、ディレクタ部が操作するキャッシュ管理領域に
対応する論理アドレスが属するキャッシュパーティショ
ンが異なれば、並列にキャッシュ管理領域の操作を行う
ことを特徴とする。
るキャッシュメモリ管理方法は、複数のパーティション
に論理的に分割されたディスクアレイ装置内臓のキャッ
シュメモリと、ホストに接続され、I/O処理を行う複
数のディレクタ部と、複数のディスクユニットを有し、
複数のディレクタ部が同時にキャッシュメモリを使用す
る際に、ディレクタ部が操作するキャッシュ管理領域に
対応する論理アドレスが属するキャッシュパーティショ
ンが異なれば、並列にキャッシュ管理領域の操作を行う
ことを特徴とする。
【0010】また、本発明のディスクアレイ装置におけ
るキャッシュメモリ管理方法は、複数のパーティション
に論理的に分割されたディスクアレイ装置内臓のキャッ
シュメモリと、ホストに接続され、I/O処理を行うホ
ストディレクタ部と、複数のディスクユニットに接続さ
れI/O処理を行うディスクディレクタ部と、複数のデ
ィスクユニットを有し、ホストディレクタ部とディスク
ディレクタ部とが同時にキャッシュメモリを使用する際
に、キャッシュ管理領域に対応する論理アドレスが属す
るキャッシュパーティションが異なれば、並列にキャッ
シュ管理領域の操作を行うことを特徴とする。
るキャッシュメモリ管理方法は、複数のパーティション
に論理的に分割されたディスクアレイ装置内臓のキャッ
シュメモリと、ホストに接続され、I/O処理を行うホ
ストディレクタ部と、複数のディスクユニットに接続さ
れI/O処理を行うディスクディレクタ部と、複数のデ
ィスクユニットを有し、ホストディレクタ部とディスク
ディレクタ部とが同時にキャッシュメモリを使用する際
に、キャッシュ管理領域に対応する論理アドレスが属す
るキャッシュパーティションが異なれば、並列にキャッ
シュ管理領域の操作を行うことを特徴とする。
【0011】更に、本発明のディスクアレイ装置におけ
るキャッシュメモリ管理方法は、複数のパーティション
に論理的に分割されたディスクアレイ装置内臓のキャッ
シュメモリと、複数のホストに接続され、I/O処理を
行う複数のホストディレクタ部と、複数のディスクユニ
ットに接続されI/O処理を行う複数のホストディレク
タ部に対応するディスクディレクタ部と、複数のディス
クユニットを有し、複数のホストディレクタ部とディス
クディレクタ部とが同時にキャッシュメモリを使用する
際に、キャッシュ管理領域に対応する論理アドレスが属
するキャッシュパーティションが異なれば、並列にキャ
ッシュ管理領域の操作を行うことを特徴とする。
るキャッシュメモリ管理方法は、複数のパーティション
に論理的に分割されたディスクアレイ装置内臓のキャッ
シュメモリと、複数のホストに接続され、I/O処理を
行う複数のホストディレクタ部と、複数のディスクユニ
ットに接続されI/O処理を行う複数のホストディレク
タ部に対応するディスクディレクタ部と、複数のディス
クユニットを有し、複数のホストディレクタ部とディス
クディレクタ部とが同時にキャッシュメモリを使用する
際に、キャッシュ管理領域に対応する論理アドレスが属
するキャッシュパーティションが異なれば、並列にキャ
ッシュ管理領域の操作を行うことを特徴とする。
【0012】本発明によるディスクアレイ装置が持つキ
ャッシュメモリを、あらかじめ複数のパーティションに
論理的に分割しておく。また、すべての論理アドレスに
ついて、その論理アドレスがどのキャッシュパーティシ
ョンに属するかという振り分け法則を一意に決めてお
き、I/O処理においてキャッシュを使用する時には、
その振り分け法則に従ってキャッシュメモリを割り当て
るものとする。
ャッシュメモリを、あらかじめ複数のパーティションに
論理的に分割しておく。また、すべての論理アドレスに
ついて、その論理アドレスがどのキャッシュパーティシ
ョンに属するかという振り分け法則を一意に決めてお
き、I/O処理においてキャッシュを使用する時には、
その振り分け法則に従ってキャッシュメモリを割り当て
るものとする。
【0013】これにより、複数のディレクタが同時にキ
ャッシュメモリの管理領域を操作しようとした場合で
も、それぞれが扱う論理アドレスが属するキャッシュパ
ーティションが異なれば、並列に管理領域の操作を行う
ことができる。
ャッシュメモリの管理領域を操作しようとした場合で
も、それぞれが扱う論理アドレスが属するキャッシュパ
ーティションが異なれば、並列に管理領域の操作を行う
ことができる。
【0014】具体的には、図1においてキャッシュメモ
リ11は、3つのパーティションに分割されている。そ
れぞれのパーティションはキャッシュ管理領域とキャッ
シュ領域からなる。ディレクタ101がキャッシュ管理
領域111にアクセスしている時には、他のディレクタ
からのこの管理領域へのアクセスは禁止されるが、キャ
ッシュ管理領域112やキャッシュ管理領域113への
アクセスは禁止されない。よって、ディレクタ102は
キャッシュ管理領域112へのアクセスを並列して行う
ことができる。
リ11は、3つのパーティションに分割されている。そ
れぞれのパーティションはキャッシュ管理領域とキャッ
シュ領域からなる。ディレクタ101がキャッシュ管理
領域111にアクセスしている時には、他のディレクタ
からのこの管理領域へのアクセスは禁止されるが、キャ
ッシュ管理領域112やキャッシュ管理領域113への
アクセスは禁止されない。よって、ディレクタ102は
キャッシュ管理領域112へのアクセスを並列して行う
ことができる。
【0015】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して詳細に説明する。図1は本発明の基本
となるキャッシュメモリとディレクタの関係を示す図、
図2は本発明の第1の実施例の構成を示すブロック図で
ある。
て図面を参照して詳細に説明する。図1は本発明の基本
となるキャッシュメモリとディレクタの関係を示す図、
図2は本発明の第1の実施例の構成を示すブロック図で
ある。
【0016】図1において、キャッシュメモリ11は、
3つのパーティションに分割されている。それぞれのパ
ーティションはキャッシュ管理領域111〜113とキ
ャッシュ領域114〜116からなる。ディレクタ10
1がキャッシュ管理領域111にアクセスしている時に
は、他のディレクタからのこの管理領域111へのアク
セスは禁止されるが、キャッシュ管理領域112やキャ
ッシュ管理領域113へのアクセスは禁止されない。し
たがって、ディレクタ102はキャッシュ管理領域11
2へのアクセスを並列して行うことができる。
3つのパーティションに分割されている。それぞれのパ
ーティションはキャッシュ管理領域111〜113とキ
ャッシュ領域114〜116からなる。ディレクタ10
1がキャッシュ管理領域111にアクセスしている時に
は、他のディレクタからのこの管理領域111へのアク
セスは禁止されるが、キャッシュ管理領域112やキャ
ッシュ管理領域113へのアクセスは禁止されない。し
たがって、ディレクタ102はキャッシュ管理領域11
2へのアクセスを並列して行うことができる。
【0017】次に、本発明の第1の実施例の構成を図2
に示す。ディスクアレイ204は、3つのホストディレ
クタ211、212、213を介して3台のホスト20
1、202、203に接続されている。ディスクアレイ
204は、キャッシュメモリ22と、ホストディレクタ
211、212、213と、物理ディスクユニット22
5により構成されている。キャッシュメモリは、論理的
に3つのパーティション221、222、223に分割
されている。ぞれぞれのパーティションは管理領域22
11、2221、2231およびキャッシュ領域221
2、2222、2232からなる。
に示す。ディスクアレイ204は、3つのホストディレ
クタ211、212、213を介して3台のホスト20
1、202、203に接続されている。ディスクアレイ
204は、キャッシュメモリ22と、ホストディレクタ
211、212、213と、物理ディスクユニット22
5により構成されている。キャッシュメモリは、論理的
に3つのパーティション221、222、223に分割
されている。ぞれぞれのパーティションは管理領域22
11、2221、2231およびキャッシュ領域221
2、2222、2232からなる。
【0018】また、図3は論理アドレスとキャッシュパ
ーティションの対応を示している。ここでは論理ディス
ク0および論理ディスク3内の論理空間をキャッシュパ
ーティション0に振り分け、また、論理ディスク1をキ
ャッシュパーティション1、論理ディスク2をキャッシ
ュパーティション2に振り分けている。
ーティションの対応を示している。ここでは論理ディス
ク0および論理ディスク3内の論理空間をキャッシュパ
ーティション0に振り分け、また、論理ディスク1をキ
ャッシュパーティション1、論理ディスク2をキャッシ
ュパーティション2に振り分けている。
【0019】次に、第1の実施例の動作について説明す
る。まず、ホスト201から論理ディスク0へのアクセ
ス要求があったものとする。ホストディレクタ211は
図3に従ってキャッシュパーティション0を使用するた
めに、キャッシュ管理領域2211を操作する。この間
キャッシュ管理領域2211は排他制御され、他のディ
レクタからは操作できない。それとほぼ同時にホスト2
02から論理ディスク1へのアクセス要求があったもの
とする。するとホストディレクタ212はキャッシュパ
ーティション1を使用するために、キャッシュ管理領域
2221を操作する必要がある。このときキャッシュ管
理領域2221は排他制御されていないので、すぐに操
作することができる。
る。まず、ホスト201から論理ディスク0へのアクセ
ス要求があったものとする。ホストディレクタ211は
図3に従ってキャッシュパーティション0を使用するた
めに、キャッシュ管理領域2211を操作する。この間
キャッシュ管理領域2211は排他制御され、他のディ
レクタからは操作できない。それとほぼ同時にホスト2
02から論理ディスク1へのアクセス要求があったもの
とする。するとホストディレクタ212はキャッシュパ
ーティション1を使用するために、キャッシュ管理領域
2221を操作する必要がある。このときキャッシュ管
理領域2221は排他制御されていないので、すぐに操
作することができる。
【0020】次に、本発明の第2の実施例を図4に示
す。図によれば、ディスクアレイ404は、キャッシュ
メモリ41と、ホスト401に接続されるホストディレ
クタ411と、物理ディスクユニット425と、物理デ
ィスクユニット425に接続されるディスクディレクタ
421から構成されている。キャッシュメモリ41はキ
ャッシュパーティション421、422に分割され、そ
れぞれのキャッシュパーティション421、422は、
キャッシュ管理領域4211、4221と、キャッシュ
領域4212、4222を有している。
す。図によれば、ディスクアレイ404は、キャッシュ
メモリ41と、ホスト401に接続されるホストディレ
クタ411と、物理ディスクユニット425と、物理デ
ィスクユニット425に接続されるディスクディレクタ
421から構成されている。キャッシュメモリ41はキ
ャッシュパーティション421、422に分割され、そ
れぞれのキャッシュパーティション421、422は、
キャッシュ管理領域4211、4221と、キャッシュ
領域4212、4222を有している。
【0021】ここでのディスクアレイ404では、ホス
ト401との主にやりとりを行うホストディレクタ41
1と物理ディスクユニット425のアクセスを行うディ
スクディレクタ421が独立して処理できるようになっ
ている。
ト401との主にやりとりを行うホストディレクタ41
1と物理ディスクユニット425のアクセスを行うディ
スクディレクタ421が独立して処理できるようになっ
ている。
【0022】いま、ホスト401が複数のライト要求を
連続して発行しているものとする。ホストディレクタ4
11は論理アドレスによってキャッシュパーティション
421と422に振り分けてライトする。一方ディスク
ディレクタ421はキャッシュ上にライトされたデータ
を物理ディスクユニット425に書き込む処理を、ホス
トディレクタ421の動作と並列して行う。このとき、
両ディレクタ411、421がキャッシュ管理領域42
11、4221をほぼ同時にアクセスしようとしたとき
でも、パーティションが違えば同時に処理を行うことが
できるので、スループットの向上が得られる。
連続して発行しているものとする。ホストディレクタ4
11は論理アドレスによってキャッシュパーティション
421と422に振り分けてライトする。一方ディスク
ディレクタ421はキャッシュ上にライトされたデータ
を物理ディスクユニット425に書き込む処理を、ホス
トディレクタ421の動作と並列して行う。このとき、
両ディレクタ411、421がキャッシュ管理領域42
11、4221をほぼ同時にアクセスしようとしたとき
でも、パーティションが違えば同時に処理を行うことが
できるので、スループットの向上が得られる。
【0023】次に、本発明の第3の実施例の構成を図5
に示す。ディスクアレイ504は、3つのホストディレ
クタ511、512、513を介して3台のホスト50
1、502、503に接続されている。ディスクアレイ
504は、キャッシュメモリ51と、ホストディレクタ
511、512、513と、物理ディスクユニット52
5と、物理ディスクユニット525に接続されるディス
クディレクタ521、522、523から構成されてい
る。キャッシュメモリ51は、論理的に3つのパーティ
ション521、522、523に分割されている。ぞれ
ぞれのパーティションは管理領域5211、5221、
5231およびキャッシュ領域5212、5222、5
232からなる。
に示す。ディスクアレイ504は、3つのホストディレ
クタ511、512、513を介して3台のホスト50
1、502、503に接続されている。ディスクアレイ
504は、キャッシュメモリ51と、ホストディレクタ
511、512、513と、物理ディスクユニット52
5と、物理ディスクユニット525に接続されるディス
クディレクタ521、522、523から構成されてい
る。キャッシュメモリ51は、論理的に3つのパーティ
ション521、522、523に分割されている。ぞれ
ぞれのパーティションは管理領域5211、5221、
5231およびキャッシュ領域5212、5222、5
232からなる。
【0024】次に、第3の実施例の動作について説明す
る。まず、ホスト501から論理ディスク0へのアクセ
ス要求があったものとする。ホストディレクタ511は
図3に従ってキャッシュパーティション0を使用するた
めに、キャッシュ管理領域5211を操作する。この間
キャッシュ管理領域5211は排他制御され、他のディ
レクタからは操作できない。それとほぼ同時にホスト5
02から論理ディスク1へのアクセス要求があったもの
とする。するとホストディレクタ512はキャッシュパ
ーティション1を使用するために、キャッシュ管理領域
5221を操作する必要がある。このときキャッシュ管
理領域5221は排他制御されていないので、すぐに操
作することができる。
る。まず、ホスト501から論理ディスク0へのアクセ
ス要求があったものとする。ホストディレクタ511は
図3に従ってキャッシュパーティション0を使用するた
めに、キャッシュ管理領域5211を操作する。この間
キャッシュ管理領域5211は排他制御され、他のディ
レクタからは操作できない。それとほぼ同時にホスト5
02から論理ディスク1へのアクセス要求があったもの
とする。するとホストディレクタ512はキャッシュパ
ーティション1を使用するために、キャッシュ管理領域
5221を操作する必要がある。このときキャッシュ管
理領域5221は排他制御されていないので、すぐに操
作することができる。
【0025】また、ホスト501が複数のライト要求を
連続して発行しているものとする。ホストディレクタ5
11は論理アドレスによってキャッシュパーティション
521と522に振り分けてライトする。一方ディスク
ディレクタ521はキャッシュ上にライトされたデータ
を物理ディスクユニット525に書き込む処理を、ホス
トディレクタ521の動作と並列して行う。このとき、
両ディレクタ511、521がキャッシュ管理領域52
11、5221をほぼ同時にアクセスしようとしたとき
でも、パーティションが違えば同時に処理を行うことが
できる。
連続して発行しているものとする。ホストディレクタ5
11は論理アドレスによってキャッシュパーティション
521と522に振り分けてライトする。一方ディスク
ディレクタ521はキャッシュ上にライトされたデータ
を物理ディスクユニット525に書き込む処理を、ホス
トディレクタ521の動作と並列して行う。このとき、
両ディレクタ511、521がキャッシュ管理領域52
11、5221をほぼ同時にアクセスしようとしたとき
でも、パーティションが違えば同時に処理を行うことが
できる。
【0026】
【発明の効果】本発明によれば、以上に見られるよう
に、複数のホストからのI/O要求が、キャッシュ管理
領域の操作において競合せずに並列処理を行うことがで
きるため、スループットの向上が得られる効果がある。
なぜならば、複数のキャッシュパーティションが完全に
独立しているためであり、それぞれの管理領域を操作す
るときには、そのパーティションだけを排他制御するか
らである。
に、複数のホストからのI/O要求が、キャッシュ管理
領域の操作において競合せずに並列処理を行うことがで
きるため、スループットの向上が得られる効果がある。
なぜならば、複数のキャッシュパーティションが完全に
独立しているためであり、それぞれの管理領域を操作す
るときには、そのパーティションだけを排他制御するか
らである。
【図1】本発明の基本となるキャッシュメモリとディレ
クタの関係を示す図である。
クタの関係を示す図である。
【図2】本発明の第1の実施例の構成を示すブロック図
である。
である。
【図3】論理アドレスとキャッシュパーティションの対
応を示す図である。
応を示す図である。
【図4】本発明の第2の実施例の構成を示すブロック図
である。
である。
【図5】本発明の第3の実施例の構成を示すブロック図
である。
である。
【図6】従来例の構成を示すブロック図である。
11、21、41、51 キャッシュメモリ 101〜103 ディレクタ 111〜113、2211、2221、2231 キ
ャッシュ管理領域 114〜116、2212、2222、2232 キ
ャッシュ領域 201〜203、401、501、502、503
ホスト 204、404、504 ディスクアレイ 211〜213、411、511、512、513
ホストディレクタ 221〜223、421、422、521〜523
パーティション 225、425、525 物理ディスクユニット 421、521、522、523 ディスクディレク
タ 4211、4221、5211、5221、5231
キャッシュ管理領域 4212、4222、5212、5222、5232
キャッシュ領域
ャッシュ管理領域 114〜116、2212、2222、2232 キ
ャッシュ領域 201〜203、401、501、502、503
ホスト 204、404、504 ディスクアレイ 211〜213、411、511、512、513
ホストディレクタ 221〜223、421、422、521〜523
パーティション 225、425、525 物理ディスクユニット 421、521、522、523 ディスクディレク
タ 4211、4221、5211、5221、5231
キャッシュ管理領域 4212、4222、5212、5222、5232
キャッシュ領域
Claims (7)
- 【請求項1】 複数のパーティションに論理的に分割さ
れているキャッシュメモリと、I/O処理を行う複数の
ディレクタ部と、複数のディスクユニットを有するディ
スクアレイ装置におけるキャッシュメモリ管理方法にお
いて、 すべてのディスクアレイ装置の論理アドレスについて、
前記論理アドレスがどのキャッシュパーティションに属
するかという振り分け法則を一意に決めるキャッシュパ
ーティション対応のキャッシュ管理領域を有し、I/O
処理においてディレクタ部がキャッシュメモリを使用す
る際に、前記複数のパーティションの振り分け法則に従
ってキャッシュメモリをディレクタ部に割り当てること
を特徴とするディスクアレイ装置におけるキャッシュメ
モリ管理方法。 - 【請求項2】 複数のパーティションに論理的に分割さ
れているキャッシュメモリと、I/O処理を行う複数の
ディレクタ部と、複数のディスクユニットを有するディ
スクアレイ装置におけるキャッシュメモリ管理方法にお
いて、 すべてのディスクアレイ装置の論理アドレスについて、
前記論理アドレスがどのキャッシュパーティションに属
するかという振り分け法則を一意に決めるキャッシュパ
ーティション対応のキャッシュ管理領域が、ディレクタ
部のI/O処理でキャッシュメモリを使用する際に、前
記複数のパーティションの振り分け法則に従ってキャッ
シュメモリをディレクタ部に割り当てることを特徴とす
るディスクアレイ装置におけるキャッシュメモリ管理方
法。 - 【請求項3】 複数のパーティションに論理的に分割さ
れているキャッシュメモリと、ホストに接続され、I/
O処理を行う複数のディレクタ部と、複数のディスクユ
ニットを有するディスクアレイ装置におけるキャッシュ
メモリ管理方法において、 複数のディレクタ部が同時にキャッシュメモリを使用す
る際に、ディレクタ部が操作するキャッシュ管理領域に
対応する論理アドレスの属するキャッシュパーティショ
ンが異なれば、並列に前記キャッシュ管理領域の操作を
行うことを特徴とするディスクアレイ装置におけるキャ
ッシュメモリ管理方法。 - 【請求項4】 複数のパーティションに論理的に分割さ
れているキャッシュメモリと、ホストに接続され、I/
O処理を行うホストディレクタ部と、複数のディスクユ
ニットに接続されI/O処理を行うディスクディレクタ
部と、複数のディスクユニットを有するディスクアレイ
装置におけるキャッシュメモリ管理方法において、 前記ホストディレクタ部とディスクディレクタ部とが同
時にキャッシュメモリを使用する際に、キャッシュ管理
領域に対応する論理アドレスの属するキャッシュパーテ
ィションが異なれば、並列に前記キャッシュ管理領域の
操作を行うことを特徴とするディスクアレイ装置におけ
るキャッシュメモリ管理方法。 - 【請求項5】 複数のパーティションに論理的に分割さ
れているキャッシュメモリと、複数のホストに接続さ
れ、I/O処理を行う複数のホストディレクタ部と、複
数のディスクユニットに接続されI/O処理を行う前記
複数のホストディレクタ部に対応するディスクディレク
タ部と、複数のディスクユニットを有するディスクアレ
イ装置におけるキャッシュメモリ管理方法において、 複数の前記ホストディレクタ部とディスクディレクタ部
とが同時にキャッシュメモリを使用する際に、キャッシ
ュ管理領域に対応する論理アドレスの属するキャッシュ
パーティションが異なれば、並列に前記キャッシュ管理
領域の操作を行うことを特徴とするディスクアレイ装置
におけるキャッシュメモリ管理方法。 - 【請求項6】 前記キャッシュ管理領域に対応する論理
アドレスの属するキャッシュパーティションが、 複数の前記ディレクタ部が同時にキャッシュメモリを使
用する際に、同じであれば、優先順位により前記キャッ
シュ管理領域の操作が終了するまで待ちを設けることを
特徴とする請求項3記載のディスクアレイ装置における
キャッシュメモリ管理方法。 - 【請求項7】 前記キャッシュ管理領域に対応する論理
アドレスの属するキャッシュパーティションが、 複数の前記ホストディレクタ部とディスクディレクタ部
とが同時にキャッシュメモリを使用する際に、同じであ
れば、先に操作の前記キャッシュ管理領域の操作が終了
するまで待ちを設けることを特徴とする請求項4または
5記載のディスクアレイ装置におけるキャッシュメモリ
管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36528798A JP3358655B2 (ja) | 1998-12-22 | 1998-12-22 | ディスクアレイ装置におけるキャッシュメモリ管理方法 |
US09/460,979 US6347358B1 (en) | 1998-12-22 | 1999-12-15 | Disk control unit and disk control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36528798A JP3358655B2 (ja) | 1998-12-22 | 1998-12-22 | ディスクアレイ装置におけるキャッシュメモリ管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000187617A true JP2000187617A (ja) | 2000-07-04 |
JP3358655B2 JP3358655B2 (ja) | 2002-12-24 |
Family
ID=18483895
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36528798A Expired - Fee Related JP3358655B2 (ja) | 1998-12-22 | 1998-12-22 | ディスクアレイ装置におけるキャッシュメモリ管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6347358B1 (ja) |
JP (1) | JP3358655B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6845426B2 (en) | 2001-03-15 | 2005-01-18 | Nec Corporation | Disk cache control for servicing a plurality of hosts |
JP2006127398A (ja) * | 2004-11-01 | 2006-05-18 | Hitachi Ltd | ストレージシステム |
JP2006227688A (ja) * | 2005-02-15 | 2006-08-31 | Hitachi Ltd | ストレージシステム |
JP2007102762A (ja) * | 2005-10-05 | 2007-04-19 | Hitachi Ltd | 論理パーティション分割ストレージシステムに於けるリソース管理方法 |
KR100769867B1 (ko) * | 2005-03-18 | 2007-10-25 | 후지쯔 가부시끼가이샤 | 파티션 할당 방법 및 컴퓨터 시스템 |
JP2013504798A (ja) * | 2009-09-14 | 2013-02-07 | インターナショナル・ビジネス・マシーンズ・コーポレーション | キャッシュ保護 |
JP2013517537A (ja) * | 2010-04-21 | 2013-05-16 | 株式会社日立製作所 | ストレージシステム及びストレージシステムにおけるオーナ権制御方法 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6457102B1 (en) * | 1999-11-05 | 2002-09-24 | Emc Corporation | Cache using multiple LRU's |
EP1098249A1 (en) * | 1999-11-05 | 2001-05-09 | Emc Corporation | Segmenting cache to provide varying service levels |
US6775720B1 (en) * | 2000-04-04 | 2004-08-10 | Emc Corporation | Method and system for configuring a mass storage system for measuring system performance |
US6473758B1 (en) * | 2000-06-27 | 2002-10-29 | Intel Corporation | Method and apparatus for private and restricted-use electronic addresses |
US6678768B1 (en) * | 2000-10-06 | 2004-01-13 | International Business Machines Corporation | Method and apparatus for configuring redundant array of independent disks (RAID) |
US6968463B2 (en) * | 2001-01-17 | 2005-11-22 | Hewlett-Packard Development Company, L.P. | System for controlling access to resources in a storage area network |
US6725336B2 (en) * | 2001-04-20 | 2004-04-20 | Sun Microsystems, Inc. | Dynamically allocated cache memory for a multi-processor unit |
US6983292B1 (en) * | 2001-07-10 | 2006-01-03 | Sonic Solutions, Inc. | Method and apparatus for formatting and initialization of re-writable optical media |
US6848026B2 (en) * | 2001-11-09 | 2005-01-25 | International Business Machines Corporation | Caching memory contents into cache partitions based on memory locations |
US7177990B1 (en) * | 2002-05-21 | 2007-02-13 | Sonic Solutions | Automatic format of removable media |
JP4439798B2 (ja) | 2002-10-17 | 2010-03-24 | 株式会社日立製作所 | ディスクアレイ装置の制御方法、及びディスクアレイ装置 |
JP2005018185A (ja) * | 2003-06-24 | 2005-01-20 | Hitachi Ltd | 記憶装置システム |
JP4437650B2 (ja) * | 2003-08-25 | 2010-03-24 | 株式会社日立製作所 | ストレージシステム |
JP4257783B2 (ja) * | 2003-10-23 | 2009-04-22 | 株式会社日立製作所 | 論理分割可能な記憶装置及び記憶装置システム |
JP4141391B2 (ja) | 2004-02-05 | 2008-08-27 | 株式会社日立製作所 | ストレージサブシステム |
JP2005267008A (ja) | 2004-03-17 | 2005-09-29 | Hitachi Ltd | ストレージ管理方法およびストレージ管理システム |
JP2006079495A (ja) * | 2004-09-13 | 2006-03-23 | Hitachi Ltd | ストレージシステム及び論理区画の設定方法 |
US8312217B2 (en) * | 2008-12-30 | 2012-11-13 | Rasilient Systems, Inc. | Methods and systems for storing data blocks of multi-streams and multi-user applications |
US9003159B2 (en) * | 2009-10-05 | 2015-04-07 | Marvell World Trade Ltd. | Data caching in non-volatile memory |
JP5918906B2 (ja) * | 2012-12-28 | 2016-05-18 | 株式会社日立製作所 | ストレージ装置及びストレージ制御方法 |
CN108874304B (zh) * | 2018-03-30 | 2021-06-22 | 北京奇艺世纪科技有限公司 | 一种缓存***的规则配置方法和装置 |
US10698613B1 (en) * | 2019-04-19 | 2020-06-30 | EMC IP Holding Company LLC | Host processing of I/O operations |
US11151063B2 (en) | 2019-04-19 | 2021-10-19 | EMC IP Holding Company LLC | Host system directly connected to internal switching fabric of storage system |
US10740259B1 (en) * | 2019-04-19 | 2020-08-11 | EMC IP Holding Company LLC | Host mapping logical storage devices to physical storage devices |
US10698844B1 (en) | 2019-04-19 | 2020-06-30 | EMC IP Holding Company LLC | Intelligent external storage system interface |
US11500549B2 (en) | 2019-04-19 | 2022-11-15 | EMC IP Holding Company LLC | Secure host access to storage system resources via storage system interface and internal switching fabric |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0114944B1 (en) | 1982-12-28 | 1989-09-27 | International Business Machines Corporation | Method and apparatus for controlling a single physical cache memory to provide multiple virtual caches |
JP2523539B2 (ja) | 1986-11-04 | 1996-08-14 | 株式会社日立製作所 | 入出力処理方式 |
JPH0228851A (ja) | 1988-07-19 | 1990-01-30 | Fujitsu Ltd | ディスクキャッシュ制御方式 |
JP3308554B2 (ja) | 1991-02-20 | 2002-07-29 | 株式会社日立製作所 | 制御装置及び制御装置の制御方法 |
US5381539A (en) * | 1992-06-04 | 1995-01-10 | Emc Corporation | System and method for dynamically controlling cache management |
US5991775A (en) * | 1992-09-23 | 1999-11-23 | International Business Machines Corporation | Method and system for dynamic cache allocation between record and track entries |
JPH08115257A (ja) | 1994-10-18 | 1996-05-07 | Mitsubishi Electric Corp | 磁気ディスク制御装置 |
US5917723A (en) * | 1995-05-22 | 1999-06-29 | Lsi Logic Corporation | Method and apparatus for transferring data between two devices with reduced microprocessor overhead |
US6148368A (en) * | 1997-07-31 | 2000-11-14 | Lsi Logic Corporation | Method for accelerating disk array write operations using segmented cache memory and data logging |
US6381674B2 (en) * | 1997-09-30 | 2002-04-30 | Lsi Logic Corporation | Method and apparatus for providing centralized intelligent cache between multiple data controlling elements |
-
1998
- 1998-12-22 JP JP36528798A patent/JP3358655B2/ja not_active Expired - Fee Related
-
1999
- 1999-12-15 US US09/460,979 patent/US6347358B1/en not_active Expired - Lifetime
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6845426B2 (en) | 2001-03-15 | 2005-01-18 | Nec Corporation | Disk cache control for servicing a plurality of hosts |
JP2006127398A (ja) * | 2004-11-01 | 2006-05-18 | Hitachi Ltd | ストレージシステム |
JP4585276B2 (ja) * | 2004-11-01 | 2010-11-24 | 株式会社日立製作所 | ストレージシステム |
US7849278B2 (en) | 2004-11-01 | 2010-12-07 | Hitachi, Ltd | Logical partition conversion for migration between storage units |
JP2006227688A (ja) * | 2005-02-15 | 2006-08-31 | Hitachi Ltd | ストレージシステム |
US8612716B2 (en) | 2005-02-15 | 2013-12-17 | Hitachi, Ltd. | Storage system having partition size set in accordance with drive type |
US8832380B2 (en) | 2005-02-15 | 2014-09-09 | Hitachi, Ltd. | Storage system having cache partition size set based on drive type |
KR100769867B1 (ko) * | 2005-03-18 | 2007-10-25 | 후지쯔 가부시끼가이샤 | 파티션 할당 방법 및 컴퓨터 시스템 |
JP2007102762A (ja) * | 2005-10-05 | 2007-04-19 | Hitachi Ltd | 論理パーティション分割ストレージシステムに於けるリソース管理方法 |
JP2013504798A (ja) * | 2009-09-14 | 2013-02-07 | インターナショナル・ビジネス・マシーンズ・コーポレーション | キャッシュ保護 |
US8806133B2 (en) | 2009-09-14 | 2014-08-12 | International Business Machines Corporation | Protection against cache poisoning |
JP2013517537A (ja) * | 2010-04-21 | 2013-05-16 | 株式会社日立製作所 | ストレージシステム及びストレージシステムにおけるオーナ権制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3358655B2 (ja) | 2002-12-24 |
US6347358B1 (en) | 2002-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3358655B2 (ja) | ディスクアレイ装置におけるキャッシュメモリ管理方法 | |
US7421543B2 (en) | Network device, fiber channel switch, method for shared memory access control, and computer product | |
US20060020755A1 (en) | System and method for storage system | |
US20070079099A1 (en) | Data management method in storage pool and virtual volume in DKC | |
JP2003131946A (ja) | キャッシュメモリ制御装置及び方法 | |
JP2009520295A (ja) | 共有メモリバンクを有するマルチプロセッサ回路 | |
JPS5990281A (ja) | メモリ管理方式 | |
JPH07175698A (ja) | ファイルシステム | |
JPH04299440A (ja) | 共有レジスタ制御方式 | |
JP4036206B2 (ja) | セットアソシアティブキャッシュシステム及びキャッシュメモリの制御方法 | |
CN114610232A (zh) | 一种存储***、内存管理方法和管理节点 | |
JP4272275B2 (ja) | 記憶サブシステム | |
JP3690295B2 (ja) | ディスクアレイ制御装置 | |
JP3839655B2 (ja) | 変化するサービスレベルを提供するためのキャッシュのセグメント化 | |
US20040039875A1 (en) | Disk array device and virtual volume management method in disk array device | |
US20030014599A1 (en) | Method for providing a configurable primary mirror | |
JPH1195934A (ja) | 情報処理システムの制御方法 | |
JPH09223049A (ja) | ディスクアレイ装置 | |
JP2002182860A (ja) | ディスクアレイ装置 | |
EP4120087B1 (en) | Systems, methods, and devices for utilization aware memory allocation | |
JPH06110759A (ja) | ファイルシステム | |
US12008248B2 (en) | Systems, methods, and devices for utilization aware memory allocation | |
JP6900687B2 (ja) | ディスク制御装置、ディスク制御方法、および、ディスク制御プログラム | |
JPH04273548A (ja) | ディスク制御装置 | |
JPH075997A (ja) | ディスクアレイ装置の入出力制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071011 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081011 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091011 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091011 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101011 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |