JP3245001B2 - Data processing system and operation method thereof - Google Patents
Data processing system and operation method thereofInfo
- Publication number
- JP3245001B2 JP3245001B2 JP09043595A JP9043595A JP3245001B2 JP 3245001 B2 JP3245001 B2 JP 3245001B2 JP 09043595 A JP09043595 A JP 09043595A JP 9043595 A JP9043595 A JP 9043595A JP 3245001 B2 JP3245001 B2 JP 3245001B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- segment
- partition
- disk
- predetermined threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F2003/0697—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers device management, e.g. handlers, drivers, I/O schedulers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Debugging And Monitoring (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、一般的には大量記憶装
置を管理するための方法および装置に関し、より具体的
には大量記憶装置用のログ構造ファイル・システムに関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates generally to a method and apparatus for managing mass storage devices, and more particularly to a log-structured file system for mass storage devices.
【0002】[0002]
【従来の技術】ログ構造ファイル・システム(log-stru
ctured file system、以下、本明細書ではLSFSとい
う)については、"The Design and Implementation of
a Log-Structured File System"という論文(ACM Trans
actions on Computer Systems,Vol. 10, No. 1, 1992年
2月, pp. 26-52)においてM. RosenblumおよびJohn K.O
usterhoutによって説明されている。2. Description of the Related Art A log structure file system (log-stru
(LSFS in this specification) is described in “The Design and Implementation of
a Log-Structured File System "(ACM Trans
actions on Computer Systems, Vol. 10, No. 1, 1992
M. Rosenblum and John KO in February, pp. 26-52)
described by usterhout.
【0003】簡単に説明すると、LSFSとは、ディス
クに対して行ったすべての修正をログ状のファイル構造
に順次書き込む、ディスク記憶装置管理の技法である。
このログ状のファイル構造はディスク上にある唯一の構
造体で、ログから効率よくファイルを読み出せるように
索引情報が収容されている。[0003] Briefly, LSFS is a disk storage management technique that sequentially writes all modifications made to a disk into a log-like file structure.
This log-like file structure is the only structure on the disk and contains index information so that files can be efficiently read from the log.
【0004】LSFS手法の1つの特徴は、書込み処理
を高速化するために大規模な空き領域をディスク上に維
持している点である。この大規模な空き領域を維持する
ために、ログを複数のセグメントに分割し、セグメント
・クリーナを使用して過度に断片化したセグメントから
有効な情報を圧縮し、それにより今後の書込みに備えて
セグメントを解放する。One feature of the LSFS method is that a large free area is maintained on a disk in order to speed up the writing process. To maintain this large amount of free space, the log is split into multiple segments, and a segment cleaner is used to compress useful information from over-fragmented segments, thereby preparing for future writes. Release the segment.
【0005】LSFSの目的は、他のディスク管理技法
よりディスク帯域幅の使用率を増やすことでディスク書
込みの効率を改善することにある。つまり、ディスクに
対して小規模の書込みを数多く実行するのではなく、デ
ータを記憶サブシステムのキャッシュまたはバッファに
収集し、1回の大量入出力(ディスク書込み)操作でフ
ァイル・キャッシュをディスクに書き出すのである。し
かし、セグメントの物理的な書込みは、段階的に増量し
ながら続行することができる。[0005] The purpose of LSFS is to improve the efficiency of disk writing by increasing the utilization of disk bandwidth over other disk management techniques. That is, rather than performing many small writes to disk, data is collected in a cache or buffer in the storage subsystem and the file cache is written to disk in a single mass I / O (disk write) operation. It is. However, the physical writing of the segment can continue in incremental increments.
【0006】このようなLSFSを使用した結果、圧縮
/短縮したデータが複数のディスク位置に分散する恐れ
があり、そのため、シーク・アフィニティ(seek affin
ity)が低下し、応答時間が長くなるという問題が発生
する。[0006] As a result of using such LSFS, compressed / shortened data may be distributed to a plurality of disk locations, and therefore seek seek (seek affinity)
)) and the response time becomes longer.
【0007】LSFSの使用時には、「ガーベージコレ
クション」(GC)とも呼ばれるセグメント・クリーニ
ングに関するもう1つの問題が発生する。より具体的に
は、ディスクが一杯になればなるほど、GCのために必
要なディスク活動が増加し、それによりシステム要求に
対応するためにディスクを使用できる時間が減少する点
である。Another problem with segment cleaning, also called "garbage collection" (GC), occurs when using LSFS. More specifically, the more the disk is full, the more disk activity required for GC, thereby reducing the amount of time the disk can be used to meet system demands.
【0008】前述の論文で提案されている、空き空間管
理のための2つのメカニズムには、ログが活動ブロック
をスキップし、すでに削除または上書きが行われたファ
イル・ブロックを上書きするというスレッド化ログと、
ログの末尾にあるディスク・セクションを読み取って、
新しいデータとともにそのセクションの活動ブロックを
新たに生成した空間に再書込みすることでログ空間を生
成するという複写短縮技法の使用が含まれる。しかし、
どちらの手法でも、大量のディスク資源を管理機能に割
り振らなければならず、それによりディスク記憶サブシ
ステムのパフォーマンスが悪影響を受けてしまう。[0008] Two mechanisms for free space management proposed in the aforementioned article include threaded logging in which the log skips active blocks and overwrites file blocks that have already been deleted or overwritten. When,
Read the disk section at the end of the log,
Includes the use of copy shortening techniques to create log space by rewriting the section's active blocks with the new data to the newly created space. But,
Either approach requires a significant amount of disk resources to be allocated to management functions, which adversely affects the performance of the disk storage subsystem.
【0009】1枚の大型ディスク(単一大型高価格ディ
スクすなわちSLEDともいう)の代わりに、"A Case
for Redundant Arrays of Inexpensive Disks(RAID)"
という論文(ACM SIGMOD Conference, Chicago, IL, 19
88年6月1〜3日, pp.109-116)においてD.A.Patterson、
G.Gibson、およびR.H.Katzが説明している低価格ディス
クの冗長アレイ(RAID)を使用する方法も当技術分
野では既知の方法である。RAID手法の利点は、RA
IDを使用することでデータ処理装置のディスク・サブ
システムがプロセッサの速度やメイン・メモリの密度の
改良の連続に遅れずに対応できる点である。しかし、上
記の著者によれば、RAID記憶システムの平均故障時
間(MTTF)は1枚のディスクのMTTFをアレイ内
のディスクの総数で割ったもので示される。たとえば、
1つのアレイが1000枚のディスクで構成されている
場合、各ディスクのMTTFが30000時間であれ
ば、アレイのMTTFはわずか30時間になり、1日よ
り若干長い程度になる。このため、RAIDシステムで
考慮すべき重要な点は、エラー検出訂正情報、冗長情報
を収めたチェック・ディスク、クラッシュ回復技法を装
備することである。Instead of one large disk (also called a single large high-priced disk or SLED), the "A Case
for Redundant Arrays of Inexpensive Disks (RAID) "
(ACM SIGMOD Conference, Chicago, IL, 19
DAPatterson, June 1-3, 1988, pp. 109-116)
The method of using a redundant array of low cost disks (RAID) described by G. Gibson and RHKatz is also a method known in the art. The advantage of the RAID method is that RA
The use of the ID allows the disk subsystem of the data processing apparatus to keep up with the continuous improvement in the speed of the processor and the density of the main memory. However, according to the authors above, the mean time to failure (MTTF) of a RAID storage system is given by the MTTF of a single disk divided by the total number of disks in the array. For example,
If an array is composed of 1000 disks and the MTTF of each disk is 30,000 hours, the MTTF of the array is only 30 hours, which is slightly longer than one day. For this reason, an important consideration in a RAID system is to provide error detection and correction information, a check disk containing redundant information, and crash recovery techniques.
【0010】上記の論文では、5つのレベルのRAID
が論じられている。レベル1ではミラー・ディスク(デ
ータ・ディスクとチェック・ディスクの両方を含むすべ
てのディスクの完全冗長)を使用し、レベル2ではチェ
ック・ディスクの枚数を減らすためにエラー訂正情報用
のハミング・コードを使用し、レベル3ではデータ・デ
ィスク・グループごとに1枚のチェック・ディスクを使
用し、レベル4では個々の転送情報を単一ディスク装置
に収容して複数のディスクに分散しないようにした、独
立読取り/書込み操作を使用し、レベル5(RAID
5)ではデータとデータ保全性(パリティ)情報を、チ
ェック・ディスクを含むすべてのディスクに分散する。In the above paper, five levels of RAID
Is discussed. Level 1 uses mirror disks (full redundancy of all disks including both data disks and check disks). Level 2 uses hamming codes for error correction information to reduce the number of check disks. Level 3 uses one check disk for each data disk group, and Level 4 stores individual transfer information in a single disk unit so that it is not distributed to multiple disks. Use read / write operations and use level 5 (RAID
In 5), data and data integrity (parity) information are distributed to all disks including the check disk.
【0011】[0011]
【発明が解決しようとする課題】本発明の一目的は、大
量記憶装置で使用するための改良されたLSFSを提供
することにある。SUMMARY OF THE INVENTION It is an object of the present invention to provide an improved LSFS for use in mass storage.
【0012】本発明の他の目的は、RAID大量記憶シ
ステムを備えた改良されたLSFSを提供することにあ
る。It is another object of the present invention to provide an improved LSFS with a RAID mass storage system.
【0013】本発明の他の目的は、RAID3またはR
AID5大量記憶システムを備えた改良されたLSFS
を提供することにあり、このLSFSは、最大パフォー
マンスが得られるように管理されている活動区画と、最
大記憶容量が得られるように管理されている非活動区画
とを含む、複数の区画を有する。Another object of the present invention is to provide a RAID 3 or R
Improved LSFS with AID5 mass storage system
The LSFS has multiple partitions, including an active partition that is managed for maximum performance and an inactive partition that is managed for maximum storage capacity. .
【0014】本発明の他の目的は、RAIDタイプの大
量記憶システムを備えた改良されたLSFSを提供する
ことにあり、このLSFSは、LSFSとして管理され
ている活動区画と、アクセス方式が把握している物理的
なデータ位置で管理されている非活動区画とを含む、複
数の区画を有する。It is another object of the present invention to provide an improved LSFS with a RAID type mass storage system, wherein the LSFS knows the active partition managed as LSFS and the access method. A plurality of partitions, including an inactive partition managed by a physical data location.
【0015】[0015]
【課題を解決するための手段】上記およびその他の問題
の克服と、本発明の目的の実現は、データ処理装置、デ
ィスク・データ記憶サブシステム、およびディスク・マ
ネージャから成り、該ディスク・マネージャが下記のよ
うに構築されたデータ処理システムによって達成され
る。第一の発明においては、前記ディスク・マネージャ
が、(a)格納されるときにそれぞれが第一の所定のし
きい値を超えるアクセス活動値を有する複数の活動デー
タ単位で構成されたセグメントを格納するための第一の
区画と、格納されるときにそれぞれが第一の所定のしき
い値より小さいアクセス活動値を有する複数の非活動デ
ータ単位で構成されたセグメントを格納するための第二
の区画とを有するログ構造ファイル・システムとして、
前記ディスク・データ記憶サブシステムを管理する手段
と、(b)占有セグメントとクリア・セグメントを示す
セグメント・レコードであって、各占有セグメントごと
に、そのセグメントの構成要素である有効データ単位の
それぞれのアクセス活動値の組合せを表わす組合せ値を
含むセグメント・レコードを前記第一の区画内に保管す
るための手段と、を含むことを特徴とする。第二の発明
においては、前記ディスク・マネージャが、(a)格納
されるときにそれぞれが第一の所定のしきい値を超える
アクセス活動値を有する複数の活動データ単位で構成さ
れたセグメントを格納するための第一の区画をログ構造
ファイル・システムとして操作させるように前記ディス
ク・データ記憶サブシステムを管理する一方、(b)格
納されるときにそれぞれが第一の所定のしきい値より小
さいアクセス活動値を有する複数の非活動データ単位で
構成されたセグメントを格納するための第二の区画を非
ログ構造ファイル・システムとして操作させるように前
記データ記憶サブシステムをさらに管理する手段を含む
ことを特徴とする。さらに、本発明のディスク・マネー
ジャによりデータ処理サブシステムを操作する方法は、
ディスク・データ記憶システムを、第一の区画と第二の
区画を含む複数の区画に区分するステップと、格納され
るときにそれぞれが第一の所定のしきい値を超えるアク
セス活動値を有する複数の活動データ単位で構成された
セグメントを格納するためにログ構造ファイル・システ
ムとして少なくとも前記第一の区画を管理するステップ
と、格納されるときにそれぞれが前記第一の所定のしき
い値より小さいアクセス活動値を有する複数の非活動デ
ータ単位で構成されたセグメントを前記第二の区画内に
格納するステップと、ガーベージコレクション・プロセ
スを含む。SUMMARY OF THE INVENTION Overcoming the above and other problems, and realizing the objects of the present invention, comprises a data processor, a disk data storage subsystem, and a disk manager, the disk manager comprising: This is achieved by a data processing system constructed as follows. In the first invention, the disk manager stores (a) a segment composed of a plurality of active data units each having an access activity value exceeding a first predetermined threshold when stored. A first partition for storing a segment composed of a plurality of inactive data units each having an access activity value less than a first predetermined threshold when stored. As a log-structured file system with partitions
Means for managing the disk data storage subsystem; and (b) a segment record indicating an occupied segment and a clear segment, for each of the occupied segments, a valid data unit which is a constituent element of the segment. Means for storing a segment record including a combination value representing a combination of access activity values in the first partition. In the second invention, the disk manager stores (a) a segment composed of a plurality of active data units each having an access activity value exceeding a first predetermined threshold when stored. Managing the disk data storage subsystem to cause the first partition to operate as a log-structured file system while (b) each being smaller than a first predetermined threshold when stored. Means for further managing said data storage subsystem to cause a second partition for storing a segment composed of a plurality of inactive data units having access activity values to operate as a non-log structured file system. It is characterized. Further, a method of operating a data processing subsystem with the disk manager of the present invention comprises:
Partitioning the disk data storage system into a plurality of partitions including a first partition and a second partition; and storing a plurality of access activity values, each having an access activity value exceeding a first predetermined threshold when stored. Managing at least said first partitions as a log-structured file system for storing segments composed of a plurality of active data units, each of which is smaller than said first predetermined threshold when stored Storing a segment composed of a plurality of inactive data units having an access activity value in the second partition; and a garbage collection process.
【0016】一般にガーベージコレクションと呼ばれ
る、活動区画内にクリア・トラックを形成する方法で
は、占有セグメントとクリア・セグメントを示すセグメ
ント・レコードを第一の区画内に保管する。このセグメ
ント・レコードは、各占有セグメントごとに、そのセグ
メントの構成要素である各有効データ単位のアクセス活
動値の合計を表す合計値を含み、そのセグメントの構成
要素である有効データ単位の数を表す占有値をさらに含
む。ここで言及し、以下の本発明の説明で言及する合計
値は、単純合計または平均値のいずれでもよいことに留
意されたい。クリア・セグメントの数が所定の値より小
さいという条件に応じて、本方法は、(a)第一の区画
の占有セグメントにアクセスして第一の所定のしきい値
より小さい合計値を有するセグメントを突き止めるステ
ップと、(b)突き止められたセグメントの有効データ
単位のうち、第一の所定のしきい値より大きいアクセス
活動値を有する有効データ単位があれば、それを第一の
バッファに格納するステップと、(c)突き止められた
セグメントの有効データ単位のうち、第一の所定のしき
い値より小さいアクセス活動値を有する有効データ単位
があれば、それを第二のバッファに格納するステップと
を実行する。占有セグメントのすべてが、第一の所定の
しきい値より大きい合計値を有すると判別されたという
条件に応じて、本方法は、(d)第一の区画の占有セグ
メントにアクセスして第二の所定のしきい値より小さい
占有値を有するセグメントを突き止めるステップと、
(e)突き止められたセグメントの有効データ単位のう
ち、第一の所定のしきい値より大きいアクセス活動値を
有する有効データ単位があれば、それを第一のバッファ
に格納するステップと、(f)突き止められたセグメン
トの有効データ単位のうち、第一の所定のしきい値より
小さいアクセス活動値を有する有効データ単位があれ
ば、それを第二のバッファに格納するステップとを実行
する。In a method called garbage collection, in which a clear track is formed in an active partition, a segment record indicating an occupied segment and a clear segment is stored in a first partition. This segment record contains, for each occupied segment, a total value representing the sum of the access activity values of each valid data unit that is a component of the segment, and represents the number of valid data units that are a component of that segment. It further includes an occupancy value. It should be noted that the sums referred to herein and in the following description of the invention may be either simple sums or averages. Subject to the condition that the number of clear segments is less than a predetermined value, the method comprises the steps of: (a) accessing the occupied segment of the first partition and having a total value less than a first predetermined threshold; And (b) storing, in a first buffer, any valid data unit having an access activity value greater than a first predetermined threshold among valid data units of the located segment. (C) storing, in a second buffer, any valid data unit having an access activity value smaller than a first predetermined threshold value among valid data units of the located segment; Execute In response to the condition that all of the occupied segments have been determined to have a sum greater than a first predetermined threshold, the method includes: (d) accessing the occupied segments of the first partition and Locating segments having occupancy values less than a predetermined threshold of
(E) storing, in the first buffer, any valid data unit having an access activity value greater than a first predetermined threshold value among the valid data units of the located segment; (f) A) storing, in the second buffer, any valid data unit having an access activity value smaller than the first predetermined threshold value among the valid data units of the located segment.
【0017】本発明の好ましい実施例では、第一の区画
に格納されるセグメントは、少なくとも1枚のディスク
の少なくとも一方の表面上の物理的に隣接するトラック
に格納され、物理的に隣接するトラックは最初のトラッ
クから始まり、最初のトラックは前記表面上のすべての
トラックのほぼ中央に位置し、物理的に隣接する残りの
トラックは最初のトラックの両側に整列している。In a preferred embodiment of the present invention, the segments stored in the first partition are stored in physically adjacent tracks on at least one surface of at least one disk, and the physically adjacent tracks Starts with the first track, where the first track is approximately at the center of all tracks on the surface, and the remaining physically adjacent tracks are aligned on both sides of the first track.
【0018】本発明の上記およびその他の特徴は、添付
図面とともに本発明の詳細な説明を読めば、さらに明確
になる。The above and other features of the present invention will become more apparent when the detailed description of the invention is read in conjunction with the accompanying drawings.
【0019】[0019]
【実施例】図1のブロック図について説明するが、同図
は本発明により構築および操作されるデータ処理システ
ム10を示している。システム10はデータ処理装置1
2を含む。データ処理装置12には、データ経路12b
と、関連のディスク・データ記憶システム14が両方向
に結合されている。ディスク・データ記憶システム14
は、1つまたは複数のディスク装置で構成することがで
きる。たとえば、図示の実施例では、ディスク・データ
記憶システム14が第一のディスク装置14aと第二の
ディスク装置14bとで構成されている。各ディスク装
置は、それぞれが第一のデータ記憶面15aと第二のデ
ータ記憶面15bとを有する、1〜n枚の個別ディスク
で構成することができる。1 is a block diagram of a data processing system constructed and operated in accordance with the present invention; FIG. The system 10 is a data processing device 1
2 The data processing device 12 has a data path 12b
And the associated disk data storage system 14 are coupled in both directions. Disk data storage system 14
Can be configured with one or more disk devices. For example, in the illustrated embodiment, the disk data storage system 14 includes a first disk device 14a and a second disk device 14b. Each disk device can be composed of 1 to n individual disks, each having a first data storage surface 15a and a second data storage surface 15b.
【0020】本発明の好ましい実施例のディスク・デー
タ記憶システム14は、本明細書の従来の技術の項で参
照したPatterson、Gibson、Katzの
論文に記載されているRAID5システムに多少似てい
るRAIDシステムとして構成され、操作される。ただ
し、RAIDタイプのディスク・データ記憶システムを
使用することが本発明を実施する際に制限として解釈さ
れないことに留意されたい。The disk data storage system 14 of the preferred embodiment of the present invention is somewhat similar to the RAID 5 system described in the Patterson, Gibson, Katz article referred to in the Background section of this specification. Configured and operated as a system. Note, however, that the use of a RAID type disk data storage system is not to be construed as a limitation in practicing the present invention.
【0021】システム10は、本発明の教示により動作
するLSFSディスク制御装置またはマネージャ16を
さらに含む。ディスク・データ記憶システム14とLS
FSディスク・マネージャ16との間には、必要なディ
スク・デバイス・ドライバ18が結合されている。この
ドライバ18は、ディスク装置14aおよび14bの読
み書きを可能にするためにロー・レベルでディスク装置
と対話する。ドライバ18の機能を理解することと、本
発明を理解することとは、密接な関係があるわけではな
い。一例にすぎないが、ディスク14aおよび14bと
ドライバ18はいずれも、周知のSCSIバスなどのバ
ス18aによって接続することができる。System 10 further includes an LSFS disk controller or manager 16 that operates according to the teachings of the present invention. Disk data storage system 14 and LS
A required disk device driver 18 is connected to the FS disk manager 16. This driver 18 interacts with the disk drives at a low level to enable reading and writing of the disk drives 14a and 14b. Understanding the function of the driver 18 and understanding the present invention are not closely related. By way of example only, both disks 14a and 14b and driver 18 may be connected by a bus 18a, such as a well-known SCSI bus.
【0022】ディスク・マネージャ16は、関連のキャ
ッシュ・メモリ16bを含む。このキャッシュ・メモリ
16bは、不揮発性記憶装置(NVS)で構成すること
ができる。The disk manager 16 includes an associated cache memory 16b. The cache memory 16b can be constituted by a nonvolatile storage device (NVS).
【0023】LSFSディスク・マネージャ16には、
活動区画書込みバッファ20、ガーベージコレクション
(GC)読取りバッファ21、非活動区画書込みバッフ
ァ22、活動パラメータしきい値(APT)レジスタ2
4、占有パラメータしきい値(OPT)レジスタ26、
活動区画データ構造を格納するバッファ28、および非
活動区画データ構造を格納するバッファ30も結合され
ている。この説明で言及するバッファは、データが入っ
ているものもあれば、実際のデータの位置を指すポイン
タで構成されるものもある。構成要素20〜30は、以
下に詳しく説明するように本発明の教示によって使用さ
れる。データ構造28および30は、ディスク・データ
記憶システム14の区分をモデル化するもので、物理デ
ィスク14aおよび14bから分離した個別エンティテ
ィとして存在することはできない。データ構造28およ
び30のフォーマット例を図7に示すが、同図の占有フ
ィールドにはセグメント内の有効論理トラックの数が格
納され、活動フィールドにはそのセグメント内の有効論
理トラック活動値の合計が格納される。これらの値は、
後述するように、不要部分の整理時に使用される。LS
FSディスク・マネージャ16は、LSFSに関する論
理物理アクセス変換データを格納するためのメモリ16
aも含んでいる。メモリ16a内に格納されるデータの
フォーマット例は図8に示されている。The LSFS disk manager 16 includes:
Active Partition Write Buffer 20, Garbage Collection (GC) Read Buffer 21, Inactive Partition Write Buffer 22, Active Parameter Threshold (APT) Register 2
4. Occupancy parameter threshold (OPT) register 26,
A buffer 28 for storing the active partition data structure and a buffer 30 for storing the inactive partition data structure are also coupled. The buffers referred to in this description may contain data or may consist of pointers to actual data locations. Components 20-30 are used in accordance with the teachings of the present invention, as described in greater detail below. Data structures 28 and 30 model the partitions of disk data storage system 14 and cannot exist as separate entities separate from physical disks 14a and 14b. FIG. 7 shows an example of the format of the data structures 28 and 30. In FIG. 7, the occupation field stores the number of valid logical tracks in the segment, and the active field indicates the total of the valid logical track activity values in the segment. Is stored. These values are
As will be described later, it is used when organizing unnecessary parts. LS
The FS disk manager 16 has a memory 16 for storing logical-physical access conversion data related to LSFS.
a is also included. FIG. 8 shows an example of the format of data stored in the memory 16a.
【0024】始めに、本発明の各種要素を紹介するが、
詳細説明は後述する。First, various elements of the present invention will be introduced.
Details will be described later.
【0025】第一の要素は、各区画に格納されたデータ
の活動特性によって区別される複数ディスク区画の使用
に関係するものである。ここで使用するように、2区画
LSFS(活動と非活動)は複数区画LSFSの一例に
すぎない。The first factor involves the use of multiple disk partitions that are distinguished by the activity characteristics of the data stored in each partition. As used herein, a two-partition LSFS (active and inactive) is only one example of a multi-partition LSFS.
【0026】第二の要素は、ガーベージコレクション
(GC)の開始位置であり、すべての書込みが、できる
限り、その位置に接近して行われる書込み先である、デ
ィスクの目標位置(トラック00と呼ばれる)の使用に
関係するものである。The second element is the starting position of the garbage collection (GC), the target position of the disk (referred to as track 00), to which all writes are made as close as possible to that position. ).
【0027】第三の要素は、GCを実行する際にディス
ク・データ記憶システム14から読み出されるデータの
再配置の基準として、「論理アクセス単位活動」の使用
に関係するものである。活動とは、論理アクセス単位の
読み書きを同時にまたは個別に行う際の頻度を基準とし
た、その論理アクセス単位(論理単位と略称する)に関
連する相対的な数値である。また、図1にADP25と
して示した「活動減衰パラメータ」も論理単位活動に関
連するが、このパラメータは現行活動との相対重要度の
点で過去の活動に許される減衰比率を示すものである。
ADP25は、ディスク・データ記憶システム14に対
する要求の数を基準にする場合もあれば、発生時刻を基
準にする場合もある。このため、アクセスされていない
論理単位の活動値を下げるために、ディスク・データ記
憶システム14へのアクセスが行われるたびにADP2
5を使用するか、所定の時間内にアクセスされなかった
論理単位の活動値を下げるために、単位時間当たり1回
ずつADP25を使用することができる。いずれの場合
も、この活動値は、特定の論理単位に関連する読取り活
動または書込み活動の量(頻度)を反映したものにな
る。The third factor relates to the use of "logical access unit activity" as a basis for relocating data read from disk data storage system 14 when performing GC. The activity is a relative numerical value related to the logical access unit (abbreviated as a logical unit) based on the frequency of reading or writing of the logical access unit simultaneously or individually. The “activity decay parameter” shown as ADP 25 in FIG. 1 is also related to the logical unit activity, but this parameter indicates the decay ratio allowed for past activities in terms of relative importance to the current activity.
The ADP 25 may be based on the number of requests to the disk data storage system 14 or based on the time of occurrence. Thus, in order to reduce the activity value of a logical unit that has not been accessed, the ADP2 is accessed each time the disk data storage system 14 is accessed.
ADP 25 can be used once per unit time to reduce the activity value of a logical unit that has not been accessed within a predetermined period of time. In each case, the activity value reflects the amount (frequency) of read or write activity associated with a particular logical unit.
【0028】第四の要素は、一度にLSFSに書き込ま
れたRAIDパリティ・グループ・セグメントのうち、
ディスク・データ記憶システム14内に格納されている
ものについて、「占有パラメータ」を使用することに関
係する。図9にさらに明確に示されているように、パリ
ティ・グループ・セグメントは、1つのパリティ・グル
ープに属し、そのパリティ・グループを構築するそれぞ
れのディスク装置グループの物理トラック、たとえば、
物理トラック17に対応することができる。たとえば、
各ディスク・ドライブが8枚のディスクを有し、ドライ
ブごとのディスク面が合計16になるようなディスク・
ドライブが8台ある場合、128のディスク面のそれぞ
れにある同一番号の物理トラックにパリティ・グループ
・セグメントが1つずつ対応することができる。圧縮さ
れた書込みデータは、パリティ・グループ・セグメント
全体を一度に書き込めるようになるまでバッファされ、
それにより、ディスク・システムへのアクセス回数が削
減される。対応するパリティ情報も指定のチェック・デ
ィスク・ドライブに書き込まれるが、そのドライブは書
き込まれる各パリティ・グループ・セグメントごとに変
わる可能性がある。この場合、物理トラックと論理トラ
ックが区別されることに留意されたい。つまり、データ
圧縮が行われるため、1つの物理トラックがn個の論理
トラックで構成される場合がある。たとえば、平均圧縮
率が3であれば、各物理トラックに3つの論理トラック
を格納することができる。The fourth element is a RAID parity group segment written to the LSFS at one time.
For those stored in the disk data storage system 14, this involves using "occupancy parameters". As shown more clearly in FIG. 9, a parity group segment belongs to one parity group and a physical track of each disk device group constituting the parity group, for example,
It can correspond to the physical track 17. For example,
Each disk drive has eight disks, with a total of 16 disk surfaces per drive.
If there are eight drives, one parity group segment can correspond to the same numbered physical track on each of the 128 disk surfaces. The compressed write data is buffered until the entire parity group segment can be written at once,
Thereby, the number of accesses to the disk system is reduced. Corresponding parity information is also written to the designated check disk drive, which may change for each parity group segment written. Note that in this case a distinction is made between physical and logical tracks. That is, since data compression is performed, one physical track may be composed of n logical tracks. For example, if the average compression ratio is 3, three logical tracks can be stored in each physical track.
【0029】図9には、ディスク1セグメント列のイン
タリーブ深度がm+1個の物理トラックである場合が示
されている。この場合、L+1個の物理セクタからなる
エクステントとしてインタリーブ深度を指定できること
にも留意されたい。一般に、インタリーブ深度が1であ
ると、1つのパリティ・グループ・セグメントが1つの
物理トラックを占有し、インタリーブ深度が2である
と、1つのパリティ・グループ・セグメントが2つの物
理トラックを占有することを意味する。FIG. 9 shows a case where the interleave depth of one disk segment row is m + 1 physical tracks. Also note that in this case, the interleave depth can be specified as an extent consisting of L + 1 physical sectors. In general, if the interleave depth is 1, one parity group segment occupies one physical track, and if the interleave depth is 2, one parity group segment occupies two physical tracks. Means
【0030】占有パラメータは、固定データ・ブロック
(すなわち、パリティ・ブロック以外)のうち、パリテ
ィ・グループ・セグメント内の有効論理トラックが占有
している部分であると定義されている。The occupancy parameter is defined as the portion of the fixed data block (ie, other than the parity block) occupied by the valid logical track in the parity group segment.
【0031】第四の要素は、パリティ・グループ・セグ
メントを構成するすべての論理トラックの有効論理トラ
ック活動値の合計である「活動パラメータ」を使用する
ことに関係する。The fourth factor involves using an "activity parameter" which is the sum of the valid logical track activity values of all the logical tracks making up the parity group segment.
【0032】第五の関連要素は、活動パラメータおよび
占有パラメータとしてそれぞれAPT24およびOPT
26のしきい値を使用することに関係する。これらのし
きい値に達すると、関連のディスク管理活動が開始され
る。The fifth related element is APT 24 and OPT as activity and occupancy parameters, respectively.
It involves using 26 thresholds. When these thresholds are reached, the relevant disk management activities are started.
【0033】所与の時点で一部のデータが「終始活動状
態」であるのに対し、ディスク上のデータの大部分が1
5分または1日などの所定の期間に一度もアクセスされ
ない点が、多くのデータ処理アプリケーションの特徴の
1つであることに留意されたい。本発明では、データ活
動のこの不均衡を利点として使用している。より具体的
には、ディスク上の1つの区画(ここでは「活動」区画
という)を「活動」データの目標にする。「活動」デー
タとしての資格のないデータは、第二の区画である「非
活動」区画に置かれる。本発明の第一の実施例では、活
動区画と非活動区画の両方をLSFSとして管理する。At a given point in time, some data is "active all the time" while most of the data on disk is 1
Note that one of the characteristics of many data processing applications is that they are never accessed in a given time period, such as five minutes or one day. The present invention takes advantage of this imbalance in data activity. More specifically, one partition on the disk (herein referred to as the "active" partition) is targeted for "active" data. Data that does not qualify as "active" data is placed in a second partition, the "inactive" partition. In the first embodiment of the present invention, both active and inactive partitions are managed as LSFS.
【0034】本発明の第一の実施例によると、データを
このように区分したために、最適パフォーマンスが得ら
れるようにLSFSディスク・マネージャ16が活動デ
ータを管理できるようになる。活動データは通常、全デ
ィスク空間のごく一部に相当するので、パフォーマンス
を目的とした管理に付随してデータ記憶効率が低下して
も、その低下は許容できる程度のものである。非活動区
画は、最大記憶容量が得られるように管理することが好
ましい。非活動データに関連するディスク活動は全ディ
スク活動のごく一部に相当するので、記憶効率を目的と
した管理に付随してパフォーマンスが低下しても、その
低下は許容できる程度のものである。According to the first embodiment of the present invention, this partitioning of the data allows the LSFS disk manager 16 to manage the active data for optimal performance. Because the active data typically represents a small portion of the total disk space, any reduction in data storage efficiency associated with performance-oriented management is tolerable. Inactive partitions are preferably managed to provide maximum storage capacity. Since the disk activity associated with inactive data represents a small portion of the total disk activity, any performance degradation associated with storage efficiency management is tolerable.
【0035】「活動」データが「非活動」データへ転換
する比率ならびにその反対の転換の比率が、ディスク・
データ記憶システム14への総アクセス率より低けれ
ば、データを活動区画と非活動区画に区分する方が有利
である。これが該当するのは、各種のアプリケーション
を多数使用する場合であると思われる。The rate at which "active" data is converted to "inactive" data and vice versa is determined by the disk
If the rate of access to the data storage system 14 is lower than it is advantageous to partition the data into active and inactive partitions. This is likely to be the case when using many different applications.
【0036】図9のディスクNを示す図2に示されてい
るように、2区画LSFSでは、ディスク・ドライブ・
ユニット14aおよび14bのそれぞれの中央物理トラ
ックの中心に活動区画があると見なすことができる。物
理的にディスク・ドライブ・ユニット14a、14bの
「中央」にあるこのトラックは、活動区画の「目標」ト
ラックと呼ばれ、トラック番号00が割り当てられてい
る。つまり、物理シリンダ00〜zzを有するディスク
の場合、セグメント00のセグメント列Nは物理的には
物理シリンダ#zz/2に位置する。トラック番号01
(セグメント列N+1)は物理的に次のトラックであ
り、トラック番号02(セグメント列N+2)は物理的
に直前のトラックであり、ディスクの中央から外側に向
かって順に番号が付けられている。ディスク・マネージ
ャ16が「新規」または「更新済み」データの完全パリ
ティ幅セグメントをアセンブルすると、そのセグメント
にはデータの書込み先になる最低番号のクリア・トラッ
クが与えられる。このため、「新規」または「更新済
み」データは必ずディスク面15aおよび15bの物理
的中心にできるだけ接近して書き込まれる。非活動区画
の目標トラック(またはシリンダ列)は、その区画で最
低番号が付けられたトラックになる。この技法により、
非活動区画に関連するトラックは、各ディスク表面の内
周領域および外周領域に物理的に位置するが、この位置
では通常、シーク時間が長くなる。As shown in FIG. 2 showing disk N in FIG. 9, the two-partition LSFS has a disk drive
It can be considered that there is an active section at the center of the central physical track of each of the units 14a and 14b. This track, which is physically "center" of the disk drive units 14a, 14b, is called the "target" track of the active partition and is assigned the track number 00. That is, in the case of a disk having the physical cylinders 00 to zz, the segment row N of the segment 00 is physically located at the physical cylinder # zz / 2. Track number 01
(Segment row N + 1) is a physically next track, and track number 02 (segment row N + 2) is a physically immediately preceding track, which is numbered sequentially from the center to the outside of the disk. When the disk manager 16 assembles a full parity width segment of "new" or "updated" data, that segment is given the lowest numbered clear track to which data is written. Thus, "new" or "updated" data is always written as close as possible to the physical center of disk surfaces 15a and 15b. The target track (or cylinder row) of the inactive section will be the lowest numbered track in that section. With this technique,
Tracks associated with inactive partitions are physically located in the inner and outer perimeters of each disk surface, where seek times typically are longer.
【0037】書込みのために完全パリティ幅トラック
(セグメント)が解放されると、ディスク・マネージャ
16は、このトラックを置き換えるためにGCを開始す
る時期かどうか、ならびに何を基準にしてGC用のトラ
ックを選択すべきかについて判定を行う。活動区画デー
タ構造28に反映されるように、GCを開始するかどう
かは、「活動」区画内に残っているクリア・トラック
(セグメント)の数によって決まる。When a full parity width track (segment) is released for writing, the disk manager 16 determines whether it is time to start GC to replace this track, and on what basis the track for GC. Is determined as to whether or not to select. Whether to start GC, as reflected in the active partition data structure 28, depends on the number of clear tracks (segments) remaining in the "active" partition.
【0038】たとえば、活動区画内のトラック(セグメ
ント)の10%を「クリア」として書込みに備えること
が管理目標である場合、ならびに「クリア」トラックの
数がこのしきい値(CLRTRKthresh)未満に低下し
た場合、1つの「正味」トラックをクリアするためにG
Cが開始される。1つの「正味」トラックをクリアする
ということは、このように(GCバッファ21に)読み
込まれた有効データを再書込みする場合にGC処理によ
って1つの「正味」クリア・トラック(セグメント)が
得られるように、十分な数のトラックについてGC操作
を行わなければならないことを意味する。For example, if the management goal is to prepare for writing 10% of the tracks (segments) in the active partition as "clear", and that the number of "clear" tracks is below this threshold (CLRTRK thresh ) If dropped, G to clear one "net" track
C is started. Clearing one "net" track means that when the valid data thus read (to the GC buffer 21) is rewritten, one "net" clear track (segment) is obtained by the GC processing. This means that the GC operation must be performed on a sufficient number of tracks.
【0039】どのトラックについてGC操作(つまり、
これらのトラックの有効データをバッファに読み込むこ
と)を行うかは、活動区画に関する2つの基準によって
決まる。第一の基準は、上記の活動パラメータである全
トラック(セグメント)活動と、関連の活動パラメータ
しきい値24とを組み合わせたものである。For any track, the GC operation (that is,
Reading the valid data of these tracks into a buffer) depends on two criteria regarding the active partition. The first criterion is a combination of the above activity parameter, all track (segment) activity, and the associated activity parameter threshold 24.
【0040】図3の論理流れ図を参照すると、まず、ト
ラック00からトラック(セグメント)活動の探索が行
われる(ブロックA)。有効論理トラック活動(図7の
セグメント占有/活動テーブルに示すもの)の合計がA
PT24で指定した値未満になるような最初のトラック
(セグメント)についてGC操作が行われる(ブロック
B)。活動区画のサイズも積極的に管理されている場合
は、APT24によるトラック(セグメント)のGC操
作を行うと、活動区画のサイズがトラック(セグメン
ト)1つ分減少する。つまり、活動区画28の最後のト
ラック(セグメント)番号がnからn−1に減少する
(ブロックC)。このGC操作の結果、さらにトラック
のGS操作を行う必要があれば、後述のトラック占有し
きい値に応じてそのGC操作が行われる。Referring to the logic flow diagram of FIG. 3, a search is first made for track (segment) activity from track 00 (block A). The sum of active logical track activities (as shown in the segment occupancy / activity table of FIG. 7) is A
The GC operation is performed on the first track (segment) whose value is less than the value specified by PT24 (block B). When the size of the active partition is also actively managed, performing the GC operation on the track (segment) by the APT 24 reduces the size of the active partition by one track (segment). That is, the last track (segment) number of the active section 28 decreases from n to n-1 (block C). As a result of the GC operation, if it is necessary to further perform a GS operation on the track, the GC operation is performed according to a track occupancy threshold described later.
【0041】活動区画でGC操作の対象となるトラック
(セグメント)を選択する際に活動パラメータしきい値
未満のものが検出されない場合、または1つのトラック
(セグメント)についてすでにGC操作を行ったが、1
つの正味トラックを得るためにさらにトラック(セグメ
ント)のGC操作が必要である場合は、GC操作の対象
となる次のトラック(セグメント)を選択する際にOP
T26を使用する。占有値(図7のセグメント占有/活
動テーブルに示されているもの)がOPT26未満にな
っているトラック(セグメント)を探すために、もう一
度トラック(セグメント)番号00から探索が行われる
(ブロックD)。活動区画で該当するものが検出されな
いと、ブロックEで活動区画の最後のトラック(セグメ
ント)番号がnからn+1に増え(区画境界を積極的に
管理していると想定する)、トラック(セグメント)n
+1についてGC操作が行われる。クリーン空間の1つ
の正味トラックが得られるまで、後者の処理が繰り返さ
れる。When a track (segment) to be subjected to the GC operation in the active section is not detected when a track (segment) smaller than the activity parameter threshold is detected, or the GC operation has already been performed for one track (segment), 1
If it is necessary to further perform a GC operation on a track (segment) in order to obtain two net tracks, the OP is selected when the next track (segment) to be subjected to the GC operation is selected.
Use T26. A search is again performed from track (segment) number 00 to find a track (segment) whose occupancy value (shown in the segment occupancy / activity table of FIG. 7) is less than OPT 26 (block D). . If no match is found in the active partition, the last track (segment) number of the active partition is increased from n to n + 1 in block E (assuming that the partition boundary is actively managed), and the track (segment) is reached. n
The GC operation is performed for +1. The latter process is repeated until one net track in the clean space is obtained.
【0042】前述の通り、サイズ、トラック(セグメン
ト)活動、トラック(セグメント)占有の点について、
活動区画の管理が行われる。この処理によって、非活動
データが活動区画から除去されると同時に、最小占有率
がOPT26によってほぼ決まるようなトラック占有率
の分布が作成される。この分布を達成するために必要に
応じて活動区画のサイズが調整される。As described above, in terms of size, track (segment) activity, and track (segment) occupancy,
Active parcel management is performed. This process creates a distribution of track occupancy such that the minimum occupancy is largely determined by OPT 26, while inactive data is removed from the active partition. The size of the active area is adjusted as needed to achieve this distribution.
【0043】したがって、システム・ディスク要求の何
%がディスク・データ記憶システム14の活動区画への
アクセスを要求するものであるかは、APT24の値に
よって設定される。活動区画への書込みに関連するGC
オーバヘッドの量は、活動区画に関するOPT26の値
によって設定される。また、OPT26は、非活動区画
を基準にして活動区画のサイズを決定する主な要素でも
ある。所与の作業負荷のデータをこのように活動データ
と非活動データに分割すると、ディスク活動の大部分は
活動区画に物理的に隣接するトラックに集中し、その結
果、シーク・アフィニティによる応答時間パフォーマン
スが向上する。Thus, what percentage of the system disk requests are those that require access to the active partition of disk data storage system 14 is set by the value of APT 24. GC related to writing to active partition
The amount of overhead is set by the value of OPT 26 for the active partition. The OPT 26 is also a main element that determines the size of the active section based on the inactive section. Dividing the data for a given workload into active and inactive data in this way, most of the disk activity is concentrated on tracks that are physically adjacent to the active partition, resulting in response time performance due to seek affinity. Is improved.
【0044】これまで、ディスク・データ記憶システム
14に「新規」または「更新済み」データを書き込む活
動を中心に説明してきた。しかし、GC処理によって収
集してGCバッファ21に格納した有効データは、最終
的にディスクに再書込みしなければならない。この有効
データは、GC操作中に活動基準に応じて2つのGCバ
ッファ21aおよび21bにアセンブルされる。その活
動値がAPT24以上であるか未満であるかに応じて、
各圧縮単位が活動GCバッファ21aまたは非活動GC
バッファ21bに置かれる。この説明では、最小分割不
能データ単位のレベルでの分類処理を使用する。この分
類は、宛先区画を決定するために論理単位またはこれよ
りも大きい「近隣単位」の平均活動を使用することで論
理的な関連性を保つように実行することもできる。バッ
ファ21aおよび21bからの完全パリティ幅書込みが
蓄積されると、新規または更新書込みについて前述した
ように、その書込みが活動区画と非活動区画に書き込ま
れる。条件によっては、新規および更新書込みから活動
区画を宛先とするデータと、GC操作後のデータを組み
合わせた方が有利な場合もある。Thus far, the activity of writing "new" or "updated" data to the disk data storage system 14 has been described. However, the valid data collected by the GC processing and stored in the GC buffer 21 must be finally rewritten to the disk. This valid data is assembled into two GC buffers 21a and 21b according to the activity criteria during the GC operation. Depending on whether the activity value is above or below APT24,
Each compression unit is an active GC buffer 21a or an inactive GC
It is placed in the buffer 21b. In this description, a classification process at the level of the minimum indivisible data unit is used. This classification may also be performed to maintain logical relevance by using logical units or larger “neighbors” average activity to determine the destination partition. When a full parity width write from buffers 21a and 21b is accumulated, the write is written to the active and inactive partitions, as described above for a new or updated write. In some conditions, it may be advantageous to combine data destined for the active partition from new and updated writes with data after GC operations.
【0045】非活動GCバッファ21bから非活動ディ
スク区画にデータを書き込む処理は、非活動区画にデー
タを入力する唯一の手段である。非活動区画にデータを
書き込む際にトラックのクリアが必要であれば、このク
リア用のGCの目標は、非活動区画だけになる。このた
め、図1にOPTin27として示されている、非活動区
画に関する独立した占有しきい値パラメータを使用する
方が好ましい。一般に、非活動区画の有効記憶容量を改
善するには、OPTin27の値が、活動区画に関連する
OPT26の値より大きいことが好ましい。前に示した
ように、非活動区画はシステム10の記憶容量の大部分
に相当する。The process of writing data from the inactive GC buffer 21b to the inactive disk partition is the only means of inputting data to the inactive partition. If a track needs to be cleared when writing data to the inactive partition, the goal of this clearing GC is only the inactive partition. For this reason, it is preferable to use a separate occupancy threshold parameter for the inactive partition, shown as OPT in 27 in FIG. In general, to improve the effective storage capacity of the inactive partition, it is preferred that the value of OPT in 27 be greater than the value of OPT 26 associated with the active partition. As previously indicated, the inactive partitions represent the majority of the storage capacity of system 10.
【0046】これまで、(1)「新規」または「更新済
み」書込み、(2)GCによって収集された「活動」デ
ータ、および(3)GCによって収集された「非活動」
データに関するディスク・マネージャ16の操作につい
て説明してきた。ほとんどすべてのデータが同時に読取
りアクティブかつ書込みアクティブになっている場合、
上記3つの操作でディスク管理機能を十分包含すること
ができる。しかし、大量のデータについて読取り専用活
動が行われるような場合には、ここで「読取りアクティ
ブ」データと呼ぶもう1つのケースを考慮する方が有用
である。So far, (1) "new" or "updated" writes, (2) "active" data collected by GC, and (3) "inactive" data collected by GC.
The operation of the disk manager 16 for data has been described. If almost all data is read active and write active at the same time,
The above three operations can sufficiently include the disk management function. However, in cases where read-only activity is performed on large amounts of data, it is useful to consider another case, referred to herein as "read-active" data.
【0047】読取りアクティブ・データは、読取りミス
ヒット操作でキャッシュ16bにステージングされてか
ら更新(書込み)が行われずにキャッシュ16bに格納
されるデータ(「クリーン」キャッシュ項目)と見なさ
れる。読取りアクティブ・データというカテゴリの維持
は、キャッシュ・データ置換機構(図示せず)によって
キャッシュで置き換えられる前の任意の時点で、活動区
画と非活動区画との境界を決定する活動しきい値を基準
にしてその活動値が評価されることを意味する。図4の
論理流れ図に示すように、ディスク・データ記憶システ
ム14内の対応するデータが非活動区画にある場合(ブ
ロックA)、ならびにその活動値が活動区画のAPT2
4の値を超えている場合(ブロックB)には、「更新」
書込みのデステージと同じように「クリーン」キャッシ
ュ項目の破棄が処理される(ブロックC)。その結果、
そのデータが活動LSFSディスク区画に移動される。
ディスク上のデータがすでに活動区画に入っている場合
には、「クリーン」キャッシュ項目が従来通り破棄され
るだけで、ディスクには書き戻されない(ブロック
D)。Read active data is considered data that has been staged into cache 16b in a read mishit operation and is not updated (written) but is stored in cache 16b (a "clean" cache entry). Maintaining the category of read active data is based on an activity threshold that determines the boundary between active and inactive partitions at any point before being replaced by a cache by a cache data replacement mechanism (not shown). Means that the activity value is evaluated. As shown in the logic flow diagram of FIG. 4, if the corresponding data in disk data storage system 14 is in the inactive partition (block A), and its activity value is APT2 in the active partition.
If the value exceeds 4 (block B), "update"
The destruction of the "clean" cache entry is handled in the same way as destaging a write (block C). as a result,
The data is moved to the active LSFS disk partition.
If the data on disk is already in the active partition, the "clean" cache entry is simply discarded and not written back to disk (block D).
【0048】データ管理に「読取りアクティブ」カテゴ
リを使用するかどうかの判定は、作業負荷環境の機能の
1つである。この「読取りアクティブ」カテゴリを使用
すると、「大部分読取り」環境でのパフォーマンスを強
化することができる。しかし、「読取りアクティブ」カ
テゴリを使用することで、一部の読取りに書込み操作と
同じオーバヘッドが発生するようになる。その結果、場
合によっては、読取り専用データを活動ディスク区画に
配置転換する際に付随してディスク使用率が上昇する
が、その上昇に見合った応答時間利得が得られない場合
もある。Determining whether to use the "read active" category for data management is a function of the workload environment. The use of this "read active" category can enhance performance in a "mostly read" environment. However, using the "read active" category causes some reads to have the same overhead as write operations. As a result, in some cases, relocation of read-only data to an active disk partition may increase disk utilization, but may not provide response time gains commensurate with the increase.
【0049】これまでの本発明の説明では、LSFSを
管理する処理において活動データを物理的に分離するこ
とでシーク・アフィニティが強化されることを実証して
きた。しかし、この処理では、順次書き込まれた論理ト
ラックが実際に物理ディスク14aおよび14b上に順
次存在すると保証されているわけではないことに留意さ
れたい。この問題を部分的に解決する方法として、RA
ID5で使用されていることが分かっている1つの手順
がある。この手順では、キャッシュ16bからの書込み
デステージによって、同一論理シリンダまたは他の装置
上の他の書込みを探すためにキャッシュ16bの探索も
開始される。このため、同一論理装置上で保留中の他の
書込みがまとめてデステージされる。The foregoing description of the invention has demonstrated that seek affinity is enhanced by physically separating activity data in the process of managing LSFS. Note, however, that this process does not guarantee that the sequentially written logical tracks will actually be present sequentially on the physical disks 14a and 14b. To solve this problem partially, RA
There is one procedure known to be used in ID5. In this procedure, a write destage from cache 16b also initiates a search of cache 16b for another write on the same logical cylinder or another device. Therefore, other pending writes on the same logical device are collectively destaged.
【0050】本発明の他の態様によれば、上記の技法に
加え、キャッシュ・デステージの移動先である書込みバ
ッファ20が1つのパリティアレイ・トラック(セグメ
ント)の数倍の大きさになっている。書込みバッファ2
0がパリティアレイ・トラック(セグメント)の容量の
5倍などのトリガしきい値まで一杯になると、論理的順
次データを検出してそれをディスクに同期書込みしやす
くするために、バッファされた書込みデータ(図8を参
照)について論理装置別の分類と論理トラック別の順序
付けが行われる。つまり、最長順次シリーズが最初に書
き出されるのである。書込みバッファ20が拡張されて
いるため、圧縮した論理トラックを物理トラックに効率
よくパッキングしやすくなっている。According to another aspect of the present invention, in addition to the above technique, the write buffer 20 to which the cache destage is moved is several times as large as one parity array track (segment). I have. Write buffer 2
When 0 is full to a trigger threshold, such as five times the capacity of a parity array track (segment), the buffered write data is detected to detect logically sequential data and facilitate writing it synchronously to disk. (See FIG. 8), classification by logical device and ordering by logical track are performed. That is, the longest sequential series is written first. Since the write buffer 20 is expanded, it is easy to efficiently pack the compressed logical track into the physical track.
【0051】本発明の特徴の1つであるLSFS管理の
別の態様は、物理ディスクのアイドル時間を使用してデ
ータ管理を行うことである。前述の通り、書込み操作に
よって使用可能なクリア・トラックの数がCLRTRK
thresh値(たとえば、10%)未満に低下すると、GC
が開始される。この手法は、「要求駆動(demand drive
n)」GCと呼ばれることもある。Another aspect of LSFS management, which is one of the features of the present invention, is to perform data management using the idle time of a physical disk. As described above, the number of clear tracks that can be used by a write operation is CLRTRK.
When it falls below the thresh value (for example, 10%), GC
Is started. This technique is called "demand drive
n) "It is sometimes called GC.
【0052】本発明の他の態様では、全ディスク活動を
検査するためのユーティリティ・ルーチンを使用してい
る。パリティアレイ・グループ内の現在の活動が装置の
大半がアイドル状態またはその他の判定基準に達するよ
うなものであると判定されると、1つのパリティアレイ
・トラック(セグメント)のGCがアイドル・グループ
に待ち行列化される。ここではこれを「時間駆動」GC
という。アイドルしきい値の一例としては、1つのセグ
メントの物理記憶域を構成するディスクの半数またはそ
れ以上に未解決の実行すべき作業が存在しない場合が挙
げられる。この点については、応答が保留中かどうかを
把握しているので、装置が要求の対応に使用されている
かどうかをディスク・マネージャ16が把握する。時間
駆動モードのGC用に選択されたパリティアレイ・トラ
ック(セグメント)は、要求駆動モードと同じ基準で選
択されるが、トラック(セグメント)占有しきい値(O
PT26)を使用する場合、占有しきい値の上限(OP
Tup)29に達するまではGC用として最低占有トラッ
ク(セグメント)が選択される。占有しきい値の上限お
よび下限の値としては、たとえば、25%と75%など
がそれぞれ使用される。Another aspect of the present invention uses a utility routine to check all disk activity. If it is determined that the current activity in the parity array group is such that most of the devices are idle or other criteria are met, the GC for one parity array track (segment) is assigned to the idle group. Queued. Here, this is called "time driven" GC
That. An example of the idle threshold is when there is no outstanding work to be performed on half or more of the disks constituting the physical storage area of one segment. In this regard, the disk manager 16 knows whether the response is pending or not, so that the device is being used to service the request. The parity array track (segment) selected for the GC in the time drive mode is selected on the same basis as the required drive mode, but the track (segment) occupancy threshold (O
PT26), the upper limit of the occupancy threshold (OP
Until T up ) 29, the minimum occupied track (segment) is selected for GC. As the upper and lower limits of the occupancy threshold, for example, 25% and 75% are used, respectively.
【0053】要約すると、これまでに説明した本発明の
実施例では、RAID5パリティアレイ・ディスク記憶
システム上でログ構造ファイル・システムを管理するこ
とができ、応答時間パフォーマンスと有効記憶容量をか
なり独立して最適化することができる。これは、複数の
区画に対して独立した管理基準を使用することと、活動
区画および非活動区画のサイズの自己調整を可能にする
ようなパリティアレイ・セグメント活動、占有パラメー
タ、およびしきい値を特定して使用することで達成され
る。In summary, the embodiments of the present invention described so far allow for managing a log-structured file system on a RAID 5 parity array disk storage system, and provide a substantially independent response time performance and effective storage capacity. Can be optimized. This uses independent management criteria for multiple partitions and reduces parity array segment activity, occupancy parameters, and thresholds to allow self-adjustment of active and inactive partition sizes. It is achieved by specific use.
【0054】本発明の複数区画LSFSの第一の実施例
について説明してきたので、次に複数区画LSFSの第
二の実施例について説明する。第二の実施例では、第一
の活動区画が前述のように管理されるのに対し、第二の
非活動区画は非LSFS方式で管理される。この場合、
すべての物理データ位置をアクセス方式が把握してい
る。このような第二の実施例に至る動機の基礎となって
いるのはいくつかの観察結果である。Having described the first embodiment of the multi-section LSFS of the present invention, a second embodiment of the multi-section LSFS will now be described. In the second embodiment, the first active partition is managed as described above, while the second inactive partition is managed in a non-LSFS manner. in this case,
The access method knows all physical data locations. Several observations are the basis for the motivation for such a second embodiment.
【0055】第一に、レコードレベルのキャッシュ・ア
プリケーションでは、レコードよりも大きい「近隣」単
位レベルでデータの管理を行う必要がある場合、アクセ
ス資源やキャッシュ空間の点で効率が低下する恐れがあ
る。しかし、システム全体をレコード・レベルで管理す
る場合は、論理物理再配置テーブル・サイズ(図8)が
不経済なほど大きくなることが考えられる。First, in a record-level cache application, if data needs to be managed at a "neighbor" unit level larger than a record, efficiency may be reduced in terms of access resources and cache space. . However, when managing the entire system at the record level, the size of the logical-physical relocation table (FIG. 8) may become uneconomically large.
【0056】第二に、大型逐次アクセスの場合も、通常
は論理グループとしてアクセスされるデータが物理的に
ディスク上に分散していると、効率が低下する恐れがあ
る。Second, also in the case of large-scale sequential access, efficiency may decrease if data normally accessed as a logical group is physically distributed on a disk.
【0057】第三に、半導体記憶装置に論理物理配置デ
ィレクトリ(図8のメモリ16a)を保管するというこ
とは、キャッシュ16bのサイズと同程度の大型半導体
記憶装置が必要になることを意味する。このディレクト
リの一部だけを半導体メモリに保管し、残りをディスク
に保管することも可能であるが、ディレクトリの必要部
分をディスクから取り出す際に、パフォーマンスが犠牲
になる。Third, storing the logical and physical directory (the memory 16a in FIG. 8) in the semiconductor storage device means that a large-sized semiconductor storage device having the same size as the cache 16b is required. Although it is possible to store only part of this directory in semiconductor memory and the rest on disk, performance is sacrificed when removing the required parts of the directory from disk.
【0058】第四に、セグメント占有率が高くなると、
同所更新よりLSFSの効率が低下する恐れがある。Fourth, when the segment occupancy is high,
There is a possibility that the efficiency of the LSFS will be lower than the local update.
【0059】このような影響を克服し軽減するために、
本発明のこの態様では区分ログ構造ファイル・システム
も使用している。このファイル・システムでは、活動デ
ータを1つの区画28に保管し、非活動データをそれよ
りかなり大きいもう1つの区画30に保管するように両
方の区画が管理される。しかし、両方の区画をログ構造
ファイルとして管理するのではなく、活動区画28だけ
をログ構造ファイルとして管理し、大きい方の非活動区
画30は、すべての物理データ位置をアクセス方式が把
握している従来の方法で管理される。しかも、活動およ
び非活動を含むすべてデータには、非活動区画30での
ホーム位置が1つずつ割り振られている。実際には、非
活動区画30が圧縮データを含むRAID5アレイとし
て実施されている。この圧縮データのフォーマットは、
圧縮データのほとんどの更新と拡張部分を所定の場所に
収容できるように予備の空間を供給するための装備を含
むことが好ましい。To overcome and mitigate such effects,
This aspect of the invention also uses a partitioned log structure file system. In this file system, both partitions are managed such that active data is stored in one partition 28 and inactive data is stored in another partition 30 which is much larger. However, instead of managing both partitions as a log structure file, only the active partition 28 is managed as a log structure file, and the access method of the larger inactive partition 30 knows all physical data locations. Managed in a conventional manner. In addition, all the data including the activity and the inactivity are assigned one home position in the inactivity section 30 one by one. In practice, the inactive partition 30 is implemented as a RAID5 array containing compressed data. The format of this compressed data is
Preferably, equipment is provided to provide spare space so that most updates and expansions of the compressed data can be accommodated in place.
【0060】図5は、データを純粋LSFSとして管理
する場合と同所更新機能を備えたLSFSとして管理す
る場合の相対的な装置使用率を比較した結果を示してい
る。具体的に図5に示されているのは、装置当たり3.
7GBの物理記憶容量を備えた装置からなるRAID5
(7+P)アレイ上の2区分ログ構造ファイルから得ら
れた結果である。FIG. 5 shows the results of comparison of the relative device usage rates when data is managed as pure LSFS and when data is managed as LSFS with an in-place update function. Specifically shown in FIG.
RAID5 consisting of a device having a physical storage capacity of 7 GB
(7 + P) Results obtained from a two-section log structure file on the array.
【0061】ここで使用する不要部分の整理(GC)と
は、ログ構造ファイル方式によって更新され他の位置に
再書込みされる過程で大部分のデータが無効にされるよ
うに、トラック(セグメント)から疎有効データを読み
取ることを意味する。The garbage collection (GC) used here means a track (segment) such that most data is invalidated in the process of being updated by the log structure file method and rewritten to another location. Means reading sparse valid data from
【0062】より具体的には、図5は、要求率が4要求
/秒/GBで読取り/書込み比が3のときの、2区画ロ
グ構造RAID5(7+P)アレイの有効記憶容量と装
置使用率を示している。活動区画28でのGCの占有し
きい値は横座標に示されている。非活動区画30のGC
しきい値は80%であると想定する。図示の同所更新装
置の使用率はOPT26に関連するものではないが、2
区分ログ構造アレイで得られるものと同じ有効容量に相
当するものとして示されている。同図から、GCの占有
しきい値が低い値であるとログ構造アレイの装置使用率
が低下し、占有しきい値が高い値であると同所更新装置
使用率が低下することが分かるだろう。More specifically, FIG. 5 shows the effective storage capacity and device utilization of a two-partition log-structure RAID5 (7 + P) array when the request rate is 4 requests / sec / GB and the read / write ratio is 3. Is shown. The GC occupancy threshold in the active zone 28 is shown on the abscissa. GC of inactive section 30
Assume that the threshold is 80%. Although the usage rate of the illustrated local update apparatus is not related to OPT 26,
It is shown as corresponding to the same effective capacity as obtained with a partitioned log structure array. From the figure, it can be seen that a low value of the occupancy threshold of the GC decreases the device utilization of the log structure array, and a high value of the occupancy threshold decreases the utilization of the local update device. Would.
【0063】図5には、活動区画28でのGCの占有し
きい値を25%としてログ構造アレイ記憶システム14
を管理すると、正味装置使用率が0.47になることが
示されている。この数値には、第二の非活動区画でのG
Cの占有しきい値80%が含まれている。しかし、GC
の占有しきい値が80%の場合、同所更新方法を使用し
ていれば、非活動区画でのGCの効率が実際にはさらに
上昇した可能性があることに留意されたい。したがっ
て、活動区画28を完全ログ構造アレイとして管理し、
非活動区画30を圧縮データの同所更新アレイとして管
理する方法が、所与のアプリケーションへの装置使用率
を最小限にするために最適な方式であることは明らかで
ある。FIG. 5 shows the log-structured array storage system 14 with the GC occupancy threshold in the active partition 28 of 25%.
Is managed, the net device utilization rate becomes 0.47. This figure includes G in the second inactive area.
The occupancy threshold of C is 80%. However, GC
Note that if the occupancy threshold of is 80%, then the efficiency of the GC in the inactive partition may have actually increased further if the local update method was used. Therefore, the active partition 28 is managed as a complete log structure array,
Obviously, managing the inactive partition 30 as an in-place updated array of compressed data is the optimal way to minimize device utilization for a given application.
【0064】この管理方式による有効容量の意味すると
ころは、図6のグラフから予測することができる。ま
た、図6のような考慮事項から判断すると、図5につい
て示した操作ポイントの場合、このデータ管理方式を使
用したために、ディスク・データ記憶システム14の潜
在記憶域のほぼ25%が永続データの格納に使用できな
いことが分かる。潜在記憶域の75%を達成するには、
圧縮データ(75%)のすべてを取り、その圧縮データ
に第二の非活動区画30での固定記憶位置を与えればよ
いはずである。この場合、最初に割り振られたデータ・
エクステントが一杯になったときに再割振りしやすくす
るために、非活動区画の圧縮データ・フィールドにギャ
ップが残ると同時に、割振り分同士の間にもギャップが
残る。The meaning of the effective capacity according to this management method can be predicted from the graph of FIG. Also, judging from considerations such as FIG. 6, in the case of the operation point shown in FIG. 5, almost 25% of the potential storage area of the disk data storage system 14 uses permanent data because of the use of this data management method. It turns out that it cannot be used for storage. To achieve 75% of latent storage,
All of the compressed data (75%) would have to be taken and the compressed data would be given a fixed storage location in the second inactive partition 30. In this case, the first allocated data
To facilitate reallocation when the extent is full, a gap remains in the compressed data field of the inactive partition and a gap remains between the allocations.
【0065】一例として、第二の区画のデータ・フィー
ルドのギャップと割振り分同士の間のギャップのための
オーバヘッドによって、ディスクが一杯になったと見な
されたときにさらに10%の追加記憶空間が必要になる
と想定することができる。この場合、活動データ区画用
のログ構造ファイルとして管理可能なディスク空間の1
5%が残される。As an example, the overhead due to gaps in the data fields of the second partition and the gap between allocations requires an additional 10% additional storage space when the disk is considered full. Can be assumed. In this case, one of the disk spaces that can be managed as a log structure file for the active data partition.
5% remain.
【0066】より具体的には、図6は、2区画ログ構造
アレイ装置のトラック占有に関する概念図を示してい
る。非活動区画30は0〜77%のトラックを含み、活
動区画28は77〜90%のトラックを含み、90〜1
00%のトラックは両方の区画用のクリア・トラックと
して管理予約されている。同図によれば、活動区画28
がGC占有しきい値25%になるように管理され、非活
動区画30がしきい値80%になるように管理されてい
る。2つの曲線の下にある領域は、ディスク・データ記
憶システム14の有効記憶容量を表している。More specifically, FIG. 6 is a conceptual diagram relating to the track occupation of the two-partition log structure array device. Inactive section 30 includes 0-77% of trucks, active section 28 includes 77-90% of trucks, and 90-1
00% of the tracks are managed and reserved as clear tracks for both sections. According to FIG.
Are managed to have a GC occupancy threshold of 25%, and the inactive partition 30 is managed to have a threshold of 80%. The area under the two curves represents the effective storage capacity of the disk data storage system 14.
【0067】本発明のこの実施例の管理方式では、すべ
ての新規書込みおよび更新書込みと不要部分の整理によ
って回復された活動データを収集するために、活動区画
28を使用している。データが非活動になった場合に限
り、このデータを使用して第二の区画の固定位置データ
の更新が行われる。読取りアクティブ・データが活動区
画28に複写されると、ディスク上にはデータの有効コ
ピーが2つできあがる可能性がある。一般に、アドレス
指定されたデータが活動区画28で検出できない場合に
限り、第二の区画30へのアクセスが行われるはずであ
る(2通りの例外については後述する)。In the management scheme of this embodiment of the present invention, the active partition 28 is used to collect activity data recovered by all new and updated writes and garbage collection. Only when the data becomes inactive is this data used to update the fixed location data of the second parcel. When read active data is copied to the active partition 28, there may be two valid copies of the data on disk. In general, access to the second partition 30 should be made only if the addressed data cannot be detected in the active partition 28 (two exceptions are described below).
【0068】たとえば、スキップ順次方式でデータにア
クセスするためにデータベース・アプリケーションが必
要な場合、レコードレベルのキャッシュ・アプリケーシ
ョンが発生する。このようなアプリケーションの場合、
読取りモードと書込みモードのどちらでもディスク・マ
ネージャ16が第二の区画のデータに直接アクセスした
方が効率がよくなるのは明らかである。このため、レコ
ードレベルのアプリケーションは、(ディスク要求でレ
コードレベル・アクセス・ビットを使用するなどの方法
で)ディスク・マネージャ16に信号を出して第二の区
画に直接アクセスする必要があることを通知できること
が好ましい。当然のことながら、要求されたデータの一
部がキャッシュ16bまたは活動区画28に最新の形式
で存在する場合に、第二の区画30のデータではなく、
キャッシュ16bまたは活動区画28のデータがアクセ
スされるような装備がディスク・マネージャ16に用意
されている。For example, if a database application is needed to access data in a skip sequential manner, a record level cache application will occur. For such applications,
Obviously, it is more efficient for the disk manager 16 to directly access the data of the second partition in both the read mode and the write mode. Thus, the record-level application can signal the disk manager 16 (e.g., using a record-level access bit in a disk request) to signal that the second partition needs direct access. Is preferred. Of course, if some of the requested data is present in the cache 16b or active partition 28 in the most up-to-date format, and not the data in the second partition 30,
The disk manager 16 is provided with equipment so that data in the cache 16b or the active partition 28 can be accessed.
【0069】また、読取りモードと書込みモードのどち
らでも、第二の(非LSFS)区画30から直接アクセ
スする場合、大型データ・ブロックの逐次データ・アク
セスを行う方が効率がよいことも明らかである。この場
合、前述のレコードレベル・アプリケーションと同様に
信号線12cが使用される。It is also clear that in both the read mode and the write mode, when accessing directly from the second (non-LSFS) partition 30, it is more efficient to perform sequential data access of large data blocks. In this case, the signal line 12c is used as in the above-described record level application.
【0070】前述の第一の実施例の場合と同様、活動区
画のデータの近隣単位ごとにアクセス活動レコードが保
管される。これは、第一の活動区画28を複数区画ファ
イルのログ構造区画として適切に管理するのに必要であ
る。しかし、第二の区画30の近隣単位についても活動
レコードが保管される。活動区画28用に割り振られた
トラックに最も近い空間が大部分の活動データに対して
割り振られるように第二の区画30のデータの記憶レイ
アウトにこの活動レコードを使用し、それにより、第二
の区画へのシークのパフォーマンスを強化することがで
きる。As in the case of the first embodiment, the access activity record is stored for each neighboring unit of the data of the active partition. This is necessary to properly manage the first active partition 28 as a multi-partition file log structure partition. However, activity records are also stored for the neighboring units of the second section 30. This activity record is used in the storage layout of the data in the second partition 30 so that the space closest to the track allocated for the active partition 28 is allocated for most of the activity data, whereby the second The performance of seeking to a parcel can be enhanced.
【0071】本発明の第二の実施例には次のような固有
の利点がある。第一に、装置使用率の低下を達成でき
る。装置使用率が低下したため、応答時間の短縮または
ディスク容量の拡大あるいはその両方が達成される。第
二に、ディスクの「レイアウト・マップ」を格納するの
に必要なメモリ容量が削減される。つまり、LSFSと
して管理される第一の区画に格納される活動データが比
較的少量である場合だけ、トラックまたはレコード・レ
イアウトが必要になるため、メモリ16aのサイズを縮
小することができる。非活動データは、トラックなどの
非常に粗い細分性で表すことができる。第三に、論理的
に隣接するデータの物理的隣接性が比較的容易に維持さ
れ、第四に、活動データが増えてもシーク距離が短縮さ
れる。The second embodiment of the present invention has the following inherent advantages. First, a reduction in device utilization can be achieved. The reduced device utilization results in reduced response time and / or increased disk capacity. Second, the amount of memory required to store the "layout map" of the disk is reduced. That is, the track or record layout is required only when the activity data stored in the first section managed as the LSFS is relatively small, so that the size of the memory 16a can be reduced. Inactivity data can be represented by very coarse granularity, such as tracks. Third, the physical adjacency of logically adjacent data is relatively easily maintained, and fourth, the seek distance is reduced with increasing active data.
【0072】本発明の好ましい実施例に関連して具体的
に本発明を示し説明してきたが、当業者には、本発明の
範囲および精神を逸脱せずに形式および細部の変更が可
能であることが理解されるだろう。Although the present invention has been particularly shown and described with reference to preferred embodiments thereof, those skilled in the art will recognize that changes may be made in form and detail without departing from the scope and spirit of the invention. It will be understood.
【0073】まとめとして、本発明の構成に関して以下
の事項を開示する。In summary, the following items are disclosed regarding the configuration of the present invention.
【0074】(1)データ処理装置とディスク・データ
記憶サブシステムとを含むデータ処理システムにおい
て、前記データ処理装置から前記ディスク・データ記憶
サブシステムへのアクセスを制御するために前記ディス
ク・データ記憶サブシステムに結合されたディスク・マ
ネージャであって、格納されるときにそれぞれが第一の
所定のしきい値を超えるアクセス活動値を有する複数の
活動データ単位で構成されたセグメントを格納するため
の第一の区画と、格納されるときにそれぞれが第一の所
定のしきい値より小さいアクセス活動値を有する複数の
非活動データ単位で構成されたセグメントを格納するた
めの第二の区画とを有するログ構造ファイル・システム
として前記ディスク・データ記憶サブシステムを管理す
るディスク・マネージャを含む、データ処理システム。 (2)第一の区画内に格納されるセグメントが少なくと
も1枚のディスクの少なくとも一方の表面上の物理的に
隣接するトラックに格納され、物理的に隣接するトラッ
クが最初のトラックから始まり、最初のトラックが表面
上のすべてのトラックのほぼ中央に位置し、物理的に隣
接する残りのトラックが最初のトラックの両側に配列さ
れることを特徴とする、上記(1)に記載のデータ処理
システム。 (3)前記ディスク・マネージャが、第一の区画内の占
有セグメントとクリア・セグメントを示すセグメント・
レコードを保管するための手段をさらに含み、このセグ
メント・レコードが、各占有セグメントごとに、そのセ
グメントの構成要素である有効データ単位のそれぞれの
アクセス活動値の合計または平均値である組合せを表す
合計値を含み、クリア・セグメントの数が所定の値より
小さいという条件に応じて、第一の区画の占有セグメン
トにアクセスして第一の所定のしきい値より小さい組合
せ値を有するセグメントを突き止め、突き止められたセ
グメントの有効データ単位のうち、第一の所定のしきい
値より大きいアクセス活動値を有する有効データ単位が
あれば、それを第一のバッファに格納し、突き止められ
たセグメントの有効データ単位のうち、第一の所定のし
きい値より小さいアクセス活動値を有する有効データ単
位があれば、それを第二のバッファに格納するための手
段をさらに含むことを特徴とする、上記(1)に記載の
データ処理システム。 (4)セグメント・レコードが、各占有セグメントごと
に、そのセグメントの構成要素である有効データ単位の
数を表す占有値をさらに含み、前記ディスク・マネージ
ャが、第一の区画の占有セグメントにアクセスして第二
の所定のしきい値より小さい占有値を有するセグメント
を突き止め、突き止められたセグメントの有効データ単
位のうち、第一の所定のしきい値より大きいアクセス活
動値を有する有効データ単位があれば、それを第一のバ
ッファに格納し、突き止められたセグメントの有効デー
タ単位のうち、第一の所定のしきい値より小さいアクセ
ス活動値を有する有効データ単位があれば、それを第二
のバッファに格納するため、すべての占有セグメントが
第一の所定のしきい値より大きい組合せ値を有するとい
う条件に応答することを特徴とする、上記(3)に記載
のデータ処理システム。 (5)前記ディスク・マネージャが、第一のバッファか
らのデータ単位を第一の区画に書き込み、第二のバッフ
ァからのデータ単位を第二の区画に書き込むための手段
をさらに含むことを特徴とする、上記(4)に記載のデ
ータ処理システム。 (6)データ単位のそれぞれが、論理トラック1つ分の
圧縮データで構成されることを特徴とする、上記(4)
に記載のデータ処理システム。 (7)前記ディスク・マネージャが、アクセスされない
各データ単位ごとに活動アクセス値を定期的に減少させ
るための手段を含むことを特徴とする、上記(1)に記
載のデータ処理システム。 (8)前記データ処理装置と前記ディスク・マネージャ
との間に挿入されたデータ・キャッシュをさらに含み、
前記ディスク・マネージャが前記データ・キャッシュか
らのデータ単位のデステージに応答し、デステージされ
たデータ単位はデータ・キャッシュ内に格納されている
間に変更されておらず、デステージされたデータ単位が
第二の区画内のデータ単位に対応するかどうかを判定
し、該当する場合には、対応するデータ単位のアクセス
活動値が第一の所定のしきい値より大きいかどうかを判
定し、該当する場合には、デステージされたデータ単位
を第一の区画内に格納することを特徴とする、上記
(1)に記載のデータ処理システム。 (9)データ単位のそれぞれが1つの論理トラックで構
成され、前記データ処理装置と前記ディスク・マネージ
ャとの間に挿入されたデータ・キャッシュと、前記ディ
スク・データ記憶サブシステムに書き込まれる前に前記
データ・キャッシュからデステージされたデータを格納
するための書込みバッファとをさらに含み、前記書込み
バッファが1つのセグメントのサイズを超えるサイズを
有し、前記ディスク・マネージャが、少なくとも論理ト
ラック番号順に前記データ単位を順序づけるために前記
デステージされたデータ単位を前記書込みバッファに分
類するための手段を含むことを特徴とする、上記(1)
に記載のデータ処理システム。 (10)前記ディスク・マネージャが、第一の区画内の
占有セグメントとクリア・セグメントを示すセグメント
・レコードを保管するための手段をさらに含み、このセ
グメント・レコードが、各占有セグメントごとに、その
セグメントの構成要素である有効データ単位のそれぞれ
のアクセス活動値の組合せを表す組合せ値と、そのセグ
メントの構成要素である有効データ単位の数を表す占有
値とを含み、ディスクがアイドル状態であるという条件
に応じて、活動区画のどのセグメントが第一の所定のし
きい値より小さい最小組合せアクセス活動値(最小活動
セグメント)を有するかを判定し、最小活動セグメント
の有効データ単位のうち、第一の所定のしきい値より大
きいアクセス活動値を有する有効データ単位があれば、
それを第一のバッファに格納し、最小活動セグメントの
有効データ単位のうち、第一の所定のしきい値より小さ
いアクセス活動値を有する有効データ単位があれば、そ
れを第二のバッファに格納するための手段をさらに含
み、最小活動セグメントが第一の所定のしきい値より大
きい組合せ値を有する場合には、最小活動セグメントの
占有値が第二の所定のしきい値より小さいかどうかをま
ず判定し、該当する場合には、突き止められたセグメン
トの有効データ単位のうち、第一の所定のしきい値より
大きいアクセス活動値を有する有効データ単位があれ
ば、それを収集して(読み取って)第一のバッファに格
納し、突き止められたセグメントの有効データ単位のう
ち、第一の所定のしきい値より小さいアクセス活動値を
有する有効データ単位があれば、それを第二のバッファ
に格納することを特徴とする、上記(1)に記載のデー
タ処理システム。 (11)データ処理装置とディスク・データ記憶サブシ
ステムとを含むデータ処理システムにおいて、前記デー
タ処理装置から前記ディスク・データ記憶サブシステム
へのアクセスを制御するために前記ディスク・データ記
憶サブシステムに結合されたディスク・マネージャであ
って、格納されるときにそれぞれが第一の所定のしきい
値を超えるアクセス活動値を有する複数の活動データ単
位で構成されたセグメントを格納するためにログ構造フ
ァイル・システムとして操作される第一の区画を有する
ように前記ディスク・データ記憶サブシステムを管理
し、格納されるときにそれぞれが第一の所定のしきい値
より小さいアクセス活動値を有する複数の非活動データ
単位で構成されたセグメントを格納するために第二の区
画を有するように前記ディスク・データ記憶サブシステ
ムをさらに管理するディスク・マネージャを含み、第二
の区画がログ構造ファイル・システム以外のものとして
操作されることを特徴とする、データ処理システム。 (12)すべての活動データ単位とすべての非活動デー
タ単位に対し、第二の区画内の記憶位置が1つずつ割り
当てられることを特徴とする、上記(11)に記載のデ
ータ処理システム。 (13)前記ディスク・マネージャが、前記第一の区画
からではなく、前記第二の区画からデータ単位にアクセ
スするために、前記データ処理装置によって生成された
信号に応答することを特徴とする、上記(11)に記載
のデータ処理システム。 (14)更新済みデータ単位を第二の区画内の別の位置
に再書込みせずに、前記データ単位の更新とサイズ拡大
を可能にする未使用記憶位置を含めるために、前記非活
動データ単位が前記第二の区画内に格納されることを特
徴とする、上記(11)に記載のデータ処理システム。 (15)データ処理装置と、ディスク・データ記憶サブ
システムと、ディスク・マネージャとを含むデータ処理
サブシステムを操作する方法において、ディスク・デー
タ記憶システムを、第一の区画と第二の区画を含む複数
の区画に区分するステップと、格納されるときにそれぞ
れが第一の所定のしきい値を超えるアクセス活動値を有
する複数の活動データ単位で構成されたセグメントを格
納するためにログ構造ファイル・システムとして少なく
とも前記第一の区画を管理するステップと、格納される
ときにそれぞれが第一の所定のしきい値より小さいアク
セス活動値を有する複数の非活動データ単位で構成され
たセグメントを第二の区画内に格納するステップとを含
む方法。 (16)第一の区画内に格納されるセグメントが少なく
とも1枚のディスクの少なくとも一方の表面上の物理的
に隣接するトラックに格納され、物理的に隣接するトラ
ックが最初のトラックから始まり、最初のトラックが表
面上のすべてのトラックのほぼ中央に位置し、物理的に
隣接する残りのトラックが最初のトラックの両側に配列
されることを特徴とする、上記(15)に記載の方法。 (17)第一の区画内の占有セグメントとクリア・セグ
メントを示すセグメント・レコードを保管するステップ
であって、このセグメント・レコードが、各占有セグメ
ントごとに、そのセグメントの構成要素である有効デー
タ単位のそれぞれのアクセス活動値の組合せを表す組合
せ値を含み、そのセグメントの構成要素である有効デー
タ単位の数を表す占有値をさらに含むステップと、クリ
ア・セグメントの数が所定の値より小さいという条件に
応答するステップと、第一の区画の占有セグメントにア
クセスして第一の所定のしきい値より小さい合計値を有
するセグメントを突き止めるステップと、突き止められ
たセグメントの有効データ単位のうち、第一の所定のし
きい値より大きいアクセス活動値を有する有効データ単
位があれば、それを第一のバッファに格納するステップ
と、突き止められたセグメントの有効データ単位のう
ち、第一の所定のしきい値より小さいアクセス活動値を
有する有効データ単位があれば、それを第二のバッファ
に格納するステップと、占有セグメントのすべてが、第
一の所定のしきい値より大きい組合せ値を有すると判別
されたという条件に応答するステップと、第一の区画の
占有セグメントにアクセスして第二の所定のしきい値よ
り小さい占有値を有するセグメントを突き止めるステッ
プと、突き止められたセグメントの有効データ単位のう
ち、第一の所定のしきい値より大きいアクセス活動値を
有する有効データ単位があれば、それを第一のバッファ
に格納するステップと、突き止められたセグメントの有
効データ単位のうち、第一の所定のしきい値より小さい
アクセス活動値を有する有効データ単位があれば、それ
を第二のバッファに格納するステップとをさらに含むこ
とを特徴とする、上記(15)に記載の方法。 (18)第一のバッファからのデータ単位を第一の区画
に書き込むステップと、第二のバッファからのデータ単
位を第二の区画に書き込むステップとをさらに含むこと
を特徴とする、上記(17)に記載の方法。 (19)アクセスされない各データ単位ごとに活動アク
セス値を定期的に減少させるステップをさらに含むこと
を特徴とする、上記(15)に記載の方法。 (20)データ処理装置とディスク・マネージャとの間
に挿入されたデータ・キャッシュをさらに含み、データ
・キャッシュからのデータ単位のデステージに応答し、
デステージされたデータ単位はデータ・キャッシュ内に
格納されている間に変更されておらず、デステージされ
たデータ単位が第二の区画内のデータ単位に対応するか
どうかを判定し、該当する場合には、対応するデータ単
位のアクセス活動値が第一の所定のしきい値より大きい
かどうかを判定し、該当する場合には、デステージされ
たデータ単位を第一の区画内に格納するステップを実行
することを特徴とする、上記(15)に記載の方法。 (21)データ単位のそれぞれが1つの論理トラックで
構成され、データ処理装置とディスク・マネージャとの
間に挿入されたデータ・キャッシュと、ディスク・デー
タ記憶サブシステムに書き込まれる前にデータ・キャッ
シュからデステージされたデータを格納するための書込
みバッファとをさらに含み、前記書込みバッファが1つ
のセグメントのサイズを超えるサイズを有し、少なくと
も論理トラック番号順に前記データ単位を順序づけるた
めにデステージされたデータ単位を書込みバッファに分
類するステップをさらに含むことを特徴とする、上記
(15)に記載の方法。 (22)第一の区画内の占有セグメントとクリア・セグ
メントを示すセグメント・レコードを保管するステップ
であって、このセグメント・レコードが、各占有セグメ
ントごとに、そのセグメントの構成要素である有効デー
タ単位のそれぞれのアクセス活動値の組合せを表す組合
せ値を含み、そのセグメントの構成要素である有効デー
タ単位の数を表す占有値をさらに含むステップとディス
クがアイドル状態であると判定されたという条件に応答
するステップと、最小活動セグメントが第一の所定のし
きい値より小さい組合せ値を有するかどうかを判定する
ステップと、該当する場合には、収集されたセグメント
の有効データ単位のうち、第一の所定のしきい値より大
きいアクセス活動値を有する有効データ単位があれば、
それをディスクから読み取って第一のバッファに格納す
るステップと、アイドル・セグメントの有効データ単位
のうち、第一の所定のしきい値より小さいアクセス活動
値を有する有効データ単位があれば、それをディスクか
ら読み取って第二のバッファに格納するステップと、第
一の所定のしきい値より小さい組合せ値を有していない
最小活動セグメントに応答するステップと、最小活動セ
グメントが第二の所定のしきい値より小さい占有値を有
するかどうかを判定するステップと、該当する場合に
は、収集されたセグメントの有効データ単位のうち、第
一の所定のしきい値より大きいアクセス活動値を有する
有効データ単位があれば、それをディスクから読み取っ
て第一のバッファに格納するステップと、収集されたセ
グメントの有効データ単位のうち、第一の所定のしきい
値より小さいアクセス活動値を有する有効データ単位が
あれば、それをディスクから読み取って第二のバッファ
に格納するステップとをさらに含むことを特徴とする、
上記(15)に記載の方法。 (23)第二の区画がログ構造ファイル・システム以外
のものとして操作され、すべての活動データ単位とすべ
ての非活動データ単位に対し、第二の区画内の記憶位置
が1つずつ割り当てられることを特徴とする、上記(1
5)に記載の方法。 (24)第二の区画がログ構造ファイル・システム以外
のものとして操作され、データ処理装置によって生成さ
れたメッセージに応じて、前記第一の区画からではな
く、前記第二の区画からデータ単位にアクセスすること
を特徴とする、上記(15)に記載の方法。 (25)第二の区画がログ構造ファイル・システム以外
のものとして操作され、更新済みデータ単位を第二の区
画内の別の位置に再書込みせずに、データ単位の更新と
サイズ拡大を可能にする未使用記憶位置を含めるため
に、非活動データ単位が第二の区画内に格納されること
を特徴とする、上記(15)に記載の方法。(1) In a data processing system including a data processing device and a disk data storage subsystem, the disk data storage subsystem is used to control access from the data processing device to the disk data storage subsystem. A disk manager coupled to the system for storing a segment composed of a plurality of active data units each having an access activity value exceeding a first predetermined threshold when stored. One partition and a second partition for storing a segment composed of a plurality of inactive data units each having an access activity value less than a first predetermined threshold when stored. Disk management for managing the disk data storage subsystem as a log-structured file system Including the turbocharger, the data processing system. (2) The segments stored in the first partition are stored in physically adjacent tracks on at least one surface of at least one disk, and the physically adjacent tracks start from the first track, The data processing system according to (1), wherein the first track is located substantially at the center of all tracks on the surface, and the remaining physically adjacent tracks are arranged on both sides of the first track. . (3) The disk manager has a segment indicating an occupied segment and a clear segment in the first partition.
A means for storing a record, the segment record representing, for each occupied segment, a combination that is the sum or average of the respective access activity values of the valid data units that are components of that segment. Accessing the occupied segment of the first partition to locate a segment having a combined value less than a first predetermined threshold, provided that the number of clear segments is less than a predetermined value. If there is a valid data unit having an access activity value greater than a first predetermined threshold among the valid data units of the located segment, the valid data unit of the located segment is stored in the first buffer, and the valid data of the located segment is stored. If any of the units have valid data units with an access activity value less than the first predetermined threshold, And further comprising means for storing in the second buffer, the data processing system according to (1). (4) The segment record further includes, for each occupied segment, an occupancy value indicating the number of valid data units that are constituents of the segment, wherein the disk manager accesses the occupied segment of the first partition. A segment having an occupation value smaller than the second predetermined threshold value, and if there is a valid data unit having an access activity value larger than the first predetermined threshold value among the valid data units of the located segment, If the valid data unit of the located segment has a valid data unit having an access activity value smaller than the first predetermined threshold, the valid data unit of the determined segment is stored in the second buffer. Responds to the condition that all occupied segments have a combined value greater than a first predetermined threshold for buffering Wherein the bets, data processing system according to (3). (5) The disk manager further includes means for writing a data unit from a first buffer to a first partition and writing a data unit from a second buffer to a second partition. The data processing system according to the above (4). (6) The above (4), wherein each data unit is constituted by compressed data for one logical track.
2. A data processing system according to claim 1. (7) The data processing system according to (1), wherein the disk manager includes a unit for periodically reducing an active access value for each data unit that is not accessed. (8) further comprising a data cache inserted between the data processing device and the disk manager;
The disk manager responds to the destage of the data unit from the data cache, and the destaged data unit has not been modified while being stored in the data cache, and the destaged data unit has been changed. Determines whether the corresponding to the data unit in the second section, if applicable, determines whether the access activity value of the corresponding data unit is greater than a first predetermined threshold, If so, the data processing system according to (1), wherein the destaged data unit is stored in the first section. (9) each of the data units is composed of one logical track, and the data cache inserted between the data processing device and the disk manager and the data cache before being written to the disk data storage subsystem. A write buffer for storing data destaged from a data cache, the write buffer having a size greater than the size of one segment, wherein the disk manager is configured to store the data at least in logical track number order. (1) comprising means for classifying the destaged data unit into the write buffer in order to order the units.
2. A data processing system according to claim 1. (10) The disk manager further includes means for storing a segment record indicating the occupied segment and the clear segment in the first partition, wherein the segment record is, for each occupied segment, the segment record. A condition that the disk is idle, including a combination value indicating a combination of the respective access activity values of the effective data units which are the components of the segment, and an occupation value indicating the number of the effective data units which are the components of the segment. Determines which segment of the active partition has a minimum combined access activity value (minimum active segment) that is less than a first predetermined threshold, and determines a first one of the valid data units of the minimum active segment If any valid data unit has an access activity value greater than a predetermined threshold,
Storing it in the first buffer, and if there is a valid data unit having an access activity value smaller than the first predetermined threshold among valid data units of the minimum active segment, storing it in the second buffer; Means for determining whether an occupancy value of the minimum activity segment is less than a second predetermined threshold if the minimum activity segment has a combination value greater than a first predetermined threshold. First, if applicable, if there is a valid data unit having an access activity value larger than a first predetermined threshold among valid data units of the located segment, the valid data unit is collected (read). T) valid data units stored in the first buffer and having an access activity value smaller than a first predetermined threshold among valid data units of the located segment; If, characterized by storing it in the second buffer, the data processing system according to (1). (11) In a data processing system including a data processing device and a disk data storage subsystem, coupled to the disk data storage subsystem to control access from the data processing device to the disk data storage subsystem. A log structure file for storing a segment composed of a plurality of active data units each having an access activity value exceeding a first predetermined threshold when stored. Managing the disk data storage subsystem to have a first partition operating as a system, and a plurality of inactives each having an access activity value less than a first predetermined threshold when stored; Before having a second partition to store segments composed of data units Includes a disk manager further manages disk data storage subsystem, the second compartment is characterized in that it is operated as a non log-structured file system, the data processing system. (12) The data processing system according to (11), wherein one storage location in the second partition is assigned to every active data unit and every inactive data unit. (13) the disk manager is responsive to signals generated by the data processing device to access data units from the second partition, not from the first partition. The data processing system according to the above (11). (14) The inactive data unit to include an unused storage location that allows the data unit to be updated and expanded without rewriting the updated data unit to another location in the second partition. Is stored in the second section, the data processing system according to the above (11). (15) A method of operating a data processing subsystem including a data processing device, a disk data storage subsystem, and a disk manager, wherein the disk data storage system includes a first partition and a second partition. Partitioning into a plurality of partitions; and a log structure file for storing a segment composed of a plurality of activity data units each having an access activity value exceeding a first predetermined threshold when stored. Managing at least the first partition as a system, and storing a segment comprising a plurality of inactive data units each having an access activity value less than a first predetermined threshold when stored; Storing in a compartment of the vehicle. (16) The segments stored in the first partition are stored in physically adjacent tracks on at least one surface of at least one disk, and the physically adjacent tracks start from the first track, and (15), wherein the first track is located approximately at the center of all tracks on the surface, and the remaining physically adjacent tracks are arranged on both sides of the first track. (17) A step of storing a segment record indicating an occupied segment and a clear segment in the first partition, wherein the segment record is, for each occupied segment, a valid data unit which is a constituent element of the segment. And a condition that the number of clear segments is smaller than a predetermined value, further comprising a combination value representing a combination of the respective access activity values, and further including an occupancy value representing the number of valid data units that are components of the segment. , Accessing the occupied segment of the first partition to locate a segment having a total value less than a first predetermined threshold; and detecting a first one of the valid data units of the located segment. Any valid data unit with an access activity value greater than a predetermined threshold of Storing in a first buffer, if any valid data unit of the located segment has an access activity value smaller than a first predetermined threshold, the valid data unit is stored in a second buffer; Storing; responsive to a condition that all of the occupied segments have been determined to have a combined value greater than a first predetermined threshold; and Locating a segment having an occupancy value less than a predetermined threshold value, and if any valid data unit of the located segment has an access activity value greater than a first predetermined threshold value, Storing it in a first buffer; and a first predetermined function of valid data units of the located segment. If there is valid data units having a small access activity value than have value, characterized in that it further comprises the step of storing it in the second buffer, the method according to (15). (18) The method according to (17), further comprising a step of writing a data unit from the first buffer to the first partition and a step of writing a data unit from the second buffer to the second partition. ). (19) The method according to (15), further comprising a step of periodically reducing an activity access value for each data unit that is not accessed. (20) further comprising a data cache inserted between the data processing device and the disk manager, responsive to destage of data units from the data cache;
The destaged data unit has not been modified while being stored in the data cache, and it is determined whether the destaged data unit corresponds to the data unit in the second partition. Determining if the access activity value of the corresponding data unit is greater than a first predetermined threshold, and if so, storing the destaged data unit in the first partition; The method according to (15), wherein a step is performed. (21) Each data unit is composed of one logical track, from the data cache inserted between the data processing unit and the disk manager, and from the data cache before being written to the disk data storage subsystem. A write buffer for storing destaged data, wherein the write buffer has a size greater than the size of one segment and is destaged to order the data units at least in logical track number order. The method of claim 15, further comprising the step of classifying the data units into write buffers. (22) storing a segment record indicating an occupied segment and a clear segment in the first partition, wherein the segment record is, for each occupied segment, a valid data unit which is a constituent element of the segment; Responsive to the condition that the disk has been determined to be idle, including a combination value representing a combination of the respective access activity values of the above, and further including an occupancy value representing the number of valid data units that are components of the segment. Determining whether the minimum activity segment has a combination value less than a first predetermined threshold; and, if applicable, the first of the valid data units of the collected segment. If any valid data unit has an access activity value greater than a predetermined threshold,
Reading it from the disk and storing it in a first buffer; and, if there is a valid data unit of an idle segment having an access activity value smaller than a first predetermined threshold, if there is one. Reading from the disk and storing in a second buffer; responding to a least active segment having no combination value less than a first predetermined threshold; and Determining if the occupancy value is less than a threshold value, and if applicable, valid data having an access activity value greater than a first predetermined threshold among valid data units of the collected segment. Reading the unit, if any, from disk and storing it in the first buffer; and valid data for the collected segments. Of the unit, if there is valid data units having a small access activity value than the first predetermined threshold, characterized in that it further comprises a step of storing in the second buffer is read from the disk,
The method according to the above (15). (23) The second partition is operated as something other than a log-structured file system, and all active data units and all inactive data units are allocated one storage location in the second partition. (1)
The method according to 5). (24) The second partition is operated as something other than a log-structured file system, and is responsive to the message generated by the data processing device not from the first partition but from the second partition in data units. The method according to the above (15), which comprises accessing. (25) The second partition is operated as something other than a log-structured file system, and the data unit can be updated and expanded without rewriting the updated data unit to another location in the second partition. The method of claim 15, wherein inactive data units are stored in the second partition to include unused storage locations.
【0075】[0075]
【発明の効果】本発明の実施により、(1)大量記憶装
置で使用するための改良されたLSFS、(2)RAI
D大量記憶システムを備えた改良されたLSFS、
(3)最大パフォーマンスが得られるように管理されて
いる活動区画と、最大記憶容量が得られるように管理さ
れている非活動区画とを含む、複数の区画を有するよう
な、RAID3またはRAID5大量記憶システムを備
えた改良されたLSFS、および(4)LSFSとして
管理されている活動区画と、アクセス方式が把握してい
る物理的なデータ位置で管理されている非活動区画とを
含む、複数の区画を有するような、RAIDタイプの大
量記憶システムを備えた改良されたLSFSを提供する
ことができる。By implementing the present invention, (1) an improved LSFS for use in mass storage, and (2) an RAI.
Improved LSFS with D mass storage system,
(3) RAID3 or RAID5 mass storage with multiple partitions, including active partitions managed for maximum performance and inactive partitions managed for maximum storage capacity. A plurality of partitions, including an improved LSFS with the system, and (4) an active partition managed as an LSFS, and an inactive partition managed at a physical data location known to the access method. An improved LSFS with a RAID type mass storage system can be provided.
【図1】本発明により構築および操作されるデータ処理
システムを示すブロック図である。FIG. 1 is a block diagram illustrating a data processing system constructed and operated in accordance with the present invention.
【図2】ディスクの一部を示し、本発明のLSFS管理
システムの特徴であるトラック構成を示す図である。FIG. 2 is a diagram showing a part of a disk and showing a track configuration which is a feature of the LSFS management system of the present invention.
【図3】本発明の特徴である不要部分の整理方法を示す
論理流れ図である(図で「トラック」と言う場合、「セ
グメント」を意味するものと解釈してもよい)。FIG. 3 is a logical flow chart showing a method for arranging unnecessary portions, which is a feature of the present invention (when "track" is referred to in the figure, it may be interpreted to mean "segment").
【図4】クリーン・キャッシュ項目のデステージが行わ
れた場合に活動区画にデータを追加する方法を示す論理
流れ図である。FIG. 4 is a logic flow diagram illustrating a method for adding data to an active partition when a clean cache entry is destaged.
【図5】2区画純粋LSFS技法と現場更新機能を有す
るLSFSの装置使用率を示すグラフである。FIG. 5 is a graph showing device utilization of a two-partition pure LSFS technique and an LSFS having a field update function.
【図6】2区画LSFSアレイ装置のトラック占有を示
すグラフである。FIG. 6 is a graph showing track occupancy of a two-section LSFS array device.
【図7】セグメント占有/活動テーブルのフォーマット
を示す図である。FIG. 7 is a diagram showing a format of a segment occupancy / activity table.
【図8】論理物理トラック・ディレクトリのフォーマッ
トを示す図である。FIG. 8 is a diagram showing a format of a logical physical track directory.
【図9】RAID記憶システムのN枚のディスクに書き
込まれたセグメントを示し、さらに1枚のディスク内の
単一セグメント列のセクタを示す図である。FIG. 9 is a diagram showing segments written to N disks of the RAID storage system, and further showing a sector of a single segment row in one disk.
10 データ処理システム 12 データ処理装置 12b データ経路 14 ディスク・データ記憶システム 14a 第一のディスク装置 14b 第二のディスク装置 15a 第一のデータ記憶面 15b 第二のデータ記憶面 16 LSFSディスク制御装置またはマネージャ 16a メモリ 16b キャッシュ・メモリ 18 ディスク・デバイス・ドライバ 18a バス 20 活動区画書込みバッファ 21 ガーベージコレクション(GC)読取りバッファ 22 非活動区画書込みバッファ 24 活動パラメータしきい値(APT)レジスタ 26 占有パラメータしきい値(OPT)レジスタ 28 活動区画データ構造を格納するバッファ 30 非活動区画データ構造を格納するバッファ Reference Signs List 10 data processing system 12 data processing device 12b data path 14 disk data storage system 14a first disk device 14b second disk device 15a first data storage surface 15b second data storage surface 16 LSFS disk controller or manager 16a Memory 16b Cache Memory 18 Disk Device Driver 18a Bus 20 Active Partition Write Buffer 21 Garbage Collection (GC) Read Buffer 22 Inactive Partition Write Buffer 24 Active Parameter Threshold (APT) Register 26 Occupancy Parameter Threshold ( OPT) register 28 Buffer for storing the active partition data structure 30 Buffer for storing the inactive partition data structure
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G06F 12/08 G06F 12/08 W 320 320 (72)発明者 ケヴィン・エフ・スミス アメリカ合衆国95116−2819 カリフォ ルニア州サンノゼ ピーチ・コート 1323 (72)発明者 アーレ・オントン アメリカ合衆国95070 カリフォルニア 州サラトガ アロハ・アベニュー 14690 (72)発明者 チア=ホン・チェン アメリカ合衆国95070 カリフォルニア 州サラトガ グレンブライアー・ドライ ブ 2662 (56)参考文献 特開 平5−341917(JP,A) 米国特許5124987(US,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/06 G06F 11/34 G06F 12/00 G06F 12/02 G06F 12/08 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification FI G06F 12/08 G06F 12/08 W 320 320 (72) Inventor Kevin F. Smith United States 95116-2819 San Jose Peach Court, California 1323 (72) Aare Onton, United States 95070 Saratoga, California Aloha Avenue 14690 (72) Inventor Chia-Hon Chen, United States 95070 Saratoga, Glenn Briar Drive, California 2662 (56) References JP 5-341917 (JP, A) US Patent 5,249,872 (US, A) (58) Fields investigated (Int. Cl. 7 , DB name) G06F 3/06 G06F 11/34 G06F 12/00 G06F 12/02 G06F 12/08
Claims (14)
サブシステムと、前記データ処理装置から前記ディスク
・データ記憶サブシステムへのアクセスを制御するため
に前記ディスク・データ記憶サブシステムに結合された
ディスク・マネージャとを含むデータ処理システムにお
いて、 前記ディスク・マネージャが、 格納されるときにそれぞれが第一の所定のしきい値を超
えるアクセス活動値を有する複数の活動データ単位で構
成されたセグメントを格納するための、動的に可変サイ
ズの第一の区画と、格納されるときにそれぞれが前記第
一の所定のしきい値より小さいアクセス活動値を有する
複数の非活動データ単位で構成されたセグメントを格納
するための第二の区画とを有するログ構造ファイル・シ
ステムとして、前記ディスク・データ記憶サブシステム
を管理するための手段、 を含むデータ処理システム。1. A data processing device, a disk data storage subsystem, and a disk coupled to the disk data storage subsystem for controlling access from the data processing device to the disk data storage subsystem. A data processing system comprising: a disk manager storing, when stored, a segment composed of a plurality of active data units each having an access activity value exceeding a first predetermined threshold; Segment comprising a first partition of dynamically variable size and a plurality of inactive data units each having an access activity value that is less than said first predetermined threshold when stored. A log-structured file system having a second partition for storing A data processing system including means, for managing the data storage subsystem.
メントが、少なくとも1枚のディスクの少なくとも一方
の表面上においてデータ・バンドのほぼ中央に位置する
トラックを中心にしてその両側に配列された物理的に隣
接する複数トラックに格納されることを特徴とする、請
求項1に記載のデータ処理システム。2. A plurality of segments stored in said first compartment are arranged on at least one surface of at least one disk on opposite sides of a track substantially at the center of a data band. The data processing system according to claim 1, wherein the data is stored in a plurality of physically adjacent tracks.
ントとクリア・セグメントを示すセグメント・レコード
であって、各占有セグメントごとに、そのセグメントの
構成要素である有効データ単位のそれぞれのアクセス活
動値の組合せを表わす組合せ値を含むセグメント・レコ
ードを前記第一の区画内に保管するための手段をさらに
含み、前記クリア・セグメントの数が所定の値より小さ
いという条件に応答して、前記第一の区画の占有セグメ
ントにアクセスして第一の所定のしきい値より小さい前
記組合せ値を有するセグメントを突き止め、突き止めら
れたセグメントの構成要素である有効データ単位のう
ち、前記第一の所定のしきい値より大きいアクセス活動
値を有する有効データ単位があれば、それを第一のバッ
ファに格納し、突き止められたセグメントの有効データ
単位のうち、前記第一の所定のしきい値より小さいアク
セス活動値を有する有効データ単位があれば、それを第
二のバッファに格納するための手段を、さらに含むこと
を特徴とする、請求項1に記載のデータ処理システム。3. The disk manager is a segment record indicating an occupied segment and a clear segment, and for each occupied segment, a combination of an access activity value of each effective data unit which is a constituent element of the segment. Further comprising means for storing a segment record including a combination value representing the first segment in the first partition in response to a condition that the number of clear segments is less than a predetermined value. To determine the segment having the combination value smaller than the first predetermined threshold, and the first predetermined threshold of the valid data units that are constituents of the determined segment. If there is a valid data unit with a larger access activity value, it is stored in the first buffer and Means for storing in the second buffer any valid data unit having an access activity value smaller than the first predetermined threshold among the valid data units of the segment obtained. The data processing system according to claim 1, wherein:
メントごとに、そのセグメントの構成要素である有効デ
ータ単位の数を表す占有値をさらに含み、 前記ディスク・マネージャは、すべての占有セグメント
が前記第一の所定のしきい値より大きい組合せ値を有す
るという条件に応答して、前記第一の区画の占有セグメ
ントにアクセスして第二の所定のしきい値より小さい占
有値を有するセグメントを突き止め、突き止められたセ
グメントの有効データ単位のうち、前記第一の所定のし
きい値より大きいアクセス活動値を有する有効データ単
位があれば、それを前記第一のバッファに格納し、突き
止められたセグメントの有効データ単位のうち、前記第
一の所定のしきい値より小さいアクセス活動値を有する
有効データ単位があれば、それを第二のバッファに格納
するための手段をさらに含むことを特徴とする、請求項
3に記載のデータ処理システム。4. The segment record further includes, for each occupied segment, an occupancy value indicating the number of valid data units that are a component of that segment; Responsive to a condition having a combination value greater than one predetermined threshold, accessing the occupied segment of the first partition to locate a segment having an occupancy value less than a second predetermined threshold; If there is a valid data unit having an access activity value larger than the first predetermined threshold value among the valid data units of the located segment, the valid data unit is stored in the first buffer, and If there is a valid data unit having an access activity value smaller than the first predetermined threshold, 4. The data processing system according to claim 3, further comprising means for storing in the second buffer.
バッファからのデータ単位を活動区画である前記第一の
区画に書き込み、前記第二のバッファからのデータ単位
を被活動区画である第二の区画に書き込むための手段を
さらに含むことを特徴とする、請求項4に記載のデータ
処理システム。5. The disk manager writes data units from the first buffer to the first partition, the active partition, and writes data units from the second buffer to the second partition, the active partition. 5. The data processing system according to claim 4, further comprising means for writing to a partition of the data.
つ分の圧縮データで構成されることを特徴とする、請求
項4に記載のデータ処理システム。6. Each of the data units is a logical track 1
5. The data processing system according to claim 4, wherein the data processing system is composed of one compressed data.
れない各データ単位ごとに活動アクセス値を定期的に減
少させるための手段を含むことを特徴とする、請求項1
に記載のデータ処理システム。7. The disk manager according to claim 1, wherein said disk manager includes means for periodically reducing an active access value for each data unit not accessed.
2. A data processing system according to claim 1.
装置と前記ディスク・マネージャとの間に挿入されたデ
ータ・キャッシュをさらに含み、 前記ディスク・マネージャが、前記データ・キャッシュ
からのデータ単位のデステージに応答し、デステージさ
れたデータ単位はデータ・キャッシュ内に格納されてい
る間に変更されておらず、デステージされたデータ単位
が前記第二の区画内のデータ単位に対応するかどうかを
判定し、該当する場合には、対応するデータ単位のアク
セス活動値が前記第一の所定のしきい値より大きいかど
うかを判定し、該当する場合には、デステージされたデ
ータ単位を前記第一の区画内に格納するための手段をさ
らに含むことを特徴とする、請求項1に記載のデータ処
理システム。8. The data processing system further includes a data cache inserted between the data processing device and the disk manager, wherein the disk manager destages data units from the data cache. Responding to the request to determine whether the destaged data unit has not changed while stored in the data cache and whether the destaged data unit corresponds to a data unit in the second partition. Determining, if applicable, determining whether the access activity value of the corresponding data unit is greater than the first predetermined threshold, and if applicable, destaging the data unit The data processing system according to claim 1, further comprising means for storing in a partition.
理装置と前記ディスク・マネージャとの間に挿入された
データ・キャッシュと、前記ディスク・データ記憶サブ
システムに書き込まれる前に前記データ・キャッシュか
らデステージされ論理トラック単位から成るデータ単位
を格納するための書込みバッファとをさらに含み、 前記書込みバッファが1つのセグメントのサイズを超え
るサイズを有し、 前記ディスク・マネージャが、少なくとも論理トラック
番号順に前記データ単位を順序づけるために前記デステ
ージされた前記データ単位を前記書込みバッファに分類
するための手段を含むことを特徴とする、請求項1に記
載のデータ処理システム。9. A data processing system comprising: a data cache inserted between the data processing device and the disk manager; and a data cache from the data cache before being written to the disk data storage subsystem. A write buffer for storing a data unit comprising a staged logical track unit, wherein the write buffer has a size larger than the size of one segment, and wherein the disk manager has the data at least in logical track number order. The data processing system of claim 1, further comprising means for classifying the destaged data units into the write buffer to order units.
画の占有セグメントとクリア・セグメントを示すセグメ
ント・レコードを保管する手段を含み、このセグメント
・レコードが、各占有セグメントごとに、そのセグメン
トの構成要素である有効データ単位のそれぞれのアクセ
ス活動値の組合せを表わす組合せ値と、そのセグメント
の構成要素である有効データ単位の数を表す占有値とを
さらに含み、 前記ディスク・マネージャは、ディスクのアイドル状態
であるという条件に応答して、活動区画のどのセグメン
トが第一の所定のしきい値より小さい最小組合せアクセ
ス活動値(最小活動セグメント)を有するかを判定し、
最小活動セグメントの有効データ単位のうち、第一の所
定のしきい値より大きいアクセス活動値を有する有効デ
ータ単位があれば、それを第一のバッファに格納し、最
小活動セグメントの有効データ単位のうち、第一の所定
のしきい値より小さいアクセス活動値を有する有効デー
タ単位があれば、それを第二のバッファに格納するため
の手段をさらに含み、最小活動セグメントが第一の所定
のしきい値より大きい組合せ値を有する場合には、最小
活動セグメントの占有値が第二の所定のしきい値より小
さいかどうかをまず判定し、該当する場合には、突き止
められたセグメントの有効データ単位のうち、第一の所
定のしきい値より大きいアクセス活動値を有する有効デ
ータ単位があれば、それを収集して(読み取って)第一
のバッファに格納し、突き止められたセグメントの有効
データ単位のうち、第一の所定のしきい値より小さいア
クセス活動値を有する有効データ単位があれば、それを
第二のバッファに格納するための手段を含むことを特徴
とする、請求項1に記載のデータ処理システム。10. The disk manager includes means for storing a segment record indicating an occupied segment and a clear segment of a first partition, wherein the segment record is, for each occupied segment, a configuration of the segment. The disk manager further comprising: a combination value representing a combination of the respective access activity values of the valid data units that are the elements; and an occupancy value representing the number of valid data units that are the constituent elements of the segment. Determining, in response to the condition being a condition, which segment of the active partition has a minimum combined access activity value (minimum active segment) less than a first predetermined threshold;
If there is a valid data unit having an access activity value larger than a first predetermined threshold among valid data units of the least active segment, the valid data unit is stored in the first buffer, and the valid data unit of the least active segment is stored. And means for storing a valid data unit having an access activity value smaller than the first predetermined threshold, if any, in the second buffer, wherein the least active segment is the first predetermined threshold. If it has a combination value greater than the threshold value, it is first determined whether the occupancy value of the least active segment is less than a second predetermined threshold, and if so, the valid data unit of the located segment. Collects (reads) any valid data unit having an access activity value greater than a first predetermined threshold and stores it in a first buffer Means for storing in the second buffer any valid data unit of the located segments having an access activity value smaller than the first predetermined threshold value. The data processing system according to claim 1, characterized in that:
憶サブシステムと、前記データ処理装置から前記ディス
ク・データ記憶サブシステムへのアクセスを制御するた
めに前記ディスク・データ記憶サブシステムに結合され
たディスク・マネージャとを含むデータ処理システムに
おいて、 前記ディスク・マネージャが、 格納されるときにそれぞれが第一の所定のしきい値を超
えるアクセス活動値を有する複数の活動データ単位で構
成されたセグメントを格納するための、動的に可変サイ
ズの第一の区画をログ構造ファイル・システムとして操
作させるように前記ディスク・データ記憶サブシステム
を管理する一方、格納されるときにそれぞれが第一の所
定のしきい値より小さいアクセス活動値を有する複数の
非活動データ単位で構成されたセグメントを格納するた
めの、第一区画よりも大きい第二の区画を非ログ構造フ
ァイル・システムとして操作させるように前記データ記
憶サブシステムをさらに管理するための手段と、 すべての活動データ単位およびすべての非活動データ単
位に対し、前記第二の区画内の記憶位置を1つずつ割り
振るための手段と、 を含むことを特徴とするデータ処理システム。11. A data processing device, a disk data storage subsystem, and a disk coupled to the disk data storage subsystem for controlling access from the data processing device to the disk data storage subsystem. A data processing system comprising: a disk manager storing, when stored, a segment composed of a plurality of active data units each having an access activity value exceeding a first predetermined threshold; Managing the disk data storage subsystem to dynamically operate a first partition of variable size as a log-structured file system, while each being stored in a first predetermined format when stored. Consists of multiple inactive data units with access activity values less than the threshold Means for further managing the data storage subsystem to cause a second partition, larger than the first partition, to operate as a non-log-structured file system for storing the segment, all active data units and all Means for allocating storage locations in the second partition one by one to the inactive data units of the data processing system.
の区画からではなく、前記第二の区画からデータ単位に
アクセスするために、前記データ処理装置によって生成
された信号に応答することを特徴とする、請求項11に
記載のデータ処理システム。12. The disk manager is responsive to signals generated by the data processing device to access data units from the second partition, rather than from the first partition. The data processing system according to claim 11, wherein:
の位置に再書込みせずに、前記データ単位の更新とサイ
ズ拡大を可能にする未使用記憶位置を含めるために、前
記非活動データ単位が前記第二の区画内に格納されるこ
とを特徴とする、請求項11に記載のデータ処理システ
ム。13. The inactive system to include unused storage locations that allow for updating and expanding the data unit without rewriting the updated data unit to another location in the second partition. The data processing system according to claim 11, wherein a data unit is stored in the second partition.
憶サブシステムと、ディスク・マネージャとを含むデー
タ処理サブシステムを操作する方法において、 ディスク・データ記憶システムを、第一の区画と第二の
区画を含む複数の区画に区分するステップと、 格納されるときにそれぞれが第一の所定のしきい値を超
えるアクセス活動値を有する複数の活動データ単位で構
成されたセグメントを格納するためにログ構造ファイル
・システムとして少なくとも前記第一の区画を管理する
ステップと、 格納されるときにそれぞれが前記第一の所定のしきい値
より小さいアクセス活動値を有する複数の非活動データ
単位で構成されたセグメントを前記第二の区画内に格納
するステップと、 前記第一の区画内の占有セグメントとクリア・セグメン
トを示すセグメント・レコードを保管するステップであ
って、このセグメント・レコードが、各占有セグメント
ごとに、そのセグメントの構成要素である有効データ単
位のそれぞれのアクセス活動値の組合せを表す組合せ値
を含み、そのセグメントの構成要素である有効データ単
位の数を表す占有値をさらに含むステップと、 前記クリア・セグメントの数が所定の値より小さいとい
う条件に応答して、前記第一の区画の占有セグメントに
アクセスして前記第一の所定のしきい値より小さい合計
値を有するセグメントを突き止めるステップと、 突き止められたセグメントの有効データ単位のうち、前
記第一の所定のしきい値より大きいアクセス活動値を有
する有効データ単位があれば、それを第一のバッファに
格納するステップと、 突き止められたセグメントの有効データ単位のうち、前
記第一の所定のしきい値より小さいアクセス活動値を有
する有効データ単位があれば、それを第二のバッファに
格納するステップと、 占有セグメントのすべてが、前記第一の所定のしきい値
より大きい組合せ値を有すると判別されたという条件に
応答して、前記第一の区画の占有セグメントにアクセス
して第二の所定のしきい値より小さい占有値を有するセ
グメントを突き止めるステップと、 突き止められたセグメントの有効データ単位のうち、第
一の所定のしきい値より大きいアクセス活動値を有する
有効データ単位があれば、それを第一のバッファに格納
するステップと、 突き止められたセグメントの有効データ単位のうち、第
一の所定のしきい値より小さいアクセス活動値を有する
有効データ単位があれば、それを第二のバッファに格納
するステップとをさらに含むことを特徴とする方法。14. A method of operating a data processing subsystem including a data processing device, a disk data storage subsystem, and a disk manager, the method comprising operating the disk data storage system in a first partition and a second partition. Partitioning into a plurality of partitions comprising: a log structure for storing a segment composed of a plurality of activity data units each having an access activity value that exceeds a first predetermined threshold when stored Managing at least the first partition as a file system; and a segment composed of a plurality of inactive data units each having an access activity value less than the first predetermined threshold when stored. In the second compartment; an occupied segment and a clear segment in the first compartment Storing, for each occupied segment, a combination value that represents a combination of the respective access activity values of the valid data units that are constituents of the segment record. An occupancy value indicating the number of valid data units that are components of the segment; and responsive to a condition that the number of clear segments is less than a predetermined value, the occupancy segment of the first partition Accessing to determine a segment having a total value less than the first predetermined threshold; and determining an access activity value of the determined data units of the segment that is greater than the first predetermined threshold. Storing the valid data unit, if any, in the first buffer; Storing, in a second buffer, any valid data unit having an access activity value smaller than the first predetermined threshold, among the valid data units of the segment, In response to a condition determined to have a combination value greater than the first predetermined threshold, accessing an occupied segment of the first partition to access an occupancy value less than a second predetermined threshold. Locating a segment having a valid data unit having an access activity value greater than a first predetermined threshold value, if any, among the valid data units of the located segment is stored in a first buffer. A step, of valid data units of the located segment, having valid access data values smaller than a first predetermined threshold. If there is data units, wherein the further and storing it in the second buffer.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US241980 | 1994-05-11 | ||
US08/241,980 US5537588A (en) | 1994-05-11 | 1994-05-11 | Partitioned log-structured file system and methods for operating the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH086728A JPH086728A (en) | 1996-01-12 |
JP3245001B2 true JP3245001B2 (en) | 2002-01-07 |
Family
ID=22912978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09043595A Expired - Fee Related JP3245001B2 (en) | 1994-05-11 | 1995-04-17 | Data processing system and operation method thereof |
Country Status (3)
Country | Link |
---|---|
US (1) | US5537588A (en) |
EP (1) | EP0683452A1 (en) |
JP (1) | JP3245001B2 (en) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995009395A1 (en) | 1993-09-27 | 1995-04-06 | Oracle Corporation | Method and apparatus for parallel processing in a database system |
US5774714A (en) * | 1995-03-27 | 1998-06-30 | Hewlett-Packard Company | Zone bit recording enhanced video data layout |
US5708793A (en) * | 1995-03-31 | 1998-01-13 | International Business Machines Corporation | Method and apparatus using address and read head location information to provide optimal operation of a disk system |
US5671390A (en) * | 1995-05-23 | 1997-09-23 | International Business Machines Corporation | Log structured array storage subsystem using LSA directory and LSA sub-directory stored in different storage media |
WO1997011426A1 (en) | 1995-09-18 | 1997-03-27 | Cyberstorage Systems, Inc. | Universal storage management system |
US5802344A (en) * | 1995-11-03 | 1998-09-01 | International Business Machines Corporation | Method and apparatus for dynamic segment allocation in log structured arrays |
JP3641872B2 (en) | 1996-04-08 | 2005-04-27 | 株式会社日立製作所 | Storage system |
US5896393A (en) * | 1996-05-23 | 1999-04-20 | Advanced Micro Devices, Inc. | Simplified file management scheme for flash memory |
US5740432A (en) * | 1996-05-28 | 1998-04-14 | Sun Microsystems, Inc. | Log file optimization in a client/server computing system |
US6021408A (en) * | 1996-09-12 | 2000-02-01 | Veritas Software Corp. | Methods for operating a log device |
US5832515A (en) * | 1996-09-12 | 1998-11-03 | Veritas Software | Log device layered transparently within a filesystem paradigm |
US5956735A (en) * | 1997-03-28 | 1999-09-21 | International Business Machines Corporation | System of compressing the tail of a sparse log stream of a computer system |
US5920875A (en) * | 1997-03-28 | 1999-07-06 | International Business Machines Corporation | Tail compression of a sparse log stream of a computer system |
US6125393A (en) * | 1997-03-28 | 2000-09-26 | International Business Machines Corporation | System of compressing the tail of a sparse log stream of a multisystem environment |
US5999935A (en) * | 1997-03-28 | 1999-12-07 | International Business Machines Corporation | Tail compression of a sparse log stream of a multisystem environment |
US6108667A (en) * | 1997-03-28 | 2000-08-22 | International Business Machines Corporation | System of compressing a log stream using a scratch pad of logically deleted entries |
US5960446A (en) * | 1997-07-11 | 1999-09-28 | International Business Machines Corporation | Parallel file system and method with allocation map |
US6442659B1 (en) * | 1998-02-17 | 2002-08-27 | Emc Corporation | Raid-type storage system and technique |
US6256705B1 (en) | 1998-06-05 | 2001-07-03 | International Business Machines Corporation | System and method for organizing data stored in a log structured array |
US6285774B1 (en) | 1998-06-08 | 2001-09-04 | Digital Video Express, L.P. | System and methodology for tracing to a source of unauthorized copying of prerecorded proprietary material, such as movies |
US6324621B2 (en) * | 1998-06-10 | 2001-11-27 | International Business Machines Corporation | Data caching with a partially compressed cache |
US6279093B1 (en) | 1998-11-24 | 2001-08-21 | Dell Usa, L.P. | Computer system and method for preparing a computer-readable medium |
US6438609B1 (en) | 1999-03-04 | 2002-08-20 | International Business Machines Corporation | Method of pacing the frequency at which systems of a multisystem environment compress log streams |
US6539389B1 (en) * | 1999-03-04 | 2003-03-25 | International Business Machines Corporation | Pacing the frequency at which systems of a multisystem environment compress log streams |
US6535949B1 (en) | 1999-04-19 | 2003-03-18 | Research In Motion Limited | Portable electronic device having a log-structured file system in flash memory |
US6336164B1 (en) | 1999-05-12 | 2002-01-01 | International Business Machines Corporation | Method and system for preventing deadlock in a log structured array |
US6490664B1 (en) | 1999-06-14 | 2002-12-03 | International Business Machines Corporation | Method and system for handling destage requests during shut-down in a log-structured array |
US6513093B1 (en) | 1999-08-11 | 2003-01-28 | International Business Machines Corporation | High reliability, high performance disk array storage system |
US6360300B1 (en) | 1999-08-31 | 2002-03-19 | International Business Machines Corporation | System and method for storing compressed and uncompressed data on a hard disk drive |
US6449689B1 (en) | 1999-08-31 | 2002-09-10 | International Business Machines Corporation | System and method for efficiently storing compressed data on a hard disk drive |
US7155467B1 (en) * | 2000-04-07 | 2006-12-26 | Hewlett-Packard Development Company, L.P. | Adaptive type-partitioned garbage collection |
US20050257827A1 (en) * | 2000-04-27 | 2005-11-24 | Russell Gaudiana | Rotational photovoltaic cells, systems and methods |
US6829678B1 (en) * | 2000-07-18 | 2004-12-07 | International Business Machines Corporation | System for determining the order and frequency in which space is allocated on individual storage devices |
GB0022131D0 (en) * | 2000-09-09 | 2000-10-25 | Ibm | Data sorting in information storage systems |
US6865650B1 (en) * | 2000-09-29 | 2005-03-08 | Emc Corporation | System and method for hierarchical data storage |
IL157517A0 (en) * | 2001-02-24 | 2004-03-28 | Ibm | Managing colerence via put/get windows |
US6741970B2 (en) * | 2001-02-26 | 2004-05-25 | International Business Machines Corporation | Method and apparatus for enhanced, high speed updating and storing of E-commerce orders in a server |
US6775679B2 (en) | 2001-03-20 | 2004-08-10 | Emc Corporation | Building a meta file system from file system cells |
US7231652B2 (en) * | 2001-03-28 | 2007-06-12 | Koninklijke Philips N.V. | Adaptive sampling technique for selecting negative examples for artificial intelligence applications |
US6862661B2 (en) | 2001-06-26 | 2005-03-01 | International Business Machines Corporation | Object oriented approach to a redundant array storage system |
CN1205555C (en) * | 2001-11-12 | 2005-06-08 | 联想(北京)有限公司 | Hard disk data backup and restore method |
MXPA01012371A (en) * | 2001-11-30 | 2003-06-05 | Fernando Mejias Butron Manuel | Method for optimizing the performance of a computer and main non-volatile storage mean optimized with specific purpose sections. |
US6961860B2 (en) * | 2001-12-07 | 2005-11-01 | Nokia Corporation | Method and system for optimizing power consumption during data read/write operation in disk-based memory |
US6985914B2 (en) * | 2002-02-20 | 2006-01-10 | Emc Corporation | Cluster meta file system of file system cells managed by respective data movers of a network file server |
US20030172094A1 (en) * | 2002-03-06 | 2003-09-11 | International Business Machines Corporation | Automatic file system maintenance |
US7188113B1 (en) * | 2002-11-27 | 2007-03-06 | Oracle International Corporation | Reducing contention by slaves for free lists when modifying data in a table partition |
US7293011B1 (en) | 2002-11-27 | 2007-11-06 | Oracle International Corporation | TQ distribution that increases parallism by distributing one slave to a particular data block |
US7996645B2 (en) * | 2003-09-26 | 2011-08-09 | Hitachi Global Storage Technologies Netherlands B.V. | Log-structured file system for disk drives with shingled writing |
JP4428993B2 (en) | 2003-11-27 | 2010-03-10 | 株式会社日立製作所 | Disk array device and disk array device control method |
US7155445B1 (en) * | 2004-02-05 | 2006-12-26 | Cingular Wireless Ii, Llc | System and method for self-recovering real-time data-feed compression and archiving |
US8478742B2 (en) * | 2004-04-14 | 2013-07-02 | Oracle Corporation | Using estimated cost to refresh a set of materialized views (MVS) |
US7475209B2 (en) * | 2004-05-13 | 2009-01-06 | International Business Machines Corporation | Moving hardware context structures in memory while maintaining system operation |
US20050283471A1 (en) * | 2004-06-22 | 2005-12-22 | Oracle International Corporation | Multi-tier query processing |
US7702627B2 (en) * | 2004-06-22 | 2010-04-20 | Oracle International Corporation | Efficient interaction among cost-based transformations |
US7814042B2 (en) * | 2004-08-17 | 2010-10-12 | Oracle International Corporation | Selecting candidate queries |
US8166005B2 (en) * | 2004-09-21 | 2012-04-24 | Emc Corporation | Pathname caching and protection of the root directory in a nested multilayer directory structure |
US8521752B2 (en) * | 2005-06-03 | 2013-08-27 | Osr Open Systems Resources, Inc. | Systems and methods for arbitrary data transformations |
US7617189B2 (en) * | 2005-09-27 | 2009-11-10 | Oracle International Corporation | Parallel query processing techniques for minus and intersect operators |
US7877379B2 (en) * | 2005-09-30 | 2011-01-25 | Oracle International Corporation | Delaying evaluation of expensive expressions in a query |
US7809713B2 (en) * | 2006-03-15 | 2010-10-05 | Oracle International Corporation | Efficient search space analysis for join factorization |
US7644062B2 (en) * | 2006-03-15 | 2010-01-05 | Oracle International Corporation | Join factorization of union/union all queries |
US7945562B2 (en) * | 2006-03-15 | 2011-05-17 | Oracle International Corporation | Join predicate push-down optimizations |
US7877373B2 (en) * | 2006-06-30 | 2011-01-25 | Oracle International Corporation | Executing alternative plans for a SQL statement |
US7512748B1 (en) | 2006-08-17 | 2009-03-31 | Osr Open Systems Resources, Inc. | Managing lock rankings |
US8539228B1 (en) | 2006-08-24 | 2013-09-17 | Osr Open Systems Resources, Inc. | Managing access to a resource |
CN101192227B (en) * | 2006-11-30 | 2011-05-25 | 阿里巴巴集团控股有限公司 | Log file analytical method and system based on distributed type computing network |
US7958331B2 (en) * | 2006-12-13 | 2011-06-07 | Seagate Technology Llc | Storage device with opportunistic address space |
US8024433B2 (en) | 2007-04-24 | 2011-09-20 | Osr Open Systems Resources, Inc. | Managing application resources |
US7949693B1 (en) | 2007-08-23 | 2011-05-24 | Osr Open Systems Resources, Inc. | Log-structured host data storage |
US8903801B2 (en) | 2007-09-14 | 2014-12-02 | Oracle International Corporation | Fully automated SQL tuning |
US8341178B2 (en) * | 2007-09-18 | 2012-12-25 | Oracle International Corporation | SQL performance analyzer |
US8600977B2 (en) * | 2007-10-17 | 2013-12-03 | Oracle International Corporation | Automatic recognition and capture of SQL execution plans |
US8438152B2 (en) * | 2007-10-29 | 2013-05-07 | Oracle International Corporation | Techniques for bushy tree execution plans for snowstorm schema |
KR101056460B1 (en) * | 2009-06-05 | 2011-08-11 | 세종대학교산학협력단 | How to Replace Cache Controllers and Cache Blocks |
US8909615B2 (en) * | 2011-08-30 | 2014-12-09 | Open Text S.A. | System and method of managing capacity of search index partitions |
US8903874B2 (en) | 2011-11-03 | 2014-12-02 | Osr Open Systems Resources, Inc. | File system directory attribute correction |
EP2701077A1 (en) * | 2012-08-24 | 2014-02-26 | Software AG | Method and system for storing tabular data in a memory-efficient manner |
KR101979715B1 (en) | 2012-09-28 | 2019-05-17 | 삼성전자 주식회사 | Computing system and data management method thereof |
US9805046B2 (en) * | 2013-03-14 | 2017-10-31 | International Business Machines Corporation | Data compression using compression blocks and partitions |
US9830329B2 (en) | 2014-01-15 | 2017-11-28 | W. Anthony Mason | Methods and systems for data storage |
US9870390B2 (en) | 2014-02-18 | 2018-01-16 | Oracle International Corporation | Selecting from OR-expansion states of a query |
US10621064B2 (en) | 2014-07-07 | 2020-04-14 | Oracle International Corporation | Proactive impact measurement of database changes on production systems |
US9904688B2 (en) | 2014-09-30 | 2018-02-27 | International Business Machines Corporation | Buffering and replicating data written to a distributed storage system |
US9916325B2 (en) | 2014-09-30 | 2018-03-13 | International Business Machines Corporation | Quick initialization of data regions in a distributed storage system |
US10585887B2 (en) | 2015-03-30 | 2020-03-10 | Oracle International Corporation | Multi-system query execution plan |
US10241716B2 (en) | 2017-06-30 | 2019-03-26 | Microsoft Technology Licensing, Llc | Global occupancy aggregator for global garbage collection scheduling |
US10248562B2 (en) | 2017-06-30 | 2019-04-02 | Microsoft Technology Licensing, Llc | Cost-based garbage collection scheduling in a distributed storage environment |
US11386058B2 (en) | 2017-09-29 | 2022-07-12 | Oracle International Corporation | Rule-based autonomous database cloud service framework |
US11327932B2 (en) | 2017-09-30 | 2022-05-10 | Oracle International Corporation | Autonomous multitenant database cloud service framework |
US11048664B2 (en) | 2018-09-21 | 2021-06-29 | Microsoft Technology Licensing, Llc | Log destaging from fixed-size log portion |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4607346A (en) * | 1983-03-28 | 1986-08-19 | International Business Machines Corporation | Apparatus and method for placing data on a partitioned direct access storage device |
US5155835A (en) * | 1990-11-19 | 1992-10-13 | Storage Technology Corporation | Multilevel, hierarchical, dynamically mapped data storage subsystem |
US5237460A (en) * | 1990-12-14 | 1993-08-17 | Ceram, Inc. | Storage of compressed data on random access storage devices |
US5274799A (en) * | 1991-01-04 | 1993-12-28 | Array Technology Corporation | Storage device array architecture with copyback cache |
US5231593A (en) * | 1991-01-11 | 1993-07-27 | Hewlett-Packard Company | Maintaining historical lan traffic statistics |
US5243543A (en) * | 1991-01-17 | 1993-09-07 | Hewlett-Packard Company | Remote LAN segment traffic monitor |
US5418921A (en) * | 1992-05-05 | 1995-05-23 | International Business Machines Corporation | Method and means for fast writing data to LRU cached based DASD arrays under diverse fault tolerant modes |
-
1994
- 1994-05-11 US US08/241,980 patent/US5537588A/en not_active Expired - Lifetime
-
1995
- 1995-04-13 EP EP95302516A patent/EP0683452A1/en not_active Withdrawn
- 1995-04-17 JP JP09043595A patent/JP3245001B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH086728A (en) | 1996-01-12 |
EP0683452A1 (en) | 1995-11-22 |
US5537588A (en) | 1996-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3245001B2 (en) | Data processing system and operation method thereof | |
US5551003A (en) | System for managing log structured array (LSA) of DASDS by managing segment space availability and reclaiming regions of segments using garbage collection procedure | |
US6941420B2 (en) | Log-structure array | |
US6148368A (en) | Method for accelerating disk array write operations using segmented cache memory and data logging | |
JP2846839B2 (en) | Data storage system and related methods | |
US6871272B2 (en) | Data sorting in information storage systems | |
US6704839B2 (en) | Data storage system and method of storing data | |
US9436390B2 (en) | Virtual disk drive system and method | |
US5764880A (en) | Method and system for rebuilding log-structured arrays | |
US6473830B2 (en) | System and method for organizing data stored in a log structured array | |
KR100324867B1 (en) | Method and apparatus for allocation of disk memory space for compressed data records | |
US6671772B1 (en) | Hierarchical file system structure for enhancing disk transfer efficiency | |
US6968351B2 (en) | Free space collection in information storage systems | |
US7281089B2 (en) | System and method for reorganizing data in a raid storage system | |
US6151685A (en) | System and method for recovering a segment directory for a log structured array | |
CN1148658C (en) | Method and system for high speed buffer storage management RAID storage system | |
JP2004213647A (en) | Writing cache of log structure for data storage device and system | |
WO2011042428A1 (en) | Secondary cache for write accumulation and coalescing | |
JPH07110788A (en) | Disk cache device | |
CN103907096A (en) | Promotion of partial data segments in flash cache | |
US20120166725A1 (en) | Virtual disk drive system and method with deduplication | |
CN111857540B (en) | Data access method, apparatus and computer program product | |
JP2003196032A (en) | Write cache control method of storage device, and storage device | |
JPH11288387A (en) | Disk cache device | |
JP3431581B2 (en) | Disk control system and data relocation method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |