JP2007200029A - File copying system - Google Patents
File copying system Download PDFInfo
- Publication number
- JP2007200029A JP2007200029A JP2006017964A JP2006017964A JP2007200029A JP 2007200029 A JP2007200029 A JP 2007200029A JP 2006017964 A JP2006017964 A JP 2006017964A JP 2006017964 A JP2006017964 A JP 2006017964A JP 2007200029 A JP2007200029 A JP 2007200029A
- Authority
- JP
- Japan
- Prior art keywords
- file
- metadata
- block
- segment
- replication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
この発明は、複数システム間のファイル複製におけるネットワーク転送、ディスクＩ／Ｏ、更新ブロック検出を最小限のブロックに限定すると共に、管理者の介在を必要とする情報への依存を排することで、高速かつ柔軟なファイル複製を実現するファイル複製システムに関するものである。 The present invention limits network transfer, disk I / O, and update block detection in file replication between multiple systems to a minimum number of blocks and eliminates dependence on information that requires administrator intervention. The present invention relates to a file replication system that realizes high-speed and flexible file replication.
コンピュータが扱うデータ規模の増大に伴い、不測の事態に備えたデータ複製が重要となっている。大量のデータを頻繁に複製するには複製の高速化が必要であり、ファイルより小さなブロックを単位とすることでこれを実現しようとする複製方式が提案されている。これはファイルの更新においては全体が置き換わるようなケースは稀であり、ログにおける末尾への追加やデータベースにおける固定長ページ単位での更新がほとんどであるという観察に基づき、更新されていないブロックを毎回複製しないようにすることで高速化を図るものである。従来のファイル複製方式では、ファイル複製の際にまずブロック毎の検算値（チェックサム、ハッシュ値）を計算し、複製元と複製先の間で各ブロックの検算値のみの転送・比較を行う。その結果、検算値が一致したブロックは更新のないブロックとしてデータ転送対象から除外し、残ったブロックのデータのみを複製元から複製先へ転送する（例えば、特許文献１参照）。また、別の従来方式では、ファイル更新の際、元のブロックを上書きするのではなく別のブロックに書き込むファイルシステムを利用する。すなわち、複製元において過去のある時点でのブロックアドレスをスナップショットとして保存しておき、ファイル複製時のブロックアドレスと比較することで更新のあったブロックを検出し、複製先に転送するものである（例えば、特許文献２参照）。 As the scale of data handled by computers increases, data replication in preparation for unforeseen circumstances has become important. In order to frequently replicate a large amount of data, it is necessary to increase the speed of replication, and a replication method has been proposed that realizes this by using blocks smaller than a file as a unit. This is rarely the case where the entire file is replaced in the update of the file. Based on the observation that the addition to the end of the log and the update in units of fixed-length pages in the database are mostly performed, the block that has not been updated is changed each time. The speed is increased by avoiding duplication. In the conventional file duplication method, when a file is duplicated, a check value (checksum, hash value) for each block is first calculated, and only the check value of each block is transferred and compared between the copy source and the copy destination. As a result, a block with a matching verification value is excluded from the data transfer target as an unupdated block, and only the remaining block data is transferred from the replication source to the replication destination (see, for example, Patent Document 1). In another conventional method, a file system is used in which, when a file is updated, the original block is not overwritten but written to another block. In other words, the block address at a certain point in the past is stored as a snapshot in the copy source, and an updated block is detected by comparing it with the block address at the time of file copy, and transferred to the copy destination. (For example, refer to Patent Document 2).
上述したような従来のファイル複製方式では、ファイル複製の実行時に検算値を計算するためファイル全体を更新のないブロックも含めて読み出さなければならず、それに伴うディスクＩ／Ｏコストにより高速化が阻害されるという問題点があった。また、非常に大きなファイルにおいてはブロック数も多くなるため、全ブロックの検算値を転送するネットワークコストも性能低下要因となる。 In the conventional file duplication method as described above, since the verification value is calculated at the time of file duplication, the entire file must be read including the blocks that are not updated, and the speedup is hindered by the accompanying disk I / O cost. There was a problem of being. In addition, since the number of blocks increases in a very large file, the network cost for transferring the check values of all the blocks also causes a performance decrease.
また、上述したような別の従来方式では、複製元で予め作成しておいたスナップショットが更新検出の基準となるが、スナップショットは通常１０個程度までしか作成できず、人手で管理（削除）する作業を要するため柔軟性に欠ける。例えば、耐障害性を高めるため複製先を複数にした場合、全ての複製先への複製が完了するまでは複製元のスナップショットを削除することができない。ファイル複製に要する時間とデータ消失リスクのトレードオフを考慮して、高頻度で複製を行う少数の複製先と低頻度で複製を行う多数の複製先を用いる場合、さらに管理は煩雑になる。また、障害時に任意の複製先を新たな複製元として使用できるようにするためには、複製先においてもスナップショットを適切に管理する必要がある。 In another conventional method as described above, a snapshot created in advance at the copy source is a reference for update detection. However, normally only about 10 snapshots can be created and manually managed (deleted). ) Is inflexible. For example, when a plurality of replication destinations are used to improve fault tolerance, the replication source snapshot cannot be deleted until replication to all the replication destinations is completed. Considering the trade-off between the time required for file replication and the risk of data loss, management is further complicated when a small number of replication destinations that perform high-frequency replication and a large number of replication destinations that perform low-frequency replication. Further, in order to be able to use an arbitrary replication destination as a new replication source in the event of a failure, it is necessary to appropriately manage snapshots at the replication destination.
この発明は、上述のような課題を解決するためになされたもので、その目的は、複数システム間のファイル複製におけるネットワーク転送、ディスクＩ／Ｏ、更新ブロック検出を最小限のブロックに限定すると共に、管理者の介在を必要とする情報への依存を排することで、高速かつ柔軟なファイル複製を実現することができるファイル複製システムを得るものである。 The present invention has been made to solve the above-described problems, and its object is to limit network transfer, disk I / O, and update block detection in file replication between a plurality of systems to a minimum number of blocks. By eliminating dependence on information that requires the intervention of an administrator, a file replication system capable of realizing high-speed and flexible file replication is obtained.
この発明に係るファイル複製システムは、第１のディスク装置に格納されるファイルを、データブロック及び連続する複数のデータブロックから構成されるセグメントである領域に分割し、分割した領域毎の更新有無が判定可能な更新判定情報を含む情報ブロックを階層的に配置し、階層的に配置された情報ブロックを前記ファイルの大きさに応じて木構造で第２のディスク装置に格納するメタデータブロック管理手段と、複数のコンピュータ間で前記木構造の情報ブロックに含まれる更新判定情報の比較を行って更新されたデータブロックを検出し、更新されたデータブロックのみを複製元から複製先へ転送するファイル複製制御手段とを設けたものである。 The file replication system according to the present invention divides a file stored in the first disk device into areas that are segments composed of a data block and a plurality of continuous data blocks, and whether or not each divided area is updated. Metadata block management means that hierarchically arranges information blocks including update determination information that can be determined, and stores the hierarchically arranged information blocks in a second disk device in a tree structure according to the size of the file File comparison that detects update data blocks by comparing update determination information included in the information block of the tree structure between a plurality of computers and transfers only the updated data blocks from the copy source to the copy destination And a control means.
この発明に係るファイル複製システムは、複数システム間のファイル複製におけるネットワーク転送、ディスクＩ／Ｏ、更新ブロック検出を最小限のブロックに限定すると共に、管理者の介在を必要とする情報への依存を排することで、高速かつ柔軟なファイル複製を実現することができるという効果を奏する。 The file replication system according to the present invention limits network transfer, disk I / O, and update block detection in file replication between a plurality of systems to a minimum number of blocks, and relies on information requiring administrator intervention. This eliminates the effect that a high-speed and flexible file replication can be realized.
実施の形態１．
この発明の実施の形態１に係るファイル複製システムについて図１から図３３までを参照しながら説明する。図１は、この発明の実施の形態１に係るファイル複製システムの構成を示す図である。なお、以降では、各図中、同一符号は同一又は相当部分を示す。
A file replication system according to
図１において、この実施の形態１に係るファイル複製システムは、ネットワーク３００を介して、複製元システム１００と、複製先システム２００とが設けられている。
1, the file replication system according to the first embodiment is provided with a
複製元システム１００と複製先システム２００は、それぞれコンピュータシステムであり、例えばＩｎｔｅｌ社Ｘｅｏｎプロセッサ、ＤＲＡＭ、ＳＣＳＩインタフェースを備える固定ディスク装置、ギガビットイーサネット（登録商標）インタフェース、およびそれらを接続するＰＣＩ−Ｘバスなどのハードウェアと、ＧＮＵ／Ｌｉｎｕｘオペレーティングシステムソフトウェアにより実現することができる。
Each of the
複製元システム１００には、ファイルシステム管理手段１０５と、メタデータブロック管理手段１０６と、複製元ファイル複製制御手段１０７と、ディスク装置１０８とが設けられている。同様に、複製先システム２００には、ファイルシステム管理手段２０５と、メタデータブロック管理手段２０６と、複製元ファイル複製制御手段２０７と、ディスク装置２０８とが設けられている。
The
複製元システム１００は、ファイルをディスク装置１０８に格納する際、ファイルデータブロック（データブロック）１０２Ａ〜Ｄと共に、ファイル管理情報１０１、ブロックメタデータブロック（情報ブロック）１０３Ａ〜Ｂ、およびセグメントメタデータブロック１０４（情報ブロック）Ａを併せて格納する。ファイルデータブロック１０２は、ファイルの内容を固定長に分割して格納するためのディスク装置１０８上の領域であり、ファイルのサイズに応じて必要な数を割り当てて使用する。
When the
ファイル管理情報１０１は、複数のファイルデータブロック１０２のディスク装置１０８上のアドレスを管理し、ファイルの任意の部分へのランダムアクセスを可能にする。また、ファイル管理情報１０１は、ファイルの更新日時や所有ユーザなど、メタデータと呼ばれる属性情報も格納する。ディスク装置１０８上の記憶領域の管理や、ファイル管理情報１０１を介したファイルアクセスの機能は、一般にオペレーティングシステムの一部であるファイルシステム管理手段１０５により提供される。
The
ファイルシステム管理手段１０５は、例えばＧＮＵ／Ｌｉｎｕｘオペレーティングシステムが備えるｅｘｔ３ファイルシステムなど、公知の技術により実現することができる。なお、ＧＮＵ／Ｌｉｎｕｘを含むＵｎｉｘ（登録商標）系のオペレーティングシステムにおいては、ファイル管理情報１０１はｉノードと称される。
The file system management means 105 can be realized by a known technique such as an ext3 file system provided in the GNU / Linux operating system. Note that in a UNIX (registered trademark) operating system including GNU / Linux, the
ブロックメタデータブロック１０３Ａ〜Ｂおよびセグメントメタデータブロック１０４Ａは、公知のファイルシステムには存在しないものであり、メタデータブロック管理手段１０６によりディスク装置１０８上に格納される。メタデータブロック管理手段１０６は、ファイルシステム管理手段１０５によりファイル更新の都度呼び出される。
The
また、メタデータブロック管理手段１０６は、ファイルシステム管理手段１０５の機能の一部を利用してディスク装置１０８上の記憶領域の確保や解放を行う。ファイル管理情報１０１は、ファイルデータブロック１０２Ａ〜Ｄのディスク装置１０８上のアドレスと共に、セグメントメタデータブロック１０４Ａのアドレスも格納しており、さらにセグメントメタデータブロック１０４Ａには、ブロックメタデータブロック１０３Ａ〜Ｂのアドレスが格納されている。
Further, the metadata
複製先システム２００においても、複製元システム１００と同様にしてファイルをディスク装置２０８に格納する。ファイル管理情報２０１、ファイルデータブロック２０２Ａ〜Ｄ、ブロックメタデータブロック２０３Ａ〜Ｂ、およびセグメントメタデータブロック２０４Ａは、複製元システム１００のファイル管理情報１０１、ファイルデータブロック１０２Ａ〜Ｄ、ブロックメタデータブロック１０３Ａ〜Ｂ、およびセグメントメタデータブロック１０４Ａにそれぞれ対応しており、ある時点で複製元システム１００から複製した際の内容を持っている。
Also in the
ファイルシステム管理手段２０５は、ファイルシステム管理手段１０５と同一もしくは同等の動作を行う。メタデータブロック管理手段２０６は、メタデータブロック管理手段１０６と同一である。
The file
複製元ファイル複製制御手段１０７と複製先ファイル複製制御手段２０７は、複製元システム１００から複製先システム２００へのファイル複製において、ネットワーク３００を介して互いに通信しながら、それぞれ複製元システム１００と複製先システム２００の制御を行う。
The replication source file
図２は、この発明の実施の形態１に係るファイル複製システムのディスク装置の別の構成を示す図である。
FIG. 2 is a diagram showing another configuration of the disk device of the file replication system according to
図２は、図１と異なるサイズのファイルに対するファイルデータブロック、ブロックメタデータブロック、およびセグメントメタデータブロックの構成を示す。セグメントメタデータブロックとブロックメタデータブロックは、ファイルのサイズに応じて高さの変わる木構造を構成する。この木構造においては、一定数（図２では２個）のファイルデータブロック（１０２Ａ〜Ｇ）毎に階層レベル０となるブロックメタデータブロック１０３Ａ〜Ｄを配置する。また、一定数（図２では２個）のブロックメタデータブロック（１０３Ａ〜Ｄ）毎に階層レベル１となるセグメントメタデータブロック１０４Ｂ〜Ｃを配置する。ここで、『セグメント』は、連続する複数のブロックを意味する。
FIG. 2 shows a structure of a file data block, a block metadata block, and a segment metadata block for a file having a size different from that of FIG. The segment metadata block and the block metadata block form a tree structure whose height changes according to the file size. In this tree structure,
さらに、レベル１の一定数（図２では２個）のセグメントメタデータブロック（１０４Ｂ〜Ｃ）毎に階層レベル２となるセグメントメタデータブロック１０４Ａを配置する。レベル２において必要なセグメントメタデータブロックの数が１となるため、このファイルに対するブロックメタデータブロックおよびセグメントメタデータブロックの木構造に必要な高さは３となる。
Furthermore, a
ファイル管理情報（ｉノード）１０１には、木構造の最も高いレベルにある単一のセグメントメタデータブロック、すなわちセグメントメタデータブロック１０４Ａのディスク装置１０８上のアドレスを格納する。このセグメントメタデータブロック１０４Ａを『ルートメタデータブロック』と呼ぶ。高さ１の木構造、すなわち単一のブロックメタデータブロックで十分なサイズのファイルに対しては、ルートメタデータブロックは当該ブロックメタデータブロックとなる。
The file management information (i-node) 101 stores the address on the
各レベル間のセグメント／ブロックメタデータブロック（１０４Ａ〜Ｃ、１０３Ａ〜Ｄ）の対応付けは、上位セグメントメタデータブロックに下位セグメント／ブロックメタデータブロックのディスク装置１０８上のアドレスを格納することにより行う。一方、ブロックメタデータブロックとファイルデータブロックの間はファイル中のオフセットにより間接的に対応付けられる。例えば、ブロックメタデータブロック１０３Ａは、木構造中の位置からファイルの先頭および２番目のオフセットのファイルデータブロック、すなわちファイルデータブロック１０２Ａおよび１０２Ｂに対応することが定まる。セグメント／ブロックメタデータブロックとファイルデータブロックの間で明示的な参照を行わないことにより、両者のディスク装置１０８上の配置の自由度を高めることが可能になる。
The association of the segment / block metadata block (104A to C, 103A to D) between the levels is performed by storing the address of the lower segment / block metadata block on the
図３は、この発明の実施の形態１に係るファイル複製システムのディスク装置内のファイル管理情報の構成を示す図である。
FIG. 3 is a diagram showing the configuration of file management information in the disk device of the file replication system according to
図３は、ファイル管理情報（ｉノード）１０１の詳細を示す。ファイル管理情報（ｉノード）１０１は、ファイルサイズ１０１１、ファイルメタデータ１０１２、ルートメタデータブロックアドレス１０１３、およびデータブロックアドレスリスト１０１４を含む。ファイル管理情報（ｉノード）１０１は、この他にファイル作成日時や所有ユーザ、アクセス権に関する情報などを含んでいても良い。
FIG. 3 shows details of the file management information (i-node) 101. The file management information (i-node) 101 includes a
ルートメタデータブロックアドレス１０１３は、ルートメタデータブロックとなるセグメントメタデータブロックまたはブロックメタデータブロックのディスク装置１０８上のアドレスを格納する。ルートメタデータブロックは、図１や図２においてはセグメントメタデータブロック１０４Ａである。
The root
また、データブロックアドレスリスト１０１４には、複数のファイルデータブロックのアドレスを格納するが、例えば上記のｅｘｔ３ファイルシステムのようにファイルデータブロックアドレスの配列、間接ブロック（ファイルデータブロックアドレスの配列を格納したブロック）のアドレス、二重間接ブロック（ファイルデータブロックアドレスの配列を格納した複数ブロックのアドレス配列を格納したブロック）のアドレス、および三重間接ブロックのアドレスなどにより実現することができる。
ファイルメタデータ１０１２には、ファイルに対する更新の有無を判定できる任意の情報を格納することができるが、ここではファイルの最終更新日時、ファイルを更新する都度増加する世代番号、およびファイルデータのチェックサム（例えば、公知のＭＤ５やＳＨＡ−１など）を用いるものとする。
The data block
The
図４は、この発明の実施の形態１に係るファイル複製システムのディスク装置内のブロックメタデータブロックの構成を示す図である。
FIG. 4 is a diagram showing a configuration of block metadata blocks in the disk device of the file replication system according to
図４は、ブロックメタデータブロック１０３（１０３Ａ〜Ｄ）の詳細を示す。ブロックメタデータブロック１０３は、階層レベル１０３１、有効エントリ数１０３２、ブロックメタデータ（０）〜（ｎ−１）（１０３３Ａ〜Ｚ）からなる。階層レベル１０３１には、常に値０が格納される。有効エントリ数１０３２には、有効な値が設定されたブロックメタデータのエントリ数が格納され、ブロックメタデータ（０）〜ブロックメタデータ（有効エントリ数−１）が有効であることを表す。有効エントリ数＝０のブロックメタデータブロックは作成されず、有効エントリ数は１〜ｎまでの値を取る。ｎはブロックメタデータブロック１０３の領域サイズが許す範囲内で最大の値を用いる。ブロックメタデータの各エントリ（１０３３Ａ〜Ｚ）のサイズによっては、ブロックメタデータブロック１０３の末尾には空領域が存在することもある。
FIG. 4 shows details of the block metadata block 103 (103A to 103D). The
ブロックメタデータの各エントリ（１０３３Ａ〜Ｚ）には、ファイルデータブロックに対する更新の有無を判定する情報として、ファイルメタデータ１０１２に対応するものを格納する。すなわち、ファイルデータブロックの最終更新日時、ファイルデータブロックの世代番号、およびファイルデータブロックのチェックサムである。ブロックメタデータ（０）（１０３３Ａ）に対応するファイルデータブロックはブロックメタデータブロック１０３の木構造中の位置に応じて定まり、ブロックメタデータ（１）〜（有効エントリ数−１）（１０３３Ｂ〜）にはファイル中のオフセットが当該ファイルデータブロックに引き続くファイルデータブロックが対応する。例えば、図２ではｎ＝２であり、ブロックメタデータブロック１０３Ａのブロックメタデータ（０）および（１）にはファイルデータブロック１０２Ａおよび１０２Ｂが、ブロックメタデータブロック１０３Ｂのブロックメタデータ（０）および（１）にはファイルデータブロック１０２Ｃおよび１０２Ｄが、それぞれ対応する。
Each block metadata entry (1033A to Z) stores information corresponding to the
図５は、この発明の実施の形態１に係るファイル複製システムのディスク装置内のセグメントメタデータブロックの構成を示す図である。
FIG. 5 is a diagram showing the structure of the segment metadata block in the disk device of the file replication system according to
図５は、セグメントメタデータブロック１０４（１０４Ａ〜Ｃ）の詳細を示す。セグメントメタデータブロック１０４は、階層レベル１０４１、有効エントリ数１０４２、セグメントメタデータ（０）〜（ｍ−１）（１０４３Ａ〜Ｚ）、下位メタデータブロックアドレス（０）〜（ｍ−１）（１０４４Ａ〜Ｚ）からなる。
FIG. 5 shows details of the segment metadata block 104 (104A-C). The
階層レベル１０４１には、当該セグメントメタデータブロックが配置される木構造中の階層レベルの値（≧１）が格納される。有効エントリ数１０４２には、有効な値が設定されたセグメントメタデータおよび下位メタデータブロックアドレスのエントリ数が格納され、セグメントメタデータ（０）〜セグメントメタデータ（有効エントリ数−１）および下位メタデータブロックアドレス（０）〜下位メタデータブロックアドレス（有効エントリ数−１）が有効であることを表す。有効エントリ数＝０のセグメントメタデータブロックは作成されず、有効エントリ数は１〜ｍまでの値を取る。ｍはセグメントメタデータブロック１０４の領域サイズが許す範囲内で最大の値を用いる。
The
セグメントメタデータの各エントリ（１０４３Ａ〜Ｚ）は、セグメントメタデータブロック１０４の先頭から末尾に向かって順に使用され、下位メタデータブロックアドレスの各エントリ（１０４４Ａ〜Ｚ）は、逆にセグメントメタデータブロック１０４の末尾から先頭に向かって順に使用される。セグメントメタデータ（ｍ−１）（１０４３Ｚ）と下位メタデータブロックアドレス（ｍ−１）（１０４４Ｚ）の間には空領域が存在することもある。これにより、下位メタデータブロックアドレスを参照しない場合にはセグメントメタデータブロック１０４とブロックメタデータブロック１０３の構造の違いを区別する必要がなくなる。一方、階層レベル１０３１または１０４１の値を参照すれば、値が０であればブロックメタデータブロック１０３、０でなければセグメントメタデータブロック１０４、と再び両者を識別することが可能である。以下、単にメタデータブロックと記した場合は、セグメントメタデータブロックおよびブロックメタデータブロックを総称するものとする。
Each entry (1043A to Z) of the segment metadata is used in order from the beginning to the end of the
セグメントメタデータの各エントリ（１０４３Ａ〜Ｚ）には、セグメントに対する更新の有無を判定する情報として、ファイルメタデータ１０１２に対応するものを格納する。すなわち、セグメントの最終更新日時、セグメントの世代番号、およびセグメントのチェックサムである。セグメントメタデータ（０）（１０４３Ａ）に対応するセグメントはセグメントメタデータブロック１０４の木構造中の位置に応じて定まり、セグメントメタデータ（１）〜（有効エントリ数−１）（１０４３Ｂ〜）にはファイル中のオフセットが当該セグメントに引き続くセグメントが対応する。例えば、図２では、ｎ＝２、ｍ＝２であり、セグメントメタデータブロック１０４Ｂのセグメントメタデータ（０）および（１）にはファイルデータブロック１０２Ａ〜Ｂからなるセグメントおよびファイルデータブロック１０２Ｃ〜Ｄからなるセグメントが、セグメントメタデータブロック１０４Ａのセグメントメタデータ（０）にはファイルデータブロック１０２Ａ〜Ｄからなるセグメントが、それぞれ対応する。
Each entry (1043A to Z) of the segment metadata stores information corresponding to the
下位メタデータブロックアドレスの各エントリ（１０４４Ａ〜Ｚ）には、木構造中で当該セグメントメタデータブロック１０４の下位に位置する各メタデータブロック（セグメント／ブロックメタデータブロック）のディスク装置１０８上のアドレスを格納する。例えば、図２では、ｍ＝２であり、セグメントメタデータブロック１０４Ｂの下位メタデータブロックアドレス（０）および（１）にはブロックメタデータブロック１０３Ａおよび１０３Ｂのアドレスが、セグメントメタデータブロック１０４Ａの下位メタデータブロックアドレス（０）および（１）にはセグメントメタデータブロック１０４Ｂおよび１０４Ｃのアドレスが、それぞれ格納される。
Each entry (1044A to Z) of the lower metadata block address includes an address on the
次に、セグメント／ブロックメタデータブロックにより構成される木構造を特徴付けるパラメータについて一般的に成り立つ関係を説明する。ファイルデータブロックのサイズをＢバイト、ブロックメタデータブロックの最大エントリ数をｎ、セグメントメタデータブロックの最大エントリ数をｍとすると、Ｓバイトのファイルに必要な木構造の高さＨは、式（１）で表される。 Next, the relationship that generally holds for the parameters that characterize the tree structure composed of segment / block metadata blocks will be described. If the size of the file data block is B bytes, the maximum number of entries in the block metadata block is n, and the maximum number of entries in the segment metadata block is m, the height H of the tree structure required for the S-byte file is given by the formula ( 1).
ただし、
階層レベルｈに位置するメタデータブロック数Ｋｈは、式（３）で表される。 The number of metadata blocks K h located at the hierarchy level h is expressed by Expression (3).
各ファイルデータブロックにファイル中のオフセット順にブロック番号ｉ（０≦ｉ＜Ｉ（Ｓ））を付与すると、オフセットｓバイトのデータを含むファイルデータブロックのブロック番号ｉは、式（４）で与えられる。 When the block number i (0 ≦ i <I (S)) is assigned to each file data block in the order of the offset in the file, the block number i of the file data block including data of offset s bytes is given by Expression (4). .
ただし、
また、階層レベルｈのメタデータブロックにおいて、セグメント／ブロックメタデータの各エントリに対応する最大セグメントサイズＧｈは、式（６）で表される。 Further, in the metadata block at the hierarchical level h, the maximum segment size G h corresponding to each entry of the segment / block metadata is expressed by Expression (6).
ただし、ブロックメタデータブロックのブロックメタデータエントリに対応するファイルデータブロックを単一ファイルデータブロックからなるセグメントとみなしている。ファイルの末尾ではセグメントの一部しか使用されないため、実際のセグメントサイズｇｈは、最大セグメントサイズＧｈより小さくなることもある。階層レベルｈのメタデータブロックにおいて、オフセットｓバイトの位置のセグメント／ブロックメタデータエントリに対応するセグメントサイズｇｈは、式（７）の通りとなる。 However, the file data block corresponding to the block metadata entry of the block metadata block is regarded as a segment composed of a single file data block. Since the end of the file is only used part of the segment, the actual segment size g h may also be less than the maximum segment size G h. In the metadata block hierarchical level h, segment size g h corresponding to the segment / block metadata entry position offset s byte becomes as Equation (7).
さらに、階層レベルｈのメタデータブロックｋｈにおいて、オフセットｓバイトの位置に対応するセグメント／ブロックメタデータおよび下位メタデータブロックアドレスのエントリ番号ｊｈは、式（８）で与えられる。 Further, in the metadata block k h at the hierarchy level h, the segment / block metadata corresponding to the position of the offset s bytes and the entry number j h of the lower metadata block address are given by Expression (8).
ただし、ｘ ｍｏｄ ｎは、ｘをｎで割った剰余を表す。 Here, x mod n represents a remainder obtained by dividing x by n.
次に、メタデータブロック管理手段１０６の動作について説明する。図６は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段の動作を説明するための図である。
Next, the operation of the metadata
この図６は、ファイルへの書き込みに伴ってファイルサイズが拡張される際に、メタデータブロック管理手段１０６によりメタデータブロック木構造に加えられる変更を示す。ここでは、ｎ＝４、ｍ＝３としている。 FIG. 6 shows changes made to the metadata block tree structure by the metadata block management means 106 when the file size is expanded as the file is written. Here, n = 4 and m = 3.
書き込み前のファイルサイズを６・Ｂとすると、ブロック番号ｉ＝０〜５の６つのファイルデータブロック（斜線部分）が存在し、メタデータブロックが構成する木構造の高さは２となる（Ｈ（６・Ｂ）＝２）。書き込み前の木構造のレベル０の位置には２つ（Ｋ０（６・Ｂ）＝２）のブロックメタデータブロックが存在し、レベル１の位置にはルートメタデータブロックとなるセグメントメタデータブロックが１つ（Ｋ１（６・Ｂ）＝１）存在する。ｋ０＝０のブロックメタデータブロックのエントリは全て使用され、エントリ番号ｊ０＝０，１，２，３にはファイルデータブロックｉ＝０，１，２，３のメタデータがそれぞれ格納される。また、ｋ０＝１のブロックメタデータブロックのエントリは先頭の２つのみ使用され、エントリ番号ｊ０＝０，１にファイルデータブロックｉ＝４，５のメタデータがそれぞれ格納される。ｋ１＝０のセグメントメタデータブロックのエントリは先頭の２つのみ使用され、エントリ番号ｊ１＝０，１の下位メタデータブロックアドレスにブロックメタデータブロックｋ０＝０，１のアドレスがそれぞれ格納される。また、エントリ番号ｊ１＝０，１のセグメントメタデータには、ファイルデータブロックｉ＝０〜３，４〜５に対応するセグメントのメタデータがそれぞれ格納される。
If the file size before writing is 6 · B, there are six file data blocks (shaded portions) with block numbers i = 0 to 5, and the height of the tree structure formed by the metadata block is 2 (H (6 · B) = 2). There are two (K 0 (6 · B) = 2) block metadata blocks at the
ファイルへの書き込みによりファイルサイズが変化しない場合、すなわちファイルデータブロックｉ＝０〜５のいずれかに対する書き込みの際は、メタデータブロックの木構造は変化せず、ファイル／セグメント／ブロックメタデータのみが更新される。例えば、ブロック番号ｉ＝４のファイルデータブロックへの書き込みに対しては、ブロックメタデータブロックｋ０（４・Ｂ）＝１のブロックメタデータ（ｊ０（４・Ｂ）＝０）、セグメントメタデータブロックｋ１（４・Ｂ）＝０のセグメントメタデータ（ｊ１（４・Ｂ）＝１）、およびファイルメタデータが更新対象となる。 When the file size is not changed by writing to the file, that is, when writing to any of the file data blocks i = 0 to 5, the tree structure of the metadata block is not changed, and only the file / segment / block metadata is stored. Updated. For example, for writing to a file data block with block number i = 4, block metadata block k 0 (4 · B) = 1 block metadata (j 0 (4 · B) = 0), segment metadata The segment metadata (j 1 (4 · B) = 1) of the data block k 1 (4 · B) = 0 and the file metadata are to be updated.
メタデータの内、最終更新日時と世代番号については各メタデータエントリに同一の値を設定する。すなわち、最終更新日時には現在の日時を、世代番号にはファイルメタデータの世代番号に１を加えた値をそれぞれ設定する。これらは書き込まれるデータ自体には影響されないデータ非依存メタデータであり、階層レベル間で次の関係が成り立つ。 Among the metadata, the same value is set in each metadata entry for the last update date and time and the generation number. That is, the current date and time are set as the last update date and time, and a value obtained by adding 1 to the generation number of the file metadata is set as the generation number. These are data-independent metadata that is not affected by the data to be written, and the following relationship is established between hierarchical levels.
データ非依存セグメントメタデータ（ｊ）
＝下位メタデータブロックアドレス（ｊ）が指すメタデータブロックのデータ非依存セグメント／ブロックメタデータ（０）〜（有効エントリ数−１）の最大値
Data-independent segment metadata (j)
= Maximum value of data-independent segment / block metadata (0) to (number of valid entries-1) of the metadata block indicated by the lower metadata block address (j)
同様に、次の関係も成り立つ。 Similarly, the following relationship holds.
データ非依存ファイルメタデータ
＝ルートメタデータブロックのデータ非依存セグメント／ブロックメタデータ（０）〜（有効エントリ数−１）の最大値
Data-independent file metadata = maximum value of data-independent segment / block metadata (0) to (number of valid entries -1) of root metadata block
一方、データ依存メタデータであるチェックサムについては、階層レベル間で一定の関係が成り立つよう、次のように定義する。 On the other hand, a checksum that is data-dependent metadata is defined as follows so that a certain relationship is established between hierarchical levels.
セグメントメタデータ（ｊ）のチェックサム部
＝下位メタデータブロックアドレス（ｊ）が指すメタデータブロックのセグメント／ブロックメタデータ（０）〜（有効エントリ数−１）のチェックサム部に対して求めたチェックサム値
Checksum part of segment metadata (j) = calculated for checksum part of segment / block metadata (0) to (number of valid entries -1) of metadata block indicated by lower metadata block address (j) Checksum value
ファイルメタデータのチェックサム部
＝ルートメタデータブロックのセグメント／ブロックメタデータ（０）〜（有効エントリ数−１）のチェックサム部に対して求めたチェックサム値
File metadata checksum part = root metadata block segment / block metadata (0) to (sum of valid entries minus 1) checksum part obtained for the checksum part
これらの定義は、ファイル／セグメントデータに対するチェックサム関数を階層レベル毎に変えることに相当するが、階層レベル間でチェックサム値の比較を行うことはないため、ファイル／セグメントの更新の有無を判定するには十分である。これにより、階層レベルの下位から上位に向かって段階的にチェックサムを計算することが可能になる。ファイル／セグメントデータから直接チェックサムを計算する場合、１つのファイルデータブロックを更新する都度ファイル全体を読み出す必要が生じ、極めて非効率となる。 These definitions are equivalent to changing the checksum function for file / segment data for each hierarchical level, but checksum values are not compared between hierarchical levels, so it is determined whether a file / segment has been updated. It is enough to do. This makes it possible to calculate the checksum step by step from the lower level to the higher level of the hierarchy level. When calculating the checksum directly from the file / segment data, it is necessary to read the entire file every time one file data block is updated, which is extremely inefficient.
次に、ファイルへの書き込みがブロック番号ｉ＝１８のファイルデータブロックに対して行われるとすると、ファイルサイズは１９・Ｂに増加し、木構造はＨ（１９・Ｂ）＝３の高さが必要になる。そこで、メタデータブロック管理手段１０６は、元のルートメタデータブロック（ｋ１＝０）の上位（階層レベル＝２）にセグメントメタデータブロック（ｋ２＝０）を割り当てて新たなルートメタデータブロックとし、元のルートメタデータブロック（ｋ１＝０）のアドレスを新たなルートメタデータブロック（ｋ２＝０）の下位メタデータブロックアドレス（０）に格納する。また、元のルートメタデータブロック（ｋ１＝０）のセグメントメタデータ（０）〜（１）の最終更新日時と世代番号の最大値を新たなルートメタデータブロック（ｋ１＝０）のセグメントメタデータ（０）に設定する。 Next, if writing to the file is performed for the file data block with block number i = 18, the file size increases to 19 · B, and the tree structure has a height of H (19 · B) = 3. I need it. Therefore, the metadata block management means 106 assigns the segment metadata block (k 2 = 0) to the upper level (hierarchy level = 2) of the original root metadata block (k 1 = 0), and creates a new root metadata block. And the address of the original root metadata block (k 1 = 0) is stored in the lower metadata block address (0) of the new root metadata block (k 2 = 0). Further, the segment data (0) to (1) of the original root metadata block (k 1 = 0) is updated with the latest update date and time and the maximum value of the generation number in the segment of the new root metadata block (k 1 = 0). Set to metadata (0).
また、ブロック番号ｉ＝１８に対応するエントリは、ブロックメタデータブロックｋ０（１８・Ｂ）＝４のブロックメタデータ（ｊ０（１８・Ｂ）＝２）、セグメントメタデータブロックｋ１（１８・Ｂ）＝１のセグメントメタデータ（ｊ１（１８・Ｂ）＝１）、およびセグメントメタデータブロックｋ２（１８・Ｂ）＝１のセグメントメタデータ（ｊ２（１８・Ｂ）＝１）であり、存在しないｋ０＝４とｋ１＝１のメタデータブロックを割り当てると共に、下位メタデータブロックアドレスのエントリを設定して新たな木構造を構成する。 An entry corresponding to block number i = 18 includes block metadata block k 0 (18 · B) = 4 block metadata (j 0 (18 · B) = 2), segment metadata block k 1 (18 B) = 1 segment metadata (j 1 (18 · B) = 1) and segment metadata block k 2 (18 · B) = 1 segment metadata (j 2 (18 · B) = 1) And a non-existent metadata block of k 0 = 4 and k 1 = 1 is assigned, and an entry of a lower metadata block address is set to form a new tree structure.
ここでは、ブロック番号６から１７のファイルデータブロックに対する書き込みは行われず、ファイルデータブロックが物理的に割り当てられないホールが生じるものとしている。例えば、ｅｘｔ３など、一般的なファイルシステムはホールの存在を許しており、ホール領域からの読み込みを行った場合は当該領域がバイト値０で埋め尽くされているものとして扱う。メタデータブロック管理手段１０６も同様に、対応するファイルデータブロックやセグメントがホールのみとなるメタデータブロック（ｋ０＝２および３）の割り当ては行わない。また、階層レベル上位の対応する下位メタデータブロックアドレス（セグメントメタデータブロックｋ１＝０のエントリｊ１＝２およびセグメントメタデータブロックｋ１＝１のエントリｊ１＝０）には無効値（アドレス０）を格納する。これら未割り当てメタデータブロックは、ホールへの書き込みの際にメタデータブロック管理手段１０６により必要に応じて割り当てられる。
Here, it is assumed that writing to the file data blocks of block numbers 6 to 17 is not performed, and a hole in which the file data block is not physically allocated is generated. For example, a general file system such as ext3 allows the presence of a hole, and when reading from a hole area, the area is treated as being filled with a byte value of 0. Similarly, the metadata
一方、一部にホールを含むメタデータブロック（ｋ０＝１，４およびｋ１＝０，１）においてはホールに対応するエントリ（メタデータブロックｋ０＝１のエントリ２，３、メタデータブロックｋ０＝４のエントリ０，１、メタデータブロックｋ１＝０のエントリ２、メタデータブロックｋ１＝１のエントリ０）を含むことになる。ホールはそれを生じさせるファイルデータブロック（ｉ＝１８）への書き込みと同時に、当該領域（ｉ＝６〜１７）にバイト値０が書き込まれたものとして扱う。従って、これらのエントリに対応するセグメント／ブロックメタデータの内、データ非依存の最終更新日時および世代番号については、書き込みブロック（ｉ＝１８）に対応するエントリと同様、現在の日時およびファイル世代番号＋１をそれぞれ設定する。一方、データ依存メタデータすなわちチェックサムについては、バイト値０で埋められているファイルデータブロックやセグメントと同じ値になるようにする。これらのチェックサム値は予め計算しておくことができる。階層レベル上位へのチェックサム値の伝播は通常の書き込みと同様に行う。ホールに対応するエントリはホールの先頭と末尾の両端に生じる可能性があり、後者は書き込みブロックに対応するメタデータブロック上に生じるが、前者は元のファイルの末尾に生じるため、ホールを生じない書き込みと比較して複雑な処理を要する。
On the other hand, in a metadata block partially including holes (k 0 = 1, 4 and k 1 = 0, 1), entries corresponding to holes (
ファイルサイズの縮小は、ファイルへの書き込みによっては起こらないが、明示的なファイルサイズ切り詰め操作により発生する。この場合の変化は図６の新旧を逆転させることに相当し、ファイルシステム管理手段１０５が不要なファイルデータブロックを解放すると共に、メタデータブロック管理手段１０６は不要なメタデータブロックを解放し、ルートメタデータブロックを変更することで木構造の高さを減少させる。 The file size reduction does not occur by writing to the file, but occurs by explicit file size truncation operations. The change in this case corresponds to reversing the old and new in FIG. 6, the file system management means 105 releases unnecessary file data blocks, and the metadata block management means 106 releases unnecessary metadata blocks, and the root Change the metadata block to reduce the height of the tree structure.
次に、メタデータブロック管理手段１０６の動作を実現するための手段について説明する。図７は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイル書き込み動作の概要を示すフローチャートである。ただし、書き込みはファイルデータブロック単位に行い、複数のファイルデータブロックにまたがる書き込みは複数回に分けて処理するものとする。 Next, means for realizing the operation of the metadata block management means 106 will be described. FIG. 7 is a flowchart showing an outline of the file write operation of the metadata block management means of the file replication system according to the first embodiment of the present invention. However, writing is performed in units of file data blocks, and writing across a plurality of file data blocks is processed in multiple steps.
まず、ステップＳ７０１において、入力パラメータを元に変数の初期化を行う。入力パラメータは、書き込み開始オフセットｓ、書き込みサイズｇの２つであり、ｓと式（４）により定まる書き込みファイルデータブロック番号ｉ（ｓ）を変数ｉにセットする。書き込み領域が単一のファイルデータブロックに収まるためには、ｓ，ｇ，ｉの間にｓ＋ｇ≦（ｉ＋１）・Ｂの関係が成り立っている必要がある。また、書き込み前におけるファイル管理情報（ｉノード）１０１のファイルサイズ１０１１の値を変数Ｓに、ｍａｘ（Ｓ，ｓ＋ｇ）で与えられる書き込み後のファイルサイズを変数Ｓ’に、それぞれセットする。
First, in step S701, variables are initialized based on input parameters. There are two input parameters, a write start offset s and a write size g, and a write file data block number i (s) determined by s and Expression (4) is set in a variable i. In order for the write area to fit in a single file data block, the relationship of s + g ≦ (i + 1) · B needs to be established between s, g, and i. Further, the value of the
次に、ステップＳ７０２において、ファイル管理情報（ｉノード）１０１を更新する。すなわち、ファイルサイズ１０１１にＳ’を格納し、ファイルメタデータ１０１２のデータ非依存部、すなわち最終更新日時に現在の日時を、世代番号に現在の世代番号に１を加えた値を、それぞれ格納する。
In step S702, the file management information (i-node) 101 is updated. That is, S ′ is stored in the
次に、ステップＳ７０３において、後述する手順により書き込み後ファイルサイズＳ’に対して階層レベル数が十分かどうか判定し、不足する場合は階層レベルの追加を行う。 Next, in step S703, it is determined whether the number of hierarchical levels is sufficient with respect to the post-write file size S 'by a procedure described later.
次に、ステップＳ７０４において、書き込みファイルデータブロックｉに対応するメタデータブロックをルートメタデータブロックから下位階層レベルに向かって辿り、未割り当てメタデータブロックがあれば割り当てを行う。また、セグメント／ブロックメタデータの内、データ非依存部を設定する。ファイルにホールが生じる場合はホール末尾領域に対応するメタデータブロックのセグメント／ブロックメタデータエントリの設定も併せて行う。 Next, in step S704, the metadata block corresponding to the write file data block i is traced from the root metadata block toward the lower hierarchical level, and if there is an unallocated metadata block, allocation is performed. In addition, a data-independent portion is set in the segment / block metadata. When a hole occurs in the file, the setting of the metadata block segment / block metadata entry corresponding to the hole end area is also performed.
続いて、ステップＳ７０５において、ファイルにホールが生じる場合、ホール先頭領域に対応するメタデータブロックのセグメント／ブロックメタデータエントリの設定を行う。 Subsequently, in step S705, when a hole is generated in the file, a segment / block metadata entry of the metadata block corresponding to the hole head region is set.
さらに、ステップＳ７０６において、書き込みファイルデータブロックｉに対応するブロックメタデータブロックのブロックメタデータの内、チェックサムを更新し、上位セグメントメタデータブロックのセグメントメタデータを階層的に更新する。ファイルにホールが生じる場合はホール先頭領域に対応するメタデータブロックのセグメントメタデータも階層的に更新する。 In step S706, the checksum of the block metadata block corresponding to the write file data block i is updated, and the segment metadata of the upper segment metadata block is hierarchically updated. When a hole occurs in the file, the segment metadata of the metadata block corresponding to the hole head region is also updated hierarchically.
最後に、ステップＳ７０７において、ルートメタデータブロックのセグメント／ブロックメタデータ（０）〜（有効エントリ数−１）に基づいてファイルメタデータ１０１２のチェックサムを更新する。
Finally, in step S707, the checksum of the
次に、ステップＳ７０３〜ステップＳ７０６のそれぞれの詳細な動作を説明する。図８は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイル書き込み動作のステップＳ７０３の詳細な動作を示すフローチャートである。 Next, detailed operations of steps S703 to S706 will be described. FIG. 8 is a flowchart showing the detailed operation of step S703 of the file write operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ８０１において、変数ｒをファイル管理情報（ｉノード）１０１のルートメタデータブロックアドレス１０１３の値に初期化し、変数ｈをｒが指すメタデータブロック（１０４または１０３）の階層レベル（１０４１または１０３１）の値に初期化する。
First, in step S801, the variable r is initialized to the value of the root
続いて、ステップＳ８０２において、ｈ＋１を式（１）に基づくＨ（Ｓ’）と比較し、ｈ＋１の方が小さい場合はステップＳ８０３に進み、そうでない場合は処理を終了する。ここで、ｈ＋１は書き込み前のメタデータブロック木構造の高さ、Ｈ（Ｓ’）は書き込み後のメタデータブロック木構造の高さを表しており、ステップＳ８０２によりファイルの拡張に対して木構造の高さを増加させる必要があるかどうかの判定が行われる。 Subsequently, in step S802, h + 1 is compared with H (S ′) based on equation (1). If h + 1 is smaller, the process proceeds to step S803, and if not, the process ends. Here, h + 1 represents the height of the metadata block tree structure before writing, and H (S ′) represents the height of the metadata block tree structure after writing. In step S802, the tree structure is expanded with respect to the file extension. A determination is made whether it is necessary to increase the height of.
ステップＳ８０３において、新たなセグメントメタデータブロック１０４を割り当て、次のように初期化する。すなわち、階層レベル１０４１にｈ＋１を、有効エントリ数１０４２に１を、下位メタデータブロックアドレス（０）（１０４４Ａ）にｒの値を、セグメントメタデータ（０）にｒが指すメタデータブロックのセグメントメタデータ（０）〜（有効エントリ数−１）から求めたメタデータ値を、それぞれ格納する。ただし、メタデータの内最終更新日時および世代番号については、ｒが指すメタデータブロックのセグメントメタデータ（０）〜（有効エントリ数−１）の最大値を用い、チェックサムについてはｒが指すメタデータブロックのセグメントメタデータ（０）〜（有効エントリ数−１）から算出した値を用いる。
In step S803, a new
次に、ステップＳ８０４において、ファイル管理情報（ｉノード）１０１のルートメタデータブロックアドレス１０１３にステップＳ８０３で割り当てたメタデータブロックのアドレスを設定し、ステップＳ８０２に戻る。ステップＳ８０３とステップＳ８０４の動作により、書き込み前のルートメタデータブロックの上位に新たなルートメタデータブロックが挿入される。
In step S804, the address of the metadata block assigned in step S803 is set in the root
図９は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイル書き込み動作のステップＳ７０４の詳細な動作を示すフローチャートである。 FIG. 9 is a flowchart showing the detailed operation of step S704 of the file write operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ９０１において、変数ｈをｒが指すルートメタデータブロック（１０４または１０３）の階層レベル（１０４１または１０３１）の値に初期化し、変数ｐｈをｒに設定する。 First, at step S901, the initialized to the value of the hierarchical level (1041 or 1031) of the root metadata blocks that points to the variable h r is (104 or 103), it sets the variable p h a r.
ステップＳ９０２において、階層レベルｈにおいて書き込み開始オフセットｓに対応する式（８）のエントリ番号ｊｈ（ｓ）を変数ｊｈに設定する。 In step S902, the entry number j h (s) of Expression (8) corresponding to the write start offset s at the hierarchy level h is set to the variable j h .
次に、ステップＳ９０３において、ｈを０と比較し、ｈが０より大きければステップＳ９０４に進み、そうでなければステップＳ９１２に進む。 Next, in step S903, h is compared with 0. If h is greater than 0, the process proceeds to step S904, and if not, the process proceeds to step S912.
ステップＳ９０４において、ｊｈとｐｈが指すセグメントメタデータブロックの有効エントリ数を比較し、ｊｈの方が小さければステップ９０５に進み、そうでない場合はステップＳ９０７に進む。 In step S904, the comparing the number of valid entries in the segment metadata block pointed to j h and p h, the smaller the better for j h proceeds to step 905, otherwise the process proceeds to step S907.
ステップＳ９０５において、ｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）が無効値かどうかを判定し、無効値であればステップＳ９０６に進み、そうでない場合はステップＳ９１０に進む。 In step S905, the lower the metadata block address of the segment metadata block pointed to p h (j h) it is determined whether or not an invalid value, the process proceeds to step S906 if an invalid value, otherwise proceeds to step S910.
ステップＳ９０６において、セグメントメタデータブロック（ｈ＞１の時）またはブロックメタデータブロック（ｈ＝１の時）を割り当てて初期化する。階層レベルをｈ−１に、有効エントリ数はｈ＞１であればｍに、ｈ＝１であればｎに設定する。また、セグメント／ブロックメタデータブロックの全エントリについて、データ非依存部（最終更新日時および世代番号）をｐｈが指すセグメントメタデータブロックのセグメントメタデータ（ｊｈ）の値に設定すると共に、チェックサムをホールに対応する値、すなわちバイト値０で満たされたセグメントに対して階層的に計算した値に設定する。さらに、ｈ＞１の時は下位メタデータブロックアドレスの全エントリ（０〜ｍ−１）に無効値を設定する。このステップは既存のホールに書き込みを行う場合に実行され、図６における未割り当てメタデータブロックを割り当て、設定する処理を実現する。 In step S906, a segment metadata block (when h> 1) or a block metadata block (when h = 1) is allocated and initialized. The hierarchical level is set to h-1, and the number of valid entries is set to m if h> 1, and to n if h = 1. Also, for all entries in the segment / block metadata block, and sets the value of the data-independent part (last updated and generation number) segment metadata segment metadata block pointed to p h (j h), check The thumb is set to a value corresponding to the hole, that is, a value calculated hierarchically for a segment filled with a byte value of zero. Further, when h> 1, invalid values are set in all entries (0 to m−1) of the lower metadata block address. This step is executed when writing to an existing hole, and realizes a process of assigning and setting an unallocated metadata block in FIG.
一方、ステップＳ９０７において、ｐｈが指すセグメントメタデータブロックの更新を行う。エントリ番号が現在の有効エントリ数〜ｊｈ−１に対応する下位メタデータブロックアドレスに全て無効値を設定し、セグメントメタデータのデータ非依存部にファイルメタデータ１０１２の値を、チェックサムにホールに対応する値をそれぞれ設定する。その後、有効エントリ数にｊｈ＋１を設定する。本ステップはファイルサイズの拡張を伴う書き込みにおいて実行される。ホールを生じる際にはホール末尾領域に対応するセグメントメタデータエントリの設定も行う。ホールを生じないファイルサイズ拡張においてはｊｈ＝有効エントリ数となり、下位メタデータブロックアドレスやセグメントメタデータの設定対象エントリは存在しない。
On the other hand, in step S907, it updates the segment metadata block pointed to p h. All the invalid values are set in the lower metadata block addresses corresponding to the entry number of the current valid entry number to j h −1, the value of the
続いて、ステップＳ９０８において、新たなセグメント／ブロックメタデータブロックを割り当て、階層レベルをｈ−１に、有効エントリ数を０に初期化する。 Subsequently, in step S908, a new segment / block metadata block is allocated, the hierarchical level is initialized to h-1, and the number of valid entries is initialized to zero.
ステップＳ９０９において、ｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）に、ステップＳ９０６またはステップＳ９０８において新たに割り当てたセグメント／ブロックメタデータブロックのアドレスを設定する。 In step S909, the lower the metadata block address of the segment metadata block pointed to p h (j h), it sets the address of the newly allocated segment / block metadata block in step S906 or step S908.
続く、ステップＳ９１０において、ｐｈが指すセグメントメタデータブロックのセグメントメタデータ（ｊｈ）のデータ非依存部にファイルメタデータ１０１２の値を設定する。
Subsequent step S910, sets the value of the
ステップＳ９１１において、変数ｐｈ−１にｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）の値を設定し、変数ｈを１減じた上で、ステップＳ９０２以下の処理を繰り返す。
In step S911, sets the value of the lower metadata block address of the segment metadata block pointed to p h variable p h-1 (j h), the variable h on
ステップＳ９０３に続くステップＳ９１２では、ｐｈが指すブロックメタデータブロックのブロックメタデータ（ｊｈ）のデータ非依存部にファイルメタデータ１０１２の値を設定し、処理を終了する。
At step S903 subsequent step S912, sets the value of the
図１０は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイル書き込み動作のステップＳ７０５の詳細な動作を示すフローチャートである。 FIG. 10 is a flowchart showing the detailed operation of step S705 of the file write operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ１００１において、式（４）に基づき、書き込み前ファイルサイズＳに引き続く領域のブロック番号ｉ（Ｓ）と書き込みブロック番号ｉ（ｓ）を比較する。前者の方が小さい場合はホールが生じているのでステップＳ１００２に進み、そうでない場合はホールが生じていないので終了する。 First, in step S1001, the block number i (S) of the area following the pre-write file size S is compared with the write block number i (s) based on the equation (4). If the former is smaller, a hole has occurred, so the process proceeds to step S1002, and if not, the process ends because no hole has occurred.
ステップＳ１００２において、変数ｈをｒが指すルートメタデータブロックの階層レベルの値に初期化し、変数ｐｈ’をｒに設定する。 In step S1002, the variable h is initialized to the value of the hierarchy level of the root metadata block pointed to by r, and the variable p h ′ is set to r.
ステップＳ１００３において、式（５）と式（８）に基づき次の値を求める。すなわち、階層レベルｈにおいてオフセットＳに対応するメタデータブロック番号ｋｈ’＝ｋｈ（Ｓ）およびエントリ番号ｊｈ’＝ｊｈ（Ｓ）と、階層レベルｈにおいてオフセットｓに対応するメタデータブロック番号ｋｈ＝ｋｈ（ｓ）およびエントリ番号ｊｈ＝ｊｈ（ｓ）である。前者はホールの先頭領域に対応し、後者はホールの末尾領域に対応する。 In step S1003, the next value is obtained based on equations (5) and (8). In other words, metadata block number corresponding to the offset S in the hierarchical level h k h '= k h ( S) and the entry number j h' = j h and (S), the metadata block corresponding to the offset s in a hierarchical level h The number k h = k h (s) and the entry number j h = j h (s). The former corresponds to the top area of the hole, and the latter corresponds to the end area of the hole.
続いて、ステップＳ１００４において、ｋｈ’とｋｈを比較し、ｋｈ’が小さい場合はステップＳ１００７へ、そうでない場合はステップＳ１００５へ進む。 Subsequently, in step S1004, 'compares the k h, k h' k h If is small to step S1007, otherwise proceeds to step S1005.
ステップＳ１００５において、ｊｋ’＋１とｊｋを比較し、前者が小さければステップＳ１００６へ、そうでなければステップＳ１００８へ進む。 In step S1005, j k '+1 and j k are compared. If the former is small, the process proceeds to step S1006, and if not, the process proceeds to step S1008.
ステップＳ１００６において、ｐｈ’が指すメタデータブロックのセグメント／ブロックメタデータ（ｊｈ’＋１）〜（ｊｈ−１）の内、データ非依存部（最終更新日時および世代番号）をファイルメタデータの値に設定し、チェックサムをホールに対応する値に設定する。本ステップは、ホール前後の領域が１つのメタデータブロックに含まれている場合に、ホールに対応するメタデータエントリを設定する処理を行う。 In step S1006, among the 'segment / block metadata of the metadata block pointed to (j h' p h +1) ~ (j h -1), the data-independent part (last updated and generation number) the file metadata Set the checksum to the value corresponding to the hole. This step performs a process of setting a metadata entry corresponding to a hole when an area before and after the hole is included in one metadata block.
また、ステップＳ１００７において、ｐｈ’が指すメタデータブロックを更新する。ｈ＞０の時は有効エントリ数をｍに設定し、セグメントメタデータ（ｊｈ’＋１）〜（ｍ−１）の内、データ非依存部（最終更新日時および世代番号）をファイルメタデータの値に、チェックサムをホールに対応する値にそれぞれ設定する。また、ｈ＝０の時は有効エントリ数をｎに設定し、ブロックメタデータ（ｊｈ’＋１）〜（ｎ−１）の内データ非依存部（最終更新日時および世代番号）をファイルメタデータの値に、チェックサムをホールに対応する値にそれぞれ設定する。本ステップは、ホールが複数メタデータブロックにまたがっている場合に、ホールの先頭領域がかかるメタデータブロックの処理を行う。 Further, in step S1007, it updates the metadata block pointed to by p h '. When h> 0, the number of valid entries is set to m, and among the segment metadata (j h '+1) to (m−1), the data independent part (last update date and generation number) is set in the file metadata. Set the checksum to the value corresponding to the hole. When h = 0, the number of valid entries is set to n, and the data independent part (last update date and generation number) of the block metadata (j h '+1) to (n−1) is set as file metadata. Set the checksum to the value corresponding to the hole. In this step, when a hole extends over a plurality of metadata blocks, the processing of the metadata block in which the head area of the hole is related is performed.
ステップＳ１００６とステップＳ１００７に引き続くステップＳ１００８では、ｈを０と比較し、ｈ＞０ならステップＳ１００９に進み、そうでなければ終了する。 In step S1008 following step S1006 and step S1007, h is compared with 0. If h> 0, the process proceeds to step S1009; otherwise, the process ends.
ステップＳ１００９において、変数ｐｈ−１’にｐｈ’が指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ’）の値を設定し、変数ｈを１減じた上で、ステップＳ１００３以下の処理を繰り返す。ｐｈ’は常にホールの先頭領域に対応するメタデータブロックを指す。
In step S1009, it sets the value of the lower metadata block address of the segment metadata block pointed to 'p h a' variable p h-1 (j h ' ), after having subtracted
図１１は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイル書き込み動作のステップＳ７０６の詳細な動作を示すフローチャートである。 FIG. 11 is a flowchart showing detailed operations in step S706 of the file write operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ１１０１において、図９の手順で設定したｐ０が指すブロックメタデータブロックのブロックメタデータ（ｊ０）のチェックサムを書き込みファイルデータブロックｉの先頭ｇ０（ｓ）バイトの内容から計算する。ｇ０（ｓ）は当該ファイルデータブロックがファイル末尾の時にＢより小さくなることもある（式（７））。 First, in step S1101, the checksum of the block metadata block (j 0 ) of the block metadata block pointed to by p 0 set in the procedure of FIG. 9 is calculated from the contents of the first g 0 (s) bytes of the write file data block i. To do. g 0 (s) may be smaller than B when the file data block is at the end of the file (formula (7)).
次に、ステップＳ１１０２において、変数ｈに０を設定する。 Next, in step S1102, 0 is set to the variable h.
ステップＳ１１０３において、ｐｈをファイル管理情報（ｉノード）１０１のルートメタデータブロックアドレス１０１３の値と比較し、等しければ終了する。
In step S1103, the p h compared with the values of the file management information (i node) 101 of the root
両者が等しくない場合は、ステップＳ１１０４において、ｈに１を加える。 If they are not equal, 1 is added to h in step S1104.
続く、ステップＳ１１０５において、ｐｈ（図９で設定したもの）が指すセグメントメタデータブロックのセグメントメタデータ（ｊｈ）に含まれるチェックサムを、ｐｈ−１が指す下位のメタデータブロックにおけるセグメント／ブロックメタデータ（０）〜（有効エントリ数−１）の値から計算して設定する。 Subsequent segment in step S1105, the p h a checksum included in the segment metadata segment metadata blocks (those set in FIG. 9) points (j h), lower order of the metadata blocks p h-1 points / Block metadata (0) to (effective entry number-1) are calculated and set.
ステップＳ１１０６において、ホールが生じ、かつｐｈ’（図１０で設定したもの）≠ｐｈが成り立つ場合は、ｐｈ’が指すセグメントメタデータブロックのセグメントメタデータ（ｊｈ’）に含まれるチェックサムを、ｐｈ’が指す下位のメタデータブロックにおけるセグメント／ブロックメタデータ（０）〜（有効エントリ数−１）の値から計算して設定する。その後はステップＳ１１０３以下を繰り返す。 In step S1106, checks that are contained in the hole occurs, and p h '(as set in FIG. 10) if ≠ p h is satisfied, p h' segment metadata segment metadata block pointed to (j h ') Sam and segment / block metadata (0) in the metadata blocks in the lower pointed to p h 'set by calculation from the value of - (effective number of entries -1). Thereafter, step S1103 and subsequent steps are repeated.
次に、ファイルサイズの切り詰め操作におけるメタデータブロック管理手段１０６の動作を説明する。図１２は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイルサイズの切り詰め動作の概要を示すフローチャートである。 Next, the operation of the metadata block management means 106 in the file size truncation operation will be described. FIG. 12 is a flowchart showing an outline of the file size truncation operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ１２０１において、入力パラメータである切り詰め後のファイルサイズＳと式（４）に基づき、切り詰め後の最終ファイルデータブロック番号ｉ（Ｓ−１）を変数ｉに設定する。ただし、Ｓは元のファイルサイズより小さいものとし、そうでない場合はファイルシステム管理手段１０５によるメタデータブロック管理手段１０６の呼び出しは行われないものとする。
First, in step S1201, the final file data block number i (S-1) after truncation is set to the variable i based on the file size S after truncation which is an input parameter and Expression (4). However, it is assumed that S is smaller than the original file size. Otherwise, the file system management unit 105 does not call the metadata
次に、ステップＳ１２０２において、ファイル管理情報（ｉノード）１０１を更新する。すなわち、ファイルサイズ１０１１にＳを格納し、ファイルメタデータ１０１２のデータ非依存部、すなわち最終更新日時に現在の日時を、世代番号に現在の世代番号に１を加えた値を、それぞれ格納する。
In step S1202, the file management information (i-node) 101 is updated. That is, S is stored in the
次に、ステップＳ１２０３において、ファイルサイズの縮小により不要となった階層レベルの除去を行う。 In step S1203, layer levels that are no longer needed due to the reduction in file size are removed.
次に、ステップＳ１２０４において、最終ファイルデータブロックｉに対応するメタデータブロックをルートメタデータブロックから下位階層レベルに向かって辿り、不要となったメタデータブロックは解放し、ホールに対応する未割り当てメタデータブロックがあれば割り当てを行う。また、セグメント／ブロックメタデータの内、データ非依存部を設定する。 Next, in step S1204, the metadata block corresponding to the final file data block i is traced from the root metadata block toward the lower hierarchical level, the unnecessary metadata block is released, and the unallocated metadata corresponding to the hole is released. If there is a data block, it is assigned. In addition, a data-independent portion is set in the segment / block metadata.
ステップＳ１２０５において、ファイルデータブロックｉへの書き込みと同様にして対応するセグメント／ブロックメタデータ（チェックサム）の更新を行う。 In step S1205, the corresponding segment / block metadata (checksum) is updated in the same manner as the writing to the file data block i.
最後に、ステップＳ１２０６において、ルートメタデータブロックのセグメント／ブロックメタデータ（０）〜（有効エントリ数−１）に基づいてファイルメタデータ１０１２のチェックサムを更新する。
Finally, in step S1206, the checksum of the
図１３は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイルサイズの切り詰め動作のステップＳ１２０３の詳細な動作を示すフローチャートである。 FIG. 13 is a flowchart showing the detailed operation of step S1203 of the file size truncation operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ１３０１において、変数ｒをファイル管理情報（ｉノード）１０１のルートメタデータブロックアドレス１０１３の値に初期化し、変数ｈをｒが指すメタデータブロック（１０４または１０３）の階層レベル（１０４１または１０３１）の値に初期化する。
First, in step S1301, the variable r is initialized to the value of the root
ステップＳ１３０２において、ｈ＋１の値を式（１）に基づくＨ（Ｓ）の値と比較し、ｈ＋１の方が大きい場合はステップＳ１３０３に進み、そうでない場合は終了する。ここで、ｈ＋１はファイル切り詰め前のメタデータブロック木構造の高さ、Ｈ（Ｓ）はファイル切り詰め後のメタデータブロック木構造の高さを表しており、ステップＳ１３０２によりファイル切り詰めに対して木構造の高さを減少させる必要があるかどうかの判定が行われる。 In step S1302, the value of h + 1 is compared with the value of H (S) based on equation (1). If h + 1 is larger, the process proceeds to step S1303; otherwise, the process ends. Here, h + 1 represents the height of the metadata block tree structure before file truncation, and H (S) represents the height of the metadata block tree structure after file truncation. A determination is made whether it is necessary to reduce the height of the.
ステップＳ１３０３において、ファイル管理情報（ｉノード）１０１のルートメタデータブロックアドレスにｒが指すセグメントメタデータブロックの下位メタデータブロックアドレス（０）の値を格納する。 In step S1303, the value of the lower metadata block address (0) of the segment metadata block indicated by r is stored in the root metadata block address of the file management information (i-node) 101.
次いで、ステップＳ１３０４において、ｒが指すセグメントメタデータブロックの下位メタデータブロックアドレス（１）〜（有効エントリ数−１）が指すメタデータブロックの階層を下位階層レベルから順に解放し、最後にｒが指すセグメントメタデータブロックを解放する。その後、ステップＳ１３０１以下の手順を繰り返す。 Next, in step S1304, the hierarchy of the metadata block indicated by the lower metadata block address (1) to (number of valid entries −1) of the segment metadata block indicated by r is released in order from the lower hierarchy level, and finally r is Release the segment metadata block that points to. Then, the procedure after step S1301 is repeated.
図１４は、この発明の実施の形態１に係るファイル複製システムのメタデータブロック管理手段のファイルサイズの切り詰め動作のステップＳ１２０４の詳細な動作を示すフローチャートである。 FIG. 14 is a flowchart showing the detailed operation of step S1204 of the file size truncation operation of the metadata block management means of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ１４０１において、変数ｈをｒが指すルートメタデータブロックの階層レベルの値に初期化し、変数ｐｈをｒに設定する。 First, in step S1401, and initializes a variable h to the value of the hierarchical level of the root meta-data block pointed to by r, it sets the variable p h a r.
ステップＳ１４０２において、ｐｈが指すメタデータブロックのファイル切り詰め後の最終エントリ番号ｊｈ（Ｓ−１）を変数ｊｈに設定する。 In step S1402, it sets p h metadata block pointed to by the file truncate after the final entry number j h a (S-1) to the variable j h.
ステップＳ１４０３において、ｈを０と比較し、ｈ＞０の場合はステップＳ１４０４に進み、そうでない場合はステップＳ１４１１に進む。 In step S1403, h is compared with 0. If h> 0, the process proceeds to step S1404, and if not, the process proceeds to step S1411.
ステップＳ１４０４において、ｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ＋１）〜（有効エントリ数−１）が指すメタデータブロックの階層を解放する。 In step S1404, releasing the lower metadata block address (j h +1) ~ (effective number of entries -1) refers hierarchical metadata block segment metadata block pointed to p h.
ステップＳ１４０５において、ｐｈが指すセグメントメタデータブロックの有効エントリ数をｊｈ＋１に設定する。 In step S1405, sets the number of valid entries in the segment metadata block pointed to p h to j h +1.
ステップＳ１４０６において、ｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）が無効値かどうかを判定し、無効値であればステップＳ１４０７に進み、そうでない場合はステップＳ１４０９に進む。 In step S1406, the lower the metadata block address of the segment metadata block pointed to p h (j h) it is determined whether or not an invalid value, the process proceeds to step S1407 if it is an invalid value, otherwise proceeds to step S1409.
ステップＳ１４０７において、セグメントメタデータブロック（ｈ＞１の時）またはブロックメタデータブロック（ｈ＝１の時）を割り当てて初期化する。階層レベルをｈ−１に、有効エントリ数はｈ＞１であればｍに、ｈ＝１であればｎに設定する。また、セグメント／ブロックメタデータブロックの全エントリについて、データ非依存部（最終更新日時および世代番号）をｐｈが指すセグメントメタデータブロックのセグメントメタデータ（ｊｈ）の値に設定すると共に、チェックサムをホールに対応する値、すなわちバイト値０で満たされたセグメントに対して階層的に計算した値に設定する。さらに、ｈ＞１の時は下位メタデータブロックアドレスの全エントリ（０〜ｍ−１）に無効値を設定する。このステップはホール内に新たなファイルサイズを指定した切り詰めを行った場合に必要となる。 In step S1407, a segment metadata block (when h> 1) or a block metadata block (when h = 1) is allocated and initialized. The hierarchical level is set to h-1, and the number of valid entries is set to m if h> 1, and to n if h = 1. Also, for all entries in the segment / block metadata block, and sets the value of the data-independent part (last updated and generation number) segment metadata segment metadata block pointed to p h (j h), check The thumb is set to a value corresponding to the hole, that is, a value calculated hierarchically for a segment filled with a byte value of zero. Further, when h> 1, invalid values are set in all entries (0 to m−1) of the lower metadata block address. This step is necessary when truncation with a new file size specified in the hole.
ステップＳ１４０８において、ｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）に新たに割り当てたセグメント/ブロックメタデータブロックのアドレスを設定する。 In step S1408, it sets the address of the lower metadata block address (j h) to the newly allocated segment / block metadata block segment metadata block pointed to p h.
続く、ステップＳ１４０９において、ｐｈが指すセグメントメタデータブロックのセグメントメタデータ（ｊｈ）のデータ非依存部にファイルメタデータ１０１２の値を設定する。
Subsequent step S1409, sets the value of the
ステップＳ１４１０において、変数ｐｈ−１にｐｈが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）の値を設定し、変数ｈを１減じた上で、ステップＳ１４０２以下の処理を繰り返す。
In step S1410, sets the value of the lower metadata block address of the segment metadata block pointed to p h variable p h-1 (j h), the variable h on
ステップＳ１４０３に続くステップＳ１４１１では、ｐｈが指すブロックメタデータブロックの有効エントリ数をｊｈ＋１に設定し、終了する。 In the subsequent step S1403 Step S1411, the number of valid entries in the block metadata blocks p h points set j h +1, ends.
図１２に示すメタデータブロック管理手段１０６のステップＳ１２０５における動作は、図１１の手順と同様に実現することができる。
The operation in step S1205 of the metadata
以上説明した書き込み時と切り詰め時のメタデータブロック管理手段１０６の動作により、ディスク装置１０８上のファイルに対応するメタデータブロックの木構造を維持することが可能になる。
The operation of the metadata block management means 106 at the time of writing and truncation described above makes it possible to maintain the tree structure of metadata blocks corresponding to files on the
次に、複製元ファイル複製制御手段１０７および複製先ファイル複製制御手段２０７の動作について説明する。図１５は、この発明の実施の形態１に係るファイル複製システムの複製元システムの複製元ファイル複製制御手段及び複製先システムの複製先ファイル複製制御手段の動作を説明するための図である。
Next, operations of the copy source file
この図１５は、複製元システム１００と複製先システム２００の間で行われるファイル複製の手順を概念的に示す。ファイル複製は、図１５の右から左に進む形で行われる。太枠で示したものが実際に転送されるデータを現している。初めに、ファイルメタデータが比較され、ファイルが更新されているかどうかを検出する。ファイルメタデータが一致しなかった場合、複数のセグメントメタデータが比較され、どのセグメントが更新されたかを検出する。ここでは、２つのセグメントの内、下側のセグメントにおいてメタデータの不一致があったものとする。次に、不一致セグメントの構成要素間での比較が行われる。ここでは、２つのブロックメタデータが比較され、一番下のブロックで不一致が見付かったものとする。最後に、メタデータ不一致ブロックのデータ本体を複製元から複製先に転送し、複製先のディスク装置２０８に格納する。
FIG. 15 conceptually shows a file duplication procedure performed between the
図１６は、この発明の実施の形態１に係るファイル複製システムの複製元システム及び複製先システムのメッセージ交換のタイミングを説明するための図である。 FIG. 16 is a diagram for explaining the message exchange timing of the replication source system and the replication destination system of the file replication system according to the first embodiment of the present invention.
この図１６は、複製元システム１００と複製先システム２００の間で行われるメッセージ交換のタイミングを示す。まず、時刻ｔ１において、複製先から複製元へファイルメタデータを含むメッセージが送られる。複製元は、これを時刻ｔ２に受け取って自身のファイルメタデータと比較しファイルの更新検出を行う。更新が検出された結果、時刻ｔ３に複製元から複製先に最上位のセグメントメタデータを含むメッセージが返される。複製先は、時刻ｔ４にこれを受け取り、更新セグメントを検出する。時刻ｔ５に複製先から複製元へ更新が検出されたセグメントの下位セグメントのメタデータが送信される。複製元は、時刻ｔ６にこれを受け取って更新ブロックの検出を行う。時刻ｔ７に複製元は更新が検出されたブロックのデータ自体を複製先に向け送信する。複製先は、時刻ｔ８以降にブロックデータを受け取ってファイルの複製を更新する。
FIG. 16 shows the timing of message exchange performed between the
このように複製元と複製先は、更新の検出結果と下位階層レベルのメタデータ送信を一括して行い、交互に異なる階層レベルを比較することで、更新の検出をどちらか一方で固定的に実施した場合と比べてメッセージ交換の回数を約半分にすることを可能にしている。 In this way, the replication source and replication destination perform update detection results and metadata transmission at lower hierarchical levels in a batch, and alternately detect different hierarchical levels, so that update detection is fixed on either side. Compared to the case where it is implemented, the number of message exchanges can be halved.
図１７は、この発明の実施の形態１に係るファイル複製システムの複製先システムの複製先ファイル複製制御手段から複製元システムの複製元ファイル複製制御手段へ送られるファイル複製開始メッセージの構成を示す図である。
FIG. 17 is a diagram showing a configuration of a file replication start message sent from the replication destination file replication control unit of the replication destination system of the file replication system according to
この図１７は、ファイル複製の開始時点で、複製先ファイル複製制御手段２０７から複製元ファイル複製制御手段１０７に送付されるファイル複製開始メッセージ１７の内容を示す。ファイル複製開始メッセージ１７は、メッセージ種別１７０１、ファイル名文字列長１７０２、ファイル名文字列１７０３、ファイル識別子１７０４、ファイルサイズ１７０５、およびファイルメタデータ１７０６からなる。メッセージ種別１７０１は、受信側に対し、バイト列をどのメッセージとして解釈すべきかを指示する。ファイル名文字列１７０３は、通常の手段でファイルにアクセスする際に用いる名前であるが、ファイル識別子１７０４は、整数値など文字列よりも比較が容易な表現を用い、複製先ファイル複製制御手段２０７と複製元ファイル複製制御手段１０７の間でファイル複製処理を行っている期間のみ有効な識別子である。ファイル識別子１７０４は、複数ファイルの複製を並行して行う際に各ファイルを容易に識別するために用いる。ファイル識別子１７０４としては、ファイル名のハッシュ値、ファイルのiノード番号、などを用いることができる。
FIG. 17 shows the contents of a file
図１８は、この発明の実施の形態１に係るファイル複製システムの複製元システムの複製元ファイル複製制御手段から複製先システムの複製先ファイル複製制御手段へ送られるファイル一致応答メッセージの構成を示す図である。
FIG. 18 is a view showing the structure of a file match response message sent from the replication source file replication control means of the replication source system of the file replication system according to
この図１８は、ファイル複製開始メッセージに対する応答として複製元ファイル複製制御手段１０７から複製先ファイル複製制御手段２０７に送付されるファイル一致応答メッセージ１８の内容を示す。ファイル一致応答メッセージ１８は、メッセージ種別１８０１とファイル識別子１８０２からなる。
FIG. 18 shows the contents of the file
図１９は、この発明の実施の形態１に係るファイル複製システムの複製元システムの複製元ファイル複製制御手段から複製先システムの複製先ファイル複製制御手段へ送られるファイル削除応答メッセージの構成を示す図である。
FIG. 19 is a diagram showing a structure of a file deletion response message sent from the replication source file replication control unit of the replication source system of the file replication system according to
この図１９は、ファイル複製開始メッセージに対する応答として複製元ファイル複製制御手段１０７から複製先ファイル複製制御手段２０７に送付されるファイル削除応答メッセージ１９の内容を示す。ファイル削除応答メッセージ１９は、メッセージ種別１９０１とファイル識別子１９０２からなる。
FIG. 19 shows the contents of a file
図２０は、この発明の実施の形態１に係るファイル複製システムの複製元システムの複製元ファイル複製制御手段と複製先システムの複製先ファイル複製制御手段の間で相互に送られるセグメントメタデータメッセージの構成を示す図である。
FIG. 20 shows the segment metadata message sent between the replication source file replication control means of the replication source system of the file replication system and the replication destination file replication control means of the replication destination system according to
この図２０は、複製元ファイル複製制御手段１０７と複製先ファイル複製制御手段２０７の間で相互に交わされるセグメントメタデータメッセージ２０の内容を示す。セグメントメタデータメッセージ２０は、メッセージ種別２００１、ファイル識別子２００２、ファイルサイズ２００３、ファイルサイズ差分２００４、階層レベル２００５、セグメント数２００６と、それに続くセグメント開始オフセット２００７、セグメントサイズ２００８、セグメントメタデータ２００９のセグメント数分の繰り返しからなる。本メッセージの内容は、セグメント／ブロックメタデータブロックに基づいて生成される。
FIG. 20 shows the contents of the
図２１は、この発明の実施の形態１に係るファイル複製システムの複製先システムの複製先ファイル複製制御手段から複製元システムの複製元ファイル複製制御手段へ送られるブロック転送要求メッセージの構成を示す図である。
FIG. 21 is a diagram showing a configuration of a block transfer request message sent from the copy destination file copy control unit of the copy destination system of the file copy system according to
この図２１は、複製先ファイル複製制御手段２０７から複製元ファイル複製制御手段１０７に送付されるブロック転送要求メッセージ２１の内容を示す。ブロック転送要求メッセージ２１は、メッセージ種別２１０１、ファイル識別子２１０２、ファイルサイズ２１０３、ファイルサイズ差分２１０４、ブロック数２１０５と、それに続くブロック開始オフセット２１０６とブロックサイズ２１０７のブロック数分の繰り返しからなる。
FIG. 21 shows the contents of the block
図２２は、この発明の実施の形態１に係るファイル複製システムの複製元システムの複製元ファイル複製制御手段から複製先システムの複製先ファイル複製制御手段へ送られるブロック転送メッセージの構成を示す図である。
FIG. 22 is a diagram showing a configuration of a block transfer message sent from the replication source file replication control unit of the replication source system of the file replication system according to
この図２２は、複製元ファイル複製制御手段１０７から複製先ファイル複製制御手段２０７に送付されるブロック転送メッセージ２２の内容を示す。ブロック転送メッセージ２２は、メッセージ種別２２０１、ファイル識別子２２０２、ファイルサイズ２２０３、ファイルサイズ差分２２０４、ブロック数２２０５と、それに続くブロック開始オフセット２２０６、ブロックサイズ２２０７、ブロックデータ２２０８のブロック数分の繰り返しからなる。
FIG. 22 shows the contents of the
次に、複製元ファイル複製制御手段１０７および複製先ファイル複製制御手段２０７の動作の詳細について説明する。
Next, details of operations of the copy source file
図２３は、この発明の実施の形態１に係るファイル複製システムの複製元システムの複製元ファイル複製制御手段の動作の概要を示すフローチャートである。
FIG. 23 is a flowchart showing an outline of the operation of the replication source file replication control means of the replication source system of the file replication system according to
まず、ステップＳ２３０１において、複製先ファイル複製制御手段２０７からファイル複製開始メッセージ１７を受け取るまで待機する。
First, in step S2301, the process waits until the file
ステップＳ２３０２において、ファイル複製開始メッセージ１７を受け取るとファイル名文字列１７０３に指定されたファイルが複製元システム１００に存在するかどうかをチェックする。
In step S2302, when the file
ステップＳ２３０３において、ファイルが存在しない場合は、複製先ファイル複製制御手段２０７にファイル削除応答メッセージ１９を送信し、終了する。
If the file does not exist in step S2303, the file
ステップＳ２３０４において、ファイルが存在する場合は、ファイル複製開始メッセージ１７のファイルサイズ１７０５とファイル管理情報（ｉノード）１０１のファイルサイズ１０１１、およびファイル複製開始メッセージ１７のファイルメタデータ１７０６とファイル管理情報（ｉノード）１０１のファイルメタデータ１０１２をそれぞれ比較する。
In step S2304, if the file exists, the
ステップＳ２３０５において、ファイルサイズ、ファイルメタデータ共に一致する場合は、複製先ファイル複製制御手段２０７にファイル一致応答メッセージ１８を送信し、終了する。
If both the file size and file metadata match in step S2305, the file
ステップＳ２３０６において、ファイルサイズまたはファイルメタデータが一致しない場合は、後述する手順により最上位階層レベルのセグメントメタデータメッセージ２０を生成し、複製先ファイル複製制御手段２０７に送信する。
If the file size or file metadata does not match in step S2306, the
ステップＳ２３０７において、複製先ファイル複製制御手段２０７からセグメントメタデータメッセージ２０またはブロック転送要求メッセージ２１を受け取るまで待機する。
In step S2307, the process waits until the
続いて、ステップＳ２３０８において、受信したメッセージのメッセージ種別をチェックし、セグメントメタデータメッセージを表していればステップＳ２３１０に進み、ブロック転送要求メッセージを表していればステップＳ２３０９に進む。 In step S2308, the message type of the received message is checked. If it represents a segment metadata message, the process proceeds to step S2310. If it represents a block transfer request message, the process proceeds to step S2309.
ステップＳ２３０９では、受信したブロック転送要求メッセージ２１のブロック開始オフセット２１０６およびブロックサイズ２１０７に指定されたブロックのデータ、およびファイルサイズ差分２１０４が０より大の時はファイル末尾のファイルサイズ差分に相当する領域のデータからなるブロック転送メッセージ２２を生成し、複製先ファイル複製制御手段２０７に送信し、終了する。
In step S2309, the block data specified in the block start offset 2106 and block size 2107 of the received block
ステップＳ２３０８に続くステップＳ２３１０では、受信したセグメントメタデータメッセージ２０の階層レベル２００５をチェックし、０でなければステップＳ２３１１に進み、０に等しければステップＳ２３１２に進む。
In step S2310 following step S2308, the
ステップＳ２３１２においては、受信したセグメントメタデータメッセージ２０のセグメント開始オフセット２００７、セグメントサイズ２００８、セグメントメタデータ２００９をディスク装置上のブロックメタデータブロック１０３と比較し、メタデータが一致しないブロックのデータと、ファイルサイズ差分２１０４が０より大の時はファイル末尾のファイルサイズ差分に相当する領域のデータからなるブロック転送メッセージ２２を生成し、複製先ファイル複製制御手段２０７に送信し、終了する。
In step S2312, the segment start offset 2007, the segment size 2008, and the segment metadata 2009 of the received
ステップＳ２３１０に続くステップＳ２３１１では、受信したセグメントメタデータメッセージ２０のセグメント開始オフセット２００７、セグメントサイズ２００８、セグメントメタデータ２００９をディスク装置上のセグメントメタデータブロック１０４と比較し、メタデータが一致しないセグメントの下位階層レベルのメタデータブロックのセグメント／ブロックメタデータからなるセグメントメタデータメッセージ２０を生成し、複製先ファイル複製制御手段２０７に送信し、ステップＳ２３０７以下の処理を繰り返す。
In step S2311 following step S2310, the segment start offset 2007, the segment size 2008, and the segment metadata 2009 of the received
図２４は、この発明の実施の形態１に係るファイル複製システムの複製先システムの複製先ファイル複製制御手段の動作の概要を示すフローチャートである。 FIG. 24 is a flowchart showing an outline of the operation of the replication destination file replication control means of the replication destination system of the file replication system according to the first embodiment of the present invention.
まず、ステップＳ２４０１において、複製対象のファイルに対してファイル複製開始メッセージ１７を生成し、複製元ファイル複製制御手段１０７に送信する。
First, in step S2401, a file
次に、ステップＳ２４０２において、複製元ファイル複製制御手段１０７からいずれかのメッセージを受信するまで待機する。
In step S2402, the process waits until any message is received from the copy source file
ステップＳ２４０３において、受信したメッセージのメッセージ種別をチェックし、ファイル一致応答メッセージを表していれば終了し、ファイル削除応答メッセージを表していればステップＳ２４０４に進む。 In step S2403, the message type of the received message is checked. If it represents a file match response message, the process ends. If it represents a file deletion response message, the process proceeds to step S2404.
ステップＳ２４０４において、当該ファイルを削除した後に終了する。 In step S2404, the process ends after deleting the file.
ステップＳ２４０５において、受信したメッセージがセグメントメタデータメッセージ２０であれば階層レベル２００５を０と比較する。受信したセグメントメタデータメッセージ２０の階層レベル２００５が０でない場合はステップＳ２４０６に進み、０に等しい場合はステップＳ２４０７に進む。
In step S2405, if the received message is the
ステップＳ２４０６において、受信したセグメントメタデータメッセージ２０のセグメント開始オフセット２００７、セグメントサイズ２００８、セグメントメタデータ２００９をディスク装置上のセグメントメタデータブロック２０４と比較し、メタデータが一致しないセグメントの下位階層レベルのメタデータブロックのセグメント／ブロックメタデータからなるセグメントメタデータメッセージ２０を生成し、複製元ファイル複製制御手段１０７に送信する。
In step S2406, the segment start offset 2007, segment size 2008, and segment metadata 2009 of the received
一方、ステップＳ２４０７では、受信したセグメントメタデータメッセージ２０のセグメント開始オフセット２００７、セグメントサイズ２００８、セグメントメタデータ２００９をディスク装置上のブロックメタデータブロック２０４と比較し、メタデータが一致しないブロックに対するブロック転送要求メッセージ２１を生成し、複製元ファイル複製制御手段１０７に送信する。
On the other hand, in step S2407, the segment start offset 2007, the segment size 2008, and the segment metadata 2009 of the received
ステップＳ２４０６およびステップＳ２４０７に続くステップＳ２４０８では、複製元ファイル複製制御手段１０７からいずれかのメッセージを受信するまで待機する。 In step S2408 following step S2406 and step S2407, the process waits until any message is received from the copy source file copy control means 107.
ステップＳ２４０９において、受信したメッセージのメッセージ種別をチェックし、セグメントメタデータメッセージを表していればステップＳ２４０５以下の処理を繰り返す。メッセージ種別がブロック転送メッセージを表していればステップＳ２４１０に進む。 In step S2409, the message type of the received message is checked, and if it represents a segment metadata message, the processing from step S2405 is repeated. If the message type represents a block transfer message, the process proceeds to step S2410.
ステップＳ２４１０において、受信したブロック転送メッセージ２２のファイルサイズ差分２２０４を０と比較する。ファイルサイズ差分２２０４が０より小さければステップＳ２４１１に進み、そうでなければステップＳ２４１２に進む。
In step S2410, the
ステップＳ２４１１において、受信したブロック転送メッセージ２２のファイルサイズ２２０３に当該ファイルのサイズを切り詰める。
In step S2411, the file size is reduced to the
ステップＳ２４１２では、受信したブロック転送メッセージ２２のブロック開始オフセット２２０６、ブロックサイズ２２０７、ブロックデータ２２０８を用いて、当該ファイルの対応するブロックを更新し、終了する。
In step S2412, the block corresponding to the file is updated using the block start offset 2206, block size 2207, and block data 2208 of the received
図２５は、この発明の実施の形態１に係るファイル複製システムの複製元ファイル複製制御手段のステップＳ２３０６の詳細な動作を示すフローチャートである。 FIG. 25 is a flowchart showing the detailed operation of step S2306 of the copy source file copy control unit of the file copy system according to the first embodiment of the present invention.
まず、ステップＳ２５０１において、変数ｅに複製元のファイル管理情報（ｉノード）１０１のファイルサイズ１０１１と受信したファイル複製開始メッセージ１７のファイルサイズ１７０５の最小値を設定する。変数ｅは複製元ファイルと複製先ファイルに共通する領域のサイズを表す。
First, in step S2501, the minimum value of the
続いて、ステップＳ２５０２で、変数ｐをファイル管理情報（ｉノード）１０１のルートメタデータブロックアドレス１０１３の値に初期化し、変数ｈをｐが指すメタデータブロック（１０４または１０３）の階層レベル（１０４１または１０３１）の値に初期化する。
In step S2502, the variable p is initialized to the value of the root
次に、ステップＳ２５０３において、変数ｈを式（１）に基づくＨ（ｅ）−１と比較し、ｈの方が大きい場合はステップＳ２５０４に進み、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（０）の値をｐに設定すると共に、ｈを新たなｐが指すメタデータブロックの階層レベルの値に設定し、ステップＳ２５０３に戻る。ｈがＨ（ｅ）−１に等しい場合はステップＳ２５０５に進む。この時、変数ｐは複製元ファイルと複製先ファイルの共通領域に対するメタデータブロック木構造の最上位階層レベルのメタデータブロックを指している。 Next, in step S2503, the variable h is compared with H (e) -1 based on the formula (1). If h is larger, the process proceeds to step S2504, and the lower metadata block of the segment metadata block pointed to by p The value of the address (0) is set to p, and h is set to the value of the hierarchical level of the metadata block pointed to by the new p, and the process returns to step S2503. If h is equal to H (e) -1, the process proceeds to step S2505. At this time, the variable p indicates the metadata block at the highest hierarchical level of the metadata block tree structure for the common area of the replication source file and the replication destination file.
次に、ステップＳ２５０５において、セグメントメタデータメッセージ２０を初期化する。メッセージ種別２００１には当該メッセージが「セグメントメタデータメッセージ」であることを表す識別情報を、ファイル識別子２００２に受信したファイル複製開始メッセージ１７のファイル識別子１７０４を、ファイルサイズ２００３に複製元ファイル管理情報（ｉノード）１０１のファイルサイズ１０１１を、ファイルサイズ差分２００４に複製元ファイル管理情報（ｉノード）１０１のファイルサイズ１０１１から受信したファイル複製開始メッセージ１７のファイルサイズ１７０５を引いた値を、階層レベル２００５にｈを、さらにセグメント数２００６に０を、それぞれ設定する。
Next, in step S2505, the
続く、ステップＳ２５０６では、後述する手順により、ｐが指すメタデータブロックに基づいて開始オフセットを０、サイズをｅとするファイルの領域に対するセグメントメタデータのエントリをセグメントメタデータメッセージの末尾に追加する。 In step S2506, an entry of segment metadata for a file area having a start offset of 0 and a size of e based on the metadata block indicated by p is added to the end of the segment metadata message according to a procedure described later.
最後に、ステップＳ２５０７において、セグメントメタデータメッセージ２０を複製先ファイル複製制御手段２０７に送信する。
Finally, in step S2507, the
図２６は、図２５のステップＳ２５０６及び図２８のステップＳ２８０９の詳細な動作を示すフローチャートである。 FIG. 26 is a flowchart showing detailed operations in step S2506 in FIG. 25 and step S2809 in FIG.
まず、ステップＳ２６０１において、入力パラメータｓ（ファイル領域の開始オフセット）、ｇ（ファイル領域のサイズ）、ｐ（ファイル領域に対応するメタデータブロックのアドレス）に基づき、変数ｅをｓ＋ｇ（ファイル領域の直後のオフセット）に、変数ｈをｐが指すメタデータブロックの階層レベルに、変数ｊを０に、それぞれ設定する。 First, in step S2601, the variable e is set to s + g (immediately after the file area) based on the input parameters s (start offset of the file area), g (size of the file area), p (address of the metadata block corresponding to the file area). Is set to the hierarchical level of the metadata block pointed to by p, and variable j is set to 0.
ステップＳ２６０２において、ｓとｅを比較し、ｓがｅより小さければステップＳ２６０３に進み、そうでなければ終了する。 In step S2602, s is compared with e. If s is smaller than e, the process proceeds to step S2603, and if not, the process ends.
ステップＳ２６０３では、セグメントメタデータメッセージ２０にセグメントのエントリを追加する。すなわち、新たなセグメント数Ｔをセグメント数２００６に１を加えた値とし、セグメント数２００６にＴを、セグメント開始オフセット２００７のエントリＴ−１にｓを、セグメントサイズ２００８のエントリＴ−１に式（７）に基づくｇｈ（ｓ）を、セグメントメタデータ２００９のエントリＴ−１にｐが指すメタデータブロックのセグメント／ブロックメタデータ（ｊ）の値を、それぞれ設定する。
In step S2603, a segment entry is added to the
続いて、ステップＳ２６０４において、ｓにｓ＋ｇｈ（ｓ）を設定し、ｊに１を加えた後に、ステップＳ２６０２以下の処理を繰り返す。 Subsequently, in step S2604, s + g h (s) is set in s, 1 is added to j, and the processing in step S2602 and subsequent steps is repeated.
図２７は、この発明の実施の形態１に係るファイル複製システムの複製元ファイル複製制御手段のステップＳ２３１１及び複製先ファイル複製制御手段のステップＳ２４０６の詳細な動作を示すフローチャートである。
FIG. 27 is a flowchart showing detailed operations of step S2311 of the replication source file replication control unit and step S2406 of the replication destination file replication control unit of the file replication system according to
まず、ステップＳ２７０１において、送信用のセグメントメタデータメッセージ２０の初期化を行う。すなわち、メッセージ種別２００１には当該メッセージが「セグメントメタデータメッセージ」であることを表す識別情報を、ファイル識別子２００２、ファイルサイズ２００３、およびファイルサイズ差分２００４には受信したセグメントメタデータメッセージの対応する項目を、階層レベル２００５に受信したセグメントメタデータメッセージの階層レベルから１を引いた値を、さらにセグメント数２００６に０を、それぞれ設定する。
First, in step S2701, the
ステップＳ２７０２では、変数ｔを０に初期化する。 In step S2702, the variable t is initialized to 0.
続いて、ステップＳ２７０３で、ｔと受信したセグメントメタデータメッセージのセグメント数を比較し、ｔが小さければステップＳ２７０４に進み、そうでなければステップＳ２７０６に進んで送信用のセグメントメタデータメッセージ２０を相手に送信し、終了する。
Subsequently, in step S2703, t is compared with the number of segments of the received segment metadata message. If t is small, the process proceeds to step S2704. Otherwise, the process proceeds to step S2706, and the
ステップＳ２７０４では、後述する手順により、受信したセグメントメタデータメッセージのセグメント開始オフセット（ｔ）、セグメントサイズ（ｔ）、セグメントメタデータ（ｔ）に基づくメタデータ比較を行い、不一致が検出された場合は下位階層レベルのセグメントメタデータのエントリを送信用のセグメントメタデータメッセージ２０に追加する。
In step S2704, a metadata comparison based on the segment start offset (t), the segment size (t), and the segment metadata (t) of the received segment metadata message is performed according to the procedure described later, and a mismatch is detected. The segment metadata entry at the lower hierarchy level is added to the
ステップＳ２７０５では、ｔに１を加え、ステップＳ２７０３以下の処理を繰り返す。 In step S2705, 1 is added to t, and the processes in and after step S2703 are repeated.
図２８は、図２７のステップＳ２７０４の詳細な動作を示すフローチャートである。 FIG. 28 is a flowchart showing the detailed operation of step S2704 in FIG.
まず、ステップＳ２８０１において、入力パラメータｓ（受信セグメントメタデータメッセージのセグメント開始オフセット（ｔ））、ｇ（受信セグメントメタデータメッセージのセグメントサイズ（ｔ））、Ｍ（受信セグメントメタデータメッセージのセグメントメタデータ（ｔ））を受け取る。 First, in step S2801, input parameters s (segment start offset (t) of received segment metadata message), g (segment size (t) of received segment metadata message), M (segment metadata of received segment metadata message). (T)) is received.
ステップＳ２８０２において、変数ｐをファイル管理情報（ｉノード）のルートメタデータブロックアドレスの値に初期化し、変数ｈをｐが指すメタデータブロックの階層レベルの値に初期化する。 In step S2802, the variable p is initialized to the value of the root metadata block address of the file management information (i-node), and the variable h is initialized to the value of the hierarchical level of the metadata block pointed to by p.
続いて、ステップＳ２８０３において、ｐが指すメタデータブロックにおけるオフセットｓに対応するエントリ番号ｊｈ（ｓ）を変数ｊに設定する。 Subsequently, in step S2803, the entry number j h (s) corresponding to the offset s in the metadata block pointed to by p is set to the variable j.
ステップＳ２８０４では、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊ）をチェックし、無効値であればステップＳ２８１０に進み、そうでない場合はステップＳ２８０５に進む。 In step S2804, the lower metadata block address (j) of the segment metadata block pointed to by p is checked. If it is an invalid value, the process proceeds to step S2810, and if not, the process proceeds to step S2805.
ステップＳ２８０５では、ｈを受信セグメントメタデータメッセージの階層レベルと比較し、両者が等しければステップＳ２８０７に進み、そうでなければステップＳ２８０６に進んで、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊ）の値をｐに、新たなｐが指すメタデータブロックの階層レベルをｈに、それぞれ設定してステップＳ２８０３に戻る。 In step S2805, h is compared with the hierarchical level of the received segment metadata message. If they are equal, the process proceeds to step S2807, otherwise the process proceeds to step S2806, and the lower metadata block address of the segment metadata block pointed to by p is determined. The value of (j) is set to p, the hierarchical level of the metadata block pointed to by the new p is set to h, and the process returns to step S2803.
ステップＳ２８０７において、ｇとｇｈ（ｓ）の値、Ｍとｐが指すセグメントメタデータブロックのセグメントメタデータ（ｊ）の値をそれぞれ比較し、全て一致する場合は処理を終了する。少なくとも一方が一致しない場合はステップＳ２８０８に進み、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊ）の値をｐに設定する。 In step S2807, the values of g and g h (s) and the segment metadata (j) of the segment metadata block pointed to by M and p are respectively compared, and if all match, the process ends. If at least one does not match, the process advances to step S2808 to set the value of the lower metadata block address (j) of the segment metadata block pointed to by p to p.
続く、ステップＳ２８０９では、図２７に示した手順により、ｐが指すメタデータブロックに基づいて開始オフセットをｓ、サイズをｇとするファイル領域に対するセグメントメタデータのエントリを送信用のセグメントメタデータメッセージの末尾に追加し、終了する。 In the next step S2809, according to the procedure shown in FIG. 27, based on the metadata block pointed to by p, the entry of the segment metadata for the file area having the start offset s and the size g is sent to the segment metadata message for transmission. Add to the end and exit.
ステップＳ２８０４に続くステップＳ２８１０は、ホールに対してセグメントメタデータを比較しようとした場合に実行される。そのため、本ステップにおいてホールに対するメタデータを動的に生成する。すなわち、ｈの値は受信したセグメントメタデータメッセージの階層レベルに設定し、ホールメタデータのデータ非依存部分をｐが指すセグメントメタデータブロックのセグメントメタデータ（ｊ）の値に、チェックサムをサイズｇｈ（ｓ）のホール（バイト値０で埋められた領域）に対する値にそれぞれ設定する。 Step S2810 subsequent to step S2804 is executed when segment metadata is to be compared with a hole. Therefore, in this step, metadata for holes is dynamically generated. In other words, the value of h is set to the hierarchical level of the received segment metadata message, the data-independent portion of the hole metadata is set to the value of the segment metadata (j) of the segment metadata block pointed to by p, and the checksum is sized. Set to values for holes of h (s) (area filled with byte value 0).
次に、ステップＳ２８１１において、ｇとｇｈ（ｓ）の値、Ｍとホールメタデータの値をそれぞれ比較し、全て一致する場合は処理を終了する。少なくとも一方が一致しない場合はステップＳ２８１２に進み、ｈを１減じた上で対応するチェックサムの値を再計算する。 Next, in step S2811, the values of g and g h (s) and the values of M and hole metadata are compared, and if all match, the process ends. If at least one does not match, the process proceeds to step S2812, where h is decremented by 1 and the corresponding checksum value is recalculated.
続く、ステップＳ２８１３において、後述する手順により階層レベルｈとホールメタデータに基づいて開始オフセットをｓ、サイズをｇとするファイル領域に対するセグメントメタデータのエントリを送信用のセグメントメタデータメッセージの末尾に追加し、終了する。 Subsequently, in step S2813, a segment metadata entry for a file area having a start offset s and a size g is added to the end of the segment metadata message for transmission based on the hierarchy level h and hole metadata according to the procedure described later. And exit.
図２９は、図２８のステップＳ２８１３の詳細な動作を示すフローチャートである。 FIG. 29 is a flowchart showing the detailed operation of step S2813 of FIG.
まず、ステップＳ２９０１において、入力パラメータｓ（ファイル領域の開始オフセット）、ｇ（ファイル領域のサイズ）、ｈ（階層レベル）、Ｌ（ホールメタデータ）を受け取り、変数ｅをｓ＋ｇ（ファイル領域の直後のオフセット）に設定する。 First, in step S2901, input parameters s (file area start offset), g (file area size), h (hierarchy level), L (hole metadata) are received, and variable e is set to s + g (immediately after the file area). Set to (Offset).
ステップＳ２９０２において、ｓとｅを比較し、ｓがｅより小さければステップＳ２９０３に進み、そうでなければ終了する。 In step S2902, s is compared with e. If s is smaller than e, the process proceeds to step S2903, and if not, the process ends.
ステップＳ２９０３では、セグメントメタデータメッセージ２０にセグメントのエントリを追加する。すなわち、新たなセグメント数Ｔをセグメント数２００６に１を加えた値とし、セグメント数２００６にＴを、セグメント開始オフセット２００７のエントリＴ−１にｓを、セグメントサイズ２００８のエントリＴ−１に式（７）に基づくｇｈ（ｓ）を、セグメントメタデータ２００９のエントリＴ−１にホールメタデータＬを、それぞれ設定する。
In step S 2903, a segment entry is added to the
続いて、ステップＳ２９０４において、ｓにｓ＋ｇｈ（ｓ）を設定した後に、ステップＳ２９０２以下の処理を繰り返す。 Subsequently, in step S2904, after s + g h (s) is set in s, the processes in and after step S2902 are repeated.
図３０は、この発明の実施の形態１に係るファイル複製システムの複製先ファイル複製制御手段のステップＳ２４０７の詳細な動作を示すフローチャートである。 FIG. 30 is a flowchart showing detailed operations in step S2407 of the copy destination file copy control unit of the file copy system according to the first embodiment of the present invention.
ステップＳ３００１において、ブロック転送要求メッセージ２１を初期化する。すなわち、メッセージ種別２１０１には当該メッセージが「ブロック転送要求メッセージ」であることを表す識別情報を、ファイル識別子２１０２、ファイルサイズ２１０３、およびファイルサイズ差分２１０４には受信したセグメントメタデータメッセージの対応する項目を、ブロック数２１０５に０を、それぞれ設定する。
In step S3001, the block
ステップＳ３００２では、変数ｔを０に初期化する。 In step S3002, the variable t is initialized to 0.
続いて、ステップＳ３００３では、ｔと受信したセグメントメタデータメッセージのセグメント数を比較し、ｔが小さければステップＳ３００４に進み、そうでなければステップＳ３００６に進んで、ブロック転送要求メッセージ２１を複製元ファイル複製制御手段１０７に送信し、終了する。
In step S3003, t is compared with the number of segments in the received segment metadata message. If t is small, the process proceeds to step S3004. Otherwise, the process proceeds to step S3006, and the block
ステップＳ３００４では、後述する手順により、受信したセグメントメタデータメッセージのセグメント開始オフセット（ｔ）、セグメントサイズ（ｔ）、セグメントメタデータ（ｔ）に基づくメタデータ比較を行い、不一致が検出された場合はブロックのエントリをブロック転送要求メッセージ２１に追加する。
In step S3004, a metadata comparison based on the segment start offset (t), segment size (t), and segment metadata (t) of the received segment metadata message is performed according to the procedure described later. The block entry is added to the block
ステップＳ３００５では、ｔに１を加え、ステップＳ３００３以下の処理を繰り返す。 In step S3005, 1 is added to t, and the processing from step S3003 is repeated.
図３１は、図３０のステップＳ３００４の詳細な動作を示すフローチャートである。 FIG. 31 is a flowchart showing a detailed operation of step S3004 of FIG.
まず、ステップＳ３１０１において、入力パラメータｓ（受信セグメントメタデータメッセージのセグメント開始オフセット（ｔ））、ｇ（受信セグメントメタデータメッセージのセグメントサイズ（ｔ））、Ｍ（受信セグメントメタデータメッセージのセグメントメタデータ（ｔ））を受け取る。 First, in step S3101, input parameters s (segment start offset (t) of received segment metadata message), g (segment size (t) of received segment metadata message), M (segment metadata of received segment metadata message). (T)) is received.
ステップＳ３１０２において、変数ｐをファイル管理情報（ｉノード）のルートメタデータブロックアドレスの値に初期化し、変数ｈをｐが指すメタデータブロックの階層レベルの値に初期化する。 In step S3102, the variable p is initialized to the value of the root metadata block address of the file management information (i-node), and the variable h is initialized to the value of the hierarchical level of the metadata block pointed to by p.
続いて、ステップＳ３１０３において、ｐが指すメタデータブロックにおけるオフセットｓに対応するエントリ番号ｊｈ（ｓ）を変数ｊに設定する。 Subsequently, in step S3103, the entry number j h (s) corresponding to the offset s in the metadata block pointed to by p is set to the variable j.
ステップＳ３１０４では、ｈを０と比較し、両者が等しければステップＳ３１０７に進み、そうでなければステップＳ３１０５に進む。 In step S3104, h is compared with 0. If both are equal, the process proceeds to step S3107, and if not, the process proceeds to step S3105.
ステップＳ３１０５では、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊ）をチェックし、無効値であればステップＳ３１０８に進み、そうでない場合はステップＳ３１０６において、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊ）の値をｐに、新たなｐが指すメタデータブロックの階層レベルをｈに、それぞれ設定してステップＳ３１０３に戻る。 In step S3105, the lower metadata block address (j) of the segment metadata block pointed to by p is checked. If it is an invalid value, the process proceeds to step S3108; otherwise, in step S3106, the segment metadata block pointed to by p The value of the lower metadata block address (j) is set to p, the hierarchical level of the metadata block pointed to by the new p is set to h, and the process returns to step S3103.
ステップＳ３１０４に続くステップＳ３１０７では、ｇとｇ０（ｓ）の値、Ｍとｐが指すブロックメタデータブロックのブロックメタデータ（ｊ）の値をそれぞれ比較し、全て一致する場合は処理を終了し、少なくとも一方が一致しない場合はステップＳ３１１０に進む。 In step S3107 following step S3104, the values of g and g 0 (s) and the value of block metadata (j) of the block metadata block indicated by M and p are respectively compared, and if all match, the process ends. If at least one does not match, the process proceeds to step S3110.
また、ステップＳ３１０５に続くステップＳ３１０８は、ホールに対してブロックメタデータを比較しようとした場合に実行される。そのため、本ステップにおいてホールに対するメタデータを動的に生成する。すなわち、ホールメタデータのデータ非依存部分をｐが指すセグメントメタデータブロックのセグメントメタデータ（ｊ）の値に、チェックサムをサイズｇ０（ｓ）のホール（バイト値０で埋められた領域）に対する値にそれぞれ設定する。 Step S3108 subsequent to step S3105 is executed when block metadata is to be compared with holes. Therefore, in this step, metadata for holes is dynamically generated. That is, the data metadata-independent portion of hole metadata is the value of segment metadata (j) of the segment metadata block pointed to by p, and the checksum is a hole of size g 0 (s) (an area filled with byte value 0) Set the values for.
次に、ステップＳ３１０９において、ｇとｇ０（ｓ）の値、Ｍとホールメタデータの値をそれぞれ比較し、全て一致する場合は処理を終了する。少なくとも一方が一致しない場合はステップＳ３１１０に進む。 Next, in step S3109, the values of g and g 0 (s) and the values of M and hole metadata are compared, and if all match, the process ends. If at least one does not match, the process proceeds to step S3110.
ステップＳ３１１０では、ブロック転送要求メッセージ２１にブロックのエントリを追加する。すなわち、新たなブロック数Ｔをブロック数２１０５に１を加えた値とし、ブロック数２１０５にＴを、ブロック開始オフセット２１０６のエントリＴ−１にｓを、ブロックサイズ２１０７のエントリＴ−１にｇ０（ｓ）を、それぞれ設定し、終了する。
In step S 3110, a block entry is added to the block
図３２は、この発明の実施の形態１に係るファイル複製システムの複製元ファイル複製制御手段のステップＳ２３１２の詳細な動作を示すフローチャートである。 FIG. 32 is a flowchart showing the detailed operation of step S2312 of the replication source file replication control unit of the file replication system according to the first embodiment of the present invention.
ステップＳ３２０１において、ブロック転送メッセージ２２を初期化する。すなわち、メッセージ種別２２０１には当該メッセージが「ブロック転送メッセージ」であることを表す識別情報を、ファイル識別子２２０２、ファイルサイズ２２０３、およびファイルサイズ差分２２０４には受信したセグメントメタデータメッセージの対応する項目を、ブロック数２２０５に０を、それぞれ設定する。
In step S3201, the
ステップＳ３２０２では、変数ｔを０に初期化する。 In step S3202, the variable t is initialized to 0.
続いて、ステップＳ３２０３では、ｔと受信したセグメントメタデータメッセージのセグメント数を比較し、ｔが小さければステップＳ３２０４に進み、そうでなければステップＳ３２０６に進む。 In step S3203, t is compared with the number of segments in the received segment metadata message. If t is small, the process proceeds to step S3204. Otherwise, the process proceeds to step S3206.
ステップＳ３２０４では、後述する手順により、受信したセグメントメタデータメッセージのセグメント開始オフセット（ｔ）、セグメントサイズ（ｔ）、セグメントメタデータ（ｔ）に基づくメタデータ比較を行い、不一致が検出された場合はブロックデータのエントリをブロック転送メッセージ２２に追加する。
In step S3204, metadata comparison based on the segment start offset (t), segment size (t), and segment metadata (t) of the received segment metadata message is performed according to the procedure described later, and if a mismatch is detected. An entry of block data is added to the
ステップＳ３２０５では、ｔに１を加え、ステップＳ３２０３以下の処理を繰り返す。 In step S3205, 1 is added to t, and the processing from step S3203 is repeated.
ステップＳ３２０３に続くステップＳ３２０６では、ファイルサイズ差分２２０４を０と比較し、ファイルサイズ差分が０より大ならばステップＳ３２０７に進み、そうでないならばステップＳ３２０８に進む。
In step S3206 following step S3203, the
ステップＳ３２０７において、ブロック転送メッセージ２２にブロックデータのエントリを追加する。すなわち、新たなブロック数Ｔをブロック数２２０５に１を加えた値とし、ブロック数２２０５にＴを、ブロック開始オフセット２２０６のエントリＴ−１にファイルサイズ２２０３からファイルサイズ差分２２０４を引いた値を、ブロックサイズ２２０７のエントリＴ−１にファイルサイズ差分２２０４の値を、ブロックデータ２２０８のエントリＴ−１に当該ファイル領域の内容をそれぞれ設定する。
In step S3207, an entry of block data is added to the
最後に、ステップＳ３２０８においてブロック転送メッセージ２２を複製先ファイル複製制御手段２０７に送信する。
Finally, in step S3208, the
図３３は、図３２のステップＳ３２０４の詳細な動作を示すフローチャートである。 FIG. 33 is a flowchart showing detailed operations of step S3204 of FIG.
まず、ステップＳ３３０１において、入力パラメータｓ（受信セグメントメタデータメッセージのセグメント開始オフセット（ｔ））、ｇ（受信セグメントメタデータメッセージのセグメントサイズ（ｔ））、Ｍ（受信セグメントメタデータメッセージのセグメントメタデータ（ｔ））を受け取る。 First, in step S3301, input parameters s (segment start offset (t) of received segment metadata message), g (segment size (t) of received segment metadata message), M (segment metadata of received segment metadata message). (T)) is received.
ステップＳ３３０２において、変数ｐをファイル管理情報（ｉノード）のルートメタデータブロックアドレスの値に初期化し、変数ｈをｐが指すメタデータブロックの階層レベルの値に初期化する。 In step S3302, the variable p is initialized to the value of the root metadata block address of the file management information (i-node), and the variable h is initialized to the value of the hierarchical level of the metadata block pointed to by p.
続いて、ステップＳ３３０３において、ｐが指すメタデータブロックにおけるオフセットｓに対応するエントリ番号ｊｈ（ｓ）を変数ｊに設定する。 Subsequently, in step S3303, the entry number j h (s) corresponding to the offset s in the metadata block pointed to by p is set to the variable j.
ステップＳ３３０４では、ｈを０と比較し、両者が等しければステップＳ３３０７に進み、そうでなければステップＳ３３０５に進む。 In step S3304, h is compared with 0. If they are equal, the process proceeds to step S3307, and if not, the process proceeds to step S3305.
ステップＳ３３０５では、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊｈ）をチェックし、無効値であればステップＳ３３０８に進み、そうでない場合はステップＳ３３０６において、ｐが指すセグメントメタデータブロックの下位メタデータブロックアドレス（ｊ）の値をｐに、新たなｐが指すメタデータブロックの階層レベルをｈに、それぞれ設定してステップＳ３３０３に戻る。 In step S3305, the lower metadata block address (j h ) of the segment metadata block pointed to by p is checked, and if it is an invalid value, the process proceeds to step S3308. Otherwise, the segment metadata block pointed to by p in step S3306 The value of the lower metadata block address (j) is set to p, the hierarchical level of the metadata block pointed to by the new p is set to h, and the process returns to step S3303.
ステップＳ３３０４に続くステップＳ３３０７では、ｇとｇ０（ｓ）の値、Ｍとｐが指すブロックメタデータブロックのブロックメタデータ（ｊ）の値をそれぞれ比較し、全て一致する場合は処理を終了し、少なくとも一方が一致しない場合はステップＳ３３１０に進む。 In step S3307 following step S3304, the values of g and g 0 (s) and the value of block metadata (j) of the block metadata block indicated by M and p are respectively compared, and if all match, the process ends. If at least one does not match, the process proceeds to step S3310.
また、ステップＳ３３０５に続くステップＳ３３０８では、ホールに対するメタデータを動的に生成する。すなわち、ホールメタデータのデータ非依存部分をｐが指すセグメントメタデータブロックのセグメントメタデータ（ｊ）の値に、チェックサムをサイズｇ０（ｓ）のホール（バイト値０で埋められた領域）に対する値にそれぞれ設定する。 In step S3308 following step S3305, metadata for the hole is dynamically generated. That is, the data metadata-independent portion of hole metadata is the value of segment metadata (j) of the segment metadata block pointed to by p, and the checksum is a hole of size g 0 (s) (an area filled with byte value 0) Set the values for.
続いて、ステップＳ３３０９において、ｇとｇ０（ｓ）の値、Ｍとホールメタデータの値をそれぞれ比較し、全て一致する場合は処理を終了する。少なくとも一方が一致しない場合はステップＳ３３１０に進む。 Subsequently, in step S3309, the values of g and g 0 (s) and the values of M and hole metadata are compared, and if all match, the process ends. If at least one does not match, the process proceeds to step S3310.
ステップＳ３３１０では、ブロック転送メッセージ２２にブロックデータのエントリを追加する。すなわち、新たなブロック数Ｔをブロック数２２０５に１を加えた値とし、ブロック数２２０５にＴを、ブロック開始オフセット２２０６のエントリＴ−１にｓを、ブロックサイズ２２０７のエントリＴ−１にｇ０（ｓ）を、ブロックデータ２２０８のエントリＴ−１に当該ファイルデータブロックの内容をそれぞれ設定し、終了する。
In step S3310, an entry of block data is added to the
以上のように、ファイル更新に伴ってファイルシステム管理手段１０５、２０５から呼び出され、ブロック毎の更新の有無を判定するためのメタデータを格納するブロックを木構造状に維持するメタデータブロック管理手段１０６、２０６を備えるので、ファイル複製の際に更新されていないブロックを読み出すことなく更新ブロックを検出することができ、高速なファイル複製を実現することができる。
As described above, the metadata block management unit that is called from the file
また、メタデータブロックの格納先としてデータと同じ領域を用いるので追加の記憶領域を必要としない。また、メタデータの木構造を互いに比較する複製元ファイル複製制御手段１０７および複製先ファイル複製制御手段２０７を備えるので、更新されていないブロックに関する比較を避けることができる。また、複製元と複製先でメタデータ木構造の異なる階層を交互に比較するので、一方でのみ比較を行う場合に比べてメッセージ交換の回数を半数にすることができる。また、メタデータブロック管理手段１０６、２０６は、ファイルにホールが存在することを許すので、消費するメタデータブロック領域やメタデータブロックの更新に要する時間を最小限に止めることができる。また、チェックサム木の下位階層レベルから上位階層レベルのチェックサムを計算するので、ファイルへの書き込みの際にファイルデータブロックを読み出すことなく上位のチェックサムを更新することができる。
Further, since the same area as the data is used as the storage location of the metadata block, no additional storage area is required. In addition, since the copy source file
実施の形態２．
この発明の実施の形態２に係るファイル複製システムについて図３４及び図３５を参照しながら説明する。図３４は、この発明の実施の形態２に係るファイル複製システムの構成を示す図である。
A file replication system according to
図３４において、この実施の形態２に係るファイル複製システムは、複製元システムまたは複製先システム１００Ａを設け、複製元として動作する際は複製元ファイル複製制御手段１０７Ａが、複製先として動作する時は複製先ファイル複製制御手段２０７Ａが動作する。
In FIG. 34, the file replication system according to the second embodiment is provided with a replication source system or
ディスク装置１０８Ａおよびディスク装置１０８Ｂは、独立なディスク装置であり、ディスク装置１０８Ａには、ファイル毎にファイル管理情報（ｉノード）１０１Ａが格納され、ファイルの内容は複数のファイルデータブロック１０２Ａ〜Ｄに格納される。ディスク装置１０８Ｂには、ファイル毎にファイルメタデータ管理情報１０１Ｂが格納され、ファイルのブロック毎のメタデータを階層的に構成するブロックメタデータブロック１０３Ａ〜Ｂとセグメントメタデータブロック１０４Ａが格納される。ファイルデータブロック１０２Ａ〜Ｄ、ブロックメタデータブロック１０３Ａ〜Ｂ、セグメントメタデータブロック１０４Ａは、上記の実施の形態１で図１に示したものと同一である。なお、ディスク装置１０８Ａおよびディスク装置１０８Ｂは、論理的に独立であれば良く、物理的に同一のディスク装置を分割した別パーティションに対応していても良い。
The
ディスク装置１０８Ａのファイル管理情報（ｉノード）１０１Ａとファイルデータブロック１０２Ａ〜Ｄは、ファイルシステム管理手段１０５Ａにより格納・割当・解放される。ファイル管理情報（ｉノード）１０１Ａおよびファイルシステム管理手段１０５Ａは、公知のファイルシステムにおけるデータ構造および制御ソフトウェアに対応し、メタデータブロックについては関知しない点が上記の実施の形態１と異なる。
The file management information (i-node) 101A and the file data blocks 102A to 102D of the
ディスク装置１０８Ｂのファイルメタデータ管理情報１０１Ｂ、ブロックメタデータブロック１０３Ａ〜Ｂ、およびセグメントメタデータブロック１０４Ａは、メタデータブロック管理手段１０６Ａにより格納・割当・解放される。また、メタデータブロック管理手段１０６Ａは、ディスクＩ／Ｏ要求を受け取り、当該要求をファイルシステム管理手段１０５Ａに受け渡すと共に、ファイルへの書き込みや切り詰めが要求された場合には上記の実施の形態１におけるメタデータブロック管理手段１０６と同様にメタデータブロック木構造の更新を行う。
The file
複製元ファイル複製制御手段１０７Ａおよび複製先ファイル複製制御手段２０７Ａは、それぞれ上記の実施の形態１の複製元ファイル複製制御手段１０７および複製先ファイル複製制御手段２０７に対応するが、メタデータブロック木構造とファイルデータブロックが異なるディスク装置上に存在することを前提として動作する点が異なる。
The replication source file
図３５は、この発明の実施の形態２に係るファイル複製システムのディスク装置内のファイルメタデータ管理情報の構成を示す図である。 FIG. 35 is a diagram showing a structure of file metadata management information in the disk device of the file replication system according to the second embodiment of the present invention.
ファイルメタデータ管理情報１０１Ｂは、メタデータブロック管理手段１０６Ａによりディスク装置１０８Ｂに格納される。ファイルメタデータ管理情報１０１Ｂは、ファイルサイズ１０１１、ファイルメタデータ（ファイルに対する更新を検出可能な、最終更新日時、世代番号、チェックサムなどの情報）１０１２、およびメタデータブロック木構造の根を指すルートメタデータブロックアドレス１０１３からなる。上記実施の形態１でファイル管理情報（ｉノード）１０１に含まれていた情報を取り出した形になっている。
The file
メタデータブロック管理手段１０６Ａは、上記の実施の形態１におけるメタデータブロック管理手段１０６と異なり、ファイル管理情報（ｉノード）１０１Ａではなくファイルメタデータ管理情報１０１Ｂを参照して動作する。また、ディスク装置１０８Ｂの記憶領域の割当・解放を行うと共に、Ｉ／Ｏ要求をファイルシステム管理手段１０５Ａに受け渡す点が上記の実施の形態１と異なる。
Unlike the metadata
以上のように、ファイルのブロック毎の更新検出を行うためのメタデータブロック木構造の情報をファイル本体とは異なるディスク装置１０８Ｂに格納すると共に、公知のファイルシステムの上位にメタデータブロック管理手段１０６Ａを設けたので、公知のファイルシステムに影響を及ぼすことなくファイル複製の高速化を実現することが可能になる。
As described above, the metadata block tree structure information for performing update detection for each block of the file is stored in the
実施の形態３．
この発明の実施の形態３に係るファイル複製システムについて図３６を参照しながら説明する。図３６は、この発明の実施の形態３に係るファイル複製システムのディスク装置に格納されるファイルデータおよびメタデータの構成を示す図である。その他の構成は、上記の実施の形態２と同様とする。
A file replication system according to
図３６において、ファイル本体１０２０は、上記の実施の形態２と同様である。階層レベル０のブロックメタデータファイル１０３０は、上記の実施の形態２におけるブロックメタデータブロックのブロックメタデータ１０３３を、対応するブロックのオフセット順に全て格納したファイルである。階層レベル１のセグメントメタデータファイル１０４０および階層レベル２のセグメントメタデータファイル１０５０は、同様にそれぞれ階層レベル１のセグメントメタデータブロック（図２の１０４Ｂ〜Ｃなど）のメタデータおよび階層レベル２のセグメントメタデータブロック（図２の１０４Ａなど）のメタデータをオフセット順に全て格納したファイルである。また、ファイルメタデータファイル１０６０は、ファイルメタデータを格納し、上記の実施の形態２のファイルメタデータ管理情報１０１Ｂに対応する。
In FIG. 36, a
メタデータファイル（１０３０、１０４０、１０５０）のメタデータエントリには論理オフセットによりランダムアクセス可能なので、階層レベル間をつなぐブロックアドレス（図５の１０４４）は不要である。また、メタデータファイルのサイズからメタデータエントリの数も判明するため有効エントリ数（図４の１０３２や図５の１０４２）も含まない。 Since the metadata entry of the metadata file (1030, 1040, 1050) can be randomly accessed by the logical offset, the block address (1044 in FIG. 5) that connects the hierarchical levels is not necessary. Further, since the number of metadata entries is also known from the size of the metadata file, the number of valid entries (1032 in FIG. 4 and 1042 in FIG. 5) is not included.
ファイル本体１０２０とメタデータファイル（１０３０、１０４０、１０５０、１０６０）は、上記の実施の形態２のように異なるディスク装置に格納するか、上記の実施の形態１のように同じディスク装置に格納する。同じディスク装置に格納する場合は両者の識別や対応付けが容易なように、メタデータファイルに特殊なファイル名を用いる。例えばファイル本体の名前が／ｆｏｏ／ｂａｒの時、各メタデータファイルを／．ｍｅｔａ／ｌｅｖｅｌ０／ｆｏｏ／ｂａｒ、／．ｍｅｔａ／ｌｅｖｅｌ１／ｆｏｏ／ｂａｒ、／．ｍｅｔａ／ｌｅｖｅｌ２／ｆｏｏ／ｂａｒなどとする。あるいは、ファイルを識別する番号、例えばｅｘｔ３などのファイルシステムにおけるｉノード番号を用いて、／．ｍｅｔａ／ｌｅｖｅｌ０／‘ｉノード番号’としても良い。
The file
以上のように、ファイルのブロック毎の更新検出を行うためのメタデータブロック木構造の情報をファイルとしてディスク装置に格納するので、ディスク装置の記憶領域管理に公知のファイルシステムを利用することが可能になり、容易に高速なファイル複製システムを実現することができる。 As described above, the metadata block tree structure information for performing update detection for each block of the file is stored in the disk device as a file, so that a known file system can be used for storage area management of the disk device. Thus, a high-speed file replication system can be easily realized.
実施の形態４．
この発明の実施の形態４に係るファイル複製システムについて図３７を参照しながら説明する。図３７は、この発明の実施の形態４に係るファイル複製システムの構成を示す図である。
A file replication system according to
図３７において、この実施の形態４に係るファイル複製システムは、複製元システム（コンピュータ）または複製先システム（コンピュータ）１００Ｂと、ディスク装置１０８Ａと、ファイル複製補助装置１００Ｃとが設けられている。
In FIG. 37, the file replication system according to the fourth embodiment includes a replication source system (computer) or a replication destination system (computer) 100B, a
複製元として動作する際は複製元ファイル複製制御手段１０７Ｂが、複製先として動作する時は複製先ファイル複製制御手段２０７Ｂが動作する。 When operating as a replication source, the replication source file replication control means 107B operates, and when operating as a replication destination, the replication destination file replication control means 207B operates.
ディスク装置１０８Ａは、複製元コンピュータまたは複製先コンピュータ１００ＢとディスクＩ／Ｆバス１０８０を介して接続されており、上記の実施の形態２におけるファイル管理情報（ｉノード）１０１Ａやファイルデータブロック１０２が格納される。ディスクＩ／Ｆバス１０８０は、例えばＳＣＳＩなど複数の装置を接続可能なものとする。ディスクＩ／Ｆバス１０８０には、さらにファイル複製補助装置１００Ｃが接続される。
The
ファイル複製補助装置１００Ｃは、ディスク装置１０８Ｂと、メタデータブロック管理手段１０６Ｂ、ディスクＩ／Ｆバス監視手段１０６Ｃ、及びメタデータブロック読出手段１０６Ｄからなる。ディスク装置１０８Ｂには、上記の実施の形態２と同様、ファイルメタデータ管理情報１０１Ｂ、セグメントメタデータブロック１０４Ａ、およびブロックメタデータブロック１０３Ａ〜Ｂが格納される。
The file duplication
ディスクＩ／Ｆバス監視手段１０６Ｃは、ディスクＩ／Ｆバス上を複製元コンピュータまたは複製先コンピュータ１００Ｂからディスク装置１０８Ａに対して送付されるコマンドを監視し、書き込みコマンドを検出するとそのブロックアドレスや内容をメタデータブロック管理手段１０６Ｂに通知する。メタデータブロック管理手段１０６Ｂは、ディスク装置１０８Ａ全体を１つのファイルとみなし、ブロックアドレスをファイルオフセットとみなして単一のメタデータブロック木構造を維持する。ディスクＩ／Ｆバス１０８０上にさらに別のディスク装置が接続されている場合は、ディスク装置毎にメタデータブロック木構造を作成する。
The disk I / F bus monitoring means 106C monitors the command sent from the copy source computer or the
ディスク装置１０８Ｂ上のメタデータブロックは、メタデータブロック読出手段１０６Ｄを介して複製元コンピュータまたは複製先コンピュータ１００Ｂから読み出すことができ、複製元ファイル複製制御手段１０７Ｂや複製先ファイル複製制御手段２０７Ｂはメタデータをファイル複製補助装置１００Ｃのメタデータブロック読出手段１０６Ｄから、ファイルデータブロックをディスク装置１０８Ａから読み出して更新検出・データ転送を行う。
The metadata block on the
以上のように、ディスクＩ／Ｆバス１０８０を監視し、書き込みを自動的に検出してディスク装置毎のメタデータブロック木構造を更新するファイル複製補助装置１００Ｃを用いるので、従来のファイルシステムやディスクＩ／Ｏに変更を加えることなく高速なファイル複製を実現することができる。
As described above, since the file duplication
実施の形態５．
この発明の実施の形態５に係るファイル複製システムについて図３８及び図３９を参照しながら説明する。図３８は、この発明の実施の形態５に係るファイル複製システムのメタデータブロック管理手段の構成を示す図である。その他の構成は、上記の実施の形態２と同様とする。
Embodiment 5 FIG.
A file replication system according to Embodiment 5 of the present invention will be described with reference to FIGS. 38 and 39. FIG. FIG. 38 is a diagram showing the configuration of the metadata block management means of the file replication system according to Embodiment 5 of the present invention. Other configurations are the same as those in the second embodiment.
図３８において、Ｉ／Ｏ要求受付手段１０６０は、受け付けたディスクＩ／Ｏ要求をファイルシステム管理手段１０５Ａに渡すと共に、当該要求がファイルへの書きこみまたはファイルの切り詰めを指示している場合はファイル更新ログ追加手段１０６１を起動する。ファイル更新ログ追加手段１０６１は、ディスク装置上のファイル更新ログ情報に当該Ｉ／Ｏ要求に基づく情報を追加する。ファイル更新ログマージ手段１０６３は、ディスクＩ／Ｏとは独立に動作し、ファイル更新ログ情報１０６２中の同一ファイル・同一ブロックに対する更新情報をまとめ、最終的に効果を持つエントリのみを残す。ファイル更新ログ反映手段１０６４は、ファイル更新ログマージ手段１０６３の出力に従い、メタデータブロック木構造の更新を行う。
In FIG. 38, the I / O request accepting means 1060 passes the accepted disk I / O request to the file system management means 105A, and if the request indicates writing to the file or truncating the file, The update log adding means 1061 is activated. The file update log adding means 1061 adds information based on the I / O request to the file update log information on the disk device. The file update log merging unit 1063 operates independently of the disk I / O, collects update information for the same file and the same block in the file
図３９は、この発明の実施の形態５に係るファイル複製システムのメタデータブロック管理手段のファイル更新ログ情報の構成を示す図である。 FIG. 39 is a diagram showing a structure of file update log information of the metadata block management means of the file replication system according to Embodiment 5 of the present invention.
図３９において、ファイル更新ログ情報１０６２は、タイムスタンプ１０６２１、操作種別１０６２２、ファイル識別子１０６２３、開始オフセット１０６２４、サイズ１０６２５、及び世代番号１０６２６からなる。タイムスタンプ１０６２１は、ファイル識別子１０６２３、開始オフセット１０６２４で指定されるブロックに対する複数回の操作を順序付け、最終的に効果を持つものを残すためにファイル更新ログマージ手段１０６３により使用されると共に、当該ブロックに対する最終更新日時として直接メタデータに反映される。ブロックのチェックサムは、開始オフセット１０６２４で指定されるファイルデータブロックを読み込むことで算出される。また、操作種別１０６２２は、書き込みと切り詰めを識別するための情報を含む。
39, the file
ファイル更新ログマージ手段１０６３を実行するタイミングとしては、一定時間毎、一定数のファイル更新ログ情報１０６２を書き込んだ時、または、複製元ファイル複製制御手段１０７Ａや複製先ファイル複製制御手段２０７Ａが動作する前、などを用いることができる。
The timing of executing the file update log merging unit 1063 is when a certain number of file
以上のようにファイル更新やファイル切り詰めの際に操作の概要のみを記録するファイル更新ログ追加手段１０６１と、同一ファイル・同一ブロックに対する複数の操作を１つにまとめるファイル更新ログマージ手段１０６３を備えるので、通常のＩ／Ｏ操作に対するオーバヘッドを軽減し、頻繁にアクセスされるファイルに対するスループットを向上することができる。 As described above, since the file update log adding means 1061 for recording only the outline of the operation at the time of file update or file truncation and the file update log merging means 1063 for integrating a plurality of operations for the same file and the same block are provided. The overhead for normal I / O operations can be reduced and the throughput for frequently accessed files can be improved.
なお、更新検出のためのメタデータとしてチェックサムのみを用いる場合は、ファイルのブロック毎に設けた更新フラグをファイル書き込みの際にセットし、一定時間毎あるいは複製元ファイル複製制御手段１０７Ａや複製先ファイル複製制御手段２０７Ａが動作する前にファイルの更新フラグを走査し、更新フラグがセットされているブロックについてチェックサムを更新するという実現方式を取っても良い。
When only the checksum is used as the metadata for detecting the update, an update flag provided for each block of the file is set at the time of writing the file, and the copy source file
実施の形態６．
この発明の実施の形態６に係るファイル複製システムについて図４０を参照しながら説明する。図４０は、この発明の実施の形態６に係るファイル複製システムのセグメント／ブロックメタデータブロックの構成を示す図である。その他の構成は、上記の実施の形態１や実施の形態２と同様とする。
Embodiment 6 FIG.
A file replication system according to Embodiment 6 of the present invention will be described with reference to FIG. FIG. 40 is a diagram showing the structure of the segment / block metadata block of the file replication system according to Embodiment 6 of the present invention. Other configurations are the same as those in the first and second embodiments.
図４０において、階層レベル２のセグメントメタデータブロック１０４Ａや階層レベル１のセグメントメタデータブロック１０４Ｃは、最終エントリを除いて下位メタデータブロックアドレスが有効になっておらず、各エントリに対応するセグメントに関するメタデータのみを保持する。
In FIG. 40, the
メタデータブロック管理手段１０６や１０６Ａは、セグメントメタデータブロック１０４に新たなエントリを追加する際に、最終エントリ以外の下位メタデータブロックを再帰的に解放し、下位メタデータブロックアドレスの当該エントリに無効値を設定する。複製元ファイル複製制御手段１０７（または１０７Ａ）や複製先ファイル複製制御手段２０７（または２０７Ａ）は、下位メタデータブロックアドレスが無効なセグメントの更新を検出した際は、セグメント全体をデータ転送の対象とする。
When adding a new entry to the
以上のように、ファイルの末尾に近いセグメントメタデータブロックのみを割り当てることで、追加書き込みが主体の大規模なファイルが作成される状況において、ほとんど更新されないメタデータブロックの割り当てを避けることができ、メタデータブロックが消費するディスク装置の記憶領域を削減することができる。 As described above, by assigning only segment metadata blocks close to the end of the file, it is possible to avoid assigning metadata blocks that are rarely updated in a situation where a large file mainly created by additional writing is created. The storage area of the disk device consumed by the metadata block can be reduced.
実施の形態７．
この発明の実施の形態７に係るファイル複製システムについて図４１を参照しながら説明する。図４１は、この発明の実施の形態７に係るファイル複製システムのディスク装置に格納される情報を示す図である。
Embodiment 7 FIG.
A file replication system according to Embodiment 7 of the present invention will be described with reference to FIG. FIG. 41 is a diagram showing information stored in the disk device of the file replication system according to Embodiment 7 of the present invention.
この図４１は、上記の実施の形態１に追加して、ディスク装置１０８に格納される情報を示す。図４１において、ファイルシステムスーパーブロック９０１は、ディスク装置１０８上に作成されたファイルシステムに関する管理情報を保持しており、ファイルシステム管理手段１０５により管理される。
FIG. 41 shows information stored in the
各ファイルに対応するｉノード（ファイル管理情報）９０２Ａ〜Ｇは、それぞれ固有のｉノード番号を付与され、ファイルシステムスーパーブロック９０１から全てのｉノード９０２にアクセス可能となっている。ファイルメタデータブロック９０３Ａ〜Ｄは、ブロックメタデータブロック１０３と同様に、複数のファイルに関するファイルメタデータ１０１３を格納する固定長ブロックであり、ファイル群メタデータブロック９０４Ａ〜Ｃは、ｉノード番号に基づいて複数ファイルにまたがるメタデータを階層的に格納する固定長ブロックである。ファイルメタデータブロック９０３とファイル群メタデータブロック９０４は木構造を構成し、ルートとなる単一のファイル群メタデータブロック９０４Ａのブロックアドレスはファイルシステムスーパーブロック９０１に格納される。
Each i-node (file management information) 902A to 902G corresponding to each file is assigned a unique i-node number, and all i-nodes 902 can be accessed from the file system super block 901. Similarly to the
メタデータブロック管理手段１０６は、ファイルを更新し、ブロック毎のメタデータブロック木構造の更新を行った後で、当該ファイルのｉノード番号に基づいてファイル群メタデータブロック９０４の木構造をルートメタデータブロック９０４Ａから辿り、ファイル群メタデータブロック９０４およびファイルメタデータブロック９０３のメタデータエントリの更新を行う。複製元ファイル複製制御手段１０７や複製先ファイル複製制御手段２０７は、ファイルシステム全体の複製を指示するファイル複製開始メッセージによりファイル群メタデータブロックの階層的な比較を行い、更新のあった全てのファイルに関する更新ブロックの転送を実行する。
The metadata block management means 106 updates the file, updates the metadata block tree structure for each block, and then converts the tree structure of the file
以上のように複数ファイルに関して更新の有無を判定する情報を階層的に保持するので、ファイルシステム全体を対象とするファイル複製を高速に実現することができる。 As described above, since the information for determining the presence / absence of update for a plurality of files is hierarchically stored, file replication for the entire file system can be realized at high speed.
１００ 複製元システム、１００Ｃ ファイル複製補助装置、１０５、１０５Ａ ファイルシステム管理手段、１０６、１０６Ａ、１０６Ｂ メタデータブロック管理手段、１０６Ｃ ディスクＩ／Ｆバス監視手段、１０６Ｄ メタデータブロック読出手段、１０７、１０７Ａ、１０７Ｂ 複製元ファイル複製制御手段、１０８、１０８Ａ、１０８Ｂ ディスク装置、２００ 複製先システム、２０５ ファイルシステム管理手段、２０６ メタデータブロック管理手段、２０７、２０７Ａ、２０７Ｂ 複製先ファイル複製制御手段、２０８ ディスク装置、３００ ネットワーク、１０６０ Ｉ／Ｏ要求受付手段、１０６１ ファイル更新ログ追加手段、１０６２ ファイル更新ログ情報、１０６３ ファイル更新ログマージ手段、１０６４ ファイル更新ログ反映手段、１０８０ ディスクＩ／Ｆバス。 100 replication source system, 100C file replication auxiliary device, 105, 105A file system management means, 106, 106A, 106B metadata block management means, 106C disk I / F bus monitoring means, 106D metadata block reading means, 107, 107A, 107B replication source file replication control means, 108, 108A, 108B disk device, 200 replication destination system, 205 file system management means, 206 metadata block management means, 207, 207A, 207B replication destination file replication control means, 208 disk device, 300 network, 1060 I / O request accepting means, 1061 file update log adding means, 1062 file update log information, 1063 file update log merging means, 1064 file New log reflection means, 1080 disk I / F bus.
Claims (19)
複数のコンピュータ間で前記木構造の情報ブロックに含まれる更新判定情報の比較を行って更新されたデータブロックを検出し、更新されたデータブロックのみを複製元から複製先へ転送するファイル複製制御手段と
を備えたことを特徴とするファイル複製システム。 Information including update determination information that can divide a file stored in the first disk device into areas that are segments composed of data blocks and a plurality of continuous data blocks, and determine whether or not each divided area is updated Metadata block management means for hierarchically arranging blocks, and storing hierarchically arranged information blocks in a second disk device in a tree structure according to the size of the file;
File replication control means for detecting updated data blocks by comparing update determination information included in the tree-structured information blocks between a plurality of computers and transferring only the updated data blocks from the replication source to the replication destination A file replication system comprising: and.
前記ファイル複製制御手段は、最終更新日時が増加した際に更新があったと判定する
ことを特徴とする請求項１記載のファイル複製システム。 The metadata block management means includes a small area that is a segment composed of a single data block or a continuous first predetermined number of data blocks, using the last update date and time for the area as the update determination information. Setting the last update date and time of the large area, which is a segment composed of a second predetermined number of data blocks larger than the first predetermined number of consecutive, as the maximum value of the last update date and time of the small area,
The file replication system according to claim 1, wherein the file replication control unit determines that there is an update when the last update date is increased.
前記ファイル複製制御手段は、世代番号が増加した際に更新があったと判定する
ことを特徴とする請求項１記載のファイル複製システム。 The metadata block management means uses a generation number that increases each time a file is updated as the update determination information, and is a small area that is a segment composed of a single data block or a continuous first predetermined number of data blocks Including, as a maximum value of the generation number of the small area, a generation number of the large area that is a segment composed of a second predetermined number of data blocks that are larger than the first predetermined number of consecutive blocks,
The file replication system according to claim 1, wherein the file replication control unit determines that there is an update when the generation number increases.
前記ファイル複製制御手段は、チェックサムが一致しない場合に更新があったと判定する
ことを特徴とする請求項１記載のファイル複製システム。 The metadata block management means uses a checksum for data in the area as the update determination information,
The file replication system according to claim 1, wherein the file replication control unit determines that there is an update when the checksums do not match.
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The file copy control means determines whether or not an area constituting the file is updated based on the update determination information sent from the second computer in the first computer, and configures the area when an update is detected. The file replication system according to any one of claims 1 to 4, wherein update determination information of a small area to be sent is sent to the second computer.
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The metadata block management unit does not store a part of the update determination information corresponding to the unwritten area when an unwritten area is included in a part of the file. The file replication system described in any of the above.
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The file replication system according to any one of claims 1 to 4, wherein the first and second disk devices are the same disk device.
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The file replication system according to any one of claims 1 to 4, wherein the first and second disk devices are different disk devices.
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The metadata block management means stores update determination information at each hierarchical level as a file accessed by a character string indicating update determination information, a name for identifying the file, and a name including the hierarchical level. The file replication system according to any one of claims 1 to 4, wherein the file replication system is characterized.
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The metadata block management means divides a portion close to the beginning of the file into larger regions and divides a portion close to the end of the file into smaller regions to store the update determination information. The file replication system according to claim 4.
ファイル書き込みの結果を直ちに更新判定情報の木構造に反映せず、更新判定情報の木構造への反映に必要な情報を第３のディスク装置に書き込むファイル更新ログ追加手段と、
ファイル書き込みと独立して実行され、同一領域への複数回の更新ログ情報をまとめるファイル更新ログマージ手段と、
ファイル更新ログ情報を更新判定情報の木構造に反映するファイル更新ログ反映手段とを含む
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The metadata block management means includes:
A file update log adding means for writing the information necessary for reflecting the update determination information in the tree structure to the third disk device without immediately reflecting the result of the file writing in the tree structure of the update determination information;
A file update log merging means that is executed independently of file writing and collects update log information of a plurality of times in the same area;
The file replication system according to any one of claims 1 to 4, further comprising: a file update log reflection unit that reflects the file update log information in the tree structure of the update determination information.
ファイル書き込みの結果を直ちにチェックサムの木構造に反映せず、ファイルのデータブロック毎の更新フラグを設定する手段と、
ファイル書き込みと独立して実行され、更新フラグが設定されているデータブロックに対してチェックサムの木構造の更新を行う手段とを含む
ことを特徴とする請求項４記載のファイル複製システム。 Metadata block management means
Means for setting an update flag for each data block of the file without immediately reflecting the result of the file writing in the checksum tree structure;
5. The file replication system according to claim 4, further comprising means for executing a checksum tree structure update for a data block that is executed independently of file writing and for which an update flag is set.
ことを特徴とする請求項４記載のファイル複製システム。 Consists of a second predetermined number of data blocks that are larger than the first predetermined number of consecutive blocks, including a small area that is a single data block or a segment composed of a first predetermined number of consecutive data blocks. 5. The file duplication system according to claim 4, wherein a checksum of a large area that is a segment to be used is a checksum for a byte string obtained by concatenating the checksums of each small area in an offset order.
ことを特徴とする請求項４記載のファイル複製システム。 A second predetermined number of data greater than the first predetermined number of consecutive data including a small area that is a segment composed of a single data block or a first predetermined number of consecutive data blocks to be updated. The checksum after the update of the large area, which is a segment composed of blocks, uses a linear function that can be derived from the checksum before the update of the small area and the large area and the checksum after the update of the small area. The file replication system according to claim 4.
ことを特徴とする請求項４記載のファイル複製システム。 The file replication system according to claim 4, further comprising means for generating a checksum tree structure from existing file data.
ことを特徴とする請求項２又は３記載のファイル複製システム。 The file copy control means executes data transfer when there is no block older than all blocks at the copy destination in the copy source, and does not transfer data in other cases. The file replication system described.
前記ファイル複製制御手段は、指定したファイルまたはファイルシステム全体の複製を行う
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The metadata block management means hierarchically divides all files in the file system based on the number assigned to the file, stores update determination information regarding the file group in a tree structure,
The file replication system according to any one of claims 1 to 4, wherein the file replication control unit replicates the specified file or the entire file system.
前記ファイル複製制御手段は、指定したファイルまたは指定したディレクトリ以下の全ファイルの複製を行う
ことを特徴とする請求項１から請求項４までのいずれかに記載のファイル複製システム。 The metadata block management means hierarchically divides all the files in the file system based on the directory name of the file, stores update determination information regarding the file group in a tree structure,
The file replication control unit according to any one of claims 1 to 4, wherein the file replication control unit replicates all files under a specified file or a specified directory.
前記ファイル複製補助装置は、
前記バス上を送付される前記第１のディスク装置への書き込みコマンドを監視するバス監視手段と、
前記書き込みコマンドに基づいて前記第１のディスク装置全体を階層的に分割した領域毎の更新判定情報を第２のディスク装置に木構造で格納するメタデータブロック管理手段と、
格納したメタデータブロックを読み出すメタデータブロック読出手段とを含む
ことを特徴とするファイル複製システム。 A file replication system comprising a file replication auxiliary device connected to a bus connecting a computer and a first disk device,
The file duplication assisting device is:
Bus monitoring means for monitoring a write command to the first disk device sent over the bus;
Metadata block management means for storing update determination information for each area obtained by hierarchically dividing the entire first disk device based on the write command in a second disk device in a tree structure;
A file replication system comprising: metadata block reading means for reading stored metadata blocks.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006017964A JP2007200029A (en) | 2006-01-26 | 2006-01-26 | File copying system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006017964A JP2007200029A (en) | 2006-01-26 | 2006-01-26 | File copying system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007200029A true JP2007200029A (en) | 2007-08-09 |
Family
ID=38454584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006017964A Pending JP2007200029A (en) | 2006-01-26 | 2006-01-26 | File copying system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007200029A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011513853A (en) * | 2008-03-05 | 2011-04-28 | エヌイーシー ラボラトリーズ アメリカ インク | Associative storage system and method |
| EP2339445A2 (en) | 2009-12-22 | 2011-06-29 | Fujitsu Limited | File management information storage apparatus and method and program for controlling the same |
| JP2012208964A (en) * | 2012-08-03 | 2012-10-25 | Hitachi Ltd | Computer system, data-matching method and data-matching processing program |
| JP2013178685A (en) * | 2012-02-29 | 2013-09-09 | Nec Corp | Data processing system with asynchronous backup function, front system, backup method and program therefor |
| JP2018511861A (en) * | 2015-02-27 | 2018-04-26 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Method and device for processing data blocks in a distributed database |
| JP2021033853A (en) * | 2019-08-28 | 2021-03-01 | 富士ゼロックス株式会社 | Information processing device, information processing system and information processing program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06332769A (en) * | 1993-05-21 | 1994-12-02 | Mitsubishi Electric Corp | File control system |
| JP2001202283A (en) * | 1999-11-09 | 2001-07-27 | Fujitsu Ltd | System for monitoring contents updating situation |
| JP2006018594A (en) * | 2004-07-01 | 2006-01-19 | Mitsubishi Electric Corp | Information processor |
-
2006
- 2006-01-26 JP JP2006017964A patent/JP2007200029A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06332769A (en) * | 1993-05-21 | 1994-12-02 | Mitsubishi Electric Corp | File control system |
| JP2001202283A (en) * | 1999-11-09 | 2001-07-27 | Fujitsu Ltd | System for monitoring contents updating situation |
| JP2006018594A (en) * | 2004-07-01 | 2006-01-19 | Mitsubishi Electric Corp | Information processor |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011513853A (en) * | 2008-03-05 | 2011-04-28 | エヌイーシー ラボラトリーズ アメリカ インク | Associative storage system and method |
| EP2339445A2 (en) | 2009-12-22 | 2011-06-29 | Fujitsu Limited | File management information storage apparatus and method and program for controlling the same |
| US8375071B2 (en) | 2009-12-22 | 2013-02-12 | Fujitsu Limited | File management information storage apparatus and method and program for controlling the same |
| JP2013178685A (en) * | 2012-02-29 | 2013-09-09 | Nec Corp | Data processing system with asynchronous backup function, front system, backup method and program therefor |
| JP2012208964A (en) * | 2012-08-03 | 2012-10-25 | Hitachi Ltd | Computer system, data-matching method and data-matching processing program |
| JP2018511861A (en) * | 2015-02-27 | 2018-04-26 | アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ | Method and device for processing data blocks in a distributed database |
| JP2021033853A (en) * | 2019-08-28 | 2021-03-01 | 富士ゼロックス株式会社 | Information processing device, information processing system and information processing program |
| JP7363198B2 (en) | 2019-08-28 | 2023-10-18 | 富士フイルムビジネスイノベーション株式会社 | Information processing device, information processing system, and information processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106407040B (en) | A kind of duplicating remote data method and system | |
| US7831639B1 (en) | System and method for providing data protection by using sparse files to represent images of data stored in block devices | |
| CN105190573B (en) | The reduction redundancy of storing data | |
| US20170103086A1 (en) | Deduplicated file system | |
| US6792518B2 (en) | Data storage system having mata bit maps for indicating whether data blocks are invalid in snapshot copies | |
| JP2007200029A (en) | File copying system | |
| US20090006792A1 (en) | System and Method to Identify Changed Data Blocks | |
| US20050240725A1 (en) | Sparse multi-component files | |
| EP0397404A2 (en) | A system and method for reading and writing disks formatted for an operating system foreign to the host computer | |
| US20030225972A1 (en) | Storage system | |
| US6463573B1 (en) | Data processor storage systems with dynamic resynchronization of mirrored logical data volumes subsequent to a storage system failure | |
| CN101743546A (en) | Hierarchical storage management for a file system providing snapshots | |
| CN103547992B (en) | System and method for maintaining consistent points in file systems using a prime dependency list | |
| JP2006505069A (en) | Apparatus and method for hardware-based file system | |
| KR20060045789A (en) | Document processing apparatus, control method therefor, and computer-readable storage medium | |
| US20070033370A1 (en) | Continuous data protection | |
| US5781915A (en) | Document processing apparatus that determines whether a document has been confirmed by another user | |
| EP2452275A1 (en) | Method and device for a memory system | |
| WO2015007155A1 (en) | Data storage method and apparatus | |
| CN107679182B (en) | Directory configuration method and device | |
| CN113377579B (en) | Solid state disk data recovery method and system based on mapping table | |
| US10146466B1 (en) | Merging mapping metadata to promote reference counting efficiency | |
| KR100907477B1 (en) | Apparatus and method for managing index of data stored in flash memory | |
| JP2024525170A (en) | Data compression method and device | |
| AU2021248108A1 (en) | Data migration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080612 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110901 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120321 |