JP2013167942A - Distributed file access device, distributed file access system, distributed file access method and distributed file access program - Google Patents
Distributed file access device, distributed file access system, distributed file access method and distributed file access program Download PDFInfo
- Publication number
- JP2013167942A JP2013167942A JP2012029403A JP2012029403A JP2013167942A JP 2013167942 A JP2013167942 A JP 2013167942A JP 2012029403 A JP2012029403 A JP 2012029403A JP 2012029403 A JP2012029403 A JP 2012029403A JP 2013167942 A JP2013167942 A JP 2013167942A
- Authority
- JP
- Japan
- Prior art keywords
- file
- metadata
- data file
- access
- metadata file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本願発明は、分散ファイルシステムを持つコンピュータシステムで、ファイルへのアクセス性能を向上させるための分散ファイルアクセス装置、分散ファイルアクセスシステム、分散ファイルアクセス方法、及び、分散ファイルアクセスプログラムに関する。 The present invention relates to a distributed file access apparatus, a distributed file access system, a distributed file access method, and a distributed file access program for improving file access performance in a computer system having a distributed file system.
高速な科学技術計算性能が要求されるHPC(High Performance Computing)の領域では高並列化の技術が発達し、最近では実行するプログラムの並列数が数千から数万に達することも珍しくなくなってきている。プログラムの並列数が増すに従い使用するファイル数も増加するため、ファイルの取り扱いが困難になる。このため、並列I/O処理機能であるMPI−IOを使用し、複数のプロセスが、1つのファイルにおける他のプロセスと重ならないブロックに対して同時にアクセスするような方式も出てきている。 In the area of HPC (High Performance Computing), where high-speed scientific computing performance is required, highly parallel technology has developed, and recently, the number of programs to be executed has reached the parallel number of thousands to tens of thousands. Yes. Since the number of files to be used increases as the number of parallel programs increases, handling of files becomes difficult. For this reason, a method has been developed in which MPI-IO, which is a parallel I / O processing function, is used so that a plurality of processes simultaneously access blocks that do not overlap with other processes in one file.
このような高並列コンピュータシステムでは、プログラムの並列数が増加すればするほど1つのファイルへアクセスするプログラムの数が増加する。このため、そのファイルを格納したサーバの処理負荷が増大してシステム全体のボトルネックとなり、システム性能が低下する原因の一つとなっている。 In such a highly parallel computer system, the number of programs accessing one file increases as the number of parallel programs increases. For this reason, the processing load of the server storing the file increases, which becomes a bottleneck of the entire system, which is one of the causes of system performance degradation.
このようなシステム性能の低下を回避するための技術として、特許文献1には、論理ファイルを複数ディスク装置に分割して保存することで、並行して複数ディスク装置のファイルブロックにアクセスできるようにしたストライピングファイル機構による論理ファイルの分散管理方法に関するものが公開されている。ここで公開されている技術は、ファイル読み出し時のディスク装置へ並列での読み出しの効率化を図り、大容量ファイルの読み出し時間を短縮化するための方法である。
As a technique for avoiding such a decrease in system performance,
また、特許文献2には、仮想ファイルサーバが設定された複数の装置によって構成されるクラスタ内で仮想ファイルサーバを動的に移動させることにより、仮想ファイルサーバ単位の負荷分散を行い、特定のファイルサーバへの負荷の集中を回避するシステムが公開されている。 Further, Patent Document 2 discloses that a specific file is distributed by performing load distribution in units of virtual file servers by dynamically moving the virtual file servers in a cluster constituted by a plurality of devices in which virtual file servers are set. A system that avoids the concentration of load on the server has been released.
上記のような分散ファイルシステムを持つコンピュータシステムにおいては、ファイルへのアクセス時にファイルの存在場所等の情報を入手する必要があるため、まずファイルのメタ情報を格納したメタデータファイルへアクセスすることになる。高並列コンピュータシステムでは、このメタデータファイルへのアクセスが集中することによるメタデータファイルを格納したサーバの処理負荷が増大することがあるが、前述の特許文献1や特許文献2に記載された技術は、このメタデータファイルを格納したサーバの負荷を軽減するものではない。したがって、高並列化コンピュータシステムにおいては、メタデータファイルへのアクセスの集中がボトルネックとなり、システムの性能低下が生じる恐れがあるという問題がある。
In a computer system having a distributed file system as described above, since it is necessary to obtain information such as the location of the file when accessing the file, it is first necessary to access a metadata file that stores the meta information of the file. Become. In a highly parallel computer system, the processing load on the server storing the metadata file may increase due to the concentration of access to the metadata file. However, the techniques described in
本願発明の目的は、これらの問題点を解決した分散ファイルアクセス装置、分散ファイルアクセスシステム、分散ファイルアクセス方法、及び、分散ファイルアクセスプログラムを提供することである。 An object of the present invention is to provide a distributed file access apparatus, a distributed file access system, a distributed file access method, and a distributed file access program that solve these problems.
本願発明の一実施形態の分散ファイルアクセス装置は、1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して格納する複数のメタデータファイル格納手段と、前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記メタデータファイル格納手段の識別情報を一意に決定するメタデータファイル格納領域決定手段と、前記メタデータファイル格納領域決定手段が決定した前記メタデータファイル格納手段へアクセスするメタデータファイルアクセス手段と、を備える。 A distributed file access apparatus according to an embodiment of the present invention includes: a plurality of metadata file storage units that store a metadata file that stores metadata information of one data file by dividing the metadata file; and access to the data file The identification information of the data file specified in the instruction and the access address information in the data file are input to a hash function, and the metadata corresponding to the access address of the data file is output from the output value of the hash function Metadata file storage area determination means for uniquely determining identification information of the metadata file storage means for storing a file, and a metadata file for accessing the metadata file storage means determined by the metadata file storage area determination means And access means .
本願発明の一実施形態の分散ファイルアクセス方法は、1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して複数の記憶域に格納し、前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定し、決定した前記識別情報が示す前記記憶域へアクセスする。 A distributed file access method according to an embodiment of the present invention is a method of dividing a metadata file storing meta information of one data file into a plurality of storage areas and specifying in a data file access instruction. The identification information of the data file and the access address information in the data file are input to the hash function, and the metadata file corresponding to the access address of the data file is stored from the output value of the hash function The storage area identification information is uniquely determined, and the storage area indicated by the determined identification information is accessed.
本願発明の一実施形態の分散ファイルアクセスプログラムは、1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して複数の記憶域に格納するメタデータファイル格納処理と、前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定するメタデータファイル格納領域決定処理と、前記メタデータファイル格納領域決定処理が決定した前記記憶域へアクセスするメタデータファイルアクセス処理と、をコンピュータに実行させる。 A distributed file access program according to an embodiment of the present invention includes a metadata file storing process for dividing a metadata file storing meta information of one data file into a plurality of storage areas, and the data file The identification information of the data file specified in the access instruction and the access address information in the data file are input to the hash function, and the output value of the hash function corresponds to the access address of the data file. A metadata file storage area determination process for uniquely determining the identification information of the storage area for storing the metadata file; and a metadata file access process for accessing the storage area determined by the metadata file storage area determination process; , Execute on the computer.
本願発明は、メタデータファイルへのアクセスにおいて負荷分散を実現する。 The present invention realizes load distribution in accessing a metadata file.
本願発明の第一の実施の形態について図面を参照して詳細に説明する。 A first embodiment of the present invention will be described in detail with reference to the drawings.
図1は本願発明の第一の実施形態の構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of the first embodiment of the present invention.
本実施形態の分散ファイルアクセスシステムは、8個のプロセス実行部10−0乃至10−7と、4個のデータファイル格納部11−0乃至11−3と、3個のメタデータファイル格納部12−0乃至12−2と、メタデータファイルアクセス部13と、メタデータファイル格納領域決定部14と、データファイルアクセス部15とを包含している。
The distributed file access system of the present embodiment includes eight process execution units 10-0 to 10-7, four data file storage units 11-0 to 11-3, and three metadata file storage units 12. -0 to 12-2, a metadata
プロセス実行部10−0乃至10−7は並列化されたプロセスを実行している。プロセスがファイルアクセスを行う場合、ファイルアクセス命令を発行してメタデータファイルアクセス部13へ送付する。
The process execution units 10-0 to 10-7 are executing parallelized processes. When the process performs file access, it issues a file access command and sends it to the metadata
各プロセスが、データファイル100「/dir_1/file_A」にアクセスするときのメタデータの分散格納の構成例を図3に示す。プロセス実行部10−0乃至10−7が実行しているプロセス0乃至プロセス7は、それぞれデータファイル100における他のプロセスとは重ならない2Gバイトの領域(ブロック0乃至ブロック7)をアクセスする。例えば、プロセス0はブロック0(0乃至2Gバイト領域)、プロセス1はブロック1(2乃至4Gバイト領域)、プロセス7はブロック7(14乃至16Gバイト領域)をアクセスする。
FIG. 3 shows a configuration example of the distributed storage of metadata when each process accesses the data file 100 “/ dir_1 / file_A”.
各プロセスが発行するファイルアクセス命令110の構成例を図4に示す。例えばプロセス実行部10−2におけるプロセス2が発行するデータファイル100へのリードアクセス命令の場合、Read/Write区分はRead、データファイル名称は/dir_1/file_A、開始オフセットは4Gバイト以上6Gバイト未満の値、アクセスサイズは0バイト以上2Gバイト以下の値となる。
A configuration example of the
データファイル格納部11−0乃至11−3は、データファイル100を分割して格納しており、それぞれのシステム管理上の名称はSS0乃至SS3である。 The data file storage units 11-0 to 11-3 divide and store the data file 100, and their system management names are SS0 to SS3.
メタデータファイル格納部12−0乃至12−2は、データファイル100のメタデータを記録したメタデータファイルを分割して格納しており、それぞれのシステム管理上の名称はMDS0乃至MDS3である。 The metadata file storage units 12-0 to 12-2 divide and store metadata files that record the metadata of the data file 100, and the system management names thereof are MDS0 to MDS3.
メタデータファイルの構成例を図5に示す。メタデータファイルは、メタデータファイル属性情報部120とメタデータファイル対応表部130を包含している。メタデータファイル属性情報部120は、データファイル100の属性情報を記録したものであり、データファイル名称、アクセス権、所有者、サイズ、メタデータブロックサイズを包含している。メタデータファイル属性情報部120の格納データは、ライトアクセスのファイルアクセス命令110が発行されたときに、メタデータファイル格納部12−0乃至12−2により、ファイルアクセス命令110が包含する情報やシステム情報に基づいて書き込まれたものである。
A configuration example of the metadata file is shown in FIG. The metadata file includes a metadata file attribute information part 120 and a metadata file correspondence table part 130. The metadata file attribute information section 120 records attribute information of the data file 100 and includes a data file name, access right, owner, size, and metadata block size. The data stored in the metadata file attribute information section 120 includes information and systems included in the
メタデータファイル対応表部130は、データファイル100の格納先の情報を記録したものである。メタデータファイル対応表部130の格納データは、ライトアクセスのファイルアクセス命令110が発行されたときに、メタデータファイル格納部12−0乃至12−2により、ファイルアクセス命令110が包含するデータファイル名称、開始オフセット、アクセスサイズの情報を基にして書き込まれたものである。
The metadata file correspondence table unit 130 records information on the storage destination of the data file 100. The data stored in the metadata file correspondence table unit 130 includes data file names included in the
本実施形態の分散ファイルアクセスシステムは、メタデータファイル対応表部130をメタデータファイル格納部12−0乃至12−2に分散格納する。メタデータファイル属性情報部120については分散格納を行わずに、メタデータファイル対応表部130の先頭部分のデータを格納するメタデータファイル格納部に格納する。 In the distributed file access system of this embodiment, the metadata file correspondence table unit 130 is distributedly stored in the metadata file storage units 12-0 to 12-2. The metadata file attribute information section 120 is stored in a metadata file storage section that stores data at the head of the metadata file correspondence table section 130 without performing distributed storage.
図5に示すとおり、本実施形態では、メタデータファイル格納部12−0乃至12−2は、データファイル100を536870912バイト(512Mバイト)単位のブロックに分割し、各ブロックをデータファイル格納部11−0(SS0)乃至11−3(SS3)にラウンドロビンで順番に格納している。尚、これは一例であり、メタデータファイル格納部12−0乃至12−2は、データファイル100を他のサイズのブロックで分割する場合もあれば、分割しない場合もある。
As shown in FIG. 5, in the present embodiment, the metadata file storage units 12-0 to 12-2 divide the data file 100 into blocks of 5368870912 bytes (512 Mbytes), and each block is the data
メタデータファイル格納部12−0乃至12−2は、各ブロックのシステム管理上の実ファイル名を、データファイル100の名称と、上述した512Mバイトブロックの開始オフセットと終了オフセットを基に、一意になるように付与している。例えば最初の512Mバイトブロックの場合は、dir_1_file_A:0_536870911となる。 The metadata file storage units 12-0 to 12-2 uniquely identify the actual file name in the system management of each block based on the name of the data file 100 and the start offset and end offset of the 512 Mbyte block described above. Is granted. For example, in the case of the first 512 Mbyte block, dir_1_file_A: 0_536870911.
図3、図5に示すとおり、メタデータファイル格納部12−0(MDS0)乃至12−2(MDS2)は、データファイル100のメタデータファイルを、データファイル100の3Gバイト領域単位に対応したメタデータに分割して分散格納している。例えば、メタデータファイル格納部12−1(MDS1)は、データファイル100の0乃至3G−1バイト領域に対応するメタデータを格納する。メタデータファイル格納部12−2(MDS2)は、データファイル100の3G乃至6G−1バイト領域に対応するメタデータを格納する。 As shown in FIGS. 3 and 5, the metadata file storage units 12-0 (MDS 0) to 12-2 (MDS 2) convert the metadata file of the data file 100 into the metadata corresponding to the 3 Gbyte area unit of the data file 100. The data is divided and stored. For example, the metadata file storage unit 12-1 (MDS1) stores metadata corresponding to the 0 to 3G-1 byte area of the data file 100. The metadata file storage unit 12-2 (MDS2) stores metadata corresponding to the 3G to 6G-1 byte area of the data file 100.
メタデータファイルアクセス部13は、プロセス実行部10−0乃至10−7から受信した、ファイルアクセス命令110におけるデータファイル名称と開始オフセットとアクセスサイズの情報を、メタデータファイル格納領域決定部14に送付する。
The metadata
メタデータファイル格納領域決定部14は、データファイル名称と開始オフセットとアクセスサイズの情報を基に、ハッシュ関数140を用いて、データファイル100のメタデータを格納したメタデータファイル格納部を決定する。ハッシュ関数140の具体例MDSnum(x,b)を以下に示す。
The metadata file storage
MDSnum(x,b)=(floor(x/3GB)+ascii(b)) mod 3
このハッシュ関数において、xはデータファイル100における位置を示すオフセット、bはデータファイル100の名称、floor(z)はz以下の最大の整数を出力する関数、ascii(b)は文字列bの各文字のアスキーコードの和を出力する関数である。データファイル100「/dir_1/file_A」へのアクセスの場合、ascii(/dir_1/file_A)の値は1138となる。ハッシュ関数140がfloor(x/3GB)を使用するのは、データファイル100の3Gバイト領域単位でメタデータを分割して、メタデータファイル格納部12−0乃至12−2を割り当てるためである。ハッシュ関数140がmod 3を使用するのは、メタデータファイル格納部12−0乃至12−2の数が3個であるためである。
MDSnum (x, b) = (floor (x / 3GB) + ascii (b))
In this hash function, x is an offset indicating the position in the data file 100, b is the name of the data file 100, floor (z) is a function that outputs the largest integer less than or equal to z, and ascii (b) is each character string b. This function outputs the sum of ASCII characters. In the case of access to the data file 100 “/ dir_1 / file_A”, the value of ascii (/ dir_1 / file_A) is 1138. The reason why the
例えば、プロセス実行部10−1が実行しているプロセス1が、データファイル100における開始オフセット2Gバイトから2Gバイトサイズの領域へのファイルアクセス命令110を発行した場合、メタデータファイル格納領域決定部14は、MDSnum(2GB,/dir_1/file_A)=1、MDSnum(3GB,/dir_1/file_A)=2、MDSnum(4G−1B,/dir_1/file_A)=2を算出する。その結果、メタデータファイル格納領域決定部14は、メタデータファイルアクセス部13に対して、「/dir_1/file_Aのオフセット2Gバイト乃至3G−1バイトの領域に対するメタデータファイル格納部はMDS1」であることと、「/dir_1/file_Aのオフセット3Gバイト乃至4G−1バイトの領域に対するメタデータファイル格納部はMDS2」であることを通知する。
For example, when the
前記の例で、MDSnum(3GB,/dir_1/file_A)=2を算出するのは、データファイル100の3Gバイト領域単位でメタデータを分割して、メタデータファイル格納部12−0乃至12−2を割り当てるためである。すなわち、3Gバイト境界を境に格納先のメタデータファイル格納部12−0乃至12−2が変わるからである。メタデータファイル格納領域決定部14は、データファイル100のアクセス領域の開始オフセットと終了オフセットの間に3Gバイト境界が存在する場合は、境界部分についてハッシュ関数140の値を算出する。
In the above example, MDSnum (3GB, / dir_1 / file_A) = 2 is calculated by dividing the metadata in units of 3 Gbyte area of the data file 100, and the metadata file storage units 12-0 to 12-2. It is for assigning. In other words, the metadata file storage units 12-0 to 12-2 as storage destinations change at the 3 Gbyte boundary. When a 3 Gbyte boundary exists between the start offset and the end offset of the access area of the data file 100, the metadata file storage
メタデータファイルアクセス部13は、メタデータ格納領域決定部14から受信したメタデータファイル格納先の情報に従い、メタデータファイル格納部12−0乃至12−2の何れかにアクセスする。プロセス実行部10−1のプロセス1が、データファイル100における開始オフセット2Gバイトから2Gバイトサイズの領域へのファイルアクセス命令110を発行した場合の例では、メタデータファイルアクセス部13は、上述の通りメタデータファイル格納部12−1(MDS1)、12−2(MDS2)へアクセスする。
The metadata
メタデータファイルアクセス部13は、図5におけるメタデータファイル対応表部130に記載のとおり、メタデータファイル格納部12−1(MDS1)から、データファイル100のオフセット2Gバイト乃至3G−1バイトの領域のデータの格納先がデータファイル格納部11−0(SS0)と11−1(SS1)(512Mバイトブロック単位で分割格納)であることを、その実ファイル名とともに読み出す。続いてメタデータファイルアクセス部13は、メタデータファイル格納部12−2(MDS2)から、データファイル100のオフセット3Gバイト乃至4G−1バイトの領域のデータの格納先がデータファイル格納部11−2(SS2)と11−3(SS3)(512Mバイトブロック単位で分割格納)であることを、その実ファイル名とともに読み出す。メタデータファイルアクセス部13は、読み出したデータファイル格納先と実ファイル名の情報を、データファイルアクセス部15へ送付する。
As described in the metadata file correspondence table unit 130 in FIG. 5, the metadata
データファイルアクセス部15は、メタデータファイルアクセス部13から受信したテータファイル格納先と実ファイル名の情報に基づき、データファイル格納部11−0乃至11−3へアクセスする。
The data file
次に図2のフローチャートを参照して、本実施形態の動作について詳細に説明する。 Next, the operation of this embodiment will be described in detail with reference to the flowchart of FIG.
プロセス実行部10−0乃至10−7が実行しているプロセスは、データファイル100へのファイルアクセス命令110を発行し、メタデータファイルアクセス部13へ送付する(S101)。
The processes executed by the process execution units 10-0 to 10-7 issue a
メタデータファイルアクセス部13は、ファイルアクセス命令110をメタデータファイル格納領域決定部14へ送付する(S102)。
The metadata
メタデータファイル格納領域決定部14は、ファイルアクセス命令110におけるデータファイル名称と開始オフセットとアクセスサイズの情報から、ハッシュ関数140を使用してデータファイル100に対応するメタデータファイルの格納先となるメタデータファイル格納部を決定し、メタデータファイル格納先の情報をメタデータファイルアクセス部13へ送付する(S103)。
The metadata file storage
メタデータファイルアクセス部13は、受信したメタデータファイル格納先の情報が示す何れかのメタデータファイル格納部12−n(n=0乃至2の何れか)に、ファイルアクセス命令110を送付する(S104)。
The metadata
ファイルアクセス命令110がWriteリクエストである場合(S105でYes)、メタデータファイル格納部12−nは、ファイルアクセス命令110の情報から、データファイル110のメタデータを作成し、メタデータファイル属性情報部120とメタデータファイル対応表部130に、メタデータを書き込む(S106)。
When the
メタデータファイル格納部12−nは、作成したデータファイル110のメタデータをメタデータファイルアクセス部13へ送付する(S107)。 The metadata file storage unit 12-n sends the metadata of the created data file 110 to the metadata file access unit 13 (S107).
ファイルアクセス命令110がWriteリクエストでない場合(S105でNo)、ファイルアクセス命令110はReadリクエストであり、メタデータファイル格納部12−nは、メタデータファイル対応表部130から、ファイルアクセス命令110が包含する情報から決定するレコードに格納されたメタデータを読み込む(S108)。
When the
メタデータファイル格納部12−nは、読み込んだデータファイル110のメタデータを、メタデータファイルアクセス部13へ送付する(S109)。 The metadata file storage unit 12-n sends the metadata of the read data file 110 to the metadata file access unit 13 (S109).
メタデータファイルアクセス部13は、データファイル110のメタデータを、データファイルアクセス部15へ送付する(S110)。
The metadata
データファイルアクセス部15は、データファイル110のメタデータが示す何れかのデータファイル格納部11−0乃至11−3に対して、データファイル110のメタデータが示す実ファイル名でアクセスする(S111)。
The data file
本実施形態には、データファイルのメタデータを格納したメタデータファイルを分散配置させることで、メタデータファイルを格納したある特定のサーバへの負荷の集中を回避する効果がある。なぜなら、メタデータファイル格納領域決定部14が、プロセス実行部10−0〜10−7で実行されるプロセスが発行する、データファイル100へのファイルアクセス命令110におけるデータファイル名称とオフセット情報を基に、ハッシュ関数140を用いて、データファイル100のメタデータファイルを分散配置させるからである。
The present embodiment has an effect of avoiding concentration of load on a specific server storing the metadata file by distributing and arranging the metadata file storing the metadata of the data file. This is because the metadata file storage
メタデータファイルの分散配置により、複数のメタデータファイル格納サーバに負荷を分散させることで、メタデータ格納ファイルサーバの処理のボトルネックによるシステム性能の低下を回避することが可能となる。 By distributing the metadata file, the load is distributed to a plurality of metadata file storage servers, so that it is possible to avoid a decrease in system performance due to a bottleneck in processing of the metadata storage file server.
また本実施形態は、1つのデータファイルにおけるブロック領域単位に対応したメタデータを分散配置しているため、1つのデータファイルについてブロック領域単位でデータを並列処理するような大きな配列変数の演算を行うHPC領域のアプリケーションにおいて、大きな効果がある。
<第二の実施形態>
次に、本願発明の第二の実施形態について図面を参照して詳細に説明する。
In addition, since the metadata corresponding to the block area unit in one data file is distributed and arranged in the present embodiment, a large array variable is calculated such that data is processed in parallel for each block area for one data file. This has a great effect in the application in the HPC region.
<Second Embodiment>
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
図6は本願発明の第二の実施形態の構成を示すブロック図である。 FIG. 6 is a block diagram showing the configuration of the second embodiment of the present invention.
本実施形態は、第一の実施形態の構成に加えて、ハッシュ関数数式設定部141とハッシュ関数設定情報格納部16とを備えている。ハッシュ関数数式設定部141とハッシュ関数設定情報格納部16を除く各構成要素の機能は第一の実施形態と同様である。
The present embodiment includes a hash function formula setting unit 141 and a hash function setting
ハッシュ関数数式設定入力部141は、メタデータファイルアクセス部13から受信した、ファイルアクセス命令110におけるデータファイル名称を、ハッシュ関数設定情報格納部16に送付する。
The hash function formula setting input unit 141 sends the data file name in the
ハッシュ関数設定情報格納部16は、ハッシュ関数設定情報160を格納している。ハッシュ関数設定情報160の構成例を図7に示す。ハッシュ関数設定情報160はデータファイル100とハッシュ関数140との対応関係を格納している。例えば、データファイル100が「/dir_1/file_A」の場合は、メタデータファイル格納領域決定部140は、ハッシュ関数として、
MDSnum(x,b)=(floor(x/3GB)+ascii(b)) mod 3
を使用し、データファイル100が「/dir_1/file_B」の場合は、メタデータファイル格納領域決定部140は、ハッシュ関数として、
MDSnum(x,b)=(floor(x/6GB)+ascii(b)) mod 3
を使用することを示している。
The hash function setting
MDSnum (x, b) = (floor (x / 3GB) + ascii (b))
When the data file 100 is “/ dir_1 / file_B”, the metadata file storage
MDSnum (x, b) = (floor (x / 6GB) + ascii (b))
Shows that you use.
ハッシュ関数設定情報160は、実行するアプリケーションのデータファイルへのアクセスの特性を熟知した担当者が設定する。 The hash function setting information 160 is set by a person in charge who is familiar with the characteristics of access to the data file of the application to be executed.
ハッシュ関数設定情報格納部16は、ハッシュ関数数式設定入力部141から受信したデータファイル名称と、データファイル名称が一致するレコードをハッシュ関数設定情報160から読み出して、読み出したレコードにおけるハッシュ関数数式の情報をハッシュ関数数式設定入力部141へ送付する。
The hash function setting
ハッシュ関数数式設定入力部141は、受信したハッシュ関数数式をハッシュ関数140に設定する。
The hash function formula setting input unit 141 sets the received hash function formula in the
本実施形態には、メタデータファイルの分散配置を決定するハッシュ関数の数式をデータファイルにより可変としたことで、データファイル毎にメタデータファイルの分散配置の仕方を変更できる効果がある。なぜなら、ハッシュ関数数式設定部141が、アクセスするデータファイルに対応したハッシュ関数の数式をハッシュ関数設定情格納部16から取得し、その数式をメタデータファイル格納領域決定部14で使用するハッシュ関数140として設定するからである。
In the present embodiment, the formula of the hash function for determining the distributed arrangement of the metadata file is variable depending on the data file, so that the method of distributing the distributed metadata file can be changed for each data file. This is because the hash function formula setting unit 141 acquires the formula of the hash function corresponding to the data file to be accessed from the hash function setting
メタデータファイルの分散配置の仕方をデータファイルにより可変とすることで、実行するプログラムのデータファイルへのアクセスの仕方の特徴をふまえたメタデータファイルの分散配置の仕方を設定し、チューニングを行うことが可能となる。
<第三の実施形態>
次に、本願発明の第三の実施形態について図面を参照して詳細に説明する。
By making the method of distributed arrangement of metadata files variable depending on the data file, setting the method of distributed arrangement of metadata files based on the characteristics of how to access the data file of the program to be executed and tuning Is possible.
<Third embodiment>
Next, a third embodiment of the present invention will be described in detail with reference to the drawings.
図8は本願発明の第三の実施形態の構成を示すブロック図である。 FIG. 8 is a block diagram showing the configuration of the third embodiment of the present invention.
本実施形態の分散ファイルアクセス装置は、複数、例えば3個のメタデータファイル格納部22−0乃至22−2と、メタデータファイルアクセス部23と、メタデータファイル格納領域決定部24とを包含している。
The distributed file access apparatus according to this embodiment includes a plurality of, for example, three metadata file storage units 22-0 to 22-2, a metadata
メタデータファイル格納部22−0乃至22−2は、データファイル200のメタデータを記録したメタデータファイルを分割して格納しており、それぞれのシステム管理上の名称はMDS0乃至MDS2である。 The metadata file storage units 22-0 to 22-2 divide and store the metadata file that records the metadata of the data file 200, and the system management names thereof are MDS0 to MDS2.
メタデータファイル格納領域決定部24は、データファイル200へのアクセス命令におけるデータファイル200の識別情報とアクセスアドレスの情報を基に、ハッシュ関数240を用いて、データファイル200のメタデータが格納されたメタデータファイル格納部22−0(MDS0)乃至22−2(MDS2)の何れかを一意に決定する。
The metadata file storage
データファイル200へのアクセス命令の構成は、第一の実施例と同様、図4に示すとおりである。したがって、データファイル200の識別情報としてファイルアクセス命令110におけるデータファイル名称を使用し、前記のアクセスアドレスの情報として、ファイルアクセス命令110における開始オフセットとアクセスサイズを使用する。
The configuration of the access command to the data file 200 is as shown in FIG. 4 as in the first embodiment. Therefore, the data file name in the
メタデータファイルアクセス部23は、メタデータファイル格納領域決定部24が決定したメタデータファイル格納部22−0(MDS0)乃至22−2(MDS2)の何れかに格納されたメタデータファイルにアクセスする。
The metadata
本実施形態におけるデータファイル200のメタデータの分散格納の構成例を図9に示す。本実施形態では、メタデータファイル格納部22−0乃至22−2が、第一の実施形態の様にデータファイル100のブロック領域単位に対応するメタデータを格納するのではなく、データファイル200のアドレス単位に対応するメタデータを格納する。 A configuration example of the distributed storage of metadata of the data file 200 in the present embodiment is shown in FIG. In this embodiment, the metadata file storage units 22-0 to 22-2 do not store the metadata corresponding to the block area unit of the data file 100 as in the first embodiment, but instead of storing the metadata of the data file 200. Stores metadata corresponding to address units.
本実施形態には、第一の実施形態と同様に、データファイルのメタデータを格納したメタデータファイルを分散配置させることで、メタデータファイルを格納したある特定のサーバへの負荷の集中を回避する効果がある。 As in the first embodiment, the present embodiment distributes metadata files that store metadata of data files, thereby avoiding concentration of load on a specific server that stores the metadata files. There is an effect to.
また本実施形態は、1つデータファイルにおけるアドレス単位に対応したメタデータを分散配置しているため、1つのデータファイル内のデータを不規則に同時に参照して処理するような一般的なアプリケーションにおいて効果がある。 In the present embodiment, since metadata corresponding to the address unit in one data file is distributed and arranged, in a general application in which data in one data file is simultaneously referred to and processed irregularly. effective.
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
10−0乃至10−7 プロセス実行部
11−0乃至11−3 データファイル格納部
12−0乃至12−2 メタデータファイル格納部
13 メタデータファイルアクセス部
14 メタデータファイル格納領域決定部
140 ハッシュ関数
15 データファイルアクセス部
100 データファイル
110 ファイルアクセス命令
120 メタデータファイル属性情報部
130 メタデータファイル対応表部
141 ハッシュ関数数式設定部
16 ハッシュ関数設定情報格納部
160 ハッシュ関数設定情報
22−0乃至22−2 メタデータファイル格納部
23 メタデータファイルアクセス部
24 メタデータファイル格納領域決定部
240 ハッシュ関数
200 データファイル
10-0 to 10-7 Process execution unit 11-0 to 11-3 Data file storage unit 12-0 to 12-2 Metadata
Claims (10)
前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記メタデータファイル格納手段の識別情報を一意に決定するメタデータファイル格納領域決定手段と、
前記メタデータファイル格納領域決定手段が決定した前記メタデータファイル格納手段へアクセスするメタデータファイルアクセス手段と、
を備える分散ファイルアクセス装置。 A plurality of metadata file storage means for storing a metadata file storing the metadata of one data file by dividing the metadata file into a plurality of metadata files;
The identification information of the data file specified in the access instruction to the data file and the access address information in the data file are input to the hash function, and the access address of the data file is calculated from the output value of the hash function. Metadata file storage area determination means for uniquely determining identification information of the metadata file storage means for storing the metadata file corresponding to
Metadata file access means for accessing the metadata file storage means determined by the metadata file storage area determination means;
A distributed file access device comprising:
前記メタデータファイル格納領域決定手段は、前記アクセス命令において指定された当該データファイルにおける前記アクセスアドレスを、前記ブロック領域単位で、当該データファイルの識別情報とともに前記ハッシュ関数に入力して、当該ブロック領域に対応する前記メタデータファイルを格納する前記メタデータファイル格納手段の識別情報を一意に決定する
請求項1の分散ファイルアクセス装置。 The metadata file storage means stores the metadata file corresponding to the block area in a plurality of block area units constituting one data file,
The metadata file storage area determination means inputs the access address in the data file specified in the access instruction to the hash function together with the identification information of the data file in the block area unit, The distributed file access device according to claim 1, wherein identification information of the metadata file storage unit that stores the metadata file corresponding to is uniquely determined.
前記メタデータファイル格納領域決定手段は、前記対応情報を構成するレコードの中から、前記データファイルの識別情報が、前記データファイルへのアクセス命令における当該データファイルの識別情報と一致するレコードを参照して、当該レコードに格納された前記ハッシュ関数の数式を使用する、
請求項1乃至2の何れかの分散ファイルアクセス装置。 A hash function setting information storage unit that stores correspondence information between the identification information of the data file and the mathematical formula of the hash function;
The metadata file storage area determination means refers to a record in which the identification information of the data file matches the identification information of the data file in the access instruction to the data file, among the records constituting the correspondence information. And using the hash function formula stored in the record,
The distributed file access apparatus according to claim 1.
前記データファイルへのアクセス命令を発行して前記データファイルへアクセスするプロセス実行装置と、
前記データファイルを格納するデータファイル格納装置と、
を包含する分散ファイルアクセスシステム。 The distributed file access device according to claim 1,
A process execution device that issues an access instruction to the data file to access the data file;
A data file storage device for storing the data file;
A distributed file access system.
前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定し、
決定した前記識別情報が示す前記記憶域へアクセスする
分散ファイルアクセス方法。 A metadata file storing meta information of one data file is divided into a plurality of pieces and stored in a plurality of storage areas.
The identification information of the data file specified in the access instruction to the data file and the access address information in the data file are input to the hash function, and the access address of the data file is calculated from the output value of the hash function. Uniquely identifying the storage area storing the metadata file corresponding to
A distributed file access method for accessing the storage area indicated by the determined identification information.
前記アクセス命令において指定された当該データファイルにおける前記アクセスアドレスを、前記ブロック領域単位で、当該データファイルの識別情報とともに前記ハッシュ関数に入力して、当該ブロック領域に対応する前記メタデータファイルが格納された前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定する
請求項5の分散ファイルアクセス方法。 The storage area in which the metadata file is stored stores the metadata file corresponding to the block area in a plurality of block area units constituting one data file,
The access address in the data file specified in the access command is input to the hash function together with the identification information of the data file in the block area unit, and the metadata file corresponding to the block area is stored. 6. The distributed file access method according to claim 5, wherein identification information of the storage area for storing the metadata file is uniquely determined.
前記対応情報を構成するレコードの中から、前記データファイルの識別情報が、前記データファイルへのアクセス命令における当該データファイルの識別情報と一致するレコードを参照して、当該レコードに格納された前記ハッシュ関数の数式を、前記メタデータファイルを格納する記憶域の識別情報を決定するために使用する
請求項5乃至6の何れかの分散ファイルアクセス方法。 Storing correspondence information between the identification information of the data file and the formula of the hash function in a storage area;
The hash stored in the record with reference to the record in which the identification information of the data file matches the identification information of the data file in the access instruction to the data file from among the records constituting the correspondence information The distributed file access method according to claim 5, wherein a mathematical expression of a function is used to determine identification information of a storage area in which the metadata file is stored.
前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定するメタデータファイル格納領域決定処理と、
前記メタデータファイル格納領域決定処理が決定した前記記憶域へアクセスするメタデータファイルアクセス処理と、
をコンピュータに実行させる分散ファイルアクセスプログラム。 A metadata file storing process in which a metadata file storing metadata information of one data file is divided into a plurality of pieces and stored in a plurality of storage areas;
The identification information of the data file specified in the access instruction to the data file and the access address information in the data file are input to the hash function, and the access address of the data file is calculated from the output value of the hash function. Metadata file storage area determination processing for uniquely determining the storage area identification information for storing the metadata file corresponding to
A metadata file access process for accessing the storage area determined by the metadata file storage area determination process;
Distributed file access program that causes computers to execute.
前記メタデータファイル格納領域決定処理は、前記アクセス命令において指定された当該データファイルにおける前記アクセスアドレスを、前記ブロック領域単位で、当該データファイルの識別情報とともに前記ハッシュ関数に入力して、当該ブロック領域に対応する前記メタデータファイルを格納する前記メタデータファイル格納処理の記憶域の識別情報を一意に決定する
請求項8の分散ファイルアクセスプログラム。 The storage area for storing the metadata file stores the metadata file corresponding to the block area in a plurality of block area units constituting one data file,
The metadata file storage area determination process inputs the access address in the data file specified in the access instruction to the hash function together with the identification information of the data file in the block area unit, The distributed file access program according to claim 8, wherein identification information of a storage area of the metadata file storing process for storing the metadata file corresponding to is uniquely determined.
前記対応情報を構成するレコードの中から、前記データファイルの識別情報が、前記データファイルへのアクセス命令における当該データファイルの識別情報と一致するレコードを参照して、当該レコードに格納された前記ハッシュ関数の数式を使用する前記メタデータファイル格納領域決定処理と、
をコンピュータに実行させる請求項8乃至9の何れかの分散ファイルアクセスプログラム。 Hash function setting information storage processing for storing correspondence information between the identification information of the data file and the formula of the hash function in a storage area;
The hash stored in the record with reference to the record in which the identification information of the data file matches the identification information of the data file in the access instruction to the data file from among the records constituting the correspondence information The metadata file storage area determination process using a mathematical expression of a function;
10. The distributed file access program according to claim 8, wherein the computer executes the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012029403A JP5966404B2 (en) | 2012-02-14 | 2012-02-14 | Distributed file access device, distributed file access system, distributed file access method, and distributed file access program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012029403A JP5966404B2 (en) | 2012-02-14 | 2012-02-14 | Distributed file access device, distributed file access system, distributed file access method, and distributed file access program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013167942A true JP2013167942A (en) | 2013-08-29 |
JP5966404B2 JP5966404B2 (en) | 2016-08-10 |
Family
ID=49178310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012029403A Expired - Fee Related JP5966404B2 (en) | 2012-02-14 | 2012-02-14 | Distributed file access device, distributed file access system, distributed file access method, and distributed file access program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5966404B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150057428A (en) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | Metadata management apparatus and Method thereof |
JP2017506373A (en) * | 2013-11-26 | 2017-03-02 | アビニシオ テクノロジー エルエルシー | Parallel access to data in a distributed file system |
JP2020506464A (en) * | 2017-01-18 | 2020-02-27 | ネットアップ,インコーポレイテッド | Method and system for restoring archived data containers on object-based storage |
US11663351B2 (en) | 2020-01-23 | 2023-05-30 | Fujitsu Limited | Information processing system, information processing device, and non-transitory computer-readable storage medium for storing program of controlling access authority |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07175698A (en) * | 1993-12-17 | 1995-07-14 | Fujitsu Ltd | File system |
-
2012
- 2012-02-14 JP JP2012029403A patent/JP5966404B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07175698A (en) * | 1993-12-17 | 1995-07-14 | Fujitsu Ltd | File system |
Non-Patent Citations (1)
Title |
---|
JPN6015047263; Keiji Yamamoto: 'Hash-based Metadata Management for Parallel File System' ハイパフォーマンスコンピューティングと計算科学シンポジウム論文集 第2012巻, 20120117, p.80, 情報処理学会 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150057428A (en) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | Metadata management apparatus and Method thereof |
KR101689257B1 (en) * | 2013-11-19 | 2016-12-23 | 한국전자통신연구원 | Metadata management apparatus and Method thereof |
JP2017506373A (en) * | 2013-11-26 | 2017-03-02 | アビニシオ テクノロジー エルエルシー | Parallel access to data in a distributed file system |
US10776325B2 (en) | 2013-11-26 | 2020-09-15 | Ab Initio Technology Llc | Parallel access to data in a distributed file system |
US11599509B2 (en) | 2013-11-26 | 2023-03-07 | Ab Initio Technology Llc | Parallel access to data in a distributed file system |
JP2020506464A (en) * | 2017-01-18 | 2020-02-27 | ネットアップ,インコーポレイテッド | Method and system for restoring archived data containers on object-based storage |
US11663351B2 (en) | 2020-01-23 | 2023-05-30 | Fujitsu Limited | Information processing system, information processing device, and non-transitory computer-readable storage medium for storing program of controlling access authority |
JP7360040B2 (en) | 2020-01-23 | 2023-10-12 | 富士通株式会社 | Information processing system, information processing device and program |
Also Published As
Publication number | Publication date |
---|---|
JP5966404B2 (en) | 2016-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101502896B1 (en) | Distributed memory cluster control apparatus and method using map reduce | |
JP5902323B2 (en) | Method and apparatus for arranging content-derived data in memory | |
US9015413B2 (en) | Management of data using inheritable attributes | |
US20150347311A1 (en) | Storage hierarchical management system | |
US7921142B2 (en) | Method and apparatus for storing and accessing data records on solid state disks | |
JP5439236B2 (en) | Computer system and method of executing application program | |
JP4837759B2 (en) | Database processing method, database processing system, and database server | |
US9658774B2 (en) | Storage system and storage control method | |
US9535844B1 (en) | Prioritization for cache systems | |
US20140181455A1 (en) | Category based space allocation for multiple storage devices | |
US8954658B1 (en) | Method of LUN management in a solid state disk array | |
JP5966404B2 (en) | Distributed file access device, distributed file access system, distributed file access method, and distributed file access program | |
JP2018106545A (en) | Information processing device, information processing system, information processing method and program | |
US10929347B2 (en) | Defragmenting files having file blocks in multiple point-in-time copies | |
WO2015189988A1 (en) | Management server which outputs file relocation policy, and storage system | |
US8468303B2 (en) | Method and apparatus to allocate area to virtual volume based on object access type | |
US8504764B2 (en) | Method and apparatus to manage object-based tiers | |
US9870152B2 (en) | Management system and management method for managing data units constituting schemas of a database | |
US8918621B1 (en) | Block address isolation for file systems | |
US11789622B2 (en) | Method, device and computer program product for storage management | |
US20180329756A1 (en) | Distributed processing system, distributed processing method, and storage medium | |
JP2013088920A (en) | Computer system and data management method | |
WO2017109911A1 (en) | Search processing system and method for processing search requests involving data transfer amount unknown to host | |
JP7310110B2 (en) | storage and information processing systems; | |
JP2019125264A (en) | Data structure of wos, data conversion program, data conversion method and data conversion apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160620 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5966404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |