JP2013167942A - Distributed file access device, distributed file access system, distributed file access method and distributed file access program - Google Patents

Distributed file access device, distributed file access system, distributed file access method and distributed file access program Download PDF

Info

Publication number
JP2013167942A
JP2013167942A JP2012029403A JP2012029403A JP2013167942A JP 2013167942 A JP2013167942 A JP 2013167942A JP 2012029403 A JP2012029403 A JP 2012029403A JP 2012029403 A JP2012029403 A JP 2012029403A JP 2013167942 A JP2013167942 A JP 2013167942A
Authority
JP
Japan
Prior art keywords
file
metadata
data file
access
metadata file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012029403A
Other languages
Japanese (ja)
Other versions
JP5966404B2 (en
Inventor
Masashi Ikuta
将史 生田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012029403A priority Critical patent/JP5966404B2/en
Publication of JP2013167942A publication Critical patent/JP2013167942A/en
Application granted granted Critical
Publication of JP5966404B2 publication Critical patent/JP5966404B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a distributed file access device for avoiding occurrence of performance deterioration of a system due to a bottleneck in which access to a metadata file converges.SOLUTION: A distributed file access device comprises: metadata file storage means which divides a metadata file of one data file into a plurality of files and stores them; metadata file storage area determination means which inputs identification information of the data file designated by an access instruction to the data file and information about an access address in the data file into a hash function, and uniquely determines identification information of the metadata file storage means storing the metadata file corresponding to the access address of the data file, from an output value of the hash function; and metadata file access means which accesses the metadata file storage means determined by the metadata file storage area determination means.

Description

本願発明は、分散ファイルシステムを持つコンピュータシステムで、ファイルへのアクセス性能を向上させるための分散ファイルアクセス装置、分散ファイルアクセスシステム、分散ファイルアクセス方法、及び、分散ファイルアクセスプログラムに関する。   The present invention relates to a distributed file access apparatus, a distributed file access system, a distributed file access method, and a distributed file access program for improving file access performance in a computer system having a distributed file system.

高速な科学技術計算性能が要求されるHPC(High Performance Computing)の領域では高並列化の技術が発達し、最近では実行するプログラムの並列数が数千から数万に達することも珍しくなくなってきている。プログラムの並列数が増すに従い使用するファイル数も増加するため、ファイルの取り扱いが困難になる。このため、並列I/O処理機能であるMPI−IOを使用し、複数のプロセスが、1つのファイルにおける他のプロセスと重ならないブロックに対して同時にアクセスするような方式も出てきている。   In the area of HPC (High Performance Computing), where high-speed scientific computing performance is required, highly parallel technology has developed, and recently, the number of programs to be executed has reached the parallel number of thousands to tens of thousands. Yes. Since the number of files to be used increases as the number of parallel programs increases, handling of files becomes difficult. For this reason, a method has been developed in which MPI-IO, which is a parallel I / O processing function, is used so that a plurality of processes simultaneously access blocks that do not overlap with other processes in one file.

このような高並列コンピュータシステムでは、プログラムの並列数が増加すればするほど1つのファイルへアクセスするプログラムの数が増加する。このため、そのファイルを格納したサーバの処理負荷が増大してシステム全体のボトルネックとなり、システム性能が低下する原因の一つとなっている。   In such a highly parallel computer system, the number of programs accessing one file increases as the number of parallel programs increases. For this reason, the processing load of the server storing the file increases, which becomes a bottleneck of the entire system, which is one of the causes of system performance degradation.

このようなシステム性能の低下を回避するための技術として、特許文献1には、論理ファイルを複数ディスク装置に分割して保存することで、並行して複数ディスク装置のファイルブロックにアクセスできるようにしたストライピングファイル機構による論理ファイルの分散管理方法に関するものが公開されている。ここで公開されている技術は、ファイル読み出し時のディスク装置へ並列での読み出しの効率化を図り、大容量ファイルの読み出し時間を短縮化するための方法である。   As a technique for avoiding such a decrease in system performance, Patent Document 1 discloses that a logical file is divided and stored in a plurality of disk devices so that file blocks of the plurality of disk devices can be accessed in parallel. A method for distributing and managing logical files using the striped file mechanism is disclosed. The technology disclosed here is a method for reducing the reading time of a large-capacity file by improving the efficiency of reading to a disk device in parallel when reading a file.

また、特許文献2には、仮想ファイルサーバが設定された複数の装置によって構成されるクラスタ内で仮想ファイルサーバを動的に移動させることにより、仮想ファイルサーバ単位の負荷分散を行い、特定のファイルサーバへの負荷の集中を回避するシステムが公開されている。   Further, Patent Document 2 discloses that a specific file is distributed by performing load distribution in units of virtual file servers by dynamically moving the virtual file servers in a cluster constituted by a plurality of devices in which virtual file servers are set. A system that avoids the concentration of load on the server has been released.

特開2002-182953JP2002-182953 特開2005-267327JP2005-267327

上記のような分散ファイルシステムを持つコンピュータシステムにおいては、ファイルへのアクセス時にファイルの存在場所等の情報を入手する必要があるため、まずファイルのメタ情報を格納したメタデータファイルへアクセスすることになる。高並列コンピュータシステムでは、このメタデータファイルへのアクセスが集中することによるメタデータファイルを格納したサーバの処理負荷が増大することがあるが、前述の特許文献1や特許文献2に記載された技術は、このメタデータファイルを格納したサーバの負荷を軽減するものではない。したがって、高並列化コンピュータシステムにおいては、メタデータファイルへのアクセスの集中がボトルネックとなり、システムの性能低下が生じる恐れがあるという問題がある。   In a computer system having a distributed file system as described above, since it is necessary to obtain information such as the location of the file when accessing the file, it is first necessary to access a metadata file that stores the meta information of the file. Become. In a highly parallel computer system, the processing load on the server storing the metadata file may increase due to the concentration of access to the metadata file. However, the techniques described in Patent Document 1 and Patent Document 2 described above. Does not reduce the load on the server storing the metadata file. Therefore, in the highly parallel computer system, there is a problem that the concentration of access to the metadata file becomes a bottleneck and the performance of the system may be lowered.

本願発明の目的は、これらの問題点を解決した分散ファイルアクセス装置、分散ファイルアクセスシステム、分散ファイルアクセス方法、及び、分散ファイルアクセスプログラムを提供することである。   An object of the present invention is to provide a distributed file access apparatus, a distributed file access system, a distributed file access method, and a distributed file access program that solve these problems.

本願発明の一実施形態の分散ファイルアクセス装置は、1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して格納する複数のメタデータファイル格納手段と、前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記メタデータファイル格納手段の識別情報を一意に決定するメタデータファイル格納領域決定手段と、前記メタデータファイル格納領域決定手段が決定した前記メタデータファイル格納手段へアクセスするメタデータファイルアクセス手段と、を備える。   A distributed file access apparatus according to an embodiment of the present invention includes: a plurality of metadata file storage units that store a metadata file that stores metadata information of one data file by dividing the metadata file; and access to the data file The identification information of the data file specified in the instruction and the access address information in the data file are input to a hash function, and the metadata corresponding to the access address of the data file is output from the output value of the hash function Metadata file storage area determination means for uniquely determining identification information of the metadata file storage means for storing a file, and a metadata file for accessing the metadata file storage means determined by the metadata file storage area determination means And access means .

本願発明の一実施形態の分散ファイルアクセス方法は、1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して複数の記憶域に格納し、前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定し、決定した前記識別情報が示す前記記憶域へアクセスする。   A distributed file access method according to an embodiment of the present invention is a method of dividing a metadata file storing meta information of one data file into a plurality of storage areas and specifying in a data file access instruction. The identification information of the data file and the access address information in the data file are input to the hash function, and the metadata file corresponding to the access address of the data file is stored from the output value of the hash function The storage area identification information is uniquely determined, and the storage area indicated by the determined identification information is accessed.

本願発明の一実施形態の分散ファイルアクセスプログラムは、1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して複数の記憶域に格納するメタデータファイル格納処理と、前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定するメタデータファイル格納領域決定処理と、前記メタデータファイル格納領域決定処理が決定した前記記憶域へアクセスするメタデータファイルアクセス処理と、をコンピュータに実行させる。   A distributed file access program according to an embodiment of the present invention includes a metadata file storing process for dividing a metadata file storing meta information of one data file into a plurality of storage areas, and the data file The identification information of the data file specified in the access instruction and the access address information in the data file are input to the hash function, and the output value of the hash function corresponds to the access address of the data file. A metadata file storage area determination process for uniquely determining the identification information of the storage area for storing the metadata file; and a metadata file access process for accessing the storage area determined by the metadata file storage area determination process; , Execute on the computer.

本願発明は、メタデータファイルへのアクセスにおいて負荷分散を実現する。   The present invention realizes load distribution in accessing a metadata file.

本願発明の第1の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of the 1st Embodiment of this invention. 本願発明の第1の実施形態の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the 1st Embodiment of this invention. 本願発明の第1の実施形態におけるメタデータの分散格納の構成例である。It is an example of a structure of the distributed storage of the metadata in 1st Embodiment of this invention. 本願発明の第1の実施形態におけるプロセス実行部からのファイルアクセス命令の構成例である。It is an example of a structure of the file access command from the process execution part in 1st Embodiment of this invention. 本願発明の第1の実施形態におけるメタデータファイルの構成例である。It is a structural example of the metadata file in 1st Embodiment of this invention. 本願発明の第2の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of 2nd Embodiment of this invention. 本願発明の第2の実施形態におけるハッシュ関数設定情報の構成例である。It is a structural example of the hash function setting information in 2nd Embodiment of this invention. 本願発明の第3の実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of 3rd Embodiment of this invention. 本願発明の第3の実施形態におけるメタデータの分散格納の構成例である。It is a structural example of the distributed storage of metadata in the third embodiment of the present invention.

本願発明の第一の実施の形態について図面を参照して詳細に説明する。   A first embodiment of the present invention will be described in detail with reference to the drawings.

図1は本願発明の第一の実施形態の構成を示すブロック図である。   FIG. 1 is a block diagram showing the configuration of the first embodiment of the present invention.

本実施形態の分散ファイルアクセスシステムは、8個のプロセス実行部10−0乃至10−7と、4個のデータファイル格納部11−0乃至11−3と、3個のメタデータファイル格納部12−0乃至12−2と、メタデータファイルアクセス部13と、メタデータファイル格納領域決定部14と、データファイルアクセス部15とを包含している。   The distributed file access system of the present embodiment includes eight process execution units 10-0 to 10-7, four data file storage units 11-0 to 11-3, and three metadata file storage units 12. -0 to 12-2, a metadata file access unit 13, a metadata file storage area determination unit 14, and a data file access unit 15.

プロセス実行部10−0乃至10−7は並列化されたプロセスを実行している。プロセスがファイルアクセスを行う場合、ファイルアクセス命令を発行してメタデータファイルアクセス部13へ送付する。   The process execution units 10-0 to 10-7 are executing parallelized processes. When the process performs file access, it issues a file access command and sends it to the metadata file access unit 13.

各プロセスが、データファイル100「/dir_1/file_A」にアクセスするときのメタデータの分散格納の構成例を図3に示す。プロセス実行部10−0乃至10−7が実行しているプロセス0乃至プロセス7は、それぞれデータファイル100における他のプロセスとは重ならない2Gバイトの領域(ブロック0乃至ブロック7)をアクセスする。例えば、プロセス0はブロック0(0乃至2Gバイト領域)、プロセス1はブロック1(2乃至4Gバイト領域)、プロセス7はブロック7(14乃至16Gバイト領域)をアクセスする。   FIG. 3 shows a configuration example of the distributed storage of metadata when each process accesses the data file 100 “/ dir_1 / file_A”. Processes 0 to 7 executed by the process execution units 10-0 to 10-7 each access a 2-Gbyte area (block 0 to block 7) that does not overlap with other processes in the data file 100. For example, process 0 accesses block 0 (0 to 2 GB area), process 1 accesses block 1 (2 to 4 GB area), and process 7 accesses block 7 (14 to 16 GB area).

各プロセスが発行するファイルアクセス命令110の構成例を図4に示す。例えばプロセス実行部10−2におけるプロセス2が発行するデータファイル100へのリードアクセス命令の場合、Read/Write区分はRead、データファイル名称は/dir_1/file_A、開始オフセットは4Gバイト以上6Gバイト未満の値、アクセスサイズは0バイト以上2Gバイト以下の値となる。   A configuration example of the file access instruction 110 issued by each process is shown in FIG. For example, in the case of a read access instruction to the data file 100 issued by the process 2 in the process execution unit 10-2, the Read / Write classification is Read, the data file name is / dir_1 / file_A, and the start offset is 4 GB or more and less than 6 GB. The value and the access size are 0 bytes or more and 2 Gbytes or less.

データファイル格納部11−0乃至11−3は、データファイル100を分割して格納しており、それぞれのシステム管理上の名称はSS0乃至SS3である。   The data file storage units 11-0 to 11-3 divide and store the data file 100, and their system management names are SS0 to SS3.

メタデータファイル格納部12−0乃至12−2は、データファイル100のメタデータを記録したメタデータファイルを分割して格納しており、それぞれのシステム管理上の名称はMDS0乃至MDS3である。   The metadata file storage units 12-0 to 12-2 divide and store metadata files that record the metadata of the data file 100, and the system management names thereof are MDS0 to MDS3.

メタデータファイルの構成例を図5に示す。メタデータファイルは、メタデータファイル属性情報部120とメタデータファイル対応表部130を包含している。メタデータファイル属性情報部120は、データファイル100の属性情報を記録したものであり、データファイル名称、アクセス権、所有者、サイズ、メタデータブロックサイズを包含している。メタデータファイル属性情報部120の格納データは、ライトアクセスのファイルアクセス命令110が発行されたときに、メタデータファイル格納部12−0乃至12−2により、ファイルアクセス命令110が包含する情報やシステム情報に基づいて書き込まれたものである。   A configuration example of the metadata file is shown in FIG. The metadata file includes a metadata file attribute information part 120 and a metadata file correspondence table part 130. The metadata file attribute information section 120 records attribute information of the data file 100 and includes a data file name, access right, owner, size, and metadata block size. The data stored in the metadata file attribute information section 120 includes information and systems included in the file access instruction 110 by the metadata file storage sections 12-0 to 12-2 when the write access file access instruction 110 is issued. It was written based on information.

メタデータファイル対応表部130は、データファイル100の格納先の情報を記録したものである。メタデータファイル対応表部130の格納データは、ライトアクセスのファイルアクセス命令110が発行されたときに、メタデータファイル格納部12−0乃至12−2により、ファイルアクセス命令110が包含するデータファイル名称、開始オフセット、アクセスサイズの情報を基にして書き込まれたものである。   The metadata file correspondence table unit 130 records information on the storage destination of the data file 100. The data stored in the metadata file correspondence table unit 130 includes data file names included in the file access command 110 by the metadata file storage units 12-0 to 12-2 when the write access file access command 110 is issued. This is written based on the information of the start offset and the access size.

本実施形態の分散ファイルアクセスシステムは、メタデータファイル対応表部130をメタデータファイル格納部12−0乃至12−2に分散格納する。メタデータファイル属性情報部120については分散格納を行わずに、メタデータファイル対応表部130の先頭部分のデータを格納するメタデータファイル格納部に格納する。   In the distributed file access system of this embodiment, the metadata file correspondence table unit 130 is distributedly stored in the metadata file storage units 12-0 to 12-2. The metadata file attribute information section 120 is stored in a metadata file storage section that stores data at the head of the metadata file correspondence table section 130 without performing distributed storage.

図5に示すとおり、本実施形態では、メタデータファイル格納部12−0乃至12−2は、データファイル100を536870912バイト(512Mバイト)単位のブロックに分割し、各ブロックをデータファイル格納部11−0(SS0)乃至11−3(SS3)にラウンドロビンで順番に格納している。尚、これは一例であり、メタデータファイル格納部12−0乃至12−2は、データファイル100を他のサイズのブロックで分割する場合もあれば、分割しない場合もある。   As shown in FIG. 5, in the present embodiment, the metadata file storage units 12-0 to 12-2 divide the data file 100 into blocks of 5368870912 bytes (512 Mbytes), and each block is the data file storage unit 11. The data are stored in the round robin in order from −0 (SS0) to 11-3 (SS3). This is only an example, and the metadata file storage units 12-0 to 12-2 may or may not divide the data file 100 by blocks of other sizes.

メタデータファイル格納部12−0乃至12−2は、各ブロックのシステム管理上の実ファイル名を、データファイル100の名称と、上述した512Mバイトブロックの開始オフセットと終了オフセットを基に、一意になるように付与している。例えば最初の512Mバイトブロックの場合は、dir_1_file_A:0_536870911となる。   The metadata file storage units 12-0 to 12-2 uniquely identify the actual file name in the system management of each block based on the name of the data file 100 and the start offset and end offset of the 512 Mbyte block described above. Is granted. For example, in the case of the first 512 Mbyte block, dir_1_file_A: 0_536870911.

図3、図5に示すとおり、メタデータファイル格納部12−0(MDS0)乃至12−2(MDS2)は、データファイル100のメタデータファイルを、データファイル100の3Gバイト領域単位に対応したメタデータに分割して分散格納している。例えば、メタデータファイル格納部12−1(MDS1)は、データファイル100の0乃至3G−1バイト領域に対応するメタデータを格納する。メタデータファイル格納部12−2(MDS2)は、データファイル100の3G乃至6G−1バイト領域に対応するメタデータを格納する。   As shown in FIGS. 3 and 5, the metadata file storage units 12-0 (MDS 0) to 12-2 (MDS 2) convert the metadata file of the data file 100 into the metadata corresponding to the 3 Gbyte area unit of the data file 100. The data is divided and stored. For example, the metadata file storage unit 12-1 (MDS1) stores metadata corresponding to the 0 to 3G-1 byte area of the data file 100. The metadata file storage unit 12-2 (MDS2) stores metadata corresponding to the 3G to 6G-1 byte area of the data file 100.

メタデータファイルアクセス部13は、プロセス実行部10−0乃至10−7から受信した、ファイルアクセス命令110におけるデータファイル名称と開始オフセットとアクセスサイズの情報を、メタデータファイル格納領域決定部14に送付する。   The metadata file access unit 13 sends the data file name, start offset, and access size information in the file access command 110 received from the process execution units 10-0 to 10-7 to the metadata file storage area determination unit 14. To do.

メタデータファイル格納領域決定部14は、データファイル名称と開始オフセットとアクセスサイズの情報を基に、ハッシュ関数140を用いて、データファイル100のメタデータを格納したメタデータファイル格納部を決定する。ハッシュ関数140の具体例MDSnum(x,b)を以下に示す。
The metadata file storage area determination unit 14 determines a metadata file storage unit that stores the metadata of the data file 100 using the hash function 140 based on the information of the data file name, the start offset, and the access size. A specific example MDSnum (x, b) of the hash function 140 is shown below.

MDSnum(x,b)=(floor(x/3GB)+ascii(b)) mod 3

このハッシュ関数において、xはデータファイル100における位置を示すオフセット、bはデータファイル100の名称、floor(z)はz以下の最大の整数を出力する関数、ascii(b)は文字列bの各文字のアスキーコードの和を出力する関数である。データファイル100「/dir_1/file_A」へのアクセスの場合、ascii(/dir_1/file_A)の値は1138となる。ハッシュ関数140がfloor(x/3GB)を使用するのは、データファイル100の3Gバイト領域単位でメタデータを分割して、メタデータファイル格納部12−0乃至12−2を割り当てるためである。ハッシュ関数140がmod 3を使用するのは、メタデータファイル格納部12−0乃至12−2の数が3個であるためである。
MDSnum (x, b) = (floor (x / 3GB) + ascii (b)) mod 3

In this hash function, x is an offset indicating the position in the data file 100, b is the name of the data file 100, floor (z) is a function that outputs the largest integer less than or equal to z, and ascii (b) is each character string b. This function outputs the sum of ASCII characters. In the case of access to the data file 100 “/ dir_1 / file_A”, the value of ascii (/ dir_1 / file_A) is 1138. The reason why the hash function 140 uses floor (x / 3 GB) is to divide the metadata in units of 3 Gbyte areas of the data file 100 and allocate the metadata file storage units 12-0 to 12-2. The reason why the hash function 140 uses mod 3 is that the number of the metadata file storage units 12-0 to 12-2 is three.

例えば、プロセス実行部10−1が実行しているプロセス1が、データファイル100における開始オフセット2Gバイトから2Gバイトサイズの領域へのファイルアクセス命令110を発行した場合、メタデータファイル格納領域決定部14は、MDSnum(2GB,/dir_1/file_A)=1、MDSnum(3GB,/dir_1/file_A)=2、MDSnum(4G−1B,/dir_1/file_A)=2を算出する。その結果、メタデータファイル格納領域決定部14は、メタデータファイルアクセス部13に対して、「/dir_1/file_Aのオフセット2Gバイト乃至3G−1バイトの領域に対するメタデータファイル格納部はMDS1」であることと、「/dir_1/file_Aのオフセット3Gバイト乃至4G−1バイトの領域に対するメタデータファイル格納部はMDS2」であることを通知する。   For example, when the process 1 executed by the process execution unit 10-1 issues a file access instruction 110 from the start offset 2 Gbytes to the 2 Gbyte size area in the data file 100, the metadata file storage area determination unit 14 Calculates MDSnum (2GB, / dir_1 / file_A) = 1, MDSnum (3GB, / dir_1 / file_A) = 2, and MDSnum (4G-1B, / dir_1 / file_A) = 2. As a result, the metadata file storage area determination unit 14 determines that the metadata file storage unit for the 2 Gbyte to 3G-1 byte offset of / dir_1 / file_A is MDS1 with respect to the metadata file access unit 13. And that the metadata file storage unit for the 3 Gbyte to 4G-1 byte offset of / dir_1 / file_A is MDS2.

前記の例で、MDSnum(3GB,/dir_1/file_A)=2を算出するのは、データファイル100の3Gバイト領域単位でメタデータを分割して、メタデータファイル格納部12−0乃至12−2を割り当てるためである。すなわち、3Gバイト境界を境に格納先のメタデータファイル格納部12−0乃至12−2が変わるからである。メタデータファイル格納領域決定部14は、データファイル100のアクセス領域の開始オフセットと終了オフセットの間に3Gバイト境界が存在する場合は、境界部分についてハッシュ関数140の値を算出する。   In the above example, MDSnum (3GB, / dir_1 / file_A) = 2 is calculated by dividing the metadata in units of 3 Gbyte area of the data file 100, and the metadata file storage units 12-0 to 12-2. It is for assigning. In other words, the metadata file storage units 12-0 to 12-2 as storage destinations change at the 3 Gbyte boundary. When a 3 Gbyte boundary exists between the start offset and the end offset of the access area of the data file 100, the metadata file storage area determination unit 14 calculates the value of the hash function 140 for the boundary part.

メタデータファイルアクセス部13は、メタデータ格納領域決定部14から受信したメタデータファイル格納先の情報に従い、メタデータファイル格納部12−0乃至12−2の何れかにアクセスする。プロセス実行部10−1のプロセス1が、データファイル100における開始オフセット2Gバイトから2Gバイトサイズの領域へのファイルアクセス命令110を発行した場合の例では、メタデータファイルアクセス部13は、上述の通りメタデータファイル格納部12−1(MDS1)、12−2(MDS2)へアクセスする。   The metadata file access unit 13 accesses any one of the metadata file storage units 12-0 to 12-2 according to the metadata file storage location information received from the metadata storage area determination unit 14. In the case where the process 1 of the process execution unit 10-1 issues a file access instruction 110 from the start offset 2 Gbytes to the 2 Gbyte size area in the data file 100, the metadata file access unit 13 is as described above. The metadata file storage unit 12-1 (MDS1) and 12-2 (MDS2) are accessed.

メタデータファイルアクセス部13は、図5におけるメタデータファイル対応表部130に記載のとおり、メタデータファイル格納部12−1(MDS1)から、データファイル100のオフセット2Gバイト乃至3G−1バイトの領域のデータの格納先がデータファイル格納部11−0(SS0)と11−1(SS1)(512Mバイトブロック単位で分割格納)であることを、その実ファイル名とともに読み出す。続いてメタデータファイルアクセス部13は、メタデータファイル格納部12−2(MDS2)から、データファイル100のオフセット3Gバイト乃至4G−1バイトの領域のデータの格納先がデータファイル格納部11−2(SS2)と11−3(SS3)(512Mバイトブロック単位で分割格納)であることを、その実ファイル名とともに読み出す。メタデータファイルアクセス部13は、読み出したデータファイル格納先と実ファイル名の情報を、データファイルアクセス部15へ送付する。   As described in the metadata file correspondence table unit 130 in FIG. 5, the metadata file access unit 13 has an offset 2 Gbyte to 3G-1 byte area of the data file 100 from the metadata file storage unit 12-1 (MDS1). Are stored together with their actual file names that are stored in the data file storage units 11-0 (SS0) and 11-1 (SS1) (512 Mbyte block unit). Subsequently, the metadata file access unit 13 determines that the data file storage unit 11-2 stores the data in the offset 3G byte to 4G-1 byte area of the data file 100 from the metadata file storage unit 12-2 (MDS2). (SS2) and 11-3 (SS3) (divided storage in units of 512 Mbyte blocks) are read together with their actual file names. The metadata file access unit 13 sends the read data file storage destination and actual file name information to the data file access unit 15.

データファイルアクセス部15は、メタデータファイルアクセス部13から受信したテータファイル格納先と実ファイル名の情報に基づき、データファイル格納部11−0乃至11−3へアクセスする。   The data file access unit 15 accesses the data file storage units 11-0 to 11-3 based on the data file storage destination and the actual file name information received from the metadata file access unit 13.

次に図2のフローチャートを参照して、本実施形態の動作について詳細に説明する。   Next, the operation of this embodiment will be described in detail with reference to the flowchart of FIG.

プロセス実行部10−0乃至10−7が実行しているプロセスは、データファイル100へのファイルアクセス命令110を発行し、メタデータファイルアクセス部13へ送付する(S101)。   The processes executed by the process execution units 10-0 to 10-7 issue a file access command 110 to the data file 100 and send it to the metadata file access unit 13 (S101).

メタデータファイルアクセス部13は、ファイルアクセス命令110をメタデータファイル格納領域決定部14へ送付する(S102)。   The metadata file access unit 13 sends a file access command 110 to the metadata file storage area determination unit 14 (S102).

メタデータファイル格納領域決定部14は、ファイルアクセス命令110におけるデータファイル名称と開始オフセットとアクセスサイズの情報から、ハッシュ関数140を使用してデータファイル100に対応するメタデータファイルの格納先となるメタデータファイル格納部を決定し、メタデータファイル格納先の情報をメタデータファイルアクセス部13へ送付する(S103)。   The metadata file storage area determination unit 14 uses a hash function 140 to store a metadata file corresponding to the data file 100 from the data file name, start offset, and access size information in the file access instruction 110. The data file storage unit is determined, and the metadata file storage location information is sent to the metadata file access unit 13 (S103).

メタデータファイルアクセス部13は、受信したメタデータファイル格納先の情報が示す何れかのメタデータファイル格納部12−n(n=0乃至2の何れか)に、ファイルアクセス命令110を送付する(S104)。   The metadata file access unit 13 sends a file access command 110 to any one of the metadata file storage units 12-n (n = 0 to 2) indicated by the received metadata file storage location information ( S104).

ファイルアクセス命令110がWriteリクエストである場合(S105でYes)、メタデータファイル格納部12−nは、ファイルアクセス命令110の情報から、データファイル110のメタデータを作成し、メタデータファイル属性情報部120とメタデータファイル対応表部130に、メタデータを書き込む(S106)。   When the file access command 110 is a write request (Yes in S105), the metadata file storage unit 12-n creates metadata of the data file 110 from the information of the file access command 110, and a metadata file attribute information unit The metadata is written in 120 and the metadata file correspondence table unit 130 (S106).

メタデータファイル格納部12−nは、作成したデータファイル110のメタデータをメタデータファイルアクセス部13へ送付する(S107)。   The metadata file storage unit 12-n sends the metadata of the created data file 110 to the metadata file access unit 13 (S107).

ファイルアクセス命令110がWriteリクエストでない場合(S105でNo)、ファイルアクセス命令110はReadリクエストであり、メタデータファイル格納部12−nは、メタデータファイル対応表部130から、ファイルアクセス命令110が包含する情報から決定するレコードに格納されたメタデータを読み込む(S108)。   When the file access command 110 is not a write request (No in S105), the file access command 110 is a read request, and the metadata file storage unit 12-n is included in the file access command 110 from the metadata file correspondence table unit 130. The metadata stored in the record determined from the information to be read is read (S108).

メタデータファイル格納部12−nは、読み込んだデータファイル110のメタデータを、メタデータファイルアクセス部13へ送付する(S109)。   The metadata file storage unit 12-n sends the metadata of the read data file 110 to the metadata file access unit 13 (S109).

メタデータファイルアクセス部13は、データファイル110のメタデータを、データファイルアクセス部15へ送付する(S110)。   The metadata file access unit 13 sends the metadata of the data file 110 to the data file access unit 15 (S110).

データファイルアクセス部15は、データファイル110のメタデータが示す何れかのデータファイル格納部11−0乃至11−3に対して、データファイル110のメタデータが示す実ファイル名でアクセスする(S111)。   The data file access unit 15 accesses any one of the data file storage units 11-0 to 11-3 indicated by the metadata of the data file 110 with the actual file name indicated by the metadata of the data file 110 (S111). .

本実施形態には、データファイルのメタデータを格納したメタデータファイルを分散配置させることで、メタデータファイルを格納したある特定のサーバへの負荷の集中を回避する効果がある。なぜなら、メタデータファイル格納領域決定部14が、プロセス実行部10−0〜10−7で実行されるプロセスが発行する、データファイル100へのファイルアクセス命令110におけるデータファイル名称とオフセット情報を基に、ハッシュ関数140を用いて、データファイル100のメタデータファイルを分散配置させるからである。   The present embodiment has an effect of avoiding concentration of load on a specific server storing the metadata file by distributing and arranging the metadata file storing the metadata of the data file. This is because the metadata file storage area determination unit 14 is based on the data file name and offset information in the file access instruction 110 to the data file 100 issued by the processes executed by the process execution units 10-0 to 10-7. This is because the metadata file of the data file 100 is distributed using the hash function 140.

メタデータファイルの分散配置により、複数のメタデータファイル格納サーバに負荷を分散させることで、メタデータ格納ファイルサーバの処理のボトルネックによるシステム性能の低下を回避することが可能となる。   By distributing the metadata file, the load is distributed to a plurality of metadata file storage servers, so that it is possible to avoid a decrease in system performance due to a bottleneck in processing of the metadata storage file server.

また本実施形態は、1つのデータファイルにおけるブロック領域単位に対応したメタデータを分散配置しているため、1つのデータファイルについてブロック領域単位でデータを並列処理するような大きな配列変数の演算を行うHPC領域のアプリケーションにおいて、大きな効果がある。
<第二の実施形態>
次に、本願発明の第二の実施形態について図面を参照して詳細に説明する。
In addition, since the metadata corresponding to the block area unit in one data file is distributed and arranged in the present embodiment, a large array variable is calculated such that data is processed in parallel for each block area for one data file. This has a great effect in the application in the HPC region.
<Second Embodiment>
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.

図6は本願発明の第二の実施形態の構成を示すブロック図である。   FIG. 6 is a block diagram showing the configuration of the second embodiment of the present invention.

本実施形態は、第一の実施形態の構成に加えて、ハッシュ関数数式設定部141とハッシュ関数設定情報格納部16とを備えている。ハッシュ関数数式設定部141とハッシュ関数設定情報格納部16を除く各構成要素の機能は第一の実施形態と同様である。   The present embodiment includes a hash function formula setting unit 141 and a hash function setting information storage unit 16 in addition to the configuration of the first embodiment. The functions of the constituent elements other than the hash function formula setting unit 141 and the hash function setting information storage unit 16 are the same as those in the first embodiment.

ハッシュ関数数式設定入力部141は、メタデータファイルアクセス部13から受信した、ファイルアクセス命令110におけるデータファイル名称を、ハッシュ関数設定情報格納部16に送付する。   The hash function formula setting input unit 141 sends the data file name in the file access command 110 received from the metadata file access unit 13 to the hash function setting information storage unit 16.

ハッシュ関数設定情報格納部16は、ハッシュ関数設定情報160を格納している。ハッシュ関数設定情報160の構成例を図7に示す。ハッシュ関数設定情報160はデータファイル100とハッシュ関数140との対応関係を格納している。例えば、データファイル100が「/dir_1/file_A」の場合は、メタデータファイル格納領域決定部140は、ハッシュ関数として、

MDSnum(x,b)=(floor(x/3GB)+ascii(b)) mod 3

を使用し、データファイル100が「/dir_1/file_B」の場合は、メタデータファイル格納領域決定部140は、ハッシュ関数として、

MDSnum(x,b)=(floor(x/6GB)+ascii(b)) mod 3

を使用することを示している。
The hash function setting information storage unit 16 stores hash function setting information 160. A configuration example of the hash function setting information 160 is shown in FIG. The hash function setting information 160 stores the correspondence between the data file 100 and the hash function 140. For example, when the data file 100 is “/ dir_1 / file_A”, the metadata file storage area determination unit 140 uses a hash function as

MDSnum (x, b) = (floor (x / 3GB) + ascii (b)) mod 3

When the data file 100 is “/ dir_1 / file_B”, the metadata file storage area determination unit 140 uses a hash function as

MDSnum (x, b) = (floor (x / 6GB) + ascii (b)) mod 3

Shows that you use.

ハッシュ関数設定情報160は、実行するアプリケーションのデータファイルへのアクセスの特性を熟知した担当者が設定する。   The hash function setting information 160 is set by a person in charge who is familiar with the characteristics of access to the data file of the application to be executed.

ハッシュ関数設定情報格納部16は、ハッシュ関数数式設定入力部141から受信したデータファイル名称と、データファイル名称が一致するレコードをハッシュ関数設定情報160から読み出して、読み出したレコードにおけるハッシュ関数数式の情報をハッシュ関数数式設定入力部141へ送付する。   The hash function setting information storage unit 16 reads from the hash function setting information 160 a record whose data file name matches the data file name received from the hash function equation setting input unit 141, and information on the hash function equation in the read record Is sent to the hash function formula setting input unit 141.

ハッシュ関数数式設定入力部141は、受信したハッシュ関数数式をハッシュ関数140に設定する。   The hash function formula setting input unit 141 sets the received hash function formula in the hash function 140.

本実施形態には、メタデータファイルの分散配置を決定するハッシュ関数の数式をデータファイルにより可変としたことで、データファイル毎にメタデータファイルの分散配置の仕方を変更できる効果がある。なぜなら、ハッシュ関数数式設定部141が、アクセスするデータファイルに対応したハッシュ関数の数式をハッシュ関数設定情格納部16から取得し、その数式をメタデータファイル格納領域決定部14で使用するハッシュ関数140として設定するからである。   In the present embodiment, the formula of the hash function for determining the distributed arrangement of the metadata file is variable depending on the data file, so that the method of distributing the distributed metadata file can be changed for each data file. This is because the hash function formula setting unit 141 acquires the formula of the hash function corresponding to the data file to be accessed from the hash function setting information storage unit 16 and uses the formula in the metadata file storage area determination unit 14. It is because it sets as.

メタデータファイルの分散配置の仕方をデータファイルにより可変とすることで、実行するプログラムのデータファイルへのアクセスの仕方の特徴をふまえたメタデータファイルの分散配置の仕方を設定し、チューニングを行うことが可能となる。
<第三の実施形態>
次に、本願発明の第三の実施形態について図面を参照して詳細に説明する。
By making the method of distributed arrangement of metadata files variable depending on the data file, setting the method of distributed arrangement of metadata files based on the characteristics of how to access the data file of the program to be executed and tuning Is possible.
<Third embodiment>
Next, a third embodiment of the present invention will be described in detail with reference to the drawings.

図8は本願発明の第三の実施形態の構成を示すブロック図である。   FIG. 8 is a block diagram showing the configuration of the third embodiment of the present invention.

本実施形態の分散ファイルアクセス装置は、複数、例えば3個のメタデータファイル格納部22−0乃至22−2と、メタデータファイルアクセス部23と、メタデータファイル格納領域決定部24とを包含している。   The distributed file access apparatus according to this embodiment includes a plurality of, for example, three metadata file storage units 22-0 to 22-2, a metadata file access unit 23, and a metadata file storage area determination unit 24. ing.

メタデータファイル格納部22−0乃至22−2は、データファイル200のメタデータを記録したメタデータファイルを分割して格納しており、それぞれのシステム管理上の名称はMDS0乃至MDS2である。   The metadata file storage units 22-0 to 22-2 divide and store the metadata file that records the metadata of the data file 200, and the system management names thereof are MDS0 to MDS2.

メタデータファイル格納領域決定部24は、データファイル200へのアクセス命令におけるデータファイル200の識別情報とアクセスアドレスの情報を基に、ハッシュ関数240を用いて、データファイル200のメタデータが格納されたメタデータファイル格納部22−0(MDS0)乃至22−2(MDS2)の何れかを一意に決定する。   The metadata file storage area determination unit 24 stores the metadata of the data file 200 using the hash function 240 based on the identification information and access address information of the data file 200 in the access command to the data file 200. Any one of the metadata file storage units 22-0 (MDS0) to 22-2 (MDS2) is uniquely determined.

データファイル200へのアクセス命令の構成は、第一の実施例と同様、図4に示すとおりである。したがって、データファイル200の識別情報としてファイルアクセス命令110におけるデータファイル名称を使用し、前記のアクセスアドレスの情報として、ファイルアクセス命令110における開始オフセットとアクセスサイズを使用する。   The configuration of the access command to the data file 200 is as shown in FIG. 4 as in the first embodiment. Therefore, the data file name in the file access instruction 110 is used as the identification information of the data file 200, and the start offset and the access size in the file access instruction 110 are used as the access address information.

メタデータファイルアクセス部23は、メタデータファイル格納領域決定部24が決定したメタデータファイル格納部22−0(MDS0)乃至22−2(MDS2)の何れかに格納されたメタデータファイルにアクセスする。   The metadata file access unit 23 accesses a metadata file stored in any one of the metadata file storage units 22-0 (MDS0) to 22-2 (MDS2) determined by the metadata file storage area determination unit 24. .

本実施形態におけるデータファイル200のメタデータの分散格納の構成例を図9に示す。本実施形態では、メタデータファイル格納部22−0乃至22−2が、第一の実施形態の様にデータファイル100のブロック領域単位に対応するメタデータを格納するのではなく、データファイル200のアドレス単位に対応するメタデータを格納する。   A configuration example of the distributed storage of metadata of the data file 200 in the present embodiment is shown in FIG. In this embodiment, the metadata file storage units 22-0 to 22-2 do not store the metadata corresponding to the block area unit of the data file 100 as in the first embodiment, but instead of storing the metadata of the data file 200. Stores metadata corresponding to address units.

本実施形態には、第一の実施形態と同様に、データファイルのメタデータを格納したメタデータファイルを分散配置させることで、メタデータファイルを格納したある特定のサーバへの負荷の集中を回避する効果がある。   As in the first embodiment, the present embodiment distributes metadata files that store metadata of data files, thereby avoiding concentration of load on a specific server that stores the metadata files. There is an effect to.

また本実施形態は、1つデータファイルにおけるアドレス単位に対応したメタデータを分散配置しているため、1つのデータファイル内のデータを不規則に同時に参照して処理するような一般的なアプリケーションにおいて効果がある。   In the present embodiment, since metadata corresponding to the address unit in one data file is distributed and arranged, in a general application in which data in one data file is simultaneously referred to and processed irregularly. effective.

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されたものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。   While the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

10−0乃至10−7 プロセス実行部
11−0乃至11−3 データファイル格納部
12−0乃至12−2 メタデータファイル格納部
13 メタデータファイルアクセス部
14 メタデータファイル格納領域決定部
140 ハッシュ関数
15 データファイルアクセス部
100 データファイル
110 ファイルアクセス命令
120 メタデータファイル属性情報部
130 メタデータファイル対応表部
141 ハッシュ関数数式設定部
16 ハッシュ関数設定情報格納部
160 ハッシュ関数設定情報
22−0乃至22−2 メタデータファイル格納部
23 メタデータファイルアクセス部
24 メタデータファイル格納領域決定部
240 ハッシュ関数
200 データファイル
10-0 to 10-7 Process execution unit 11-0 to 11-3 Data file storage unit 12-0 to 12-2 Metadata file storage unit 13 Metadata file access unit 14 Metadata file storage area determination unit 140 Hash function DESCRIPTION OF SYMBOLS 15 Data file access part 100 Data file 110 File access instruction 120 Metadata file attribute information part 130 Metadata file correspondence table part 141 Hash function numerical formula setting part 16 Hash function setting information storage part 160 Hash function setting information 22-0 thru | or 22- 2 Metadata File Storage Unit 23 Metadata File Access Unit 24 Metadata File Storage Area Determination Unit 240 Hash Function 200 Data File

Claims (10)

1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して格納する複数のメタデータファイル格納手段と、
前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記メタデータファイル格納手段の識別情報を一意に決定するメタデータファイル格納領域決定手段と、
前記メタデータファイル格納領域決定手段が決定した前記メタデータファイル格納手段へアクセスするメタデータファイルアクセス手段と、
を備える分散ファイルアクセス装置。
A plurality of metadata file storage means for storing a metadata file storing the metadata of one data file by dividing the metadata file into a plurality of metadata files;
The identification information of the data file specified in the access instruction to the data file and the access address information in the data file are input to the hash function, and the access address of the data file is calculated from the output value of the hash function. Metadata file storage area determination means for uniquely determining identification information of the metadata file storage means for storing the metadata file corresponding to
Metadata file access means for accessing the metadata file storage means determined by the metadata file storage area determination means;
A distributed file access device comprising:
前記メタデータファイル格納手段は、1つの前記データファイルを構成する複数のブロック領域単位で、前記ブロック領域に対応する前記メタデータファイルを格納し、
前記メタデータファイル格納領域決定手段は、前記アクセス命令において指定された当該データファイルにおける前記アクセスアドレスを、前記ブロック領域単位で、当該データファイルの識別情報とともに前記ハッシュ関数に入力して、当該ブロック領域に対応する前記メタデータファイルを格納する前記メタデータファイル格納手段の識別情報を一意に決定する
請求項1の分散ファイルアクセス装置。
The metadata file storage means stores the metadata file corresponding to the block area in a plurality of block area units constituting one data file,
The metadata file storage area determination means inputs the access address in the data file specified in the access instruction to the hash function together with the identification information of the data file in the block area unit, The distributed file access device according to claim 1, wherein identification information of the metadata file storage unit that stores the metadata file corresponding to is uniquely determined.
前記データファイルの識別情報と、前記ハッシュ関数の数式との対応情報を格納する、ハッシュ関数設定情報格納手段を更に備え、
前記メタデータファイル格納領域決定手段は、前記対応情報を構成するレコードの中から、前記データファイルの識別情報が、前記データファイルへのアクセス命令における当該データファイルの識別情報と一致するレコードを参照して、当該レコードに格納された前記ハッシュ関数の数式を使用する、
請求項1乃至2の何れかの分散ファイルアクセス装置。
A hash function setting information storage unit that stores correspondence information between the identification information of the data file and the mathematical formula of the hash function;
The metadata file storage area determination means refers to a record in which the identification information of the data file matches the identification information of the data file in the access instruction to the data file, among the records constituting the correspondence information. And using the hash function formula stored in the record,
The distributed file access apparatus according to claim 1.
請求項1から3に記載の分散ファイルアクセス装置と、
前記データファイルへのアクセス命令を発行して前記データファイルへアクセスするプロセス実行装置と、
前記データファイルを格納するデータファイル格納装置と、
を包含する分散ファイルアクセスシステム。
The distributed file access device according to claim 1,
A process execution device that issues an access instruction to the data file to access the data file;
A data file storage device for storing the data file;
A distributed file access system.
1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して複数の記憶域に格納し、
前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定し、
決定した前記識別情報が示す前記記憶域へアクセスする
分散ファイルアクセス方法。
A metadata file storing meta information of one data file is divided into a plurality of pieces and stored in a plurality of storage areas.
The identification information of the data file specified in the access instruction to the data file and the access address information in the data file are input to the hash function, and the access address of the data file is calculated from the output value of the hash function. Uniquely identifying the storage area storing the metadata file corresponding to
A distributed file access method for accessing the storage area indicated by the determined identification information.
前記メタデータファイルが格納された記憶域は、1つの前記データファイルを構成する複数のブロック領域単位で、前記ブロック領域に対応する前記メタデータファイルを格納し、
前記アクセス命令において指定された当該データファイルにおける前記アクセスアドレスを、前記ブロック領域単位で、当該データファイルの識別情報とともに前記ハッシュ関数に入力して、当該ブロック領域に対応する前記メタデータファイルが格納された前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定する
請求項5の分散ファイルアクセス方法。
The storage area in which the metadata file is stored stores the metadata file corresponding to the block area in a plurality of block area units constituting one data file,
The access address in the data file specified in the access command is input to the hash function together with the identification information of the data file in the block area unit, and the metadata file corresponding to the block area is stored. 6. The distributed file access method according to claim 5, wherein identification information of the storage area for storing the metadata file is uniquely determined.
前記データファイルの識別情報と、前記ハッシュ関数の数式との対応情報を記憶域に格納し、
前記対応情報を構成するレコードの中から、前記データファイルの識別情報が、前記データファイルへのアクセス命令における当該データファイルの識別情報と一致するレコードを参照して、当該レコードに格納された前記ハッシュ関数の数式を、前記メタデータファイルを格納する記憶域の識別情報を決定するために使用する
請求項5乃至6の何れかの分散ファイルアクセス方法。
Storing correspondence information between the identification information of the data file and the formula of the hash function in a storage area;
The hash stored in the record with reference to the record in which the identification information of the data file matches the identification information of the data file in the access instruction to the data file from among the records constituting the correspondence information The distributed file access method according to claim 5, wherein a mathematical expression of a function is used to determine identification information of a storage area in which the metadata file is stored.
1つのデータファイルのメタ情報を格納したメタデータファイルを、複数に分割して複数の記憶域に格納するメタデータファイル格納処理と、
前記データファイルへのアクセス命令において指定された当該データファイルの識別情報と、当該データファイルにおけるアクセスアドレスの情報とをハッシュ関数に入力し、前記ハッシュ関数の出力値から、当該データファイルの当該アクセスアドレスに対応する前記メタデータファイルを格納する前記記憶域の識別情報を一意に決定するメタデータファイル格納領域決定処理と、
前記メタデータファイル格納領域決定処理が決定した前記記憶域へアクセスするメタデータファイルアクセス処理と、
をコンピュータに実行させる分散ファイルアクセスプログラム。
A metadata file storing process in which a metadata file storing metadata information of one data file is divided into a plurality of pieces and stored in a plurality of storage areas;
The identification information of the data file specified in the access instruction to the data file and the access address information in the data file are input to the hash function, and the access address of the data file is calculated from the output value of the hash function. Metadata file storage area determination processing for uniquely determining the storage area identification information for storing the metadata file corresponding to
A metadata file access process for accessing the storage area determined by the metadata file storage area determination process;
Distributed file access program that causes computers to execute.
前記メタデータファイルを格納する記憶域は、1つの前記データファイルを構成する複数のブロック領域単位で、前記ブロック領域に対応する前記メタデータファイルを格納し、
前記メタデータファイル格納領域決定処理は、前記アクセス命令において指定された当該データファイルにおける前記アクセスアドレスを、前記ブロック領域単位で、当該データファイルの識別情報とともに前記ハッシュ関数に入力して、当該ブロック領域に対応する前記メタデータファイルを格納する前記メタデータファイル格納処理の記憶域の識別情報を一意に決定する
請求項8の分散ファイルアクセスプログラム。
The storage area for storing the metadata file stores the metadata file corresponding to the block area in a plurality of block area units constituting one data file,
The metadata file storage area determination process inputs the access address in the data file specified in the access instruction to the hash function together with the identification information of the data file in the block area unit, The distributed file access program according to claim 8, wherein identification information of a storage area of the metadata file storing process for storing the metadata file corresponding to is uniquely determined.
前記データファイルの識別情報と、前記ハッシュ関数の数式との対応情報を記憶域に格納するハッシュ関数設定情報格納処理と、
前記対応情報を構成するレコードの中から、前記データファイルの識別情報が、前記データファイルへのアクセス命令における当該データファイルの識別情報と一致するレコードを参照して、当該レコードに格納された前記ハッシュ関数の数式を使用する前記メタデータファイル格納領域決定処理と、
をコンピュータに実行させる請求項8乃至9の何れかの分散ファイルアクセスプログラム。
Hash function setting information storage processing for storing correspondence information between the identification information of the data file and the formula of the hash function in a storage area;
The hash stored in the record with reference to the record in which the identification information of the data file matches the identification information of the data file in the access instruction to the data file from among the records constituting the correspondence information The metadata file storage area determination process using a mathematical expression of a function;
10. The distributed file access program according to claim 8, wherein the computer executes the program.
JP2012029403A 2012-02-14 2012-02-14 Distributed file access device, distributed file access system, distributed file access method, and distributed file access program Expired - Fee Related JP5966404B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012029403A JP5966404B2 (en) 2012-02-14 2012-02-14 Distributed file access device, distributed file access system, distributed file access method, and distributed file access program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012029403A JP5966404B2 (en) 2012-02-14 2012-02-14 Distributed file access device, distributed file access system, distributed file access method, and distributed file access program

Publications (2)

Publication Number Publication Date
JP2013167942A true JP2013167942A (en) 2013-08-29
JP5966404B2 JP5966404B2 (en) 2016-08-10

Family

ID=49178310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012029403A Expired - Fee Related JP5966404B2 (en) 2012-02-14 2012-02-14 Distributed file access device, distributed file access system, distributed file access method, and distributed file access program

Country Status (1)

Country Link
JP (1) JP5966404B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057428A (en) * 2013-11-19 2015-05-28 한국전자통신연구원 Metadata management apparatus and Method thereof
JP2017506373A (en) * 2013-11-26 2017-03-02 アビニシオ テクノロジー エルエルシー Parallel access to data in a distributed file system
JP2020506464A (en) * 2017-01-18 2020-02-27 ネットアップ,インコーポレイテッド Method and system for restoring archived data containers on object-based storage
US11663351B2 (en) 2020-01-23 2023-05-30 Fujitsu Limited Information processing system, information processing device, and non-transitory computer-readable storage medium for storing program of controlling access authority

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175698A (en) * 1993-12-17 1995-07-14 Fujitsu Ltd File system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07175698A (en) * 1993-12-17 1995-07-14 Fujitsu Ltd File system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015047263; Keiji Yamamoto: 'Hash-based Metadata Management for Parallel File System' ハイパフォーマンスコンピューティングと計算科学シンポジウム論文集 第2012巻, 20120117, p.80, 情報処理学会 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150057428A (en) * 2013-11-19 2015-05-28 한국전자통신연구원 Metadata management apparatus and Method thereof
KR101689257B1 (en) * 2013-11-19 2016-12-23 한국전자통신연구원 Metadata management apparatus and Method thereof
JP2017506373A (en) * 2013-11-26 2017-03-02 アビニシオ テクノロジー エルエルシー Parallel access to data in a distributed file system
US10776325B2 (en) 2013-11-26 2020-09-15 Ab Initio Technology Llc Parallel access to data in a distributed file system
US11599509B2 (en) 2013-11-26 2023-03-07 Ab Initio Technology Llc Parallel access to data in a distributed file system
JP2020506464A (en) * 2017-01-18 2020-02-27 ネットアップ,インコーポレイテッド Method and system for restoring archived data containers on object-based storage
US11663351B2 (en) 2020-01-23 2023-05-30 Fujitsu Limited Information processing system, information processing device, and non-transitory computer-readable storage medium for storing program of controlling access authority
JP7360040B2 (en) 2020-01-23 2023-10-12 富士通株式会社 Information processing system, information processing device and program

Also Published As

Publication number Publication date
JP5966404B2 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
KR101502896B1 (en) Distributed memory cluster control apparatus and method using map reduce
JP5902323B2 (en) Method and apparatus for arranging content-derived data in memory
US9015413B2 (en) Management of data using inheritable attributes
US20150347311A1 (en) Storage hierarchical management system
US7921142B2 (en) Method and apparatus for storing and accessing data records on solid state disks
JP5439236B2 (en) Computer system and method of executing application program
JP4837759B2 (en) Database processing method, database processing system, and database server
US9658774B2 (en) Storage system and storage control method
US9535844B1 (en) Prioritization for cache systems
US20140181455A1 (en) Category based space allocation for multiple storage devices
US8954658B1 (en) Method of LUN management in a solid state disk array
JP5966404B2 (en) Distributed file access device, distributed file access system, distributed file access method, and distributed file access program
JP2018106545A (en) Information processing device, information processing system, information processing method and program
US10929347B2 (en) Defragmenting files having file blocks in multiple point-in-time copies
WO2015189988A1 (en) Management server which outputs file relocation policy, and storage system
US8468303B2 (en) Method and apparatus to allocate area to virtual volume based on object access type
US8504764B2 (en) Method and apparatus to manage object-based tiers
US9870152B2 (en) Management system and management method for managing data units constituting schemas of a database
US8918621B1 (en) Block address isolation for file systems
US11789622B2 (en) Method, device and computer program product for storage management
US20180329756A1 (en) Distributed processing system, distributed processing method, and storage medium
JP2013088920A (en) Computer system and data management method
WO2017109911A1 (en) Search processing system and method for processing search requests involving data transfer amount unknown to host
JP7310110B2 (en) storage and information processing systems;
JP2019125264A (en) Data structure of wos, data conversion program, data conversion method and data conversion apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5966404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees