KR100912127B1 - System and method for managing meta-data - Google Patents

System and method for managing meta-data Download PDF

Info

Publication number
KR100912127B1
KR100912127B1 KR1020070081865A KR20070081865A KR100912127B1 KR 100912127 B1 KR100912127 B1 KR 100912127B1 KR 1020070081865 A KR1020070081865 A KR 1020070081865A KR 20070081865 A KR20070081865 A KR 20070081865A KR 100912127 B1 KR100912127 B1 KR 100912127B1
Authority
KR
South Korea
Prior art keywords
file
management server
metadata
client
data
Prior art date
Application number
KR1020070081865A
Other languages
Korean (ko)
Other versions
KR20090003057A (en
Inventor
진기성
김홍연
김준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20090003057A publication Critical patent/KR20090003057A/en
Application granted granted Critical
Publication of KR100912127B1 publication Critical patent/KR100912127B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 메타데이터 관리 시스템 및 메타데이터 관리 방법에 관한 것으로, 파일 메타데이터를 관리하는 메타데이터 관리 서버; 클라이언트로부터 파일 접근 요청을 받음에 따라, 상기 메타데이터 관리 서버로부터 파일 메타데이터를 획득하여, 객체 관리 서버에 객체로의 접근을 요청하는 클라이언트 파일 시스템; 및 상기 클라이언트 파일 시스템의 요청에 따라, 객체 데이터를 읽어 상기 클라이언트 파일 시스템에 반환하는 객체 관리 서버를 포함하되, 상기 객체 관리 서버는, 파일 데이터를 저장하는 데이터 영역과 파일 메타데이터 복구시 필요한 정보를 저장하는 카탈로그 영역을 갖도록 객체를 관리하고, 상기 메타데이터 관리 서버로부터 요청이 있는 경우에, 상기 카탈로그 영역에 저장된 정보를 상기 메타데이터 관리 서버에 제공하는 메타데이터 관리 시스템 및 이를 이용한 메타데이터 관리 방법을 제공한다.The present invention relates to a metadata management system and a metadata management method, comprising: a metadata management server managing file metadata; A client file system that obtains file metadata from the metadata management server and requests an object management server to access an object in response to receiving a file access request from a client; And an object management server that reads object data and returns the data to the client file system according to a request of the client file system, wherein the object management server includes a data area for storing file data and information necessary for recovering file metadata. A metadata management system for managing an object to have a catalog area to store and providing information stored in the catalog area to the metadata management server when a request is received from the metadata management server, and a metadata management method using the same. to provide.

메타데이터, 카탈로그 영역, 객체 관리 서버, 메타데이터 관리 서버 Metadata, catalog area, object management server, metadata management server

Description

메타데이터 관리 시스템 및 메타데이터 관리 방법{SYSTEM AND METHOD FOR MANAGING META-DATA}Metadata management system and metadata management method {SYSTEM AND METHOD FOR MANAGING META-DATA}

본 발명은, 객체 기반 분산 파일 시스템에서 객체 속성에 기반하여, 메타데이터를 관리하는 시스템 및 메타데이터를 관리하는 방법에 관한 것이다.The present invention relates to a system for managing metadata and a method for managing metadata based on object attributes in an object-based distributed file system.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2005-S-405-02, 과제명: 차세대 인터넷 서버 기술 개발].The present invention is derived from the research conducted as part of the IT new growth engine core technology development project of the Ministry of Information and Communication and the Ministry of Information and Communication Research and Development. .

종래의 스토리지 환경에서는 기업에서 생산되는 데이터가 주류를 이루었으나, 최근 인터넷 기술의 비약적인 발전으로 블로그, 사진, 동영상과 같은 멀티미디어 데이터가 급속도로 증가하고 있다. 특히, 국내외에서 인터넷 서비스를 실시중인 대형 포탈 업체의 경우에는 매월 수TB ~ 수십 TB의 데이터가 새롭게 생성되고 있다. 그러나, DAS, NAS, SAN 과 같은 종래의 스토리지 환경에서는 스토리지 확장성 및 관리의 용이성 측면에서 많은 문제점이 있기 때문에 이렇게 변화하는 서비스 환경에 적용하기가 쉽지 않다. In the conventional storage environment, data produced by a company has become mainstream, but multimedia data such as blogs, photos, and videos are rapidly increasing due to the rapid development of the Internet technology. In particular, large portal companies that provide Internet services at home and abroad are newly generating data of several TB to several tens of TB every month. However, in the conventional storage environment such as DAS, NAS, SAN, there are many problems in terms of storage scalability and ease of management, so it is not easy to apply to this changing service environment.

이러한 문제를 해결하기 위해 최근에 이슈화되고 있는 객체 기반 스토리지 기술은 앞서 언급된 기존의 스토리지 시스템이 갖는 문제점을 해결할 수 있는 방법을 제시하고 있다. Recently, the object-based storage technology, which has been recently issued to solve this problem, suggests a method to solve the problems of the aforementioned storage system.

그러나, 최근 제시되고 있는 객체 기반 스토리지 기술에 의한다고 하더라도, 파일 메타데이터가 완전히 유실된 경우에는 객체 데이터가 유효함에도 불구하고 객체 데이터가 속하는 파일 정보를 알 수 없어, 결과적으로 전체 파일 시스템이 사용 불가능한 상태를 초래하게 된다. 따라서, 파일 메타데이터 유실시 객체 데이터를 획득할 수 있는 방안에 대한 필요성이 절실히 요구된다.However, even with the recently proposed object-based storage technology, if the file metadata is completely lost, even though the object data is valid, the file information to which the object data belongs is not known, and as a result, the entire file system is unavailable. It causes a condition. Therefore, there is an urgent need for a method for obtaining file metadata-disappearing object data.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 객체에 저장된 파일 속성 정보를 이용하여 유실된 파일 메타데이터를 복구하기 위한 시스템 및 방법을 제공하는데 그 목적이 있다. An object of the present invention is to provide a system and method for recovering lost file metadata using file property information stored in an object.

상기의 목적을 달성하기 위하여, 본 발명에 따른 메타데이터 관리 시스템은, 파일 메타데이터를 관리하는 메타데이터 관리 서버; 클라이언트로부터 파일 접근 요청을 받음에 따라, 상기 메타데이터 관리 서버로부터 파일 메타데이터를 획득하여, 객체 관리 서버에 객체로의 접근을 요청하는 클라이언트 파일 시스템; 및 상기 클라이언트 파일 시스템의 요청에 따라, 객체 데이터를 읽어 상기 클라이언트 파일 시스템에 반환하는 객체 관리 서버를 포함한다. In order to achieve the above object, the metadata management system according to the present invention, a metadata management server for managing file metadata; A client file system that obtains file metadata from the metadata management server and requests an object management server to access an object in response to receiving a file access request from a client; And an object management server that reads object data and returns the object data to the client file system according to a request of the client file system.

특히, 상기 객체 관리 서버는, 파일 데이터를 저장하는 데이터 영역과 파일 메타데이터 복구시 필요한 정보를 저장하는 카탈로그 영역을 갖도록 객체를 관리하고, 상기 메타데이터 관리 서버로부터 요청이 있는 경우에, 상기 카탈로그 영역에 저장된 정보를 상기 메타데이터 관리 서버에 제공한다.In particular, the object management server manages the object to have a data area for storing file data and a catalog area for storing information necessary for file metadata recovery, and the catalog area in response to a request from the metadata management server. Provide the information stored in the metadata management server.

또한, 상기의 목적을 달성하기 위하여, 본 발명에 따른 메타데이터 관리 방법은, 메타데이터 관리 서버의 장애로 파일 메타데이터가 유실된 경우에, 상기 메타데이터 관리 서버가 객체 관리 서버로 객체의 카탈로그 영역에 저장된 정보를 요청하는 단계; 상기 정보에 대한 요청에 따라, 상기 객체 관리 서버가 카탈로그 영 역으로부터 파일 메타데이터의 복구에 필요한 정보를 수집하는 단계; 상기 객체 관리 서버가 상기 수집된 정보를 상기 메타데이터 관리 서버에 전송하는 단계; 및 상기 메타데이터 관리 서버가 상기 전송받은 정보를 이용하여 유실된 파일 메타데이터를 복구하는 단계를 포함한다.In addition, in order to achieve the above object, in the metadata management method according to the present invention, if the file metadata is lost due to the failure of the metadata management server, the metadata management server to the object management server catalog area of the object Requesting information stored in the; In response to the request for the information, collecting, by the object management server, information necessary for recovering file metadata from a catalog area; Transmitting, by the object management server, the collected information to the metadata management server; And recovering, by the metadata management server, the lost file metadata by using the received information.

본 발명에서 제시하는 객체 기반 분산 파일시스템에서 객체 속성에 기반한 메타데이터 서버의 복구 방법을 통하여, 데이터 손실을 방지하는 기능을 제공할 수 있다. 따라서, 다양한 서비스가 운용되는 웹 포탈, VoD 또는 스토리지 임대 서비스와 같이 대량의 데이터 전송이 필요한 환경에서 스토리지 플랫폼으로 활용되어 안정적인 데이터 서비스를 제공할 수 있다. In the object-based distributed file system proposed by the present invention, a function for preventing data loss can be provided through a method for recovering a metadata server based on object properties. Therefore, it can be used as a storage platform in an environment requiring a large amount of data transmission, such as a web portal, VoD or storage leasing services that operate a variety of services can provide a stable data service.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1을 참조하여, 본 발명에 따른 메타데이터 관리 시스템에 대하여 상세히 설명하면 다음과 같다. 도 1은, 본 발명에 따른 메타데이터 관리 시스템의 구조를 도시한다.Referring to Figure 1, the metadata management system according to the present invention will be described in detail as follows. 1 shows a structure of a metadata management system according to the present invention.

도 1에 도시된 바와 같이, 상기 메타데이터 관리 시스템에서는, 적어도 하나의 클라이언트 파일 시스템(101), 메타데이터 관리 서버(105) 및 객체 관리 서버(103)들이 네트워크 스위치(102)를 통해 교신하면서 데이터의 입출력을 제공한 다. As shown in FIG. 1, in the metadata management system, at least one client file system 101, the metadata management server 105, and the object management server 103 communicate with each other through the network switch 102. Provides input and output of.

더욱 구체적으로, 특정 클라이언트가 클라이언트 파일 시스템(101)에 특정 파일로의 접근을 요청하면, 상기 클라이언트 파일 시스템(101)은, 메타데이터 관리 서버(105)로부터 파일의 실제 데이터가 저장된 객체의 정보를 획득한 후, 객체 관리 서버(103)에 객체 인터페이스를 사용하여 객체의 접근을 요청하게 된다. 그리고, 상기 객체 관리 서버(103)는, 객체 저장 디스크(104)에 저장된 객체의 데이터를 읽어 상기 클라이언트 파일 시스템(101)에 반환한다. More specifically, when a specific client requests the client file system 101 to access a specific file, the client file system 101 receives information of an object in which the actual data of the file is stored from the metadata management server 105. After the acquisition, the object management server 103 is requested to access an object using the object interface. The object management server 103 reads the data of the object stored in the object storage disk 104 and returns it to the client file system 101.

또한, 상기 클라이언트 파일시스템(101)은, 일단 상기 메타데이터 관리 서버(105)를 캐시한 후에는, 상기 메타데이터 관리 서버(105)와 더 이상 통신하지 않고, 상기 객체 관리 서버(103)와의 통신만 유지하게 된다. In addition, once the client file system 101 caches the metadata management server 105, the client file system 101 no longer communicates with the metadata management server 105, but communicates with the object management server 103. Will only be maintained.

특히, 본 발명에서는, 상기 메타데이터 관리 서버(105)에서 관리하는 파일 메타데이터가 유실된 경우에, 상기 메타데이터 관리 서버(105)는, 상기 객체 관리 서버(103)에 파일 메타데이터의 복구를 위한 정보를 요청하게 되고, 이에 따라, 상기 객체 관리 서버(103)는, 상기 유실된 파일 메타데이터의 복구를 위해 필요한 정보를 상기 메타데이터 관리 서버(105)에 제공하게 된다.In particular, in the present invention, when the file metadata managed by the metadata management server 105 is lost, the metadata management server 105 restores the file metadata to the object management server 103. In this case, the object management server 103 provides the metadata management server 105 with information necessary for the recovery of the lost file metadata.

여기에서, 상기 객체 관리 서버(105)에서의 객체 관리 방법, 특히, 상기 파일 메타데이터의 복구를 위해 필요한 정보의 관리 방법에 대하여 이하에서 상세히 설명하도록 한다.Herein, an object management method in the object management server 105, in particular, a method of managing information necessary for recovering the file metadata will be described in detail below.

도 2를 참조하여, 본 발명에 따른 메타데이터 관리 시스템에서 파일 데이터를 읽는 과정을 상세히 설명하도록 한다. 도 2는, 본 발명에 따른 메타데이터 관리 시스템에서 파일 데이터를 읽는 과정을 도시한다.Referring to FIG. 2, a process of reading file data in the metadata management system according to the present invention will be described in detail. 2 illustrates a process of reading file data in a metadata management system according to the present invention.

예를 들어, 클라이언트가 /mnt/file1.txt란 파일을 읽고자 할 경우(201), 클라이언트 파일 시스템(202)은, /mnt/file1.txt 파일에 대한 접근 정보가 캐시에 존재하지 않으면, 메타데이터 관리 서버(205)에게 파일의 메타데이터 정보를 요청 하고(1), 상기 메타데이터 관리 서버(205)로부터 파일의 속성 및 객체의 위치와 같은 메타데이터 정보를 획득한다(2). 그리고, 상기 클라이언트 파일시스템(202)은, 객체 관리 서버(203)로 객체의 데이터를 요청하고(3), 상기 객체 관리 서버 (203)로부터 해당 객체의 데이터를 획득한다(4).For example, if a client wants to read a file named /mnt/file1.txt (201), the client file system 202 may attempt to read the meta, if no access information for the /mnt/file1.txt file exists in the cache. Request metadata information of a file from the data management server 205 (1), and obtain metadata information such as the attributes of the file and the location of the object from the metadata management server 205 (2). The client file system 202 requests the object data from the object management server 203 (3) and obtains the object data from the object management server 203 (4).

특히, 본 발명에서는, 상기 메타데이터 관리 서버(205)에 장애가 발생하여 파일 메타데이터가 완전히 유실된 경우, 상기 메타데이터 관리 서버(205)는, 상기 객체 관리 서버(203)에서 관리되고 있는 객체로부터 파일 메타데이터의 복구를 위하여 필요한 정보를 획득하여, 상기 유실된 파일 메타데이터를 복구하게 된다. Particularly, in the present invention, when the metadata management server 205 fails and the file metadata is completely lost, the metadata management server 205 is configured from an object managed by the object management server 203. Information necessary for recovering file metadata is obtained to recover the lost file metadata.

도 3을 참조하여, 본 발명에 따른 객체 관리 서버에서 관리하는 객체의 영역을 상세히 설명하도록 한다. 도 3은, 본 발명에 따른 객체 관리 서버에서 관리하는 객체의 카탈로그 영역을 도시한다.Referring to Figure 3, it will be described in detail the area of the object managed by the object management server according to the present invention. 3 shows a catalog area of an object managed by the object management server according to the present invention.

본 발명에 따른 객체 관리 서버는, 객체(301)를 카탈로그 영역(302)과 데이터 영역(303)으로 구분하여 관리한다. 기존의 객체 관리 서버에서 관리하는 객체에는 데이터만이 저장되어 있었으나, 본 발명에서는, 데이터를 저장하는 데이터 영역(303) 및 파일 메타데이터 복구시 사용될 수 있는 필수 정보들을 카탈로그 영역(302)을 별도로 관리한다.The object management server according to the present invention manages the object 301 by dividing it into a catalog area 302 and a data area 303. Although only data is stored in an object managed by the existing object management server, in the present invention, the data area 303 for storing data and the catalog area 302 are separately managed for essential information that can be used for file metadata recovery. do.

상기 카탈로그 영역(302)을 구성하는 요소는, 파일의 이름(304), 파일의 소유자(305), 파일의 속성(306), 파일의 시간 정보(307) 등이다.The elements constituting the catalog area 302 are a file name 304, a file owner 305, a file attribute 306, a file time information 307, and the like.

상기 파일의 이름(304)은, "mnt/file1.txt"와 같이 메타데이터 관리 서버에 저장된 파일의 절대 경로 이름을 의미하며, 절대 경로를 사용하는 이유는 파일 메타데이터 복구시 파일이 속한 디렉터리 트리 구조를 재구성할 수 있도록 하기 위함이다.The file name 304 indicates an absolute path name of a file stored in the metadata management server, such as "mnt / file1.txt". The reason for using the absolute path is a directory tree to which the file belongs when recovering the file metadata. This is to allow the structure to be reconstructed.

상기 파일의 소유자(305)는, "root:root"와 같이 UNIX 또는 Linux 운영체제에서 관리하는 사용자 및 그룹의 명칭으로 파일의 소유 권한을 의미한다. The owner of the file 305 is a name of a user and a group managed by a UNIX or Linux operating system, such as "root: root", and means ownership of the file.

상기 파일의 속성(306)은, "rw-r--r-"과 같이 해당 파일을 읽거나, 쓰거나, 실행할 수 있는 권한을 의미한다. The attribute 306 of the file means authority to read, write, or execute the file, such as "rw-r--r-".

상기 파일의 시간 정보(307)는, "2006-10-25 20:37"과 같이 파일의 시간 정보를 의미하며, 생성시간, 최근 접근시간, 최근 수정시간 등이 기록될 수 있으나 시스템 성능에 영향을 미칠 가능성이 있기 때문에 시스템 성능 및 운용환경에 따라 선별적으로 적용할 수 있다.The time information 307 of the file refers to time information of the file, such as "2006-10-25 20:37", and the creation time, the latest access time, the latest modification time, etc. may be recorded, but the system performance is affected. Because of this possibility, it can be selectively applied according to system performance and operating environment.

상기 카탈로그 영역(302)이 변경되는 경우는 크게 두 가지 경우로 이루어진다. The catalog area 302 is largely divided into two cases.

첫째, 객체가 처음 생성될 때이다. 객체의 생성 시점은 파일 생성 시점과 동일하며 클라이언트 파일시스템에서 객체 관리 서버에 객체의 생성을 요청할 때 <파일이름, 소유자, 속성, 시간> 정보를 함께 전달하여 객체의 카탈로그 영역에 기록한다. First, when the object is first created. The object creation time is the same as the file creation time. When the client file system requests the object management server to create the object, the <file name, owner, attribute, time> information is also delivered and recorded in the object's catalog area.

도 4를 참조하여, 이에 대하여 더욱 상세히 설명한다. 도 4는, 본 발명에 따른 객체 관리 서버에서, 생성된 파일 메타데이터가 객체에 저장되는 과정을 도시한다.With reference to Figure 4, this will be described in more detail. 4 illustrates a process of storing generated file metadata in an object in the object management server according to the present invention.

먼저, 클라이언트(401)가 "mnt/file1.txt" 파일의 생성을 클라이언트 파일 시스템(402)에 요청한다.First, the client 401 requests the client file system 402 to generate a "mnt / file1.txt" file.

상기 클라이언트 파일 시스템(402)은, 상기 요청에 따라, 새로운 파일의 데이터가 기록될 공간을 마련하기 위해 객체 관리 서버(403)에 새로운 객체의 생성을 요청한다. 이때, 상기 클라이언트 파일 시스템(402)은, 객체의 생성 요청과 함께 새로 생성할 파일의 속성 정보, 즉 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보 등의 정보를 함께 전송한다. In response to the request, the client file system 402 requests the object management server 403 to create a new object in order to make room for the data of the new file to be recorded. At this time, the client file system 402 transmits the attribute information of the file to be newly generated, that is, the name of the file, the owner of the file, the attribute of the file, and the time information of the file, together with the object creation request.

상기 객체 관리 서버(403)는, 상기 요청에 따라, 새로운 객체를 하나 생성하고, 객체의 카탈로그 영역에 상기 전송받은 파일의 속성 정보, 즉 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보를 기록한다. 그리고, 객체 관리 서버(403)는, 상기 생성된 객체의 식별자를 상기 클라이언트 파일 시스템(402)으로 반환한다. 이후, 상기 클라이언트 파일 시스템(402)은, 메타데이터 관리 서버 (405)에게 "mnt/file1.txt" 파일의 파일 메타데이터 정보 생성을 요청한다. The object management server 403 creates a new object according to the request, and the attribute information of the received file in the catalog area of the object, that is, the name of the file, the owner of the file, the attribute of the file, and the time of the file. Record the information. The object management server 403 returns the identifier of the created object to the client file system 402. Thereafter, the client file system 402 requests the metadata management server 405 to generate file metadata information of the file "mnt / file1.txt".

둘째, 파일 메타데이터 정보가 변경이 되는 경우로서 사용자가 파일 소유자 변경, 파일 소유 그룹 변경, 파일의 시간 변경 등을 수행할 때 객체의 카탈로그 영역에 변경된 속성 정보를 기록한다. Second, when the file metadata information is changed, the changed attribute information is recorded in the catalog area of the object when the user changes the file owner, the file ownership group, or the file time.

도 5를 참조하여, 이에 대하여 더욱 상세히 설명한다. 도 5는, 본 발명에 따 른 객체 관리 서버에서, 변경된 파일 메타데이터가 객체에 저장되는 과정을 도시한다.With reference to FIG. 5, this will be described in more detail. FIG. 5 illustrates a process in which changed file metadata is stored in an object in the object management server according to the present invention.

먼저, 클라이언트(501)가, 클라이언트 파일 시스템(502)에 파일의 속성 변경을 요청한다. 그리고, 상기 클라이언트 파일시스템(502)은, 상기 요청에 따라, 객체 관리 서버(503)에게 해당 객체의 카탈로그 정보 변경을 요청한다. 이후, 상기 객체 관리 서버(503)는, 객체의 카탈로그 영역에 저장된 메타데이터에 관련된 정보를 변경하고, 상기 클라이언트 파일 시스템(502)에 변경 완료를 통보한다. 그리고, 상기 클라이언트 파일 시스템(502)은, 메타데이터 관리 서버(505)에게 최종적으로 파일 메타데이터의 속성을 변경하도록 요청한다. First, the client 501 requests the client file system 502 to change an attribute of a file. In response to the request, the client file system 502 requests the object management server 503 to change catalog information of the object. Thereafter, the object management server 503 changes the information related to the metadata stored in the catalog area of the object, and notifies the client file system 502 of the completion of the change. The client file system 502 requests the metadata management server 505 to finally change the attributes of the file metadata.

도 6을 참조하여, 본 발명에 따른 메타데이터 관리 시스템에서, 유실된 메타데이터를 복구하는 과정을 상세히 설명하면 다음과 같다. 도 6은, 본 발명에 따른 메타데이터 관리 시스템에서, 유실된 메타데이터를 복구하는 과정을 도시한다.Referring to Figure 6, in the metadata management system according to the present invention, the process of recovering the lost metadata in detail as follows. 6 illustrates a process of recovering lost metadata in a metadata management system according to the present invention.

상기 유실된 파일 메타데이터를 복구하는 과정은, 크게 메타데이터 관리 서버에서 객체 관리 서버에게 복구를 위해 객체의 카탈로그 영역에 저장된 정보를 요청하는 단계(601)와, 객체 관리 서버에서 모든 객체들의 카탈로그 영역 정보를 수집하여 메타데이터 관리 서버에게 전송하는 단계(602) 및 메타데이터 관리 서버에서 객체의 카탈로그 정보를 이용하여 파일 메타데이터를 복구하는 단계(604)로 이루어진 것을 특징으로 한다. The process of restoring the lost file metadata includes a step (601) of requesting information stored in a catalog area of an object for recovery from an object management server in a metadata management server, and catalog area of all objects in the object management server. Collecting and transmitting the information to the metadata management server (602) and recovering the file metadata by using the catalog information of the object in the metadata management server (604).

상기 메타데이터 관리 서버에서 객체 관리 서버로 파일 메타데이터 복구를 위한 정보를 요청하는 단계(601)는, 단순히 네트워크 메시지를 전송하는 수준에서 이루어진다. 상기 네트워크 메시지는, TCP 프로토콜을 사용하는 것이 효율적이지만, 운용 시스템의 환경에나 네트워크 상태에 따라 다른 프로토콜도 유연하게 적용할 수 있다. Requesting information 601 for file metadata recovery from the metadata management server to the object management server is performed at the level of simply transmitting a network message. Although it is efficient to use the TCP protocol for the network message, other protocols can be flexibly applied depending on the environment of the operating system and the network conditions.

상기 객체 관리 서버에서 모든 객체들의 정보를 수집하여 메타데이터 관리 서버에게 전송하는 단계(602)는 다음의 두 단계로 나뉠 수 있다. In step 602, the object management server collects information on all objects and transmits the information to all metadata management servers.

먼저, 상기 객체 관리 서버는, 객체 저장소에 저장된 모든 객체들을 순회하면서 각 객체의 카탈로그 영역에 포함된 정보를 수집한다. 상기 수집된 정보(603)에는, 파일 메타데이터를 구성하는 필수 항목들이 포함되며, 예를 들어, 객체 식별자, 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보로 구성될 수 있다. First, the object management server collects information included in the catalog area of each object while traversing all the objects stored in the object store. The collected information 603 includes essential items constituting the file metadata. For example, the collected information 603 may include an object identifier, a file name, a file owner, a file attribute, and a file time information.

그리고, 상기 객체 관리 서버는, 파일 메타데이터의 복구를 위한 정보의 수집이 완료되면, 상기 메타데이터 관리 서버에 상기 수집된 정보를 전송한다. 메타데이터 관리 서버로의 전송은, 네트워크 프로토콜을 사용하며, 시스템 환경 또는 네트워크 상황에 따라 효율적인 크기 단위로 패킷을 나누어 전송할 수 있다.The object management server transmits the collected information to the metadata management server when collection of information for restoring file metadata is completed. The transmission to the metadata management server uses a network protocol and may divide the packet into efficient size units according to a system environment or a network condition.

상기 메타데이터 관리 서버는, 상기 객체 관리 서버로부터 전송받은 정보를 이용하여, 유실된 파일 메타데이터를 복구한다(604).The metadata management server recovers lost file metadata by using the information received from the object management server (604).

예를 들어, 상기 전송받은 정보 중에서, 각 객체 단위로 정보를 파싱하여 파일 메타데이터를 복구할 수 있다. For example, among the received information, the file metadata may be recovered by parsing the information in units of objects.

도 7을 참조하여, 각 객체별로 파일 메타데이터를 복구하는 과정에 대하여 상세히 설명하도록 한다. 도 7은, 본 발명에 따른 메타데이터 관리 시스템에서, 메 타데이터 관리 서버의 장애에 따른 회복 과정을 도시한다.A process of recovering file metadata for each object will be described in detail with reference to FIG. 7. 7 illustrates a recovery process according to a failure of the metadata management server in the metadata management system according to the present invention.

도 7에 도시된 바와 같이, 메타데이터 관리 서버는, 파일 메타데이터를 고장 직전의 상태로 복구하기 위해, 객체 관리 서버로부터 전송받은 정보가 다 처리될 때까지 각 객체 식별자 단위로 처리한다(702,703,704). As shown in FIG. 7, the metadata management server processes each object identifier unit until the information received from the object management server is processed in order to restore the file metadata to the state just before the failure (702, 703, 704). .

더욱 구체적으로 설명하면, 먼저, 상기 메타데이터 관리 서버는, 하나의 객체에 해당되는 정보를 파싱하여 <파일이름, 소유자, 속성, 시간> 정보를 추출한다(705). More specifically, first, the metadata management server parses information corresponding to one object and extracts <file name, owner, attribute, time> information (705).

그리고, 상기 메타데이터 관리 서버는, 파일 이름을 "/" 단위로 파싱한다(706). 예를 들어, 각 디렉터리 엔트리별로 분류하는데, 만약 파일 이름이 "mnt/file1.txt"인 경우 "mnt", "file1.txt"로 분류할 수 있다.The metadata management server parses the file name in units of "/" (706). For example, each directory entry is classified. If the file name is "mnt / file1.txt", it can be classified as "mnt" or "file1.txt".

현재 분류된 엔트리가 가장 마지막 엔트리인지를 판단하여(707), 가장 마지막 엔트리가 아닌 경우에 디렉터리가 존재하는지를 판단한다(708). 그리고, 디렉터리를 생성하여 파일 시스템 트리 구조를 재구성한다(709).It is determined whether the currently classified entry is the last entry (707), and if it is not the last entry, it is determined whether the directory exists (708). The directory is generated to reconstruct the file system tree structure (709).

예를 들어, 파일 이름이 "mnt/file1.txt"인 경우에, 가장 마지막 엔트리는 "file1.txt"이다.For example, if the file name is "mnt / file1.txt", the last entry is "file1.txt".

그리고, 상기 판단 결과 가장 마지막 엔트리인 경우에는, 새로운 파일을 생성한다(710). 이렇게 유실된 파일이 생성되고 난 후에는 파일이 가지고 있는 메타데이터 정보를 복구하기 위해서 파일의 소유자를 설정하고(711), 파일의 속성을 설정하고(712), 파일의 시간정보를 설정한 후(713), 객체 식별자, 예를 들어 "65536"와 파일, 예를 들어 "file1.txt"를 매핑하여(714) 파일의 복구를 완료한다.If it is the last entry as a result of the determination, a new file is generated (710). After the lost file is created, in order to recover the metadata information of the file, the owner of the file is set (711), the property of the file (712), and the time information of the file is set ( 713, the object identifier, for example, "65536" and the file, for example "file1.txt", are mapped (714) to complete the recovery of the file.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

도 1은 본 발명에 따른 메타데이터 관리 시스템의 일실시예 구조도.1 is a structural diagram of an embodiment of a metadata management system according to the present invention;

도 2는 본 발명에 따른 메타데이터 관리 시스템에서 파일 데이터를 읽는 과정을 나타낸 도면.2 is a diagram illustrating a process of reading file data in a metadata management system according to the present invention.

도 3은 본 발명에 따른 객체 관리 서버에서 관리하는 객체의 카탈로그 영역 구성도.3 is a block diagram illustrating a catalog area of objects managed by an object management server according to the present invention.

도 4는 본 발명에 따른 객체 관리 서버에서, 생성된 파일 메타데이터가 객체에 저장되는 과정을 나타낸 도면.4 is a diagram illustrating a process of storing generated file metadata in an object in the object management server according to the present invention;

도 5는 본 발명에 따른 객체 관리 서버에서, 변경된 파일 메타데이터가 객체에 저장되는 과정을 나타낸 도면. 5 is a diagram illustrating a process of storing changed file metadata in an object in the object management server according to the present invention.

도 6은 본 발명에 따른 메타데이터 관리 시스템에서, 유실된 메타데이터를 복구하는 과정을 나타낸 일실시예 흐름도.6 is a flowchart illustrating a process of recovering lost metadata in a metadata management system according to the present invention.

도 7은 본 발명에 따른 메타데이터 관리 시스템에서, 메타데이터 관리 서버의 장애에 따른 회복 과정을 나타낸 흐름도.7 is a flowchart illustrating a recovery process according to a failure of the metadata management server in the metadata management system according to the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

101 : 클라이언트 파일 시스템101: client file system

102 : 네트워크 스위치102: network switch

103 : 객체 관리 서버103: object management server

104 : 객체 저장 디스크104: object storage disk

105 : 메타데이터 관리 서버105: metadata management server

106 : 메타데이터 저장 디스크106: metadata storage disk

301 : 객체301: object

302 : 객체의 카탈로그 영역302: Catalog area of the object

303 : 객체의 데이터 영역303: data area of the object

304 : 파일 이름304: file name

305 : 파일의 소유자305: Owner of the file

306 : 파일의 속성306: file attributes

307 : 파일의 시간 정보307: file time information

Claims (7)

삭제delete 삭제delete 파일 메타데이터를 관리하는 메타데이터 관리 서버;A metadata management server that manages file metadata; 클라이언트로부터 파일 접근 요청을 받음에 따라, 상기 메타데이터 관리 서버로부터 파일 메타데이터를 획득하여, 객체 관리 서버에 객체로의 접근을 요청하는 클라이언트 파일 시스템; 및A client file system that obtains file metadata from the metadata management server and requests an object management server to access an object in response to receiving a file access request from a client; And 상기 클라이언트 파일 시스템의 요청에 따라, 객체 데이터를 읽어 상기 클라이언트 파일 시스템에 반환하는 객체 관리 서버를 포함하되,An object management server for reading object data and returning the object data to the client file system according to a request of the client file system; 상기 객체 관리 서버는, 파일 데이터를 저장하는 데이터 영역과 상기 클라이언트 파일 시스템에 의해 객체 생성이 요청되는 경우에, 상기 클라이언트 파일 시스템으로부터 제공받은 파일 메타데이터에 관련된 정보를 저장하는 카탈로그 영역을 갖도록 객체를 관리하고, 상기 메타데이터 관리 서버로부터 요청이 있는 경우에, 상기 카탈로그 영역에 저장된 정보를 상기 메타데이터 관리 서버에 제공하는 메타데이터 관리 시스템.The object management server may include an object to have a data area for storing file data and a catalog area for storing information related to file metadata provided from the client file system when an object generation is requested by the client file system. And provide information stored in the catalog area to the metadata management server in response to a request from the metadata management server. 파일 메타데이터를 관리하는 메타데이터 관리 서버;A metadata management server that manages file metadata; 클라이언트로부터 파일 접근 요청을 받음에 따라, 상기 메타데이터 관리 서버로부터 파일 메타데이터를 획득하여, 객체 관리 서버에 객체로의 접근을 요청하는 클라이언트 파일 시스템; 및A client file system that obtains file metadata from the metadata management server and requests an object management server to access an object in response to receiving a file access request from a client; And 상기 클라이언트 파일 시스템의 요청에 따라, 객체 데이터를 읽어 상기 클라이언트 파일 시스템에 반환하는 객체 관리 서버를 포함하되,An object management server for reading object data and returning the object data to the client file system according to a request of the client file system; 상기 객체 관리 서버는, 파일 데이터를 저장하는 데이터 영역과 상기 클라이언트 파일 시스템에 의해 객체 속성의 변경이 요청되는 경우에, 카탈로그 영역에 기 저장된 정보를 변경하여 저장하는 카탈로그 영역을 갖도록 객체를 관리하고, 상기 메타데이터 관리 서버로부터 요청이 있는 경우에, 상기 카탈로그 영역에 저장된 정보를 상기 메타데이터 관리 서버에 제공하는 메타데이터 관리 시스템.The object management server manages an object to have a data area for storing file data and a catalog area for changing and storing information previously stored in the catalog area when a change of an object property is requested by the client file system. And, upon request from the metadata management server, provide the metadata management server with the information stored in the catalog area. 메타데이터 관리 서버의 장애로 파일 메타데이터가 유실된 경우에, 메타데이터 관리 방법에 있어서, In the case where the file metadata is lost due to the failure of the metadata management server, in the metadata management method, 상기 메타데이터 관리 서버가 객체 관리 서버로 객체의 카탈로그 영역에 저장된 정보를 요청하는 단계;Requesting, by the metadata management server, information stored in a catalog area of an object from an object management server; 상기 정보에 대한 요청에 따라, 상기 객체 관리 서버가 카탈로그 영역으로부터 파일 메타데이터의 복구에 필요한 정보를 수집하는 단계;In response to the request for the information, collecting, by the object management server, information necessary for recovery of file metadata from a catalog area; 상기 객체 관리 서버가 상기 수집된 정보를 상기 메타데이터 관리 서버에 전송하는 단계; 및Transmitting, by the object management server, the collected information to the metadata management server; And 상기 메타데이터 관리 서버가 상기 전송받은 정보를 이용하여 유실된 파일 메타데이터를 복구하는 단계를 포함하는 메타데이터 관리 방법.And recovering, by the metadata management server, the lost file metadata using the received information. 제 5 항에 있어서, 상기 수집 단계는, The method of claim 5, wherein the collecting step, 상기 카탈로그 영역으로부터, 객체 식별자, 파일의 이름, 파일의 소유자, 파일의 속성, 파일의 시간 정보 중 적어도 하나를 수집하는 메타데이터 관리 방법.And collecting at least one of an object identifier, a file name, a file owner, a file attribute, and file time information from the catalog area. 제 5 항에 있어서, The method of claim 5, wherein 상기 복구된 파일 메타데이터와 객체의 식별자를 매핑하여 파일 시스템을 복구하는 단계를 더 포함하는 메타데이터 관리 방법.And restoring a file system by mapping the restored file metadata with an identifier of the object.
KR1020070081865A 2006-12-04 2007-08-14 System and method for managing meta-data KR100912127B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060121386 2006-12-04
KR20060121386 2006-12-04

Publications (2)

Publication Number Publication Date
KR20090003057A KR20090003057A (en) 2009-01-09
KR100912127B1 true KR100912127B1 (en) 2009-08-13

Family

ID=40485948

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070081865A KR100912127B1 (en) 2006-12-04 2007-08-14 System and method for managing meta-data

Country Status (1)

Country Link
KR (1) KR100912127B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094619A (en) * 2019-01-30 2020-08-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and apparatus for backing up information

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341412B1 (en) * 2009-12-18 2013-12-13 한국전자통신연구원 Apparatus and method of controlling metadata in asymmetric distributed file system
KR101587631B1 (en) * 2011-09-06 2016-01-25 한국전자통신연구원 Local apparatus based on cloud and method for reading and storing file
KR101672349B1 (en) * 2011-12-27 2016-11-07 한국전자통신연구원 File cloud service apparatus and method
KR101689257B1 (en) * 2013-11-19 2016-12-23 한국전자통신연구원 Metadata management apparatus and Method thereof
KR101963303B1 (en) * 2018-11-12 2019-03-28 한국해양과학기술원 A S-100 standard information transmission data simplification method and a computer-readable recording medium recording the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060067119A (en) * 2004-12-14 2006-06-19 한국전자통신연구원 Crash recovery system and method for a distributed file server using object based storage
KR20060071085A (en) * 2004-12-21 2006-06-26 한국전자통신연구원 Crash recovery system and method for a distributed file server using object based storage
KR20060121654A (en) * 2004-02-27 2006-11-29 마이크로소프트 코포레이션 System and method for recovery units in databases
KR20070061088A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 File management method in file system and metadata server for the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060121654A (en) * 2004-02-27 2006-11-29 마이크로소프트 코포레이션 System and method for recovery units in databases
KR20060067119A (en) * 2004-12-14 2006-06-19 한국전자통신연구원 Crash recovery system and method for a distributed file server using object based storage
KR20060071085A (en) * 2004-12-21 2006-06-26 한국전자통신연구원 Crash recovery system and method for a distributed file server using object based storage
KR20070061088A (en) * 2005-12-08 2007-06-13 한국전자통신연구원 File management method in file system and metadata server for the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094619A (en) * 2019-01-30 2020-08-07 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and apparatus for backing up information
KR102207727B1 (en) 2019-01-30 2021-01-25 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Method and apparatus for backing up information

Also Published As

Publication number Publication date
KR20090003057A (en) 2009-01-09

Similar Documents

Publication Publication Date Title
JP6522812B2 (en) Fast Crash Recovery for Distributed Database Systems
US10387673B2 (en) Fully managed account level blob data encryption in a distributed storage environment
CN109241161B (en) Meteorological data management method
JP6196368B2 (en) Avoiding system-wide checkpoints in distributed database systems
US8171100B2 (en) Reducing latency of access requests in distributed storage systems having a shared data set
CN110083656B (en) Log record management
US20190007206A1 (en) Encrypting object index in a distributed storage environment
CA2734675C (en) Shared namespace for storage clusters
JP6346937B2 (en) Database system with database engine and separate distributed storage service
US6711572B2 (en) File system for distributing content in a data network and related methods
US8131723B2 (en) Recovering a file system to any point-in-time in the past with guaranteed structure, content consistency and integrity
US8108429B2 (en) System for moving real-time data events across a plurality of devices in a network for simultaneous data protection, replication, and access services
US10659225B2 (en) Encrypting existing live unencrypted data using age-based garbage collection
US10558565B2 (en) Garbage collection implementing erasure coding
JP2018129078A (en) In place snapshots
CN102855239B (en) A kind of distributed geographical file system
KR101078287B1 (en) Method Recovering Data Server at the Applying Multiple Reproduce Dispersion File System and Metadata Storage and Save Method Thereof
KR100912127B1 (en) System and method for managing meta-data
WO2006033961A2 (en) Method and system for data reduction
Grönvall et al. The design of a multicast-based distributed file system
CN112653730A (en) User mode network file storage method and system
GB2439576A (en) Storing related small data fragments in the same block
US20230350760A1 (en) Physical size api for snapshots backed up to object store
US11656946B2 (en) Cloud-native global file system with reshapable caching
CN110716898A (en) Method and system for gathering field geological survey data in real time

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130806

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140806

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150806

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170807

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee