KR20090063733A - 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 - Google Patents

다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 Download PDF

Info

Publication number
KR20090063733A
KR20090063733A KR1020070131204A KR20070131204A KR20090063733A KR 20090063733 A KR20090063733 A KR 20090063733A KR 1020070131204 A KR1020070131204 A KR 1020070131204A KR 20070131204 A KR20070131204 A KR 20070131204A KR 20090063733 A KR20090063733 A KR 20090063733A
Authority
KR
South Korea
Prior art keywords
block
data server
file
metadata
server
Prior art date
Application number
KR1020070131204A
Other languages
English (en)
Other versions
KR101078287B1 (ko
Inventor
진기성
이상민
김영균
김명준
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070131204A priority Critical patent/KR101078287B1/ko
Publication of KR20090063733A publication Critical patent/KR20090063733A/ko
Application granted granted Critical
Publication of KR101078287B1 publication Critical patent/KR101078287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/184—Distributed file systems implemented as replicated file system
    • G06F16/1844—Management specifically adapted to replicated file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장 방법에 대하여 개시한다. 본 발명은 위치 정보를 포함하는 파일의 속성과 관련한 메타데이터를 저장하는 메타데이터 영역; 상기 파일이 저장된 블록을 저장하는 데이터 서버별로 구분되는 블록 인덱스의 내용을 저장하는 블록 영역을 포함하고, 일 데이터 서버에 고장이 발생하면, 상기 블록 인덱스를 이용하여 상기 동일 파일이 저장된 블록을 검색하는 점에 그 특징이 있다.
본 발명은 파일 속성과 블록 인덱스의 메타데이터를 구분/저장하고, 이를 이용하여 데이터 서버 고장 시 파일이 존재하는 블록에 대한 인덱스 정보 재구성 및 동일 블록이 저장된 다른 데이터 서버의 선정을 통하여 유실된 데이터를 용이하게 복구할 수 있는 효과가 있다.
분산파일 시스템, 고장, 복구, 메타데이터 서버, 데이터 서버

Description

다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장 방법 { Method Recovering Data Server at the Applying Multiple Reproduce Dispersion File System and Metadata Storage and Save Method Thereof }
본 발명은 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장 방법에 관한 것으로, 특히 파일 속성과 블록 인덱스의 메타데이터를 구분/저장하고, 이를 이용하여 데이터 서버 고장 시 파일이 존재하는 블록에 대한 인덱스 정보 재구성 및 동일 블록이 저장된 다른 데이터 서버의 선정을 통하여 유실된 데이터를 용이하게 복구할 수 있는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2007-S-016-01, 과제명:저비용 대규모 글로벌 인터넷 서비스 솔루션 개발].
종래의 스토리지(Storage) 환경에서 저장되는 데이터의 대부분은 기업이나 기관에서 생성한 업무 관련 데이터였으나, 최근 인터넷 기술의 비약적인 발전으로 블로그, 사진, 동영상과 같은 멀티미디어 데이터들의 저장 비율도 급속도로 증가하고 있다. 특히, 국내외에서 인터넷 서비스를 실시중인 대형 포탈 업체의 경우에는 매월 수 테라바이트(TB, Tera Byte)~수십 테라바이트(TB, Tera Byte)의 데이터가 새롭게 생성되어 저장 및 관리되고 있다. 그러나 기존의 저장 구조 환경은 스토리지 확장성 및 관리의 용이성에서 많은 문제점이 있기 때문에 변화무쌍한 서비스 환경에 대체하기에는 부족하다.
최근 스토리지 시스템 혹은 파일 시스템의 근원적인 기술 발전은 스토리지 시스템의 확장성(Scalability) 및 성능의 향상에 기인한 것이다. 상세하게는, 파일 시스템 구조 측면에서 몇몇 시스템들이 파일의 데이터 입출력 경로와 파일의 메타데이터 관리 경로를 분리시켜서 분산 스토리지 시스템의 확장성과 성능을 높인 것이다. 이러한 구조를 적용하여 클라이언트 시스템이 저장 장치들에 직접 접근할 수 있게 하고, 메타데이터를 분산시켜서 빈번한 파일의 메타데이터 접근으로 인한 병목현상을 해소하여 스토리지의 확장성을 높인다.
이러한 구조를 기반으로 개발된 엔터프라이즈급 스토리지 솔루션으로 IBM의 StorageTank, Panasas의 ActiveScale Storage Cluster, 그리고 Cluster Filesystems의 Lustre, Google의 Google Filesystem 등이 있다. 특히, Google의 Google Filesystem은 한 파일에 대한 블록 데이터를 다수의 데이터 서버에 복제하여 가용성을 더욱 높였다.
이 같은 네트워크 기반 분산 파일 시스템 환경에서는 클라이언트 파일 시스 템, 메타데이터 서버 및 데이터 서버들이 네트워크를 통해 교신하면서 데이터의 입출력을 제공한다. 클라이언트는 특정 파일에 접근하기 위해서 메타데이터 서버로부터 파일의 실제 데이터가 저장된 블록의 위치 정보를 획득한 후, 블록이 위치한 데이터 서버에 접근하여 블록의 데이터를 읽어 이를 사용한다.
도 1은 종래기술에 따른 다중 복제 기반 분산 파일 시스템을 도시한 블록도이다. 도 1에 도시된 바와 같이, 다중 복제 기반 분산 파일 시스템은 개별 시스템으로 운용되는 사용자 단말인 클라이언트(100), 파일의 속성 및 블록의 위치와 같은 메타데이터를 저장하는 메타데이터 서버(200), 파일의 실제 데이터를 저장하는 하나 이상의 데이터 서버(300A, 300B, 300C)로 구성되며, 이들은 네트워크로 연결되어 정보를 공유한다.
클라이언트(100)는 개별 시스템으로 운용되는 사용자 단말로 PC(Personal Computor), PDA(Personal Digital Assistants) 및 모바일 폰(Mobile Phone) 일 수 있다.
메타데이터 서버(200)는 파일의 크기, 생성시간, 소유자 등의 파일의 속성 및 파일의 블록 위치를 포함하는 데이터 서버(300A, 300B, 300C)에 저장된 데이터의 메타데이터를 저장하여 클라이언트(100)에 이를 제공한다.
데이터 서버(300A, 300B, 300C)는 메타데이터 서버(200)의 파일의 속성에 관련한 실제 데이터 블록들을 저장하며, 클라이언트(100)의 요청에 따라 이를 제공한다.
동일 블록을 물리적으로 떨어진 하나 이상의 데이터 서버(300A, 300B, 300C) 에 복제하여 저장함으로써 파일 시스템의 가용성을 높일 수 있다.
여기서, 데이터 서버(300A, 300B, 300C)는 하나의 파일을 여러 개의 블록들로 분할하여 저장 또는, 하나의 연속된 파일로 저장한다.
한편, 메타데이터 서버(200)는 데이터 서버(300A, 300B, 300C)와 별개의 기기로서 배치될 수 있으며, 데이터 서버(300A, 300B, 300C) 또는 클라이언트(100)와 동일한 기기로 구성될 수 있다.
메타데이터 서버(200) 및 데이터 서버(300A, 300B, 300C)의 동작을 살펴보면, 클라이언트(100)가 "example.txt"란 파일을 읽고자 하는 경우에 클라이언트(100)는 우선 메타데이터 서버(200)에게 "example.txt" 파일의 속성 및 블록의 위치 등의 메타데이터 정보를 요청하고, 이를 제공받는다. 그 다음에는, 블록의 위치를 참조하여 데이터 서버(300A, 300B, 300C)에게 블록의 데이터를 요청하고, 데이터 서버(300A, 300B, 300C)는 자신의 메타데이터 저장소(201)에 저장된 해당 블록의 데이터를 클라이언트(100)에게 제공한다.
이때, 클라이언트(100)가 요청한 블록(블록 1)은 다수의 데이터 서버(300A, 300C)에 저장되어 있으므로, 클라이언트(100)는 네트워크상으로 자신과 가장 가까운 데이터 서버(예컨대, 300A)에 블록을 요청함으로써 지역성(Locality)에 기반한 I/O 성능을 높일 수 있다.
이 같은, 다중 복제 환경은 찾고자하는 블록이 저장된 하나의 데이터 서버(예컨대, 300A)에 고장(장애)이 발생하여 접근이 불가능한 경우에 정상동작하는 다른 데이터 서버(예컨대, 300C)로부터 동일 블록을 획득할 수 있으므로 파일 시스템 의 가용성이 높다.
또한, 블록 단위 다중 복제 환경에서는 서버 단위의 복제를 지원하는 RAID1과 달리 파일 단위로 블록의 복제가 이루어지기 때문에 시스템 운영 환경 또는 응용 프로그램 접근 패턴 등에 다라 복제되는 블록의 수를 유연하게 지정할 수 있다는 장점이 있다.
이때, 블록은 데이터를 담고 있는 논리적인 단위로서 하나의 파일이 하나의 블록에 존재하거나, 하나의 파일이 하나 이상의 블록에 존재할 수도 있다.
그러나, 이러한 블록의 다중 복제를 지원하는 분산 파일 시스템에서도 데이터 서버 고장과 같은 예외 상황에 따라 복제된 블록의 유실이 발생할 수 있다.
예를 들면, 파일에 대한 3개 복제 블록 중 2개의 복제 블록에 고장이 발생하더라도 1개의 복제 블록이 남아 있다면 서비스 제공이 가능하다. 하지만, 고장이 발생한 2개의 복제 블록을 지속적으로 복구하지 않으면, 또 다른 고장에 의해 마지막 남은 1개의 블록도 유실이 발생할 수 있고, 그러면 파일의 메타데이터만 존재하고 실제 데이터가 저장된 블록이 존재하지 않아 해당 파일의 복구 자체가 불가능하게 된다.
이러한 경우에 대비하기 위해서, 일반적으로 다중 복제를 지원하는 분산 파일 시스템 환경에서는 최소한의 가용성을 보장하는 범위 내에서 아래와 같은 방법들을 사용하여 고장이 발생한 블록들을 복구한다.
첫 번째 방법은 모든 블록 정보를 메타데이터 서버(200)의 메모리에 적재하고 고장 상황 발생시 메모리로부터 고장이 발생한 블록 정보를 수집한 후 블록을 복구하는 방법이다. 그러나 이 방법은 관리하는 블록 정보가 증가하면, 과도한 메모리가 소비되기 때문에 시스템 성능이 저하될 뿐만 아니라, 관리하는 블록 정보의 양이 메타데이터 서버(200)의 물리적인 메모리 용량 이상을 지원하지 못하는 단점이 있다. 때문에, 데이터 서버들의 디스크에 여유 공간이 충분함에도 불구하고 메타데이터 서버(200)의 메모리 부족으로 인해 더 이상의 새로운 파일 생성이 불가능하게 될 수도 있다.
두 번째 방법은 모든 블록 정보를 별도의 데이터베이스에 저장하고 고장 상황 발생시 데이터베이스로부터 블록 정보를 수집한 후 블록을 복구하는 방법이다. 상세하게는, 메타데이터 서버(200)에 블록 정보 저장을 위한 전용의 데이터베이스를 구축하여 블록에 대한 변동이 발생할 때마다 데이터베이스를 편집하여 관리하는 방법이다. 그러나, 이 방법은 파일 시스템이 데이터베이스에 의존적이기 때문에 시스템 운영상의 유연성이 떨어질 뿐만 아니라 수백만 건 이상이 되는 데이터를 처리하기 위한 효율적인 테이블 구조를 설계하기 어려운 문제가 있다.
셋 번째 방법은 별도의 블록 정보를 관리하지 않고 고장이 발생할 때마다 모든 메타데이터를 검색하여 고장이 발생한 블록 정보를 수집한 후 블록을 복구하는 방법이다. 하지만, 이 방법 역시 하나의 데이터 서버가 고장이 발생한 경우 모든 메타데이터의 블록 정보를 검색해야 하므로 고장이 발생한 데이터 서버에 소속된 블록들을 수집하는 절차가 필요하므로 복구의 효율이 느려 비효율적이다.
본 발명은 파일 속성과 블록 인덱스의 메타데이터를 구분/저장하고, 이를 이용하여 데이터 서버 고장 시 파일이 존재하는 블록에 대한 인덱스 정보 재구성 및 동일 블록이 저장된 다른 데이터 서버의 선정을 통하여 유실된 데이터를 용이하게 복구할 수 있는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장 방법을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위해서 본 발명에 따른 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지는, 하나 이상의 데이터 서버의 블록 단위로 저장된 파일의 메타데이터를 관리하는 메타데이터 서버의 스토리지에 있어서, 위치 정보를 포함하는 파일의 속성과 관련한 메타데이터를 저장하는 메타데이터 영역; 상기 파일을 포함하는 블록을 저장하는 데이터 서버별로 구분되는 블록 인덱스를 저장하는 블록 영역을 포함하고, 일 데이터 서버에 고장이 발생하면, 상기 메타데이터의 상기 블록 인덱스를 이용하여 상기 동일 블록이 저장된 타 데이터 서버를 검색하는 점에 그 특징이 있다.
여기서, 상기 파일의 속성은 파일의 이름, 파일의 크기, 파일 접근 권한 및 파일이 저장된 위치를 포함하는 정보와 관련한 것이며, 상기 블록 영역은 상기 메타데이터 서버의 시스템이 기동 될 때마다 재구성되며, 초기 상태의 블록 인덱스 정보를 저장하는 기본 파일; 상기 초기 상태에는 크기가 0이며, 새로운 블록이 추가될 때마다 상기 새로운 블록 정보 엔트리를 추가 저장하는 추가 파일; 상기 초기 상태에서는 크기가 0이며, 블록이 삭제될 때마다 상기 삭제되는 블록 정보 엔트리를 추가 저장하는 삭제 파일로 구분하여 상기 블록 인덱스의 내용을 관리한다.
이때, 상기 초가 파일 및 상기 삭제 파일은 새로운 블록 정보 엔트리의 추가만 가능하며, 내용의 삭제는 허용하지 않으며, 상기 블록 정보 엔트리는 블록 식별자, 블록이 속한 파일 경로를 포함한다.
본 발명의 다른 특징에 따른, 메타데이터 서버가 하나 이상의 데이터 서버에 저장된 데이터에 대한 메타데이터를 저장하는 방법에 있어서, (a) 메타데이터 저장 영역을 메타데이터 영역 및 블록 영역으로 구분하는 단계; (b) 데이터 서버로부터 메타데이터를 수신하여 파일의 속성 관련정보를 상기 메타데이터 영역에 저장하는 단계; (c) 상기 블록 영역에 초기 상태의 블록의 정보를 저장하는 기본 파일을 생성하는 단계; (d) 상기 초기 상태로부터 추가 또는 삭제되는 블록의 정보가 존재하면, 상기 정보를 추가 파일 또는 삭제 파일에 추가하는 단계를 포함하는 점에 그 특징이 있는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법이 제공된다.
여기서, 상기 (d)단계는 (d-1) 새로운 블록이 추가되면, 상기 추가 파일의 끝에 상기 새로운 블록 정보 엔트리를 삽입하는 단계; (d-2) 삭제되는 블록이 존재하면, 상기 삭제 파일의 끝에 상기 삭제되는 블록 정보 엔트리를 삽입하는 단계를 포함하며, 상기 (d)단계 이후에, 새로운 데이터 서버가 추가되면, 상기 (b)단계 내 지 상기 (d)단계를 반복 수행하는 단계를 더 포함하는 것이 바람직하다.
본 발명의 또 다른 특징에 따른, 메타데이터가 고장이 발생한 일 데이터 서버를 복구하는 방법에 있어서, (f) 고장이 발생한 일 데이터 서버를 감지하는 단계; (g) 크래쉬 영역을 구성하여 고장이 발생하기 전의 블록 정보를 재구성하는 단계; (h) 복구할 블록과 동일 블록들이 저장된 타 데이터 서버들을 검색 및 선정하여 상기 각 동일 블록을 요청하는 단계; (i) 상기 타 데이터 서버들로부터 상기 각 동일 블록을 수신하는 단계; (j) 상기 수신한 각 동일 블록으로 상기 일 데이터 서버를 복구하고, 복구 완료를 공지하는 단계를 포함하는 점에 그 특징이 있는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법이 제공된다.
여기서, 상기 (f)단계에서 고장의 감지는 네트워크 연결 단절, 데이터 서버 프로세서의 비정상 종료, 전원 불량을 포함하는 현상의 감지에 의해 수행되며, 상기 (j)단계 이후에 (k) 상기 복구 성공 여부를 판단하는 단계; (l) 상기 복구에 성공하면 상기 크래쉬 영역을 삭제하는 단계를 포함하고, (m) 상기 복구에 실패하면, 상기 (g)단계로 돌아가는 단계를 포함한다.
한편, 상기 (k)단계에서 상기 복구 성공 여부는 상기 일 데이터 서버로부터 수집된 처리 결과를 상기 재구성한 크래쉬 영역과 비교 결과에 따라 판단하며, 상기 (g)단계는 (g-1) 상기 크래쉬 영역을 할당하는 단계; (g-2) 상기 크래쉬 영역에 상기 일 데이터 서버 초기 상태의 블록 인덱스 정보가 저장된 기본 파일을 복사하는 단계; (g-3) 상기 크래쉬 영역에 상기 일 데이터 서버의 초기 상태로부터 추가된 블록 인덱스 정보가 저장된 추가 파일의 내용을 추가하는 단계; (g-4) 상기 크 래쉬 영역에 상기 일 데이터 서버의 초기 상태로부터 삭제된 블록 인덱스 정보가 저장된 삭제 파일의 내용을 추가하는 단계를 포함한다.
또한, 상기 (h)단계는 (h-1) 상기 메타데이터로부터 복구에 사용 가능한 동일 블록의 수 및 동일 블록의 위치를 검색하는 단계; (h-2) 상기 검색된 각 동일 블록이 저장된 데이터 서버 중 재복제를 수행할 각 타 데이터 서버를 선정하는 단계; (h-3) 상기 검색 결과로부터 {동일 블록, 동일 블록이 저장된 타 데이터 서버, 일 데이터 서버} 리스트를 구성하는 단계; (h-4) 상기 리스트를 상기 동일 블록이 저장된 각 타 데이터 서버별로 정렬하는 단계; (h-5) 상기 각 타 데이터 서버들에 상기 동일 블록을 요청하는 명령을 전송하는 단계를 포함한다.
이때, 상기 (h-2)단계에서 타 데이터 서버는 네트워크 위상 구조 및 시스템 부하를 포함하는 시스템 상황을 고려하여 선정되는 것이 바람직하다.
본 발명에 따른 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장 방법은 파일 속성과 블록 인덱스의 메타데이터를 구분/저장하고, 이를 이용하여 데이터 서버 고장 시 파일이 존재하는 블록에 대한 인덱스 정보 재구성 및 동일 블록이 저장된 다른 데이터 서버의 선정을 통하여 유실된 데이터를 용이하게 복구할 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하의 실시예에서는 이 기술분야에서 통상적인 지식을 가진 자에게 본 발명이 충분히 이해되도록 제공되는 것으로서, 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 기술되는 실시예에 한정되는 것은 아니다.
도 2 및 도 3은 본 발명의 일실시예에 따른 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 스토리지도이다. 도 2 도시된 바와 같이, 메타데이터 서버(200)는 파일의 메타데이터를 관리하는 메타데이터 영역(210)과 블록 인덱스를 관리하는 블록 영역(220)으로 구분되어 메타데이터 저장소(201)를 관리한다.
메타데이터 영역(210)은 파일의 네임스페이스 트리(File Namespace Tree)를 관리하기 위한 영역으로 각 디렉터리 및 파일의 계층 구조를 표현하며, 각 파일들의 이름, 크기, 권한 및 블록의 위치 정보 등의 파일의 속성 및 파일의 블록에 대한 정보를 저장 및 관리한다.
블록 영역(220)은 모든 데이터 서버(데이터 서버#1 내지 데이터 서버#N)에서 관리하는 모든 블록들의 정보를 관리하는 영역으로 특정 데이터 서버(예컨대, 데이터 서버#1)의 고장에 대한 빠른 복구 정보 수집을 위해서 트리를 구성하는 엔트리들을 각 데이터 서버별로 구분하여 저장한다(제221블록).
이와 같이, 데이터 서버별로 엔트리를 구분하여 저장함으로써 특정 데이터 서버에 고장이 발생하였을 때 전체 블록 인덱스를 검색하지 않고도 손쉽게 원하는 블록 정보를 획득할 수 있다.
블록 인덱스(222)는 모든 데이터 서버 엔트리마다 존재하는 것으로 개별 데이터 서버가 저장하는 블록들의 정보 추적에 사용되며, 블록의 추가, 삭제와 같은 변경을 실시간으로 추적 가능하도록 도 3에 도시된 바와 같이, 블록 인덱스(200)를 기본 파일(223), 추가 파일(224), 삭제 파일(225)의 세 가지로 구분하여 관리한다(제222블록).
기본 파일(223)은 메타데이터 서버(200)의 시스템 기동시 또는 고장이 발생한 일 데이터 서버(예컨대, 데이터 서버#1)가 고장으로부터 복구될 때 재구성되며, 이외의 경우에는 변경되지 않는다.
이때, 기본 파일(223)은 도 3에 도시된 바와 같이, 저장된 블록 정보들의 순서는 고려하지 않으며, [블록 식별자, 블록이 속한 파일 경로]로 블록 정보 엔트리를 구분한다.
추가 파일(224)은 기본 파일(223)이 재구성되면 크기가 0으로 리셋된 다음, 새로운 블록의 추가가 발생하면 그에 대한 정보가 추가된다.
상세하게는, 도 3에 도시된 바와 같이, 새로운 블록이 추가될 때마다 새로운 블록 정보 엔트리를 파일의 끝에 삽입하며, 블록 정보 엔트리는 [블록 식별자, 블록이 속한 파일 경로]로 구분된다.
삭제 파일(225)은 기본 파일(223)이 재구성되면 크기가 0으로 리셋된 다음, 삭제되는 블록이 발생하면 그에 대한 정보가 추가된다.
상세하게는, 도 3에 도시된 바와 같이, 새로운 블록이 삭제될 때마다 새로운 블록 정보 엔트리를 파일의 끝에 삽입하며, 블록 정보 엔트리는 [블록 식별자, 블록이 속한 파일 경로]로 구분된다.
이때, 추가 파일(224) 및 삭제 파일(225)은 새로운 데이터의 추가만 허용하는 속성을 가지며, 기존 엔트리의 변경이나 삭제는 허용하지 않는다.
도 4는 본 발명의 일실시예에 따른 메타데이터 서버(200)가 블록 인덱스(222)를 구성하는 방법을 도시한 흐름도이다. 도 4에서는 도시된 바와 같이, 메타데이터 시스템 기동이 시작한 네트워크에서 존재하는 데이터 서버는 각각 "a.txt", "b.txt", "c.txt" 파일이 존재하는 블록#1, 블록#2, 블록#3을 가지는 데이터 서버#1뿐 이라고 가정한다.
제410블록(410)은 데이터 서버#1의 블록#1, 블록#2, 블록#3에 각각 "a.txt", "b.txt", "c.txt" 파일이 저장되었음을 나타내는 기본 파일(223)을 도시하였다.
제420블록(420)은 블록#4를 포함하는 "d.txt"라는 새로운 파일이 추가되었을 때, 끝에 새로운 블록에 대한 정보(블록#4, d.txt)가 추가된 추가 파일(224)을 도시하였다.
제430블록(430)은 블록#2를 포함하는 "b.txt"라는 파일이 삭제되었을 때, 끝에 삭제된 블록에 대한 정보(블록#2, b.txt)가 추가된 삭제 파일(225)을 도시하였다.
이때, 기본 파일(223)에 존재하는 삭제된 블록에 대한 정보(블록#2, b.txt)는 메타데이터 서버(200) 시스템의 재가동 또는 고장이 발생한 데이터 서버(예컨대, 데이터 서버#1)가 복구될 때 이외에는 기본 파일(223)을 변경하지 않는다는 규칙에 따라 변경되지 않는다.
즉, 삭제될 블록에 대한 정보가 추가 파일(223) 또는 삭제 파일(224)에 포함되어 있다고 해도 기본 파일(222)은 변경되지 않는다.
여기서, 상기와 같이 변경이 이루어진 추가 파일(224), 삭제 파일(225)에 추 가된 편집 내용은 메타데이터 서버(200) 시스템이 재가동되거나, 또는 일 데이터 서버(예컨대, 데이터 서버#1)에 고장이 발생하여 타 데이터 서버로부터 블록을 재복제할 때만 그 내용이 변경된다.
도 5는 본 발명의 일실시예에 따른 일 데이터 서버에 고장이 발생하였을 때 블록 인덱스(222)를 이용하여 블록 정보를 재구성하는 과정을 도시한 흐름도이다.
제410블록(410) 내지 제430블록(430)의 과정을 거친 데이터 서버#1에 고장이 발생하면, 제510블록(510)과 같이 메타데이터 서버(200)의 블록 영역(220)에 포함된 고장이 발생하기 직전의 데이터 서버#1의 블록 인덱스(222) 정보를 획득한다(S510).
이어서, 제520블록(520)과 같이 데이터 서버#1의 크래쉬 영역에 기본 파일(223)의 내용을 그대로 복사한다(S520).
즉, 크래쉬 영역에는 기본 파일(223)의 내용 그대로 각각 블록#1, 블록#2, 블록#3의 "a.txt", "b.txt", "c.txt"를 복사한다.
이때, 크래쉬(Crash) 영역은 메타데이터 서버(200)의 일 저장 영역에 존재하며, 메모리 및 타 저장매체일 수 있다.
그리고, 제530블록(530)과 같이 크래쉬 영역에 추가 파일(224)의 인덱스 엔트리를 추가한다(S530).
즉, 크래쉬 영역에 블록#4의 "d.txt"의 정보를 추가하여 크래쉬 영역에는 블록#1, 블록#2, 블록#3, #블록4의 "a.txt", "b.txt", "c.txt", "d.txt"의 정보가 존재한다.
그 다음에는 제540블록(540)과 같이 크래쉬 영역에 삭제 파일(225)의 인덱스 엔트리를 제거한다(S540).
즉, 크래쉬 영역에서 블록#2의 정보를 삭제하여 최종적으로 크래쉬 영역에는 블록#1, 블록#2, #블록4의 "a.txt", "b.txt", "d.txt"의 정보가 존재한다.
그리고, 완성된 크래쉬 영역의 정보를 이용하여 일 데이터 서버(데이터 서버#1)의 고장이 발생한 블록 정보를 복구한다(S550).
이후, 복구한 블록 정보를 이용하여 일 데이터 서버의 손실이 발생한 데이터를 복구할 수 있다.
도 6은 본 발명의 일실시예에 따른 다중 복제를 지원하는 분산 파일 시스템에서 고장이 발생한 데이터 서버(데이터 서버#1)가 블록을 복제하는 방법을 도시한 흐름도이다. 도 6은 도 5의 과정을 통해서 구성된 크래쉬 영역의 블록 정보를 이용해서 다른 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)로부터 동일 블록을 복사하여 데이터 서버#1의 손실 데이터를 복원하는 것이다.
우선, 찾고자하는 블록이 존재하는 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)의 위치를 확보하기 위해 크래쉬 영역의 블록 정보를 재구성한다(S610),
여기서, 크래쉬 영역의 재구성은 복구에 사용할 정상적인 블록과 재복제될 데이터 서버를 선정하는 과정이다.
이때, 복구에 사용할 정상적인 블록은 파일 메타데이터를 이용하여 확보할 수 있다. 즉, 메타데이터에는 파일에 대한 네임스페이스 정보뿐만 아니라 동일 블 록의 수 및 블록이 저장된 위치 정보가 저장되어 있기 때문에 한번 파일 메타데이터에 접근하는 것으로 정상적인 블록의 정보를 간단히 얻을 수 있다.
그리고, 블록을 재복제할 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)의 선정은 동일 블록이 저장된 정상적인 데이터 서버 중에서 네트워크 위상 구조 또는 시스템 부하 등을 고려하여 선정하는 것이 바람직하다.
이 같이, 재구성된 크래쉬 영역은 제630블록과 같이 {원본 블록, 원본 블록이 저장된 데이터 서버, 재복제할 데이터 서버} 형태로 이루어진다.
이어서, 복구에 사용할 정상적인 블록이 존재하는 재복제할 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)에 재복제 명령을 전달한다(S620).
이후, 재복제 명령을 전달받은 각 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)가 해당 블록(블록#1, 블록#3, 블록#4)을 재복제하려는 데이터 서버(데이터 서버#1)로 전송하는 과정이 실행된다(S630).
이때, 블록의 재복제를 요청받은 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)는 메타데이터 서버(200)가 전달한 블록 정보를 이용하여 각 블록들을 디스크에서 읽어서 이를 재복제를 수행할 데이터 서버(데이터 서버#1)로 전송한다.
이때, 블록 제복제시 각 데이터 서버(데이터 서버#3, 데이터 서버#7, 데이터 서버#N)의 블록 데이터 전송은 데이터 서버의 부하 등의 시스템 상황을 고려하여 단계별로 또는 병렬로 한꺼번에 진행될 수 있다.
도 7은 본 발명의 일실시예에 따른 다중 복제를 지원하는 분산 파일 시스템 에서 데이터 서버의 복구 방법을 도시한 흐름도이다. 이하, 도 7을 참조하여 설명한다.
고장이 발생한 데이터 서버#1가 감지되면(S705), 메타데이터 서버(200)의 저장 영역에 블록 인덱스 정보를 구성할 크래쉬 영역을 할당한다(S710).
여기서, 크래쉬 영역은 메타데이터 서버(200)의 메모리 또는 별도의 저장 공간에 존재할 수 있으며, 복구가 완료되면 제거되는 영역이다.
이때, 메타데이터 서버(200)는 크래쉬 영역을 할당하여 데이터 서버#1가 고장 상태임을 표시한다.
여기서, 고장의 감지는 네트워크 연결 단절, 데이터 서버 프로세스의 비정상 종료, 전원 불량 등에 의해 감지될 수 있다.
그리고, 크래쉬 영역에 기본 파일(223)의 블록 인덱스 내용을 복사한다(S715).
그 다음으로, 추가 파일(224)의 크기가 0 이상인지를 검사하여 0 이상이면(S720), 크래쉬 영역에 추가 파일(224)의 블록 인덱스 내용을 추가한다(S725).
이때, 추가 파일(224)의 크기가 0이면, 추가 파일(224)에는 블록 인덱스의 내용이 없으므로 (S725)단계를 생략하고 (S730)단계를 수행한다.
그 다음으로, 삭제 파일(225)의 크기가 0 이상인지를 검사하여 0 이상이면(S730), 크래쉬 영역에 삭제 파일(225)의 블록 인덱스 내용을 추가한다(S735).
이때, 삭제 파일(225)의 크기가 0이면, 삭제 파일(225)에는 블록 인덱스의 내용이 없으므로 (S735)단계를 생략하고 (S740)단계를 수행한다.
이 같이, 크래쉬 영역의 블록 정보는 고장이 발생한 데이터 서버#1의 최신 상태를 표현한다.
그리고, 복구에 사용할 정상적인 블록이 존재하는 데이터 서버를 선정한다(S740)
상세하게는, 각 재복제할 블록마다 {원본 블록, 원본 블록이 저장된 데이터 서버, 재복제할 데이터 서버}의 리스트를 구성하며, 이때 원본 블록은 각 데이터 서버에 정상적으로 남아있는 복제 블록들 중에서 선택한다.
그러므로, 만약 전체 3개의 복제 블록 중 1개의 블록이 유실되었을 때, 나머지 2개의 블록 중 하나를 복구에 사용할 블록으로 선정한다.
이때, 블록을 재복제할 데이터 서버는 네트워크 지역성(Locality)을 고려하여 원본 블록이 저장된 데이터 서버와 물리적으로 가까이 위치한 데이터 서버를 선택하는 것이 효율적이다.
그리고, 크래쉬 영역의 엔트리를 각 데이터 서버별로 정렬하여 각 데이터 서버가 복구할 블록 정보를 하나의 네트워크 명령으로 구성하여 일괄 전송할 수 있도록 한다(S745).
이와 같이, 각 데이터 서버별로 엔트리를 구성하여 일괄적으로 데이터를 전송함으로써 블록의 수에 상관없이 데이터 서버의 개수 번만 데이터를 전송하면 된다는 장점이 있다.
예컨대, 복구를 담당할 데이터 서버가 10대 존재한다면, 복구할 블록의 수가 아무리 많다고 하더라고 10번의 네트워크 명령만 전송하면 된다.
그 다음으로, 정렬된 각 데이터 서버에 블록 재복제 명령을 전송한다(S750).
이때, 복제할 원본 블록이 다수 개 존재할 경우에는 재복제를 수행할 각 데이터 서버에게 순차적으로 명령을 전송하거나, 병렬로 원본 블록을 전송하여 복구 효율을 높일 수 있으므로, 복구 작업 수행 당시의 시스템 부하를 판단하여 유연하게 적용한다.
그러면, 해당 데이터 서버가 복구에 사용될 정상적인 블록을 전송하고, 복구할 데이터 서버가 이를 수신한다(S755).
그리고, 복구할 데이터 서버가 수신한 정상적인 블록을 사용하여 복구 작업을 수행한다(S760).
이어서, 데이터 서버#1의 복구 작업이 완료되면, 메타데이터 서버(200)에게 블록 복제가 완료되었음을 통보한다(S765).
그러면, 메타데이터 서버(200)가 데이터 서버#1의 블록 복제 완료 여부를 판별한다(S770).
이때, 메타데이터 서버(200)는 각 데이터 서버로부터 수집된 처리결과를 크래쉬 영역의 블록 정보와 비교하여 블록 복구의 완료 여부를 판단한다.
판별결과 복제가 완료되었으면(S775), 메타데이터 서버(200)는 크래쉬 영역을 제거하여 데이터 서버#1의 복구 작업을 완료한다(S780).
한편, 고장이 발생한 데이터 서버#1은 블록 인덱스를 사용하여 타 데이터 서버로부터 손실이 발생한 블록 및 데이터를 복원할 수 있지만, 시스템 안정성 측면에서 사용되지 않는 것이 바람직하다.
이상, 바람직한 실시예 및 첨부 도면을 통해 본 발명의 구성에 대하여 설명하였다. 그러나, 이는 예시에 불과한 것으로서 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 본 기술 분야의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 본 발명의 진정한 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1은 종래기술에 따른 다중 복제 기반 분산 파일 시스템을 도시한 블록도.
도 2 및 도 3은 본 발명에 따른 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 스토리지도.
도 4는 본 발명에 따른 메타데이터 서버가 블록 인덱스를 구성하는 방법을 도시한 흐름도.
도 5는 본 발명에 따른 일 데이터 서버에 고장이 발생하였을 때 블록 인덱스를 이용하여 블록 정보를 재구성하는 과정을 도시한 흐름도.
도 6은 본 발명에 따른 다중 복제를 지원하는 분산 파일 시스템에서 고장이 발생한 데이터 서버)가 블록을 복제하는 방법을 도시한 흐름도.
도 7은 본 발명에 따른 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법을 도시한 흐름도.
<도면의 주요부분에 대한 설명>
200: 메타데이터 서버 201: 메타데이터 저장소
210: 메타데이터 영역 220, 221: 블록 영역
222: 블록 인덱스 223: 기본 파일
224: 추가 파일 225: 삭제 파일

Claims (15)

  1. 하나 이상의 데이터 서버의 블록 단위로 저장된 파일의 메타데이터를 관리하는 메타데이터 서버의 스토리지에 있어서,
    위치 정보를 포함하는 파일의 속성과 관련한 메타데이터를 저장하는 메타데이터 영역;
    상기 파일을 포함하는 블록을 저장하는 데이터 서버별로 구분되는 블록 인덱스를 저장하는 블록 영역을 포함하고,
    일 데이터 서버에 고장이 발생하면, 상기 메타데이터의 상기 블록 인덱스를 이용하여 상기 동일 블록이 저장된 타 데이터 서버를 검색하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
  2. 제1항에 있어서, 상기 파일의 속성은,
    파일의 이름, 파일의 크기, 파일 접근 권한 및 파일이 저장된 위치
    를 포함하는 정보와 관련한 것임을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
  3. 제1항에 있어서, 상기 블록 영역은,
    상기 메타데이터 서버의 시스템이 기동 될 때마다 재구성되며, 초기 상태의 블록 인덱스 정보를 저장하는 기본 파일;
    상기 초기 상태에는 크기가 0이며, 새로운 블록이 추가될 때마다 상기 새로운 블록 정보 엔트리를 추가 저장하는 추가 파일;
    상기 초기 상태에서는 크기가 0이며, 블록이 삭제될 때마다 상기 삭제되는 블록 정보 엔트리를 추가 저장하는 삭제 파일
    로 구분하여 상기 블록 인덱스의 내용을 관리하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
  4. 제3항에 있어서, 상기 초가 파일 및 상기 삭제 파일은,
    새로운 블록 정보 엔트리의 추가만 가능하며, 내용의 삭제는 허용하지 않는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
  5. 제3항에 있어서, 상기 블록 정보 엔트리는,
    블록 식별자, 블록이 속한 파일 경로
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
  6. 메타데이터 서버가 하나 이상의 데이터 서버에 저장된 데이터에 대한 메타데이터를 저장하는 방법에 있어서,
    (a) 메타데이터 저장 영역을 메타데이터 영역 및 블록 영역으로 구분하는 단 계;
    (b) 데이터 서버로부터 메타데이터를 수신하여 파일의 속성 관련정보를 상기 메타데이터 영역에 저장하는 단계;
    (c) 상기 블록 영역에 초기 상태의 블록의 정보를 저장하는 기본 파일을 생성하는 단계;
    (d) 상기 초기 상태로부터 추가 또는 삭제되는 블록의 정보가 존재하면, 상기 정보를 추가 파일 또는 삭제 파일에 추가하는 단계
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법.
  7. 제6항에 있어서, 상기 (d)단계는,
    (d-1) 새로운 블록이 추가되면, 상기 추가 파일의 끝에 상기 새로운 블록 정보 엔트리를 삽입하는 단계;
    (d-2) 삭제되는 블록이 존재하면, 상기 삭제 파일의 끝에 상기 삭제되는 블록 정보 엔트리를 삽입하는 단계;
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법.
  8. 제6항에 있어서, 상기 (d)단계 이후에,
    새로운 데이터 서버가 추가되면, 상기 (b)단계 내지 상기 (d)단계를 반복 수 행하는 단계를 더 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법.
  9. 메타데이터가 고장이 발생한 일 데이터 서버를 복구하는 방법에 있어서,
    (f) 고장이 발생한 일 데이터 서버를 감지하는 단계;
    (g) 크래쉬 영역을 구성하여 고장이 발생하기 전의 블록 정보를 재구성하는 단계;
    (h) 복구할 블록과 동일 블록들이 저장된 타 데이터 서버들을 검색 및 선정하여 상기 각 동일 블록을 요청하는 단계;
    (i) 상기 타 데이터 서버들로부터 상기 각 동일 블록을 수신하는 단계;
    (j) 상기 수신한 각 동일 블록으로 상기 일 데이터 서버를 복구하고, 복구 완료를 공지하는 단계
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
  10. 제9항에 있어서, 상기 (f)단계에서 고장의 감지는,
    네트워크 연결 단절, 데이터 서버 프로세서의 비정상 종료, 전원 불량을 포함하는 현상의 감지에 의해 수행되는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
  11. 제9항에 있어서, 상기 (j)단계 이후에,
    (k) 상기 복구 성공 여부를 판단하는 단계;
    (l) 상기 복구에 성공하면 상기 크래쉬 영역을 삭제하는 단계를 포함하고,
    (m) 상기 복구에 실패하면, 상기 (g)단계로 돌아가는 단계
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
  12. 제11항에 있어서, 상기 (k)단계에서 상기 복구 성공 여부는,
    상기 일 데이터 서버로부터 수집된 처리 결과를 상기 재구성한 크래쉬 영역과 비교 결과에 따라 판단
    하는 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
  13. 제9항에 있어서, 상기 (g)단계는,
    (g-1) 상기 크래쉬 영역을 할당하는 단계;
    (g-2) 상기 크래쉬 영역에 상기 일 데이터 서버 초기 상태의 블록 인덱스 정보가 저장된 기본 파일을 복사하는 단계;
    (g-3) 상기 크래쉬 영역에 상기 일 데이터 서버의 초기 상태로부터 추가된 블록 인덱스 정보가 저장된 추가 파일의 내용을 추가하는 단계;
    (g-4) 상기 크래쉬 영역에 상기 일 데이터 서버의 초기 상태로부터 삭제된 블록 인덱스 정보가 저장된 삭제 파일의 내용을 추가하는 단계
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
  14. 제9항에 있어서, 상기 (h)단계는,
    (h-1) 상기 메타데이터로부터 복구에 사용 가능한 동일 블록의 수 및 동일 블록의 위치를 검색하는 단계;
    (h-2) 상기 검색된 각 동일 블록이 저장된 데이터 서버 중 재복제를 수행할 각 타 데이터 서버를 선정하는 단계;
    (h-3) 상기 검색 결과로부터 {동일 블록, 동일 블록이 저장된 타 데이터 서버, 일 데이터 서버} 리스트를 구성하는 단계;
    (h-4) 상기 리스트를 상기 동일 블록이 저장된 각 타 데이터 서버별로 정렬하는 단계;
    (h-5) 상기 각 타 데이터 서버들에 상기 동일 블록을 요청하는 명령을 전송하는 단계
    를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
  15. 제14항에 있어서, 상기 (h-2)단계에서 타 데이터 서버는,
    네트워크 위상 구조 및 시스템 부하
    를 포함하는 시스템 상황을 고려하여 선정되는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
KR1020070131204A 2007-12-14 2007-12-14 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 KR101078287B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070131204A KR101078287B1 (ko) 2007-12-14 2007-12-14 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070131204A KR101078287B1 (ko) 2007-12-14 2007-12-14 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법

Publications (2)

Publication Number Publication Date
KR20090063733A true KR20090063733A (ko) 2009-06-18
KR101078287B1 KR101078287B1 (ko) 2011-10-31

Family

ID=40992638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070131204A KR101078287B1 (ko) 2007-12-14 2007-12-14 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법

Country Status (1)

Country Link
KR (1) KR101078287B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101009149B1 (ko) * 2008-05-26 2011-01-18 엔에이치엔비즈니스플랫폼 주식회사 오너 단위의 파일 그룹화를 이용한 분산 파일 시스템 및파일 연산 방법
KR101128998B1 (ko) * 2010-09-15 2012-03-23 케이티하이텔 주식회사 패리티 데이터를 이용한 분산 파일 운용 방법
KR20120045422A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 메모리 시스템 및 사용자 장치 그리고 그것의 데이터 관리 방법
WO2012075475A3 (en) * 2010-12-03 2012-10-11 Microsoft Corporation File system backup using change journal
KR101254179B1 (ko) * 2011-02-07 2013-04-18 케이티하이텔 주식회사 분산 파일 시스템에서 효율적인 자료 복구 방법
KR20130068590A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 클라우드 스토리지의 저장장치를 관리하기 위한 방법 및 메타데이터 서버
US8620894B2 (en) 2010-12-21 2013-12-31 Microsoft Corporation Searching files
KR20150057428A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 메타데이터 관리장치 및 이의 메타데이터 관리방법
US9229818B2 (en) 2011-07-20 2016-01-05 Microsoft Technology Licensing, Llc Adaptive retention for backup data
KR20190091816A (ko) * 2018-01-29 2019-08-07 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작 방법
US11232022B2 (en) 2010-10-29 2022-01-25 Samsung Electronics Co., Ltd. Memory system, data storage device, user device and data management method thereof having a data management information matching determination

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2356473B (en) 1999-07-06 2001-11-28 Matsushita Electric Ind Co Ltd Real-time distributed file system

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101009149B1 (ko) * 2008-05-26 2011-01-18 엔에이치엔비즈니스플랫폼 주식회사 오너 단위의 파일 그룹화를 이용한 분산 파일 시스템 및파일 연산 방법
KR101128998B1 (ko) * 2010-09-15 2012-03-23 케이티하이텔 주식회사 패리티 데이터를 이용한 분산 파일 운용 방법
KR20120045422A (ko) * 2010-10-29 2012-05-09 삼성전자주식회사 메모리 시스템 및 사용자 장치 그리고 그것의 데이터 관리 방법
US11640353B2 (en) 2010-10-29 2023-05-02 Samsung Electronics Co., Ltd. Memory system, data storage device, user device and data management method thereof
US11636032B2 (en) 2010-10-29 2023-04-25 Samsung Electronics Co., Ltd. Memory system, data storage device, user device and data management method thereof
US11232022B2 (en) 2010-10-29 2022-01-25 Samsung Electronics Co., Ltd. Memory system, data storage device, user device and data management method thereof having a data management information matching determination
US10558617B2 (en) 2010-12-03 2020-02-11 Microsoft Technology Licensing, Llc File system backup using change journal
WO2012075475A3 (en) * 2010-12-03 2012-10-11 Microsoft Corporation File system backup using change journal
US9824091B2 (en) 2010-12-03 2017-11-21 Microsoft Technology Licensing, Llc File system backup using change journal
US8620894B2 (en) 2010-12-21 2013-12-31 Microsoft Corporation Searching files
US9870379B2 (en) 2010-12-21 2018-01-16 Microsoft Technology Licensing, Llc Searching files
US11100063B2 (en) 2010-12-21 2021-08-24 Microsoft Technology Licensing, Llc Searching files
KR101254179B1 (ko) * 2011-02-07 2013-04-18 케이티하이텔 주식회사 분산 파일 시스템에서 효율적인 자료 복구 방법
US9229818B2 (en) 2011-07-20 2016-01-05 Microsoft Technology Licensing, Llc Adaptive retention for backup data
KR20130068590A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 클라우드 스토리지의 저장장치를 관리하기 위한 방법 및 메타데이터 서버
KR20150057428A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 메타데이터 관리장치 및 이의 메타데이터 관리방법
KR20190091816A (ko) * 2018-01-29 2019-08-07 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작 방법

Also Published As

Publication number Publication date
KR101078287B1 (ko) 2011-10-31

Similar Documents

Publication Publication Date Title
KR101078287B1 (ko) 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법
US8843454B2 (en) Elimination of duplicate objects in storage clusters
US9208031B2 (en) Log structured content addressable deduplicating storage
US7860907B2 (en) Data processing
KR100962055B1 (ko) 컴퓨터 시스템들간의 객체 공유
JP5918244B2 (ja) フォールトトレラントデータベース管理システムにおいてクエリ結果を統合するシステム及び方法
US12019524B2 (en) Data connector component for implementing data requests
US8996490B1 (en) Managing logical views of directories
EP3532935A1 (en) Snapshot metadata arrangement for cloud integration
US8095678B2 (en) Data processing
US8090925B2 (en) Storing data streams in memory based on upper and lower stream size thresholds
CN111045857A (zh) 数据备份和恢复的方法、电子设备和计算机可读存储介质
US20080016106A1 (en) Data processing
Sinnamohideen et al. A {Transparently-Scalable} Metadata Service for the Ursa Minor Storage System
van Staereling et al. Efficient, modular metadata management with loris
US8886656B2 (en) Data processing
CN114416676A (zh) 数据处理方法、装置、设备和存储介质
CN117687970B (zh) 一种元数据检索方法、装置及电子设备和存储介质
Junping Analysis of key technologies of distributed file system based on big data [J]
Appuswamy et al. File-level, host-side flash caching with loris
Huang et al. InfoMall: A Large-Scale Storage System for Web Archiving
CN117951094A (zh) 存储空间的回收方法、文件***、介质和计算设备
CN111562936A (zh) 基于Openstack-Swift的对象历史版本管理方法和装置
GB2439752A (en) Copy on write data storage

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100226

Effective date: 20110422

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 8