KR20090063733A - 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 - Google Patents
다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 Download PDFInfo
- Publication number
- KR20090063733A KR20090063733A KR1020070131204A KR20070131204A KR20090063733A KR 20090063733 A KR20090063733 A KR 20090063733A KR 1020070131204 A KR1020070131204 A KR 1020070131204A KR 20070131204 A KR20070131204 A KR 20070131204A KR 20090063733 A KR20090063733 A KR 20090063733A
- Authority
- KR
- South Korea
- Prior art keywords
- block
- data server
- file
- metadata
- server
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
- G06F16/1844—Management specifically adapted to replicated file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (15)
- 하나 이상의 데이터 서버의 블록 단위로 저장된 파일의 메타데이터를 관리하는 메타데이터 서버의 스토리지에 있어서,위치 정보를 포함하는 파일의 속성과 관련한 메타데이터를 저장하는 메타데이터 영역;상기 파일을 포함하는 블록을 저장하는 데이터 서버별로 구분되는 블록 인덱스를 저장하는 블록 영역을 포함하고,일 데이터 서버에 고장이 발생하면, 상기 메타데이터의 상기 블록 인덱스를 이용하여 상기 동일 블록이 저장된 타 데이터 서버를 검색하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
- 제1항에 있어서, 상기 파일의 속성은,파일의 이름, 파일의 크기, 파일 접근 권한 및 파일이 저장된 위치를 포함하는 정보와 관련한 것임을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
- 제1항에 있어서, 상기 블록 영역은,상기 메타데이터 서버의 시스템이 기동 될 때마다 재구성되며, 초기 상태의 블록 인덱스 정보를 저장하는 기본 파일;상기 초기 상태에는 크기가 0이며, 새로운 블록이 추가될 때마다 상기 새로운 블록 정보 엔트리를 추가 저장하는 추가 파일;상기 초기 상태에서는 크기가 0이며, 블록이 삭제될 때마다 상기 삭제되는 블록 정보 엔트리를 추가 저장하는 삭제 파일로 구분하여 상기 블록 인덱스의 내용을 관리하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
- 제3항에 있어서, 상기 초가 파일 및 상기 삭제 파일은,새로운 블록 정보 엔트리의 추가만 가능하며, 내용의 삭제는 허용하지 않는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
- 제3항에 있어서, 상기 블록 정보 엔트리는,블록 식별자, 블록이 속한 파일 경로를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 서버의 스토리지.
- 메타데이터 서버가 하나 이상의 데이터 서버에 저장된 데이터에 대한 메타데이터를 저장하는 방법에 있어서,(a) 메타데이터 저장 영역을 메타데이터 영역 및 블록 영역으로 구분하는 단 계;(b) 데이터 서버로부터 메타데이터를 수신하여 파일의 속성 관련정보를 상기 메타데이터 영역에 저장하는 단계;(c) 상기 블록 영역에 초기 상태의 블록의 정보를 저장하는 기본 파일을 생성하는 단계;(d) 상기 초기 상태로부터 추가 또는 삭제되는 블록의 정보가 존재하면, 상기 정보를 추가 파일 또는 삭제 파일에 추가하는 단계를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법.
- 제6항에 있어서, 상기 (d)단계는,(d-1) 새로운 블록이 추가되면, 상기 추가 파일의 끝에 상기 새로운 블록 정보 엔트리를 삽입하는 단계;(d-2) 삭제되는 블록이 존재하면, 상기 삭제 파일의 끝에 상기 삭제되는 블록 정보 엔트리를 삽입하는 단계;를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법.
- 제6항에 있어서, 상기 (d)단계 이후에,새로운 데이터 서버가 추가되면, 상기 (b)단계 내지 상기 (d)단계를 반복 수 행하는 단계를 더 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 메타데이터 저장 방법.
- 메타데이터가 고장이 발생한 일 데이터 서버를 복구하는 방법에 있어서,(f) 고장이 발생한 일 데이터 서버를 감지하는 단계;(g) 크래쉬 영역을 구성하여 고장이 발생하기 전의 블록 정보를 재구성하는 단계;(h) 복구할 블록과 동일 블록들이 저장된 타 데이터 서버들을 검색 및 선정하여 상기 각 동일 블록을 요청하는 단계;(i) 상기 타 데이터 서버들로부터 상기 각 동일 블록을 수신하는 단계;(j) 상기 수신한 각 동일 블록으로 상기 일 데이터 서버를 복구하고, 복구 완료를 공지하는 단계를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
- 제9항에 있어서, 상기 (f)단계에서 고장의 감지는,네트워크 연결 단절, 데이터 서버 프로세서의 비정상 종료, 전원 불량을 포함하는 현상의 감지에 의해 수행되는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
- 제9항에 있어서, 상기 (j)단계 이후에,(k) 상기 복구 성공 여부를 판단하는 단계;(l) 상기 복구에 성공하면 상기 크래쉬 영역을 삭제하는 단계를 포함하고,(m) 상기 복구에 실패하면, 상기 (g)단계로 돌아가는 단계를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
- 제11항에 있어서, 상기 (k)단계에서 상기 복구 성공 여부는,상기 일 데이터 서버로부터 수집된 처리 결과를 상기 재구성한 크래쉬 영역과 비교 결과에 따라 판단하는 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
- 제9항에 있어서, 상기 (g)단계는,(g-1) 상기 크래쉬 영역을 할당하는 단계;(g-2) 상기 크래쉬 영역에 상기 일 데이터 서버 초기 상태의 블록 인덱스 정보가 저장된 기본 파일을 복사하는 단계;(g-3) 상기 크래쉬 영역에 상기 일 데이터 서버의 초기 상태로부터 추가된 블록 인덱스 정보가 저장된 추가 파일의 내용을 추가하는 단계;(g-4) 상기 크래쉬 영역에 상기 일 데이터 서버의 초기 상태로부터 삭제된 블록 인덱스 정보가 저장된 삭제 파일의 내용을 추가하는 단계를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
- 제9항에 있어서, 상기 (h)단계는,(h-1) 상기 메타데이터로부터 복구에 사용 가능한 동일 블록의 수 및 동일 블록의 위치를 검색하는 단계;(h-2) 상기 검색된 각 동일 블록이 저장된 데이터 서버 중 재복제를 수행할 각 타 데이터 서버를 선정하는 단계;(h-3) 상기 검색 결과로부터 {동일 블록, 동일 블록이 저장된 타 데이터 서버, 일 데이터 서버} 리스트를 구성하는 단계;(h-4) 상기 리스트를 상기 동일 블록이 저장된 각 타 데이터 서버별로 정렬하는 단계;(h-5) 상기 각 타 데이터 서버들에 상기 동일 블록을 요청하는 명령을 전송하는 단계를 포함하는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
- 제14항에 있어서, 상기 (h-2)단계에서 타 데이터 서버는,네트워크 위상 구조 및 시스템 부하를 포함하는 시스템 상황을 고려하여 선정되는 것을 특징으로 하는 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의 복구 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070131204A KR101078287B1 (ko) | 2007-12-14 | 2007-12-14 | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070131204A KR101078287B1 (ko) | 2007-12-14 | 2007-12-14 | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090063733A true KR20090063733A (ko) | 2009-06-18 |
KR101078287B1 KR101078287B1 (ko) | 2011-10-31 |
Family
ID=40992638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070131204A KR101078287B1 (ko) | 2007-12-14 | 2007-12-14 | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101078287B1 (ko) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101009149B1 (ko) * | 2008-05-26 | 2011-01-18 | 엔에이치엔비즈니스플랫폼 주식회사 | 오너 단위의 파일 그룹화를 이용한 분산 파일 시스템 및파일 연산 방법 |
KR101128998B1 (ko) * | 2010-09-15 | 2012-03-23 | 케이티하이텔 주식회사 | 패리티 데이터를 이용한 분산 파일 운용 방법 |
KR20120045422A (ko) * | 2010-10-29 | 2012-05-09 | 삼성전자주식회사 | 메모리 시스템 및 사용자 장치 그리고 그것의 데이터 관리 방법 |
WO2012075475A3 (en) * | 2010-12-03 | 2012-10-11 | Microsoft Corporation | File system backup using change journal |
KR101254179B1 (ko) * | 2011-02-07 | 2013-04-18 | 케이티하이텔 주식회사 | 분산 파일 시스템에서 효율적인 자료 복구 방법 |
KR20130068590A (ko) * | 2011-12-15 | 2013-06-26 | 한국전자통신연구원 | 클라우드 스토리지의 저장장치를 관리하기 위한 방법 및 메타데이터 서버 |
US8620894B2 (en) | 2010-12-21 | 2013-12-31 | Microsoft Corporation | Searching files |
KR20150057428A (ko) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | 메타데이터 관리장치 및 이의 메타데이터 관리방법 |
US9229818B2 (en) | 2011-07-20 | 2016-01-05 | Microsoft Technology Licensing, Llc | Adaptive retention for backup data |
KR20190091816A (ko) * | 2018-01-29 | 2019-08-07 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 그것의 동작 방법 |
US11232022B2 (en) | 2010-10-29 | 2022-01-25 | Samsung Electronics Co., Ltd. | Memory system, data storage device, user device and data management method thereof having a data management information matching determination |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2356473B (en) | 1999-07-06 | 2001-11-28 | Matsushita Electric Ind Co Ltd | Real-time distributed file system |
-
2007
- 2007-12-14 KR KR1020070131204A patent/KR101078287B1/ko active IP Right Grant
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101009149B1 (ko) * | 2008-05-26 | 2011-01-18 | 엔에이치엔비즈니스플랫폼 주식회사 | 오너 단위의 파일 그룹화를 이용한 분산 파일 시스템 및파일 연산 방법 |
KR101128998B1 (ko) * | 2010-09-15 | 2012-03-23 | 케이티하이텔 주식회사 | 패리티 데이터를 이용한 분산 파일 운용 방법 |
KR20120045422A (ko) * | 2010-10-29 | 2012-05-09 | 삼성전자주식회사 | 메모리 시스템 및 사용자 장치 그리고 그것의 데이터 관리 방법 |
US11640353B2 (en) | 2010-10-29 | 2023-05-02 | Samsung Electronics Co., Ltd. | Memory system, data storage device, user device and data management method thereof |
US11636032B2 (en) | 2010-10-29 | 2023-04-25 | Samsung Electronics Co., Ltd. | Memory system, data storage device, user device and data management method thereof |
US11232022B2 (en) | 2010-10-29 | 2022-01-25 | Samsung Electronics Co., Ltd. | Memory system, data storage device, user device and data management method thereof having a data management information matching determination |
US10558617B2 (en) | 2010-12-03 | 2020-02-11 | Microsoft Technology Licensing, Llc | File system backup using change journal |
WO2012075475A3 (en) * | 2010-12-03 | 2012-10-11 | Microsoft Corporation | File system backup using change journal |
US9824091B2 (en) | 2010-12-03 | 2017-11-21 | Microsoft Technology Licensing, Llc | File system backup using change journal |
US8620894B2 (en) | 2010-12-21 | 2013-12-31 | Microsoft Corporation | Searching files |
US9870379B2 (en) | 2010-12-21 | 2018-01-16 | Microsoft Technology Licensing, Llc | Searching files |
US11100063B2 (en) | 2010-12-21 | 2021-08-24 | Microsoft Technology Licensing, Llc | Searching files |
KR101254179B1 (ko) * | 2011-02-07 | 2013-04-18 | 케이티하이텔 주식회사 | 분산 파일 시스템에서 효율적인 자료 복구 방법 |
US9229818B2 (en) | 2011-07-20 | 2016-01-05 | Microsoft Technology Licensing, Llc | Adaptive retention for backup data |
KR20130068590A (ko) * | 2011-12-15 | 2013-06-26 | 한국전자통신연구원 | 클라우드 스토리지의 저장장치를 관리하기 위한 방법 및 메타데이터 서버 |
KR20150057428A (ko) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | 메타데이터 관리장치 및 이의 메타데이터 관리방법 |
KR20190091816A (ko) * | 2018-01-29 | 2019-08-07 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 그것의 동작 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR101078287B1 (ko) | 2011-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101078287B1 (ko) | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 | |
US8843454B2 (en) | Elimination of duplicate objects in storage clusters | |
US9208031B2 (en) | Log structured content addressable deduplicating storage | |
US7860907B2 (en) | Data processing | |
KR100962055B1 (ko) | 컴퓨터 시스템들간의 객체 공유 | |
JP5918244B2 (ja) | フォールトトレラントデータベース管理システムにおいてクエリ結果を統合するシステム及び方法 | |
US12019524B2 (en) | Data connector component for implementing data requests | |
US8996490B1 (en) | Managing logical views of directories | |
EP3532935A1 (en) | Snapshot metadata arrangement for cloud integration | |
US8095678B2 (en) | Data processing | |
US8090925B2 (en) | Storing data streams in memory based on upper and lower stream size thresholds | |
CN111045857A (zh) | 数据备份和恢复的方法、电子设备和计算机可读存储介质 | |
US20080016106A1 (en) | Data processing | |
Sinnamohideen et al. | A {Transparently-Scalable} Metadata Service for the Ursa Minor Storage System | |
van Staereling et al. | Efficient, modular metadata management with loris | |
US8886656B2 (en) | Data processing | |
CN114416676A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN117687970B (zh) | 一种元数据检索方法、装置及电子设备和存储介质 | |
Junping | Analysis of key technologies of distributed file system based on big data [J] | |
Appuswamy et al. | File-level, host-side flash caching with loris | |
Huang et al. | InfoMall: A Large-Scale Storage System for Web Archiving | |
CN117951094A (zh) | 存储空间的回收方法、文件***、介质和计算设备 | |
CN111562936A (zh) | 基于Openstack-Swift的对象历史版本管理方法和装置 | |
GB2439752A (en) | Copy on write data storage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
B601 | Maintenance of original decision after re-examination before a trial | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100226 Effective date: 20110422 |
|
S901 | Examination by remand of revocation | ||
E902 | Notification of reason for refusal | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140926 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150925 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160927 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170927 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20181001 Year of fee payment: 8 |