CN103761275B - 一种分布式文件***中元数据的管理方法 - Google Patents
一种分布式文件***中元数据的管理方法 Download PDFInfo
- Publication number
- CN103761275B CN103761275B CN201410009764.7A CN201410009764A CN103761275B CN 103761275 B CN103761275 B CN 103761275B CN 201410009764 A CN201410009764 A CN 201410009764A CN 103761275 B CN103761275 B CN 103761275B
- Authority
- CN
- China
- Prior art keywords
- metadata
- data server
- meta data
- meta
- file system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 17
- 238000004321 preservation Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000004913 activation Effects 0.000 abstract description 2
- 241001475178 Dira Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- LXMSZDCAJNLERA-ZHYRCANASA-N spironolactone Chemical compound C([C@@H]1[C@]2(C)CC[C@@H]3[C@@]4(C)CCC(=O)C=C4C[C@H]([C@@H]13)SC(=O)C)C[C@@]21CCC(=O)O1 LXMSZDCAJNLERA-ZHYRCANASA-N 0.000 description 3
- RMCCONIRBZIDTH-UHFFFAOYSA-N 2-(2-methylprop-2-enoyloxy)ethyl 1,3-dioxo-2-benzofuran-5-carboxylate Chemical compound CC(=C)C(=O)OCCOC(=O)C1=CC=C2C(=O)OC(=O)C2=C1 RMCCONIRBZIDTH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种分布式文件***中元数据的管理方法，其具体管理过程为：将***分成两部分：元数据服务器和数据服务器，其中元数据服务器提供元数据服务，用户可以通过元数据服务器来获取文件***视图，得到文件***的目录结构和文件列表；当用户访问元数据集群时，如果元数据集群中未找到要访问的元数据，则由数据服务器提供数据给用户；当元数据缓存占用的内存超出阈值时，对部分内存进行释放，以控制元数据服务器的内存占用。该一种分布式文件***中元数据的管理方法和现有技术相比，元数据使用集群方式来解决单点问题,元数据保存在数据服务器上，进而实现迅速的启动***，提高***可用性。
Description
技术领域
本发明涉及群集计算机的数据安全技术，更具体地说是分布式文件***中元数据的管理方法。
背景技术
随着信息技术的发展、云计算和大数据时代的到来，人们需要处理越来越多的数据，一般使用分布式文件***来存储海量的数据，目前分布式文件***存在着各种各样的问题，比如元数据服务器的单点故障，这个问题一般通过双机热备解决。为了降低负载，一般使用元数据和数据分离的方法，将元数据生成文件持久化到本地磁盘，这样***的启动时间将和***的规模成线性关系，当文件***规模超过5000万时，启动时间将长达几十分钟，***从故障中恢复的时间特别长，严重影响***的可用性，当元数据文件不慎损坏时，***将彻底不可用，需要采取各种复杂的技术手段来提高元数据文件的安全性，但元数据文件仍然有丢失的风险。
基于此，需要一种可有效解决元数据丢失、在分布式文件***中的元数据的管理方法。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种分布式文件***中元数据的管理方法。
本发明的技术方案是按以下方式实现的，该一种分布式文件***中元数据的管理方法，其具体管理过程为：
一、首先将***分成两部分：元数据服务器和数据服务器，其中元数据服务器提供元数据服务，用户可以通过元数据服务器来获取文件***视图，得到文件***的目录结构和文件列表；数据服务器提供数据服务，用户的读写操作由数据服务器提供服务；
二、在***启动时由数据服务器汇聚得到元数据并汇报缓存在元数据服务器上，多台元数据服务器组成一个元数据服务器集群，元数据集群中的元数据服务器各自保存了一部分元数据，这些元数据并不相同；
三、当用户访问元数据集群时，如果元数据集群中未找到要访问的元数据，则元数据服务器就向数据服务器发送广播，数据服务器收到广播请求时，查询自己的状态，将数据返回给元数据服务器，然后返回给用户，并缓存在元数据服务器的内存中，供下次访问使用；
四、当元数据缓存占用的内存超出阈值时，对部分内存进行释放，以控制元数据服务器的内存占用。
所述数据服务器上保存数据和元数据，数据服务器上保存的元数据保存在数据服务器本地文件***的扩展属性中，数据服务器启动时，通过扫描部分元数据的方式汇聚得到元数据并发送到元数据服务器，完成***启动，然后启动线程，扫描管理的磁盘，将该汇聚得到的元数据保存在内存中，以快速响应元数据服务器的广播请求。
数据服务器启动时，对所管理的磁盘进行广度遍历，仅遍历两级目录，即结束遍历，将遍历结果发送到元数据服务器即完成***的启动，遍历结果中的元数据到达元数据服务器集群后，元数据集群对该遍历结果中的元数据分组存放并分担目录结构的存储。
所述步骤四中的元数据服务器缓存的元数据占用的内存超出阈值时，元数据服务器释放掉的内存是最不常用的元数据。
本发明与现有技术相比所产生的有益效果是：
本发明的一种分布式文件***中元数据的管理方法中的元数据使用集群方式来解决单点问题, 元数据保存在数据服务器上，***启动时将元数据汇聚到元数据服务器上，并控制汇聚规模，以迅速的启动***，提高***可用性，元数据和数据保存在一起，可以大大增强元数据的安全性；元数据保存在本地文件***中的扩展属性中，和数据耦合在一起，元数据不再有丢失的风险，保证数据的一致性和安全性，实用性强，易于推广。
附图说明
附图1是本发明实施例的结构示意图。
具体实施方式
下面结合附图对本发明的一种分布式文件***中元数据的管理方法作以下详细说明。
本发明提供一种分布式文件***中元数据的管理方法，其具体管理过程为：
一、首先将***分成两部分：元数据服务器和数据服务器，其中元数据服务器提供元数据服务，用户可以通过元数据服务器来获取文件***视图，得到文件***的目录结构和文件列表；数据服务器提供数据服务，用户的读写操作由数据服务器提供服务；
二、在***启动时由数据服务器汇聚得到元数据并汇报缓存在元数据服务器上，多台机器组成一个元数据服务器集群，元数据集群中的元数据各自保存了一部分元数据，这些元数据并不相同；
三、当用户访问元数据集群时，如果元数据集群中未找到要访问的元数据，则元数据服务器就向数据服务器发送广播，数据服务器收到广播请求时，查询自己的状态，将数据返回给元数据服务器，然后返回给用户，并缓存在元数据服务器的内存中，供下次访问使用；
四、当元数据缓存占用的内存超出阈值时，对部分内存进行释放，以控制元数据服务器的内存占用。
发明的结构是以元数据集群为核心，元数据集群中各个元数据服务器保存了一部分元数据，元数据服务器之间互相做镜像，以应对元数据服务器的故障。
***不保存元数据文件，元数据通过动态生成，用户使用文件***时，不可能访问所有的文件，根据局部性原则，元数据服务器没有必要保存所有的元数据，只要保存部分用到的即可，当访问的元数据不存在时，通过广播向数据服务器请求即可。数据服务器保存元数据，元数据分担到所有的数据服务器上，***负荷分担到所有节点上，***的具有更好的伸缩性。
数据服务器启动时扫描部分元数据，发送到元数据服务器上，完成***的快速启动，然后启动线程，扫描所管理的磁盘，将元数据信息读取到内存中，以快速响应元数据服务器的广播请求。元数据保存在本地文件***的扩展属性中，和数据存放在一起，以保证数据的一致性和安全性。
实施例：如附图1所示，该文件***的整体由4个元数据服务器组成元数据服务器集群和5个数据服务器组成。元数据集群分担了dirA 和dirB 的元数据保存工作，并两两互为备份。
5个数据服务器各存储了10万个文件， 数据服务器启动时，对所管理的磁盘进行广度遍历，仅遍历两级目录，即结束遍历，将遍历结果发送到元数据服务器即完成***的启动，如果文件目录层次较浅，都集中在头两级，则遍历一定的时间即终止遍历，将元数据发送的元数据服务器上，以控制***的启动时间。
元数据到达元数据服务器集群后，元数据集群对元数据分组存放，比如有两个目录 dirA 和dirB，元数据服务器1 和2 存放 dirA，元数据服务器 3 和 4 存放 dirB，1和2，3 和4 互为备份，以应对元数据的损坏。元数据服务器集群分担目录结构的存储，有效的降低单个元数据服务器的负载，可以支持更大规模的应用。当用户访问的元数据在元数据服务器中不存在时，元数据服务器向数据服务器发送广播，请求元数据，数据服务器返回元数据，然后返回给用户。
数据服务器启动后，启动线程，扫描所管理的磁盘，元数据保存在本地文件***的扩展属性中，将其读取出来然后保存在内存中，以快速响应元数据服务器的广播请求。
用户了解元数据集群的状态，知道元数据集群由多少节点组成，每个节点都维护哪个目录的元数据，节点之间的镜像关系，从而请求合适的元数据服务器，并在请求的元数据服务器发生故障时可以自动切换到镜像的元数据服务器中。
当元数据服务器缓存的元数据占用的内存超出阈值后，元数据服务器将最不常用的元数据释放掉，以控制对内存的使用。
以上所述仅为本发明的实施例而已，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种分布式文件***中元数据的管理方法，其特征在于其具体管理过程为：
一、首先将***分成两部分：元数据服务器和数据服务器，其中元数据服务器提供元数据服务，用户可以通过元数据服务器来获取文件***视图，得到文件***的目录结构和文件列表；数据服务器提供数据服务，用户的读写操作由数据服务器提供服务；
二、在***启动时由数据服务器汇聚得到元数据并汇报缓存在元数据服务器上，多台元数据服务器组成一个元数据服务器集群，元数据集群中的元数据服务器各自保存了一部分元数据，这些元数据并不相同；
三、当用户访问元数据集群时，如果元数据集群中未找到要访问的元数据，则元数据服务器就向数据服务器发送广播，数据服务器收到广播请求时，查询自己的状态，将数据返回给元数据服务器，然后返回给用户，并缓存在元数据服务器的内存中，供下次访问使用；
四、当元数据缓存占用的内存超出阈值时，对部分内存进行释放，以控制元数据服务器的内存占用。
2.根据权利要求1所述的一种分布式文件***中元数据的管理方法，其特征在于：所述数据服务器上保存数据和元数据，数据服务器上保存的元数据保存在数据服务器本地文件***的扩展属性中，数据服务器启动时，通过扫描部分元数据的方式汇聚得到元数据并发送到元数据服务器，完成***启动，然后启动线程，扫描管理的磁盘，将汇聚得到的元数据保存在内存中，以快速响应元数据服务器的广播请求。
3.根据权利要求2所述的一种分布式文件***中元数据的管理方法，其特征在于：所述步骤二的详细过程为：数据服务器启动时，对所管理的磁盘进行广度遍历，仅遍历两级目录，即结束遍历，将遍历结果发送到元数据服务器即完成***的启动，遍历结果中的元数据到达元数据服务器集群后，元数据集群对该遍历结果中的元数据分组存放并分担目录结构的存储。
4.根据权利要求2所述的一种分布式文件***中元数据的管理方法，其特征在于：所述步骤四中的元数据服务器缓存的元数据占用的内存超出阈值时，元数据服务器释放掉的内存是最不常用的元数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410009764.7A CN103761275B (zh) | 2014-01-09 | 2014-01-09 | 一种分布式文件***中元数据的管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410009764.7A CN103761275B (zh) | 2014-01-09 | 2014-01-09 | 一种分布式文件***中元数据的管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103761275A CN103761275A (zh) | 2014-04-30 |
| CN103761275B true CN103761275B (zh) | 2018-04-13 |
Family
ID=50528512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410009764.7A Active CN103761275B (zh) | 2014-01-09 | 2014-01-09 | 一种分布式文件***中元数据的管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103761275B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105095495B (zh) * | 2015-08-21 | 2019-01-25 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件***缓存管理方法和*** |
| CN105426126B (zh) * | 2015-11-11 | 2018-06-05 | 浪潮(北京)电子信息产业有限公司 | 云存储客户端多路恒定速率io缓存的构建方法及装置 |
| CN105740048B (zh) * | 2016-01-26 | 2019-03-08 | 华为技术有限公司 | 一种镜像管理方法、装置及*** |
| CN107015989A (zh) * | 2016-01-27 | 2017-08-04 | 博雅网络游戏开发（深圳）有限公司 | 数据处理方法和装置 |
| CN107633070A (zh) * | 2017-09-22 | 2018-01-26 | 郑州云海信息技术有限公司 | 无需配置的mds的自动平衡控制方法、装置及存储介质 |
| CN107665253B (zh) * | 2017-09-22 | 2022-02-18 | 郑州云海信息技术有限公司 | 可配置的mds的平衡控制方法、装置及存储介质 |
| CN108287664A (zh) * | 2018-01-02 | 2018-07-17 | 江苏科海智能***有限公司 | 一种基于nvm存储设备的快速大数据***及其设计方法 |
| CN109189480B (zh) * | 2018-07-02 | 2021-11-09 | 新华三技术有限公司成都分公司 | 文件***启动方法及装置 |
| CN109582649B (zh) * | 2018-12-03 | 2022-02-18 | 郑州云海信息技术有限公司 | 一种元数据存储方法、装置、设备及可读存储介质 |
| CN109583222A (zh) * | 2018-12-07 | 2019-04-05 | 浪潮(北京)电子信息产业有限公司 | 分布式文件***元数据服务器回收客户端权限方法及装置 |
| CN110263061A (zh) * | 2019-06-17 | 2019-09-20 | 郑州阿帕斯科技有限公司 | 一种数据查询方法及*** |
| CN111078593B (zh) * | 2019-12-29 | 2022-08-19 | 浪潮电子信息产业股份有限公司 | 一种对象元数据的访问方法、***及相关装置 |
| CN114153374B (zh) * | 2021-08-04 | 2022-06-28 | 北京天德科技有限公司 | 一种元数据与数据共同存储的分布式存储*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697526A (zh) * | 2009-10-10 | 2010-04-21 | 中国科学技术大学 | 分布式文件***中元数据管理的负载均衡方法及其*** |
| CN101997884A (zh) * | 2009-08-18 | 2011-03-30 | 升东网络科技发展(上海)有限公司 | 分布式存储***和方法 |
| CN102546751A (zh) * | 2011-12-06 | 2012-07-04 | 华中科技大学 | 一种分布式文件***分级元数据缓存控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110191691A1 (en) * | 2010-01-29 | 2011-08-04 | Spears Joseph L | Systems and Methods for Dynamic Generation and Management of Ancillary Media Content Alternatives in Content Management Systems |
-
2014
- 2014-01-09 CN CN201410009764.7A patent/CN103761275B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997884A (zh) * | 2009-08-18 | 2011-03-30 | 升东网络科技发展(上海)有限公司 | 分布式存储***和方法 |
| CN101697526A (zh) * | 2009-10-10 | 2010-04-21 | 中国科学技术大学 | 分布式文件***中元数据管理的负载均衡方法及其*** |
| CN102546751A (zh) * | 2011-12-06 | 2012-07-04 | 华中科技大学 | 一种分布式文件***分级元数据缓存控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103761275A (zh) | 2014-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103761275B (zh) | 一种分布式文件***中元数据的管理方法 | |
| CN103116552A (zh) | 用于在分布式存储***中分配存储空间的方法和装置 | |
| US8782369B2 (en) | Apparatus to manage efficient data migration between tiers | |
| US20110153606A1 (en) | Apparatus and method of managing metadata in asymmetric distributed file system | |
| US11245774B2 (en) | Cache storage for streaming data | |
| US20140337484A1 (en) | Server side data cache system | |
| US20160212206A1 (en) | Deterministic database system and data transferring method thereof | |
| CN109144413A (zh) | 一种元数据管理方法及装置 | |
| CN104331453A (zh) | 一种分布式文件***及分布式文件***的构建方法 | |
| WO2016202199A1 (zh) | 分布式文件***及其文件元信息管理方法 | |
| US9355121B1 (en) | Segregating data and metadata in a file system | |
| CN113377868B (zh) | 一种基于分布式kv数据库的离线存储*** | |
| CN104408111A (zh) | 一种删除重复数据的方法及装置 | |
| CN104270412A (zh) | 一种基于Hadoop分布式文件***的三级缓存方法 | |
| CN105872016A (zh) | 一种桌面云中虚拟机的运行方法 | |
| US9430492B1 (en) | Efficient scavenging of data and metadata file system blocks | |
| CN109120709A (zh) | 一种缓存方法、装置、设备及介质 | |
| CN105426321A (zh) | 采用远程位置信息的rdma友好缓存方法 | |
| CN107153644A (zh) | 一种数据同步方法及装置 | |
| TW201248418A (en) | Distributed caching and cache analysis | |
| CN102984256B (zh) | 一种基于授权方式的元数据的处理方法和*** | |
| CN104572505A (zh) | 一种保证海量数据缓存最终一致性的***及方法 | |
| CN106446038A (zh) | 基于混合数据库的数据访问控制***及方法 | |
| CN106960011A (zh) | 分布式文件***元数据管理***及方法 | |
| US20180004430A1 (en) | Chunk Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180313 Address after: 510640 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yunlu 9 layer A tower by 01 unit Applicant after: Guangdong Inspur Big Data Research Co., Ltd. Address before: 250014 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036 Applicant before: Langchao Electronic Information Industry Co., Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |