CN104391802A - 一种精简池元数据节点刷新一致性保护方法 - Google Patents
一种精简池元数据节点刷新一致性保护方法 Download PDFInfo
- Publication number
- CN104391802A CN104391802A CN201410678460.XA CN201410678460A CN104391802A CN 104391802 A CN104391802 A CN 104391802A CN 201410678460 A CN201410678460 A CN 201410678460A CN 104391802 A CN104391802 A CN 104391802A
- Authority
- CN
- China
- Prior art keywords
- node
- metadata
- tree
- write
- refreshing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
本发明提供一种精简池元数据节点刷新一致性保护方法，属于数据存储技术领域。本发明将元数据缓存镜像和日志备份到冗余控制器上；将元数据的B+Tree节点***、删除时从根节点到叶子节点使用“写时复制”方式，刷写时先刷写B+Tree各更新节点，最后再刷写指向根节点的超级块；将元数据的B+Tree节点***、删除操作采用日志方式镜像到对端冗余控制器，记录新增、删除的叶子节点，并记录B+Tree刷写次数；当主控端控制器失效时，通过日志及版本号，重新***、删除信息，恢复数据。通过日志方式远程镜像到冗余控制器，保证元数据一致性。
Description
技术领域
本发明涉及数据存储技术，尤其涉及到高端磁盘阵列中自动精简配置的元数据处理方法，具体说是一种精简池元数据节点刷新一致性保护方法。
背景技术
高端磁盘阵列采用多个控制器冗余设计，提供存储数据的高可用服务，其存储池的高级功能自动精简配置，采用存储资源“写时分配”策略，通过改变存储***的资源按需分配，提高磁盘存储空间利用率，达到降低存储***的部署成本和节约资源的目的。
具有自动精简配置功能的存储池简称精简池，精简池在结构上分为数据区和元数据区，数据区用于存储数据。元数据区包括了存储池超级块，元数据位图，数据位图，逻辑卷信息等，对自精简存储池组织管理者。
对于精简池的元数据空间、数据空间、逻辑卷数据块映射信息都采用B+Tree结构组织管理，B+Tree节点间通过块号指针连接，这种B+Tree组织方式的优点是查询层数少、效率较高，加载到内存不需要转换，但是当对B+Tree节点做***、删除操作时，会对B+Tree多层节点的子节点指针或者叶子节点内容重新错位移动，存在以下问题：
1、增加删除节点时对元数据改动量较大（每个节点为元数据空间数据块大小，>=4KB），若以同步方式写入则延迟大、影响性能，若以异步方式写入则当控制器掉电或者失效会造成数据丢失问题；
2、更新过程中发生***掉电或者控制器失效可导致树结构错乱、丢失，因为每个***/删除节点可能涉及多层节点错位变更、且节点占用空间可大于512字节扇区大小，控制器掉电或失效瞬间并不能保证完全写入。
发明内容
本发明实施提出一种精简池元数据节点刷新一致性保护方法，可有效的解决上述的B+Tree节点***和删除操作带来的两个问题。其包括：
1、将元数据缓存镜像和日志备份到冗余控制器上，异步写入，以提高读写性能；
2、将元数据的B+Tree节点***、删除时从根节点到叶子节点使用“写时复制”方式， 刷写时先刷写B+Tree各更新节点，最后再刷写指向根节点的超级块。超级块占用空间足够小，且各指针处在512字节范围内，在更新过程中断电，可以保证超级块要么记录新B+Tree的指针，要么记录旧B+Tree的指针，都具有完整一致性；
3、将元数据的B+Tree节点***、删除操作采用日志方式镜像到对端控制器，记录新增、删除的叶子节点，并记录B+Tree刷写次数（版本号）。当主控端控制器失效时，通过日志及版本号，重新***、删除信息，恢复数据。
元数据B+Tree节点操作，通过日志方式远程镜像到冗余控制器，保证元数据一致性。可解决元数据B+Tree节点操作带来的B+Tree多层节点的子节点指针或者叶子节点内容重新错位移动的问题，以及在元数据B+Tree节点操作中控制器失效带来的B+Tree丢失问题。
附图说明
图1是更新元数据B+Tree节点示意图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
将元数据缓存镜像和日志备份到冗余控制器上。
将元数据的B+Tree节点***、删除时从根节点到叶子节点使用“写时复制”方式， 刷写时先刷写B+Tree各更新节点，最后再刷写指向根节点的超级块。
将元数据的B+Tree节点***、删除操作采用日志方式镜像到对端冗余控制器，记录新增、删除的叶子节点，并记录B+Tree刷写次数。当主控端控制器失效时，通过日志及版本号，重新***、删除信息，恢复数据。
本发明实施例提供一种精简池元数据节点刷新一致性保护方法，可有效的解决精简池元数据B+Tree节点数据刷写一致性，提高存储池数据完整性。
下面参考图1实例说明。
存储池pool 0的逻辑卷32增加块映射，逻辑块为40，则对映射树***节点（key=40），首先备份日志到镜像冗余控制器（控制器B），记录对应的pool，lv操作及参数（insert, key=40,value=xxx），然后更新B+TREE，从根节点到叶子节点都新分配元数据块，避免使用原来元数据块，且直到B+TREE节点刷写完成才可释放旧的元数据块。如果当主控端控制器失效时，通过日志及版本号，重新***、删除信息，恢复数据。
经过以上操作，B+Tree节点***删除等操作都可以保证一致性问题。
此设计可以存储阵列的存储性能，提高精简存储池操作的可靠性，提高产品在市场上的竞争力。
Claims (4)
1.一种精简池元数据节点刷新一致性保护方法，其特征在于，包括：
将元数据缓存镜像和日志备份到冗余控制器上；
将元数据的B+Tree节点***、删除时从根节点到叶子节点使用写时复制方式，刷写时先刷写B+Tree各更新节点，最后再刷写指向根节点的超级块；
将元数据的B+Tree节点***、删除操作采用日志方式镜像到对端冗余控制器，记录新增、删除的叶子节点，并记录B+Tree刷写次数；当主控端控制器失效时，通过日志及版本号，重新***、删除信息，恢复数据。
2.根据权利1的要求，其特征在于，还包括：
将元数据缓存镜像和日志备份到冗余控制器上，采用异步写入，以提高读写性能。
3.根据权利1的要求，其特征在于，还包括：
将元数据的B+Tree节点***、删除时从根节点到叶子节点使用写时复制方式，从根节点到叶子节点都新分配元数据块，避免使用原来元数据块，且直到B+TREE节点刷写完成才可释放旧的元数据块。
4.根据权利1的要求，其特征在于，还包括：
将元数据B+Tree节点***、删除操作通过日志方式记录到对端冗余控制器中，包括，记录操作的类型是***还是删除，是哪个存储池、逻辑卷、数据块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410678460.XA CN104391802A (zh) | 2014-11-24 | 2014-11-24 | 一种精简池元数据节点刷新一致性保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410678460.XA CN104391802A (zh) | 2014-11-24 | 2014-11-24 | 一种精简池元数据节点刷新一致性保护方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104391802A true CN104391802A (zh) | 2015-03-04 |
Family
ID=52609709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410678460.XA Pending CN104391802A (zh) | 2014-11-24 | 2014-11-24 | 一种精简池元数据节点刷新一致性保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104391802A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718217A (zh) * | 2016-01-18 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种精简配置存储池数据一致性维护的方法及装置 |
| CN109271570A (zh) * | 2018-10-30 | 2019-01-25 | 郑州云海信息技术有限公司 | 一种元数据管理查询的方法 |
| CN109976667A (zh) * | 2016-01-26 | 2019-07-05 | 华为技术有限公司 | 一种镜像管理方法、装置及*** |
| CN110134340A (zh) * | 2019-05-23 | 2019-08-16 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
| CN113486399A (zh) * | 2021-07-14 | 2021-10-08 | 上海瓶钵信息科技有限公司 | 基于risc-v架构的数据存储方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609335A (zh) * | 2012-01-12 | 2012-07-25 | 浪潮(北京)电子信息产业有限公司 | 一种实现写时复制保护元数据的装置及方法 |
| CN103150267A (zh) * | 2013-02-21 | 2013-06-12 | 浪潮电子信息产业股份有限公司 | 一种多控制器间的缓存同步方法 |
| CN103559188A (zh) * | 2013-08-19 | 2014-02-05 | 曙光信息产业股份有限公司 | 元数据管理方法及管理*** |
-
2014
- 2014-11-24 CN CN201410678460.XA patent/CN104391802A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609335A (zh) * | 2012-01-12 | 2012-07-25 | 浪潮(北京)电子信息产业有限公司 | 一种实现写时复制保护元数据的装置及方法 |
| CN103150267A (zh) * | 2013-02-21 | 2013-06-12 | 浪潮电子信息产业股份有限公司 | 一种多控制器间的缓存同步方法 |
| CN103559188A (zh) * | 2013-08-19 | 2014-02-05 | 曙光信息产业股份有限公司 | 元数据管理方法及管理*** |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105718217A (zh) * | 2016-01-18 | 2016-06-29 | 浪潮(北京)电子信息产业有限公司 | 一种精简配置存储池数据一致性维护的方法及装置 |
| CN105718217B (zh) * | 2016-01-18 | 2018-10-30 | 浪潮(北京)电子信息产业有限公司 | 一种精简配置存储池数据一致性维护的方法及装置 |
| CN109976667A (zh) * | 2016-01-26 | 2019-07-05 | 华为技术有限公司 | 一种镜像管理方法、装置及*** |
| CN109976667B (zh) * | 2016-01-26 | 2021-09-14 | 华为技术有限公司 | 一种镜像管理方法、装置及*** |
| CN109271570A (zh) * | 2018-10-30 | 2019-01-25 | 郑州云海信息技术有限公司 | 一种元数据管理查询的方法 |
| CN110134340A (zh) * | 2019-05-23 | 2019-08-16 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
| CN110134340B (zh) * | 2019-05-23 | 2020-03-06 | 苏州浪潮智能科技有限公司 | 一种元数据更新的方法、装置、设备以及存储介质 |
| CN113486399A (zh) * | 2021-07-14 | 2021-10-08 | 上海瓶钵信息科技有限公司 | 基于risc-v架构的数据存储方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741048B2 (en) | Distributed write journals that support fast snapshotting for a distributed file system | |
| US10795788B2 (en) | Remote data replication method and system | |
| US7861049B2 (en) | Methods and apparatus for archiving digital data | |
| US11023318B1 (en) | System and method for fast random access erasure encoded storage | |
| CN105718217B (zh) | 一种精简配置存储池数据一致性维护的方法及装置 | |
| US9501398B2 (en) | Persistent storage device with NVRAM for staging writes | |
| US9946655B2 (en) | Storage system and storage control method | |
| US10649897B2 (en) | Access request processing method and apparatus, and computer device | |
| CN101763224B (zh) | 储存虚拟化电脑***及储存***中管理资料快照影像方法 | |
| US11138156B2 (en) | Continuous data management system and operating method thereof | |
| US8793290B1 (en) | Metadata management for pools of storage disks | |
| CN103049349B (zh) | 基于分层存储的快照方法及*** | |
| CN106951375B (zh) | 在存储***中删除快照卷的方法及装置 | |
| CN104391802A (zh) | 一种精简池元数据节点刷新一致性保护方法 | |
| CN105302668B (zh) | 一种优化对象存储***中块设备数据访问性能的方法 | |
| US20160110262A1 (en) | Restoring a file system object | |
| KR101569428B1 (ko) | 파일 처리 방법 및 저장 디바이스 | |
| CN102033793A (zh) | 快照方法和固态硬盘 | |
| CN103226965B (zh) | 基于时间位图的音视频数据存取方法 | |
| CN103514249A (zh) | 一种数据自精简方法和***及存储装置 | |
| CN104462389A (zh) | 基于分级存储的分布式文件***实现方法 | |
| CN103164528B (zh) | 一种音视频数据的索引建立方法 | |
| CN103617097A (zh) | 文件恢复方法及装置 | |
| CN103473258A (zh) | 云存储文件*** | |
| CN102479118A (zh) | 数据块的增量备份方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150304 |