CN112667159A - 一种基于纠删码的数据并行重构方法及*** - Google Patents

一种基于纠删码的数据并行重构方法及*** Download PDF

Info

Publication number
CN112667159A
CN112667159A CN202011566114.4A CN202011566114A CN112667159A CN 112667159 A CN112667159 A CN 112667159A CN 202011566114 A CN202011566114 A CN 202011566114A CN 112667159 A CN112667159 A CN 112667159A
Authority
CN
China
Prior art keywords
reconstruction
task
sub
data
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011566114.4A
Other languages
English (en)
Inventor
管太阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Innovation Technology Co ltd
Original Assignee
Shenzhen Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Innovation Technology Co ltd filed Critical Shenzhen Innovation Technology Co ltd
Priority to CN202011566114.4A priority Critical patent/CN112667159A/zh
Publication of CN112667159A publication Critical patent/CN112667159A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于纠删码的数据并行重构方法及***，该方法包括：基于存活的节点确定待重构数据；基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；将重构完成数据写入新的节点。基于本发明的方案进行重构，可提升数据重构性能。

Description

一种基于纠删码的数据并行重构方法及***
技术领域
本发明涉及数据重构领域，特别涉及一种基于纠删码的数据并行重构方法及***。
背景技术
在分布式存储***中，数据存储的方式有副本与纠删码2种，副本与纠删码都是通过增加冗余数据的方式来保证数据在发生部分丢失时，原始数据不发生丢失。
副本技术因其简单和数据访问带宽较高等优点被广泛应用，但随着数据量不断增长，多副本技术会导致较大的存储开销，且存储利用率低。相比于多副本技术，纠删码技术能够以较低的存储开销获得更高的数据可用性，但在丢失数据后需要重构时，由于纠删码在重构任何一个数据块时，都需要从磁盘上读取多份其他数据和在网络上传输。这导致重构过程性能不佳，并使得***暴露在不稳定状态。
发明内容
本说明书实施例提供了一种基于纠删码的数据并行重构方法及***。
一方面，本说明书实施例提供的一种基于纠删码的数据并行重构方法，包括：
基于存活的节点确定待重构数据；
基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；
基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；
将重构完成数据写入新的节点。
另一方面，本说明书实施例提供的一种基于纠删码的数据并行重构***，包括：
待重构数据确定装置，用于基于存活的节点确定待重构数据；
任务分发器，用于将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；
任务执行器，用于在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；
重构完成数据写入装置，用于将重构完成数据写入新的节点。
由以上本说明书实施例提供的技术方案可见，本发明实施例在进行重构时，设计了多线程、多服务端的并行重构架构，明显提升了重构性能。
附图说明
图1为本说明书一些实施例的基于纠删码的数据并行重构方法的流程图。
图2为本说明书一些实施例的基于纠删码的数据并行重构***的组成图。
图3为本说明书一些实施例的数据并行重构的细化示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如图1所示，本说明书一些实施例中提供了一种基于纠删码的数据并行重构方法，包括基于存活的节点确定待重构数据；基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；将重构完成数据写入新的节点。
在本说明书一些实施例中，基于所述任务执行器，在接收到对应的所述子重构任务之后，将所述子重构任务划分为至少两个不同的分条组，并基于重构线程对所述至少两个不同的分条组进行并行重构。
在本说明书一些实施例中，当所述子重构任务被处理完成后，基于对应的任务执行器通知所述任务分发器，用于使所述任务分发器向所述任务执行器分配新的子重构任务。
另一方面，如图2所示，本说明书一些实施例还提供了一种基于纠删码的数据并行重构***，包括：待重构数据确定装置，用于基于存活的节点确定待重构数据；任务分发器，用于将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；任务执行器，用于在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；重构完成数据写入装置，用于将重构完成数据写入新的节点。
在本说明书的一些实施例中，任务执行器还包括，分条组划分重构模块，用于将所述子重构任务划分为至少两个不同的分条组，并基于重构线程对所述至少两个不同的分条组进行并行重构。
在本说明书的一些实施例中，任务执行器还包括，重构完成通知模块，用于当所述子重构任务被处理完成后，通知所述任务分发器分配新的子重构任务。
传统上修复故障节点工作流程如下：步骤1：从存活的节点中读取数据；步骤2：重建丢失的数据；步骤3：将重建后的数据写入新节点。结合图2和图3具体而言，本发明针对存储集群节点，配置了一个重构集群***，集群由一个任务分发器和多个任务执行器组成(如图3所示，可以是设置1个任务分发器和3个任务执行器)，多个任务执行器部署在存储集群的不同的节点上。任务分发器将整个重构任务划分不同的独立任务(如图3所示，可以将重构任务划分为6个独立任务)，每个不同的独立任务负责重构一部分，任务分发器分配给每个任务执行器一个独立任务(如图3所示，将1号任务分配给最左侧的任务执行器，将2号任务分配给中间的任务执行器)，在任务执行器处理完当前任务后，通知任务分发器(如图3的虚线所示，虚线表示来自最右侧任务执行器的通知信息的传递)，任务分发器给任务执行器分配下一个任务，任务执行器处理的任务被细分成多个不同的分条组，由重构线程对每个分条组进行重构。由于重构线程数目是根据存储节点CPU核心数创建，所以每个存储节点可同时重构多个分条组，通过并行的方式明显的提升了重构性能。
综上，基于本发明的方案进行重构，可明显提升重构性能。通过验证，重构速度可提升大约25％～35％。
虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。本发明是参照根据本发明实施例的方法的流程图和/或方框图来描述的。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于装置实施例，所以描述的比较简单，相关之处参见装置实施例的部分说明即可。以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (6)

1.一种基于纠删码的数据并行重构方法，其特征在于，所述方法包括：
基于存活的节点确定待重构数据；
基于设置的任务分发器，将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；
基于设置的至少两个任务执行器，在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；
将重构完成数据写入新的节点。
2.根据权利要求1所述的基于纠删码的数据并行重构方法，其特征在于，
基于所述任务执行器，在接收到对应的所述子重构任务之后，将所述子重构任务划分为至少两个不同的分条组，并基于重构线程对所述至少两个不同的分条组进行并行重构。
3.根据权利要求2所述的基于纠删码的数据并行重构方法，其特征在于，
当所述子重构任务被处理完成后，基于对应的任务执行器通知所述任务分发器，用于使所述任务分发器向所述任务执行器分配新的子重构任务。
4.一种基于纠删码的数据并行重构***，其特征在于，包括，
待重构数据确定装置，用于基于存活的节点确定待重构数据；
任务分发器，用于将所述待重构数据的重构任务划分为至少两个子重构任务，并对应分配给设置的至少两个任务执行器；
任务执行器，用于在接收由所述任务分发器分配的子重构任务后，并行处理所述子重构任务；
重构完成数据写入装置，用于将重构完成数据写入新的节点。
5.根据权利要求4所述的基于纠删码的数据并行重构***，其特征在于，所述任务执行器还包括，
分条组划分重构模块，用于将所述子重构任务划分为至少两个不同的分条组，并基于重构线程对所述至少两个不同的分条组进行并行重构。
6.根据权利要求5所述的基于纠删码的数据并行重构***，其特征在于，所述任务执行器还包括，
重构完成通知模块，用于当所述子重构任务被处理完成后，通知所述任务分发器分配新的子重构任务。
CN202011566114.4A 2020-12-25 2020-12-25 一种基于纠删码的数据并行重构方法及*** Pending CN112667159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011566114.4A CN112667159A (zh) 2020-12-25 2020-12-25 一种基于纠删码的数据并行重构方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011566114.4A CN112667159A (zh) 2020-12-25 2020-12-25 一种基于纠删码的数据并行重构方法及***

Publications (1)

Publication Number Publication Date
CN112667159A true CN112667159A (zh) 2021-04-16

Family

ID=75409520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566114.4A Pending CN112667159A (zh) 2020-12-25 2020-12-25 一种基于纠删码的数据并行重构方法及***

Country Status (1)

Country Link
CN (1) CN112667159A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595092A (zh) * 2022-04-28 2022-06-07 阿里云计算有限公司 分布式存储***、数据重构方法、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551758A (zh) * 2009-05-13 2009-10-07 中兴通讯股份有限公司 一种实现设备管理任务并行工作的***和方法
CN103186438A (zh) * 2013-04-02 2013-07-03 浪潮电子信息产业股份有限公司 一种提高磁盘阵列数据重构效率的方法
CN103209210A (zh) * 2013-03-04 2013-07-17 华中科技大学 一种提高基于纠删码的存储集群恢复性能的方法
CN103428217A (zh) * 2013-08-19 2013-12-04 中国航空动力机械研究所 分布式并行计算的作业分配方法及分配***
CN103955343A (zh) * 2014-04-16 2014-07-30 华中科技大学 一种基于i/o流水线的失效节点数据重构优化方法
CN104375805A (zh) * 2014-11-17 2015-02-25 天津大学 采用多核处理器仿真可重构处理器并行计算过程的方法
US20170286436A1 (en) * 2016-03-31 2017-10-05 Acronis International Gmbh System and method for fast parallel data processing in distributed storage systems
CN110597655A (zh) * 2019-06-26 2019-12-20 中大编码有限公司 一种迁移与基于纠删码的重构相耦合的快速预知修复方法和实现
CN110874271A (zh) * 2019-11-20 2020-03-10 山东省国土测绘院 一种海量建筑图斑特征快速计算方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551758A (zh) * 2009-05-13 2009-10-07 中兴通讯股份有限公司 一种实现设备管理任务并行工作的***和方法
CN103209210A (zh) * 2013-03-04 2013-07-17 华中科技大学 一种提高基于纠删码的存储集群恢复性能的方法
CN103186438A (zh) * 2013-04-02 2013-07-03 浪潮电子信息产业股份有限公司 一种提高磁盘阵列数据重构效率的方法
CN103428217A (zh) * 2013-08-19 2013-12-04 中国航空动力机械研究所 分布式并行计算的作业分配方法及分配***
CN103955343A (zh) * 2014-04-16 2014-07-30 华中科技大学 一种基于i/o流水线的失效节点数据重构优化方法
CN104375805A (zh) * 2014-11-17 2015-02-25 天津大学 采用多核处理器仿真可重构处理器并行计算过程的方法
US20170286436A1 (en) * 2016-03-31 2017-10-05 Acronis International Gmbh System and method for fast parallel data processing in distributed storage systems
CN110597655A (zh) * 2019-06-26 2019-12-20 中大编码有限公司 一种迁移与基于纠删码的重构相耦合的快速预知修复方法和实现
CN110874271A (zh) * 2019-11-20 2020-03-10 山东省国土测绘院 一种海量建筑图斑特征快速计算方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡杰明等: "多重条带布局的混合RAID***研究", 小型微型计算机***, vol. 38, no. 05, 15 May 2017 (2017-05-15), pages 1143 - 1150 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114595092A (zh) * 2022-04-28 2022-06-07 阿里云计算有限公司 分布式存储***、数据重构方法、设备及存储介质
CN114595092B (zh) * 2022-04-28 2022-09-20 阿里云计算有限公司 分布式存储***、数据重构方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111932257B (zh) 一种区块链并行化处理方法及装置
WO2009140590A1 (en) Method and system for large volume data processing
US10505805B1 (en) Computing resources checkpoint restoration
CN110597655B (zh) 迁移和基于纠删码的重构相耦合快速预知修复方法及装置
CN107506145B (zh) 一种物理存储调度方法及云主机创建方法
CN116302673B (zh) 一种提高Ceph存储***数据恢复速率的方法
CN112667159A (zh) 一种基于纠删码的数据并行重构方法及***
CN108628539B (zh) 数据存储、分散、重构、回收方法、装置及数据处理***
KR20190128443A (ko) 분산 파일 시스템 복구 장치 및 방법
US10372334B2 (en) Reclaiming free space in a storage system
CN105740091B (zh) 数据备份、恢复方法和设备
CN109151016B (zh) 流量转发方法和装置、服务***、计算设备及存储介质
CN112052115B (zh) 数据存储纠删方法、装置、设备及计算机可读存储介质
CN112988696B (zh) 文件整理方法、装置及相关设备
CN112181829B (zh) Ab实验的用户分流方法、装置、终端及介质
CN114816856A (zh) 一种数据备份方法、装置、设备及可读存储介质
CN110460634B (zh) 边缘计算共识请求管理方法和***
CN111142880B (zh) 消息***中分区的分配方法、装置及电子设备
CN113268251A (zh) 微服务的部署方法及其设备、计算机存储介质
CN112181974B (zh) 标识信息分配方法、***及存储设备
KR101752699B1 (ko) 폭증 데이터 스트림 처리 방법 및 장치
CN113297318A (zh) 数据处理方法、装置、电子设备及存储介质
CN112433842B (zh) 服务集群中主从节点的分配方法及设备
JP7177106B2 (ja) 連携型仮想ネットワーク割当方法および装置
CN114265556B (zh) 一种数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination