CN104360915B - 一种基于分布式存储的数据恢复方法及装置 - Google Patents
一种基于分布式存储的数据恢复方法及装置 Download PDFInfo
- Publication number
- CN104360915B CN104360915B CN201410601850.7A CN201410601850A CN104360915B CN 104360915 B CN104360915 B CN 104360915B CN 201410601850 A CN201410601850 A CN 201410601850A CN 104360915 B CN104360915 B CN 104360915B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- abnormality
- stored
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种基于分布式存储的数据恢复方法及装置，其中，基于分布式存储的数据恢复方法包括：分布式调度***分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；查询处于异常状态的存储客户端处理的上一批次待存储数据的数据标识；将上一批次后的待存储数据重新分发给处于正常状态的数据存储客户端。通过本发明提供的数据恢复方法，在不需要增加额外设备的基础上，保障数据写入的一致性和完整性；也不会因为存储客户端的异常影响正常的服务。
Description
技术领域
本发明涉及数据存储技术领域，具体涉及一种基于分布式存储的数据恢复方法及装置。
背景技术
分布式存储技术就是将数据分散存储在多***立的设备上。传统的网络存储***采用集中的存储服务器存放所有数据，存储服务器成为***性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储***采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了***的可靠性、可用性和存取效率，还易于扩展。
为了保证分布式存储***数据的一致性和完整性，当存储服务器出现异常时，需要采用一定的方法进行数据的恢复。目前，常用的方法是存储服务器将内存中的数据备份到存储介质，当存储服务器从异常恢复，重新启动时，存储服务器从存储介质中获取备份的数据。
采用备份数据的方法实现数据的恢复，由于存储服务器发生异常到恢复的过程需要一段时间，在这段时间内，存储服务器无法提供服务，对服务需求会产生影响；另外，该方法实现数据的恢复需要额外增加存储介质，增加的成本。
发明内容
本发明所要解决的技术问题是提供一种基于分布式存储的数据恢复方法及装置，能够实现分布式存储的数据恢复。
依据本发明的一个方面，提供了一种基于分布式存储的数据恢复方法，包括：
分布式调度***分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；
在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；
查询处于异常状态的存储客户端处理的上一批次数据的数据标识；
将上一批次后的数据重新分发给处于正常状态的数据存储客户端。
依据本发明的另一个方面，提供了一种基于分布式存储的数据恢复装置，包括：
第一数据分发模块，用于调用分布式调度***分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；
查找模块，用于在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；
数据标识查询模块，用于查询处于异常状态的存储客户端处理的上一批次数据的数据标识；
第二数据分发模块，用于将上一批次后的数据重新分发给处于正常状态的数据存储客户端。
本发明提供的一种基于分布式存储的数据恢复方法及装置，通过获取处于异常状态的数据存储客户端写入的断点信息，通过断点信息获取异常数据存储客户端处理的上一批次的数据标识，然后将上一批次后的数据重新分发给处于正常状态的数据存储客户端，对数据进行重新写入，来实现分布式存储过程中的客户端写入数据恢复，在不需要增加额外设备的基础上，保障数据写入的一致性和完整性。
附图说明
图1为本发明实施例一的一种基于分布式存储的数据恢复方法流程图；
图2为本发明的数据写入过程的总体架构图；
图3为本发明实施例一的一种基于分布式存储的数据恢复方法的具体实例流程图；
图4为本发明实施例二的一种基于分布式存储的数据恢复装置示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一、一种基于分布式存储的数据恢复方法。下面结合图1-图3对本发明提供的方法进行详细说明。
图1中，S101、分布式调度***分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态。
具体的，参见图2，首先介绍一下分布式存储时数据写入的过程，分布式调度***将大量数据分批发送给数据存储客户端，其中，数据存储客户端为多个，一个存储客户端可以作为一个存储节点，分布式调度***可以采取预定策略将大量的数据分发给不同的数据存储客户端，数据存储客户端接收到分布式调度***分发的数据，对数据进行处理，比如说按照业务要求将数据进行分类处理，或者按照数据格式要求对数据进行处理，存储客户端将处理后的数据提交给数据库，数据库进行数据的处理后，将数据物化到HDFS(HadoopDistributed File System,分布式文件***)中，即将数据存储于分布式文件***中。
需要说明的是，本实施例中的数据库是基于Hbase的数据库，Hbase存入数据是以Key-value的形式存储数据的。Hbase采用Key值来唯一标识一条数据，利用了Key值的不变性来保证数据恢复的一致性。其中，Key值的设计可以包括关键内容与MD5码的组合，MD5码是基于整条数据的编码，整条数据和编码的结果存在一一对应关系，从而保证数据重入恢复的一致性。
另外，由于hbase有版本概念，各个存储客户端提交给Hbase数据库的数据可以存储多个版本。因此，为了使存储客户端写入数据恢复时不重复写入，设置Hbase数据库的版本数为1，即保证只有一个版本有效，这样即使存储客户端重入相同的数据也不会出现重复数据。在数据按照批次进行恢复时，Hbase数据库的断点机制就保证了数据完整性和不重复性。
在数据写入的过程中，可以分为存储客户端写入数据恢复，即在存储客户端将数据提交给Hbase数据库的过程中，进行数据的恢复；或者入库的数据恢复，即存储客户端已经将数据提交给Hbase数据库后进行数据的恢复。
本实施例主要设计了存储客户端写入数据恢复的方法，参见图3，图3为存储客户端写入数据恢复的流程图，分布式调度***分批向存储客户端分发数据，并监测各个存储客户端的异常状态。
S102、在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端。
具体的，上述步骤中分布式调度***监测每个存储客户端的异常状态，当监测到存储客户端处于异常状态时，比如，存储客户端连接异常或存储客户端出现宕机的情况，分布式调度***会在存储客户端集群中查询处于正常状态的存储客户端。
S103、查询处于异常状态的存储客户端处理的上一批次数据的数据标识。
具体的，需要说明的是，在数据写入的过程中，当存储客户端将当前批次的数据提交给Hbase数据库时，会在Hbase数据库中写入断点信息，并保存于断点文件中，其中，断点信息包括该批次的数据提交Hbase数据库提交成功的信息、提交数据的存储客户端的标识以及该批次数据的数据标识。若分布式调度***监测到某个存储客户端处于异常状态时，在Hbase数据库的断点文件中查找断点信息，获取该处于异常状态的存储客户端提交的上一批次数据的数据标识。
S104、将上一批次后的数据重新分发给处于正常状态的数据存储客户端。
具体的，上述步骤S103分布式调度***查询到处于异常状态的存储客户端提交的上一批次数据的数据标识，将上一批次以后的数据，即当前批次和当前批次后的数据重新分发给处于正常状态的存储客户端进行数据写入，由正常的存储客户端将分发的数据处理后提交给Hbase数据库。
实施例二、一种基于分布式存储的数据恢复装置。下面结合图4对本发明提供的装置进行说明。
图4中，本发明提供的装置包括第一数据分发模块401、查找模块402、断点信息写入模块403、数据标识查询模块404和第二数据分发模块405。
其中，第一数据分发模块401主要用于调用分布式调度***分批向数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态。
具体的，分布式存储数据写入时，设置于分布式调度***中的第一数据分发模块401将大量数据分批发送给数据存储客户端，其中，数据存储客户端为多个，一个存储客户端可以作为一个存储节点，分布式调度***可以采取预定策略将大量的数据分发给不同的数据存储客户端，数据存储客户端接收到分布式调度***分发的数据，对数据进行处理，存储客户端将处理后的数据提交给数据库。在第一数据分发模块401将数据分发给存储客户端的同时，监测各存储客户端的异常状态。
需要说明的是，本实施例中的数据库是基于Hbase的数据库，Hbase存入数据是以Key-value的形式存储数据的。Hbase采用Key值来唯一标识一条数据，利用了Key值的不变性来保证数据恢复的一致性。其中，Key值的设计可以包括关键内容与MD5码的组合，MD5码是基于整条数据的编码，整条数据和编码的结果存在一一对应关系，从而保证数据重入恢复的一致性。
另外，由于hbase有版本概念，各个存储客户端提交给Hbase数据库的数据可以存储多个版本。因此，为了使存储客户端写入数据恢复时不重复写入，设置Hbase数据库的版本数为1，即保证只有一个版本有效，这样即使存储客户端重入相同的数据也不会出现重复数据。在数据按照批次进行恢复时，Hbase数据库的断点机制就保证了数据完整性和不重复性。
查找模块402主要用于在第一数据分发模块401监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端。
具体的，分布式调度***监测每个存储客户端的异常状态，当监测到存储客户端处于异常状态时，比如，存储客户端连接异常或存储客户端出现宕机的情况，分布式调度***中的查找模块402会在存储客户端集群中查询处于正常状态的存储客户端。
断点信息写入模块403主要用于当数据存储客户端分批将数据成功提交给Hbase数据库时，在数据库中写入断点信息，所述断点信息包含该数据存储客户端处理的各批数据的数据标识。
数据标识获取模块404主要用于查询处于异常状态的存储客户端处理的上一批次数据的数据标识。
具体的，需要说明的是，在数据写入的过程中，当存储客户端将当前批次的数据提交给Hbase数据库时，断点信息写入模块403会在Hbase数据库中写入断点信息，并保存于断点文件中，其中，断点信息包括该批次的数据提交Hbase数据库提交成功的信息、提交数据的存储客户端的标识以及该批次数据的数据标识。若分布式调度***监测到某个存储客户端处于异常状态时，数据标识查询模块404在Hbase数据库的断点文件中查找断点信息，获取该处于异常状态的存储客户端提交的上一批次数据的数据标识。
第二数据分发模块405主要用于将上一批次后的数据重新分发给处于正常状态的数据存储客户端。
具体的，数据标识获取模块404查询到处于异常状态的存储客户端提交的上一批次数据的数据标识，第二数据分发模块405将上一批次以后的数据，即当前批次和当前批次后的数据重新分发给处于正常状态的存储客户端进行数据写入，由正常的存储客户端将分发的数据处理后提交给Hbase数据库。
本发明提供的一种基于分布式存储的数据恢复方法及装置，通过获取处于异常状态的数据存储客户端写入的断点信息，通过断点信息获取异常数据存储客户端处理的上一批次的数据标识，然后将上一批次之后的数据重新分发给处于正常状态的数据存储客户端，对数据进行重新写入，来实现分布式存储过程中的存储客户端写入数据恢复，在不增加额外设备的基础上，保障数据写入的一致性和完整性；在某些存储客户端发生异常的情况下，不会因为异常而影响正常的服务功能；另外，不需要增加额外的设备即可实现数据的恢复，减少了成本。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于分布式存储的数据恢复方法，其特征在于，包括：
步骤S101、分布式调度***分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；
步骤S102、在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；
步骤S103、查询处于异常状态的存储客户端处理的上一批次待存储数据的数据标识；
步骤S104、将上一批次后的待存储数据重新分发给处于正常状态的数据存储客户端；
其中，当所述数据存储客户端将分布式调度***分批分发的待存储数据成功提交给Hbase数据库时，在Hbase数据库中写入断点信息，所述断点信息包括：该批次的数据提交Hbase数据库提交成功的信息、提交数据的存储客户端的标识以及该批次数据的数据标识。
2.如权利要求1所述的数据恢复方法，其特征在于，所述步骤S103具体包括：
在Hbase数据库中查找处于异常状态的数据存储客户端的断点信息，获取该数据客户端处理的上一批次待存储数据的数据标识。
3.如权利要求2所述的数据恢复方法，其特征在于，预先设置Hbase数据库的版本数为1。
4.如权利要求1或2所述的数据恢复方法，其特征在于，所述待存储数据中的每条数据记录具有数据记录唯一标识，所述数据记录唯一标识为该数据记录关键词与MD5码的组合。
5.一种基于分布式存储的数据恢复装置，其特征在于，包括：
第一数据分发模块，用于调用分布式调度***分批向若干数据存储客户端分发待存储数据，并监测各数据存储客户端的异常状态；
查找模块，用于在监测到数据存储客户端处于异常状态的情况下，查找处于正常状态的数据存储客户端；
数据标识查询模块，用于查询处于异常状态的存储客户端处理的上一批次待存储数据的数据标识；
第二数据分发模块，用于将上一批次后的待存储数据重新分发给处于正常状态的数据存储客户端；
断点信息写入模块，用于当所述数据存储客户端将分布式调度***分批分发的待存储数据成功提交给Hbase数据库时，在Hbase数据库中写入断点信息，所述断点信息包括：该批次的数据提交Hbase数据库提交成功的信息、提交数据的存储客户端的标识以及该批次数据的数据标识。
6.如权利要求5所述的数据恢复装置，其特征在于，
所述数据标识查询模块，用于查询处于异常状态的数据存储客户端处理的上一批次待存储数据的数据标识具体包括：
在Hbase数据库中查找处于异常状态的数据存储客户端的断点信息，获取该数据客户端处理的上一批次待存储数据的数据标识。
7.如权利要求6所述的数据恢复装置，其特征在于，预先设置Hbase数据库的版本数为1。
8.如权利要求5或6所述的数据恢复装置，其特征在于，所述待存储数据中的每条数据记录具有数据记录唯一标识，所述数据记录唯一标识为该数据记录关键词与MD5码的组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410601850.7A CN104360915B (zh) | 2014-10-31 | 2014-10-31 | 一种基于分布式存储的数据恢复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410601850.7A CN104360915B (zh) | 2014-10-31 | 2014-10-31 | 一种基于分布式存储的数据恢复方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104360915A CN104360915A (zh) | 2015-02-18 |
| CN104360915B true CN104360915B (zh) | 2017-08-01 |
Family
ID=52528179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410601850.7A Active CN104360915B (zh) | 2014-10-31 | 2014-10-31 | 一种基于分布式存储的数据恢复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104360915B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109358984B (zh) * | 2018-09-17 | 2020-12-11 | 至誉科技（武汉）有限公司 | 利用温度均衡数据恢复方法进行数据恢复的存储装置 |
| CN113726820A (zh) * | 2021-11-02 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 数据传输*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102308273A (zh) * | 2009-02-17 | 2012-01-04 | 日本电气株式会社 | 存储*** |
| CN102594852A (zh) * | 2011-01-04 | 2012-07-18 | ***通信集团公司 | 数据访问方法、节点及*** |
| CN103036744A (zh) * | 2012-12-19 | 2013-04-10 | 北京搜房网络技术有限公司 | 一种监控多机分布式复制块设备的方法及装置 |
| CN103051691A (zh) * | 2012-12-12 | 2013-04-17 | 华为技术有限公司 | 分区分配方法、装置以及分布式存储*** |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE533007C2 (sv) * | 2008-10-24 | 2010-06-08 | Ilt Productions Ab | Distribuerad datalagring |
-
2014
- 2014-10-31 CN CN201410601850.7A patent/CN104360915B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102308273A (zh) * | 2009-02-17 | 2012-01-04 | 日本电气株式会社 | 存储*** |
| CN102594852A (zh) * | 2011-01-04 | 2012-07-18 | ***通信集团公司 | 数据访问方法、节点及*** |
| CN103051691A (zh) * | 2012-12-12 | 2013-04-17 | 华为技术有限公司 | 分区分配方法、装置以及分布式存储*** |
| CN103036744A (zh) * | 2012-12-19 | 2013-04-10 | 北京搜房网络技术有限公司 | 一种监控多机分布式复制块设备的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104360915A (zh) | 2015-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898522B2 (en) | Distributed storage of aggregated data | |
| US10275281B2 (en) | Scheduling jobs for processing log files using a database system | |
| US20190057101A1 (en) | Efficient deletion of archive records after expiration of a tenant-defined retention period | |
| US11048574B2 (en) | System and method for workflow error handling | |
| US8732118B1 (en) | Distributed performance of data aggregation operations | |
| US11088825B2 (en) | Blockchain partial ledgers | |
| JP6498767B2 (ja) | データベースの口座に関連する取引要求の効率的な処理のためのシステム | |
| US20130097130A1 (en) | Method and system for resolving data inconsistency | |
| US11488082B2 (en) | Monitoring and verification system for end-to-end distribution of messages | |
| WO2016029744A1 (zh) | 一种元数据恢复方法及相关装置 | |
| CN108616581B (zh) | 基于olap/oltp混合应用的数据存储***及方法 | |
| WO2020216077A1 (zh) | 一种区块链事件去重方法、装置、计算机设备及存储介质 | |
| US20200242118A1 (en) | Managing persistent database result sets | |
| US10250519B2 (en) | System and method for supporting a distributed data structure in a distributed data grid | |
| CN103414762A (zh) | 云备份方法和装置 | |
| KR101428649B1 (ko) | 맵 리듀스 기반의 대용량 개인정보 암호화 시스템 및 그의 동작 방법 | |
| CN104360915B (zh) | 一种基于分布式存储的数据恢复方法及装置 | |
| US11436193B2 (en) | System and method for managing data using an enumerator | |
| US20150100545A1 (en) | Distributed database system and a non-transitory computer readable medium | |
| US11093465B2 (en) | Object storage system with versioned meta objects | |
| US10511656B1 (en) | Log information transmission integrity | |
| CN107395745A (zh) | 一种分布式存储***数据分散存储实现方法 | |
| CN110874486B (zh) | 一种块链式账本中的数据读取方法、装置及设备 | |
| US20230188324A1 (en) | Initialization vector handling under group-level encryption | |
| US20220382898A1 (en) | Processing data pages under group-level encryption |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |