CN104714858A - 数据备份方法及装置、数据恢复方法及装置 - Google Patents
数据备份方法及装置、数据恢复方法及装置 Download PDFInfo
- Publication number
- CN104714858A CN104714858A CN201310685278.2A CN201310685278A CN104714858A CN 104714858 A CN104714858 A CN 104714858A CN 201310685278 A CN201310685278 A CN 201310685278A CN 104714858 A CN104714858 A CN 104714858A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- recovery
- snapshot
- controlling vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据备份技术领域，尤其涉及数据备份方法及装置、数据恢复方法及装置，用以解决现有技术中利用Hbase的Export工具、Import工具进行数据备份及恢复的方法需要的备份及恢复窗口较长的问题，本发明实施例提供的数据备份方法，包括：备份节点根据控制节点的指示，通过Hbase，为备份对象创建快照；所述备份节点将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。本发明实施例提供的数据恢复方法，包括：恢复节点根据控制节点的指示，读取远端存储节点存储的数据；所述恢复节点将读取的数据整理成快照格式的数据，并将整理后的数据通过HDFS接口写入用于提供数据访问服务的数据恢复***。
Description
技术领域
本发明涉及数据备份技术领域，尤其涉及数据备份方法及装置、数据恢复方法及装置。
背景技术
移动业务运营支撑***（Business and Operation Support System，BOSS）的帐详单***已建成多年，承担着原始话单批价处理、账单生成、账详单查询等基础功能，并为统计分析等提供数据来源，而随着用户量和业务量的日益增长，帐详单***的海量数据引起了存储空间不足、查询性能下降、统计分析瓶颈、文件库修改困难等问题，基于这些问题，人们引入了基于列模式、适合于存储海量数据的分布式数据库（Hbase）***，为帐详单***的性能带来了全面提升。
在BOSS帐详单***的云方案中，Hbase存储着海量的详单数据，数据备份在数据的安全管理等方面起着非常重要的作用；现有的基于Hbase的数据备份方案是利用Hbase的输出（Export）工具进行数据的备份，以及利用输入(Import)工具进行数据的恢复，其具体步骤为：利用Export工具将Hbase中的指定范围的数据，以表为粒度导出成HDFS中的文件；将HDFS中的文件备份到远端的存储节点中进行保存；数据恢复时先从远端存储节点中将数据恢复到HDFS中，再利用Import工具将HDFS中的文件加载到Hbase中。
在需要备份的数据量较大时，上述利用Hbase的Export工具进行数据的备份的方法需要的备份时间窗口会较长，从而严重影响了备份效率；同样地，在需要恢复的数据量较大时，上述利用Import工具进行数据的恢复的方法需要的恢复窗口也较长，从而严重影响了恢复效率。
发明内容
本发明实施例提供一种数据备份方法及装置，用以解决现有技术中利用Hbase的Export工具进行数据备份的方法需要的备份时间窗口会较长的问题；
本发明实施例还提供一种数据恢复方法及装置，用以解决现有技术中利用Hbase的用Import工具进行数据恢复的方法需要的恢复窗口较长的问题。
本发明实施例提供的一种数据备份方法，包括：
备份节点根据控制节点的指示，通过分布式数据存储***Hbase，为备份对象创建快照；
所述备份节点将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中，其中，所述快照中的数据为在创建该快照之后，下一次为所述备份对象创建快照之前，所述备份对象中增加或修改的数据。
可选地，所述备份节点为备份对象创建快照，包括：
所述备份节点根据所述控制节点指示的增量备份时间间隔，为所述控制节点指示的备份对象创建快照；其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
本发明另一实施例提供的一种数据备份方法，包括：
控制节点根据用户输入的备份指示信息，生成备份策略；
所述控制节点根据所述备份策略，指示多个备份节点并行执行数据备份任务，所述数据备份任务包括：针对备份对象创建快照，将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。
可选地，所述备份策略包括：备份对象、备份对象之间的关系和增量备份时间间隔，其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
本发明实施例提供的一种数据恢复方法，包括：
恢复节点根据控制节点的指示，读取远端存储节点存储的数据；
所述恢复节点将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
可选地，所述恢复节点将读取的数据整理成快照格式的数据，包括：
所述恢复节点根据备份前的快照目录结构，创建读取的所述数据在所述HDFS中的快照目录结构。
本发明另一实施例提供的一种数据恢复方法，包括：
控制节点根据用户输入的恢复指示信息，生成恢复策略；
所述控制节点根据所述恢复策略，指示多个恢复节点并行执行数据恢复任务，所述数据恢复任务包括：读取远端存储节点存储的数据，将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
可选地，所述恢复策略包括：恢复对象和恢复的时间段。
本发明实施例提供的一种数据备份装置，包括：
创建模块，用于根据控制节点的指示，通过分布式数据存储***Hbase，为备份对象创建快照；
备份模块，用于将所述创建模块创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中，其中，所述快照中的数据为在创建该快照之后，下一次为所述备份对象创建快照之前，所述备份对象中增加或修改的数据。
本发明另一实施例提供的一种数据备份装置，包括：
生成模块，用于根据用户输入的备份指示信息，生成备份策略；
指示模块，用于根据所述所述生成模块生成的备份策略，指示多个备份节点并行执行数据备份任务，所述数据备份任务包括：针对备份对象创建快照，将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。
本发明实施例提供的一种数据恢复装置，包括：
读取模块，用于根据控制节点的指示，读取远端存储节点存储的数据；
写入模块，用于将所述读取模块读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
本发明另一实施例提供的一种数据恢复装置，包括：
生成模块，用于根据用户输入的恢复指示信息，生成恢复策略；
指示模块，用于根据所述生成模块生成的恢复策略，指示多个恢复节点并行执行数据恢复任务，所述数据恢复任务包括：读取远端存储节点存储的数据，将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
本发明实施例中备份节点通过Hbase为备份对象创建快照，在需要备份时，将快照中的数据通过HDFS备份到远端存储节点中，从而不仅可以不必再采用Export工具进行数据的导出操作，而且可以仅对数据的增量部分进行备份，从而可以极大地缩短了备份窗口，提高了备份效率。
附图说明
图1为本发明实施例一提供的数据备份方法流程图；
图2为本发明实施例二提供的数据备份方法流程图；
图3为本发明实施例一提供的数据恢复方法流程图；
图4为本发明实施例二提供的数据恢复方法流程图；
图5为本发明实施例提供的数据备份及恢复的***结构示意图；
图6为本发明实施例三提供的数据备份方法流程图；
图6a为备份节点进行数据备份的方法流程图；
图7为本发明实施例三提供的数据恢复方法流程图；
图8为本发明实施例一提供的一种数据备份装置结构示意图；
图9为本发明实施例二提供的一种数据备份装置结构示意图；
图10为本发明实施例一提供的一种数据恢复装置结构示意图；
图11为本发明实施例二提供的一种数据恢复装置结构示意图。
具体实施方式
本发明实施例中备份节点通过Hbase为备份对象创建快照，在需要备份时，将快照中的数据通过HDFS备份到远端存储节点中，从而不仅可以不必再采用Export工具进行数据的导出操作，而且可以仅对数据的增量部分进行备份，从而可以极大地缩短了备份窗口，提高了备份效率。
下面结合说明书附图对本发明实施例作进一步详细描述。
如图1所示，为本发明实施例一提供的数据备份方法流程图，包括以下步骤：
S101：备份节点根据控制节点的指示，通过分布式数据存储***Hbase，为备份对象创建快照；
S102：所述备份节点将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中，其中，所述快照中的数据为在创建该快照之后，下一次为所述备份对象创建快照之前，所述备份对象中增加或修改的数据。
本发明实施例中，通过Hbase的快照（Snapshot）功能完成对数据的增量备份，同时将数据的备份操作转移到分布式文件***（Hadoop Distributed FileSystem，HDFS），采用这种快照方式，不仅可以不必再采用Export工具进行数据的导出操作，而且可以仅对数据的增量部分进行备份，从而可以极大地缩短了备份窗口，提高了备份效率。
可选地，所述备份节点为备份对象创建快照，包括：
所述备份节点根据所述控制节点指示的增量备份时间间隔，为所述控制节点指示的备份对象创建快照；其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
在具体实施过程中，控制节点可以根据用户输入的备份指示信息，生成备份策略，指示备份节点进行备份，备份策略可以包括备份对象、备份对象之间的关系、增量备份时间间隔以及备份方式等；其中，备份对象可以是需要备份的数据表的名称，这里，备份的数据表可以为原始数据包，其它可以经过原始数据表处理得到的数据可以不进行备份；备份对象之间的关系包括两种，一种是具有关联关系，另一种是不具有关联关系，在具体实施中，如果多个数据表之间具有关联关系，需要同时备份，则多个数据表之间的关系可以用和（AND）表示，如果多个数据表之间不具有关联关系，则可以用或（OR）表示；增量备份时间间隔为针对同一个备份对象，前后两次创建快照的时间差，其中，为了保证数据表之间的逻辑关系的准确性，具有AND关系的数据表之间的增量备份时间间隔相同，而具有OR关系的数据表之间的增量备份时间间隔可以不同；除此，用户还可以选择备份方式，比如可以选择是全量备份还是增量备份，为提高备份效率，本发明实施例中优选增量备份方式。
与上述实施例一的数据备份流程对应，本发明实施例中还提供了以下基于控制节点侧的备份方法，具体实施过程与上述实施例相似，重复之处，不再赘述。
如图2所示，为本发明实施例二提供的数据备份方法流程图，包括：
S201：控制节点根据用户输入的备份指示信息，生成备份策略；
这里，备份指示信息实质上就是用户（管理人员）通过控制节点的图形界面定制的用户可识别的备份信息，控制节点根据该备份指示信息，生成计算机可识别的具体的备份策略，用于指示备份节点执行备份任务；在具体实施中，可以设置一些默认的备份信息，用户在输入备份指示信息时，可以不用输入详细的备份信息，比如，用户可以输入对数据表1每周备份一次，控制节点根据该备份指示信息生成的备份策略中，默认在每周的周日0点对该数据表1备份一次。
S202：所述控制节点根据所述备份策略，指示多个备份节点并行执行数据备份任务，所述数据备份任务包括：针对备份对象创建快照，将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。
本发明实施例中，控制节点指示多个备份节点并行执行备份任务，多个备份节点进行协同备份，运行在并行计算架构之上，可以有效提高备份的效率。
可选地，所述备份策略包括：备份对象、备份对象之间的关系和增量备份时间间隔，其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
需要说明的是，本发明实施例一、二中，控制节点和备份节点可以分别布置在不同的硬件设备，如计算机上，也可以布置在同一台硬件设备上，为该同一台硬件设备的两个功能模块。
在进行数据备份之后，若需要获取备份数据，就涉及到了数据恢复问题，基于此，本发明实施例中还提供了以下数据恢复方法；
如图3所示，为本发明实施例一提供的数据恢复方法流程图，包括：
S301：恢复节点根据控制节点的指示，读取远端存储节点存储的数据；
S302：所述恢复节点将读取的数据整理成快照格式的数据，并将整理后的数据通过HDFS接口写入用于提供数据访问服务的数据恢复***。
可选地，所述恢复节点将读取的数据整理成快照格式的数据，包括：
所述恢复节点根据备份前的快照目录结构，创建读取的所述数据在所述HDFS中的快照目录结构。
本发明实施例中，恢复节点根据控制节点的指示，读取远端存储节点存储的数据，并将读取的数据整理成快照格式的数据，将整理后的数据通过HDFS接口写入用于提供数据访问服务的数据恢复***，与上述数据备份过程相似，采用这种快照方式进行数据恢复，同样极大地缩短了恢复窗口。
在具体实施过程中，控制节点可以根据生成的恢复策略，指示恢复节点进行数据的恢复，恢复策略可以包括恢复目标、恢复的时间段和恢复的目的地址等，其中，恢复的目标可以是具体需要恢复的数据表的名称，恢复的时间段具体指恢复数据的时间段，即需要恢复在该时间段内增加或修改的数据，恢复的目的地址可以是指需要将数据恢复到哪个***，本发明实施例中将需要使用恢复的数据对外提供服务的***统称为数据恢复***。
与上述数据恢复方法流程对应，本发明实施例还提供了以下基于控制节点侧的数据恢复方法流程图；
如图4所示，为本发明实施例二提供的数据恢复方法流程图，包括;
S401：控制节点根据用户输入的恢复指示信息，生成恢复策略；
S402：所述控制节点根据所述恢复策略，指示多个恢复节点并行执行数据恢复任务，所述数据恢复任务包括：读取远端存储节点存储的数据，将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
本发明实施例中，控制节点指示多个恢复节点并行执行恢复任务，多个恢复节点运行在并行计算架构之上，可以有效提高数据恢复效率。
步骤S401中，恢复指示信息实质上就是用户（管理人员）通过控制节点的图形界面定制的用户可识别的恢复信息，控制节点根据该恢复指示信息，生成计算机可识别的具体的恢复策略，用于指示恢复节点执行恢复任务；在具体实施中，可以设置一些默认的恢复信息，用户在输入恢复指示信息时，可以不用输入详细的恢复信息，比如，用户可以不用输入数据恢复的目的地址，控制节点在接收到用户输入的恢复指示信息后，在生成的恢复策略中，直接将数据恢复***指定为恢复的目的地址。
可选地，所述恢复策略包括：恢复对象和恢复的时间段。
需要说明的是，本发明实施例中，控制节点和恢复节点可以分别布置在不同的硬件设备，如计算机上，也可以布置在同一台硬件设备上，为该同一台硬件设备的两个功能模块。不仅如此，本发明实施例可以与上述数据备份方法实施例相结合，控制节点、备份节点和恢复节点可以分别布置在不同的硬件设备，如计算机上，也可以布置在同一台硬件设备上，为该同一台硬件设备的不同的功能模块。
本发明实施例提供的上述数据备份及恢复方法，可以极大地缩短备份及恢复窗口，减少对生产任务的影响，具体地，本发明实施例中，数据备份及恢复操作主要在HDFS层完成，对生产任务所依赖的Hbase影响较小；而且，这种快照方式与Export、Import工具相比，可以直接备份压缩数据或直接将压缩数据恢复到数据恢复***，在不影响数据完整性的前提下，大大缩短了备份及恢复的数据量；同时，由于HDFS层的读数据带宽是Hbase层的6～8倍，采用本发明实施例的上述备份及恢复方法，可以极大地提供数据备份及恢复的效率。
为了更好地说明本发明实施例中进行数据备份及恢复的流程，下面通过具体的实施例进行详细说明；
如图5所示，为本发明实施例提供的数据备份及恢复的***结构示意图；本发明实施例实现数据备份及恢复功能的***主要包括：控制节点、备份节点、恢复节点以及存储节点，其中，控制节点可以提供一个图形界面供备份管理人员进行备份策略和恢复策略的定制，还可以显示备份进度记录，该备份进度记录中记录备份任务的进度，控制节点可以控制备份节点以及恢复节点的工作，比如控制备份及恢复的开始和结束等；备份节点执行具体的备份任务，在具体实施中，多个备份节点运行在并行计算架构之上，可以根据备份文件所在的数据节点（NataNode），实现更快速的备份；对应地，恢复节点执行具体的恢复任务，在具体实施中，多个恢复节点运行在并行计算架构之上，有效提高恢复数据的并行性，提高数据恢复效率；存储节点可以有多个，用于存储海量的备份数据，索引节点可以为备份的数据提供索引，在进行数据恢复时，可以快速定位备份数据；图中的生产***和数据恢复***为用于对外提供数据访问服务，其中，生产***用于对外提供备份前的数据，数据恢复***用于提供从存储节点中恢复出来的数据。
如图6所示，为本发明实施例三提供的数据备份方法流程图，包括：
S601：控制节点生成备份策略；
该备份策略包括：a)备份对象：表1（table1）、表2（table2）、表3（table3）；b)备份对象之间的关系为：table1AND table2OR table3；c)增量备份时间间隔为：针对table1和table2，每天增量备份一次，针对table3，每周增量备份一次。
S602：控制节点判断当前时间是否是0点，如果是，则进入步骤S603，否则，返回步骤S602；
S603：控制节点判断是否是周日的0点，如果是，则进入步骤S604，否则，进入步骤S605；
S604：备份节点根据控制节点的指示，为table1、table2以及table3创建快照；
S605：备份节点根据控制节点的指示，为table1和table2创建快照；
S606：备份节点通过HDFS，将数据备份到存储节点，并生成索引数据存储到索引节点；
S607：备份节点记录备份进度后删除快照。
下面，对上述步骤S606作进一步说明：创建快照后，HDFS上的目录结构如下：
如图6a，为备份节点进行数据备份的方法流程图，包括：
S6a：备份节点首先到/hbase/.snapshots/completed/regionname/[columnfamily name]/[hfile name]文件中获取此次增量所涉及到的Hfile文件；
S6b：备份节点分析并获取所有的这些文件列表所在的数据节点，形成如下所示的关系列表：
table1/region1/hfile1 10G datanode1，datanode2，datanode3
table/region1/hfile2 50G datanode4，datanode2，datanode3
table1/region1/hfile3 80G datanode4，datanode5，datanode6
...
table2/region1/hfile1 30G datanode7，datanode8，datanode9
table2/region1/hfile2 100G datanode1，datanode3，datanode9
table2/region3/hfile1 56G datanode2，datanode8，datanode4
…
table3/region1/hfile1 38G datanode5，datanode8，datanode9
table3/region1/hfile2 29G datanode1，datanode3，datanode10
table3/region3/hfile1 55G datanode2，datanode8，datanode3
…
S6c：备份节点采用文件的位置和大小作为任务分配因子，生成MapReduce任务；这样，可以保证备份节点在尽量只读去本地文件的同时，增加***的并行性，从而快速的完成数据的备份，缩小备份窗口。
这里，MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算，其中Map可译为映射，Reduce可译为规约。
如图7所示，为本发明实施例三提供的数据恢复方法流程图，包括：
S701：控制节点生成恢复策略；
该恢复策略包括：a）恢复对象：table3；b）恢复的时间段：恢复2013年8月9日创建的快照中的数据；c）恢复的目的地址：恢复到数据恢复***中。
S702：控制节点根据所述恢复策略，向恢复节点发送数据恢复命令；
S703：恢复节点在接收到恢复命令后，从存储节点中根据索引读取相应的数据，并将数据整理成快照格式后，通过HDFS接口写入数据恢复***。
基于同一发明构思，本发明实施例中还提供了与上述数据备份方法对应的数据备份装置，与上述数据恢复方法对应的数据恢复装置，由于这些装置解决问题的原理与上述数据备份方法、数据恢复方法相似，因此本发明实施例中装置的实施可以参见方法的实施，重复之处不再赘述。
如图8所示，为本发明实施例一提供的一种数据备份装置结构示意图，该装置包括：
创建模块81，用于根据控制节点的指示，通过分布式数据存储***Hbase，为备份对象创建快照；
备份模块82，用于将创建模块8创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中，其中，所述快照中的数据为在创建该快照之后，下一次为所述备份对象创建快照之前，所述备份对象中增加或修改的数据。
可选地，所述创建模块81具体用于：
根据所述控制节点指示的增量备份时间间隔，为所述控制节点指示的备份对象创建快照；其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
如图9所示，为本发明实施例二提供的一种数据备份装置结构示意图，该装置包括：
生成模块91，用于根据用户输入的备份指示信息，生成备份策略；
指示模块92，用于根据所述备份策略，指示多个备份节点并行执行数据备份任务，所述数据备份任务包括：针对备份对象创建快照，将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。
可选地，所述备份策略包括：备份对象、备份对象之间的关系和增量备份时间间隔，其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
如图10所示，为本发明实施例一提供的一种数据恢复装置结构示意图，该装置包括：
读取模块101，用于根据控制节点的指示，读取远端存储节点存储的数据；
写入模块102，用于将读取模块101读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
可选地，所述写入模块具体用于：
根据备份前的快照目录结构，创建读取的所述数据在所述HDFS中的快照目录结构。
如图11所示，为本发明实施例二提供的一种数据恢复装置结构示意图，该装置包括：
生成模块111，用于根据用户输入的恢复指示信息，生成恢复策略；
指示模块112，用于根据所述恢复策略，指示多个恢复节点并行执行数据恢复任务，所述数据恢复任务包括：读取远端存储节点存储的数据，将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
可选地，所述恢复策略包括：恢复对象和恢复的时间段。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种数据备份方法，其特征在于，该方法包括：
备份节点根据控制节点的指示，通过分布式数据存储***Hbase，为备份对象创建快照；
所述备份节点将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中，其中，所述快照中的数据为在创建该快照之后，下一次为所述备份对象创建快照之前，所述备份对象中增加或修改的数据。
2.如权利要求1所述的方法，其特征在于，所述备份节点为备份对象创建快照，包括：
所述备份节点根据所述控制节点指示的增量备份时间间隔，为所述控制节点指示的备份对象创建快照；其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
3.一种数据备份方法，其特征在于，该方法包括：
控制节点根据用户输入的备份指示信息，生成备份策略；
所述控制节点根据所述备份策略，指示多个备份节点并行执行数据备份任务，所述数据备份任务包括：针对备份对象创建快照，将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。
4.如权利要求3所述的方法，其特征在于，所述备份策略包括：备份对象、备份对象之间的关系和增量备份时间间隔，其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
5.一种数据恢复方法，其特征在于，该方法包括：
恢复节点根据控制节点的指示，读取远端存储节点存储的数据；
所述恢复节点将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
6.如权利要求5所述的方法，其特征在于，所述恢复节点将读取的数据整理成快照格式的数据，包括：
所述恢复节点根据备份前的快照目录结构，创建读取的所述数据在所述HDFS中的快照目录结构。
7.一种数据恢复方法，其特征在于，该方法包括：
控制节点根据用户输入的恢复指示信息，生成恢复策略；
所述控制节点根据所述恢复策略，指示多个恢复节点并行执行数据恢复任务，所述数据恢复任务包括：读取远端存储节点存储的数据，将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
8.如权利要求7所述的方法，其特征在于，所述恢复策略包括：恢复对象和恢复的时间段。
9.一种数据备份装置，其特征在于，该装置包括：
创建模块，用于根据控制节点的指示，通过分布式数据存储***Hbase，为备份对象创建快照；
备份模块，用于将所述创建模块创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中，其中，所述快照中的数据为在创建该快照之后，下一次为所述备份对象创建快照之前，所述备份对象中增加或修改的数据。
10.如权利要求9所述的装置，其特征在于，所述创建模块具体用于：
根据所述控制节点指示的增量备份时间间隔，为所述控制节点指示的备份对象创建快照；其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
11.一种数据备份装置，其特征在于，该装置包括：
生成模块，用于根据用户输入的备份指示信息，生成备份策略；
指示模块，用于根据所述生成模块生成的备份策略，指示多个备份节点并行执行数据备份任务，所述数据备份任务包括：针对备份对象创建快照，将创建的所述快照中的数据通过分布式文件***HDFS备份到远端存储节点中。
12.如权利要求11所述的装置，其特征在于，所述备份策略包括：备份对象、备份对象之间的关系和增量备份时间间隔，其中，具有关联关系的备份对象之间的增量备份时间间隔相同。
13.一种数据恢复装置，其特征在于，该装置包括：
读取模块，用于根据控制节点的指示，读取远端存储节点存储的数据；
写入模块，用于将所述读取模块读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
14.如权利要求13所述的装置，其特征在于，所述写入模块具体用于：
根据备份前的快照目录结构，创建读取的所述数据在所述HDFS中的快照目录结构。
15.一种数据恢复装置，其特征在于，该装置包括：
生成模块，用于根据用户输入的恢复指示信息，生成恢复策略；
指示模块，用于根据所述生成模块生成的恢复策略，指示多个恢复节点并行执行数据恢复任务，所述数据恢复任务包括：读取远端存储节点存储的数据，将读取的数据整理成快照格式的数据，并将整理后的数据通过分布式文件***HDFS接口写入用于提供数据访问服务的数据恢复***。
16.如权利要求15所述的装置，其特征在于，所述恢复策略包括：恢复对象和恢复的时间段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310685278.2A CN104714858A (zh) | 2013-12-13 | 2013-12-13 | 数据备份方法及装置、数据恢复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310685278.2A CN104714858A (zh) | 2013-12-13 | 2013-12-13 | 数据备份方法及装置、数据恢复方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104714858A true CN104714858A (zh) | 2015-06-17 |
Family
ID=53414221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310685278.2A Pending CN104714858A (zh) | 2013-12-13 | 2013-12-13 | 数据备份方法及装置、数据恢复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104714858A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765651A (zh) * | 2014-01-06 | 2015-07-08 | ***通信集团福建有限公司 | 一种数据处理方法和装置 |
| CN105159945A (zh) * | 2015-08-10 | 2015-12-16 | 北京思特奇信息技术股份有限公司 | 一种Hbase与Hdfs之间的数据抽取转换方法及*** |
| CN105260271A (zh) * | 2015-11-18 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种hdfs快照的实现方法及*** |
| CN105740101A (zh) * | 2016-01-29 | 2016-07-06 | 青岛海尔智能家电科技有限公司 | 用于MySQL数据库的自动备份与自动还原方法及装置 |
| CN105843704A (zh) * | 2016-03-15 | 2016-08-10 | 上海爱数信息技术股份有限公司 | 一种结合分布式块存储的快照功能的数据保护方法及*** |
| CN105938489A (zh) * | 2016-04-14 | 2016-09-14 | 北京思特奇信息技术股份有限公司 | 一种压缩详单的存储和展示方法及*** |
| CN106569911A (zh) * | 2016-10-14 | 2017-04-19 | 深圳前海微众银行股份有限公司 | 数据备份方法和装置 |
| CN107122260A (zh) * | 2017-04-18 | 2017-09-01 | 北京思特奇信息技术股份有限公司 | 一种数据备份方法及装置 |
| CN107330003A (zh) * | 2017-06-12 | 2017-11-07 | 上海藤榕网络科技有限公司 | 数据同步方法、***、存储器及数据同步设备 |
| CN107391303A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据处理方法、装置、***、服务器及计算机存储介质 |
| CN107493330A (zh) * | 2017-08-16 | 2017-12-19 | 北京新网数码信息技术有限公司 | 一种云服务方法及云服务器 |
| CN107656992A (zh) * | 2017-09-14 | 2018-02-02 | 上海交通大学 | 面向多***源的快照版本管理方法 |
| CN107943617A (zh) * | 2017-11-17 | 2018-04-20 | 北京联想超融合科技有限公司 | 数据的修复方法、装置及服务器集群 |
| CN108573049A (zh) * | 2018-04-20 | 2018-09-25 | 联想(北京)有限公司 | 数据处理方法和分布式存储装置 |
| CN109753379A (zh) * | 2017-11-08 | 2019-05-14 | 阿里巴巴集团控股有限公司 | 快照数据备份、删除方法、装置及*** |
| CN109976942A (zh) * | 2017-12-28 | 2019-07-05 | 中移（杭州）信息技术有限公司 | 一种数据备份和恢复方法、备份服务器和源服务器 |
| CN111143129A (zh) * | 2019-12-24 | 2020-05-12 | 维沃移动通信有限公司 | 信息备份方法及电子设备 |
| CN111324485A (zh) * | 2020-01-20 | 2020-06-23 | 杭州安恒信息技术股份有限公司 | 一种数据表的数据信息备份方法、装置、设备及存储介质 |
| CN112800019A (zh) * | 2021-03-03 | 2021-05-14 | 国网甘肃省电力公司 | 基于Hadoop分布式文件***的数据备份方法及*** |
| CN116382974A (zh) * | 2023-03-21 | 2023-07-04 | 安芯网盾(北京)科技有限公司 | 一种定制化数据的保护处理方法 |
| CN117520056A (zh) * | 2024-01-08 | 2024-02-06 | 南京云信达科技有限公司 | Hbase数据备份的方法、***、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1524222A (zh) * | 2001-07-06 | 2004-08-25 | ���������˼�빫˾ | 信息备份***和方法 |
| CN102096669A (zh) * | 2009-12-14 | 2011-06-15 | 深圳速浪数字技术有限公司 | 一种数据备份方法和数据备份装置 |
-
2013
- 2013-12-13 CN CN201310685278.2A patent/CN104714858A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1524222A (zh) * | 2001-07-06 | 2004-08-25 | ���������˼�빫˾ | 信息备份***和方法 |
| CN102096669A (zh) * | 2009-12-14 | 2011-06-15 | 深圳速浪数字技术有限公司 | 一种数据备份方法和数据备份装置 |
Non-Patent Citations (1)
| Title |
|---|
| 苏艳森: "分布式文件存储平台文件备份与恢复***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104765651A (zh) * | 2014-01-06 | 2015-07-08 | ***通信集团福建有限公司 | 一种数据处理方法和装置 |
| CN105159945A (zh) * | 2015-08-10 | 2015-12-16 | 北京思特奇信息技术股份有限公司 | 一种Hbase与Hdfs之间的数据抽取转换方法及*** |
| CN105260271A (zh) * | 2015-11-18 | 2016-01-20 | 浪潮(北京)电子信息产业有限公司 | 一种hdfs快照的实现方法及*** |
| CN105740101A (zh) * | 2016-01-29 | 2016-07-06 | 青岛海尔智能家电科技有限公司 | 用于MySQL数据库的自动备份与自动还原方法及装置 |
| CN105843704A (zh) * | 2016-03-15 | 2016-08-10 | 上海爱数信息技术股份有限公司 | 一种结合分布式块存储的快照功能的数据保护方法及*** |
| CN105843704B (zh) * | 2016-03-15 | 2018-10-19 | 上海爱数信息技术股份有限公司 | 一种结合分布式块存储的快照功能的数据保护方法及*** |
| CN105938489A (zh) * | 2016-04-14 | 2016-09-14 | 北京思特奇信息技术股份有限公司 | 一种压缩详单的存储和展示方法及*** |
| CN106569911A (zh) * | 2016-10-14 | 2017-04-19 | 深圳前海微众银行股份有限公司 | 数据备份方法和装置 |
| CN107122260A (zh) * | 2017-04-18 | 2017-09-01 | 北京思特奇信息技术股份有限公司 | 一种数据备份方法及装置 |
| CN107330003A (zh) * | 2017-06-12 | 2017-11-07 | 上海藤榕网络科技有限公司 | 数据同步方法、***、存储器及数据同步设备 |
| CN107391303A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据处理方法、装置、***、服务器及计算机存储介质 |
| CN107391303B (zh) * | 2017-06-30 | 2021-02-23 | 北京奇虎科技有限公司 | 数据处理方法、装置、***、服务器及计算机存储介质 |
| CN107493330A (zh) * | 2017-08-16 | 2017-12-19 | 北京新网数码信息技术有限公司 | 一种云服务方法及云服务器 |
| CN107656992A (zh) * | 2017-09-14 | 2018-02-02 | 上海交通大学 | 面向多***源的快照版本管理方法 |
| CN107656992B (zh) * | 2017-09-14 | 2021-09-21 | 上海交通大学 | 面向多***源的快照版本管理方法 |
| CN109753379B (zh) * | 2017-11-08 | 2022-12-02 | 阿里巴巴集团控股有限公司 | 快照数据备份、删除方法、装置及*** |
| CN109753379A (zh) * | 2017-11-08 | 2019-05-14 | 阿里巴巴集团控股有限公司 | 快照数据备份、删除方法、装置及*** |
| CN107943617A (zh) * | 2017-11-17 | 2018-04-20 | 北京联想超融合科技有限公司 | 数据的修复方法、装置及服务器集群 |
| CN107943617B (zh) * | 2017-11-17 | 2021-06-29 | 北京联想超融合科技有限公司 | 数据的修复方法、装置及服务器集群 |
| CN109976942B (zh) * | 2017-12-28 | 2021-02-19 | 中移（杭州）信息技术有限公司 | 一种数据备份和恢复方法、备份服务器和源服务器 |
| CN109976942A (zh) * | 2017-12-28 | 2019-07-05 | 中移（杭州）信息技术有限公司 | 一种数据备份和恢复方法、备份服务器和源服务器 |
| CN108573049A (zh) * | 2018-04-20 | 2018-09-25 | 联想(北京)有限公司 | 数据处理方法和分布式存储装置 |
| CN111143129A (zh) * | 2019-12-24 | 2020-05-12 | 维沃移动通信有限公司 | 信息备份方法及电子设备 |
| CN111324485A (zh) * | 2020-01-20 | 2020-06-23 | 杭州安恒信息技术股份有限公司 | 一种数据表的数据信息备份方法、装置、设备及存储介质 |
| CN112800019A (zh) * | 2021-03-03 | 2021-05-14 | 国网甘肃省电力公司 | 基于Hadoop分布式文件***的数据备份方法及*** |
| CN116382974A (zh) * | 2023-03-21 | 2023-07-04 | 安芯网盾(北京)科技有限公司 | 一种定制化数据的保护处理方法 |
| CN117520056A (zh) * | 2024-01-08 | 2024-02-06 | 南京云信达科技有限公司 | Hbase数据备份的方法、***、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104714858A (zh) | 数据备份方法及装置、数据恢复方法及装置 | |
| US11983075B2 (en) | Migrating data and metadata from a backup system | |
| US11520755B2 (en) | Migration of a database management system to cloud storage | |
| US11748332B2 (en) | Organically managing storage of a data object based on an expiry timeframe supplied by a user of the data object | |
| US11042449B2 (en) | Database protection using block-level mapping | |
| US20220222147A1 (en) | Backup index generation process | |
| US20210049079A1 (en) | Systems and methods for change block tracking | |
| US10635546B2 (en) | Synthesizing a restore image from one or more secondary copies to facilitate data restore operations to a file server | |
| US8856080B2 (en) | Backup using metadata virtual hard drive and differential virtual hard drive | |
| US9939981B2 (en) | File manager integration with virtualization in an information management system with an enhanced storage manager, including user control and storage management of virtual machines | |
| US8949183B2 (en) | Continuous and asynchronous replication of a consistent dataset | |
| CN106021016A (zh) | 在快照之间的虚拟时间点访问 | |
| EP3234772B1 (en) | Efficiently providing virtual machine reference points | |
| US20190251191A1 (en) | Targeted search of backup data using facial recognition | |
| US20220188342A1 (en) | Targeted search of backup data using calendar event data | |
| US11126365B2 (en) | Skipping data backed up in prior backup operations | |
| CN104765651A (zh) | 一种数据处理方法和装置 | |
| AU2019263048B2 (en) | Client managed data backup process within an enterprise information management system | |
| CN110431527B (zh) | 跨存储提供方映射存储 | |
| Ho et al. | Active data: Supporting the grid data life cycle | |
| CN114328016A (zh) | 一种数据合成方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150617 |