CN110716829A - 基于Ceph技术的块存储备份方法、终端及存储介质 - Google Patents

基于Ceph技术的块存储备份方法、终端及存储介质 Download PDF

Info

Publication number
CN110716829A
CN110716829A CN201910959183.2A CN201910959183A CN110716829A CN 110716829 A CN110716829 A CN 110716829A CN 201910959183 A CN201910959183 A CN 201910959183A CN 110716829 A CN110716829 A CN 110716829A
Authority
CN
China
Prior art keywords
ceph
image
technology
backup
rbd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910959183.2A
Other languages
English (en)
Inventor
王腾飞
于昊
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN201910959183.2A priority Critical patent/CN110716829A/zh
Publication of CN110716829A publication Critical patent/CN110716829A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于Ceph技术的块存储备份方法、终端及存储介质，属于数据存储，要解决的技术问题为如何基于Ceph实现数据的增量备份及备份的分布式存储。该方法通过OpenStack的Cinder项目提供块存储服务，将Ceph集成到OpenStack的Cinder项目中，通过Ceph的RBD快照技术、采用增量备份的方式将数据备份至Ceph集群中。终端包括处理器和存储器，存储器用于存储计算机程序，处理器被配置用于调用程序指令执行上述方法。存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时处理器执行上述方法。

Description

基于Ceph技术的块存储备份方法、终端及存储介质
技术领域
本发明涉及数据存储领域，具体地说是一种基于Ceph技术的块存储备份方法、终端及存储介质。
背景技术
随着信息化浪潮的到来，各行各业的信息化数据井喷式增长。据IDC发布的《数据时代2025》报告显示，全球每年产生的数据将从2018年的33ZB增长到175ZB，相当于每天产生491EB的数据。数据的安全性越来越受到人们的关注，所以完备的容灾备份体系显得越来越重要。
OpenStack(开源的云计算管理平台)的Cinder项目主要用来提供块存储服务，通过Cinder项目，用户可以将不同的存储后端整合在一起并通过统一的OpenStack API接口对外提供存储资源服务。Ceph是一种具备卓越性能和高可靠性、高扩展性的统一、分布式存储***。“统一”意味着一套存储***同时向用户提供对象存储、块存储和文件存储三种功能。而“分布式”在Ceph***中则意味着真正的无中心结构和没有理论上限的***可扩展性，真正解决了传统Scale-up类型的存储在扩容过程中所面临的性能瓶颈问题。而Ceph提供的COW(Copy-on-Write)特性为我们提供了一种基于RBD(RADOS Block Devices)的快照技术的备份策略。
基于上述分析，如何基于Ceph实现数据的增量备份及备份的分布式存储，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供一种基于Ceph技术的块存储备份方法、终端及存储介质，来解决如何基于Ceph实现数据的增量备份及备份的分布式存储的问题。
第一方面，本发明提供一种基于Ceph技术的块存储备份方法，通过OpenStack的Cinder项目提供块存储服务，将Ceph集成到OpenStack的Cinder项目中，通过Ceph的RBD快照技术、采用增量备份的方式将数据备份至Ceph集群中。
在上述实时方式中，使用Ceph的RBD(RADOS Block Devices)快照技术进行增量备份，将备份的数据存储在Ceph集群中。由于采用了增量备份的方式，大大增加了数据备份的速度，极大的减少了备份数据占用的存储容量，减少成本。Ceph集群采用的是多副本机制，再加上优秀的CRUSH(Controlled Replication Under Scalable Hashing)算法，将数据进行分布式存储，从而保证了数据的安全性。
作为优选，将Ceph集成到OpenStack的Cinder项目中，并将Ceph作为OpenStack的存储后端，并配置Ceph为Cinder-backup服务的后端驱动。
作为优选，通过Ceph的RBD快照技术、采用增量备份的方法将数据备份至Ceph集群中，包括如下步骤：
创建一个名称为image的块设备镜像，并写入基础数据；
通过Ceph的RBD命令导出块设备镜像中的所有数据，记为image_backup；
向块设备镜像写入新数据，并通过Ceph的快照技术创建快照rbd/image@snap1；
通过Ceph命令导出image_backup与rbd/image@snap1之间的增量数据，记为image_to_snap1，并备份元数据。
作为优选，通过Ceph的快照技术创建快照rbd/image@snap1后，调用Ceph保护命令保护所述快照rbd/image@snap1，并调用Ceph克隆命令克隆所述快照rbd/image@snap1。
作为优选，恢复备份时，按照备份文件的先后顺序依次恢复。
作为优选，在RBD池中创建一个名称为image的块设备镜像。
第二方面，本发明提供一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如第一方面任一项所述的基于Ceph技术的块存储备份方法。
第三方面，本发明提供一种存储介质，所述介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如第一方面任一项所述的基于Ceph技术的块存储备份方法。
本发明的基于Ceph技术的块存储备份方法、终端及存储介质具有以下优点：
1、将备份后的数据存储在Ceph集群中，与将数据存储在其他介质相比，提高数据安全性和可靠性；
2、当备份的数据达到存储介质容量的上限时，Ceph集群能够快速方便的进行扩容；
3、采用增量备份的方式与采用全量备份或者差量备份相比，增量备份的效率更高，占用存储的空间更小。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
附图1为实施例1基于Ceph技术的块存储备份方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于Ceph技术的块存储备份方法、终端及存储介质，用于解决如何基于Ceph实现数据的增量备份及备份的分布式存储的技术问题。
实施例1：
本发明的基于Ceph技术的块存储备份方法，通过OpenStack的Cinder项目提供块存储服务，将Ceph集成到OpenStack的Cinder项目中，通过Ceph的RBD快照技术、采用增量备份的方式将数据备份至Ceph集群中。
如附图1所示，该方法包括如下步骤：
S100、将Ceph集成到OpenStack的Cinder项目中，并将Ceph作为OpenStack的存储后端；
S200、配置Ceph为Cinder-backup服务的后端驱动；
S300、在RBD池中创建一个名称为image的Volume(翻译为卷)，并写入基础数据；
S400、通过Ceph的RBD命令导出块设备镜像中的所有数据，即全量备份数据，记为image_backup；
S500、向块设备镜像写入新数据，并通过Ceph的快照技术创建快照rbd/image@snap1；
S600、通过Ceph命令导出image_backup与rbd/image@snap1之间的增量数据，记为image_to_snap1，并备份元数据。
其中，如果要对快照进行读写，需要对相应的快照进行克隆先对进行克隆的快照做保护。在步骤S500中，通过Ceph的快照技术创建快照rbd/image@snap1后，调用Ceph保护命令保护快照rbd/image@snap1，并调用Ceph克隆命令克隆快照rbd/image@snap1。
上上述实施例的基础上，恢复备份时，按照备份文件的先后顺序依次恢复。
本发明的基于Ceph技术的块存储备份方法，底层基于Ceph技术实现，该方法使用OpenStack的Cinder项目提供块存储服务，使用Ceph RBD(RADOS Block Devices)的快照技术进行增量备份，将备份的数据存储在Ceph集群中。由于采用了增量备份的方式，大大增加了数据备份的速度，极大的减少了备份数据占用的存储容量，减少了成本；Ceph集群采用的是多副本机制，再加上优秀的CRUSH(Controlled Replication Under Scalable Hashing)算法，将数据进行分布式存储，从而保证了数据的安全性。
实施例2：
本发明的一种终端，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，上述计算机程序包括程序指令，上述处理器被配置用于调用上述程序指令执行如实施例1公开的基于Ceph技术的块存储备份方法。该终端可为电子计算机。
实施例3：
本发明的一种存储介质，上述介质为计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，程序指令当被处理器执行时上述处理器执行如实施例1公开的基于Ceph技术的块存储备份方法。该存储介质包括机械硬盘、固态硬盘等。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.基于Ceph技术的块存储备份方法，其特征在于通过OpenStack的Cinder项目提供块存储服务，将Ceph集成到OpenStack的Cinder项目中，通过Ceph的RBD快照技术、采用增量备份的方式将数据备份至Ceph集群中。
2.根据权利要求1所述的基于Ceph技术的块存储备份方法，其特征在于将Ceph集成到OpenStack的Cinder项目中，并将Ceph作为OpenStack的存储后端，并配置Ceph为Cinder-backup服务的后端驱动。
3.根据权利要求1所述的基于Ceph技术的块存储备份方法，其特征在于通过Ceph的RBD快照技术、采用增量备份的方法将数据备份至Ceph集群中，包括如下步骤：
创建一个名称为image的块设备镜像，并写入基础数据；
通过Ceph的RBD命令导出块设备镜像中的所有数据，记为image_backup；
向块设备镜像写入新数据，并通过Ceph的快照技术创建快照rbd/image@snap1；
通过Ceph命令导出image_backup与rbd/image@snap1之间的增量数据，记为image_to_snap1，并备份元数据。
4.根据权利要求3所述的基于Ceph技术的块存储备份方法，其特征在于通过Ceph的快照技术创建快照rbd/image@snap1后，调用Ceph保护命令保护所述快照rbd/image@snap1，并调用Ceph克隆命令克隆所述快照rbd/image@snap1。
5.根据权利要求3或4所述的基于Ceph技术的块存储备份方法，其特征在于恢复备份时，按照备份文件的先后顺序依次恢复。
6.根据权利要求3或4所述的基于Ceph技术的块存储备份方法，其特征在于在RBD池中创建一个名称为image的块设备镜像。
7.终端，其特征在于包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令执行如权利要求1-6任一项所述的基于Ceph技术的块存储备份方法。
8.存储介质，其特征在于所述介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，程序指令当被处理器执行时所述处理器执行如权利要求1-6任一项所述的基于Ceph技术的块存储备份方法。
CN201910959183.2A 2019-10-10 2019-10-10 基于Ceph技术的块存储备份方法、终端及存储介质 Pending CN110716829A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910959183.2A CN110716829A (zh) 2019-10-10 2019-10-10 基于Ceph技术的块存储备份方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910959183.2A CN110716829A (zh) 2019-10-10 2019-10-10 基于Ceph技术的块存储备份方法、终端及存储介质

Publications (1)

Publication Number Publication Date
CN110716829A true CN110716829A (zh) 2020-01-21

Family

ID=69211372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910959183.2A Pending CN110716829A (zh) 2019-10-10 2019-10-10 基于Ceph技术的块存储备份方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN110716829A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399774A (zh) * 2020-03-09 2020-07-10 星辰天合（北京）数据科技有限公司 分布式存储***下基于快照的数据处理方法和装置
CN111597078A (zh) * 2020-05-15 2020-08-28 山东汇贸电子口岸有限公司 一种复制ceph块存储数据至对象存储的定时备份方法及***
CN111654410A (zh) * 2020-04-28 2020-09-11 长沙证通云计算有限公司 网关请求监控方法、装置、设备及介质
CN111737048A (zh) * 2020-05-29 2020-10-02 苏州浪潮智能科技有限公司 一种openstack对接存储虚机卷备份处理方法及装置
CN111984469A (zh) * 2020-08-07 2020-11-24 苏州浪潮智能科技有限公司 一种增量快照扩容方法和装置
CN113806145A (zh) * 2021-09-10 2021-12-17 杭州信核数据科技股份有限公司 基于Ceph存储的OpenStack虚拟化平台的备份恢复方法和装置
CN114003439A (zh) * 2021-12-30 2022-02-01 深圳市科力锐科技有限公司 数据备份方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197022A (zh) * 2017-06-02 2017-09-22 华南理工大学 OpenStack存储优化方法及***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197022A (zh) * 2017-06-02 2017-09-22 华南理工大学 OpenStack存储优化方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OSC_7DHD4AD7: "ceph中rbd的增量备份和恢复", 《开源博客，HTTPS://MY.OSCHINA.NET/U/4277648/BLOG/3246222》 *
SOLAR: "openstack-- cinder-backup 利用ceph实现增量备份", 《HTTPS://ZHANGCHENCHEN.GITHUB.IO/2017/05/09/OPENSTACK-CINDER-INCREMENTAL-BACKUP-WITH-CEPH/》 *
杨皓森等: ""面向OpenStack/Ceph的虚拟机备份***研究"", 《计算机***应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399774A (zh) * 2020-03-09 2020-07-10 星辰天合（北京）数据科技有限公司 分布式存储***下基于快照的数据处理方法和装置
CN111399774B (zh) * 2020-03-09 2021-09-14 星辰天合（北京）数据科技有限公司 分布式存储***下基于快照的数据处理方法和装置
CN111654410A (zh) * 2020-04-28 2020-09-11 长沙证通云计算有限公司 网关请求监控方法、装置、设备及介质
CN111597078A (zh) * 2020-05-15 2020-08-28 山东汇贸电子口岸有限公司 一种复制ceph块存储数据至对象存储的定时备份方法及***
CN111737048A (zh) * 2020-05-29 2020-10-02 苏州浪潮智能科技有限公司 一种openstack对接存储虚机卷备份处理方法及装置
CN111737048B (zh) * 2020-05-29 2022-06-10 苏州浪潮智能科技有限公司 一种openstack对接存储虚机卷备份处理方法及装置
CN111984469A (zh) * 2020-08-07 2020-11-24 苏州浪潮智能科技有限公司 一种增量快照扩容方法和装置
CN111984469B (zh) * 2020-08-07 2022-08-19 苏州浪潮智能科技有限公司 一种增量快照扩容方法和装置
CN113806145A (zh) * 2021-09-10 2021-12-17 杭州信核数据科技股份有限公司 基于Ceph存储的OpenStack虚拟化平台的备份恢复方法和装置
CN114003439A (zh) * 2021-12-30 2022-02-01 深圳市科力锐科技有限公司 数据备份方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110716829A (zh) 基于Ceph技术的块存储备份方法、终端及存储介质
JP6495568B2 (ja) 増分ｓｑｌサーバデータベースバックアップを実行する方法、コンピュータ可読記憶媒体およびシステム
US20200329101A1 (en) Enhanced network attached storage (nas) services interfacing to cloud storage
US20210334002A1 (en) Redundant distributed data storage system
US8856080B2 (en) Backup using metadata virtual hard drive and differential virtual hard drive
US8015157B2 (en) File sharing system, file server, and method for managing files
US20200293571A1 (en) Targeted search of backup data using facial recognition
JP4323719B2 (ja) ステージ・データにスパース・ファイル技術を使用し、次いでリモート・ストレージに格納するシステムおよび方法
CN101398775B (zh) 虚拟存档技术
US8433863B1 (en) Hybrid method for incremental backup of structured and unstructured files
US12019665B2 (en) Targeted search of backup data using calendar event data
JP2006209636A (ja) スナップショット維持方法
CN106407040A (zh) 一种远程数据复制方法及***
CN102685194B (zh) 存储设备迁移和重定向的方法和***
US11669261B2 (en) Skipping data backed up in prior backup operations
JP2016051294A (ja) バックアップ方法、リストア方法、ストレージ・システムおよびプログラム
US10802928B2 (en) Backup and restoration of file system
CN104714858A (zh) 数据备份方法及装置、数据恢复方法及装置
CN108351821A (zh) 数据恢复方法及存储设备
JP5868986B2 (ja) アイテム単位でのリカバリー
CN104216801A (zh) 一种面向虚拟化环境的数据复制方法及***
CN111913663A (zh) 存储卷在线迁移的方法、装置和存储卷在线迁移的***
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储***
CN112800019A (zh) 基于Hadoop分布式文件***的数据备份方法及***
US9251020B1 (en) Systems and methods for file-level replication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121

RJ01 Rejection of invention patent application after publication