CN111767166A - 数据备份的方法和装置 - Google Patents
数据备份的方法和装置 Download PDFInfo
- Publication number
- CN111767166A CN111767166A CN201910256696.7A CN201910256696A CN111767166A CN 111767166 A CN111767166 A CN 111767166A CN 201910256696 A CN201910256696 A CN 201910256696A CN 111767166 A CN111767166 A CN 111767166A
- Authority
- CN
- China
- Prior art keywords
- files
- backup
- client
- server
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004891 communication Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000012795 verification Methods 0.000 claims description 52
- 238000011084 recovery Methods 0.000 claims description 35
- 238000004806 packaging method and process Methods 0.000 claims description 22
- 238000012856 packing Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明数据备份的方法和装置，属于数据备份技术领域，本发明提供备份服务器发送连接请求至客户端，备份服务器与客户端建立通讯连接后发送获取备份文件请求；客户端将其***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；客户端将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；客户端将所有校验完成后的打包文件发送至备份服务器。本发明备份速度快，占空备份服务器空间少，降低锁表现象，备份的执行可以有效的得到落实。
Description
技术领域
本发明涉及数据备份技术领域，具体涉及数据备份的方法和装置。
背景技术
数据备份是为防止***出现误操作、硬件故障或***故障导致的数据丢失，是容灾的基础，现有的***备份中，通常采用整个***的单一备份，数据库备份方案传统，数据备份时经常出现锁表，且占用空间较大，不便与多机器管理，备份的速度较慢且备份的执行得不到可靠性落实。
发明内容
本发明提供了数据备份的方法和装置，目的在于解决上述技术问题，解决数据备份时经常出现锁表，且占用空间较大，不便与多机器管理，备份的速度较慢且备份的执行得不到可靠性落实的问题。
为实现上述目的，本发明的技术方案如下：
一种数据备份的方法，所述方法包括：
备份服务器发送连接请求至客户端，备份服务器与客户端建立通讯连接后备份服务器向客户端发送获取备份文件请求；
客户端将其***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
客户端将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
客户端将所有校验完成后的打包文件发送至备份服务器。
所述客户端将所有校验完成后的打包文件发送至备份服务器之后，还包括：
客户端将提取出***内归类后的文件的MD5值发送到备份服务器中；
备份服务器使用所述***内归类后的文件的MD5值分别对传输至备份服务器的对应的所述打包文件进行校验；
备份服务器校验完成无误后发送校验信息给客户端。
所述备份服务器校验完成无误后发送校验信息给客户端之后，还包括：
备份服务器将校验完成后的所述打包文件回传至云服务器，所述云服务器对所述打包文件进行多区备份。
客户端将所有校验完成后的打包文件发送至备份服务器之后，还包括：
容灾服务器将客户端的磁盘上的磁盘阵列远程镜像至容灾服务器中的磁盘上；
客户端的磁盘镜像至容灾服务器中的磁盘完成后，容灾服务器获取客户端***内归类后的文件的MD5值，使用所述***内归类后的文件的MD5值对容灾服务器内相应文件进行校验。
所述客户端将其***内需要备份的文件归类为基础文件、应用文件和数据库文件，所述基础文件为***关键配置文件，所述应用文件为应用数据文件，所述数据库文件为存储的主要数据文件。
所述数据库物理备份至容灾服务器中，并在所述容灾服务器中创建增量存储单元，所述容灾服务器对数据库进行增量备份，所述数据库的增量备份备份至所述增量存储单元中。
一种数据备份的方法，所述方法包括：
接收来自于备份服务器的连接请求并与其建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
将***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
将所有校验完成后的打包文件发送给备份服务器。
所述客户端将所有校验完成后的打包文件发送给备份服务器之后，还包括：
将提取出***内归类后的文件的MD5值发送给备份服务器，以便备份服务器对接收到的经校验完成后的打包文件再次进行校验；
接收来自于备份服务器校验完成无误后返回的校验信息。
一种数据备份的装置，所述装置包括：
验证连接模块，用于接收来自于备份服务器的连接请求并与其建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
归类模块，用于将***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
打包校验模块，用于将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
发送模块，用于将所有校验完成后的打包文件发送给备份服务器。
所述发送模块还用于将提取出***内归类后的文件的MD5值发送给备份服务器，以便备份服务器对接收到的经校验完成后的打包文件再次进行校验；
校验确认模块，用于接收来自于备份服务器校验完成无误后返回的校验信息。
本发明的有益效果是，将***内需要备份的文件进行归类，从整体进行功能上划分，再进行类型上划分，采用集中式管理备份，并提取出***内归类后的文件的MD5值校验，归类后的数据大大减少锁表现象，并且归类后可以将需要备份的文件有效保存起来，减少了从整体上备份所带来的占用空间较大的问题，并且归类后的数据由归类完成的数据包组组成，使得备份服务器容易对多机器的备份文件进行管理，本发明备份速度快，占空备份服务器空间少，降低锁表现象，备份的执行可以有效的得到落实。
附图说明
图1是本发明一实施例提供的一种数据备份的方法的方法流程图；
图2是本发明另一实施例提供的一种数据备份的方法的方法流程图；
图3是本发明一实施例提供的一种数据备份的方法的方法流程图；
图4是本发明另一实施例提供的一种数据备份的方法的方法流程图；
图5是本发明一实施例提供的一种数据备份的装置的结构框图；
图6是本发明另一实施例提供的一种数据备份的装置的结构框图；
图7是本发明一实施例提供的一种数据备份的装置的结构框图；
图8本发明再一实施例提供的一种数据备份的装置的结构框图；
图9是本发明一实施例提供的优选的数据备份的流程图。
具体实施方式
首先需要说明的是，在本发明各个实施例中，所涉及的术语为：
备份服务器100，可以是局域网内的用于存储备份文件的服务器，也可以是互联网内的用于存储备份的服务器；其备份方式可以为LAN备份、LAN Free备份和SAN Server-Free备份。
云服务器，可以是阿里云，百度云等云存储备份服务商提供的服务器。
客户端110,可以是一个或多个与备份服务器100连接的客户端110，客户端110可以和备份服务器100建立连接，并将自身***内需要用于容灾的文件发送并与服务器100对接的设备。
容灾服务器，为二级备份服务器，容灾服务器为容灾***内的备份服务器，容灾服务器更加强调处理外界环境对***的影响，特别是灾难性事件对整个it节点的影响，提供节点级别的***恢复功能。当一些服务器不可用时可以切换到可用的备用的该容灾服务器上，提高服务的可用性。
下面，将通过几个具体的实施例对本发明实施例提供的数据备份的方案进行详细介绍说明。
请参考图1，其示出了本发明一实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法，包括：
步骤201，备份服务器发送连接请求至客户端，备份服务器与客户端建立通讯连接后备份服务器向客户端发送获取备份文件请求；
步骤202，客户端将其***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
其中，文件的归类可以归类为***配置文件、应用数据文件、数据库文件、以及增量文件等类型的文件。
步骤203，客户端将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
步骤204，客户端将所有校验完成后的打包文件发送至备份服务器。
综上所述，客户端110与备份服务器100建立通讯连接可以在客户端110将需要备份的文件打包完成之前，也可以是打包完成之后；客户端110首先将所有需要备份的文件进行归类，并提取出归类的文件的MD5值，MD5值用于确认文件的完整性；客户端110的***将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的***文件或其他类型的文件分别归类打包，可以有效提高数据的打包效率，并减少锁表现象，并且对容易锁表的文件单独进行打包，可以避免打包大文件等其他文件时，影响打包效率的问题，可以单独处理容易锁表的文件，打包效率大大增加；客户端110将所有文件打包完成后，使用对文件进行归类时的MD5值对打包好的文件进行校验，确认打包后的文件的完整性，避免因磁盘损坏、***故障或打包时出现的故障等导致的文件的不完整，数据的改变问题；客户端110将经过MD5值校验的完整文件全部传输至备份服务器100中进行备份。本发明备份速度快，占用备份服务器100空间少，降低锁表现象，备份的执行可以有效的得到落实。
进一步的，备份服务器发送连接请求至客户端也可以为客户端发送连接请求至备份服务器或备份服务器发送连接请求至客户端；通讯连接请求可以由客户端110发送，客户端110与备份服务器100建立通讯连接；或通讯连接请求由备份服务器100发送，备份服务器100与客户端110建立通讯连接；备份服务器100发送获取备份文件请求或客户端发送上传备份请求，从而备份服务器进入接收备份的准备状态，客户端将备份文件发送至备份服务器内存储。
进一步的，请参考图2，其示出了本发明另一个实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法，还包括：
步骤205，客户端将提取出***内归类后的文件的MD5值发送到备份服务器中；
步骤206，备份服务器使用所述***内归类后的文件的MD5值分别对传输至备份服务器的对应的所述打包文件进行校验；
步骤207，备份服务器校验完成无误后发送校验信息给客户端。
上述实施例中，客户端110将所有文件的MD5值发送至备份服务器中，备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验，避免客户端110将所有备份文件传输至备份服务器中时，由于传输错误或存储错误引起的备份文件的缺失、错误或改变，再次校验客户端110传输至备份服务器的所有备份文件，使得所有备份文件稳定准确。
备份服务器100返回校验信息，可令客户端110知晓其传输的备份文件是否全部安全的存储于备份服务器100中，若传输于备份服务器100中的某些文件损坏，可以令客户端110重新提交损坏的文件，避免了备份文件中的某文件损坏，需要客户端重新上传全部备份文件，节省了备份时间，以及稳定性。
进一步的，请参考图3，其示出了本发明一个实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法，还包括：
步骤208，备份服务器将校验完成后的所述打包文件回传至云服务器，
步骤209，所述云服务器对所述打包文件进行多区备份。
上述实施例中，为了更为稳定的保护备份数据，在增设备份服务器100的基础上，将备份服务器100内的备份文件再次存储至云服务器，使用供应商提供的云服务器有效的保护备份文件，在云服务器中，创建多个分区，每个分区属于云服务器供应商的不同地区的云服务器中，多地点保护备份文件，避免因区域停电，或自然灾害引起的备份丢失或暂时断连的问题。
其中，多区备份可以为在一个服务器中，将备份文件存储于多个分区中，多区备份也可以是，备份文件存储于不同地区的多个服务器中的一个或多个存储区中，避免某地区的停网或其他自然灾害引起的数据丢失。
进一步的，请参考图4，其示出了本发明另一实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法，还包括：
步骤210，容灾服务器将客户端的磁盘上的磁盘阵列远程镜像至容灾服务器中的磁盘上；
步骤211，客户端的磁盘镜像至容灾服务器中的磁盘完成后，容灾服务器获取客户端***内归类后的文件的MD5值；
步骤212，使用所述***内归类后的文件的MD5值对容灾服务器内相应文件进行校验；
步骤213，容灾服务器返回对容灾服务器内对相应文件进行校验的校验结果。
上述实施例中，若客户端110为给用户提供服务的服务器，为避免客户端110故障或网络故障，引起的客户端110对用户服务的中断，在客户端110外还设立有容灾服务器，用户镜像客户端110内所有文件，当客户端110出现故障时，容灾服务器可以及时替换客户端110，继续为用户提供服务，稳定客户端110服务的连续性。
进一步的，请参考图9，其示出了本发明一个实施例提供的一种数据备份的方法的流程图。该数据备份的方法，还包括：
所述客户端将其***内需要备份的文件归类为基础文件、应用文件和数据库文件，所述基础文件为***关键配置文件，所述应用文件为应用数据文件，所述数据库文件为存储的主要数据文件。
上述实施例中，为了优化备份文件的打包效率，将需要备份的文件归类为基础文件、应用文件和数据库文件，可以有效提升备份文件的打包效率，及有效减少锁表问题及锁表问题出现后的处理效率，使得备份的执行得到可靠性的落实。
进一步的，该数据备份的方法，还包括：
所述数据库物理备份至容灾服务器中，并在所述容灾服务器中创建增量存储单元，所述容灾服务器对数据库进行增量备份，所述数据库的增量备份备份至所述增量存储单元中。
上述实施例中，创建增量存储单元可将***内随时间增加的需要备份的增量文件单存起来，容灾服务器可对增量的文件进行增量备份，由于增量备份文件量随时间增加，增加文件量较少，可实时备份至容灾服务器中，在客户端瘫痪时，可及时将客户端的服务端口切换至容灾服务器中，有效避免因客户端瘫痪导致的服务终止。
请参考图1，其示出了本发明一实施例提供的一种数据备份的方法的方法流程技术方案。用于客户端之中，所述方法包括：
接收来自于备份服务器的连接请求并与其建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
将***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
将所有校验完成后的打包文件发送给备份服务器。
上述实施例中，客户端与备份服务器建立通讯连接可以在客户端将需要备份的文件打包完成之前，也可以是打包完成之后；客户端首先将所有需要备份的文件进行归类，并提取出归类的文件的MD5值，MD5值用于确认文件的完整性；客户端的***将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的***文件或其他类型的文件分别归类打包，可以有效提高数据的打包效率，并减少锁表现象，并且对容易锁表的文件单独进行打包，可以避免打包大文件等其他文件时，影响打包效率的问题，可以单独处理容易锁表的文件，打包效率大大增加；客户端将所有文件打包完成后，使用对文件进行归类时的MD5值对打包好的文件进行校验，确认打包后的文件的完整性，避免因磁盘损坏、***故障或打包时出现的故障等导致的文件的不完整，数据的改变问题；客户端将经过MD5值校验的完整文件全部传输至备份服务器中进行备份。本发明备份速度快，占空备份服务器空间少，降低锁表现象，备份的执行可以有效的得到落实。
进一步的，所述方法还包括：
将提取出***内归类后的文件的MD5值发送给备份服务器，以便备份服务器对接收到的经校验完成后的打包文件再次进行校验；
接收来自于备份服务器校验完成无误后返回的校验信息。
上述实施例中，客户端将所有文件的MD5值发送至备份服务器中，备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验，避免客户端将所有备份文件传输至备份服务器中时，由于传输错误或存储错误引起的备份文件的缺失、错误或改变，再次校验客户端传输至备份服务器的所有备份文件，使得所有备份文件稳定准确。
备份服务器100返回校验信息，可令客户端110知晓其传输的备份文件是否全部安全的存储于备份服务器100中，若传输于备份服务器100中的某些文件损坏，可以令客户端110重新提交损坏的文件，避免了备份文件中的某文件损坏，需要客户端重新上传全部备份文件，节省了备份时间，以及稳定性。
请参考图7，其示出了本发明再一实施例提供的一种数据备份的装置的结构框架图，该数据备份的装置应用于客户端中，该数据备份的装置，包括：
验证连接模块111，用于接收来自于备份服务器的连接请求并与其建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
归类模块112，用于将***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
打包校验模块113，用于将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
发送模块114，用于将所有校验完成后的打包文件发送给备份服务器。
上述实施例中，客户端110与备份服务器100通过验证连接模块111建立通讯连接可以在客户端110将需要备份的文件打包完成之前，也可以是打包完成之后；客户端110首先通过归类模块112将所有需要备份的文件进行归类，打包校验模块113提取出归类的文件的MD5值，打包校验模块113使用该MD5值用于确认文件的完整性；客户端110的***将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的***文件或其他类型的文件分别归类打包，可以有效提高数据的打包效率，并减少锁表现象，并且对容易锁表的文件单独进行打包，可以避免打包大文件等其他文件时，影响打包效率的问题，可以单独处理容易锁表的文件，打包效率大大增加；客户端110将所有文件打包完成后，使用打包校验模块113对打包好的文件进行校验，确认打包后的文件的完整性，避免因磁盘损坏、***故障或打包时出现的故障等导致的文件的不完整，数据的改变问题；客户端110将经过MD5值校验的完整文件使用发送模块114全部传输至备份服务器100中进行备份。本发明备份速度快，占用备份服务器100空间少，降低锁表现象，备份的执行可以有效的得到落实。
进一步的，请参考图8，还包括：所述发送模块114还用于将提取出***内归类后的文件的MD5值发送给备份服务器，以便备份服务器对接收到的经校验完成后的打包文件再次进行校验；
验证连接模块111，还用于接收来自于备份服务器校验完成无误后返回的校验信息。
上述实施例中，客户端110通过发送模块114将所有文件的MD5值发送至备份服务器中，备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验，避免客户端110将所有备份文件传输至备份服务器中时，由于传输错误或存储错误引起的备份文件的缺失、错误或改变，再次校验客户端110传输至备份服务器的所有备份文件，使得所有备份文件稳定准确。
备份服务器100返回校验信息经验证连接模块111接收，可令客户端110知晓其传输的备份文件是否全部安全的存储于备份服务器100中，若传输于备份服务器100中的某些文件损坏，可以令客户端110重新提交损坏的文件，避免了备份文件中的某文件损坏，需要客户端重新上传全部备份文件，节省了备份时间，以及稳定性。
请参考图1，其示出了本发明一实施例提供的一种数据备份的方法的方法流程技术方案。用于备份服务器端之中，所述方法包括：
向客户端发送连接请求，已与客户端建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
获取客户端内经校验完成后的打包文件，所述打包文件是客户端将其***内需要备份的文件归类后进行打包的打包文件，所述客户端内校验打包文件是客户端将其***内需要备份的文件进行归类并提取出***内归类后的文件的MD5值，以所述MD5值对打包文件后的文件进行校验。
上述实施例中，客户端与备份服务器建立通讯连接可以在，客户端将需要备份的文件打包完成之前，也可以是打包完成之后；客户端首先将所有需要备份的文件进行归类，并提取出归类的文件的MD5值，MD5值用于确认文件的完整性；客户端的***将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的***文件或其他类型的文件分别归类打包，可以有效提高数据的打包效率，并减少锁表现象，并且对容易锁表的文件单独进行打包，可以避免打包大文件等其他文件时，影响打包效率的问题，可以单独处理容易锁表的文件，打包效率大大增加；客户端将所有文件打包完成后，使用对文件进行归类时的MD5值对打包好的文件进行校验，确认打包后的文件的完整性，避免因磁盘损坏、***故障或打包时出现的故障等导致的文件的不完整，数据的改变问题；客户端将经过MD5值校验的完整文件全部传输至备份服务器中进行备份。本发明备份速度快，占空备份服务器空间少，降低锁表现象，备份的执行可以有效的得到落实。
进一步的，所述方法还包括：
获取经客户端提取出其***内归类后的文件的MD5值，并使用所述***内归类后的文件的MD5值分别对获取的打包文件进行校验。
上述实施例中，客户端将所有文件的MD5值发送至备份服务器中，备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验，避免客户端将所有备份文件传输至备份服务器中时，由于传输错误或存储错误引起的备份文件的缺失、错误或改变，再次校验客户端传输至备份服务器的所有备份文件，使得所有备份文件稳定准确。
请参考图5，其示出了本发明再一实施例提供的一种数据备份的装置的结构框架图，该数据备份的装置应用于备份服务器中，该数据备份的装置，包括：
连接模块101，用于向客户端发送连接请求，已与客户端建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
存储模块102，用于获取客户端内经校验完成后的打包文件，所述打包文件是客户端将其***内需要备份的文件归类后进行打包的打包文件，所述客户端内校验打包文件是客户端将其***内需要备份的文件进行归类并提取出***内归类后的文件的MD5值，以所述MD5值对打包文件后的文件进行校验。
上述实施例中，客户端与备份服务器通过连接模块101建立通讯连接，可以在客户端将需要备份的文件打包完成之前，也可以是打包完成之后；客户端首先将所有需要备份的文件进行归类，并提取出归类的文件的MD5值，MD5值用于确认文件的完整性；客户端的***将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的***文件或其他类型的文件分别归类打包，可以有效提高数据的打包效率，并减少锁表现象，并且对容易锁表的文件单独进行打包，可以避免打包大文件等其他文件时，影响打包效率的问题，可以单独处理容易锁表的文件，打包效率大大增加；客户端将所有文件打包完成后，使用对文件进行归类时的MD5值对打包好的文件进行校验，确认打包后的文件的完整性，避免因磁盘损坏、***故障或打包时出现的故障等导致的文件的不完整，数据的改变问题；客户端将经过MD5值校验的完整文件全部传输至备份服务器中的存储模块102进行备份。本发明备份速度快，占空备份服务器空间少，降低锁表现象，备份的执行可以有效的得到落实。
进一步的，请参考图6，还包括：服务器校验模块103，用于获取经客户端提取出其***内归类后的文件的MD5值，并使用所述***内归类后的文件的MD5值分别对获取的打包文件进行校验。
上述实施例中，客户端将所有文件的MD5值发送至备份服务器中，备份服务器接收到所有文件后使用服务器校验模块103对所有文件的MD5值分别对文件进行校验，避免客户端将所有备份文件传输至备份服务器中时，由于传输错误或存储错误引起的备份文件的缺失、错误或改变，再次校验客户端传输至备份服务器的所有备份文件，使得所有备份文件稳定准确。
综上所述，本发明的具体构思为以下步骤：
1.提取重要的配置文件和数据文件
2.多机器备份文件的同时检测MD5值进行校验
3.多机器同时进行备份，检测是否成功
4.合并备份完成时的二次校验
5.生成备份压缩文档
6.同步文件至存储***
参考图9，本发明的具体构思及优选实施方式为以下步骤：
1.备份计划开始执行，根据业务机器执行不用的备份脚本，通过ansible分组挑选不同分组的机器执行的相对应脚本。
2.按业务划分的备份类形如下分类执行
(1)基础备份：获取***关键参数，列出***关键配置文件，进行tar打包
(2)应用备份：打系应用和依赖包，应用数据文件，进行tar打包
(3)数据库备份：按需求使用innobackupex进行物理备份，并添加增量biglog备份，最好把相应的文件tar打包
3.备份操作完成后进行文件校验
4.所有备份文件回传到备份服务器
5.备份服务器校验备份文件的正确定，并确认完成所有备份任务
6.最后回传到oss文件储，进行多区备份
备份服务器定时进行磁盘快照，做容灾处理
上述具体构思及优选实施方式可作为方便本领域技术人员理解以及实施。
需要说明的是：上述实施例提供的数据备份的装置在数据备份时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将数据备份的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据备份的装置与数据备份的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据备份的方法，其特征在于，所述方法包括：
备份服务器发送连接请求至客户端，备份服务器与客户端建立通讯连接后备份服务器向客户端发送获取备份文件请求；
客户端将其***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
客户端将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
客户端将所有校验完成后的打包文件发送至备份服务器。
2.如权利要求1所述一种数据备份的方法，其特征在于，所述客户端将所有校验完成后的打包文件发送至备份服务器之后，还包括：
客户端将提取出***内归类后的文件的MD5值发送到备份服务器中；
备份服务器使用所述***内归类后的文件的MD5值分别对传输至备份服务器的对应的所述打包文件进行校验；
备份服务器校验完成无误后发送校验信息给客户端。
3.如权利要求2所述一种数据备份的方法，其特征在于，所述备份服务器校验完成无误后发送校验信息给客户端之后，还包括：
备份服务器将校验完成后的所述打包文件回传至云服务器，所述云服务器对所述打包文件进行多区备份。
4.如权利要求1所述一种数据备份的方法，其特征在于，客户端将所有校验完成后的打包文件发送至备份服务器之后，还包括：
容灾服务器将客户端的磁盘上的磁盘阵列远程镜像至容灾服务器中的磁盘上；
客户端的磁盘镜像至容灾服务器中的磁盘完成后，容灾服务器获取客户端***内归类后的文件的MD5值，使用所述***内归类后的文件的MD5值对容灾服务器内相应文件进行校验。
5.如权利要求1所述一种数据备份的方法，其特征在于，所述客户端将其***内需要备份的文件归类为基础文件、应用文件和数据库文件，所述基础文件为***关键配置文件，所述应用文件为应用数据文件，所述数据库文件为存储的主要数据文件。
6.如权利要求5所述一种数据备份的方法，其特征在于，所述数据库物理备份至容灾服务器中，并在所述容灾服务器中创建增量存储单元，所述容灾服务器对数据库进行增量备份，所述数据库的增量备份备份至所述增量存储单元中。
7.一种数据备份的方法，其特征在于，所述方法包括：
接收来自于备份服务器的连接请求并与其建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
将***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
将所有校验完成后的打包文件发送给备份服务器。
8.如权利要求7所述一种数据备份的方法，其特征在于，所述客户端将所有校验完成后的打包文件发送给备份服务器之后，还包括：
将提取出***内归类后的文件的MD5值发送给备份服务器，以便备份服务器对接收到的经校验完成后的打包文件再次进行校验；
接收来自于备份服务器校验完成无误后返回的校验信息。
9.一种数据备份的装置，其特征在于，所述装置包括：
验证连接模块，用于接收来自于备份服务器的连接请求并与其建立通讯连接，所述连接请求包括通讯连接请求和获取备份文件请求；
归类模块，用于将***内需要备份的文件进行归类，并提取出***内归类后的文件的MD5值；
打包校验模块，用于将所述归类后的文件分别进行打包，并将打包后的打包文件使用所述***内归类后的文件的MD5值分别对对应的所述打包文件进行校验；
发送模块，用于将所有校验完成后的打包文件发送给备份服务器。
10.如权利要求9所述一种数据备份的装置，其特征在于，所述发送模块还用于将提取出***内归类后的文件的MD5值发送给备份服务器，以便备份服务器对接收到的经校验完成后的打包文件再次进行校验；
验证连接模块，还用于接收来自于备份服务器校验完成无误后返回的校验信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256696.7A CN111767166A (zh) | 2019-04-01 | 2019-04-01 | 数据备份的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910256696.7A CN111767166A (zh) | 2019-04-01 | 2019-04-01 | 数据备份的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767166A true CN111767166A (zh) | 2020-10-13 |
Family
ID=72718701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256696.7A Pending CN111767166A (zh) | 2019-04-01 | 2019-04-01 | 数据备份的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767166A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650621A (zh) * | 2020-12-24 | 2021-04-13 | 浪潮云信息技术股份公司 | 一种基于文件存储的备份实现方法 |
| CN112835747A (zh) * | 2021-02-24 | 2021-05-25 | 上海泰宇信息技术股份有限公司 | 一种无客户端远程备份方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908976A (zh) * | 2010-07-28 | 2010-12-08 | 新太科技股份有限公司 | 一种双机交易文件备份安全策略设计方法 |
| US20110261395A1 (en) * | 2010-04-26 | 2011-10-27 | Samsung Electronics Co., Ltd. | Setting apparatus for setting image forming apparatus, method for storing backup file and setting method thereof |
| CN102629222A (zh) * | 2011-11-28 | 2012-08-08 | 江苏奇异点网络有限公司 | 基于类型可定义的可编辑文档自适应备份方法 |
| CN104468035A (zh) * | 2014-11-13 | 2015-03-25 | 北京航空航天大学 | 一种分布式pos数据可靠性传输***及方法 |
| CN105095300A (zh) * | 2014-05-16 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 一种数据库备份方法及*** |
| CN105159797A (zh) * | 2015-08-28 | 2015-12-16 | 浪潮通用软件有限公司 | 一种基于oracle数据库备份及恢复的方法 |
| CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
| CN108737517A (zh) * | 2018-05-07 | 2018-11-02 | 安徽车鑫保汽车销售有限公司 | 一种数据处理分类存储*** |
-
2019
- 2019-04-01 CN CN201910256696.7A patent/CN111767166A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110261395A1 (en) * | 2010-04-26 | 2011-10-27 | Samsung Electronics Co., Ltd. | Setting apparatus for setting image forming apparatus, method for storing backup file and setting method thereof |
| CN101908976A (zh) * | 2010-07-28 | 2010-12-08 | 新太科技股份有限公司 | 一种双机交易文件备份安全策略设计方法 |
| CN102629222A (zh) * | 2011-11-28 | 2012-08-08 | 江苏奇异点网络有限公司 | 基于类型可定义的可编辑文档自适应备份方法 |
| CN105095300A (zh) * | 2014-05-16 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 一种数据库备份方法及*** |
| CN104468035A (zh) * | 2014-11-13 | 2015-03-25 | 北京航空航天大学 | 一种分布式pos数据可靠性传输***及方法 |
| CN105159797A (zh) * | 2015-08-28 | 2015-12-16 | 浪潮通用软件有限公司 | 一种基于oracle数据库备份及恢复的方法 |
| CN106250270A (zh) * | 2016-07-28 | 2016-12-21 | 四川新环佳科技发展有限公司 | 一种云计算平台下的数据备份方法 |
| CN108737517A (zh) * | 2018-05-07 | 2018-11-02 | 安徽车鑫保汽车销售有限公司 | 一种数据处理分类存储*** |
Non-Patent Citations (3)
| Title |
|---|
| YINJIN FU 等: "Application-Aware Local-Global Source Deduplication for Cloud Backup Services of Personal Storage", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》, vol. 25, no. 5, pages 1155 - 1165, XP011544932, DOI: 10.1109/TPDS.2013.167 * |
| 朱艳 等: "新疆天文台天文观测数据传输日志***设计与实现", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/53.1189.P.20181024.0904.002.HTML》, pages 1 - 11 * |
| 邱爽: "多元存储平台与多设备间数据备份与同步的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, pages 138 - 71 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112650621A (zh) * | 2020-12-24 | 2021-04-13 | 浪潮云信息技术股份公司 | 一种基于文件存储的备份实现方法 |
| CN112835747A (zh) * | 2021-02-24 | 2021-05-25 | 上海泰宇信息技术股份有限公司 | 一种无客户端远程备份方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10895996B2 (en) | Data synchronization method, system, and apparatus using a work log for synchronizing data greater than a threshold value | |
| CN110647580B (zh) | 分布式容器集群镜像管理主节点、从节点、***及方法 | |
| US11397647B2 (en) | Hot backup system, hot backup method, and computer device | |
| CN111124755A (zh) | 集群节点的故障恢复方法、装置、电子设备及存储介质 | |
| CN105550073A (zh) | 数据库备份方法及其*** | |
| CN103780417A (zh) | 一种基于云硬盘的数据库故障转移方法及装置 | |
| CN105553783A (zh) | 一种配置双机资源切换的自动化测试方法 | |
| CN106452836B (zh) | 主节点设置方法及装置 | |
| CN111767166A (zh) | 数据备份的方法和装置 | |
| CN108352995B (zh) | 一种smb业务故障处理方法和存储设备 | |
| CN112214357A (zh) | 一种hdfs数据备份恢复***及备份恢复方法 | |
| CN115658390A (zh) | 容器容灾方法、***、装置、设备及计算机可读存储介质 | |
| CN110620798B (zh) | Ftp连接的控制方法、***、设备和存储介质 | |
| CN105490847A (zh) | 一种私有云存储***中节点故障实时检测及处理方法 | |
| CN113965576A (zh) | 基于容器的大数据采集方法、装置、存储介质和设备 | |
| CN117370316A (zh) | 数据库的高可用管理方法和装置、电子设备及存储介质 | |
| CN111404780B (zh) | 一种远程直接存储器访问网络集群的功能测试方法和装置 | |
| CN115686368A (zh) | 区块链网络的节点的存储扩容的方法、***、装置和介质 | |
| CN113364633B (zh) | 一种面向高机动环境的容器集群动态构建方法 | |
| CN116192616A (zh) | 基于微服务的电力备调***处理方法、装置和计算机设备 | |
| CN112491633B (zh) | 一种多节点集群的故障恢复方法、***及相关组件 | |
| EP3066848B1 (en) | Method and apparatus for failure recovery in a machine-to-machine network | |
| CN108429813B (zh) | 云存储服务的容灾方法、***及终端 | |
| CN105786645A (zh) | 一种操作***的备份、还原方法及装置 | |
| KR101162959B1 (ko) | 데이터 백업 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240531 |