CN106354583B - 一种MySQL数据库的热备份方法与*** - Google Patents

一种MySQL数据库的热备份方法与*** Download PDF

Info

Publication number
CN106354583B
CN106354583B CN201610764307.8A CN201610764307A CN106354583B CN 106354583 B CN106354583 B CN 106354583B CN 201610764307 A CN201610764307 A CN 201610764307A CN 106354583 B CN106354583 B CN 106354583B
Authority
CN
China
Prior art keywords
backup
log
mysql database
data
serial number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610764307.8A
Other languages
English (en)
Other versions
CN106354583A (zh
Inventor
范华
王子骏
樊立明
马立珂
杨海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU DINGJIA COMPUTER TECHNOLOGY Co Ltd
Original Assignee
GUANGZHOU DINGJIA COMPUTER TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU DINGJIA COMPUTER TECHNOLOGY Co Ltd filed Critical GUANGZHOU DINGJIA COMPUTER TECHNOLOGY Co Ltd
Priority to CN201610764307.8A priority Critical patent/CN106354583B/zh
Publication of CN106354583A publication Critical patent/CN106354583A/zh
Application granted granted Critical
Publication of CN106354583B publication Critical patent/CN106354583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据库的备份和恢复技术领域，尤其涉及一种MySQL数据库的热备份方法，包括：在备份开始时，先检查MySQL数据库的日志序列号，然后备份MySQL数据库的数据文件；在备份数据文件的过程中，同时循环检查MySQL数据库重做日志，对备份过程中数据文件的修改进行备份，将重做日志中日志序列号大于备份开始时日志序列号的日志记录到一个文件，存储到共享存储设备；备份完成后，记录此时的日志序列号为下一次备份作准备。本发明还提供一种MySQL数据库的热备份***。相对于现有技术，本发明技术方案备份速度快，恢复速度快，克服了备份前必须停止运行MySQL数据库的缺点，且对MySQL数据库业务的影响较小。

Description

一种MySQL数据库的热备份方法与***
技术领域
本发明涉及数据库的备份和恢复技术领域，尤其涉及一种MySQL数据库的热备份方法与***。
背景技术
目前，MySQL数据库的主要备份方式是逻辑备份和物理备份。
逻辑备份主要通过查询MySQL数据库的表结构和数据，将它们转换成相应的SQL语句，存储到一个文本文件中。其属于热备份，备份时数据库仍可使用，但因为需要占用MySQL数据库服务器资源进行查询，所以当数据量较大时，逻辑备份的速度过慢，而且会对数据库的业务造成较大影响。因为是备份成SQL语句，所以恢复时是重新执行一遍SQL语句，恢复速度慢。
物理备份主要是直接从磁盘复制数据文件作为备份。其备份速度快，恢复速度快，但属于冷备份，不能保证数据的一致性，所以备份时需要停止数据库的运作保持备份数据的一致性。
发明内容
本发明的目的在于解决现有物理备份技术需要停止数据库的技术问题。
为了实现上述目的，本发明提供一种MySQL数据库的热备份方法，包括以下步骤：
S101：在备份开始时，先检查MySQL数据库的日志序列号，然后备份MySQL数据库的数据文件；
S201：在备份数据文件的过程中，同时循环检查MySQL数据库重做日志，对备份过程中数据文件的修改进行备份；
S105：备份完成后，记录此时的日志序列号为下一次备份作准备。
优选的，S101步骤中通过网络将数据文件以去除重复数据块的方式存储到共享存储设备。
优选的，S201步骤中将重做日志中日志序列号大于备份开始时日志序列号的日志记录到一个文件，存储到共享存储设备。
优选的，在S101步骤之后，还包括S102步骤:以上一次的备份作为基础备份选择是否进行增量备份。
优选的，在S102步骤中，选择不进行增量备份，则进入步骤S103：备份MySQL数据库的数据文件，然后进入步骤S105。
优选的，在S102步骤中，选择进行增量备份，则进入步骤S104：备份数据文件中日志序列号大于基础备份的数据页，然后进入步骤S105。
为了实现上述目的，本发明还提供一种MySQL数据库的热备份***，包括：
物理备份单元，用于备份MySQL数据库的数据文件；
日志监控单元，用于在备份过程中循环检查MySQL数据库的重做日志；
恢复单元，用于当MySQL数据库宕机时，将备份的数据从共享存储设备传输到本机数据库目录中，根据备份的重做日志对数据文件进行恢复。
优选的，所述物理备份单元将数据文件以去除重复数据块的方式存储到共享存储设备。
优选的，在增量备份状况下，所述物理备份单元则将数据文件中日志序列号比基础备份大的数据页备份。
优选的，发生数据修改状况下，所述日志监控单元将日志序列号大于备份开始时日志序列号的重做日志备份。
相对于现有技术，本发明的有益效果如下：
与普通的物理备份方法相比，本发明技术方案保留了物理备份速度快，恢复速度快的优点，克服了它备份前必须停止运行MySQL数据库的缺点。与逻辑备份相比，本发明技术方案备份速度快，而且由于与MySQL数据库服务器交互较少，占用服务器资源少，所以对MySQL数据库业务的影响较小。
本发明技术方案使用去除重复数据块的方式存储备份数据以及可以进行增量备份，极大地节省了备份所需存储空间。
附图说明
图1为本发明一实施例的方法流程示意图。
图2为本发明一实施例的***结构示意图。
具体实施方式
为了便于对本发明进行理解，下面结合附图及具体实施例对本发明作进一步描述。需要说明的是，在不相冲突的情况下，下述各实施例之间、以及各技术特征之间可以任意组合形成新的实施方案。
如图1所示，一种MySQL数据库的热备份方法，包括：
步骤S101：在备份开始时，先检查MySQL数据库的日志序列号，然后备份MySQL数据库的数据文件；
步骤S201：在备份数据文件的过程中，同时循环检查MySQL数据库重做日志，对备份过程中数据文件的修改进行备份，将重做日志中日志序列号大于备份开始时日志序列号的日志记录到一个文件，存储到共享存储设备；
步骤S105：备份完成后，记录此时的日志序列号为下一次备份作准备。
在一具体的实施例中，S101步骤中通过网络将数据文件以去除重复数据块的方式存储到共享存储设备。
在另一具体的实施例中，在S101步骤之后，还包括S102步骤:以上一次的备份作为基础备份选择是否进行增量备份。
在S102步骤中，若选择不进行增量备份，则进入步骤S103：备份MySQL数据库的数据文件，然后进入步骤S105；若选择进行增量备份，则进入步骤S104：备份数据文件中日志序列号大于基础备份的数据页，然后进入步骤S105。
如图2所示，一种MySQL数据库的热备份***，包括：
物理备份单元10，用于备份MySQL数据库的数据文件；
日志监控单元20，用于在备份过程中循环检查MySQL数据库的重做日志；
恢复单元30，用于当MySQL数据库宕机时，将备份的数据从共享存储设备传输到本机数据库目录中，根据备份的重做日志对数据文件进行恢复。
在一具体的实施例中，物理备份单元10将数据文件以去除重复数据块的方式存储到共享存储设备。
在一具体的实施例中，在增量备份状况下，物理备份单元10将数据文件中日志序列号比基础备份大的数据页备份。
在一具体的实施例中，发生数据修改状况下，日志监控单元将日志序列号大于备份开始时日志序列号的重做日志备份。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改，因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (3)

1.一种MySQL数据库的热备份方法，其特征在于，包括以下步骤：
S101：在备份开始时，先检查MySQL数据库的日志序列号，然后备份MySQL数据库的数据文件；
S102:以上一次的备份作为基础备份选择是否进行增量备份；
在S102步骤中，选择不进行增量备份，则进入步骤S103：备份MySQL数据库的数据文件，然后进入步骤S105；
在S102步骤中，选择进行增量备份，则进入步骤S104：备份数据文件中日志序列号大于基础备份的数据页，然后进入步骤S105；
S105：备份完成后，记录此时的日志序列号为下一次备份作准备；
S201：在备份数据文件的过程中，同时循环检查MySQL数据库重做日志，对备份过程中数据文件的修改进行备份；
在S201步骤中，将重做日志中日志序列号大于备份开始时日志序列号的日志记录到一个文件，存储到共享存储设备。
2.如权利要求1所述的MySQL数据库的热备份方法，其特征在于，S101步骤中通过网络将数据文件以去除重复数据块的方式存储到共享存储设备。
3.一种基于MySQL数据库的热备份***，其特征在于，包括：
物理备份单元，用于备份MySQL数据库的数据文件，将数据文件以去除重复数据块的方式存储到共享存储设备，在增量备份状况下，所述物理备份单元则将数据文件中日志序列号比基础备份大的数据页备份；
日志监控单元，用于在备份过程中循环检查MySQL数据库的重做日志；恢复单元，用于当MySQL数据库宕机时，将备份的数据从共享存储设备传输到本机数据库目录中，根据备份的重做日志对数据文件进行恢复，发生数据修改状况下，所述日志监控单元将日志序列号大于备份开始时日志序列号的重做日志备份。
CN201610764307.8A 2016-08-30 2016-08-30 一种MySQL数据库的热备份方法与*** Active CN106354583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610764307.8A CN106354583B (zh) 2016-08-30 2016-08-30 一种MySQL数据库的热备份方法与***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610764307.8A CN106354583B (zh) 2016-08-30 2016-08-30 一种MySQL数据库的热备份方法与***

Publications (2)

Publication Number Publication Date
CN106354583A CN106354583A (zh) 2017-01-25
CN106354583B true CN106354583B (zh) 2019-09-17

Family

ID=57855981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610764307.8A Active CN106354583B (zh) 2016-08-30 2016-08-30 一种MySQL数据库的热备份方法与***

Country Status (1)

Country Link
CN (1) CN106354583B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947592B (zh) * 2017-12-20 2022-11-18 腾讯科技（深圳）有限公司 一种数据同步方法、装置以及相关设备
CN108599982B (zh) * 2018-03-14 2021-02-12 华为技术有限公司 数据恢复方法及相关设备
CN108874592B (zh) * 2018-06-20 2020-04-10 焦点科技股份有限公司 一种针对Log-structured存储引擎的数据冷备方法及***
CN108958972A (zh) * 2018-06-25 2018-12-07 郑州云海信息技术有限公司 一种mysql数据库备份的方法
CN109241185B (zh) * 2018-08-27 2021-03-30 武汉达梦数据库股份有限公司 一种数据同步的方法以及数据同步装置
CN109144790A (zh) * 2018-09-30 2019-01-04 广州鼎甲计算机科技有限公司 MySQL数据库的合成备份方法和装置
CN109542682B (zh) * 2018-11-16 2021-03-30 上海达梦数据库有限公司 一种数据备份方法、装置、设备和存储介质
CN110209527B (zh) * 2018-11-30 2023-05-05 腾讯科技（深圳）有限公司 数据恢复方法、装置、服务器以及存储介质
CN111158958B (zh) * 2019-12-31 2020-11-13 广州鼎甲计算机科技有限公司 一种可快速恢复数据的备份方法、***、装置及存储介质
CN111240897B (zh) * 2020-01-07 2023-04-14 腾讯科技（深圳）有限公司 一种数据处理方法及相关设备
CN111382012B (zh) * 2020-03-03 2020-12-29 广州鼎甲计算机科技有限公司 MySQL云数据库的备份方法、装置、计算机设备和存储介质
CN111625397B (zh) * 2020-04-14 2023-09-12 北京捷通华声科技股份有限公司 业务日志备份方法、集群、装置、电子设备及存储介质
CN113434339B (zh) * 2021-06-29 2023-07-18 方心科技股份有限公司 一种智能计算中心基于组合循环备份的数据加密传输***与方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156720A (zh) * 2011-03-28 2011-08-17 中国人民解放军国防科学技术大学 一种数据恢复的方法、装置和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418129B2 (en) * 2013-03-08 2016-08-16 Oracle International Corporation Adaptive high-performance database redo log synchronization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156720A (zh) * 2011-03-28 2011-08-17 中国人民解放军国防科学技术大学 一种数据恢复的方法、装置和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Oracle数据库备份策略研讨;易剑等;《科技广场》;20090331(第3期);第61页

Also Published As

Publication number Publication date
CN106354583A (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106354583B (zh) 一种MySQL数据库的热备份方法与***
CN110532247B (zh) 数据迁移方法和数据迁移***
CN106445738B (zh) 一种数据库备份方法及装置
CN103488544B (zh) 检测慢盘的处理方法和装置
US20120246116A1 (en) System and method for data replication between heterogeneous databases
CN103744906A (zh) 一种数据同步***、方法及装置
WO2018098972A1 (zh) 一种日志恢复方法、存储装置和存储节点
CN105824846B (zh) 数据迁移方法及装置
WO2014169142A1 (en) Partition level backup and restore of a massively parallel processing database
CN109189860A (zh) 一种基于Kubernetes***的MySQL主备增量同步方法
CN105573859A (zh) 一种数据库的数据恢复方法和设备
CN104301360A (zh) 一种日志数据记录的方法、日志服务器及***
CN105701190A (zh) 一种数据同步的方法和装置
CN103530388A (zh) 一种云存储***中提升性能的数据处理方法
CN110704242A (zh) 一种基于Oracle日志捕获的连续数据保护***及方法
CN103198122B (zh) 重启内存数据库的方法和装置
WO2019020081A1 (zh) 分布式***及其故障恢复方法、装置、产品和存储介质
CN105302667A (zh) 基于集群架构的高可靠性数据备份与恢复方法
CN105446825B (zh) 数据库测试方法及装置
CN105376277A (zh) 一种数据同步方法及装置
CN104899071A (zh) 集群中虚拟机的恢复方法和***
CN110502523A (zh) 业务数据存储方法、装置、服务器及计算机可读存储介质
CN105589887A (zh) 分布式文件***的数据处理方法及分布式文件***
CN111666266A (zh) 一种数据迁移方法及相关设备
CN106899654A (zh) 一种序列值生成方法、装置及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Room 901, 243 Science Avenue, Guangzhou High-tech Industrial Development Zone, Guangdong 510000

Patentee after: Guangzhou Dingjia Computer Technology Co.,Ltd.

Address before: 510660 Unit 701-9, Comprehensive Building of Science and Technology Innovation Base, 80 Lanyue Road, Science City, Guangzhou High-tech Industrial Development Zone, Guangdong Province

Patentee before: Guangzhou Dingjia Computer Technology Co.,Ltd.

CP02 Change in the address of a patent holder
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Hot backup method and system for MySQL database

Effective date of registration: 20200204

Granted publication date: 20190917

Pledgee: Guangzhou Rural Commercial Bank Co.,Ltd. Huaxia Branch

Pledgor: Guangzhou Dingjia Computer Technology Co.,Ltd.

Registration number: Y2020440000023

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230703

Granted publication date: 20190917

Pledgee: Guangzhou Rural Commercial Bank Co.,Ltd. Huaxia Branch

Pledgor: Guangzhou Dingjia Computer Technology Co.,Ltd.

Registration number: Y2020440000023

PC01 Cancellation of the registration of the contract for pledge of patent right