CN102012947A

CN102012947A - 一种数据库在线备份的方法及***

Info

Publication number: CN102012947A
Application number: CN2010106081644A
Authority: CN
Inventors: 赵胜志
Original assignee: CHUANGXINKE SOFTWARE TECHNOLOGY (SHENZHEN) Co Ltd; Innovation And Technology Storage Technology Co Ltd
Current assignee: CHUANGXINKE SOFTWARE TECHNOLOGY (SHENZHEN) Co Ltd; Innovation And Technology Storage Technology Co Ltd
Priority date: 2010-12-16
Filing date: 2010-12-16
Publication date: 2011-04-13

Abstract

本发明提供了一种数据库在线备份的***，包括：数据库服务器、存储阵列、备份服务器和磁带库；所述数据库服务器用于运行数据库，使用存储阵列的逻辑卷保存数据库的数据；根据来自备份服务器对数据库进行备份操作的命令，向存储阵列发送对数据库服务器所调用的逻辑卷进行快照生成的指示；所述备份服务器用于连接到数据库服务器，暂停数据库服务器上的数据库对存储***的输入输出，向数据库服务器发送进行数据库备份操作的命令；对存储阵列生成的快照卷添加映射信息，根据该映射信息加载所述快照卷，并将所述快照卷的数据移动到磁带库中；所述存储阵列用于根据来自备份服务器的所述指示，对数据库服务器所调用的逻辑卷进行快照操作，生成快照卷。

Description

一种数据库在线备份的方法及***

技术领域

本发明涉及计算机数据存储技术领域，尤其涉及一种数据库在线备份的方法及***。

背景技术

传统的基于文件拷贝的备份通常需要应用程序暂停运行，然后开始拷贝数据，等拷贝完成后再恢复应用程序的运行，这种传统的备份方式并不适应需要保证业务连续性的应用。同时，传统备份方式下，当备份数据量较大时，拷贝数据时间一般较长，从而备份窗口时间也会很长，这样就会严重影响业务***的正常运行，因此，在需要连续运行的业务***中，这种传统的备份方式是不可行的。

随着存储应用需求的提高，用户需要在线方式进行数据保护，快照(Snapshot)就是在线存储设备防范数据丢失的有效方法之一，越来越多的设备都开始支持这项功能。

存储网络行业协会(SNIA)对快照的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。

快照的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。

存储阵列快照功能可以对一个或多个逻辑卷做出瞬间快照，也就是那一时刻的源逻辑卷的完整拷贝。利用存储阵列的这一功能，可以对数据库所在卷进行快照生成，从而利用生成的快照卷进行在线备份，在线测试等。

需要注意的是，以上所述的快照生成都是数据块一级的操作，无法保证应用***级别的数据一致性。然而，为了保证数据库备份文件的数据一致性，需要在对数据库源卷制作快照之前，使上层应用禁止对源逻辑卷进行数据块一级的写操作，从而能保证生成的快照在上层应用所见到的备份数据的一致性。因此在现有技术中，快照技术还无法应用于数据库备份。

为了实现数据在线备份，还有一些其它解决方案，比如，利用RMAN和备份软件一起可以实现Oracle数据库的在线备份。利用CommVault公司的Qsnap软件或基于Veritas公司的Volume Manager软件的快照功能，都可以实现数据在线备份。但这些方案都是基于应用服务器的，需要占用应用服务器的大量CPU和内存资源。因此也会对用户的正常业务造成一定影响。

发明内容

本发明提供了一种数据库在线备份的方法和***，将快照技术应用于数据库备份中，在备份期间用户的应用程序可以连续运行而不终止，不会对业务***造成任何影响。

本发明实施例提出的一种数据库在线备份的***，该***包括：数据库服务器、存储阵列、备份服务器和磁带库；

所述数据库服务器用于运行数据库，使用存储阵列的逻辑卷保存数据库的数据；根据来自备份服务器对数据库进行备份操作的命令，向存储阵列发送对数据库服务器所调用的逻辑卷进行快照生成的指示；

所述备份服务器用于连接到数据库服务器，暂停数据库服务器上的数据库的输入输出，向数据库服务器发送进行数据库备份操作的命令；对存储阵列生成的快照卷添加映射信息，根据该映射信息加载所述快照卷，并将所述快照卷的数据移动到磁带库中；

所述存储阵列用于根据来自备份服务器的所述指示，对数据库服务器所调用的逻辑卷进行快照操作，生成快照卷；

所述磁带库用于保存来自备份服务器的数据。

较佳地，所述备份服务器还用于在将快照卷的数据移动到磁带库中之后，移除加载的快照卷，并删除所述映射信息。

较佳地，所述数据库服务器包括：

应用数据库，用于运行数据库，调用存储阵列的逻辑卷保存数据库的数据；

备份代理模块，用于接收来自备份服务器的进行数据库备份操作的命令，将所述应用数据库置于静默状态，并向存储阵列发送对数据库服务器所调用的逻辑卷进行生成快照的指示；在快照生成后，唤醒所述应用数据库。

较佳地，所述备份服务器包括：

备份模块，用于向Pre-backup脚本模块发送调用指示，接收从存储阵列的快照卷加载的数据，并将所述数据移动到磁带库中；所述数据移动完成后，向Post-backup脚本模块发送调用指示；

Pre-backup脚本模块，用于根据备份模块的指示调用脚本，所述脚本用于连接到数据库服务器，暂停数据库服务器的数据库的输入输出，向数据库服务器发送进行数据库备份操作的命令；所述脚本还用于调用脚本API接口对存储阵列生成的快照卷添加映射信息；

Post-backup脚本模块，用于根据备份模块的指示调用脚本，所述脚本用于调用脚本API接口从备份服务器上移除加载的快照卷，并删除快照卷的映射信息；

脚本API接口，用于根据Pre-backup脚本模块的调用，对存储阵列生成的快照卷添加映射信息，并与存储阵列通信，将所述快照卷的数据加载到备份服务器；还用于根据Post-backup脚本模块的调用，从备份服务器上移除加载的快照卷，并与存储阵列通信，删除快照卷的映射信息。

较佳地，所述数据库服务器、存储阵列、备份服务器和磁带库之间通过存储域网络连接。

较佳地，所述数据库为Oracle数据库。

本发明实施例还提出一种数据库在线备份的方法，包括如下步骤：

A、运行数据库，调用存储阵列的逻辑卷保存数据库的数据；

B、暂停数据库的输入输出，对保存数据库的数据的逻辑卷进行快照操作，生成快照卷，并恢复所述数据库的输入输出；

C、将所述快照卷的数据保存到磁带库中。

较佳地，所述数据库为Oracle数据库。

较佳地，所述步骤B之前，进一步包括：将数据库的控制文件、服务参数文件以及网络参数文件从数据库的安装目录复制到存储阵列的逻辑卷上。

从以上技术方案可以看出，将备份服务器的备份功能与存储阵列的快照功能相结合，充分利用了存储阵列快照的功能，能够快速对数据库进行在线备份。本发明方案在备份过程中，能够极大的减少对应用服务器的内存与CPU资源的占用，提高备份效率，对应用服务器的冲击可以基本忽略。此外，在数据库生成快照完成后，使用SAN网络将备份数据迁移到磁带库，从而避开了局域网的数据传输，能够保证不增加局域网内数据传输的负担。

附图说明

图1为本发明实施例提出的数据库在线备份***的硬件连接示意图；

图2为本发明的数据库在线备份的基本流程图；

图3为本发明实施例提出的Oracle数据库在线备份的流程图；

图4为本发明实施例提出的数据库备份***框图。

具体实施方式

以下以Oracle数据库的备份为例，对本发明技术方案进行详细阐述。

为了实现对存储阵列的操作，以及对Oracle数据库的操作，本发明方案需要实现一个中间的代理模块，代理模块主要的工作就是对数据库所在源逻辑卷进行生成快照的操作，并且在生成快照的过程中控制数据库的相关操作。

其中，代理模块需要对数据库的以下文件进行操作：

1、控制文件：以二进制形式保存有描述数据库物理结构的信息。

2、在线重做日志文件：每一个数据库有两个或者多个重做日志文件集合，重做日志的主要功能是记录数据的全部改变，重做日志文件中的信息只是用于从***或介质崩溃中进行恢复。

3、归档日志文件：归档日志文件为归档模式下Oracle产生归档日志，归档日志包含自从Oracle进入归档模式后的每一个生成组的拷贝。

4、表空间数据文件：数据库被拆分成称为表空间的逻辑存储单元，把相关的逻辑单元分组。

5、服务参数文件：包括初始化以及服务器配置文件，用以开始以及配置一个数据库实例。

6、网络参数文件：包括网络以及配置文件，口令文件等。

以上罗列的所有文件都是数据库恢复重建所必需的，统称为元数据(metadata)。通常，控制文件、服务参数文件以及网络参数文件会位于Oracle数据库的安装目录下面，而往往Oracle数据库会被安装到主机的本地盘上，同时，代理模块只能对存储设备进行快照操作。因此，为了能够成功实现Oracle数据库的备份，代理模块需要首先拷贝这些文件到存储设备对应的逻辑卷上，然后使用存储设备的快照功能对其进行备份。对于在线重做日志文件、归档日志文件以及表空间数据文件，要求它们存放于存储设备的逻辑卷上面，否则，在备份过程中这些文件将不会被备份。Oracle数据库需要运行于归档(ARCHIVELOG)模式，否则归档日志就不能被生成，进而数据库的恢复会因为缺少归档日志而失败。

脚本应用程序接口(ScriptAPI)：负责与存储阵列通信，将生成的快照加载到备份服务器上。

图1为本发明实施例提出的数据库在线备份***的硬件连接示意图。数据库服务器101和数据库服务器102是要备份的数据库所在的服务器，实际应用中，数据库服务器的数目可以仅有一个，或者有多个。备份服务器103、介质服务器104和存储阵列105与数据库服务器101和数据库服务器102通过以太网连接，同时，上述各部分还通过FC支撑的存储域网络(SAN，StorageArea Network)连接，所述SAN还连接磁带库106。

图2示出了本发明的数据库在线备份的基本流程，包括如下步骤：

步骤201：运行数据库，调用存储阵列的逻辑卷保存数据库的数据；

步骤202：暂停数据库的输入输出，对保存数据库的数据的逻辑卷进行快照操作，生成快照卷，并恢复所述数据库的输入输出；

步骤203：将所述快照卷的数据保存到磁带库中。

本发明实施例提出的Oracle数据库在线备份的流程如图3所示，包括如下步骤：

步骤301：备份服务器连接到数据库服务器，获取元数据(metadata)。

所述获取元数据的过程包括：将数据库的控制文件、服务参数文件以及网络参数文件从数据库的安装目录复制到存储阵列的逻辑卷上。

步骤302：切换数据库的所有在线非临时表空间到备份模式。

步骤303：归档当前在线日志。

步骤304：暂停数据库***的输入输出(IO)，存储阵列对数据库进行生成快照的操作，完成后，恢复数据库***的IO。

步骤305：将数据库的所有在线非临时表空间退出备份模式。

步骤306：备份服务器与数据库服务器断开，并写备份历史记录。

本发明实施例提出的数据库备份***如图4所示。该***包括数据库服务器401、存储阵列402、备份服务器403和磁带库404。其中，数据库服务器401包括：应用数据库405和备份代理模块406。存储阵列402包括：逻辑卷407和快照卷408。备份服务器403包括：脚本API接口409、Pre-backup脚本模块410、Post-backup脚本模块411和备份模块412。

所述数据库服务器401用于运行数据库，使用存储阵列402的逻辑卷407保存数据库的数据；根据来自备份服务器403对数据库进行备份操作的命令，向存储阵列402发送对数据库服务器401所调用的逻辑卷407进行快照生成的指示；

所述备份服务器403用于连接到数据库服务器401，暂停数据库服务器401上的数据库的输入输出，向数据库服务器401发送进行数据库备份操作的命令；对存储阵列402生成的快照卷添加映射信息，根据该映射信息加载所述快照卷408，并将所述快照卷408的数据移动到磁带库404中；

所述存储阵列402用于根据来自备份服务器403的所述指示，对数据库服务器401所调用的逻辑卷407进行快照操作，生成快照卷408；

所述磁带库404用于保存来自备份服务器的数据。

所述备份服务器403还用于在将快照卷408的数据移动到磁带库404中之后，移除加载的快照卷408，并删除所述映射信息。

所述数据库服务器401包括：

应用数据库405，用于运行数据库，调用存储阵列402的逻辑卷407保存数据库的数据；

备份代理模块406，用于接收来自备份服务器402的进行数据库备份操作的命令，将所述应用数据库405置于静默状态，并向存储阵列402发送对数据库服务器401所调用的逻辑卷407进行生成快照的指示；在快照生成后，唤醒所述应用数据库405。

所述备份服务器403包括：

备份模块412，用于向Pre-backup脚本模块410发送调用指示，接收从存储阵列402的快照卷408加载的数据，并将所述数据移动到磁带库404中；所述数据移动完成后，向Post-backup脚本模块411发送调用指示；

Pre-backup脚本模块410，用于根据备份模块412的指示调用Pre-backup脚本，所述Pre-backup脚本用于连接到数据库服务器401，暂停数据库服务器401的数据库的输入输出，向数据库服务器401发送进行数据库备份操作的命令；所述脚本还用于调用脚本API接口对存储阵列生成的快照卷添加映射信息；

Post-backup脚本模块，用于根据备份模块的指示调用Post-backup脚本，所述Post-backup脚本用于调用脚本API接口409从备份服务器403上移除加载的快照卷408，并删除快照卷408的映射信息；

脚本API接口409，用于根据Pre-backup脚本模块410的调用，对存储阵列402生成的快照卷408添加映射信息，并与存储阵列402通信，将所述快照卷408的数据加载到备份服务器403；还用于根据Post-backup脚本模块411的调用，从备份服务器403上移除加载的快照卷408，并与存储阵列402通信，删除快照卷408的映射信息。

数据流I流向为从逻辑卷407到数据库服务器401，该数据流的作用是将逻辑卷407作为源卷加载到数据库服务器401上，用以存储应用数据库405的数据。数据流II的流向为从快照卷408映射到备份服务器403，用以作为拷贝备份数据的源卷。数据流III为备份数据从备份模块412迁移到磁带库404。

控制流的说明如下：

①：备份模块412在进行备份之前调用pre-backup脚本模块410。

②至③：pre-backup脚本模块410调用备份代理模块406，命令备份代理模块406将应用数据库405置于静默状态(即暂停数据库服务器401的IO)，对应用数据库405所在卷进行快照生成，然后唤醒数据库。③表示备份代理模块406与应用数据库405以及存储阵列402在上述过程中的通信。所述快照生成就是对保存数据库数据的逻辑卷407进行快照操作，生成快照卷408。

④：Pre-backup脚本模块410调用脚本API接口409对生成的快照添加映射信息。

⑤：脚本API接口409与存储阵列402通信，将生成的快照卷408的数据加载到备份服务器402。

⑥：备份模块412将数据从快照卷408中移动到磁带库404中。

⑦：备份完成后，备份模块412调用post-backup脚本模块411中的脚本进行备份后处理。

⑧：post-backup脚本模块411调用脚本API接口409从备份服务器403上移除加载的快照卷。

⑨：脚本API接口409与存储阵列402通信，删除快照卷408的映射信息。

本发明技术方案具有如下有益效果：

本发明方案可以实现零备份窗口，也就是说在备份期间用户的应用程序可以继续运行，不会对业务***造成任何影响。

传统的基于文件拷贝的备份中，备份数据通常需要经过局域网从应用服务器拷贝到介质服务器上，然后保存到磁带中。由于备份数据量一般都非常大，在备份期间会占用大量的局域网络带宽，对用户的正常业务使用造成一定程度的影响。本发明方案可以实现备份数据不经过局域网，而是从快照卷上通过光纤通道直接移动到磁带介质中。避免了对用户的局域网上的正常业务带来影响。

本方案可以将快照盘直接加载到备份服务器上或介质服务器上，这样在将备份数据的移动到备份介质上是就不需要占用应用服务器上的CPU和内存资源。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种数据库在线备份的***，其特征在于，该***包括：数据库服务器、存储阵列、备份服务器和磁带库；

所述磁带库用于保存来自备份服务器的数据。

2.根据权利要求1所述的***，其特征在于，所述备份服务器还用于在将快照卷的数据移动到磁带库中之后，移除加载的快照卷，并删除所述映射信息。

3.根据权利要求1所述的***，其特征在于，所述数据库服务器包括：

4.根据权利要求1所述的***，其特征在于，所述备份服务器包括：

Pre-backup脚本模块，用于根据备份模块的指示调用Pre-backup脚本，所述Pre-backup脚本用于连接到数据库服务器，暂停数据库服务器的数据库的输入输出，向数据库服务器发送进行数据库备份操作的命令；所述脚本还用于调用脚本API接口对存储阵列生成的快照卷添加映射信息；

Post-backup脚本模块，用于根据备份模块的指示调用Post-backup脚本，所述Post-backup脚本用于调用脚本API接口从备份服务器上移除加载的快照卷，并删除快照卷的映射信息；

5.根据权利要求1所述的***，其特征在于，所述数据库服务器、存储阵列、备份服务器和磁带库之间通过存储域网络连接。

6.根据权利要求1至5任一项所述的***，其特征在于，所述数据库为Oracle数据库。

7.一种数据库在线备份的方法，其特征在于，包括如下步骤：

A、运行数据库，调用存储阵列的逻辑卷保存数据库的数据；

C、将所述快照卷的数据保存到磁带库中。

8.根据权利要求7所述的方法，其特征在于，所述数据库为Oracle数据库。

9.根据权利要求8所述的方法，其特征在于，所述步骤B之前，进一步包括：将数据库的控制文件、服务参数文件以及网络参数文件从数据库的安装目录复制到存储阵列的逻辑卷上。