CN103678041A - 一种增量备份方法及*** - Google Patents
一种增量备份方法及*** Download PDFInfo
- Publication number
- CN103678041A CN103678041A CN201310680320.1A CN201310680320A CN103678041A CN 103678041 A CN103678041 A CN 103678041A CN 201310680320 A CN201310680320 A CN 201310680320A CN 103678041 A CN103678041 A CN 103678041A
- Authority
- CN
- China
- Prior art keywords
- backup
- module
- file
- modification information
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种增量备份方法。应用在数据备份技术领域，包括以下步骤：目录监控管理模块将备份目录添加到监控中，当文件或目录变化时，目录监控管理模块获得变更信息；变更信息处理模块对所述变更信息进行统一处理，获得处理结果；数据库记录模块根据获取的所述处理结果，建立文件变化列表；文件备份模块根据备份时间点，从文件变化列表中提取所述备份时间点之前的信息，结合变化类型对路径进行相应的备份操作。通过实施本发明的技术方案，在执行增量备份时不需对整个备份目录进行遍历，大大提高了增量备份的执行效率。
Description
技术领域
本发明涉及数据备份技术领域，尤其涉及一种增量备份方法及***。
背景技术
据IDC统计表明，美国在2000年前10年间发生过数据灾难的公司中，有55%当时倒闭，剩下的45%中，因为数据丢失，又有29%也在2年之内倒闭，生存下来的仅占16%。而拥有有效的备份方法及备份策略的公司则能够将损失降到最低。因此，数据的备份被提上日程。针对海量的数据备份，如果全部采用全量备份的方式，不仅会浪费大量的空间资源而且备份效率也十分的底下，所以目前经常采用的是全量备份加增量备份的方式，增量备份的效率直接影响到整个备份***运行效率。
传统文件级增量备份需要针对每个文件进行遍历操作，当数据量达到千万级时，这样的备份效率是十分低下的。
发明内容
本发明提供一种增量备份方法及***，以解决上述问题。
本发明提供一种增量备份方法。上述方法包括以下步骤：
目录监控管理模块将备份目录添加到监控中，当文件或目录变化时，目录监控管理模块获得变更信息；
变更信息处理模块对所述变更信息进行统一处理，获得处理结果；
数据库记录模块根据获取的所述处理结果，建立文件变化列表；
文件备份模块根据备份时间点，从文件变化列表中提取所述备份时间点之前的信息，结合变化类型对路径进行相应的备份操作。
本发明还提供一种增量备份***，包括：目录监控管理模块1，变更信息处理模块2，数据库记录模块3，文件备份模块4；目录监控管理模块1通过变更信息处理模块2与数据库记录模块3相连；变更信息处理模块2通过数据库记录模块3与文件备份模块4相连；
目录监控管理模块1，用于负责添加、移除监控目录，获取变更信息以及通知变更信息处理模块2对变更信息进行处理；
变更信息处理模块2，用于负责对所述变更信息进行统一处理，包括：将短路径转换为长路径，获取时间信息，解析变更类型；
数据库记录模块3，用于根据获取的变更信息处理模块2输出的处理结果，建立并存储文件变化列表；
文件备份模块4，用于从数据库记录模块3获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，根据变化类型对路径进行相应的备份操作。
本发明采用文件变化列表的增量备份方法，采用实时记录文件变化信息的方式对需要进行增量备份的文件进行记录，在执行增量备份时不需对整个备份目录进行遍历，大大提高了增量备份的执行效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为本发明实施例1的文件变化列表的增量备份流程图；
图2所示为本发明实施例2的文件变化列表的增量备份***结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明提供一种增量备份方法，包括以下步骤：
目录监控管理模块将备份目录添加到监控中，当文件或目录变化时，目录监控管理模块获得变更信息；
变更信息处理模块对所述变更信息进行统一处理，获得处理结果；
数据库记录模块根据获取的所述处理结果，建立文件变化列表；
文件备份模块根据备份时间点，从文件变化列表中提取所述备份时间点之前的信息，结合变化类型对路径进行相应的备份操作。
其中，目录监控管理模块将备份目录添加到监控中，当文件或目录变化时，目录监控管理模块获得变更信息之后，还包括：通知变更信息处理模块对所述变更信息进行处理，其中，所述通知中携带所述变更信息。
其中，变更信息处理模块对所述变更信息进行统一处理，获得处理结果的过程为：变更信息处理模块对所述变更信息进行统一处理，包括：将短路径转换为长路径，获取时间信息，解析变更类型，获得处理结果；其中，所述变更类型包括新建、修改、重命名。
其中，数据库记录模块根据获取的所述处理结果，建立文件变化列表的过程为：数据库记录模块根据获取的变更信息处理模块输出的处理结果，建立并存储文件变化列表。
其中，数据库记录模块3通过建立三个字段的表对变化信息进行存储，三个字段分别为时间点、绝对路径、变化类型。
其中，文件备份模块根据备份时间点，从文件变化列表中提取所述备份时间点之前的信息，结合变化类型对路径进行相应的备份操作的过程为：
文件备份模块根据从数据库记录模块获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，结合变化类型对路径进行相应的备份操作。
本发明实施例的核心技术点为：
目录监控管理模块1将备份目录添加到监控中；当文件或目录变化时，目录监控管理模块1获得变更信息并通知变更信息处理模块2对所述变更信息进行处理，其中，所述通知中携带所述变更信息；变更信息处理模块2主要负责对变更信息进行统一处理（包括：将短路径转换为长路径，获取时间信息，解析变更类型），获得处理结果；数据库记录模块3根据获取的变更信息处理模块2输出的处理结果，建立并存储文件变化列表；文件备份模块4根据从数据库记录模块3获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，根据变化类型对路径进行相应的备份操作。
图1所示为本发明实施例1的文件变化列表的增量备份流程图，说明如下：
步骤101:目录监控管理模块1将备份目录添加到监控中;
步骤102：当文件或目录变化时，目录监控管理模块1获得变更信息并通知变更信息处理模块2对所述变更信息进行处理，获得处理结果；
步骤103：数据库记录模块3根据获取的变更信息处理模块2输出的处理结果，建立并存储文件变化列表；
步骤104：文件备份模块4根据从数据库记录模块3获取的文件变化列表及备份时间点，对备份目录进行增量备份。
图2所示为本发明实施例2的文件变化列表的增量备份***结构图，包括：目录监控管理模块1，变更信息处理模块2，数据库记录模块3，文件备份模块4；目录监控管理模块1通过变更信息处理模块2与数据库记录模块3相连；变更信息处理模块2通过数据库记录模块3与文件备份模块4相连。
其中：目录监控管理模块1负责添加、移除监控目录，获取变更信息以及通知变更信息处理模块2对变更信息进行处理；其中，所述通知中携带所述变更信息；
变更信息处理模块2主要负责对所述变更信息进行统一处理，包括：将短路径转换为长路径，获取时间信息，解析变更类型；
其中，所述变更类型包括新建、修改、重命名，不包括删除操作信息，因为删除操作代表着此路径不存在，在备份时自然不会进行备份，记录删除操作信息对于备份过程没有意义。
其中，对获取的变更信息进行统一处理，变更信息中存在长短路径夹杂，变更类型不统一的情况，变更信息处理模块2需要将短路径转换为长路径并且将变更类型统一成预设值。
数据库记录模块3根据获取的变更信息处理模块2输出的处理结果，建立并存储文件变化列表；数据库记录模块3是文件变化列表的存储介质，采用如ACCESS、SQLite等数据库，建立三个字段的表对变化信息进行存储，三个字段分别为时间点、绝对路径、变化类型；
文件备份模块4从数据库记录模块3获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，根据变化类型对路径进行相应的备份操作，完成备份之后通知数据库记录模块3将备份时间点之前的文件变化列表信息删除，避免下次备份时造成备份数据重复。
其中，备份的方式包括：如备份至磁盘、U盘、网络驱动器等，当备份完成时需要通知数据库记录模块3将备份点之前的文件变化列表信息清除。
本发明还提供一种增量备份***，包括：目录监控管理模块1，变更信息处理模块2，数据库记录模块3，文件备份模块4；目录监控管理模块1通过变更信息处理模块2与数据库记录模块3相连；变更信息处理模块2通过数据库记录模块3与文件备份模块4相连；
目录监控管理模块1，用于负责添加、移除监控目录，获取变更信息以及通知变更信息处理模块2对变更信息进行处理；
变更信息处理模块2，用于负责对所述变更信息进行统一处理，包括：将短路径转换为长路径，获取时间信息，解析变更类型；
数据库记录模块3，用于根据获取的变更信息处理模块2输出的处理结果，建立并存储文件变化列表；
文件备份模块4，用于从数据库记录模块3获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，根据变化类型对路径进行相应的备份操作。
其中，所述数据库记录模块3，还用于：通过建立三个字段的表对变化信息进行存储，三个字段分别为时间点、绝对路径、变化类型。
本发明采用文件变化列表的增量备份方法，采用实时记录文件变化信息的方式对需要进行增量备份的文件进行记录，在执行增量备份时不需对整个备份目录进行遍历，大大提高了增量备份的执行效率
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种增量备份方法，其特征在于，包括以下步骤：
目录监控管理模块将备份目录添加到监控中，当文件或目录变化时，目录监控管理模块获得变更信息；
变更信息处理模块对所述变更信息进行统一处理，获得处理结果；
数据库记录模块根据获取的所述处理结果，建立文件变化列表；
文件备份模块根据备份时间点，从文件变化列表中提取所述备份时间点之前的信息，结合变化类型对路径进行相应的备份操作。
2.根据权利要求1所述的方法，其特征在于：目录监控管理模块将备份目录添加到监控中，当文件或目录变化时，目录监控管理模块获得变更信息之后，还包括：通知变更信息处理模块对所述变更信息进行处理，其中，所述通知中携带所述变更信息。
3.根据权利要求2所述的方法，其特征在于：变更信息处理模块对所述变更信息进行统一处理，获得处理结果的过程为：变更信息处理模块对所述变更信息进行统一处理，包括：将短路径转换为长路径，获取时间信息，解析变更类型，获得处理结果；其中，所述变更类型包括新建、修改、重命名。
4.根据权利要求3所述的方法，其特征在于：数据库记录模块根据获取的所述处理结果，建立文件变化列表的过程为：数据库记录模块根据获取的变更信息处理模块输出的处理结果，建立并存储文件变化列表。
5.根据权利要求4所述的方法，其特征在于：数据库记录模块3通过建立三个字段的表对变化信息进行存储，三个字段分别为时间点、绝对路径、变化类型。
6.根据权利要求5所述的方法，其特征在于：文件备份模块根据备份时间点，从文件变化列表中提取所述备份时间点之前的信息，结合变化类型对路径进行相应的备份操作的过程为：
文件备份模块根据从数据库记录模块获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，结合变化类型对路径进行相应的备份操作。
7.一种增量备份***，其特征在于，包括：目录监控管理模块1，变更信息处理模块2，数据库记录模块3，文件备份模块4；目录监控管理模块1通过变更信息处理模块2与数据库记录模块3相连；变更信息处理模块2通过数据库记录模块3与文件备份模块4相连；
目录监控管理模块1，用于负责添加、移除监控目录，获取变更信息以及通知变更信息处理模块2对变更信息进行处理；
变更信息处理模块2，用于负责对所述变更信息进行统一处理，包括：将短路径转换为长路径，获取时间信息，解析变更类型；
数据库记录模块3，用于根据获取的变更信息处理模块2输出的处理结果，建立并存储文件变化列表；
文件备份模块4，用于从数据库记录模块3获取的文件变化列表，根据备份时间点从文件变化列表中提取此时间点之前的信息，根据变化类型对路径进行相应的备份操作。
8.根据权利要求7所述的***，其特征在于：所述数据库记录模块3，还用于：通过建立三个字段的表对变化信息进行存储，三个字段分别为时间点、绝对路径、变化类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310680320.1A CN103678041A (zh) | 2013-12-11 | 2013-12-11 | 一种增量备份方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310680320.1A CN103678041A (zh) | 2013-12-11 | 2013-12-11 | 一种增量备份方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103678041A true CN103678041A (zh) | 2014-03-26 |
Family
ID=50315686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310680320.1A Pending CN103678041A (zh) | 2013-12-11 | 2013-12-11 | 一种增量备份方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103678041A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103713972A (zh) * | 2014-01-02 | 2014-04-09 | 浪潮(北京)电子信息产业有限公司 | 一种增量备份***和方法 |
| CN103995757A (zh) * | 2014-05-12 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于变化文件监控的快速文件备份方法 |
| CN108647317A (zh) * | 2018-05-10 | 2018-10-12 | 东软集团股份有限公司 | 增量文件的生成方法、装置和存储介质以及电子设备 |
| CN115543695A (zh) * | 2022-11-29 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 一种数据备份方法、装置及电子设备和存储介质 |
| CN116610501A (zh) * | 2023-07-20 | 2023-08-18 | 深圳市科力锐科技有限公司 | Nas数据还原方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6088694A (en) * | 1998-03-31 | 2000-07-11 | International Business Machines Corporation | Continuous availability and efficient backup for externally referenced objects |
| CN101477486A (zh) * | 2009-01-22 | 2009-07-08 | 中国人民解放军国防科学技术大学 | 一种基于扇区重组的文件备份恢复方法 |
| CN101833489A (zh) * | 2010-05-06 | 2010-09-15 | 北京邮电大学 | 一种文件实时监控和智能备份的方法 |
-
2013
- 2013-12-11 CN CN201310680320.1A patent/CN103678041A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6088694A (en) * | 1998-03-31 | 2000-07-11 | International Business Machines Corporation | Continuous availability and efficient backup for externally referenced objects |
| CN101477486A (zh) * | 2009-01-22 | 2009-07-08 | 中国人民解放军国防科学技术大学 | 一种基于扇区重组的文件备份恢复方法 |
| CN101833489A (zh) * | 2010-05-06 | 2010-09-15 | 北京邮电大学 | 一种文件实时监控和智能备份的方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103713972A (zh) * | 2014-01-02 | 2014-04-09 | 浪潮(北京)电子信息产业有限公司 | 一种增量备份***和方法 |
| CN103713972B (zh) * | 2014-01-02 | 2017-03-08 | 浪潮(北京)电子信息产业有限公司 | 一种增量备份***和方法 |
| CN103995757A (zh) * | 2014-05-12 | 2014-08-20 | 浪潮电子信息产业股份有限公司 | 一种基于变化文件监控的快速文件备份方法 |
| CN108647317A (zh) * | 2018-05-10 | 2018-10-12 | 东软集团股份有限公司 | 增量文件的生成方法、装置和存储介质以及电子设备 |
| CN115543695A (zh) * | 2022-11-29 | 2022-12-30 | 苏州浪潮智能科技有限公司 | 一种数据备份方法、装置及电子设备和存储介质 |
| CN115543695B (zh) * | 2022-11-29 | 2023-08-15 | 苏州浪潮智能科技有限公司 | 一种数据备份方法、装置及电子设备和存储介质 |
| CN116610501A (zh) * | 2023-07-20 | 2023-08-18 | 深圳市科力锐科技有限公司 | Nas数据还原方法、装置、设备及存储介质 |
| CN116610501B (zh) * | 2023-07-20 | 2024-05-14 | 深圳市科力锐科技有限公司 | Nas数据还原方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993B (zh) | 对账方法、设备、***及计算机可读存储介质 | |
| CN106339274B (zh) | 一种数据快照获取的方法及*** | |
| CN102693305B (zh) | 一种文件信息预览方法及*** | |
| US20170344433A1 (en) | Apparatus and method for data migration | |
| CN103678041A (zh) | 一种增量备份方法及*** | |
| CN103605585B (zh) | 一种基于数据发现的智能备份方法 | |
| US8578112B2 (en) | Data management system and data management method | |
| CN105049260B (zh) | 日志管理方法和装置 | |
| CN104239443B (zh) | 一种序列化数据操作日志的存储方法 | |
| CN103761165B (zh) | 日志备份方法及装置 | |
| CN101430691A (zh) | 直接将数据从去重复存储器导出到非去重复存储器的***和方法 | |
| CN109683911B (zh) | 一种实现自动化应用部署及影响分析的*** | |
| CN103713972B (zh) | 一种增量备份***和方法 | |
| US20140156603A1 (en) | Method and an apparatus for splitting and recovering data in a power system | |
| CN102609462A (zh) | 一种通过提取sql模板对海量sql压缩存储的方法 | |
| CN108228664B (zh) | 非结构化数据处理方法及装置 | |
| US8838615B2 (en) | Computer implemented method for automatically managing stored checkpoint data | |
| CN103716384A (zh) | 跨数据中心实现云存储数据同步的方法和装置 | |
| CN107273449B (zh) | 一种基于内存数据库的断点处理方法及*** | |
| CN109902070B (zh) | 一种面向WiFi日志数据的解析存储搜索方法 | |
| Murugesan et al. | Audit log management in MongoDB | |
| CN104778252A (zh) | 索引的存储方法和装置 | |
| CN104915376B (zh) | 一种云存储中文件的归档压缩方法 | |
| CN104156420B (zh) | 事务日志的管理方法和装置 | |
| WO2018019310A1 (zh) | 一种大数据***中数据备份方法、恢复方法和装置和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140326 |
|
| WD01 | Invention patent application deemed withdrawn after publication |