CN103176867A - 一种快速文件差异备份方法 - Google Patents
一种快速文件差异备份方法 Download PDFInfo
- Publication number
- CN103176867A CN103176867A CN2013101121437A CN201310112143A CN103176867A CN 103176867 A CN103176867 A CN 103176867A CN 2013101121437 A CN2013101121437 A CN 2013101121437A CN 201310112143 A CN201310112143 A CN 201310112143A CN 103176867 A CN103176867 A CN 103176867A
- Authority
- CN
- China
- Prior art keywords
- file
- backup
- catalog
- full
- last
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种快速文件差异备份方法,该方法是使用备份集ID管理每一次备份的数据,通过备份集ID定位唯一的数据集,通过catalog文件存储每一次备份的文件相关信息,将全量备份集ID存储在catalog文件前16个字节中,这样通过任意catalog文件即可定位全量备份的catalog,从而获取最近一次全量备份时文件的状态,经过与现在文件状态的对比即可知道哪些文件需要备份,该方法通常用于在备份大数据量文件时减少数据传输量,节省数据存储空间。
Description
技术领域
本发明涉及计算机应用领域,具体地说是一种快速文件差异备份方法。
背景技术
据IDC统计表明,美国在 2000 年前 10 年间发生过数据灾难的公司中,有 55%当时倒闭,剩下的 45%中,因为数据丢失,又有 29%也在 2 年之内倒闭,生存下来的仅占 16%。而拥有有效的备份方法及备份策略的公司则能够将损失降到最低。因此,数据的备份被提上日程。一般传统的本地备份方法如磁带备份等,能抵制硬件故障、计算机病毒等造成的数据损坏,但对大规模的数据灾难却无能为力。而传统的远程备份方法为了完成海量数据备份,需要巨大的代价建造并维护一条独立备份线路。为解决以上问题,本发明采用备份集ID标识备份数据,采用文件数据与文件信息分离备份的方式对文件进行快速的差异备份。
发明内容
本发明的目的是提供一种快速文件差异备份方法。
本发明的目的是按以下方式实现的,该方法是使用备份集ID管理每一次备份的数据,通过备份集ID定位唯一的数据集,通过catalog文件存储每一次备份的文件相关信息,将全量备份集ID存储在catalog文件前16个字节中,这样通过任意catalog文件即可定位全量备份的catalog,从而获取最近一次全量备份时文件的状态,经过与现在文件状态的对比即可知道哪些文件需要备份,该***包括:catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3),其中:
catalog获取模块(1):用于连接存储备份集数据的介质服务器,获取最近一次全量备份的catalog文件,首先catalog获取模块(1)会向介质服务器获取上一次备份的catalog文件,获取成功后读取文件前16个字节,获取到全量备份集ID信息,然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件;
文件比对备份模块(2):用于通过文件最后写入时间和文件大小的比对,确定现阶段的文件状态是否与全量备份时的文件状态相同,如果相同则表明该文件不需要进行备份操作,置该文件的备份集ID为全量备份集ID,如果不同则置该文件的备份集ID为当前的备份集ID,最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份,即对备份集ID为当前ID的文件进行备份;
catalog组织模块(3):用于组织catalog文件,对于每一个文件会有一个结构体去存储该文件的相关信息,包括文件类型包括:文件或是目录、文件大小、文件属性包括:只读,隐藏、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息,,不论文件数据是否备份该文件的catalog信息都将会写入到catalog文件中,所有文件备份完成后将catalog获取模块(1)中获取到的全量备份集ID信息写入到文件的前16个字节中,最后将catalog文件备份到介质服务器完成差异备份。
通过全量备份集ID定位全量备份的catalog,是由数据备份目的端进行处理。
确定文件是否变化,是通过文件的最后写入时间和文件大小来确认。
本发明的有益效果是:用户首先通过catalog获取模块(1)获取全量备份集的catalog文件,在通过文件比对备份模块(2)确定并且备份文件数据,最后通过catalog组织模块(3),将每一个文件的相关信息写入到本次备份的catalog文件中,将全量备份集ID写入到catalog文件前16个字节。该方法通常用于在备份大数据量文件时减少数据传输量,节省数据存储空间。
附图说明
图1 是catalog文件结构示意图;
图2 是快速文件差异备份流程示意图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的体系结构主要包括:catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3),其中:
catalog获取模块(1) 用于连接存储备份集数据的介质服务器,通过提供全量备份集ID信息,获取全量备份集catalog;文件比对备份模块(2)是用于对文件状态信息进行对比,确定文件是否备份并执行备份过程;catalog组织模块(3)是用于存储每个文件的相关信息,保存最后一次全量备份集ID。
一种快速文件差异备份方法,通常用于在备份大数据量文件时减少数据传输量,节省数据存储空间。用户首先通过catalog获取模块(1)获取全量备份集的catalog文件,在通过文件比对备份模块(2)确定并且备份文件数据,最后通过catalog组织模块(3),将每一个文件的相关信息写入到本次备份的catalog文件中,将全量备份集ID写入到catalog文件前16个字节。
一种快速文件差异备份方法,通常用于在备份大数据量文件时减少数据传输量,节省数据存储空间。该方法是使用备份集ID管理每一次备份的数据,通过备份集ID可以定位唯一的数据集,通过catalog文件存储每一次备份的文件相关信息,将全量备份集ID存储在catalog文件前16个字节中,这样通过任意catalog文件即可定位全量备份的catalog,从而获取最近一次全量备份时文件的状态,经过与现在文件状态的对比即可知道哪些文件需要备份。该***体系包括:catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3)。
catalog获取模块(1)用于连接存储备份集数据的介质服务器,获取最近一次全量备份的catalog文件。首先catalog获取模块(1)会向介质服务器获取上一次备份的catalog文件,获取成功后读取文件前16个字节,获取到全量备份集ID信息,然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件。
文件比对备份模块(2)用于通过文件最后写入时间和文件大小的比对确定现阶段的文件状态是否与全量备份时的文件状态相同。如果相同则表明该文件不需要进行备份操作,置该文件的备份集ID为全量备份集ID,如果不同则置该文件的备份集ID为当前的备份集ID。最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份,即对备份集ID为当前ID的文件进行备份。
catalog组织模块(3)用于组织catalog文件,对于每一个文件会有一个结构体去存储该文件的相关信息,包括类型(文件或是目录)、文件大小、文件属性(只读,隐藏)、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息等,不论文件数据是否备份该文件的catalog信息都将会写入到catalog文件中,所有文件备份完成后将catalog获取模块(1)中获取到的全量备份集ID信息写入到文件的前16个字节中,最后将catalog文件备份到介质服务器完成差异备份。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (3)
1.一种快速文件差异备份方法, 其特征在于该方法是使用备份集ID管理每一次备份的数据,通过备份集ID定位唯一的数据集,通过catalog文件存储每一次备份的文件相关信息,将全量备份集ID存储在catalog文件前16个字节中,这样通过任意catalog文件即可定位全量备份的catalog,从而获取最近一次全量备份时文件的状态,经过与现在文件状态的对比即可知道哪些文件需要备份,该***包括:catalog获取模块(1)、文件比对备份模块(2)、catalog组织模块(3),其中:
catalog获取模块(1):用于连接存储备份集数据的介质服务器,获取最近一次全量备份的catalog文件,首先catalog获取模块(1)会向介质服务器获取上一次备份的catalog文件,获取成功后读取文件前16个字节,获取到全量备份集ID信息,然后再次向介质服务器提供全量备份集ID以获取全量备份的catalog文件;
文件比对备份模块(2):用于通过文件最后写入时间和文件大小的比对,确定现阶段的文件状态是否与全量备份时的文件状态相同,如果相同则表明该文件不需要进行备份操作,置该文件的备份集ID为全量备份集ID,如果不同则置该文件的备份集ID为当前的备份集ID,最后通过比对每一个文件的备份集ID是否等于当前备份集ID来确定该文件是否需要备份,即对备份集ID为当前ID的文件进行备份;
catalog组织模块(3):用于组织catalog文件,对于每一个文件会有一个结构体去存储该文件的相关信息,包括文件类型包括:文件或是目录、文件大小、文件属性包括:只读,隐藏、文件创建时间、文件最后访问时间、文件最后写入时间、此次文件的备份集ID、文件路径信息,,不论文件数据是否备份该文件的catalog信息都将会写入到catalog文件中,所有文件备份完成后将catalog获取模块(1)中获取到的全量备份集ID信息写入到文件的前16个字节中,最后将catalog文件备份到介质服务器完成差异备份。
2.根据权利要求1中所述的快速文件差异备份方法,其特征在于通过全量备份集ID定位全量备份的catalog,是由数据备份目的端进行处理。
3.根据权利要求1中所述的快速文件差异备份方法,其特征在于确定文件是否变化,是通过文件的最后写入时间和文件大小来确认。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310112143.7A CN103176867B (zh) | 2013-04-02 | 2013-04-02 | 一种快速文件差异备份方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310112143.7A CN103176867B (zh) | 2013-04-02 | 2013-04-02 | 一种快速文件差异备份方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103176867A true CN103176867A (zh) | 2013-06-26 |
CN103176867B CN103176867B (zh) | 2017-12-01 |
Family
ID=48636766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310112143.7A Active CN103176867B (zh) | 2013-04-02 | 2013-04-02 | 一种快速文件差异备份方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103176867B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685495A (zh) * | 2013-12-05 | 2014-03-26 | 金蝶软件(中国)有限公司 | 软件的升级方法和*** |
CN105373452A (zh) * | 2015-12-11 | 2016-03-02 | 上海爱数信息技术股份有限公司 | 一种数据备份方法 |
CN105634799A (zh) * | 2015-12-25 | 2016-06-01 | 国网浙江省电力公司湖州供电公司 | 一种多样化品牌网络设备配置自动备份方法 |
CN106101229A (zh) * | 2016-06-15 | 2016-11-09 | 北京众享比特科技有限公司 | 数据同步网络和方法 |
WO2017028705A1 (zh) * | 2015-08-18 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 计算机***任务备份方法、***状态恢复方法及其装置 |
CN114328005A (zh) * | 2021-09-08 | 2022-04-12 | 深圳市木浪云科技有限公司 | 容器数据增量备份的方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224639A1 (en) * | 2005-03-29 | 2006-10-05 | Satoru Watanabe | Backup system, program and backup method |
CN101051285A (zh) * | 2006-09-21 | 2007-10-10 | 上海交通大学 | 计算机网络数据备份中文件匹配的方法 |
CN102354293A (zh) * | 2011-09-16 | 2012-02-15 | 浪潮(北京)电子信息产业有限公司 | 一种实现文件差异备份的***及方法 |
CN102521075A (zh) * | 2011-12-01 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种快速可靠的文件增量备份方法 |
CN102541694A (zh) * | 2012-01-18 | 2012-07-04 | 浪潮(北京)电子信息产业有限公司 | 一种数据库备份的方法及装置 |
-
2013
- 2013-04-02 CN CN201310112143.7A patent/CN103176867B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224639A1 (en) * | 2005-03-29 | 2006-10-05 | Satoru Watanabe | Backup system, program and backup method |
CN101051285A (zh) * | 2006-09-21 | 2007-10-10 | 上海交通大学 | 计算机网络数据备份中文件匹配的方法 |
CN102354293A (zh) * | 2011-09-16 | 2012-02-15 | 浪潮(北京)电子信息产业有限公司 | 一种实现文件差异备份的***及方法 |
CN102521075A (zh) * | 2011-12-01 | 2012-06-27 | 浪潮电子信息产业股份有限公司 | 一种快速可靠的文件增量备份方法 |
CN102541694A (zh) * | 2012-01-18 | 2012-07-04 | 浪潮(北京)电子信息产业有限公司 | 一种数据库备份的方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685495A (zh) * | 2013-12-05 | 2014-03-26 | 金蝶软件(中国)有限公司 | 软件的升级方法和*** |
WO2017028705A1 (zh) * | 2015-08-18 | 2017-02-23 | 阿里巴巴集团控股有限公司 | 计算机***任务备份方法、***状态恢复方法及其装置 |
CN105373452A (zh) * | 2015-12-11 | 2016-03-02 | 上海爱数信息技术股份有限公司 | 一种数据备份方法 |
CN105373452B (zh) * | 2015-12-11 | 2019-02-01 | 上海爱数信息技术股份有限公司 | 一种数据备份方法 |
CN105634799A (zh) * | 2015-12-25 | 2016-06-01 | 国网浙江省电力公司湖州供电公司 | 一种多样化品牌网络设备配置自动备份方法 |
CN106101229A (zh) * | 2016-06-15 | 2016-11-09 | 北京众享比特科技有限公司 | 数据同步网络和方法 |
CN106101229B (zh) * | 2016-06-15 | 2019-12-13 | 北京众享比特科技有限公司 | 数据同步网络和方法 |
CN114328005A (zh) * | 2021-09-08 | 2022-04-12 | 深圳市木浪云科技有限公司 | 容器数据增量备份的方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN103176867B (zh) | 2017-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8838923B2 (en) | Continuous data protection over intermittent connections, such as continuous data backup for laptops or wireless devices | |
CN101777017B (zh) | 一种连续数据保护***的快速恢复方法 | |
US9396244B2 (en) | Systems and methods for managing replicated database data | |
US9183268B2 (en) | Partition level backup and restore of a massively parallel processing database | |
CN103176867A (zh) | 一种快速文件差异备份方法 | |
CN104077380B (zh) | 一种重复数据删除方法、装置及*** | |
US9658925B1 (en) | Systems and methods for restoring application data | |
CN102819615A (zh) | 一种基于应用快照的数据库持续数据保护方法 | |
CN104360914A (zh) | 增量快照方法和装置 | |
CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
US9798761B2 (en) | Apparatus and method for fsync system call processing using ordered mode journaling with file unit | |
CN107533495A (zh) | 用于数据备份和恢复的技术 | |
US8843450B1 (en) | Write capable exchange granular level recoveries | |
CN102799503A (zh) | 一种应用于大量小文件的恢复方法 | |
CN103176866A (zh) | 一种应用于ntfs文件***下的文件权限备份方法 | |
CN103207916A (zh) | 元数据处理的方法和装置 | |
US20180307684A1 (en) | Method and Device for Reading and Writing Video Data in NAS Device | |
CN103440179B (zh) | 存储设备配置信息的连续保存方法 | |
CN103077187A (zh) | 日志管理方法和日志管理*** | |
CN105786650A (zh) | 数据的管理方法及装置 | |
US10795588B1 (en) | Check point recovery based on identifying used blocks for block-based backup files | |
CN105302669A (zh) | 一种云备份过程中数据去重的方法和*** | |
US8401995B2 (en) | File removal with no available disk blocks in redirect-on-write file systems | |
CN105827681B (zh) | 一种san网络下备份数据传输方法 | |
US11645333B1 (en) | Garbage collection integrated with physical file verification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |