CN101290628A - 一种数据文件更新存储方法 - Google Patents

一种数据文件更新存储方法 Download PDF

Info

Publication number
CN101290628A
CN101290628A CNA2008100678739A CN200810067873A CN101290628A CN 101290628 A CN101290628 A CN 101290628A CN A2008100678739 A CNA2008100678739 A CN A2008100678739A CN 200810067873 A CN200810067873 A CN 200810067873A CN 101290628 A CN101290628 A CN 101290628A
Authority
CN
China
Prior art keywords
data file
deblocking
data
check code
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100678739A
Other languages
English (en)
Other versions
CN101290628B (zh
Inventor
梁秀帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2008100678739A priority Critical patent/CN101290628B/zh
Publication of CN101290628A publication Critical patent/CN101290628A/zh
Application granted granted Critical
Publication of CN101290628B publication Critical patent/CN101290628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据文件更新存储方法,包括以下处理过程:1)将待存储的数据文件切分成多个数据分块,对各数据分块分别计算校验码,并将校验码附在数据文件的固定区域;2)将更新存储的新数据文件中各数据分块对应的校验码与原数据文件中对应的数据分块的校验码分别进行比较;3)对于校验码不同的数据分块进行更新存储,并更新存储数据文件的校验码。采用本发明可以减少不必要的数据保存,提高存储效率,减少数据存储时间。适用于通信设备的数据保存和备份等技术领域。

Description

一种数据文件更新存储方法
技术领域
本发明涉及一种信息技术领域,尤其涉及通信领域的数据存储技术。
背景技术
随着信息技术的发展,多媒体的应用扩展到每个领域,这使通信的数据量越来越大,通信引起的数据传送越来越频繁,需要存储的数据越来越多。数据存储包括两方面,一是保存大量新数据,二是已有的数据需要频繁更新。
目前,对于数据更新通常是以文件的时间戳判断数据有无变化,这种方法简单,但这可能引起以下问题:
(1)文件内容没有实际变化,仍然需要进行了更新保存;
(2)文件只有部分内容进行了修改,其他部分没有变化,仍然需要对整个文件进行覆盖保存。
所以,提高数据存储效率,如何尽量减少数据更新存操作,是一个重要的问题。
发明内容
本发明解决的技术问题是提出了一种数据文件更新存储方法,提高了数据文件更新存储的效率,减少不必要的数据更新,从而减少数据存储时间。
本发明提出的数据文件更新存储方法,包括以下处理过程:
1)将待存储的数据文件切分成多个数据分块,对各数据分块分别计算校验码,并将校验码附在数据文件的固定区域;
2)将更新存储的新数据文件中各数据分块对应的校验码与原数据文件中对应的数据分块的校验码分别进行比较;
3)对于校验码不同的数据分块进行更新存储,并更新存储数据文件的校验码。
优选的,所述步骤1)中具体为将待存储的数据文件按固定大小切分成多个数据分块,最后一个数据分块的大小为切分后的实际大小。
优选的,所述步骤3)中对于校验码不同的数据分块进行更新存储具体包括以下处理过程:
31)当新数据文件和原数据文件对应的数据分块所属的校验码不相同时,用新数据文件的数据分块更新原数据文件的数据分块;
32)当新数据文件没有原数据文件对应的数据分块时,删除原数据文件的该数据分块;
33)当原数据文件没有新数据文件对应的数据分块时,在原数据文件中保存该数据分块。
优选的,所述步骤1)中具体为对各数据分块分别计算其循环冗余校验码。
优选的,所述步骤1)中具体为将校验码附在数据文件的头部。
采用本发明提出的数据文件更新存储方法,由于对数据文件进行了预处理,在预处理中对数据文件进行分块了计算校验码,使得在更新存储时只需要更新变化的数据分块,因此可以减少不必要的数据保存,提高存储效率,减少数据存储时间。
附图说明
图1是本发明数据文件更新存储方法流程图;
图2是本发明数据文件更新存储方法优选实施例数据备份文件的结构示意图;
图3是本发明数据文件更新存储方法优选实施例数据备份文件的保存处理流程图。
具体实施方式
下面结合通过实施例并结合附图对本发明的技术方案进行详细说明。
本发明的核心思想是:把数据文件分成若干数据分块,计算每一个数据分块的校验码(例如:用CRC算法计算数据分块的CRC码),并且将所有数据分块的校验码附加在数据文件的固定区域,在存储数据时,根据数据文件每个数据分块的校验码判断是否需要更新存储。对于数据文件的分块为了简单起见,可以按固定大小进行分块。
如图1所示的更新存储流程:
第一步:将对象文件(新文件)按固定大小分成若干数据分块,例如,把一个大小为M的文件,分成N个数据分块,其中前N-1个数据块大小相同,最后一个数据分块大小是剩余文件的实际大小。然后,对每个数据分块计算CRC码(保存时将每个数据分块的CRC码集中保存在一个固定区域,比如,将计算的所有数据分块的CRC码附加存在文件的头部)。
第二步:在保存文件时,先判断存储空间中是否已经存在该文件(同名文件),如果没有,则保存整个文件(包括CRC码),否则,第三步;
第三步:逐个比较新文件和旧文件每个数据分块的CRC码,根据不同的结果做不同操作;
第四步:如果两个数据分块的CRC码相同,则不更新该数据分块的数据,比较下一个数据分块;
如果两个数据分块的CRC码不相同,用新文件的该数据分块更新旧文件的数据分块,然后,比较下一个数据分块;
如果新的文件有的数据分块,而旧的文件没有,则保存该数据分块和之后的数据分块到存储空间中;
如果旧的文件有的数据分块,而新的文件没有,则删除旧文件的数据分块。
第五步:用新文件的CRC码更新旧文件的CRC码。
下面再通过一个通信设备的实施例进一步说明更新存储的实现过程。
该实施例以某种单板的数据备份功能为例进行说明。数据备份功能定时或者在某种情况下触发单板对数据进行备份。备份的数据保存在一个Flash中,按照固定格式保存,备份文件的长度不变,保存文件结构如图2所示。备份的信息包括:单板信息、操作***信息、配置信息、告警信息和寄存器信息,各部分的长度大小分别是150K字节,200K字节,600K字节,550K字节和300K字节,图中实线指示各部分大小。
单板第一次产生备份数据后,在保存前,按照本发明的处理步骤,以100K字节为区域大小将备份数据分成18个区(图2中虚线指示不同分区),并使用CRC32算法计算各个区CRC码。然后检查到没有保存数据备份文件,就将所有区的CRC码附加在文件前与文件一同保存。
以后进行备份数据时,在保存前,按照100K字节大小将数据分区,并计算各个区的CRC码。然后检查存在数据备份文件,就比较文件各个区域的CRC码是否一致。下面假设修改了配置,使第7个区备份数据发生了改变,同时,寄存器配置发生变化,使第16个区备份数据发生变化,所以这两个区计算的CRC码与原来文件保存的CRC码不一致。
图3所示为按照本发明进行处理的步骤:
1.计算新备份数据每个分区对应的CRC码。
2.判断已经存在备份数据文件,逐个分区比较CRC码
3.比较新旧第一个分区的CRC码,一致,比较第二个,依次下去,到第6个,然后比较第7个。
4.第7个分区的CRC码经比较不同,则将已有文件的分区内容更新为新备份数据的分区内容,然后比较第8个分区
5.第8到第15个分区的CRC码没有变化,比较第16个分区。
6.第16个分区的CRC码经比较不同,则将已有文件的分区内容更新为新备份数据的分区内容,然后比较第17个
7.第17和18分区的CRC码没有变化。
8.更新保存数据备份文件的CRC码,存储过程结束。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (5)

1.一种数据文件更新存储方法,其特征在于,所述方法包括以下处理过程:
1)将待存储的数据文件切分成多个数据分块,对各数据分块分别计算校验码,并将校验码附在数据文件的固定区域;
2)将更新存储的新数据文件中各数据分块对应的校验码与原数据文件中对应的数据分块的校验码分别进行比较;
3)对于校验码不同的数据分块进行更新存储,并更新存储数据文件的校验码。
2.根据权利要求1所述的数据文件更新存储方法,其特征在于,所述步骤1)中具体为将待存储的数据文件按固定大小切分成多个数据分块,最后一个数据分块的大小为切分后的实际大小。
3.根据权利要求1所述的数据文件更新存储方法,其特征在于,所述步骤3)中对于校验码不同的数据分块进行更新存储具体包括以下处理过程:
31)当新数据文件和原数据文件对应的数据分块所属的校验码不相同时,用新数据文件的数据分块更新原数据文件的数据分块;
32)当新数据文件没有原数据文件对应的数据分块时,删除原数据文件的该数据分块;
33)当原数据文件没有新数据文件对应的数据分块时,在原数据文件中保存该数据分块。
4.根据权利要求1-3任一项所述的数据文件更新存储方法,其特征在于,所述步骤1)中具体为对各数据分块分别计算其循环冗余校验码。
5.根据权利要求1-3任一项所述的数据文件更新存储方法,其特征在于,所述步骤1)中具体为将校验码附在数据文件的头部。
CN2008100678739A 2008-06-17 2008-06-17 一种数据文件更新存储方法 Active CN101290628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100678739A CN101290628B (zh) 2008-06-17 2008-06-17 一种数据文件更新存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100678739A CN101290628B (zh) 2008-06-17 2008-06-17 一种数据文件更新存储方法

Publications (2)

Publication Number Publication Date
CN101290628A true CN101290628A (zh) 2008-10-22
CN101290628B CN101290628B (zh) 2010-06-16

Family

ID=40034886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100678739A Active CN101290628B (zh) 2008-06-17 2008-06-17 一种数据文件更新存储方法

Country Status (1)

Country Link
CN (1) CN101290628B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807207A (zh) * 2010-03-22 2010-08-18 北京大用科技有限责任公司 一种基于内容差异比较的文档共享方法
CN102073560A (zh) * 2011-01-17 2011-05-25 北京深思洛克软件技术股份有限公司 一种数据备份方法和装置
CN102202098A (zh) * 2011-05-25 2011-09-28 成都市华为赛门铁克科技有限公司 数据处理方法及装置
CN101615145B (zh) * 2009-07-24 2011-12-07 中兴通讯股份有限公司 一种提高存储器数据缓存可靠性的方法和装置
CN102567131A (zh) * 2011-12-27 2012-07-11 创新科存储技术有限公司 一种异步镜像方法
CN102714789A (zh) * 2011-04-19 2012-10-03 华为终端有限公司 一种移动终端的数据备份、恢复方法及移动终端
CN102799598A (zh) * 2011-05-25 2012-11-28 英业达股份有限公司 重复数据删除的数据复原方法
CN103166992A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 应用于云存储的快速文件更新方法及***
CN103377251A (zh) * 2012-04-27 2013-10-30 百度在线网络技术(北京)有限公司 用于hdfs的文件比较方法及装置
CN104123280A (zh) * 2013-04-24 2014-10-29 ***股份有限公司 文件比对方法和设备
CN104142954A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 一种基于频度分区的数据表比对更新方法与装置
CN101510175B (zh) * 2009-04-02 2015-06-03 北京中星微电子有限公司 目标数据更新至存储器中的方法及其装置
CN104778223A (zh) * 2015-03-25 2015-07-15 广州多益网络科技有限公司 一种手游房屋的数据模型建立方法及装置
CN105095300A (zh) * 2014-05-16 2015-11-25 阿里巴巴集团控股有限公司 一种数据库备份方法及***
CN105406934A (zh) * 2015-10-27 2016-03-16 上海斐讯数据通信技术有限公司 无源光网络***主、备控板同步方法及***
CN101840363B (zh) * 2009-11-10 2016-03-30 创新科存储技术有限公司 一种文件分块比较方法和装置
CN105656802A (zh) * 2016-03-09 2016-06-08 成都爆米花信息技术有限公司 数据同步方法
CN105955670A (zh) * 2016-05-12 2016-09-21 武汉斗鱼网络科技有限公司 一种应用程序中校验重复列表数据的方法及***
CN103166992B (zh) * 2011-12-14 2016-12-14 中国电信股份有限公司 应用于云存储的快速文件更新方法及***
CN106528125A (zh) * 2016-10-26 2017-03-22 腾讯科技(深圳)有限公司 一种数据文件的增量更新方法和服务器、客户端以及***
CN107015882A (zh) * 2016-12-26 2017-08-04 阿里巴巴集团控股有限公司 一种区块数据校验方法和装置
CN107291572A (zh) * 2017-06-19 2017-10-24 郑州云海信息技术有限公司 一种镜像文件的存储方法及装置
CN107704342A (zh) * 2017-09-26 2018-02-16 郑州云海信息技术有限公司 一种快照拷贝方法、***、装置及可读存储介质
CN108304583A (zh) * 2018-03-06 2018-07-20 北京顶象技术有限公司 一种文件采集方法及装置
CN110515964A (zh) * 2019-08-30 2019-11-29 百度在线网络技术(北京)有限公司 一种文件更新方法、装置、电子设备和介质
CN111104248A (zh) * 2018-10-26 2020-05-05 伊姆西Ip控股有限责任公司 用于验证缓存文件的方法、设备和计算机程序产品
CN111930560A (zh) * 2020-06-29 2020-11-13 东风汽车集团有限公司 一种ecu自学习数据备份方法及***
WO2021070135A1 (en) * 2019-10-12 2021-04-15 International Business Machines Corporation Updating and implementing document from audio proceeding
CN117472291A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 数据块的校验方法和装置、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022903A (ko) * 2004-09-08 2006-03-13 엘지전자 주식회사 프로파일1을 사용하는 케이블 디지탈 티브이의 서비스정보채널 처리방법

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510175B (zh) * 2009-04-02 2015-06-03 北京中星微电子有限公司 目标数据更新至存储器中的方法及其装置
CN101615145B (zh) * 2009-07-24 2011-12-07 中兴通讯股份有限公司 一种提高存储器数据缓存可靠性的方法和装置
CN101840363B (zh) * 2009-11-10 2016-03-30 创新科存储技术有限公司 一种文件分块比较方法和装置
CN101807207A (zh) * 2010-03-22 2010-08-18 北京大用科技有限责任公司 一种基于内容差异比较的文档共享方法
CN102073560A (zh) * 2011-01-17 2011-05-25 北京深思洛克软件技术股份有限公司 一种数据备份方法和装置
CN102714789B (zh) * 2011-04-19 2014-04-02 华为终端有限公司 一种移动终端的数据备份、恢复方法及移动终端
US10095715B2 (en) 2011-04-19 2018-10-09 Huawei Device (Dongguan) Co., Ltd. Data backup and recovery method for mobile terminal and mobile terminal
CN102714789A (zh) * 2011-04-19 2012-10-03 华为终端有限公司 一种移动终端的数据备份、恢复方法及移动终端
CN102799598A (zh) * 2011-05-25 2012-11-28 英业达股份有限公司 重复数据删除的数据复原方法
CN102202098A (zh) * 2011-05-25 2011-09-28 成都市华为赛门铁克科技有限公司 数据处理方法及装置
CN103166992A (zh) * 2011-12-14 2013-06-19 中国电信股份有限公司 应用于云存储的快速文件更新方法及***
CN103166992B (zh) * 2011-12-14 2016-12-14 中国电信股份有限公司 应用于云存储的快速文件更新方法及***
CN102567131A (zh) * 2011-12-27 2012-07-11 创新科存储技术有限公司 一种异步镜像方法
CN103377251B (zh) * 2012-04-27 2017-05-10 百度在线网络技术(北京)有限公司 用于hdfs的文件比较方法及装置
CN103377251A (zh) * 2012-04-27 2013-10-30 百度在线网络技术(北京)有限公司 用于hdfs的文件比较方法及装置
CN104123280A (zh) * 2013-04-24 2014-10-29 ***股份有限公司 文件比对方法和设备
CN104123280B (zh) * 2013-04-24 2017-08-25 ***股份有限公司 文件比对方法和设备
CN104142954A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 一种基于频度分区的数据表比对更新方法与装置
CN104142954B (zh) * 2013-05-10 2017-11-21 中国电信股份有限公司 一种基于频度分区的数据表比对更新方法与装置
CN105095300A (zh) * 2014-05-16 2015-11-25 阿里巴巴集团控股有限公司 一种数据库备份方法及***
CN104778223A (zh) * 2015-03-25 2015-07-15 广州多益网络科技有限公司 一种手游房屋的数据模型建立方法及装置
CN104778223B (zh) * 2015-03-25 2018-08-21 广州多益网络股份有限公司 一种手游房屋的数据模型建立方法及装置
CN105406934A (zh) * 2015-10-27 2016-03-16 上海斐讯数据通信技术有限公司 无源光网络***主、备控板同步方法及***
CN105656802A (zh) * 2016-03-09 2016-06-08 成都爆米花信息技术有限公司 数据同步方法
CN105955670A (zh) * 2016-05-12 2016-09-21 武汉斗鱼网络科技有限公司 一种应用程序中校验重复列表数据的方法及***
CN106528125A (zh) * 2016-10-26 2017-03-22 腾讯科技(深圳)有限公司 一种数据文件的增量更新方法和服务器、客户端以及***
CN107015882A (zh) * 2016-12-26 2017-08-04 阿里巴巴集团控股有限公司 一种区块数据校验方法和装置
CN107015882B (zh) * 2016-12-26 2019-11-22 阿里巴巴集团控股有限公司 一种区块数据校验方法和装置
US10560267B2 (en) 2016-12-26 2020-02-11 Alibaba Group Holding Limited Method and apparatus for verifying block data in a blockchain
US10790981B2 (en) 2016-12-26 2020-09-29 Alibaba Group Holding Limited Method and apparatus for verifying block data in a blockchain
CN107291572A (zh) * 2017-06-19 2017-10-24 郑州云海信息技术有限公司 一种镜像文件的存储方法及装置
CN107704342A (zh) * 2017-09-26 2018-02-16 郑州云海信息技术有限公司 一种快照拷贝方法、***、装置及可读存储介质
CN108304583A (zh) * 2018-03-06 2018-07-20 北京顶象技术有限公司 一种文件采集方法及装置
CN111104248A (zh) * 2018-10-26 2020-05-05 伊姆西Ip控股有限责任公司 用于验证缓存文件的方法、设备和计算机程序产品
CN110515964A (zh) * 2019-08-30 2019-11-29 百度在线网络技术(北京)有限公司 一种文件更新方法、装置、电子设备和介质
GB2604507A (en) * 2019-10-12 2022-09-07 Ibm Updating and implementing document from audio proceeding
WO2021070135A1 (en) * 2019-10-12 2021-04-15 International Business Machines Corporation Updating and implementing document from audio proceeding
CN114450747A (zh) * 2019-10-12 2022-05-06 国际商业机器公司 从音频会议更新和实现文档
US11354920B2 (en) 2019-10-12 2022-06-07 International Business Machines Corporation Updating and implementing a document from an audio proceeding
CN114450747B (zh) * 2019-10-12 2022-11-22 国际商业机器公司 用于基于音频文件更新文档的方法、***和计算机可读介质
CN111930560A (zh) * 2020-06-29 2020-11-13 东风汽车集团有限公司 一种ecu自学习数据备份方法及***
CN111930560B (zh) * 2020-06-29 2023-02-28 东风汽车集团有限公司 一种ecu自学习数据备份方法及***
CN117472291A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 数据块的校验方法和装置、存储介质及电子设备
CN117472291B (zh) * 2023-12-27 2024-03-22 苏州元脑智能科技有限公司 数据块的校验方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN101290628B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
CN101290628B (zh) 一种数据文件更新存储方法
CN105009067B (zh) 管理对存储数据单元的操作
US7840774B2 (en) Compressibility checking avoidance
CN101326492A (zh) 用于更新包括压缩版本的内容的方法和***
CN107046812A (zh) 一种数据保存方法和装置
CN110941514B (zh) 一种数据备份方法、恢复方法、计算机设备和存储介质
KR20150125010A (ko) 저장된 데이터 유닛들의 동작 관리
CN104142954A (zh) 一种基于频度分区的数据表比对更新方法与装置
CN103248369A (zh) 基于fpga的压缩***及其方法
CN107590019A (zh) 一种数据存储的方法和装置
CN102156719A (zh) 全球导航***的观测值文件编解码方法
CN106874399A (zh) 一种联网备份***及备份方法
KR102275240B1 (ko) 저장된 데이터 유닛들의 동작 관리
KR20180021074A (ko) 무손실 축소된 데이터에 대한 기본 데이터 시브를 사용한 다차원 탐색, 내용 연관 검색, 및 키워드 기반 탐색 및 검색의 수행
CN101599080A (zh) 一种备份数据的组织***和方法
KR20180094004A (ko) 블록 처리 저장 시스템 상에 저장된 데이터 및 오디오 데이터의 축소
CN110083487A (zh) 一种基于数据局部性的引用数据块碎片消除方法及***
CN101174294B (zh) 一种基于版本增量备份的软件保护方法
CN108959614A (zh) 一种快照管理方法、***、装置、设备及可读存储介质
CN107085603A (zh) 一种数据处理方法及装置
CN111078652A (zh) 物流箱码的归档压缩方法及装置
CN100551066C (zh) 编码器及自适应算术编码的实现方法及装置
US6226411B1 (en) Method for data compression and restoration
CN114546886A (zh) 一种值日志***的空间回收方法
CN113407577B (zh) 一种kafka数据的查询方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant