CN107770273A - 一种大文件云同步方法及*** - Google Patents

Abstract

本发明公开了一种大文件云同步方法，所述方法包括：获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；若是，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致；若不一致，则同步所述当前数据段至云端服务器，提高了大文件云同步的效率。

Description

一种大文件云同步方法及***

技术领域

本发明属于云技术领域，特别涉及大文件云同步方法及***。

背景技术

随着云计算技术的发展，云存储服务使得互联网用户能够方便而可靠地存取和分享数据。不管用户身在何时何地、使用的是什么终端设备,如个人电脑、平板电脑或智能手机等，在云端存放的数据，如文档、图片、音乐或视频等，都能被自动地同步到所有该用户的在线设备和其他共享用户。

作为云存储服务的关键技术，云同步操作通过一系列网络通信行为和本地计算行为、将用户端发生的数据变动自动映射到云端，为数据的可靠备份与灵活分享提供了支持。

现有技术的云同步技术开发中，针对大文件的云同步仍然存在云同步时文件数据传输时间长和云同步效率低的问题。

因此，如何提高大文件的云同步效率，成为亟待解决的问题。

发明内容

鉴于此，本发明的目的在于提供一种大文件云同步方法及***，提高了大文件云同步的效率，节省了大文件云同步的时间。

根据上述发明目的，本发明提供一种大文件云同步方法，所述方法包括：

S1、获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；

S2、若是，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；

S3、当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致；

S4、若不一致，则同步所述当前数据段至云端服务器。

优选地，步骤S1还包括：

若所述目标文件的大小小于一预设文件大小阀值时，则根据第一校验算法对所述目标文件生成第一校验结果，并将所述第一校验结果发送至云端服务器；

所述云端服务器根据所述第一校验算法，对所述目标文件对应的云端目标文件生成第二校验结果；

若所述第一校验结果与所述第二校验结果不一致，则同步所述目标文件至云端服务器。

优选地，步骤S1还包括：

若所述第一校验结果与所述第二校验结果一致，则根据第二校验算法对所述目标文件生成第三校验结果，并将所述第三校验结果发送至云端服务器；

所述云端服务器根据所述第二校验算法，对所述目标文件对应的云端目标文件生成第四校验结果；

若所述第三校验结果与所述第四校验结果不一致，则同步所述目标文件至云端服务器。

优选地，步骤S2具体包括：

预先设置数据段的长度值，并根据所述长度值将所述目标文件分割为多个数据段；

设置每个数据段对应的索引号，所述索引号指向对应数据段的首位字节；

建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

优选地，步骤S2具体还包括：

当所述数据段发生删除操作时，且所述删除的位置为所述数据段对应的索引号指向的位置，则更新所述索引号指向删除操作后数据段的首位字节。

优选地，所述方法包括：

若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段生成第五校验结果，并发送所述第五校验结果至云端服务器；

所述云端服务器根据所述第一校验算法，对所述当前数据段对应的云端数据段生成第六校验结果；

若所述第五校验结果与所述第六校验结果不一致，则同步所述当前数据段至云端服务器。

优选地，所述方法还包括：

若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段生成第七校验结果，并发送所述第七校验结果至云端服务器；

所述云端服务器根据所述第二校验算法，对所述当前数据段对应的云端数据段生成第八校验结果；

若所述第七校验结果与所述第八校验结果不一致，则同步所述当前数据段至云端服务器。

根据上述发明目的，本发明还提供了一种大文件云同步***，所述***包括：

判断模块，用于获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；

分割模块，用于当所述目标文件的大小超过一预设文件大小阀值时，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；

云同步模块，用于当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致，若不一致，则同步所述当前数据段至云端服务器。

优选地，分割模块具体包括：

设置单元，用于预先设置数据段的长度值；

分割单元，用于当所述目标文件的大小超过一预设文件大小阀值时，根据所述长度值将所述目标文件分割为多个数据段；

数据信息单元，用于设置每个数据段对应的索引号，所述索引号指向对应数据段的首位字节，并建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

优选地，所述云同步模块还包括校验单元，

所述校验单元，用于若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段生成第五校验结果，并发送所述第五校验结果至云端服务器；所述云端服务器根据所述第一校验算法，对所述当前数据段对应的云端数据段生成第六校验结果；若所述第五校验结果与所述第六校验结果不一致，则同步所述当前数据段至云端服务器；

所述校验单元，还用于若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段生成第七校验结果，并发送所述第七校验结果至云端服务器；所述云端服务器根据所述第二校验算法，对所述当前数据段对应的云端数据段生成第八校验结果；若所述第七校验结果与所述第八校验结果不一致，则同步所述当前数据段至云端服务器。

与现有技术相比，本发明提供的大文件云同步方法及***，具有以下有益效果：在进行大文件的云同步时，将大文件分割成多个数据段，对每个数据段分别进行云同步操作，解决了现有技术中大文件云同步的数据传输时间长和云同步效率低的问题，提高了大文件云同步的效率，节省了大文件云同步的时间，提高了用户的体验效果；采用双校验机制，对文件校验的速度和准确性提供了双重保障，同时提高了云同步的安全性，提高云同步文件的质量。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种大文件云同步方法及***的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种大文件云同步方法的流程图；

图2是本发明一种大文件云同步***的组成结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

如图1所示，根据本发明的一个实施例，一种大文件云同步方法，所述方法包括：

S1、获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；

S2、若是，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；

S3、当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致；

S4、若不一致，则同步所述当前数据段至云端服务器。

当客户端和云端服务器启动云同步时，判断目标文件是否是大文件的范畴。计算并确定目标文件的大小，如果所述目标文件的大小超过一预设的文件大小阀值，则判定所述目标文件是大文件。比如，设置文件大小的阀值为500M，当所述目标文件的大小超过500M时，认为所述目标文件为大文件，否则认为所述目标文件为小文件。

优选地，步骤S1还包括：

若所述目标文件的大小小于一预设文件大小阀值时，则根据第一校验算法对所述目标文件生成第一校验结果，并将所述第一校验结果发送至云端服务器；

所述云端服务器根据所述第一校验算法，对所述目标文件对应的云端目标文件生成第二校验结果；

若所述第一校验结果与所述第二校验结果不一致，则同步所述目标文件至云端服务器。

优选地，步骤S1还包括：

若所述第一校验结果与所述第二校验结果一致，则根据第二校验算法对所述目标文件生成第三校验结果，并将所述第三校验结果发送至云端服务器；

所述云端服务器根据所述第二校验算，对所述目标文件对应的云端目标文件生成第四校验结果；

若所述第三校验结果与所述第四校验结果不一致，则同步所述目标文件至云端服务器。

若所述目标文件的大小小于一预设文件大小阀值时，则判定所述目标文件为小文件，对于小文件，直接进行云同步操作，不需要对目标文件进行分割处理。在进行文件的云同步前，需要对目标文件进行校验处理。根据第一校验算法对所述目标文件生成第一校验结果，并将所述第一校验结果发送至云端服务器。所述云端服务器获取所述第一校验结果，根据所述第一校验算法对所述目标文件对应的存储在云端服务器的云端目标文件生成第二校验结果。若所述第一校验结果与所述第二校验结果不一致，则同步所述目标文件至云端服务器。比如，所述第一校验算法采用Alder32码校验方式，Alder32码校验方式具有校验算法速度快的特点，采用该校验方式能够对文件进行快速的检验。

若所述第一校验结果与所述第二校验结果一致，则根据第二校验算法对所述目标文件生成第三校验结果，并将所述第三校验结果发送至云端服务器。所述云端服务器获取所述第三校验结果，并根据所述第二校验算法，对所述目标文件对应的存储在云端服务器的云端目标文件生成第四校验结果。若所述第三校验结果与所述第四校验结果不一致，则同步所述目标文件至云端服务器。比如，所述第二校验算法采用MD5校验方式，MD5校验方式具有校验精度高、安全性高的特点，采用该校验方式能够提高校验的准确率和安全性。

通过该技术方案，采用双校验机制，对文件校验的速度和准确性提供了双重保障，同时提高了云同步的安全性，提高了云同步文件的质量。

若所述目标文件的大小超过一预设的文件大小阀值，则判定所述目标文件是大文件，并将所述目标文件进行分割，分割成多个数据段。把一个大文件分割成多个数据段，每个数据段可以作为一个单独的对象进行云同步操作。具体地，预先设置数据段的长度值，根据所述数据段的长度值，将所述目标文件分割为多个数据段。对每个数据段配置对应的索引号，所述索引号指向对应数据段的首位字节。并建立一数据信息表，在该数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

本发明的一具体实施例，当所述数据段发生增加、查询和修改操作时，对应的所述地址信息表维持不变，即所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系维持不变。当所述数据段发生删除操作时，并且所述删除的位置为所述索引号指向的位置，即删除位置为所述索引号对应的数据段的首位字节时，则修改数据信息表中的对应的索引号信息，将所述索引号更新为指向删除操作后数据段的首位字节。

当启动云同步时，云同步客户端和云端服务器连接网络并进行云同步操作。在客户端，根据所述数据信息表存储的索引号和对应的数据段长度，获取对应的当前数据段，计算所述当前数据段的长度，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致，若不一致，则表明所述索引号对应的当前数据段的内容被更改或者删除部分内容，导致当前数据段的长度发生了变化，与所述数据信息表存储的该索引号对应的数据段长度不一致，则同步所述当前数据段至云端服务器。

根据该技术方案，在进行大文件的云同步时，将大文件分割成多个数据段，对每个数据段分别进行云同步操作，解决了现有技术中大文件云同步的数据传输时间长和云同步效率低的问题，提高了大文件云同步的效率，节省了大文件云同步的时间，提高了用户的体验效果。

优选地，所述方法还包括：

若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段生成第五校验结果，并发送所述第五校验结果至云端服务器；

所述云端服务器根据所述第一校验算法，对所述当前数据段对应的云端数据段生成第六校验结果；

若所述第五校验结果与所述第六校验结果不一致，则同步所述当前数据段至云端服务器。

优选地，所述方法还包括：

若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段生成第七校验结果，并发送所述第七校验结果至云端服务器；

所述云端服务器根据所述第二校验算法，对所述当前数据段对应的云端数据段生成第八校验结果；

若所述第七校验结果与所述第八校验结果不一致，则同步所述当前数据段至云端服务器。

本发明的一具体实施例，为提高云同步文件的校验速度和准确性采用双校验机制。若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则表明所述数据段的长度没有变，但有可能存在虽数据段长度不变，而所述数据段本身的数据内容发生了变化，因此需要采用校验方式对云同步的数据进行校验。

具体地，若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段进行校验，生成第五校验结果，并发送所述第五校验结果至云端服务器。所述云端服务器获取所述第五校验结果，根据所述第一校验算法对所述当前数据段对应的存储在云端服务器的对应的云端数据段生成第六校验结果，并将所述第五校验结果与所述第六校验结果进行比较，若不一致，则同步所述当前数据段至云端服务器。若不一致，则表明当前数据段与云端服务器存储的对应的云端数据段不一致，将当前数据段同步到云端服务器，完成数据的同步。比如，所述第一校验算法采用Alder32码校验方式，Alder32码校验方式具有校验算法速度快的特点，采用该校验方式能够对文件进行快速的检验。

若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段进行校验，生成第七校验结果，并发送所述第七校验结果至云端服务器。所述云端服务器获取所述第七校验结果，根据所述第二校验算法对所述当前数据段对应的存储在云端服务器的对应的云端数据段生成第八校验结果。并将所述第七校验结果与所述第八校验结果进行比较，若不一致，则同步所述当前数据段至云端服务器。若不一致，则表明当前数据段与云端服务器存储的对应的云端数据段不一致，将当前数据段同步到云端服务器，完成数据的同步。比如，所述第二校验算法采用MD5校验方式，MD5校验方式具有校验精度高、安全性高的特点，采用该校验方式能够提高校验的准确率和安全性。

通过该技术方案，对大文件的数据段进行云同步时，采用双校验机制，对文件校验的速度和准确性提供了双重保障，同时提高了云同步的安全性，提高云同步文件的质量。

如图2所示本发明一个实施例，一种大文件云同步***，所述***包括：

判断模块20，用于获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；

分割模块21，用于当所述目标文件的大小超过一预设文件大小阀值时，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；

云同步模块22，用于当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致，若不一致，则同步所述当前数据段至云端服务器。

当客户端和云端服务器启动云同步时，判断目标文件是否是大文件的范畴。在判断模块20中，确定目标文件的大小，如果所述目标文件的大小超过一预设的文件大小阀值，则判定所述目标文件是大文件。比如，设置文件大小的阀值为500M，当所述目标文件的大小超过500M时，认为所述目标文件为大文件，否则认为所述目标文件为小文件。

优选地，分割模块21具体包括：

设置单元，用于预先设置数据段的长度值；

分割单元，用于当所述目标文件的大小超过一预设文件大小阀值时，根据所述长度值将所述目标文件分割为多个数据段；

数据信息单元，用于设置每个数据段对应的索引号，所述索引号指向对应数据段的首位字节，并建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

在分割模块21中，当所述目标文件的大小超过一预设文件大小阀值时，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系。具体地，通过设置单元预先设置数据段的长度值。当所述目标文件的大小超过一预设的文件大小阀值，判断模块判定所述目标文件是大文件，分割单元根据所述数据段的长度值，并将所述目标文件进行分割，分割成多个数据段。把一个大文件分割成多个数据段，每个数据段可以作为一个单独的对象进行云同步操作。数据信息单元对每个数据段配置对应的索引号，所述索引号指向对应数据段的首位字节，并建立一数据信息表，在该数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

当启动云同步时，云同步客户端和云端服务器连接网络并进行云同步操作。云同步模块22根据所述分割模块的数据信息表存储的索引号和对应的数据段长度，获取所述索引号对应的当前数据段，计算所述当前数据段的长度，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致，若不一致，则表明所述索引号对应的当前数据段的内容被更改或者删除部分内容，当前数据段的长度发生了变化，与所述数据信息表存储的该索引号对应的数据段长度不一致，则同步所述当前数据段至云端服务器。

本发明的一具体实施例，所述云同步模块还包括校验单元。在所述校验单元中，若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段生成第五校验结果，并发送所述第五校验结果至云端服务器；所述云端服务器根据所述第一校验算法，对所述当前数据段对应的云端数据段生成第六校验结果；若所述第五校验结果与所述第六校验结果不一致，则同步所述当前数据段至云端服务器。若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段生成第七校验结果，并发送所述第七校验结果至云端服务器；所述云端服务器所述根据第二校验算法对所述当前数据段对应的云端数据段生成第八校验结果；若所述第七校验结果与所述第八校验结果不一致，则同步所述当前数据段至云端服务器。

通过该技术方案，提高了大文件云同步的效率，节省了大文件云同步的时间，提高了用户的体验效果。

综上所述，本发明进行大文件的云同步时，将大文件分割成多个数据段，对每个数据段分别进行云同步操作，提高了大文件云同步的效率，节省了大文件云同步的时间。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种大文件云同步方法，其特征在于，所述方法包括：

S1、获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；

S2、若是，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；

S3、当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致；

S4、若不一致，则同步所述当前数据段至云端服务器。

2.如权利要求1所述的大文件云同步方法，其特征在于，步骤S1还包括：

若所述目标文件的大小小于一预设文件大小阀值时，则根据第一校验算法对所述目标文件生成第一校验结果，并将所述第一校验结果发送至云端服务器；

所述云端服务器根据所述第一校验算法，对所述目标文件对应的云端目标文件生成第二校验结果；

若所述第一校验结果与所述第二校验结果不一致，则同步所述目标文件至云端服务器。

3.如权利要求2所述的大文件云同步方法，其特征在于，步骤S1还包括：

若所述第一校验结果与所述第二校验结果一致，则根据第二校验算法对所述目标文件生成第三校验结果，并将所述第三校验结果发送至云端服务器；

所述云端服务器根据所述第二校验算法，对所述目标文件对应的云端目标文件生成第四校验结果；

若所述第三校验结果与所述第四校验结果不一致，则同步所述目标文件至云端服务器。

4.如权利要求1所述的大文件云同步方法，其特征在于，步骤S2具体包括：

预先设置数据段的长度值，并根据所述长度值将所述目标文件分割为多个数据段；

设置每个数据段对应的索引号，所述索引号指向对应数据段的首位字节；

建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

5.如权利要求4所述的大文件云同步方法，其特征在于，步骤S2具体还包括：

当所述数据段发生删除操作时，且所述删除的位置为所述数据段对应的索引号指向的位置，则更新所述索引号指向删除操作后数据段的首位字节。

6.如权利要求1所述的大文件云同步方法，其特征在于，所述方法包括：

若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段生成第五校验结果，并发送所述第五校验结果至云端服务器；

所述云端服务器根据所述第一校验算法，对所述当前数据段对应的云端数据段生成第六校验结果；

若所述第五校验结果与所述第六校验结果不一致，则同步所述当前数据段至云端服务器。

7.如权利要求6所述的大文件云同步方法，其特征在于，所述方法还包括：

若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段生成第七校验结果，并发送所述第七校验结果至云端服务器；

所述云端服务器根据所述第二校验算法，对所述当前数据段对应的云端数据段生成第八校验结果；

若所述第七校验结果与所述第八校验结果不一致，则同步所述当前数据段至云端服务器。

8.一种大文件云同步***，其特征在于，所述***包括：

判断模块，用于获取目标文件的大小，判断所述目标文件的大小是否超过一预设文件大小阀值时；

分割模块，用于当所述目标文件的大小超过一预设文件大小阀值时，对所述目标文件分割成多个数据段，建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系；

云同步模块，用于当启动云同步时，根据所述索引号获取对应的当前数据段，并判断当前数据段的长度与所述数据信息表中所述索引号对应的数据段长度是否一致，若不一致，则同步所述当前数据段至云端服务器。

9.如权利要求8所述的大文件云同步***，其特征在于，分割模块具体包括：

设置单元，用于预先设置数据段的长度值；

分割单元，用于当所述目标文件的大小超过一预设文件大小阀值时，根据所述长度值将所述目标文件分割为多个数据段；

数据信息单元，用于设置每个数据段对应的索引号，所述索引号指向对应数据段的首位字节，并建立一数据信息表，所述数据信息表中存储每个数据段的索引号和数据段长度的对应关系。

10.如权利要求9所述的大文件云同步***，其特征在于，所述云同步模块还包括校验单元，

所述校验单元，用于若所述当前数据段的长度与所述数据信息表中所述索引号对应的数据段大小一致，则根据第一校验算法对所述当前数据段生成第五校验结果，并发送所述第五校验结果至云端服务器；所述云端服务器根据所述第一校验算法，对所述当前数据段对应的云端数据段生成第六校验结果；若所述第五校验结果与所述第六校验结果不一致，则同步所述当前数据段至云端服务器；

所述校验单元，还用于若所述第五校验结果与所述第六校验结果一致，则根据第二校验算法对所述当前数据段生成第七校验结果，并发送所述第七校验结果至云端服务器；所述云端服务器根据所述第二校验算法，对所述当前数据段对应的云端数据段生成第八校验结果；若所述第七校验结果与所述第八校验结果不一致，则同步所述当前数据段至云端服务器。