CN104408048A - 一种缓冲式云存储数据同步的方法和装置 - Google Patents

Abstract

本发明提供一种缓冲式云存储数据同步方法和装置，解决了当对用户数据进行频繁短促的更新时造成的同步流量浪费的技术问题。包括：中间件装置接收待存储在云端的第一文件，第一文件为用户设备中的文件；中间件装置获取第一文件的容量值，判断第一文件的容量值是否大于等于预设阈值；在第一文件的容量值小于预设阈值，且中间件装置在接收第一文件之后的第一预设时间段内没有接收到第二文件时，将第一文件发送至与云端连接的云存储同步文件夹中，其中，第二文件为待存储在云端的文件。本发明利用批量同步的方法及装置，有效降低云存储应用的网络流量开销，并且不会对用户体验造成明显影响。

Description

一种缓冲式云存储数据同步的方法和装置

技术领域

本发明涉及计算机领域，特别是指一种缓冲式云存储数据同步的方法和装置。

背景技术

作为个人存储、文件同步和数据分享的有力工具，云存储服务(如Dropbox、Google Drive、OneDrive、iCloud Drive等)近年来极为流行，为用户提供了泛在、可靠、安全的数据存储服务，并且可以方便地同步数据到多台设备或多个用户。

一个云存储***典型地由两部分构成：(1)前端装置，安装并运行在用户设备上；(2)后端云，存放用户数据，一般由大规模数据中心组成。用户在安装客户端应用时一般需要指定一个特殊的“同步文件夹”，每当用户在此文件夹中创建文件或修改文件时，所做的数据更新都会被客户端应用自动同步到后端云，同步过程对用户几乎完全透明。考虑到数以亿计的用户已经将他们的数据托付到云存储中，云存储应用如何有效地利用网络资源、进行高效的内容分发就变得极为重要。

然而，当前端装置进行频繁短促的数据更新时，云存储应用所产生的网络流量呈现“病态的低效”。具体来说，每当同步文件夹中发生数据更新时，云存储应用就会计算二值差异并压缩之，再将压缩后的二值差异发送到云端，这一过程不可避免地要同时发送一些“会话维护数据”(Session maintenance data)，从而给云端、前端装置以及传输网络都带来沉重却并非必要的流量负担。操作者称为云存储内容分发的“同步流量滥用问题”(Data sync traffic overuse problem)，“同步流量滥用问题”不仅在用户设备中普遍存在，而且在各大主流云存储***中屡见不鲜。据测量数据显示：***中至少有8.5％的用户、其超过10％的数据流量来自于频繁短促数据更新，而且，当某文件被多个用户分享时，流量滥用问题会变得更为尖锐。

发明内容

本发明提出一种缓冲式云存储数据同步的方法和装置，解决了现有技术中当对用户数据进行频繁短促的更新时造成的同步流量浪费的技术问题。

第一方面，本发明提供一种缓冲式云存储数据同步的方法，包括以下步骤：

中间件装置接收待存储在云端的第一文件，第一文件为用户设备中的文件；

中间件装置获取第一文件的容量值，判断第一文件的容量值是否大于等于预设阈值；

在第一文件的容量值小于预设阈值，且中间件装置在接收第一文件之后的第一预设时间段内没有接收到第二文件时，将第一文件发送至与云端连接的云存储同步文件夹中，其中，第二文件为待存储在云端的文件。

优选的，所述方法还包括：

在第一文件的容量值小于预设阈值，且中间件装置在接收第一文件之后的第一预设时间段内接收有第二文件时，则获取第二文件的容量值；

判断第一文件和第二文件的总容量值是否小于预设阈值；

在第一文件和第二文件的总容量值大于等于预设阈值时，中间件装置将第一文件和第二文件直接发送至与云端连接的同步文件夹中。

优选的，所述方法还包括：

在第一文件和第二文件的总容量值小于预设阈值时，且在中间件装置接收第二文件之后的第一预设时间段内没有接收到其他文件时，将第一文件和第二文件发送至与云端连接的云存储同步文件夹中。

优选的，所述方法还包括：

在第一文件和第二文件的总容量值小于预设阈值时，且在中间件装置接收第二文件之后的第一预设时间段内接收有其他文件时，确定第一文件、第二文件以及其他文件的所有容量值；

直至中间件装置中文件的容量值大于等于预设阈值时，将中间件装置中的所有文件发送至与云端连接的云存储同步文件夹中。

优选的，方法还包括：

中间件装置在接收第二文件之后，且第一文件和第二文件的容量值小于预设阈值时，中间件装置中的计数器清零，重新计时，判断在第一预设时间内是否接收到其他文件。

第二方面，本发明提供一种缓冲式云存储数据同步装置，包括：

接收模块，用于接收待存储在云端的文件；

容量值获取模块，用于获取文件的容量值；

判断模块，用于判断文件的容量值与预设阈值的大小；

发送模块，在文件的容量值小于预设阈值时，将文件经过预设时间段后发送至与云端连接的云存储同步文件夹中。

优选的，容量值获取模块用于获取所述文件的压缩版本的容量大小。

优选的，文件包括新文件和修改文件，容量值获取模块获取新文件的压缩版本和修改文件的改变部分的压缩版本大小。

优选的，容量值获取模块通过gzip工具计算出文件的压缩版本的大小。

本发明提出了一种缓冲式云存储数据同步的方法和装置，中间件装置可以前动地探测和批处理发生在缓存文件夹中的频繁短促的文件更新，这些被批处理的文件更新被发送到本地同步文件夹，再被真正同步到后端云存储中，从而有效降低云存储应用的网络流量开销，并且不会对用户体验造成明显影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的缓冲式云存储数据同步的方法的流程示意图；

图2为本发明一实施例提供的缓冲式云存储数据同步的方法的流程示意图；；

图3为本发明一种缓冲式云存储数据同步装置的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明中一种缓冲式云存储数据同步的方法的流程示意图，如图1所示，该缓冲式云存储数据同步的方法包括如下步骤：

101、中间件装置接收待存储在云端的第一文件，第一文件为用户设备中的文件。

举例来说，中间件装置对应于本地硬盘上的一个缓存文件夹，文件夹名可为SavingBox，用于接收待存储在云端的第一文件，第一文件为用户设备中的文件，前端装置对应建立一个本地的同步文件夹，中间件装置定期刷新缓存文件夹，检测缓存文件夹的文件是否发生更新。

102、中间件装置获取第一文件的容量值，判断第一文件的容量值是否大于等于预设阈值。

在本实施例中，若缓存文件夹的文件发生更新，中间件装置获取第一文件的容量值，中间件装置维护缓存文件夹中尚未被发送到本地的同步文件夹中第一文件的容量大小，中间件装置内的容量计数器获取第一文件的容量值，并判断第一文件的容量值和预设阈值C的大小。

在本实施例中，预设阈值C可为用户定义的值，可根据实际需要设置，本实施例不对其进行限定。

103、在第一文件的容量值小于预设阈值，且中间件装置在接收第一文件之后的第一预设时间段内没有接收到第二文件时，将第一文件发送至与云端连接的云存储同步文件夹中，其中，第二文件为待存储在云端的文件。

举例来说，中间件装置内部设置有预定的时间变量t和容量变量c，这两个变量控制了文件更新和处理的频率，时间变量t决定了多长时间推送一次缓存文件夹中的文件到本地的同步文件夹，容量变量c决定了用来确保频繁短促的文件更新被成批同步的最小容量，时间变量t采用计时器计时，每当一个文件被创建或修改时计时器的值被重置为0。

当第一文件的容量值小于预设阈值C，且中间件装置在接收第一文件之后的第一预设时间段T1内没有接收到第二文件时，则将第一文件发送至与云端连接的本地的同步文件夹中，当同步文件夹中接收到第一文件时，第一文件都会被前端装置应用自动同步到后端云装置。

本实施例中的预设阈值C为250KB，但不限于250KB，第一预设时间段T1设置为5秒，但不限定于5秒，用户可根据实际生产需要进行预设阈值C和第一预设时间段T1的设计。

本实施例中，中间件装置维护SavingBox文件夹中尚未被推送到真正的云存储同步文件夹中的所有数据更新的大小。如果文件的容量大小超过预设阈值C，那么SavingBox中的新文件和被更新文件就立刻被推送到真正的云存储同步文件夹，如果文件的容量值小于预设阈值C，则判断中间件装置在接收第一文件之后的第一预设时间段内没有接收到第二文件时，若否，则将第一文件发送到同步文件夹中，从而来保护云存储应用免受流量滥用问题的影响。

图2为本发明中一种缓冲式云存储数据同步的方法的流程示意图，如图2所示，其中，图2与图1不同的是，图2中还包括步骤204至步骤206，其中步骤201和图1中的步骤101相同，步骤202和图1中的步骤102相同，其中步骤203和图1中的步骤103相同，该处不在说明。

该缓冲式云存储数据同步的方法包括如下步骤：

204、在第一文件的容量值小于预设阈值，且中间件装置在接收第一文件之后的第一预设时间段内接收有第二文件时，则获取第二文件的容量值。

在本实施例中，若缓存文件夹的文件发生更新，中间件装置获取第二文件的容量值，中间件装置维护缓存文件夹中尚未被发送到本地的同步文件夹中第二文件的容量大小，中间件装置内的容量计数器获取第二文件的容量值。

在本实施例中，预设阈值C可为用户定义的值，可根据实际需要设置，本实施例不对其进行限定。

205、判断第一文件和第二文件的总容量值是否小于预设阈值。

其中，中间件装置获取第二文件的容量值后，统计第一文件和第二文件的总容量值，并继续判断第一文件和第二文件的总容量值和预设阈值C的大小。

206、在第一文件和第二文件的总容量值大于等于预设阈值时，中间件装置将第一文件和第二文件直接发送至与云端连接的同步文件夹中。

本实施例中，中间件装置维护SavingBox文件夹中尚未被发送到本地的同步文件夹中的所有的更新的文件大小。如果第一文件和第二文件的总容量值大于等于预设阈值C，那么SavingBox中的第一文件和第二文件就立刻被发送到本地的同步文件夹。

当然，在其他实施例中，还可能出现，在第一文件和第二文件的总容量值小于预设阈值时，且在中间件装置接收第二文件之后的第一预设时间段内没有接收到其他文件时，将第一文件和第二文件发送至与所述云端连接的云存储同步文件夹中。

当然，在其他实施例中，还可能出现，在中间件装置接收第二文件之后的第一预设时间段内接收有其他文件此时，中间件装置具体用于，确定第一文件、第二文件以及其他文件的所有容量值，直至中间件装置中所有文件的容量值大于等于预设阈值C时，将中间件装置中的所有文件发送至与云端连接的云存储同步文件夹中。

具体地，在本实施例中，

第一步，中间件装置首先判断缓存文件夹SavingBox内的第一文件的大小是否小于预设阈值C，若小于预设阈值C，则进行第二步，反之，则中间件装置直接将缓存文件夹SavingBox内的文件发送至本地同步文件夹中。

第二步，在第一文件的容量值小于预设阈值时，判断缓存文件夹SavingBox内文件更新间隔时间是否小于第一预设时间段T1，即中间件装置在接收第一文件之后的第一预设时间段T1是否接收第二文件，若没有接收到第二文件时，则将第一文件发送至与云端连接的云存储同步文件夹中，其中，第二文件为待存储在云端的文件，若接收到第二文件，则进行第三步。

第三步，获取第二文件的容量值，判断第一文件和第二文件的总容量值是否小于预设阈值C。

第四步，在第一文件和第二文件的总容量值大于等于预设阈值时，中间件装置将第一文件和第二文件直接发送至与云端连接的同步文件夹中，在第一文件和第二文件的总容量值小于预设阈值时，且在中间件装置接收第二文件之后的第一预设时间段T1内没有接收到其他文件时，将第一文件和第二文件发送至与所述云端连接的云存储同步文件夹中。

第五步，在中间件装置接收第二文件之后的第一预设时间段T1内接收有其他文件此时，中间件装置具体用于，确定第一文件、第二文件以及其他文件的所有容量值，直至中间件装置中所有文件的容量值大于等于预设阈值C时，将中间件装置中的所有文件发送至与云端连接的云存储同步文件夹中。

图2中没有示出该部分内容，本实施例可根据实际需要进行查看，上述过程可为循环处理的过程。

本实施例中的中间件装置采用Linux版的UDS(Update-batchedDelayed Synchronization)***，UDS***通过Linux内核提供的inotify***调用来监控缓存文件夹中发生的任何数据更新，本发明中的中间件装置不限于UDS***，根据实际生产需要也可以采用Windows、Mac OS或其他操作***。

进一步地，本实施例中的中间件装置还设置了第二个计数器，它在更粗的第二预设时间段T2(T2＞T1)上发送SavingBox文件夹中更新的数据到本地的同步文件夹，当往SavingBox文件夹中的一个文件反复添加单字节，此时如果预设阈值C较大，那么需要太长的时间才能使数据更新值达到C；类似地，如果数据添加的时间间隔总是比T1短，那么前文所说的第一个计时器在计数值没达到预设阈值C前就不会有任何效果。

本实施例中第二预设时间段T2设置为30秒，但不限定于30秒。通过设置了第二个计数器，从而防范极端“病态”的数据更新模式可能为“阻塞”中间件装置的数据同步。

本实施例中，中间件装置独立于任何特定的云存储***、并且不需要对原始云存储***进行任何改变。该中间件装置首先构建一个名为“SavingBox”的缓存文件夹以替代原来的同步文件夹，一旦探测到频繁短促数据更新，就适当延迟数据更新的同步、最终将多次更新批处理成一次大的数据更新同步到云端。

图3为本发明一种缓冲式云存储数据同步装置的结构框图，如图3所示，该装置包括：接收模块31，容量值获取模块32，判断模块33，和发送模块34；

其中；接收模块31用于接收待存储在云端的文件；

容量值获取模块32用于获取文件的容量值；

判断模块33用于判断所述文件的容量值与预设阈值的大小；

发送模块34在所述文件的容量值小于所述预设阈值时，将所述文件经过预设时间段后发送至与云端连接的云存储同步文件夹中。

在一种可能的实现方式中，前述的容量值获取模块32，还用于在第一文件的容量值小于预设阈值C，且在接收第一文件之后的第一预设时间段T1内接收有第二文件时，则获取第二文件的容量值；

相应地，判断模块33，还用于判断第一文件和第二文件的总容量值是否小于预设阈值；

发送模块34，还用于在第一文件和第二文件的总容量值大于等于预设阈值C时，将第一文件和第二文件直接发送至与云端连接的同步文件夹中。

当SavingBox文件夹的数据发生变化时，容量值获取模块32自动计算每个新文件或修改文件的改变部分的压缩版本，即当用户向SavingBox中添加新文件时，容量值获取模块32自动计算新文件的压缩版本，相似地，如果一个文件被修改了，容量值获取模块32则为此文件的改变部分计算一个压缩版本。

进一步地，如果是新文件创建，那么容量值获取模块32使用gzip计算出新文件的压缩大小；如果是现存文件被修改，容量值获取模块32首先使用标准的Linux工具rsync来计算文件的二值差异、再用gzip计算出二值差异的压缩大小。

本实施例中的容量值获取模块32使用gzip计算出新文件的压缩大小，但不仅仅限于使用gzip来压缩文件，所以计数器的计数值只是一个近似的估计值，它可能不太准确，但在实践中的性能已经足够优越。

本实施例的缓冲式云存储数据同步装置可执行前述的图1至图2所示的方法实施例中的流程，本实施例不在此进行详述。

显然，本领域的技术人员可以对半发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求以及等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种缓冲式云存储数据同步的方法，其特征在于，包括以下步骤：

中间件装置接收待存储在云端的第一文件，所述第一文件为用户设备中的文件；

所述中间件装置获取所述第一文件的容量值，判断所述第一文件的容量值是否大于等于预设阈值；

在所述第一文件的容量值小于所述预设阈值，且所述中间件装置在接收第一文件之后的第一预设时间段内没有接收到第二文件时，将所述第一文件发送至与所述云端连接的云存储同步文件夹中，其中，所述第二文件为待存储在云端的文件。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一文件的容量值小于所述预设阈值，且所述中间件装置在接收第一文件之后的第一预设时间段内接收有所述第二文件时，则获取所述第二文件的容量值；

判断所述第一文件和第二文件的总容量值是否小于预设阈值；

在所述第一文件和所述第二文件的总容量值大于等于所述预设阈值时，所述中间件装置将所述第一文件和所述第二文件直接发送至与云端连接的同步文件夹中。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述第一文件和所述第二文件的总容量值小于所述预设阈值时，且在所述中间件装置接收第二文件之后的第一预设时间段内没有接收到其他文件时，将所述第一文件和所述第二文件发送至与所述云端连接的云存储同步文件夹中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述第一文件和所述第二文件的总容量值小于所述预设阈值时，且在所述中间件装置接收第二文件之后的第一预设时间段内接收有其他文件时，确定所述第一文件、第二文件以及其他文件的所有容量值；

直至所述中间件装置中所有文件的容量值大于等于所述预设阈值时，将所述中间件装置中的所有文件发送至与所述云端连接的云存储同步文件夹中。

5.据权利要求4所述的方法，其特征在于，所述方法还包括：

所述中间件装置在接收所述第二文件之后，且所述第一文件和所述第二文件的容量值小于所述预设阈值时，所述中间件装置中的计数器清零，重新计时，判断在所述第一预设时间内是否接收到其他文件。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述中间件装置在接收所述第一文件之后计时，当计时时间增加到第二预设时间段T2后，将接收到的全部文件发送至与所述云端连接的云存储同步文件夹中。

7.一种缓冲式云存储数据同步装置，其特征在于，包括：

接收模块，用于接收待存储在云端的文件；

容量值获取模块，用于获取文件的容量值；

判断模块，用于判断所述文件的容量值与预设阈值的大小；

发送模块，在所述文件的容量值小于所述预设阈值时，将所述文件经过预设时间段后发送至与云端连接的云存储同步文件夹中。

8.根据权利要求7所述的缓冲式云存储数据同步装置，其特征在于，所述容量值获取模块用于获取所述文件的压缩版本的容量大小。

9.根据权利要求8所述的缓冲式云存储数据同步装置，其特征在于，所述文件包括新文件和修改文件，所述容量值获取模块获取所述新文件的压缩版本和所述修改文件的改变部分的压缩版本大小。

10.根据权利要求9所述的缓冲式云存储数据同步装置，其特征在于，所述容量值获取模块通过gzip工具计算出所述文件的压缩版本的大小。