CN104573064A - 一种大数据环境下的数据处理方法 - Google Patents

Abstract

本发明提供了一种大数据环境下的数据处理方法，该方法包括：根据文件的操作粒度，将文件分为文件块、物理文件和逻辑文件，并分别定义文件块元数据、物理文件元数据和逻辑文件元数据；将新旧两个版的文件元数据在服务器端进行比较，通过存储层中文件块对相同数据进行冗余去重，从而在客户端与服务器端执行新旧版数据的差异化传输。发明实现了大数据环境下的数据同步，减轻了服务器端计算压力，提高了传输效率和资源利用率。

Description

一种大数据环境下的数据处理方法

技术领域

本发明涉及数据处理，特别涉及一种大数据同步处理方法。

背景技术

随着云计算技术的发展，越来越多的用户选择远程存储服务来同步管理个人文件资源。共享场景下的文件同步传输，与个人文件上传下载有很大不同。一个文件可能被共享给多个用户的不同终端，文件数据的传输路径是由中央服务器与各个客户端连接而成的星型的拓扑结构。此时一次客户端文件的修改，会带来所有参与共享的用户终端与集群服务器之间的文件数据同步操作。在高并发的情况下，服务器端的I/O压力会急剧增加。并且远程存储环境下，传统的文件传输算法结合具体的传输环境存在很大的局限，存在进一步优化的必要性。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种大数据环境下的数据处理方法，包括：

根据文件的操作粒度，将文件分为文件块、物理文件和逻辑文件，并分别定义文件块元数据、物理文件元数据和逻辑文件元数据；

将新旧两个版本的文件元数据在服务器端进行比较，通过存储层中文件块对相同数据进行冗余去重，从而在客户端与服务器端执行新旧版本数据的差异化传输。

优选地，每个所述逻辑文件关联一个物理文件，一个物理文件被分为多个文件块存储到存储层，文件块是***中最小的可操作的文件数据单元，多个逻辑文件可以关联同一个物理文件，而多个物理文件可以共享一个文件块。

优选地，若客户端上传新版本文件到服务器，则客户端作为发送方，集群服务器作为接收方，当集群服务器和客户端上都有一份原始文件的相同副本而用户修改了客户端原始文件副本形成更新文件时，将客户端的更新文件上传到集群服务器上形成新版本的过程包括:

步骤①客户端向集群服务器发起更新文件上传请求；

步骤②集群服务器将原始文件按固定大小分成文件块，计算每个文件块的Hash校验码和MD5校验码，并将各个文件块的两个校验码集合传输到发送端。

步骤③集群服务器收到两个校验码的集合后，对更新文件开启固定大小的滑动窗口进行校验，滑动窗口的校验以1字节为单次距离向前进行，每1字节进行一次Hash校验和MD5校验，在校验遍历整个文件之后，定位出更新文件和原始文件所有相同数据块的位置，然后传输到集群服务器的更新文件的数据块信息；

④集群服务器收到客户端传输的内容后，将文件数据块与更新文件的分块元数据进行关联，形成新版本文件，需要关联的文件块由两部分组成，更新文件独有的文件块以及更新文件与原始文件公共的文件块；将客户端上传的更新文件新增文件块和更新文件的分块元数据进行关联；然后将集群服务器端已有的原始文件中定位出共同文件块，并将其与更新文件元数据进行关联，至此在集群服务器形成完整的更新文件，上传文件过程结束。

优选地，所述步骤③的滑动窗口进行校验过程进一步包括:

首先计算滑动窗口内数据的散列值，并在校验码集合中查找该散列值是否存在；如果不存在该散列值，则滑动窗口向前滑动1字节；如果存在该散列值，则进一步计算滑动窗口内数据的MD5值，如果MD5值在校验码集合中存在，则确定目前滑动窗口内数据为重复数据，如果不存在MD5值，则滑动窗口向前滑动1字节；

其中所述校验码每次仅计算两次窗口之间不同的字节值，计算Hash校验码时每次从磁盘读取滑动窗口之后的下一个字节进内存，与滑动窗口第一个字节数据替换，更新滑动窗口的校验码信息。

本发明相比现有技术，具有以下优点：

本发明实现了大数据环境下的数据同步，减轻了服务器端计算压力，提高了传输效率和资源利用率。

附图说明

图1是根据本发明实施例的大数据环境下的数据处理方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

因此，本发明提出一种大数据环境下的数据同步方法，通过优化服务器端内存使用以及分摊计算压力给各个客户端的方式，尽可能减少服务器端的CPU计算和I/O的开销，使传输效率和集群服务器资源的利用率都更加高效。图1是根据本发明实施例的大数据环境下的数据处理方法流程图。

首先定义文件元数据，根据文件***作的粒度，将文件元数据分为文件块、物理文件元数据和逻辑文件元数据。每个逻辑文件关联一个物理文件。一个物理文件切分为多个文件块存储到存储层。文件块是***中最小的可操作的文件数据单元。其中，允许出现多个逻辑文件关联同一个物理文件的情况，允许出现多个物理文件共享一个文件块的情况。

由于逻辑文件的操作与实际上传下载物理文件的操作分开，架构更清晰。分块对于差异化传输更加便利。

多个客户端组成大数据处理***的应用层；文件服务、用户管理、设备管理等核心业务功能形成服务层；最底层是集群服务器的存储层，提供可适配多个不同存储设备的存储接口，支持本地存储和第三方远程存储。文件数据传输主要在相邻两层进行数据交互的时候发生。即在上层和中间层的网络传输以及中间层与底层之间的存储数据传输。

在客户端上传新版本文件过程中，定义客户端为发送方，集群服务器为接收方。集群服务器和客户端上都有一份文件file.old的相同副本。随后当用户修改了客户端file.old副本，形成file.new。因此需要将客户端上的file.new上传到集群服务器上形成新版本。差异化传输可以分为四步:

①客户端向集群服务器发起file.new上传请求。

②集群服务器将file.old按固定大小分成文件块，计算每个文件块的Hash校验码和MD5校验码，并将各个文件块的两个校验码集合传输到发送端。

③集群服务器收到两个校验码的集合后，对file.new文件开启固定大小的滑动窗口进行校验。滑动窗口的校验以1字节为单次距离向前进行，每1字节进行一次Hash校验和MD5校验。在校验遍历整个文件之后，便可以定位出file.new和file.old所有相同数据块的位置，剩余的就是需要传输到集群服务器的file.new的数据块信息。所以，最后客户端需要传输的数据是file.new中与file.old不相同的数据块，以及新版本file.new的分块元数据信息。

④集群服务器收到客户端差异化传输的内容后，将文件数据块与file.new的分块元数据进行关联，形成新版本文件。需要关联的文件块由两部分组成，file.new独有的文件块以及file.new与file.old公共的文件块。因此需要做两步操作:①将客户端上传的file.new新增文件块和file.new的分块元数据进行关联；②将集群服务器端已有的file.old文件中定位出共同文件块，并将其与file.new文件元数据进行关联。至此，在集群服务器形成完整的file.new文件。一次上传文件过程结束。

其中，③中提到的校验是传输过程中主要的时间开销，校验过程具体如下:

①先计算滑动窗口内数据的散列值，并在校验码集合中查找该散列值是否存在。

②如果不存在，则滑动窗口向前滑动1字节。如果存在，则进一步计算滑动窗口内数据的MD5值。如果MD5值在校验码集合中存在，则确定目前滑动窗口内数据为重复数据，如果不存在则滑动窗口向前滑动1字节。

数据传输方法可以分别应用在上传和下载两个过程。在前述上传同步过程中，因为上传文件的新旧版间的相同数据已经以文件块形式存储在底层存储层中。***可以对相同数据块进行冗余去重，复用已经存储的旧版本的文件块。因此，需要更新的内容只是新版本文件元数据信息和新版本改变量的文件块。

下载同步的过程，即是大规模共享的典型场景。此时，服务器端文件比客户端文件版本更新，需要将新版本文件同步到各个客户端。并发下载的发送方是集群服务器，大规模并发下载的情况下，校验也会在服务器端并发进行。因为下载过程客户端文件的版本将低于集群服务器文件版本，即客户端的文件版本是服务器端文件的一个历史版本。由前文可知，文件的所有历史版本都可以在服务器端底层存储中获得，而且新旧版本是差异化存储的。因此，通过将两个版本的文件元数据在服务器端进行比较，就能够确定哪些文件块需要传输到客户端。此时，可以将服务器端计算校验码的开销转移给客户端程序。

与端对端的应用不同，远程存储环境下具有高并发的特性。而面对集群存储环境下的差异化传输，服务器端作为星形传输拓扑结构中的中心点，需要应对高并发的场景，***的并发度受内存大小、网络带宽、磁盘I/O读写速度的限制。

校验码每次只需要计算两次窗口之间不同的字节值。因此磁盘I/O只需要关注滑动窗口一头一尾这两个字节的数据即可。因此，计算Hash校验码时每次从磁盘读取滑动窗口之后的下一个字节进内存，与滑动窗口第一个字节数据替换，实现更新滑动窗口的校验码信息。这种方式可以解决每次计算Hash校验时内存占用依赖于滑动窗口大小的问题。

对于字节级别的滑动，读磁盘的操作非常频繁和耗时，本发明采用缓存来预读若干个字节。具体的缓存数据更新方法如下:

开辟两个缓存，headBuffer和tailBuffer，大小都为bufferSize，其中size远小于滑动窗口大小。滑动窗口移出HeadBuffer[i]和包含tailBuffer[i]是一次窗口滑动。

滑动窗口读取(bufferSize-1)次之后，将第bufferSize个缓存数据移至缓存第1个位置，随后读入(bufferSize-1)个字节，完成缓存的向前滑动操作。

在滑动窗口头尾数据设置缓存能够有效的优化磁盘访问。兼顾了内存大小和磁盘读写速度的限制，使算法更加适合并发的实际运行环境。

综上所述，远程存储服务的多终端文件同步可以进行传输优化，本发明提出了对内存空间复杂度和磁盘访问频度的优化，针对远程存储服高并发的特点，利用服务器端文件历史版本的元数据信息，进行下载流程优化，减少计算量；新版本存储过程优化，实现存储冗余去重，提升存储空间利用率。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算***来实现，它们可以集中在单个的计算***上，或者分布在多个计算***所组成的网络上，可选地，它们可以用计算***可执行的程序代码来实现，从而，可以将它们存储在存储平台中由计算***来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种大数据环境下的数据处理方法，用于在客户端与集群服务器之间同步数据，其特征在于，包括：

根据文件的操作粒度，将文件分为文件块、物理文件和逻辑文件，并分别定义文件块元数据、物理文件元数据和逻辑文件元数据；

将新旧两个版本的文件元数据在服务器端进行比较，通过存储层中文件块对相同数据进行冗余去重，从而在客户端与服务器端执行新旧版本数据的差异化传输。

2.根据权利要求1所述的方法，其特征在于，每个所述逻辑文件关联一个物理文件，一个物理文件被分为多个文件块存储到存储层，文件块是***中最小的可操作的文件数据单元，多个逻辑文件可以关联同一个物理文件，而多个物理文件可以共享一个文件块。

3.根据权利要求2所述的方法，其特征在于，若客户端上传新版本文件到服务器，则客户端作为发送方，集群服务器作为接收方，当集群服务器和客户端上都有一份原始文件的相同副本而用户修改了客户端原始文件副本形成更新文件时，将客户端的更新文件上传到集群服务器上形成新版本的过程包括:

步骤①客户端向集群服务器发起更新文件上传请求；

步骤②集群服务器将原始文件按固定大小分成文件块，计算每个文件块的Hash校验码和MD5校验码，并将各个文件块的两个校验码集合传输到发送端；

步骤③集群服务器收到两个校验码的集合后，对更新文件开启固定大小的滑动窗口进行校验，滑动窗口的校验以1字节为单次距离向前进行，每1字节进行一次Hash校验和MD5校验，在校验遍历整个文件之后，定位出更新文件和原始文件所有相同数据块的位置，然后传输到集群服务器的更新文件的数据块信息；

④集群服务器收到客户端传输的内容后，将文件数据块与更新文件的分块元数据进行关联，形成新版本文件，需要关联的文件块由两部分组成，更新文件独有的文件块以及更新文件与原始文件公共的文件块；将客户端上传的更新文件新增文件块和更新文件的分块元数据进行关联；然后将集群服务器端已有的原始文件中定位出共同文件块，并将其与更新文件元数据进行关联，至此在集群服务器形成完整的更新文件，上传文件过程结束。

4.根据权利要求3所述的方法，其特征在于，所述步骤③的滑动窗口进行校验过程进一步包括:

首先计算滑动窗口内数据的散列值，并在校验码集合中查找该散列值是否存在；如果不存在该散列值，则滑动窗口向前滑动1字节；如果存在该散列值，则进一步计算滑动窗口内数据的MD5值，如果MD5值在校验码集合中存在，则确定目前滑动窗口内数据为重复数据，如果不存在MD5值，则滑动窗口向前滑动1字节；

其中所述校验码每次仅计算两次窗口之间不同的字节值，计算Hash校验码时每次从磁盘读取滑动窗口之后的下一个字节进内存，与滑动窗口第一个字节数据替换，更新滑动窗口的校验码信息。