CN107172174A - 在客户端和服务器之间实现文件的快速上传 - Google Patents

Abstract

本发明提供一种在客户端和服务器之间实现文件的快速上传的方案，以解决无线环境下大文件上传慢、失败率高的问题，其对文件进行分块、分片上传，同时如果出现网络异常，可从块级别重传，而无需重传整个文件；本发明对块、片以及完整文件三个级别进行校验，防止文件上传错误；本发明采用多任务异步上传，可明显提高上传速率，提高网络使用率。

Description

在客户端和服务器之间实现文件的快速上传

技术领域

本发明涉及互联网中的数据传输技术，特别是涉及一种在客户端和服务器之间实现文件的快速上传的方案。

背景技术

随着互联网、移动互联网的普及，用户上传文件需求巨大。HTTP协议使得用户可以通过浏览器软件从互联网上获取、上传信息。HTTP协议在现阶段使用非常普遍，大多数用户终端设备(手机、平板、普通电脑等)与服务器之间均通过HTTP协议交互数据，包括上传文件。但由于手机等终端使用WIFI、移动网络接入互联网，而WIFI和移动网络通常由于覆盖、干扰、无线穿透等因素质量不好，已出现网络中断、速度慢等情况，从而导致上传文件失败、速率慢，特别是上传大文件时失败率极高，用户体验不佳。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种在客户端和服务器之间实现文件的快速上传的方案，用于克服在通信质量不佳情况下文件上传失败率极高的问题。

为实现上述目的及其他相关目的，本发明提供以下解决方案：

根据本发明的第一方面

一种文件上传方法，包括：在一客户端对一第一文件进行划分得到N个文件块以及对每一所述文件块进行划分得到M个文件片，其中，M和N取正整数；所述客户端根据N个文件块启动N个任务来一一对被划分为M个文件片的各文件块进行分片上传至一服务器，其中，所述N个任务异步进行，在每上传完一文件片后，所述客户端对所述文件片上传前后的数据校验值来确定上传至所述服务器中的文件片是否正确；在N个文件块全部上传完成后，所述客户端请求所述服务器将N个文件块重新组合成一第二文件，并根据所述第二文件和第一文件的文件校验值来确定所述第一文件是否上传成功。

根据本发明的第二方面

一种文件上传装置，设置于客户端侧，所述文件上传装置包括：文件划分模块，用于对一第一文件进行划分得到N个文件块以及对每一所述文件块进行划分得到M个文件片，其中，M和N取正整数；文件块上传模块，用于根据N个文件块启动N个任务来一一对被划分为M个文件片的各文件块进行分片上传至一服务器，其中，所述N个任务异步进行，在每上传完一文件片后，所述客户端对所述文件片上传前后的数据校验值来确定上传至所述服务器中的文件片是否正确；文件验证模块，用于在N个文件块全部上传完成后，所述客户端请求所述服务器将N个文件块重新组合成一第二文件，并根据所述第二文件和第一文件的文件校验值来确定所述第一文件是否上传成功。

根据本发明的第三方面

一种文件接收方法，包括：根据一任务接收一文件片，将所述文件片缓存在根据所述任务创建的一文件块缓存区，其中，在所述文件片缓存完成后，计算一次所述文件片的一第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；接收一文件生成请求，根据所述文件生成请求携带的文件块的划分顺序将各所述文件块缓存区中对应的文件块重新组合成一第二文件，并根据所述第二文件生成一第一文件校验值，将所述第一文件校验值返回给客户端。

根据本发明的第四方面

一种文件接收装置，设置于服务器侧，所述文件接收装置包括：文件片接收单元，用于根据一任务接收一文件片，将所述文件片缓存在根据所述任务创建的一文件块缓存区，其中，在所述文件片缓存完成后，计算一次所述文件片的一第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；文件生成单元，接收一文件生成请求，根据所述文件生成请求携带的文件块的划分顺序将各所述文件块缓存区中对应的文件块重新组合成一第二文件，并根据所述第二文件生成一第一文件校验值，将所述第一文件校验值返回给客户端。

根据本发明的第五方面

一种文件上传***，包括一服务器和与所述服务器网络连接的至少一客户端，所述客户端包括上述文件上传装置；所述服务器包括上述文件接收装置。

本发明的有益效果：

文件上传速度和成功率先比现有技术更高，具体体现在以下方面：采用分块上传，单块上传失败可以从块重传，无需整个文件重传，即支持断点续传，节省网络资源；采用分片上传，单片大小较小，保证单次文件上传请求消息数据包较小，不易受网络质量影响，成功率高；采用多任务异步上传，多任务对文件块分别上传，任务间互不影响，在网络条件容许情况下上传速率大大提升。

附图说明

图1显示为本发明客户端侧之一种文件上传方法的流程图。

图2显示为本发明客户端侧之每个任务上传文件块的流程图。

图3显示为本发明客户端侧之确认所上传的文件是否成功的流程图。

图4显示为本发明客户端侧之一种文件上传装置的原理图。

图5显示为本发明客户端侧之一种文件上传装置在一优选实施例之一的原理图。

图6显示为本发明客户端侧之一种文件上传装置在一优选实施例之二的原理图。

图7显示为本发明服务器侧之一种文件接收方法的流程图。

图8显示为本发明服务器侧之一种文件接收装置的原理图。

图9显示为本发明***侧之一种文件上传***的原理图。

附图标号说明

4 文件上传装置

41 文件划分模块

42 文件块上传模块

421 文件片上传单元

422 文件片校验单元

43 文件验证模块

431 文件生成请求单元

432 文件生成校验单元

8 文件接收装置

81 文件片接收单元

82 文件生成单元

9 文件上传

91 客户端

92 服务器

S101～S103 步骤

S201～S202 步骤

S301～S302 步骤

S701～S702 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

前述说明

以下实施方式中给出的技术方案都是基于客户端和服务器之间通过HTTP协议进行信息交互来实现的，其用于解决在客户端向服务器上传文件过程中由于网络原因而时常导致上传失败的问题，使文件上传过程更加可靠。

实施方式一

根据本发明客户端侧之方法来进行说明

见图1，给出了一种文件上传方法，其通过顺序执行以下步骤来实现。

S101，在一客户端对一第一文件进行划分得到N个文件块以及对每一所述文件块进行划分得到M个文件片，其中，M和N取正整数。

上述步骤S101中，划分第一文件的方式可以为一预先指定的规则，一般地，可以将文件块的大小设定在某一范围或固定在某一值，同理，文件片也是，不过文件片的大小应小于文件块，例如，文件块不超出4MB，片大小为256KB。

其中，需要上传的文件并不一定是一规定文件块大小的整数倍，故一般至少有一个文件块的大小和其它文件块的大小不一致，对应地，其被划分成文件片的数量也可能与其它文件块所划分的文件片的数量不一致。例如，一个文件为42MB，如果按每个文件块4MB，那么，该文件件可以被划分为11个文件块，其中一个文件块的大小就为2MB。

S102，所述客户端根据N个文件块启动N个任务来一一对被划分为M个文件片的各文件块进行分片上传至一服务器，其中，所述N个任务异步进行，在每上传完一文件片后，所述客户端对所述文件片上传前后的数据校验值来确定上传至所述服务器中的文件片是否正确。

上述步骤S102中，客户端根据划分得到的文件块数量分配相应数量的任务，例如一个待传文件被划分为10个文件块，那么客户端就会启动10个任务来一一上传各文件块。

其中，各任务之间是异步进行的，互不影响。

在一具体实施例中，每个任务对应一个文件块，见图2，每个任务上传文件块的过程可以通过以下步骤来实现：

S201，所述客户端根据所述任务发送第一请求，所述第一请求携带有一文件片，用于指示所述服务器创建一文件块缓存区，以及将所述文件片缓存在文件块缓存区，其中，所述服务器在对每一文件片进行缓存后，将根据所述文件片返回第一校验值和下一文件块在文件块缓存区的缓存地址给所述客户端；

S202，所述客户端接收所述第一校验值和缓存地址，并根据刚上传的文件片生成第二校验值，在所述第二校验值与第一校验值一致时，将所述缓存地址和下一文件片进行组合后上传。

其中，在所述第二校验值与第一校验值不一致时，重传所述文件片。

其中，第一校验值和第二校验值为CRC32值，通过对所上传的文件片进行CRC32值校验可以验证客户端和服务器上的一致性。

其中，在一个文件块的所有文件片皆上传完成以后，即表示一个文件块对应的任务结束。

S103，在N个文件块全部上传完成后，所述客户端请求所述服务器将N个文件块重新组合成一第二文件，并根据所述第二文件和第一文件的文件校验值来确定所述第一文件是否上传成功。

上述步骤S103中，结合上述步骤S102中的具体描述，见图3，所述客户端确认其所上传的第一文件是否成功的步骤具体可以包括：

S301，所述客户端发送一文件生成请求，所述请求携带有所述N个文件块的划分顺序，用于指示所述服务器根据所述划分顺序将N个文件块缓存区中对应N个文件块重新组合成一第二文件，根据所述第二文件生成一第一文件校验值，并将所述第一文件校验值返回给客户端；

S302，客户端接收所述第一文件校验值，并将其与根据第一文件生成的一第二文件校验值进行比较，若一致，提示上传成功，若不一致，提示上传失败。

其中，所述第一文件校验值和第二文件校验值为SHA1值，用于验证客户端上需要上传的文件和服务器接收到并重新组合的文件之间是否一致，保证上传的准确性。

其中，上述步骤中每次文件片上传(即HTTP POST请求)如果由于网络原因导致失败，可重新请求，而非从头开始。

其中，客户端的N个任务为多任务异步进行，具体可以由程序自动控制，可为多线程、多协程等具体实现方式。

其中，如果某个任务执行失败，可新建一个任务替换原失败任务，即重新创建文件块，旧文件块失效。

其中，所述划分顺序可以为采用HTTP POST表单的方式向服务器进行请求，具体地，各个文件块的标识可使用逗号分隔。

为了更清楚地对本发明实施例进行说明，下面在实际应用中结合具体实施例对所述文件上传方法进行详细描述：

以在客户端对一个10MB的文件进行上传为例来进行说明；

其中，文件上传过程可以这样来实施：

S41，客户端根据一划分规则将大小为10MB的文件按照块大小为4MB分割为n＝3个块；第一块大小4MB，第二块大小4MB，第三块大小2MB；

S42，客户端开启3个任务分别对三个文件块进行异步上传，任务的上传流程后续描述。同时保存三个文件块的ID和顺序，其中块标识分别为blockId1、blockId2、blockId3；

S43，客户端将三个文件块的块ID按照顺序拼接为“blockId1,blockId2,blockId3”，并提交到服务器申请生成文件；

S44，服务器接收到客户端的请求后，安装块标识顺序逻辑上生成文件，生成文件id，计算整个文件的SHA1值，返回给客户端；

S45，客户端计算文件的SHA1值，并与步骤204中服务器返回的SHA1值进行校验，如果相等则文件上传成功，反正提示上传文件失败。

进一步地，每一任务对文件块分片上传的过程可以这样来实施：

S421，任务将文件块进行分片，约定块大小为256KB；文件块1分为16片，文件块2分为16片，文件块3分为8片；

S422，任务向服务器发起HTTP请求创建块，同时上传第一片数据；

S423，服务器接收到请求后创建文件块缓存，保存第一片数据到缓冲区，计算第一片数据CRC32校验和，返回给客户端块标识和校验和。服务器将收到三次创建块请求，分别创建了blockId1、blockId2、blockId3。

S424，任务对刚上传的文件片计算CRC32，并与服务器返回的CRC32值进行校验，如果不相等则说明本片上传失败，提示用户上传文件失败；

S425，任务对后续的文件片执行上传片操作，同时对服务器返回的CRC32进行校验，直到文件片上传完成。

上述实施例提供的方法，通过将文件拆分为文件块和文件片进行上传，在上传时，依次对文件片进行上传来完成文件块的上传，而文件块之间的上传为异步进行，从而提升了文件上传的效率；加之，上传过程会对文件片、文件块及文件进行一一数据校验，从而保证数据传输的准确性，故即便在网络较差的情况下该文件也会被准确而高效的上传之服务器。

实施方式二

根据本发明客户端侧之装置来进行说明

见图4，给出了一种文件上传装置，其安装于客户端侧，包括：文件划分模块，用于对一第一文件进行划分得到N个文件块以及对每一所述文件块进行划分得到M个文件片，其中，M和N取正整数；文件块上传模块，用于根据N个文件块启动N个任务来一一对被划分为M个文件片的各文件块进行分片上传至一服务器，其中，所述N个任务异步进行，在每上传完一文件片后，所述客户端对所述文件片上传前后的数据校验值来确定上传至所述服务器中的文件片是否正确；文件验证模块，用于在N个文件块全部上传完成后，所述客户端请求所述服务器将N个文件块重新组合成一第二文件，并根据所述第二文件和第一文件的文件校验值来确定所述第一文件是否上传成功。

在一优选实施例中

见图5，其一，所述文件块上传模块具体包括：文件片上传单元，用于根据所述任务发送一文件片，所述文件片包含于一任务请求中，用于指示所述服务器根据所述任务请求创建一文件块缓存区，以及将所述文件片缓存在所述文件块缓存区，其中，在每一文件片缓存完成后，所述服务器将计算所述文件片的第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；文件片校验单元，用于接收所述第一校验值和缓存地址，并根据刚上传的所述文件片生成一第二校验值，在所述第二校验值与第一校验值一致时，将所述缓存地址和下一文件片进行组合后上传。

见图6，其二，文件验证模块包括：文件生成请求单元，用于发送一文件生成请求，所述请求携带有所述N个文件块的划分顺序，用于指示所述服务器根据所述划分顺序将N个文件块缓存区中对应N个文件块重新组合成一第二文件，根据所述第二文件生成一第一文件校验值，并将所述第一文件校验值返回给客户端；文件生成校验单元，用于接收所述第一文件校验值，并将其与根据第一文件生成的一第二文件校验值进行比较，若一致，提示上传成功，若不一致，提示上传失败。

实施方式三

根据本发明服务器侧之方法来进行说明

见图7，给出了一种文件接收方法，其包括以下步骤：

S701，根据一任务接收一文件片，将所述文件片缓存在根据所述任务创建的一文件块缓存区，其中，在所述文件片缓存完成后，计算一次所述文件片的一第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；

S702，接收一文件生成请求，根据所述文件生成请求携带的文件块的划分顺序将各所述文件块缓存区中对应的文件块重新组合成一第二文件，并根据所述第二文件生成一第一文件校验值，将所述第一文件校验值返回给客户端。

实施方式四

根据本发明服务器侧装置法来进行说明

见图8，给出了一种文件接收装置，设置于服务器侧，所述文件接收装置包括：文件片接收单元，用于根据一任务接收一文件片，将所述文件片缓存在根据所述任务创建的一文件块缓存区，其中，在所述文件片缓存完成后，计算一次所述文件片的一第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；文件生成单元，接收一文件生成请求，根据所述文件生成请求携带的文件块的划分顺序将各所述文件块缓存区中对应的文件块重新组合成一第二文件，并根据所述第二文件生成一第一文件校验值，将所述第一文件校验值返回给客户端。

实施方式五

根据本发明服务器侧装置法来进行说明

见图9，给出了一种文件上传***，其包括一服务器和与所述服务器网络连接的至少一客户端，所述客户端包括上述实施方二中的文件上传装置；所述服务器包括上述实施方四中的文件接收装置。

需要说明的是，由于本实施方式二至五中的方法、装置及***解决问题的原理与上述实施方式一中的方法相似，因此，其实施过程及实施原理均可以参见前述实施方式一中的实施过程及实施原理描述，重复之处不再赘述。

综上所述，根据本发明所提出的上述实施方式中的方案具有以下优势：

分块上传优点：单块上传失败可以从块重传，无需整个文件重传，即支持断点续传，节省网络资源；分片上传优点：单片大小较小，保证单次文件片请求(即http post请求)消息数据包较小，不易受网络质量影响，成功率高；多任务异步上传优点：多任务对文件块分别上传，任务间互不影响，在网络条件容许情况下上传速率大大提升。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种文件上传方法，其特征在于，包括：

在一客户端对一第一文件进行划分得到N个文件块以及对每一所述文件块进行划分得到M个文件片，其中，M和N取正整数；

所述客户端根据N个文件块启动N个任务来一一对被划分为M个文件片的各文件块进行分片上传至一服务器，其中，所述N个任务异步进行，在每上传完一文件片后，所述客户端对所述文件片上传前后的数据校验值来确定上传至所述服务器中的文件片是否正确；

在N个文件块全部上传完成后，所述客户端请求所述服务器将N个文件块重新组合成一第二文件，并根据所述第二文件和第一文件的文件校验值来确定所述第一文件是否上传成功。

2.根据权利要求1所述的文件上传方法，其特征在于：在所述客户端执行一任务来上传一文件块的过程具体包括：

所述客户端根据所述任务发送一文件片，所述文件片包含于一任务请求中，用于指示所述服务器根据所述任务请求创建一文件块缓存区，以及将所述文件片缓存在所述文件块缓存区，其中，在每一文件片缓存完成后，所述服务器将计算所述文件片的第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；

所述客户端接收所述第一校验值和缓存地址，并根据刚上传的所述文件片生成一第二校验值，在所述第二校验值与第一校验值一致时，将所述缓存地址和下一文件片进行组合后上传。

3.根据权利要求2所述的文件上传方法，其特征在于：所述客户端请求所述服务器生成所述第二文件的过程具体包括：

所述客户端发送一文件生成请求，所述请求携带有所述N个文件块的划分顺序，用于指示所述服务器根据所述划分顺序将N个文件块缓存区中对应N个文件块重新组合成一第二文件，根据所述第二文件生成一第一文件校验值，并将所述第一文件校验值返回给客户端；

客户端接收所述第一文件校验值，并将其与根据第一文件生成的一第二文件校验值进行比较，若一致，提示上传成功，若不一致，提示上传失败。

4.一种文件上传装置，设置于客户端侧，其特征在于，所述文件上传装置包括：

文件划分模块，用于对一第一文件进行划分得到N个文件块以及对每一所述文件块进行划分得到M个文件片，其中，M和N取正整数；

文件块上传模块，用于根据N个文件块启动N个任务来一一对被划分为M个文件片的各文件块进行分片上传至一服务器，其中，所述N个任务异步进行，在每上传完一文件片后，所述客户端对所述文件片上传前后的数据校验值来确定上传至所述服务器中的文件片是否正确；

文件验证模块，用于在N个文件块全部上传完成后，所述客户端请求所述服务器将N个文件块重新组合成一第二文件，并根据所述第二文件和第一文件的文件校验值来确定所述第一文件是否上传成功。

5.根据权利要求4所述的文件上传装置，其特征在于，所述文件块上传模块具体包括：

文件片上传单元，用于根据所述任务发送一文件片，所述文件片包含于一任务请求中，用于指示所述服务器根据所述任务请求创建一文件块缓存区，以及将所述文件片缓存在所述文件块缓存区，其中，在每一文件片缓存完成后，所述服务器将计算所述文件片的第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；

文件片校验单元，用于接收所述第一校验值和缓存地址，并根据刚上传的所述文件片生成一第二校验值，在所述第二校验值与第一校验值一致时，将所述缓存地址和下一文件片进行组合后上传。

6.根据权利要求5所述的文件上传装置，其特征在于：

文件生成请求单元，用于发送一文件生成请求，所述请求携带有所述N个文件块的划分顺序，用于指示所述服务器根据所述划分顺序将N个文件块缓存区中对应N个文件块重新组合成一第二文件，根据所述第二文件生成一第一文件校验值，并将所述第一文件校验值返回给客户端；

文件生成校验单元，用于接收所述第一文件校验值，并将其与根据第一文件生成的一第二文件校验值进行比较，若一致，提示上传成功，若不一致，提示上传失败。

7.一种文件接收方法，其特征在于，包括：

根据一任务接收一文件片，将所述文件片缓存在根据所述任务创建的一文件块缓存区，其中，在所述文件片缓存完成后，计算一次所述文件片的一第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；

接收一文件生成请求，根据所述文件生成请求携带的文件块的划分顺序将各所述文件块缓存区中对应的文件块重新组合成一第二文件，并根据所述第二文件生成一第一文件校验值，将所述第一文件校验值返回给客户端。

8.一种文件接收装置，设置于服务器侧，其特征在于，所述文件接收装置包括：

文件片接收单元，用于根据一任务接收一文件片，将所述文件片缓存在根据所述任务创建的一文件块缓存区，其中，在所述文件片缓存完成后，计算一次所述文件片的一第一校验值，并将所述第一校验值和下一文件块在所述文件块缓存区的一缓存地址给所述客户端；

文件生成单元，接收一文件生成请求，根据所述文件生成请求携带的文件块的划分顺序将各所述文件块缓存区中对应的文件块重新组合成一第二文件，并根据所述第二文件生成一第一文件校验值，将所述第一文件校验值返回给客户端。

9.一种文件上传***，包括一服务器和与所述服务器网络连接的至少一客户端，其特征在于：

所述客户端包括权利要求4-6任一所述的文件上传装置；

所述服务器包括权利要求8所述的文件接收装置。