CN103401892B

CN103401892B - 一种基于http post的数据上传加速方法及服务器

Info

Publication number: CN103401892B
Application number: CN201310258387.6A
Authority: CN
Inventors: 秦小伟; 周旭; 唐鼎; 燕凯; 赵志军; 谭红艳
Original assignee: Institute of Acoustics CAS
Current assignee: Institute of Acoustics CAS
Priority date: 2013-06-26
Filing date: 2013-06-26
Publication date: 2017-09-19
Anticipated expiration: 2033-06-26
Also published as: CN103401892A

Abstract

本发明涉及一种基于HTTP POST的数据上传加速方法及服务器，所述方法包括：接收由用户终端发送的数据包；判断所述数据包是否是HTTP POST数据包，如果是，则将所述HTTP POST数据包中的数据进行缓存；根据所述HTTP POST数据包的报头信息构造HTTP应答数据包，发送给所述用户终端，再将缓存中的数据组装成HTTP POST数据包发送给网络服务器；接收由网络服务器发送的HTTP应答数据包；根据所述HTTP应答数据包的URI信息在用户信息结构表中查找用户信息结构实体；如果查找成功，则判断缓存中是否存在HTTP POST数据包；如果存在，则将缓存中的HTTP POST数据包丢弃。本发明不需要改变现有网络结构、无需安装客户端，即可实现数据的快速上传。

Description

一种基于HTTP POST的数据上传加速方法及服务器

技术领域

本发明涉及数据传输技术，特别涉及一种基于HTTP POST的数据上传加速方法及服务器。

背景技术

当前，随着3G、WI-FI等无线技术的成熟，移动互联网在大家的生活中越来越普及，基于移动互联网的应用变得越来越旺盛：浏览网页，发电子邮件，分享微博，网盘上传等。这种应用的普及给人们的生活带来了极大方便，也使得网络上传流量大幅度增加。然而，无论是WI-FI网络，还是3G网络，其下行流量的带宽远比上行带宽大，这就是用户普遍的感觉：下载远比上传速率快。加之，无线信道本身就有误码率高，丢包率大，信号衰减强等特点，这就使用户感觉上传速率非常慢，而且容易上传失败，在网络信号不好或者公共场合，比如机场候机室、餐厅等，上传速度就会更加慢。对数据上传业务进行加速成为目前一个重要的研究点。

当前，上传加速技术主要有针对FTP上传的加速和针对HTTP上传的加速。针对FTP上传业务的加速技术是在客户端侧加速设备冒充FTP服务器，与客户建立连接，响应客户请求等，以提高客户的上传加速感觉。目前，FTP的应用远没有HTTP的应用广泛。

针对HTTP业务的加速技术，目前比较多，比如各种网盘上传、视频分享等，主要是在用户终端上安装客户端，将上传应用程序放到后台执行，或者将数据缓存到离用户最近的服务器上，以提升用户上传速率。上述针对HTTP的上传加速技术都需要在用户的终端上安装客户端，所以用户能够“意识到”这种加速行为。而很多场合，比如在机场、火车站候车厅、咖啡馆等，用户仅仅是为了发一封邮件、分享一段视频而必须改装这种加速客户端或者改变网络结构，是用户所不情愿的。

发明内容

本发明的目的是以HTTP POST为基础，用于实现数据加速上传，无需改变网络结构，无需安装客户端，用户体察不无到数据缓存操作。

为实现上述目的，一方面，本发明提供了一种基于HTTP POST的数据上传加速方法，该方法包括：

接收由用户终端发送的数据包；

判断所述数据包是否是HTTP POST数据包，如果是，则将所述HTTP POST数据包中的数据进行缓存；

根据所述HTTP POST数据包的报头信息构造HTTP应答数据包，发送给所述用户终端，再将缓存中的数据组装成HTTP POST数据包发送给网络服务器；

接收由网络服务器发送的HTTP应答数据包；

根据所述HTTP应答数据包的URI信息在用户信息结构表中查找用户信息结构实体；

如果查找成功，则判断缓存中是否存在HTTP POST数据包；

如果存在，则将缓存中的HTTP POST数据包丢弃。

另一方面，本发明提供了一种数据传输服务器，该服务器包括：

Web服务器，在上行数据时，用于接收由用户终端发送的数据包；或在下行数据时，接收由网络服务器发送的HTTP应答数据包；

用户模块，在上行数据时，用于判断所述用户终端发送的数据包是否是HTTP POST数据包；如果是，将所述数据包转发给数据处理模块，否则，将所述数据包转发给发送模块；

接收模块，在下行数据时，用于读取所述HTTP应答数据包的URI信息，根据所述URI信息在用户信息结构表中查找用户信息结构实体；如果查找成功，则将所述HTTP应答数据包转发给数据处理模块；

数据处理模块，在上行数据时，用于将所述HTTP POST数据包中的数据进行缓存；根据所述HTTP POST数据包的报头信息构造HTTP应答数据包，发送给应答模块，再将缓存中的数据组装成HTTP POST数据包发送给发送模块；在下行数据时，用于判断所述用户信息结构实体中的缓存指针所映射的缓存中是否存在HTTP POST数据包，如果存在，将缓存中的HTTP POST数据包丢弃；

发送模块，用于向所述Web服务器转发所述HTTP POST数据包；

应答模块，用于向所述Web服务器转发所述HTTP应答数据包。

本发明的主要优点在于：

1、用户无需安装客户端、通过浏览器直接实现以HTTP POST为基础的上传加速。

2、服务提供商不需要改变现有网络结构，直接将本发明数据上传服务器部署在WI-FI接入点或网关上，就可以提升用户的加速上传。

3、给用户提供上传加速业务，即用户感觉不到有一个数据缓存处理的过程。

附图说明

图1为本发明实施例提供的一种基于HTTP POST的数据上传方法应用场景示意图；

图2为本发明实施例提供的另一种基于HTTP POST的数据上传方法应用场景示意图；

图3为本发明实施例提供的一种数据传输服务器结构示意图；

图4为数据传输服务器数据发送过程流程示意图；

图5为数据传输服务器数据接收过程流程示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1为本发明实施例提供的一种基于HTTP POST的数据传输方法应用场景示意图。如图1所示，在离用户最近的网络接入设备的GGSN(Gateway GPRS Support Node,网关GPRS支持节点)、WI-FI AP(Access Point,接入点)或者GW（Gateway,网关）上串行一个FUOSServer（数据传输服务器），FUOS Server由FUOS(File Upload Optimization System,文件上传优化***)和Web服务器构成，FUOS Server将用户上传的数据缓存下来，然后立即模拟远端服务器给用户一个响应，确认用户上传的数据已经上传成功，用户这时就可以关闭数据上传连接。FUOS Server再将数据传输给远端网络服务器。由于FUOS Server离用户很近，对于3G用户是无线最后一跳，对于其它用户FUOS Server和用户终端往往在一个局域网内，所以上传速度很快，而且数据传输成功率大。整个数据加速上传过程对于用户来说是完全透明的，和用户直接将数据上传到网络服务器上是一样的。用户不需要安装客户端、不需要改变网络结构，就可以实现数据加速上传。

图2为本发明实施例提供的一种数据传输服务器结构示意图。如图2所示，数据传输服务器200包括Web服务器210、接收模块221、数据处理模块222、应答模块223、用户模块224和发送模块225，以及***物理存储硬盘230。

Web服务器210用于处理用户的HTTP请求和数据收发,优选地，本发明实施例Web服务器210采用Nginx Web服务器。

接收模块221用于接收来自网络服务器的响应数据，并将该响应数据转交给数据处理模块222。

在数据传输服务器的数据接收过程中，接收模块221用于读取HTTP应答数据包的URI信息，并根据URI信息在用户信息结构表中查找用户信息结构实体；如果查找成功，则将HTTP应答数据包转发给数据处理模块222。

数据处理模块222用于负责数据的缓存、用户信息的提取、构造HTTP响应、过滤远端网络服务器发给用户的HTTP响应和HTTP POST数据包的发送。

在数据传输服务器的数据发送过程中，数据处理模块222用于将HTTPPOST数据包中的数据进行缓存；根据HTTP POST数据包的报头信息构造HTTP应答数据包，发送给应答模块223，再将缓存中的数据组装成HTTP POST数据包发送给发送模块225。

在数据传输服务器的数据接收过程中，数据处理模块222用于判断用户信息结构实体中的缓存指针所映射的缓存中是否存在HTTP POST数据包；如果存在，将缓存中的HTTPPOST数据包删除，并将其他HTTP数据包发送给发送模块225。

应答模块223用于将数据处理模块222转交的HTTP响应发送给Web服务器200，由Web服务器200发送给用户。

用户模块224用于设置数据过滤规则，对用户提交的数据进行过滤，非大数据HTTPPOST包转发给发送模块225，实现数据即时发送，对于大数据HTTP POST包和该用户的后续业务包较交给数据处理模块222处理。

优选地，用户模块224包括判断单元（图中未示出）、读取单元（图中未示出）和比较单元（图中未示出）。其中，读取单元用于读取HTTP POST数据包的大小值；比较单元用于将HTTP POST数据包的大小值与优化阈值进行比较。

在数据传输服务器的数据发送过程中，用户模块224用于判断数据包是否是HTTP数据包，如果是，则读取HTTP数据包的URI信息，根据URI信息在用户信息结构表中查找用户信息结构实体；根据用户信息结构实体判断HTTP数据包中的数据是否缓存过；如果否，进一步判断HTTP数据包是否是HTTP POST数据包；如果是HTTP POST数据包，则读取HTTP POST数据包的大小值。

发送模块225用于将用户模块224和数据处理模块222转发的数据通过Web服务器发送给远端网络服务器。

***物理存储硬盘230，用于缓存数据。数据处理模块222会将用户的数据先缓存到***物理存储硬盘230里，构造HTTP响应给用户，然后再从***物理存储硬盘230里读出数据发送给用户指定的远端网络服务器，发送成功后，将***物理存储硬盘230里的数据删除。

本发明实施例以HTTP POST为基础，实现了数据透明加速上传，用户无需改变网络结构，无需安装客户端，体察不无到数据缓存操作，就可以实现数据加速传输。

下面以WI-FI网络为应用实例介绍FUOS Server具体实施方案。用户使用IP地址为192.168.64.19网络终端通过IE浏览器进行上传文件到百度快盘（http://pan.***.com）的操作。用户使用的网络终端STA(IP:192.168.64.19)与IP地址为192.168.64.20的无线接入点AP建立连接，无线接入点AP通过默认网关（192.168.64.1）接入互联网，即FUOSServer和无线接入点AP在同一局域网内,如图3所示。

(一)针对FUOS Server的初始化流程：

步骤一、将用户发往百度快盘（http://pan.***.com）的数据包转交FUOS处理；

步骤二、初始化用户信息结构表，该用户信息结构表是一个链表结构，头指针（pHead）始终指向该表的第一个用户信息结构实体，尾指针(pTail)始终指向该表中的最后一个用户信息结构实体。其中，用户信息结构实体包含：远端网络服务器的URI、缓存标识F、优化阈值F_Len、指向***物理存储硬盘的指针Cache,以及计数器Counter。所述远端网络服务器的URI为用户需要访问的资源，例如，本例为http://pan.***.com，缓存标识表明当前数据是否缓存，当该数值为1的时候，数据必须缓存，优化阈值F_Len表明需要进行优化上传的文件的大小，只有当上传的文件大小超过优化阈值F_Len时，***才会启动对该文件的优化上传操作，计数器是指***时钟，用以计算时间，Cache存储的是***物理存储硬盘中某块缓存区的指针。

步骤三、初始化一个用户信息结构实体：将远端网络服务器的URI设置成http:// pan.***.com、缓存标识F为0、优化阈值F_Len为10、计数器Counter为0、设置一个缓存区，并将该缓存区地址映射保存到***物理存储硬盘；

转到步骤四、将用户信息结构实体***到用户信息结构表，转到6；

步骤五、结束。

（二）数据发送流程

图4为数据传输服务器数据发送过程流程示意图。如图4所示，数据发送过程为：

步骤一、Web服务器将发往远端网络服务器的数据包转发给用户模块；

步骤二、用户模块判断数据包是否是HTTP数据包，如果是，转到步骤三，否则，转到步骤十二；

步骤三、用户模块读取数据包的URI信息，根据URI在用户信息结构表中查找用户信息结构实体，如果找到对应的用户信息结构实体，则转到步骤四，否则，转到步骤十二；

步骤四，用户模块读取用户信息结构实体中的缓存标识F的数值，如果为1，转到步骤七，否则，转到步骤五；

步骤五、用户模块判断HTTP数据包是否是HTTP POST数据包，如果是，转到步骤六，否则，转到步骤十二；

步骤六、读取HTTP POST数据包的大小值D_Len，与优化阈值F_Len比较，如果D_Len大于F_Len,转到步骤七、否则，转到步骤十二；

步骤七、数据处理模块将该数据包中的数据缓存到用户信息结构实体缓存指针所映射到的缓存中，转到步骤八；

步骤八、数据处理模块查找用户信息结构实体的缓存指针所映射的缓存中是否有HTTP POST数据包，如果有，转到步骤九，否则，转到步骤十四；

步骤九、数据处理模块根据HTTP POST的报头信息，构造HTTP应答数据包，并将该HTTP应答数据包发给应答模块，转到步骤十；

步骤十、应答模块将数据处理模块转交的HTTP应答数据包发送给Web服务器，并由Web服务器发送给用户。

步骤十一、数据处理模块将用户信息结构实体中的缓存指针所映射的缓存中的数据组装成HTTP POST数据包，转到步骤十二；

步骤十二、数据处理模块将该数据包转发给发送模块，转到步骤十三；

步骤十三、发送模块将该数据包转发给Web服务器，由Web服务器直接将数据给发送给远端网络服务器。

步骤十四、结束

（三）数据接收流程

图5为数据传输服务器数据接收过程流程示意图，如图5所示，数据接收过程为：

步骤一、Web服务器将远端网络服务器发给用户的HTTP应答数据包转发给接收模块，转到步骤二；

步骤二、接收模块读取该数据包的URI信息，根据URI在用户信息结构表中查找用户信息结构实体，如果找到，转到步骤三，否则，转到步骤八；

步骤三、接收模块将HTTP应答数据包转发给数据处理模块，转到步骤四；

步骤四、数据处理模块查找用户信息结构实体的缓存指针所映射的缓存中是否有HTTP POST数据包，如果有，转到步骤五，否则，转到步骤八；

步骤五、数据处理模块将用户信息结构实体中的缓存标识F的数值置为0，转到步骤六；

步骤六、数据处理模块将用户信息结构实体的缓存指针所映射的缓存中的其它HTTP数据包发送给发送模块，转到步骤七；

步骤七、发送模块将数据包转交给Web服务器，由Web服务器将数据包发送给远端网络服务器；

步骤八、应答模块将该HTTP应答数据包转发给Web服务器，由Web服务器将数据包发送给用户，转到步骤九；

步骤九、结束。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于HTTP POST的数据上传加速方法，应用于和用户端的网络接入设备的GGSN、WI-FI AP或者网关串行的数据传输服务器上，其特征在于：

数据传输服务器接收由用户终端发送的数据包；

所述数据传输服务器判断所述数据包是否是HTTP数据包，如果是，则读取所述HTTP数据包的URI信息，根据所述URI信息在用户信息结构表中查找用户信息结构实体；

如果找到所述用户信息结构实体，则根据所述用户信息结构实体判断所述HTTP数据包中的数据是否需要缓存，如果需要缓存，则判断所述HTTP数据包是否是HTTP POST数据包；如果是HTTP POST数据包，读取所述HTTP POST数据包的大小值；将所述HTTP POST数据包的大小值与优化阈值进行比较，当所述HTTP POST数据包的大小值大于所述优化阈值时，将所述HTTP POST数据包中的数据进行缓存；如果没有找到所述用户信息结构实体，则将所述HTTP数据包发送给网络服务器；

所述数据传输服务器根据所述HTTP POST数据包的报头信息构造HTTP应答数据包，发送给所述用户终端，再将缓存中的数据组装成HTTP POST数据包发送给网络服务器；

所述数据传输服务器接收由网络服务器发送的HTTP应答数据包；

所述数据传输服务器根据所述网络服务器发送的HTTP应答数据包的URI信息在用户信息结构表中查找用户信息结构实体；

如果查找成功，则判断缓存中是否存在对应所述HTTP应答数据包的HTTP POST数据包；

如果存在，则将缓存中的对应所述HTTP应答数据包的HTTP POST数据包丢弃。

2.根据权利要求1所述的方法，其特征在于，所述用户终端包括用户终端浏览器。

3.根据权利要求1所述的方法，其特征在于，在判断所述数据包是否是HTTP数据包，如果是，则读取所述HTTP数据包的URI信息，根据所述URI信息在用户信息结构表中查找用户信息结构实体步骤之后还包括步骤：根据所述用户信息结构实体判断所述HTTP数据包中的数据是否需要缓存，如果不需要缓存，直接将所述HTTP数据包发送给所述网络服务器。

4.根据权利要求1所述的方法，其特征在于：当根据所述网络服务器发送的HTTP应答数据包的URI信息在用户信息结构表中没有查找到用户信息结构实体时，则将所述HTTP应答数据包发送给用户终端。

5.根据权利要求1所述的方法，其特征在于：所述将缓存的HTTP POST数据包丢弃步骤之前还包括：

修改用户信息结构实体的缓存标识信息。

6.根据权利要求1至5中任一权利要求所述的方法，其特征在于，所述用户信息结构表由一个或多个用户信息结构实体构成，每个用户信息结构实体包括URI信息、缓存标识、优化阈值、指向缓存的指针、计数器中的一个或多个。

7.根据权利要求1所述的方法，其特征在于，所述用户终端发送的数据包是由所述用户终端通过无线连接的方式发送的数据包。

8.一种数据传输服务器，所述数据传输服务器与用户端的网络接入设备的GGSN、WI-FIAP或者网关串行，其特征在于包括：

用户模块，在上行数据时，用于判断所述数据包是否是HTTP数据包；如果是，则读取所述HTTP数据包的URI信息，根据所述URI信息在用户信息结构表中查找用户信息结构实体；如果找到所述用户信息结构实体，则根据所述用户信息结构实体判断所述HTTP数据包中的数据是否需要缓存；如果需要缓存，则判断所述用户终端发送的HTTP数据包是否是HTTPPOST数据包；如果是HTTP POST数据包，将所述数据包转发给数据处理模块，否则，将所述数据包转发给发送模块；其中；用户模块包括读取单元，用于读取HTTP POST数据包的大小值；如果没有找到所述用户信息结构实体，则将所述HTTP数据包发送给所述网络服务器；

以及比较单元，用于将所述HTTP POST数据包的大小值与优化阈值进行比较，当所述HTTP POST数据包的大小值大于所述优化阈值时，由所述数据处理模块将所述HTTP POST数据包中的数据进行缓存；

接收模块，在接收下行数据时，用于读取所述HTTP应答数据包的URI信息，根据所述URI信息在用户信息结构表中查找用户信息结构实体；如果查找成功，则将所述HTTP应答数据包转发给数据处理模块；

数据处理模块，在上行数据时，用于将所述HTTP POST数据包中的数据进行缓存；根据所述HTTP POST数据包的报头信息构造HTTP应答数据包，发送给应答模块，再将缓存中的数据组装成HTTP POST数据包发送给发送模块；在下行数据时，用于判断所述用户信息结构实体中的缓存指针所映射的缓存中是否存在和所述网络服务器发送的HTTP应答数据包对应的HTTP POST数据包，如果存在，将缓存中的对应所述HTTP应答包数据包的HTTP POST数据包丢弃；

发送模块，用于向所述网络服务器转发所述HTTP POST数据包；

应答模块，用于向所述用户终端转发所述HTTP应答数据包。