CN1937503A - 一种加速网页内容下载的***和方法 - Google Patents

Abstract

一种加速网页内容显示的***和方法，用户在浏览网页时，浏览器获取某些网页内容的请求被截取，获取网页内容的方法采用点对点模式下载，从而加速了网页内容下载。

Description

一种加速网页内容下载的***和方法

技术领域

本发明是一种加速下载网页内容的***和方法。在浏览器浏览网页时，除了下载网页本身外，网页里面还内嵌了许多相关的内容，比如图片、Flash、多媒体文件等，浏览器在下载网页后，接着下载上述相关内容。由于这些内容的尺寸一般比较大，本发明采用了截获这些下载请求的方法，并把浏览器缺省的下载方式转化为点对点下载方式，提高了下载速度，降低了源服务器的负载。

背景技术

在传统的浏览器下载方式中，浏览器一般直接连接到所请求内容所在的服务器上，采用单线程的方法获取所请求的内容。当浏览器浏览的网页中含有尺寸比较大的内容时，比如图片、内嵌显示的Flash、内嵌显示的多媒体文件等，获取这些内容的需要较长的时间。

发明内容

本发明是加速浏览器浏览网页内容的***和方法。

首先需要截取浏览器对于网页内容的请求，截取的方法有几种，对不同的浏览器截取的方式也不一样。对于微软Internet Explorer(TM)浏览器，有永久性截取、临时性截取、和使用代理三种方式。一般的浏览器，都提供了使用代理连接到服务器的方法，使用代理的方式是一种普遍适用的方式。

对于Internt Explorer浏览器，永久性截取方式是向Windows(TM)操作***的***注册表注册对Internet协议的处理方式，常见的Internet协议有HTTP和FTP。临时性截取方式是对Internet Explorer进程起作用的，一般靠Browser Helper Object的方式来激活，替换InternetExplorer对某种Internet协议的处理方式。

使用代理的方式需要设置浏览器的连接代理，它包含了对应于不同Internet协议的代理，比如HTTP，HTTPS，FTP，Gopher等，每一种代理需要指定代理服务器的IP地址和侦听端口。

在截获到浏览器对网页内容的请求后，下载网页内容的方式从单一的源服务器下载变为点对点下载。一种典型的点对点下载方式是，使用内容请求的URL(Uniform Resource Locator的简称)，先向一个索引服务器获得一个可以下载该URL内容的相邻节点的列表，然后连接到到一个或多个相邻的节点上，从相邻节点那里下载请求内容。为了加快下载速度，可以同时从多个相邻节点那里下载，每一个连接只下载部分内容。下载的内容按顺序回馈给浏览器。

为了支持其它相邻节点的请求，每一个节点还应该缓存部分或者全部下载内容。为了其它节点能查询到是否有相邻节点缓存了需要下载的内容，需要将缓存内容的索引信息汇报到几种索引服务器上。

每一个节点还应该为其它相邻节点的下载提供服务，当有其它相邻节点连接并请求数据时，节点应该为相邻节点提供数据上传服务。

当节点到索引服务器上请求相邻节点的列表时，需要提供下载内容的URL或者URL的变种。为了能确认下载内容的唯一性，可以到URL的源服务器获得文件的大小和最后修改日期(Last ModificationTime)，利用这三个因素或其组合方式来查询相邻节点的列表。

索引服务器在返回相邻节点列表时，还可以返回可以下载到所请求内容的其它服务器的连接信息。

从相邻节点或者其它文件服务器获得的数据向浏览器回馈时，按顺序方式回馈。为了保证最佳的数据回馈速度，最好采用文件分块下载并顺序下载的方法，对于每一个分块，可以采用同时从多个相邻节点或者文件服务器那里下载。

附图说明

图1是传统的浏览器下载网页内容的方法。

图2是使用点对点模式加速网页内容下载的方法。

图2是使用点对点模式加速网页内容下载的方法。

图3是P2P客户端下载文件的流程图。

图4是临时性截取浏览器的下载请求的方法。

图5是用浏览器代理截取浏览器下载请求的方法。

图6是分块下载和顺序下载的方法。

具体实施方式

以下对本发明的描述提供了多种实现方法，或者例子，来描述各种实现的特征。所描述的特殊的例子是为了简化本发明的体现。它们仅仅是例子，但是不仅仅限于这些例子。另外，描述中可能重复引用各种例子中的数字和字母，这种重复只是为了简明扼要，并不表示各种体现或者配置的关系。

图1是传统的浏览器浏览网页方式。浏览器101访问某页面102，当获得页面的部分内容时或全部内容后，浏览器101分析页面内是否有之需要下载的内容103-110，如图片，网页内嵌的ActiveX控件，如Flash控件，Windows Media Player(TM)等。然后直接下载图片，或者由ActiveX控件下载文件。一般来说，在下载的过程中，如果浏览器获得了部分数据就可以显示数据内容，比如图片，视频文件等。

上述的下载网页内显示文件的过程，一般是单线程到文件服务器103-110上下载的，一般下载速度比较慢。如果下载量超过文件服务器的负荷，则可能导致文件服务器的服务质量下降，甚至瘫痪。

而采用点对点的方式下载，则可以解决服务器负载问题，并提高浏览器下载文件的速度，进而提高浏览器浏览网页内容的速度。

图2是采用点对点(Peer-to-Peer，简称P2P)模式加速网页下载的方法。首先截取浏览器201对特定文件下载的请求，如图片文件，Flash文件等，然后由P2P客户端203处理下载请求。P2P客户端203使用下载URL或者它的变种首先发送请求到索引服务器204，从索引服务器获得一系列的P2P客户端的列表，其中包含了可以下载到URL所指定的文件的P2P客户端206-210的连接信息，比如这些P2P客户端的IP地址和侦听端口。如果索引服务器返回的列表是空的，P2P客户端203可以直接到文件的源服务器205下载。

P2P客户端203所使用的URL有时候并不能标识文件的唯一性。比如同一个URL，Web服务器如果使用新的文件替换了旧的文件，这样203所请求到的可能是包含不同文件的相邻节点，下载的文件拼凑时也会出错。为了获得请求文件的唯一标识，P2P客户端203首先从URL的源服务器获得文件的大小和最后修改日期，文件大小和最后修改日期对于普通的HTTP服务器和FTP服务器可以获得。这样，由URL、文件大小和文件的最后修改日期可以组成请求文件的唯一标识。一种简单的组成方式是使用三者组成一个字符串。

为了使索引服务器索引方便，还可以使用上述标识的演化形式，比如取上述字符串的MD5SUM。

索引服务器返回的列表中还可以包含一系列的文件源服务器的URL，P2P客户端203可以选择到文件源服务器上下载，这种模式一般用于为源站点205建立了系列镜像站点的情况。P2P客户端203从这些镜像站点下载同样可以减轻源服务器的负载。

如果索引服务器返回的相邻节点列表是空的，并且也没有镜像服务器可以利用，那么P2P客户端只能连接到下载文件的源服务器上。从源服务器上下载文件可以采用分块下载方法，并同时从源服务器上下载文件分块，这样的下载方式在一般情况下可以提高下载速度。

P2P客户端203获得了系列其它P2P客户端206-210的连接信息后，则选择并连接到其它P2P客户端上，发送下载文件的部分内容或全部内容的请求，并从其它P2P客户端那里获得相应的文件数据。发送的请求如果是下载部分内容，则必须指定下载数据在文件中的起始位置和终止位置。

这里所有的P2P客户端203、206-210从实现上来说是相同的。任何一个P2P客户端须建立文件内容上传服务。P2P客户端侦听于某一端口，接受来自其它P2P客户端的请求，并上传相应的文件数据。

P2P客户端203下载到文件数据时，可以把所有数据保存到相应的缓存中，一般来说是保存在磁盘文件中，以便长期地提供文件内容上传服务。P2P客户端也可以有选择地保存文件的某些部分，选择是否存储文件或者文件中的部分数据，应考虑用户的缓存大小、用户连接到Internet上的带宽等因素。如果缓存的数据超过缓存的大小，则可以根据一定的删除规则删除缓存中的数据，然后再保存新下载的文件或部分文件。P2P客户端还应把保存的数据信息汇报到索引服务器上204，以便其它P2P客户端可以在索引服务器上可以检索到可下载的P2P客户端列表。当删除缓存中的文件或部分文件时，P2P客户端必须把删除信息汇报到索引服务器，以便索引服务器可以更新服务器端的用户缓存信息。

图3是P2P客户端下载文件的流程图。

当有浏览器请求时(步骤302)，P2P客户端根据浏览器的请求组成下载文件的标识(步骤304)，比如使用URL作为标识。也可以先访问该URL中所包含的源站点，获得文件的大小和最后修改日期，然后组成下载标识。P2P客户端然后使用该标识向索引服务器请求相邻节点的列表(步骤306)，然后获得相邻节点的列表(步骤308)。P2P客户端判断返回的相邻节点列表是否是空(步骤310)，如果相邻节点列表为空，这说明没有相邻节点可以利用，需要从请求下载文件的镜像站点或者直接到源站点下载。否则，P2P客户端根据节点列表中的连接信息，同时连接到多个相邻节点那里，从不同的节点下载部分数据(步骤312)。数据下载到本地后，P2P客户端可以根据一定的规则存储下载数据(步骤314)，存储数据后，把存储数据的信息汇报到索引服务器上(步骤316)。

索引服务器在接收到下载客户端汇报的文件或者文件的某一部分的存储信息时，把这些信息记录到数据库内，当其它下载客户端按下载标识来请求相邻节点列表时，索引服务器从数据库查询出符合条件的相邻节点列表。并把相邻节点列表的信息返回给请求客户端。返回信息包括了相邻节点的IP地址、连接端口等。

为了最大程度地保证所返回的相邻节点是在线的主机，每一个P2P客户端在启动时应该把在线信息汇报到索引服务器上，并且定期汇报自己的在线信息。索引服务器需要维护各个节点的在线信息。

索引服务器在返回相邻节点列表时，还可以附加返回对应于客户端请求的文件或者部分文件内容的校验码，以便客户端从相邻节点下载的数据可以做校验。

为了使P2P客户端可以处理浏览器对下载内容的请求，需要截取浏览器下载文件的请求。

以下是三种截取浏览器下载请求的方法。前两种适合微软InternetExplorer(TM)浏览器，后一种适合几乎所有的浏览器。

方法一：对Internet Explorer实例注册临时的下载请求截取。图4是临时性截取浏览器的下载请求的方法。Internet Explorer浏览器401在启动时自动载入浏览器辅助对象(BHO)404。BHO是实现了特定接口的COM组件。开发好的BHO插件在注册表特定的位置注册好后，每当微软的浏览器启动，BHO实例就会被创建。

BHO需要注册Internet Explorer的IInternetProtocol接口，并实现该接口。

方法二：对Internet Explorer注册对HTTP的永久性请求。方法是在Windows(TM)***中注册注册表项：HKEY_CLASSES_ROOT\PROTOCOLS\Handler\http等Internet协议。当浏览器处理被注册的Internet协议时，调用所注册的对象中的方法进行处理。

方法三：设置浏览器的代理，以实现对浏览器请求的截取。当用户在浏览器中设置好代理服务器后，使用浏览器访问所有Web站点的请求都不会直接发给目的主机，而是先发给代理服务器，代理服务器接受了浏览器的请求以后，由代理服务器向目的主机发出请求，并接受目的主机的数据，然后再由代理服务器将浏览器要求的数据发给浏览器。一般来说，浏览器可以设置多种协议的代理，如HTTP、HTTPS、FTP、Gopher等，对于每一种协议的代理可以设置其代理服务器的IP地址和端口。图5是用浏览器代理截取浏览器下载请求的方法，其中浏览器501的请求被定向到代理服务器503上，503既是一个代理服务器，同时又是一个P2P客户端，它接受浏览器的请求，并使用P2P客户端下载所请求的数据，然后通过代理服务器把数据回馈给浏览器。

截取了浏览器的请求后，也可以根据一定的规则确定是否需要使用点对点下载的方式，比如根据请求文件的后缀名确定是否下载。对Flash文件单独加速时，只需要对SWF后缀的文件进行加速。

为了提高文件的下载速度，P2P客户端应采用分段下载的方法。

图6是分块下载和顺序下载的方法。首先把下载的文件分为大块601-604，然后顺序下载这些文件块。对于其中某一块601的下载，采用同时下载小块611-615的方法。这样，下载的文件块会按顺序回馈给浏览器，使浏览器尽早显示已经传输的数据。

Claims (28)

1、一种加速网页显示内容下载的方法，它包括：

截取浏览器对网页内容下载的请求，使用点对点的方式以及从下载文件的源服务器下载浏览器所请求的内容，把获得的网页内容数据回馈给浏览器。

2、如权利要求1所述的方法，其特征在于，截取Internet Explorer浏览器的对网页内容下载的方法是在Internet Explorer实例内注册对Internet协议的请求。

3、如权利要求1所述的方法，其特征在于，截取Internet Explorer浏览器的对网页内容下载的方法是向Windows***的注册表中增加注册表项，替换Internet Explorer对Internet协议的请求。

4、如权利要求1所述的方法，其特征在于，截取浏览器的对网页内容下载的方法是配置浏览器的代理参数，使浏览器对Internet协议的请求通过代理处理。

5、如权利要求1所述的方法，其特征在于，一种使用点对点方式下载浏览器请求内容的方法，包括了：使用下载内容的标识向索引服务器发出请求，从索引服务器接受到一个或者多个相邻节点的连接信息，连接到一个或者多个相邻节点上，从相邻节点上下载部分或者全部内容。

6、如权利要求5所述的方法，其特征在于，从索引服务器上获得一个或者多个浏览器所请求的文件的镜像服务器的信息。

7、如权利要求6所述的方法，其特征在于，下载客户端连接到一个或者多个镜像文件服务器，从镜像文件服务器上获得下载文件的部分或全部内容。

8、如权利要求5所述的方法，其特征在于，所使用的下载内容的标识是浏览器所请求的URL或者URL所演化出的信息。

9、如权利要求5所述的方法，其特征在于，下载客户端连接到文件的源服务器上，从源服务器获得文件的大小和文件的最后修改日期，由URL、文件大小和文件的最后修改时间组成的组合形式下载内容的标识，或者使用组合形式的演化信息作为请求文件的标识。

10、如权利要求5所述的方法，其特征在于，下载浏览器所请求的内容被分块下载，并使用顺序的方法下载分块。

11、如权利要求10所述的方法，其特征在于，对于所下载的某一分块，分段下载其中的数据。

12、如权利要求5所述的方法，其特征在于，下载客户端按一定规则存储所下载的文件或者所下载的文件的一部分到存储介质上，并把存储文件的信息或者存储的部分文件的信息汇报到索引服务器上。

13、如权利要求5所述的方法，其特征在于，下载客户端接受相邻节点下载数据的请求，把相应的请求数据发送给请求的节点。

14、如权利要求书1所述的方法，其特征在于，从源文件服务器下载文件的方法是同时从文件的源服务器下载文件内容的不同数据块。

15、一种计算机可读介质，其上含有执行如权利要求书1所述的方法的计算机可执行指令。

16、一种加速网页显示内容加速下载的***，它包括网页浏览器，至少一个截取网页浏览器下载请求的下载客户端，它从相邻节点以及文件源服务器下载浏览器所请求的文件内容，并把下载的内容回馈给网页浏览器，和网页浏览器下载文件的源服务器。

17、如权利要求16所述的***，其特征在于，它还包含了索引服务器，索引服务器接受下载客户端对于某下载标识的请求，并返回给下载客户端相邻节点列表信息。

18、如权利要求17所述的索引服务器，它接收并存储下载客户端汇报的客户端所缓存的文件数据的信息。

19、如权利要求16，17所述的***，其特征在于，由多个下载客户端和索引服务器构成的点对点***，其中下载客户端使用下载内容的标识向索引服务器发出请求，从索引服务器接受到一个或者多个相邻节点的连接信息，连接到一个或者多个相邻节点上，从相邻节点上下载部分或者全部内容。

20、如权利要求19所述的点对点***，其特征在于，下载客户端从索引服务器上获得的相邻节点列表信息还包括了一个或者多个浏览器所请求的文件的镜像服务器的信息，这些镜像服务器是点对点***之外的服务器。

21、如权利要求20所述的点对点***，其特征在于，下载客户端连接到镜像文件服务器，从至少一个镜像文件服务器上获得部分或全部内容。

22、如权利要求19所述的点对点***，其特征在于，下载客户端所使用的下载内容的标识是浏览器所请求的URL或者该URL所演化出的信息。

23、如权利要求19所述的点对点***，其特征在于，所使用的下载内容的标识是由URL、文件大小和文件的最后更新时间构成的信息或者该信息所演化出的信息。

24、如权利要求16所述的***，其特征在于，下载浏览器所请求的内容被分块下载，使用顺序的方法下载分块。

25、如权利要求24所述的***，其特征在于，对于所下载的某一分块，分段下载其中的数据。

26、如权利要求19所述的点对点***，其特征在于，下载客户端存储所下载的文件或者所下载的文件的一部分到客户端的存储介质上，并把存储文件的信息或者存储的文件部分数据信息汇报到索引服务器上。

27、如权利要求19所述的点对点***，其特征在于，

下载客户端接受相邻节点下载数据的请求，并把相应的请求数据发送给相邻节点。

28、如权利要求16所述的***，其特征在于，下载客户端从文件的源服务器下载文件时，同时从文件的源服务器下载文件内容的不同数据块。

Images