CN101437051B - 网络资源下载方法 - Google Patents

Abstract

本发明涉及点对点下载方法以及分布式方法。本发明提供一种基于点对点下载方式下资源聚积的分布式下载方法。网络资源下载方法，包括步骤：a、客户端获取一个在原始资源下载服务器中的原始资源下载地址，并连接资源聚集服务器；b、资源聚集服务器将客户端请求的下载资源所对应的资源地址池发送至客户端；所述资源地址池为包含有同一网络资源的所有下载地址的集合；c、客户端根据资源地址池中地址数量对下载资源分块，分出的子块数与所述地址数量相同；d、客户端将每个子块连接到资源地址池中的一个下载地址进行下载。本发明聚集了多个下载服务器的资源，进一步提高客户端的下载能力，对单一服务器也起到了负载分流、失效备份的作用。

Description

网络资源下载方法

技术领域

本发明涉及点对点下载方法以及分布式方法。

背景技术

在INTERNET中，存在两种下载服务：一种是类似于BT方式的多用户分布式下载，比如比特彗星、电驴等下载软件；一种是类似HTTP、FTP等方式的点对点下载，比如浏览器直接下载，虽然网际快车、网络蚂蚁等多线程下载软件可以大幅提高下载能力，但是它们仍然是从单一下载服务器上下载，只不过对单一资源进行了多线程分块下载，仍然属于点对点下载。两种下载各有各的好处：分布式下载，不依赖于服务器的网络带宽及负载性能，但却决定于在线用户的多少；点对点式下载资源稳定、长期有效，但是却受影响于服务器的网络带宽及负载性能。

发明内容

本发明所要解决的技术问题是，提供一种基于点对点下载方式下资源聚积的分布式(镜像)下载方法。

本发明为解决上述技术问题所采用的技术方案是，网络资源下载方法，包括以下步骤：

a、客户端获取一个原始资源下载地址，并连接资源聚集服务器；所述资源属性还包含有下载资源的资源文件类型、资源大小、资源内容的前一段字节数据；所述原始资源下载地址是客户端从下载网页上直接获取的；所述下载资源的资源文件类型、资源大小、资源内容的前一段字节数据是由客户端连接到原始资源下载地址对应的原始资源下载服务器获取的；

b、资源聚集服务器根据资源属性计算出资源散列值；如果本机数据库中不存在该散列值对应的表项，则对该资源散列值建立表项和资源地址池，并将客户端数据资源属性中的原始资源下载地址加入资源地址池；如果存在该散列值对应的表项，再判断资源地址池内的下载地址中是否包含原始资源下载地址，如是，将资源地址池发送至客户端；如否，将原始资源下载地址添加至资源地址池，并更新资源地址池，将更新后的资源地址池发送至客户端；所述资源地址池为包含有同一网络资源的所有下载地址的集合；

c、客户端根据资源地址池中地址数量对下载资源分块，分出的子块数与所述地址数量相同；

d、客户端将每个子块连接到资源地址池中的一个下载地址进行下载。

本发明的有益效果是，每一个子块对应多线程下载模式，由于本发明聚集了多个下载服务器的资源，进一步提高客户端的下载能力，对单一服务器也起到了负载分流、失效备份的作用。

具体实施方式

资源聚集服务器是个私有服务器，是用来保存散列值及对应的资源地址池的数据库的服务器；而原始资源下载服务器是原始资源下载地址对应的一个服务器；比如对于一个文件A，在服务器X、Y、Z上都有副本，那么X、Y、Z都可称为一个原始资源下载服务器，而另外一个服务器N，这个服务器N知道对于文件A，有http://X/...、http://Y/...、http://Z/...三个地址都能下载，服务器N就是资源聚集服务器。

本发明涉及客户端、原始资源下载服务器、资源聚集服务器。原始资源下载服务器仅提供客户端所需下载资源的资源属性，在下载过程中应客户端请求将下载资源发送至客户端。客户端与资源聚集服务器的工作流程如下：

1.客户端：

1.1客户端从INTERNET从获取一个原始资源下载地址并连接资源聚集服务器；

1.2客户端将资源属性提交到资源聚集服务器，从资源聚集服务器获资源地址池；如果获取资源地址池失败，就使用原始资源下载地址进行点对点下载，并处理下载结果；如果获取资源地址池成功，进入1.3；

1.3根据资源地址池里的地址数量进行分块，每分块对应资源地址池里的一个资源下载地址；如果资源地址池里某个资源地址失效而导致该分块无法完成下载，那么当其它分块完成后，该分块切换到其它分块对应的资源地址进行下载；直到所有分块都下载完成。

2.资源聚集服务器：

2.1资源聚集服务器监听本机端口，看是否有客户端推送数据过来：如果有，则进入2.2；如果无，继续执行2.1；

2.2分析客户端数据，对资源属性计算出资源散列值；如果本机数据库中不存在该散列值对应的表项，则对该资源散列值建立表项和资源地址池，并将客户端数据资源属性中的原始资源下载地址加入资源地址池；如果存在该散列值对应的表项，再根据客户端数据中的原始资源下载地址是否存在于表项对应的资源地址池里，决定是否将其加入资源地址池；进入2.3；

2.3将执行结果反馈给客户端；继续执行2.1。

实施例

资源属性包括述原始资源下载地址、下载资源的资源文件类型、资源大小、资源内容的前1024个字节数据(即文件的前1024个字节)；原始资源下载地址是客户端在下载网页上直接获取的(比如点击网页上的下载按钮)，后三个属性(下载资源的资源文件类型、资源大小、资源内容的前1024个字节数据)是需要连接到原始资源下载地址对应的原始资源下载服务器才能获取。这几个属性可以判定一个唯一的下载文件。对于失效的下载地址(即对应了一个无法连接的资源服务器)，那么此时资源属性只包含了资源下载地址，其它三个属性都是无效的(无效即为0)。资源地址池为就同样资源内容所对应的一系列资源下载地址的集合。比如对于一个特定的文件，可能在华军、163、长虹等资源服务器上都有，对应的下载地址分别为：http://dl1.newhua.com/files/1.mp3、http://dl1.163newhua.com/women.mp3、http://www.changhong.com/files/liuxing.mp3，那么地址池其实就是这三个地址的集合。资源地址池一共有三个下载地址，那么客户端会将文件分成三等分去分别连接每个服务器下载。如果某个服务器也无法下载，那么该分块切换到可以下载的那个资源下载服务器继续下载。如果三个资源服务器都无法下载，那么下载失败。资源聚积服务器先根据资源属性计算出散列值，通过散列值查找本地表项(各种数据库软件，比如SQL、FOXBASE、ORCALE等等)，从而找出该资源属性对应的资源地址池。资源聚积服务器存储的表项中，每个资源散列值就是这个表项的唯一关键字，资源地址池就是这个表项的数据。同样资源内容的资源在不同的原始资源下载服务器上虽命名不同，但是文件类型、文件大小、文件内容的前一段字节这些是相同的。散列值包括主散列值和辅散列值，主散列值由资源文件类型的实际值、资源大小的实际值、资源内容的前1024个字节数据(或取2048个字节、前500个字节，一段字节数取得越多，对查询条件的约束性越强)的实际值以及原始资源下载地址计算得到；主散列值用于客户端连接原始资源下载服务器获取资源属性时，得到的资源属性全部有效的情况；辅散列值由主散列值由资源文件类型为零、资源大小为零、资源内容的前1024个字节数据为零以及原始资源下载地址计算得到；辅助散列值用于客户端连接原始资源下载服务器获取资源属性时，得到的资源属性仅原始资源下载地址有效的情况。

客户端与资源聚集服务器的具体工作流程如下：

客户端：

用户通过浏览网页等方式从INTERNET获取一个原始资源下载地址。然后向该原始资源下载服务器发送下载请求(请求1024个字节的数据)。然后进行下面两种情况的处理(步骤C.1和C.2)：

C.1如果原始下载服务器返回了正确数据，则把资源属性(资源文件类型、资源大小、原始资源下载地址、资源内容的前1024个字节数据，即全部属性有效)发送给资源聚集服务器。资源聚集服务器会返回两种结果：C.1.1失败，即资源聚集服务器没有发现该资源的资源地址池，那么客户端继续从该原始资源下载服务器下载数据；C.1.2成功，即服务端发现了该资源的下载地址池，那么客户端根据资源地址池中的地址数量进行分块，分别从每个资源下载地址对应的下载服务器下载数据，其中，这些资源下载地址也有无法下载的，那么将无法下载的分块切换到已成功完成下载分块对应的下载服务器上去。最终完成整个资源的下载。

C.2如果原始资源下载服务器返回了错误(或者下载超时)，则也把资源属性(资源文件类型为零、资源大小为零、原始资源下载地址、资源内容的前1024个字节数据全为零，即只有原始资源下载地址属性有效)发送给资源聚集服务器。资源聚集服务器会返回两种结果：C.2.1失败，即资源聚集服务器没有发现该资源的资源地址池，那么客户端对原始资源下载失败；C.2.2成功，即虽然原始资源下载地址失败，但是资源聚集服务器发现了备份资源地址池，那么客户端根据资源地址池中的地址数量进行分块，分别从每个资源下载地址对应的下载服务器分块下载数据，其中，这些资源下载地址也有无法下载的，那么将无法下载的分块切换到已成功完成下载分块对应的下载服务器上去，最终完成整个资源的备份下载。

资源聚集服务器：

监听本机端口，看是否有客户端推送数据过来：如果有，根据用户数据中的资源属性的参数属性，如果资源属性全部属性有效，则计算出主散列值和辅散列值(辅散列值由资源文件类型为零、资源大小为零、原始资源下载地址、资源内容的前1024个字节数据全为零计算出)，如果资源属性中只有原始资源下载地址属性有效，则只计算出辅散列值，根据计算出的主散列值或辅散列值，查询本机数据存储，根据结果执行步骤S.1和S.2；如果无，则继续监听。

S.1如果没有查询到，则创建一个新的表项，表项主关键字为资源主散列值(如果当前资源属性参数属性中只有原始资源下载地址属性有效，那么就空缺主散列值，待以后有辅散列值相同的资源属性时，再补充主散列值)，表项辅关键字为资源辅散列值，表项数据为资源地址池，并将该资源下载地址加入表项里的资源地址池，将新建表项写回本机数据存储，返回失败给客户端。

S.2如果查询到，又分为以下四种情况：S.2.1将查询到的表项里的资源地址池跟该资源下载地址进行比较，如果相同，不论是通过主散列值还是辅散列值查询到的，都返回失败给客户端；S.2.2如果表项里的资源地址池不包含该资源下载地址，那么将该资源下载地址加入资源下载地址池并将更新的表项写回本机数据存储，将更新后的资源地址池反馈给客户端，并返回成功给客户端；S.2.3如果表项里的资源地址池包含该资源下载地址，将资源地址池反馈给客户端，并返回成功给客户端；S.2.4步骤S.2.3里又有种特殊情况，如果用户数据的资源属性只能计算出辅散列值(资源属性参数属性中只有原始资源下载地址属性有效)，说明原始资源下载地址下载失败，而资源聚集服务器返回的资源地址池就可以作为客户端的备份下载地址。

INTERNET应用和业务***发展的今天，同一个资源，在多个门户网站都能下载到，这说明多个下载服务器上都有该资源的拷贝，这正是本发明能有效实施的首要环境；本方法是经实验验证，能够有效地提高客户端的下载能力、有效地对下载服务器负载分流，同时对下载失效能寻求备份下载。

Claims (2)

1.网络资源下载方法，其特征在于，包括以下步骤：

a、客户端获取一个原始资源下载地址，并连接资源聚集服务器；所述原始资源下载地址是客户端从下载网页上直接获取的；

b、资源聚集服务器根据资源属性计算出资源散列值；如果本机数据库中不存在该散列值对应的表项，则对该资源散列值建立表项和资源地址池，并将客户端数据资源属性中的原始资源下载地址加入资源地址池；如果存在该散列值对应的表项，再判断资源地址池内的下载地址中是否包含原始资源下载地址，如是，将资源地址池发送至客户端；如否，将原始资源下载地址添加至资源地址池，并更新资源地址池，将更新后的资源地址池发送至客户端；所述资源地址池为包含有同一网络资源的所有下载地址的集合；所述资源属性包含有原始资源下载地址、下载资源的资源文件类型、资源大小、资源内容的前一段字节数据；所述下载资源的资源文件类型、资源大小、资源内容的前一段字节数据是由客户端连接到原始资源下载地址对应的原始资源下载服务器获取的；

c、客户端根据资源地址池中地址数量对下载资源分块，分出的子块数与所述地址数量相同；

d、客户端将每个子块连接到资源地址池中的一个下载地址进行下载。

2.如权利要求1所述网络资源下载方法，其特征在于，步骤d中，如有子块连接到资源地址池中的一个下载地址时下载失败，客户端则将该子块切换到其它已完成下载的子块所对应的下载地址上。