CN1425990A - 因特网多服务器文件并发下载技术 - Google Patents
因特网多服务器文件并发下载技术 Download PDFInfo
- Publication number
- CN1425990A CN1425990A CN 01144214 CN01144214A CN1425990A CN 1425990 A CN1425990 A CN 1425990A CN 01144214 CN01144214 CN 01144214 CN 01144214 A CN01144214 A CN 01144214A CN 1425990 A CN1425990 A CN 1425990A
- Authority
- CN
- China
- Prior art keywords
- file
- downloading
- download
- server
- servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
共享文件资源是因特网上的重要资源之一。大量文件数据通过传统的FTP/HTTP协议下载是一件非常费时费力的事情。目前常见的加速文件下载的技术是多线程下载和选择最快站点下载。本文则提出一种通过同时从多个文件服务器并发下载文件的技术。该技术不仅能够大大缩短文件下载时间,提高文件下载的成功率,而且能够消除多线程下载给服务器和网络带来的重负荷。同时,该技术还能够与多线程技术与站点选择技术结合使用,使下载速率得到进一步提高。
Description
一、文件服务与文件资源搜索引擎
文件服务是因特网(Internet)的重要应用之一。共享文件资源是因特网上的重要资源。对于存放在公共服务器上的共享文件资源,用户通过特定的客户端程序和特定的连接协议下载(例如使用FTP协议的FTP客户端,使用HTTP协议的WWW浏览器等等)。但是,受到网络带宽、服务器性能的限制,大数据量文件下载是一件非常费时的事情。本文将提出一项通过从多个服务器进行文件并发下载的技术,能够大大缩短文件下载时间,并显著提高文件下载成功率。
由于因特网上可供下载的共享文件资源越来越多,用户从因特网上找到所需要的资源越来越困难。为了帮助用户更快的找到所需要资源,搜索引擎应运而生。搜索引擎的任务是根据用户提交的资源信息(例如关键字等)返回包含相应网络资源的服务器地址及存放位置信息,它出现大大方便用户的使用。搜索引擎可以提供WWW页面形式的界面,也可以通过定制的客户端软件使用定制界面。
早期提供共享文件资源服务的服务器往往只提供完整文件的下载,不允许下载文件的特定部分。这使得用户在下载一个大型文件的期间如果发生中断将前功尽弃。为了克服这个困难,现在很多文件服务器(例如多数的FTP服务器)都提供“断点续传”功能,即允许指定文件的起始下载位置。这样,中断后的下载任务,可以在重新开始后根据需要从特定位置继续,大大方便了大型文件的下载。二、多线程文件下载技术
文件下载所需要的时间主要取决于两个因素:网络状况和服务器状况。对于繁忙的服务器,由于服务器要同时处理来自许多用户的下载请求,因此服务器性能以及靠近服务器端网络性能往往成为制约文件传输速度的瓶颈。在这种情况下,多线程下载技术出现了。在这种方式下,客户端启动多个线程同时与服务器建立连接,每个连接分别下载不同的文件或者同一文件的不同部分。由于服务器平等处理各个线程的请求,因此多个线程可以得到服务器更多的处理机会。同时由于网络中间设备更多次数收到用户网络传输请求,因此成功发送数据的次数也会提高。这几个因素都使得文件下载速度加快。但是这种方式是以挤占其他用户的服务器处理时间与网络带宽为代价的;另外,多线程下载导致服务器硬盘磁头频繁移动,这对服务器本身是有害的。因此许多文件服务器都对来自同一网络地址的下载线程最大个数加以限制。
由于下载过程中,每个线程负责下载文件的一个特定片段而不是完整的文件,因此该技术要求文件服务器必须支持“断点续传”功能。三、服务器选择技术
由于文件服务在因特网上使用的如此广泛以及共享资源的共享特性,使得这些文件在因特网上的传播过程中被多次复制和拷贝,这导致不同服务器上有大量重复的共享文件资源。对于同样的文件,通过搜索引擎可以在很多文件服务器上找到其完全相同的副本。由于用户并不关心文件具体来自哪个服务器,因此,我们可以在不同的服务器间选择下载速度最快的服务器。
由于必须在不同的服务器间进行选择,因此客户端必须了解待下载文件究竟在那些服务器上存在,以及各个服务器向客户端发送文件的速度。对于前一信息,客户端可以通过与指定搜索引擎的联系获得;而对于后一信息,客户端如果不进行尝试性连接及传输,是很难在下载任务开始以前取得各服务器下载速率信息并进行比较的。搜索引擎能够统计过去客户端从服务器下载文件的速率等信息,了解特定位置的用户下载特定服务上的文件的大致信息,并通知客户端进行选择。但由于现实情况***(例如服务器用户数目的变化,网络状况的变化等),这个信息很难做到精确,在少数情况下还会有较大偏差。因此,要想从多个站点中准确选择下载速度最快的站点是一件非常困难的事情。四、多服务器文件并发下载技术
本文提出的“多服务器文件并发下载技术”不再要求预先选择速度最快的文件服务器。下载客户端只需要通过向搜索引擎查询有哪些站点包含待下载文件,以及待下载文件存放在这些站点上的具***置。
在下载单个大型文件时,首先将文件分割成多个片段,然后将下载请求同时提交到包含该文件的多个文件服务器,并分别从这些服务器下载相应的文件片段(用户可以手工干预下载任务所提交的服务器)。对于固定大小的文件片段,传输速率高的服务器会首先完成下载任务,这时我们可以指定其继续下载文件的其他部分。对于传输速率非常低(包括无法正常工作)的服务器连接,可以指定一个阈值,当速率低于此阈值,或者连接时间超过该阈值后仍未完成下载任务时,将该下载请求取消,将下载任务交给其他服务器完成。也可以将同一片段的下载请求提交给多个服务器,当其中一个服务器的下载任务完毕后取消其他服务器的连接。
对于大型文件的分割下载要求文件服务器支持“断点续传”功能。而当有多个文件需要下载时,可以尽可能将不同的文件提交到不同的站点。这样可以减少甚至避免将一个文件切分成多个片段的情况,因此当文件服务器不支持“断点续传”时也能够正常工作。
当从多个服务器同时下载不同文件或者同一文件的的不同片段时,所获得的传输速率是所有服务器下载速率的和。而当从多个服务器下载文件的同一片段时,由于只要有一个服务器下载完毕下载任务即告完成,因此实际所获得的下载速率将是所有这些服务器的最大下载速率。在这个过程中,我们无需事先对用户到站点间的下载速率进行预先估计。同时,由于是从多个站点同时下载文件,因此当其中某服务器停止服务时,客户端能够继续从其他服务器取得数据,不会导致下载任务中断。这一特性是前面的各种下载技术所不能实现的。
在从单个文件服务器下载文件或者文件片段的时候,我们仍然可以使用传统的多线程下载技术,即将分配给特定服务器的下载任务使用多个线程完成。同时,结合服务器选择技术,我们可以优先考虑速度较高的服务器,避免客户端在同一时刻连接过多的服务器。与多线程技术和站点选择技术的结合将使得多站点文件并发下载技术获得更加出色的表现。
Claims (7)
1.在下载单个文件时,客户端同时向多个服务器提交下载请求,下载同一文件的不同部分,并进行拼接。
2.在下载单个文件时,客户端同时向多个服务器提交下载请求,下载同一文件的相同部分,并对各下载结果进行选择。
3.在下载多个文件时,客户端同时向多个服务器提交下载请求,分别从不同的服务器下载不同的文件或者相同文件的不同部分。
4.在进行多服务器文件并发下载时,从特定站点下载特定文件(或者其特定片段)时使用多线程技术。
5.在向多个服务器提交下载请求之前,通过一定方法选择站点,优先提交下载请求。允许放弃部分站点或者允许用户干预。
6.在进行多服务器文件并发下载时,根据实时情况动态调节文件的各部分及各文件在各服务器间的任务分配,同时动态更新服务器列表。
7.在进行多服务器文件并发下载时,任何下载任务可以暂停。恢复后可以使用原有的下载分配列表,也可重建列表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 01144214 CN1425990A (zh) | 2001-12-13 | 2001-12-13 | 因特网多服务器文件并发下载技术 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 01144214 CN1425990A (zh) | 2001-12-13 | 2001-12-13 | 因特网多服务器文件并发下载技术 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1425990A true CN1425990A (zh) | 2003-06-25 |
Family
ID=4677389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 01144214 Pending CN1425990A (zh) | 2001-12-13 | 2001-12-13 | 因特网多服务器文件并发下载技术 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1425990A (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100356724C (zh) * | 2005-08-17 | 2007-12-19 | 深圳华为通信技术有限公司 | 一种下载方法、下载***和使用所述下载方法的移动台 |
CN100452713C (zh) * | 2006-06-30 | 2009-01-14 | 清华大学 | 一种基于分布式编码存储的网络数据汇播传输方法 |
WO2009115026A1 (zh) * | 2008-03-17 | 2009-09-24 | 腾讯科技(深圳)有限公司 | 多媒体文件的下载播放***、客户端和方法 |
CN101202882B (zh) * | 2007-07-19 | 2010-09-15 | 深圳市同洲电子股份有限公司 | 一种媒体资源传输方法、***及机顶盒 |
CN101146294B (zh) * | 2005-10-28 | 2010-12-01 | 华为技术有限公司 | 一种移动台数据下载方法 |
CN101964824A (zh) * | 2010-11-05 | 2011-02-02 | 北京云快线软件服务有限公司 | 一种上传服务器选择方法及装置 |
US7941123B2 (en) | 2005-08-12 | 2011-05-10 | Huawei Technologies Co., Ltd. | Method and system for downloading data to mobile terminals and for implementing data sharing between mobile terminals |
CN102055805A (zh) * | 2010-12-30 | 2011-05-11 | Tcl集团股份有限公司 | 一种跨网络协议标准进行p2p下载的装置和方法 |
WO2012024863A1 (zh) * | 2010-08-23 | 2012-03-01 | 中兴通讯股份有限公司 | 一种移动终端及其下载方法 |
CN102455899A (zh) * | 2010-10-29 | 2012-05-16 | 镇江雅迅软件有限责任公司 | 一种多文件并发上传的方法 |
CN101730086B (zh) * | 2009-12-02 | 2014-03-12 | 北京盈通创新数字技术有限公司 | 一种连接多网关启动多线程的高速移动终端下载方法 |
CN103747364A (zh) * | 2013-12-11 | 2014-04-23 | 北京瑞汛世纪科技有限公司 | 一种网络内容下载的方法和装置 |
CN104184789A (zh) * | 2014-02-24 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种文件下载方法及装置 |
CN104182437A (zh) * | 2014-02-25 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种文件拉取方法及装置 |
CN105306532A (zh) * | 2015-09-17 | 2016-02-03 | 中国电建集团成都勘测设计研究院有限公司 | 提高气象模型***中数据下载可靠性和速度的***及方法 |
CN105812840A (zh) * | 2014-12-29 | 2016-07-27 | 乐视网信息技术(北京)股份有限公司 | 一种直播视频传输方法、装置,以及视频直播*** |
CN105933797A (zh) * | 2016-05-18 | 2016-09-07 | 青岛海信宽带多媒体技术有限公司 | 基于网络协议电视的直播节目启播方法及装置 |
CN106161570A (zh) * | 2015-04-24 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 基于网页脚本的文件下载方法、装置、服务器组及*** |
CN107547629A (zh) * | 2017-07-20 | 2018-01-05 | 北京京东尚科信息技术有限公司 | 客户端静态资源下载的方法、装置、电子设备和可读介质 |
CN108900638A (zh) * | 2018-08-08 | 2018-11-27 | 陈若天 | 一种在不中断并发异步连接的情况下确保全带宽使用的方法 |
CN110620798A (zh) * | 2018-06-19 | 2019-12-27 | 北京京东尚科信息技术有限公司 | Ftp连接的控制方法、***、设备和存储介质 |
CN111142900A (zh) * | 2019-12-17 | 2020-05-12 | 深圳市优必选科技股份有限公司 | 程序更新方法、装置及终端设备 |
-
2001
- 2001-12-13 CN CN 01144214 patent/CN1425990A/zh active Pending
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7941123B2 (en) | 2005-08-12 | 2011-05-10 | Huawei Technologies Co., Ltd. | Method and system for downloading data to mobile terminals and for implementing data sharing between mobile terminals |
CN100356724C (zh) * | 2005-08-17 | 2007-12-19 | 深圳华为通信技术有限公司 | 一种下载方法、下载***和使用所述下载方法的移动台 |
CN101146294B (zh) * | 2005-10-28 | 2010-12-01 | 华为技术有限公司 | 一种移动台数据下载方法 |
CN100452713C (zh) * | 2006-06-30 | 2009-01-14 | 清华大学 | 一种基于分布式编码存储的网络数据汇播传输方法 |
CN101202882B (zh) * | 2007-07-19 | 2010-09-15 | 深圳市同洲电子股份有限公司 | 一种媒体资源传输方法、***及机顶盒 |
WO2009115026A1 (zh) * | 2008-03-17 | 2009-09-24 | 腾讯科技(深圳)有限公司 | 多媒体文件的下载播放***、客户端和方法 |
CN101730086B (zh) * | 2009-12-02 | 2014-03-12 | 北京盈通创新数字技术有限公司 | 一种连接多网关启动多线程的高速移动终端下载方法 |
WO2012024863A1 (zh) * | 2010-08-23 | 2012-03-01 | 中兴通讯股份有限公司 | 一种移动终端及其下载方法 |
CN102455899A (zh) * | 2010-10-29 | 2012-05-16 | 镇江雅迅软件有限责任公司 | 一种多文件并发上传的方法 |
CN101964824A (zh) * | 2010-11-05 | 2011-02-02 | 北京云快线软件服务有限公司 | 一种上传服务器选择方法及装置 |
CN102055805A (zh) * | 2010-12-30 | 2011-05-11 | Tcl集团股份有限公司 | 一种跨网络协议标准进行p2p下载的装置和方法 |
CN103747364B (zh) * | 2013-12-11 | 2017-03-01 | 湖南网数科技有限公司 | 一种网络内容下载的方法和装置 |
CN103747364A (zh) * | 2013-12-11 | 2014-04-23 | 北京瑞汛世纪科技有限公司 | 一种网络内容下载的方法和装置 |
CN104184789A (zh) * | 2014-02-24 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种文件下载方法及装置 |
CN104182437A (zh) * | 2014-02-25 | 2014-12-03 | 无锡天脉聚源传媒科技有限公司 | 一种文件拉取方法及装置 |
CN105812840A (zh) * | 2014-12-29 | 2016-07-27 | 乐视网信息技术(北京)股份有限公司 | 一种直播视频传输方法、装置,以及视频直播*** |
CN106161570A (zh) * | 2015-04-24 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 基于网页脚本的文件下载方法、装置、服务器组及*** |
CN105306532A (zh) * | 2015-09-17 | 2016-02-03 | 中国电建集团成都勘测设计研究院有限公司 | 提高气象模型***中数据下载可靠性和速度的***及方法 |
CN105933797A (zh) * | 2016-05-18 | 2016-09-07 | 青岛海信宽带多媒体技术有限公司 | 基于网络协议电视的直播节目启播方法及装置 |
CN105933797B (zh) * | 2016-05-18 | 2019-02-01 | 青岛海信宽带多媒体技术有限公司 | 基于网络协议电视的直播节目启播方法及装置 |
CN107547629A (zh) * | 2017-07-20 | 2018-01-05 | 北京京东尚科信息技术有限公司 | 客户端静态资源下载的方法、装置、电子设备和可读介质 |
CN110620798A (zh) * | 2018-06-19 | 2019-12-27 | 北京京东尚科信息技术有限公司 | Ftp连接的控制方法、***、设备和存储介质 |
CN110620798B (zh) * | 2018-06-19 | 2023-08-04 | 北京京东尚科信息技术有限公司 | Ftp连接的控制方法、***、设备和存储介质 |
CN108900638A (zh) * | 2018-08-08 | 2018-11-27 | 陈若天 | 一种在不中断并发异步连接的情况下确保全带宽使用的方法 |
CN111142900A (zh) * | 2019-12-17 | 2020-05-12 | 深圳市优必选科技股份有限公司 | 程序更新方法、装置及终端设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1425990A (zh) | 因特网多服务器文件并发下载技术 | |
JP5065734B2 (ja) | ダウンロード可能データセグメントを使用するピアツーピアファイル共有システムおよび方法 | |
US9807192B1 (en) | Centralized coordination of data collection tasks from multiple sources | |
US7356589B2 (en) | Content collection | |
JP5207260B2 (ja) | バックアップ操作において重複排除を行うためのソース分類 | |
US7133933B2 (en) | Content synchronization frameworks using dynamic attributes and file bundles for connected devices | |
US8042172B1 (en) | Remote access architecture enabling a client to perform an operation | |
JP4590105B2 (ja) | ウェブサーバコンテンツ複製 | |
JP5203733B2 (ja) | コーディネータサーバ、データ割当方法及びプログラム | |
CN104283723B (zh) | 网络访问日志处理方法及装置 | |
WO2002029519A9 (en) | Systems and methods for supporting the delivery of streamed content | |
WO2002015526A1 (en) | Server-side session management | |
JP2002268979A (ja) | ダウンロード方法及び装置、ダウンロード用プログラム並びにそのプログラムを記録した記録媒体 | |
WO2011041202A1 (en) | Techniques for managing functionality changes of an on-demand database system | |
DE202020005703U1 (de) | Auf verteilten Metadaten basierendes Cluster-Computing | |
JP2012079350A (ja) | コンテンツ収集 | |
US20060179123A1 (en) | Techniques for providing faster access to frequently updated information | |
WO2014171025A1 (ja) | データ提供システム及びデータ提供システムにおける開示ステータス設定方法 | |
US20080270480A1 (en) | Method and system of deleting files from a remote server | |
JP6449961B2 (ja) | ウェブページを生成するための方法及び装置 | |
US20070043695A1 (en) | Action consolidation using hash table | |
WO2002061586A2 (en) | Smart-caching system and method | |
US7979540B2 (en) | Configurable recovery of aborted session data | |
US11157454B2 (en) | Event-based synchronization in a file sharing environment | |
JP6696927B2 (ja) | クラスタシステム、クラスタシステムのアップデート管理装置、アップデート振分装置、アップデート管理方法、アップデート振分方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |