CN108173953A - 一种基于内容分发网络cdn的文件分发方法和装置 - Google Patents

一种基于内容分发网络cdn的文件分发方法和装置 Download PDF

Info

Publication number
CN108173953A
CN108173953A CN201711485143.6A CN201711485143A CN108173953A CN 108173953 A CN108173953 A CN 108173953A CN 201711485143 A CN201711485143 A CN 201711485143A CN 108173953 A CN108173953 A CN 108173953A
Authority
CN
China
Prior art keywords
node
data block
file
source
father
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711485143.6A
Other languages
English (en)
Inventor
***
贾超峰
郭文艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711485143.6A priority Critical patent/CN108173953A/zh
Publication of CN108173953A publication Critical patent/CN108173953A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种基于内容分发网络CDN的文件分发方法,内容分发网络CDN具有多个节点,所述方法包括:在当前的节点中获取存储在源网站的源文件的文件信息;根据所述文件信息将所述源文件划分为多个数据块;从所述多个节点中选择目标节点;从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。对于当前节点而言,本身持有的数据块可以作为种子,目标节点所持有的数据块也可以作为种子,当前节点与目标节点之间可以进行数据块的交换,每个数据块至少可以从源网站获取一次即可,大大减少了从源网站获取数据块的频次,从而减少了源网站的访问压力。

Description

一种基于内容分发网络CDN的文件分发方法和装置
技术领域
本发明涉及计算机处理的技术领域,特别是涉及一种基于内容分发网络CDN的文件分发方法和一种基于内容分发网络CDN的文件分发装置。
背景技术
在网站中经常使用CDN(Content Delivery Network,内容分发网络)对数据流进行传输,CDN是通过在现有的网络中增加一层新的网络结构,部署有多个节点,用于缓存数据,使用户可以将数据传输到就近的节点上或从就近的节点获取所需的数据,提供相应的服务。
在CDN中的各个节点分发一个文件时,目前是使用镜像技术,所有节点之间进行镜像的交互,需要多次从源网站获取该文件,造成源网站的访问压力较大。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于内容分发网络CDN的文件分发方法和相应的一种基于内容分发网络CDN的文件分发装置。
依据本发明的一个方面,提供了一种基于内容分发网络CDN的文件分发方法,内容分发网络CDN具有多个节点,所述方法包括:
在当前的节点中获取存储在源网站的源文件的文件信息;
根据所述文件信息将所述源文件划分为多个数据块;
从所述多个节点中选择目标节点;
从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
可选地,所述文件信息包括文件大小;
所述根据所述文件信息将所述源文件划分为多个数据块,包括:
将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
可选地,所述从所述多个节点中选择目标节点,包括:
测试当前节点与所述多个节点之间的链路状态;
按照所述链路状态从所述多个节点中选择目标节点。
可选地,所述从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件,包括:
选择当前节点中未获取的数据块中选择目标数据块;
从所述源网站中获取所述目标数据块;
从所述目标节点已获取的数据块中获取当前节点未获取的数据块;
判断当前节点是否具有未获取的数据块;
若是,则返回执行所述选择当前节点中未获取的数据块中选择目标数据块;
若否,则将已获取的数据块作为所述源文件进行存储。
可选地,所述内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点;
所述中心节点与源网站进行通信;
所述父层节点之间相互通信,与所述中心节点或者源网站进行通信,以及,与所述边缘节点进行通信;
所述边缘节点用于与客户端进行通信。
可选地,所述从所述源网站中获取所述目标数据块,包括:
确定所述目标数据块归属的父层节点;
向所述父层节点发送文件获取请求;
接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
可选地,所述确定所述目标数据块归属的父层节点,包括:
将所述多个数据块按照预设的分配规则对应至所述父层节点;
确定所述目标数据块分配到的父层节点。
根据本发明的另一方面,提供了一种基于内容分发网络CDN的文件分发装置,内容分发网络CDN具有多个节点,所述装置包括:
文件信息获取模块,用于在当前的节点中获取存储在源网站的源文件的文件信息;
源文件划分模块,用于根据所述文件信息将所述源文件划分为多个数据块;
目标节点选择模块,用于从所述多个节点中选择目标节点;
数据块获取模块,用于从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
可选地,所述文件信息包括文件大小;
所述源文件划分模块包括:
数据范围划分子模块,用于将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
可选地,所述目标节点选择模块包括:
链路状态测试子模块,用于测试当前节点与所述多个节点之间的链路状态;
链路状态选择子模块,用于按照所述链路状态从所述多个节点中选择目标节点。
可选地,所述数据块获取模块包括:
目标数据块选择子模块,用于选择当前节点中未获取的数据块中选择目标数据块;
源网站获取子模块,用于从所述源网站中获取所述目标数据块;
数据块交换子模块,用于从所述目标节点已获取的数据块中获取当前节点未获取的数据块;
数据块判断子模块,用于判断当前节点是否具有未获取的数据块;若是,则返回调用所述目标数据块选择子模块;若否,则调用数据块组合子模块;
数据块组合子模块,用于将已获取的数据块作为所述源文件进行存储。
可选地,所述内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点;
所述中心节点与源网站进行通信;
所述父层节点之间相互通信,与所述中心节点或者源网站进行通信,以及,与所述边缘节点进行通信;
所述边缘节点用于与客户端进行通信。
可选地,所述源网站获取子模块包括:
归属确定单元,用于确定所述目标数据块归属的父层节点;
文件获取请求发送单元,用于向所述父层节点发送文件获取请求;
目标数据块接收单元,用于接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
可选地,所述归属确定单元包括:
数据块分配子单元,用于将所述多个数据块按照预设的分配规则对应至所述父层节点;
分配确定子单元,用于确定所述目标数据块分配到的父层节点。
在本发明实施例中,内容分发网络CDN具有多个节点,在当前的节点中获取存储在源网站的源文件的文件信息,根据文件信息将源文件划分为多个数据块,从多个节点中选择目标节点,从目标节点和/或源网站获取多个数据块,以组成源文件,对于当前节点而言,本身持有的数据块可以作为种子,目标节点所持有的数据块也可以作为种子,当前节点与目标节点之间可以进行数据块的交换,每个数据块至少可以从源网站获取一次即可,大大减少了从源网站获取数据块的频次,从而减少了源网站的访问压力。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种基于内容分发网络CDN的文件分发方法实施例的步骤流程示意图;
图2示出了根据本发明一个实施例的内容分发网络CDN的结构示意图;以及
图3示出了根据本发明一个实施例的一个实施例的基于内容分发网络CDN的文件分发装置实施例的结构示意框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种基于内容分发网络CDN的文件分发方法实施例的步骤流程示意图,具体可以包括如下步骤:
步骤101,在当前的节点中获取存储在源网站的源文件的文件信息。
在内容分发网络CDN中,通常具有多个用于传输数据(如直播流、缓存数据等)的节点,在某个节点接收到客户端、源网站的数据(如直播流、缓存数据等)之后,可以推送至其他节点,在用户访问数据(如直播流、缓存数据等)的时候,通过调度将用户的请求路由或者引导到离用户接入网络最近或者访问效果最佳的节点上,由该节点为用户提供数据(如直播流、缓存数据等);相对于直接访问源网站,这种方式缩短了用户和数据(如直播流、缓存数据等)之间的网络距离,从而达到加速的效果。
需要说明的是,在不同的内容分发网络CDN中,拓扑结构可能有所不同。
在具体实现中,内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点。
其中,在某些情况下,中心节点为资源的超汇聚节点,可以与源网站进行通信,汇聚了大量源网站的资源,这些资源一般为变化较少的资源,例如,视频、图片等等。
在某些情况下,中心节点仅保存文件信息,如URL(Uniform Resource Locator,统一资源定位符),并不直接缓存文件,内容分发网络CDN中的其他节点从该中心节点中获取待缓存的文件的文件信息,在缓存完该文件之后,上报至中心节点,中心节点统计出其他节点缓存的文件。
需要说明的是,在某些内容分发网络CDN中可以部署中心节点,即该部分内容分发网络CDN为中心节点-父层节点-边缘节点的三层结构,在某些内容分发网络CDN中可以不部署中心节点,即该部分内容分发网络CDN为父层节点-边缘节点的二层结构,本发明实施例对此不加以限制。
父层节点为资源的次汇聚节点,一方面,由于在内容分发网络CDN内部,各节点之间一般使用双向光纤等专有的通信线缆进行通信,中心节点与父层节点之间的通信质量有较高的保障,在获取变化较少的资源、外部源网站通信质量较差等情况下,可以与中心节点进行通信,从中心节点获取资源,另一方面,在获取新的资源、进行数据操作(如支付)等情况下,可以与源网站进行通信,从源网站获取资源。
再者,父层节点之间可以相互通信,从而组成父层节点与边缘节点之间的传输路径,即一个节点到另一个节点所经过的中间传输的节点及通信线缆所组成的路径。
具体而言,选取传输路径的方式可以有多种,可以根据实际需求选择如下至少一种方式:
1、选取传输性能符合设定的要求的传输路径。
传输性能是指传输流数据的传输路径的传输能力,可以根据节点间的距离、传输速度、数据丢失率、阻塞状况等确定传输路径的传输性能,通过定期更新每两个节点间的传输性能,根据节点之间的各传输路径的传输性能,选取其中传输性能符合要求或传输性能最好的传输路径。
2、选取经过的节点数量最少的传输路径。
在多条传输路径中选取节点数量最少的传输路径,这样,就可以占用最少的传输资源完成数据从一个节点到另一个节点的传输。
3、选取在一段时间内没有选择过的传输路径。
如果历史上有流数据从一个节点传输至另一个节点,那么,当有新的数据要从这两个之间进行传输,可以在一段时间内没有选择过的各传输路径中选取一条,以避免一直选取同一条传输路径导致该传输路径上的节点负载过重。
当然,上述传输路径的选取方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他传输路径的选取方式,本发明实施例对此不加以限制。另外,除了上述传输路径的选取方式外,本领域技术人员还可以根据实际需要采用其它传输路径的选取方式,本发明实施例对此也不加以限制。
此外,父层节点一般部署有多个运营商的机房,机房之间通过双线光线等专有的通信线缆进行连接,边缘节点一般是部署在某个运营商的网络中,同运营商之间的父层节点的机房可以与边缘节点进行通信。
边缘节点之间具有相互通信的能力,但是,一般情况下,不会直接进行通信。
边缘节点可以接入客户端,例如,手机、平板电脑、电视等等,用于与客户端进行通信,如获取其采集的直播流,或者,将直播流推送至该客户端。
为使本领域技术人员更好地理解本发明实施例,以下通过具体的示例来说明本发明实施例中的内容分发网络CDN。
如图2所示,父层节点为A1、A2、A3、A4,可以按照地理位置进行部署,例如,A1部署在北京、A2部署在上海、A3部署在广州,A4部署在郑州,A1可以与A2进行通信,A2可以与A3进行通信,A3可以与A4进行通信,A4可以与A1进行通信,父层节点之间的循环通信,可以组成环状的父层结构。
此外,每个父层节点可以连接一个或多个边缘节点,边缘节点也可以按照地理位置、运营商等因素进行部署,边缘节点之间一般不直接进行通信,而是经过父层节点进行中转,父层节点A1连接边缘节点A11、A12,父层节点A2连接缘节点A21、A22,父层节点A3连接缘节点A31、A32、A33,父层节点A4连接缘节点A41、A42、A43。
边缘节点接入客户端,如边缘节点A32接入客户端B1,用于接收客户端的数据(如直播流),或者,将数据(如直播流)发送至该客户端。
在实际应用中,如果准备在内容分发网络CDN中分发源网站的某个文件,如视频、图片等,则可以将该文件相关的文件信息发送至每个节点,例如,文件的URL(UniformResource Locator,统一资源定位符)、文件大小,等等。
步骤102,根据所述文件信息将所述源文件划分为多个数据块。
在具体实现中,文件信息包括文件大小,因此,可以将文件大小按照预设的块大小划分出多个数据范围,作为源文件中的多个数据块。
例如,某个文件的文件大小为9.6M,预设的块大小为2M,则可以将该文件划分为五个数据块,其数据范围分别为(0M,2M],(2M,4M],(4M,6M],(6M,8M],(8M,9.6M]。
需要说明的是,本领域技术人员可以根据实际情况设置文件大小的数值,本发明实施例对此不加以限制。
例如,该文件大小可以是默认的,如每次划分出2M大小的数据块。
又例如,该文件大小可以与带宽匹配,如检测到带宽上限为1M,则该文件大小可以为1M或者稍大于1M,在满足数据交互的同时,尽量减少资源消耗。
步骤103,从所述多个节点中选择目标节点。
对于当前节点而言,可以从内容分发网络CDN中的其他节点选择至少部分节点作为目标节点,以进行源文件的数据交互。
在本发明的一个实施例中,可以测试当前节点与多个节点之间的链路状态(如带宽、时延、ping值等),按照链路状态从多个节点中选择目标节点。
一般而言,可以对链路状态进行评分,从多个节点中选择评分最高的多个节点作为目标节点,保证链路的质量,从而保证通信的质量。
需要说明的是,在源文件的数据交互的过程中,节点的地位是相等的,因此,所选择的目标节点可以是上游节点,也可以是下游节点,等等,本发明实施例对此不加以限制。
例如,对于上述内容分发网络CDN,当前节点可以是边缘节点,也可以是父层节点,目标节点可以边缘节点,也可以是父层节点。
步骤104,从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
在具体实现中,对于当前节点与目标节点之间已经获取的数据块,可以相互之间进行交换,对于当前节点与目标节点之间尚未获取的数据块,可以由其中一个节点从源网站中获取,然后相互之间进行交换。
在获取源文件所有的数据块之后,则可以将数据块作为源文件进行缓存,实现源文件的分发。
在本发明的一个实施例中,步骤104可以包括如下子步骤:
子步骤S11,选择当前节点中未获取的数据块中选择目标数据块。
在本发明实施例中,当前节点与目标节点之间可以进行一轮或多轮数据块的交换。
在每一轮数据块的交换过程中,当前节点可以查询从当前尚未获取的数据块中,通过随机选择、顺序选择等方式选择至少一个数据块作为目标数据块。
子步骤S12,从所述源网站中获取所述目标数据块。
对于当前节点未获取的目标数据块,则可以进行回源,从源网站获取源文件中的目标数据块。
在本发明实施例的一个示例中,子步骤S12进一步可以包括如下子步骤:
子步骤S121,确定所述目标数据块归属的父层节点。
由于父层节点可以直接与源网站进行通信,对于源文件划分出的数据块,可以按照一定的分配规则,分配给父层节点负责从源网站获取。
因此,当前节点可以将多个数据块按照预设的分配规则对应至父层节点,确定目标数据块分配到的父层节点。
例如,若源文件划分为5个数据块,每个数据块具有顺序,而父层节点共有4个,每个父层节点具有排序,因此,可以将第1、5个数据块分配至第1个父层节点负责获取,将第2个数据块分配至第2个父层节点负责获取,将第3个数据块分配至第3个父层节点负责获取,将第4个数据块分配至第4个父层节点负责获取。
子步骤S122,向所述父层节点发送文件获取请求。
子步骤S123,接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
若确定了目标数据块对应的父层节点,则可以向该父层节点发送获取请求。
对于父层节点而言,可以判断是否已获取文件获取请求对应的目标数据块;若是,则将目标数据块发送至当前节点,否则,通过源文件的URL、目标数据块的数据范围,从源网站获取目标数据块,并发送至边缘节点。
在具体实现中,父层节点可以向源网站发送HTTP(Hyper Text TransportProtocol,超文本传输协议)的下载请求,在下载请求的请求头中通过Range头域指定目标数据块的数据范围(第一个字节的位置和最后一个字节的位置),以将目标数据块的数据范围添加到下载请求中。
Range头域可以请求文件的一个或者多个数据范围,Range的值为0表示第一个字节,也就是Range计算字节数是从0开始的,其一般格式可以如下:
Range:(unit=first byte pos)-[last byte pos]
例如,表示头500个字节:bytes=0-499;
又例如,表示第二个500字节:bytes=500-999。
处理子请求的示例可以如下:
GET/file.exe HTTP/1.1
Connection:close
Host:116.1.219.XXX
Range:bytes=0-499
在本示例中,可以请求下载文件(file.exe)的头500个字节。
对于源网站而言,可以从下载请求中提取目标数据块的数据范围,从而读取源文件中、该数据范围对应的目标数据块,生成响应信息。
在响应信息的响应头中,可以通过Content-Range头域添加指定文件中的数据范围以及文件的长度。
Content-Range的一般格式可以如下:
Content-Range:bytes(unit first byte pos)-[last byte pos]/[entitylegth]
响应信息的示例可以如下:
HTTP/1.1 200OK
Content-Length:801
Content-Type:application/octet-stream
Content-Range:bytes 0-499/801
其中,当前返回的数据块的数据范围为0-499(字节),文件的长度为801(字节)。
子步骤S13,从所述目标节点已获取的数据块中获取当前节点未获取的数据块。
在本轮数据块的交换过程中,对于不同的节点,已经从源网站获取了新的数据块(目标数据块),以此作为种子进行数据块的交换,从目标节点中获取当前节点尚未获取的数据块。
进一步而言,当前节点可以标记已获取的数据块,并发送至目标节点,目标节点将其已获取的数据块通知当前节点。
当前节点将自身已获取的数据块与目标节点已获取的数据块进行比较,获知当前节点未获取、但目标节点已获取的数据块,从该目标节点拉取这些数据块。
同样地,目标节点也可以标记已获取的数据块,发送至当前节点,当前节点将其已获取的数据块通知目标节点。
目标节点将其已获取的数据块与当前节点已获取的数据块进行比较,获知当前节点已获取、但目标节点未获取的数据块,从当前节点拉取这些数据块。
例如,若源文件划分为5个数据块,每个数据块具有顺序,当前节点已经获取了第2、4个数据块,目标节点已经获取了第1、2个数据块,则目标节点可以将第1个数据块发送至当前节点,当前节点将第4个数据块发送至目标节点。
子步骤S14,判断当前节点是否具有未获取的数据块;若是,则执行子步骤S11,若否,则执行子步骤S15。
子步骤S15,将已获取的数据块作为所述源文件进行存储。
在当前节点与目标节点之间完成数据块的交换之后,则可以检查是否完成源文件中数据块的获取。
如果已经获源文件取所有的数据块,则可以将其组合为源文件。
如果未获取源文件所有的数据块,则可以进行下一轮的数据块的交换,直至完成获取源文件所有的数据块。
需要说明的是,数据块可以作为一个独立的文件进行缓存,多个数据块即为源文件,客户端在请求该源文件时,内容分发网络CDN可以将各个数据块拼成一个完整的文件(即源文件)发送给该客户端,数据块也可以直接组成源文件,以一个完整的文件(即源文件)进行缓存,本发明实施例对此不加以限制。
在本发明实施例中,内容分发网络CDN具有多个节点,在当前的节点中获取存储在源网站的源文件的文件信息,根据文件信息将源文件划分为多个数据块,从多个节点中选择目标节点,从目标节点和/或源网站获取多个数据块,以组成源文件,对于当前节点而言,本身持有的数据块可以作为种子,目标节点所持有的数据块也可以作为种子,当前节点与目标节点之间可以进行数据块的交换,每个数据块至少可以从源网站获取一次即可,大大减少了从源网站获取数据块的频次,从而减少了源网站的访问压力。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了根据本发明一个实施例的基于内容分发网络CDN的文件分发装置实施例的结构示意框图,内容分发网络CDN具有多个节点,所述装置具体可以包括如下模块:
文件信息获取模块301,用于在当前的节点中获取存储在源网站的源文件的文件信息;
源文件划分模块302,用于根据所述文件信息将所述源文件划分为多个数据块;
目标节点选择模块303,用于从所述多个节点中选择目标节点;
数据块获取模块304,用于从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
在本发明的一个实施例中,所述文件信息包括文件大小;
所述源文件划分模块302包括:
数据范围划分子模块,用于将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
在本发明的一个实施例中,所述目标节点选择模块303包括:
链路状态测试子模块,用于测试当前节点与所述多个节点之间的链路状态;
链路状态选择子模块,用于按照所述链路状态从所述多个节点中选择目标节点。
在本发明的一个实施例中,所述数据块获取模块304包括:
目标数据块选择子模块,用于选择当前节点中未获取的数据块中选择目标数据块;
源网站获取子模块,用于从所述源网站中获取所述目标数据块;
数据块交换子模块,用于从所述目标节点已获取的数据块中获取当前节点未获取的数据块;
数据块判断子模块,用于判断当前节点是否具有未获取的数据块;若是,则返回调用所述目标数据块选择子模块;若否,则调用数据块组合子模块;
数据块组合子模块,用于将已获取的数据块作为所述源文件进行存储。
在本发明的一个实施例中,所述内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点;
所述中心节点与源网站进行通信;
所述父层节点之间相互通信,与所述中心节点或者源网站进行通信,以及,与所述边缘节点进行通信;
所述边缘节点用于与客户端进行通信。
在本发明的一个实施例中,所述源网站获取子模块包括:
归属确定单元,用于确定所述目标数据块归属的父层节点;
文件获取请求发送单元,用于向所述父层节点发送文件获取请求;
目标数据块接收单元,用于接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
在本发明的一个实施例中,所述归属确定单元包括:
数据块分配子单元,用于将所述多个数据块按照预设的分配规则对应至所述父层节点;
分配确定子单元,用于确定所述目标数据块分配到的父层节点。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于内容分发网络CDN的文件分发设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明实施例公开了A1、一种基于内容分发网络CDN的文件分发方法,内容分发网络CDN具有多个节点,所述方法包括:
在当前的节点中获取存储在源网站的源文件的文件信息;
根据所述文件信息将所述源文件划分为多个数据块;
从所述多个节点中选择目标节点;
从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
A2、如A1所述的方法,所述文件信息包括文件大小;
所述根据所述文件信息将所述源文件划分为多个数据块,包括:
将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
A3、如A1所述的方法,所述从所述多个节点中选择目标节点,包括:
测试当前节点与所述多个节点之间的链路状态;
按照所述链路状态从所述多个节点中选择目标节点。
A4、如A1所述的方法,所述从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件,包括:
选择当前节点中未获取的数据块中选择目标数据块;
从所述源网站中获取所述目标数据块;
从所述目标节点已获取的数据块中获取当前节点未获取的数据块;
判断当前节点是否具有未获取的数据块;
若是,则返回执行所述选择当前节点中未获取的数据块中选择目标数据块;
若否,则将已获取的数据块作为所述源文件进行存储。
A5、如A1-A4任一项所述的方法,所述内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点;
所述中心节点与源网站进行通信;
所述父层节点之间相互通信,与所述中心节点或者源网站进行通信,以及,与所述边缘节点进行通信;
所述边缘节点用于与客户端进行通信。
A6、如A5所述的方法,所述从所述源网站中获取所述目标数据块,包括:
确定所述目标数据块归属的父层节点;
向所述父层节点发送文件获取请求;
接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
A7、如A6所述的方法,所述确定所述目标数据块归属的父层节点,包括:
将所述多个数据块按照预设的分配规则对应至所述父层节点;
确定所述目标数据块分配到的父层节点。
本发明实施例还公开了B8、一种基于内容分发网络CDN的文件分发装置,内容分发网络CDN具有多个节点,所述装置包括:
文件信息获取模块,用于在当前的节点中获取存储在源网站的源文件的文件信息;
源文件划分模块,用于根据所述文件信息将所述源文件划分为多个数据块;
目标节点选择模块,用于从所述多个节点中选择目标节点;
数据块获取模块,用于从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
B9、如B8所述的装置,所述文件信息包括文件大小;
所述源文件划分模块包括:
数据范围划分子模块,用于将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
B10、如B8所述的装置,所述目标节点选择模块包括:
链路状态测试子模块,用于测试当前节点与所述多个节点之间的链路状态;
链路状态选择子模块,用于按照所述链路状态从所述多个节点中选择目标节点。
B11、如B8所述的装置,所述数据块获取模块包括:
目标数据块选择子模块,用于选择当前节点中未获取的数据块中选择目标数据块;
源网站获取子模块,用于从所述源网站中获取所述目标数据块;
数据块交换子模块,用于从所述目标节点已获取的数据块中获取当前节点未获取的数据块;
数据块判断子模块,用于判断当前节点是否具有未获取的数据块;若是,则返回调用所述目标数据块选择子模块;若否,则调用数据块组合子模块;
数据块组合子模块,用于将已获取的数据块作为所述源文件进行存储。
B12、如B8-B11任一项所述的装置,所述内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点;
所述中心节点与源网站进行通信;
所述父层节点之间相互通信,与所述中心节点或者源网站进行通信,以及,与所述边缘节点进行通信;
所述边缘节点用于与客户端进行通信。
B13、如B12所述的装置,所述源网站获取子模块包括:
归属确定单元,用于确定所述目标数据块归属的父层节点;
文件获取请求发送单元,用于向所述父层节点发送文件获取请求;
目标数据块接收单元,用于接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
B14、如B13所述的装置,所述归属确定单元包括:
数据块分配子单元,用于将所述多个数据块按照预设的分配规则对应至所述父层节点;
分配确定子单元,用于确定所述目标数据块分配到的父层节点。

Claims (10)

1.一种基于内容分发网络CDN的文件分发方法,内容分发网络CDN具有多个节点,所述方法包括:
在当前的节点中获取存储在源网站的源文件的文件信息;
根据所述文件信息将所述源文件划分为多个数据块;
从所述多个节点中选择目标节点;
从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
2.如权利要求1所述的方法,其特征在于,所述文件信息包括文件大小;
所述根据所述文件信息将所述源文件划分为多个数据块,包括:
将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
3.如权利要求1所述的方法,其特征在于,所述从所述多个节点中选择目标节点,包括:
测试当前节点与所述多个节点之间的链路状态;
按照所述链路状态从所述多个节点中选择目标节点。
4.如权利要求1所述的方法,其特征在于,所述从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件,包括:
选择当前节点中未获取的数据块中选择目标数据块;
从所述源网站中获取所述目标数据块;
从所述目标节点已获取的数据块中获取当前节点未获取的数据块;
判断当前节点是否具有未获取的数据块;
若是,则返回执行所述选择当前节点中未获取的数据块中选择目标数据块;
若否,则将已获取的数据块作为所述源文件进行存储。
5.如权利要求1-4任一项所述的方法,其特征在于,所述内容分发网络CDN的多个节点包括中心节点、父层节点、边缘节点;
所述中心节点与源网站进行通信;
所述父层节点之间相互通信,与所述中心节点或者源网站进行通信,以及,与所述边缘节点进行通信;
所述边缘节点用于与客户端进行通信。
6.如权利要求5所述的方法,其特征在于,所述从所述源网站中获取所述目标数据块,包括:
确定所述目标数据块归属的父层节点;
向所述父层节点发送文件获取请求;
接收所述父层节点针对所述文件获取请求发送的、从源网站获取的目标数据块。
7.如权利要求6所述的方法,其特征在于,所述确定所述目标数据块归属的父层节点,包括:
将所述多个数据块按照预设的分配规则对应至所述父层节点;
确定所述目标数据块分配到的父层节点。
8.一种基于内容分发网络CDN的文件分发装置,内容分发网络CDN具有多个节点,所述装置包括:
文件信息获取模块,用于在当前的节点中获取存储在源网站的源文件的文件信息;
源文件划分模块,用于根据所述文件信息将所述源文件划分为多个数据块;
目标节点选择模块,用于从所述多个节点中选择目标节点;
数据块获取模块,用于从所述目标节点和/或所述源网站获取所述多个数据块,以存储所述源文件。
9.如权利要求8所述的装置,其特征在于,所述文件信息包括文件大小;
所述源文件划分模块包括:
数据范围划分子模块,用于将所述文件大小按照预设的块大小划分出多个数据范围,作为所述源文件中的多个数据块。
10.如权利要求8所述的装置,其特征在于,所述目标节点选择模块包括:
链路状态测试子模块,用于测试当前节点与所述多个节点之间的链路状态;
链路状态选择子模块,用于按照所述链路状态从所述多个节点中选择目标节点。
CN201711485143.6A 2017-12-29 2017-12-29 一种基于内容分发网络cdn的文件分发方法和装置 Pending CN108173953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711485143.6A CN108173953A (zh) 2017-12-29 2017-12-29 一种基于内容分发网络cdn的文件分发方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711485143.6A CN108173953A (zh) 2017-12-29 2017-12-29 一种基于内容分发网络cdn的文件分发方法和装置

Publications (1)

Publication Number Publication Date
CN108173953A true CN108173953A (zh) 2018-06-15

Family

ID=62516229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711485143.6A Pending CN108173953A (zh) 2017-12-29 2017-12-29 一种基于内容分发网络cdn的文件分发方法和装置

Country Status (1)

Country Link
CN (1) CN108173953A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109347991A (zh) * 2018-12-24 2019-02-15 ***通信集团江苏有限公司 文件分发方法、装置、设备及介质
CN110633046A (zh) * 2018-06-22 2019-12-31 北京东土科技股份有限公司 一种分布式***的存储方法、装置、存储设备及存储介质
CN112565325A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 镜像文件管理方法、装置及***、计算机设备、存储介质
CN113032284A (zh) * 2021-05-21 2021-06-25 北京小米移动软件有限公司 ***集成测试方法、装置、电子设备及存储介质
CN115080073A (zh) * 2022-07-21 2022-09-20 中国长江三峡集团有限公司 一种智能电力巡检设备应用管理方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110197238A1 (en) * 2008-10-07 2011-08-11 Zte Plaza, Keji Road South System and method for implementing media interaction of the iptv
CN103188279A (zh) * 2011-12-27 2013-07-03 中国电信股份有限公司 通过对等网络从多个邻居节点下载文件的方法和装置
CN104184741A (zh) * 2014-09-05 2014-12-03 重庆市汇链信息科技有限公司 音频视频海量数据在分发服务器中的分发方法
CN104253838A (zh) * 2013-06-27 2014-12-31 北京世纪互联宽带数据中心有限公司 一种cdn节点与cdn服务***
CN106550023A (zh) * 2016-10-31 2017-03-29 北京百度网讯科技有限公司 一种用于为用户提供指定文件分块的方法与装置
CN106993054A (zh) * 2017-05-05 2017-07-28 腾讯科技(深圳)有限公司 文件分发方法、节点及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110197238A1 (en) * 2008-10-07 2011-08-11 Zte Plaza, Keji Road South System and method for implementing media interaction of the iptv
CN103188279A (zh) * 2011-12-27 2013-07-03 中国电信股份有限公司 通过对等网络从多个邻居节点下载文件的方法和装置
CN104253838A (zh) * 2013-06-27 2014-12-31 北京世纪互联宽带数据中心有限公司 一种cdn节点与cdn服务***
CN104184741A (zh) * 2014-09-05 2014-12-03 重庆市汇链信息科技有限公司 音频视频海量数据在分发服务器中的分发方法
CN106550023A (zh) * 2016-10-31 2017-03-29 北京百度网讯科技有限公司 一种用于为用户提供指定文件分块的方法与装置
CN106993054A (zh) * 2017-05-05 2017-07-28 腾讯科技(深圳)有限公司 文件分发方法、节点及***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633046A (zh) * 2018-06-22 2019-12-31 北京东土科技股份有限公司 一种分布式***的存储方法、装置、存储设备及存储介质
CN109347991A (zh) * 2018-12-24 2019-02-15 ***通信集团江苏有限公司 文件分发方法、装置、设备及介质
CN109347991B (zh) * 2018-12-24 2021-06-29 ***通信集团江苏有限公司 文件分发方法、装置、设备及介质
CN112565325A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 镜像文件管理方法、装置及***、计算机设备、存储介质
CN112565325B (zh) * 2019-09-26 2022-09-23 华为云计算技术有限公司 镜像文件管理方法、装置及***、计算机设备、存储介质
CN113032284A (zh) * 2021-05-21 2021-06-25 北京小米移动软件有限公司 ***集成测试方法、装置、电子设备及存储介质
CN115080073A (zh) * 2022-07-21 2022-09-20 中国长江三峡集团有限公司 一种智能电力巡检设备应用管理方法及***

Similar Documents

Publication Publication Date Title
CN108173953A (zh) 一种基于内容分发网络cdn的文件分发方法和装置
CN108234207A (zh) 一种基于内容分发网络cdn的故障定位方法和装置
CN108200443A (zh) 一种直播流的分发方法和装置
CN103327415B (zh) 一种加速网络视频下载的方法和装置
CN108234319A (zh) 一种数据的传输方法和装置
CN108234639A (zh) 一种基于内容分发网络cdn的数据访问方法和装置
CN106656800A (zh) 一种路径选取方法及***、网络加速节点及网络加速***
CN106034330A (zh) 基于内容分发网络的移动终端流量处理方法、装置及***
CN104883673B (zh) 移动终端间分享数据流量的方法、设备及***
CN106161664A (zh) 域名解析方法及装置、数据传输方法及装置
CN108234638A (zh) 一种基于内容分发网络cdn的数据处理方法和装置
CN105610993B (zh) 一种域名解析方法、装置及***
CN105897850A (zh) 用于cdn平台的响应处理方法、调度代理服务器及***
CN105933226A (zh) 内容分发方法及***
CN105978936A (zh) Cdn服务器及其缓存数据的方法
CN108234632A (zh) 一种内容分发网络cdn的数据分发方法和装置
CN110402567A (zh) 信息为中心的网络中基于中心性的缓存
CN108234210A (zh) 一种内容分发网络的日志处理方法和装置
CN109982152A (zh) P2p cdn业务处理方法、智能网关以及cdn平台
CN105847380A (zh) 内容分发网络中的udp加速方法和***
CN110312140A (zh) 直播数据处理方法、装置、***及计算机可读存储介质
CN106713138A (zh) 一种流数据的跨域传输方法和装置
CN104883298A (zh) 一种业务质量探测方法及路由器
CN108737204A (zh) 一种网络性能信息的采集方法及通信终端
US12015546B2 (en) Routing destination evaluation apparatus, routing destination evaluating method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615