CN105634992A - Cdn平台自适应带宽控制方法和*** - Google Patents

Cdn平台自适应带宽控制方法和*** Download PDF

Info

Publication number
CN105634992A
CN105634992A CN201511009412.2A CN201511009412A CN105634992A CN 105634992 A CN105634992 A CN 105634992A CN 201511009412 A CN201511009412 A CN 201511009412A CN 105634992 A CN105634992 A CN 105634992A
Authority
CN
China
Prior art keywords
agency
control
cdn
control center
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511009412.2A
Other languages
English (en)
Other versions
CN105634992B (zh
Inventor
洪珂
陈伟财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201511009412.2A priority Critical patent/CN105634992B/zh
Publication of CN105634992A publication Critical patent/CN105634992A/zh
Priority to EP16880661.0A priority patent/EP3382963B1/en
Priority to PCT/CN2016/097987 priority patent/WO2017113868A1/zh
Priority to US15/769,610 priority patent/US10574586B2/en
Application granted granted Critical
Publication of CN105634992B publication Critical patent/CN105634992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/76Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/289Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种用于CDN平台的自适应带宽控制方法和***。在所述方案中,UI平台为自适应带宽控制***提供统一的配置入口和功能操作界面。代理向控制中心注册任务以获得由控制中心所分配的可控制的CDN服务器资源,随后,对这些CDN服务器资源进行数据采集并将所采集的数据发送给控制中心。控制中心对采集的数据进行汇总和分析以生成自适应控制线并据此对代理下达控制指令。代理在接收到控制指令之后,通过对其进行自我学***台的自适应带宽控制。

Description

CDN平台自适应带宽控制方法和***
技术领域
本发明涉及内容分发网络(CDN)平台的自我保护,尤其是在自适应的带宽流量控制层面的自我保护的方法和***
背景技术
许多基于因特网的服务提供者向全世界的客户机递送数字内容。数字内容可以包括web对象(例如,文本、图形、URL、脚本)、可下载对象(例如,媒体文件、软件、文档等)、web应用、流媒体(例如,音频和视频内容)等。给位于各种各样地理位置的大量客户机提供数字内容向服务提供者提出了挑战。例如,服务提供者可能不能够提供足够的服务器资源和/或网络带宽以在给定时间服务于请求数字内容的全部客户机。此外,因为服务提供者和地理上远离服务提供者的服务器的客户机之间的流量通过大量因特网服务器经极大的地理距离来路由,所以客户机可能经历高级别的等待时间和/或低传送率。
为了解决上述问题,已经提供了一种CDN技术,其全称是ContentDeliveryNetwork,即内容分发网络。所述技术的目的是通过在现有的Internet中增加一层新的网络架构,将网站的内容发布到最接近用户的网络"边缘",使用户可以就近取得所需的内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因所造成的用户访问网站响应速度慢的问题。CDN是建立并覆盖在承载网之上、由分布在不同区域的服务节点组成的分布式网络。它通过一定规则将源内容传输到最接近用户的边缘,使用户可以就近取得所需的内容,减少对骨干网的带宽要求,提高用户访问的响应速度。从CDN技术的描述不难看出,通过CDN技术可以将远端数据中心的信息传输到本地服务器上,本地用户访问本地服务器即可完成业务。简单地说,内容发布网(CDN)是一个经策略性部署的整体***,包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件,而内容管理和全局的网络流量管理(TrafficManagement)是CDN的核心所在。通过用户就近性和服务器负载的判断,CDN确保内容以一种极为高效的方式为用户的请求提供服务。总的来说,内容服务基于缓存服务器,也称作代理缓存,它位于网络的边缘,距用户仅有"一跳"(SingleHop)之遥。同时,代理缓存是内容提供商源服务器(通常位于CDN服务提供商的数据中心)的一个透明镜像。这样的架构使得CDN服务提供商能够代表他们客户,即内容供应商,向最终用户提供尽可能好的体验,而这些用户是不能容忍请求响应时间有任何延迟的。据统计,采用CDN技术,能处理整个网站页面的70%~95%的内容访问量,减轻服务器的压力,提升了网站的性能和可扩展性。
但是,随着CDN技术的越来越普及,CDN的业务变得越来越复杂,因此服务的带宽资源以及机器资源混用的情况非常普遍。现有的CDN技术已经不能很好地适应当前的网络使用环境。例如在现有的CDN技术中,为了确保CDN平台的使用安全,防止客户大量占据带宽导致CDN资源枯竭而影响到平台上的所有客户,需要提前在平台上配置好加速客户的CDN带宽控制线,该控制线的阀值通常会和客户进行沟通确认然后再进行静态规划配置。在设定好控制线之后,当CDN平台中的带宽使用率超过该带宽控制线的时候,CDN技术就根据所述静态规划配置提供各种控制方式,例如直接断开、回客户源站、慢速连接等多种方式中的一种进行带宽的控制,从而达到降低带宽使用率以保证平台的正常服务的目的。可是,上述传统的控制线机制有可能导致在CDN平台可能本身能力还可以服务的时候,却由于提前规划的控制线的局限性而必须停止部分服务来解决带宽问题,从而无法最大化地使用CDN的资源。特别是,当某个客户的业务量突发或者业务量短暂上涨可能会导致整个CDN平台服务资源服务能力的下降,从而影响到平台中的很多其他客户。
另一方面,在业界传统CDN控制方式中,在命令下达分配值的时候考虑的影响带宽的因素比较单一,通常都是只考虑了诸如带宽或者流量的因素。因此在分配上可能会与实际使用情况产生较大的误差,造成部分资源不堪重负而另一部分资源却过于空闲。这种资源分配的不合理性严重影响了CDN平台的安全性和稳定性。
最后,随着网络技术的发展,CDN资源的分布越来越广,所包含的机器数量日渐庞大。因此,在数据采集、策略生成和控制下达的时效性等很多方面都没办法满足CDN平台的需求,从而导致对网络带宽控制不够实时或者不够精准。
所以,CDN平台需要具备一定的自我保护的能力,存在一种对能在上述情况下对CDN平台进行自适应控制从而防止影响到其他客户或最大限度的降低受影响的客户数的方案的需求,所述方案必须能够考虑到更多的影响带宽因素且具有良好的时效性。
发明内容
本发明所要解决的技术问题是提供一种用于CDN平台的自适应带宽控制方法和***,从而为所述CDN平台提供良好的自我保护的能力。
根据本发明的一个方面,提供了一种用于CDN平台的自适应带宽控制的方法,包括:
通过UI平台配置自适应任务的相关参数并将其发送给控制中心;
由多个代理中的一个代理向所述控制中心注册任务;
接收到来自所述代理的任务注册之后,所述控制中心为所述代理分配其可控制的CDN服务资源的范围;
所述代理根据所述控制中心所分配的可控制的CDN服务资源的范围向所述范围中的CDN服务资源发送数据采集命令;
CDN服务资源接收到所述数据采集命令之后,将实时数据返回给发送所述数据采集命令的代理;
所述代理将采集到的数据传送给所述控制中心;
所述控制中心对采集的数据进行汇总,并通过数据分析生成自适应的控制线;
所述控制中心根据每个CDN服务资源的所采集的数据并结合所述控制线,为所述代理生成并下达控制指令;
在接收到所述控制指令之后,所述代理通过自我学习调整生成针对其所控制的每个CDN服务资源的控制策略,并将所述控制策略下达给相应的CDN服务资源。
根据本发明的另一方面,提供了一种用于CDN平台的自适应带宽控制的***,包括:
UI平台,通过所述UI平台配置自适应任务的相关参数并将其发送给控制中心;
多个CDN服务资源,用于提供CDN服务;
一个或多个用于控制所述多个CDN服务资源中的一个或多个的代理;
控制中心,所述控制中心被配置为:
在接收来自所述代理的任务注册之后,为所述代理分配其可控制的CDN服务资源的范围;
对所述代理采集的数据进行汇总,并通过数据分析生成自适应的控制线;
根据每个CDN服务资源的所采集的数据并结合所述控制线,为所述代理生成并下达控制指令;
所述代理被配置为:
向所述控制中心注册任务;
根据所述控制中心所分配的可控制的CDN服务资源的范围向所述范围中的CDN服务资源发送数据采集命令;
将采集到的数据传送给所述控制中心;以及
在从所述控制中心接收到所述控制指令之后,通过自我学习调整生成针对其所控制的每个CDN服务资源的控制策略,并将所述控制策略下达给相应的CDN服务资源CDN服务资源;
所述CDN服务资源被配置为:
接收到所述数据采集命令之后,将实时数据返回给发送所述数据采集命令的代理。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
为了描述可获得本发明的上述和其它优点和特征的方式,将通过参考附图中示出的本发明的具体实施例来呈现以上简要描述的本发明的更具体描述。可以理解,这些附图只描绘了本发明的各典型实施例,并且因此不被认为是对其范围的限制,将通过使用附图并利用附加特征和细节来描述和解释本发明,在附图中:
图1示出实现根据本发明的实施例的***结构的示意图。
图2示出根据本发明的实施例的代理注册流程图。
图3示出根据本发明的实施例的数据汇总分析流程图。
图4示出根据本发明的实施例的控制策略生成流程图。
图5示出根据本发明的实施例的总体运行实例图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
首先,描述下实现本发明的实施例的***环境。在图1中示出了实现根据本发明的实施例的***结构的示意图。
如在图1中所示,本发明的***平台主要由CDN服务资源池102、采集控制分布式代理群集104、UI平台106以及控制中心108组成。其中,所述CDN服务资源池102包括多个CDN服务资源102-1,……,102-n,而所述代理群集104则包括多个代理104-1,……,104-n。需要说明的是所述CDN服务资源102-1,……,102-n以及代理104-1,……,104-n可以包括任何数量的CDN服务资源和代理,而不限于图中所示的数量。而所述数据中心108包括数据汇总分析模块108a和控制线模块108b。
在所述***平台中,CDN服务资源是指能够提供CDN服务的各种资源,例如服务器、网站等等。本发明所述的对CDN的资源的自适应控制就是旨在合理分配这些CDN服务资源以便为CDN平台提供一种自我保护能力。
UI平台106提供统一的配置入口和功能操作界面,并且通过该UI平台可以将整个***的多个模块自动连接起来,从而控制整个自适应带宽控制***。用户可以通过所述UI平台来管理整个***的配置、运行以及维护。
而代理一般位于网络边缘处,因此,也被称为边缘代理。代理可以向控制中心108进行任务注册,通过注册从控制中心获取所需要控制的CDN服务资源,并且当某台代理发生机器故障的情况下,可以自动进行任务调度,以保证所有的服务资源都分配有对其进行控制的代理。所述代理的注册过程将在图2中进一步详细说明。随后,代理对于所控制的CDN服务资源进行相关数据的采集和合并,然后将处理后的数据通过优化的UDP协议传输到控制中心108。
控制中心108实时地收集代理所采集的汇总成机器数据集合的数据,由数据汇总分析模块108a对于所述数据中包含的各种因素进行实时汇总和分析,从中计算出诸如资源的冗余比例数据以及客户频道的带宽增长比例等数据,将该数据和UI上配置的相对应比例进行比较,如果满足设定的比对结果则由控制线模块108b生成自适应控制线。所述的数据的汇总分析将在图3中进一步详细描述。随后,控制中心108根据生成的自适应控制线来最终生成每个CDN服务资源池102所需要的控制指令,并且根据代理控制的CDN服务资源范围最终将该任务和控制指令下达到边缘处的所有代理的服务器。在边缘处的代理接收到控制中心108下达的任务后,可以通过处理进一步生成相应的控制策略,进而将该任务和控制策略下达到对应的CDN服务资源上以实现CDN平台的自我保护。
在简略地结合图1描述了本发明的***结构和基本原理之后,下面将就各关键要点进行进一步的详细说明。
代理注册
在图2中,描述了根据本发明的实施例的代理注册流程图。
首先,在边缘处的所有代理通过节点(104-1,……,104-n)的配置实行节点自治,各台自治机(代理)会主动上传包含机器的软件运行状态、负载状态等数据的心跳包,参见步骤202到控制中心108。在步骤204,控制中心108随后会对心跳包进行收集,并且在步骤206,通过判断最后一次心跳包上传的时间和当前的时间的差值是否超过了配置的心跳包过期时间来确定发送该心跳包的所述自治机(代理)是否存活。例如如果差值超过心跳包过期时间,则认为该自治机(代理)已经发生故障因而没有办法上传最新的心跳包,所以,该自治机(代理)并不存活;或者通过心跳包的数据内容(例如软件运行是否OK)来判断发送该心跳包的代理是否还存活。
如果该代理为存活状态,则行进到步骤208,在该处,所述代理注册成功,并且控制中心108根据该代理在CDN平台上规划的配置信息为其分配所控制的CDN服务资源的范围。
如果该代理不是存活状态(即为故障状态),则行进至步骤210,在此处,控制中心108将该代理在CDN平台上规划的CDN服务资源任务进行剔除,并且通过区域就近原则进行扩散搜索,获取其它存活的代理来接手故障的代理原本控制的CDN服务资源,从而实现代理的自动调度。
至此,所述代理注册过程结束。
数据汇总分析
如上所述,当代理在控制中心108注册成功之后,它可以从控制中心108获取所需要的由其控制的CDN服务资源的范围。随后,可以执行在图3中描述的根据本发明的实施例的数据汇总分析流程。
首先,在步骤302处,代理对于CDN服务资源的节点进行交换机上数据的采集,从而获取该节点的实时带宽数据(例如实时带宽值)。
在步骤304处,代理对于CDN服务资源的服务器上的数据进行采集,以获取该服务器的诸如实时带宽、软件健康情况以及各种物理属性(诸如CPU、内存、负载等信息)之类的机器数据。
在步骤306处,对于每个节点来说,在CDN平台上存储有规划的其预期可用的带宽值,通过将所存储的预期可用的带宽值和经平滑处理过的所采集的节点的实时带宽值进行分析比对,以计算各个节点的服务能力。
在步骤308处,根据服务器的诸如实时带宽,健康值以及各种物理属性之类的机器数据,对于机器影响的占比等数据进行综合分析,以计算出各个服务器的机器服务能力。
在步骤310,在采集到CDN资源的节点和机器的服务能力等数据之后,通过客户频道和其资源使用的关联关系进行大数据的分析,分析后如果服务客户频道资源的冗余比例值、客户频道的带宽增长比例值等已经满足了在UI上配置的冗余比例值或者带宽增长比例值,则根据当前频道的带宽能力实时生成该频道的一个控制线(也叫自适应控制线)。
基于所生成的控制线,控制中心106可以结合从每个CDN服务资源采集的数据,产生针对每个代理的控制指令并将其下达到每台代理机器。
控制策略的生成
当为频道生成自适应控制线之后,则可以根据图4所示的根据本发明的实施例的控制策略生成流程,来为CDN服务器分配控制策略。
首先,在步骤402,代理根据控制中心106分配给其的可控制的CDN服务资源的范围收集各台CDN服务器的请求数、拒绝数以及当前带宽等网络数据。
在步骤404,通过历史请求的情况预测每个请求会带来的带宽量,从而推测出如果在没有发生拒绝的情况下根据所述请求数、拒绝数以及当前带宽等网络数据计算出真实实际的带宽,并且通过历史带宽的模型匹配以及采用SVR支持向量回归算法预测出带宽的增长趋势。
在步骤406,根据计算的频道在CDN服务器上的实际带宽,以及该服务器集合所属的节点的服务能力和服务器集合本身的机器服务能力(参见图3所述的流程中的步骤306和308),为该服务器集合本分配一个控制策略。所述策略包括一个带宽控制值,该策略值下达到自治机后,该自治机又会根据实时采集上来的该服务器集合下各台机器的实时带宽和负载能力将该带宽控制策略值在这些机器中进行适当的分配,最终给每台服务器分配一个最终要下达的控制值。
在生成所述控制策略之后,将该控制策略下达给对应的CDN服务资源以实现CDN平台的自我保护。
除了上述步骤之外,在其他实施例中,为了提高本发明的带宽控制的平稳性和精准度,还可以对于控制中的任务进行如下处理:通过考虑一段时间内的设置分配控制的最大值以及分配控制最小值进行策略分配;通过设定一定的变化幅度来避免控制前后两次分配到的值浮动过大;以及利用负反馈学习,即在下达控制值后如果先前估计的值和实际控制后采集到的值误差比较大则对于实际下达的控制值再进行针对性的调整,以保证控制的精准度。
在根据上述流程生成CDN服务器的策略之后,可以通过所述代理将所述策略送达相应的CDN服务器以进行带宽管理。
总体运行实例
在根据附图2-4对CDN平台的自适应带宽控制方案的各个重要方面进行了具体描述之后,下面基于图5对根据本发明的实施例的CDN平台的自适应带宽控制方案的总体运行方案进行示例说明。
首先,在步骤502处,UI平台106配置自适应任务的相关参数并在配置完成之后将经配置的包含相关参数的数据推送到控制中心108。
在网络边缘的各个节点传统采用节点自治技术,每个边缘都会部署有代理(即代理服务器),例如通常可采用每个机房配置一台代理机器原则的部署方式,所述多台代理机器可以组成一个采集控制分布式代理集群104。在步骤504处,在所述代理群集中的每台代理会到控制中心108进行任务注册。所述代理的任务注册的具体过程可以参见先前关于图2的详细描述。在此不再重复。
在接收到来自代理的任务注册请求之后,在步骤506,控制中心106会根据该代理的物理区域属性(例如机器所属的机房的省份)以及网络状态(例如节点之间的访问效果,通常采用ping的延时和丢包率来衡量)、机器状态(例如cpu使用率、负载等机器数据)以及UI登记的可使用状态(例如平台人为登记标识)的一种是否可用的状态,来分配给该代理相应的控制服务资源的范围,并将其作为注册状态数据返回给该代理。
边缘的代理在接收到控制中心106所返回的注册状态数据之后,可以从中获取分配给其的可控制的CDN服务资源的信息。并且,在步骤508,代理对于其所控制的CDN服务资源通过定义好的数据接口向其发送数据采集命令。
在步骤510,CDN服务资源102根据代理发送的数据采集命令中包含的采集数据类型,将实时的数据返回给发送所述数据采集命令的代理。
在步骤512,代理将采集到的数据根据一定的规则进行汇总后发送到控制中心106。
在步骤514,控制中心106进行全网数据的汇总累加,并通过数据分析从汇总后的数据中根据客户的资源使用、机器以及节点的使用情况自动生成相应的控制线。所述数据的汇总分析的具体过程可以参见先前关于图3的详细描述。在此不再重复。由于所述控制线是根据从CDN服务资源实时采集到的数据动态生成的,因此,相比于现有技术中采用的预设的固定控制线,本发明可以更好地使得带宽分配与网络运行实际情况相匹配,提高网络资源的利用率。
随后,前进到步骤516,控制中心106根据从每个CDN服务资源采集的数据并结合所生成的控制线,产生针对每个代理的控制指令并将其下达到每台代理机器。
在步骤518,当代理收到对应的控制指令之后,只要该指令在有效期内,代理就会根据实时采集的数据,以及根据历史上的下达的控制指令数据和最终控制的情况来自我学习调整,从而生成最终的针对其所控制的每个CDN服务资源的控制策略(例如控制指令)。所述控制策略的生成在先前关于图4的详细描述中已经提及,在此不再重复。但如果所述控制指令已经超出了有效期,则忽略该控制指令,也即不执行任何控制策略。
最后,在步骤520,代理会将该控制策略以例如控制指令形式最终下达到实际服务的对应的CDN服务资源,实现最终的自适应带宽控制效果。
在上述实施例中,相比现有业界采用的集中的控制方式,本发明的方案采用了在控制中心生成策略而在边缘采用分布式控制的方式。并且数据传输采用例如经改进的稳定传输协议之类的协议,所述协议是UDP也支持的自主研发的传输协议,该协议通过充分利用CDN节点的资源优势进行路由探测,从而在传输时可以根据各个路由的情况智能地选择最佳传输路径以提高控制的时效性以及可靠性。
通过参考图5并结合图2-4中的所述方法步骤流程,可以充分理解本发明的CDN平台自适应带宽控制方案的原理和具体实现。与现有技术相比,本发明的上述自适应带宽控制方案具有如下显著优点:
(1)不需要提前做好规划线的设置,摒弃了现有通用技术要事先规划好控制线的导致资源浪费的弊端。在本发明中可以实时地统计服务的CDN服务资源的一个能力,当该能力达到配置的报警标准时,根据服务资源自适应的生成好控制线,因而,减少了因为人为设置的规划线不合理可能导致的平台被压垮或者资源浪费的情况,大大提高了资源的使用率,更大化地为CDN创造利润。
(2)除了传统控制方式单一考虑带宽或者流量以外,本发明的方案还会考虑请求数、拒绝数进行实际流量的预估,并且会考虑CDN服务器的服务能力,通过多种因素相结合使得分配更加合理,并且会进行前后控制值的差距浮动控制;对于下达的控制值和实际带宽值计算相互之间的实际差距通过负反馈方式进行实时的自我学习,计算出一个相对稳定的比例系数。通过该数据实时调整控制值,且通过对于带宽、请求数和拒绝数的关系建立实际带宽的预测模型之后,根据该带宽分配控制值从而提高控制的精准度并减少波动,特别是小带宽或者小流量的良好控制效果。
(3)在本发明的方案中,所有的采集和策略下达全部自动化,通过采用基于代理的分布式的采集和控制策略下达,控制中心再进行整体的控制,并且数据的传输采用改进的稳定UDP协议,所有的数据都存在内存中没有落地到文件,从而将从采集到策略下达的整个过程控制在30秒之内,大大提高了控制的时效性以及可靠性。
本发明可具体化为其它具体形式而不背离其精神或本质特征。所描述的实施例在所有方面都应被认为仅是说明性而非限制性的。因此,本发明的范围由所附权利要求书而非前述描述指示。落入权利要求书的等效方案的含义和范围内的所有改变都被权利要求书的范围所涵盖。

Claims (8)

1.一种用于CDN平台的自适应带宽控制的方法,其特征在于,包括:
通过UI平台配置自适应任务的相关参数并将其发送给控制中心;
由多个代理中的一个代理向所述控制中心注册任务;
接收到来自所述代理的任务注册之后,所述控制中心为所述代理分配其可控制的CDN服务资源的范围;
所述代理根据所述控制中心所分配的可控制的CDN服务资源的范围向所述范围中的CDN服务资源发送数据采集命令;
CDN服务资源接收到所述数据采集命令之后,将实时数据返回给发送所述数据采集命令的代理;
所述代理将采集到的数据传送给所述控制中心;
所述控制中心对采集的数据进行汇总,并通过数据分析生成自适应的控制线;
所述控制中心根据每个CDN服务资源的所采集的数据并结合所述控制线,为所述代理生成并下达控制指令;
在接收到所述控制指令之后,所述代理通过自我学习调整生成针对其所控制的每个CDN服务资源的控制策略,并将所述控制策略下达给相应的CDN服务资源。
2.如权利要求1所述的方法,其特征在于,所述由多个代理中的一个代理向所述控制中心注册任务的步骤包括:
所述代理向所述控制中心主动上传其心跳包;
所述控制中心收集所述心跳包,并基于所述心跳包内存在的过期状态以及所述心跳包的数据内容来判断发送该心跳包的代理是否还存活;
如果确定所述代理是存活的,则所述代理注册成功,并且所述控制中心根据所述代理在CDN平台上规划的配置信息为其分配所控制的CDN服务器资源的范围;
如果确定所述代理不是存活的,则控制中心剔除所述代理在CDN平台上规划的CDN服务资源的任务,并使用其它存活的代理接手发生故障的所述代理原本控制的CDN服务资源。
3.如权利要求2所述的方法,其特征在于,所述控制中心对采集的数据进行汇总,并通过数据分析生成自适应的控制线的步骤包括:
所述代理对于CDN服务资源的节点进行数据采集并传送给所述控制中心,并由所述控制中心通过将所存储的预期可用的带宽值和经平滑处理过的所采集的数据中的节点的实时带宽值进行分析比对来计算各个节点的服务能力;
所述代理对于CDN服务资源的服务器上的数据进行采集并传送给所述控制中心,并由所述控制中心根据与所述服务器相关联的机器数据进行综合分析以计算各个服务器的服务能力;
由所述控制中心基于所述节点的服务能力和服务器的服务能力与设定的标准的比较来实时生成一个控制线。
4.如权利要求3所述的方法,其特征在于,所述代理通过自我学习调整生成针对其所控制的每个CDN服务资源的控制策略的步骤包括:
所述代理根据控制中心分配给其的可控制的CDN服务资源的范围收集该范围内的各台CDN服务器的请求数、拒绝数以及当前带宽等网络数据;
基于所述请求数、拒绝数以及当前带宽等网络数据采用预测算法分析计算出该台CDN服务器的真实的实际带宽;
所述代理根据计算出的真实的实际带宽、历史上的下达的控制指令数据和最终控制的情况来进行自我学习调整,从而生成最终的针对其所控制的每个CDN服务资源的控制策略;
其中,所述自我学***稳性,并且通过负反馈学习以保证更好的控制的精准度。
5.如权利要求1所述的方法,其特征在于,在所述方法中的数据传输采用经改进的稳定UDP协议,所述经改进的稳定UDP协议通过充分利用CDN节点的资源优势进行路由探测,从而在数据传输时可以根据各个路由的情况智能地选择最佳传输路径以提高控制的时效性以及可靠性。
6.如权利要求1所述的方法,其特征在于,还包括:在所述代理接收到所述控制指令之后,判断所述控制指令是否在有效期内,如果所述控制指令是在有效期内,则执行所述代理生成控制策略的步骤,如果所述控制指令不在有效期内则忽略所述控制指令。
7.如权利要求1所述的方法,其特征在于,在所述方法中,所有的数据都存在内存中而没有落地到文件,从而提高了控制的时效性。
8.一种用于CDN平台的自适应带宽控制的***,其特征在于,包括:
UI平台,通过所述UI平台配置自适应任务的相关参数并将其发送给控制中心;
多个CDN服务资源,用于提供CDN服务;
一个或多个用于控制所述多个CDN服务资源中的一个或多个的代理;
控制中心,所述控制中心被配置为:
在接收来自所述代理的任务注册之后,为所述代理分配其可控制的CDN服务资源的范围;
对所述代理采集的数据进行汇总,并通过数据分析生成自适应的控制线;
根据每个CDN服务资源的所采集的数据并结合所述控制线,为所述代理生成并下达控制指令;
所述代理被配置为:
向所述控制中心注册任务;
根据所述控制中心所分配的可控制的CDN服务资源的范围向所述范围中的CDN服务资源发送数据采集命令;
将采集到的数据传送给所述控制中心;以及
在从所述控制中心接收到所述控制指令之后,通过自我学习调整生成针对其所控制的每个CDN服务资源的控制策略,并将所述控制策略下达给相应的CDN服务资源CDN服务资源;
所述CDN服务资源被配置为:
接收到所述数据采集命令之后,将实时数据返回给发送所述数据采集命令的代理。
CN201511009412.2A 2015-12-29 2015-12-29 Cdn平台自适应带宽控制方法和*** Active CN105634992B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201511009412.2A CN105634992B (zh) 2015-12-29 2015-12-29 Cdn平台自适应带宽控制方法和***
EP16880661.0A EP3382963B1 (en) 2015-12-29 2016-09-04 Method and system for self-adaptive bandwidth control for cdn platform
PCT/CN2016/097987 WO2017113868A1 (zh) 2015-12-29 2016-09-04 Cdn平台自适应带宽控制方法和***
US15/769,610 US10574586B2 (en) 2015-12-29 2016-09-04 Method and system for self-adaptive bandwidth control of CDN platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511009412.2A CN105634992B (zh) 2015-12-29 2015-12-29 Cdn平台自适应带宽控制方法和***

Publications (2)

Publication Number Publication Date
CN105634992A true CN105634992A (zh) 2016-06-01
CN105634992B CN105634992B (zh) 2019-01-11

Family

ID=56049503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511009412.2A Active CN105634992B (zh) 2015-12-29 2015-12-29 Cdn平台自适应带宽控制方法和***

Country Status (4)

Country Link
US (1) US10574586B2 (zh)
EP (1) EP3382963B1 (zh)
CN (1) CN105634992B (zh)
WO (1) WO2017113868A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385455A (zh) * 2016-09-23 2017-02-08 成都知道创宇信息技术有限公司 一种基于cdn镜像的整站锁设置方法
CN106850859A (zh) * 2017-03-28 2017-06-13 浙江大学 一种基于sdn的cdn网络的用户请求分配方法
WO2017113868A1 (zh) * 2015-12-29 2017-07-06 网宿科技股份有限公司 Cdn平台自适应带宽控制方法和***
CN107124375A (zh) * 2017-03-27 2017-09-01 网宿科技股份有限公司 Cdn网络带宽资源的错峰调度方法、***以及服务器
CN107623580A (zh) * 2016-07-15 2018-01-23 阿里巴巴集团控股有限公司 内容分发网络中的任务处理方法、装置和***
CN107733681A (zh) * 2017-07-28 2018-02-23 贵州白山云科技有限公司 一种调度方案配置方法和装置
CN108241528A (zh) * 2017-01-19 2018-07-03 上海直真君智科技有限公司 一种用户自定义海量网络安全数据动态采集方法
CN111464323A (zh) * 2019-01-18 2020-07-28 北京沃东天骏信息技术有限公司 节点带宽的调度方法和调度装置
CN111756646A (zh) * 2020-07-08 2020-10-09 腾讯科技(深圳)有限公司 网络传输控制方法、装置、计算机设备及存储介质
CN112260962A (zh) * 2020-10-16 2021-01-22 网宿科技股份有限公司 一种带宽控制方法及装置
CN112911007A (zh) * 2021-02-04 2021-06-04 上海七牛信息技术有限公司 一种pcdn资源管理***及pcdn资源管理方法
CN114629737A (zh) * 2020-12-14 2022-06-14 深圳Tcl新技术有限公司 一种带宽调整方法、装置、网关设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107634868B (zh) * 2017-10-29 2020-06-23 网宿科技股份有限公司 一种管理网络服务的方法和***
US11284294B2 (en) * 2018-01-18 2022-03-22 Nec Corporation Communication apparatus, traffic control method, non-transitory computer readable medium storing control program, and control apparatus
CN109361622B (zh) * 2018-11-30 2022-04-05 网宿科技股份有限公司 对cdn***的业务连接进行带宽控制的方法及cdn***
JP7109391B2 (ja) * 2019-02-26 2022-07-29 株式会社日立製作所 不正通信検知装置および不正通信検知プログラム
CN110221917B (zh) * 2019-05-23 2023-02-28 创新先进技术有限公司 用于分配流式数据的方法及装置
CN110191007B (zh) * 2019-06-27 2022-05-03 广州虎牙科技有限公司 节点管理方法、***及计算机可读存储介质
CN111225279B (zh) * 2020-01-06 2022-03-22 浙江云诺通信科技有限公司 一种基于宽带电视cdn智能调度算法
CN111585824B (zh) * 2020-05-21 2022-10-25 北京奇艺世纪科技有限公司 资源分发方法、装置、***及电子设备
US11606265B2 (en) 2021-01-29 2023-03-14 World Wide Technology Holding Co., LLC Network control in artificial intelligence-defined networking
CN113672486A (zh) * 2021-08-18 2021-11-19 上海哔哩哔哩科技有限公司 卡顿分析方法及cdn服务器
CN113950056A (zh) * 2021-10-20 2022-01-18 中国联合网络通信集团有限公司 带宽分配方法、装置及存储介质
CN114071569B (zh) * 2021-11-04 2023-06-16 中国联合网络通信集团有限公司 一种数据传输方法、装置和电子设备
CN114448809A (zh) * 2021-12-22 2022-05-06 网宿科技股份有限公司 Cdn加速资源的规划方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242432A (zh) * 2008-02-28 2008-08-13 蓝汛网络科技(北京)有限公司 一种互联网内容分发方法、***及装置
EP2581831A1 (en) * 2011-10-14 2013-04-17 Alcatel Lucent Method and apparatus for dynamically assigning resources of a distributed server infrastructure
WO2015013550A1 (en) * 2013-07-24 2015-01-29 Futurewei Technologies Inc. System and method for network-assisted adaptive streaming
CN104660700A (zh) * 2015-03-03 2015-05-27 网宿科技股份有限公司 一种内容分发网络的方法和***
CN104994123A (zh) * 2015-05-12 2015-10-21 段利平 一种cdn云平台及cdn云平台的流量调度方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1368948A2 (en) 2000-10-26 2003-12-10 Prismedia Networks, Inc. Method and apparatus for large payload distribution in a network
US20040117427A1 (en) 2001-03-16 2004-06-17 Anystream, Inc. System and method for distributing streaming media
CN101150421B (zh) 2006-09-22 2011-05-04 华为技术有限公司 一种分布式内容分发方法、边缘服务器和内容分发网
US20090163183A1 (en) * 2007-10-04 2009-06-25 O'donoghue Hugh Recommendation generation systems, apparatus and methods
US8069236B2 (en) * 2008-12-12 2011-11-29 At&T Intellectual Property I, L.P. Flow control of events based on threshold, grace period, and event signature
GB2496720A (en) * 2010-09-14 2013-05-22 Mocana Corp Agent-based bandwidth monitoring for predictive network selection
US10652087B2 (en) * 2012-12-13 2020-05-12 Level 3 Communications, Llc Content delivery framework having fill services
US20140226711A1 (en) * 2013-02-13 2014-08-14 Hcl Technologies Limited System and method for self-adaptive streaming of multimedia content
US9516084B2 (en) * 2013-11-01 2016-12-06 Ericsson Ab System and method for pre-provisioning adaptive bitrate (ABR) assets in a content delivery network
US10841353B2 (en) * 2013-11-01 2020-11-17 Ericsson Ab System and method for optimizing defragmentation of content in a content delivery network
US9712408B2 (en) * 2014-03-17 2017-07-18 Telefonaktiebolaget L M Ericsson (Publ) Bandwidth management in a content distribution network
US20150304187A1 (en) * 2014-04-17 2015-10-22 Invent.ly LLC Bandwidth Management in Local Premise Networks
US20160188821A1 (en) * 2014-12-24 2016-06-30 Larry Ozeran System and method for aggregation and intelligent analysis of individual health data with multimodal communication
US9774889B2 (en) * 2015-09-10 2017-09-26 Verizon Patent And Licensing Inc. Content delivery network integration for home media client content
CN105634992B (zh) 2015-12-29 2019-01-11 网宿科技股份有限公司 Cdn平台自适应带宽控制方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242432A (zh) * 2008-02-28 2008-08-13 蓝汛网络科技(北京)有限公司 一种互联网内容分发方法、***及装置
EP2581831A1 (en) * 2011-10-14 2013-04-17 Alcatel Lucent Method and apparatus for dynamically assigning resources of a distributed server infrastructure
WO2015013550A1 (en) * 2013-07-24 2015-01-29 Futurewei Technologies Inc. System and method for network-assisted adaptive streaming
CN104660700A (zh) * 2015-03-03 2015-05-27 网宿科技股份有限公司 一种内容分发网络的方法和***
CN104994123A (zh) * 2015-05-12 2015-10-21 段利平 一种cdn云平台及cdn云平台的流量调度方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017113868A1 (zh) * 2015-12-29 2017-07-06 网宿科技股份有限公司 Cdn平台自适应带宽控制方法和***
US10574586B2 (en) 2015-12-29 2020-02-25 Wangsu Science & Technology Co., Ltd Method and system for self-adaptive bandwidth control of CDN platform
CN107623580A (zh) * 2016-07-15 2018-01-23 阿里巴巴集团控股有限公司 内容分发网络中的任务处理方法、装置和***
CN107623580B (zh) * 2016-07-15 2021-06-29 阿里巴巴集团控股有限公司 内容分发网络中的任务处理方法、装置和***
CN106385455A (zh) * 2016-09-23 2017-02-08 成都知道创宇信息技术有限公司 一种基于cdn镜像的整站锁设置方法
CN108241528B (zh) * 2017-01-19 2020-10-09 上海直真君智科技有限公司 一种用户自定义海量网络安全数据动态采集方法
CN108241528A (zh) * 2017-01-19 2018-07-03 上海直真君智科技有限公司 一种用户自定义海量网络安全数据动态采集方法
CN107124375A (zh) * 2017-03-27 2017-09-01 网宿科技股份有限公司 Cdn网络带宽资源的错峰调度方法、***以及服务器
CN107124375B (zh) * 2017-03-27 2020-02-18 网宿科技股份有限公司 Cdn网络带宽资源的错峰调度方法、***以及服务器
CN106850859A (zh) * 2017-03-28 2017-06-13 浙江大学 一种基于sdn的cdn网络的用户请求分配方法
CN107733681A (zh) * 2017-07-28 2018-02-23 贵州白山云科技有限公司 一种调度方案配置方法和装置
US11695856B2 (en) 2017-07-28 2023-07-04 Guizhou Baishancloud Technology Co., Ltd. Scheduling solution configuration method and apparatus, computer readable storage medium thereof, and computer device
CN111464323A (zh) * 2019-01-18 2020-07-28 北京沃东天骏信息技术有限公司 节点带宽的调度方法和调度装置
CN111756646A (zh) * 2020-07-08 2020-10-09 腾讯科技(深圳)有限公司 网络传输控制方法、装置、计算机设备及存储介质
CN111756646B (zh) * 2020-07-08 2023-09-29 腾讯科技(深圳)有限公司 网络传输控制方法、装置、计算机设备及存储介质
CN112260962A (zh) * 2020-10-16 2021-01-22 网宿科技股份有限公司 一种带宽控制方法及装置
CN112260962B (zh) * 2020-10-16 2023-01-24 网宿科技股份有限公司 一种带宽控制方法及装置
CN114629737A (zh) * 2020-12-14 2022-06-14 深圳Tcl新技术有限公司 一种带宽调整方法、装置、网关设备及存储介质
CN114629737B (zh) * 2020-12-14 2024-03-12 深圳Tcl新技术有限公司 一种带宽调整方法、装置、网关设备及存储介质
CN112911007A (zh) * 2021-02-04 2021-06-04 上海七牛信息技术有限公司 一种pcdn资源管理***及pcdn资源管理方法

Also Published As

Publication number Publication date
US10574586B2 (en) 2020-02-25
WO2017113868A1 (zh) 2017-07-06
US20180316623A1 (en) 2018-11-01
EP3382963B1 (en) 2020-03-25
EP3382963A4 (en) 2018-11-21
CN105634992B (zh) 2019-01-11
EP3382963A1 (en) 2018-10-03

Similar Documents

Publication Publication Date Title
CN105634992A (zh) Cdn平台自适应带宽控制方法和***
Gasmi et al. A survey on computation offloading and service placement in fog computing-based IoT
Yang et al. Cost-efficient NFV-enabled mobile edge-cloud for low latency mobile applications
Selimi et al. A lightweight service placement approach for community network micro-clouds
CN109547517B (zh) 一种带宽资源调度方法和装置
CN102088754B (zh) 一种基于网络访问行为的无线局域网接入控制方法及***
Cui et al. TailCutter: Wisely cutting tail latency in cloud CDNs under cost constraints
JP2018523442A (ja) ユーザプレーン用ソフトウェア定義トポロジ(sdt)
CN106060605A (zh) 一种基于cdn的直播流自适应方法和***
CN108174397A (zh) 一种任务驱动的多网关协同方法
Banaie et al. Load-balancing algorithm for multiple gateways in fog-based internet of things
Montazerolghaem Software-defined load-balanced data center: design, implementation and performance analysis
CN108881509A (zh) 一种基于httpdns的dns查询方法及装置
Kryftis et al. Resource usage prediction for optimal and balanced provision of multimedia services
Pacifici et al. Cache bandwidth allocation for P2P file-sharing systems to minimize inter-ISP traffic
Addya et al. A strategy for live migration of virtual machines in a cloud federation
CN101980505A (zh) 一种基于3Tnet的视频点播的负载均衡方法
William et al. Edge Computing based Traffic Control Management for Distributed Environment
Efthymiopoulou et al. Scalable playback rate control in P2P live streaming systems
Chunlin et al. Distributed QoS-aware scheduling optimization for resource-intensive mobile application in hybrid cloud
De Cicco et al. A resource allocation controller for cloud-based adaptive video streaming
CN105827455A (zh) 一种资源模型修正方法和装置
Souza et al. Towards a Fog-to-Cloud control topology for QoS-aware end-to-end communication
Sina et al. CaR-PLive: Cloud-assisted reinforcement learning based P2P live video streaming: a hybrid approach
Shi et al. CoLEAP: Cooperative learning-based edge scheme with caching and prefetching for DASH video delivery

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant