CN114285753B - 一种cdn调度方法和*** - Google Patents
一种cdn调度方法和*** Download PDFInfo
- Publication number
- CN114285753B CN114285753B CN202111617641.8A CN202111617641A CN114285753B CN 114285753 B CN114285753 B CN 114285753B CN 202111617641 A CN202111617641 A CN 202111617641A CN 114285753 B CN114285753 B CN 114285753B
- Authority
- CN
- China
- Prior art keywords
- edge node
- scheduling
- bandwidth
- time period
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种CDN调度方法和***，其方法包括以下步骤：S1:响应客户端的网络请求；S2:根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；S3:计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw；S4:根据调度的限制条件，分配下一时间周期该边缘节点的调度次数，如该边缘节点超出了限制条件，调度***将重新分配新的边缘节点。本发明采取的技术方案可以更有效的利用每一个边缘节点的带宽的使用率。
Description
技术领域
本发明涉及CDN技术领域，尤其涉及一种CDN调度方法和***。
背景技术
CDN(Content Delivery Network)是指内容分发网络，也称为内容传送网络。CDN是一个整体***，主要包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件等，为内容在网络中传播提供快速高效的分发。
CDN的网络请求重定向(Redirect)就是通过各种方法将各种网络请求重新定个方向转到其它位置(如：网页重定向、域名的重定向、路由选择的变化也是对数据报文经由路径的一种重定向)。302重定向是其中的一种，又称之为暂时性转移，英文名称：302redirect，也被认为是暂时重定向。请参阅图1，图1为302重定向的调度***结构示意图，其基本过程是用户先请求调度中心，获取到302重定向的边缘节点地址，当获取到302跳转的地址后，再向边缘节点发起请求。
目前现有技术的条件，边缘节点的带宽是有限的，如何将合适的请求数量调度到边缘节点，是一个非常困难的问题，主要表现为：如果调度少了，边缘节点无法利用好自身的带宽，造成带宽浪费；调度多了，边缘节点会因为带宽被占满，其他请求将无法到达边缘节点，而在边缘节点上的请求也会因为处理的请求太多，无法快速的将请求响应给客户端。对于中心边缘节点来说，中心边缘节点是不知道每一个请求所下载的文件有多大。从而难以估计每个请求所占用的带宽，因此要做到精准调度控制，首先需要预估每一个请求所需要占用的带宽。
发明内容
本发明为解决现有技术中存在的技术问题，提供一种CDN调度方法，能够预估每一个请求所需要占用的带宽，其调度方法包括以下步骤：
一种CDN调度方法，应用在CDN调度***中，包括以下步骤：
S1：响应客户端的网络请求；
S2：根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；
S3：计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw；
S4：根据调度的限制条件，分配下一时间周期该边缘节点的调度次数，如该边缘节点超出了限制条件，调度***将重新分配新的边缘节点。
进一步地，计算当前接入的边缘节点的带宽bw的公式为：
bw＝flow/t
其中，t为过去的时间段，flow为过去时间段产生的流量。
进一步地，获得调度的限制条件的步骤包括：
第一步，计算预分配带宽pbw，其公式为：
pbw＝x/n
其中：
x为边缘节点当前时间周期上报的带宽；
n为当前时间周期的调度次数；
第二步，计算下一时间周期的调度次数n′。
当x＜bwlimit*ratio时，下一时间周期的调度次数n′为：
n′≤n+(bwlimit*ratio-x)/pbw
当x＞bwlimit*ratio时，下一时间周期的调度次数n′为：
n′≤n-(x-bwlimit*ratio)/pbw
其中，bwlimit为带宽调度阈值；
第三步，计算限制调度条件，其公式为：
n′*pbw≤bwlimit*ratio
其中，ratio为比重值。
进一步地，步骤S2中，通过一致性hash算法进行计算，获得首选的边缘节点和备用的边缘节点的地址。
进一步地，接入的边缘节点上报到CDN调度***的步骤包括：
边缘节点记录网卡在第0秒的网卡流量记为p0；
边缘节点记录网卡在第n秒的网卡流量记为p1；
计算边缘节点带宽bw＝(p1-p0)/n；
边缘节点将该带宽bw上报到CDN调度***，调度***重新计算下个时间周期的预分配带宽，并重置下个时间周期的调度次数；
进入下一个调度时间周期。
本发明还公开一种CDN调度***，包括接入单元，处理单元，预测单元，分配单元，其中：
接入单元用以响应客户端的网络请求；
处理单元用以根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；
预测单元用以计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw；
分配单元根据调度的限制条件，分配下一时间周期该边缘节点的调度次数或者重新分配新的边缘节点。
进一步地，预测单元中，计算当前接入的边缘节点的带宽bw的公式为：
bw＝flow/t
其中，t为过去的时间段，flow为过去时间段产生的流量。
进一步地，分配单元中，获得调度的限制条件的公式为：
n′*pbw≤bwlimit*ratio
其中，ratio为比重值。
进一步地，处理单元获取首选的边缘节点和备用的边缘节点的地址是使用一致性hash算法进行计算。
本发明还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任一所述的调度方法。
本发明公开的方法和***中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。
由此可见，本发明采取的技术方案，可以有效的预测下一次的流量，并将下一次流量有效控制在预设的阈值下，从而可以保证流量的稳定，可以更有效的利用每一个边缘节点的带宽的使用率，不会在某一个边缘节点的网卡带宽超出阈值后，会因为调度调整而产生较大的波动。在该方法下，边缘节点的带宽会在阈值附***稳。并不会出现较大的波动。从而带宽提高利用率。
为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为302重定向的调度***结构示意图。
图2为本申请实施例的一种CDN调度方法的流程示意图。
图3为本申请实施例的一种CDN调度方法的具体实施流程示意图。
图4为本申请实施例调度宽带期望的波动效果示意图。
图5为本申请实施例的预分配带宽示意图。
图6为本申请实施例调度宽带的效果示意图。
具体实施方式
本发明公开了一种CDN调度方法，通过边缘节点定期上报边缘节点上各个网卡所占用的带宽，中心调度***根据每个网卡是否超过调度阈值来进行调度，从而基于预测单次请求产生的带宽，来控制内容分发网络边缘节点带宽。
请参阅图2，其实现的方法包括以下步骤：
S1：响应客户端的网络请求；
S2：根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；
S3：计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw；
S4：根据调度的限制条件，分配下一时间周期该边缘节点的调度次数，如该边缘节点超出了限制条件，调度***将重新分配新的边缘节点。
请参阅图3，通常情况下，如果只是通过判断上报带宽是否超过网卡阈值来简单的进行调度，则当边缘节点带宽超过网卡带宽阈值后，边缘节点的带宽时序图就会开始剧烈的波动。本申请针对这种情况，提出的技术方案，期望能够将边缘节点带宽调度超过网卡带宽阈值后，能够稳定在阈值点位附近，如图4所示。
对于一个边缘节点上报的带宽，当前时间周期的带宽值bw是过去t秒产生的流量(flow)除以t秒得到，具体的公式如下：
bw＝flow/t
下个时间周期的带宽(bw′)也由下个时间周期产生的流量(flow′)除以下个时间周期长度(t′)的到：
bw′＝flow′/t′
上一个时间周期的带宽再大，也是上一个时间周期的流量导致，如果我们通过边缘节点上报带宽超过网卡阈值后就立即停止对边缘节点的调度，会导致下一个时间周期的流量骤减，从而导致带宽曲线产生剧烈波动，即如图3所示那样。
请参阅图5，本申请针对边缘节点流量的特点，通过预估下一个时间周期需要调度多少次，即预估平均每次调度产生的带宽有多少(简称：预分配带宽(pbw))，才能够达到期望的带宽阈值，将带宽流量稳定在阈值线上进行平稳的波动，进而有助于合理地将网络请求调度到合适的边缘节点。
为此，本申请提出一种优选的实施方式，其实现步骤如下：
第一步，计算预分配带宽(pbw)。
本申请设定边缘节点当前时间周期上报的带宽是x Mbps，当前时间周期调度了n次，其预分配带宽(pbw)的公式为：
pbw＝x/n
第二步，计算下一时间周期的调度次数n′。
要想下一次调度达到我们期望的带宽阈值，下一时间周期的调度次数n′为：
当x＜bwlimit*ratio时：
n′≤n+(bwlimit*ratio-x)/pbw
其中，bwlimit为带宽调度阈值。
当x＞bwlimit*ratio时：
n′≤n-(x-bwlimit*ratio)/pbw
第三步，计算限制调度条件。
根据上述第二步的两个不等式，计算调度***的限制调度条件
n′*pbw≤bwlimit*ratio
请参阅图6，图6是本发明实施例实现的技术效果示意图，图6中左上图表示出了流量不做任何限制时，流量远超出了bwlimit*ratio，图6中右上图表示出了当带宽超出了bwlimit*ratio时，就停止对该边缘节点进行调度，结果出现了非常激烈的波动，图6左下图表示出了以一个较小的固定的预分配带宽时的带宽图，结果同样示出了非常激烈的波动结果，图6中右下图表示出了本专利的动态计算预分配带宽，结果示出了带宽迅速稳定到了bwlimit*ratio，故本申请的优选实施方式，可以快速让带宽收敛到bwlimit*ratio。
此外，边缘节点定期上报边缘节点上各个网卡所占用的带宽，其步骤包括：
边缘节点记录网卡在第0秒的网卡流量记为p0；
边缘节点记录网卡在第n秒的网卡流量记为p1；
故第0秒到第n秒产生的带宽为；
flow＝p1-p0
计算边缘节点带宽bw＝(p1-p0)/n＝flow/n；
边缘节点将该带宽bw上报到CDN调度***，调度***重新计算下个时间周期的预分配带宽，并重置下个时间周期的调度次数；
进入下一个调度时间周期。
本申请还提供一种CDN调度***，包括接入单元，处理单元，预测单元，分配单元，其中：
接入单元用以响应客户端的网络请求；
处理单元用以根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；
预测单元用以计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw；
分配单元根据调度的限制条件，分配下一时间周期接入的边缘节点。
具体实施请参阅上述方法实施例。
本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任一所述的调度方法。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种CDN调度方法，应用在CDN调度***中，其特征是，包括以下步骤：
S1:响应客户端的网络请求；
S2:根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；
S3:计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw，其公式为：pbw＝x/n，其中：x为边缘节点当前时间周期上报的带宽，n为当前时间周期的调度次数；
S4:根据调度的限制条件，分配下一时间周期该边缘节点的调度次数，如该边缘节点超出了限制条件，调度***将重新分配新的边缘节点，限制条件的公式为：n′*pbw≤bwlimit*ratio，其中，bwlimit为带宽调度阈值，ratio为比重值，n′为下一时间周期的调度次数。
2.如权利要求1所述的调度方法，其特征是，步骤S3中，计算当前接入的边缘节点的带宽bw的公式为：
bw＝flow/t
其中，t为过去的时间段，flow为过去时间段产生的流量。
3.如权利要求1所述的调度方法，其特征是，步骤S2中，通过一致性hash算法进行计算，获得首选的边缘节点和备用的边缘节点的地址。
4.如权利要求1所述的调度方法，其特征是，接入的边缘节点上报到CDN调度***的步骤包括：
边缘节点记录网卡在第0秒的网卡流量记为p0；
边缘节点记录网卡在第m秒的网卡流量记为p1；
计算边缘节点带宽bw＝(p1-p0)/m；
边缘节点将该带宽bw上报到CDN调度***，调度***重新计算下个时间周期的预分配带宽，并重置下个时间周期的调度次数；
进入下一个调度时间周期。
5.一种CDN调度***，其特征在于，包括接入单元，处理单元，预测单元，分配单元，其中：
接入单元用以响应客户端的网络请求；
处理单元用以根据客户端的网络请求，获取首选的边缘节点和备用的边缘节点，并分配接入；
预测单元用以计算当前接入的边缘节点的带宽bw，并计算预分配带宽pbw，其公式为：pbw＝x/n，其中：x为边缘节点当前时间周期上报的带宽，n为当前时间周期的调度次数；
分配单元根据调度的限制条件，分配下一时间周期该边缘节点的调度次数,如该边缘节点超出了限制条件，调度***将重新分配新的边缘节点,限制条件的公式为：n′*pbw≤bwlimit*ratio，其中，bwlimit为带宽调度阈值，ratio为比重值，n′为下一时间周期的调度次数。
6.如权利要求5所述的CDN调度***，其特征是，预测单元中，计算当前接入的边缘节点的带宽bw的公式为：
bw＝flow/t
其中，t为过去的时间段，flow为过去时间段产生的流量。
7.如权利要求5所述的CDN调度***，其特征是，处理单元获取首选的边缘节点和备用的边缘节点的地址是使用一致性hash算法进行计算。
8.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4任一所述的调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111617641.8A CN114285753B (zh) | 2021-12-27 | 2021-12-27 | 一种cdn调度方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111617641.8A CN114285753B (zh) | 2021-12-27 | 2021-12-27 | 一种cdn调度方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114285753A CN114285753A (zh) | 2022-04-05 |
| CN114285753B true CN114285753B (zh) | 2024-04-26 |
Family
ID=80876732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111617641.8A Active CN114285753B (zh) | 2021-12-27 | 2021-12-27 | 一种cdn调度方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114285753B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277097A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 内容分发网络及其负载预测均衡方法 |
| CN107733805A (zh) * | 2016-08-12 | 2018-02-23 | 腾讯科技（深圳）有限公司 | 业务负载调度方法和装置 |
| CN109787921A (zh) * | 2019-03-19 | 2019-05-21 | 网宿科技股份有限公司 | Cdn带宽调度方法、采集及调度服务器和存储介质 |
| WO2020248166A1 (zh) * | 2019-06-12 | 2020-12-17 | 华为技术有限公司 | 流量调度方法、设备及存储介质 |
| CN112714029A (zh) * | 2021-02-09 | 2021-04-27 | 北京金山云网络技术有限公司 | 一种内容分发网络带宽调度的方法、装置及设备 |
| CN113497817A (zh) * | 2020-03-20 | 2021-10-12 | 北京金山云网络技术有限公司 | 流量调度方法、装置、cdn网络的边缘节点及服务器 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014028672A1 (en) * | 2012-08-14 | 2014-02-20 | Inmobly, Inc. | System and method for efficient use of network bandwidth |
| US9515838B2 (en) * | 2014-12-11 | 2016-12-06 | Bank Of America Corporation | Bandwidth adaptive communication event scheduling |
-
2021
- 2021-12-27 CN CN202111617641.8A patent/CN114285753B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277097A (zh) * | 2016-04-08 | 2017-10-20 | 北京优朋普乐科技有限公司 | 内容分发网络及其负载预测均衡方法 |
| CN107733805A (zh) * | 2016-08-12 | 2018-02-23 | 腾讯科技（深圳）有限公司 | 业务负载调度方法和装置 |
| CN109787921A (zh) * | 2019-03-19 | 2019-05-21 | 网宿科技股份有限公司 | Cdn带宽调度方法、采集及调度服务器和存储介质 |
| WO2020248166A1 (zh) * | 2019-06-12 | 2020-12-17 | 华为技术有限公司 | 流量调度方法、设备及存储介质 |
| CN113497817A (zh) * | 2020-03-20 | 2021-10-12 | 北京金山云网络技术有限公司 | 流量调度方法、装置、cdn网络的边缘节点及服务器 |
| CN112714029A (zh) * | 2021-02-09 | 2021-04-27 | 北京金山云网络技术有限公司 | 一种内容分发网络带宽调度的方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114285753A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10404790B2 (en) | HTTP scheduling system and method of content delivery network | |
| CN107026907B (zh) | 一种负载均衡方法、负载均衡器及负载均衡*** | |
| CN109327550B (zh) | 一种访问请求的分配方法、装置、存储介质和计算机设备 | |
| US7356602B2 (en) | Method and apparatus for dynamically adjusting resources assigned to plurality of customers, for meeting service level agreements (SLAs) with minimal resources, and allowing common pools of resources to be used across plural customers on a demand basis | |
| US8914501B2 (en) | Method, apparatus, and system for scheduling distributed buffer resources | |
| JP5901024B2 (ja) | コンテンツ配信に利用される動的バインド | |
| CN110716808B (zh) | 业务处理方法、装置、计算机设备和存储介质 | |
| CN108462736B (zh) | 一种面向QoS的云存储数据副本存储方法 | |
| CN104239150B (zh) | 一种硬件资源调整的方法及装置 | |
| CN107666448B (zh) | 一种时延感知下的5g虚拟接入网映射方法 | |
| CN111092921B (zh) | 数据采集方法、装置及存储介质 | |
| CN112422610B (zh) | 一种基于分布式对象存储的智能网关方法和*** | |
| CN114363962A (zh) | 一种协作式边缘服务器部署和资源调度方法、存储介质及*** | |
| Meskar et al. | Fair multi-resource allocation with external resource for mobile edge computing | |
| CN105007336A (zh) | 服务器的负载均衡方法及其*** | |
| CN108924203B (zh) | 数据副本自适应分布方法、分布式计算***及相关设备 | |
| CN110769512A (zh) | 星载资源分配方法、装置、计算机设备及存储介质 | |
| CN106164888A (zh) | 用于最小化工作负荷空闲时间和工作负荷间干扰的网络和存储i/o请求的排序方案 | |
| CN103561092B (zh) | 私有云环境下管理资源的方法及装置 | |
| CN114285753B (zh) | 一种cdn调度方法和*** | |
| CN105634990B (zh) | 基于时间频谱连续的资源预留方法、装置和处理器 | |
| CN111404828B (zh) | 实现全局流控的方法及装置 | |
| US20180129425A1 (en) | Data management system and method for processing distributed data | |
| CN112019451A (zh) | 带宽分配方法、调试网元、本地缓存服务器及计算设备 | |
| CN113329050B (zh) | 内容分发方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |