CN107609039B - 基于cdn的热门影片在近端缓存服务器的空间分配方法 - Google Patents

Abstract

本发明公开了一种基于CDN的热门影片在近端缓存服务器的空间分配方法，在无线泛在环境下，针对视频点播***，首先，对实际采集的数据进行拟合，证明了每部影片的日均用户访问量服从泊松分布。在此基础上，借助泊松分布与Γ分布的联系，对每部影片日均访问量泊松模型的参数进行区间估计，以此来选出若干部候选影片。接着，综合考虑CDN网络中近端服务器的存储空间、数据传输速率等因素，建立优化模型，利用软件求解，得到这些热门影片在近端服务器缓存空间的最佳分配策略。该发明可以有效解决由于网络业务量***式增长而引发的网络传输带宽受限、骨干网拥塞、源服务器负载压力过大等问题，从而提升用户体验。

Description

基于CDN的热门影片在近端缓存服务器的空间分配方法

技术领域

本发明涉及基于CDN的服务器优化缓存策略，特别涉及一种基于CDN的热门影片在近端缓存服务器的空间分配方法。

背景技术

随着通信和计算机技术的迅猛发展，各种制式各异、能力互补的无线网络层出不穷，与不断更新换代的智能终端并存，共同构成了重叠覆盖的无线泛在环境。在此环境下，人们对互联网的应用需求已经跨越了收发电子邮件、传输图片、浏览网页、网络聊天的阶段，取而代之的是网络游戏、IPTV、视频会议、视频点播等一系列面向用户的新型流媒体服务。而这些日渐增多的新型网络多媒体应用形式，导致网络业务量呈现出***式增长的态势。想要在这种环境下继续保证高质量音频和视频的有效传输，提高同时访问多媒体资源的用户数量，并满足用户日益严苛的体验需求，对于网络传输带宽和服务器性能来说，显然是一种新的更严峻的挑战。

网络传输带宽和服务器性能随着网络技术的升级、硬件传输存储介质的改进有了很大的发展，但各式无线网络的不断涌现与个人多媒体终端的广泛普及使得这种发展远远不能满足人们对多媒体资源日益提升的体验需求。因此，研究如何通过合理的调度以减轻主服务器的压力成为了非常有意义的探索方向，内容分发网络(Content DistributionNetwork,CDN)应运而生。

CDN在Internet上增加了一层新的网络架构，利用分布广泛的内容缓存服务器，将单点对所有点的星型服务提供模式改进成为多点对应各自所属范围内访问请求的分布式服务提供模式。它将原骨干网中的内容分布到最接近用户的接入网网络“边缘”上，即近端服务器先缓存骨干网源服务器媒体数据库中的部分数据，当用户访问行为到达时，优先由近端服务器提供用户所访问的数据，只有当近端服务器中未缓存用户所请求的那部分数据时，才从远端骨干网的源服务器媒体数据库中拉取数据，这种架构在技术上可以解决在视频点播***等领域由于网络传输带宽受限、主服务器性能瓶颈给骨干网带来的拥塞问题，同时可以提高用户访问流媒体的内容范围，满足用户体验需求。

发明内容

本发明所要解决的技术问题是在无线泛在环境下，针对视频点播***，提出一种基于CDN的热门影片在近端缓存服务器的空间分配方法，以此来有效解决由于网络业务量***式增长而引发的网络传输带宽受限、骨干网拥塞、源服务器负载压力过大等问题，从而提升用户体验。首先在实际采集数据的基础上，对每部影片分别建立日均用户访问量模型，并进一步在一定置信水平下对总体模型的参数进行估计，计算出每部影片在一定置信水平下日均用户访问量的均值，以此来代表每部影片的日均播放量，然后根据此值，选出若干部热门影片，考虑将他们缓存到接入网边缘的CDN网络节点，同时，综合考虑近端服务器的存储空间、数据传输速率等因素，建立优化模型并求解，得到热门影片在近端服务器的缓存空间最佳分配策略。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于CDN的热门影片在近端缓存服务器的空间分配方法，包括如下步骤：

步骤1，在视频点播***中，选取日均用户访问量较多的前T部热门影片，并记录相应的日均用户访问量信息；

步骤2，基于泊松分布与Γ分布的关系，对步骤1中选取的T部热门影片的日均用户访问量的泊松分布参数分别进行区间估计，筛选出泊松分布参数估计区间的右端点值较大的N部影片；

步骤3，针对步骤2中筛选出的N部影片，建立空间分配优化模型并求解，进一步得到N部影片在近端缓存服务器中所分配的最优存储空间，其中：

空间分配优化模型为：

Δ_i≤y_i≤T_i，i＝1,2,…,N

其中，p_i为在平均时间间隔内没有用户访问第i部影片的概率；T_i为视频点播***位于骨干网的媒体库将第i部影片的全部数据传送至接入网边缘的近端缓存服务器的时间；y_i为视频点播***位于骨干网的媒体库根据近端缓存服务器分配给第i部影片的存储空间向近端缓存服务器传送第i部影片部分数据的时间；r为视频点播***位于骨干网的媒体库向近端缓存服务器传送影片数据的速率；λ_i为第i部影片的日均用户访问量的均值；λ_i ^-1为一天时间内第i部影片被用户访问的平均时间间隔；S为近端缓存服务器的最大数据存储空间；Δ_i为视频点播***位于骨干网的媒体库向接入网边缘的近端缓存服务器传送第i部影片数据的响应时间；

第i部影片在近端缓存服务器中所分配的最优存储空间为：

S_i＝y_ir。

作为本发明的进一步优化方案，步骤1中T大于等于1000。

作为本发明的进一步优化方案，步骤2中N大于等于100。

作为本发明的进一步优化方案，步骤2中估计得到的单部热门影片的日均用户访问量的泊松分布参数λ的置信度为1-α的置信区间为：

其中，n为符合参数为λ的泊松分布的单部热门影片每日用户访问量集合的子集所含的每日用户访问量个数，其值不超过单部热门影片信息采集的天数，nλ服从Γ(m+1,1)分布，m＝[x]；x为大于0的任意实数，[x]表示对x取整。

作为本发明的进一步优化方案，步骤3中将空间分配优化模型转化为标准LP问题进行求解，具体为：

minC^TY

s.t.AY＝b

Y≥0

其中：

Y＝(y₁,y₂,…,y_N,Z₀,Z₁,…,Z_N)，

Z_j≥0,j＝0,…,N

其中，Z_j是为了使约束从不等式变为等式而引入的人工变量。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明在无线泛在环境下，针对视频点播***，构建用户行为模型，提出一种基于CDN的服务器优化缓存策略，以此来有效解决由于网络业务量***式增长而引发的网络传输带宽受限、骨干网拥塞、源服务器负载压力过大等问题，从而提升用户体验。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明提供了一种基于CDN的热门影片在近端缓存服务器的空间分配方法，如图1所示，具体如下：

一，在视频点播***中，按照日均用户访问量采集较大的T部热门影片的相关信息。

对单部影片的日均用户访问量用泊松分布公式进行非线性最小二乘拟合，并确定模型，具体为：

用Python语言编写网络爬虫，在视频点播***中，将在采集时刻日均用户访问量最多的T＝1000部影片作为热门影片，采集其中每部影片自上映以来的日均用户访问量信息。

进一步地，还可以对采集到的数据进行清洗，除去若干个异常的每日用户访问量的极大值和极小值，并对电影类型进行量化，统计数据集中不同电影类型的数目，得到每种类型之间的比例值，将此值当作其量化值并除去若干个异常的每日用户访问量的极大值和极小值。

本发明中，单部热门影片的日均用户访问量满足泊松分布：

针对单部影片，将其日均用户访问量当作当日用户的到达数，即影片被访问的频数，用MATLAB作其分布图并观察其大致趋势；再根据分布图的趋势，用泊松分布对其进行非线性最小二乘拟合，得到其拟合优度以及分布参数。

泊松分布公式如下：

其中，P(X＝k)表示每部影片的每日用户访问量X为k时的概率，λ是每部影片的每天用户访问数的平均值。

用MATLAB编写程序，根据拟合优度公式，循环处理每部影片的日均用户访问量数据，计算出每部影片的泊松分布拟合优度值。

拟合优度公式如下：

其中，

为拟合估计值，z_j为真实值，M为每部影片采集的每日访问量的天数。

对于每部影片的拟合优度值，作累积分布图，根据图得出结论，90％以上影片每日访问量模型的拟合优度大于0.9，表明绝大部分影片的用户访问到达过程都可以近似用泊松分布来描述。对于剩下10％拟合优度不大于0.9的影片，作其分布图，进一步分析拟合优度较小的原因，发现他们日均用户访问量的总体趋势也服从泊松分布，只是由于种种原因，使得这些影片在总体用户访问量呈现下降趋势的过程中又有短暂上升，短时间内又下降，即出现了小的波动。综上所述，在本发明研究的视频点播***中，每部影片的日均用户访问量可以用泊松分布建模。

二，对每部影片日均用户访问量泊松分布模型的参数λ进行区间估计，选出N部候选影片。

2.1，借助泊松分布与Γ分布的联系，推导出λ用χ²分布分位数表示的表达式，得到λ置信度为1-α的置信区间，具体为：

每部影片的每日用户访问量X服从泊松分布，则X的分布函数为：

其中，x为大于0的任意实数，此处可理解为给定单部影片一天的用户访问量；F(x；λ)表示满足参数为λ泊松分布的随机变量X小于x的概率。

由泊松分布与Γ分布的关系可知：

等式左边的表达式可用X的分布函数表示：

从而有：

由此可知，当x固定时，1-F(x；λ)是变量λ的分布函数，且为Γ(m+1,1)分布，其中m＝[x]。

设X₁,X₂,…X_n是取自符合泊松分布的单部影片(参数为λ)每日访问量集合的子集，由泊松分布的可加性知，

仍为泊松分布，且参数为nλ。而，对于给定的一组观测值

为定值，由上面结论可知，nλ服从Γ(m+1,1)分布，于是λ的置信度为1-α的置信上下限

和λ可由下面两式确定：

进一步有：

可知，上式右边为χ²(2m+2)分布的分布函数，从而

和λ可以用χ²分位数表示，即有：

于是：

可得：

所以，λ置信度为1-α的置信区间为：

2.2，计算出每部影片在置信度为1-α下λ的置信区间，取区间右端点值，即：

其中，n为取自符合泊松分布的单部影片(参数为λ)每日访问量的子集X₁,X₂,…X_n所含的每日访问量个数，其值不超过单部影片信息采集的天数；m＝[x]，给定单部影片一天的用户访问量。

此值是置信度为1-α时，每部影片最有代表性的日均用户访问量的最大值，对其降序排列，选出前N部影片作为候选影片。

三，针对这N部选出的候选影片，建立优化模型，以找出在近端服务器中不同候选影片存储空间的最优分配策略，具体为：

3.1，综合考虑近端服务器的存储空间、数据传输速率等因素，以骨干网网络带宽的消耗为目标函数，以近端缓存服务器的存储空间为约束条件，建立优化模型，得到一个线性规划问题，具体为：

Δ_i≤y_i≤T_i，i＝1,2,…,N

其中，λ_i为访问候选影片中第i部影片的日均用户访问量的均值；λ_i ^-1为一天时间内候选影片中第i部影片被用户访问的平均时间间隔，乘以86400(即24×3600)将时间单位转化为秒；r为视频点播***位于骨干网的媒体库向近端服务器传送影片数据的速率，单位为波特率bps；p_i为在平均时间间隔内没有用户访问第i部影片的概率；T_i为视频点播***位于骨干网的媒体库将第i部影片的全部数据传送至接入网边缘的近端缓存服务器的时间，单位为秒；Δ_i为视频点播***位于骨干网的媒体库向接入网边缘的近端服务器传送第i部影片数据的响应时间(源服务器要发送控制消息响应近端服务器的请求，告诉近端服务器它将何时在哪一信道上传输用户所需的何种格式的视频数据)，单位为秒；N为需要考虑将其放入近端服务器的影片数目，即通过步骤二选出的候选影片的影片数目；S为近端缓存服务器的最大数据存储空间；y_i为视频点播***位于骨干网的媒体库根据近端缓存服务器分配给第i部影片的存储空间向近端缓存服务器传送第i部影片部分数据的时间，单位为秒。

目标函数表示单位时间内，视频点播***位于骨干网的媒体库向接入网边缘近端服务器传输影片数据的平均流量，即平均消耗的网络带宽；第一个约束条件表示近端服务器缓存影片数据所需要占用的存储空间，要小于等于近端服务器的最大存储容量；第二个约束表示视频点播***位于骨干网的媒体库向接入网近端服务器传送其需要缓存的第i部影片数据所需要的时间，一定会小于等于传送第i部影片全部数据内容的总时长。

3.2，求解此优化模型，得到每部影片最佳传输进入近端缓存服务器所需要的时间y_i，再根据视频点播***位于骨干网的媒体库向接入网边缘近端服务器传送影片数据的速率r，就可得出每部影片在近端缓存服务器中所分配的最优存储空间大小。

已知，每部影片的日均用户访问量服从参数为λ_i的泊松分布，所以在平均时间间隔内没有用户访问第i部影片的概率为

从而在一天时间内第i部影片被用户访问的平均时间间隔λ_i ^-1内没有用户访问的概率为1-e^-1，则优化模型可转换为：

Δ_i≤y_i≤T_i，i＝1,2,…,N

上述线性规划问题可以转化为标准形式的LP问题：

min C^TY

s.t.AY＝b

Y≥0

其中：

Y＝(y₁,y₂,…,y_N,Z₀,Z₁,…,Z_N)，

Z_j≥0,j＝0,…,N

其中，Z_j是为了使约束从不等式变为等式而引入的人工参数变量。

对于此线性规划问题，它的可行区域为D＝{Y:Y≥0，AY＝b}，D是有界凸集，所以它一定存在最优解。

求解此优化模型，得到每部影片最佳传输进入近端缓存服务器所需要的时间y_i，再根据视频点播***位于骨干网的媒体库向接入网边缘近端服务器传送影片数据的速率r，就可得出每部影片在近端缓存服务器中所分配的最优存储空间大小。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于CDN的热门影片在近端缓存服务器的空间分配方法，其特征在于，包括如下步骤：

步骤1，在视频点播***中，选取日均用户访问量较多的前T部热门影片，并记录相应的日均用户访问量信息；

步骤2，基于泊松分布与Γ分布的关系，对步骤1中选取的T部热门影片的日均用户访问量的泊松分布参数分别进行区间估计，筛选出泊松分布参数估计区间的右端点值较大的N部影片；

步骤3，针对步骤2中筛选出的N部影片，建立空间分配优化模型并求解，进一步得到N部影片在近端缓存服务器中所分配的最优存储空间，其中：

空间分配优化模型为：

Δ_i≤y_i≤T_i，i＝1,2,…,N

其中，p_i为在平均时间间隔内没有用户访问第i部影片的概率；T_i为视频点播***位于骨干网的媒体库将第i部影片的全部数据传送至接入网边缘的近端缓存服务器的时间；y_i为视频点播***位于骨干网的媒体库根据近端缓存服务器分配给第i部影片的存储空间向近端缓存服务器传送第i部影片部分数据的时间；r为视频点播***位于骨干网的媒体库向近端缓存服务器传送影片数据的速率；λ_i为第i部影片的日均用户访问量的均值；λ_i ^-1为一天时间内第i部影片被用户访问的平均时间间隔；S为近端缓存服务器的最大数据存储空间；Δ_i为视频点播***位于骨干网的媒体库向接入网边缘的近端缓存服务器传送第i部影片数据的响应时间；

第i部影片在近端缓存服务器中所分配的最优存储空间为：

S_i＝y_ir。

2.根据权利要求1所述的基于CDN的热门影片在近端缓存服务器的空间分配方法，其特征在于，步骤1中T大于等于1000。

3.根据权利要求1所述的基于CDN的热门影片在近端缓存服务器的空间分配方法，其特征在于，步骤2中N大于等于100。

4.根据权利要求1所述的基于CDN的热门影片在近端缓存服务器的空间分配方法，其特征在于，步骤2中估计得到的单部热门影片的日均用户访问量的泊松分布参数λ的置信度为1-α的置信区间为：

其中，n为符合参数为λ的泊松分布的单部热门影片每日用户访问量集合的子集所含的每日用户访问量个数，其值不超过单部热门影片信息采集的天数nλ服从Γ(m+1,1)分布，m＝[x]；x为大于0的任意实数，[·]表示对x取整。

5.根据权利要求1所述的基于CDN的热门影片在近端缓存服务器的空间分配方法，其特征在于，步骤3中将空间分配优化模型转化为标准LP问题进行求解，具体为：

minC^TY

s.t.AY＝b

Y≥0

其中：

Y＝(y₁,y₂,…,y_N,Z₀,Z₁,…,Z_N)，

Z_j≥0,j＝0,…,N

其中，Z_j为设定的使约束从不等式转化为等式的参数变量。

Images