CN110889063A - 一种基于霍克斯过程和矩阵分解的视频预缓存方法 - Google Patents

Abstract

本发明提供一种基于霍克斯过程和矩阵分解的视频预缓存方法，包括以下步骤：S1.使用击中率表示在一段时间内的所有请求中，被缓存的请求所占的比例并根据击中率模型用适合于点过程的方式，重新数学化定义了击中率；S2.自激霍克斯过程缓存模型根据设备的自身历史记录，预测所有视频的强度并进行排序，缓存一定大小的视频；S3.互激霍克斯过程缓存模型添加邻居历史点击对设备的影响，预测所有视频的强度，提高击中率；S4.矩阵分解降维模型对S3的参数进行分解降维；S5.使用过程优化算法对互激霍克斯过程缓存模型进行优化，对未来的行为强度进行预测。本发明能够有效预测每个设备在未来对于不同视频的观看强度，通过预缓存强度最大的一些视频，能够显著降低未来网络中的流量，提升用户体验。

Description

一种基于霍克斯过程和矩阵分解的视频预缓存方法

技术领域

本发明涉及网络视频缓存领域，更具体地，涉及一种基于霍克斯过程和矩阵分解的视频预缓存方法。

背景技术

随着在线视频播放市场的发展，在线视频播放越来越流行，在线视频观看的人数也越来越多。思科预测，未来，互联网流量中大部分将是视频流量，在移动端，在线视频服务所产生的流量占据互联网流量的比例将从2017年的59％增加到2022年的79％。而与此同时，在线视频的数量也在以惊人的速度增长，据统计，每天将有300小时的视频内容上传到YouTube上，包括UGC、新闻、电视剧、电影等。相应的，互联网中的传输或终端设备也越来越多，所以，为了缓解在线视频带来的沉重流量负担，可以将视频内容缓存在多种互联网设备，包括边缘服务器、机顶盒、个人电脑等设备。

首先，视频缓存最简单地方法便是缓存被访问最频繁的视频，同样也可以称为是最流行的视频。然而，在现实世界中，如何选择最流行的视频至少面临两个挑战：首先，用户兴趣会受到推荐、观众性别、年龄等各种因素的影响，因此，用户的视频请求会随着时间的变化而变化，而且用户请求的视频只是最受欢迎的视频中的小部分。同时，由于每个设备的缓存空间都是有限的，因此，互联网中的设备需要及时丢弃无用的视频并不断更新自己缓存的视频，从而能够及时捕捉用户最新的兴趣并达到较高的缓存效率。其次，互联网中，设备的存储和带宽容量是异构的，它们提供的服务也是多样化的，因此，也不能简单地将某一设备的缓存复制到所有其他设备中。

而近年来，利用视频历史请求记录来预测视频未来流行度的视频缓存方法比较多。其优点是，视频历史流行度可以简单地通过计算视频被请求的频率来获得。然而，预测视频流行度却需要依赖于大量用户请求记录，即我们无法准确预测仅为一个或两个用户服务的设备上的视频的流行度。因此，基于流行度的缓存算法对于边缘设备来说是无用的，它无法捕获多样化的用户兴趣和多样化的视频。而点过程模型能够捕捉到用户的点击动作，将其数学化形式表示，通过自激霍克斯过程能够预测自己未来的点击行为，而通过互激霍克斯过程能够丰富预测列表，预测更加准确。通过利用霍克斯过程，能够有效对每个设备的未来视频观看动作进行预测，从而做到提前缓存，降低网络流量的效果。

发明内容

为了解决现有技术中利用视频历史请求记录无法准确预测多个用户服务的设备上的视频流行度的不足，本发明提供了一种基于霍克斯过程和矩阵分解的视频预缓存方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于霍克斯过程和矩阵分解的视频预缓存方法，包括以下步骤：

S1.使用击中率表示在一段时间内的所有请求中，被缓存的请求所占的比例并根据击中率模型用适合于点过程的方式，重新数学化定义了击中率；

S2.自激霍克斯过程缓存模型根据设备的自身历史记录，预测所有视频的强度并进行排序，缓存一定大小的视频；

S3.互激霍克斯过程缓存模型添加邻居历史点击对设备的影响，预测所有视频的强度，提高击中率；

S4.矩阵分解降维模型对S3的参数进行分解降维；

S5.使用过程优化算法对互激霍克斯过程缓存模型进行优化，对未来的行为强度进行预测。

在一种优选方案中，所述的S1包括以下步骤：

S11.使用

来表示霍克斯过程下的强度，其中u表示缓存设备，i表示视频，t则表示该强度所在的时间；

S12.定义击中率为：

其中，s_i是缓存视频的大小，B_u为设备u的缓存空间，

是指示函数，表示t时刻，设备u是否会缓存视频i，

指示函数

的定义如下：

S13.击中率模型即目标函数表示为：

在一种优选方案中，在S2的具体步骤如下：

S21.定义ε^T＝{t₁,t₂,…,t_K}，表示所有的点击事件的点击时间，记录的时间窗口是]0,T)，并且有t₁＜t₂＜…＜t_K，K表示事件总数；

S22.定义

则

其中b_ui表示当前过程的基准强度或者说迁入强度，即该过程没有历史事件发生时的强度值，φ(t-t′)表示互激霍克斯过程的激活函数，即：

φ_ui(t-t′)＝α_uig(t-t′)#(2-4)

α_ui>0表示当前过程会受到历史事件多大程度的影响，对g(t-t′)有：

g(t-t′)＝exp(-δ(t-t′))#(2-5)

δ>0是一个超参数，表示激活函数或者说衰减函数的衰减速率，值越大，衰减越快；

S23.为了使得上面定义的击中率最大，使用霍克斯过程的优化方法，对每一个过程进行优化，其似然函数定义为：

有了似然函数之后，对其求导，然后使用梯度下降的方法预估各个参数。

在一种优选方案中，所述的S3的具体步骤如下：

S31.添加邻居历史电解对当前设备的影响，定义如下：

S32.结合(2-3)与(2-7)，得到一个即考虑自身历史点击事件序列，又考虑其他设备的历史点击序列的

的预估公式：

其中，用δ₁和δ₂分别表示两个衰减函数的不同衰减程度，分别进行定义，所以衰减函数表示如下：

g₁(t-t′)＝exp(-δ₁(t-t′))#(2-9)

g₂(t-t′)＝exp(-δ₂(t-t′))#(2-10)

S33.定义SE和ME

每一个设备收到自身点击过程和其他设备点击过程的影响是不同的，故，需要增加一个参数β∈(0,1)来权衡SE和ME，则，

表示如下：

在一种优选方案中，所述的S4的具体步骤如下：

S41.对公式(2-13)进行降维，参考SVD算法，对b_ui和α_ui分别做如下近似：

b_ui＝b_u+b_i#(2-14)

其中，b_u,b_i分别表示设备和视频的基本强度(迁入强度)，对α_ui做矩阵分解，q_i,p_u分别表示α的视频隐含向量，设备的隐含向量，定义其维度都为d，所以参数数量由2mn下降到了n+m+nd+md，并且m,n＞＞d。

S42.定义影响设备u的其他设备集合为R_u，改进

中的ME部分，最后

的预估表达式为：

至此，得到了拟合和泛化能力更强，表达的含义更广泛的

的公式(2-16)。

在一种优选方案中，所述的S5包括以下步骤；

S51.根据步骤S4所得的预估公式，求解其参数，最大化等价的对数似然函数：

其中，公式(2-17)是单个设备-视频的点击过程的对数似然函数，则对所有设备和视频，有对数似然函数如下：

对公式(2-18)进行最大化，等价于最小化-L，为了防止过拟合，增加泛化能力，对b_u,b_i,q_i,p_u分别增加二次正则项，得到最终优化目标：

s.t.b_u,b_i,q_i,p_u>0,

β_u∈(0,1),

S52.要求公式(2-19)中所有的参数均大于0，以防止

导致对数计算非法，将(2-16)代入(2-18)后，得到：

S53.对(2-20)进行求偏导，得到各个参数在梯度更新下的公式：

S54.根据每个参数各自的梯度公式，使用梯度下降法来进行求解，假设其中一个参数为θ，其初始值为θ₀，则更新公式为：

根据特定场景或者数据，设置不同的初始值，然后使用梯度下降法求得各个参数的次优解。

与现有技术相比，本发明技术方案的有益效果是：

本发明能够有效预测每个设备在未来对于不同视频的观看强度，通过预缓存强度最大的一些视频，能够显著降低未来网络中的流量，提升用户体验。

附图说明

图1为本发明的步骤流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于霍克斯过程和矩阵分解的视频预缓存方法，包括以下步骤：

S1.使用击中率表示在一段时间内的所有请求中，被缓存的请求所占的比例并根据击中率模型用适合于点过程的方式，重新数学化定义了击中率；

S2.自激霍克斯过程缓存模型根据设备的自身历史记录，预测所有视频的强度并进行排序，缓存一定大小的视频；

S3.互激霍克斯过程缓存模型添加邻居历史点击对设备的影响，预测所有视频的强度，提高击中率；

S4.矩阵分解降维模型对S3的参数进行分解降维；

S5.使用过程优化算法对互激霍克斯过程缓存模型进行优化，对未来的行为强度进行预测。

实施例2

本实施例提供的基于霍克斯过程和矩阵分解的视频预缓存方法与上述提供的一致，仅对各个步骤进行进一步的限定。

一种基于霍克斯过程和矩阵分解的视频预缓存方法，包括以下步骤：

S1.使用击中率表示在一段时间内的所有请求中，被缓存的请求所占的比例并根据击中率模型用适合于点过程的方式，重新数学化定义了击中率；

S2.自激霍克斯过程缓存模型根据设备的自身历史记录，预测所有视频的强度并进行排序，缓存一定大小的视频；

S3.互激霍克斯过程缓存模型添加邻居历史点击对设备的影响，预测所有视频的强度，提高击中率；

S4.矩阵分解降维模型对S3的参数进行分解降维；

S5.使用过程优化算法对互激霍克斯过程缓存模型进行优化，对未来的行为强度进行预测。

在一种优选方案中，所述的S1包括以下步骤：

S11.使用

来表示霍克斯过程下的强度，其中u表示缓存设备，i表示视频，t则表示该强度所在的时间；

S12.定义击中率为：

其中，s_i是缓存视频的大小，B_u为设备u的缓存空间，

是指示函数，表示t时刻，设备u是否会缓存视频i，

指示函数

的定义如下：

S13.击中率模型即目标函数表示为：

在一种优选方案中，在S2的具体步骤如下：

S21.定义ε^T＝{t₁,t₂,…,t_K}，表示所有的点击事件的点击时间，记录的时间窗口是[0,T)，并且有t₁＜t₂＜…＜t_K，K表示事件总数；

S22.定义

则

其中b_ui表示当前过程的基准强度或者说迁入强度，即该过程没有历史事件发生时的强度值，φ(t-t′)表示互激霍克斯过程的激活函数，即：

φ_ui(t-t′)＝α_uig(t-t′)#(2-4)

α_ui>0表示当前过程会受到历史事件多大程度的影响，对g(t-t′)有：

g(t-t′)＝exp(-δ(t-t′))#(2-5)

δ>0是一个超参数，表示激活函数或者说衰减函数的衰减速率，值越大，衰减越快；

S23.为了使得上面定义的击中率最大，使用霍克斯过程的优化方法，对每一个过程进行优化，其似然函数定义为：

有了似然函数之后，对其求导，然后使用梯度下降的方法预估各个参数。

在一种优选方案中，所述的S3的具体步骤如下：

S31.添加邻居历史电解对当前设备的影响，定义如下：

S32.结合(2-3)与(2-7)，得到一个即考虑自身历史点击事件序列，又考虑其他设备的历史点击序列的

的预估公式：

其中，用δ₁和δ₂分别表示两个衰减函数的不同衰减程度，分别进行定义，所以衰减函数表示如下：

g₁(t-t′)＝exp(-δ₁(t-t′))#(2-9)

g₂(t-t′)＝exp(-δ₂(t-t′))#(2-10)

S33.定义SE和ME

每一个设备收到自身点击过程和其他设备点击过程的影响是不同的，故，需要增加一个参数β∈(0,1)来权衡SE和ME，则，

表示如下：

在一种优选方案中，所述的S4的具体步骤如下：

S41.对公式(2-13)进行降维，参考SVD算法，对b_ui和α_ui分别做如下近似：

b_ui＝b_u+b_i#(2-14)

其中，b_u,b_i分别表示设备和视频的基本强度(迁入强度)，对α_ui做矩阵分解，q_i,p_u分别表示α的视频隐含向量，设备的隐含向量，定义其维度都为d，所以参数数量由2mn下降到了n+m+nd+md，并且m,n＞＞d。

S42.定义影响设备u的其他设备集合为R_u，改进

中的ME部分，最后

的预估表达式为：

至此，得到了拟合和泛化能力更强，表达的含义更广泛的

的公式(2-16)。

在一种优选方案中，所述的S5包括以下步骤；

S51.根据步骤S4所得的预估公式，求解其参数，最大化等价的对数似然函数：

其中，公式(2-17)是单个设备-视频的点击过程的对数似然函数，则对所有设备和视频，有对数似然函数如下：

对公式(2-18)进行最大化，等价于最小化-L，为了防止过拟合，增加泛化能力，对b_u,b_i,q_i,p_u分别增加二次正则项，得到最终优化目标：

s.t.b_u,b_i,q_i,p_u>0,

β_u∈(0,1),

S52.要求公式(2-19)中所有的参数均大于0，以防止

导致对数计算非法，将(2-16)代入(2-18)后，得到：

S53.对(2-20)进行求偏导，得到各个参数在梯度更新下的公式：

S54.根据每个参数各自的梯度公式，使用梯度下降法来进行求解，假设其中一个参数为θ，其初始值为θ₀，则更新公式为：

根据特定场景或者数据，设置不同的初始值，然后使用梯度下降法求得各个参数的次优解。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于霍克斯过程和矩阵分解的视频预缓存方法，其特征在于，包括以下步骤：

S1.使用击中率表示在一段时间内的所有请求中，被缓存的请求所占的比例并根据击中率模型用适合于点过程的方式，重新数学化定义了击中率；

S2.自激霍克斯过程缓存模型根据设备的自身历史记录，预测所有视频的强度并进行排序，缓存一定大小的视频；

S3.互激霍克斯过程缓存模型添加邻居历史点击对设备的影响，预测所有视频的强度，提高击中率；

S4.矩阵分解降维模型对S3的参数进行分解降维；

S5.使用过程优化算法对互激霍克斯过程缓存模型进行优化，对未来的行为强度进行预测。

2.根据权利要求1所述的一种基于霍克斯过程和矩阵分解的视频预缓存方法，其特征在于，所述的S1包括以下步骤：

S11.使用

来表示霍克斯过程下的强度，其中u表示缓存设备，i表示视频，t则表示该强度所在的时间；

S12.定义击中率为：

其中，s_i是缓存视频的大小，B_u为设备u的缓存空间，

是指示函数，表示t时刻，设备u是否会缓存视频i，

指示函数

的定义如下：

S13.击中率模型即目标函数表示为：

3.根据权利要求1所述的一种基于霍克斯过程和矩阵分解的视频预缓存方法，其特征在于，在S2的具体步骤如下：

S21.定义ε^T＝{t₁，t₂，...，t_K}，表示所有的点击事件的点击时间，记录的时间窗口是[0，T)，并且有t₁＜t₂＜…＜t_K，K表示事件总数；

S22.定义

则

其中b_ui表示当前过程的基准强度或者说迁入强度，即该过程没有历史事件发生时的强度值，φ(t-t′)表示互激霍克斯过程的激活函数，即：

φ_ui(t-t′)＝α_uig(t-t′)#(2-4)

α_ui＞0表示当前过程会受到历史事件多大程度的影响，对g(t-t′)有：

g(t-t′)＝exp(-δ(t-t′))#(2-5)

δ＞0是一个超参数，表示激活函数或者说衰减函数的衰减速率，值越大，衰减越快；

S23.为了使得上面定义的击中率最大，使用霍克斯过程的优化方法，对每一个过程进行优化，其似然函数定义为：

有了似然函数之后，对其求导，然后使用梯度下降的方法预估各个参数。

4.根据权利要求3所述的一种基于霍克斯过程和矩阵分解的视频预缓存方法，其特征在于，所述的S3的具体步骤如下：

S31.添加邻居历史电解对当前设备的影响，定义如下：

S32.结合(2-3)与(2-7)，得到一个即考虑自身历史点击事件序列，又考虑其他设备的历史点击序列的

的预估公式：

其中，用δ₁和δ₂分别表示两个衰减函数的不同衰减程度，分别进行定义，所以衰减函数表示如下：

g₁(t-t′)＝exp(-δ₁(t-t′))#(2-9)

g₂(t-t′)＝exp(-δ₂(t-t′))#(2-10)

S33.定义SE和ME

每一个设备收到自身点击过程和其他设备点击过程的影响是不同的，故，需要增加一个参数β∈(0，1)来权衡SE和ME，则，

表示如下：

5.根据权利要求4所述的一种基于霍克斯过程和矩阵分解的视频预缓存方法，其特征在于，所述的S4的具体步骤如下：

S41.对公式(2-13)进行降维，参考SVD算法，对b_ui和α_ui分别做如下近似：

b_ui＝b_u+b_i#(2-14)

其中，b_u，b_i分别表示设备和视频的基本强度(迁入强度)，对α_ui做矩阵分解，q_i，p_u分别表示α的视频隐含向量，设备的隐含向量，定义其维度都为d，所以参数数量由2mn下降到了n+m+nd+md，并且m，n＞＞d。

S42.定义影响设备u的其他设备集合为R_u，改进

中的ME部分，最后

的预估表达式为：

至此，得到了拟合和泛化能力更强，表达的含义更广泛的

的公式(2-16)。

6.根据权利要求5所述的一种基于霍克斯过程和矩阵分解的视频预缓存方法，其特征在于，所述的S5包括以下步骤；

S51.根据步骤S4所得的预估公式，求解其参数，最大化等价的对数似然函数：

其中，公式(2-17)是单个设备-视频的点击过程的对数似然函数，则对所有设备和视频，有对数似然函数如下：

对公式(2-18)进行最大化，等价于最小化-L，为了防止过拟合，增加泛化能力，对b_u，b_i，q_i，p_u分别增加二次正则项，得到最终优化目标：

S52.要求公式(2-19)中所有的参数均大于0，以防止

导致对数计算非法，将(2-16)代入(2-18)后，得到：

S53.对(2-20)进行求偏导，得到各个参数在梯度更新下的公式：

S54.根据每个参数各自的梯度公式，使用梯度下降法来进行求解，假设其中一个参数为θ，其初始值为θ₀，则更新公式为：

根据特定场景或者数据，设置不同的初始值，然后使用梯度下降法求得各个参数的次优解。

Images