CN102184221B - 一种基于用户偏好的实时视频摘要生成方法 - Google Patents

Abstract

本发明提出了一种基于用户偏好的实时视频摘要生成方法，具体包括：步骤一：计算颜色直方图和像素值联合差异值；步骤二：判断相邻两帧的图像特征是否发生明显变化；步骤三：步骤四：得到潜在视频分段边界；步骤五：设置视频帧序列的关键帧；步骤六：利用最优帧更新关键帧；步骤七：建立高斯混合模型，得到关键帧作为实时视频摘要结果。本发明提出的一种基于用户偏好的实时视频摘要生成方法，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。

Description

一种基于用户偏好的实时视频摘要生成方法

技术领域

本发明属于图像处理领域，具体涉及一种新型的基于用户偏好的实时视频摘要生成方法。

背景技术

随着移动设备性能的不断提升以及大量的视频分享网站的出现，越来越多的人们选择利用移动设备拍摄视频去与他人分享自己生活中的精彩片段。为了快速的查找和浏览视频片段，人们希望能够对于视频进行标记和摘要。尽管已经有一些工具可以索引和标记视频，例如iMovie，但是这些工具需要大量的，费时的人工参与。同时，当用户正在拍摄视频的同时去进行实时的视频摘要是非常具有挑战性的一项任务。对于用户拍摄的视频而言，由于用户拍摄的视频内容是无规则的，而且视频内容的结构也是没有办法预知的，因此针对这种视频的视频摘要是十分困难的。

这些年来，研究人员提出了许多的针对于家庭视频的视频摘要技术。如Zhai提出了一种利用马尔科夫链的统计学方法将家庭视频分割为不同的逻辑单元。Andreas提出了一种半自动的家庭视频摘要方法，这种方法通过分析家庭视频中所包含的不同类型的运动进行视频分割，然后用户手动的在每个分段中选择关键帧生成视频摘要。Mei提出了一种结合心理学的视频摘要方法，通过分析用户在视频拍摄中的不同意图帮助视频摘要的生成。Saman提出了一种交互的和多级的视频摘要框架，允许用户灵活的选择摘要策略和摘要长度。Takeuchi提出了一种用户自适应的视频摘要***，该***通过自动分析用户电脑上的图片库来获得用户的偏好，根据用户的偏好进行关键帧的提取。

尽管这个领域已经发展的很多年，但是大多数的视频摘要的研究都是针对于已经拍摄完成的视频文件在电脑上进行视频摘要，很少有针对于移动设备的研究。传统的视频摘要面临的最大问题就是如何生成用户最感兴趣的摘要。目前所存在的传统的视频摘要技术的工作方式都是在用户视频拍摄完成后，通过数据线将视频文件传输到电脑上，利用成熟的摘要算法进行视频摘要，之后再将摘要结果展现给用户。这样的操作复杂，用户体验差，效率低，浪费用户大量的时间。于此同时，成熟的摘要算法大部分只关注于已经拍摄完成的视频，用户需要等待视频拍摄完成后，方可进行视频摘要，用户对于这个视频摘要的过程也是完全不可见的，用户并不能参与到整个过程中。

发明内容

针对现有技术中存在的问题，本发明提出了一种基于用户偏好的实时视频摘要生成方法。本发明提出的一种基于用户偏好的实时视频摘要生成方法，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。

本发明提出的一种基于用户偏好的实时视频摘要生成方法，具体包括以下几个步骤：

步骤一：实时分析当前的视频帧序列S，S＝{f_i|p≤i≤q}，其中p和q分别表示视频帧序列S的第一帧和最后一帧，f_i表示视频帧序列S中的第i帧；令i＝p，从视频帧序列S中的第一帧开始，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤二：根据镜头渐变检测理论，设定阈值A，若第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A，则进入步骤三；否则返回步骤一，并令i为i+1，重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；

步骤三：(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中，j为视频帧序列S′中的任意一帧；

(2)从j＝1开始，计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值；

(3)若该相邻两帧的像素值差异值小于设定阈值B，监测阶段结束，获得的视频帧子序列S″，定义第j+1帧f_j+1为潜在视频分段边界，进入步骤四；否则返回步骤一，并令i为i+1，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤四：采用菱形运动向量算法，计算步骤三得到的视频帧子序列S″的累计运动向量，计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值C，则潜在的视频分段边界f_j+1帧为真实的视频边界；否则返回步骤一，并令i为i+1，重新计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤五：提取f_j+1为视频帧序列S的关键帧；

步骤六：将视频帧序列S在f_j+1帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的信息富有度、熵值和亮度值，将信息富有度、熵值和亮度值进行归一化，得到均一化值，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧f_j+1帧；

步骤七：实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型

分析用户对于关键帧的偏好；其中k是高斯模型组件N(μ_m，σ_m)的个数，μ_m为每个高斯分布的均值和σ_m为每个高斯分布的方差，N(μ_m，σ_m)表示高斯分布；α_m是混合概率，Θ是建立的高斯混合模型的参数空间，R_x表示分布函数，k表示高斯混合模型中高斯分布的总个数，m表示其中任意一个高斯分布；

采用期望最大值计算方法，通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧。

本发明的优点在于：

(1)本发明提出的一种基于用户偏好的实时视频摘要生成方法，建立高斯混合模型学习用户偏好，考虑不同用户对于关键帧的不同需求，优化更新策略，提高用户满意度。

(2)本发明提出了一种基于用户偏好的实时视频摘要生成方法，实时生成和呈现摘要结果，用户能够观察和控制整个过程，在节省时间的同时带来新颖的用户体验。

(3)本发明提出了一种基于用户偏好的实时视频摘要生成方法，动态更新实时提取的关键帧，保证关键帧的完整性和最优性。

附图说明

图1：本发明提出的一种基于用户偏好的实时视频摘要生成方法的流程图；

图2：本发明提出的一种基于用户偏好的实时视频摘要生成方法的性能检测图。

具体实施方式

下面将结合附图对本发明作进一步的详细说明。

本发明提出的一种基于用户偏好的实时视频摘要生成方法，如图1所示，具体包括以下几个步骤：

步骤一：实时分析当前的视频帧序列S，S＝{f_i|p≤i≤q}，其中p和q分别表示视频帧序列S的第一帧和最后一帧，f_i表示视频帧序列S中的第i帧。分析当前视频序列中相邻第i帧和第i+1帧的图像特征，图像特征包括颜色直方图和像素值，令i＝p，从视频帧序列S中的第一帧开始，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值TDiff_i。

其中所述的颜色直方图和像素值联合差异值TDiff_i的具体的计算过程为：

(1)第i帧和第i+1帧的颜色直方图差异采用分块方法进行计算，将第i帧和第i+1帧分为M×N块，第i帧和第i+1帧的之间的第k分块的颜色直方图差异HBDiff(f_i，k，f_i+1，k)为：

$\mathrm{HBDiff}(f_{i,k},f_{i+1,k})=\underset{r=0}{\overset{255}{\mathrm{\Σ}}}|b_{i,k}\left(r\right)-b_{i+1,k}\left(r\right)|---\left(1\right)$

其中f_i，k表示第i帧的第k分块，f_i+1，k表示第i+1帧的第k分块，b_i，k(r)表示第i帧的第k分块的色调值等于r的像素点的个数，b_i+1，k(r)表示第i+1帧的第k分块的色调值等于r的像素点的个数，因此相邻两帧第i帧和第i+1帧的颜色直方图差异HDiff(f_i，f_i+1)为：

$\mathrm{HDiff}(f_i,f_{i+1})=\underset{k=1}{\overset{M\×N}{\mathrm{\Σ}}}\mathrm{HBDiff}\left(k\right)---\left(2\right)$

其中f_i表示第i帧，f_i+1表示第i+1帧。

(2)按照公式(3)计算相邻两帧第i帧和第i+1帧的像素值差异PDiff(f_i，f_i+1)：

$\mathrm{PDiff}(f_i,f_{i+1})={\mathrm{\Σ}}_{x=1,y=1}^{w,h}|P_i(x,y)-P_{i+1}(x,y)|---\left(3\right)$

其中，P_i+1(x，y)表示第i+1帧的像素值，P_i(x，y)表示第i帧像素值，(x，y)表示像素点的坐标，w表示视频帧的宽度，h表示视频帧的高度。

(3)根据公式(2)和(3)，得到第i帧和第i+1帧的颜色直方图和像素值联合差异值TDiff_i为：

TDiff_i＝HDiff(f_i-1，f_i)×PDiff(f_i-1，f_i)    (4)

步骤二：根据镜头渐变检测理论，设定阈值A，阈值A优选为10～40，进一步优选为25.8，如果第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A，说明该相邻两帧第i帧和第i+1帧的图像特征发生明显变化，执行步骤三；否则返回步骤一，并令i＝i+1，重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化。

步骤三：(1)将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中，该视频帧序列S′具有有连续的N帧，其中N是大于1的自然数，该视频帧序列S′中的第一帧为原视频帧序列S中的第i+2帧，最后一帧为原视频帧序列S中的的最后一帧即第q帧，j为视频帧序列S′中的任意一帧。

(2)从j＝1开始，计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值TDiff_j。

(3)若该相邻两帧的像素值差异值HDiff小于设定阈值B，阈值B满足0＜B≤10，优选为5≤B≤8，监测阶段结束，获得的视频帧子序列S″，视频帧子序列S″由视频帧序列S′中的第一帧至相邻两帧的像素值差异值HDiff小于设定阈值B的第j+1帧组成，定义第j+1帧f_j+1为潜在视频分段边界，进入步骤四；否则返回步骤一，令i＝i+1，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤四：采用菱形运动向量算法，计算步骤三得到的视频帧子序列S″的累计运动向量，按照公式(5)计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值TDiff(f_i+1，f_j+1)之积，若该积大于设定阈值C，阈值C优选为100≤C≤200，则潜在的视频分段边界f_j+1帧为真实的视频边界；否则返回步骤一，令i＝i+1，计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值；

$\underset{m=i+1}{\overset{j+1}{\mathrm{\Σ}}}{\mathrm{MV}}_m\×\mathrm{TDiff}(f_{i+1},f_{j+1})>C---\left(5\right)$

其中

代表视频帧子序列S″的累计运动向量。

步骤五：提取f_j+1为视频帧序列S的关键帧。

步骤六：将视频帧序列S在f_j+1帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的信息富有程度、熵值和亮度值，计算得到缓存序列中的最优帧。

所述的信息富有程度G_u计算公式为：

G_u＝IEM_u(W ，H)    (6)

其中，W代表视频帧的宽度，H代表视频帧的长度，IEM_u表示信息富有程度函数。

所述的熵值E_u的计算公式为：

$E_u=-\underset{x=0}{\overset{255}{\mathrm{\Σ}}}{p}_u\left(x\right)\log \left(p_u\left(x\right)\right)---\left(7\right)$

p_u(x)表示帧中第x个像素点的像素值。

所述的亮度值L_u的计算公式为：

$L_u=g\left(\frac{{\mathrm{\Σ}}_{x=1,y=1}^{W,H}{P}_u(x,y)}{W\×H}\right)---\left(8\right)$

其中P_u(x，y)表示第i帧的像素值。

将信息富有程度、熵值和亮度值进行归一化，得到均一化值S_u，均一化的方法为：

$\left\{\begin{array}{c}{S}_u=a_1{G}_u+a_2{E}_u+a_3{L}_u\\ a_1+a_2+a_3=1\end{array}\right.---\left(9\right)$

其中，a₁、a₂、a₃为均一化系数，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧f_j+1帧。

步骤七：实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型如公式(10)，分析用户对于关键帧的偏好：

$R_X\left(x\right|\mathrm{\Θ})=\underset{m=1}{\overset{k}{\mathrm{\Σ}}}{\mathrm{\α}}_{m}N({\mathrm{\μ}}_m,{\mathrm{\σ}}_m)---\left(10\right)$

其中k是高斯模型组件N(μ_m，σ_m)的个数，μ_m为每个高斯分布的均值和σ_m为每个高斯分布的方差，N(μ_m，σ_m)表示高斯分布；α_m是混合概率，Θ是建立的高斯混合模型的参数空间，R_X表示分布函数，k表示高斯混合模型中高斯分布的总个数，m表示其中任意一个高斯分布。

采用传统的期望最大值计算方法，通过公式(10)计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧即为本发明中实时视频摘要结果。

应用本发明提出的一种基于用户偏好的实时视频摘要生成方法，已经采用了NokiaSymbian 3的SDK，并在诺基亚N8手机上实现了原型***，选择15名学生参与本次实验，他们分别被要求使用原型***拍摄15分钟长度的视频去介绍自己的校园，要求他们在拍摄的过程中要记录自己感兴趣的关键点，分别使用含有用户偏好学习功能的原型***和不包含用户偏好学习功能的原型***进行拍摄。如图2所示，横坐标表示参加测试的15名用户，纵坐标表示关键点的个数，三条曲线分别为用户在拍摄过程中选择的关键点个数、包含本发明提出的用户偏好的实时视频的原型***最终选择出来的关键点与用户自主选择的关键点的重合个数、不包含用户偏好的实时视频的原型***最终选择出来的关键点与用户自主选择的关键点的重合个数。从图2可以看出，包含用户偏好的实时视频的原型***提取出的关键点的重合度要大于不包含用户偏好的实时视频的原型***，因此本发明提出的基于用户偏好学习的实时视频摘要***提取出的关键帧可以更好反应用户偏好和兴趣点。

Claims (5)

1.一种基于用户偏好的实时视频摘要生成方法，其特征在于：具体包括以下几个步骤：

步骤一：实时分析当前的视频帧序列S，S＝{f_i|p≤i≤q}，其中p和q分别表示视频帧序列S的第一帧和最后一帧，f_i表示视频帧序列S中的第i帧；令i＝p，从视频帧序列S中的第一帧开始，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

计算第i帧和第i+1帧的颜色直方图和像素值联合差异值的具体过程为：

（1）第i帧和第i+1帧的颜色直方图差异采用分块方法进行计算，将第i帧和第i+1帧分为M×N块，第i帧和第i+1帧的之间的第k分块的颜色直方图差异HBDiff(f_i,k,f_i+1，k)为：

$\mathrm{HBDiff}(f_{i,k},f_{i+1,k})=\underset{r=0}{\overset{255}{\mathrm{\Σ}}}|b_{i,k}\left(r\right)-b_{i+1,k}\left(r\right)|$

其中f_i，k表示第i帧的第k分块，f_i+1，k表示第i+1帧的第k分块，b_i，k(r)表示第i帧的第k分块的色调值等于r的像素点的个数，b_i+1,k(r)表示第i+1帧的第k分块的色调值等于r的像素点的个数，因此相邻两帧第i帧和第i+1帧的颜色直方图差异HDiff(f_i,f_i+1)为：

$\mathrm{HDiff}(f_i,f_{i+1})=\underset{k=1}{\overset{M\×N}{\mathrm{\Σ}}}\mathrm{HBDiff}(f_{i,k},f_{i+1,k})$

其中f_i表示第i帧，f_i+1表示第i+1帧；

（2）计算相邻两帧第i帧和第i+1帧的像素值差异PDiff(f_i,f_i+1)：

$\mathrm{PDiff}(f_i,f_{i+1})={\mathrm{\Σ}}_{x=1,y=1}^{W,H}|P_i(x,y)-P_{i+1}(x,y)|$

其中，P_i+1(x，y)表示第i+1帧的像素值，P_i(x,y)表示第i帧像素值，(x,y)表示像素点的坐标，W表示视频帧的宽度，H表示视频帧的高度；

（3）计算第i帧和第i+1帧的颜色直方图和像素值联合差异值TDiff_i为：

$\mathrm{TD}{\mathrm{iff}}_i=\mathrm{HDiff}(f_{i-1},f_i)\×\mathrm{PDiff}(f_{i-1},f_i)$ ；

步骤二：根据镜头渐变检测理论，设定阈值A，若第i帧和第i+1帧的的颜色直方图和像素值总体差异值大于阈值A，则进入步骤三；否则返回步骤一，并令i为i+1，重新计算第i帧和第i+1帧的颜色直方图和像素值联合差异值，直至获得相邻两帧的图像特征发生明显变化；

步骤三：（1）将视频帧序列S中图像特征发生明显变化的第i帧和第i+1帧之后的视频帧序列S′传送到监测缓存中，j为视频帧序列S′中的任意一帧；

（2）从j=1开始，计算该视频帧序列S′中相邻两帧即第j帧和第j+1帧的颜色直方图和像素值联合差异值；

（3）若该相邻两帧的像素值差异值小于设定阈值B，监测阶段结束，获得的视频帧子序列S″，视频帧子序列S″由视频帧序列S′中的第一帧至相邻两帧的像素值差异值HDiff小于设定阈值B的第j+1帧组成，定义第j+1帧f_j+1为潜在视频分段边界，进入步骤四；否则返回步骤一，并令i为i+1，计算第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤四：采用菱形运动向量算法，计算步骤三得到的视频帧子序列S″的累计运动向量，计算累计运动向量与视频帧子序列S″中第一帧和最后一帧之间的颜色直方图和像素值联合差异值之积，若该积大于设定阈值C，则潜在的视频分段边界f_j+1帧为真实的视频边界；否则返回步骤一，并令i为i+1，重新计算视频帧序列S中第i帧和第i+1帧的颜色直方图和像素值联合差异值；

步骤五：提取f_j+1为视频帧序列S的关键帧；

步骤六：将视频帧序列S在f_j+1帧之后的所有帧序列进行缓存，得到缓存序列，计算该缓存序列中所有帧的图像特征，将图像特征进行归一化，得到均一化值，将最大的均一化值对应的帧作为最优帧，利用最优帧更新关键帧f_j+1帧；

步骤七：实时将更新得到的关键帧传输给用户，并实时获得用户选择的关键帧，利用户选择的关键帧建立高斯混合模型分析用户对于关键帧的偏好；其中k是高斯模型组件N(μ_m,σ_m)的个数，μ_m为每个高斯分布的均值和σ_m为每个高斯分布的方差，N(μ_m,σ_m)表示高斯分布；α_m是混合概率，Θ是建立的高斯混合模型的参数空间，R_X表示分布函数，m表示其中任意一个高斯分布；

采用期望最大值计算方法，通过高斯混合模型计算得到当前的视频帧序列S中所有的视频帧符合用户偏好的概率，利用符合用户偏好的概率进行关键帧的更新，最终的得到的关键帧。

2.根据权利要求1所述的一种基于用户偏好的实时视频摘要生成方法，其特征在于：所述的步骤二中的阈值A为10～40。

3.根据权利要求1所述的一种基于用户偏好的实时视频摘要生成方法，其特征在于：所述的步骤三中的阈值B满足0＜B≤10。

4.根据权利要求3所述的一种基于用户偏好的实时视频摘要生成方法，其特征在于：所述的步骤三中的阈值B满足5≤B≤8。

5.根据权利要求1所述的一种基于用户偏好的实时视频摘要生成方法，其特征在于：所述的步骤四中的阈值C满足100≤C≤200。

Images