CN103747240A - 融合颜色和运动信息的视觉显著性滤波方法 - Google Patents

Abstract

本发明公开了一种融合颜色和运动信息的视频显著性滤波方法，包括如下步骤：步骤1，输入视频图像序列的其中一帧，并将其分割为若干超像素单元；步骤2，对分割后图像的各个超像素单元进行测度计算，得到该帧视频图像不同参数的测度值；步骤3，将步骤2所得各参数的测度值进行融合，得到超像素精度的显著性图；步骤4，对步骤3所得超像素精度的显著性图进行双边高斯滤波，得到像素精度的视频显著性图，即完成该帧视频图像的显著性滤波；步骤5，重复步骤1至4，直至完成所有视频图像的显著性滤波。本发明方法能够更加准确地反映视频图像中的显著性区域，更加精确地进行视觉显著性检测。

Description

融合颜色和运动信息的视觉显著性滤波方法

技术领域

本发明涉及视频分析领域，具体涉及一种融合颜色和运动信息的视觉显著性滤波方法。

背景技术

视觉显著性分析已成为计算机视觉和图像处理领域一个重要的研究课题.视觉显著性与人眼视觉***紧密相关，一般表现为图像或视频信息中最为突出或值得关注的部分。视觉显著性分析有助于快速有效地进行图像语意理解及感兴趣信息获取，已经被广泛用于图像分割、视频重定向和目标识别等领域.

目前已有较多研究人员对视觉显著性分析展开研究。针对静态图像的显著性检测，包括：一种基于多尺度特征融合的自底向上显著性检测模型；一种基于FFT谱残差的显著性模型；使用图论方法计算图像的视觉显著性；结合亮度和色彩的多种底层特征进行显著性检测；一种包括全局对比度、区域对比度及空间一致性等多种特征的显著性模型。

公开号为CN103218832A的专利文献公开了一种基于图像中颜色全局对比度和空域分布的视觉显著性算法，其具体步骤如下：（1）输入原始图像，运用均值漂移算法把原始图像预分割为个区域，生成个预分割后的区域标记图；（2）计算第个区域的颜色显著性值；（3）计算像素的颜色显著性值；（4）计算第个区域的位置显著性值；（5）计算像素的位置显著性值；（6）计算像素的颜色和位置的显著性值，再对像素的显著性值进行归一化，计算每个像素归一化的显著性值。本发明结合颜色全局对比度和空域分布两个方面，不仅能计算出与原始图像分辨率相同的显著性图，而且计算出的显著性图中的显著对象被均匀突显出来，同时背景很好地被抑制，更适合于图像分割这样的基于内容的应用场合。

视频显著性分析除了需要考虑视频图像的静态特征之外，还应该充分利用视频序列的时域运动特征。一种典型的策略是以混合高斯背景模型为代表的，通过学习获取复杂的背景模型，进而通过背景差提取出视频中的前景区域。另外，还有一些基于运动的显著性模型在过去十年间被研究人员陆续提出，包括：将FFT谱残差模型扩展到时域谱残差分析，进而实现运动显著性检测；一种基于特征点动态融合的时-空域显著性模型；基于图论的显著性模型，这种显著性模型也提供了动态闪烁特征用于计算运动显著性。

基于上述理论，需要一种能够融合颜色和运动信息的显著性滤波方法，使得视频的显著性图同时具有颜色特征以及运动特征。

发明内容

一种融合颜色和运动信息的视频显著性滤波方法，其特征在于，包括如下步骤：

步骤1，输入视频图像序列的其中一帧，并将其分割为若干超像素单元；

步骤2，对分割后图像的各个超像素单元进行测度计算，得到该帧视频图像不同参数的测度值，测度计算包括对颜色独立性测度、颜色空间分布测度、运动独立性测度以及运动空间分布测度的计算；

步骤3，将步骤2所得各参数的测度值进行融合，得到超像素精度的显著性图；

步骤4，对步骤3所得超像素精度的显著性图进行双边高斯滤波，得到像素精度的视频显著性图，即完成该帧视频图像的显著性滤波；

步骤5，重复步骤1至4，直至完成所有视频图像的显著性滤波。

本发明通过将颜色信息和运动信息融合进行显著性滤波，更适合对画面发生变化的视频图像进行处理，从而得到像素精度更高的显著性图。

将所得视频图像解码为YUV色彩空间，并通过对YUV色彩空间的像素进行K均值聚类从而将视频图像分割为若干超像素单元。

视频图像通常以压缩形式进行存储或传输，并且解码得到的视频图像以YUV色彩空间表示，根据YUV色彩空间的欧氏像素距离进行K均值聚类以实现超像素单元的分解。

其中在步骤2中，若所述视频图像为视频图像序列中的第一帧，则其运动独立性测度以及运动空间分布测度为0；否则，根据对前一帧视频图像的运动估计得到运动独立性测度以及运动空间分布测度。

对于第一帧图像只利用颜色信息计算颜色独立性和颜色空间分布测度，从第二帧开始，利用该帧与前一帧的运动估计获取运动信息，进而计算运动独立性和运动空间分布测度。

所述运动估计的方法为：从该帧视频图像中获取视频图像的运动矢量场，从该运动矢量场获取各个超像素单元的运动矢量，从而得到对该帧视频图像的运动估计。

通过对前一帧视频图像获取运动信息从而进行运动估计，从而获取运动矢量，用于计算超像素单元的运动独立性测度和运动空间分布测度。

采用稠密光流法获取所述视频图像的运动矢量场。其中稠密光流法是指计算图像中每个像素的光流的算法，例如Horn　Schunck光流算法、块匹配法等等。

超像素单元i的颜色独立性测度U_i,c计算方法为：

$U_{i,c}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(L_i,L_j){\left|\right|c_i-c_j\left|\right|}^2$

其中，N为整帧图像的超像素单元个数，c_i和c_j为超像素单元i和j的平均像素值，L_i和L_j为超像素单元i和j的坐标位置，ω(L_i,L_j)为高斯滤波权重，满足下式：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(L_i,L_j)=1,$ 其定义为：

$\mathrm{\ω}(L_i,L_j)=\frac{1}{{\mathrm{\μ}}_{i,L}}\exp (-\frac{1}{{2\mathrm{\σ}}_L^2}{\left|\right|L_i-L_j\left|\right|}^2)$

其中，σ_L用于控制颜色独立性测度的范围，μ_i,L为归一化系数。

视频图像的颜色独立性测度用于表征每一超像素单元的颜色与其他超像素单元之间的差异性。视频图像中与其他区域差异性较大的部分更能吸引人眼的注意，因此被认为是显著性区域。

超像素单元i的颜色空间分布测度D_i,c通过下式进行计算：

$D_{i,c}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(c_i,c_j)\left|\right|L_j-{\mathrm{\τ}}_i\left|\right|$

其中，ω(c_i,c_j)表示超像素单元i和j之间的颜色相似度，其高斯定义形式为：

$\mathrm{\ω}(c_i,c_j)=\frac{1}{{\mathrm{\μ}}_{i,c}}\exp (-\frac{1}{{2\mathrm{\σ}}_c^2}{\left|\right|c_i-c_j\left|\right|}^2),$ 满足 ${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(c_i,c_j)=1;$

其中，σ_c用于控制超像素单元颜色空间分布的敏感度，τ_i为超像素单元i的加权平均位置，表示为：

${\mathrm{\τ}}_i={\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(c_i,c_j)L_j$

其中，μ_i,c为归一化系数。

颜色空间分布测度用于表征色彩在视频图像中的分布情况。显著性目标应该紧凑地分布在图像的某一特定区域，而非显著性的区域则均匀分布于整帧视频图像中，σ_c取值越大，超像素单元颜色空间分布的敏感度越高。因此以超像素单元的颜色空间方差来表征该超像素单元的颜色空间分布测度。超像素单元的颜色空间方差越低，表明该超像素单元的显著性越高。

超像素单元i的运动独立性测度计算公式为：

$U_{i,m}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(L_i,L_j){\left|\right|m_i-m_j\left|\right|}^2$

其中，m_i为超像素单元i的运动矢量，m_j为超像素单元j的运动矢量。

运动独立性测度用于描述每一超像素单元的运动与其他区域间的差异性。视频中的前景目标通常是容易引起人眼注意的显著性区域。而前景目标的运动通常与背景存在较大的差异。

超像素单元i的运动空间分布测度D_i,m计算公式为：

$D_{i,m}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(m_i,m_j){\left|\right|L_j-{\mathrm{\τ}}_i\left|\right|}^2,$ 且满足下式：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(m_i,m_j)=1$

其中，ω(m_i,m_j)为超像素单元i和j之间的运动相似度，其高斯定义形式为：

$\mathrm{\ω}(m_i,m_j)=\frac{1}{{\mathrm{\μ}}_{i,m}}\exp (-\frac{1}{{2\mathrm{\σ}}_m^2}{\left|\right|m_i-m_j\left|\right|}^2)$

其中，σ_m用于控制超像素单元运动空间分布的敏感度，μ_i,m为归一化系数。

运动空间分布测度用于描述视频序列中运动信息的全局特征，其中σ_m越大，超像素单元运动空间分布的敏感度越高。前景目标的运动通常紧凑地分布于图像中的某一特定区域，而背景的杂乱运动则零散地分布于整幅视频图像中。

超像素精度的显著性图获取方法包括：

步骤3-1，将计算得到的四种测度通过线性归一化至[0,1]范围之内；

步骤3-2，对各个超像素单元进行四种测度的融合，则得到该超像素单元的显著性

的计算公式为：

${\hat{S}}_i=\mathrm{\α}\·U_{i,c}\·\exp (-k\·D_{i,c})+\mathrm{\β}\·U_{i,m}\·\exp (-k\·D_{i,m})$

其中，α为色彩显著性权重，β为运动显著性的权重，k用于控制空间分布的影响。

α、β和k均由用户设定，α越大，色彩显著性越重要，β越大，运动显著性越重要。此处U_i,c、D_i,c、U_i,m以及D_i,m分别为线性归一化后的颜色独立性测度、颜色空间分布测度、运动独立性测度以及运动空间分布测度。

本发明方法能够更加准确地反映视频图像中的显著性区域，更加精确地进行视觉显著性检测。

附图说明

图1为本发明实施例的方法流程图；

图2为对WalkbyShop序列采用当前实施例的实验结果；

图3为对Traffic序列采用当前实施例的实验结果；

图4为对Coastguard序列采用当前实施例的实验结果；

图5为对Stefan序列采用当前实施例的实验结果；

图6为对WalkbyShop序列采用当前实施例的客观检测指标对比结果；

图7为对Traffic序列采用当前实施例的客观检测指标对比结果；

图8为对Coastguard序列采用当前实施例的客观检测指标对比结果；

图9为对Stefan序列采用当前实施例的客观检测指标对比结果。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。

如图1所示，一种融合颜色和运动信息的视频显著性滤波器，包括以下步骤：

步骤1，输入视频图像序列的其中一帧，对所述的视频图像进行超像素分割，将所述的图像分割成若干视觉、面积和形状近似一致的超像素单元，相邻的超像素单元之间由强边缘分离。

对输入的视频图像进行超像素分割，需要保持图像的结构特征，同时又放弃无关紧要的色彩细节。考虑到视频图像通常以压缩形式进行存储或传输，并且解码得到的视频图像以YUV色彩空间表示，根据YUV色彩空间的欧氏像素距离进行K均值聚类以实现超像素单元的分解，设定(Y_p，U_p，V_p)为像素点p的像素值，(x_p,y_p)为像素点p的位置坐标，(Y_q，U_q，V_q)为像素点q的像素值，(x_q,y_q)为像素点q的位置坐标，则像素点p和q之间的像素距离D_pq可由下式得到：

$\begin{array}{c}{d}_{\mathrm{YUV}}=\sqrt{{\left(Y_p{-Y}_q\right)}^2+{(U_p-U_q)}^2+{(V_p-V_q)}^2}\\ d_{\mathrm{xy}}=\sqrt{{(x_p-x_q)}^2+{(y_p-y_q)}^2}\\ D_{\mathrm{pq}}=d_{\mathrm{YUV}}+\frac{\mathrm{\λ}}{S}{d}_{\mathrm{xy}}\end{array}---\left(1\right)$

其中，λ为控制超像素单元聚合度的参数，本发明实施例中取值为8，S为分割所得超像素单元近似相等的面积。

步骤2，对超像素分割后的视频图像进行测度计算：对于第一帧图像只利用颜色信息计算颜色独立性和颜色空间分布测度，从第二帧开始，利用该帧与前一帧的运动估计获取运动信息，进而计算运动独立性和运动空间分布测度。

其中，对输入的视频图像进行运动估计，获取所述视频图像的运动矢量场，并获取步骤1所得超像素单元的运动矢量。采用稠密光流法进行运动估计，获取视频图像的运动矢量场，超像素单元i的运动矢量

通过式(2)进行计算：

$\left\{\begin{array}{c}{m}_i^x=\left(\underset{p\∈i}{\mathrm{\Σ}}{m}_{x,p}\right)/N_i\\ m_i^y=\left(\underset{p\∈i}{\mathrm{\Σ}}{m}_{y,p}\right)/N_i\end{array}\right.---\left(2\right)$

式(2)中，p为超像素单元i中的像素点，N_i为超像素单元i中的像素点数目，m_x，p为像素点p水平方向的运动矢量，m_y，p为像素点p垂直方向的运动矢量。

步骤2-1，计算视频图像的颜色独立性测度，获取超像素单元的颜色独立性。超像素单元的颜色独立性测度U_i，c通过式(3)进行计算：

$U_{i,c}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(L_i,L_j){\left|\right|c_i-c_j\left|\right|}^2---\left(3\right)$

式(3)中：N为整帧视频图像超像素单元的个数；c_i和c_j为超像素单元i和j的平均像素值；L_i和L_j为超像素单元i和j的坐标位置；ω(L_i,L_j)为高斯滤波权重，定义为：

$\mathrm{\ω}(L_i,L_j)=\frac{1}{{\mathrm{\μ}}_{i,L}}\exp (-\frac{1}{{2\mathrm{\σ}}_L^2}{\left|\right|L_i-L_j\left|\right|}^2)---\left(4\right)$

式(4)中，σ_L用于控制颜色独立性测度的范围，本发明实施例中取值为0.25，μ_i，L为归一化系数，以满足式(5)：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(L_i,L_j)=1---\left(5\right)$

步骤2-2，计算视频图像的颜色空间分布测度，获取超像素单元的颜色空间分布。

超像素单元的颜色空间分布测度D_i，c通过式(6)进行计算：

$D_{i,c}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(c_i,c_j)\left|\right|L_j-{\mathrm{\τ}}_i\left|\right|---\left(6\right)$

式(6)中：ω(c_i,c_j)表示超像素单元i和j之间的颜色相似度，其高斯定义形式为：

$\mathrm{\ω}(c_i,c_j)=\frac{1}{{\mathrm{\μ}}_{i,c}}\exp (-\frac{1}{{2\mathrm{\σ}}_c^2}{\left|\right|c_i-c_j\left|\right|}^2)---\left(7\right)$

式(7)中，σ_c用于控制超像素单元颜色空间分布的敏感度，本发明实施例中取值为20，τ_i为超像素单元i的加权平均位置，表示为：

${\mathrm{\τ}}_i={\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(c_i,c_j)L_j---\left(8\right)$

式(7)中，μ_i，c为归一化系数，满足式(9)：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(c_i,c_j)=1---\left(9\right)$

步骤2-3，计算视频图像的运动独立性测度，获取超像素单元的运动独立性。类似于颜色独立性，超像素单元i的运动独立性U_i，m通过式(10)进行计算：

$U_{i,m}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(L_i,L_j){\left|\right|m_i-m_j\left|\right|}^2---\left(10\right)$

式(10)中，m_i和m_j分别为超像素单元i和j的运动矢量。

步骤2-4，计算视频图像的运动空间分布测度，获取超像素单元的运动空间分布。类似于颜色空间分布，以超像素单元运动矢量的空间方差表征该超像素单元运动的空间分布。超像素单元i的运动空间分布D_i，m通过式(11)进行计算：

$D_{i,m}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(m_i,m_j){\left|\right|L_j-{\mathrm{\τ}}_i\left|\right|}^2---\left(11\right)$

在式(11)中，ω(m_i，m_j)为超像素单元i和j之间的运动相似度，其高斯定义形式为：

$\mathrm{\ω}(m_i,m_j)=\frac{1}{{\mathrm{\μ}}_{i,m}}\exp (-\frac{1}{{2\mathrm{\σ}}_m^2}{\left|\right|m_i-m_j\left|\right|}^2)---\left(12\right)$

式(12)中，σ_m用于控制超像素单元运动空间分布的敏感度，本发明实施例中取值为10，μ_i，m为归一化系数，满足式(12)：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(m_i,m_j)=1---\left(13\right)$

步骤3，对所述的视频图像，融合步骤2计算得到的四种测度，获得超像素精度的显著性图。超像素精度的显著性图计算包括：

步骤3-1，将步骤2中计算得到的四种测度线性归一化至[0，1]范围之内。

步骤3-2，对所述的每一超像素单元i，定义其显著性

为四种测度的融合。

的具体计算形式为：

${\hat{S}}_i=\mathrm{\α}\·U_{i,c}\·\exp (-k\·D_{i,c})+\mathrm{\β}\·U_{i,m}\·\exp (-k\·D_{i,m})---\left(14\right)$

将步骤3中得到的U_i,c、D_i,c、U_i,m及D_i,m分别归一化到[0,1]范围内。式(14)中：α为色彩显著性的权重，β为运动显著性的权重，本发明实施例取值分别为0.2和0.8，k用于控制空间分布的影响，本发明实施例中取值为3。其中D_i，c越大则颜色空间分布越广，D_i，m越大则运动空间分布越广，则对应超像素单元的显著性越小；U_i，c越大则颜色独立性越高，U_i，m越大则运动独立性越高，均对应超像素单元显著性越大。

步骤4，对所述的视频图像，对步骤3得到的超像素单元的显著性进行双边高斯滤波，获取像素精度的视频显著性图，其中采用2维双边高斯滤波器对像素精度的显著性图进行滤波，滤波过程的具体数学形式为：

$S_i=\underset{j\∈{\mathrm{\Ω}}_i}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{ij}}{\hat{S}}_j---\left(15\right)$

式(15)中：Si为最终得到的像素精度的视频显著性图，Ωi为超像素单元i的邻域超像素单元，ω_ij为高斯滤波权重，具体形式为：

${\mathrm{\ω}}_{i,j}=\frac{1}{{\mathrm{\μ}}_i}\exp (-\frac{1}{2}{(\mathrm{\η}{\left|\right|{\hat{S}}_i-{\hat{S}}_j\left|\right|}^2+\mathrm{\θ}|\left|L_i-L_j\right||}^2))---\left(16\right)$

式(16)中，η和θ为控制显著性和位置敏感度的参数，本发明实施例中取值分别为取值分别为1/3和1/10；μ_i为归一化系数。

步骤5，重复步骤1至步骤4，直到整个视频全部检测完毕。

实验效果：采用本发明方法对四种典型类型的视频序列进行显著性检测。第一类为静态背景下且仅有单一前景目标的室内场景视频，实验选用CAVLAR数据库中的WalkByShop序列；第二类为静态背景下拥有多前景目标的室外场景视频，实验选用Visor数据库中的Traffic序列；第三类为移动摄像机场景视频，实验选用标准测试序列Coastguard；最后一类为移动摄像机且为复杂背景的场景视频，实验选用标准测试序列Stefan。将本发明方法和四种现有的视频显著性检测方法相比。

这四种算法可以分为两类：一类是基于时空域信息的显著性模型，包括混合高斯背景模型(GMM)和联合动态闪烁特征的图论显著性模型(GB)；另一类是基于空域对比信息的显著性模型，包括全局对比度显著性模型(RC)和对比度显著性滤波模型(SF)。

图2至图5分别为WalkByShop、Traffic、Coastguard和Stefan序列的检测效果对比，各幅图中(a)部分表示原始视频图像，(b)部分表示采用GMM方法后的视频图像，(c)部分表示采用GB方法后的视频图像，(d)部分表示采用RC方法后的视频图像，(e)部分表示采用SF方法后的视频图像，(f)部分表示采用CSF方法（即本发明方法）后的视频图像。

同时，为了对本发明方法的效果进行客观数据指标评价，选用准确率、召回率以及加权调和均值指标三个量化评判标准对前述四个测试序列的实验结果进行比较分析。准确率定义为被正确检测到的显著性像素点数目与检测到的显著性像素点数目之比；召回率定义为被正确检测到的显著性像素点数目与真正的显著性像素点数目之比。一般而言，准确率和召回率通常是矛盾的，因此采用加权调和均值指标综合反映显著性检测的量化结果，其定义为下式：

本发明实施例中取值：ρ²=0.3。

如图6至图9所示，本发明方法能够更加准确地反映视频图像中的显著性区域，更加精确地进行视觉显著性检测。

Claims (10)

1.一种融合颜色和运动信息的视频显著性滤波方法，其特征在于，包括如下步骤：

步骤1，输入视频图像序列的其中一帧，并将其分割为若干超像素单元；

步骤2，对分割后图像的各个超像素单元进行测度计算，得到该帧视频图像不同参数的测度值，测度计算包括对颜色独立性测度、颜色空间分布测度、运动独立性测度以及运动空间分布测度的计算；

步骤3，将步骤2所得各参数的测度值进行融合，得到超像素精度的显著性图；

步骤4，对步骤3所得超像素精度的显著性图进行双边高斯滤波，得到像素精度的视频显著性图，即完成该帧视频图像的显著性滤波；

步骤5，重复步骤1至4，直至完成所有视频图像的显著性滤波。

2.如权利要求1所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，将所得视频图像解码为YUV色彩空间，并通过对YUV色彩空间的像素进行K均值聚类从而将视频图像分割为若干超像素单元。

3.如权利要求1所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，其中在步骤2中，若所述视频图像为视频图像序列中的第一帧，则其运动独立性测度以及运动空间分布测度为0；否则，根据对前一帧视频图像的运动估计得到运动独立性测度以及运动空间分布测度。

4.如权利要求3所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，所述运动估计的方法为：从该帧视频图像中获取视频图像的运动矢量场，从该运动矢量场获取各个超像素单元的运动矢量，从而得到对该帧视频图像的运动估计。

5.如权利要求4所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，采用稠密光流法获取所述视频图像的运动矢量场。

6.如权利要求1所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，超像素单元i的颜色独立性测度U_i,c计算方法为：

$U_{i,c}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(L_i,L_j){\left|\right|c_i-c_j\left|\right|}^2$

其中，N为整帧图像的超像素单元个数，c_i和c_j为超像素单元i和j的平均像素值，L_i和L_j为超像素单元i和j的坐标位置，ω(L_i,L_j)为高斯滤波权重，满足下式：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(L_i,L_j)=1,$ 其定义为：

$\mathrm{\ω}(L_i,L_j)=\frac{1}{{\mathrm{\μ}}_{i,L}}\exp (-\frac{1}{{2\mathrm{\σ}}_L^2}{\left|\right|L_i-L_j\left|\right|}^2)$

其中，σ_L用于控制颜色独立性测度的范围，μ_i,L为归一化系数。

7.如权利要求6所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，超像素单元i的颜色空间分布测度D_i,c通过下式进行计算：

$D_{i,c}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(c_i,c_j)\left|\right|L_j-{\mathrm{\τ}}_i\left|\right|$

其中，ω(c_i,c_j)表示超像素单元i和j之间的颜色相似度，其高斯定义形式为：

$\mathrm{\ω}(c_i,c_j)=\frac{1}{{\mathrm{\μ}}_{i,c}}\exp (-\frac{1}{{2\mathrm{\σ}}_c^2}{\left|\right|c_i-c_j\left|\right|}^2),$ 满足 ${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(c_i,c_j)=1;$

其中，σ_c用于控制超像素单元颜色空间分布的敏感度，τ_i为超像素单元i的加权平均位置，表示为：

${\mathrm{\τ}}_i={\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(c_i,c_j)L_j$

其中，μ_i,c为归一化系数。

8.如权利要求7所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，超像素单元i的运动独立性测度计算公式为：

$U_{i,m}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(L_i,L_j){\left|\right|m_i-m_j\left|\right|}^2$

其中，m_i为超像素单元i的运动矢量，m_j为超像素单元j的运动矢量。

9.如权利要求8所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，超像素单元i的运动空间分布测度D_i,m计算公式为：

$D_{i,m}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}(m_i,m_j){\left|\right|L_j-{\mathrm{\τ}}_i\left|\right|}^2,$ 且满足下式：

${\mathrm{\Σ}}_{j=1}^N\mathrm{\ω}(m_i,m_j)=1$

其中，ω(m_i,m_j)为超像素单元i和j之间的运动相似度，其高斯定义形式为：

$\mathrm{\ω}(m_i,m_j)=\frac{1}{{\mathrm{\μ}}_{i,m}}\exp (-\frac{1}{{2\mathrm{\σ}}_m^2}{\left|\right|m_i-m_j\left|\right|}^2)$

其中，σ_m用于控制超像素单元运动空间分布的敏感度，μ_i,m为归一化系数。

10.如权利要求9所述融合颜色和运动信息的视频显著性滤波方法，其特征在于，超像素精度的显著性图获取方法包括：

步骤3-1，将计算得到的四种测度线性归一化至[0,1]范围之内；

步骤3-2，对各个超像素单元进行四种测度的融合，则得到该超像素单元的显著性

的计算公式为：

${\hat{S}}_i=\mathrm{\α}\·U_{i,c}\·\exp (-k\·D_{i,c})+\mathrm{\β}\·U_{i,m}\·\exp (-k\·D_{i,m})$

其中，α为色彩显著性权重，β为运动显著性的权重，k用于控制空间分布的影响。

Images