CN105488812A - 一种融合运动特征的时空显著性检测方法 - Google Patents

Abstract

本发明属于图像与视频处理领域，具体是一种融合空间显著性和运动特征的时空显著性检测方法。首先，用超像素分割算法将每一帧图像表示为一系列超像素并且提取超像素级的颜色直方图作为特征；然后，通过计算颜色的全局对比和空间分布得到空间显著图；其次，通过光流估计和块匹配的方法得到运动显著图；最后，使用动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了空间显著性和运动特征而进行显著性检测，使该算法能够同时运用于静态和动态场景中的显著性检测。

Description

一种融合运动特征的时空显著性检测方法

1、技术领域

本发明属于图像与视频处理领域，具体是一种融合运动特征的时空显著性检测方法。本发明以基于区域的显著性检测模型为基础，首先，用超像素分割算法将每一帧图像表示为一系列超像素并且提取超像素级的颜色直方图作为特征；然后，通过光流估计和块匹配的方法得到运动显著图，根据颜色的全局对比和空间分布得到空间显著图；最后，使用一种动态融合策略将运动显著图和空间显著图融合成为最终的时空显著图。该方法融合了运动特征进行显著性检测，能够同时运用于静态和动态场景中。

2、背景技术

显著性检测是指准确地定位并提取在视频和图像中包含较大的信息量、能吸引人的注意力的区域。在图像处理过程中，将较高的处理优先级赋予图像显著区域，既可以降低计算过程的复杂度，又可以提高图像处理的效率。因此，显著性检测在目标识别、图像检索、视频图像编码等领域具有广泛的应用前景。

根据处理的信息源图像的不同，显著性检测模型可分为空域显著性检测模型和时空显著性检测模型。针对静态场景的空域显著性检测，主要有基于生物启发模型和特征整合理论的显著性检测方法，该算法通过中心-周围算子计算不同尺度上特征的差别来得到显著度。有通过计算像素与其周边像素的特征距离的基于局部对比度分析的图像显著性检测。也有将图像分割为若干区域，结合图像的空间特性和颜色对比度来计算全局对比的显著区域检测方法。

动态场景下的时空显著性检测算法不仅要考虑检测空间显著性区域，还要考虑时间轴上显著性的影响因素，如物体运动、自然条件变化、相机移动等等。根据计算方式的不同，时空显著性检测算法主要分为四类：(1)基于特征融合的模型：在图像显著性检测模型的基础上加入运动特征，计算连续两帧图像的差异来得到运动产生的显著性；(2)基于空间平面的模型：谱残余方法的基础上，认为在时间轴上，帧序列构成的像素点在X-T，Y-T平面都满足谱残余的结论，将X-T，Y-T平面看作二维矩阵，分别进行低秩-稀疏分解，最后融合成为最终的显著图；(3)基于频域分析的模型：从频域分析角度出发，将亮度、颜色、运动三类特征组合四元数组，然后通过四元数傅里叶变换获取视频在时空域上的相位谱，并利用该相位谱检测视频的显著性；(4)基于背景检测的模型：高斯混合模型也被用于时空显著性检测，在单一场景中，将高斯混合模型计算出的前景区域作为显著区域。以上方法将静态显著性和动态显著性简单的线性融合或者只突出了运动特征，忽略了场景中的动态特性和空间特性，难以获取准确的显著区域。

3、发明内容

本发明以基于区域的显著性检测模型为基础，融入光流向量块对比的方法提取图像序列的运动特征，并提出了一种将空域显著性和时域显著性动态融合的策略，能够同时运用于静态和动态的自然场景中。

(1)超像素分割及特征提取

使用简单线性迭代聚类将每一帧图像F_t表示为一系列超像素将超像素作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能够均匀地突出显著对象。颜色特征的提取采用颜色直方图，将Lab颜色空间的每一个通道量化得到12个不同的值，将颜色的数量减少到qc＝12³＝1728，对于每一个超像素计算超像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CH_t，最后将颜色直方图归一化，使得 ${\mathrm{\Σ}}_{k=1}^{qc}{\mathrm{CH}}_t\left(k\right)=1.$

(2)基于运动特征的时间显著性

本发明采用光流运动估计和块匹配的方法来提取图像序列的运动特征。光流运动估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧F_t，使用其前一帧F_t-1作为参考帧，通过光流运动估计法计算得到F_t的运动向量场(u_(x，y)，v_(x，y))，对于当前帧F_t中的每一个超像素计算其平均运动矢量大小

为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到与当前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著值。具体的实现方法：在帧F_t-1中选择与其最匹配的超像素把相连接的超像素与其一起作为相关联超像素集合ψ_i，分别表示超像素i，j的中心位置。因此，超像素的时间显著性定义为：

$S_{motion}\left({\mathrm{sp}}_t^i\right)=\frac{\underset{{\mathrm{sp}}_{t-1}^j\∈{\mathrm{\ψ}}_i}{\Σ}\mathrm{\λ}({\mathrm{sp}}_t^i,{\mathrm{sp}}_{t-1}^j)\·S_{motion}\left({\mathrm{sp}}_{t-1}^j\right)}{\underset{{\mathrm{sp}}_{t-1}^j\∈{\mathrm{\ψ}}_i}{\Σ}\mathrm{\λ}({\mathrm{sp}}_t^i,{\mathrm{sp}}_{t-1}^j)}---\left(1\right)$

其中，帧间相关性 $\mathrm{\λ}({\mathrm{sp}}_t^i,{\mathrm{sp}}_{t-1}^j)=\sqrt{c\left(i\right)\·c\left(j\right)}\·\[1-\frac{\left|\right|{\mathrm{\μ}}_t^i-{\mathrm{\μ}}_{t-1}^j+{\mathrm{mmv}}_t^i\left|\right|}{d}\],$ c(i)和c(j)分别表示超像素i和j在Lab颜色空间量化后的颜色值。

(3)空间显著性

本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当前帧中的超像素其颜色全局对比显著值定义为：

$S_{GC}\left(i\right)=\underset{j=1}{\overset{n_t}{\Σ}}{f}_j\·\left|\right|c\left(i\right)-c\left(j\right)\left|\right|---\left(2\right)$

其中，f_j超像素的直方图在整幅图像中出现的概率，c(i)和c(j)分别表示超像素i和j在Lab颜色空间量化后的颜色值。

颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜色的空间分布显著性定义为：

$S_{sc}\left(i\right)=\frac{\underset{j=1}{\overset{n_t}{\Σ}}\mathrm{\λ}({\mathrm{sp}}_t^j,{\mathrm{sp}}_t^j)\·D\left({\mathrm{sp}}_t^j\right)}{\underset{j=1}{\overset{n_t}{\Σ}}\mathrm{\λ}({\mathrm{sp}}_t^i,{\mathrm{sp}}_t^j)}---\left(3\right)$

其中，为超像素j的中心与图像中心的距离， $\mathrm{\λ}({\mathrm{sp}}_t^i,{\mathrm{sp}}_t^j)=\sqrt{c\left(i\right)\·c\left(j\right)}\·\[1-\frac{\left|\right|{\mathrm{\μ}}_t^i-{\mathrm{\μ}}_t^j\left|\right|}{d}\],$ 当超像素i和j的颜色越相近并且距离越小，的值越大。

最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：

$S_{spatial}\left({\mathrm{sp}}_t^i\right)=S_{GC}\left({\mathrm{sp}}_t^i\right)\·S_{SC}\left({\mathrm{sp}}_t^i\right)---\left(4\right)$

(4)时空显著性

将时间显著性和空间显著性自适应线性融合得到时空显著图，即：

$Saliency\left({\mathrm{sp}}_t^i\right)=\mathrm{\α}\·S_{spatial}\left({\mathrm{sp}}_t^i\right)+(1-\mathrm{\α})\·S_{nmporal}\left({\mathrm{sp}}_t^i\right)---\left(5\right)$

权值α定义为：

$\mathrm{\α}=max\[\frac{med({\mathrm{MS}}_{t-f},\mathrm{...},{\mathrm{MS}}_{t-1})}{med({\mathrm{MS}}_{t-f},\mathrm{...},{\mathrm{MS}}_{t-1})+{\mathrm{MS}}_t},0.5\]---\left(6\right)$

其中， 表示超像素i中的像素个数。动态场景下当运动越明显时，时间显著性的权值越大，静态场景下，α直接设置为1。

4、附图说明

附图是本发明的原理和实现步骤。

5、具体实施方式

附图1为该发明的实施流程图，其具体步骤为：

(1)图像预处理：将输入的每一帧图像通过SLIC超像素分割算法分割为一系列大小均匀、紧凑的超像素作为显著性检测的基本处理单元。

(2)颜色特征的提取：对于每一帧图像，以超像素为单位，计算超像素中所有像素在Lab空间的均值，进行量化得到颜色直方图CH_t并且归一化使得

(3)时间显著性计算：通过光流运动估计法计算得到F_t相对于前一帧F_t-1的运动向量场(u_(x，y)，v_(x，y))，并且计算得到超像素内平均矢量场大小然后通过块匹配的方法在前一帧中找到与当前帧最匹配的超像素及其相关超像素集合，使用公式(1)得到图像的时间显著图。

(4)空间显著性计算：根据基于区域的静态显著性检测模型为基础，使用公式(2)和公式(3)分别得到以超像素为基本单位的颜色全局对比显著性和颜色空间分布显著性，并通过公式(4)将其融合成为最终的空间显著图。

(5)时空显著性计算：根据公式(5)将时间显著性和空间显著性自适应线性融合得到时空显著图。

Claims (5)

1.一种融合运动特征的时空显著性检测方法，其特征是：

每将一帧图像进行超像素分割，并以超像素作为基本单元提取颜色直方图，根据颜色的全局对比和空间分布计算每一帧图像的空间显著性，采用光流运动估计和块匹配的方法来提取图像序列的运动特征，将空域显著性和时域显著性动态融合，使该算法能够同时运用于静态和动态的自然场景中运动特征的检测。

2.如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的超像素分割和超像素区域颜色直方图特征提取方法是：

使用线性迭代聚类方法将每一帧图像F_t表示为一系列超像素将超像素作为基本的处理单元，可以减少处理单元的数量，而且可以保证最终的检测结果能够均匀地突出显著对象。

对分割得到的超像素区域的颜色特征计算颜色直方图。将Lab颜色空间的每一个通道量化得到12个不同的值，将颜色的数量减少到qc＝12³＝1728。对于每一个超像素计算超像素中所有像素在Lab空间的均值，并且进行量化得到颜色直方图CH_t，最后将颜色直方图归一化，使得

3.如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的空间显著性计算方法是：

本发明根据颜色的全局对比和空间分布来计算每一帧图像的空间显著性。对于当前帧中的超像素其颜色全局对比显著值定义为：

其中，f_j超像素的直方图在整幅图像中出现的概率，c(i)和c(j)分别表示超像素i和j在Lab颜色空间量化后的颜色值。

颜色的空间分布也会影响图像的显著性，颜色分布越紧密，则显著性越高，因此颜色的空间分布显著性定义为：

其中，为超像素j的中心与图像中心的距离，当超像素i和j的颜色越相近并且距离越小，的值越大。

最后将颜色全局分布显著性与空间分布显著性融合得到图像的空间显著性：

。

4.如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的采用光流运动估计和块匹配的方法来提取图像序列的运动特征的计算方法是：

光流运动估计法的基本思想是将运动图像函数f(x，y，t)作为基本函数，根据图像强度守恒原理建立光流约束方程，通过求解光流约束方程，计算运动参数。对于当前帧F_t，使用其前一帧F_t-1作为参考帧，通过光流运动估计法计算得到F_t的运动向量场(u_(x，y)，v_(x，y))，对于当前帧F_t中的每一个超像素计算其平均运动矢量大小

为了克服背景运动和相机抖动的影响，本发明通过块匹配的方法在前一帧中找到与当前帧最匹配的超像素，并且计算该超像素与其背景超像素的相对运动值作为其显著值。具体的实现方法：在帧F_t-1中选择与其最匹配的超像素把相连接的超像素与其一起作为相关联超像素集合ψ_i，分别表示超像素i，j的中心位置。因此，超像素的时间显著性定义为：

其中，帧间相关性c(i)和c(j)分别表示超像素i和j在Lab颜色空间量化后的颜色值。

5.如权利要求1所述的一种融合运动特征的时空显著性检测方法，其特征是所述的时间显著性和空间显著性自适应线性融合得到时空显著图的计算方法是：

权值α定义为：

其中， 表示超像素i中的像素个数。动态场景下当运动越明显时，时间显著性的权值越大，静态场景下，α直接设置为1。