CN105426895A - 基于马尔科夫模型的显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于马尔科夫模型的显著性检测方法。首先运用多尺度对比，中央周围直方图和颜色空间分布这三种不同的显著度计算得到显著特征图。然后通过马尔科夫模型学习计算各个显著特征图的权重，采用最大似然估计方法获取模型参数估计最优解。最后利用马尔科夫模型检测测试图像。本发明提供的方法能够更加精确地检测显著目标，检测得到的结果分辨率高，目标边界定义精准，方法计算复杂度低。

Description

基于马尔科夫模型的显著性检测方法

技术领域

本发明涉及一种基于马尔科夫模型的显著性检测方法，属于图像处理和图像目标检测技术领域。

背景技术

视觉是人类最重要的感知觉，人脑所能接受的外界信息90％以上源于人眼的视觉感知。视觉的主要功能就是解释人们生活的周围环境，并与其发生信息交互，信息技术的迅速发展促使各种图像信息日益膨胀，人们不得不借助计算机***来处理和分析这些海量数据。但值得注意的是：一方面，图像数据的增加速度远比计算机处理能力的提高速度要快；另一方面，人们所关心的内容通常只是整个数据集合中很小的一部分。为此，一视同仁全面处理所有图像数据是不现实的，也是不必要的。如何尽快地从整个数据集中找到并提取与任务相关的那部分重要的、有用的和值得关注的信息，即视觉显著性检测问题，一直就是机器视觉和信息处理研究中长期面临的重要难题。以视觉注意为代表的图像显著性区域检测技术成为提高海量数据筛选实时性和分析准确性的重要技术途径之一。显著性检测是图像处理中一个重要内容，有着广泛的应用，如基于显著性的图像分割，图像检索，图像自动裁剪以及图像视屏压缩等。

显著性检测的本质是一种视觉注意模型，这种模型是依据视觉注意机制而建立的模型，它能够对有限的信息加工资源进行分配，使感知具备选择能力。利用视觉注意机制得到图像中最容易引起注意的显著部分，并用一幅灰度图像表示其显著度。视觉心理学研究发现，人类视觉注意可分为两种类型：自底向上的数据驱动模式和自顶向下的任务驱动模式。自底向上是在视觉处理初期，不受经验和目前任务的影响，人类对场景存在特殊关注区域即显著性区域。自顶向下是视觉处理后期，人类依据自身的经验和任务选择关注的目标，对目标进行认识。

早期的图像显著性算法其主要缺点在于分辨率低，目标边界定义差，计算复杂度高。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供了一种分辨率高、计算复杂度高的基于马尔科夫模型的显著性检测方法。

技术方案：一种基于马尔科夫模型的显著性检测方法，包括如下步骤：

步骤10：采集图像数据；

步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；

步骤30：采用马尔科夫模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；

步骤40：对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理，得到的三个归一化显著性特征函数；

步骤50：建立马尔科夫模型，对步骤40得到的三个归一化显著性特征函数用马尔科夫模型进行组合；

步骤60：用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；

步骤70：将步骤60计算得到的显著性像素用一个最小的矩形框框出，其中最小的矩形框至少框出95％以上的显著性像素，得到最终的结果。

进一步，所述步骤20中，所述三种进行特征提取的方法分别为：多尺度对比法、中央周围直方图法和颜色空间分布法；

其中，所述多尺度对比法，包括以下步骤：

步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到六层不同分辨率的高斯金字塔图像；

步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；

所述中央周围直方图法，包括以下步骤：

步骤221：用多个不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域R_s；

步骤222：在步骤221获得的图像上计算每个以像素点x为中心的显著矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离；

步骤223：比较每个不同长宽比例的矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离，选择χ²距离最大的矩形区域R为最优的矩形区域R^*(x)；

步骤224：以相邻像素x′为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素x′为中心的最优周围矩形区域R_s ^*(x′)的高斯加权χ²距离之和；

所述颜色空间分布法，包括以下步骤：

步骤231：对步骤10得到的图像中的所有颜色用高斯混合模型表示；

步骤232：利用步骤231中模型的参数计算每个像素被分配给一种颜色成分的概率；

步骤233：对步骤232中每一个颜色成分计算对应的水平方差和垂直方差，得到对应成分的空间方差；

步骤234：颜色空间分布特征函数定义为步骤233得到的空间方差中央加权之和。

进一步，步骤50中，所述用马尔科夫模型组合显著性特征过程如下：

步骤501，对步骤40得到的三个归一化显著性特征，分别计算一元势函数F_k(a_x,I)，F_k(a_x,I)表示第k个显著特征；

步骤502，对步骤40得到的三个归一化显著性特征，分别计算二元势函数S(a_x,a_x',I)配对特征，其中，二元势函数S(a_x,a_x',I)表示对相邻像素标记为不同值的惩罚项的值，a_x表示x像素点的显著性，a_x'表示x相邻像素点的显著性；

步骤503，结合步骤30得到的每个显著性特征图的最优权重和步骤501、502中得到的显著特征和配对特征，根据公式 $P\left(A\right|I)=\frac{1}{Z}\exp \left(\underset{x}{\Σ}\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\λ}}_k{F}_k\right(a_x,I)+\underset{x,x^{\′}}{\Σ}S(a_x,a_x^{\′},I\left)\right)$ 进行线性组合，其中，A为采集图像I中标签状态集合，Z为分配函数，λ_k表示第k个显著特征图的权重，K为显著特征图的总数，F_k(a_x,I)是单一变量的势函数，F_k(a_x,I)表示第k个显著特征图，S(a_x,a_x′,I)是双变量交互势函数，S(a_x,a_x′,I)表示相邻像素x,x′之间的相互作用关系。

工作原理：本发明将显著性检测看作一个图像标注问题，运用多尺度对比，中央—周围直方图和颜色空间分布这三种不同的显著度计算得到显著特征图。通过马尔科夫模型学习计算各个显著特征图的显著度的权重，采用最大似然估计方法获取模型参数估计得到最优解。最后利用马尔科夫模型检测测试图像。

有益效果：与现有技术相比，本发明提供的方法能够更加精确地检测显著目标，检测得到的结果分辨率高，目标边界定义精准，方法计算复杂度低。

附图说明

图1为本发明的流程图；

图2为本发明中显著性特征提取流程图；

图3为本发明与现有技术的实验对比图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于马尔科夫模型的显著性检测方法，包括如下步骤：

步骤10：采集图像数据；定义采集图像为I。

步骤20，对步骤10得到的图像I用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；

本实施例中采用多尺度对比法、中央周围直方图法和颜色空间分布法进行特征提取。

1、多尺度对比法

在显著性检测中，对比度方法是最常被用在局部特征上的。在不知道显著对象大小的情况下，我们采用多尺度方法分别进行局部区域的显著性检测。主要包括以下步骤：

步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到不同分辨率的图像；同时每次得到的新的图像宽与高是原来图像的1/2，得到的一系列图像称为高斯金字塔。

步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；其中，I^l是金字塔中的第l层图像，I^l(x)表示在第l层图像上像素x的状态值，即I^l(x)等于0时，表示第l层图像上像素x为显著性像素，I^l(x)等于1时，表示在第l层图像上像素x为非显著性像素；I^l(x′)表示第l层图像上像素x的相邻像素x′的状态值，金字塔一共的层数是L＝6，N(x)表示9x9的窗口。

2、中央周围直方图法

在给定的RGB颜色空间基础上，统计每种颜色分量的像素点占图像总像素的比例，从而得到图像各种颜色分量的比例分布即直方图。假设一个显著物体由矩形区域R框出，在其周围我们构造一个同等面积的矩形区域R_s。本文通过计算以像素x为中心的显著矩形区域R与其周围矩形区域R_s，它们在RGB颜色直方图之间的χ²距离来表示显著性。由于显著性物体的目标尺寸不同，我们选择不同的长宽比的矩形区域进行测试。主要包括以下步骤：

步骤221：用五组不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域R_s；其中，五组不同长宽比例为{0.5,0.75,1.0,1.5,2}；

步骤222：在步骤221获得的图像上计算每个以像素点x为中心的显著矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离；

步骤223：比较每个不同长宽比例的矩形区域R与矩形区域R等面积的周围矩形区域R_s在RGB颜色直方图之间的χ²距离，选择χ²距离最大的矩形区域R为最优的矩形区域R^*(x)；

步骤224：以相邻像素x′为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素x′为中心的最优周围矩形区域R_s ^*(x′)的高斯加权χ²距离之和；中央-周围直方图特征函数为：

$f_h(x,I)\∝\underset{\left\{x^{\′}\right|x\∈R*\left(x^{\′}\right)\}}{\Σ}{w}_{{\mathrm{xx}}^{\′}}{\mathrm{\χ}}^2\left(R^{*}\right(x^{\′}),{R_s}^{*}(x^{\′}\left)\right)$

其中权重w_xx′＝exp(-0.5σ_x′ ^-2||x-x′||²)，用高斯衰减量表示，σ_x′ ²表示像素x'的协方差，R^*(x′)表示以相邻像素x′为中心最优矩形区域。

3、颜色空间分布法

中央-周围直方图只描述了一个局部的特征区域，然而在一幅图像中全局的颜色空间分布也可以来描述显著性物体，因此本发明结合了局部和全局的特征来进行显著性检测。

步骤231：对步骤:10得到的图像中的所有颜色用高斯混合模型表示；描述一个颜色的空间分布最简单的方法就是计算颜色的空间方差，这里采用高斯混合模型(GMM)。图像中的所有颜色用GMM来表示，该模型有三个参数其中w_c表示第c个颜色的权重，u_c表示第c个颜色的颜色均值，Σ_c表示第c个颜色成分的协方差矩阵，C表示颜色的总数。

步骤232：利用步骤231中模型的参数计算每个像素被分配给一种颜色成分的概率：

$P\left(c\right|I_x)=\frac{w_{c}N\left(I_x\right|u_c,{\mathrm{\Σ}}_c)}{{\mathrm{\Σ}}_c{w}_{c}N\left(I_x\right|u_c,{\mathrm{\Σ}}_c)}$

其中，N(I_x|u_c,Σ_c)是一个高斯分布，用于判定像素x是否属于第c个颜色成分。

步骤233：对步骤232中每一个颜色成分计算对应的水平方差V_h(c)和垂直方差V_v(c)，得到对应成分的空间方差|X|_c＝V_v(c)+V_h(c)；

步骤234：颜色空间分布特征函数定义为步骤433得到的空间方差中央加权的

之和 $f_s(x,I)\∝\underset{c}{\Σ}p\left(c\right|I_x)\·(1-V(c\left)\right).$

步骤30：建立马尔科夫模型，采用马尔科夫模型的机器学习方法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；本实施例中得到的最优权重λ^*＝{0.25,0.48,0.27}

步骤40：对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理；

三种不同的显著性特征分别定义一个显著特征函数f_x(x,I)，然后将其进行归一化f_x(x,I)∈[0,1]。将显著特征定义为如下：

F_k(a_x,I)＝f_x(x,I)a_x＝0

其中，a_x＝0表示x像素点为显著性，a_x＝1表示x像素点为非显著性。

双变量交互势函数表示如下：

S(a_x,a_x',I)＝|a_x-a_x′|·exp(-βd_x,x′)

其中，d_x,x′＝||I_x-I_x′||是颜色差的二范数表示，β＝(2<||I_x-I_x′||²>)^-1表示颜色对比度权重参数。

步骤50：对步骤40得到的三个归一化显著性特征函数用马尔科夫模型进行组合；

步骤60：用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；

为了得到最优的特征线性组合，对N幅训练图像运用最大似然估计进行训练，其中Aⁿ表示第n幅训练图像Iⁿ的显著图，n表示第n幅训练图像，对其取log之后表达式是凸函数，具有最优解如下：

${\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{*}=\arg \underset{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}{\max }\underset{n}{\&Sigma;}\log P\left(A^n\right|I^n;\stackrel{\&RightArrow;}{\mathrm{\&lambda;}})$

当得到最优的参数后，通过马尔科夫模型推导，求得最终的最优解：

y^*＝argmaxP(A|I)

步骤70：将步骤60计算得到一系列状态值，其中，0表示显著性像素，1表示非显著性像素，用一个最小的矩形框框出显著性像素，其中最小的矩形框至少框出95％以上的显著性像素，得到最终的结果。

将上面得到的多尺度对比法，中央周围直方图法和颜色空间分布法得到的特征通过训练得到的最优权重进行线性组合，根据供述 $y^{*}=\frac{1}{Z}\exp \left(\underset{x}{\&Sigma;}\right(0.25f_c\left(x,I\right)+0.48f_h\left(x,I\right)+0.27f_s\left(x,I\right)\left)\right)+\underset{x,x^{\&prime;}}{\&Sigma;}S(a_x,{a_x}^{\&prime;},I)$ 得到出现概率最大的标记序列，将标记序列用灰度图像表示出来从而可以得到最终的显著图。

通过上述实施方式，可见本发明具有如下优点：为了衡量本发明所提算法的有效性，我们可以用测评指标：召回率(Recall)，精确率(Precision)和F-值(F-measure)来比较。如图3所示，分别将单独采用局部多尺度对比，中央-周围直方图和空间颜色分布特征经过测试得到的测评指标，以及最后我们的方法将三个特征函数通过最优权值线性组合得到的测评指标做比较。图3中单独采用局部多尺度对比的实验结果为1，单独采用中央-周围直方图的实验结果为2，单独采用空间颜色分的实验结果为3，将三个特征函数通过最优权值线性组合的试验结果为4。从图3中我们可以看出采用多尺度对比特征得到的结果是精确率很高的同时召回率也很低，由于显著物体内部区域是相同类的，所以内部的对比度不高从而导致了较低的召回率。中央-周围直方图在这几种方法中得到一个较好的F-值，这种特征描述虽然在背景区域包含一些错误的像素，但是这种局部特征能够很好地检测出完整的显著物体。空间颜色分布有较低的精确率和最高的召回率。在我们研究的显著性检测中，召回率的指标没有精确率重要。将三种特征线性组合得到本方法中，精确率，召回率和F-值的指标都较高。本发明结合了局部和全局特征，通过马尔科夫模型学习训练参数，将三种不同的特征线性组合得到最优的结果。通过实验表明，本方法同以前的方法比较，本方法能更准确地检测出显著物体。

Claims (3)

1.一种基于马尔科夫模型的显著性检测方法，其特征在于，包括如下步骤：

步骤10：采集图像数据；

步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；

步骤30：采用马尔科夫模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；

步骤40：对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理，得到的三个归一化显著性特征函数；

步骤50：建立马尔科夫模型，对步骤40得到的三个归一化显著性特征函数用马尔科夫模型进行组合；

步骤60：用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；

步骤70：将步骤60计算得到的显著性像素用一个最小的矩形框框出，其中最小的矩形框至少框出95％以上的显著性像素，得到最终的结果。

2.如权利要求1所述的基于马尔科夫模型的显著性检测方法，其特征在于，所述步骤20中，所述三种进行特征提取的方法分别为：多尺度对比法、中央周围直方图法和颜色空间分布法；

其中，所述多尺度对比法，包括以下步骤：

步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到六层不同分辨率的高斯金字塔图像；

步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；

所述中央周围直方图法，包括以下步骤：

步骤221：用多个不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域R_s；

步骤222：在步骤221获得的图像上计算每个以像素点x为中心的显著矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离；

步骤223：比较每个不同长宽比例的矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离，选择χ²距离最大的矩形区域R为最优的矩形区域R^*(x)；

步骤224：以相邻像素x′为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素x′为中心的最优周围矩形区域R_s ^*(x′)的高斯加权χ²距离之和；

所述颜色空间分布法，包括以下步骤：

步骤231：对步骤10得到的图像中的所有颜色用高斯混合模型表示；

步骤232：利用步骤231中模型的参数计算每个像素被分配给一种颜色成分的概率；

步骤233：对步骤232中每一个颜色成分计算对应的水平方差和垂直方差，得到对应成分的空间方差；

步骤234：颜色空间分布特征函数定义为步骤233得到的空间方差中央加权之和。

3.如权利要求1所述的基于马尔科夫模型的显著性检测方法，其特征在于，步骤50中，所述用马尔科夫模型组合显著性特征过程如下：

步骤501，对步骤40得到的三个归一化显著性特征，分别计算一元势函数F_k(a_x,I)，F_k(a_x,I)表示第k个显著特征；

步骤502，对步骤40得到的三个归一化显著性特征，分别计算二元势函数S(a_x,a_x',I)配对特征，其中，二元势函数S(a_x,a_x',I)表示对相邻像素标记为不同值的惩罚项的值，a_x表示x像素点的显著性，a_x'表示x相邻像素点的显著性；

步骤503，结合步骤30得到的每个显著性特征图的最优权重和步骤501、502中得到的显著特征和配对特征，根据公式 $P\left(A\right|I)=\frac{1}{Z}\exp \left(\underset{x}{\&Sigma;}\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&lambda;}}_k{F}_k\right(a_x,I)+\underset{x,x^{\&prime;}}{\&Sigma;}S(a_x,{a_x}^{\&prime;},I\left)\right)$ 进行线性组合，其中，A为采集图像I中标签状态集合，Z为分配函数，λ_k表示第k个显著特征图的权重，K为显著特征图的总数，F_k(a_x,I)是单一变量的势函数，F_k(a_x,I)表示第k个显著特征图，S(a_x,a_x′,I)是双变量交互势函数，S(a_x,a_x′,I)表示相邻像素x,x′之间的相互作用关系。