CN104077609A - 一种基于条件随机场的显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于条件随机场的显著性检测方法，主要将显著性检测看做一个图像标注问题，运用多尺度对比，中央—周围直方图和颜色空间分布这三种不同的显著度计算得到显著特征图。通过CRF学习计算各个显著特征图的显著度的权重，采用最大似然估计方法获取模型参数估计得到最优解。最后利用CRF检测测试图像。本发明提供的方法能够更加精确地检测显著目标，检测得到的结果分辨率高，目标边界定义精准，方法计算复杂度小。

Description

一种基于条件随机场的显著性检测方法

技术领域

本发明属于图像处理和图像目标检测领域，特别涉及一种基于条件随机场的显著性检测方法。

背景技术

视觉是人类最重要的感知觉,人脑所能接受的外界信息90％以上源于人眼的视觉感知。视觉的主要功能就是解释人们生活的周围环境,并与其发生信息交互，信息技术的迅速发展促使各种图像信息日益膨胀,人们不得不借助计算机***来处理和分析这些海量数据。但值得注意的是:一方面,图像数据的增加速度远比计算机处理能力的提高速度要快；另一方面,人们所关心的内容通常只是整个数据集合中很小的一部分。为此,一视同仁全面处理所有图像数据是不现实的,也是不必要的。如何尽快地从整个数据集中找到并提取与任务相关的那部分重要的、有用的和值得关注的信息,即视觉显著性检测问题,一直就是机器视觉和信息处理研究中长期面临的重要难题。以视觉注意为代表的图像显著性区域检测技术成为提高海量数据筛选实时性和分析准确性的重要技术途径之一。显著性检测是图像处理中一个重要内容，有着广泛的应用，如基于显著性的图像分割，图像检索，图像自动裁剪以及图像视屏压缩等。

显著性检测的本质是一种视觉注意模型，这种模型是依据视觉注意机制而建立的模型，它能够对有限的信息加工资源进行分配，使感知具备选择能力。利用视觉注意机制得到图像中最容易引起注意的显著部分，并用一幅灰度图像表示其显著度。视觉心理学研究发现，人类视觉注意可分为两种类型：自底向上的数据驱动模式和自顶向下的任务驱动模式。自底向上是在视觉处理初期，不受经验和目前任务的影响，人类对场景存在特殊关注区域即显著性区域。自顶向下是视觉处理后期，人类依据自身的经验和任务选择关注的目标，对目标进行认识。

条件随机场(下文简称：CRF)是一种判别式模型。简单地讲随机场可以看成是一组随机变量的集合，当给每一个位置按照某种分布随机赋予一个值之后，其全体就叫做随机场。与生成式隐马尔科夫模型(下文简称：HMM)相比，CRF可以选择上下文相关特征，不存在标记偏置问题。CRF是一个无向图模型，该模型是在给定需要标记的观察序列的条件下，计算整个标记序列的联合概率。CRF模型主要有三个基本任务：1.特征函数的选择，这直接关系到模型性能。2.参数评估，从已经标记号的训练数据学习CRF模型的参数，即各个特征函数的权重向量。3.模型推断，在给定条件随机场模型参数下，预测出最可能的状态序列。

早期的图像显著性算法其主要缺点在于分辨率低，目标边界定义差，计算复杂度高。

发明内容

发明目的：针对现有技术存在的问题，本发明提供了一种分辨率高、计算复杂度高的条件随机场的显著性检测方法。

发明内容：本发明提供了一种基于条件随机场的显著性检测方法，包括如下步骤：

步骤10：采集图像数据；

步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；

步骤30：采用条件随机场模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；

步骤40：对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理；

步骤50：建立条件随机场模型，对步骤40得到的三个归一化显著性特征函数用条件随机场模型进行组合；

步骤60：用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；

步骤70：将步骤60计算得到的显著性像素用一个最小的矩形框，其中最小的矩形框至少框出95％以上的显著性像素，得到最终的结果。

进一步，所述步骤20中，所述三种进行特征提取的方法分别为：多尺度对比法、中央周围直方图法和颜色空间分布法；

其中，所述多尺度对比法，包括以下步骤：

步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到不同分辨率的图像；

步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；

所述中央周围直方图法，包括以下步骤：

步骤221：用多个不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域R_s；

步骤222：在步骤221获得的图像上计算每个以像素点x为中心的显著矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离；

步骤223：比较每个不同长宽比例的矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离，现在χ²距离最大的矩形区域R为最优的矩形区域R^*(x)；

步骤224：以相邻像素x′为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素x′为中心的最优周围矩形区域R_s ^*(x′)的高斯加权χ²距离之和；

所述颜色空间分布法，包括以下步骤：

步骤231：对步骤10得到的图像中的所有颜色用高斯混合模型表示；

步骤232：利用步骤231中模型的参数计算计算每个像素被分配给一种颜色成分的条件概率；

步骤233：对步骤232中每一个颜色成分计算对应的水平方差和垂直方差，得到对应成分的空间方差；

步骤234：颜色空间分布特征函数定义为步骤433得到的空间方差中央加权之和。

进一步，步骤50中，所述用条件随机场模型组合显著性特征过程如下：

步骤501，对步骤40得到的三个归一化显著性特征，分别计算一元势函数F_k(a_x,I)，F_k(a_x,I)表示第k个显著特征；

步骤502，对步骤40得到的三个归一化显著性特征，分别计算二元势函数S(a_x,a_x',I)配对特征，其中，二元势函数S(a_x,a_x',I)表示对相邻像素标记为不同值的惩罚项的值，a_x表示x像素点的显著性，a_x'表示x相邻像素点的显著性；

步骤503，结合步骤30得到的每个显著性特征图的最优权重和步骤501、502中得到的显著特征和配对特征，根据公式 $P\left(A\right|I)=\frac{1}{Z}\exp (\underset{x}{\mathrm{\Σ}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\λ}}_k{F}_k(a_x,I)+\underset{x,x^{\′}}{\mathrm{\Σ}}S(a_x,{a_x}^{\′},I))$ 进行线性组合，其中，A为采集图像I中标签状态集合，Z为分配函数，λ_k表示第k个显著特征图的权重，K为显著特征图的总数，F_k(a_x,I)是单一变量的势函数，F_k(a_x,I)表示第k个显著特征图，S(a_x,a_x′,I)是双变量交互势函数，S(a_x,a_x′,I)表示相邻像素x,x′之间的相互作用关系。

工作原理：本发明将显著性检测看做一个图像标注问题，运用多尺度对比，中央—周围直方图和颜色空间分布这三种不同的显著度计算得到显著特征图。通过CRF学习计算各个显著特征图的显著度的权重，采用最大似然估计方法获取模型参数估计得到最优解。最后利用CRF检测测试图像。

有益效果：与现有技术相比，本发明提供的方法能够更加精确地检测显著目标，检测得到的结果分辨率高，目标边界定义精准，方法计算复杂度小。

附图说明

图1为本发明的流程图；

图2为本发明中显著性特征提取流程图；

图3为本发明与现有技术的实验对比图。

具体实施方式

下面结合附图，对本发明进行详细说明。

如图1所示，本发明提供的一种基于条件随机场的显著性检测方法，包括如下步骤：

步骤10：采集图像数据；定义采集图像为I。

步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；

本实施例中采用多尺度对比法、中央周围直方图法和颜色空间分布法进行特征提取。

1、多尺度对比法

在显著性检测中，对比度方法是最常被用在局部特征上的。在不知道显著对象大小的情况下，我们采用多尺度方法分别进行局部区域的显著性检测。主要包括以下步骤：

步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到不同分辨率的图像；同时每次得到的新的图像宽与高是原来图像的1/2,得到的一系列图像称为高斯金字塔。

步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；其中，I^l是金字塔中的第l层图像，I^l(x)表示在第l层图像上像素x的状态值，即I^l(x)等于0时，表示第l层图像上像素x为显著性像素，I^l(x)等于1时，表示在第l层图像上像素x为非显著性像素；I^l(x′)表示第l层图像上像素x的的相邻像素x′的状态值，金字塔一共的层数是L＝6，N(x)表示是9x9的窗口。

2、中央周围直方图法

在给定的RGB颜色空间基础上，统计每种颜色分量的像素点占图像总像素的比例，从而得到图像各种颜色分量的比例分布即直方图。假设一个显著物体由矩形区域R框出，在其周围我们构造一个同等面积的矩形区域R_s。本文通过计算以像素x为中心的显著矩形区域R与其周围矩形区域R_s，它们在RGB颜色直方图之间的χ²距离来表示显著性。由于显著性物体的目标尺寸不同，我们选择不同的长宽比的矩形区域进行测试。主要包括以下步骤：

步骤221：用五组不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域R_s；其中，五组不同长宽比例为{0.5,0.75,1.0,1.5,2}；

步骤222：在步骤221获得的图像上计算每个以像素点x为中心的显著矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离；

步骤223：比较每个不同长宽比例的矩形区域R与矩形区域R等面积的周围矩形区域R_s在RGB颜色直方图之间的χ²距离，现在χ²距离最大的矩形区域R为最优的矩形区域R^*(x)；

步骤224：以相邻像素x′为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素x′为中心的最优周围矩形区域R_s ^*(x′)的高斯加权χ²距离之和；中央-周围直方图特征函数为：

$f_h(x,I)\∝\underset{\left\{x^{\′}\right|x\∈R^{*}\left(x^{\′}\right)\}}{\mathrm{\Σ}}{w}_{{\mathrm{xx}}^{\′}}{\mathrm{\χ}}^2(R^{*}\left(x^{\′}\right),{R_s}^{*}\left(x^{\′}\right))$

其中权重w_xx′＝exp(-0.5σ_x′ ^-2||x-x′||²)，用高斯衰减量表示，σ_x′ ²表示像素x'的协方差，R^*(x′)表示以相邻像素x′为中心最优矩形区域。

3、颜色空间分布法

中央-周围直方图只描述了一个局部的特征区域，然而在一幅图像中全局的颜色空间分布也可以来描述显著性物体，因此本文结合了局部和全局的特征来进行显著性检测。

步骤231：对步骤:10得到的图像中的所有颜色用高斯混合模型表示；描述一个颜色的空间分布最简单的方法就是计算颜色的空间方差，这里采用高斯混合模型(GMM)。图像中的所有颜色用GMM来表示，该模型有三个参数其中w_c表示第c个颜色的权重，u_c表示第c个颜色的颜色均值，Σ_c表示第c个颜色成分的协方差矩阵，C表示颜色的总数。

步骤232：利用步骤231中模型的参数计算计算每个像素被分配给一种颜色成分的条件概率；条件概率表示如下：

$P\left(x\right|I_x)=\frac{w_{c}N\left(I_x\right|u_c,{\mathrm{\Σ}}_c)}{{\mathrm{\Σ}}_c{w}_{c}N\left(I_x\right|u_c,{\mathrm{\Σ}}_c)}$

其中，N(I_x|u_c,Σ_c)是一个高斯分布，用于判定像素x是否属于第c个颜色成分。

步骤233：对步骤232中每一个颜色成分计算对应的水平方差V_h(c)和垂直方差V_v(c)，得到对应成分的空间方差|X|_c＝V_v(c)+V_h(c)；

步骤234：颜色空间分布特征函数定义为步骤433得到的空间方差中央加权的之和

$f_s(x,I)\∝\underset{c}{\mathrm{\Σ}}p\left(x\right|I_x)\·(1-V\left(c\right)).$

步骤30：建立条件随机场模型，采用条件随机场模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；本实施例中得到的最优权重λ^*＝{0.25,0.48,0.27}

CRF定义：设G＝(V,E)是一个无向图，V是顶点或者节点，表示随机变量。E是边或者弧，表示随机变量间的依赖关系。Y＝(Y_v)_v∈V，Y是以G中节点为索引的随机变量Y_v构成的集合。当在条件X下，这里观察序列X表示的采集图像I的像素。随机变量Y_v的条件概率分布服从图的马尔科夫属性：p(Y_v|X,Y_w,w≠v)＝p(Y_v|X,Y_w,w～v)，其中w～v表示(w,v)是无向图G的边，则(X,Y)就构成一个条件随机场。那么该模型的概率分布可表示为：

$P\left(A\right|I)=\frac{1}{Z}\exp (\underset{x}{\mathrm{\Σ}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\λ}}_k{F}_k(a_x,I)+\underset{x,x^{\′}}{\mathrm{\Σ}}S(a_x,{a_x}^{\′},I))$

Z是分配函数，用于函数的归一化处理。F_k(a_x,I)是单一变量的势函数，F_k(a_x,I)表示第k个显著特征，λ_k表示第k个显著特征的权重。S(a_x,a_x',I)是双变量交互势函数，S(a_x,a_x',I)表示对相邻像素标记为不同值的惩罚项的值。

步骤40：对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理；

三种不同的显著性特征分别定义一个显著特征函数f_x(x,I)，然后将其进行归一化f_x(x,I)∈[0,1]。将显著特征定义为如下：

F_k(a_x,I)＝f_x(x,I)   a_x＝0

其中，a_x＝0表示x像素点为显著性，a_x＝1表示x像素点为非显著性。

双变量交互势函数表示如下：

S(a_x,a_x',I)＝|a_x-a_x′|·exp(-βd_x,x′)

其中，d_x,x′＝||I_x-I_x′||是颜色差的二范数表示，β＝(2<||I_x-I_x′||²＞)^-1表示颜色对比度权重参数。

步骤50：对步骤40得到的三个归一化显著性特征函数用条件随机场模型进行组合；

步骤60：用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；

为了得到最优的特征线性组合，对N幅训练图像运用最大似然估计进行训练，其中n表示第n幅训练图像，对其取log之后表达式是凸函数，具有最优解如下：

${\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}^{*}=\arg \underset{\stackrel{\&RightArrow;}{\mathrm{\&lambda;}}}{\max }\underset{n}{\mathrm{\&Sigma;}}\log P\left(A^n\right|I^n;\stackrel{\&RightArrow;}{\mathrm{\&lambda;}})$

当得到最优的参数后，通过CRF模型推导，根据最大后验概率准则(MAP)求得最终的最优解：

y^*＝arg max P(A|I)

步骤70：将步骤60计算得到一系列状态值，其中，0表示显著性像素，1表示非显著性像素，用一个最小的矩形框框出显著性像素，其中最小的矩形框至少框出95％以上的显著性像素，得到最终的结果。

将上面得到的多尺度对比法，中央周围直方图法和颜色空间分布法得到的特征通过训练得到的最优权重进行线性组合，根据供述

$y^{*}=\frac{1}{Z}\exp \left(\underset{x}{\mathrm{\&Sigma;}}(0.25f_c(x,I)+0.48f_h(x,I)0.27f_s(x,I))\right)+\underset{x,x^{\&prime;}}{\mathrm{\&Sigma;}}S(a_x,{a_x}^{\&prime;},I)$ 得到出现概率最大的标记序列，将标记序列用灰度图像表示出来从而可以得到最终的显著图。

通过上述实施方式，可见本发明具有如下优点：为了衡量本文算法的有效性，我们可以用测评指标：召回率(Recall)，精确率(Precision)和F-值(F-measure)来比较。如图3所示，分别将单独采用局部多尺度对比，中央-周围直方图和空间颜色分布特征经过测试得到的测评指标，以及最后我们的方法将三个特征函数通过最优权值线性组合得到的测评指标做比较。图3中单独采用局部多尺度对比的实验结果为1，单独采用中央-周围直方图的实验结果为2，单独采用空间颜色分的实验结果为3，将三个特征函数通过最优权值线性组合的试验结果为4。从图3中我们可以看出采用多尺度对比特征得到的结果是精确率很高的同时召回率也很低，由于显著物体内部区域是相同类的，所以内部的对比度不高从而导致了较低的召回率。中央-周围直方图在这几种方法中得到一个较好的F-值，这种特征描述虽然在背景区域包含一些错误的像素，但是这种局部特征能够很好地检测出完整的显著物体。空间颜色分布有较低的精确率和最高的召回率。在我们研究的显著性检测中，召回率的指标没有精确率重要。将三种特征线性组合得到本方法中，精确率，召回率和F-值的指标都较高。本发明结合了局部和全局特征，通过CRF学习训练参数，将三种不同的特征线性组合得到最优的结果。通过实验表明，本方法同以前的方法比较，本方法能更好更准确地检测出显著物体。

Claims (3)

1.一种基于条件随机场的显著性检测方法，其特征在于，包括如下步骤：

步骤10：采集图像数据；

步骤20，对步骤10得到的图像用三种不同的方法进行显著性特征提取，得到与三种不同的显著性特征函数对应的显著性特征图；

步骤30：建立随机场模型，采用条件随机场模型的机器学习法对步骤10中采集的图像进行训练，并获得步骤20中得到的每个显著性特征图的最优权重；

步骤40：对步骤20得到的三种不同的显著性特征函数用分配函数Z进行归一化处理；

步骤50：建立条件随机场模型，对步骤40得到的三个归一化显著性特征函数用条件随机场模型进行组合；

步骤60：用最大似然准则对步骤50获得的组合求得最优解，得到最优化的线性组合；

步骤70：将步骤60计算得到的显著性像素用一个最小的矩形框，其中最小的矩形框至少框出95％以上的显著性像素，得到最终的结果。

2.根据权利要求1所述的一种基于条件随机场的显著性检测方法，其特征在于：所述步骤20中，所述三种进行特征提取的方法分别为：多尺度对比法、中央周围直方图法和颜色空间分布法；

其中，所述多尺度对比法，包括以下步骤：

步骤211，对步骤10中采集到的图像基于高斯模糊之后向下采样，得到不同分辨率的图像；

步骤212，将步骤211得到的六层高斯金字塔图像中每层对比度线性组合得到多尺度对比特征函数与其对应的显著性特征图；

所述中央周围直方图法，包括以下步骤：

步骤221：用多个不同长宽比例的矩形区域R标出步骤10得到的图像中的显著物体，在多个矩形区域R的周围构造多个对应的面积相等的周围矩形区域R_s；

步骤222：在步骤221获得的图像上计算每个以像素点x为中心的显著矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离；

步骤223：比较每个不同长宽比例的矩形区域R与周围矩形区域R_s在RGB颜色直方图之间的χ²距离，现在χ²距离最大的矩形区域R为最优的矩形区域R^*(x)；

步骤224：以相邻像素x′为中心的中央-周围直方图特征函数定义为步骤221中所有以相邻像素x′为中心的最优周围矩形区域R_s ^*(x′)的高斯加权χ²距离之和；

所述颜色空间分布法，包括以下步骤：

步骤231：对步骤10得到的图像中的所有颜色用高斯混合模型表示；

步骤232：利用步骤231中模型的参数计算计算每个像素被分配给一种颜色成分的条件概率；

步骤233：对步骤232中每一个颜色成分计算对应的水平方差和垂直方差，得到对应成分的空间方差；

步骤234：颜色空间分布特征函数定义为步骤433得到的空间方差中央加权的之和。

3.根据权利要求1所述的一种基于条件随机场的显著性检测方法，其特征在于：步骤50中，所述用条件随机场模型组合显著性特征过程如下：

步骤501，对步骤40得到的三个归一化显著性特征，分别计算一元势函数F_k(a_x,I)，F_k(a_x,I)表示第k个显著特征；

步骤502，对步骤40得到的三个归一化显著性特征，分别计算二元势函数S(a_x,a_x',I)配对特征，其中，二元势函数S(a_x,a_x',I)表示对相邻像素标记为不同值的惩罚项的值，a_x表示x像素点的显著性，a_x'表示x相邻像素点的显著性；

步骤503，结合步骤30得到的每个显著性特征图的最优权重和步骤501、502中得到的显著特征和配对特征，根据公式 $P\left(A\right|I)=\frac{1}{Z}\exp (\underset{x}{\mathrm{\&Sigma;}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_k{F}_k(a_x,I)+\underset{x,x^{\&prime;}}{\mathrm{\&Sigma;}}S(a_x,{a_x}^{\&prime;},I))$ 进行线性组合，其中，A为采集图像I中标签状态集合，Z为分配函数，λ_k表示第k个显著特征图的权重，K为显著特征图的总数，F_k(a_x,I)是单一变量的势函数，F_k(a_x,I)表示第k个显著特征图，S(a_x,a_x′,I)是双变量交互势函数，S(a_x,a_x′,I)表示相邻像素x,x′之间的相互作用关系。