CN107016682A - 一种自然图像显著对象自适应分割方法 - Google Patents

Abstract

本发明提供一种自然图像显著对象自适应分割方法，包括：运用随机游走算法将图像分割为不同区域；设计区域联合显著性分布，依最大显著性概率选取核心显著性区域；以核心显著性区域为种子，分析计算毗邻区域相对种子的联合显著性概率；将相对种子的联合显著性概率大于等于某一数值的毗邻区域进行合并，得到显著对象初始区域S；运用水平集算法实现图像显著对象分割。本发明根据对象的边缘属性，利用邻域像素的相对差异，运用随机游走算法将图像分割为不同区域，在一定程度上弥补弱边缘和噪声对分割的影响。

Description

一种自然图像显著对象自适应分割方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种自然图像显著对象自适应分割方法。

背景技术

图像作为日常生活中最常见的信息载体，是一种对现实世界的客观描述。人类获取的信息中，有很大一部分来自于视觉。对人眼视觉***而言，无论场景多复杂的图像，都能够很快地将图像中的不同对象准确而快速地辨识区别，并根据对象及其不同对象在空间的上下文关系对图像进行分析理解。对人眼而言，对象是图像分析理解的基本单元，对象分割提取决定了图像后续分析处理的有效性，尤其是体现图像内容的、重要的语义对象，即显著对象。图像显著对象是模仿人类视觉关注机制从图像中提取人眼关注的部分信息。该对象的提取不仅有助于探知人类的视觉认知规律，而且对机器视觉奠定基础。

随着社会、科技的发展，迅速发展的信息技术促使图像信息日益膨胀，同时加速了向人们生活各个方面的渗透，使之成为当今社会的重要支柱。为了解决海量化的图像数据，人们借助机器视觉来处理和分析图像数据，分析和查询图像蕴含的对自己有用或可用的局部信息。全面分析所有图像数据是盲目的和不现实的，有必要重新认识和描述视觉显著性的涵义及其与信息可用性的关联，以期利用显著性检测技术寻求符合视觉感知和具体任务的提取途径。人类视觉***自身就具有十分高效的数据筛选能力，不幸的是当今关于视觉注意的理论描述也多为假说性观点。计算视觉方面也仅仅是面向具体应用任务提出了一些有限的计算模型，尚未形成比较完整的理论框架。因此如何快速有效地处理和分析图像，从中抽取具有重要信息的语义对象是当今图像分析理解的基本课题。

显著对象自适应分割技术是利用计算机将具有重要意义的语义对象从图像中分割出来。该技术的应用范围之广己经涉及到机器视觉的诸多方面：1)面向静态图像处理包括显著图像区域分割和轮廓演化、面向对象的自适应图像压缩与编码，基于对象的图像目标检测与场景分析及图像匹配、场景渲染和数字水印。2)面向视频分析处理包括显著对象运动检测与跟踪、基于对象的视频图像压缩编码、基于对象的视频内容分析、检索和视频监控以及对象异常检测等等。

传统图像分割算法仅仅依据图像底层特征(亮度，颜色和纹理)的一致性将图像分割成几个语义区域，未指出各个区域对图像分析理解的贡献，即显著性。区域显著性检测依据区域对比度及空间位置分析其显著度，但区域仅具有底层特征的一致性缺乏对象的语义性。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，提供一种自然图像显著对象自适应分割方法。

一种自然图像显著对象自适应分割方法，包括以下步骤：

步骤一：根据图像的边缘属性，运用随机游走算法将图像分割为不同区域；

步骤二：根据人眼注意力机制建立图像区域显著性，依据人眼对颜色的敏感性分析区域的颜色对比度、依据人眼空间注意力机制分析估计区域的空间显著度，结合所述颜色对比度和空间显著度，融合背景先验知识，设计区域联合显著性分布，依最大显著性概率选取核心显著性区域；

步骤三：以核心显著性区域为种子，根据各个区域的空间位置关系，分析计算毗邻区域相对种子的联合显著性概率；

步骤四：将相对种子的联合显著性概率大于等于某一数值的毗邻区域进行合并，得到显著对象初始区域S；

步骤五：以该初始区域为初始曲线运用水平集算法实现图像显著对象分割。

其中，所述人眼注意力机制是指：人眼注意是人类获取信息的一条途径，当外界信息刺激人眼时，视觉注意能够从大量的外界信息中选择有用信息，拒绝无用信息。认知心理学研究表明，在分析复杂景象时，人眼采用选择性注意机制。从图像内容来看，将局部特征(颜色、亮度、方位、运动和立体差异)选择景象特定区域，同时将注意力集中在局部特征相对差异较大的区域，并对其进行更精细观察与分析；从空间上来看，人眼初看图像时，注意力一般集中在图像中间位置。

所述背景先验知识是指：据统计分析，来自Internet的85％图像，其图像边界属于背景区域，根据这一先验知识，本发明将图像边界15个像素的区域作为初始背景。

进一步地，如上所述的方法，步骤一所述运用随机游走算法将图像分割为不同区域方法为：

选用L^*a^*b^*颜色模式作为自然图像的特征空间，利用L^*分量计算邻域像素的相对差异设计分割权重：

运用随机游走算法将L^*分量分割成M个区域，第k区域R^k面积n^k

n^k＝card{i|i∈R^k}

(4)。

进一步地，如上所述的方法，步骤二所述结合所述颜色对比度和空间显著度设计相对背景的区域联合显著性分布，依最大显著性概率选取核心显著性区域包括：确定区域R^k的联合显著性概率p(k)，并根据最大显著性概率选取图像中核心显著性区域；

其中，所述确定区域R^k的联合显著性概率p(k)包括：

区域R^k的联合显著性概率p(k)为：

p(k)＝ω^c(k)ω^s(k) (10)

其中，ω^c(k)为区域R^k的颜色对比度，ω^s(k)为区域R^k的空间显著度；

所述区域R^k的对比度ω^c(k)为：

其中，pⁱ代表区域i的面积权重；μ^k，μⁱ分别表示区域k,i在L^*a^*b^*的均值。

所述区域R^k的空间显著度ω^s(k)为：

其中o表示图像的中心位置，方差σ²是图像尺寸的归一化；z_i代表图像像素的空间位置，式中σ由图像尺寸决定：

进一步地，如上所述的方法，步骤三所述分析计算毗邻区域相对种子区域的联合显著性概率包括：以种子区域为起点，沿顺时钟以8个方向0°,45°,90°,135°,180°,225°,270°,315°搜索种子毗邻区域，统计分析得到来自同一对象的各个区域相对于种子区域的显著性概率均大于等于0.8。

进一步地，如上所述的方法，步骤五所述以该初始区域为初始曲线运用水平集算法实现图像显著对象分割包括：

显著对象初始区域的Lipschitz函数表示为：

基于水平集的图像分割算法根据对象轮廓的局部边缘性，以边缘为曲线演化的约束条件，图像Ω→[0,1]分割的曲线演化能量函数为：

其中表示曲线内外区域，表示分割曲线，g表示图像边缘指示函数：

采用快速下降算法，初始曲线进行迭代，求解曲线演化能量函数，得到对象分割曲线。

进一步地，如上所述的方法，将所述初始曲线分割区域置信度，该区域置信度Pr：

式中A^k,A^k-1分别表示曲线演化过程中第k和k-1次迭代时分割曲线及其内部区域。

有益效果：

1)本发明根据对象的边缘属性，利用邻域像素的相对差异，运用随机游走算法将图像分割为不同区域，在一定程度上弥补弱边缘和噪声对分割的影响。

2)本发明在区域显著性分析方面综合考虑了背景先验知识，像素对比度和区域空间相对关系等特征对人眼中重要性的贡献。

3)本发明依最大显著性概率选取核心显著性区域，以核心显著性区域为种子，根据上下文关系和相对种子对比度构造显著性对象的初始区域。

4)本发明运用水平集算法实现图像显著对象分割，初始曲线毗邻于显著对象轮廓，曲线演化时间较短，弥补了传统活动轮廓分割算法运行效率较低的不足

5)本发明有机结合对象区域特征、区域显著性和图像分割等技术，建立了图像显著性对象分割框架。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了弥补两种算法的缺点，本发明将两种算法有机结合，建立了显著对象分割模型，该模型首先根据对象的边缘属性，运用随机游走算法将图像分割为不同区域，该算法利用邻域像素的相对差异，弥补了弱边缘对区域分割的影响。

其次统计分析了85％的图像边界属于背景这一特点，根据图像边界属于背景特性建立区域显著性分析基础。同时根据人眼对颜色的敏感性分析对区域的相对对比度；依据人眼空间注意力机制分析估计区域的空间显著度，结合对比度和空间显著度设计相对背景的区域联合显著性分布，依最大显著性概率选取核心显著性区域。

最后以核心显著性区域为种子，根据上下文关系和相对种子对比度构造显著性对象的初始区域；以该区为初始曲线运用水平集算法实现图像显著对象分割，同时根据分割区域置信度，建立了曲线收敛条件，避免了分割曲线过收敛。

2.1自然图像区域分割

自然图像中同一区域的像素在特征空间中应具有相同的属性，为了描述自然界中的任何色彩和处理速度，本发明选用L^*a^*b^*颜色模式作为自然图像的特征空间，在该空间中L^*,a^*,b^*三分量互相垂直的，L^*分量表示图像亮度信息，该分量能反映图像的主要内容，a^*,b^*分量分别表示自然图像的两个颜色分量。

其中，X,Y,Z为CIEXYZ颜色模式的三分量，X_n,Y_n,Z_n为参考白，分别为95.047,100和108.083；f(t)定义为：

由于光学原理，自然图像在成像时可能造成图像中的对象存在弱边缘、边缘不连续和模棱两可的区域，同时在图像传播、存储过程中不可避免地受到噪声攻击。L^*a^*b^*颜色模式的L^*分量反映了图像的主要内容和图像边缘特性，结合对象边界集合是图像边缘集合的子集，同时抑制弱边缘和噪声对图像区域分割的影响，本发明利用L^*分量邻域像素的相对差异设计分割权重：

运用随机游走算法对L^*分量进行区域分割，并计算第k个分割区域R^k的面积n^k。

n^k＝card{i|i∈R^k}

(4)

(此处的K代表第k个分割区域，n^k的贡献是计算各个区域的面积权重对区域显著度的贡献)

2.2区域显著性分析

区域显著性分析类似于视觉感知中的注意阶段，但它一般不涉及具体的语义内容,借助与语义相关的图像基元特征，利用区域之间的视差分析其显著性。本发明从区域局部和全局视差出发分析各个区域对视觉的贡献。其中局部视差是利用图像对比度表示区域的相对显著性，对比度是相邻像素的相对变化大小，其值越大表明对比度越高，图像越清晰，色彩较鲜明，反之，图像模糊。同时区域大小也是影响人眼关注度的一个因素；关注面积较大区域而忽略小区域。根据这一性质，本发明考虑各个区域的面积权重对区域显著度的贡献，尺寸为W×H图像中区域R^k的面积权重为：

自然图像中同一区域的像素在特征空间中应具有相同的属性，利用区域像素在特征空间L^*a^*b^*均值μ表示该区域，区域R^k均值μ^k表示为：

同时结合人眼对面积的注意力响应，定义了区域R^k的对比度ω^c(k)：

本发明定义区域R^k的对比度是相对于图像所有区域的加权对比度，它是局部对比度的延伸。该值大小表明了该区域相对于其他区域对人眼的注重程度，该值越大表明该区域从像素角度对图像分析理解越重要。

在人类视觉***中，靠近图像中心的区域吸引更多注意力，而图像边界区域常常被忽略。随着物体与图像中心之间的距离增加，注意增益贬值。这在图像显著性检测算法被称为“中心偏差规则”。本发明根据人眼的“中心偏差规则”设计了区域的空间显著度，将区域R^k的空间显著度ω^s(k)定义：

其中o表示图像的中心，方差σ²是图像尺寸的归一化。根据3σ原则(8)式中σ由图像尺寸决定：

区域对比度ω^c(k)和空间显著度ω^s(k)分别反应了区域像素和相对空间位置对人眼的贡献。人眼常常将两者结合起来判断一个区域的重要性，本发明运用乘法整合对比度和空间显著度得到区域R^k联合显著性概率p(k)。

p(k)＝ω^c(k)ω^s(k) (10)

本发明统计分析了来自Internet网上图像，该图像集中85％的图像边界属于背景区域。根据这一特点将距图像边界15个像素的区域作为初始背景区域，以该区域在特征空间的联合显著性概率为基础，对其他区域联合显著性概率进行归一化。

区域联合显著性概率从区域像素和空间位置两个方面反映了该区域吸引人眼注意力的程度，联合显著性概率越大，该区域相对于其他区域越容易被重视，反之，被忽略。本发明依据最大显著性概率选取图像中核心显著性区域。

随机游走算法从图像区域内像素分布的共性和区域间的差异性出发将图像分割为不同区域，各个区域的底层特征具有一致性但不具有语义意义。显著性分析算法分析了各个区域对人眼的相对吸引力。依据最大概率选取的核心显著性区域仅依赖于图像底层特征，仍未考虑区域的语义性。

自然图像一般在内容方面表现为多样性和变化性，在像素级上表现为区域的非一致性，区域内像素非恒定的、区域间存在渐变性。同时，自然图像中的同一个对象在图像底层特征上常常表现为多个区域，各个区域对人眼的吸引力各不相同。由于来自同一对象的各个区域在空间中彼此毗邻，毗邻区域相对于种子区域的联合显著性差异不大。为了从自然图像中分割出具有语义意义的显著对象，本发明根据人眼的注意力机制，以核心显著性区域为种子，根据各个区域的空间位置关系，分析计算毗邻区域相对种子区域的联合显著性概率。本发明根据同一对象各个区域的上下文关系分析计算种子毗邻区域，以种子区域为起点，沿顺时钟以8个方向0°,45°,90°,135°,180°,225°,270°,315°搜索种子毗邻区域。本发明对来自Internet网上图像，图像中对象在底层特征方面表现为多个区域对象，统计分析了来自同一对象的各个区域相对于种子区域的显著性概率均大于等于0.8，根据这一统计特性，本发明将相对种子区域的联合显著性概率大于等于0.8的毗邻区域进行合并，得到显著对象初始区域，该区域集合表示为S。

2.3.显著性对象分割

随机游走算法依据图像的底层特征将图像分割为不同区域，区域显著性分析仅仅分析了不同区域对人眼的视觉关注度，也不涉及具体的语义内容。为了从图像中分割出具有语义意义的对象，根据对象轮廓的局部边缘性，运用基于活动轮廓的分割算法分割图像显著对象，该算法是通过演化分割初始曲线实现对象分割。运用三维空间的Lipschitz函数的水平集表示曲线C：表示对象区域，为对象外的区域，该分割曲线的表示本质上是利用函数符号表示不同区域。为了方便计算，引入Heaviside函数表示曲线内外区域，曲线C可表示为的导数Dirac测度 和分别表示如下：

显著对象初始区域的Lipschitz函数表示为：

(12)式的目的是将2.2中显著对象初始区域引用函数表示，从而实现具有语义对象的分割，区域函数表示使得显著对象分割算法的初始曲线毗邻于对象轮廓，大大减少了对象分割的计算成本。

根据对象轮廓的局部边缘性，以边缘为曲线演化的约束条件，图像Ω→[0,1]分割的曲线演化能量函数为：

g表示图像边缘指示函数：

若曲线位于平滑区域，该梯度幅度趋近零，边缘指示函数趋于1，较大；若曲线位于边缘，其梯度幅度较大，最小，曲线停止演化。本发明采用快速下降算法求解曲线演化能量函数(13)式的解。

离散化计算(13)式，的离散化运算：

根据分割区域置信度，设计了分割区域置信度Pr：

式中A表示对象分割曲线及其内部区域。当分割区域的置信度满足下列条件时，表明前后两次迭代分割结果相似度达到分割所要求的程度，则停止平滑迭代：

Pr≥T (17)

T为分割区域置信度阈值。

传统活动轮廓算法中，关注对象通常有人为给定的封闭初始曲线表示，如果初始曲线与对象轮廓相距较远，曲线演化时间较长。本发明初始曲线毗邻于显著对象轮廓，曲线演化时间较短。

人类视觉***利用高低层特征能够快速、准确地识别出图像中显著性对象，从图像的底层特征来看，对象形成主要由边缘、边界等图像自身属性所致，对象显著性主要取决于对象间亮度、颜色的相对差异及相对空间位置。传统图像显著检测算法生成像素“重要性”概率显著图，运用随机理论提出了图像二值化显著性分割估计模型。根据人眼对颜色的敏感性，利用颜色分量统计特性建立了区域显著性分析模型。借助人眼对不同频率信号的响应不同，设计了基于信号频率的目前显著性检测算法。目前大部分显著性检测算法均是建立人眼分辨边界模糊物体的能力-对比敏感度基础上，利用对比度分析估计图像像素或区域对视觉的贡献，设计图像区域显著性分析模型。根据区域显著性分析论域范围分为局部对比度和全局对比度模型。区域对比度和相对位置关系有机结合，提出了基于聚类的显著性检测算法。传统显著性检测算法仅仅突出了区域对图像分析的重要程度，但是区域缺乏对象语义性。

为了从图像中提取具有语义概念的对象，常常采用图像分割算法，基于活动轮廓的分割算法能有效地从图像中提取完整先验的对象，该算法演化先验曲线并结合图像区域或边缘信息实现对象分割。为了抑制纹理和噪声对分割的影响，Mumford和Shah对图像进行分段平滑并演化曲线的分割模型，但MS泛函是非凸的，求解困难。Chan和Vess以区域均值表示对象建立了CV分割模型，该方法对卡通图像分割效果较好，同时对噪声不敏感。为了抑制纹理Tsai和Yezzi等人提出分段逼近的PS(Piece-Smooth)分割模型，该模型在一定程度上抑制了纹理，但计算量较大。Li等人根据图像对象轮廓与边缘之间的关系，提出了基于边缘的活动轮廓分割算法，但该算法利用了图像边缘局部信息，分割结果对噪声较敏感。为了抑制噪声，常常对待分割图像进行高斯平滑。然而高斯平滑模糊了对象轮廓，对弱边缘分割效果不理想。传统分割算法能有效的将图像分割成有意义的区域，但是不能评估分割的区域对视觉理解的重要性。

本发明根据对象的边缘属性，运用随机游走算法将图像分割为不同区域，弥补了弱边缘对区域分割的影响。其次根据图像边界属于背景特性建立区域显著性分析基础。同时根据人眼对颜色的敏感性分析对区域对比度；依据人眼空间注意力机制分析估计区域的空间显著度，结合对比度和空间显著度设计相对背景的区域联合显著性分布，依最大显著性概率选取核心显著性区域。本发明在区域显著性分析方面同时考虑了背景先验知识，像素对比度和区域空间相对关系等特征对人眼中重要性的贡献，以核心显著性区域为种子，根据上下文关系和相对种子对比度构造显著性对象的初始区域，弥补了传统显著性检测缺乏语义意义的不足，该区为初始曲线运用水平集算法实现图像显著对象分割，本发明初始曲线毗邻于显著对象轮廓，曲线演化时间较短。同时根据分割区域置信度，建立了曲线收敛条件，避免了分割曲线过收敛。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种自然图像显著对象自适应分割方法，其特征在于，包括以下步骤：

步骤一：根据图像的边缘属性，运用随机游走算法将图像分割为不同区域；

步骤二：根据人眼注意力机制建立图像区域显著性，依据人眼对颜色的敏感性分析区域的颜色对比度、依据人眼空间注意力机制分析估计区域的空间显著度，结合所述颜色对比度和空间显著度，融合背景先验知识，设计区域联合显著性分布，依最大显著性概率选取核心显著性区域；

步骤三：以核心显著性区域为种子，根据各个区域的空间位置关系，分析计算毗邻区域相对种子的联合显著性概率；

步骤四：将相对种子的联合显著性概率大于等于某一数值的毗邻区域进行合并，得到显著对象初始区域S；

步骤五：以该初始区域为初始曲线运用水平集算法实现图像显著对象分割。

2.根据权利要求1所述的方法，其特征在于，步骤一所述运用随机游走算法将图像分割为不同区域方法为：

选用L^*a^*b^*颜色模式作为自然图像的特征空间，利用L^*分量计算邻域像素 的相对差异设计分割权重：

运用随机游走算法将L^*分量分割成M个区域，第k区域R^k面积n^k

n^k＝card{i|i∈R^k} (4)。

3.根据权利要求2所述的方法，其特征在于，步骤二所述结合所述颜色对比度和空间显著度设计相对背景的区域联合显著性分布，依最大显著性概率选取核心显著性区域包括：确定区域R^k的联合显著性概率p(k)，并根据最大显著性概率选取图像中核心显著性区域；

其中，所述确定区域R^k的联合显著性概率p(k)包括：

区域R^k的联合显著性概率p(k)为：

p(k)＝ω^c(k)ω^s(k) (10)

其中，ω^c(k)为区域R^k的颜色对比度，ω^s(k)为区域R^k的空间显著度；

所述区域R^k的对比度ω^c(k)为：

其中，pⁱ代表区域i的面积权重；μ^k，μⁱ分别表示区域k,i在L^*a^*b^*的均值；

所述区域R^k的空间显著度ω^s(k)为：

其中o表示图像的中心位置，方差σ²是图像尺寸的归一化；z_i代表图像像素的空间位置，式中σ由图像尺寸决定：

4.根据权利要求3所述的方法，其特征在于，步骤三所述分析计算毗邻区域相对种子区域的联合显著性概率包括：以种子区域为起点，沿顺时钟以8个方向0°,45°,90°,135°,180°,225°,270°,315°搜索种子毗邻区域，统计分析得到来自同一对象的各个区域相对于种子区域的显著性概率均大于等于0.8。

5.根据权利要求4所述的方法，其特征在于，步骤五所述以该初始区域为初始曲线运用水平集算法实现图像显著对象分割包括：

显著对象初始区域的Lipschitz函数表示为：

基于水平集的图像分割算法根据对象轮廓的局部边缘性，以边缘为曲线演化的约束条件，图像Ω→[0,1]分割的曲线演化能量函数为：

其中表示曲线内外区域，表示分割曲线，g表示图像边缘指示函数：

g＝(1+|▽G_σ*u|)^-1

采用快速下降算法，初始曲线进行迭代，求解曲线演化能量函数，得到对象分割曲线。

6.根据权利要求5所述的方法，其特征在于，将所述初始曲线分割区域置信度，该区域置信度Pr：

式中A^k,A^k-1分别表示曲线演化过程中第k和k-1次迭代时分割曲线及其内部区域。