CN109727258B - 基于区域灰度异质能量的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于区域灰度异质能量的图像分割方法，包括以下步骤：S10、输入原始图像，得到其灰度图像的像素点个数和灰度值；S20、基于灰度图像的像素点个数和灰度值，计算图像的灰度异质指标和灰度异质因子，得到与初始图像对应的灰度异质因子图像；S30、构建基于区域灰度异质能量的活动轮廓模型，所述模型的总能量泛函包括区域灰度异质能量泛函项、边缘能量项和局部区域拟合项；S40、求解总能量泛函，得到图像的分割结果。本发明的能量泛函既使用了原始图像的灰度信息，又融合了区域灰度异质信息。两者结合，相互平衡，能够有效地分割灰度极其不均匀的图像。实验表明，本方法在分割两类特定图像时，分割结果优于仅基于图像灰度信息的分割结果。

Description

基于区域灰度异质能量的图像分割方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像分割方法。

背景技术

图像分割是图像处理和计算机视觉领域中的一项基本而重要的任务，分割结果将直接影响后续处理步骤的性能。

图像的灰度不均匀一直是图像分割的一个难题。最近几十年来，活动轮廓模型(active contour model)逐渐成为图像分割领域应用最广泛的方法之一，它可以分为两类：基于边界和基于区域的方法。

但是，现有的活动轮廓模型在很多时候无法得到理想的分割结果。基于边界的活动轮廓模型由于能量泛函中利用了图像梯度的信息，使得这类模型对于图像中的边缘信息敏感。因此在分割带有丰富边缘信息的图像，如自然图像中的老虎、豹子以及医学图像中具有钙化、坏死的病灶等的表现无法令人满意。基于区域的活动轮廓模型(如C-V[1]，RSF[2])能够在某种程度上解决基于边界的活动轮廓模型对边缘信息敏感的缺点。这类模型不考虑图像的边缘信息，有时能够分割出带有弱边界的图像目标。但是这类模型通常要求图像的目标与背景尽可能为同质的。Li等人[2]的RSF模型，通过引入高斯核函数来利用像素点间空间信息，极小化基于局部灰度信息的能量泛函，在一定程度上能够处理图像灰度不均匀的图像。但是图像灰度的不均匀程度只能为缓慢的、光滑变化的。Zhang等人在[3]中拓展了该模型，提出了LIF(local image fitting)模型，通过极小化原图像以及‘RSF’得到的图像的差异进行分割。其主要思想为，用一个‘RSF’图像来拟合原图像。Sandberg等人[4]提出在活动轮廓模型中融入纹理信息来处理图像灰度不均匀的问题。他们选取Gabor滤波器来获取图像的纹理。Kim等人[5]提出了一种基于显著边界能量的活动轮廓模型，该模型用图像中的显著边界作为活动轮廓模型中的边界示性函数。Zhang等人[6]提出局部统计活动轮廓模型(local statistical active contour model，LSACM)用以分割灰度异质图像。Qi等人[7]提出了一种各项异性的数据项根据沿着轮廓方向的局部灰度信息区分区域内外。并且提出了一种基于结构张量的梯度下降流正则项。最近Zhi,Shen[8]提出一种基于水平集的方法，该方法包括使用显著性信息和颜色强度作为区域外部能量来激发水平集的演化，但是这种显著性信息似乎不够强大以处理显著不均匀的强度的图像。Wang，Chang等人[9]提出一种基于两种不同局部拟合组合的混合图像拟合能量分割方法。以上现有文献里的这些方法对于灰度不均匀的图像具有一定的处理能力，但是对于目标或背景灰度非常不均匀的图像，上述的模型也很难得到满意的分割结果。

引用的参考文献如下：

[1]T.Chan,L.Vese,Active contours without edges[J],IEEE Trans.ImageProcess.10(2),266-277,2001.

[2]C.Li,C.Kao,J.Gore,Z.Ding,Minimization of region-scalable fittingenergy for image segmentation[J],IEEE Trans.Image Process.vol.17,1940-1949,2008.

[3]K.Zhang,H.Song,L.Zhang,Active contours driven by local imagefitting energy[J],Pattern Recognition.2010,43(4):1199-1206.[163]

[4]B.Sandberg,T.Chan,L.Vese,A level-set and Gabor-based activecontour algorithm for segmenting textured images[C],UCLA CAM Report,2002.[164]

[5]W.Kim,C.Kim,Active contours driven by the salient edge energymodel[J],IEEE Transactions on Image Processing,2013,22(4):1667-1673.[160]

[6]K.Zhang,L.Zhang,K.M.Lam,and D.Zhang,A level set approach to imagesegmentation with intensity inhomogeneity[J],IEEE Trans.Cybernetics,46(2016),pp.546-557.

[7]Q.Ge,C.Li,W.Shao,et al.A hybrid active contour model withstructured feature for image segmentation[J].Signal Process.,108(2015),pp.147-158.

[8]X.H.Zhi,H.B.Shen.Saliency driven region-edge-based top down levelset evolution reveals the asynchronous focus in image segmentation[J].PatternRecognition,80(2018),pp.241-255.

[9]L.Wang,Y.Chang,H.Wang,et al.An active contour model based on localfitted images for image Segmentation[J].Information Sciences,418-419(2017),pp.61-73.

发明内容

发明目的：针对现有技术的缺陷，本发明提出一种基于区域灰度异质能量的图像分割方法，能够有效地分割灰度极其不均匀的图像。

技术方案：本发明的基于区域灰度异质能量的图像分割方法，包括以下步骤：

S10、输入原始图像，得到其灰度图像的像素点个数和灰度值；

S20、基于灰度图像的像素点个数和灰度值，计算图像的灰度异质指标d和灰度异质因子F(x)，得到与初始图像对应的灰度异质因子图像；

S30、构建基于区域灰度异质能量的活动轮廓模型，所述模型的总能量泛函包括区域灰度异质能量泛函项、边缘能量项和局部区域拟合项；

S40、求解总能量泛函，得到图像的分割结果。

优选地，所述步骤S10中，原始图像包括彩色图像和灰度图像，当原始图像为彩色图像时，使用MATLAB自带程序rgb2gray将其变换成灰度图像。

优选地，所述步骤S20中，所述灰度异质指标d的计算公式为：

其中，

Ω表示图像中像素点集合，|Ω|为图像中像素点的个数，mean(I(N_k(x)))为邻域N_k(x)中像素的灰度均值，N_k(x)＝{y∈Ω:|x_h-y_h|≤k,|x_v-y_v|≤k}，k表示邻域的大小，I(x)表示任意像素点x＝(x_h,x_v)的灰度值；

所述区域灰度异质因子F(x)的计算公式如下：

其中，

优选地，所述步骤S30中，所述总能量泛函的形式如下：

E＝λ₁E_rh+λ₂E_local+λ₃E_edge+νLength(C)

其中，E_rh为区域灰度异质能量，E_local为局部能量，E_edge为边缘能量，λ₁,λ₂和λ₃是三种能量的权重，Length(C)代表长度约束正则项，ν代表长度约束正则项的权重。

所述区域灰度异质能量计算公式如下：

其中，

代表区域灰度质异因子的图像，H_ε(φ)是Heaviside函数的正则化，φ是水平集函数，P₁和P₂是轮廓C内部和外部的平均灰度异质因子，其具体表达式分别为：

所述局部能量计算公式为：

其中，W(x)是一个以像素点x为中心的邻域，K为一个Gauss核函数，t＝[m(x),s(x)]是一个简单的纹理描述算子，用来描述原图像中的纹理信息，m(x),s(x)是图像灰度的均值和方差，t_in和t_out表示轮廓内外的图像灰度均值和方差组成的纹理描述算子。

所述边缘能量计算公式为：

其中，F_PM(p)表示图像Perona-Malik去噪后的灰度异质因子。

优选地，所述步骤S40包括：将轮廓C嵌入到水平集函数φ中，即C为函数φ的零水平集，得到总能量泛函的具体形式，然后采用采用梯度下降法，求关于φ的一阶变分，再通过迭代实施活动轮廓演化得到目标边界。

有益效果：

1、针对灰度非常不均匀的图像的分割，需要结合更多的图像信息，考虑图像本身的特点对分割模型进行改进。基于此，本发明中首先引入区域灰度异质指标的概念，区域灰度异质指标能够衡量区域灰度的不均匀性，通过它可以将区域内的像素点进行归类。其次，由区域灰度异质指标能够得到定义区域异质能量泛函的图像。本发明的能量泛函既使用了原始图像的灰度信息，又融合了区域灰度异质信息。两者结合，相互平衡，能够有效地分割灰度极其不均匀的图像。

2、本发明提出一种新的基于区域灰度异质性的能量泛函形式，并将其融入到变分框架中，得到区域灰度异质能量泛函。区域灰度异质能量泛函可以视为图像中像素点灰度均匀与否的标志，本发明中模型的能量泛函主要由三项组成：区域灰度异质能量泛函项、局部区域拟合项和边缘能量项。通过引入区域灰度异质能量项，本发明的方法可以有效地分割复杂背景下的灰度相对均匀的目标图像以及同质背景下的灰度不均匀的目标图像。

附图说明

图1是根据本发明实施例的方法流程图；

图2是根据本发明实施例的一幅图像按照不同的角度摆放得到的d的平方根图示；

图3是根据本发明实施例的异质因子图像；

图4是根据本发明实施例的针对MSRA数据库中若干图像依照不同模型分割结果的比较；

图5是根据本发明实施例的针对两种特定类型的图像的不同模型分割结果比较。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步的详细描述。

参照图1，本发明提出的一种基于区域灰度异质能量的图像分割方法，包括以下步骤：

S10、输入原始图像，得到其灰度图像的像素点个数和灰度值。

原始图像可以是彩色图像也可以是灰度图像，如果是彩色图像可使用MATLAB自带程序rgb2gray直接变换成灰度图像。图像在处理过程中通常被看成一个矩阵(灰度图像就是一个m*n*1矩阵，彩色图像就是一个m*n*3的矩阵)，MATLAB读入图像过程中，图像每个像素点的像素值自动离散成为矩阵中对应点的值，像素点的个数即矩阵大小。

S20、基于灰度图像的像素点个数和灰度值，计算图像的灰度异质指标d和灰度异质因子F(x)，得到与初始图像对应的灰度异质因子图像。

一副灰度图像可以看成一个函数I:Ω→R，任意像素点x＝(x_h,x_v)赋予灰度值为I(x)。对图像中任意的像素点x，N_k(x)表示以x点为中心的邻域：

N_k(x)＝{y∈Ω:|x_h-y_h|≤k,|x_v-y_v|≤k}

k表示邻域的大小。

本发明提出的灰度异质指标d定义为：

其中

这里Ω表示图像中像素点集合，|Ω|代表图像中像素点的个数，mean(I(N_k(x)))为邻域N_k(x)中像素的灰度均值。灰度异质指标d衡量了整幅图像灰度的均方差异，因此d可以作为图像灰度异质的一个指标。

为了检验该指标的鲁棒性，如图2所示，实施例中通过将一幅条纹图像(目标为条纹，背景为白色)按照不同的角度进行摆放，计算d平方根的值。发现这个数值随着图像中条纹的角度改变变化的较为缓慢。这表明用d作为图像灰度异质的度量是很鲁棒的。

进一步地，所述步骤S20中区域灰度异质因子F(x)定义如下：

其中

从F(x)的定义，知F(x)∈[0,1]，可以用F(x)来定量刻画N_k(x)的灰度不均匀性。对于固定大小的N_k(x)，F(x)较大表示x点的灰度值与相邻像素点的灰度值高度不一致，反之亦然。

定义了区域灰度异质因子F(x)之后，一幅图像每一点的区域灰度异质因子就可以构成一幅新的图像，称这个新的图像为灰度异质因子图像。

如图3所示，以图像的形式显示本发明定义的区域异质因子。图中显示了区域灰度异质因子的两种情况。(1)第一行是豹子的图像，图像中豹身的纹理比较丰富，但是背景的纹理较为单一。因此在灰度异质因子图像中，由于豹身纹理丰富的地方区域间的灰度不均匀，区域灰度异质因子的值较高，即为图像中较亮的部分。这是目标不同质，背景较为同质的情形。(2)第二行是海星的图像，海星的部分灰度变化平缓，但是背景的海底部分纹理丰富，灰度很不均匀。因此在灰度异质因子图像中，海星的部分较暗，海底背景的部分较亮。此为目标灰度同质，背景灰度不同质的情形。

S30、构建基于区域灰度异质能量的活动轮廓模型，所述模型的总能量泛函包括区域灰度异质能量泛函项、边缘能量项和局部区域拟合项。

找到两个P₁和P₂来逼近轮廓C内部和外部的区域灰度异质因子。一方面，本发明的区域灰度异质能量定义为：

其中

代表区域灰度质异因子的图像，H_ε(φ)是Heaviside函数的正则化，其具体表达式如下：

φ是水平集函数，φ根据下文中的更新函数迭代更新，最终的分割轮廓通过φ＝0得到。

P₁和P₂是轮廓C内部和外部的平均灰度异质因子，其具体表达式分别为：

此外，区域灰度异质因子也可以给出边缘的一种有效刻画方式。为了减少附近杂波区的影响，同时保持重要的图像结构，本发明先利用Perona-Malik模型对原始图像(灰度图像或彩色图像通过rgb2gray后的图像)去噪，然后计算去噪后的图像的灰度异质因子。本发明中的边缘能量定义为：

其中F_PM(p)表示图像Perona-Malik去噪后的灰度异质因子。另一方面，由于图像的复杂性，在考虑区域灰度异质性的同时，考虑使用局部能量泛函来融合原图像的灰度信息：

其中W(x)是一个以x为中心的邻域，邻域大小不定，可以根据不同的图像由用户选择，可以是5x5、3x3、7x7。K为一个Gauss核函数，t＝[m(x),s(x)]是一个简单的纹理描述算子，用来描述原图像中的纹理信息。K具有以下形式：

m(x),s(x)是图像灰度的均值和方差。t_in和t_out表示轮廓内外的图像灰度均值和方差组成的纹理描述算子，其中

将以上三个能量泛函结合在一起，得到：

E＝λ₁E_rh+λ₂E_local+λ₃E_edge+νLength(C)

λ₁,λ₂和λ₃是三种能量的权重，为三个正常数。Length(C)代表轮廓C的长度约束正则项，ν代表长度约束正则项的权重，用于确定长度约束在能量泛函极小化过程中起到作用的大小。ν越大正则约束越强，轮廓越光滑，反之亦然。

将C嵌入到水平集函数中，即C为函数φ的零水平集，得到本发明的总能量泛函：

S40、求解总能量泛函，得到图像的分割结果。

对于步骤S30中的(*)式，采用梯度下降法，求关于φ的一阶变分，得到φ的更新函数为：

其中δ_ε(φ(x)是函数H_ε(φ(x))的导数，具体表达式为：

利用恒等式

将上式子改写为：

对(**)式实施活动轮廓演化得到目标边界。采用如下的迭代公式：

这里l和Δt分别表示迭代次数和时间步长，F(φ^l(x))和R(φ^l(x))分别为(**)式右边的前三项和最后一项的数值逼近。

通过上式不断迭代φ不断地逼近目标边界。迭代一定次数后或者达到迭代终止条件后(终止条件即|φ^k+1-φ^k|＜ε，φ^k即迭代k次的水平集函数)水平集函数就可以达到目标边界。

下面以两个具体实例来验证本发明的实施效果。

实例1：

针对取自MSRA数据库的40幅自然图像，将本发明的基于区域灰度异质能量的图像分割方法与C-V、RSF、LSACM、文献[8]和文献[9]中模型的分割结果进行比较，采用F-值定量比较分割性能，其计算公式为：

其中β是参数，P是准确率(Precision)，R是召回率(Recall)。可知F_β综合了P和R的结果，当F_β较高时则说明试验方法比较有效。在实验中取β＝1，所有实验均在CPU 2.5GHz，RAM 6000G的电脑上用Matlab R2011a实现。对于本发明提出的模型，取如下参数k＝5，λ₂＝1，Δt＝0.1,ε＝0.1,σ＝10,λ₁，λ₃和ν作为待定参数，可以调整。通过一系列的实验，发现λ₁∈[3,14]，λ₃∈[0.8,3],ν∈[0.5,1.3]时分割效果好。所有的彩色图像转化为灰度图像，并把大小统一调整为180×240。

图4是部分图像依照不同模型分割结果的比较，其中第一列是初始图像，第二列是手动标注的真实目标边界，第三列是本发明的模型分割的结果，第四列是RSF模型分割的结果，第五列是C-V模型分割的结果，第六列是LSACM模型分割的结果，第七列是文献[8]中模型分割的结果，最后一列是文献[9]中模型分割的结果。可以看出，采取本发明的模型分割出的结果要明显优于其他方法。

表1是图4中7幅图像对应的六种不同分割模型对应的F-值，以及MSRA数据库中选取的40幅图像对应不同分割模型的平均F-值的比较。

表1实例1中各模型分割对应的F-值

实例2：

针对两种特定类型的图像：(1)目标灰度复杂背景灰度相对均匀，(2)背景复杂目标灰度相对均匀的图像灰度的图像，其他实验条件同实例1。

图5示出了根据不同模型对两种特定类型图像的分割结果，图5中，第一列是初始图像，第二列是本发明的分割结果，第三列是C-V模型分割结果，第四列是RSF模型分割结果，第五列是LSACM模型分割结果，第六列是文献[8]中模型分割结果，最后一列是文献[9]中模型分割的结果。

表2是图5中5幅图像对应六种分割模型的迭代次数和分割时间的比较，其中i代表迭代次数，T表示分割时间，单位为秒。

表2实例2中各分割模型对应的迭代次数和迭代时间

实验表明，本发明的模型在分割两类特定的图像时，分割结果优于传统的仅基于图像灰度信息的分割模型。

Claims (4)

1.一种基于区域灰度异质能量的图像分割方法，其特征在于，所述方法包括以下步骤：

S10、输入原始图像，得到其灰度图像的像素点个数和灰度值；

S20、基于灰度图像的像素点个数和灰度值，计算图像的灰度异质指标d和灰度异质因子F(x) ，得到与初始图像对应的灰度异质因子图像；

S30、构建基于区域灰度异质能量的活动轮廓模型，所述模型的总能量泛函包括区域灰度异质能量泛函项、边缘能量项和局部区域拟合项，具体形式如下：

其中，E_rh为区域灰度异质能量，E_local为局部能量，E_edge为边缘能量，

和

是三种能量的权重，Length(C)代表轮廓C的长度约束正则项，v代表长度约束正则项的权重；

所述区域灰度异质能量计算公式如下：

其中，

表示图像中像素点集合，

代表区域灰度质异因子的图像，

是Heaviside函数的正则化，

是水平集函数，P₁和P₂是轮廓C内部和外部的平均灰度异质因子，其具体表达式分别为：

所述局部能量计算公式为：

其中，W(x)是一个以像素点x为中心的邻域，K为一个Gauss核函数，t=[m(x),s(x)]为纹理描述算子，用来描述原图像中的纹理信息，m(x),s(x)是图像灰度的均值和方差，t_in和t_out表示轮廓内外的图像灰度均值和方差组成的纹理描述算子；

所述边缘能量计算公式为：

其中，F_PM(p)表示图像Perona-Malik去噪后的灰度异质因子；

S40、求解总能量泛函，得到图像的分割结果。

2.根据权利要求1所述的基于区域灰度异质能量的图像分割方法，其特征在于，所述步骤S10中，原始图像包括彩色图像和灰度图像，当原始图像为彩色图像时，使用MATLAB自带程序rgb2gray将其变换成灰度图像。

3.根据权利要求1所述的基于区域灰度异质能量的图像分割方法，其特征在于，所述步骤S20中，所述灰度异质指标d的计算公式为：

其中，

为图像中像素点的个数，

为邻域N_k(x)中像素的灰度均值，

，k表示邻域大小，I(x)表示任意像素点

的灰度值；

所述区域灰度异质因子F(x)的计算公式如下：

其中，

。

4.根据权利要求1所述的基于区域灰度异质能量的图像分割方法，其特征在于，所述步骤S40包括：将轮廓C嵌入到水平集函数

中，得到总能量泛函的具体形式，然后采用梯度下降法，求关于水平集函数

的一阶变分，再通过迭代实施活动轮廓演化得到目标边界，所用迭代公式为：

其中l和

分别表示迭代次数和时间步长，

和

分别为一阶变分后的水平集函数能量项和长度项的数值逼近。

Images