CN104021566A - 基于GrabCut算法的舌诊图像自动分割方法 - Google Patents

Abstract

本发明公开了一种基于GrabCut算法的舌诊图像自动分割方法，该方法包括以下步骤：步骤一、基于色度直方图回归的阈值化定位舌体；步骤二、过分割并初始化中央区域为前景，周围区域为背景；步骤三、根据GrabCut算法进行步骤二中得到的舌诊图像的自动分割。与现有技术相比，本发明不依赖于舌***于图像中央的假设，而且通过先缩小再处理然后再放大的技巧可以使方法极为高效。在真实舌诊图像上的实验表明，本方法能有效地完成舌诊图像的自动分割，为进一步的舌诊图像分析做准备。

Description

基于GrabCut算法的舌诊图像自动分割方法

技术领域

本发明涉及数字图像处理技术，特别是涉及舌诊图像自动分割方法。 

背景技术

舌诊是传统中医中的重要诊断方法。中医通过观察舌头可迅速诊断许多病情。然而，该诊断过程具有高度的主观性，其诊断结果依赖于医生的经验和主观判断，因而难以推广和传承。基于计算机辅助技术的舌诊是将其客观化的有效途径。利用图像处理和模式识别技术，可以将舌象与疾病之间的映射关系(近似地)定量地描述出来。 

其中，舌体分割是计算机辅助舌诊的重要预处理步骤。舌体形状各异，舌体表面特征多样，加之舌体颜色与嘴唇和脸部颜色十分接近，使得舌体自动分割成为一个难题。已有的方法大多要求舌体图像十分规整(比如舌体必须在图像中央等)，且分割效果远不尽人意。本发明提出基于GrabCut的自动舌体分割方法，能处理不规整的图像，且能取得较好的分割效果。本发明依赖的几个关键的背景技术分别介绍如下。 

一、局部加权线性回归 

局部加权线性回归(locally weighted linear regression，LWLR)是一种非常有效的曲线拟合或曲线光滑技术。给定m个数据样本点LWLR通过加权的最小二乘对每一个样本点(x_k,y_k),k＝1,...,k拟合一条直线θ^(k)，即 

${\mathrm{\θ}}^{\left(k\right)}=\arg {\min }_{\mathrm{\θ}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i^{\left(k\right)}{(x_i^T\mathrm{\θ}-y_i)}^2---\left(1\right)$

其中，是高斯权重，即 

$w_i^{\left(k\right)}=\exp (-\frac{{\left|\right|x_i-x_k\left|\right|}^2}{2{\mathrm{\σ}}^2})$

问题(1)的解析解为 

θ^(k)＝(XX^T)^-1XY 

其中 

$X=[\sqrt{w_1^{\left(k\right)}}{x}_1,\sqrt{w_2^{\left(k\right)}}{x}_2,...,\sqrt{w_m^{\left(k\right)}}{x}_m],$

$Y={[\sqrt{w_1^{\left(k\right)}}{y}_1,\sqrt{w_2^{\left(k\right)}}{y}_2,...,\sqrt{w_m^{\left(k\right)}}{y}_m]}^T.$

二、超像素技术 

超像素即区域。对图像进行过分割，得到的每一个小区域即为一个超像素。近年来，以超像素而不是像素作为数据单元进行后续研究是很流行的方法。因为超像素内的像素值一般是非常接近的，所以一般一个超像素中不会包含图像中两个不同对象的像素。本发明利用这种性质对舌诊图像的前景和背景进行标记。具体请参考文献^[1]。 

三、GrabCut图像分割技术 

GrabCut是一种非常有效的交互式图像前景、背景分割技术^[2]。利用用户手工交互标记的前景和背景的信息，GrabCut通过高斯混合模型(Gaussian Mixture Model,GMM)对前景数据和背景数据分别进行统计建模，并据此推断未标记像素的类别。推断过程被形式化成由边界项和区域项构成的最优化问题，而这个最优化问题可以进而通过GraphCut^[3]求得最优解。结合得到的最优解和已标记的信息，重新进行GMM建模，重复这个过程直到优化目标不再减小，最终得到的解即表示了所有像素的类别(属于前景还是背景)。 

参考文献： 

[1]Radhakrishna Achanta,Appu Shaji,Kevin Smith,Aurelien Lucchi,Pascal Fua,and Sabine Süsstrunk,“SLIC Superpixels Compared to State-of-the-art Superpixel Methods,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.34,no.11,pp.2274-2282,May2012. 

[2]Carsten Rother,Vladimir Kolmogorov,and Andrew Blake,“GrabCut:interactive foreground extraction using iterated graph cuts,”ACM Transactions on Graphics(TOG),vol.23,no.3,pp.309–314,2004. 

[3]Yuri Y Boykov and M-P Jolly,“Interactive graph cuts for optimal boundary&region segmentation of objects in nd images,”in Proceedings of the Eighth IEEE International Conference on Computer Vision.IEEE,2001,vol.1,pp.105–112. 

发明内容

为了克服上述现有技术存在的问题和基于上述现有技术，本发明提出一基于GrabCut算法的舌诊图像自动分割方法，预先对舌体图像进行阈值化定位、前景和背景自动定位，再进行自动的图像分割，以实现舌诊中舌体图像的自动分割。 

本发明提出一种自动的GrabCut舌诊图像分割方法。具体过程如下： 

本发明提出的一种基于GrabCut的舌诊图像自动分割方法，其特征在于，该方法包括以下步骤： 

步骤一、基于色度直方图回归的阈值化定位舌体； 

步骤二、过分割并初始化中央区域为前景，周围区域为背景； 

步骤三、根据GrabCut算法进行步骤二中得到的舌诊图像的自动分割。 

所述基于色度直方图回归的阈值化定位舌体的步骤，具体包括以下处理： 

先将输入舌诊RGB原始图像转换到HSV空间；画出H分量的直方图；对该直方图用LWLR进行平滑，得到每一点处拟合得到直线；根据这些直线斜率定位该直 方图的极小值，并将最左的极小值点h₁和最右的极小值点h₂设为所需的阈值； 

接下来将H分量值处于h₁和h₂之间的像素置0，其余的置1，得到一个二值图像M；找到M中亮度值之和最大的连通分量，并取原始图像中包含该连通分量的最小矩形区域作为本步骤的输出图像。 

所述过分割并初始化中央区域为前景，周围区域为背景对定位后的图像的步骤，具体包括以下处理： 

先用SLIC得到超像素；再以图像中心为圆心，以2/5图像宽度或长度这两者中取较小值者为半径作圆，将在圆内或与圆相交超像素全标记为前景，而在边缘的超像素全部标记为背景；另外，将平均亮度值小于40的超像素也标记为背景。 

所述根据GrabCut算法进行步骤二中得到的舌诊图像的自动分割的步骤，具体包括以下处理将步骤二得到的标记结果解释为白色部分必须作为前景，黑色和蓝色部分必须作为背景，其它未标记部分作为前景；得到GrabCut算法所需的输入，进而自动完成舌体分割。 

与现有技术相比，本方法不依赖于舌***于图像中央的假设，而且通过先缩小再处理然后再放大的技巧可以使方法极为高效。在真实舌诊图像上的实验表明，本方法能有效地完成舌诊图像的的自动分割，为进一步的舌诊图像分析做准备。 

附图说明

图1为本发明的总体流程图； 

图2为本发明的舌体定位模型示意图； 

(a)为原图像；(b)定位后的图像；(c)左下为HSV颜色模型；(d)为原图像的H分量的直方图以及用LWLR拟合得到的光滑曲线： 

1、原图像的H分量的直方图；2、用LWLR拟合得到的光滑曲线；3、光滑曲线 的最左极小值点h₁；4、光滑曲线的最右极小值点h₂； 

图3为舌体图像自动前背景标记结果示意图； 

图4：本发明的实验结果图。 

(4-1)为舌体定位结果；(4-2)为前背景标记结果；(4-3)为GrabCut分割结果。 

具体实施方式

由于原始GrabCut图像分割技术一般需要手工标记部分前景和背景像素。若能预先知道前景和背景的空间位置，则可实现自动标记，使GrabCut图像分割技术变成全自动的方法。考虑到舌诊图像的特点，可以根据舌体一般呈红色的特点对舌体进行自动定位；定位后，舌体在图像中央，而非舌体部分在图像边缘，因而可非常自信地标记大量像素。从而提供足够的信息来精确地建立GMM模型，进而输入到GrabCut完成整个自动分割过程。 

下面结合附图和本发明实施例进一步详细说明本发明的目的和技术方案。 

如图1所示，为本发明的整体流程图。包括以下步骤： 

步骤一、基于色度直方图回归的阈值化定位舌体； 

步骤二、过分割并初始化中央区域为前景，周围区域为背景； 

步骤三、GrabCut自动分割。 

如图2的舌体定位模型示意图，进一步说明步骤一中舌体的自动定位：先将输入舌诊RGB原始图像转换到HSV空间。其中，H分量表示色调。画出H分量的直方图1。对该直方图用LWLR进行平滑，得到每一点处拟合得到直线。根据这些直线斜率定位该直方图的极小值，并将最左的极小值点h₁和最右的极小值点h₂设为所需的阈值。接下来将H分量值处于h₁和h₂之间的像素置0，其余的置1，得到一个二值图像M。找到M中亮度值之和最大的连通分量，并取原始图像中包含该连通分量的 最小矩形区域作为本步骤的输出图像。 

光滑曲线的最左和最右的极小值点h₁和h₂。将原图像中所有H分量的值h满足h₁＜h＜h₂的像素置0得到图2(b)。把非0看成1，即得到二值图像，取该二值图像亮度值之和最大的连通分量即得到定位后的图像(白色方框内所示)。 

如图3所示的舌体图像自动前背景标记结果示意图，进一步说明步骤二的前景与背景的自动标记具体做法：对定位后的图像，先用SLIC得到超像素，如图3中的3-1；再以图像中心为圆心，2/5图像宽度(或长度，两者取较小者)为半径作圆，将在圆内或与圆相交超像素全标记为前景(图3-2中白色部分)，而在边缘的超像素全部标记为背景(图3-2中黑色部分)。另外，将平均亮度值小于40(亮度值范围为0～255)的超像素也标记为背景(图3-2中蓝色部分)。 

步骤三的GrabCut舌体分割具体做法是：将第步骤二得到的标记结果解释为白色部分必须为前景，黑色和蓝色部分必须为背景，其它未标记部分可能为前景。这样得到GrabCut算法所需的输入，即步骤二标记出初始化GrabCut算法所需要的初始矩阵，进而调用GrabCut算法进而自动完成舌体分割。 

本发明的上述流程借助于开源库OpenCV编程。具体步骤如下： 

1、调用imread()函数读取图像； 

2、调用cvCvtColor()函数将RGB空间转换到HSV空间； 

3、调用cvSplit()获取H分量； 

4、调用cvCreateHist()和cvCalcHist()获取H分量的直方图； 

5、调用cvSolve()求解LWLR的(最小二乘)拟合结果； 

6、调用cvCmpS()和cvOr()等函数得到阈值化的结果； 

7、调用cvFindContours()和cvBoundingRect()等函数获得定位结果； 

8、SLIC的C++代码获得定位后的舌体图像的超像素； 

9、根据图2标记超像素； 

10、最后调用grabCut()完成分割。 

以上所述，仅为本发明的较佳实施例而已，用于帮助理解本发明的方法及核心思想，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，所以本说明书内容不应理解为对本发明的限制。 

Claims (4)

1.一种基于GrabCut算法的舌诊图像自动分割方法，其特征在于，该方法包括以下步骤： 

步骤一、基于色度直方图回归的阈值化定位舌体； 

步骤二、过分割并初始化中央区域为前景，周围区域为背景； 

步骤三、根据GrabCut算法进行步骤二中得到的舌诊图像的自动分割。 

2.如权利要求1所述的基于GrabCut算法的舌诊图像自动分割方法，其特征在于，所述基于色度直方图回归的阈值化定位舌体的步骤，具体包括以下处理： 

先将输入舌诊RGB原始图像转换到HSV空间；画出H分量的直方图；对该直方图用LWLR进行平滑，得到每一点处拟合得到直线；根据这些直线斜率定位该直方图的极小值，并将最左的极小值点h₁和最右的极小值点h₂设为所需的阈值； 

接下来将H分量值处于h₁和h₂之间的像素置0，其余的置1，得到一个二值图像M；找到M中亮度值之和最大的连通分量，并取原始图像中包含该连通分量的最小矩形区域作为本步骤的输出图像。 

3.如权利要求1所述的基于GrabCut算法的舌诊图像自动分割方法，其特征在于，所述过分割并初始化中央区域为前景，周围区域为背景对定位后的图像的步骤，具体包括以下处理： 

先用SLIC得到超像素；再以图像中心为圆心，以2/5图像宽度或长度这两者中取较小值者为半径作圆，将在圆内或与圆相交超像素全标记为前景，而在边缘的超像素全部标记为背景；另外，将平均亮度值小于40的超像素也标记为背景。 

4.如权利要求1所述的基于GrabCut算法的舌诊图像自动分割方法，其特征在于，所述根据GrabCut算法进行步骤二中得到的舌诊图像的自动分割的步骤，具体包括以下处理将步骤二得到的标记结果解释为白色部分必须作为前景，黑色和蓝色部 分必须作为背景，其它未标记部分作为前景；得到GrabCut算法所需的输入，进而自动完成舌体分割。