CN105678797A - 基于视觉显著模型的图像分割方法 - Google Patents

Abstract

本发明提供一种基于视觉显著模型的图像分割方法，该方法首先进行图像的背景检测得到图像的边界连通性值，然后使用基于六边形简单线性迭代聚类HSLIC(Hexagonal？Simple？Linear？Iterative？Clustering)的SC(Superpixel？Contrast)方法得到图像的显著性图，最后使用得到的图像的边界连通性值和显著性图的显著性值作为图割方法区域项的输入，自动地进行图像分割，最后输出图像的显著性区域分割结果。

Description

基于视觉显著模型的图像分割方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种基于视觉显著模型的图像分割方法。

背景技术

图像显著区域检测是图像处理领域的一个热门的研究方向，图像的显著性区域，也就是最引起人们视觉关注的地方，它往往包含了图像中的绝大部分信息，所以，它的应用范围很广泛。它可以用在目标识别，图像分割，自适应压缩，图像检索等领域中，一种有效的图像显著性区域的检测方法对于这些领域的发展有很大的帮助。目前现有的显著性区域检测的方法有很多，大致可分为两个方向：基于局部对比度的方法和基于全局对比度的方法。基于局部对比度的显著性检测方法中每个像素点的显著性值是由和它周围的一些像素的对比度来决定，而基于全局对比度的显著性检测方法则是由它和整张图片中所有像素的对比度来决定。一种有效的显著性检测的方法是基于鲁棒的背景检测的显著性优化方法，它在图像上定义了一种边界连通性值，能够有效地将背景区域和前景区域区别出来，并且在此基础上的图像显著性优化可以得到较好的显著性图。另外，现有的一种常用的图像分割的方法是图割方法。它采用图论中最大流最小割的思想，源节点为S，汇节点为T，区域项转化为S或T到每一个像素点的权重，边缘项转化为像素点之间的权重。通过求解最大流最小割，将图像分成前景和背景区域。

然而，基于鲁棒的背景检测的显著性优化方法在图像显著性区域的完整性和边界保持上效果不是很好；图割方法大多需要用户的手动输入，通过人眼的主观判断以及先验知识来初步确定前景和背景，因此，该方法不够灵活，且容易受用户主观判断的影响。

发明内容

本发明提供一种基于视觉显著模型的图像分割方法，该方法利用图像的边界连通值和显著性图的显著性值作为图割方法区域项的输入，进行图像分割，最后输出图像的显著性区域分割结果。

为了达到上述技术效果，本发明的技术方案如下：

一种基于视觉显著模型的图像分割方法，包括以下步骤：

S1：对图像A进行超像素分割，得到图像A超像素的测地距离，生成区域，得到边界长度和边界连通性值；

S2：利用六边形简单线性迭代聚类法HSLIC对图像A进行超像素分割，并对分割后的图像使用超像素对比度SC方法进行全局显著性检测得到图像A的显著性图的显著性值；

S3：利用S1中得到的边界连通性值和S2中得到的显著性值为图像分割区域项进行图像分割，输出图像的显著性区域分割结果。

进一步地，步骤S1的具体过程如下：

S11：图像A进行超像素分割后，计算每个超像素的测地距离；

S12：利用得到的每个超像素的测地距离计算每个超像素的生成区域；

S13：利用得到的每个超像素的生成区域计算每个超像素的边界长度；

S14:利用得到的每个超像素的生成区域和每个超像素的边界长度计算每个超像素的边界连通性值。

进一步地，所述步骤S21中对图像A进行超像素分割后的具体过程是：

对图像A进行简单的线性迭代聚类分割SLIC，记录每个超像素的标记号，每个像素所属的超像素类别，超像素邻接矩阵，以及图像边界上的超像素以备使用。

进一步地，所述步骤S11的具体过程如下：

S111：对分割后的图像进行颜色空间转换，由RGB空间转换为Lab空间；

S112：根据超像素邻接矩阵，计算所有邻接超像素(p_i，p_i+1)在Lab空间的欧氏距离：

$d_{app}(p_i,p_{i+1})=\sqrt{{(l_i-1_{i+1})}^2+{(a_i-a_{i+1})}^2+{(b_i-b_{i+1})}^2}$

其中i的取值范围为1到N-1，N为图像超像素的个数，p_i表示第i个超像素，p_i+1表示第i+1个超像素，l_i，a_i，b_i分别是第i个超像素在Lab颜色空间的三个分量，l_i+1，a_i+1，b_i+1分别是第i+1个超像素在Lab颜色空间的三个分量；

S113：任意两个超像素的测地距离d_geo(p_i，p_j)为：从超像素p_i开始沿着一条最短的路到达超像素p_j的距离：

$d_{geo}(p_i,p_j)=\underset{p_k=p_1,p_2,...,p_n=p_j}{min}\underset{k=1}{\overset{n-1}{\Σ}}{d}_{app}(p_i,p_k)$

其中，p_k，p_i，p₂，…，p_n，pj都是分割后图像的超像素，i，j取值范围均为1到N，k取值范围均为1到n-1，n代表从p_i到p_j的路径上经过的超像素个数，min表示取最小值，当i＝j时，dgeo(p_i，p_j)＝0，表示一个超像素和它自己的测地距离为0。

进一步地，所述步骤S12的具体过程如下：

超像素p_i的生成区域表示的是，超像素p_i所属区域的一个软区域。该区域描述的是其他的超像素p_j对于超像素p_i所在区域的贡献大小，超像素pi的生成区域Area(p_i)为：

$Area\left(p_i\right)=\underset{j=1}{\overset{N}{\Σ}}\exp (-\frac{{d_{geo}}^2(p_i,p_j)}{2^2{\mathrm{\σ}}_{clr}})=\underset{j=1}{\overset{N}{\Σ}}S(p_i,p_j)$

其中，exp表示指数函数，i，j的取值范围均为1到N，N为图像超像素的个数，σ_clr表示调整超像素p_j对p_i的区域影响大小的参数，σ_clr＝10，S(p_i，p_j)表示超像素p_j对p_i区域影响，p_i，p_j测地距离越小，它对p_i的区域贡献越大。

进一步地，步骤S13的具体过程如下：

超像素p_i的边界长度描述的是图像边界上的超像素对于p_i的区域的贡献大小Lenbnd(p_i)，计算定义为：

${\mathrm{Len}}_{bnd}\left(p_i\right)=\underset{j=1}{\overset{N}{\Σ}}S(p_i,p_j)\·\mathrm{\δ}(p_j\∈Bnd)$

其中，Bnd是图像边界上的超像素的集合，对于图像边界上的超像素，δ(p_j∈Bnd)为1，其他为0。

进一步地，步骤S14的具体过程如下：

超像素p_i的边界连通性值描述的是p_i属于图像的边界的可能性大小，边界连通性值是一个关于图像超像素边界长度和生成区域的一个函数：

$BndCon\left(p_i\right)=\frac{{\mathrm{Len}}_{bnd}\left(p_i\right)}{\sqrt{Area\left(p_i\right)}}.$

进一步地，所述步骤S3的具体过程如下：

根据图论的思想，将超像素看成是图上的一个个节点，源节点为S，汇节点为T，区域项转化为S或T到每一个超像素的权重，边缘项转化为超像素之间的权重。通过求解最大流最小割，将图像分成前景和背景区域，在边缘项不变的情况下，使用步骤S1得到的图像边界连通性值和步骤S2得到的显著性图的显著性值作为区域项的权重输入，自动地进行图像分割，得到图像显著性区域分割结果，

其中，区域项的权重为：

$weight\left(p_i\right)=w*BonCon\left(p_i\right)+(1-w)*\exp (-\frac{S^2\left(p_i\right)}{2*{\mathrm{\σ}}^2})$

其中，w，σ分别是两个调节参数，w，σ∈[0.3,0.6]，S(p_i)为利用步骤S2得到的超像素p_i的显著性值，BonCon(p_i)，S(p_i)都归一化到[0,1]之间。

与现有技术相比，本发明技术方案的有益效果是：

本发明首先进行图像的背景检测得到图像的边界连通性值，然后使用基于六边形简单线性迭代聚类HSLIC(HexagonalSimpleLinearIterativeClustering)的SC(SuperpixelContrast)方法得到图像的显著性图，最后使用得到的图像的边界连通性值和显著性图的显著性值作为图割方法区域项的输入，自动地进行图像分割，最后输出图像的显著性区域分割结果。

附图说明

图1为本发明流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

一种基于视觉显著模型的图像分割方法，包括以下步骤：

S1：对图像A进行超像素分割，得到图像A超像素的测地距离，生成区域，得到边界长度和边界连通性值；

S2：利用六边形简单线性迭代聚类法HSLIC对图像A进行超像素分割，并对分割后的图像使用超像素对比度SC方法进行全局显著性检测得到图像A的显著性图的显著性值；

S3：利用S1中得到的边界连通性值和S2中得到的显著性值为图像分割区域项进行图像分割，输出图像的显著性区域分割结果。

进一步地，步骤S1的具体过程如下：

S11：图像A进行超像素分割后，计算每个超像素的测地距离；

S12：利用得到的每个超像素的测地距离计算每个超像素的生成区域；

S13：利用得到的每个超像素的生成区域计算每个超像素的边界长度；

S14:利用得到的每个超像素的生成区域和每个超像素的边界长度计算每个超像素的边界连通性值。

步骤S21中对图像A进行超像素分割后的具体过程是：

对图像A进行简单的线性迭代聚类分割SLIC，记录每个超像素的标记号，每个像素所属的超像素类别，超像素邻接矩阵，以及图像边界上的超像素以备使用。

步骤S11的具体过程如下：

S111：对分割后的图像进行颜色空间转换，由RGB空间转换为Lab空间；

S112：根据超像素邻接矩阵，计算所有邻接超像素(p_i，p_i+1)在Lab空间的欧氏距离：

$d_{app}(p_i,p_{i+1})=\sqrt{{(l_i-l_{i+1})}^2+{(a_i-a_{i+1})}^2+{(b_i-b_{i+1})}^2}$

其中i的取值范围为1到N-1，N为图像超像素的个数，p_i表示第i个超像素，p_i+1表示第i+1个超像素，l_i，a_i，b_i分别是第i个超像素在Lab颜色空间的三个分量，l_i+1，a_i+1，b_i+1分别是第i+1个超像素在Lab颜色空间的三个分量；

S113：任意两个超像素的测地距离d_geo(p_i，p_j)为：从超像素p_i开始沿着一条最短的路到达超像素p_j的距离：

$d_{geo}\left(p_i,p_j\right)=\underset{p_k=p_i,p_2,\mathrm{...},p_n=p_j}{\min }\underset{k=1}{\overset{n-1}{\mathrm{\Σ}}}{d}_{app}\left(p_i,p_k\right)$

其中，p_k，p_i，p₂，…，p_n，pj都是分割后图像的超像素，i，j取值范围均为1到N，k取值范围均为1到n-1，n代表从p_i到p_j的路径上经过的超像素个数，min表示取最小值，当i＝j时，dgeo(p_i，p_j)＝0，表示一个超像素和它自己的测地距离为0。

步骤S12的具体过程如下：

超像素p_i的生成区域表示的是，超像素p_i所属区域的一个软区域。该区域描述的是其他的超像素p_j对于超像素p_i所在区域的贡献大小，超像素pi的生成区域Area(p_i)为：

$Area\left(p_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\exp \left(-\frac{{d_{geo}}^2\left(p_i,p_j\right)}{2{{\mathrm{\σ}}_{clr}}^2}\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}S\left(p_i,p_j\right)$

其中，exp表示指数函数，i，j的取值范围均为1到N，N为图像超像素的个数，σ_clr表示调整超像素p_j对p_i的区域影响大小的参数，σ_clr＝10，S(p_i，p_j)表示超像素p_j对p_i区域影响，p_i，p_j测地距离越小，它对p_i的区域贡献越大。

步骤S13的具体过程如下：

超像素p_i的边界长度描述的是图像边界上的超像素对于p_i的区域的贡献大小Lenbnd(p_i)，计算定义为：

${\mathrm{Len}}_{bnd}\left(p_i\right)=\underset{j=1}{\overset{N}{\Σ}}S(p_i,p_j)\·\mathrm{\δ}(p_j\∈Bnd)$

其中，Bnd是图像边界上的超像素的集合，对于图像边界上的超像素，δ(p_j∈Bnd)为1，其他为0。

步骤S14的具体过程如下：

超像素p_i的边界连通性值描述的是p_i属于图像的边界的可能性大小，边界连通性值是一个关于图像超像素边界长度和生成区域的一个函数：

$BndCon\left(p_i\right)=\frac{{\mathrm{Len}}_{bnd}\left(p_i\right)}{\sqrt{Area\left(p_i\right)}}.$

步骤S3的具体过程如下：

根据图论的思想，将超像素看成是图上的一个个节点，源节点为S，汇节点为T，区域项转化为S或T到每一个超像素的权重，边缘项转化为超像素之间的权重。通过求解最大流最小割，将图像分成前景和背景区域，在边缘项不变的情况下，使用步骤S1得到的图像边界连通性值和步骤S2得到的显著性图的显著性值作为区域项的权重输入，自动地进行图像分割，得到图像显著性区域分割结果，

其中，区域项的权重为：

$weight\left(p_i\right)w*BonCon\left(p_i\right)+\left(1-w\right)*\exp \left(1-\frac{S^2\left(p_i\right)}{2*{\mathrm{\σ}}^2}\right)$

其中，w，σ分别是两个调节参数，w，σ∈[0.3,0.6]，S(p_i)为利用步骤S2得到的超像素p_i的显著性值，BonCon(p_i)，S(p_i)都归一化到[0,1]之间。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于视觉显著模型的图像分割方法，其特征在于，包括以下步骤：

S1：对图像A进行超像素分割，得到图像A超像素的测地距离，生成区域，得到边界长度和边界连通性值；

S2：利用六边形简单线性迭代聚类法HSLIC对图像A进行超像素分割，并对分割后的图像使用超像素对比度SC方法进行全局显著性检测得到图像A的显著性图的显著性值；

S3：利用S1中得到的边界连通性值和S2中得到的显著性值为图像分割区域项进行图像分割，输出图像的显著性区域分割结果。

2.根据权利要求1所述的基于视觉显著模型的图像分割方法，其特征在于，步骤S1的具体过程如下：

S11：图像A进行超像素分割后，计算每个超像素的测地距离；

S12：利用得到的每个超像素的测地距离计算每个超像素的生成区域；

S13：利用得到的每个超像素的生成区域计算每个超像素的边界长度；

S14:利用得到的每个超像素的生成区域和每个超像素的边界长度计算每个超像素的边界连通性值。

3.根据权利要求2所述的基于视觉显著模型的图像分割方法，其特征在于，所述步骤S21中对图像A进行超像素分割后的具体过程是：

对图像A进行简单的线性迭代聚类分割SLIC，记录每个超像素的标记号，每个像素所属的超像素类别，超像素邻接矩阵，以及图像边界上的超像素以备使用。

4.根据权利要求3所述的基于视觉显著模型的图像分割方法，其特征在于，所述步骤S11的具体过程如下：

S111：对分割后的图像进行颜色空间转换，由RGB空间转换为Lab空间；

S112：根据超像素邻接矩阵，计算所有邻接超像素(p_i，p_i+1)在Lab空间的欧氏距离：

$d_{app}(p_i,p_{i+1})=\sqrt{{(l_i-l_{i+1})}^2+{(a_i-a_{i+1})}^2+{(b_i-b_{i+1})}^2}$

其中i的取值范围为1到N-1，N为图像超像素的个数，p_i表示第i个超像素，p_i+1表示第i+1个超像素，l_i，a_i，b_i分别是第i个超像素在Lab颜色空间的三个分量，l_i+1，a_i+1，b_i+1分别是第i+1个超像素在Lab颜色空间的三个分量；

S113：任意两个超像素的测地距离d_geo(p_i，p_j)为：从超像素p_i开始沿着一条最短的路到达超像素p_j的距离：

$d_{geo}(p_i,p_j)=\underset{p_k=p_i,p_2,...,p_n=p_j}{min}\underset{k=1}{\overset{n-1}{\Σ}}{d}_{app}(p_i,p_k)$

其中，p_k，p_i，p₂，…，p_n，pj都是分割后图像的超像素，i，j取值范围均为1到N，k取值范围均为1到n-1，n代表从p_i到p_j的路径上经过的超像素个数，min表示取最小值，当i＝j时，dgeo(p_i，p_j)＝0，表示一个超像素和它自己的测地距离为0。

5.根据权利要求4所述的基于视觉显著模型的图像分割方法，其特征在于，所述步骤S12的具体过程如下：

超像素p_i的生成区域表示的是，超像素p_i所属区域的一个软区域。该区域描述的是其他的超像素p_j对于超像素p_i所在区域的贡献大小，超像素pi的生成区域Area(p_i)为：

$Area\left(p_i\right)=\underset{j=1}{\overset{N}{\Σ}}\exp (-\frac{{d_{geo}}^2(p_i,p_j)}{2{{\mathrm{\σ}}_{clr}}^2})=\underset{j=1}{\overset{N}{\Σ}}S(p_i,p_j)$

其中，exp表示指数函数，i，j的取值范围均为1到N，N为图像超像素的个数，σ_clr表示调整超像素p_j对p_i的区域影响大小的参数，σ_clr＝10，S(p_i，p_j)表示超像素p_j对p_i区域影响，p_i，p_j测地距离越小，它对p_i的区域贡献越大。

6.根据权利要求5所述的基于视觉显著模型的图像分割方法，其特征在于，步骤S13的具体过程如下：

超像素p_i的边界长度描述的是图像边界上的超像素对于p_i的区域的贡献大小Lenbnd(p_i)，计算定义为：

${\mathrm{Len}}_{bnd}\left(p_i\right)=\underset{j=1}{\overset{N}{\Σ}}S(p_i,p_j)\·\mathrm{\δ}(p_j\∈Bnd)$

其中，Bnd是图像边界上的超像素的集合，对于图像边界上的超像素，δ(p_j∈Bnd)为1，其他为0。

7.根据权利要求6所述的基于视觉显著模型的图像分割方法，其特征在于，步骤S14的具体过程如下：

超像素p_i的边界连通性值描述的是p_i属于图像的边界的可能性大小，边界连通性值是一个关于图像超像素边界长度和生成区域的一个函数：

$BndCon\left(p_i\right)=\frac{{\mathrm{Len}}_{bnd}\left(p_i\right)}{\sqrt{Area\left(p_i\right)}}.$

8.根据权利要求7所述的基于视觉显著模型的图像分割方法，其特征在于，所述步骤S3的具体过程如下：

根据图论的思想，将超像素看成是图上的一个个节点，源节点为S，汇节点为T，区域项转化为S或T到每一个超像素的权重，边缘项转化为超像素之间的权重。通过求解最大流最小割，将图像分成前景和背景区域，在边缘项不变的情况下，使用步骤S1得到的图像边界连通性值和步骤S2得到的显著性图的显著性值作为区域项的权重输入，自动地进行图像分割，得到图像显著性区域分割结果，

其中，区域项的权重为：

$weight\left(p_i\right)=w*BonCon\left(p_i\right)+(1-w)*\exp (-\frac{S^2\left(p_i\right)}{2*{\mathrm{\σ}}^2})$

其中，w，σ分别是两个调节参数，w，σ∈[0.3,0.6]，S(p_i)为利用步骤S2得到的超像素p_i的显著性值，BonCon(p_i)，S(p_i)都归一化到[0,1]之间。