CN109472794A - 一种对图像进行超像素分割的方法及*** - Google Patents

Abstract

本发明提供一种对图像进行超像素分割的方法，所述图像包含一个或者多个图像块，所述方法包括：1)针对每个图像块确定其所包含色彩信息的丰富程度；2)根据图像块所包含色彩信息的丰富程度，确定为所述图像块设置的用于SLIC算法中针对色彩距离的系数α、以及针对空间距离的系数β。这样的方式使得在实施SLIC算法时，可以自适应地根据图像特征调整色彩以及像素点位置对分割结果的影响。通过测试比，采用本发明的方法可以以增加非常少的运行时间为代价，获得更好的边缘召回率以及欠分割错误率，即采用本发明的方法可以更好地防止边缘丢失、且获得更好的边缘贴合度。

Description

一种对图像进行超像素分割的方法及***

技术领域

本发明涉及图像处理，尤其涉及针对图像进行区域划分。

背景技术

随着科技的发展，越来越多的应用需要由计算机代替人眼完成针对视频帧中的目标区域进行识别、跟踪、以及长期分析的操作。区别于图像背景区域，目标区域是人肉眼所关注的热点，如何让计算机确定该目标区域是这一技术的关键。

超像素分割，是实现诸如目标区域分割等操作的预处理，已被广泛地应用于图像分割、姿势估计、目标识别等计算机视觉应用中。其最早于2003年由Ren.X等人在ICCV中发表的文章“Learning a Classification Model for Segmentation”中提出，指的是将具有相似纹理、颜色、亮度等特征的相邻像素所构成的具有一定视觉意义的不规则像素块作为一个超像素，由此对图像中具有相似性的相邻像素进行分组，用少量的超像素代替大量的像素来实现图像的表达。

线性迭代聚类(Simple Linear Iterative Clustering，SLIC)是于2010年由R.Achanta等人在TPAMI中发表的文章“SLIC Superpixels Compared to State-of-the-Art Superpixel Methods”中提出的一种用于实施超像素分割操作的算法，该算法将彩色图像中表达色彩的R、G、B值以及表达空间坐标信息的X、Y值作为5维特征向量，对5维特征向量构造距离度量标准，以对图像像素进行局部聚类。通过这一算法可以实现紧凑、且近似均匀的超像素分割，在运算速度、物体轮廓保持、超像素形状等方面有较高的性能，可以达到大多数应用所期望的分割效果。然而，传统的SLIC算法仅考虑了像素点之间的颜色特征和距离位置信息，并不能实现根据不同图像的特点自适应地调整计算策略，导致在一些颜色较为复杂的图像中，目标区域的分割不能达到理想效果，出现溢出或者分割不完整的情况，影响后续目标分割提取等的准确性。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种对图像进行超像素分割的方法，所述图像包含一个或者多个图像块，所述方法包括：

1)针对每个图像块确定其所包含色彩信息的丰富程度；

2)根据图像块所包含色彩信息的丰富程度，确定为所述图像块设置的用于SLIC算法中针对色彩距离的系数α、以及针对空间距离的系数β。

优选地，根据所述方法，步骤1)中图像块所包含色彩信息的丰富程度通过计算所述图像块所包含色彩的信息熵而确定。

优选地，根据所述方法，其中步骤1)包括：

1-1)将图像块中的像素点的色彩值转换为灰度值；

1-2)针对同一个图像块，统计其中不同灰度值的出现次数；

1-3)根据统计结果，计算每个图像块所包含灰度信息的信息熵。

优选地，根据所述方法，其中步骤1-3)包括：基于下式计算图像块所包含灰度信息的信息熵：

其中，COM_k为图像块k的信息熵，gray_i为统计获得的灰度值i的频率，sq为图像块k中像素点的总数。

优选地，根据所述方法，其中步骤1-1)包括基于以下任意一种或多种方式将图像块中的像素点的色彩值转换为灰度值：

浮点算法：Gray＝R*0.3+G*0.59+B*0.11，

整数方法：Gray＝(R*30+G*59+B*11)/100，

移位方法：Gray＝(R*77+G*151+B*28)＞＞8，

平均值法：Gray＝(R+G+B)/3，

仅取绿色：Gray＝G，

其中，Gray为像素点的灰度值，R、G、B分别为RGB色彩值中的R值、G值、B值。

优选地，根据所述方法，其中步骤2)包括：

2-1a)基于全部K个图像块的信息熵的取值分布情况，确定多个分段区间、以及与每个分段区间对应的系数α的取值，系数α的取值小于1；

2-2a)针对信息熵的取值落入某一分段区间内的图像块，将其系数α设置为相应的值，并且将其系数β设置为1-α。

优选地，根据所述方法，其中步骤2)包括：

2-1b)对全部K个图像块的信息熵按照从小到大顺序进行排序，获得图像块的信息熵的变化趋势曲线；

2-2b)根据所述变化趋势曲线确定变化率最大的点所对应的图像块的编号以作为grayindex；

2-3b)针对每一个图像块，基于下式计算其系数α：

α＝(1-θ)/(1+exp(-COM_k+(grayindex/K)*(min-max)))+ε，

θ＝(sum1-min+max-sum2)/(min+max)，

ε＝(sum1-min)/(min+max)，

其中，COM_k为图像块k的信息熵，min为全部K个图像块的信息熵中的最小值，max为全部K个图像块的信息熵中的最大值，sum1为取值小于grayindex的图像块的信息熵的均值，sum2为取值大于grayindex的图像块的信息熵的均值；

并且，基于1-α计算其系数β。

优选地，根据所述方法，还包括：

3)根据针对所述初始的图像块的系数α、系数β，基于计算式执行SLIC算法，获得分割后的超像素块；

其中，d_C为颜色距离，d_S为空间距离，m为常数，S为最大类内空间距离。

以及，一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如上述任意一项所述的方法。

以及，一种用于对图像进行超像素分割的***，包括：存储装置、以及处理器；其中，所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现上述任意一项所述的方法。与现有技术相比，本发明的优点在于：

改进了对图像进行超像素分割，基于图像中不同区域所包含的色彩信息的丰富程度来确定SLIC算法中针对色彩距离的权重α，并将针对空间距离的权重β设置为1-α。这样的方式使得在实施SLIC算法时，可以自适应地根据图像特征调整色彩以及像素点位置对分割结果的影响。采用本发明的方法可以以增加非常少的运行时间为代价，获得更好的边缘召回率以及欠分割错误率，即可以更好地防止边缘丢失、且获得更好的边缘贴合度。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1是根据本发明的一个实施例对图像进行超像素分割的方法流程图；

图2是对所包含色彩信息的丰富程度不同的三幅图像进行灰度分布统计的示意图；

图3是对所包含色彩信息的丰富程度不同的三幅图的图像块的信息熵按照从小到大的顺序进行排序后所获得的变化趋势曲线的示意图；

图4是采用本发明的方法以及传统的SLIC方法对图像进行超像素分割的结果比对图。

具体实施方式

发明人通过对传统的SLIC算法进行测试后发现，造成其不能达到理想效果的主要原因在于其进行图像分割时，将色彩距离和空间距离设置为具有相同的权重。为了说明这一点，下面将对该传统的SLIC算法进行介绍。基于该算法的操作，包括：

a)初始化种子点(即聚类中心)，按照初始化设置的超像素数目，在输入图像内均匀分布种子点。假设输入图像有N个像素点，初始化超像素数目为K，则每个超像素的大小为N/K，且相邻聚类中心之间的距离近似为S＝sqrt(N/K)；

b)在种子点周围小邻域内重新选取种子点，即取梯度最小的位置，避免种子点落在轮廓的边界；

c)为每个种子点周围S*S邻域内的像素点分配归属标签，SLIC的搜索范围为2S*2S，而不是整幅图片，以加快算法的收敛速度；

d)对于搜索范围内每个搜索到的像素点，分别计算该像素点与种子点之间的距离：

其中，d_c代表像素点与种子点之间在LAB空间的色彩距离，l、a、b分别代表针对R、G、B的颜色信息，d_s代表种子点与像素点之间的空间距离，x和y分别表示空间平面上两个坐标轴的坐标信息，脚标i或j用于标识所针对的像素点，S表示相邻聚类中心之间的距离(即类内的最大空间距离)，m代表紧密度参数，m的取值为固定常数；

e)由于搜索空间为2S*2S，像素点会被多个种子点搜索到，取距离最小值所对应的种子点作为该像素点所属的聚类中心；

f)不断迭代直至收敛，即像素点所属的种子点不再发生变化。

从计算式(3)中可以看到，在传统的SLIC算法中，针对知的系数均为1，即色彩距离和空间距离对D’的贡献比例是相等的。

对此，发明人认为，对于许多图像而言，色彩包含了非常多的隐含信息，若是针对图像中包含有丰富色彩信息的区域设置更大的针对色彩距离的权重，会更有利于SLIC算法实施超像素块的划分。并且，由于SLIC算法中仅计算了色彩距离和空间距离，因此可以使得针对色彩距离的权重与针对空间距离的权重之和等于1。

基于上述考虑，可以将原本的计算式(3)修改为：

其中，α是针对色彩距离的权重，β是针对空间距离的权重。

下面将通过具体介绍如何确定上述针对色彩距离的权重α、以及针对空间距离的权重β。

参考图1，根据本发明的一个实施例，提供了一种对图像进行超像素分割的方法，包括：

步骤1.将图像预划分成K个初始的图像块。此步骤的目的在于预先划分出用于后续计算的多个图像区域，其可以采用与传统SLIC的步骤a)中类似的方式划分图像块。

步骤2.针对每个图像块确定其所包含色彩信息的丰富程度。

这里可以对一个图像块中像素点的色彩进行统计，根据统计结果绘制色彩谱分布图，基于色彩谱分布情况判断该图像块是否包含丰富的色彩信息。还可以基于信息论，计算在一个图像块中所包含色彩的信息熵以作为色彩信息的丰富程度。这里的信息熵是基于统计概率计算出图像块中包含色彩信息的信息量，其可以准确地给出针对色彩信息的丰富程度的量化结果，并且非常有利于计算机实现。

绝大多数彩色图像的像素色彩是基于RGB色彩模式，即一个像素点同时包含红(R)、绿(G)、蓝(B)三个颜色通道，每个颜色通道的取值从0到255，基于这三个通道的叠加可以确定该像素点的色彩。针对全部三个通道均进行信息熵的计算，其计算量非常巨大，并且还需要考虑对三个通道的结果进行整合。因而，发明人提出本发明可以将RGB值转换为灰度值，并针对灰度值进行信息熵的计算。这是由于图像的灰度值可以简单直观反映出图像中所包含的颜色信息，例如利用0～255的取值来表示最暗的黑色到最亮的白色之间的各个灰度。在本发明中可以采用各种方式将RGB值转换为灰度值，包括：

浮点算法：Gray＝R*0.3+G*0.59+B*0.11，

整数方法：Gray＝(R*30+G*59+B*11)/100，

移位方法：Gray＝(R*77+G*151+B*28)＞＞8，

平均值法：Gray＝(R+G+B)/3，

仅取绿色：Gray＝G。

为了计算图像块所包含灰度信息的信息熵，可以在转换获得了灰度值之后，针对该图像块内的每个灰度值出现的次数进行统计。图2示出了针对所包含色彩信息的丰富程度不同的三幅图像进行灰度分布统计的示意图，其中横坐标为从0～255的灰度值，纵坐标为对应灰度值的出现频率。这里的出现频率是对该灰度值的出现次数进行归一化处理的结果，即将图像块中具有该灰度值的像素个数除以该图像块中像素的总数，从而将纵坐标统一到[0，1]的区间内。进行归一化处理可以大幅降低统计数据的取值，非常有利于随后信息熵的计算。

通过图2可以看出，当图像中色彩比较单一时，灰度值的分布集中在一个较小的区域，而当图像的色彩较为丰富时，灰度值的分布范围相对广泛，而且峰值较多。可以看出，图像中色彩的复杂度会直观的呈现在图像的灰度值分布图中，因此通过分析图像块中各个灰度值的出现次数，可以反应出该图像块所包含色彩信息的丰富程度。

在获得的图像块中灰度值i的次数或频率之后，可以利用下式计算图像块所包含灰度信息的信息熵：

其中，COM_k为图像块k的信息熵，gray_i为统计获得的灰度值i的频率，sq为图像块k中像素点的总数。如前文中所述，图像块所包含灰度信息的信息熵可以反映出该图像块中包含色彩信息的信息量，准确地给出针对色彩信息的丰富程度的量化结果。即较大的COM_k值，对应于更加丰富的色彩信息。

步骤3.根据图像块所包含色彩信息的丰富程度，确定为所述图像块设置的用于SLIC算法中针对色彩距离的权重α、以及针对空间距离的权重β，α+β＝1。

在本发明中可以直接根据步骤2中获得的图像块所包含色彩信息的丰富程度，直接为该图像块设置权重α。也可以根据全部K个图像块的信息熵的取值分布情况，为各个图像块选择权重α的取值。

例如，可以统计全部K个图像块的信息熵的最大值和最小值，在该最小值和最大值之间划分出多个区间，并针对每个区间设置一个与之对应的α值。假设一个图像块的信息熵落入了第一区间，则将与该第一区间对应的α值设置为该图像块的权重α，并基于1-α确定该图像块的权重β。采用这样的计算方法相对简单，通过分段赋值的方式可以直接将图像块信息熵映射到具体的权重值。并且，考虑到中位数、均值最能代表一个区间内整体上信息熵的特点，因而这里还可以进一步地，对落入每个区间内的信息熵的中位数或均值进行统计，并基于该中位数或均值来选择与该区间对应的α的取值。例如，假设在全部K个图像块的信息熵的最大值和最小值之间划分了多个区间，则可以可以将与全部信息熵的中位数所处的区间所对应的权重α取作0.5。

又例如，可以首先对全部K个图像块的信息熵按照大小顺序进行排序，获得图像块的信息熵的变化趋势曲线。图3示出了对所包含色彩信息的丰富程度不同的3幅图的图像块的信息熵按照从小到大的顺序进行排序后所获得的变化趋势曲线，其中每幅图中包含500个图像块，横坐标为图像块的编号，纵坐标为对应编号的图像块的信息熵的大小。在获得了如图3所示出的信息熵的变化趋势曲线后，可以根据曲线不同区间的斜率变化找出信息熵急速上升或急速下降的点，假设这一点所对应的图像块的编号为grayindex。根据所确定的grayindex值、以及图像块k本身的信息熵可以计算获得针对该图像块的权重α，并根据1-α计算该图像块权重β。

以下计算式示出了基于grayindex值计算图像块的权重α的一个示例：

α＝(1-θ)/(1+exp(-COM_k+(grayindex/K)*(min-max)))+ε，

θ＝(sum1-min+max-sum2)/(min+max)，

ε＝(sum1-min)/(min+max)，

其中，COM_k为图像块k的信息熵，min为全部K个图像块的信息熵中的最小值，max为全部K个图像块的信息熵中的最大值，sum1为取值小于grayindex的图像块的信息熵的均值，sum2为取值大于grayindex的图像块的信息熵的均值。

上述基于grayindex值计算图像块的权重α的计算式中使用了指数数学模型，其依据信息熵的变化规律来映射权重的变化方式，并根据信息熵曲线中急速变化的点来计算权重偏移量。这种方式相较于前文中划分区间并赋值的方式而言，为每一个图像块提供了精确的权重，在分割时更加准确。

步骤4.根据针对所述初始的图像块的权重α、权重β，基于计算式执行SLIC算法，获得分割后的超像素块。这里具体计算获得超像素块的方式可以参考前文中所提到的传统的SLIC算法。

为了测试本发明所提供的改进方法所获得的效果，发明人进行了仿真测试，将传统的SLIC算法与本发明的方法进行了比较。

图4是采用现有技术以及采用本发明的方法对图像进行超像素分割的结果图。从图中可以看到，根据本发明的方法与传统的SLIC算法都可以实现将具有相似特性的相邻像素划分为一个超像素块的效果。当图像中颜色较为丰富时，发明人所提方法在分割效果上较传统SLIC算法具有较好的改进，可以达到更完整准确的分割效果。这是由于，本发明在对超像素块实现自适应分割参数调整之后，对于色彩较为丰富的区域，颜色距离计算在整体距离计算中所占据的比重增大，可以更好的分割出目标区域的边界。

为了进一步比对本发明与传统的SLIC算法的性能，发明人还分析了这两者的边缘召回率(Boundary Recall)以及欠分割错误率(Under Segmentation Error)。其中，所述边缘召回率指的是超像素边缘像素点数的数量与真值边缘像素点数比值，该值越高意味着边缘丢失越少、边缘贴合度越高。欠分割错误率衡量了超像素分割区域“溢出”真正的边界区域的比例，理想的超像素分割结果只与一个对象重叠，该值越低意味着在超像素块中包含的对象数量越少，边缘贴合度越好。

表1示出了针对边缘召回率以及欠分割错误率的比对结果。在测试时针对一幅图像初始划分的图像块数量为500，下表示出了针对数据库内的图像求取平均后的结果。

表1

可以看出，本发明的边缘召回率高于传统的SLIC算法，欠分割错误率低于传统的SLIC算法，这两个指标均比现有技术好，因而可以在目标区域实现较好的分割。

相较于传统的SLIC算法，本发明在实施超像素分割之前还需要计算针对色彩距离的权重α、以及针对空间距离的权重β。为了确定执行这些处理对运行时间的影响，发明人还比对了当针对一幅图像初始划分的图像块数量为500，每幅图像的分辨率为320*480时，本发明与SLIC算法的运行时间。表2示出了这两者在运行时间上的比较结果。

表2

从表2可以看出，本发明相较于传统的SLIC算法仅增加了较少的运算时间，这是由于计算权重α、权重β的操作多为简单的数学计算，对计算时间的影响非常少。

综上可知，本发明改进了对图像进行超像素分割，基于图像中不同区域所包含的色彩信息的丰富程度来确定SLIC算法中针对色彩距离的权重α，并将针对空间距离的权重β设置为1-α。这样的方式使得在实施SLIC算法时，可以自适应地根据图像特征调整色彩以及像素点位置对分割结果的影响。通过测试比对可以看出，采用本发明的方法可以以增加非常少的运行时间为代价，获得更好的边缘召回率以及欠分割错误率，即采用本发明的方法可以更好地防止边缘丢失、且获得更好的边缘贴合度。

需要说明的是，上述实施例中介绍的各个步骤并非都是必须的，本领域技术人员可以根据实际需要进行适当的取舍、替换、修改等。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管上文参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种对图像进行超像素分割的方法，所述图像包含一个或者多个图像块，所述方法包括：

1)针对每个图像块确定其所包含色彩信息的丰富程度；

2)根据图像块所包含色彩信息的丰富程度，确定为所述图像块设置的用于SLIC算法中针对色彩距离的系数α、以及针对空间距离的系数β。

2.根据权利要求1所述的方法，步骤1)中图像块所包含色彩信息的丰富程度通过计算所述图像块所包含色彩的信息熵而确定。

3.根据权利要求2所述的方法，其中步骤1)包括：

1-1)将图像块中的像素点的色彩值转换为灰度值；

1-2)针对同一个图像块，统计其中不同灰度值的出现次数；

1-3)根据统计结果，计算每个图像块所包含灰度信息的信息熵。

4.根据权利要求3所述的方法，其中步骤1-3)包括：基于下式计算图像块所包含灰度信息的信息熵：

其中，COM_k为图像块k的信息熵，gray_i为统计获得的灰度值i的频率，sq为图像块k中像素点的总数。

5.根据权利要求3所述的方法，其中步骤1-1)包括基于以下任意一种或多种方式将图像块中的像素点的色彩值转换为灰度值：

浮点算法：Gray＝R*0.3+G*0.59+B*0.11，

整数方法：Gray＝(R*30+G*59+B*11)/100，

移位方法：Gray＝(R*77+G*151+B*28)＞＞8，

平均值法：Gray＝(R+G+B)/3，

仅取绿色：Gray＝G，

其中，Gray为像素点的灰度值，R、G、B分别为RGB色彩值中的R值、G值、B值。

6.根据权利要求2所述的方法，其中步骤2)包括：

2-1a)基于全部K个图像块的信息熵的取值分布情况，确定多个分段区间、以及与每个分段区间对应的系数α的取值，系数α的取值小于1；

2-2a)针对信息熵的取值落入某一分段区间内的图像块，将其系数α设置为相应的值，并且将其系数β设置为1-α。

7.根据权利要求2所述的方法，其中步骤2)包括：

2-1b)对全部K个图像块的信息熵按照从小到大的顺序进行排序，获得图像块的信息熵的变化趋势曲线；

2-2b)根据所述变化趋势曲线确定变化率最大的点所对应的图像块的编号以作为grayindex；

2-3b)针对每一个图像块，基于下式计算其系数α：

α＝(1-θ)/(1+exp(-COM_k+(grayindex/K)*(min-max)))+ε，

θ＝(sum1-min+max-sum2)/(min+max)，

ε＝(sum1-min)/(min+max)，

其中，COM_k为图像块k的信息熵，min为全部K个图像块的信息熵中的最小值，max为全部K个图像块的信息熵中的最大值，sum1为取值小于grayindex的图像块的信息熵的均值，sum2为取值大于grayindex的图像块的信息熵的均值；

并且，基于1-α计算其系数β。

8.根据权利要求1-7中任意一项所述的方法，还包括：

3)根据针对所述初始的图像块的系数α、系数β，基于计算式执行SLIC算法，获得分割后的超像素块；

其中，d_C为颜色距离，d_s为空间距离，m为常数，S为最大类内空间距离。

9.一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序在被执行时用于实现如权利要求1-8中任意一项所述的方法。

10.一种用于对图像进行超像素分割的***，包括：存储装置、以及处理器；其中，所述存储装置用于存储计算机程序，所述计算机程序在被所述处理器执行时用于实现如权利要求1-8中任意一项所述的方法。