CN102831594B - 将图像分割成超像素的方法 - Google Patents

Abstract

本发明涉及将图像分割为超像素的方法。该方法通过下述将图像分割为超像素：构建具有被边连接的顶点的图，其中每个顶点对应于图像中的像素，并且每个边与指示对应的像素之间的类似度的加权相关联；选择图中的边的子集以将图分割为子图，其中所述选择基于熵率和平衡项使目标函数最大化。将具有最大增益的边添加到所述图直至子图的数量等于一些阈值为止。

Description

将图像分割成超像素的方法

技术领域

本发明总体上涉及像素分割，更具体地，涉及使用超像素来分割图像的方法。

背景技术

总体上，在本领域中，超像素(superpixel)是数字图像中的多边形像素簇，其大于单个像素，并且可以按照相同的颜色和亮度呈现，参见美国专利7,744,185。

超像素分割用于对象识别、图像分割和3D重建的应用。使用超像素的一个主要优点在于计算效率。当与像素表示相比较时，超像素表示极大地减少了所需要的图像元的数量。

例如，在L-标签(L-label)标签问题中，像素表示的解空间是Lⁿ，其中n是像素的数量，通常为10⁶。然而，超像素表示的解空间是L^m，其中m是超像素的数量，通常为10²。

通常假定超像素是来自单个对象的一组像素。这导致了对超像素分割的实际定义，将像素分割为在感觉上一致的簇。感觉一致的属性意味着超像素边界保留对象边界。

大多数的聚类处理的特征在于超像素分割。然而，大多数现有处理针对簇的总体方面建模，并且不针对超像素分割来优化。另外，很多处理要求密集计算，并且不适用于分割。

一种方法使用基于图的超像素分割。图像被映射到相邻的图。该方法使用边界判定(boundary predicate)来顺序地切割边以构建超像素。尽管该方法速度很快，但是产生具有不规则的形状和大小的超像素。

均值漂移(mean-shift)法对于局部变化是精确的，但是也受到不规则超像素问题的困扰，参见美国专利公开20100284607。

超像素分割的另一种方法是NCut，参见美国专利公开20110013837。NCut产生具有类似大小和紧凑形状的超像素。然而，计算上也很昂贵，即使针对例如481×321个像素这样的中等大小的图像都需要数分钟。

TurboPixel是实现类似规则性的有效替代方式。TurboPixel基于从均匀布置在图像中的种子的演化曲线。该方法在曲线演化期间使用多种约束，以增强超像素规则性。

可以使用图切割(graph cut)通过密集补片分配(dense patch assignment)技术来实现规则的超像素。在另一种方法中，使用用于限定切割成本的概率边界映射图，超像素遵循规则的网格。该处使用的目标允许图像之间的同质。

发明内容

本发明的实施方式提供一种使用聚类目标函数将图像分割为超像素的方法。目标函数包括两个成分：随机游走的熵率；以及平衡函数。所述熵率形成紧凑和同质的簇，而平衡函数产生具有相似大小的簇。

为了进行聚类，构建了数据点和两两相似性分别对应于顶点和边的权值。通过最大化受到拟阵约束的目标函数来分割图。

我们用贪心处理来解目标函数，并且利用目标函数的子模性和单调性来证实恒定的近似界(approximation bound)。

附图说明

图1是根据本发明的一个实施方式的在簇形成过程中没有选择边的情况的权值的示例的示意图；

图2是根据本发明的一个实施方式的随机游走的熵率的(A)-(D)的示意图；

图3是根据本发明的一个实施方式的在获得相似大小的簇的过程中平衡函数的示例(A)-(B)的示意图；

图4是示出根据本发明的一个实施方式的针对解的算法的示意图；

图5是示出根据本发明的一个实施方式的在分割过程中产生超像素层级的聚集本质的示意图；以及

图6是示出根据本发明的一个实施方式的基本步骤的示意图。

具体实施方式

图表示

针对表示图像中的像素的无向图，使用常规的记法G＝(V，E)，其中V是与像素相对应的顶点的集合，E是边的集合。V的第i个顶点表示为v_i，并且连接定点v_i和v_j的边表示为e_i，j。加权函数w给出由一边连接起来的两个顶点之间的相似性。在无向图中，边的下标是可交换的，e_i，j＝e_j，i，并且边的权是对称的，w_i，j＝w_j，i。

图分割

图分割S是指将集合V分割为不相交的子集S＝{S₁，S₂，...，S_K}，使得(i≠j)，并且∪_iS_j＝V。图分割是子集选择问题。我们的目的是选择集合E中的边A的子集，使得得到的图(V，A)具有K个连接的子图(连接部分)。每个得到的子图对应于超像素。

熵

熵H测量随机变量的不确定性。具有条件概率质量函数p_X的离散随机变量X的熵可以被确定为

其中χ是随机变量X的支撑集。只要相关的随机变量Y的值已知，条件熵H(X|Y)就量化随机变量X的剩余不确定性。其被定义为

(2)

其中Y是Y的支撑集，并且p_X|Y是条件概率质量函数。

熵率

熵率量化了随机过程X＝{X_t，t∈T}的不确定性，其中T是指标集。针对离散随机过程，熵率被定义为渐进测量值。

在观察先前的经过轨迹之后，熵率测量剩余随机过程的不确定性。针对平稳随机过程，式3中的极限总是存在。在平稳一阶马尔可夫过程的情况下，熵率具有以下形式

${\lim }_{t\→\∞}H\left(X_2\right|X_1)=H\left(X_2\right|X_1).$

第一个等式是由于一阶马尔可夫属性，第二个等式是由于平稳性的结果。我们省略了极限，因为H(X₂|X₁)是独立于时间的。

随机游走

随机游走是图上的随机过程。令X＝{X_t，t∈T，X_t∈V}为图G＝(V，E)上的具有非负相似性测量值w的随机游走。随机游走X是由从顶点到顶点的连续随机跳跃构成的轨迹。我们使用传统构造。从顶点v_i到v_j的转移概率与相关联的边的权成正比，并且被定义为

其中

是v_i的关联权值。

平稳分布是

其中

是归一化常数。

在特定顶点上随机游走的概率与该顶点上的总的关联权值成正比。针对断开的图，平稳分布不是唯一的。然而，式5中的μ总是平稳分布。可以通过μ＝P^Tμ来验证，其中P＝[p]_i，j是转移矩阵。可以通过应用式2来确定随机游走的熵率。

子模性(submodularity)

我们使用子模函数定义。令E是有限集合。如果对于全部的并且 $a_1,a_2\∉A,$

F(A∪{a₁})-F(A)≥F(A∪{a₁，a₂})-F(A∪{a₂})(7)，则集合函数F是子模。

该属性具有收益递减属性的别名，即如果在以后阶段使用，则对模的影响较小。

严格单调递增集合函数：

如果对于全部的

|(F(A₁)＜F(A₂))F(A₁)≤F(A₂)，则该集合函数F是严格单调递增。

拟阵

拟阵是有序对M＝(E，I)，其包括有限集合E和满足以下三个条件的集合E的子集的集合I：

如果并且 $I^{\′}\⊆I,$ 则

如果I₁和I₂在中并且|I₁|＜|I₂|，则存在I₂-I₁的元素e，使得

我们的目标函数单调递增的并且是子模。为了显示这些，描述熵率和熵的等同集合函数。最大化单调递增子模函数是NP-hard问题。然而，我们使用拟阵表示来阐明图分割问题并且证明简单的贪心过程产生1/2近似界。

熵率聚类

图构建

我们从图像构建连接图G＝(V，E)，其中顶点表示像素，并且边的权值表示在相似性矩阵中给出的两两相似性。我们还假设图的每个顶点具有零权值的自环(self-loop)。当选择边的子集以分割图时，未被选择的边的权值被分配回得到的图中。环路被默认地选择，并且不在集合E中。针对未被选择的每个边，我们按照使得每个顶点的总关联权值保持恒定的方式来增加关联的顶点的环路的权值。

如图1所示，如果在簇形成过程中没有选择边e_i，j101，则对应的权值w_i，j被重新分配到两个顶点的环路102。

该构造保持式5不变。这对于顺序地选择边的迭代处理很重要。在这种图构造中，针对转移概率p_i，j的等价集合函数

其中A是为了进行分割而选择的边的集合。因此，随机游走的熵率具有等价集合函数

熵率

如图2的(A)-(D)所示，我们使用相关联的图上的随机游走的熵率作为判据，以获得同质和紧凑的簇。图2的(A)-(B)对应于一个数据集，图2的(C)-(D)对应于另一个数据集。每个顶点具有环路，没有示出这些环路。图2的(A)中的紧凑簇的熵率比图2的(B)的较不紧凑的簇具有更高的目标值。图2的(C)中的紧凑簇的熵率比图2的(D)的较不同质的簇具有更高的目标值。

我们使用高斯内核将距离转换为相似度。在这些图分割的每一个中，我们得到显示为相连部分的四个不同的簇。同质和紧凑的簇产生较大的熵率。尽管对每个边的选择将熵率增加一些值，但是当我们从紧凑且同质的簇中选择边时，增加得更大。

在所提出的图构造的情况下的随机游走的熵率是单调递增子模函数。由于边的增加提高了不确定性，所以熵率单调递增。收益递减属性来自于以下事实，即，选择边而导致的不确定性的增加在后面的阶段较小，这是因为与更多个边共享。

因而，在我们的图构造下，图H：上的随机游走是单调递增子模函数。

平衡函数

我们对鼓励具有类似大小的簇的平衡函数进行描述。令A为所选择的边的集合，N_A是图中连接的子图的数量，并且Z_A是簇成员的分布。对于分割{S₁，S₂，...，S_NA}，分布Z_A等于

并且平衡项由下式给出

熵H(Z_A)支持具有相似大小的簇；而N_A支持较少数量的簇。

图3的(A)-(B)示出平衡函数在获得相似大小的簇的过程中的角色。连接的部分示出了数据集中的不同的簇。与图3的(B)中的较不平衡的平衡聚类相比，针对图3的(A)中的平衡聚类，平衡函数具有更高的目标值。

类似于熵率，平衡函数也是单调递增子模函数。

我们将熵率与平衡函数组合，并且解决子集选择问题

以确定紧凑、同质和平衡的簇。式3中的参数λ＞0是平衡加权，其用于控制对平衡聚类的优选。

基于以上描述，目标函数

是单调递增子模函数。因为簇的组合导致了平衡项中的增益，所以确保在全部的局部最佳解处恰好存在K个簇。

贪心启发

用于最大化子模集合函数的一种处理使用贪心算法。该处理开始于空集(完全断开的图，并且将边顺序地添加到该集合。在每次迭代时，该处理添加产生最大增益的边。当连接的子图的数量达到预定数量N_A＝K时，迭代停止。

为了实现额外的加速，我们对边的集合A应用额外的约束，使得边的集合不能包括环。该约束立即忽略了连接的子图中的额外的边并且减少了贪心搜索中的评估的数量。这些边不改变对图的分割。尽管与原始问题相比，该约束导致了较小的解空间(仅仅树结构子图被允许)，但在实践中聚类结果非常相似。

这个无环约束与簇数约束N_A≥K一起导致独立的集合定义，其导出了拟阵M＝(E，I)。如果边E是边的集合，并且E的子集A(边的集合A是无环的)的集合是I，并且构成具有大于或者等于K的连接部分的图分割，则对M＝(E，I)是拟阵。

图分割块的再形成问题是

并且在图4中示出解的算法。

因为贪心处理针对受到拟阵约束的非递减子模函数的最大化给出了1/2近似，所以图4所示的处理示出了用于解式15的1/2近似。

有效实现

首先，我们计算向A添加各个边的增益，并且构成堆。在每次迭代时，将具有最大增益的边从堆中去除并将其包括到A中。将堆中包含该边影响了其余边中的一些的增益。因此，需要将堆更新。然而，子模属性允许有效地更新堆结构。关健之处在于在整个过程中，各个边的增益绝对不能增加，即，收益递减属性。因此，足以保持堆，其中更新顶部元素的增益但是不必须更新其它元素的增益。应用堆的顶部元素被更新而其它元素的值仅可以减小，所以顶部元素是最大值。

在实践中，处理比简单实现运行得快的多。平均而言，每次迭代时针对堆执行很少的更新。在我们的实验中，对图像大小481×321，提供200至300的加速系数。

图6示出本发明的一个实施方式的基本步骤。输入图像601。我们构建610具有被边连接起来的顶点的图，其中每个顶点与图像中的像素相对应，并且每个边与指示对应的像素之间的相似度的权值相关联。初始地，图不包括任何边。使用顺序地向图添加边的贪心处理将目标函数最大化。

我们基于包括熵率和平衡项的目标函数602来确定620向图添加各个边的增益。

我们根据增益对边进行排序630，并且将具有最大增益的边添加640到图。

我们确定连接的子图的数量是否等于某个阈值K。如果不成立，则重复步骤620、630和640。如果成立，则我们具有期望的超像素603。

方法600的步骤可以在与本领域中已知的存储器和输入输出接口相连接的处理器上执行。

自动参数调节

我们描述自动调整平衡参数λ的方法。给定初始的用户规定值λ′，基于以下调整最终平衡参数λ：(1)超像素的数量和(2)从输入的图像计算得出的数据相关动态参数β。当要求大量的超像素时，簇数K被引入以更加强调平衡项。数据相关项由在将单个边包括在图中时最大熵率增加与最大平衡项增加的比

给出，并且补偿目标函数中两个项之间的大小差异。最终平衡参数由λ＝βKλ′给出。

超像素层级

分割处理开始于将各个像素作为单个簇，并且逐渐地将簇组合以构建更大的超像素。该分割层级同时产生了图像的多个分割。基于该应用，可以选择分割中的正确的超像素数量。图5示出在分割过程中产生超像素层级的聚集本质。

这种层级对于很多视觉应用是有用的，诸如交互式编辑或利用来自多个超像素分割的信息的算法。在完成初始分割后，用户可以选择特定的超像素并且基于层级进一步合并或***这些超像素。这对于诸如其中超像素可能包含多个器官并且超像素的进一步组合/分割产生了器官的分离的医学分割这样的交互式分析很重要。

通用聚类

尽管针对图像分割描述了本发明，但是该方法适用于任何聚类问题。在给出了图像的一组点而非像素的情况下，可以基于距离度量来定义这些点之间的相似度。相同的图构造接着应用于此一般点的集合，其中点是图的顶点，并且边将点连接到该点的L个最近的相邻点。所述算法产生此点集合的聚类。

通用聚类的领域包括但是不限于数据挖掘、金融、生物信息学、医学、神经科学等。

发明效果

本发明提供了一种用于产生超像素的新颖的聚类目标。该聚类目标是基于对图上的随机游走的熵率和平衡函数的组合的最大化。我们使用目标函数的子模性及拟阵表示来解决使用贪心函数将目标函数最大化的问题。

Claims (13)

1.一种将图像分割成超像素的方法，该方法包括以下步骤：

构建具有被边连接起来的顶点的图，其中各个顶点与图像中的像素相对应，并且各个边关联有指示对应的像素之间的相似度的权值；

选择所述图中的边的子集以将所述图分割为子图，其中所述选择步骤将目标函数最大化，其中所述目标函数是子模；以及

将具有最大增益的所述边添加到所述图，直至子图的数量等于某个阈值为止，否则重复所述选择步骤和所述添加步骤；

其中，每个子图包括同质和相似大小的超像素，所述目标函数包含熵率和平衡项，其中，所述熵率用于产生同质的超像素，所述平衡项用于产生相似大小的分割块；

其中，该方法的各个步骤在处理器中执行。

2.根据权利要求1所述的方法，其中，所述熵率是子模的并且单调递增。

3.根据权利要求1所述的方法，其中，所述平衡项是子模的并且单调递增。

4.根据权利要求1所述的方法，其中，所述图为无回路图，所述子图的数量的约束是拟阵。

5.根据权利要求4所述的方法，其中，使用受到所述约束的贪心处理将所述目标函数最大化。

6.根据权利要求1所述的方法，其中，将最优性保证为所述目标函数的全局最小值的1/2。

7.根据权利要求5所述的方法，其中，使用堆结构实现所述贪心处理。

8.根据权利要求1所述的方法，其中，以层级的方式实现所述分割。

9.根据权利要求8所述的方法，其中，所述层级同时形成所述图像的多个分割。

10.根据权利要求1所述的方法，其中，所述平衡项的平衡参数被自动调节。

11.根据权利要求1所述的方法，其中，所述平衡项的平衡参数被用户修改以定制分割。

12.根据权利要求1所述的方法，其中，所述分割在用户监督下交互地进行。

13.根据权利要求1所述的方法，其中，解决了非图像域中的通用聚类问题。