CN105574532B - 一种基于二元分割树的区域特征描述方法及*** - Google Patents

Abstract

本发明适用于图像特征提取，提供了一种基于二元分割树的区域特征描述方法，步骤包括：A，将原始图像分割成若干分割区域；B，计算相邻的分割区域之间的相似度将相似度最高的两相邻区域合成一超区域；C，重复执行B直至合并成完整的原始图像；D，根据分割区域和超区域构建二元分割树；E，分别提取二元分割树中的目标区域和目标区域对应的超区域的特征并据此构建区域特征，然后根据区域特征进行目标区域的特征描述。本发明融合了目标区域、同级超区域以及邻近上级区域和超区域的基本区域特征来描述目标区域的特征，既包含了局部区域特征，也包含了全局情景信息，所以会具有情景感知力、高识别度、稳健性强的优势。

Description

一种基于二元分割树的区域特征描述方法及***

技术领域

本发明属于计算机视觉和图像处理领域，尤其涉及一种基于二元分割树的区域特征描述方法及***。

背景技术

特征描述是计算机视觉和图像处理中的一个基础模块，在图像显著目标检测、目标分割、目标识别和语义图像检索等应用中，特征的稳健性和丰富性在很大程度上决定了其性能。目前大多数采用的特征提取方法是：通过图像分割算法或像素点聚类的方法将原始图像分割成图像子块或图像区域，然后根据这些图像子块或图像区域提取图像特征。

现有的特征提取方法虽然具有高效性，但自然图像经常都包含了很多复杂的背景，现在最先进的图像分割方法也还不能把边界定义明确的目标完整的从背景中分离出来，在处理背景复杂的图像时，采用这些方法所提取的特征不具备足够的差异度，目前有采用通过调整分割参数使目标由较少的区域组成来促成其任务，但对很多图像而言，调整分割参数去减少区域的数量可能会导致图像目标区域与背景区域合并的欠分割现象，从而导致错误的检测结果，同时现有技术在进行特征提取时，特征稳健性差、信息量不够丰富。

发明内容

本发明所要解决的技术问题在于提供一种基于二元分割树的区域特征描述方法及***，旨在解决现有技术在进行特征提取时，特征稳健性差、信息量不够丰富的问题。

本发明是这样实现的，一种基于二元分割树的区域特征描述方法，步骤包括：

步骤A，将原始图像分割成若干分割区域；

步骤B，计算相邻的所述分割区域之间的相似度，将相似度最高的两相邻区域合成一超区域；

步骤C，重复执行步骤B直至得到的所有相邻区域合并成完整的原始图像；

步骤D，根据所述分割区域和所述超区域构建二元分割树；

步骤E，分别提取所述二元分割树中的目标区域和所述目标区域对应的超区域的特征并据此构建区域特征，然后根据所述区域特征进行目标区域的特征描述。

进一步地，在步骤A中，利用图像分割算法对所述原始图像进行分割。

进一步地，在步骤B中，计算相邻的所述分割区域之间的相似度，将相似度最高的两个分割区域合并得到超区域，具体包括：

以R_j表示某一分割区域，N_j表示该分割区域R_j的相邻区域的集合，S(R_n,R_j)表示分割区域R_j和其某一相邻区域R_n的相似度，R_s表示分割区域R_j与其相邻区域之间的相似度的最大值，则两个分割区域的区域合并准则为：

R_s＝arg max S(R_n,R_j)，R_n∈N_j。

进一步地，在所述二元分割树中包含有根节点、叶子节点和非叶子节点，其中，根节点表示合并完的整个原始图像，叶子节点表示一个分割区域，非叶子结点表示一个超区域。

进一步地，所述步骤E具体包括：

步骤E1，分别提取目标区域和所述目标区域对应的超区域的基本区域特征；

步骤E2，以步骤E1中提取的基本区域特征构建所述区域特征，根据所述区域特征对所述目标区域进行特征描述。

进一步地，所述步骤E2具体包括：

步骤E211，计算所述二元分割树中的目标区域的基本区域特征，及所述目标区域对应的β个上级节点的超区域的基本区域特征；

步骤E212，根据所述基本区域特征构建第一区域特征；

以R_k表示所述目标区域，k表示第k个节点，β表示目标区域R_k对应的上级节点的级别数，h_k表示目标区域R_k对应的基本区域特征，表示第一区域特征；

步骤E213，若所述目标区域R_k到达所述二元分割树中根节点的级别数大于所述目标区域对应的上级节点的级别数β，则所述第一区域特征为：

步骤E214，若所述目标区域R_k到达所述二元分割树中根节点的级别数小于所述目标区域对应的上级节点的级别数β，n表示所述目标区域到所述根节点的级别数，则复制n-1节点的基本区域特征使得上级节点的级数为β，即所述第一区域特征为：

进一步地，所述步骤E2具体包括：

步骤E221，计算所述二元分割树的目标区域的基本区域特征，及所述目标区域对应的β个上级节点的超区域的基本区域特征，以及所述目标区域对应的同级区域的基本区域特征，以及所述超区域的同级区域的基本区域特征；

步骤E222，根据步骤E221计算的所有基本区域特征构建第二区域特征；

以R_m表示所述目标区域，m表示第m个节点，β表示目标区域R_m对应的上级节点的级别数，h_m表示目标区域R_m对应的基本区域特征，表示所述目标区域和超区域构建的第一区域特征，slibing(h_m)表示所述目标区域的同级区域的基本区域特征，表示目标区域R_m对应β-1层上级超区域的基本区域特征，表示第二区域特征；

步骤E223，若所述目标区域R_m到达所述二元分割树中根节点的级别数大于所述目标区域R_m对应的上级节点的级别数β，则所述第二区域特征为：则：

步骤E224，若所述目标区域R_m到达所述二元分割树中根节点的级别数小于所述目标区域R_m对应的上级节点的级别数β，m表示所述目标区域到所述根节点的级别数，则所述第二区域特征为：

本发明还提供了一种基于二元分割树的区域特征描述***，包括：

分割单元，用于将原始图像分割成若干分割区域；

合并单元，用于计算相邻的所述分割区域之间的相似度，将相似度最高的两相邻区域合成一超区域，然后将合成的超区域作为所述分割区域的相邻区域，继续合并，直至得到的所有相邻区域合并成完整的原始图像；

构建单元，用于根据所述分割区域和所述超区域构建二元分割树；

描述单元，用于分别提取所述二元分割树中的目标区域和所述目标区域对应的超区域的特征并据此构建区域特征，然后根据所述区域特征进行目标区域的特征描述。

进一步地，所述分割单元利用图像分割算法对所述原始图像进行分割；

在所述二元分割树中包含有根节点、叶子节点和非叶子节点，其中，根节点表示合并完的整个原始图像，叶子节点表示一个分割区域，非叶子结点表示一个超区域；

所述合并单元，用于计算相邻的所述分割区域之间的相似度，将相似度最高的两个分割区域合并得到超区域，具体包括：

以R_j表示某一分割区域，N_j表示该分割区域R_j的相邻区域的集合，S(R_n,R_j)表示分割区域R_j和其某一相邻区域R_n的相似度，R_s表示分割区域R_j与其相邻区域之间的相似度的最大值，则两个分割区域的区域合并准则为：

R_s＝arg max S(R_n,R_j)，R_n∈N_j。

进一步地，描述单元具体用于：

首先，分别提取目标区域和所述目标区域对应的超区域的基本区域特征；

其次，以提取的基本区域特征构建所述区域特征；

最后，根据所述区域特征对目标区域进行特征描述。

本发明与现有技术相比，有益效果在于：本发明融合了目标区域、同级超区域以及邻近上级区域和超区域的基本区域特征来描述目标区域的特征，既包含了局部区域特征，也包含了全局情景信息，所以会具有情景感知力、高识别度、稳健性强的优势。因而克服了已有技术中特征稳健性差、信息量不够丰富的缺点。

附图说明

图1是本发明实施例提供的一种基于二元分割树的区域特征描述方法的流程图。

图2是本发明实施例提供的构建基于二元分割树的区域特征结构示意图。

图3是本发明实施例提供的一种基于二元分割树的区域特征描述方法的详细流程图。

图4是本发明实施例提供的采用不用特征结构所生成的显著图。

图5是本发明实施例提供的一种基于二元分割树的区域特征描述***的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明中，提出了一重基于二元分割树的区域特征描述的方法及***，包含了分割区域的局部和全局情景信息，具有情景感知力、高识别度和稳健性强的优势。

本发明是这样实现的，如图1所示的一种基于二元分割树的区域特征描述方法，步骤包括：

S1，将原始图像分割成若干分割区域。在本步骤中，利用Mean-shift、Graphbased、gPb等任何图像分割算法的其中的一种分割算法对所述原始图像进行分割。

S2，计算相邻的所述分割区域之间的相似度，将相似度最高的两相邻区域合成一超区域。

以R_j表示某一分割区域，N_j表示该分割区域R_j的相邻区域的集合，S(R_n,R_j)表示分割区域R_j和其某一相邻区域R_n的相似度，R_s表示分割区域R_j与其相邻区域之间的相似度的最大值，则两个分割区域的区域合并准则为：

R_s＝arg max S(R_n,R_j)，R_n∈N_j。

S3，重复执行步骤S2直至得到的所有相邻区域合并成完整的原始图像在本步骤中，将步骤S2合成的超区域作为所述分割区域的相邻区域，重复执行步骤S2直至合并成完整的原始图像；

S4，根据所述分割区域和所述超区域构建二元分割树。在本步骤中，在所述二元分割树中包含有根节点、叶子节点和非叶子节点，其中，根节点表示合并完的整个原始图像，叶子节点表示一个分割区域，非叶子结点表示一个超区域。

S5，分别提取目标区域和所述目标区域对应的超区域的特征，构建区域特征，然后根据所述区域特征进行目标区域的特征描述。在本步骤中，按照S2构建好二元分割树后，在进行区域描述之前，先选定目标区域，该目标区域可以是二元分割树上的任一节点。

如图2所示，是基于二元分割树的区域特征结构示意图，图中说明了如何组合基本区域特征来构建目标区域R_k、R_m和R_n的特征区域描述符。图2中，h_i表示目标区域R_i的基本区域特征。

构建二元分割树的框架时，首先需要在原始图像中进行区域分割，区域分割中建立一个二元分割树，从而提取分层图像区域以及***地分析它们的邻近关系。在实际应用中，对区域分割的方法没有限制，比如可以用Mean-shift,Graph based,gPb等。区域合并的准则是由相邻区域的相似度决定的：

R_s＝arg max S(R_n,R_j),R_n∈N_j

N_j代表相邻目标区域R_j的集合，S(R_n,R_j)代表相邻区域R_n和R_j的相似度。通过合并产生的区域称为超区域，在二元分割树中，根节点表示合并完的整个原始图像，叶子节点代表一个分割区域，非叶子节点代表超区域。

在如图2所构造的二元分割树的基础上，通过以下观察我们提出了一个先进的特征结构框架。

首先，处于分割树叶子节点的图像区域(片段)是很小的，人们无法通过单独观察而有效的辨认它们，因此仅仅通过小的区域去提取特征对于显著性目标检测而言是不具备足够的差异度的；其次，在分割树中，完整的目标(如图2中小女孩)在某个分割区域或超区域中都没能完全从背景中分离出来。但是，当我们从叶子节点往上观察时，目标的主要部分会变得越来越清晰，比如小女孩的手臂、裙子和头部。这说明了二元分层表示能捕获目标的全局情景。基于以上讨论，本实施例提出了两个方法去计算叶子节点区域的基于二元分割树的区域特征(命名为hierarchy-associated rich features，HARF)。

构建图2中的HARF₁具体步骤包括：

a1，计算所述二元分割树中的目标区域的基本区域特征，及所述目标区域对应的β个上级节点的超区域的基本区域特征；

a2，根据所述基本区域特征构建第一区域特征；

以R_k表示所述目标区域，k表示第k个节点，β表示目标区域R_k对应的上级节点的级别数，h_k表示目标区域R_k对应的基本区域特征，表示第一区域特征；

a3，若所述目标区域R_k到达所述二元分割树中根节点的级别数大于所述目标区域对应的上级节点的级别数β，则所述特征区域为：

a4，若所述目标区域R_k到达所述二元分割树中根节点的级别数小于所述目标区域对应的上级节点的级别数β，n表示所述目标区域到所述根节点的级别数，则复制n-1节点的基本区域特征使得上级节点的级数为β，即所述特征区域为：

在构建HARF1的过程中，首先，计算分割树中的目标区域R_k和对应的β个上级节点的超区域的基本区域特征然后将提取到的基本区域特征堆成一个特征矩阵。这个提取出来的特征记为其中，R代表目标区域，β代表用于计算HARF的在分割层中的超区域的级别数。因此，假设代表每一个区域或超区域的基本区域特征是一个d维特征矩阵，那么产生的特征的维数即是d+d*β。计算特征的方法表示为：

构建图2中的HARF₂具体步骤包括：

b1，计算所述二元分割树的目标区域的基本区域特征，及所述目标区域对应的β个上级节点的超区域的基本区域特征，以及所述目标区域对应的同级区域的基本区域特征，以及所述超区域的同级区域的基本区域特征；

b2，根据步骤b1计算的所有基本区域特征构建第二区域特征；

以R_m表示所述目标区域，m表示第m个节点，β表示目标区域R_m对应的上级节点的级别数，h_m表示目标区域R_m对应的基本区域特征，表示所述目标区域和超区域构建的第一区域特征，slibing(h_m)表示所述目标区域的同级区域的基本区域特征，表示目标区域R_m对应β-1层上级超区域的基本区域特征，表示第二区域特征；

b3，若所述目标区域R_m到达所述二元分割树中根节点的级别数大于所述目标区域R_m对应的上级节点的级别数β，则所述特征区域为：则：

b4，若所述目标区域R_m到达所述二元分割树中根节点的级别数小于所述目标区域R_m对应的上级节点的级别数β，m表示所述目标区域到所述根节点的级别数，则所述特征区域为：

在构建HARF2的过程中，给定一个目标区域R_m，综合考虑二元分割树中的上级节点的超区域以及它们对应的同级区域我们提出一个能获取更丰富HARF特征的方法，记为

是由特征加上目标区域的同级区域silbing(h_m)以及上级超区域的同级区域的基本特征堆成的新的矩阵，其表达式可定义如下，该特征矩阵维数为d+2d*β。

应该注意到的是，在根节点的完整图像既包含了显著性目标也包含背景区域，因而它并不用于计算HARF值，此外，并不是所有处于叶子节点的区域到达根节点的级别数都是相等的，因而存在一些区域的没有足够的级数去计算HARF，在这种情况下，可通过复制最高层的超区域的基本区域特征并结合较低层的其他特征来产生目标区域的HARF特征，如图2中的和综上所述，产生基于二元分割树的区域特征的流程图可图3所示

和已有的技术相比，本发明提供的HARF因为融合了目标区域、同级超区域以及邻近上级区域和超区域的基本区域特征来描述目标区域的特征，既包含了局部区域特征，也包含了全局情景信息，所以会具有情景感知力、高识别度、稳健性强的优势。因而克服了已有技术中特征稳健性差、信息量不够丰富的缺点。

我们通过实验验证了HARF的优势，将其应用于显著性目标检测中，与采用传统特征(包含颜色、纹理和区域性质)和卷积神经网络(CNN)特征对比，在MSRA-B,PASCAL-1500和SOD数据集上进行实验，采用F-score(β²＝0.3)和平均绝对误差(MAE)对结果进行评价,图4为不同采用不同特征结构所生成的显著图，能明显的看到HARF的优势。图4采用不同特征结构所产生的显著图，其中，(a)表示原始图像，(b)表示传统特征，(c)表示基于传统特征的HARF₁，(d)表示基于传统特征的HARF₂，(e)表示传统特征和CNN特征，(f)表示基于传统特征和CNN特征的HARF₁，(g)表示基于传统特征和CNN特征的HARF₂。

在下表中，我们得到了在不同数据集上采用不同特征结构产生显著图的F_β分数MAE值，结果中可以看出，加入HARF特征结构框架后三个数据集的F_β分数明显提升(越高表示性能越好)，并且平均绝对误差都有明显的降低(越低表示性能越好)。我们通过理论分析和实验都验证的所提出的基于二元分割树的区域特征描述方法(HARF)的优越性。下表表示在三个数据集上采用不同特征结构的F_β分数和MAE值。

本发明还提供了如图5所示的一种基于二元分割树的区域特征描述***，包括：

分割单元1，用于将原始图像分割成若干分割区域；

合并单元2，用于计算相邻的所述分割区域之间的相似度，将相似度最高的两相邻区域合成一超区域，然后将合成的超区域作为所述分割区域的相邻区域，继续合并，直至得到的所有相邻区域合并成完整的原始图像；

构建单元3，用于根据所述分割区域和所述超区域构建二元分割树；

描述单元4，用于分别提取所述二元分割树中的目标区域和所述目标区域对应的超区域的特征并据此构建区域特征，然后根据所述区域特征进行目标区域的特征描述。

进一步地，分割单元1利用Mean-shift、Graph based、gPb等分图像分割算法对所述原始图像进行分割；

在所述二元分割树中包含有根节点、叶子节点和非叶子节点，其中，根节点表示合并完的整个原始图像，叶子节点表示一个分割区域，非叶子结点表示一个超区域；

合并单元2，用于计算相邻的所述分割区域之间的相似度，将相似度最高的两个分割区域合并得到超区域，具体包括：

以R_j表示某一分割区域，N_j表示该分割区域R_j的相邻区域的集合，S(R_n,R_j)表示分割区域R_j和其某一相邻区域R_n的相似度，R_s表示分割区域R_j与其相邻区域之间的相似度的最大值，则两个分割区域的区域合并准则为：

R_s＝arg max S(R_n,R_j)，R_n∈N_j。

进一步地，描述单元4具体用于：

首先，分别提取目标区域和所述目标区域对应的超区域的基本区域特征；

其次，以提取的基本区域特征构建所述区域特征；

最后，根据所述区域特征对目标区域进行特征描述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于二元分割树的区域特征描述方法，其特征在于，所述区域特征描述方法的步骤包括：

步骤A，将原始图像分割成若干分割区域；

步骤B，计算相邻的所述分割区域之间的相似度，将相似度最高的两相邻区域合成一超区域；

步骤C，重复执行步骤B直至得到的所有相邻区域合并成完整的原始图像；

步骤D，根据所述分割区域和所述超区域构建二元分割树；

步骤E，分别提取所述二元分割树中的目标区域和所述目标区域对应的超区域的基本区域特征并据此构建第一区域特征和第二区域特征，然后根据所述第一区域特征和第二区域特征进行目标区域的特征描述；

所述第一区域特征是根据所述目标区域的基本区域特征及所述超区域的基本区域特征构建的，所述第二区域特征是根据所述目标区域的基本区域特征、所述超区域的基本区域特征，所述目标区域对应的同级区域的基本区域特征及所述超区域的同级区域的基本区域特征构建的。

2.如权利要求1所述的区域特征描述方法，其特征在于，在步骤A中，利用图像分割算法对所述原始图像进行分割。

3.如权利要求1所述的区域特征描述方法，其特征在于，在步骤B中，计算相邻的所述分割区域之间的相似度，将相似度最高的两个分割区域合并得到超区域，具体包括：

以R_j表示某一分割区域，N_j表示该分割区域R_j的相邻区域的集合，S(R_n,R_j)表示分割区域R_j和其某一相邻区域R_n的相似度，R_s表示分割区域R_j与其相邻区域之间的相似度的最大值，则两个分割区域的区域合并准则为：

R_s＝arg max S(R_n,R_j)，R_n∈N_j。

4.如权利要求1所述的区域特征描述方法，其特征在于，在所述二元分割树中包含有根节点、叶子节点和非叶子节点，其中，根节点表示合并完的整个原始图像，叶子节点表示一个分割区域，非叶子结点表示一个超区域。

5.如权利要求4所述的区域特征描述方法，其特征在于，所述步骤E具体包括：

步骤E1，分别提取目标区域和所述目标区域对应的超区域的基本区域特征；

步骤E2，以步骤E1中提取的基本区域特征构建所述区域特征，根据所述区域特征对所述目标区域进行特征描述。

6.如权利要求5所述的区域特征描述方法，其特征在于，所述步骤E2具体包括：

步骤E211，计算所述二元分割树中的目标区域的基本区域特征，及所述目标区域对应的β个上级节点的超区域的基本区域特征；

步骤E212，根据所述基本区域特征构建第一区域特征；

以R_k表示所述目标区域，k表示第k个节点，β表示目标区域R_k对应的上级节点的级别数，h_k表示目标区域R_k对应的基本区域特征，表示第一区域特征；

步骤E213，若所述目标区域R_k到达所述二元分割树中根节点的级别数大于所述目标区域对应的上级节点的级别数β，则所述第一区域特征为：

步骤E214，若所述目标区域R_k到达所述二元分割树中根节点的级别数小于所述目标区域对应的上级节点的级别数β，n表示所述目标区域到所述根节点的级别数，则复制n-1节点的基本区域特征使得上级节点的级数为β，即所述第一区域特征为：

7.如权利要求5所述的区域特征描述方法，其特征在于，所述步骤E2具体包括：

步骤E221，计算所述二元分割树的目标区域的基本区域特征，及所述目标区域对应的β个上级节点的超区域的基本区域特征，以及所述目标区域对应的同级区域的基本区域特征，以及所述超区域的同级区域的基本区域特征；

步骤E222，根据步骤E221计算的所有基本区域特征构建第二区域特征；

以R_m表示所述目标区域，m表示第m个节点，β表示目标区域R_m对应的上级节点的级别数，h_m表示目标区域R_m对应的基本区域特征，表示所述目标区域和超区域构建的第一区域特征，slibing(h_m)表示所述目标区域的同级区域的基本区域特征，表示目标区域R_m对应β-1层上级超区域的基本区域特征，表示第二区域特征；

步骤E223，若所述目标区域R_m到达所述二元分割树中根节点的级别数大于所述目标区域R_m对应的上级节点的级别数β，则所述第二区域特征为：则：

步骤E224，若所述目标区域R_m到达所述二元分割树中根节点的级别数小于所述目标区域R_m对应的上级节点的级别数β，m表示所述目标区域到所述根节点的级别数，则所述第二区域特征为：

8.一种基于二元分割树的区域特征描述***，其特征在于，所述区域特征描述***包括：

分割单元，用于将原始图像分割成若干分割区域；

合并单元，用于计算相邻的所述分割区域之间的相似度，将相似度最高的两相邻区域合成一超区域，然后将合成的超区域作为所述分割区域的相邻区域，继续合并，直至得到的所有相邻区域合并成完整的原始图像；

构建单元，用于根据所述分割区域和所述超区域构建二元分割树；

描述单元，用于分别提取所述二元分割树中的目标区域和所述目标区域对应的超区域的基本区域特征并据此构建第一区域特征和第二区域特征，然后根据所述第一区域特征和第二区域特征进行目标区域的特征描述；

所述第一区域特征是根据所述目标区域的基本区域特征及所述超区域的基本区域特征构建的，所述第二区域特征是根据所述目标区域的基本区域特征、所述超区域的基本区域特征，所述目标区域对应的同级区域的基本区域特征及所述超区域的同级区域的基本区域特征构建的。

9.如权利要求8所述的区域特征描述***，其特征在于，所述分割单元利用图像分割算法对所述原始图像进行分割；

在所述二元分割树中包含有根节点、叶子节点和非叶子节点，其中，根节点表示合并完的整个原始图像，叶子节点表示一个分割区域，非叶子结点表示一个超区域；

所述合并单元，用于计算相邻的所述分割区域之间的相似度，将相似度最高的两个分割区域合并得到超区域，具体包括：

以R_j表示某一分割区域，N_j表示该分割区域R_j的相邻区域的集合，S(R_n,R_j)表示分割区域R_j和其某一相邻区域R_n的相似度，R_s表示分割区域R_j与其相邻区域之间的相似度的最大值，则两个分割区域的区域合并准则为：

R_s＝arg max S(R_n,R_j)，R_n∈N_j。

10.如权利要求8所述的区域特征描述***，其特征在于，描述单元具体用于：

首先，分别提取目标区域和所述目标区域对应的超区域的基本区域特征；

其次，以提取的基本区域特征构建所述区域特征；

最后，根据所述区域特征对目标区域进行特征描述。