CN110047089A - 一种基于纹理块匹配的图案匹配方法 - Google Patents

Abstract

基于纹理块匹配的图案匹配方法，能够允许用户通过极少的交互实现高精度、高一致性的民族文化图案分割，同时能够提高矢量化等民族文化图案数字化分析的质量。本发明包括以下步骤：首先使用全局的块匹配找到与用户指定的图案相似的所有图案；接着，利用局部块匹配检测相似图案之间的旋转关系,并进一步通过带约束的块匹配建立它们之间的稠密对应；最后，利用本文提出的协同优化模型，实现对所有相似图案的分割协同优化。本发明具有交互少、精度高、保结构等优点，还能保证相似图案之间的分割一致性，对改善诸如矢量化等民族文化图案的数字化分析有促进作用。

Description

一种基于纹理块匹配的图案匹配方法

技术领域

本发明涉及一种利用计算机技术的基于纹理块匹配的图案匹配方法。

背景技术

民族文化图案是民族文化的符号化语言，广泛使用于民族服饰、地毯、家具等各族人民的日常生活中。它是民族文化、民族信仰的集中体现，也是我国非物质文化遗产的重要组成部分。数字化拍摄采集是永久保存民族文化图案的有效手段，而基于图像的数字化分析又是继承和发扬蕴含于民族图案的民族文化的必经之路。由于民族文化图案在图像中是呈区域形式出现的，对民族文化图案进行准确的分割是进行后续数字化分析的关键。诸如民族文化图案的提取、矢量化、重新设计等应用都依赖于准确的图案分割。

虽然民族文化图案通常颜色分明、形状特征明显，但要实现较为准确的民族图案分割存在着诸多挑战：1)由于采集方式的限制，民族文化图案的图像质量并不高，导致现有自动分割方法难以保留主要的结构特征；2)由于民族文化图案使用载体的多样性，现有方法获取高精度分割结果依赖于大量的手动交互，但数字化资源中需要分割的民族文化图案数量极为庞大，使得交互分割的目标难以实现；3)民族文化图案存在着很多相似图案，这些图案并非一模一样，在不同的应用场景和装饰中可以呈现出一定的变化，不管是自动还是手动分割，它们的分割结果通常会出现不一致的问题。因此，亟需一种基于纹理块匹配的图案匹配方法来改善图像分割。

发明内容

本发明要克服现有技术的上述缺点，改善图像的分割，提供了一种基于纹理块匹配的图案匹配方法。

本发明利用民族图案的重复性，通过多层次纹理块匹配方法建立重复图案之间准确的稠密对应，从而协同优化民族文化图案分割的质量。

本发明的基于纹理块匹配的图案匹配方法，具体步骤如下：

步骤1、用基于L0梯度最小化的图像分割算法对输入图像I进行分割，得到预分割图像Ir。

步骤2、单目标快速提取，在输入图像I用矩形框选择目标图案，用改进的GrabCut方法分割出子图案S。

步骤3、多目标自动提取，使用GPM(Generalized PatchMatch)方法在输入图像I上寻找与图案相对应的稠密匹配点。并对这些匹配点聚类后，再次使用改进的GrabCut方法对聚类所在区域进行相似图案的提取，迭代直到没有产生图案为止。最终得到图案集合C。

步骤4、对步骤3中的图案集合C中的所有图案，使用Shape Context方法，与步骤2中的图案S计算匹配相似度，若相似度小于指定阈值，则表示不匹配，从图案集合中删除它。

步骤5、首先从步骤3中的图案集合C中取出一个图案，建立该图案与其他图案之间的GPM稠密匹配，通过分析在预分割图像Ir上的图案之间的拓扑结构对应关系来改善该图案分割质量，然后再取出下一个图案，重复该步骤，直到遍历完集合中的所有图案，从而得到最终的改善结果。进一步，所述步骤1中，因为本发明是在图像过分割基础上对图像进行改善。所以我们调整L0梯度最小化方法的参数，使图像分割结果为过分割。该步骤中涉及的L0梯度最小化方法是发表于Computers&Graphics期刊第38卷第38期的文章Feature-preserving filtering with L0 gradient minimization提出的方法。

进一步，所述步骤2中，本发明提出了一种改进的GrabCut方法，允许用户通过画框的方法快速选取优化目标，该框是一个矩形，内部区域为R_user，即前景，外部区域为R_back＝R_enlarge-R_user，即背景。其中R_enlarge是将矩形区域R_user分别向上、下、左、右同时扩展w个像素的扩大区域，w默认取输入图像对角线长度的二十分之一。然后为前景和背景建立高斯混合模型(简称GMM模型)，用以计算待分割区域每个像素的前/背景的概率，最终利用图分割方法实现分割。该步骤中涉及的GrabCut方法是发表于2004年ACM Siggraph会议上的文章Grabcut:Interactive Grabcut:Interactive foreground extraction using iteratedgraph cuts提出的方法。

进一步，所述步骤3中，对步骤2中分割出来的单选取目标使用GPM方法，其中需要使用GPM方法的多尺度和多角度搜索功能，将每个像素的最近邻搜索数量k设为16，且将已分割出来的目标区域设为纯白色以避免重复匹配。接着，通过空间连通性对这些搜索位置进行空间聚类，即在每个搜索位置点画一个半径为5的小圆，并通过种子填充法获得每个连通的区域，剔除区域面积很小的区域。区域面积较小的判断不是采用绝对阈值，该阈值是动态变化的，默认取单选取目标面积的五分之一。因为目标图案与用户交互分割得到的图案较为相似，因此，我们采用以下GMM模型来帮助图案的分割，以提高分割的稳定性和一致性。

GMM_i＝αGMM_user+(1-α)GMM_i

其中，α是混合用户交互背景GMM_user模型和当前分割图案背景GMM_i模型的权值因子，本文取0.5。该步骤中涉及的GPM方法是发表于2010年European Conference onComputer Vision会议的文章The generalized patchmatch correspondence algorithm提出的方法。

进一步，所述步骤4中，因为稠密匹配也会存在一定的误差，所以本发明采用ShapeContext形状匹配的方法。该方法是检测自动提取的相似图案与用户提取的单目标图案是否相似，若不相似，则删除，本发明使用的形状匹配方法具有一定的旋转不变形。该步骤中涉及的Shape Context形状匹配方法是发表于2000年的Neural Information ProcessingSystems会议的文章Shape context:A new descriptor for shape matching and objectrecognition提出的方法。

进一步，所述步骤5中，对步骤4产生的所有相似目标图案，本发明通过局部块匹配建立这些图案之间的稠密对应。为了解决图案的自对称问题，本文为每个目标图案估计一个方向，先旋转到同一方向在进行稠密匹配。对于两个带稠密匹配的目标图案a和b，通过GPM方法建立一个稠密映射关系ψ(a)→b；其中最近邻搜索数量k设为1。接着，以图案的中心为圆心，计算每个位置的映射旋转角ρ(a_i)，其中a_i是目标图案a中任一的一个像素位置；然后，建立目标图案a中边界附近像素到目标图案b的映射旋转角的直方图，并以数值最高位置对应的角度为目标图案a和b之间的整体旋转角θ(a,b)。

假设输入图像中共有N个与用户指定的图案相似的目标图案(包括用户指定的那个)，记为{E^k}，将属于图案E^k内的预分割区域记为该图案的元素，记为由于图案的边界和预分割的区域边界并不完全一致，本发明仅将80％以上在E^k内部的区域视作E^k的元素。

为确定任意图案元素是否需要被合并优化，在与其相邻的图案元素中查询是否存在面积比大，颜色与相近的E^k图案元素。如果存在，不妨记为将和分别映射到其它图案E^s(s≠k)中，检查它们的映射图案元素是否存在着交集。如果在任何一个其它图案元素中存在着交集，就将图案元素合并到中。

本发明发的技术构思是：充分利用民族图案的重复性，通过多层次纹理块匹配方法建立重复图案之间准确的稠密对应，从而协同优化民族图案分割的质量。首先，提出一种结合纹理块全局匹配和Grabcut前背景分割的方法，允许用户便捷地选取所有待优化的相似分割图案；接着利用局部纹理块匹配检测相对旋转关系，建立多个相似分割图案之间的稠密匹配；最后，建立预分割图案的协同优化模型和求解方法，利用局部和带约束的块匹配实现对分割效果的协同优化。

本发明的优点在于：建立了一个针对民族图案分割的协同优化模型，通过全局和局部多次纹理块匹配建立相似图案之间的稠密对应，由此协同优化分割的准确性和一致性；提出了一个民族文化图案的分割框架，允许用户通过少量交互就能快速获得高精度、保结构的图案分割效果。

附图说明

图1是本发明方法的总流程图。

图2a～图2b是本发明图案分割结果的示意图，其中图2a是输入图像和初始交互的示意图，图2b是本发明方法分割得到的图案。

具体实施方式

参照附图，进一步说明本发明：

基于纹理块匹配的图案匹配方法，包括以下步骤：

步骤1、用基于L0梯度最小化的图像分割算法对输入图像I进行分割，得到预分割图像Ir。

步骤2、单目标快速提取，在输入图像I用矩形框选择目标图案，用改进的GrabCut方法分割出图案S。

步骤3、多目标自动提取，使用GPM(Generalized PatchMatch)方法在输入图像I上寻找与图案相对应的稠密匹配点。并对这些匹配点聚类后，再次使用改进的GrabCut方法对聚类所在区域进行相似图案的提取，迭代直到没有产生图案为止。最终得到图案集合C。

步骤4、对步骤3中的图案集合C中的所有图案，使用

ShapeContext方法，与步骤2中的图案S计算匹配相似度，若相似度小于指定阈值，则表示不匹配，从图案集合中删除它。

步骤5、首先从步骤3中的图案集合C中取出一个图案，建立该图案与其他图案之间的GPM稠密匹配，通过分析在预分割图像Ir上的图案之间的拓扑结构对应关系来改善该图案分割质量，然后再取出下一个图案，重复该步骤，直到遍历完集合中的所有图案，从而得到最终的改善结果。所述步骤1中，因为本发明是在图像过分割基础上对图像进行改善。所以我们调整L0梯度最小化方法的参数，使图像分割结果为过分割。该步骤中涉及的L0梯度最小化方法是发表于Computers&Graphics期刊第38卷第38期的文章Feature-preservingfiltering with L0 gradient minimization提出的方法。

所述步骤2中，本发明提出了一种改进的GrabCut方法，允许用户通过画框的方法快速选取优化目标，该框是一个矩形，内部区域为R_user，即前景，外部区域为R_back＝R_enlarge-R_user，即背景。其中R_enlarge是将矩形区域R_user分别向上、下、左、右同时扩展w个像素的扩大区域，w默认取输入图像对角线长度的二十分之一。然后为前景和背景建立高斯混合模型(简称GMM模型)，用以计算待分割区域每个像素的前/背景的概率，最终利用图分割方法实现分割。该步骤中涉及的GrabCut方法是发表于2004年ACM Siggraph会议上的文章Grabcut:Interac-tive Grabcut:Interactive foreground extraction using iterated graphcuts提出的方法。

所述步骤3中，对步骤2中分割出来的单选取目标使用GPM方法，其中需要使用GPM方法的多尺度和多角度搜索功能，将每个像素的最近邻搜索数量k设为16，且将已分割出来的目标区域设为纯白色以避免重复匹配。接着，通过空间连通性对这些搜索位置进行空间聚类，即在每个搜索位置点画一个半径为5的小圆，并通过种子填充法获得每个连通的区域，剔除区域面积很小的区域。区域面积较小的判断不是采用绝对阈值，该阈值是动态变化的，默认取单选取目标面积的五分之一。因为目标图案与用户交互分割得到的图案较为相似，因此，我们采用以下GMM模型来帮助图案的分割，以提高分割的稳定性和一致性。

GMM_i＝αGMM_user+(1-α)GMM_i

其中，α是混合用户交互背景GMM_user模型和当前分割图案背景GMM_i模型的权值因子，本文取0.5。该步骤中涉及的GPM是发表于2010年European Conference on ComputerVision会议的文章The generalized patchmatch correspondence algorithm提出的方法。

所述步骤4中，因为稠密匹配也会存在一定的误差，所以本发明采用ShapeContext形状匹配的方法。该方法是检测自动提取的相似图案与用户提取的单目标图案是否相似，若不相似，则删除，本发明使用的形状匹配方法具有一定的旋转不变形。该步骤中涉及的Shape Context形状匹配方法是发表于2000年的Neural Information ProcessingSystems的文章Shape context:A new descriptor for shape matching and objectrecognition提出的方法。

所述步骤5中，对步骤4产生的所有相似目标图案，本发明通过局部块匹配建立这些图案之间的稠密对应。为了解决图案的自对称问题，本文为每个目标图案估计一个方向，先旋转到同一方向在进行稠密匹配。对于两个带稠密匹配的目标图案a和b，通过GPM方法建立一个稠密映射关系ψ(a)→b；其中最近邻搜索数量k设为1。接着，以图案的中心为圆心，计算每个位置的映射旋转角ρ(a_i)，其中a_i是目标图案a中任一的一个像素位置；然后，建立目标图案a中边界附近像素到目标图案b的映射旋转角的直方图，并以数值最高位置对应的角度为目标图案a和b之间的整体旋转角θ(a,b)。

假设输入图像中共有N个与用户指定的图案相似的目标图案(包括用户指定的那个)，记为{E^k}，将属于图案E^k内的预分割区域记为该图案的元素，记为由于图案的边界和预分割的区域边界并不完全一致，本发明仅将80％以上在E^k内部的区域视作E^k的元素。

为确定任意图案元素是否需要被合并优化，在与其相邻的图案元素中查询是否存在面积比大，颜色与相近的E^k图案元素。如果存在，不妨记为将和分别映射到其它图案E^s(s≠k)中，检查它们的映射图案元素是否存在着交集。如果在任何一个其它图案元素中存在着交集，就将图案元素合并到中。

高质量的民族图案分割是对诸如民族服饰、民族地毯等非物质文化遗产进行数字化分析的前提之一。本发明提出了一种基于多层次块匹配的民族文化图案协同优化方法，能够将相似图案自动分割为相互关联的细节图案，能够克服民族文化图案重复性强，局部有形变等挑战，具有交互少、精度高、保结构等优点，还能保证相似图案之间的分割一致性，对改善诸如矢量化等民族文化图案的数字化分析有促进作用。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于纹理块匹配的图案匹配方法，包括以下步骤：

步骤1、用基于L0梯度最小化的图像分割算法对输入图像I进行分割，通过调整L0梯度最小化方法的参数，使图像分割结果为过分割，得到预分割图像Ir；

步骤2、单目标快速提取，在输入图像I用矩形框选择目标图案，用改进的GrabCut方法分割出图案S，所述的改进的GrabCut方法具体包括：允许用户通过画框的方法快速选取优化目标，该框是一个矩形，内部区域为R_user，即前景，外部区域为R_back＝R_enlarge-R_user，即背景；其中R_enlarge是将矩形区域R_user分别向上、下、左、右同时扩展w个像素的扩大区域，w默认取输入图像对角线长度的二十分之一；然后为前景和背景建立高斯混合模型GMM，用以计算待分割区域每个像素的前/背景的概率，最终利用图分割方法实现分割；

步骤3、多目标自动提取，使用GPM(Generalized PatchMatch)方法在输入图像I上寻找与图案相对应的稠密匹配点；具体包括：使用GPM方法的多尺度和多角度搜索功能，将每个像素的最近邻搜索数量k设为16，且将已分割出来的目标区域设为纯白色以避免重复匹配；接着，通过空间连通性对这些搜索位置进行空间聚类，即在每个搜索位置点画一个半径为5的小圆，并通过种子填充法获得每个连通的区域，剔除区域面积很小的区域；区域面积较小的判断不是采用绝对阈值，该阈值是动态变化的，默认取单选取目标面积的五分之一。因为目标图案与用户交互分割得到的图案较为相似，因此，采用以下GMM模型来帮助图案的分割，以提高分割的稳定性和一致性。

GMM_i＝αGMM_user+(1-α)GMM_i

其中，α是混合用户交互背景GMM_user模型和当前分割图案背景GMM_i模型的权值因子，取0.5；

并对这些匹配点聚类后，再次使用改进的GrabCut方法对聚类所在区域进行相似图案的提取，迭代直到没有产生图案为止；最终得到图案集合C；

步骤4、对步骤3中的图案集合C中的所有图案，使用Shape Context方法，与步骤2中的图案S计算匹配相似度，检测自动提取的相似图案与用户提取的单目标图案是否相似，若相似度小于指定阈值，则表示不匹配，从图案集合中删除它；

步骤5、首先从步骤3中的图案集合C中取出一个图案，建立该图案与其他图案之间的GPM稠密匹配，通过分析在预分割图像Ir上的图案之间的拓扑结构对应关系来改善该图案分割质量，然后再取出下一个图案，重复该步骤，直到遍历完集合中的所有图案，从而得到最终的改善结果。