CN112734761A - 工业品图像边界轮廓提取方法 - Google Patents

Abstract

本申请公开了一种工业品图像边界轮廓提取方法，包含以下步骤：步骤1：输入参考图像，提取出参考轮廓；步骤2：获得坐标变换矩阵；步骤3：参考图像向待检图像配准；步骤4：轮廓采样点采样；步骤5：计算该点处的法线方向的近似；步骤6：搜索对应的最强响应点；步骤7：对候选目标控制点进行筛选；步骤8：计算出参考轮廓上各点变形后的位置，连接变形后的轮廓采样点获得变形后轮廓。保证了所提取轮廓的连续性；方法原理简单、鲁棒性强、精度高、运行效率高；具有高度的通用性，可广泛应用于各种工业品图像的边界轮廓提取而不单单适用于指定产品的轮廓提取。

Description

工业品图像边界轮廓提取方法

技术领域

本发明涉及计算机图像预处理技术领域，特别涉及一种基于参考轮廓和轮廓变形的工业品图像区域边界轮廓提取方法。

背景技术

轮廓提取技术可应用于ROI范围准确框选、基于轮廓的缺陷检测、目标跟踪与识别、简笔画生成等各种任务，是图像处理领域的一个基础性的核心问题。ROI（region ofinterest），感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子（Operator）和函数来求得感兴趣区域ROI，并进行图像的下一步处理。

当前主流的轮廓提取技术可以分为基于区域性质差异的轮廓提取、基于边缘检测的轮廓提取、基于图割法的轮廓提取、基于活动轮廓的提取和基于学习的轮廓提取等。

其中基于区域性质差异的轮廓提取方法利用前、背景区域的灰度、色彩、纹理等性质差异对前景和背景进行整体分割进而提取轮廓，典型的如灰度阈值化处理、基于区域生长与***的图像分割、基于均移的图像分割等，这种方法比较适用于区域内部性质比较统一、前景与背景差异较大、边界清晰连续的情况，在光照剧烈变化、噪声较为严重、边界模糊甚至断裂等情况下表现常常不如人意。

基于边缘检测的轮廓提取利用的是轮廓处的强梯度性质来进行边缘检测，进而通过边缘连接与筛选实现轮廓的提取，其中最具有代表性的便是Canny边缘检测算子。但是正如Canny边缘检测算子所表现出的，该类方法仅能保证轮廓局部的连续性而不能保证轮廓整体的连续性，所提取的轮廓也容易受到噪声影响而附带毛刺等干扰，且提取的无关轮廓较多，需要较为繁琐的后处理。

基于图割的方法以像素作为节点，像素与前景、背景的相似度及相邻像素间的相似度作为节点间的权重，将图像映射为赋权无向图，通过求解最小切割将前景和背景区分开来。但图割法分割结果较为依赖目标和背景的种子点选取质量，且仅考虑底层图像特点，易受局部噪声影响，难以保证轮廓的平滑性，此外，方法计算效率较低，很难满足工业检测领域的实时轮廓提取需求。

基于活动轮廓的方法的基本思想是使用连续曲线来模拟目标轮廓边缘，通过***像素对轮廓的“吸引力”促进轮廓变形，通过依赖于曲线自身形状的的“抗拒力”来约束轮廓变形，轮廓在外部“吸引力”和内部“抗拒力”的共同作用下发生变形并最终达到平衡位置。基于活动轮廓的方法将轮廓提取过程转化为一种自顶向下的最优轮廓逼近过程，可以保证轮廓的连续性和平滑性，然而，该种方法比较依赖初始轮廓的选取，且需要反复迭代而耗时较长，不太适用于实时性要求较高的工业应用。

基于学习的轮廓提取方法本质上是将轮廓提取任务当成了像素分类任务处理，尽管近年来该种方法在学术界受到追捧，但是仍然存在需要包含大量标记图像的数据集、模型训练不确定性较高且缺乏可解释性与结果可控性、模型复用性较差、方法耗时过长、模型部署困难等问题，在工业界落地困难。

综上所述，目前现有技术中，仅有基于活动轮廓的方法利用了参考轮廓这一先验知识，能够同时保证轮廓的连续性与平滑性。但是，基于活动轮廓的方法需要反复迭代而耗时较长，且轮廓提取结果缺乏足够的可控性，不太适用于实时性要求较高的工业应用，其他主流的轮廓提取方法由于未利用有关轮廓的先验信息而难以保证轮廓的连续性与平滑性，加之鲁棒性及处理效率等方面的问题，更难以应用于实时性和精度要求较高的场景。因此，工业领域急需一种利用参考轮廓这一先验信息的高效简单的轮廓提取方法。

发明内容

本发明所要解决的技术问题在于，以往的工业品图像区域边界轮廓提取方法多未利用先验知识，在图像存在亮暗不均、噪声干扰、图像局部扭曲变形、轮廓局部断裂、轮廓两侧对比度较低、轮廓两侧亮度关系反转等问题时难以提取出连续的实际轮廓或者提取出过多的无关轮廓带来沉重的后处理负担，难以在可解释性、稳定性、精度、通用性以及方法效率等综合指标上令人满意。

为解决上述技术问题，本发明提供了一种基于参考轮廓与轮廓变形的工业品图像区域边界轮廓提取方法，将实际轮廓视为由参考轮廓变形而来，通过在参考轮廓和实际轮廓上提取若干匹配点对控制参考轮廓的变形来拟合实际轮廓，包括以下步骤：

步骤1：输入参考图像，提取出参考轮廓；

步骤2：在待检图像中定位感兴趣物体，获得由参考图像和参考轮廓向待检图像配准的坐标变换矩阵；

步骤3：利用步骤2获得的坐标变换矩阵对参考轮廓和参考图像进行坐标变换，向待检图像配准；

步骤4：对步骤3获得的配准后参考轮廓进行轮廓点采样，作为控制轮廓变形的候选源控制点；

步骤5：对于每个候选源控制点，计算已配准参考图像在该点处的梯度方向作为配准后参考轮廓在该点处的法线方向的近似；

步骤6：对于每个候选源控制点，搜索对应的最强响应点作为待检图像的实际轮廓上的候选目标控制点；

步骤7：对候选目标控制点进行筛选，筛选后的源控制点和目标控制点作为最终控制轮廓变形的控制点对；

步骤8：对于已配准轮廓上的每个点，基于移动最小二乘法根据控制点对计算局部坐标变换矩阵进而得到该点变形后的位置，然后连接变形后的轮廓点获得变形后轮廓，轮廓变形结果作为最终的轮廓提取结果。

优选地，步骤1中参考轮廓的提取方法包括：对参考图像滤波预处理后在梯度域进行阈值化操作获得参考轮廓 和/或 对参考图像进行灰度形态学开闭运算及求梯度后进行阈值化。

优选地，步骤2中定位操作方法包括：通过基于形状的模板匹配 和/或 基于NCC模板的形状匹配 和/或 基于特征点提取与匹配的定位。

前述基于形状指的是基于感兴趣物体的轮廓形状。基于形状的匹配是一类匹配方法的总称。在机器视觉软件Halcon中便有基于形状的匹配这一算子。

NCC是Normalized Cross-Correlation(归一化互相关)的简称。NCC模板匹配是图像处理领域的专有名词，意为通过在图像中搜索一个与模板图像块的归一化互相关性最大的图像块来完成匹配定位的操作。

优选地，步骤4中对步骤3获得的配准后参考轮廓进行轮廓点采样使用的是等距抽样。

优选地，步骤6中，对于轮廓上的候选源控制点，相应的实际轮廓上的目标控制点的搜索是沿该点处轮廓法线方向在一定深度范围内搜索的。

优选地，步骤7中对候选目标控制点进行筛选的方法包括基于邻域内梯度方向总体一致性 和/或 正负梯度方向上平均灰度差。

优选地，步骤7中对候选目标控制点进行筛选的方法还包括：利用局部梯度方向逐像素比对的方法 和/或 利用形变的连续性的方法 和/或 利用目标控制点位置预测的方法。

优选地，步骤8中实现轮廓变形采用的方法包括：移动最小二乘法。

本发明有益效果包括：从原理上保证了所提取轮廓的连续性；容易整合先验知识和现有技术改进方法以适应具体情况；方法原理简单、鲁棒性强、精度高、运行效率高；方法具有高度的通用性，可广泛应用于各种工业品图像的区域边界轮廓提取而不单单适用于指定产品的轮廓提取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是一部分实施例或现有技术，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的类似或相关附图。

图1为本发明实施例所述轮廓提取方法流程图；

图2为本发明实施例所述初步参考图像图；

图3为本发明实施例所述待检图像图；

图4为图2向图3配准后获得的已配准图像图；

图5为本发明实施例所述初步参考轮廓向图3配准后获得的已配准轮廓图；

图6为图5中的已配准轮廓覆盖到图3上的结果图；

图7为本发明实施例所述候选源控制点显示在图2上的结果图；

图8为本发明实施例所述候选源控制点显示在图3上的结果图；

图9为本发明实施例所述候选目标控制点显示在图3上的结果图；

图10为本发明实施例所述经过筛选的目标控制点显示在图3上的结果图；

图11为本发明实施例所述经过筛选的目标控制点所对应的源控制点显示在图4上的结果图；

图12为本发明实施例所述最终提取到的轮廓显示在图3上的结果图；

图13为本发明实施例2所述的轮廓提取结果图；

图14为本发明实施例3所述的轮廓提取结果图。

具体实施方式

下面结合实施例详述本发明。为使本发明的目的、技术方案及优点更加清楚、明确，以下对本发明进一步详细说明，但本发明并不局限于这些实施例。

在本发明的一实施方式中，公开了一种基于参考轮廓与轮廓变形的工业品图像区域边界轮廓提取方法。如图1所示，为本发明实施例所述轮廓提取方法流程图。图中包括以下步骤：

步骤1：输入参考图像，提取出参考轮廓；

步骤2：在待检图像中定位感兴趣物体，获得由参考图像和参考轮廓向待检图像配准的坐标变换矩阵；

步骤3：利用步骤2获得的坐标变换矩阵对参考轮廓和参考图像进行坐标变换，向待检图像配准；

步骤4：对步骤3获得的配准后参考轮廓进行轮廓点采样，作为控制轮廓变形的候选源控制点；

步骤5：对于每个候选源控制点，计算已配准参考图像在该点处的梯度方向作为配准后参考轮廓在该点处的法线方向的近似；

步骤6：对于每个候选源控制点，搜索对应的最强响应点作为待检图像的实际轮廓上的候选目标控制点；

搜索对应的最强响应点，在本发明实施例中，是通过下述方法进行的：记采样点

处梯度方向的单位向量为

，当前搜索点

处梯度方向的单位向量为

，梯度模值为

，则当前搜索点对于采样点的响应度定义为

，其中

为

与

的向量点积；对应响应度最大的点即为最强响应点；

步骤7：对候选目标控制点进行筛选，筛选后的源控制点和目标控制点作为最终控制轮廓变形的控制点对；

步骤8：对于已配准轮廓上的每个点，基于移动最小二乘法根据控制点对计算局部坐标变换矩阵进而得到该点变形后的位置，然后连接变形后的轮廓点获得变形后轮廓，轮廓变形结果作为最终的轮廓提取结果。

作为优选，步骤1中参考轮廓的提取方法包括：对参考图像滤波预处理后在梯度域进行阈值化操作获得参考轮廓 和/或 对参考图像进行灰度形态学开闭运算及求梯度后进行阈值化。

作为优选，步骤2中定位操作方法包括：通过基于形状的模板匹配 和/或 基于NCC模板的形状匹配 和/或 基于特征点提取与匹配的定位。

前述基于形状指的是基于感兴趣物体的轮廓形状。基于形状的匹配是一类匹配方法的总称。在机器视觉软件Halcon中便有基于形状的匹配这一算子。

NCC是Normalized Cross-Correlation(归一化互相关)的简称。NCC模板匹配是图像处理领域的专有名词，意为通过在图像中搜索一个与模板图像块的归一化互相关性最大的图像块来完成匹配定位的操作。

作为优选，步骤4中对步骤3获得的配准后参考轮廓进行轮廓点采样使用的是等距抽样。

作为优选，步骤6中，对于轮廓上的候选源控制点，相应的实际轮廓上的目标控制点的搜索是沿该点处轮廓法线方向在一定深度范围内搜索的。

作为优选，步骤7中对候选目标控制点进行筛选的方法包括基于邻域内梯度方向总体一致性 和/或 正负梯度方向上平均灰度差。

作为优选，步骤7中对候选目标控制点进行筛选的方法还包括：利用局部梯度方向逐像素比对的方法 和/或 利用形变的连续性的方法 和/或 利用目标控制点位置预测的方法。

作为优选，步骤8中实现轮廓变形采用的方法包括：移动最小二乘法。

在本发明的另一实施方式中，还公开了一种基于参考轮廓和轮廓变形的工业品图像区域边界轮廓提取方法，包含以下步骤：

步骤1：输入参考图像，通过常规方法提取出参考轮廓；

由于参考图像可以选择干扰较少的高质量图像，所以参考轮廓的提取可通过常规方法实现，一种典型的方法就是对参考图像滤波预处理后在梯度域进行阈值化操作获得参考轮廓。因为不同场景下的图像千差万别，参考图像的预处理和参考轮廓提取方法应当针对具体的场景选择合适的处理方法，本发明对此不做限制。

本发明实施例工业品图像边界轮廓提取方法，提取待检图像的初步参考轮廓，进一步包括：

（1）用圆盘形结构元对所述初步参考图像先后做灰度学开操作和闭操作，消除细小划痕和噪点干扰，得到中间图像A1；

（2）对所述中间图像A1用sobel算子提取x、y方向的梯度并计算梯度模值，得到中间图像A2；

（3）以设定阈值对所述中间图像A2进行二值化，消除面积小于设定面积的小连通域，得到中间图像A3；

（4）对所述中间图像A3提取骨架得到初步参考轮廓。

具体的做法是：

图2给出了本发明实施例所用的参考图像，图像的分辨率为1400*1700，相应的参考轮廓是通过对参考图像进行灰度形态学开闭运算后求梯度并阈值化及消除小连通域和提取骨架得到的。具体的做法是先用尺寸为9*9的圆盘形结构元对参考图像先做灰度学开操作再做闭操作消除细小划痕和噪点干扰，接着用sobel算子提取x、y方向的梯度并计算梯度模值，以20为阈值对图像进行二值化后消除面积小于100的小连通域后对图像提取骨架得到宽度为1的轮廓。需要指出的是，本发明为了更好地可视化，附图中的轮廓经过膨胀处理。

步骤2：在待检图像中定位感兴趣物体，获得由参考图像和参考轮廓向待检图像配准的坐标变换矩阵；

定位操作可通过多种方法实现，比如通过基于形状的模板匹配，或是基于NCC模板的形状匹配，或是基于特征点提取与匹配的定位等。不同的定位方法适用于不同的场景，定位方法也需要根据具体应用场景进行选择，本发明对此也不做限制。

图3给出了本发明实施例所用的待检图像，其定位是通过基于形状的模板匹配实现的。

其中，待检图像中定位感兴趣物体，进一步包括：

（1）根据参考图像建立一个参考图像上logo的金字塔形状模板，并设置金字塔的层数；

（2）在待检图像上进行模板匹配，搜索出该形状出现的位置和方向；

（3）计算用于配准的坐标变换矩阵。

具体的做法是：

首先根据参考图像建立一个苹果logo的金字塔形状模板，金字塔的层数设置为5；然后在待检图像上进行模板匹配搜索出该形状出现的位置和朝向，进而计算出用于配准的坐标变换矩阵。

步骤3：利用步骤2获得的坐标变换矩阵对参考轮廓和参考图像进行坐标变换，向待检图像配准；

将参考轮廓向待检图像配准的目的是获得待检图像中区域边界轮廓的初始位置与形态，将参考图像也向待检图像配准的目的是为了方便配准后轮廓法线方向的计算，以及将待检图像和参考图像进行局部比对以判定中心像素是否为真实轮廓点。

图4是参考图像向待检图像配准的结果示例，图5是参考轮廓向待检图像配准的结果示例，将该轮廓叠加到待检图像上显示的结果如图6所示，可见上半部分配准得较好而下半部分配准误差较大，也就是说实际轮廓相对于参考轮廓发生了局部性变形，因此仅仅通过简单的尺度伸缩是无法由参考轮廓获得实际轮廓的，这也是采用轮廓变形的必要性所在。

步骤4：如图7所示，对步骤3获得的配准后参考轮廓进行轮廓点采样，作为控制轮廓变形的候选源控制点；

对轮廓点进行采样是因为只需要少量控制点控制轮廓变形就可以达到比较高的变形精度，对已配准参考轮廓上的每个点搜索其在变形后轮廓上的对应点没有意义，且可能出现轮廓上的不同点映射到变形后轮廓上的同一点的问题，带来意想不到的麻烦。除此之外，廓点搜索和轮廓变形的计算量都与轮廓点的数目成正比，因此要对轮廓点进行采样。操作中推荐进行等距抽样，对于轮廓中变化比较剧烈的部分可以适当增加抽样密度。

图8显示了以20为步长进行等距采样获取的候选源控制点在待检图像上的位置，这将作为下述步骤6中搜索候选目标控制点的起始位置；

步骤5：对于每个候选源控制点，计算已配准参考图像在该点处的梯度方向作为轮廓在该点处的法线方向的近似；

本发明实施例的

方向的梯度图像由sobel算子作用于图像获得，但其后采用了5*5的均值滤波器对其进行滤波以减少噪声干扰，使梯度方向计算更加鲁棒。设像素点

处的梯度为

,则该点处梯度方向的单位向量为

。

步骤6：对于每个候选源控制点，沿该点处轮廓法线方向在一定深度范围内搜索对应的最强响应点作为待检图像的实际轮廓上的候选目标控制点；

采样点在变形后实际轮廓上的对应点处的轮廓法线方向应该与该采样点处的轮廓法线方向相近，且对应点处应该具有较大的梯度模值。由于梯度方向可以作为轮廓法线方向的良好近似，所以可以定义一个融合了采样点和当前搜索点处梯度方向相似度和当前搜索点处梯度模值的指标作为当前搜索点对于采样点的响应度。记采样点

处梯度方向的单位向量为

，当前搜索点

处梯度方向的单位向量为

，梯度模值为

，则当前搜索点对于采样点的响应度定义为

，其中

为

与

的向量点积。需要指出的是，如步骤5所示，本发明实施例中，涉及梯度方向的计算时，均对梯度图像进行了5*5的均值滤波以增强鲁棒性，而计算梯度模值

时则并没有滤波后处理，因梯度模值

应当准确反映该点处的梯度强度。

图9展示了对于图8中的候选源控制点，沿着轮廓法线方向搜索到的最强响应点，可以看到，绝大多数的最强响应点都在实际轮廓上，这说明定义的响应度指标工作良好，但也有个别最强响应点并不位于待检图像的实际轮廓上，因此仍需要对其进行筛选。

步骤7：基于邻域内梯度方向总体一致性、正负梯度方向上平均灰度差等对候选目标控制点进行筛选，筛选后的源控制点和目标控制点作为最终控制轮廓变形的控制点对；

由于轮廓内外的像素点分属于前景和背景区域，因此，若候选目标控制点位于轮廓上，则正梯度方向与负梯度方向上的灰度将具有较为显著的差异，而若候选目标控制点位于前景区域或背景区域，则正梯度方向与负梯度方向上的像素都位于区域内部，两方向上的灰度差异较小。因此，正负梯度方向上的灰度差异可以作为目标控制点的一个筛选依据。类似地，候选目标控制点处的最小梯度模值以及邻域内灰度的一致性和邻域内像素点的灰度范围也可以用于目标控制点的筛选。除此之外，本发明还提出了3种非常有效的方法用于目标控制点的筛选，它们分别是利用局部梯度方向逐像素比对的方法、利用形变的连续性的方法和利用目标控制点位置预测的方法，下面分别对其进行介绍。

首先是利用局部梯度方向逐像素比对的方法。

其中，利用局部梯度方向逐像素比对进行筛选，进一步包括：

（1）选取比对窗口，分别以当前源控制点为中心和以候选控制点为中心在已配准参考图像上和待检图像上各取一个图像块并对齐；

（2）计算比对窗口上任一点在已配准参考图像上的梯度向量和在待检图像上的梯度向量，根据其模值判定该点是否为显著点；

（3）计算已配准参考图像和待检图像在该点处梯度的单位向量的内积作为已配准参考图像和待检图像在该点处梯度方向的一致性度量值；

（4）将这些梯度方向一致性度量值累加后除以总的显著点个数得到平均梯度方向一致性度量值。

具体的做法是：

对于位于真实轮廓上的点而言，由于轮廓变形前后对应点附近的轮廓走向应该较为一致，若对已配准参考图像和待检图像中的显著点进行局部的逐像素梯度方向比对，则位于真实轮廓上的候选目标控制点应具有较高的平均梯度方向一致性。因此，局部平均梯度方向一致性也可以作为一个不错的筛选指标。本发明实施例中所取的比对窗口大小为11*11，对于显著点的判定标准是梯度模值不小于3.0。具体做法是首先分别以当前源控制点为中心和以候选控制点为中心在已配准参考图像

上和待检图像

上各取一个11*11大小的图像块并对二者进行对齐。对于窗口中任一点，计算其在

上的梯度向量

和在

上的梯度向量

，若梯度模值

或

不小于3.0，则将其判定为显著点。对于各显著点，计算向量内积

作为

和

在该点处的梯度方向一致性度量值。将这些梯度方向一致性度量值累加后除以总的显著点个数即得到所谓的平均梯度方向一致性度量值。本发明实施例所采用的平均梯度方向一致性阈值为0.8。

其次是利用形变的连续性的方法。

其中，工业品图像边界轮廓提取方法，其利用形变的连续性进行筛选，进一步包括：

(1)计算各候选目标控制点处的形变量；

形变量由候选目标控制点与对应的候选源控制点的距离度量，是个有符号的量。若候选目标控制点由由对应的候选控制点朝着该点处正梯度方向搜索得到，则形变量符号为正，相反为负；

(2) 对形变量二阶导数的绝对值设一阈值，将超出阈值的候选目标控制点及其对应的源控制点剔除。

具体的做法是：

形变的连续性在工业品标准化生产场景中是个显而易见的性质。作为形变连续性的结果，形变量的二阶导数应该基本为0。因此，可对形变量二阶导数的绝对值设一阈值，将超出阈值的候选目标控制点及其对应的源控制点剔除。形变量由候选目标控制点与对应的候选源控制点的距离度量，是个有符号的量。若在步骤6中候选目标控制点由候选控制点朝着正梯度方向搜索得到，则形变量符号为正，相反为负。本发明实施例中的形变量二阶导数绝对值阈值设为6.0。

最后是利用候选目标控制点位置预测的方法。

其中，利用目标控制点位置预测进行筛选，进一步包括：

（1）使用候选源控制点和候选目标控制点计算出最优全局坐标变换矩阵；

（2）基于该矩阵对候选源控制点进行坐标变换获得对应候选目标控制点位置的预测值；

（3）计算该预测位置与候选目标控制点的距离作为实际位置与预测位置间的位置误差值；

（4）将误差值超出阈值的候选控制点匹配点对剔除。

具体的做法是：

由于局部形变通常可以视为在整体变形的基础上进行局部微调获得。所以，我们可以使用候选源控制点和候选目标控制点计算出一个最优全局坐标变换矩阵，基于该矩阵对候选源控制点进行坐标变换获得对应候选目标控制点位置的预测值。然后计算该预测位置与候选目标控制点的距离作为实际位置与预测位置间的位置误差值，将误差值超出阈值的候选控制点匹配点对剔除。本发明实施例的最优全局坐标变换矩阵由OpenCV4.1.0的findHomography函数对候选控制点匹配点对采用默认参数计算获得，位置误差阈值设为12。

本发明实施例首先采用利用局部梯度方向逐像素比对的方法和利用形变的连续性的方法并行处理获得初步筛选后的候选控制点匹配点对，然后利用候选目标控制点位置预测的方法对匹配点对进行第二轮筛选获得最终的控制点匹配点对。除前面提到的指标和方法外还可以针对具体场景设计一些特定的指标对候选的匹配点对进行筛选。

图10展示了经过筛选保留的目标控制点，图11展示了对应的源控制点在配准后参考图像上的位置。

步骤8：对于已配准轮廓上的每个点，基于移动最小二乘法根据控制点对计算局部坐标变换矩阵进而得到该点变形后的位置，然后连接变形后的轮廓采样点获得变形后轮廓，轮廓变形结果作为最终的轮廓提取结果。

其中，根据所述最终控制点对，计算所述配准参考轮廓采样点集中各个点处的局部坐标变换矩阵，得到该点变形后的位置；然后，连接变形后的轮廓采样点，获得变形后轮廓，得到轮廓提取结果，进一步包括：

（1）根据预设的形变类型求解一个最小二乘优化目标函数计算得到一个局部性坐标变换矩阵；

（2）根据该坐标变换矩阵计算出轮廓采样点变形后的位置；

（3）连接变形后的轮廓采样点获得变形后轮廓。

具体的做法是：

基于移动最小二乘的轮廓变形原理，简单来说就是通过一些源控制点和目标控制点（源控制点对应的变形后位置点）控制变形，对于每一个待求变形后位置的轮廓采样点而言，首先根据预设的形变类型（如仿射变换、相似变换、刚性变换）通过求解一个最小二乘优化目标函数计算得到一个局部性坐标变换矩阵，然后根据该坐标变换矩阵计算出该轮廓采样点变形后的位置，最后连接这些变形后的轮廓采样点即可获得变形后的轮廓。由于对于每一个待求变形后位置的点，都要建立一个优化目标函数求解一个局部坐标变换矩阵，因此该方法称为“移动最小二乘法”。设第

个源控制点为

，对应的目标控制点为

，对于任一点

，其对应的最小二乘优化目标函数形式为：

。

其中，

（

为线性变换矩阵，

为平移量）为对应局部形变模型的坐标变换矩阵；

为

对应的权重（

控制权重分配，

为向量取模值操作）。可见，距离当前点

而言，与其距离越近的源控制点具有越高的权重，对应的期望变形后位置与预设目标控制点的位置误差越小，且权重衰减迅速，对于距离当前点较远的控制点，其权重近似为0，这体现了所期望的形变模型的局部性。本发明实施例选取的

为2.0，局部形变模型选用的是刚性变换。

图12展示了本发明实施例最终的轮廓提取结果，图13和图14为本方法在其它待检图片上操作的结果。图12、图13和图14所采用的形变模型均为刚性变换模型。可以看出，即使在前景与背景的对比度很低、区域内部亮度不均匀度较高、图像中存在噪声及划痕等干扰因素的不利情况下，采用本发明提取的轮廓仍然能够保持连续性、平滑性及闭合性，且与真实轮廓具有很高的吻合度。同时由于在图像定位与配准之后，目标控制点的搜索及轮廓变形只针对轮廓线或是轮廓线的邻域进行处理，所需的计算量很小，因此方法具有很高的计算效率。

以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于本发明技术方案保护范围内。

Claims (10)

1.一种工业品图像边界轮廓提取方法，其特征在于，包括以下步骤：

步骤1：输入初步参考图像，提取待检图像的初步参考轮廓；

步骤2：在待检图像中定位感兴趣物体，获得由所述初步参考图像和所述初步参考轮廓向待检图像配准的坐标变换矩阵；

步骤3：利用所述坐标变换矩阵对所述初步参考轮廓和所述初步参考图像进行坐标变换，向待检图像配准，得到配准参考轮廓和配准参考图像；

步骤4：对所述配准参考轮廓进行轮廓点采样，得到控制轮廓变形的候选源控制点；

步骤5：计算所述配准参考图像在各个所述候选源控制点处的梯度向量，作为所述配准参考轮廓在该点处的近似法线向量；

步骤6：根据所述近似法线向量指示的方向搜索各个所述候选源控制点对应的最强响应点，作为待检图像的实际轮廓上的候选目标控制点；将所述候选目标控制点与候选源控制点一一映射绑定，形成互相匹配的候选控制点对；

步骤7：对所述候选控制点对进行筛选，筛选后的控制点对作为控制轮廓变形的最终控制点对；

步骤8：再次对所述配准参考轮廓进行轮廓点采样，获得配准参考轮廓采样点集；根据所述最终控制点对，计算所述配准参考轮廓采样点集中各个点处的局部坐标变换矩阵，得到该点变形后的位置；然后，连接变形后的轮廓点，获得变形后轮廓，得到轮廓提取结果。

2.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤1中提取待检图像的初步参考轮廓的子步骤，进一步包括：对初步参考图像滤波预处理后，在梯度域进行阈值化操作，获得初步参考轮廓。

3.根据权利要求1或2所述工业品图像边界轮廓提取方法，其特征在于，所述步骤1中的提取待检图像的初步参考轮廓的子步骤，进一步包括：对初步参考图像进行灰度形态学开闭运算，在梯度域进行阈值化操作，获得初步参考轮廓。

4.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤2中的在所述待检图像中定位感兴趣物体的子步骤，进一步包括：基于形状的模板匹配定位、基于NCC模板的形状匹配定位 和/或 基于特征点提取匹配定位。

5.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤4中的配准参考轮廓进行轮廓点采样的子步骤中，进一步包括：使用等距抽样。

6.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤6中的搜索每个所述候选源控制点对应的最强响应点的子步骤，进一步包括：对于轮廓上的候选源控制点，相应的实际轮廓上的目标控制点的搜索是沿该点处轮廓法线方向搜索的。

7.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤7中的对所述候选目标控制点进行筛选的子步骤，进一步包括：基于邻域内梯度方向总体一致性进行筛选 和/或 正负梯度方向上平均灰度差进行筛选。

8.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤7中的对所述候选目标控制点进行筛选的子步骤，进一步包括：利用局部梯度方向逐像素比对进行筛选、利用形变的连续性进行筛选 和/或 利用目标控制点位置预测进行筛选。

9.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤8中的根据所述控制点对，计算已配准轮廓上的每个点的局部坐标变换矩阵的子步骤，进一步包括：基于移动最小二乘法计算已配准轮廓上的每个点的局部坐标变换矩阵。

10.根据权利要求1所述工业品图像边界轮廓提取方法，其特征在于，所述步骤1中提取待检图像的初步参考轮廓，进一步包括：

首先，用圆盘形结构元对所述初步参考图像先后做灰度学开操作和闭操作，消除细小划痕和噪点干扰，得到中间图像A1；

其次，对所述中间图像A1用sobel算子提取x、y方向的梯度并计算梯度模值，得到中间图像A2；

再次，以设定阈值对所述中间图像A2进行二值化，消除面积小于设定面积的小连通域，得到中间图像A3；

最后，对所述中间图像A3提取骨架得到初步参考轮廓。

Images