CN115775278B

CN115775278B - 包含局部特征约束的元件识别定位方法及***、存储介质

Info

Publication number: CN115775278B
Application number: CN202310105302.4A
Authority: CN
Inventors: 贺琛; 唐学峰; 吴欢欢; 傅亚男; 于缓缓; 陈凌升
Original assignee: Hefei Anxin Precision Technology Co Ltd
Current assignee: Hefei Anxin Precision Technology Co Ltd
Priority date: 2023-02-13
Filing date: 2023-02-13
Publication date: 2023-05-05
Anticipated expiration: 2043-02-13
Also published as: CN115775278A

Abstract

本发明涉及表面贴片设备技术领域，具体公开了一种包含局部特征约束的元件识别定位方法及***、存储介质，所述方法包括以下步骤：从元件图像中提取边缘轮廓点集，构建边缘轮廓点的局部结构特征，构成包含局部结构特征的目标特征点集；利用元件的形状参数建立包含局部结构特征的模板特征点集；根据目标特征点集和模板特征点集构建混合高斯刚性配准模型；利用目标特征点集和模板特征点集的局部结构特征之间的相似度计算混合比例系数，依据混合比例系数求解所述配准模型中的参数和匹配关系，获得元件的位姿信息。该方案具有抗干扰能力强、识别稳定性强、识别准确的优点。

Description

包含局部特征约束的元件识别定位方法及***、存储介质

技术领域

本发明涉及表面贴片设备技术领域，具体地涉及一种包含局部特征约束的元件识别定位方法及***、存储介质。

背景技术

在表面贴装技术(Surface Mounted Technology，SMT)中，贴片机作为核心生产装备，是一种通过移动贴装头将各类形状和规格的表面贴装元件准确放置到PCB焊盘上的设备。为了消除贴装过程中不可避免的机械偏差，高性能贴片机普遍采用视觉纠偏***，该视觉纠偏***需要具备强鲁棒性、高识别速度、亚像素级识别精度。

基于机器视觉的纠偏***具有非接触、易于实现、定位准确等优点，但是在实际生产应用中，该方法的稳定性和定位精度受图像的质量影响大，如当元件的边缘上存在飞边、毛刺，以及出现污点时，提取到的元件特征（边缘轮廓、角点）不稳定，存在大量离群值和异常值，导致产生识别偏差进而影响识别定位准确性和稳定性。

基于模板匹配的方法在贴装元件定位中有着广泛应用，其中常规的匹配信息可分为区域和特征两大类，基于区域类的匹配信息通过直接匹配图像块的灰度值，或经过频域变换后在变换域内进行相似性匹配，但该方法对图像质量要求较高、计算量大，且对噪声极其敏感，稳定性不足，难以应用到干扰信息多的元件识别中；基于特征类的匹配方法中，通过提取具有物理意义的显著结构特征，进行特征的对齐与变换估计，其中角点、边缘轮廓点是常用的特征类型，利用点模式配准方法可以获得良好的识别结果，常规的配准方法中多利用特征点的位置坐标信息，但当提取到的边缘轮廓点集中存在大量异常值、离群点时，难以获得正确的点对匹配关系，导致该算法的稳定性不足和性能急剧下降，难以获得准确的元件识别结果。

因此，在含有大量干扰信息的元件识别任务中，识别方法的稳定性不足、准确性低已然成为制约贴装精度提高的一个重要因素。

发明内容

本发明的目的是克服现有技术存在的问题，提供一种包含局部特征约束的元件识别定位方法及***、存储介质。

为了实现上述目的，本发明第一方面提供一种包含局部特征约束的元件识别定位方法，包括以下步骤：

从元件图像中提取边缘轮廓点集，构建边缘轮廓点的局部结构特征，构成包含局部结构特征的目标特征点集；

利用元件的形状参数建立包含局部结构特征的模板特征点集；

根据目标特征点集和模板特征点集构建混合高斯刚性配准模型；

利用目标特征点集和模板特征点集的局部结构特征之间的相似度计算混合比例系数，依据混合比例系数求解所述配准模型中的参数和匹配关系，获得元件的位姿信息。

本发明第二方面提供一种包含局部特征约束的元件识别定位***，包括：

目标特征点集模块，用于从元件图像中提取边缘轮廓点集，构建边缘轮廓点的局部结构特征，构成包含局部结构特征的目标特征点集；

模板特征点集模块，用于建立包含局部结构特征的模板特征点集；

配准模型模块，用于根据目标特征点集和模板特征点集构建混合高斯刚性配准模型；

配准识别模块，用于利用目标特征点集和模板特征点集的局部结构特征之间的相似度计算混合比例系数，依据混合比例系数求解所述配准模型中的参数和匹配关系，获得元件的位姿信息。

本发明第三方面提供一种计算机可读存储介质，其上存储有程序，所述程序能够被处理器执行以实现上述方法的步骤。

通过上述技术方案，采用边缘轮廓点的邻域法向量信息构建局部结构特征，增强了边缘轮廓点特征的抗干扰能力和区分度；建立了包含局部特征约束的混合高斯刚性配准模型，利用局部结构特征相似度求解混合比例系数，降低对初始解的依赖程度，增强了识别方法的稳定性；通过综合计算高斯核函数度量的局部结构特征相似度和空间位置相似度，减少了目标特征点集和模板特征点集之间的误匹配率，提升了识别方法的准确性。因此，本发明提出的元件识别定位方法具有抗干扰能力强、识别稳定性强、识别准确的优点。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述。

图1是本发明提出的元件识别定位图像处理流程示意图；

图2是本发明从ROI灰度图像中提取出的有效边缘轮廓点集图像；

图3是本发明对边缘轮廓点集平滑处理后计算出的法向量图像；

图4是本发明构建的边缘点局部特征信息示意图；

图5是本发明构建的元件模板法向量点集图像；

图6是本发明中特征点配准结果图；

图7是本发明中特征点集配准过程的迭代次数-误差曲线；

图8是本发明获得的元件识别定位结果图；

图9是使用CPD方法获得的配准结果；

图10是使用ICP方法获得的配准结果。

实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

为了解决元件识别定位中存在大量干扰信息时，识别方法的稳定性差、识别准确性低的问题。本发明提出了一种包含局部特征约束的表面贴装元件识别定位方法，基本思想为：首先从元件原始图像中的提取边缘轮廓点集；然后，通过计算边缘轮廓点的法向量，构建各点的局部结构特征，并与边缘轮廓点的二维坐标共同构成元件图像的目标特征点集；再次，利用元件的形状参数与图像的相机标尺，计算和建立包含局部结构特征的元件模板特征点集；最后，根据目标特征点集和模板特征点集建立基于局部结构约束的混合高斯刚性配准模型，利用最优化方法求解元件的位姿信息。

如图1所示，为本发明所提出包含局部特征约束的元件识别定位方法的流程图，包括以下步骤：

S1、从元件图像中提取边缘轮廓点集；

S2、构建边缘轮廓点的局部结构特征，构成包含局部结构特征的目标特征点集；

S3、利用元件的形状参数和相机标尺建立包含局部结构特征的模板特征点集；

S4、根据目标特征点集和模板特征点集构建混合高斯刚性配准模型；利用目标特征点集和模板特征点集的局部结构特征之间的相似度计算混合比例系数，依据混合比例系数求解所述配准模型中的参数和匹配关系，获得元件的位姿信息。

进一步的，在步骤S1中，从元件图像中提取边缘轮廓点集，具体包括以下过程：

S11：首先，对原始元件图像进行预处理，抑制和消除原始元件图像中的噪声点和增强元件的边缘轮廓。根据预设识别参数从原始元件图像中进行ROI裁剪；再利用核尺寸为11×11的双边滤波器进行滤波处理，得到边缘增强后的ROI灰度图像。

S12：然后，利用高阈值为Th_high、低阈值为Th_low，尺寸为3×3的Canny算子，对ROI灰度图像进行边缘检测，得到一系列边缘轮廓点集，公式如下：

（1）

（2）

其中， A为ROI图像中梯度幅值的最大值； μ _G表示梯度幅值的均值；σ_G表示梯度幅值的标准差； a、 b分别为超参数， a=3、 b=6；

（3）

（4）

其中 G _i,j表示图像中第i行j列位置的梯度幅值，采用Sobel算子计算； I表示图像的宽度； J表示图像的高度。

S13：由于所获得的边缘轮廓点集中存在很多干扰信息，为了增强识别稳定性，进行筛选和剔除，具体步骤如下：

1）将以毫米为单位的元件形状参数通过相机标尺（单位像素所表示的实际长度，μm/像素）转换为像素单位，转换后的长边长记为 W、宽边长记为 H；

2）剔除点数目小于预设值的边缘轮廓点集，所述预设值优先为10个，再以周长和面积作为特征，计算各个边缘轮廓点集的周长ArcLen和面积Area，筛选出ArcLen≥0.8×2×( W+H)且Area≥0.8× W× H的边缘轮廓点集。

通过使用以上自适应设置阈值的边缘检测方法，直接从ROI灰度图像中获得了包含元件边缘特征的边缘轮廓点集。如图2所示，为采用步骤S1的方法从ROI灰度图像中提取出的有效边缘轮廓点集。

进一步的，在步骤S2中，构建边缘轮廓点的局部结构特征，联合边缘轮廓点的二维坐标共同构成包含局部结构特征的目标特征点集，基本思想是：首先对边缘轮廓点集进行插值和高斯平滑处理，进一步消除尖锐边缘点的干扰，获得平滑后的边缘轮廓点集；然后，利用高斯平滑函数计算各个边缘轮廓点的法向量；再次，利用各个边缘轮廓点的邻域内法向量信息，构建各个边缘轮廓点的局部结构特征；最后，联合各边缘轮廓点的二维坐标和局部结构特征，获得元件图像的目标特征点集。

具体包括以下过程：

S21：由于从ROI灰度图像中直接提取出的边缘轮廓点集数目不确定，利用元件的形状参数确定点集数目为2*( W+H)，进行等间距线性插值。

S22：利用高斯平滑函数对插值后的边缘轮廓点集进行平滑处理，削弱点集中的尖锐边缘轮廓点。基本思想为：利用尺度空间技术将原始曲线与高斯平滑函数作卷积运算，即

（6）

其中： X( u, ρ)和 Y( u, ρ)为滤波后曲线上的点坐标； x( u)和 y( u)为原始曲线上的点坐标；变量 u为参变量； ρ为尺度因子； g(u,ρ)是尺度因子为 ρ的高斯平滑函数：

（7）。

S23：计算平滑后的边缘轮廓点集中的各个边缘轮廓点的法向量为( Y _u( u,ρ), - X _u( u,ρ))，其中

（8）

其中， g _u( u, ρ)是高斯平滑函数 g( u,ρ)关于 u的一阶导数。

优选地，尺度因子 ρ=1.0，经过平滑处理后边缘轮廓点集在各个边缘点位置的法向量如图3所示。

S24：利用k最近邻算法提取各个边缘轮廓点的k个最近邻点，构建边缘轮廓点的局部结构特征，基本思想是：首先以所选边缘轮廓点的法向量方向作为主方向，建立直角坐标系 x'o y',示例性地建立右手直角坐标系；然后，将边缘轮廓点与与其k个最近邻点的法向量依次正交分解到 x'和 y'上，叠加获得维度为4的特征向量，用于描述该边缘轮廓点位置的局部结构特征。

如图4所示，构建某个边缘轮廓点P的局部特征，本发明实施例中设置最近邻数目k=4，因此，首先查找到边缘轮廓点P₁、P₂、P₃、P₄作为最近邻；再次，以边缘轮廓点P的法向量n的方向作为主方向，以P为原点建立右手直角坐标系 x'o y'；然后，依次将P₁、P₂、P₃、P₄对应的法向量n₁、n₂、n₃、n₄正交分解到 x'和 y'上；最后，将 x'和 y'正负方向上的各分量，以及法向量n相互叠加，构成边缘轮廓点P位置上维度为4的局部结构特征。

S25：联合各边缘轮廓点的二维坐标信息和局部结构特征，共同构成元件图像的目标特征点集。

进一步的，步骤S3中，所述计算和建立包含局部结构特征的元件模板特征点集，基本思想是：首先等间隔构建离散化的元件模板点集；然后，根据模板中各点的位置设定法向量方向；最后，利用计算各模板点的局部结构特征，与二维坐标值共同构成模板特征点集。

具体的实现步骤如下：

S31：设定模板点集数目为 Num，按比例分配给各条边，向长边分配 floor[ W/( W+H) ×Num/2]个点，向宽边分配 floor[ H/( W+H) ×Num/2]个点，其中 floor表示向下取整；

S32：利用元件的形状参数确定元件的拐角位置，由于元件的拐角位置多为圆角，实际半径尺寸难以确定，因此，建立模板特征点集时在4个拐角位置设置了空余系数 s，在长边的两侧留出 s×W的空余，以及在宽边的两侧留出 s×H的空余；优选地，空余系数 s的设置范围与边长有关，要求 10/H≤s≤30/H；

S33：各边减去两倍的空余后，将特征点在各边上等间隔分布，同时确定各模板特征点的法向量方向，并利用步骤S24的方法确定局部结构特征，和二维坐标值共同构成模板特征点集。

进一步优选地，确定模板特征点法向量方向的方法是：首先计算模板点集的中心位置；然后，设置位于中心位置上方、下方、左侧、右侧的特征点法向量分别为(0，1)、(0，-1)、(1，0)、(-1，0)。

进一步优选地，按照元件的形状参数和相机标尺，采用 Num=120，s=0.05构建模板特征点集法向量，如图5所示。

进一步地，步骤S4中，根据目标特征点集和模板特征点集建立基于局部结构约束的混合高斯刚性配准模型，利用最优化方法求解元件的位姿信息，具体是：

根据目标特征点集和模板特征点集的特征性质，采用混合高斯刚性配准模型将点集配准问题问题转化为求解对应的概率密度估计问题。由于在常规的混合高斯模型构造中，向每一个点分配相同的先验匹配概率，且仅利用了点特征的空间坐标位置信息，当存在大量离群点和异常值时，配准结果的稳定性和准确性严重不足。

因此，本发明在建立的混合高斯刚性配准模型中利用局部结构特征相似度求解混合比例系数，降低对初始解的依赖程度，增强了配准模型的稳定性；通过局部结构特征相似度和空间位置相似度的综合计算，减少了目标特征点集和模板特征点集之间的误匹配率，提升了配准结果的准确性。基本思想是：对于构建的目标特征点集X={x_n} N n=1和模板特征点集Y={y_m} M m=1，两者之间存在刚性变换T，使得两个点集配准后相对应特征点之间的相似度最高；构建混合高斯刚性配准模型，利用目标特征点集和模板特征点集之间局部结构特征相似度计算混合比例系数；利用期望最大化算法，依据最大后验原则迭代求解所构建模型中的参数和匹配关系；最后，通过特征点集所确定的匹配对应关系估计变换参数，获得元件的位姿信息。

步骤S4中，具体的实现步骤如下：

S41：对于目标特征点集 X={x_n} N n=1和模板特征点集Y={y_m} M m=1，根据混合高斯模型配准理论，可建立如下混合高斯模型：

（9）

其中， p(x_n| μ)表示目标特征点x_n在参数 μ下的条件概率密度； μ={T,σ², γ}，表示模型的估计参数； γ表示权重系数，可通过目标特征点集中的异常值、离群点比例作为先验信息进行确定； P _mn表示对目标特征点x_n的第m个混合比例系数；D表示特征维度，优选地D=2；N表示目标特征点的个数；M表示模板特征点的个数，σ²表示混合高斯模型的方差；T(y_m)表示模板特征点y_m经过刚性变换T的值，变换过程仅对二维坐标信息刚性变换，而局部结构特征保持不变，二维坐标信息主要用于计算整体配准误差。

S42：根据局部特征之间的相似度获得模型中的混合比例系数 P _mn，计算公式为

（10）

其中， S(x_n ,y_m)表示x_n和y_m之间的局部结构特征相似度函数；σ₀表示高斯核因子，优选地σ₀ =0.5，

（11）

其中，K表示局部结构特征向量的维度，优选地K=4； vx n( k)、 vy m( k)分别表示x_n和y_m的 k个局部结构特征向量值。

S43：利用期望最大化算法(EM算法)，依据最大后验原则对 μ={T,σ², γ}进行参数估计，和获得特征点集之间对应点的匹配关系。

最终目标特征点集和根据特征点集之间的匹配关系估计变换模板特征点集的配准结果如图6所示，以及迭代误差曲线如图7所示。

进一步地，将配准结果转换为识别定位结果，得到元件在图像中相对于图像中心的水平偏移量、垂直偏移量，以及偏转角度，识别定位结果如图8所示。

经过识别测试400张元件图像样本，本发明识别结果的水平方向偏移量标准差为0.03个像素，垂直方向偏移量标准差为0.02个像素，偏转角度标准差为0.12°，识别稳定性良好。

匹配的准确性由误匹配率评估，将模板特征点集由变换矩阵映射到目标特征点集中，映射后的匹配点对若以它们为中心，1为直径的圆有交集，则认为匹配正确，反之，属于误匹配。本发明方法获得的点集配准结果中误匹配率为5.8%，而常规的一致性点漂移算法(CPD)的误匹配率为63.2%，和迭代最近点算法(ICP)的误匹配率为80.8%。图9和图10分别为使用CPD和ICP方法获得的配准结果，两种方法的配准结果均出现了大量误匹配，导致识别结果不准确。

基于同一发明构思，本发明第二方面提供一种包含局部特征约束的元件识别定位***，包括：

基于同一发明构思，本发明第三方面提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述基于边缘特征点集配准的识别定位方法的步骤。

综上所述，本发明提出了一种包含局部特征约束的表面贴装元件识别定位方案，针对元件识别定位中存在大量干扰信息时，无论使用边缘拟合类或者点集配准类识别方法的稳定性差、识别准确性低的问题，根据边缘轮廓点的邻域法向量信息，构建了局部结构特征，相比于仅使用二维坐标信息的配准方法，增强了边缘轮廓点特征的抗干扰能力和区分度；建立了包含局部特征约束的混合高斯刚性配准模型，利用局部结构特征相似度求解混合比例系数，降低对初始解的依赖程度，增强了识别方法的稳定性；在相似度计算中引入高斯场准则，综合计算局部结构特征相似度和空间位置相似度，减少了目标特征点集和模板特征点集之间的误匹配率，提升了识别方法的准确性。因此，本发明提出的元件识别定位方法能够应用于存在大量干扰信息的元件识别任务中，具有抗干扰能力强、稳定性好、识别准确的优点。

因此，本发明提出的元件识别定位方法具有识别精度高、识别速度快、稳定性好、抗干扰能力强的优点。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，对于本邻域的普通技术人员而言，如QFP（方型扁平式封装）、PLCC（特殊引脚芯片封装）等元件均可采用本文方法进行元件识别定位。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种包含局部特征约束的元件识别定位方法，其特征在于，包括以下步骤：

从元件图像中提取边缘轮廓点集，构建边缘轮廓点的局部结构特征，构成包含局部结构特征的目标特征点集；所述构建边缘轮廓点的局部结构特征过程为：对边缘轮廓点集依次进行插值和高斯平滑处理，获得平滑后的边缘轮廓点集；计算平滑后的边缘轮廓点集中的各个边缘轮廓点的法向量；以法向量的方向作为主方向，建立直角坐标系x'oy'；将所述各个边缘轮廓点分别与k个最近邻点的法向量依次正交分解到x'和y'上，叠加获得维度为4的特征向量，用于描述所述各个边缘轮廓点的局部结构特征；

2.根据权利要求1所述的方法，其特征在于，所述从元件图像中提取边缘轮廓点集过程为：

对元件图像预处理得到边缘增强后的ROI灰度图像；

利用Canny算子对ROI灰度图像进行边缘检测，得到边缘轮廓点集；

剔除点数目小于预设值的边缘轮廓点集，再以周长和面积作为特征，计算各个边缘轮廓点集的周长和面积，筛选出周长≥0.8×2×(W+H)且面积≥0.8×W×H的边缘轮廓点集；其中，W为边缘轮廓点集以像素单位计的长边长度，H为边缘轮廓点集以像素单位计的宽边长度。

3.根据权利要求1所述的方法，其特征在于，所述建立包含局部结构特征的模板特征点集过程为：

设定模板特征点集数目为Num，向长边分配floor[W/(W+H)×Num/2]个点，向宽边分配floor[H/(W+H)×Num/2]个点，其中floor表示向下取整；

在长边的两侧留出s×W的空余，在宽边的两侧留出s×H的空余，s为空余系数；

确定等间隔分布的各模板特征点的法向量方向，以法向量方向作为主方向，建立直角坐标系x'oy'；

将所述各模板特征点分别与k个最近邻点的法向量依次正交分解到x'和y'上，叠加获得维度为4的特征向量，用于描述所述各模板特征点的局部结构特征。

4.根据权利要求3所述的方法，其特征在于，所述确定等间隔分布的各模板特征点的法向量方向具体为：

计算模板特征点集的中心位置，设置位于中心位置上方、下方、左侧、右侧的特征点法向量分别为(0，1)、(0，-1)、(1，0)、(-1，0)。

5.根据权利要求1所述的方法，其特征在于，所述混合高斯刚性配准模型公式如下：

其中，p(x_n| μ)表示目标特征点x_n在参数μ下的条件概率密度；μ={T,σ²,γ}，表示模型的估计参数；γ表示权重系数；P _mn表示对目标特征点x_n的第m个混合比例系数；T(y_m)表示模板特征点y_m经过刚性变换T的值；D表示特征维度；σ²表示混合高斯模型的方差；N表示目标特征点的个数；M表示模板特征点的个数。

6.根据权利要求5所述的方法，其特征在于，所述混合比例系数的计算公式如下：

，其中，

，S(x_n ,y_m)表示x_n和y_m的局部结构特征之间的相似度函数；σ₀表示高斯核因子；K表示局部结构特征向量的维度，K=4；分别表示x_n和y_m的k个局部结构特征向量值。

7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述位姿信息包括元件在图像中相对于图像中心的水平偏移量、垂直偏移量和偏转角度。

8.一种包含局部特征约束的元件识别定位***，其特征在于，包括：

目标特征点集模块，用于从元件图像中提取边缘轮廓点集，构建边缘轮廓点的局部结构特征，构成包含局部结构特征的目标特征点集；所述构建边缘轮廓点的局部结构特征过程为：对边缘轮廓点集依次进行插值和高斯平滑处理，获得平滑后的边缘轮廓点集；计算平滑后的边缘轮廓点集中的各个边缘轮廓点的法向量；以法向量的方向作为主方向，建立直角坐标系x'oy'；将所述各个边缘轮廓点分别与k个最近邻点的法向量依次正交分解到x'和y'上，叠加获得维度为4的特征向量，用于描述所述各个边缘轮廓点的局部结构特征；

模板特征点集模块，用于利用元件的形状参数建立包含局部结构特征的模板特征点集；

9.一种计算机可读存储介质，其特征在于，其上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7中任一所述的方法的步骤。