CN114943738A - 一种基于视觉识别的传感器封装固化胶缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于视觉识别的传感器封装固化胶缺陷识别方法，具体涉及图像数据处理技术领域，通过对红外成像设备获取传感器芯片配件图像进行预处理，对识别的图像进行分割及灰度值计算，得到封装固化胶的位置范围，并且将传感器芯片配件图像与封装固化胶的位置范围进行叠合，通过红外成像设备预处理后的传感器芯片配件图像和封装固化胶图像与标准样片进行对比判断，确定可疑区域，从全幅面标准样板中提取出与待检样片对应的子模板，并且获取待检样片的缺陷区域，相较于传统识别方式而言，该方案对可疑区域的图像特征作进一步分析，最后确定是否为缺陷，提高对可疑区域中缺陷判断的准确性。

Description

一种基于视觉识别的传感器封装固化胶缺陷识别方法

技术领域

本发明涉及图像数据处理技术领域，更具体地说，本发明涉及一种基于视觉识别的传感器封装固化胶缺陷识别方法。

背景技术

进气压力传感器种类较多，有压敏电阻式、电容式等，由于压敏电阻式具有响应时间快、检测精度高、尺寸小且安装灵活等优点，因而被广泛用于D型喷射***中，压力传感器对于压力的测量采用的是压力芯片，而压力芯片在可发生压力形变的硅膜片上集成的惠斯通电桥，压力芯片是压力传感器的核心，各大生产压力传感器的厂商都有各自的压力芯片，有的是传感器厂商直接生产，有的是委外生产的专用芯片（ASC），再者就是直接购买芯片专业厂家的通用芯片。

目前基于传感器封装固化胶缺陷识别技术中，部分缺陷识别仍然需要依靠人工检查，工作效率低，漏检概率高，也部分存在基于机器视觉对工件等物体进行缺陷识别，主要针对固化胶的封装的量及外形框架进行图像数据处理，并且进行权限识别验证，然而这种方式效率低下，难以对传感器芯片的构架与封胶形态进行差异化对比，且传感器芯片及封胶构造体型小，针对细小的缺陷难以进行图像数据的准确识别，极大限制了其扩展性，因此需一种基于视觉识别的传感器封装固化胶缺陷识别方法来解决上述问题。

发明内容

为了克服现有技术的上述缺陷，本发明提供了一种基于视觉识别的传感器封装固化胶缺陷识别方法，本发明所要解决的技术问题是：针对固化胶的封装的量及外形框架进行图像数据处理，并且进行权限识别验证，然而这种方式效率低下，难以对传感器芯片的构架与封胶形态进行差异化对比，且传感器芯片及封胶构造体型小，针对细小的缺陷难以进行图像数据的准确识别，极大限制了其扩展性的问题。

为实现上述目的，本发明提供如下技术方案：一种基于视觉识别的传感器封装固化胶缺陷识别方法，包括以下步骤：

S1、通过红外成像设备获取传感器芯片配件图像，根据获取的传感器芯片配件图像判断是否创建模板库，若是，则设定传感器芯片配件图像中各个检测点的坐标值，截取对应检测对象的图像，并且对图像进行预处理操作，作为传感器封装的检测模板库；

S2、在对检测的图像进行预处理完成后，提取传感器封装固化胶的识别图像，通过对识别的图像进行分割及灰度值计算，得到封装固化胶的位置范围，并且将传感器芯片配件图像与封装固化胶的位置范围进行叠合；

S3、建立标准样片的全幅画模板，用于通过红外成像设备预处理后的传感器芯片配件图像和封装固化胶图像与标准样片进行对比判断，确定可疑区域，并且对可疑区域进行识别；

S4、在对可疑区域进行识别结束后进行缺陷样本的制作，将待检样片分为多个区域拍摄清晰图像，依次对各部分待检样片的图像进行模板匹配，从全幅面标准样板中提取出与待检样片对应的子模板，并且获取待检样片的缺陷区域。

作为本发明的进一步方案：所述S1中对图像预处理的具体操作步骤如下：

S101、通过对红外成像设备获取的配件图像进行伽马校正，调整图像的光照条件；

S102、其次对直方图均衡化后的图像进行同态滤波，剔除不必要的背景干扰，通过使用矩阵模板法，将检测的区域进行标记显露，未检测的区域进行覆盖。

作为本发明的进一步方案：所述S2中对传感器封装固化胶的识别中，识别结果以图像识别结果或文字识别结果的形式进行输出。

作为本发明的进一步方案：所述S3中具体实施步骤如下：

S301、首先获取合格传感器封装固化胶的图像，且分为多个区域依次获取，通过图像拼接的方式制作标准样片的全幅模板，在进行图像拼接的过程中，首先对图像进行角点提取，通过Foerstner特征点检测法来提取两幅待拼接图像中的角点，设计平滑矩阵Q：

其中，

分别为图像在X，Y方向上的梯度，E为高斯模板，*为卷积符号， c为图像上所有像素点总和，i表示遍历每个像素点。

通过在矩阵Q的基础上，从图像上计算各向同性的非均匀区域，设定不均匀度H和同向性K分别为：

提取出图像中H及K大于设定阈值的点作为候选点P，进行优化处理，角点响应函数模块CRF定义为：

其中，R为高斯均值滤波器，该公式用于平均边缘角点至边缘方向的距离和局部角点到梯度方向的距离，角点响应函数模块CRF的局部极小值所在的点即为角点。

S302、其次进行标准样片区域图像的配准工作，使传感器芯片配件图像和封装固化胶图像之间相互重叠的部分坐标点对准，随机抽样单一像素点通过角点匹配算法得到两幅图像中角点之间的关系，所述匹配算法包括以下步骤：

首先确定两幅图像角点附近的灰度值相关性，并且通过归一化互关方式使角点匹配完成角点之间的初始匹配。

其次通过

角点匹配法，获得的初始匹配点集中，采用不断迭代的方法寻 找出最优参数模型对于两幅图像中以单个角点为中心的矩阵窗口H1和H2，定义其中角点的 相关度C-NCC为：

其中，

为各窗口中位于坐标

处的灰度值，窗口大小为u×v；

为窗口内 部灰度均值，计算角点的相关度 C-NCC大于设定阈值时，确定单组候选匹配角点，依次代入 多个坐标样本，得到单应性矩阵T。

S303、针对S303计算所得到的单应性矩阵，形成多个样片区域位置及区域的分布并且进行图像融合，去除图像中的冗余信息，通过加权平均法对图像重叠区域中的像素值进行计算，其次通过分配权值来计算拼接后图像重叠区域的像素值，让图像重叠部分的像素值逐渐过渡，使图像中的拼接缝隙被消除。

作为本发明的进一步方案：所述S4中获取待检样片的可疑区域具体实施步骤如下：

S401通过归一化互关方式将模板图像在目标图像中逐行逐列移动，通过计算两幅图像中邻域像素灰度值的相似性来完成匹配；

S402、设单应性矩阵T为检样片中的模板，大小为m×n，I为模板移动时标准样片中被覆盖的区域，归一化互关匹配度量R为：

S403、当完成匹配后，将模板T与在标准样片中匹配到的对应区域I作差分，获取待 检样片的可疑区域，并且用以

来表示缺陷区域图像中像素点灰度值，确定当前位置为 传感器封装固化胶缺陷点。

作为本发明的进一步方案：所述S403中获取待检样片的可疑区域，表示缺陷区域 图像中像素点灰度值，

为归一化后的可疑区域图像中像素点灰度值。

作为本发明的进一步方案：所述

的具体计算方式如下：

。

作为本发明的进一步方案：所述

中分为六类可疑区域图像特征值，且分别 为的图像均值、图像灰度标准差、邻域梯度、Zernike矩、最小外接矩形长与体态比。

作为本发明的进一步方案：所述

中的六类可疑区域图像特征值作为训练集 输入至SVM分类器进行训练，通过决策树分类法，且具体分类项包含引线污染、金属缺失、虚 焊、划伤、引线弯曲和合格，SVM用于分类缺陷的决策函数定义为：

式中，yi为第i个训练样本xi的分类标签，αi和b分别为拉格朗日系数和阈值，N为训练样本数量。

作为本发明的进一步方案：所述分类缺陷的决策函数定义后，通过高斯核函数作为核函数，对原数据进行映射，使其在高维空间中线性可分，设定Q(α)为分类器模型，K(xi，xj)为高斯核函数，则分类器整体与约束条件为：

式中C为惩罚因子，通过求解上式的最优问题，得到各项参数最优值，进而进一步降低误检率。

本发明的有益效果在于：通过红外成像设备获取传感器芯片配件图像，并且针对图像进行预处理，提取传感器封装固化胶的识别图像，对识别的图像进行分割及灰度值计算，得到封装固化胶的位置范围，并且将传感器芯片配件图像与封装固化胶的位置范围进行叠合，通过红外成像设备预处理后的传感器芯片配件图像和封装固化胶图像与标准样片进行对比判断，确定可疑区域，对样片全幅图像的融合结束后进行缺陷样本的制作，将待检样片分为多个区域拍摄清晰图像，依次对各部分待检样片的图像进行模板匹配，从全幅面标准样板中提取出与待检样片对应的子模板，并且获取待检样片的缺陷区域，相较于传统识别方式而言，该方案对可疑区域的图像特征作进一步分析，最后确定是否为缺陷，提高对可疑区域中缺陷判断的准确性。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

一种基于视觉识别的传感器封装固化胶缺陷识别方法，包括以下步骤：

S1、通过红外成像设备获取传感器芯片配件图像，根据获取的传感器芯片配件图像判断是否创建模板库，若是，则设定传感器芯片配件图像中各个检测点的坐标值，截取对应检测对象的图像，并且对图像进行预处理操作，作为传感器封装的检测模板库；

S2、在对检测的图像进行预处理完成后，提取传感器封装固化胶的识别图像，通过对识别的图像进行分割及灰度值计算，得到封装固化胶的位置范围，并且将传感器芯片配件图像与封装固化胶的位置范围进行叠合；

S3、建立标准样片的全幅画模板，用于通过红外成像设备预处理后的传感器芯片配件图像和封装固化胶图像与标准样片进行对比判断，确定可疑区域，并且对可疑区域进行识别；

S4、在对可疑区域进行识别结束后进行缺陷样本的制作，将待检样片分为多个区域拍摄清晰图像，依次对各部分待检样片的图像进行模板匹配，从全幅面标准样板中提取出与待检样片对应的子模板，并且获取待检样片的缺陷区域。

S1中对图像预处理的具体操作步骤如下：

S101、通过对红外成像设备获取的配件图像进行伽马校正，调整图像的光照条件；

S102、其次对直方图均衡化后的图像进行同态滤波，剔除不必要的背景干扰，通过使用矩阵模板法，将检测的区域进行标记显露，未检测的区域进行覆盖。

S2中对传感器封装固化胶的识别中，识别结果以图像识别结果或文字识别结果的形式进行输出。

S3中具体实施步骤如下：

S301、首先获取合格传感器封装固化胶的图像，且分为多个区域依次获取，通过图像拼接的方式制作标准样片的全幅模板，在进行图像拼接的过程中，首先对图像进行角点提取，通过Foerstner特征点检测法来提取两幅待拼接图像中的角点，设计平滑矩阵Q：

其中，

分别为图像在X，Y方向上的梯度，E为高斯模板，*为卷积符号，c 为图像上所有像素点总和，i表示遍历每个像素点。

通过在矩阵Q的基础上，从图像上计算各向同性的非均匀区域，设定不均匀度H和同向性K分别为：

提取出图像中H及K大于设定阈值的点作为候选点P，进行优化处理，角点响应函数模块CRF定义为：

其中，R为高斯均值滤波器，该公式用于平均边缘角点至边缘方向的距离和局部角点到梯度方向的距离，角点响应函数模块CRF的局部极小值所在的点即为角点。

S302、其次进行标准样片区域图像的配准工作，使传感器芯片配件图像和封装固化胶图像之间相互重叠的部分坐标点对准，随机抽样单一像素点通过角点匹配算法得到两幅图像中角点之间的关系，匹配算法包括以下步骤：

首先确定两幅图像角点附近的灰度值相关性，并且通过归一化互关方式使角点匹配完成角点之间的初始匹配。

其次通过

角点匹配法，获得的初始匹配点集中，采用不断迭代的方法寻 找出最优参数模型对于两幅图像中以单个角点为中心的矩阵窗口H1和H2，定义其中角点的 相关度C-NCC为：

其中，

为各窗口中位于坐标

处的灰度值，窗口大小为u×v；

为窗口内 部灰度均值，计算角点的相关度 C-NCC大于设定阈值时，确定单组候选匹配角点，依次代入 多个坐标样本，得到单应性矩阵T。

S303、针对S303计算所得到的单应性矩阵，形成多个样片区域位置及区域的分布并且进行图像融合，去除图像中的冗余信息，通过加权平均法对图像重叠区域中的像素值进行计算，其次通过分配权值来计算拼接后图像重叠区域的像素值，让图像重叠部分的像素值逐渐过渡，使图像中的拼接缝隙被消除。

S4中获取待检样片的可疑区域具体实施步骤如下：

S401通过归一化互关方式将模板图像在目标图像中逐行逐列移动，通过计算两幅图像中邻域像素灰度值的相似性来完成匹配；

S402、设单应性矩阵T为检样片中的模板，大小为m×n，I为模板移动时标准样片中被覆盖的区域，归一化互关匹配度量R为：

S403、当完成匹配后，将模板T与在标准样片中匹配到的对应区域I作差分，获取待 检样片的可疑区域，并且用以

来表示缺陷区域图像中像素点灰度值，确定当前位置 为传感器封装固化胶缺陷点。

S403中获取待检样片的可疑区域，表示缺陷区域图像中像素点灰度值，

为 归一化后的可疑区域图像中像素点灰度值。

的具体计算方式如下：

。

中分为六类可疑区域图像特征值，且分别为的图像均值、图像灰度标准差、 邻域梯度、Zernike矩、最小外接矩形长与体态比。

中的六类可疑区域图像特征值作为训练集输入至SVM分类器进行训练，通 过决策树分类法，且具体分类项包含引线污染、金属缺失、虚焊、划伤、引线弯曲和合格，SVM 用于分类缺陷的决策函数定义为：

式中，yi为第i个训练样本xi的分类标签，αi和b分别为拉格朗日系数和阈值，N为训练样本数量。

分类缺陷的决策函数定义后，通过高斯核函数作为核函数，对原数据进行映射，使其在高维空间中线性可分，设定Q(α)为分类器模型，K(xi，xj)为高斯核函数，则分类器整体与约束条件为：

式中C为惩罚因子，通过求解上式的最优问题，得到各项参数最优值，进而进一步降低误检率。

综上可知，本发明：通过红外成像设备获取传感器芯片配件图像，并且针对图像进行预处理，提取传感器封装固化胶的识别图像，对识别的图像进行分割及灰度值计算，得到封装固化胶的位置范围，并且将传感器芯片配件图像与封装固化胶的位置范围进行叠合，通过红外成像设备预处理后的传感器芯片配件图像和封装固化胶图像与标准样片进行对比判断，确定可疑区域，对样片全幅图像的融合结束后进行缺陷样本的制作，将待检样片分为多个区域拍摄清晰图像，依次对各部分待检样片的图像进行模板匹配，从全幅面标准样板中提取出与待检样片对应的子模板，并且获取待检样片的缺陷区域，相较于传统识别方式而言，该方案对可疑区域的图像特征作进一步分析，最后确定是否为缺陷，提高对可疑区域中缺陷判断的准确性。

最后应说明的几点是：虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明的基础上，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特征在于，包括以下步骤：

S1、通过红外成像设备获取传感器芯片配件图像，根据获取的传感器芯片配件图像判断是否创建模板库，若是，则设定传感器芯片配件图像中各个检测点的坐标值，截取对应检测对象的图像，并且对图像进行预处理操作，作为传感器封装的检测模板库；

S2、在对检测的图像进行预处理完成后，提取传感器封装固化胶的识别图像，通过对识别的图像进行分割及灰度值计算，得到封装固化胶的位置范围，并且将传感器芯片配件图像与封装固化胶的位置范围进行叠合；

S3、建立标准样片的全幅画模板，用于通过红外成像设备预处理后的传感器芯片配件图像和封装固化胶图像与标准样片进行对比判断，确定可疑区域，并且对可疑区域进行识别；

S4、在对可疑区域进行识别结束后进行缺陷样本的制作，将待检样片分为多个区域拍摄清晰图像，依次对各部分待检样片的图像进行模板匹配，从全幅面标准样板中提取出与待检样片对应的子模板，并且获取待检样片的缺陷区域。

2.根据权利要求1所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特征在于：所述S1中对图像预处理的具体操作步骤如下：

S101、通过对红外成像设备获取的配件图像进行伽马校正，调整图像的光照条件；

S102、其次对直方图均衡化后的图像进行同态滤波，剔除不必要的背景干扰，通过使用矩阵模板法，将检测的区域进行标记显露，未检测的区域进行覆盖。

3.根据权利要求1所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特征在于：所述S2中对传感器封装固化胶的识别中，识别结果以图像识别结果或文字识别结果的形式进行输出。

4.根据权利要求1所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特征在于：所述S4中获取待检样片的可疑区域具体实施步骤如下：

S401通过归一化互关方式将模板图像在目标图像中逐行逐列移动，通过计算两幅图像中邻域像素灰度值的相似性来完成匹配；

S402、设单应性矩阵T为检样片中的模板，大小为m×n，I为模板移动时标准样片中被覆盖的区域，归一化互关匹配度量R为：

S403、当完成匹配后，将模板T与在标准样片中匹配到的对应区域I作差分，获取待检样 片的可疑区域，并且用以

来表示缺陷区域图像中像素点灰度值，确定当前位置为传 感器封装固化胶缺陷点。

5.根据权利要求4所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特 征在于：所述S403中获取待检样片的可疑区域，表示缺陷区域图像中像素点灰度值，

为归一化后的可疑区域图像中像素点灰度值。

6.根据权利要求5所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特 征在于：所述

的具体计算方式如下：

。

7.根据权利要求6所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特 征在于：所述

中分为六类可疑区域图像特征值，且分别为的图像均值、图像灰度标 准差、邻域梯度、Zernike矩、最小外接矩形长与体态比。

8.根据权利要求7所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特 征在于：所述

中的六类可疑区域图像特征值作为训练集输入至SVM分类器进行训 练，SVM用于分类缺陷的决策函数定义。

9.根据权利要求8所述的一种基于视觉识别的传感器封装固化胶缺陷识别方法，其特征在于：所述分类缺陷的决策函数定义后，通过高斯核函数作为核函数，对原数据进行映射。