CN116823791A - Pin针缺陷检测方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种PIN针缺陷检测方法、装置、设备及计算机可读存储介质，方法包括：通过3D线激光相机获得待测产品的深度图，待测产品包括至少一个PIN针和至少两个特征标志；至少两个特征标志用于建立基准坐标系；将深度图的浮点型图像数据转换为整型图像数据；根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面，在基准面上根据整型图像数据及特征标志的区域建立基准坐标系；在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度，位置度包括X轴位置度和Y轴位置度；根据每个PIN针的高度和位置度得到每个PIN针是否正常的检测结果。该方法计算量小，能够提高PIN针缺陷检测的准确性和效率。

Description

PIN针缺陷检测方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及缺陷检测技术领域，具体涉及一种PIN针缺陷检测方法、装置、设备及计算机可读存储介质。

背景技术

PIN针是一种在电子设备中极为常见的连接外部设备的部件，用来完成电信号的导电传输的一种金属物质，具有通信连接可靠、拆装便捷的优点，这些优点使其广泛应用于印刷电路板(PCB，Printed Circuit Board)、3C(计算机、通讯和消费电子产品)和汽车电子等行业。

插接PIN针的设备会设有对应的孔洞，PIN针***孔洞实现连接，随着应用行业的快速发展，对PIN针的品质要求越来越高。

PIN针的高度和位置度出现偏差，就会导致例如插接异常、通信异常等问题，造成信息传递不稳定。因此，对于PIN针的缺陷检测显得尤为重要。

现有技术中，都是利用两组2D相机获得PIN针的图像，结构复杂，需要将两组2D相机获的图像进行整合，效率比较低。而且两组2D相机与产品的相对拍摄位置波动时对检测结果影响较大，因此，造成PIN针缺陷检测不准确。

发明内容

有鉴于此，本申请实施例提供一种PIN针缺陷检测方法、装置、设备及计算机可读存储介质，能够提高PIN针缺陷检测的准确性和效率。

第一方面，本申请实施例提供一种PIN针缺陷检测方法，包括：

通过3D线激光相机获得待测产品的深度图，待测产品包括至少一个PIN针和至少两个特征标志；至少两个特征标志用于建立基准坐标系；

将深度图的浮点型图像数据转换为整型图像数据；

根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面，在基准面上根据整型图像数据及特征标志的区域建立基准坐标系；

在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度，位置度包括X轴位置度和Y轴位置度；根据每个PIN针的高度和位置度得到每个PIN针是否正常的检测结果。

第二方面，本申请实施例还提供一种PIN针缺陷检测装置，包括：

获得模块，用于通过3D线激光相机获得待测产品的深度图，待测产品包括至少一个PIN针和至少两个特征标志；至少两个特征标志用于建立基准坐标系；

预处理模块，用于将深度图的浮点型图像数据转换为整型图像数据；

拟合模块，用于根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面；

构建模块，用于在基准面上根据整型图像数据及特征标志的区域建立基准坐标系；

计算模块，用于在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度，位置度包括X轴位置度和Y轴位置度；

检测模块，用于根据每个PIN针的高度和位置度得到每个PIN针是否正常的检测结果。

第三方面，本申请实施例还提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现以上方法的步骤。

第四方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上方法的步骤。

第五方面，本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现以上方法的步骤。

由此可见，本申请实施例具有如下有益效果：

本申请实施例提供的PIN针缺陷检测方法，利用3D线激光相机可以仅用一张图像便可以得到待测产品的三维立体数据，可以直接用深度图的深度值来反应PIN针高度，获得PIN针的最高点与基准面的距离，即点与面之间的距离来获得PIN针高度，利用PIN针的坐标与基准坐标系中X轴和Y轴之间的距离来获得位置度。并且本申请为了利用2D的成熟算法，先将浮点型数据转换为整型数据，计算简单且准确。相对于传统的2D视觉，本申请提供的方法仅用处理一个图像，计算量小，而且仅用一个相机可以同时检测位置度和高度，能够提高PIN针缺陷检测的准确性和效率。

附图说明

图1为本申请实施例提供的一种PIN针缺陷检测方法的应用场景图；

图2为本申请实施例提供的一种PIN针图像采集的工装示意图；

图3为本申请实施例提供的一种待测产品的俯视简图；

图4为本申请实施例提供的一种PIN针缺陷检测方法的流程图；

图5为本申请实施例提供的一种待测产品的PIN针深度图；

图6为本申请实施例提供的一种基准面拟合的示意图；

图7为本申请实施例提供的一种位置补正原理图；

图8为本申请实施例提供的一种PIN针校正示意图；

图9为本申请实施例提供的一种PIN针缺陷检测装置的示意图；

图10本申请实施例提供的一种计算机设备的内部结构图；

图11本申请实施例提供的另一种计算机设备的内部结构图；

图12本申请实施例提供的一种计算机可读存储介质的内部结构图。

具体实施方式

为便于理解本申请实施例的技术方案，下面将先对本申请实施例涉及的技术名词进行说明。

3D线激光相机：一种通过单个或多个图像传感器捕获激光发生器投射在物体表面的激光线信息，基于三角测量原理重构物体表面轮廓信息的三维相机，每个激光点包含丰富的测量信息如坐标、亮度等。

深度图：对目标物表面进行X和Y方向的采样，将Z方向信息通过灰度或色彩而形成的图像。

XY轴分辨率XY-axes resolution：三维相机在XY坐标轴方向上所能分辨的真实物理尺度(单位：mm)。

Z轴分辨率/深度分辨率Z-axis resolution：三维相机在Z坐标轴方向上所能分辨的真实物理尺度(单位:mm)。

动态重复性：有取放地对一片物料的相应测量项测试32次，并观察相应的测量项的数据跳动，数据跳动越小，动态重复性越好。

ROI：Region of Interest，感兴趣区域，机器视觉中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。

灰度阈值：是将图像中的所有亮度值根据指定的亮度值(即阈值)分成在阈值范围内和不在阈值范围内两类。

形态学腐蚀处理：数学形态学(Mathematical morphology)是一门建立在格论和拓扑学基础之上的图像分析学科，是数学形态学图像处理的基本理论。其基本的运算包括：二值腐蚀和膨胀、二值开闭运算、骨架抽取、极限腐蚀、击中击不中变换、形态学梯度、Top-hat变换、颗粒分析、流域变换、灰值腐蚀和膨胀、灰值开闭运算、灰值形态学梯度等。腐蚀操作目的一般用于消除毛刺。

中值滤波：中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。

本申请实施例提供的PIN针缺陷检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

首先，介绍本申请实施例提供的PIN针缺陷检测方法的检测工装。

参见图2，该图为本申请实施例提供的一种PIN针图像采集的工装示意图。

本申请实施例不具体限定待测产品的类型，可以包括PIN针的任何产品均可以，为了方便理解，本申请实施例中以待测产品为变压器，即检测变压器的PIN针是否存在缺陷。PIN针的缺陷检测包括每个PIN针的高度，以及位置度，即对应的x和y的坐标。

图2仅是一种示例性数据采集工装，包括X和Y两个方向，抓手抓取待测产品10，抓手设置于X轴方向，3D线激光相机20固定安装，抓手可以沿着Y轴方向移动，待测产品10在3D线激光相机20视野范围内扫描一遍，3D线激光相机20通过网线将待测产品10的深度图数据传输到工控机(IPC，Industrial Personal Computer)的内存中。IPC可以对深度图数据进行分析，并根据PIN针的规格设置高度阈值以及位置度阈值，判断PIN针是否合格，并最终得到检测结果；检测结果可以在界面上显示，也可以传递给后台监控***。

为了方便理解，先结合附图以变压器的PIN针为例进行介绍。参见图3，该图为本申请实施例提供的一种待测产品的PIN针示意图。

图3仅是PIN针的俯视图。以变压器包括4个PIN针待测为例，分别用A、B、C和D来表示，本申请实施例不具体限定PIN针的数量，待测产品包括至少一个待检测PIN针，另外，也不具体限定各个PIN针之间的位置关系，本申请检测是各个PIN针的缺陷。另外，也不具体限定PIN针的断面的形状。

另外，为了检测时建立基准面需要设置特征标志，本申请也不具体限定特征标志的类型，可以根据用户需要来设置，例如可以为特征点，也可以为特征柱，也可以为其他具有标志性的类型。图3中以待测产品10上的两个特征柱为特征标志为例进行介绍，分别为第一特征柱11和第二特征柱22，应该理解，第一特征柱11和第二特征柱22均具有一定的高度，且为了便于计算两者的高度相同。本申请实施例不具体限定第一特征柱11和第二特征柱22与PIN针的高度之间的关系。

本申请实施例不具体限定两个定位柱与待测PIN针之间的位置关系，为了获得的数据更加准确，例如一种可能的方式为，第一定位柱位于所有PIN针所包围的空间内，第二定位柱位于所有PIN针所包围的空间外；PIN针为变压器的PIN针。

应该理解，3D线激光相机拍摄的图像包括很多内容，本申请仅是为了检测PIN针，因此，从拍摄的图像选择一部分区域即可，该区域为了方便介绍可以称为核心区域，核心区域包括4个需要测量的PIN针区域以及2个用于构建位置度基准的定位柱区域，以及至少两处用于构建基准面的区域。

下面结合附图具体介绍本申请实施例提供的一种PIN针缺陷检测方法的实现过程。

参见图4，该图为本申请实施例提供的一种PIN针缺陷检测方法的流程图。本申请实施例提供的PIN针缺陷检测方法，包括：

S401：通过3D线激光相机获得待测产品的深度图，待测产品包括至少一个PIN针和至少两个特征标志；至少两个特征标志用于建立基准坐标系。

应该理解，本申请获得是待测产品的3D立体图，并不是传统2D相机获得的二维图像。利用3D线激光相机只需要获得一张图像便可以根据图像的深度图数据来获得PIN针的高度和位置度。具体的一种拍摄方式，可以参见图2部分的介绍，在此不再赘述。

由于计算PIN针的高度和位置度，需要获得高度的坐标和位置度的坐标，位置度就是PIN针的X和Y的坐标。高度相当于Z的坐标。具体坐标值需要有参考坐标系。而且3D立体图像，还需要建立基准面，否则数据不是以同一个平面为基准时，可能出现平面倾斜，使测量结果出现偏差。因此，本申请需要根据待测产品上的至少两个特征标志来建立基准面。

S402：将深度图的浮点型图像数据转换为整型图像数据。

深度图数据的灰度值传统都转化为浮点型图像数值(即转化为实际物理高度值)用作后续处理，然而这种处理后不能很好的利用2D视觉中丰富的算法库，如形状模块匹配等。而3D算法库又有限。本申请对浮点型图像数据进行转化，变换为整型图像数据。具体地，将深度图中的灰度值除以Z轴分辨率并取整后作为当前位置的灰度值，例如Z轴分辨率为0.005mm，若某位置(x1，y1)的灰度值是1.005mm，则将深度图的浮点型图像数据转换为整型图像数据为201，即为整型灰度值的深度图，这样可以使用丰富的2D视觉的算法库对深度图做后续处理。以上Z轴的分辨率仅是举例说明，也可以设置其他分辨率。

由于PIN针的高度和位置度最终需要输出实际物理值，后续处理需要做单位转化，预处理时可以将X轴、Y轴、Z轴的分辨率值和整型图像数据组合成一个数据类型方便后续使用。

由于3D线激光相机X轴分辨率是由相机决定的固定参数，Y轴分辨率会根据扫描速度变化，因此会出现X轴分辨率和Y轴分辨率不一致的情况，通常是牺牲Y轴分辨率来提高扫描速度，这样会导致Y轴分辨率相较于X轴分辨率精度较差，在最终的成像效果上会出现压缩现象或拉伸现象。例如应该为圆形物体，扫描后成像效果为椭圆，这样不利于后续计算。为了解决以上问题，本申请会对图像进行缩放处理，根据X轴分辨率和Y轴分辨率之间的倍数关系，对原始深度图数据做缩放处理，例如原始整型图像数据为一张1024列*500行大小的图像，X轴分辨率为0.015mm，Y轴分辨率为0.03mm，即两者之间为两倍关系，使用最近邻插值算法将1024列*500行大小的图像尺寸放大到1024列*1000行，此时XY分辨率则都为0.015mm，进而保证最终的成像效果与实物的形状一致。

S403：根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面，在基准面上根据整型图像数据及特征标志的区域建立基准坐标系。

由于待测产品的位姿多变，基准面不同位置数值并不完全一致，差异性较大如图5中左上角和右下角都为基准面的区域，但是灰度值差异明显，说明产品有明显的倾斜，为确保PIN针检测的精度，拟合基准面时则需要尽量选取PIN针和特征标志周围的区域，具体可以选择PIN针上下左右各个方向等。例如图6所示，可以选取1-5共五块区域来拟合基准面，这样可以保证拟合的基准面的准确性。以上仅是以五个区域为例来拟合基准面，可以根据实际需要来选取区域的数量，例如选取更多数量的区域，拟合的结果更加准确。

应该理解，基准面可以自定义，也可以为待测产品上的一个实体面。

S404：在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度，位置度包括X轴位置度和Y轴位置度；根据每个PIN针的高度和位置度得到每个PIN针是否正常的检测结果。

先计算高度和位置度之前，可以进行预处理，滤除一些噪点。因为PIN针应该是PIN针区域中最高的区域，即z最大的区域。具体地，可以使用形态学腐蚀缩小PIN针区域的大小，然后使用中值滤波剔除掉异常值的噪点，然后计算PIN针区域内的高度最大值maxZ，然后使用下限为maxZ-offset(offset为预设参数)，对PIN针区域的点集进行二次阈值分割提取出新区域，提取的新区域更能真实反应PIN针区域。

具体地，获得PIN针的高度和位置度均需要获得最终的实际物理值，再将实际物理值与对应的阈值进行比较，判断是否存在缺陷。因此，根据基准坐标系获得高度和位置度需要转换为实际物理值。计算获得的高度乘以Z轴分辨率得到物理高度值。利用PIN针的坐标(X，Y)，分别计算离基准坐标系Y轴之间的点线距离作为PIN针在基准坐标系的X轴位置度，离基准坐标系X轴之间的点线距离作为PIN针在基准坐标系的Y轴位置度，最后分别乘以X轴和Y轴的分辨率得到X轴位置度物理值和Y轴位置度物理值。

本申请实施例提供的PIN针缺陷检测方法，利用3D线激光相机可以仅用一张图像便可以得到待测产品的三维立体数据，可以直接用深度图的深度值来反应PIN针高度，获得PIN针的最高点与基准面的距离，即点与面之间的距离来获得PIN针高度，利用PIN针的坐标与基准坐标系中X轴和Y轴之间的距离来获得位置度。并且本申请为了利用2D的成熟算法，先将浮点型数据转换为整型数据，计算简单且准确。相对于传统的2D视觉，本申请提供的方法仅用处理一个图像，计算量小，而且仅用一个相机可以同时检测位置度和高度，能够提高PIN针缺陷检测的准确性和效率。

由于每次待测产品抓取的姿态可能发生变化，导致待测产品在深度图中的位置波动较大，会影响待测区域位置，例如PIN针、基准面、定位柱等的位置。为了快速校正位置偏差，本申请实施例提供的方法，还可以在检测前获得位置偏差，每次检测待测产品时，利用位置偏差对待测产品进行位置补正。下面结合附图进行详细介绍。

参见图7，该图为本申请实施例提供的一种位置补正原理图。

本申请实施例提供的方法，在根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面之前，方法还包括：

根据预先获得的位置偏差对PIN针的区域、特征标志的区域、PIN针的基准面区域和特征标志的基准面区域进行位置补正，获得位置补正后的PIN针的区域、位置补正后的特征标志的区域、位置补正后的PIN针的基准面区域和位置补正后的特征标志的基准面区域；位置偏差包括X轴位置差、Y轴位置差和角度差。

还包括通过以下方式预先获得位置偏差：

根据深度图创建形状模板；

设定包括PIN针的区域、特征标志的区域、PIN针的基准面区域和特征标志的基准面区域在内的搜索区域；

在搜索区域内使用形状模板搜索得到新的位置；

根据新的位置和基准位置获得位置偏差。

第一步，在深度图中，使用形状模板算法创建一个基准模板位置如图7中正放的三角M)，设定PIN针区域如图7正放的圆33。设定包括PIN针的区域、特征标志的区域、PIN针的基准面区域和特征标志的基准面区域在内的搜索区域，即ROI区域。ROI与基准位置之间的相对位置固定。

第二步，如图7倾斜的三角N和圆形44，设定搜素区域，例如图7虚线框中使用形状模板搜索，搜索成功后会得到一个新的位置，利用基准位置和新的位置可计算得到仿射变换矩阵，即计算出位置偏差，X轴位置差Δx、Y轴位置差Δy和角度差Δθ，利用以上的位置偏差可以获得补正后的PIN区域，即圆形44，该区域为实际PIN针所在的位置。

经过本申请以上位置补正，可以降低对于拍摄工装的要求，从而降低成本。

下面结合拟合基准面的具体过程。

根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面，包括：

从PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据中剔除灰度值大于第一阈值的数据得到预处理后的数据；

根据预处理后的数据使用形态学腐蚀算法得到更新区域的数据；

根据更新区域的数据使用中值滤波算法滤除噪点，得到最终的拟合数据；

根据拟合数据利用拟合平面算法拟合基准面。

以上图6介绍选择五个区域来拟合基准面，这些区域包含的数据通常还包含噪点数据，部分区域高度值和周围值差异明显，实际该位置应该数值相近才正常，直接拟合平面会导致拟合误差大，因此可以先进行预处理，使用设定阈值下限剔除掉无效点，提取出满足设定阈值的区域，然后使用形态学腐蚀算法缩小区域范围，剔除周边容易出现噪点区域，再将区域内的点集使用中值滤波算法剔除掉数值跳动较大的噪点，最后使用拟合平面算法拟合出基准面。

三维坐标系中平面的一般式方程为Ax+By+Cz+D＝0，需确定其中的未知系数即可，对公式进行变形得到：z＝-A/C*x-B/C*y-D/C＝αx+βy+γ，将所有点集代入该方程得到方程组，然后获得α、β、γ的最小二乘解，即可得到拟合基准面的参数。然后利用原图像减去基准面图像得到新的图像，新图像的灰度值即为基于基准面的高度值。

下面介绍基准坐标系的建立。

本申请实施例中以两个定位柱为例介绍，即至少两个特征标志包括第一定位柱和第二定位柱；

在基准面上根据整型图像数据及特征标志的区域建立基准坐标系，包括：

在基准面上根据整型图像数据以第一定位柱为坐标系原点，以第一定位柱与第二定位柱确定的直线来确定X轴，Y轴通过原点且与X轴垂直。例如可以将第一定位柱和第二定位柱确定的直线绕第一定位柱逆时针旋转37.6°的直线作为X轴，以上仅是举例说明，X轴也可以绕其他度数，也可以不绕，具体可以根据实际产品来决定。

分别对包括第一定位柱的第一定位区域和包括第二定位柱的第二定位区域进行二次阈值分割得到第一定位柱区域和第二定位柱区域；

将第一定位柱区域的Z值平均值和重心分别作为第一定位柱的Z值和位置XY值，将第二定位柱区域的Z值平均值和重心分别作为第二定位柱的Z值和位置XY值；

根据第一定位柱的Z值和位置XY值，以及第二定位柱的Z值和位置XY值建立基准坐标系。

具体地，建立坐标轴以后的关键是准确获得第一定位柱和第二定位柱的坐标。首先利用设定下限阈值过滤掉设定定位柱ROI内的无效数值，提取满足阈值的区域，然后使用形态学腐蚀处理缩小区域大小，剔除掉周围容易产生噪点的部分，使用中值滤波剔除掉异常跳动的值的噪点，然后计算该区域内的最大值maxZ1，然后使用下限为maxZ-offset1(offset1为设定参数)，对该区域点集进行二次阈值分割提取出新的区域，使用该策略是因为定位柱实际为该区域的最高区域，这种方式能提取到更为真实的定位柱区域，满足条件的区域取面积最大的区域作为定位柱区域，然后计算该区域的Z值平均值作为定位柱Z值，区域的重心(X，Y)作为定位柱坐标，得到两个定位柱的坐标后，根据两个定位柱的坐标建立基准坐标系。

下面介绍PIN针的高度和位置度的获得方式。

在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度，包括：

当PIN针的区域的面积大于等于预设面积阈值时，确定PIN针的区域合格，将PIN针的区域的Z值平均值和重心分别作为PIN针的高度和位置度；

当PIN针的区域的面积小于预设面积阈值时，将位置补正后的PIN针的区域减去PIN针的区域后剩余区域的面积作为面积差值，直至得到面积差值大于预设面积阈值，停止迭代计算，将所有迭代次数中最大面积差值对应的剩余区域作为PIN针校准区域，将PIN针校准区域的Z值平均值和重心分别作为PIN针的高度和位置度。

首先，使用下限阈值过滤设定PIN针的ROI的无效数值，提取满足下限阈值的区域，然后使用形态学腐蚀处理缩小区域大小，然后使用中值滤波剔除掉异常值的噪点，然后计算该区域内的最大值maxZ2，然后使用下限为maxZ-offset2(offset2为设定参数)，对该区域点集进行二次阈值分割提取出新的区域，使用该策略是因为PIN针实际为该区域的最高区域，这种方式能提取到更为真实的PIN针区域，满足条件的区域取面积最大的区域作为PIN针，但是有些PIN针存在局部高点，可能由于工艺偏差，造成PIN针的顶面凹凸不平。如图8所示，A和B两个PIN针，十字位置表示计算的位置度，较为准确，但是十字提取异常，B的十字偏离真实的PIN位置。

为了解决以上的问题，增设一个面积卡控，设定一个预设面积阈值，当选择的PIN针区域的面积大于等于预设面积阈值，作为PIN针区域；当小于预设面积阈值时，则会将设定PIN针的ROI减去该区域，在剩余区域中再重复进行一次迭代计算，当大于预设面积阈值时停止迭代计算，当迭代次数完成都不满足预设面积阈值(可以根据计算精度要求来设定迭代次数)，则利用所有迭代次数中最大面积差值对应的剩余区域作为PIN针区域，最后计算该区域的Z值平均值作为PIN针的Z值，区域的重心(x，y)作为PIN针位置度。

然后Z值乘以Z轴分辨率即得到实际物理高度值。PIN针位置度(x，y)分别计算离Y轴点线距离作为X轴位置度，离X轴点线距离作为Y轴位置度，最后分别乘以X轴分辨率和Y轴分辨率得到X轴位置度物理值和Y轴位置度物理值。

本申请实施例提供的PIN针缺陷检测方法，可以测量PIN针的高度和位置度，达到较高的测量精度，例如高度的测量精度0.005mm，动态重复性小于0.015mm；即重复对待测产品进行PIN针缺陷检测时，与上一次的偏差小于0.05mm，即动态重复性好。

应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种PIN针缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个PIN针缺陷检测装置实施例中的具体限定可以参见上文中对于PIN针缺陷检测方法的限定，在此不再赘述。

如图9所示，该图为本申请实施例提供的一种PIN针缺陷检测装置的示意图。

本申请实施例提供的PIN针缺陷检测装置，包括：

获得模块901，用于通过3D线激光相机获得待测产品的深度图，待测产品包括至少一个PIN针和至少两个特征标志；至少两个特征标志用于建立基准坐标系；

预处理模块902，用于将深度图的浮点型图像数据转换为整型图像数据；

拟合模块903，用于根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面；

构建模块904，用于在基准面上根据整型图像数据及特征标志的区域建立基准坐标系；

计算模块905，用于在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度，位置度包括X轴位置度和Y轴位置度；

检测模块906，用于根据每个PIN针的高度和位置度得到每个PIN针是否正常的检测结果。

在一些实施例中，在根据PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据拟合基准面方面，拟合模块903具体用于：

从PIN针的基准面区域和特征标志的基准面区域分别对应的整型图像数据中剔除灰度值大于第一阈值的数据得到预处理后的数据；

根据预处理后的数据使用形态学腐蚀算法得到更新区域的数据；

根据更新区域的数据使用中值滤波算法滤除噪点，得到最终的拟合数据；

根据拟合数据利用拟合平面算法拟合基准面。

在一些实施例中，在在基准面上根据整型图像数据及特征标志的区域建立基准坐标系方面，构建模块904具体用于：

在基准面上根据整型图像数据以第一定位柱为坐标系原点，以第一定位柱与第二定位柱确定的直线来确定X轴，Y轴通过原点且与X轴垂直；

分别对包括第一定位柱的第一定位区域和包括第二定位柱的第二定位区域进行二次阈值分割得到第一定位柱区域和第二定位柱区域；

将第一定位柱区域的Z值平均值和重心分别作为第一定位柱的Z值和位置XY值，将第二定位柱区域的Z值平均值和重心分别作为第二定位柱的Z值和位置XY值；

根据第一定位柱的Z值和位置XY值，以及第二定位柱的Z值和位置XY值建立基准坐标系。

在一些实施例中，在在基准坐标系中根据PIN针的区域分别获得每个PIN针的高度和位置度方面，计算模块905具体用于：

当PIN针的区域的面积大于等于预设面积阈值时，确定PIN针的区域合格，将PIN针的区域的Z值平均值和重心分别作为PIN针的高度和位置度；

当PIN针的区域的面积小于预设面积阈值时，将位置补正后的PIN针的区域减去PIN针的区域后剩余区域的面积作为面积差值，直至得到面积差值大于预设面积阈值，停止迭代计算，将所有迭代次数中最大面积差值对应的剩余区域作为PIN针校准区域，将PIN针校准区域的Z值平均值和重心分别作为PIN针的高度和位置度。

在一些实施例中，PIN针缺陷检测装置还包括补正模块，用于根据预先获得的位置偏差对PIN针的区域、特征标志的区域、PIN针的基准面区域和特征标志的基准面区域进行位置补正，获得位置补正后的PIN针的区域、位置补正后的特征标志的区域、位置补正后的PIN针的基准面区域和位置补正后的特征标志的基准面区域；位置偏差包括X轴位置差、Y轴位置差和角度差。

在一些实施例中，PIN针缺陷检测装置还包括位置偏差模块，用于根据深度图创建形状模板；设定包括PIN针的区域、特征标志的区域、PIN针的基准面区域和特征标志的基准面区域在内的搜索区域；在搜索区域内使用形状模板搜索得到新的位置；根据新的位置和基准位置获得位置偏差。

在一些实施例中，第一定位柱位于所有PIN针所包围的空间内，第二定位柱位于所有PIN针所包围的空间外；PIN针为变压器的PIN针。

上述PIN针缺陷检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)及通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储待测产品的原始图像。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的PIN针缺陷检测方法中的步骤。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述的PIN针缺陷检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10或图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，如图12所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(FerroelectricRandom Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandom Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种PIN针缺陷检测方法，其特征在于，包括：

通过3D线激光相机获得待测产品的深度图，所述待测产品包括至少一个PIN针和至少两个特征标志；所述至少两个特征标志用于建立基准坐标系；

将所述深度图的浮点型图像数据转换为整型图像数据；

根据所述PIN针的基准面区域和所述特征标志的基准面区域分别对应的所述整型图像数据拟合基准面，在所述基准面上根据所述整型图像数据及所述特征标志的区域建立基准坐标系；

在所述基准坐标系中根据所述PIN针的区域分别获得每个PIN针的高度和位置度，所述位置度包括X轴位置度和Y轴位置度；根据每个所述PIN针的高度和位置度得到每个所述PIN针是否正常的检测结果。

2.根据权利要求1所述的方法，其特征在于，在根据所述PIN针的基准面区域和所述特征标志的基准面区域分别对应的所述整型图像数据拟合基准面之前，所述方法还包括：

根据预先获得的位置偏差对所述PIN针的区域、所述特征标志的区域、所述PIN针的基准面区域和所述特征标志的基准面区域进行位置补正，获得位置补正后的所述PIN针的区域、位置补正后的所述特征标志的区域、位置补正后的所述PIN针的基准面区域和位置补正后的所述特征标志的基准面区域；所述位置偏差包括X轴位置差、Y轴位置差和角度差。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括通过以下方式预先获得所述位置偏差：

根据所述深度图创建形状模板；

设定包括所述PIN针的区域、所述特征标志的区域、所述PIN针的基准面区域和所述特征标志的基准面区域在内的搜索区域；

在所述搜索区域内使用所述形状模板搜索得到新的位置；

根据所述新的位置和基准位置获得所述位置偏差。

4.根据权利要求1所述的方法，其特征在于，所述根据所述PIN针的基准面区域和所述特征标志的基准面区域分别对应的所述整型图像数据拟合基准面，包括：

从所述PIN针的基准面区域和所述特征标志的基准面区域分别对应的所述整型图像数据中剔除灰度值大于第一阈值的数据得到预处理后的数据；

根据所述预处理后的数据使用形态学腐蚀算法得到更新区域的数据；

根据所述更新区域的数据使用中值滤波算法滤除噪点，得到最终的拟合数据；

根据所述拟合数据利用拟合平面算法拟合基准面。

5.根据权利要求1所述的方法，其特征在于，所述至少两个特征标志包括第一定位柱和第二定位柱；

所述在所述基准面上根据所述整型图像数据及所述特征标志的区域建立基准坐标系，包括：

在所述基准面上根据所述整型图像数据以所述第一定位柱为坐标系原点，以所述第一定位柱与所述第二定位柱确定的直线来确定X轴，Y轴通过原点且与所述X轴垂直；

分别对包括所述第一定位柱的第一定位区域和包括所述第二定位柱的第二定位区域进行二次阈值分割得到第一定位柱区域和第二定位柱区域；

将所述第一定位柱区域的Z值平均值和重心分别作为所述第一定位柱的Z值和位置XY值，将所述第二定位柱区域的Z值平均值和重心分别作为所述第二定位柱的Z值和位置XY值；

根据所述第一定位柱的Z值和位置XY值，以及所述第二定位柱的Z值和位置XY值建立基准坐标系。

6.根据权利要求2所述的方法，其特征在于，所述在所述基准坐标系中根据所述PIN针的区域分别获得每个PIN针的高度和位置度，包括：

当所述PIN针的区域的面积大于等于预设面积阈值时，确定所述PIN针的区域合格，将所述PIN针的区域的Z值平均值和重心分别作为所述PIN针的高度和位置度；

当所述PIN针的区域的面积小于所述预设面积阈值时，将位置补正后的所述PIN针的区域减去所述PIN针的区域后剩余区域的面积作为面积差值，直至得到所述面积差值大于所述预设面积阈值，停止迭代计算，将所有迭代次数中最大面积差值对应的剩余区域作为PIN针校准区域，将所述PIN针校准区域的Z值平均值和重心分别作为所述PIN针的高度和位置度。

7.根据权利要求5所述的方法，其特征在于，所述第一定位柱位于所有PIN针所包围的空间内，所述第二定位柱位于所有PIN针所包围的空间外；所述PIN针为变压器的PIN针。

8.一种PIN针缺陷检测装置，其特征在于，包括：

获得模块，用于通过3D线激光相机获得待测产品的深度图，所述待测产品包括至少一个PIN针和至少两个特征标志；所述至少两个特征标志用于建立基准坐标系；

预处理模块，用于将所述深度图的浮点型图像数据转换为整型图像数据；

拟合模块，用于根据所述PIN针的基准面区域和所述特征标志的基准面区域分别对应的所述整型图像数据拟合基准面；

构建模块，用于在所述基准面上根据所述整型图像数据及所述特征标志的区域建立基准坐标系；

计算模块，用于在所述基准坐标系中根据所述PIN针的区域分别获得每个PIN针的高度和位置度，所述位置度包括X轴位置度和Y轴位置度；

检测模块，用于根据每个所述PIN针的高度和位置度得到每个所述PIN针是否正常的检测结果。

9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。