CN115035031A - Pin针的缺陷检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开一种PIN针的缺陷检测方法、装置、电子设备及存储介质，属于缺陷检测技术领域，该方法包括：获取N个线激光相机采集的待检测电路板的点云数据，基于各线激光相机采集的点云数据，生成待检测电路板上PIN针的第一深度图，基于第一深度图和参考电路板上PIN针的第二深度图，判断待检测电路板上的PIN针是否缺失，进而输出至少包括待检测电路板上缺失PIN针的位置指示信息的缺陷检测结果，其中，N是基于待检测电路板的尺寸和单个线激光相机的采集范围确定的，参考电路板上的PIN针不存在缺陷，从而提供了一种借助于线激光相机对PIN针进行缺陷检测的方案。

Description

PIN针的缺陷检测方法、装置、电子设备及存储介质

技术领域

本申请涉及缺陷检测技术领域，尤其涉及一种PIN针的缺陷检测方法、装置、电子设备及存储介质。

背景技术

PIN针是一种常见的电子设备连接器，其具有通信连接可靠、拆装便捷的优点，这些优点使其广泛应用于微电子和汽车电子行业。

一般地，电路板上PIN针的安装位置都有严格要求，若PIN针的安装位置出现偏差，则会出现安装不上或通信失败的情况，因此，对PIN针进行缺陷检测显得尤为重要。然而，如何对PIN针进行缺陷检测是亟待解决的技术问题。

发明内容

本申请实施例提供一种PIN针的缺陷检测方法、装置、电子设备及存储介质，用以提供一种合理的PIN针缺陷检测方案。

第一方面，本申请实施例提供一种PIN针的缺陷检测方法，包括：

获取N个线激光相机采集的待检测电路板的点云数据，其中，N是基于所述待检测电路板的尺寸、PIN针设置方式和单个线激光相机的采集范围确定的；

基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图；

基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，所述参考电路板上的PIN针不存在缺陷；

输出缺陷检测结果，所述缺陷检测结果至少包括所述待检测电路板上缺失PIN针的位置指示信息。

在一些实施例中，所述N个线激光相机包括一个主相机和N-1个从相机，基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图，包括：

基于每个从相机到所述主相机的坐标系之间的转换关系，将所述从相机采集的点云数据转换到所述主相机的坐标系中；

对各从相机转换后的点云数据和所述主相机的点云数据进行融合处理，得到所述待检测电路板的完整点云数据；

基于所述完整点云数据，生成所述第一深度图。

在一些实施例中，基于所述完整点云数据，生成所述第一深度图，包括：

从所述完整点云数据中选择所述待检测电路板上PIN针的目标点云数据；

对所述目标点云数据进行投影处理，得到所述第一深度图。

在一些实施例中，当至少两个线激光相机并排设置时，并排设置的相邻线激光相机之间存在共视区域和数据采集时延，所述数据采集时延满足所述相邻相机不对所述共视区域重复进行数据采集。

在一些实施例中，每个从相机到所述主相机的坐标系之间的转换关系是对异形标定块进行标定得到的，所述异形标定块的顶面有至少一个多边形块，所述异形标定块的两个不相邻侧面对称设置有矩形块。

在一些实施例中，基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，包括：

从所述第一深度图中获取所述待检测电路板上PIN针的轮廓；

将所述第二深度图中标注的每个PIN针的轮廓与所述待检测电路板上PIN针的轮廓进行比对；

若所述待检测电路板上没有比对成功的轮廓，则确定所述待检测电路板上对应位置处的PIN针缺失。

在一些实施例中，从所述第一深度图中获取所述待检测电路板上PIN针的轮廓，包括：

对所述第一深度图进行轮廓提取，得到多个针脚轮廓；

按照属于同一PIN针的两个针脚轮廓互为最近的规则，对各针脚轮廓进行分组；

将每组针脚轮廓确定为所述待检测电路板上一个PIN针的轮廓。

在一些实施例中，还包括：

基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜和/或高度异常；以及

所述缺陷检测结果还包括所述待检测电路板上每个未缺失PIN针的歪斜检测结果和/或高度异常检测结果。

在一些实施例中，基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜，包括：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述两个针脚的三维坐标，确定所述未缺失PIN针的两个针脚之间的间距；

若所述间距不位于所述参考电路板上对应位置处的标记间距范围内，则确定所述未缺失PIN针歪斜。

在一些实施例中，基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否高度异常，包括：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述未缺失PIN针中每个针脚的三维坐标，确定所述针脚的高度；

若所述未缺失PIN针中任一针脚的高度与所述参考电路板上对应位置处的标记高度之间的高度差超过设定高度范围，则确定所述未缺失PIN针的高度异常。

第二方面，本申请实施例提供一种PIN针的缺陷检测装置，包括：

获取模块，用于获取N个线激光相机采集的待检测电路板的点云数据，其中，N是基于所述待检测电路板的尺寸和单个线激光相机的采集范围确定的；

生成模块，用于基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图；

检测模块，用于基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，所述参考电路板上的PIN针不存在缺陷；

输出模块，用于输出缺陷检测结果，所述缺陷检测结果至少包括所述待检测电路板上缺失PIN针的位置指示信息。

在一些实施例中，所述N个线激光相机包括一个主相机和N-1个从相机，基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图，包括：

基于每个从相机到所述主相机的坐标系之间的转换关系，将所述从相机采集的点云数据转换到所述主相机的坐标系中；

对各从相机转换后的点云数据和所述主相机的点云数据进行融合处理，得到所述待检测电路板的完整点云数据；

基于所述完整点云数据，生成所述第一深度图。

在一些实施例中，基于所述完整点云数据，生成所述第一深度图，包括：

从所述完整点云数据中选择所述待检测电路板上PIN针的目标点云数据；

对所述目标点云数据进行投影处理，得到所述第一深度图。

在一些实施例中，当至少两个线激光相机并排设置时，并排设置的相邻线激光相机之间存在共视区域和数据采集时延，所述数据采集时延满足所述相邻相机不对所述共视区域重复进行数据采集。

在一些实施例中，每个从相机到所述主相机的坐标系之间的转换关系是对异形标定块进行标定得到的，所述异形标定块的顶面有至少一个多边形块，所述异形标定块的两个不相邻侧面对称设置有矩形块。

在一些实施例中，基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，包括：

从所述第一深度图中获取所述待检测电路板上PIN针的轮廓；

将所述第二深度图中标注的每个PIN针的轮廓与所述待检测电路板上PIN针的轮廓进行比对；

若所述待检测电路板上没有比对成功的轮廓，则确定所述待检测电路板上对应位置处的PIN针缺失。

在一些实施例中，从所述第一深度图中获取所述待检测电路板上PIN针的轮廓，包括：

对所述第一深度图进行轮廓提取，得到多个针脚轮廓；

按照属于同一PIN针的两个针脚轮廓互为最近的规则，对各针脚轮廓进行分组；

将每组针脚轮廓确定为所述待检测电路板上一个PIN针的轮廓。

在一些实施例中，还包括：

基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜和/或高度异常；以及

所述缺陷检测结果还包括所述待检测电路板上每个未缺失PIN针的歪斜检测结果和/或高度异常检测结果。

在一些实施例中，基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜，包括：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述两个针脚的三维坐标，确定所述未缺失PIN针的两个针脚之间的间距；

若所述间距不位于所述参考电路板上对应位置处的标记间距范围内，则确定所述未缺失PIN针歪斜。

在一些实施例中，基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否高度异常，包括：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述未缺失PIN针中每个针脚的三维坐标，确定所述针脚的高度；

若所述未缺失PIN针中任一针脚的高度与所述参考电路板上对应位置处的标记高度之间的高度差超过设定高度范围，则确定所述未缺失PIN针的高度异常。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述PIN针的缺陷检测方法。

第四方面，本申请实施例提供一种存储介质，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行上述PIN针的缺陷检测方法。

本申请实施例中，获取N个线激光相机采集的待检测电路板的点云数据，基于各线激光相机采集的点云数据，生成待检测电路板上PIN针的第一深度图，基于第一深度图和参考电路板上PIN针的第二深度图，判断待检测电路板上的PIN针是否缺失，进而输出至少包括待检测电路板上缺失PIN针的位置指示信息的缺陷检测结果，其中，N是基于待检测电路板的尺寸和单个线激光相机的采集范围确定的，参考电路板上的PIN针不存在缺陷，从而提供了一种借助于线激光相机对PIN针进行缺陷检测的方案。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种PIN针的结构示意图；

图2为本申请实施例提供的一种检测***的示意图；

图3为本申请实施例提供的一种异形标定块的三视图；

图4为本申请实施例提供的一种电路板上PIN针的深度图；

图5为本申请实施例提供的一种在深度图中对缺失PIN针和未缺失PIN针的标记示意图；

图6为本申请实施例提供的一种在深度图中对歪斜PIN针和未歪斜PIN针的标记示意图；

图7为本申请实施例提供的一种PIN针的缺陷检测方法的流程图；

图8为本申请实施例提供的一种生成待检测电路板上PIN针的第一深度图的流程图；

图9为本申请实施例提供的一种判断待检测电路板上的PIN针是否缺失的流程图；

图10为本申请实施例提供的一种检测未缺失PIN针是否歪斜的流程图；

图11为本申请实施例提供的一种检测未缺失PIN针是否高度异常的流程图；

图12为本申请实施例提供的一种PIN针的缺陷检测装置的结构示意图；

图13为本申请实施例提供的一种用于实现PIN针的缺陷检测方法的电子设备的硬件结构示意图。

具体实施方式

为了提供一种合理的PIN针缺陷检测方案，本申请实施例提供了一种PIN针的缺陷检测方法、装置、电子设备及存储介质。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

为了便于理解本申请，本申请涉及的技术术语中：

线激光相机，一般是指3D线激光高精度相机，线激光相机的原理是激光三角测距法，具体为：通过一行激光以一定入射角度照射被测物体，激光在被测物体发生反射和折射，在另一角度利用透镜对反射激光会聚成像，光斑成像在感光耦合组件(Charge-coupleDevice，CCD)位置传感器上。当被测物体沿激光方向发生移动时，位置传感器上的光斑产生移动，其位移大小对应被测物体的移动距离，以此计算出被测物体的移动距离。

点云数据，一般包括多个激光点，每个激光点包含丰富的测量信息如坐标、亮度、反射强度等。

下面结合具体实施例对本申请实施例的方案进行介绍。

一、PIN针。

一般地，电路板可能一面有PIN针也可能两面均有PIN针。电路板的尺寸如宽10cm～30cm、长20cm～50cm，PIN针的高度如1cm～5cm。PIN针一般包括两个针脚，图1为本申请实施例提供的一种PIN针的结构示意图，B表示PIN针两个针脚之间的间距。

PIN针的缺陷类型一般包含以下三类：

1、PIN针缺失：固定规格的电路板上PIN针的数量和位置是固定的，PIN针漏装就会出现PIN针缺失，从而导致使用时通信故障。

2、PIN针歪斜：电路板上的PIN针均是垂直安装的，并且一个PIN针包含两个针脚，任意一个针脚歪斜均会造成连接电子元件失败。

3、PIN针高度异常：固定规格的电路板上固定位置处的PIN针高度是固定的，如果PIN针高度过高或者过低(即与该固定位置处的标记高度之间的高度差超过设定高度范围)，则会造成连接电子元件失败。

二、检测***。

由于电路板的宽度可达30cm，而单个线激光相机的测量范围一般为20cm，因此可用两个线激光相机采集电路板以实现对最宽电路板上PIN针的检测，并可使相邻线激光相机的共视区域为3～4cm，以降低线激光相机的安装难度。另外，可采用蓝色线激光进行数据采集，因为蓝色线激光具有较强的抗环境光干扰能力，能够拍摄极小面积的PIN针顶部。

以检测电路板上一面的PIN针是否有缺陷为例，图2为本申请实施例提供的一种检测***的示意图，包括运动平台1、两个线激光相机2、电路板3和安装支架4。安装方式为：两个线激光相机2并排固定在运动平台1的正上方，两台线激光相机2具有3～4cm的重叠视野。

假设两个线激光相机为L1和L2，当线激光相机L1和L2平行安装时，线激光相机L1扫描时产生的激光线将会进入线激光相机L2的视野中，从而产生重叠点云。为此，可设置触发延时，即在线激光相机L1发射蓝色激光线时线激光相机L2不触发拍摄。设置方法为：线激光相机L1的触发延时为0，线激光相机L2的触发延时大于曝光值。需要说明的是，如果需要更多的线激光相机进行拼接，触发延时设置方法一致。

当开动运动平台后，运动平台可带动电路板运动，当开启线激光相机L1和L2后，线激光相机L1和L2分别对视野内的电路板进行检测，得到多帧点云数据，在检测完成后，线激光相机L1和L2分别对自身采集的多帧点云数据进行融合，得到自身采集的电路板的点云数据，之后，线激光相机L1(假设为主相机)可对自身和线激光相机L2(假设为从相机)采集的点云数据进行融合，从而得到电路板的完整点云数据。

这样，在运动平台上对PIN针进行缺陷测量，有助于实现工厂自动化装配，方便与机械手臂联动。

三、线激光相机的标定。

在对线激光相机L1和L2进行标定时，可将异形标定块放置在运动平台上线激光相机L1和L2的共视区域，即使线激光相机L1和L2均能采集到异形标定块。在获得线激光相机L1和L2各自采集的点云数据后，可利用Fast Robust-ICP算法，计算线激光相机L2采集的点云数据到线激光相机L1采集的点云数据之间的旋转矩阵(R)和平移矩阵(T)，R和T即为线激光相机L1和L2的标定结果。在后续的测量中，线激光相机L2采集的点云数据经过刚性变换(R，T)即可转换到线激光相机L1的坐标系下，之后，对两者的点云数据进行拼接即可得到电路板的完整点云数据。

图3为本申请实施例提供的一种异形标定块的三视图，其中，异形标定块的顶部分散设置有三个多边形块(即三角形块、圆形块和方形块)，异形标定块的两个相对侧对称设置有矩形块。

在图2所示的检测***中，平行安装两个线激光相机的共视区域为异形标定块的顶面，这样，两个线激光相机能够共同拍摄到具有丰富几何特征的图像，利于更准确地完成两者之间的点云匹配，更准确地标定两者之间的转换关系，即更准确地确定出两者之间的R和T。

另外，需要说明的是，在有些场景中如检测电路板两面的PIN针是否有缺陷时，两个线激光相机相对安装(即两个线激光相机对射)，此时两个线激光相机均可采集到电路板底板但没有重叠视野，该种情况可以使用异形标定块两侧的突出矩形块完成两个线激光相机的标定。也就是说，图3所示的异形标定块可完成多种安装形式的双相机标定工作。

四、标记PIN针。

由于不同批次的电路板上的PIN针高度、位置不一致，为了完成自动化测量，可以从本批次电路板中选择一个或多个参考电路板，参考电路板的选择标准是：电路板上的PIN针高度正常、PIN针的位置正确且PIN针无歪斜。然后，可扫描获取参考电路板上PIN针顶端的点云数据，基于这些点云数据生成参考电路板上PIN针的深度图，在深度图上定位出所有PIN针的位置，对每个PIN针的两个针脚进行编号，并记录各针脚的高度和针脚之间的间距。

五、缺陷检测。

1、点云过滤。

由于不同规格的电路板上PIN针的放置高度不同，不能使用高度直接过滤电路板上PIN针顶端的点云数据，为此，可先基于完整点云数据定位电路板平面，将电路板平面作为基准高度，平面以上的点云数据即是电路板上PIN针的点云数据。

2、PIN针缺失检测。

第一步：将PIN的点云数据沿电路板平面的法向量的方向投影成深度图。

一般地，PIN针的点云数据包括多个激光点，每个激光点都有三维坐标(x，y，z)，首先，可计算这些点云数据中x、y、z坐标值相对于电路板平面的最大和最小值，以x坐标的最大值和最小值的差值，除以预先设定的x方向缩放因子作为深度图的宽，以y坐标的最大值和最小值的差值，除以预先设定的y方向缩放因子作为深度图的高，以z坐标的最大值和最小值的差值，除以255作为深度图上单个像素点的单位灰度值代表的高度。然后，可遍历PIN针点云数据中的每个激光点，将该激光点按缩放比例投影到深度图中，即可得到图4所示的深度图，在图4中，每个白色原点表示PIN针的一个针脚，白色原点越亮对应针脚的高度越高。

第二步：定位PIN针顶部。

PIN针顶部点云数据的高度较高，在深度图上的灰度值较大、表现为亮斑(图4中的白色原点)，即亮斑为PIN针顶部的位置，且亮斑接近圆形，因此，可使用LOG算法在深度图中定位亮斑，得到每个PIN针顶部的像素位置。然后，可将定位到的PIN针位置和参考电路板的深度图中标记的PIN针位置进行匹配，以判断出当前电路板上相应位置处的PIN针是否缺失，还可在当前电路板的深度图上标记出缺失PIN针和未缺失PIN针的位置，如图5所示，在图5中，亮灰色框标记的是未缺失PIN针的位置，暗灰色框标记的是缺失PIN针的应在位置。

这样，以整个电路板平面作为基准平面可使测量值更准确，并且只将PIN针的点云数据投影为深度图，可减少算法耗时，提高检测速度。

3、PIN针高度检测。

根据在当前电路板的深度图上定位到的每个PIN针顶端的两个亮斑，可获取每个亮斑的圆心坐标和平均灰度值，基于圆心坐标、平均灰度值，以及x，y方向的缩放因子和点云z值的最大最小值，可计算出对应针脚顶端对应的三维坐标，计算此三维坐标到电路板平面的距离，即可得到对应针脚的高度。将每个针脚的高度与参考电路板上对应位置处标记的高度进行比较，以判断PIN针是否高度异常，若存在，还可在深度图上标记出异常位置。

4、PIN针针间距检测。

一个PIN针含有两个针脚，两个针脚的顶端在深度图上表现为两个亮斑。电路板上一个PIN针的两个针脚之间的距离小于任意两个PIN针之间的距离，因此，距一个亮斑最近的亮斑为同一PIN针的两个针脚。根据亮斑圆心位置可以进行亮斑匹配，即PIN针的针脚匹配。

具体地，遍历所有亮斑，匹配所有亮斑距自己最近的亮斑，并组成单向亮斑对。然后，在单向亮斑对中进行二次匹配，即判断被匹配的点是否相互距离均为最近，若匹配得到的亮斑对均相互距离最近，则完成匹配，否则，记录匹配失败的亮斑。这样，使用两次距离最近匹配，第一次寻找最近亮斑，第二次检验亮斑对是否互为最临近，两次亮斑匹配可以有效降低误匹配率，提高PIN针位置定位准确度。

对于匹配成功的亮斑对，可根据每个亮斑在深度图上的圆心坐标、灰度值、以及缩放因子，计算得到该亮斑的圆心位置的三维坐标，亮斑对中两个亮斑的圆心位置的三维坐标之间的距离即为PIN两个针脚之间的间距，将这个间距和参考电路板上对应位置处标记的间距进行比较，即可判断出PIN针是否歪斜，若存在歪斜，则在深度图上标记出歪斜位置，如图6所示，在图6中，深灰色标记的是出现歪斜的PIN针，其他颜色标记的是未出现歪斜的PIN针，图中每个PIN针左侧的数字表示PIN针的编号，每个PIN针右侧的数字表示PIN针中两个针脚之间的间距。

六、检测结果输出。

对于一个电路板上的PIN针而言，若不存在PIN针缺失、PIN针歪斜、PIN针高度异常等缺陷，则显示OK，否则，显示NG，并可输出深度图，并在深度图中标记缺陷位置及缺陷类别。表1为一种表格形式的测量结果，如下：

表1测量结果

本申请实施例提供的方案具有以下优点：

1、测量精度高。

本提案中，使用的3D线激光能够扫描物体表面得到三维点云数据，将电路板拟合得到的平面作为基准平面，将PIN针的点云数据投影至电路板所在的平面，投影精度可以达到0.01mm。在深度图上定位PIN针顶部，并映射为三维坐标，计算PIN针顶部对应的三维点到电路板的距离，得到相应位置处PIN针的高度，测量精度可达到0.02mm。

2、通用性高。

本提案中，如果电路板的尺寸较大，则可架设更多的3D线激光，采用类似方法完成检测。如果电路板上的PIN针高度不一致或位置不一致，则可在标记PIN针阶段更换参考电路板以改变进行比对的PIN针高度和位置，从而实现对任意规格的电路板上PIN针的缺陷检测。

3、扩展性强。

本提案中包括相机标定阶段、PIN针标定阶段、PIN针缺陷检测阶段和结果输出阶段，各阶段可模块化开发，这样，当遇到类似的检测时，可借用相似的模块，节省开发周期，所以项目移植性较好。

下面结合流程图对本申请提出的PIN针的缺陷检测进行说明。

图7为本申请实施例提供的一种PIN针的缺陷检测方法的流程图，该方法可应用于一个线激光相机中也可应用于独立于线激光相机之外的设备中，且该方法包括以下步骤。

在步骤701中，获取N个线激光相机采集的待检测电路板的点云数据，其中，N是基于待检测电路板的尺寸、PIN针设置方式和单个线激光相机的采集范围确定的。

其中，PIN针设置方式包括单面设置和双面设置。

当待检测电路板单面设置PIN针时，若待检测电路板的尺寸超过单个线激光相机的采集范围，则可并排设置至少两个线激光相机对待检测电路板进行数据采集，线激光相机的安装方式可参见图2，此时，相邻线激光相机存在共视区域，且这对相邻线激光相机之间存在数据采集时延，数据采集时延可满足这对相邻线激光相机不对共视区域重复进行数据采集。这样，既可降低线激光相机的安装要求又可保证相邻线激光相机不重复对共视区域进行数据采集。

当待检测电路板双面设置PIN针时，两组线激光相机对向设置，一组线激光相机用于扫描一面PIN针，两组线激光相机之间没有共视区域，但对任一组线激光相机而言，若待检测电路板的尺寸超过单个线激光相机的采集范围，则该组线激光相机可包括至少两个线激光相机，与单面设置PIN针类似，此时，并排设置的相邻线激光相机可存在共视区域和数据采集时延，数据采集时延可满足这对相邻线激光相机不对共视区域重复进行数据采集。

在步骤702中，基于各线激光相机采集的点云数据，生成待检测电路板上PIN针的第一深度图。

以N个线激光相机包括一个主相机和N-1个从相机为例，可按照图8所示的流程生成待检测电路板上PIN针的第一深度图，该流程包括以下步骤。

在步骤7021中，基于每个从相机到主相机的坐标系之间的转换关系，将从相机采集的点云数据转换到主相机的坐标系中。

其中，每个从相机到主相机的坐标系之间的转换关系可表现为从相机采集的点云数据到主相机采集的点云数据之间的R和T，并且，每个从相机到主相机的坐标系之间的转换关系是对异形标定块进行标定得到的，异形标定块的顶面有至少一个多边形块，异形标定块的两个不相邻侧面对称设置有矩形块，异形标定块的形状可参见图3。

在步骤7022中，对各从相机转换后的点云数据和主相机的点云数据进行融合处理，得到待检测电路板的完整点云数据。

其中，融合处理如按照点云数据中激光点的坐标对点云数据进行拼接。

在步骤7023中，基于完整点云数据，生成第一深度图。

比如，从完整点云数据中选择待检测电路板上PIN针的目标点云数据，然后，对目标点云数据进行投影处理，得到第一深度图。这样，可减少算法耗时，提高检测速度。

在步骤703中，基于第一深度图和参考电路板上PIN针的第二深度图，判断待检测电路板上的PIN针是否缺失。

其中，参考电路板与待检测电路板属于同批次电路板，且参考电路板上的PIN针不存在缺陷。

比如，按照图9所示流程判断待检测电路板上的PIN针是否缺失，该流程包括以下步骤。

在步骤7031中，从第一深度图中获取待检测电路板上PIN针的轮廓。

具体实施时，可对第一深度图进行轮廓提取，得到多个针脚轮廓，然后，按照属于同一PIN针的两个针脚轮廓互为最近的规则，对各针脚轮廓进行分组，进而将每组针脚轮廓确定为待检测电路板上一个PIN针的轮廓。

在步骤7032中，将第二深度图中标注的每个PIN针的轮廓与待检测电路板上PIN针的轮廓进行比对。

在步骤7033中，判断待检测电路板上是否有比对成功的轮廓，若是，则进入步骤7034，若否，则进入步骤7035。

在步骤7034中，确定待检测电路板上对应位置处的PIN针未缺失。

在步骤7035中，确定待检测电路板上对应位置处的PIN针缺失。

在步骤704中，基于待检测电路板上每个未缺失PIN针对应的点云数据，检测未缺失PIN针是否歪斜和/或高度异常。

在一些实施例中，可按照图10所示的流程检测未缺失PIN针是否歪斜，该流程包括以下步骤。

在步骤7041a中，基于每个未缺失PIN针的两个针脚轮廓中的点云数据和第一深度图的三维缩放比例，确定未缺失PIN针中两个针脚的三维坐标。

比如，对每个未缺失PIN针的针脚轮廓i(表现为一个亮斑)，计算针脚轮廓i中点云数据包含的各激光点的三维坐标(xi，yi，zi)的平均值

将

作为对应针脚的三维坐标，其中，kx、ky、kz分别为第一深度图在x轴、y轴和z轴上的缩放比例，i＝1，2。

在步骤7042a中，基于这两个针脚的三维坐标，确定未缺失PIN针的两个针脚之间的间距。

比如，根据以下公式确定未缺失PIN针的两个针脚之间的间距d：

其中，

是未缺失PIN针第一个针脚的三维坐标，

是未缺失PIN针第二个针脚的三维坐标。

在步骤7043a中，判断该间距是否位于参考电路板上对应位置处的标记间距范围内，若是，则进入步骤7044a，若否，则进入步骤7045a。

在步骤7044a中，确定未缺失PIN针没有歪斜。

在步骤7045a中，确定未缺失PIN针歪斜。

在一些实施例中，可按照图11所示的流程检测未缺失PIN针是否高度异常，该流程包括以下步骤。

在步骤7041b中，基于每个未缺失PIN针的两个针脚轮廓中的点云数据和第一深度图的三维缩放比例，确定未缺失PIN针中两个针脚的三维坐标。

该步骤的实施可参见步骤7041a，在此不再赘述。

在步骤7042b中，基于未缺失PIN针中每个针脚的三维坐标，确定该针脚的高度。

具体地，计算未缺失PIN针中每个针脚的三维坐标到待检测电路板平面的距离，即可得到该针脚的高度。

在步骤7043b中，判断未缺失PIN针中各针脚的高度与参考电路板上对应位置处的标记高度之间的高度差是否均未超过设定高度范围，若是，则进入7044b，若是，则进入7045b。

在步骤7044b中，确定未缺失PIN针的高度没有异常。

在步骤7045b中，确定未缺失PIN针的高度异常。

在步骤705中，输出缺陷检测结果，缺陷检测结果包括待检测电路板上缺失PIN针的位置指示信息，以及每个未缺失PIN针的歪斜检测结果和/或高度异常检测结果。

本申请实施例中，可利用多个线激光相机采集任意规格的待检测电路板的点云数据，借助于点云数据可判断待检测电路板上的PIN针是否缺失，还可判断待检测电路板上未缺失PIN针是否歪斜和/或高度异常，缺陷检测的类型也比较全面。

基于相同的技术构思，本申请实施例还提供一种PIN针的缺陷检测装置，PIN针的缺陷检测装置解决问题的原理与上述PIN针的缺陷检测方法相似，因此PIN针的缺陷检测装置的实施可参见PIN针的缺陷检测方法的实施，重复之处不再赘述。

图12为本申请实施例提供的一种PIN针的缺陷检测装置的结构示意图，包括获取模块1201、生成模块1202、检测模块1203、输出模块1204。

获取模块1201，用于获取N个线激光相机采集的待检测电路板的点云数据，其中，N是基于所述待检测电路板的尺寸和单个线激光相机的采集范围确定的；

生成模块1202，用于基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图；

检测模块1203，用于基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，所述参考电路板上的PIN针不存在缺陷；

输出模块1204，用于输出缺陷检测结果，所述缺陷检测结果至少包括所述待检测电路板上缺失PIN针的位置指示信息。

在一些实施例中，所述N个线激光相机包括一个主相机和N-1个从相机，生成模块1202具体用于：

基于每个从相机到所述主相机的坐标系之间的转换关系，将所述从相机采集的点云数据转换到所述主相机的坐标系中；

对各从相机转换后的点云数据和所述主相机的点云数据进行融合处理，得到所述待检测电路板的完整点云数据；

基于所述完整点云数据，生成所述第一深度图。

在一些实施例中，生成模块1202具体用于：

从所述完整点云数据中选择所述待检测电路板上PIN针的目标点云数据；

对所述目标点云数据进行投影处理，得到所述第一深度图。

在一些实施例中，当至少两个线激光相机并排设置时，并排设置的相邻线激光相机之间存在共视区域和数据采集时延，所述数据采集时延满足所述相邻相机不对所述共视区域重复进行数据采集。

在一些实施例中，每个从相机到所述主相机的坐标系之间的转换关系是对异形标定块进行标定得到的，所述异形标定块的顶面有至少一个多边形块，所述异形标定块的两个不相邻侧面对称设置有矩形块。

在一些实施例中，检测模块1203具体用于：

从所述第一深度图中获取所述待检测电路板上PIN针的轮廓；

将所述第二深度图中标注的每个PIN针的轮廓与所述待检测电路板上PIN针的轮廓进行比对；

若所述待检测电路板上没有比对成功的轮廓，则确定所述待检测电路板上对应位置处的PIN针缺失。

在一些实施例中，检测模块1203具体用于：

对所述第一深度图进行轮廓提取，得到多个针脚轮廓；

按照属于同一PIN针的两个针脚轮廓互为最近的规则，对各针脚轮廓进行分组；

将每组针脚轮廓确定为所述待检测电路板上一个PIN针的轮廓。

在一些实施例中，检测模块1203还用于：

基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜和/或高度异常；以及

所述缺陷检测结果还包括所述待检测电路板上每个未缺失PIN针的歪斜检测结果和/或高度异常检测结果。

在一些实施例中，检测模块1203具体用于根据以下步骤检测所述未缺失PIN针是否歪斜：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述两个针脚的三维坐标，确定所述未缺失PIN针的两个针脚之间的间距；

若所述间距不位于所述参考电路板上对应位置处的标记间距范围内，则确定所述未缺失PIN针歪斜。

在一些实施例中，检测模块1203具体用于根据以下步骤检测所述未缺失PIN针是否高度异常：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述未缺失PIN针中每个针脚的三维坐标，确定所述针脚的高度；

若所述未缺失PIN针中任一针脚的高度与所述参考电路板上对应位置处的标记高度之间的高度差超过设定高度范围，则确定所述未缺失PIN针的高度异常。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

在介绍了本申请示例性实施方式的PIN针的缺陷检测方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

下面参照图13来描述根据本申请的这种实施方式实现的电子设备130。图13显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图13所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同***组件(包括存储器132和处理器131)的总线133。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

在示例性实施例中，还提供了一种存储介质，当存储介质中的计算机程序由电子设备的处理器执行时，电子设备能够执行上述PIN针的缺陷检测方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，本申请的电子设备可以至少包括至少一个处理器，以及与这至少一个处理器通信连接的存储器，其中，存储器存储有可被这至少一个处理器执行的计算机程序，计算机程序被这至少一个处理器执行时可使这至少一个处理器执行本申请实施例提供的任一PIN针的缺陷检测方法的步骤。

在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本申请提供的任一示例性方法。

并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例中用于PIN针的缺陷检测的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种PIN针的缺陷检测方法，其特征在于，包括：

获取N个线激光相机采集的待检测电路板的点云数据，其中，N是基于所述待检测电路板的尺寸、PIN针设置方式和单个线激光相机的采集范围确定的；

基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图；

基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，所述参考电路板上的PIN针不存在缺陷；

输出缺陷检测结果，所述缺陷检测结果至少包括所述待检测电路板上缺失PIN针的位置指示信息。

2.如权利要求1所述的方法，其特征在于，所述N个线激光相机包括一个主相机和N-1个从相机，基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图，包括：

基于每个从相机到所述主相机的坐标系之间的转换关系，将所述从相机采集的点云数据转换到所述主相机的坐标系中；

对各从相机转换后的点云数据和所述主相机的点云数据进行融合处理，得到所述待检测电路板的完整点云数据；

基于所述完整点云数据，生成所述第一深度图。

3.如权利要求2所述的方法，其特征在于，基于所述完整点云数据，生成所述第一深度图，包括：

从所述完整点云数据中选择所述待检测电路板上PIN针的目标点云数据；

对所述目标点云数据进行投影处理，得到所述第一深度图。

4.如权利要求2所述的方法，其特征在于，当至少两个线激光相机并排设置时，并排设置的相邻线激光相机之间存在共视区域和数据采集时延，所述数据采集时延满足所述相邻相机不对所述共视区域重复进行数据采集。

5.如权利要求2所述的方法，其特征在于，每个从相机到所述主相机的坐标系之间的转换关系是对异形标定块进行标定得到的，所述异形标定块的顶面有至少一个多边形块，所述异形标定块的两个不相邻侧面对称设置有矩形块。

6.如权利要求1所述的方法，其特征在于，基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，包括：

从所述第一深度图中获取所述待检测电路板上PIN针的轮廓；

将所述第二深度图中标注的每个PIN针的轮廓与所述待检测电路板上PIN针的轮廓进行比对；

若所述待检测电路板上没有比对成功的轮廓，则确定所述待检测电路板上对应位置处的PIN针缺失。

7.如权利要求6所述的方法，其特征在于，从所述第一深度图中获取所述待检测电路板上PIN针的轮廓，包括：

对所述第一深度图进行轮廓提取，得到多个针脚轮廓；

按照属于同一PIN针的两个针脚轮廓互为最近的规则，对各针脚轮廓进行分组；

将每组针脚轮廓确定为所述待检测电路板上一个PIN针的轮廓。

8.如权利要求1～7任一所述的方法，其特征在于，还包括：

基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜和/或高度异常；以及

所述缺陷检测结果还包括所述待检测电路板上每个未缺失PIN针的歪斜检测结果和/或高度异常检测结果。

9.如权利要求8所述的方法，其特征在于，基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否歪斜，包括：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述两个针脚的三维坐标，确定所述未缺失PIN针的两个针脚之间的间距；

若所述间距不位于所述参考电路板上对应位置处的标记间距范围内，则确定所述未缺失PIN针歪斜。

10.如权利要求8所述的方法，其特征在于，基于所述待检测电路板上每个未缺失PIN针对应的点云数据，检测所述未缺失PIN针是否高度异常，包括：

基于每个未缺失PIN针的两个针脚轮廓中的点云数据和所述第一深度图的三维缩放比例，确定所述未缺失PIN针中两个针脚的三维坐标；

基于所述未缺失PIN针中每个针脚的三维坐标，确定所述针脚的高度；

若所述未缺失PIN针中任一针脚的高度与所述参考电路板上对应位置处的标记高度之间的高度差超过设定高度范围，则确定所述未缺失PIN针的高度异常。

11.一种PIN针的缺陷检测装置，其特征在于，包括：

获取模块，用于获取N个线激光相机采集的待检测电路板的点云数据，其中，N是基于所述待检测电路板的尺寸和单个线激光相机的采集范围确定的；

生成模块，用于基于各线激光相机采集的点云数据，生成所述待检测电路板上PIN针的第一深度图；

检测模块，用于基于所述第一深度图和参考电路板上PIN针的第二深度图，判断所述待检测电路板上的PIN针是否缺失，所述参考电路板上的PIN针不存在缺陷；

输出模块，用于输出缺陷检测结果，所述缺陷检测结果至少包括所述待检测电路板上缺失PIN针的位置指示信息。

12.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-10任一所述的方法。

13.一种存储介质，其特征在于，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-10任一所述的方法。

Images