CN109100371A - 一种激光全反射式的3c透明构件缺陷检测装置及方法 - Google Patents

Abstract

本发明公开了一种激光全反射式的3C透明构件缺陷检测装置及方法，所述装置包括定位驱动装置、激光发射器、透光工作台、检测摄像机、深度学习运算单元、ARM嵌入式控制器和声光报警器，激光发射器与定位驱动装置连接，定位驱动装置、检测摄像机、深度学习运算单元和声光报警装置通过CAN总线与ARM嵌入式控制器通讯连接，检测摄像机对着透光工作机拍摄获取图像。本发明检测性能稳定，检测质量和检测效率较高。

Description

一种激光全反射式的3C透明构件缺陷检测装置及方法

技术领域

本发明属于产品表面缺陷检测技术领域，具体地说是一种3C行业透明构件产品质量缺陷检测装置与方法。

背景技术

我国是3C产品制造大国，透明构件在行业中的应用也越来越多，而且产品的质量要求也越来越高。但是对于3C透明构件缺陷的检测，大部分还停留在依靠人工肉眼识别的阶段，存在劳动强度较大、光学污染严重，对检测人员的视力有伤害，并且由于检测人员的经验不一致，存在漏检的风险。另外，我国劳动力资源溃乏，成本不断攀升，迫切需要3C行业检测设备智能化升级，减少零件缺陷的概率，提高良品率，从而提升企业的利润。

目前，市面上的透明购件缺陷检测大部分以人工为主，少量的有自动化的检测设备，以光学检测为主，通过一次性整件产品光照(可见光为主)，再以摄像头采集图像，进行分析并判断是否存在缺陷，但是由于3C透明构件尺寸小、缺陷不明显，从而通过常规光学原理进行检测，其识别准确率有待进一步提升。因而，迫切需要一种的新的检测方法，提升信噪比，更容易辨识细微的产品缺陷，为相关的行业企业提升良品率，降低成本，从而为3C行业的发展贡献力量。

发明内容

本发明要解决的技术问题是提供一种激光全反射式的3C透明构件缺陷检测装置，检测性能稳定，检测质量和检测效率较高。

为了解决上述技术问题，本发明采取以下技术方案：

一种激光全反射式的3C透明构件缺陷检测装置，所述装置包括定位驱动装置、激光发射器、透光工作台、检测摄像机、深度学习运算单元、ARM嵌入式控制器和声光报警器，激光发射器与定位驱动装置连接，定位驱动装置、检测摄像机、深度学习运算单元和声光报警装置通过CAN总线与ARM嵌入式控制器通讯连接，检测摄像机对着透光工作机拍摄获取图像。

所述透光工作台上还设有用于夹装待测透明构件的全反射上辅助件和全反射下辅助件，全反射下辅助件设在透光工作台上，待测透明构件设在全反射上辅助件和全反射下辅助件之间，全反射上辅助件与待测透明构件之间具有裸露间隙部分。

所述定位驱动装置包括微控制器、X向电机、X向定位丝杆、Y向电机、Y向定位丝杆、X向负载平台、Y向负载平台和角度定位步进电机，X向定位丝杆与X向电机连接且装在X向负载平台上，Y向负载平台通过螺套装在X向定位丝杆上，Y向定位丝杆与Y向电机连接且装在Y向负载平台上，角度定位步进电机通过连接块装在Y向定位丝杆上，激光发射器与角度定位步进电机的驱动轴连接，X向电机、Y向电机、角度定位步进电机分别与微控制器连接，微控制器通过CAN总线与ARM嵌入式控制器通讯连接，微控制器上连接有光栅尺。

所述X向负载平台、Y向负载平台的一端还分别设有与微控制器通讯连接的零位传感器。

所述全反射上辅助件、待检测透明构件、全反射下辅助件三者之间满足激光全反射的要求，也即是入射到待检测透明构件的激光入射角C满足

C≥sin^-1(n₂/n₁)，

其中n₂为全反射上辅助件和全反射下辅助件的折射率，n₁为待测透明构件的折射率。

所述激光发射器并排设有至少三个不同规格的激光头，用于测量不同厚度的待测透明构件。

所述检测摄像机设在透光工作台的下方，并且检测摄像机***设有钣金外壳。

一种激光全反射式的3C透明构件缺陷检测方法，包括以下步骤：

将待测透明构件放置在全反射上辅助件和全反射下辅助之间并置于透光工作台上；

将激光发射器移动到预定位置，旋转调整好激光发射器的角度，将激光发射器定位至待检测状态，然后激光发射器朝向待测透明构件持续发射激光，激光入射到待测透明构件内，

检测摄像机拍照获取图像，将图像传输到ARM嵌入式控制器进行图像预处理，再将图像传送到深度学习运算单元，自动识别出漏光的强弱和位置，从而自动检测出待检测构件的缺陷类型及其位置。

所述全反射上辅助件和全反射下辅助件的折射率n₂为待测透明构件折射率n₁的1/2或1/2以下，使得待测透明构件的激光入射角C小于45度。

所述待测透明构件为平面3C透明构件或曲面3C透明构件。

本发明具有以下有益效果：

1)基于光学全反射原理，使用方向性强的可见激光对待检测3C透明构件进行检测，由于透明构件内部或者表面的缺陷都会导致激光发生折射、反射、撒射，从而部分激光不满足全反射条件，从透明构件表面漏出，被检测摄像机捕获到，并拍照为后面智能分析提供基础数据。

2)为了检测不同厚度的3C透明购机，采用不同规格尺寸的激光头，从而自动检测既能考虑到检测质量，也能兼顾检测效率。

3)利用全反射原理及其激光定位辅助装置，本发明专利不仅能检测平面类型的3C透明构件，还能对曲面类型的3C透明构件进行检测。

4)采用深度学习的3C透明构件智能检测技术，完成透明构件精密、在线自动检测，克服了人工检测的不一致性，使得检测过程中质量稳定。

附图说明

附图1为本发明装置的连接原理示意图；

附图2为本发明定位驱动装置的结构示意图；

附图3为本发明定位驱动装置的连接原理示意图；

附图4为本发明透光工作台的结构示意图；

附图5-1为待测构件不存在缺陷的光路示意图；

附图5-2为待测构件表面存在缺陷的光路示意图；

附图5-3为待测构件内部存在缺陷的光路示意图；

附图6-1为平面型待测构件的光路示意图；

附图6-2为曲面型的待测透明构件的光路折射示意图；

附图7-1、图7-2、图7-3为深度学习网络结构示意图；

附图8为检测区域划分原理示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

如附图1-4所示，本发明揭示了一种激光全反射式的3C透明构件缺陷检测装置，所述装置包括定位驱动装置、激光发射器1、透光工作台3、检测摄像机、深度学习运算单元、ARM嵌入式控制器和声光报警器，激光发射器与定位驱动装置连接，定位驱动装置、检测摄像机、深度学习运算单元和声光报警装置通过CAN总线与ARM嵌入式控制器通讯连接，检测摄像机对着透光工作机拍摄获取图像。定位驱动装置对激光发射器进行定位，使激光发射器在准确的位置发射激光，确保激光准确的进入到待测透明构件中。

所述透光工作台3上还设有用于夹装待测透明构件的全反射上辅助件41和全反射下辅助件42，全反射下辅助件41设在透光工作台3上，待测透明构件5设在全反射上辅助件41和全反射下辅助件41之间，全反射上辅助件41与待测透明构件5之间具有裸露间隙部分。全反射上辅助件和全反射下辅助件的材质选用柔性耐磨透光材料，硬度比待检测3C透明构件低；根据检测透明构件的要求可配置不同类型的配套全反射上辅助件和全反射下辅助件，从而实现光学检测对待检测3C透明构件的全覆盖。所述全反射上辅助件、待检测透明构件、全反射下辅助件三者之间满足激光全反射的要求，也即是入射到待检测透明构件的激光入射角C满足

C≥sin^-1(n₂/n₁)，

其中n₂为全反射上辅助件和全反射下辅助件的折射率，n₁为待测透明构件的折射率。

此外，所述定位驱动装置包括微控制器、X向电机6、X向定位丝杆7、Y向电机11、Y向定位丝杆12、X向负载平台8、Y向负载平台9和角度定位步进电机2，X向定位丝杆7与X向电机6连接且装在X向负载平台8上，Y向负载平台9通过螺套装在X向定位丝杆7上，Y向定位丝杆12与Y向电机11连接且装在Y向负载平台9上，角度定位步进电机2通过连接块装在Y向定位丝杆12上，激光发射器1与角度定位步进电机2的驱动轴连接，X向电机、Y向电机、角度定位步进电机分别与微控制器连接，微控制器通过CAN总线与ARM嵌入式控制器通讯连接，微控制器上连接有光栅尺，X向负载平台、Y向负载平台的一端还分别设有与微控制器通讯连接的零位传感器。X向电机带动X向定位丝杆转动，进而可调整Y向负载平台在X方向上的移动行程，从而调整激光发射器在X方向的位置。再通过Y向电机调整激光发射器在Y方向上的位置，从而调整好X-Y方向的位置，再通过角度定位步进电机带动激光发射器旋转，调整好角度，使得激光发射器被调整好预定的位置。光栅尺能够准确的控制X向电机、Y向电机的运行行程。X向电机、Y向电机与光栅尺构成一个闭环控制回路，步进电机通过角度零位传感器，在每件待测透明构件完成后自动重新回零校正，从而实现高精定位提供环境。

X向电机每次间隔(1/5～1/10的待检测3C透明构件宽度)固定步长后暂停，X向电机运动过程中，激光发射器持续发射激光，检测摄像机在此检测过程的时间内处于曝光状态，X方向固定步长移动到位后，检测摄像机进行拍照。角度定位步进电机在每件待检测构件完成后自动回原始位置，由角度零位传感器进行检测，为角度定位步进电机重新校正提供基准；微控制器通过CAN总线与ARM嵌入式控制器通讯连接，感知被检测构件的信息，为其伺服及定位运动提供参数。

角度定位步进电机带动激光发射器进行旋转，其旋转的角度由ARM嵌入式控制器根据待检测构件的尺寸信息及其待检测位置进行调整，使得检测激光能针对待检测区域满足全反射条件。

所述激光发射器并排设有三个不同规格的激光头，用于测量不同厚度的待测透明构件。在本实施例中，三个不同规格的激光头1.5mm×1.5mm、3.5mm×3.5mm和6mm×6mm，分别对不同厚度规格小于1mm、1～3mm和3～5mm的3C透明构件进行检测。

ARM嵌入式控制器根据待检测透明构件的尺寸信息，按构件长度和宽度方向进行采样，通过多次(长度采样次数×宽度采样次数)拍照完成整件构件的检测。

另外，整个装置外部由钣金件进行密封，减少外部光源对检测结果的干扰；进一步，检测摄像机安置在透光工作台下方，并在***再设置一套钣金外壳进行密封，再次减少干扰。

所述深度学习运算单元采用FPGA硬件进行实现，在传入之前，由ARM嵌入式控制器进行灰度化和分割处理，按激光头的规格，分割后的每幅图像分别压缩到64×64×1、128×128×1或者256×256×1的三维灰度图像空间里，再进行三次卷积和池化操作后，再进行两次全连接的神经网络，输出到256维向量里，再通过软回归将256维向量输出为矢量(正常、有缺陷)，并将检测结果通过CAN总线通信模块传输到ARM嵌入式控制器，并通过声光报警器告知检测人员。

所述的深度学习运算单元所依赖的样本库存在于ARM嵌入式控制器中(内部NANDFlash)，可由ARM嵌入式控制器后台更新深度卷积神经网络参数，并通过CAN总线发送深度学习运算单元中存储并在运算中使用。

所述深度卷积神经网络的离线训练样本库可以增加样本数量。因而，3C透明构件检测可根据样本的实际情况进行增减，提升特定规格待检测构件的检测准确度。

所述深度卷积神经网络即可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本发明装置支持多版本的深度卷积神经网络，可由最终用户根据实际应用场景进行自主选择。

X-Y方向的伺服电机带动定位丝杆进行X方向和Y方向的运动，带动负载平台进行“X-Y”方向联动，角度定位步进电机安装在负载平台上，再带动激光发射器进行旋转，通过三轴联动方案，可将激光发射器定位到待检测状态，满足检测要求。检测过程中，X方向的伺服电机每次间隔(1/5～1/10的待检测3C透明构件宽度)固定步长后暂停，在此过程中，激光发射器持续发射激光，检测摄像机处于曝光状态，X方向固定步长移动到位后，检测摄像机进行拍照；通过选择全反射上辅助件的材料，使得折射率n₂为待检测透明构件折射率n₁的1/2及其以下，从而达到激光入射角C小于45度，再针对待检测透明构件的厚度，选择对应规格的激光头，即可实现Y方向一次扫描即可覆盖，具体规则如下：

a)对于待检测透明构件厚度小于1mm的情况，由定位驱动装置微控制器选择1.5mm×1.5mm激光头进行工作；

b)对于待检测透明构件厚度处于1～3mm情况，由定位驱动装置微控制器选择3.5mm×3.5mm激光头进行工作；

c)对于待检测透明构件厚度处于3～5mm的情况，由定位驱动装置微控制器选择6mm×6mm激光头进行工作。

d)上述定位驱动装置微控制器通过CAN总线，受ARM嵌入式控制器控制，由用户根据实际情况进行选择。

上述区域采样Y方向移动一个单位的激光头宽度后，再重复检测一次，两次检测能完整覆盖固定步长内的完整区域。同理，对剩下的待检测区域重复上述过程，沿X方向继续扫描检测，即可覆盖整个待测透明构件区域，完成检测，其检测原理如图8所示，图8中第一次检测和第二次检测为本采样区域内沿Y方向的两次检测。因而，总的拍照次数为2*(5～10)次。

如附图4所示，检测激光束在ARM嵌入式控制器控制下，通过定位驱动装置实现对检测激光束的位置调整，使得满足全反射性原理；全反射上辅助件与待检测3C透明构件留有间隙，通常为1.2～1.5倍的激光束宽度，使得激光束能射入道待检测透明构件内部；全反射下辅助件下方设置有检测摄像机，对可能存在(有缺陷的检测见有漏光现象)的漏光进行拍照。

如附图5-1所示，对于待检测的3C透明构件，如果内部或者表面没有缺陷，检测激光束满足全反射工作原理，激光在透明构件内部上下全反射，没有激光射向全反射上辅助件或者和全反射下辅助件，从而设置在全反射下辅助件下方的检测摄像机就不能获取检测激光信号。相反，如附图5-2待测透明构件表面存在缺陷，图5-3所示，待检测透明构件内部存在缺陷，那么有一部分检测激光束发生反射、折射、散射现象，从而不能完全满足全反射条件，这样设置在全反射下辅助件下方的检测摄像机就能捕捉到检测激光信号。

图6只给出了平面透明构件的放置示意图，对于曲面透明构件，根据检测对象的不同，需要配置两套全反射上/下辅助件，分别完成曲面和平面的检测，由于原理相同，在此不再赘述。

如附图6-1、图6-2所示，分别是平面型透明构件和曲面型透明构件的光路示意图。对于平面3C透明构件，激光头只需要以一个固定的角度将检测激光束射入待检测的透明构件内部即可，通过沿X方向移动负载工作台即可完成整件构件的检测；但是，对于曲面3C透明构件，需要分别检测平面部分和曲面部分，通过ARM嵌入式控制器根据待检测构建的几何尺寸信息，分别计算平面和曲面部分的激光束入射角，再由驱动装置微控制器带动伺服电机和步进电机运动，使得激光头达到计算的角度，特别是曲面部分，选择尺寸规格小的激光头进行检测。

ARM嵌入式控制器既接收微控制器的信息，同时也对微控制器发送控制指令，实现激光头角度的定位，并在检测过程中使得负载平台带动激光头沿着X方向间隔采样，从而使得检测摄像机能对检测成像进行拍照。

另外，一种激光全反射式的3C透明构件缺陷检测方法，包括以下步骤：

将待测透明构件放置在全反射上辅助件和全反射下辅助之间并置于透光工作台上。

将激光发射器移动到预定位置，旋转调整好激光发射器的角度，将激光发射器定位至待检测状态，然后激光发射器朝向待测透明构件持续发射激光，激光入射到待测透明构件内。

检测摄像机拍照获取图像，将图像传输到ARM嵌入式控制器进行图像预处理，再将图像传送到深度学习运算单元，自动识别出漏光的强弱和位置，从而自动检测出待检测构件的缺陷类型及其位置。

如附图7-1、图7-2、图7-3所示，深度学习运算单元采用FPGA硬件进行实现，在传入之前，由ARM嵌入式控制器进行灰度化和分割处理，按激光头的规格，分割后的每幅图像分别压缩到64×64×1、128×128×1或者256×256×1的三维灰度图像空间里，再进行三次卷积和池化操作后，再进行两次全连接的神经网络，输出到256维向量里，再通过软回归将256维向量输出为矢量(正常、有缺陷)，网络的数据处理流程如下：

a)为了提高辨识精度，分别离线训练三个网络，也即是分别对应三种不同规格的激光头，三个网络的输入图像分别是64×64×1、128

×128×1或者256×256×1的三维灰度规格尺寸。

b)深度学习运算单元可一次处理多张图像。因而，分割好的图像可设置一批同时将32张输入到FPGA实现的网络里，通过并发处理减少辨识时间。

c)对于64×64×1，送入卷积网络中的A1卷积层，采用3×3窗口卷积操作后，生成62×62像素的12幅图像，再由模块中的A2池化层进行压缩处理，生成31×31像素的12幅图像，之后，进行第二次卷积操作，送入卷积网络中的A3卷积层，再次采用3×3窗口卷积操作后，生成29×29像素的36幅图像，再由卷积网络中的A4池化层进行压缩处理，生成14×14像素的36幅图像，之后，进行第三次卷积操作，送入卷积网络中的A5卷积层，再次采用3×3窗口卷积操作后，生成12×12像素的72幅图像，再由卷积网络中的A6池化层进行压缩处理，生成6×6像素的72幅图像，进一步，经过卷积网络的A7全连接层处理，输出1024维度的向量，再进一步，经过卷积网络中的A8全连接层处理，输出256维度的向量，最后，再由卷积网络中的A9软回归层输出2维向量，表示待检测透明构件属于2类(正常、有缺陷)的概率密度分布，从而辨识待检3C透明构件是否存在缺陷。

d)对于128×128×1，送入卷积网络中的B1卷积层，采用5×5窗口卷积操作后，生成124×124像素的12幅图像，再由模块中的B2池化层进行压缩处理，生成62×62像素的12幅图像，之后，进行第二次卷积操作，送入卷积网络中的B3卷积层，再次采用3×3窗口卷积操作后，生成60×60像素的36幅图像，再由卷积网络中的B4池化层进行压缩处理，生成30×30像素的36幅图像，之后，进行第三次卷积操作，送入卷积网络中的B5卷积层，再次采用3×3窗口卷积操作后，生成28×28像素的72幅图像，再由卷积网络中的B6池化层进行压缩处理，生成14×14像素的72幅图像，进一步，经过卷积网络的B7全连接层处理，输出2048维度的向量，再进一步，经过卷积网络中的B8全连接层处理，输出256维度的向量，最后，再由卷积网络中的B9软回归层输出2维向量，表示待检测透明构件属于2类(正常、有缺陷)的概率密度分布，从而辨识待检3C透明构件是否存在缺陷。

e)对于256×256×1，送入卷积网络中的C1卷积层，采用5×5窗口卷积操作后，生成252×252像素的12幅图像，再由模块中的C2池化层进行压缩处理，生成126×126像素的12幅图像，之后，进行第二次卷积操作，送入卷积网络中的C3卷积层，再次采用3×3窗口卷积操作后，生成124×124像素的36幅图像，再由卷积网络中的C4池化层进行压缩处理，生成62×62像素的36幅图像，之后，进行第三次卷积操作，送入卷积网络中的C5卷积层，再次采用3×3窗口卷积操作后，生成60×60像素的72幅图像，再由卷积网络中的C6池化层进行压缩处理，生成30×30像素的72幅图像，进一步，经过卷积网络的C7全连接层处理，输出4096维度的向量，再进一步，经过卷积网络中的C8全连接层处理，输出256维度的向量，最后，再由卷积网络中的C9软回归层输出2维向量，表示待检测透明构件属于2类(正常、有缺陷)的概率密度分布，从而辨识待检3C透明构件是否存在缺陷。

进一步，卷积网络的离线训练样本库可以增加样本数量。因而，检测的精度可随着样本数量的增加而进一步提升；卷积网络也可由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新。

需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述装置包括定位驱动装置、激光发射器、透光工作台、检测摄像机、深度学习运算单元、ARM嵌入式控制器和声光报警器，激光发射器与定位驱动装置连接，定位驱动装置、检测摄像机、深度学习运算单元和声光报警装置通过CAN总线与ARM嵌入式控制器通讯连接，检测摄像机对着透光工作机拍摄获取图像。

2.根据权利要求1所述的激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述透光工作台上还设有用于夹装待测透明构件的全反射上辅助件和全反射下辅助件，全反射下辅助件设在透光工作台上，待测透明构件设在全反射上辅助件和全反射下辅助件之间，全反射上辅助件与待测透明构件之间具有裸露间隙部分。

3.根据权利要求2所述的激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述定位驱动装置包括微控制器、X向电机、X向定位丝杆、Y向电机、Y向定位丝杆、X向负载平台、Y向负载平台和角度定位步进电机，X向定位丝杆与X向电机连接且装在X向负载平台上，Y向负载平台通过螺套装在X向定位丝杆上，Y向定位丝杆与Y向电机连接且装在Y向负载平台上，角度定位步进电机通过连接块装在Y向定位丝杆上，激光发射器与角度定位步进电机的驱动轴连接，X向电机、Y向电机、角度定位步进电机分别与微控制器连接，微控制器通过CAN总线与ARM嵌入式控制器通讯连接，微控制器上连接有光栅尺。

4.根据权利要求3所述的激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述X向负载平台、Y向负载平台的一端还分别设有与微控制器通讯连接的零位传感器。

5.根据权利要求4所述的激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述全反射上辅助件、待检测透明构件、全反射下辅助件三者之间满足激光全反射的要求，也即是入射到待检测透明构件的激光入射角C满足

C≥sin^-1(n₂/n₁)，

其中n₂为全反射上辅助件和全反射下辅助件的折射率，n₁为待测透明构件的折射率。

6.根据权利要求5所述的激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述激光发射器并排设有至少三个不同规格的激光头，用于测量不同厚度的待测透明构件。

7.根据权利要求6所述的激光全反射式的3C透明构件缺陷检测装置，其特征在于，所述检测摄像机设在透光工作台的下方，并且检测摄像机***设有钣金外壳。

8.一种激光全反射式的3C透明构件缺陷检测方法，包括以下步骤：

将待测透明构件放置在全反射上辅助件和全反射下辅助之间并置于透光工作台上；

将激光发射器移动到预定位置，旋转调整好激光发射器的角度，将激光发射器定位至待检测状态，然后激光发射器朝向待测透明构件持续发射激光，激光入射到待测透明构件内，

检测摄像机拍照获取图像，将图像传输到ARM嵌入式控制器进行图像预处理，再将图像传送到深度学习运算单元，自动识别出漏光的强弱和位置，从而自动检测出待检测构件的缺陷类型及其位置。

9.根据权利要求8所述的激光全反射式的3C透明构件缺陷检测方法，其特征在于，所述全反射上辅助件和全反射下辅助件的折射率n₂为待测透明构件折射率n₁的1/2或1/2以下，使得待测透明构件的激光入射角C小于45度。

10.根据权利要求9所述的激光全反射式的3C透明构件缺陷检测方法，其特征在于，所述待测透明构件为平面3C透明构件或曲面3C透明构件。