CN113256576B - 基于偏振成像和机器学习的光学元件自动检测***及方法 - Google Patents

Abstract

本发明涉及一种基于偏振成像和机器学***面技术的偏振度成像方法相结合，抑制光学元件的高光现象和环境杂散光，获得高质量的元件缺陷成像；再利用卷积神经网络构建缺陷识别算法，将缺陷图片做成训练集与测试集对神经网络进行训练与测试；最终实现光学元件的实时偏振成像与实时缺陷检测。本发明能够抑制高光现象，对具有高反射性和高投射性的透明元件的缺陷特征进行实时的高对比度成像，并利用基于卷积神经网络的缺陷识别算法，获得识别速度达微秒级、准确率在98%以上的光学元件缺陷自动检测。

Description

基于偏振成像和机器学习的光学元件自动检测***及方法

技术领域

本发明属于视觉测量技术领域，具体涉及一种基于偏振成像和机器学习的光学元件自动检测***及方法。

背景技术

目前，无论在显示面屏、LED灯具、太阳能面板以及光学镜片等光学器件的制造上，大量的自动化生产线已经投入使用。用自动化生产设备代替人工，只需少数员工监测机器加工过程可以大幅减少劳动力成本、提高生产效率。但由于光学镜片高光现象（反射、透射和定向反射）的存在，导致自动检测技术在光学元件的检测中准确率还无法和人工比拟，缺陷检测环节还依赖大量的人工操作。典型的比如在光学镜片生产线上，检测人员占所有员工比重接近20%，而且检测过程易受人为因素影响，准确率和效率都很难进一步提升。目前市场上常用偏振成像的方法解决高光物件的测量，但是偏振成像需要采用不同偏振方向的偏振片对目标元件进行成像，导致光路庞大且操作复杂，从而无法满足高速的工业生产需求。这一现象已经逐渐成为光电制造产业自动化、智能化发展的主要障碍之一。因此，发展基于图像传感和计算机技术的光学平面缺陷检测技术具有重要显示意义。

发明内容

有鉴于此，本发明的目的在于提供一种基于偏振成像和机器学***面成像中高光现象对成像质量的影响，克服传统偏振成像***体型庞大、操作复杂的现象，改善当前平面光学元件表面缺陷自动检测的准确率不足等问题，对自动光学检测体统的研究和器件性能的优化都具有重要意义。

为实现上述目的，本发明采用如下技术方案：

一种基于偏振成像和机器学***面技术集成的偏振相机、无缺陷玻璃基板、环形可控LED照明灯及中空无透载物台；所述环形可控LED照明灯、中空无透载物台、无缺陷玻璃基板和偏振相机至下而上安装，所有器件的中心在一条直线上；待测目标物放于玻璃基板上，偏振相机的输出端连接至计算机用以进行数据处理。

进一步的，所述偏振相机的像素采用分焦平面线偏振相机。

一种基于偏振成像和机器学习的光学元件自动检测***的检测方法，其特征在于，包括以下步骤：

步骤S1:调整照明灯与载物台的距离，使照明光无法直射入相机，构建暗场成像环境;

步骤S2:拍摄样品的DoLP线偏振度Stokes参数图像；

步骤S3:构建识别元件的卷积神经网络；

步骤S4:将步骤S2获得的偏振图片进行预处理，并按预设比例分为训练集和测试集；

步骤S5:将训练集图片导入卷积神经网络训练获得训练后的卷积神经网络，将测试集图片导入训练后的神经网络测试，若测试准确率结果未达到预计要求，则再次将训练集图片导入网络再次学习，直到测试准确率结果达到预计，得到缺陷识别网络；

步骤S6:将采集的待测目标物图像，输入缺陷识别网络，得到识别结果。

进一步的，所述卷积神经网络，共有6层，第一层输入层；第二层是卷积层，由20个9*9的卷积核卷积形成；第三层为池化层，对第二层特征图进行下采样形成，；第4层为全连接层，由池化层扁平化获得；第5层为全连接层，由84个特征值组成；第6层为输出层，共2个神经元，分别表示图片有缺陷和图片无缺陷。

进一步的，所述拍摄样品的DoLP线偏振度Stokes参数图像的方法如下：

通过基于分焦平面技术集成的偏振相机在单次报曝光中获得4张不同线偏振图，偏振方向分别为0⁰、45⁰、90⁰和135^0，通过公式（1）-（3）可获得Stokes偏振度成像需要的Stokes矢量S₀、S₁和S₂；

(1)

(2)

(3)

其中S₀表示成像光强，S₁表示竖直与水平偏振方向的光强差，S₂表示45度偏振方向与135度偏振方向的光强差。

将S₀、S₁和S₂带入公式（4）中进行线偏振度成像，可获得最终的缺陷图片；

（4）。

进一步的，所述预处理具体为对获得的偏振图片进行裁剪和标记。

本发明与现有技术相比具有以下有益效果：

1、本发明采用偏振相机单次曝光合成DoLP线偏振图片，可以实现70 FPS以上的成像速度；

2、本发明光学元件成像结果不受光源波动性的影响，图片对比度主要依赖光学元件缺陷和边缘破坏照明光的自然偏振度，与光强变化无关，有效提高成像对比度和识别准确率。

附图说明

图1是本发明实施例的成像光路装置的结构示意图。

图2是本发明实施例的卷积神经网络的结构示意图。

图中：1-中空LED；2-中空载物台；3-玻璃基板；4-玻璃样本；5-偏振相机；6-计算机。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于偏振相机和机器学***面技术集成的偏振相机5、无缺陷玻璃基板3、环形可控LED照明灯1及其中空无透载物台2；光路按照明灯1、载物台2、玻璃基板3、目标物4、偏振相机5至下而上安装，所有器件的中心在一条直线上；具体的玻璃基板3盖在载物台2的中间空洞上，偏振相机5对焦于玻璃基板3上，目标物4放于玻璃基板3上，偏振相机5的输出端连接至计算机用以进行数据处理。

在本实施例中，LED光源无法直接射入相机镜头。偏振相机的像素是2440*2048。

参考图2，本实施例还提供一种基于偏振成像和机器学习的光学元件自动检测***的检测方法，其特征在于，包括以下步骤：

步骤S1:调整照明灯与载物台的距离，使照明光无法直射入相机，构建暗场成像环境;

步骤S2:拍摄样品的DoLP线偏振度Stokes参数图像；

步骤S3:构建识别元件的卷积神经网络；

步骤S4:将步骤S2获得的偏振图片进行预处理，并按预设比例分为训练集和测试集；

步骤S5:将训练集图片导入卷积神经网络训练获得训练后的卷积神经网络，将测试集图片导入训练后的神经网络测试，若测试准确率结果未达到预计要求，则再次将训练集图片导入网络再次学习，直到测试准确率结果达到预计，得到缺陷识别网络；

步骤S6:将采集的待测目标物图像，输入缺陷识别网络，得到识别结果。

优选的，输入神经网络的图片为32*32。

在本实施例中，卷积神经网络一共有6层，第一层输入层，为32*32的原始图片；第二层是卷积层C1，为24*24*20的特征图片；第三层为池化层S2，为12*12*20的特征图片；第4层为全连接层R3，由池化层S2扁平化获得；第5层为全连接层F4，由84个特征值组成；第6层为输出层，共2个神经元，分别表示图片有缺陷和图片无缺陷。

优选的，输入神经网络的图片矩阵需要标准化。

在本实施例中，神经网络的训练图集不低于2000。神经网络的测试图集不低于训练图集的10%。

优选的，卷积层C1层数不低于10层；全连接层第一层R3特征值数量通过池化层S2的池化操作控制。全连接层第一层R3由上一层S2特征图扁平化获得。全连接层第一层R3特征值数不低于360。

在本实施例中，所述计算机处理***是在Matlab软件平台和Python环境下进行DoLP的线偏振度Stokes成像、神经网络搭建、训练图集初始化、神经网络训练、缺陷图片识别等运算。

实施例1:

以直径为4mm的平面透镜4为例，调整照明灯1与载物台2的距离，使照明光1无法直射入相机5，玻璃基板3放于载物台2上，将相机5焦距对准玻璃基板3，光学元件样品4放于玻璃基板上，拍摄2250张缺陷图片（有缺陷于无缺陷元件的数量相等）。将拍摄图片进行DoLP的线偏振度Stokes成像：将基于分焦平面技术集成的偏振相机5在单次报曝光中可以获得4张线偏振图，通过公式（1-3）获得Stokes偏振度成像需要的Stokes矢量S₀、S₁和S₂；

(1)

(2)

(3)

其中S₀表示成像光强，S₁表示竖直与水平偏振方向的光强差，S₂表示45度偏振方向与135度偏振方向的光强差。

将S₀、S₁和S₂带入公式（4）中进行线偏振度成像，可获得最终的缺陷图片；

（4）。

将2000张缺陷图片分为有缺陷和无缺陷各100张作为训练集，250张图片作为测试集。将图片进行裁剪、灰度化、标准化后形成32*32*2000的训练集图片数组，32*32*250的测试集图片数组。

搭建神经网络时，第一层输入层，为32*32的原始图片；第二层是卷积层C1，为24*24*20的特征图片；第三层为池化层S2，为12*12*20的特征图片；第4层为全连接层R3，由池化层S2扁平化获得；第5层为全连接层F4，由84个特征值组成；第6层为输出层，共2个神经元。其中，全连接层第一层R3由上一层S2特征图扁平化获得，因而全连接层第一层R3的特征值数量主要依赖于池化层S2的特征值数量。例如池化操作采用2*2降采样时，池化层S2特征值为12*12*20，扁平化后全连接第一层R3的特征值数量为2880，若池化操作采用3*3降采样时，池化层S2特征值为8*8*20，扁平化后全连接第一层R3的特征值数量为1280。

将32*32*2000的训练集图片数组导入搭建好的网络中，训练完成后将32*32*250的测试集图片数组导入网络测试网络的识别准确率，若测试准确率结果未达到预计要求，则再次将训练集图片数组导入网络学习，直到测试集图片数组的准确率达到最大。

池化层S2操作分别采用2*2、3*3、4*4、6*6的降采样，神经网络识别率准确率都可以达到98.33%以上，同时网络在超过500次的过度训练中依旧保持98.33%以上的准确率，识别100张图片消耗的时间分别为可达到0.15、0.12、0.10、0.095秒。但池化层S2操作采用6*6的降采样时，当测试集图片数组在准确率达到98.33%以上后继续训练，测试集图片数组的准确率会在90%-99%之间来回波动。池化层S2操作采用2*2的降采样时，当测试集图片数组在准确率达到98.33%以上后继续训练，测试集图片数组的准确率波动小于1%。

综上所述，该方法测量的结果与光源波动性无关，可以有效排除光强波动带来的影响，提高测量的精度和可靠性。而测量速度由相机的采集速率决定。池化层S2采用2*2的降采样操作可获得稳定且高准确率的识别网络。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于偏振成像和机器学***面技术集成的偏振相机、无缺陷玻璃基板、环形可控LED照明灯及中空无透载物台；所述环形可控LED照明灯、中空无透载物台、无缺陷玻璃基板和偏振相机至下而上安装，所有器件的中心在一条直线上；待测目标物放于玻璃基板上，偏振相机的输出端连接至计算机用以进行数据处理；

具体包括以下步骤：

步骤S1:调整照明灯与载物台的距离，使照明光无法直射入相机，构建暗场成像环境;

步骤S2:拍摄样品的DoLP线偏振度Stokes参数图像；

步骤S3:构建识别元件的卷积神经网络；

步骤S4:将步骤S2获得的偏振图片进行预处理，并按预设比例分为训练集和测试集；

步骤S5:将训练集图片导入卷积神经网络训练获得训练后的卷积神经网络，将测试集图片导入训练后的神经网络测试，若测试准确率结果未达到预计要求，则再次将训练集图片导入网络再次学习，直到测试准确率结果达到预计，得到缺陷识别网络；

步骤S6:将采集的待测目标物图像，输入缺陷识别网络，得到识别结果。

2.根据权利要求1所述的基于偏振成像和机器学***面线偏振相机。

3.根据权利要求1所述的基于偏振成像和机器学***化获得；第5层为全连接层，由84个特征值组成；第6层为输出层，共2个神经元，分别表示图片有缺陷和图片无缺陷。

4.根据权利要求3所述的基于偏振成像和机器学习的光学元件自动检测方法，其特征在于，所述拍摄样品的DoLP线偏振度Stokes参数图像的方法如下：

通过基于分焦平面技术集成的偏振相机在单次报曝光中获得4张不同线偏振图，偏振方向分别为0⁰、45⁰、90⁰和135^0，通过公式（1）-（3）可获得Stokes偏振度成像需要的Stokes矢量S₀、S₁和S₂；

(1)

(2)

(3)

其中S₀表示成像光强，S₁表示竖直与水平偏振方向的光强差，S₂表示45度偏振方向与135度偏振方向的光强差;

将S₀、S₁和S₂带入公式（4）中进行线偏振度成像，可获得最终的缺陷图片；

（4）。

5.根据权利要求3所述的基于偏振成像和机器学习的光学元件自动检测方法，其特征在于，所述预处理具体为对获得的偏振图片进行裁剪和标记。

Images