CN113421230B - 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法 - Google Patents

基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法 Download PDF

Info

Publication number
CN113421230B
CN113421230B CN202110635854.7A CN202110635854A CN113421230B CN 113421230 B CN113421230 B CN 113421230B CN 202110635854 A CN202110635854 A CN 202110635854A CN 113421230 B CN113421230 B CN 113421230B
Authority
CN
China
Prior art keywords
network
feature
image
sub
light guide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110635854.7A
Other languages
English (en)
Other versions
CN113421230A (zh
Inventor
李俊峰
王昊
杨元勋
周栋峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Minglong Electronic Technology Co ltd
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN202110635854.7A priority Critical patent/CN113421230B/zh
Publication of CN113421230A publication Critical patent/CN113421230A/zh
Application granted granted Critical
Publication of CN113421230B publication Critical patent/CN113421230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像识别技术领域，具体公开了一种基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，包括如下步骤：采集导光板图像；图像预处理；建立并训练一阶段目标检测网络，一阶段目标检测网络包括主干特征提取子网络、特征增强子网络、分类和回归子网络；缺陷检测：通过特征融合子网络的图像金字塔使用特征融合的方式获得四个有效的特征层，将这四个有效的特征层传输经过分类和回归子网络获得导光板缺陷的预测结果，并在上位机中显示预测结果。本发明解决了正负样本不平衡、微小缺陷检出率及检测效率等问题，同时完成对缺陷的定位任务与缺陷有无的分类，同时提供可视化的结果，达到并实现了工业应用。

Description

基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法
技术领域
本发明涉及图像识别技术领域，具体为基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法。
背景技术
导光板(light guide plate)是利用光学级的亚克力/PC板材，然后用具有极高反射率且不吸光的高科技材料，在光学级的亚克力板材底面用激光雕刻、V型十字网格雕刻、UV网版印刷技术印上导光点。导光板也是液晶显示屏背光模组的重要组成部分,在其生产过程中不可避免会出现亮点、划伤、压伤等缺陷,直接影响显示效果。根据缺陷的形状，将缺陷分为两大类：点缺陷与线缺陷。点缺陷主要指的是在导光板内部形成的点状缺陷，主要包括亮点与压伤。在塑化过程中，塑胶原料因温度过低从而导致不能完全熔化、成型机周围粉尘较重或者塑胶原料不干净，掺杂着白色的杂质等，会呈现出亮点缺陷。而线缺陷指的是在导光板表面形成的线状缺陷，主要是导光板表面出现划伤痕迹。形成原因主要有模仁表面刮伤，或者在导光板生产过程中由于导光板接触面的不洁净，如抛光机、滚轮清洁等，与导光板在运动过程中产生较大的摩擦，从而在导光板表面形成条状划痕。
目前，国内导光板缺陷检测主要依靠人工操作去完成，在检验治具的打光条件下，点亮导光板，检测人员目测导光板某处或多处是否出现亮点、划伤等缺陷，从而判定导光板是否存在缺陷，但人工检测缺陷的局限性非常明显，主要在于：(1)人工检测环境不佳，工人长期面对导光板，会严重损害员工视力；(2)导光板缺陷检测主要凭借人眼判断识别，存在着人为主观因素，难以形成可以量化的质量标准；(3)人工操作易受到多种因素干扰，如外界环境，人眼疲劳等，使得实际检测效率与精度都会受到一定的影响；(4)导光板检测复杂度高，难度大，缺陷种类多，员工很难掌握相关检测技术。由于人工检测缺陷的各种局限性，人工亮点检测的精度、效率、稳定性等很难适应企业的要求。车载导航导光板的质量检测精度要求比较高，需要检出10um以上的缺陷，工业面阵相机难以满足要求。工业面阵相机采用16K线阵相机呈现车载导航导光板的清晰图像，采集的高分辨率图像大小为10084×14500，在工业现场，企业要求在6秒之内完成对一张导光板的缺陷检测，这也对缺陷的检测效率提出了更高的要求。现有基于深度学习的缺陷检测方法对于车载导航导光板中的较小的点缺陷以及较浅的线缺陷无法有效检出，有较为严重的误检和漏检难以满足工业检测的精度要求。
发明内容
本发明要解决的技术问题是提供一种基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，用以导光板缺陷的自动检测和分类，解决了正负样本不平衡、微小缺陷检出率及检测效率等问题，同时完成对缺陷的定位任务与缺陷有无的分类，同时提供可视化的结果，达到并实现了工业应用。
为了解决上述技术问题，本发明提供基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，包括如下步骤：
S01、采集导光板图像：利用16K线阵相机采集导光板图像并传到上位机处理；
S02、图像预处理：利用阈值分割技术获得导光板ROI的区域图像，然后，将导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像，其中相邻的小图像之间有1/10图像宽度的左右重叠；
S03、建立并训练一阶段目标检测网络，一阶段目标检测网络包括主干特征提取子网络、特征增强子网络、分类和回归子网络；
S04、缺陷检测：
将S02图像预处理后的H×W×1的小图像输入S03训练好的一阶段目标检测网络，使用特征提取子网络对H×W×1的小图像提取四个多尺度特征图，然后然后通过特征融合子网络的图像金字塔使用特征融合的方式获得四个有效的特征层，将这四个有效的特征层传输经过分类和回归子网络获得导光板缺陷的预测结果，并在上位机中显示预测结果。
作为本发明的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法的改进：
所述主干特征提取子网络包括5个卷积层的批量残差网络ResNeXt50网络为基线网络，将基线ResNeXt50网络中卷积层Conv2、Conv3、Conv4和Conv5的每个ResNeXt_block中下半部分1X1卷积均用Ghost_Module替换；主干特征提取子网络的输入为S02获得的H×W×1的小图像，输出为卷积层Conv2、Conv3、Conv4和Conv5各自输出的多尺度特征图p1、p2、p3和p4；
所述特征融合子网络的输入为多尺度特征图p1、p2、p3和p4，首先经过1x1卷积模块进行通道调整变为p1_in、p2_in、p3_in、p4_in，然后通过特征金字塔使用特征融合的方式获得四个有效特征层P1_out、P2_out、P3_out、P4_out；
所述分类和回归子网络包括四个class+box subnet结构，每个class+box subnet结构均包括class subnet和box subnet，class subnet包括4次256通道的卷积和1次num_priors xnum_classes的卷积，box subnet包括4次256通道的卷积和1次num_priors x 4的卷积，将四个有效特征层P1_out、P2_out、P3_out、P4_out分别各自传输经过一个class+boxsubnets结构，最终，每个class+box subnet结构均输出一个预测结果：目标位置信息以及该有效特征层上每一个网格点上每一个预测框对应的种类。
作为本发明的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法的进一步改进：
所述训练一阶段目标检测网络，包括：
S0301、建立训练数据集：采集导光板图像建立数据集，并对数据集中的图像手工标注，标注时使用矩形框将缺陷框选出来，并且输入对应的缺陷名称；然后使用背景替换、亮度变换方法对数据集图像进行数据增强后，按照7：2：1的比例划分为训练集、验证集和测试集；
S0302、建立损失函数Focal loss：
Fl(pt)＝-αt(1-pt)γlog(pt)
其中pt表示预测正确的概率，αt是权重，αt取0.25，γ表示可调聚焦参数，γ取2；
S0303、训练
优化器采用Adam优化器，学习率为1x10-5；将S0301建立的训练集图像输入到所述一阶段目标检测网络中进行训练，一阶段目标检测网络的输出预测结果与手工标注通过损失函数Focal loss计算当前轮次一阶段目标检测网络的损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降，若当前训练轮次中验证集损失低于上一轮次中验证集损失，则保存当前轮次的模型，一阶段目标检测网络共训练200轮；然后通过测试集测试并获得训练好的一阶段目标检测网络。
作为本发明的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法的进一步改进：
所述主干特征提取子网络的每个卷积操作后均进行归一化BN和激活函数ReLU操作，归一化BN定义为：将输入像素点xi先减去均值μ然后除以均方差得到归一化的值xi，然后进行尺度变换和偏移得到批归一化处理后的值yi，其中：
n为批处理大小；ε为固定值；γ和β是网络学习到的参数；
激活函数ReLU定义为：
本发明的有益效果主要体现在：
1、本发明的主干特征提取子网络基于ResNeXt50网络进行改进优化，利用Ghost_Module替代ResNeXt_block中下半部分1X1卷积，减少资源参数与资源消耗，加快训练和推理速度；
2、本发明与传统的检测算法相比，针对导光板图像疏密区不同的特点，传统的检测算法常常需要进行分区处理，针对不同的分区采用不同的处理策略，而本发明不需要区分导光点疏密的问题，本发明的一阶段目标检测网络可以通过学习的方式来解决这一问题；
3、本发明利用提出的特征融合子网络改进了RetinaNet中的特征融合网络，更有效的融合主干特征提取子网络中的浅层语义信息与高层语义信息，进一步提高小目标缺陷的检测能力。
4、本发明检测算法通用性强，稳定性强，降低误判和漏检，提高检测精度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法的流程示意图；
图2为本发明的一阶段目标检测网络的结构示意图；
图3为图2中一阶段目标检测网络的主干特征提取子网络的结构示意图；
图4为图2中一阶段目标检测网络的特征融合子网络的结构示例图；
图5为图2中一阶段目标检测网络的分类和回归子网络的结构示意图；
图6为对比实验1的检测结果示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例1、基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，如图1-5所示，包括如下过程：
步骤1、采集导光板图像
在车载导航导光板生产线末端，设置导光板图像采集装置，导光板图像采集装置采用16K线阵相机进行图像采集，然后将采集的导光板图像传到上位机进行处理；
步骤2、图像预处理
采集的导光板图像含有背景区域，利用阈值分割技术来剔除采集得到的导光板图像中所包含的背景，获得导光板ROI的区域图像，进一步提升检测效率；
然后，将提取的导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像，其中相邻的小图像之间有1/10图像宽度的左右重叠，可以保证缺陷图像边缘的完整性，不至于因为图像分割导致完整缺陷被分割开；这一组裁剪出来H×W×1的小图像作为后续步骤的输入，这里H＝600，W＝600，以下出现的H、W大小与之相同；
步骤3、建立一阶段目标检测网络
一阶段目标检测网络包括主干特征提取子网络、特征增强子网络、分类和回归子网络；步骤3.1、建立主干特征提取子网络
主干特征提取子网络以批量残差网络ResNeXt50网络为基线网络，包括5个依次连接的卷积层Conv1、Conv2、Conv3、Conv4和Conv5，其中主干特征提取子网络的输入即卷积层Conv1的输入为步骤2获得的H×W×1的小图像，卷积层Conv2、Conv3、Conv4和Conv5的输入分别为前一卷积层的输出，主干特征提取子网络的输出为卷积层Conv2、Conv3、Conv4和Conv5的输出，分别为多尺度特征图P1、多尺度特征图P2、多尺度特征图P3和多尺度特征图P4，即多尺度特征图P1同时是Conv2和特征融合子网络(IFPN)第一层的输入，
将基线ResNeXt50网络中卷积层Conv2、Conv3、Conv4和Conv5的每个ResNeXt_block中下半部分的1X1卷积均用Ghost_Module替换，从而建立主干特征提取子网络；改进后的ResNeXt50网络，即主干特征提取子网络，减少了资源参数与资源消耗，加快训练和推理速度,其具体网络分层结构如表1所示；
表1：主干特征提取子网络分层结构表
其中卷积层Conv1为一个通道数为128的7×7的卷积核，连接一个步长为3池化尺寸为3x3的最大池化层，卷积层Conv2、Conv3、Conv4和Conv5均为相似的结构，以卷积层conv2为例，如图3所示，输入是卷积层Conv1的输出的多尺度特征图P1，后续依次是一个通道数为128的1×1的卷积核，连接一个128通道数的3×3的卷积核的32组平行堆叠的卷积层，然后是一个256通道数的1×1的卷积核的Ghost_module，输出为多尺度特征图P2；
表1中的卷积层Conv2、Conv3、Conv4和Conv5中含有1X1的卷积，卷积计算量的公式如下：
computation＝n×h×w×c×k×k
其中：n为输出特征图的通道数，h,w分别是特征图的高和宽，c为输入通道数，k为卷积核大小；
Ghost_Module，定义init_channels为output通道数，output_channel为output1通道数，new_channels为output(2)的通道数，ratio为output(1)和output(2)通道数和与output(1)通道数的比值。Ghost_Module实施分两步进行，具体操作如下：
(1)进行预先卷积，得到的输出通道数为output_channel/ratio，其中ratio＝2；
(2)进行简单的线性变换cheap_operation，对预先卷积模块的每张特征图都做一遍卷积，因此它的组数就是k，它的输出通道数就是new_channels；output(1)和output(2)加在一起生成的通道数就是Ghost_Module的最终通道数init_channels；
主干特征提取子网络使用批归一化BN(Batch Normalization)操作，将输入像素点xi先减去均值μ然后除以均方差得到归一化的值xi，然后进行尺度变换和偏移得到批归一化处理后的值yi，其中：
n为批处理大小；ε为固定值，为了防止除0错误；γ和β是网络学习到的参数，主干特征提取子网络中每种卷积操作后都要进行归一化和激活函数(都是BN+ReLU)，默认在BN操作之后紧接一个激活函数，有利于网络的正则化；激活函数采用ReLU激活函数，其中：
步骤3.2构建特征融合子网络
特征融合子网络(IFPN)具体操作可分为三部分，通过图像金字塔使用特征融合的方式获得四个有效的特征层，如图4所示，过程如下：
(1)主干特征提取子网络的输出多尺度特征图P1、多尺度特征图P2、多尺度特征图P3和多尺度特征图P4并不能直接作为特征融合子网络(IFPN)的输入，需要分别采用1x1的卷积模块进行通道调整变为p1_in、p2_in、p3_in、p4_in，才可以输入特征金字塔；p4_in上采样之后与p3_in进行堆叠得p3_td，p3_td继续进行上采样后与p2_in进行堆叠得到p2_td，p2_td也进行上采样后再与p1_in进行堆叠得到p1_tg，完成特征融合子网络(IFPN)的第一部分；
(2)多尺度特征图P1、多尺度特征图P2、多尺度特征图P3和多尺度特征图P4是从主干特征提取子网络中获取的信息资源丰富的特征层，随着主干网络不断的卷积操作，它们的感受野随之增加，但图片中的细粒度却呈现下降的趋势；相比较p多尺度特征图P3和多尺度特征图P4的特征层，多尺度特征图P1和多尺度特征图P2经历过卷积比较少，细粒度更丰富，对于导光板点、线等小缺陷更为敏感，有利于快速完成定位，并帮助减少漏检；为了更加充分的利用浅层语义信息，p1_tg进行下采样后与p2_td及p2_in三者进行堆叠得到p2_tg，而且在堆叠时引入了注意力机制，用以判断具体更应该关注哪一个通道的信息；p2_tg进行一次下采样后与p3_td以及进行堆叠，得到p3_tg，p3_tg进行一次下采样之后与p4_in完成一次堆叠后得到p4_tg；
(3)对于点缺陷和部分较浅的线缺陷，特征提取更多是从p1_tg和p2_tg获取的，而p1_tg与p1_in差异较小，很难获得更加充分的特征信息，对于提升这些缺陷的检测精度没有太大帮助；为此，增加了第三次特征融合，p4_out上采样后与p3_tg进行堆叠得到p3_out，p3_out完成一次上采样之后与p2_tg进行堆叠得到p2_out，p2_out继续进行一步上采样后与p1_tg及p1_in进行带有注意力机制的堆叠得到p1_out；为了消除特征融合带来的混叠效应，堆叠时采用特征层相加后进行3X3深度可分离卷积，并用1X1卷积进行通道调整；
通过特征融合子网络(IFPN)的特征金字塔获得特征层，分别是P1_out、P2_out、P3_out、P4_out，为了和普通特征层区分，称之为有效特征层。
步骤3.3、构建分类和回归子网络
分类和回归子网络包括四个class+box subnet结构，将四个有效特征层P1_out、P2_out、P3_out、P4_out分别各自传输经过一个class+box subnets结构，每个class+boxsubnet结构均包括class subnet和box subnet，class subnet采用4次256通道的卷积和1次num_priors x num_classes的卷积，num_priors x num_classes的卷积用于预测该有效特征层上每一个网格点上每一个预测框对应的种类，num_priors指的是该有效特征层所拥有的先验框数量，num_classes指的是网络一共对多少类的目标进行检测；box subnet采用4次256通道的卷积和1次num_priors x 4的卷积，num_priors指的是该有效特征层所拥有的先验框数量，4指的是先验框的调整情况，num_priors x 4的卷积用于预测该有效特征层上每一个网格点上每一个先验框的变化情况；最终，每个class+box subnet结构均输出一个预测结果：每个有效特征层上每一个网格点上每一个先验框的变化情况，即目标位置信息以及该有效特征层上每一个网格点上每一个预测框对应的种类。
步骤4、训练并测试一阶段目标检测网络
步骤4.1、建立训练数据集
在车载导航导光板生产线末端，通过导光板图像采集装置，包括16K线阵相机进行采集工业现场的导光板图像，建立数据集，对数据集中的图像手工标注，标注时使用矩形框将缺陷框选出来，并且输入对应的缺陷名称；然后使用背景替换，亮度变换方法进行数据增强得到点缺陷2897张、线缺陷2936张、面缺陷2856张，按照7：2：1的比例划分数据集，其中训练集共6082张、验证集共1737张、测试集共286张，在训练集、验证集和测试集中尽可能均与包含点缺陷、线缺陷和面缺陷的导光板图像；
步骤4.2、建立损失函数
车载LCD导光板图像中点、线缺陷比较小，占用图像位置很小，而背景所占用图像位置很大，导致负样本远远多于正样本，本发明方法采用平衡正负样本的Focal loss损失函数来解决导光板缺陷检测中的正负样本极其不平衡问题，Focal loss如下所示：
Fl(pt)＝-αt(1-pt)γlog(pt)
其中pt表示预测正确的概率，αt是权重，αt取0.25，γ表示可调聚焦参数，γ取2；
步骤4.3、训练一阶段目标检测网络
使用pytorch1.2搭建网络进行训练和测试，优化器采用Adam优化器，学习率为1x10-5；将建立好的训练集图像输入到步骤3建立的一阶段目标检测网络中进行训练，一阶段目标检测网络的输出预测结果与手工标注通过损失函数Focal loss计算当前轮次一阶段目标检测网络的损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降，若当前训练轮次中验证集损失低于上一轮次中验证集损失，则保存当前轮次的模型，一阶段目标检测网络共训练200轮；
训练结束后，将一阶段目标检测网络的参数保存为配置文件输出从而获得训练好的一阶段目标检测网络。
步骤4.4、离线测试
使用测试集输入到步骤4.3训练好的一阶段目标检测网络中进行缺陷检测，使用特征提取子网络对输入的H×W×1的图像提取为4个多尺度特征图，然后使用特征融合子网络获得4个有效特征层，将4个有效特征层分别传入分类和回归子网络，分别得到4个预测结果：每个有效特征层上每一个网格点上每一个先验框的变化情况，即目标位置信息以及该有效特征层上每一个网格点上每一个预测框对应的种类，将上述预测结果输出并存储在导光板生产线的上位机上；
采用平均正确率AP、mAP(mean Average Precision)和准确率Accuracy来衡量预测结果的准确性：
1)、AP可以反应各类缺陷的平均精度，由precision和recall之间做定积分，具体表达式所示：
其中，x表示某一种缺陷，
precision_rate指代准确率：Precision_rate＝TP/(TP+FP)，
recall_rate指代召回率：Recall_rate＝TP/(TP+FN)，
其中，
TP(True Positive)该类缺陷检测结果正确的数量，指被预测为正的正样本，
FP(False Positive)误检，即指被预测为正的负样本指代该类缺陷检测错误的数量，
FN(False Negative)漏检，指被预测为负的正样本即表示没有检测到结果的数量，
TN(True Negative)被预测为负的负样本，在本检测任务中并无实际意义；
2)、mAP是所有类别AP的平均值，作为可以反映模型的综合性能评价指标，反映了模型中各个类别检测精度的平均情况：
其中X指代所有类别缺陷所构成的集合；
3)、准确率：
Accuracy＝(TP+TN)/TP+TN+FP+FN。
测试结果如表2所示，
表2测试结果
从上述实验中可以发现，本发明提出的网络结构具有较高的准确率，准确率达到98.6％，mAP达到96.7％，证明了本发明基于一阶段目标检测网络准确率较高，在导光板缺陷检测的任务上能够取得优异的效果；由于使用的训练集、验证集和测试集均为从在线生产实际获得的导光板图像，同时也验证了本发明也适用于在线生产的检测。
步骤5、使用训练好的一阶段目标检测网络进行缺陷检测并输出结果
使用特征提取子网络对经过步骤2图像预处理后的H×W×1的小图像提取四个多尺度特征图，分别是P1、P2、P3、P4；然后通过特征融合子网络的图像金字塔使用特征融合的方式获得四个有效的特征层，分别是P1_out、P2_out、P3_out、P4_out，将这四个有效的特征层经过分类和回归子网络的class+box subnets结构即可获得导光板缺陷的预测结果，并在上位机中显示预测结果。
对比实验1：
采用带有线缺陷、点缺陷、面缺陷的导光板图像各一张，其中线缺陷的导光板图像上含有深线缺陷和浅线缺陷各一条，如图6所示，将导光板图像在上位机中首先经过实施例1所述的步骤2图像预处理后获得H×W×1的小图像，然后将H×W×1的小图像分别输入RetinaNet网络和本发明的一阶段目标检测网络，进行缺陷检测的对比实验，输出结果显示本发明的一阶段目标检测网络识别出所有的缺陷，而RetinaNet网络对于浅线缺陷和点缺陷不能识别，说明本发明能够提高小目标缺陷的检测能力和检测精度。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (3)

1.基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，其特征在于，包括如下步骤：
S01、采集导光板图像：利用16K线阵相机采集导光板图像并传到上位机处理；
S02、图像预处理：利用阈值分割技术获得导光板ROI的区域图像，然后，将导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像，其中相邻的小图像之间有1/10图像宽度的左右重叠；
S03、建立并训练一阶段目标检测网络，一阶段目标检测网络包括主干特征提取子网络、特征融合子网络、分类和回归子网络；
S04、缺陷检测：
将S02图像预处理后的H×W×1的小图像输入S03训练好的一阶段目标检测网络，使用特征提取子网络对H×W×1的小图像提取四个多尺度特征图，然后通过特征融合子网络的图像金字塔使用特征融合的方式获得四个有效的特征层，将这四个有效的特征层传输经过分类和回归子网络获得导光板缺陷的预测结果，并在上位机中显示预测结果；
所述主干特征提取子网络包括5个卷积层的批量残差网络ResNeXt50网络为基线网络，将基线ResNeXt50网络中卷积层Conv2、Conv3、Conv4和Conv5的每个ResNeXt_block中下半部分1X1卷积均用Ghost_Module替换；主干特征提取子网络的输入为S02获得的H×W×1的小图像，输出为卷积层Conv2、Conv3、Conv4和Conv5各自输出的多尺度特征图p1、p2、p3和p4；
所述特征融合子网络的输入为多尺度特征图p1、p2、p3和p4，首先经过1x1卷积模块进行通道调整变为p1_in、p2_in、p3_in、p4_in，然后通过特征金字塔使用特征融合的方式获得四个有效特征层P1_out、P2_out、P3_out、P4_out；
主干特征提取子网络输出多尺度特征图p1、多尺度特征图p2、多尺度特征图p3和多尺度特征图p4，分别采用1x1的卷积模块进行通道调整变为p1_in、p2_in、p3_in、p4_in，输入特征金字塔；p4_in上采样之后与p3_in进行堆叠得p3_td，p3_td继续进行上采样后与p2_in进行堆叠得到p2_td，p2_td也进行上采样后再与p1_in进行堆叠得到p1_tg，完成特征融合子网络IFPN的第一部分；
p1_tg进行下采样后与p2_td及p2_in三者进行堆叠得到p2_tg，在堆叠时引入了注意力机制；p2_tg进行一次下采样后与p3_td进行堆叠，得到p3_tg，p3_tg进行一次下采样之后与p4_in完成一次堆叠后得到P4_out；
P4_out上采样后与p3_tg进行堆叠得到P3_out，P3_out完成一次上采样之后与p2_tg进行堆叠得到P2_out，P2_out继续进行一步上采样后与p1_tg及p1_in进行带有注意力机制的堆叠得到P1_out；堆叠时采用特征层相加后进行3X3深度可分离卷积，并用1X1卷积进行通道调整；
所述分类和回归子网络包括四个class+box subnet结构，每个class+box subnet结构均包括class subnet和box subnet，class subnet包括4次256通道的卷积和1次num_priors xnum_classes的卷积，num_priors x num_classes的卷积预测该有效特征层上每一个网格点上每一个预测框对应的种类，num_priors指的是该有效特征层所拥有的先验框数量，num_classes指的是网络一共对多少类的目标进行检测；
box subnet包括4次256通道的卷积和1次num_priors x 4的卷积，4指的是先验框的调整情况，num_priors x 4的卷积预测该有效特征层上每一个网格点上每一个先验框的变化情况；将四个有效特征层P1_out、P2_out、P3_out、P4_out分别各自传输经过一个class+boxsubnets结构，最终，每个class+box subnet结构均输出一个预测结果：目标位置信息以及该有效特征层上每一个网格点上每一个预测框对应的种类。
2.根据权利要求1所述的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，其特征在于：
训练一阶段目标检测网络，包括：
S0301、建立训练数据集：采集导光板图像建立数据集，并对数据集中的图像手工标注，标注时使用矩形框将缺陷框选出来，并且输入对应的缺陷名称；然后使用背景替换、亮度变换方法对数据集图像进行数据增强后，按照7：2：1的比例划分为训练集、验证集和测试集；
S0302、建立损失函数Focal loss：
Fl(pt)＝-αt(1-pt)γlog(pt)
其中pt表示预测正确的概率，αt是权重，αt取0.25，γ表示可调聚焦参数，γ取2；
S0303、训练
优化器采用Adam优化器，学习率为1x10-5；将S0301建立的训练集图像输入到所述一阶段目标检测网络中进行训练，一阶段目标检测网络的输出预测结果与手工标注通过损失函数Focal loss计算当前轮次一阶段目标检测网络的损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降，若当前训练轮次中验证集损失低于上一轮次中验证集损失，则保存当前轮次的模型，一阶段目标检测网络共训练200轮；然后通过测试集测试并获得训练好的一阶段目标检测网络。
3.根据权利要求2所述的基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法，其特征在于：
所述主干特征提取子网络的每个卷积操作后均进行归一化BN和激活函数ReLU操作，归一化BN定义为：将输入像素点xi先减去均值μ然后除以均方差得到归一化的值/>然后进行尺度变换和偏移得到批归一化处理后的值yi，其中：
n为批处理大小；ε为固定值，防止除0错误；γ和β是网络学习到的参数；
激活函数ReLU定义为：
CN202110635854.7A 2021-06-08 2021-06-08 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法 Active CN113421230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635854.7A CN113421230B (zh) 2021-06-08 2021-06-08 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635854.7A CN113421230B (zh) 2021-06-08 2021-06-08 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法

Publications (2)

Publication Number Publication Date
CN113421230A CN113421230A (zh) 2021-09-21
CN113421230B true CN113421230B (zh) 2023-10-20

Family

ID=77788104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110635854.7A Active CN113421230B (zh) 2021-06-08 2021-06-08 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法

Country Status (1)

Country Link
CN (1) CN113421230B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612443B (zh) * 2022-03-16 2022-11-22 南京航空航天大学 一种多模态数据复杂缺陷特征检测方法
CN114612444B (zh) * 2022-03-16 2023-02-03 南京航空航天大学 一种基于渐进式分割网络的细微缺陷分析方法
CN115018934B (zh) * 2022-07-05 2024-05-31 浙江大学 结合十字骨架窗口和图像金字塔的立体图像深度检测方法
CN115775236B (zh) * 2022-11-24 2023-07-14 广东工业大学 基于多尺度特征融合的表面微小缺陷视觉检测方法及***
CN116503382B (zh) * 2023-05-25 2023-10-13 中导光电设备股份有限公司 一种显示屏划痕缺陷检测的方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401419A (zh) * 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 基于改进RetinaNet的员工着装规范检测方法
CN111951249A (zh) * 2020-08-13 2020-11-17 浙江理工大学 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN112036236A (zh) * 2020-07-22 2020-12-04 济南浪潮高新科技投资发展有限公司 一种基于GhostNet的检测模型的训练方法、设备及介质
CN112163602A (zh) * 2020-09-14 2021-01-01 湖北工业大学 一种基于深度神经网络的目标检测方法
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401419A (zh) * 2020-03-05 2020-07-10 浙江理工大学桐乡研究院有限公司 基于改进RetinaNet的员工着装规范检测方法
CN112036236A (zh) * 2020-07-22 2020-12-04 济南浪潮高新科技投资发展有限公司 一种基于GhostNet的检测模型的训练方法、设备及介质
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN111951249A (zh) * 2020-08-13 2020-11-17 浙江理工大学 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN112163602A (zh) * 2020-09-14 2021-01-01 湖北工业大学 一种基于深度神经网络的目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Focal Loss for Dense Object Detection;Tsung-Yi Lin et al.;《arXiv:1708.02002v2》;第1-10页 *
Image-to-Image Style Transfer Based on the Ghost Module;Yan Jiang et al.;《Computers, Materials & Continua》;第4051-4067页 *
Small-Object Detection in UAV-Captured Images via Multi-Branch Parallel Feature Pyramid Networks;YINGJIE LIU et al.;《IEEE Access》;第145740-145750页 *
基于 ＲｅｔｉｎａＮｅｔ的手机主板缺陷检测研究;马美荣等;《计算机工程与科学》;第673-682页 *
融合改进 FPN 与关联网络的 Faster R⁃CNN 目标检测;汪常建等;《https://kns.cnki.net/kcms/detail/31.1289.TP.20210208.1426.002.html》;第1-14页 *

Also Published As

Publication number Publication date
CN113421230A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113421230B (zh) 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法
CN111951249A (zh) 基于多任务学习网络的手机导光板缺陷可视化检测方法
CN102735695B (zh) 一种镜片瑕疵快速检测方法及装置
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
CN109822398B (zh) 一种基于深度学习的数控机床断刀检测***及方法
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN109307675A (zh) 一种产品外观检测方法和***
CN102303017B (zh) 机器视觉***对注射器钢针弯针的自动检测方法
CN102967586B (zh) 基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置
CN109165538A (zh) 基于深度神经网络的条形码检测方法及装置
CN110473179A (zh) 一种基于深度学习的薄膜表面缺陷检测方法、***及设备
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN110070521A (zh) 一种基于视觉神经学习的3d打印模型瑕疵预判***及方法
CN112243519A (zh) 光学测试件的材料测试
CN108564577A (zh) 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
CN113379734A (zh) 质量检测方法、装置、设备及计算机可读存储介质
CN113327243B (zh) 基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法
CN109115775A (zh) 一种基于机器视觉的槟榔等级检测方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN102303018A (zh) 机器视觉***对注射器钢针毛刺的自动检测方法
CN109997199A (zh) 基于深度学习的结核病检查方法
CN115294024A (zh) 硒鼓缺陷检测方法、装置、电子设备及存储介质
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及***
CN115035082A (zh) 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法
TWI747686B (zh) 缺陷檢測方法及檢測裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240617

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 310018, No. 2, No. 5, Xiasha Higher Education Park, Hangzhou, Zhejiang

Patentee before: ZHEJIANG SCI-TECH University

Country or region before: China