CN113569737A - 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质 - Google Patents

基于自主学习网络模型笔记本屏幕缺陷检测方法及介质 Download PDF

Info

Publication number
CN113569737A
CN113569737A CN202110859010.0A CN202110859010A CN113569737A CN 113569737 A CN113569737 A CN 113569737A CN 202110859010 A CN202110859010 A CN 202110859010A CN 113569737 A CN113569737 A CN 113569737A
Authority
CN
China
Prior art keywords
model
notebook
training
network model
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110859010.0A
Other languages
English (en)
Inventor
许镇义
康宇
曹洋
王伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202110859010.0A priority Critical patent/CN113569737A/zh
Publication of CN113569737A publication Critical patent/CN113569737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明的一种基于自主学习网络模型笔记本屏幕缺陷检测方法及介质，包括构建笔记本屏幕检测模型，获取笔记本生产线下的高清摄像头视频进行预处理后输入笔记本屏幕检测模型，对笔记本屏幕生产线高清摄像头的待检测视频进行检测，并得出检测结果；本发明的基于自主学习网络模型笔记本屏幕缺陷检测方法，即基于自主学习的笔记本屏幕的缺陷检测和分类方法，可降低传统的笔记本生产线时间、资金成本，同时引入智能化检测和分类，对产业转型升级，提升产品质量，增强竞争力具有重大意义。

Description

基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
技术领域
本发明涉及智能制造缺陷检测技术领域，具体涉及一种基于自主学习网络模型笔记本屏幕缺陷检测方法。
背景技术
传统外观缺陷检测方法采用人工检测，具有耗时、人力成本高、误检率高等缺陷，之后工业引入ASI(自动化表面缺陷检测)***，但大多基于传统的机器视觉技术包括：
1)基于传统数字图像处理加机器学习的方法。此类方法首先基于人类经验，人工制造特征(特征工程)，之后利用机器学习方法(如支持向量机、模板匹配)训练样本，进而判断笔记本外观是否存在缺陷。
2)基于深度学习的笔外观缺陷检测方法。相较于传统机器学习方法，深度学习一般不需要各种人工设计图像预处理技术，适应和推广性更强，而且在大样本训练下可以得到更准确的外观缺陷检测结果，近些年得到了广泛的应用。
在上述两种方法中，前者算法复杂度低，可轻松移植在普通嵌入式设备中，但精度不高，存在误检、漏检等情况，且适应场景较为单一，迁移性差；后者适应性广，精度高，虽避免了复杂的传统特征工程，但算法复杂度高，需要大量的训练样本，实际应用中很可能没有或较少可用于训练的样本，同时若选择人工标注数据也需要大量时间和资金成本,实现难度大。
发明内容
本发明提出的一种基于自主学习网络模型笔记本屏幕缺陷检测方法及介质，用于克服传统机器学习在检测精度不高，场景适应性单一、迁移性差以及近年基于深度学习缺陷检测需要大量样本数据等情况，即本发明是一种适用于复杂场景、少样本情形下具有自主学习策略的笔记本表面缺陷检测和分类算法。
为实现上述目的，本发明采用了以下技术方案：
一种基于自主学习网络模型笔记本屏幕缺陷检测方法，包括以下步骤：获取笔记本生产线下的高清摄像头视频进行预处理后输入笔记本屏幕检测模型，对笔记本屏幕生产线高清摄像头的待检测视频进行检测，并得出检测结果；
其中，笔记本屏幕检测模型的构建步骤如下：
步骤1：针对事先获取的笔记本生产线下的高清摄像头视频，对包含检测目标的视频进行关键帧提取，获取原始样本图片并进行预处理获得一定数量的原始数据集图片；再对原始数据集图片中包含指定生产缺陷的像素区域进行人工标定，获取生产缺陷的坐标信息作为后续训练模型的输入；
步骤2：建立缺陷检测网络模型，使用k-means聚类方法，获取数据集中包含缺陷图片的先验框位置，采用交叉熵损失函数，对构建的深度网络模型训练，调整网络模型参数，得到目标检测模型；
步骤3：获取生产线高清摄像头的待检测视频，送入预训练好的目标检测模型，直接输出检测结果，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后模型再反向调整模型参数，如此达到设定次数后，得到稳定的网络模型。
进一步的，所述步骤1包括以下步骤：
S11：采集笔记本外观生产线高清摄像头下的检测视频，然后提取包含外观缺陷的视频关键帧原始样本，对原始样本使用“中心式归一化”(mean normalization)图像预处理，构建训练样本集；
S12：对数据集图片中包含外观缺陷的像素区域用矩形框进行标注，其中，一张数据集图片中包含多个矩形框，即多处外观缺陷，但每个矩形框仅包含一个待检测的目标，标注后的标签结果按照VOC数据集格式保存在xml文件中；其中，每张图片对应一个同名的xml文件，包含该数据集图片中每个矩形框的中心点坐标信息(x,y)，矩形框的宽w和矩形框的高h；此处对每个batch图片中的标签，即(x,y,w,h)进行了尺寸的归一化，即在原图坐标系下根据原图纵横比不变映射为256*256坐标下的一个子区域，并将变换后的坐标信息存储在xml文件中，作为后续训练模型的输入。
进一步的，所述步骤2中的缺陷检测网络模型包括输入层，GoogLeNet主体骨干网络，AL决策层和输出层，此外由于外观缺陷多为点状或线性结构，因此移除了GoogLeNet中的两个softmax层，加速网络训练；
GoogLeNet主体骨干网络是一个22层的深度网络，网络具有三组Inception模块，三组Inception模块被池化层分隔；
其中Inception模块为用密集成分来近似最优的局部稀疏结构，该结构将常用的卷积核(1*1，3*3，5*5)、池化操作堆叠在一起，不仅增加了网络深度，而且增加了网络对尺度的适应性；
输入图像进尺寸归一化后为224*224*3输入第一层，之后经64个步长2的7*7*3的卷积核输出112*112*64数据，再输入ReLU激活，然后通过最大池化操作降低网络参数，作为Inception模块的输入。
进一步的，所述步骤2的训练步骤如下：
S21:对骨干网络GoogLeNet使用公开数据集预训练，得到原始参数；
S22：对于数据及图片中标注的矩形框，聚类获得anchorbox，此处，先将所有训练图片的矩形框的坐标信息提取出来，而后由两个坐标信息得到矩形框的宽高信息，采用k-means聚类的方法，处理所有训练数据bounding boxes的宽高数据，处理过程如下：
先初始化k个anchor box，通过在所有的矩形框bounding boxes中随机选取k个值作为k个anchor boxes的初始值；
而后，计算每个bounding box与每个anchor box的IoU值，产生k个宽、高组合的anchor boxes，这里IoU为“预测的边框”和“真实的边框”的交集和并集的比值；
然后，计算每个标注框和每个聚类中心点的距离d＝1-IoU(标注框,聚类中心)，计算时每个标注框的中心点都与聚类中心重合，这样才能计算IOU值，即
d＝1-IoU[(xj,yj,wj,hj),(xj,yj,Wj,Hj)]
j∈{1,2,…,N},i∈{1,2,…,k}
将标注框分配给“距离”最近的聚类中心；
所有标注框分配完毕以后，对每个簇重新计算聚类中心点，更新anchorbox的宽高值；
计算方式为
Figure BDA0003185071070000041
Ni是第i个簇的标注框个数，求得该簇中所有标注框的宽和高的平均值；
重复以上的步骤，到聚类中心改变量达设定值，得到由外观缺陷数据集的boundingbox聚类获得的anchorbox；
S23、将训练集输入得到初始参数的骨干网络GoogLeNet中，提取相应的特征图；
S24、利用S22中聚类得到的anchorbox，对外观缺陷特征图进行预测，得到图中预测的外观缺陷区域预测框的中心坐标((bx,by)、预测框的宽高、含有外观缺陷的概率和对象条件类别概率；
S25、经过规定的次数和调整学习率参数，训练后，得到满足要求的分类结果的笔记本外观缺陷检测模型。
进一步的，对于步骤S3：将框定的疑似包含外观缺陷输入到已经训练好的目标检测模型中，进行检测，判断疑似区域中是否存在，对可以预测的检测结果直接输出，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后输入模型再反向调整模型参数。
另一方面，本发明还公开一种基于自主学习网络模型笔记本屏幕缺陷检测装置，包括以下单元，
数据获取单元，用于获取笔记本生产线下的高清摄像头视频；
数据处理单元，用于对于获取到的高清摄像头视频进行预处理；
检测单元，用于把处理后的视频数据输入笔记本屏幕检测模型，对笔记本屏幕生产线高清摄像头的待检测视频进行检测，并得出检测结果；
屏幕检测模型的构建单元，其中构建步骤如下：
步骤1：针对事先获取的笔记本生产线下的高清摄像头视频，对包含检测目标的视频进行关键帧提取，获取原始样本图片并进行预处理获得一定数量的原始数据集图片；再对原始数据集图片中包含指定生产缺陷的像素区域进行人工标定，获取生产缺陷的坐标信息作为后续训练模型的输入；
步骤2：建立缺陷检测网络模型，使用k-means聚类方法，获取数据集中包含缺陷图片的先验框位置，采用交叉熵损失函数，对构建的深度网络模型训练，调整网络模型参数，得到目标检测模型；
步骤3：获取生产线高清摄像头的待检测视频，送入预训练好的目标检测模型，直接输出检测结果，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后模型再反向调整模型参数，如此达到设定次数后，得到稳定的网络模型。
第三方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
由上述技术方案可知，本发明的基于自主学习网络模型笔记本屏幕缺陷检测方法，即基于自主学习的笔记本屏幕的缺陷检测和分类方法，可降低传统的笔记本生产线时间、资金成本，同时引入智能化检测和分类，对产业转型升级，提升产品质量，增强竞争力具有重大意义。
需要说明的是：本发明中所需的人工标注训练样本集是少量的，第一次训练的网络模型仅是能较好检测输入视频帧的目标网络模型，其目的是减少人工标注样本花费的时间与精力，之后在实际生产实践中二次会加入人工因素，半自动化的产生新训练样本，用于重新调整网络模型参数，优化模型参数。
具体的说，本发明的优点如下：
(1)减少人工标注笔记本屏幕缺陷样本花费的时间与精力；
(2)在少样本网络模型训练具有良好的表现，较高成功率检测出笔记本屏幕生产过程中产生的缺陷，降低传统人工检测的误检率、人力成本以及提高笔记本屏幕生产线效率。
附图说明
图1是本发明的方法原理图；
图2是本发明的网络结构框图；
图3是本发明的inception模块的基本结构；
图4是本发明实施例的测试结果参考图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
如图1所示，本实施例所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，包括：
步骤1：获取笔记本生产线下的高清摄像头视频，对包含检测目标的视频进行关键帧提取，获取原始样本图片；而后，对原始样本图片使用图片增强等预处理手段，获得合适数量的原始数据集图片；最后，对原始数据集图片中包含生产缺陷(划痕、凹陷等)的像素区域进行人工标定，获取生产缺陷的坐标信息作为后续训练模型的输入。
步骤2：建立缺陷检测网络模型，使用k-means聚类方法，获取数据集中包含缺陷图片的先验框位置，采用交叉熵损失函数，对构建的深度网络模型训练，调整网络模型参数，得到一个可以较好预测结果的模型。
步骤3：对生产线高清摄像头的待检测视频，送入预训练好的目标检测模型，对可以预测的检测结果直接输出，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后模型再反向调整模型参数，如此多次后，得到稳定的网络模型。
进一步地，在步骤1中具体步骤细分为：
S11：采集笔记本外观生产线高清摄像头下的检测视频，然后提取提取包含外观缺陷的视频关键帧原始样本，对原始样本使用“中心式归一化”(mean normalization)图像预处理，构建训练样本集。
S12：对数据集图片中包含外观缺陷的像素区域用矩形框进行标注，其中，一张数据集图片中可以包含多个矩形框，即多处外观缺陷，但每个矩形框仅包含一个待检测的目标，标注后的标签结果按照VOC数据集格式保存在xml文件中；其中，每张图片对应一个同名的xml文件，包含该数据集图片中每个矩形框的中心点坐标信息(x,y)，矩形框的宽w和矩形框的高h。需要注意的是，此处对每个batch图片中的标签，即(x,y,w,h)进行了尺寸的归一化，即在原图坐标系下根据原图纵横比不变映射为256*256坐标下的一个子区域，并将变换后的坐标信息存储在xml文件中，作为后续训练模型的输入。
对上述步骤S2中构建的目标监测模型结构，参照图2，包括输入层，GoogLeNet主体骨干网络，AL决策层和输出层，此外由于外观缺陷多为点状或线性结构，因此移除了GoogLeNet中的两个softmax层，加速网络训练。
如图2和图3所示，本发明实施例的GoogLeNet主体骨干网络是一个22层的深度网络，网络具有3组Inception模块分别为：
inception(3a)/inception(3b),inception(4a)/inception(4b)/inception(4c)/inception(4d)/inception(4e),inception(5a)/inception(5b)。三组Inception模块被池化层分隔。其中Inception结构的主要思路就是用密集成分来近似最优的局部稀疏结构，该结构将常用的卷积核(1*1，3*3，5*5)、池化操作堆叠在一起，不仅增加了网络深度，而且增加了网络对尺度的适应性。输入图像进尺寸归一化后为224*224*3输入第一层，之后经64个步长2的7*7*3的卷积核输出112*112*64数据，再输入ReLU激活，然后通过最大池化操作降低网络参数，作为Inception模块的输入。其中以Inception3a为例，输入数据经过①64个1*1的卷积核卷积操作，之后由ReLU激活，输出28*28*64；②96个1*1的卷积核卷积，然后3*3的卷积核降维，再进行128个3*3的卷积核卷积操作，输出28*28*128；③16个1*1的卷积核卷积操作，再由5*5的卷积核降维，输出28*28*16，然后经过ReLU激活，再进行32个5*5的卷积，输出28*28*32；④池化层池化操作，通过3*3的卷积核，输出28*28*192，然后使用32个1*1的卷积核，输出28*28*32，最后将四个结果连接，并且对这四部分的输出结果第三维并联，即：64+128+32+32＝256，确定最终输出28*28*256。
经过S1图像预处理的图片作为原始数据输入到GoogLeNet网络模型，用于提取图片特征，并做检测分类。值得提出的是由于GoogLeNet引入Inception层，用容易获得的密集组件进行覆盖近似卷积视觉网络的最优稀疏结构，从而以卷积快为基础，找到最优的局部构造。目前Inception层多为卷积核尺寸1*1，3*3，5*5的组合，其滤波器的组连接成单个输出向量作为下一阶段的输入。同时在计算增加太多的地方，使用1*1卷积核，可以有效达到降维效果。此外由于外观缺陷多为点状或线性结构，因此移除了GoogLeNet中的两个softmax层，用以加速网络训练，并且在最后输出引入了一个AL决策层(将分类器检测结果按概率大小分类输出，用于人工决策)，将分类器无法检测的图像，人工决策后作为训练样本。
在步骤S2中，我们构建目标网络模型并进行训练主要包括以下步骤：
S21:对骨干网络GoogLeNet使用公开数据集预训练，得到原始参数。
S22：对于数据及图片中标注的矩形框，聚类获得anchorbox.此处，我们先将所有训练图片的矩形框的坐标信息提取出来，，而后由两个坐标信息得到矩形框的宽高信息，采用k-means聚类的方法，处理所有训练数据bounding boxes的宽高数据。处理过程如下：
先初始化k个anchor box，通过在所有的矩形框bounding boxes中随机选取k个值作为k个anchor boxes的初始值；
而后，计算每个bounding box与每个anchor box的IoU值，产生k个宽、高组合的anchor boxes，这里IoU为“预测的边框”和“真实的边框”的交集和并集的比值；
然后，计算每个标注框和每个聚类中心点的距离d＝1-IoU(标注框,聚类中心)，其中，标注框为人工标注数据集时圈出的包含检测结果的框；聚类中心为使用聚类算法计算机产生的随机框的中心点；
计算时每个标注框的中心点都与聚类中心重合，这样才能计算IOU值，即
d＝1-IoU[(xj,yj,wj,hj),(xj,yj,Wj,Hj)]
j∈{1,2,…,N},i∈{1,2,…,k}
将标注框分配给“距离”最近的聚类中心；
所有标注框分配完毕以后，对每个簇重新计算聚类中心点，更新anchorbox的宽高值。计算方式为
Figure BDA0003185071070000101
Ni是第i个簇的标注框个数，求得该簇中所有标注框的宽和高的平均值；
重复以上的步骤，到聚类中心改变量很小，得到由外观缺陷数据集的boundingbox聚类获得的anchorbox。
S23、将训练集输入得到初始参数的骨干网络GoogLeNet中，提取相应的特征图。
S24、利用S22中聚类得到的anchorbox，对外观缺陷特征图进行预测，得到图中预测的外观缺陷区域预测框的中心坐标((bx,by)、预测框的宽高、含有外观缺陷的概率和对象条件类别概率。
S25、经过多次调整学习率等参数，训练后，得到较好分类结果的笔记本外观缺陷检测模型。此外为防止过拟合，提出通过预估计训练过程标签丢弃的边缘化效应对分类器进行正则化的机制。对每个训练样本x,模型预测标签k∈{1…K}的可能性：
Figure BDA0003185071070000111
其中Zi是未归一化的逻辑上的概率值，考虑到实际采用q(k|x)，而非p(k|x),其交叉熵损失函数定义为：
Figure BDA0003185071070000112
最小化损失函数等价于最大似然函数，其中Zk可微：
Figure BDA0003185071070000113
但是上述方法用预测概率来拟合真是概率，可能会出现两个问题：(1)：模型过拟合(2)：会鼓励预测值远大于其标签值，且结合梯度有界性，会削弱模型泛型，因此提出一种机制鼓励模型减少预测，称为标签平滑。我们假设一个标签分布u(k)，对于一个训练样本x引入平滑参数，计算q(k|x)代替实际样本x,公式如下：
q′(k|x)＝(1-θ)δk,y+θu(k)
对于步骤S3：将框定的疑似包含外观缺陷输入到已经训练好的目标检测模型中，进行检测，判断疑似区域中是否存在，对可以预测的检测结果直接输出，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后输入模型再反向调整模型参数。
图4是本发明实施例的检测结果参考图，可知本发明的基于自主学习网络模型笔记本屏幕缺陷检测方法可减少人工标注笔记本屏幕缺陷样本花费的时间与精力，在少样本网络模型训练具有良好的表现，较高成功率检测出笔记本屏幕生产过程中产生的缺陷，降低传统人工检测的误检率、人力成本以及提高笔记本屏幕生产线效率。
另一方面，本发明还公开一种基于自主学习网络模型笔记本屏幕缺陷检测装置，包括以下单元，
数据获取单元，用于获取笔记本生产线下的高清摄像头视频；
数据处理单元，用于对于获取到的高清摄像头视频进行预处理；
检测单元，用于把处理后的视频数据输入笔记本屏幕检测模型，对笔记本屏幕生产线高清摄像头的待检测视频进行检测，并得出检测结果；
屏幕检测模型的构建单元，其中构建步骤如下：
步骤1：针对事先获取的笔记本生产线下的高清摄像头视频，对包含检测目标的视频进行关键帧提取，获取原始样本图片并进行预处理获得一定数量的原始数据集图片；再对原始数据集图片中包含指定生产缺陷的像素区域进行人工标定，获取生产缺陷的坐标信息作为后续训练模型的输入；
步骤2：建立缺陷检测网络模型，使用k-means聚类方法，获取数据集中包含缺陷图片的先验框位置，采用交叉熵损失函数，对构建的深度网络模型训练，调整网络模型参数，得到目标检测模型；
步骤3：获取生产线高清摄像头的待检测视频，送入预训练好的目标检测模型，直接输出检测结果，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后模型再反向调整模型参数，如此达到设定次数后，得到稳定的网络模型。
第三方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
可理解的是，本发明实施例提供的***与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：包括构建笔记本屏幕检测模型，获取笔记本生产线下的高清摄像头视频进行预处理后输入笔记本屏幕检测模型，对笔记本屏幕生产线高清摄像头的待检测视频进行检测，并得出检测结果；
其中，笔记本屏幕检测模型的构建步骤如下：
步骤1：针对事先获取的笔记本生产线下的高清摄像头视频，对包含检测目标的视频进行关键帧提取，获取原始样本图片并进行预处理获得一定数量的原始数据集图片；再对原始数据集图片中包含指定生产缺陷的像素区域进行人工标定，获取生产缺陷的坐标信息作为后续训练模型的输入；
步骤2：建立缺陷检测网络模型，使用k-means聚类方法，获取数据集中包含缺陷图片的先验框位置，采用交叉熵损失函数，对构建的深度网络模型训练，调整网络模型参数，得到目标检测模型；
步骤3：获取生产线高清摄像头的待检测视频，送入预训练好的目标检测模型，直接输出检测结果，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后模型再反向调整模型参数，如此达到设定次数后，得到稳定的网络模型。
2.根据权利要求1所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：所述步骤1包括以下步骤：
S11：采集笔记本外观生产线高清摄像头下的检测视频，然后提取包含外观缺陷的视频关键帧原始样本，对原始样本使用“中心式归一化”(mean normalization)图像预处理，构建训练样本集；
S12：对数据集图片中包含外观缺陷的像素区域用矩形框进行标注，其中，一张数据集图片中包含多个矩形框，即多处外观缺陷，但每个矩形框仅包含一个待检测的目标，标注后的标签结果按照VOC数据集格式保存在xml文件中；其中，每张图片对应一个同名的xml文件，包含该数据集图片中每个矩形框的中心点坐标信息(x,y)，矩形框的宽w和矩形框的高h；此处对每个batch图片中的标签，即(x,y,w,h)进行了尺寸的归一化，即在原图坐标系下根据原图纵横比不变映射为256*256坐标下的一个子区域，并将变换后的坐标信息存储在xml文件中，作为后续训练模型的输入。
3.根据权利要求2所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：所述步骤2中的缺陷检测网络模型包括输入层，GoogLeNet主体骨干网络，AL决策层和输出层，此外由于外观缺陷多为点状或线性结构，因此移除了GoogLeNet中的两个softmax层，加速网络训练；
GoogLeNet主体骨干网络是一个22层的深度网络，网络具有三组Inception模块，三组Inception模块被池化层分隔；
其中Inception模块为用密集成分来近似最优的局部稀疏结构，该结构将常用的卷积核(1*1，3*3，5*5)、池化操作堆叠在一起，不仅增加了网络深度，而且增加了网络对尺度的适应性；
输入图像进尺寸归一化后为224*224*3输入第一层，之后经64个步长2的7*7*3的卷积核输出112*112*64数据，再输入ReLU激活，然后通过最大池化操作降低网络参数，作为Inception模块的输入。
4.根据权利要求3所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：
Inception模块的卷积算法如下：
输入数据经过①64个1*1的卷积核卷积操作，之后由ReLU激活，输出28*28*64；②96个1*1的卷积核卷积，然后3*3的卷积核降维，再进行128个3*3的卷积核卷积操作，输出28*28*128；③16个1*1的卷积核卷积操作，再由5*5的卷积核降维，输出28*28*16，然后经过ReLU激活，再进行32个5*5的卷积，输出28*28*32；④池化层池化操作，通过3*3的卷积核，输出28*28*192，然后使用32个1*1的卷积核，输出28*28*32，最后将四个结果连接，并且对这四部分的输出结果第三维并联，即：64+128+32+32＝256，确定最终输出28*28*256。
5.根据权利要求4所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：所述步骤2的训练步骤如下：
S21:对骨干网络GoogLeNet使用公开数据集预训练，得到原始参数；
S22：对于数据及图片中标注的矩形框，聚类获得anchorbox，此处，先将所有训练图片的矩形框的坐标信息提取出来，而后由两个坐标信息得到矩形框的宽高信息，采用k-means聚类的方法，处理所有训练数据bounding boxes的宽高数据，处理过程如下：
先初始化k个anchor box，通过在所有的矩形框bounding boxes中随机选取k个值作为k个anchor boxes的初始值；
而后，计算每个bounding box与每个anchor box的IoU值，产生k个宽、高组合的anchorboxes，这里IoU为“预测的边框”和“真实的边框”的交集和并集的比值；
然后，计算每个标注框和每个聚类中心点的距离d＝1-IoU(标注框,聚类中心)，计算时每个标注框的中心点都与聚类中心重合，这样才能计算IOU值，即
d＝1-IoU[(xj，yj，wj，hj)，(xj，yj，Wj，Hj)]
j∈{1,2,...,N},i∈{1,2,...,k}
将标注框分配给“距离”最近的聚类中心；
所有标注框分配完毕以后，对每个簇重新计算聚类中心点，更新anchorbox的宽高值；
计算方式为
Figure FDA0003185071060000041
Ni是第i个簇的标注框个数，求得该簇中所有标注框的宽和高的平均值；
重复以上的步骤，到聚类中心改变量达设定值，得到由外观缺陷数据集的boundingbox聚类获得的anchorbox；
S23、将训练集输入得到初始参数的骨干网络GoogLeNet中，提取相应的特征图；
S24、利用S22中聚类得到的anchorbox，对外观缺陷特征图进行预测，得到图中预测的外观缺陷区域预测框的中心坐标((bx,by)、预测框的宽高、含有外观缺陷的概率和对象条件类别概率；
S25、经过规定的次数和调整学习率参数，训练后，得到满足要求的分类结果的笔记本外观缺陷检测模型。
6.根据权利要求5所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：所述步骤2还包括通过预估计训练过程标签丢弃的边缘化效应对分类器进行正则化，具体包括：
设每个训练样本x,模型预测标签k∈{1…K}的可能性：
Figure FDA0003185071060000042
其中Zi是未归一化的逻辑上的概率值，考虑到实际采用q(k|x)，而非p(k|x),其交叉熵损失函数定义为：
Figure FDA0003185071060000043
最小化损失函数等价于最大似然函数，其中Zk可微：
Figure FDA0003185071060000044
7.根据权利要求6所述的基于自主学***滑参数θ，计算q(k|x)代替实际样本x,公式如下：
q′(k|x)＝(1-θ)δk，y+θu(k)。
8.根据权利要求7所述的基于自主学习网络模型笔记本屏幕缺陷检测方法，其特征在于：对于步骤S3：将框定的疑似包含外观缺陷输入到已经训练好的目标检测模型中，进行检测，判断疑似区域中是否存在，对可以预测的检测结果直接输出，对网络模型难以分辨的视频帧，按预测缺陷目标概率大小排序，之后由人对其校验，作为训练样本集，之后输入模型再反向调整模型参数。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
CN202110859010.0A 2021-07-28 2021-07-28 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质 Pending CN113569737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110859010.0A CN113569737A (zh) 2021-07-28 2021-07-28 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110859010.0A CN113569737A (zh) 2021-07-28 2021-07-28 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质

Publications (1)

Publication Number Publication Date
CN113569737A true CN113569737A (zh) 2021-10-29

Family

ID=78168578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110859010.0A Pending CN113569737A (zh) 2021-07-28 2021-07-28 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质

Country Status (1)

Country Link
CN (1) CN113569737A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152245A (zh) * 2023-04-19 2023-05-23 苏州鑫信腾科技有限公司 一种基于人工智能的胶线缺陷检测***
CN118037137A (zh) * 2024-04-11 2024-05-14 中国标准化研究院 一种基于卷积神经网络的产品质量事故数量的确定方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951595A (zh) * 2017-12-20 2019-06-28 广东欧珀移动通信有限公司 智能调节屏幕亮度的方法、装置、存储介质及移动终端
CN110175982A (zh) * 2019-04-16 2019-08-27 浙江大学城市学院 一种基于目标检测的缺陷检测方法
CN110263630A (zh) * 2019-05-10 2019-09-20 中国地质大学（武汉） 一种基于Inception模型的卷积神经网络的铝材瑕疵识别设备
CN110472545A (zh) * 2019-08-06 2019-11-19 中北大学 基于知识迁移学习的航拍电力部件图像的分类方法
CN110766153A (zh) * 2018-07-27 2020-02-07 Tcl集团股份有限公司 神经网络模型训练方法、装置及终端设备
CN111179223A (zh) * 2019-12-12 2020-05-19 天津大学 基于深度学习的工业自动化缺陷检测方法
CN111242898A (zh) * 2019-12-31 2020-06-05 武汉中创融科科技股份有限公司 基于深度神经网络的列车受电弓磨损检测方法及***
CN111612784A (zh) * 2020-06-01 2020-09-01 南通大学 一种基于分类优先yolo网络的钢板表面缺陷检测方法
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
US20200349875A1 (en) * 2018-07-02 2020-11-05 Beijing Baidu Netcom Science Technology Co., Ltd. Display screen quality detection method, apparatus, electronic device and storage medium
US20200357109A1 (en) * 2018-07-02 2020-11-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method for detecting display screen quality, apparatus, electronic device and storage medium
CN111950525A (zh) * 2020-08-31 2020-11-17 福州大学 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
WO2021082923A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN112907561A (zh) * 2021-03-16 2021-06-04 中科海拓(无锡)科技有限公司 一种基于深度学习的笔记本外观瑕疵检测方法
CN113139940A (zh) * 2021-04-21 2021-07-20 金华职业技术学院 一种基于计算机视觉的钢板表面裂纹检测算法及处理设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109951595A (zh) * 2017-12-20 2019-06-28 广东欧珀移动通信有限公司 智能调节屏幕亮度的方法、装置、存储介质及移动终端
US20200357109A1 (en) * 2018-07-02 2020-11-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method for detecting display screen quality, apparatus, electronic device and storage medium
US20200349875A1 (en) * 2018-07-02 2020-11-05 Beijing Baidu Netcom Science Technology Co., Ltd. Display screen quality detection method, apparatus, electronic device and storage medium
CN110766153A (zh) * 2018-07-27 2020-02-07 Tcl集团股份有限公司 神经网络模型训练方法、装置及终端设备
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN110175982A (zh) * 2019-04-16 2019-08-27 浙江大学城市学院 一种基于目标检测的缺陷检测方法
CN110263630A (zh) * 2019-05-10 2019-09-20 中国地质大学（武汉） 一种基于Inception模型的卷积神经网络的铝材瑕疵识别设备
CN110472545A (zh) * 2019-08-06 2019-11-19 中北大学 基于知识迁移学习的航拍电力部件图像的分类方法
WO2021082923A1 (zh) * 2019-10-28 2021-05-06 上海悦易网络信息技术有限公司 一种电子设备屏幕区域瑕疵检测方法与设备
CN111179223A (zh) * 2019-12-12 2020-05-19 天津大学 基于深度学习的工业自动化缺陷检测方法
CN111242898A (zh) * 2019-12-31 2020-06-05 武汉中创融科科技股份有限公司 基于深度神经网络的列车受电弓磨损检测方法及***
CN111612784A (zh) * 2020-06-01 2020-09-01 南通大学 一种基于分类优先yolo网络的钢板表面缺陷检测方法
CN111950525A (zh) * 2020-08-31 2020-11-17 福州大学 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法
CN112907561A (zh) * 2021-03-16 2021-06-04 中科海拓(无锡)科技有限公司 一种基于深度学习的笔记本外观瑕疵检测方法
CN113139940A (zh) * 2021-04-21 2021-07-20 金华职业技术学院 一种基于计算机视觉的钢板表面裂纹检测算法及处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳锋;李俊峰;戴文战;: "基于深度学习语义分割的导光板缺陷检测方法", 计算机***应用, no. 06 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152245A (zh) * 2023-04-19 2023-05-23 苏州鑫信腾科技有限公司 一种基于人工智能的胶线缺陷检测***
CN118037137A (zh) * 2024-04-11 2024-05-14 中国标准化研究院 一种基于卷积神经网络的产品质量事故数量的确定方法
CN118037137B (zh) * 2024-04-11 2024-07-05 中国标准化研究院 一种基于卷积神经网络的产品质量事故数量的确定方法

Similar Documents

Publication Publication Date Title
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN110135503B (zh) 一种装配机器人零件深度学习识别方法
CN111540006B (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及***
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN110929795B (zh) 高速焊线机焊点快速识别与定位方法
CN111462120A (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN110610210B (zh) 一种多目标检测方法
CN113569737A (zh) 基于自主学习网络模型笔记本屏幕缺陷检测方法及介质
CN115880298A (zh) 一种基于无监督预训练的玻璃表面缺陷检测方法及***
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、***及设备
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN114882204A (zh) 船名自动识别方法
CN110508510A (zh) 一种塑料泵缺陷检测方法、装置及***
CN109726754A (zh) 一种lcd屏缺陷识别方法及装置
CN112270404A (zh) 一种基于ResNet64网络的紧固件产品鼓包缺陷的检测结构及其方法
CN113743203A (zh) 基于深度迁移学习网络的笔记本屏幕缺陷检测方法及设备
CN112926694A (zh) 基于改进的神经网络对图像中的猪只进行自动识别的方法
CN113536896A (zh) 基于改进Faser RCNN的小目标检测方法、装置及存储介质
CN117437186A (zh) 一种基于深度学习算法的透明件表面缺陷检测方法及***
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination