CN111833324A - 基于深度学习的光纤插芯缺陷检测方法 - Google Patents

基于深度学习的光纤插芯缺陷检测方法 Download PDF

Info

Publication number
CN111833324A
CN111833324A CN202010658394.5A CN202010658394A CN111833324A CN 111833324 A CN111833324 A CN 111833324A CN 202010658394 A CN202010658394 A CN 202010658394A CN 111833324 A CN111833324 A CN 111833324A
Authority
CN
China
Prior art keywords
sample
layer
judgment
image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010658394.5A
Other languages
English (en)
Inventor
陈柳兵
倪军
陈琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010658394.5A priority Critical patent/CN111833324A/zh
Publication of CN111833324A publication Critical patent/CN111833324A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的光纤插芯表面缺陷检测方法，本方法创新点在于将深度学习缺陷检测算法和传统缺陷检测算法联合使用，实现严格度可控的缺陷检测方法，增加通用性，通过使用CNN卷积神经网络对检测出的光纤插芯表面缺陷进行分类，在通过传统的特征检测缺陷识别，例如，划痕长度，缺损大小，中心圆孔的完整度等，再次判断被检测样品是否合格，通过调整特征检测算法的判断条件来达到控制识别阈值的目的，以此满足不同企业产品生产的不同标准，本方法具有，计算效率高，鲁棒性强，精确度高，阈值可调，适用范围广等优点。

Description

基于深度学习的光纤插芯缺陷检测方法
技术领域
本发明涉及一种光纤插芯表面缺陷检测的方法，运用了深度学习算法的自适应和高精确的特性，同时结合了传统特征检测算法判断条件可调节，适用性高的优点。
背景技术
随着网络技术的飞速发展，光纤作为网络通信最重要的载体，承载着世界信息交流的使命，光纤插芯作为连接光纤之间的桥梁，其重要性自然不言而喻，光纤插芯生产的质量就是确保信息传递效率的重要问题之一，目前光纤插芯的生产厂家众多，标准繁多，检测的方法也各不相同，有使用人工目视检测的，抽查检测，或者传统的特征识别检测，为提高光纤插芯出厂的合格率，发明一种准确率高，适用性强的算法据有重大意义。
传统检测算法，对于缺陷特征的识别率有限，尤其是对缺陷种类进行区分时，难度巨大，光纤插芯陶瓷截断面在烧制，切割时产生的缺陷和瑕疵种类繁多，并且这些缺陷不是单一存在，有可能会混合出现，缺陷种类的界限不清晰，传统算法即使检测出不合格产品，厂家也不能有针对性的对生产工序进行调整；而单纯的深度学习检测算法虽然有着很高的准确率，但因基于有限的样本，和深度学习神经网络带的自适应性，并不能人为的对判断条件进行及时的修改，改变判断条件只能重新选取样本，重新训练神经网络模型，这就对用户的使用造成了不必要的麻烦。
基于深度学习的此方法结合了传统算法判断条件可控的优点，对深度神经网络检测分类后的样品进行了二次检测，添加了可控的判断条件，结合了深度学习算法的优点，同时实现了传统算法的判断条件可控，在保证算法精确度高的情况下，提高了此方法的通用性。
发明内容
本发明主要目的在于提供一种精确度高，通用性强的可以适应不同生产标准的光纤插芯表面缺陷检测的方法。
本发明的构建方案：
基于深度学习的光纤插芯表面缺陷检测方法参见图1，构建过程如下：
（1）创建检测数据集合：要求样本总量大于5000各类缺损样本大于500，良好样本数量大于1000，要求为宽高1:1尺寸统一化的样本图片，并且对样本图片进行分类标注，缺损种类包括，表面不良，划痕，孔口崩缺，裂纹，破碎，气泡，将合格数据集进行分类，训练集80%,校验集20%；
（2）构建深度学习检测模块：对步骤（1）中的样本图像进行预处理，对图像尺寸和格式进行二次检测，出现尺寸或格式不合格的样本时将提醒操作者将其删除或替换，构建初始卷积神经网络模型，初始卷积神经模型使用GoogLeNet，克服了复杂神经网络层数的增加会带来的负作用，比如overfit、梯度消失、梯度***等，GoogLeNet就是由大量inception网络构建而成的卷积神经网络，inception的提出从另一种角度来提升训练结果，能更高效的利用计算资源，在相同的计算量下能提取到更多的特征，从而提升训练结果对修改后的卷积神经模型使用样本集训练，监测其学习效率，当学习效率不再发生显著变化时，终止其训练，防止过拟合情况的发生，使其成为新的对缺陷识别率高的模型网络，分类器选用Softmax，相比于选用SVM，Softmax可以使目标类别的概率最大化，通过Mini-batch梯度下降法进行参数最优查找以最小化损失函数，相比于Batch梯度下降和随机梯度下降法，Mini-batch具有更高的准确度，虽然梯度下降速度不如随机梯度下降，Mini-batch梯度下降很好地结合了两者的优点，拥有高准确性的同时，还一定程度上使下降速度保持在可接受的范围，保证了模型的训练速度，提供了良好的准确率和性能，这种组合方式可以在一定程度上控制随机梯度下降法容易陷入局部最优而非全局最优的问题，并且改善了梯度下降法导致的训练缓慢的弊端，提高了训练速度；
（3）构建特征检测模块：经步骤（2）对不同缺陷进行分类后，对缺陷样本进行二次判定，判断采用图像特征处理函数，比如，曲线拟合，轮廓抓取，圆拟合减法运算，分区像素权重，连通域占比的判断等，对表面不良，划痕，孔口崩缺，裂纹，破碎，气泡，分别进行处理，判断函数阈值可调节，并且在人机交互界面提供判断函数值的修改接口，以匹配不同标准下生产产品的检测。
本发明的有益效果：
（1）精确判断光纤插芯表面是否完好；
（2）判断有缺陷光纤插芯表面缺陷种类；
（3）提供可调节的判断条件，适应不同标准下生产光纤插芯。
本发明对比已有技术具有一下显著优点：
（1）对于光纤插芯表面缺陷，本发明识别准确率高；
（2）对于光纤插芯表面缺陷，本发明可精确的识别其缺陷种类，从而针对性的优化改造光纤插芯生产工艺；
（3）结合了深度学习检测算法和传统特征检测算法，同时拥有识别率高，缺陷可区分，判断标准可调节，适用性强的特点。
附图说明
图1为本发明流程图。
图2卷积神经网络模型结构图。
具体实施方案
以下结合附图，进一步说明本发明的具体构建方案。
基于深度学习的光纤插芯表面检测方法：
创建检测数据集合，要求样本总量大于5000各类缺损样本大于500，良好样本数量大于1000，要求为宽高5:4尺寸统一化的样本图片，如640*512像素，并且对样本图片进行分类标注，缺损种类包括，表面不良，划痕，孔口崩缺，裂纹，破碎，气泡。
将数据集进行分类，训练集70%,测试集30%，构建卷积神经网络模型可使用GoogLeNet作为初始网络，使用训练集样本对模型进行训练，使其提高对光纤插芯表面缺陷的敏感度，本方法使用TensorFlow作为工具语言，TensorFlow的运行流程规定，模型训练过程中会不断的把测试数据集中的图像输入到被训练模型中，并检测模型的精度，每次测试选取图像数量和迭代测试周期，监测学习率α，每个基础步长次的迭代后学习α都会下降，因此，在当前学习率时，当训练误差不在变化时，就需要适当减小学习率，本方法中将样本分为良好，表面不良，划痕，孔口崩缺，裂纹，破碎，气泡，7种类型，所以需要调整模型中的的输出层，GoogLeNet具有22个层级，第一层和第二层为数据层，倒数第四层为输出层，所以将输出层输出参数改为7。
分类器选用softmax，相比于选用SVM，softmax可以使目标类别的概率最大化，通过Mini-batch梯度下降法进行参数最优查找以最小化损失函数，相比于Batch梯度下降和随机梯度下降法，Mini-batch具有更高的准确度，虽然梯度下降速度不如随机梯度下降，Mini-batch梯度下降很好地结合了两者的优点，拥有高准确性的同时，还一定程度上使下降速度保持在可接受的范围，保证了模型的训练速度，提供了良好的准确性和性能，这种组合方式可以在一定程度上控制随机梯度下降法容易陷入局部最优而非全局最优的问题，并且改善了梯度下降法导致的训练缓慢的弊端，提高了训练速度。
本方法所使用的卷积神经网络，参见图2，其最长的输出路径上具有22个卷积层，并且不包括池化层，ReLU激活函数层和归一化层，首先输入RGB图像，输入数据层date（1，3，512，640），图像高度512，图像宽度640，维度通道3，进入第一卷积层，名为conv1/7*7，卷积核尺寸为7*7，经过特征卷积运算得到输出特征，特征数量为x，不同样本会影响特征数量所以此处特征数量用x表示，然后经过ReLU激活函数层，激活函数用f(x)=max(0,x)作为激活函数来加速收敛，解决梯度了梯度消失问题，激活函数会被用在各个卷积层和全连接层的输出位置，这也是深度学习网络能解决非线性问题的主要原因之一，进入下一层池化层MAXpool层，在此层对输入结果采用3*3的卷和核进行池化，步长为2，求出输出结果特征图边长为y，特征矩阵维度为x*x*y，然后进入归一化层pool1/norml1，其类型为局部响应归一化，第二层卷积层名为conv2/3*3_reduce，卷积核尺寸为1，特征输出维度为x，之后经过ReLU，在进入第三卷积层con3/3*3，卷积核尺寸3*3，特征输出维度为3*x，在输入ReLE激活函数层，而后进行归一化函数再经过池化输出，开始进入inception模型网络，inception模型网络作为较早被提出的神经网络被众多模型使用，此模型也是由大量的inception模型构建而成。
对于存在缺陷的产品，利用传统图像分割检测技术，基于openCV和halcon等开源视觉函数库提供的函数，例如曲线拟合函数polyfit，圆拟合函数，轮廓发现与拟合的findContours与fitEllipse，连通域函数connectedComponents等，进行二次缺陷判断，例如划痕的长度，孔口不良率，气泡大小以及数量裂纹的破损程度和表面不良率，通过深度学习算法和传统特征检测算法的双重判断，达到提高检测准确率。
缺陷特征检测划痕判断模块：首先对待处理图像进行二值化处理，转换为只有黑白两色的清晰特征图像，对划痕缺陷的处理方式中，划痕的长度和宽度，视为判断条件，屏蔽中心圆孔，利用轮廓发现与拟合的findContours与fitEllipse函数查找并拟合中心圆孔，将其对原图像做减法运算，将得到中心圆孔被屏蔽的待处理图像，使用曲线拟合函数，查找到目标图案上的划痕，检测划痕的数量，默认情况下划痕数量超过5条则视为表面不良，将样本传递给表面不良特征检测模块，检测划痕的长度和宽度，并且设置区分阈值，对宽度超过阈值上限的划痕样本，可将其视为裂纹，将其传递给裂纹判断模块，对于达到合格要求的样本，视为合格样本，存在任意一条划痕长度宽度超过判断条件的，即视为不合格样本，此处判断为裂纹的宽度标准是为深度学习检测模块误判做出反应，此宽度标准远大于划痕是否合格的宽度判断标准；
例如检测出的划痕宽度长度分别为a、b正整数单位像素，设变量x，默认值x=3，当a<3时宽度合格，b<23时长度合格，当长度宽度判断条件都合格时，可视为合格产品，当a>2且a<11时，将样本视为不合格，缺陷种类为划痕，当a>=11时将其传递给裂纹判断模块进行判断；
对划痕样本进行处理，主要难点时检测细微划痕，需要对原图像进行均值滤波，采用的主要方法为邻域平均法，设原图像的图像函数为f（x，y）选取待处理像素点（x，y），选取临近像素点作为模板集，求集合中像素的均值，再将其值赋点（x,y），处理后图像在处理点的灰度为g（x，y），即g（x，y）=∑f（x，y）/m*m为该模板中包含当前像素在内的像素总个数，滤波图像与原图像进行差分运算，利用opencv提供的cvSub和cvAbsDiff函数对图像进行差分运算，得到含有噪声的划痕大概轮廓，只有利用轮廓查找函数fnidContours，得到划痕的具体图片，根据像素点换算得知具体长度。
缺陷特征检测表面不良判断模块：对表面不良样本进行处理，主要利用分区像素检测的方式，将截断面图片以九宫格的方式分区，屏蔽中心区域，对剩下8个区域进行分析，高灰度区域即为表面不良区域，形式可能表现为，数量多且密集的杂乱划痕，方向单一的密集划痕，大面积区域磨损。将处理后图像二值化，计算二值图像每个区块的像素比例，计算平均像素占比和最高比例区块像素占比，超过判断条件则视为不合格，例如设定变量x，x为小于1的正数，当每个区块的平均灰度高于x%，或比例最高区块的值高于x%时，则视为不合格，x为可调变量。
缺陷特征检测孔口崩缺判断模块：对原图像进行双边滤波，增加其孔口于的区域性，对滤波后的图像进行二值化。使用圆拟合函数对孔口进行拟合，用原图像对拟合后的图像进行相减，得出象素差a，圆拟合图像总像素值设为b，设变量x，a/b>x时，判定为不合格图像。
缺陷特征检测裂纹判断模块：对样本图像进行二值化，利用步骤（4）屏蔽中心圆孔的方法，利用轮廓识别函数选取裂纹，对裂纹的轮廓进行矩形拟合，可以通过openCV中的gen_contour_polygon_rounded_xld算子绘制不带圆角的多变性图形，限定为四边矩形即可，检测矩形的长度，长度超过判断标准即视为不合格。
缺陷特征检测破碎判断模块：对缺陷样本进行二值运算，屏蔽中心圆孔，利用连同域函数，例如connectedComponents，进行区域连通，连通后的区域图像与屏蔽中心圆孔的良好样本进行除法运算，得出损坏区域占比，设定判断条件，超出判断条件则视为不合格，例如损坏区域占比x，x为小于1的正数，参数类型double，x>0.05即视为不合格。
缺陷特征检测气泡判断模块：屏蔽中心圆孔，使用圆拟合函数，检测拟合后小圆的数量和大小，对气泡数量和大小进行控制，超过判断标准视为不合格；例如检测出气泡数量为x，x为正整数，最大气泡直径y，y为正整数，单位像素，当x<6，且y<8时，视为合格，此处是样本中心圆孔为114像素时的判断条件，实际操作时应当根据情况调整判断条件。

Claims (4)

1.基于深度学习的光纤插芯表面缺陷检测方法，其特征在于，步骤包括：
（1）创建检测数据集合，要求样本总量大于5000各类缺损样本大于500，良好样本数量大于1000，要求为宽高1:1尺寸统一化的样本图片，并且对样本图片进行分类标注，缺陷种类包括，表面不良，划痕，孔口崩缺，裂纹，破碎，气泡；
（2）通过步骤（1）创造的样本集对初始CNN卷积神经模型进行训练，训练出对光纤插芯表面缺陷敏感的神经网络模型，使其能对良好和存在缺陷的产品进行区分识别，并且能成功识别缺陷类型；
（3）对于存在缺陷的产品，利用传统图像分割检测技术，基于openCV和halcon等开源视觉函数库提供的函数，进行二次缺陷判断，例如划痕的长度，孔口不良率，气泡大小以及数量，裂纹的破损程度和表面不良率，通过深度学习算法和传统特征检测算法的双重判断，达到提高检测准确率，主动控制检测标准，主动控制函数判断值，达到阈值可调节的效果，可以良好的适应不同标准下的产品，提高算法的通用性。
2.根据权利要求1所述的深度学习光纤插芯表面检测方法，基于深度学习检测的部分，其构建过程如下：
（1）对样本图像进行预处理，并且对图像尺寸和格式进行二次检测，出现尺寸或格式不合格的样本时将其删除或替换；
（2）将数据集进行分类，训练集70%,测试集30%，构建卷积神经网络模型可使用GoogLeNet作为初始网络模型，使用训练集样本对模型进行训练，使其提高对光纤插芯表面缺陷的敏感度，本方法使用TensorFlow作为工具语言，TensorFlow的运行流程规定，模型训练过程中会不断的把测试数据集中的图像输入到被训练模型中，并检测模型的精度，设定每次测试选取的图像数量和迭代测试周期，监测学习率α，每个基础步长次的迭代后学习率α都会下降，因此，在当前学习率时，当训练误差不在变化时，就需要适当减小学习率，本方法中将样本分为良好，表面不良，划痕，孔口崩缺，裂纹，破碎，气泡，7种类型，所以需要调整模型中的输出层，GoogLeNet具有22个层级，第一层和第二层为数据层，倒数第四层为输出层，所以将输出层输出参数改为7；
（3）选用softmax分类器函数，可以使目标类别的概率最大化，通过minibatch梯度下降法进行参数最优查找以最小化损失函数，这种组合方式可以在一定程度上控制随机梯度下降法容易陷入局部最优而非全局最优的问题，并且改善了梯度下降法导致的训练缓慢的弊端，提高了训练速度；
（4）本方法所使用的卷积神经网络，其最长的输出路径上具有22个卷积层，并且不包括池化层，ReLU激活函数层和归一化层，首先输入RGB图像，输入数据层date（1，3，512，640），图像高度512，图像宽度640，维度通道3，进入第一卷积层，名为conv1/7*7，卷积核尺寸为7*7，经过特征卷积运算得到输出特征，特征数量为x，不同样本会影响特征数量所以此处特征数量用x表示，然后经过ReLU激活函数层，激活函数用f(x)=max(0,x)作为激活函数来加速收敛，解决梯度了梯度消失问题，激活函数会被用在各个卷积层和全连接层的输出位置，这也是深度学习网络能解决非线性问题的主要原因之一，进入下一层池化层MAXpool层，在此层对输入结果采用3*3的卷和核进行池化，步长为2，求出输出结果特征图边长为y，特征矩阵维度为x*x*y，然后进入归一化层pool1/norml1，其类型为局部响应归一化，第二层卷积层名为conv2/3*3_reduce，卷积核尺寸为1，特征输出维度为x，之后经过ReLU，在进入第三卷积层con3/3*3，卷积核尺寸3*3，特征输出维度为3*x，再输入ReLE激活函数层，而后在进行归一化，经过池化输出，开始进入inception模型网络，inception模型网络作为较早被提出的神经网络被众多模型使用，此模型也是由大量的inception模型构建而成。
3.根据权利要求1所述的深度学习光纤插芯缺陷检测算法，通过权利要求2所述的深度学习算法，对不同缺陷进行分类后，对缺陷样本进行二次判定，判断采用opencv或halcon开源视觉库，其提供的图像特征处理函数，对划痕，表面不良，孔口崩缺，裂纹，破碎，气泡，分别进行处理，判断函数阈值可调节，并且在人机交互界面提供判断函数值的修改接口，以匹配不同标准下的生产产品检测，其特征如下：
（1）对划痕缺陷的处理方式，划痕的长度和宽度，视为判断条件，首先屏蔽中心圆孔，使用曲线拟合函数，查找到目标图案上的划痕，检测划痕的数量，默认情况下划痕数量超过5条则视为表面不良，将样本传递给表面不良特征检测模块，检测划痕的长度和宽度，并且设置区分阈值，对宽度超过阈值上限的划痕样本，可将其视为裂纹，将其传递给裂纹判断模块，对于达到合格要求的样本，视为合格样本，存在任意一条划痕长度宽度超过判断条件的，即视为不合格样本，此处判断为裂纹的宽度标准是为深度学习检测模块误判做出反应，此宽度标准远大于划痕是否合格的宽度判断标准；
（2）对表面不良样本进行处理，主要利用分区像素检测的方式，将截断面图片以九宫格的方式分区，屏蔽中心区域，对剩下8个区域进行分析，高灰度区域即为表面不良区域，形式可能表现为，数量多且密集的杂乱划痕，方向单一的密集划痕，大面积区域磨损，将处理后图像二值化，计算二值图像每个区块的像素比例，计算平均像素的占比和最高比例区块的像素占比，超过判断条件则视为不合格；
（3）对孔口崩缺样本进行处理，对原图像进行双边滤波处理，增加光纤插芯孔口的区域性，对滤波后的图像进行二值化，使用圆拟合函数对孔口进行拟合，用原图像对拟合后的图像进行相减，得出象素差a，圆拟合图像总像素值设为b，设变量x，a/b>x时，判定为不合格图像，于是x值的控制，实现判断函数阈值可调节；
（4）对裂纹样本进行处理，对样本图像进行二值化，屏蔽中心圆孔，利用轮廓识别函数选取裂纹，对裂纹的轮廓进行矩形拟合，检测矩形的长度，长度超过判断标准即视为不合格，由于光纤插芯是由陶瓷烧制切割而成，根据其物理特性，孔口处裂纹不会出现长度宽度近似，且均小于判断值的情况出现，所以此处只检测长度即可；
（5）对破碎样本进行处理，对缺陷样本进行二值运算，屏蔽中心圆孔，利用连通域函数，进行区域连通，连通后的区域图像与屏蔽中心圆孔的良好样本进行除法运算，得出损坏区域占比，设定判断条件，超出判断条件则视为不合格，默认情况下，损坏区域占比超过5%即视为不合格；
（6）对气泡样本进行处理，屏蔽中心圆孔，使用圆拟合函数，检测拟合后圆的数量和大小，对气泡数量和大小进行控制，超过判断标准视为不合格，默认情况下检测出气泡数量超过5个，或者气泡直径大于中心圆孔直径的6%即视为不合格；
（7）对于步骤（1）到步骤（7）中所述的判断条件，此判断条件为可修改变量，设定有默认值，同时提供人机交互接口对判断条件变量进行修改，以适用不同标准下的检测环境，达到阈值可调节，提高算法通用性的目的。
4.基于权利要求1，权利要求2和权利要求3所述，本发明的核心特征在于，将深度学习光纤插芯表面缺陷检测算法和传统特征识别光纤插芯表面缺陷检测算法相结合，拥有深度学习算法识别率高的优点，也拥有特征检测算法判断条件可调节的优点，可适用于不同的检测标准。
CN202010658394.5A 2020-07-09 2020-07-09 基于深度学习的光纤插芯缺陷检测方法 Withdrawn CN111833324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010658394.5A CN111833324A (zh) 2020-07-09 2020-07-09 基于深度学习的光纤插芯缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010658394.5A CN111833324A (zh) 2020-07-09 2020-07-09 基于深度学习的光纤插芯缺陷检测方法

Publications (1)

Publication Number Publication Date
CN111833324A true CN111833324A (zh) 2020-10-27

Family

ID=72900700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010658394.5A Withdrawn CN111833324A (zh) 2020-07-09 2020-07-09 基于深度学习的光纤插芯缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111833324A (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036514A (zh) * 2020-11-04 2020-12-04 腾讯科技（深圳）有限公司 一种图像分类方法、装置、服务器及计算机可读存储介质
CN112419291A (zh) * 2020-11-30 2021-02-26 佛山职业技术学院 一种瓶胚缺陷检测模型的训练方法、存储介质及终端设备
CN112434738A (zh) * 2020-11-24 2021-03-02 英业达(重庆)有限公司 基于决策树算法的锡膏检测方法、***、电子设备及介质
CN112561866A (zh) * 2020-12-04 2021-03-26 重庆忽米网络科技有限公司 基于ai与云计算技术的半导体基板光刻胶层缺陷检测***
CN112834526A (zh) * 2020-12-30 2021-05-25 山西大学 一种面向视觉物联网的光纤端面缺陷检测装置及方法
CN113204868A (zh) * 2021-04-25 2021-08-03 中车青岛四方机车车辆股份有限公司 一种基于pod定量分析的缺陷检测参数优化方法及优化***
CN113256615A (zh) * 2021-06-22 2021-08-13 常州微亿智造科技有限公司 线形缺陷的检测方法和装置
CN113569804A (zh) * 2021-08-12 2021-10-29 重庆大学 基于图像识别的输电线路覆冰监测***及其风险告警方法
CN113640303A (zh) * 2021-08-09 2021-11-12 联宝(合肥)电子科技有限公司 一种用于笔记本电脑的表面瑕疵检验设备及其检测方法
CN113673526A (zh) * 2021-07-23 2021-11-19 浙江大华技术股份有限公司 气泡检测方法、终端及计算机可读存储介质
CN113781456A (zh) * 2021-09-16 2021-12-10 欧冶云商股份有限公司 基于人工智能图像识别的钢材表面缺陷检测方法及设备
CN113927471A (zh) * 2021-10-22 2022-01-14 宁波松迅科技有限公司 陶瓷插芯的自动化研磨装置
CN114565622A (zh) * 2022-03-03 2022-05-31 北京安德医智科技有限公司 房间隔缺损长度的确定方法及装置、电子设备和存储介质
CN114577816A (zh) * 2022-01-18 2022-06-03 广州超音速自动化科技股份有限公司 一种氢燃料双极板检测方法
CN114627118A (zh) * 2022-05-13 2022-06-14 江苏裕荣光电科技有限公司 一种光纤电缆绝缘缺陷识别方法和***
CN114638833A (zh) * 2022-05-20 2022-06-17 海门市博洋铸造有限公司 基于机器视觉的有色金属压延质量检测方法及***
CN114826393A (zh) * 2022-04-09 2022-07-29 国网福建省电力有限公司 一种基于深度置信网络的光纤网络链路缺陷数据检测方法
CN114998192A (zh) * 2022-04-19 2022-09-02 深圳格芯集成电路装备有限公司 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN115138596A (zh) * 2022-06-07 2022-10-04 上海壹佰米网络科技有限公司 一种视觉检测的方法及装置
CN115661157A (zh) * 2022-12-28 2023-01-31 成都数之联科技股份有限公司 面板圆类缺陷检测方法、装置、介质、设备及程序产品
CN115984267A (zh) * 2023-03-20 2023-04-18 青岛鼎信通讯科技有限公司 一种适用于超声水表的注塑气泡检测方法
CN116452598A (zh) * 2023-06-20 2023-07-18 曼德惟尔(山东)智能制造有限公司 基于计算机视觉的车桥生产质量快速检测方法及***
CN117173459A (zh) * 2023-08-29 2023-12-05 哈尔滨工业大学 一种基于迁移学习的互连铟柱缺陷多分类方法
CN117893872A (zh) * 2024-03-18 2024-04-16 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036514A (zh) * 2020-11-04 2020-12-04 腾讯科技（深圳）有限公司 一种图像分类方法、装置、服务器及计算机可读存储介质
CN112434738A (zh) * 2020-11-24 2021-03-02 英业达(重庆)有限公司 基于决策树算法的锡膏检测方法、***、电子设备及介质
CN112419291A (zh) * 2020-11-30 2021-02-26 佛山职业技术学院 一种瓶胚缺陷检测模型的训练方法、存储介质及终端设备
CN112419291B (zh) * 2020-11-30 2024-06-04 佛山职业技术学院 一种瓶胚缺陷检测模型的训练方法、存储介质及终端设备
CN112561866A (zh) * 2020-12-04 2021-03-26 重庆忽米网络科技有限公司 基于ai与云计算技术的半导体基板光刻胶层缺陷检测***
CN112561866B (zh) * 2020-12-04 2022-03-01 重庆忽米网络科技有限公司 基于ai与云计算技术的半导体基板光刻胶层缺陷检测***
CN112834526A (zh) * 2020-12-30 2021-05-25 山西大学 一种面向视觉物联网的光纤端面缺陷检测装置及方法
CN113204868A (zh) * 2021-04-25 2021-08-03 中车青岛四方机车车辆股份有限公司 一种基于pod定量分析的缺陷检测参数优化方法及优化***
CN113204868B (zh) * 2021-04-25 2023-02-28 中车青岛四方机车车辆股份有限公司 一种基于pod定量分析的缺陷检测参数优化方法及优化***
CN113256615A (zh) * 2021-06-22 2021-08-13 常州微亿智造科技有限公司 线形缺陷的检测方法和装置
CN113256615B (zh) * 2021-06-22 2021-10-19 常州微亿智造科技有限公司 线形缺陷的检测方法和装置
CN113673526A (zh) * 2021-07-23 2021-11-19 浙江大华技术股份有限公司 气泡检测方法、终端及计算机可读存储介质
CN113640303A (zh) * 2021-08-09 2021-11-12 联宝(合肥)电子科技有限公司 一种用于笔记本电脑的表面瑕疵检验设备及其检测方法
CN113569804A (zh) * 2021-08-12 2021-10-29 重庆大学 基于图像识别的输电线路覆冰监测***及其风险告警方法
CN113569804B (zh) * 2021-08-12 2023-09-12 重庆大学 基于图像识别的输电线路覆冰监测***及其风险告警方法
CN113781456A (zh) * 2021-09-16 2021-12-10 欧冶云商股份有限公司 基于人工智能图像识别的钢材表面缺陷检测方法及设备
CN113927471A (zh) * 2021-10-22 2022-01-14 宁波松迅科技有限公司 陶瓷插芯的自动化研磨装置
CN113927471B (zh) * 2021-10-22 2024-03-29 宁波松迅科技有限公司 陶瓷插芯的自动化研磨装置
CN114577816A (zh) * 2022-01-18 2022-06-03 广州超音速自动化科技股份有限公司 一种氢燃料双极板检测方法
CN114565622B (zh) * 2022-03-03 2023-04-07 北京安德医智科技有限公司 房间隔缺损长度的确定方法及装置、电子设备和存储介质
CN114565622A (zh) * 2022-03-03 2022-05-31 北京安德医智科技有限公司 房间隔缺损长度的确定方法及装置、电子设备和存储介质
CN114826393A (zh) * 2022-04-09 2022-07-29 国网福建省电力有限公司 一种基于深度置信网络的光纤网络链路缺陷数据检测方法
CN114998192A (zh) * 2022-04-19 2022-09-02 深圳格芯集成电路装备有限公司 基于深度学习的缺陷检测方法、装置、设备和存储介质
CN114627118A (zh) * 2022-05-13 2022-06-14 江苏裕荣光电科技有限公司 一种光纤电缆绝缘缺陷识别方法和***
CN114627118B (zh) * 2022-05-13 2022-07-19 江苏裕荣光电科技有限公司 一种光纤电缆绝缘缺陷识别方法和***
CN114638833A (zh) * 2022-05-20 2022-06-17 海门市博洋铸造有限公司 基于机器视觉的有色金属压延质量检测方法及***
CN115138596A (zh) * 2022-06-07 2022-10-04 上海壹佰米网络科技有限公司 一种视觉检测的方法及装置
CN115661157B (zh) * 2022-12-28 2023-04-14 成都数之联科技股份有限公司 面板圆类缺陷检测方法、装置、介质、设备及程序产品
CN115661157A (zh) * 2022-12-28 2023-01-31 成都数之联科技股份有限公司 面板圆类缺陷检测方法、装置、介质、设备及程序产品
CN115984267A (zh) * 2023-03-20 2023-04-18 青岛鼎信通讯科技有限公司 一种适用于超声水表的注塑气泡检测方法
CN116452598A (zh) * 2023-06-20 2023-07-18 曼德惟尔(山东)智能制造有限公司 基于计算机视觉的车桥生产质量快速检测方法及***
CN116452598B (zh) * 2023-06-20 2023-08-29 曼德惟尔(山东)智能制造有限公司 基于计算机视觉的车桥生产质量快速检测方法及***
CN117173459A (zh) * 2023-08-29 2023-12-05 哈尔滨工业大学 一种基于迁移学习的互连铟柱缺陷多分类方法
CN117893872A (zh) * 2024-03-18 2024-04-16 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法
CN117893872B (zh) * 2024-03-18 2024-05-14 成都理工大学 基于多模型融合检测的平面裂隙光学检测方法

Similar Documents

Publication Publication Date Title
CN111833324A (zh) 基于深度学习的光纤插芯缺陷检测方法
CN113538429B (zh) 基于图像处理的机械零件表面缺陷检测方法
CN110070008B (zh) 一种采用无人机图像的桥梁病害识别方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
US20200034651A1 (en) Identifying and Excluding Blurred Areas of Images of Stained Tissue To Improve Cancer Scoring
CN115082683A (zh) 一种基于图像处理的注塑缺陷检测方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN112233059B (zh) 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法
CN114120317B (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN109215015A (zh) 一种基于卷积神经网络的蚕茧在线视觉检测方法
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN111199543A (zh) 一种基于卷积神经网络的冰柜表面缺陷检测
CN112258459A (zh) 一种基于集成深度学习的锂电池瑕疵检测方法
CN106645180A (zh) 检查基板玻璃缺陷的方法、现场终端及服务器
CN111275700A (zh) 基于深度学习的端子缺陷检测方法及***
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN113077450A (zh) 基于深度卷积神经网络的樱桃分级检测方法及***
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
US20230222643A1 (en) Semantic deep learning and rule optimization for surface corrosion detection and evaluation
CN117256514B (zh) 一种用于分选***的剔除不合格种蛋的方法
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN206897873U (zh) 一种基于检测产品特性的图像处理与检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201027