CN110222792A - 一种基于孪生网络的标签缺陷检测算法 - Google Patents

一种基于孪生网络的标签缺陷检测算法 Download PDF

Info

Publication number
CN110222792A
CN110222792A CN201910538938.1A CN201910538938A CN110222792A CN 110222792 A CN110222792 A CN 110222792A CN 201910538938 A CN201910538938 A CN 201910538938A CN 110222792 A CN110222792 A CN 110222792A
Authority
CN
China
Prior art keywords
label
convolution
section
network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910538938.1A
Other languages
English (en)
Inventor
李竹
王韵涛
郭晨洁
盛庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201910538938.1A priority Critical patent/CN110222792A/zh
Publication of CN110222792A publication Critical patent/CN110222792A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于孪生网络的标签缺陷检测算法，步骤S1：训练集和测试集的获取；步骤S2：网络搭建和训练；步骤S3：测试集验证。采用本发明的技术方案，搭建孪生网络标签缺陷检测***，投入获取到标签数据集进行训练，再采用softmax进行分类，只需要训练几种类型的标签，测试时即使待测标签类型不在训练集中，一样可以进行缺陷检测，能有效减少准备工作工作量，提高检测效率以及降低成本。

Description

一种基于孪生网络的标签缺陷检测算法
技术领域
本发明涉及标签制造技术领域，特别涉及一种基于孪生网络的标签缺损检测算法，可用于提高对标签的管理。
背景技术
作为产品信息的载体，商品标签包含大量信息，在产品管理中扮演重要角色。但是，商品标签会存在打印缺陷，缺号，漏号，断号，破损等问题，这将对产品管理产生巨大影响。市场流通标签数以亿计，标签质量事关重大，在标签流入市场前，进行质量检测极有必要。
目前，对标签的检测多采用人工检测，明显存在效率，准确率不高等缺陷；市场已有质检仪，臃肿巨大，价格昂贵，维护难度大，只支持离线检测；流行的OCR方案，追求全面普适性，效率和精度难免不高。而目前以摄像头为图像采集设备，识别条形码二维码以及字符，以实现对动态标签的检测的方案主要是模板匹配、背景差分、频率域分析，但是模板匹配无法应对旋转和缩放问题，且待检测标签需与其正确标签完全对齐，对网络要求高；而背景差分对于背景模板的样本要和训练标签一一匹配，训练样本较为复杂，其同模板匹配一样，待检测标签的正确标签模板需存在于训练库中；基于频率域分析的方法，存在着当正常图像与缺陷频率相近时容易产生误检的问题。
发明内容
本发明针对传统的图像处理技术的缺点，设计了一种基于孪生网络的标签缺损检测算法，以提高标签检测的训练数据问题。
实现本发明的技术方案如下：
一种基于孪生网络的标签缺陷检测算法，包括以下步骤：
步骤S1：获取标签数据集，其中，训练集包含各种标签缺损种类，并划分为训练集、验证集和测试集；
步骤S2：搭建孪生网络并用训练集数据训练该孪生网络；
步骤S3：测试集验证训练好的孪生网络，并通过使用不同类型字符模拟不同类型标签；
其中，所述步骤S1进一步包括：
步骤S11：搜集标签，截取字符区域，得到无污损和有污损图片N张，用来作为模拟标签；取模拟标签中N1张作为验证集，N2张作为测试集，N3张作为训练集，其中，N1+N2+N3＝N，且三种数据集中，正常标签和M种缺陷标签数量服从均匀分布；
步骤S12：将训练集中的图片转换为tfrecord格式，同时为有无污损的图片贴上相应“label”，以便于确定代价函数计算公式的y值；之后对训练集打乱顺序制作batch，以便实现分批训练；
所述步骤S2进一步包括：
步骤S21：孪生网络搭建，采用2个卷积神经网络模型VGG16网络作为卷积神经网络框架，其中每个VGG16模型包括5个卷积段，13个卷积层，5个最大化池化层，3个全连接层；使用3*3卷积核提取特征；
输入n对大小为224×224的图像到两个共享权值的VGG16模型，输出两个1000维特征f1、f2，分别用于预测输入图像的行人身份受识别标签d，再用平方层来比较高维特征f1、f2，使其共同预测验证标签s；
步骤S22：孪生网络的训练；将训练集投入孪生网络中训练，由于两个VGG16网络之间共享权值，两个输入通过同一卷积神经网络学习提取特征；VGGNet由5段卷积构成，每段卷积包括2～3层卷积层，最后一层卷积层后面都有一个最大池化层来压缩图片，降维去冗；每一段的卷积层都具有相同的卷积核数，每增加一段，该段内卷积层的卷积核数就增加1倍；如下是一个VGG16网络结构：
第一个卷积段，VGG网络的第一层卷积的输入图像大小为224×224×3，经过64个3*3*3的卷积核，以步长为1进行卷积，输出一张224*224*64的特征图，第二层卷积输入图像大小和输出图像大小均为224*224*64。然后经过以2*2的最大化池化层，步长为2，得到112*112*64特征图。
第二个卷积段。这个卷积段与第一个卷积段像素，但是经过这段的两个卷积层后输出通道变成128，输出为112*112*128。最大化池化层与第一段最大化池化层一样，因此输出尺寸变为56*56*128。
第三个卷积段。这段卷积层的个数由之前的两个变成3个，然后输出通道变为256，输出56*56*256，经过与之前一致的池化层，输出尺寸变为28*28*256。
第四个卷积段。卷积层的通道数依旧翻倍，变成512，最后经过池化层，输出尺寸变成14*14*512。
第五个卷积段。这一段卷积层的通道数维持在512，经过最大化池化层之后，输出变为7*7*512。
经过13层卷积层后，VGG16网络进入3个全连接层，第一个和第二个全连接层有4096个单元，第三个全连接层有1000个单元，最后输出维度为1000的特征。
步骤S23：通过计算损失函数，将其作为参考通过反向传播算法训练卷积神经网络，优化相应的权重偏置等参数，让卷积神经网络更好地提取特征，最终实现训练样本的完美拟合。采用的损失函数(loss)如下式所示：
其中，L为损失函数值；
y表示输入图像标签相似度，y＝0表示输入样本input1与input2不相似，y＝1则表示输入样本相似；
dn表示两个输入样本之间的欧氏距离，其中：
dn＝||Gw(X1)-Gw(X2)||
margin用于在Gw(x)定义一个边界，表示当输入一个正样本和一个负样本时，只有距离有小于这个值时才会对损失函数有影响。
所述步骤S3进一步包括：
步骤S31：双输入中其一为已知正确标签；
步骤S32：另外一个通道输入待测标签；
步骤S33：构造函数f(z,x)计算相似度，
其中，z为比较模板图像，x为同样大小的侯选图像，φ为卷积内嵌函数，b表示在每个位置上的不同偏置值；
该孪生框架的输出为一张得分图，如果这两个图像描述的是相同物体，返回高分，否则返回低分；
步骤S35：通过softmax实时监测网络关于训练集和验证集的分类正确率，每完成100次输出一次平均正确率。网络每批训练64(32*2)张图片，迭代N次时，loss稳定近乎0略有小波动，在训练集上的准确率稳定为100％，在验证集上的分类准确率也稳定超过99％，完成训练。
上述技术方案中，具体实现过程如下：
(1)孪生网络搭建。本发明采用2个卷积神经网络模型VGG16网络作为卷积神经网络框架，其中每个VGG16模型包括5个卷积段，13个卷积层，5个最大化池化层，3个全连接层，使用3*3卷积核提取特征，唯一不同是每个卷积段使用的卷积核个数不同。输入n对大小为224×224的图像到两个共享权值的VGG16模型，输出两个1000维特征f1、f2，分别用于预测输入图像的行人身份受识别标签d，再用平方层来比较高维特征f1、f2，使其共同预测验证标签s。
(2)孪生网络构成。由于孪生网络由2个卷积神经网络模型VGG16网络，两个VGG16网络之间共享权值，因此可以视为两个输入通过同一卷积神经网络学习提取特征。VGGNet由5段卷积构成，每段卷积包括2～3层卷积层，最后一层卷积层后面都有一个最大池化层来压缩图片，降维去冗。每一段的卷积层都具有相同的卷积核数，每增加一段，该段内卷积层的卷积核数就增加1倍。开始卷积核数为64，后来每经过一个卷积段就翻倍，最多为512个。
(3)网络训练。将由n对大小为224×224的图像构成的训练集投入孪生网络中训练，由于两个VGG16网络之间共享权值，因此可以视为两个输入通过同一VGG16网络框架，学习提取特征，进行维度规约，以便在特征空间中计算对比损失函数。为得到更短的训练时间和更好的训练效果的目标，在训练标签缺损的网络之前，先加载VGG针对MNIST手写数字数据集的预训练参数。
(4)通过计算损失函数(loss)，将其作为参考通过反向传播算法训练卷积神经网络，优化相应的权重偏置等参数，让卷积神经网络更好地提取特征，最终实现训练样本的完美拟合。
(5)在进行测试集验证时，通过使用不同类型字符模拟不同类型标签，双输入中其一为已知正确标签，另外一个通道输入待测标签，其标签类型可以不存在于训练集中，如在实验模拟中训练集不存在的简体与繁体汉字，以及日语拉丁文等会出现在测试集中。
(6)对商品标签进行分类。由于孪生结构利用相似性学习的方法解决目标检测的问题，由此提出函数f(z,x)，比较模板图像z和同样大小的侯选图像x，如果这两个图像描述的是相同物体，返回高分，否则返回低分。
(7)通过softmax实时监测网络关于训练集和验证集的分类正确率(二分类区分好坏标签)，每完成100次输出一次平均正确率。网络每批训练64(32*2)张图片，迭代N次时，loss稳定近乎0略有小波动，在训练集上的准确率稳定为100％，在验证集上的分类准确率也稳定超过99％，完成训练。
上述技术方案中，通过卷积神经网络提取图像特征，以及通过参考样本及待测样本在特征空间中的距离度量，对待测样本进行归类。
与现有技术相比，本发明具有如下技术效果：
(1)本发明提出的模型充分发挥了孪生网络可以实现one shot learning的特点，在不需要扩充大量的训练数据的前提下，可以自定义增加需要检测的缺陷类型以及类型数目。
(2)由于本发明使用神经网络提取缺陷特征，对待测标签，没有频谱特征等方面的限制，对输入网络的图像只需带有缺陷特征，或为正常标签。对图像内容没有具体要求。如在标签缺陷检测中，当待检测标签为中文标签时，参考标签可以为日文标签、英文标签甚至条形码等标签。故本文方法有着较高的选择自由度和较广的应用范围。
(3)采用孪生网络搭建的标签缺陷检测***，其最显著的特征是图像双输入，内部结构包含两个相同的网络并且共享权值。子网共享权重意味着训练需要更少的参数，也就意味着需要更少的数据并且不容易过拟合，毋庸准备大量训练样本，如此便能解决神经网络训练中常见的数据不足问题，且利于在测试集上取得理想结果。并且，相比模板匹配方法，能有效减少准备工作工作量，提高检测效率以及降低成本。
(4)孪生网络在提取两个输入图片的关键特征后，求对比损失作为输出，换言之能提取目标相似性与联系，如此更容易抓住细微区别。尤其是标签种类数以万计，如果将每一种需要检测的标签投入训练，工作量过大。在孪生网络中，只需要训练几种类型的标签，测试时即使待测标签类型不在训练集中，一样可以进行缺陷检测。
(5)相比孪生网络，传统的工业标签检测，往往是借助背景差分法进行模板匹配以及利用傅里叶变换分析高频信号这两种，前者需要大量模板，抬高了成本，同时诸如灯光控制，图片尺寸一致等要求也增加了技术与成本负担，而后者在标签缺陷检测中表现不佳。而通过搭建过孪生网络进行标签缺陷检测，其作为双输入***，相比传统检测，对设备要求也大大降低，也不需要严格控制灯光尺寸等变量，有着较高的自由度，容错率和准确率，对合格标签与四种缺陷标签进行分类，效果良好，准确率均超过99％。
附图说明
图1是本发明一实施例训练流程图；
图2是本发明一实施例VGG16网络结构图；
图3是本发明一实施例孪生网络检测结构图；
图4是本发明一实施例孪生网络结构图；
图5是本发明一实施例***测试结构图；
图6是本发明一实施例检测标签示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下结合具体的实例，并参照附图，对本发明作进一步的描述。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明基于孪生网络的标签缺损检测算法，通过建立孪生网络，将训练集投入网络中训练，计算损失函数，相似度等，并利用二分类区分好坏标签，通过softmax实时监测网络关于训练集和验证集的分类正确率，100次输出一次平均正确率，当在验证集上的分类准确率也稳定超过99％，完成训练。
如图1所示,本发明包括3大步骤，步骤S1：训练集和测试集的获取；步骤S2：网络搭建和训练；步骤S3：测试集验证。下面是标签缺陷检测具体过程进行详细阐述如下:
步骤S1：训练集和测试集的获取。作为训练孪生网络的数据，训练集中标签缺损种类需要尽可能丰富。而由于网络经过训练，可以将划痕，毛刺墨点与污秽的边缘特征提取出来，因此对已知正确标签的类型与内容要求不高，测试集可以不要求和待测标签类型相同。
步骤S11：搜集标签，截取字符区域，得到无污损和有污损图片N张，用来作为模拟标签。取模拟标签中N1张作为验证集，N2张作为测试集，N3张作为训练集，其中，N1+N2+N3＝N，且三种数据集中，正常标签和M种缺陷标签数量服从均匀分布。
步骤S12：将训练集中的图片转换为tfrecord格式，同时为有无污损的图片贴上相应“label”，以便于确定代价函数计算公式的y值。之后对训练集打乱顺序制作batch，以便实现分批训练。
步骤S2：网络搭建和训练。
步骤S21：孪生网络搭建。本发明采用2个卷积神经网络模型VGG16网络作为卷积神经网络框架，其中每个VGG16模型包括5个卷积段，13个卷积层，5个最大化池化层，3个全连接层，如下图2所示。
网络均使用3*3卷积核提取特征，两个3×3卷积核串联，在感受野上等效于一个5×5的卷积核，但是参数更少，同时也可以加强CNN对特征的学习能力，每次卷积中唯一不同是每个卷积段使用的卷积核个数不同。
如下图3所示，输入n对大小为224×224的图像到两个共享权值的VGG16模型，输出两个1000维特征f1、f2，分别用于预测输入图像的行人身份受识别标签d，再用平方层来比较高维特征f1、f2，使其共同预测验证标签s。
步骤S22：孪生网络的训练。将训练集投入孪生网络中训练，如下图4所示，由于两个VGG16网络之间共享权值，因此可以视为两个输入通过同一卷积神经网络学习提取特征。VGGNet由5段卷积构成，每段卷积包括2～3层卷积层，最后一层卷积层后面都有一个最大池化层来压缩图片，降维去冗。每一段的卷积层都具有相同的卷积核数，每增加一段，该段内卷积层的卷积核数就增加1倍。如下是一个VGG16网络结构以及输入输出图像特点：
第一个卷积段。VGG网络的第一层卷积的输入图像大小为224×224×3，经过64个3*3*3的卷积核，以步长为1进行卷积，输出一张224*224*64的特征图，第二层卷积输入图像大小和输出图像大小均为224*224*64。然后经过以2*2的最大化池化层，步长为2，得到112*112*64特征图。
第二个卷积段。这个卷积段与第一个卷积段像素，但是经过这段的两个卷积层后输出通道变成128，输出为112*112*128。最大化池化层与第一段最大化池化层一样，因此输出尺寸变为56*56*128。
第三个卷积段。这段卷积层的个数由之前的两个变成3个，然后输出通道变为256，输出56*56*256，经过与之前一致的池化层，输出尺寸变为28*28*256。
第四个卷积段。卷积层的通道数依旧翻倍，变成512，最后经过池化层，输出尺寸变成14*14*512。
第五个卷积段。这一段卷积层的通道数维持在512，经过最大化池化层之后，输出变为7*7*512。
经过13层卷积层后，VGG16网络进入3个全连接层，第一个和第二个全连接层有4096个单元，第三个全连接层有1000个单元，最后输出维度为1000的特征。
步骤S23：通过计算损失函数，将其作为参考通过反向传播算法训练卷积神经网络，优化相应的权重偏置等参数，让卷积神经网络更好地提取特征，最终实现训练样本的完美拟合。采用的损失函数(loss)如下式所示：
其中，L为损失函数值；
y表示输入图像标签相似度，y＝0表示输入样本input1与input2不相似，y＝1则表示输入样本相似；
dn表示两个输入样本之间的欧氏距离，其中：
dn＝||Gw(X1)-Gw(X2)||
margin用于在Gw(x)定义一个边界，表示当输入一个正样本和一个负样本时，只有距离有小于这个值时才会对损失函数有影响。
步骤S3：测试集验证。如图5所示，通过使用不同类型字符模拟不同类型标签。
步骤S31：双输入中其一为已知正确标签，由于网络经过训练，可以将划痕，毛刺墨点与污秽的边缘特征提取出来，因此对已知正确标签的类型与内容要求不高，也不要求和待测标签类型相同，在实验模拟中可以是数字，英文字符也可以是汉字等等，如图6所示。
步骤S32：另外一个通道输入待测标签，同样不限定内容与类型，甚至，其标签类型可以不存在于训练集中，如在实验模拟中训练集不存在的简体与繁体汉字，以及日语拉丁文等会出现在测试集中。
步骤S33：由于孪生结构利用相似性学习的方法解决目标检测的问题，由此提出函数f(z,x)，比较模板图像z和同样大小的侯选图像x，如果这两个图像描述的是相同物体，返回高分，否则返回低分。
引入全卷积网络可以将较大的搜索图像输入网络，代替和模板图像大小相同的候选图像。全卷积孪生网络框架会在所有搜索图像全卷积后的子窗密集网格上做一次评估，计算相似度。为了得到相似度，用卷积内嵌函数φ，结合卷积后的特征图用互相关层计算f(z,x)：
该孪生框架的输出不是一个单个的相似得分值而是一张得分图，b表示在每个位置上的不同偏置值。
步骤S35：通过softmax实时监测网络关于训练集和验证集的分类正确率(二分类区分好坏标签)，每完成100次输出一次平均正确率。网络每批训练64(32*2)张图片，迭代N次时，loss稳定近乎0略有小波动，在训练集上的准确率稳定为100％，在验证集上的分类准确率也稳定超过99％，完成训练。
综上实施例可见,本发明能对标签进行缺损检测，所需数据相较于其他检测网络少，解决神经网络中常见的数据不足问题。同时，训练时，只需训练几种类型的数据，测试时，即使待测标签类型不在训练集中，一样可以进行缺陷检测。相比传统的工业标签检测，对设备要求也大大降低，也不需要严格控制灯光尺寸等变量，有着较高的自由度，容错率和准确率，对合格标签与四种缺陷标签进行分类，效果良好，准确率均超过99％。
以上对本发明的具体实施例进行了说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。需要理解的是,本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (1)

1.一种基于孪生网络的标签缺陷检测算法，其特征在于，包括以下步骤：
步骤S1：获取标签数据集，其中，训练集包含各种标签缺损种类，并划分为训练集、验证集和测试集；
步骤S2：搭建孪生网络并用训练集数据训练该孪生网络；
步骤S3：测试集验证训练好的孪生网络，并通过使用不同类型字符模拟不同类型标签；
其中，所述步骤S1进一步包括：
步骤S11：搜集标签，截取字符区域，得到无污损和有污损图片N张，用来作为模拟标签；取模拟标签中N1张作为验证集，N2张作为测试集，N3张作为训练集，其中，N1+N2+N3＝N，且三种数据集中，正常标签和M种缺陷标签数量服从均匀分布；
步骤S12：将训练集中的图片转换为tfrecord格式，同时为有无污损的图片贴上相应“label”，以便于确定代价函数计算公式的y值；之后对训练集打乱顺序制作batch，以便实现分批训练；
所述步骤S2进一步包括：
步骤S21：孪生网络搭建，采用2个卷积神经网络模型VGG16网络作为卷积神经网络框架，其中每个VGG16模型包括5个卷积段，13个卷积层，5个最大化池化层，3个全连接层；使用3*3卷积核提取特征；
输入n对大小为224×224的图像到两个共享权值的VGG16模型，输出两个1000维特征f1、f2，分别用于预测输入图像的行人身份受识别标签d，再用平方层来比较高维特征f1、f2，使其共同预测验证标签s；
步骤S22：孪生网络的训练；将训练集投入孪生网络中训练，由于两个VGG16网络之间共享权值，两个输入通过同一卷积神经网络学习提取特征；VGGNet由5段卷积构成，每段卷积包括2～3层卷积层，最后一层卷积层后面都有一个最大池化层来压缩图片，降维去冗；每一段的卷积层都具有相同的卷积核数，每增加一段，该段内卷积层的卷积核数就增加1倍；如下是一个VGG16网络结构：
第一个卷积段，VGG网络的第一层卷积的输入图像大小为224×224×3，经过64个3*3*3的卷积核，以步长为1进行卷积，输出一张224*224*64的特征图，第二层卷积输入图像大小和输出图像大小均为224*224*64；然后经过以2*2的最大化池化层，步长为2，得到112*112*64特征图；
第二个卷积段，这个卷积段与第一个卷积段像素，但是经过这段的两个卷积层后输出通道变成128，输出为112*112*128；最大化池化层与第一段最大化池化层一样，因此输出尺寸变为56*56*128；
第三个卷积段，这段卷积层的个数由之前的两个变成3个，然后输出通道变为256，输出56*56*256，经过与之前一致的池化层，输出尺寸变为28*28*256；
第四个卷积段，卷积层的通道数依旧翻倍，变成512，最后经过池化层，输出尺寸变成14*14*512；
第五个卷积段，这一段卷积层的通道数维持在512，经过最大化池化层之后，输出变为7*7*512；
经过13层卷积层后，VGG16网络进入3个全连接层，第一个和第二个全连接层有4096个单元，第三个全连接层有1000个单元，最后输出维度为1000的特征；
步骤S23：通过计算损失函数，将其作为参考通过反向传播算法训练卷积神经网络，优化相应的权重偏置等参数，让卷积神经网络更好地提取特征，最终实现训练样本的完美拟合；采用的损失函数(loss)如下式所示：
其中，L为损失函数值；
y表示输入图像标签相似度，y＝0表示输入样本input1与input2不相似，y＝1则表示输入样本相似；
dn表示两个输入样本之间的欧氏距离，其中：
dn＝||Gw(X1)-Gw(X2)||
margin用于在Gw(x)定义一个边界，表示当输入一个正样本和一个负样本时，只有距离有小于这个值时才会对损失函数有影响；
所述步骤S3进一步包括：
步骤S31：双输入中其一为已知正确标签；
步骤S32：另外一个通道输入待测标签；
步骤S33：构造函数f(z，x)计算相似度，
其中，z为比较模板图像，x为同样大小的侯选图像，φ为卷积内嵌函数，b表示在每个位置上的不同偏置值；
该孪生框架的输出为一张得分图，如果这两个图像描述的是相同物体，返回高分，否则返回低分；
步骤S35：通过softmax实时监测网络关于训练集和验证集的分类正确率，每完成100次输出一次平均正确率；网络每批训练64(32*2)张图片，迭代N次时，loss稳定近乎0略有小波动，在训练集上的准确率稳定为100％，在验证集上的分类准确率也稳定超过99％，完成训练。
CN201910538938.1A 2019-06-20 2019-06-20 一种基于孪生网络的标签缺陷检测算法 Pending CN110222792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910538938.1A CN110222792A (zh) 2019-06-20 2019-06-20 一种基于孪生网络的标签缺陷检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910538938.1A CN110222792A (zh) 2019-06-20 2019-06-20 一种基于孪生网络的标签缺陷检测算法

Publications (1)

Publication Number Publication Date
CN110222792A true CN110222792A (zh) 2019-09-10

Family

ID=67813956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910538938.1A Pending CN110222792A (zh) 2019-06-20 2019-06-20 一种基于孪生网络的标签缺陷检测算法

Country Status (1)

Country Link
CN (1) CN110222792A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105411A (zh) * 2019-12-30 2020-05-05 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN111275137A (zh) * 2020-03-26 2020-06-12 南京工业大学 基于专属孪生网络模型的茶叶验真方法
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111428800A (zh) * 2020-03-30 2020-07-17 南京工业大学 基于0-1模型的茶叶验真方法
CN111598839A (zh) * 2020-04-22 2020-08-28 浙江工业大学 一种基于孪生网络的手腕骨等级分类方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及***、计算机设备及介质
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111768387A (zh) * 2020-06-30 2020-10-13 创新奇智(青岛)科技有限公司 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN111986186A (zh) * 2020-08-25 2020-11-24 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测***和方法
CN112183224A (zh) * 2020-09-07 2021-01-05 北京达佳互联信息技术有限公司 用于图像识别的模型训练方法、图像识别方法和装置
CN112232269A (zh) * 2020-10-29 2021-01-15 南京莱斯网信技术研究院有限公司 一种基于孪生网络的船舶身份智能识别方法及***
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN112330666A (zh) * 2020-11-26 2021-02-05 成都数之联科技有限公司 基于改进孪生网络的图像处理方法及***及装置及介质
CN112417918A (zh) * 2020-11-13 2021-02-26 珠海格力电器股份有限公司 二维码识别方法、装置、存储介质及电子设备
CN112465045A (zh) * 2020-12-02 2021-03-09 东莞理工学院 一种基于孪生神经网络的供应链例外事件检测方法
CN112990234A (zh) * 2021-04-28 2021-06-18 广东西尼科技有限公司 基于改进孪生网络检测超分辨率小样本数据的方法
CN113051962A (zh) * 2019-12-26 2021-06-29 四川大学 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法
CN113112483A (zh) * 2021-04-16 2021-07-13 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及***
CN113128518A (zh) * 2021-03-30 2021-07-16 西安理工大学 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN113160200A (zh) * 2021-04-30 2021-07-23 聚时科技(上海)有限公司 一种基于多任务孪生网络的工业图像缺陷检测方法及***
CN113255611A (zh) * 2021-07-05 2021-08-13 浙江师范大学 基于动态标签分配的孪生网络目标跟踪方法及移动设备
CN113324993A (zh) * 2021-05-19 2021-08-31 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113612733A (zh) * 2021-07-07 2021-11-05 浙江工业大学 一种基于孪生网络的少样本虚假数据注入攻击检测方法
CN113903043A (zh) * 2021-12-11 2022-01-07 绵阳职业技术学院 一种基于孪生度量模型的印刷汉字字体识别方法
CN114049507A (zh) * 2021-11-19 2022-02-15 国网湖南省电力有限公司 基于孪生网络的配网线路绝缘子缺陷识别方法、设备及介质
CN114757900A (zh) * 2022-03-31 2022-07-15 启东新朋莱纺织科技有限公司 基于人工智能的纺织品缺陷类型识别方法
CN114898472A (zh) * 2022-04-26 2022-08-12 华南理工大学 基于孪生视觉Transformer网络的签名鉴定方法和***
CN115375691A (zh) * 2022-10-26 2022-11-22 济宁九德半导体科技有限公司 基于图像的半导体扩散纸源缺陷检测***及其方法
CN116128798A (zh) * 2022-11-17 2023-05-16 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻工艺
CN117455852A (zh) * 2023-10-19 2024-01-26 北京闪电侠科技有限公司 基于孪生网络的图像质量判断、处理方法及***
CN117541563A (zh) * 2023-11-22 2024-02-09 泸州老窖股份有限公司 一种图像缺陷检测方法、装置、计算机设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN108198200A (zh) * 2018-01-26 2018-06-22 福州大学 跨摄像头场景下指定行人在线跟踪方法
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108805200A (zh) * 2018-06-08 2018-11-13 中国矿业大学 基于深度孪生残差网络的光学遥感场景分类方法及装置
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109446889A (zh) * 2018-09-10 2019-03-08 北京飞搜科技有限公司 基于孪生匹配网络的物体追踪方法及装置
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN108198200A (zh) * 2018-01-26 2018-06-22 福州大学 跨摄像头场景下指定行人在线跟踪方法
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108805200A (zh) * 2018-06-08 2018-11-13 中国矿业大学 基于深度孪生残差网络的光学遥感场景分类方法及装置
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109446889A (zh) * 2018-09-10 2019-03-08 北京飞搜科技有限公司 基于孪生匹配网络的物体追踪方法及装置
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN109840556A (zh) * 2019-01-24 2019-06-04 浙江大学 一种基于孪生网络的图像分类识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
史璐璐 等: "基于Tiny Darknet全卷积孪生网络的目标跟踪", 《南京邮电大学学报（自然科学版）》 *
张雪芹 等: "基于深度学习的快速植物图像识别", 《华东理工大学学报（自然科学版）》 *
文常保 等: "《人工神经网络理论及应用》", 31 March 2019 *
李培秀 等: "基于Caffe深度学习框架的标签缺陷检测应用研究", 《中国电子科学研究院学报》 *
陈首兵 等: "基于孪生网络和重排序的行人重识别", 《计算机应用》 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051962B (zh) * 2019-12-26 2022-11-04 四川大学 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法
CN113051962A (zh) * 2019-12-26 2021-06-29 四川大学 基于联合注意力机制孪生Margin-Softmax网络的行人重识别方法
CN111105411A (zh) * 2019-12-30 2020-05-05 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
CN111179251A (zh) * 2019-12-30 2020-05-19 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN111179251B (zh) * 2019-12-30 2021-04-02 上海交通大学 基于孪生神经网络利用模板比对的缺陷检测***及方法
CN111105411B (zh) * 2019-12-30 2023-06-23 创新奇智(青岛)科技有限公司 一种磁瓦表面缺陷检测方法
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111402203B (zh) * 2020-02-24 2024-03-01 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111275137B (zh) * 2020-03-26 2023-07-18 南京工业大学 基于专属孪生网络模型的茶叶验真方法
CN111275137A (zh) * 2020-03-26 2020-06-12 南京工业大学 基于专属孪生网络模型的茶叶验真方法
CN111428800B (zh) * 2020-03-30 2023-07-18 南京工业大学 基于0-1模型的茶叶验真方法
CN111428800A (zh) * 2020-03-30 2020-07-17 南京工业大学 基于0-1模型的茶叶验真方法
CN111598839A (zh) * 2020-04-22 2020-08-28 浙江工业大学 一种基于孪生网络的手腕骨等级分类方法
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及***、计算机设备及介质
CN111612763B (zh) * 2020-05-20 2022-06-03 重庆邮电大学 手机屏幕缺陷检测方法、装置及***、计算机设备及介质
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111768387A (zh) * 2020-06-30 2020-10-13 创新奇智(青岛)科技有限公司 瑕疵检测方法、孪生神经网络训练方法、装置及电子设备
CN111754513B (zh) * 2020-08-07 2024-03-22 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111986186B (zh) * 2020-08-25 2024-03-22 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测***和方法
CN111986186A (zh) * 2020-08-25 2020-11-24 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测***和方法
CN112183224A (zh) * 2020-09-07 2021-01-05 北京达佳互联信息技术有限公司 用于图像识别的模型训练方法、图像识别方法和装置
CN112232269A (zh) * 2020-10-29 2021-01-15 南京莱斯网信技术研究院有限公司 一种基于孪生网络的船舶身份智能识别方法及***
CN112232269B (zh) * 2020-10-29 2024-02-09 南京莱斯网信技术研究院有限公司 一种基于孪生网络的船舶身份智能识别方法及***
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN112417918B (zh) * 2020-11-13 2022-03-18 珠海格力电器股份有限公司 二维码识别方法、装置、存储介质及电子设备
CN112417918A (zh) * 2020-11-13 2021-02-26 珠海格力电器股份有限公司 二维码识别方法、装置、存储介质及电子设备
CN112330666B (zh) * 2020-11-26 2022-04-29 成都数之联科技股份有限公司 基于改进孪生网络的图像处理方法及***及装置及介质
CN112330666A (zh) * 2020-11-26 2021-02-05 成都数之联科技有限公司 基于改进孪生网络的图像处理方法及***及装置及介质
CN112465045A (zh) * 2020-12-02 2021-03-09 东莞理工学院 一种基于孪生神经网络的供应链例外事件检测方法
CN113128518A (zh) * 2021-03-30 2021-07-16 西安理工大学 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN113128518B (zh) * 2021-03-30 2023-04-07 西安理工大学 基于孪生卷积网络和特征混合的sift误匹配检测方法
CN113112483A (zh) * 2021-04-16 2021-07-13 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及***
CN112990234A (zh) * 2021-04-28 2021-06-18 广东西尼科技有限公司 基于改进孪生网络检测超分辨率小样本数据的方法
CN113160200A (zh) * 2021-04-30 2021-07-23 聚时科技(上海)有限公司 一种基于多任务孪生网络的工业图像缺陷检测方法及***
CN113160200B (zh) * 2021-04-30 2024-04-12 聚时科技(上海)有限公司 一种基于多任务孪生网络的工业图像缺陷检测方法及***
CN113324993B (zh) * 2021-05-19 2022-09-27 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113324993A (zh) * 2021-05-19 2021-08-31 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113255611A (zh) * 2021-07-05 2021-08-13 浙江师范大学 基于动态标签分配的孪生网络目标跟踪方法及移动设备
CN113612733B (zh) * 2021-07-07 2023-04-07 浙江工业大学 一种基于孪生网络的少样本虚假数据注入攻击检测方法
CN113612733A (zh) * 2021-07-07 2021-11-05 浙江工业大学 一种基于孪生网络的少样本虚假数据注入攻击检测方法
CN114049507A (zh) * 2021-11-19 2022-02-15 国网湖南省电力有限公司 基于孪生网络的配网线路绝缘子缺陷识别方法、设备及介质
CN113903043B (zh) * 2021-12-11 2022-05-06 绵阳职业技术学院 一种基于孪生度量模型的印刷汉字字体识别方法
CN113903043A (zh) * 2021-12-11 2022-01-07 绵阳职业技术学院 一种基于孪生度量模型的印刷汉字字体识别方法
CN114757900A (zh) * 2022-03-31 2022-07-15 启东新朋莱纺织科技有限公司 基于人工智能的纺织品缺陷类型识别方法
CN114757900B (zh) * 2022-03-31 2023-04-07 绍兴柯桥奇诺家纺用品有限公司 基于人工智能的纺织品缺陷类型识别方法
CN114898472A (zh) * 2022-04-26 2022-08-12 华南理工大学 基于孪生视觉Transformer网络的签名鉴定方法和***
CN114898472B (zh) * 2022-04-26 2024-04-05 华南理工大学 基于孪生视觉Transformer网络的签名鉴定方法和***
CN115375691A (zh) * 2022-10-26 2022-11-22 济宁九德半导体科技有限公司 基于图像的半导体扩散纸源缺陷检测***及其方法
CN116128798A (zh) * 2022-11-17 2023-05-16 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻工艺
CN116128798B (zh) * 2022-11-17 2024-02-27 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻方法
CN117455852A (zh) * 2023-10-19 2024-01-26 北京闪电侠科技有限公司 基于孪生网络的图像质量判断、处理方法及***
CN117541563A (zh) * 2023-11-22 2024-02-09 泸州老窖股份有限公司 一种图像缺陷检测方法、装置、计算机设备及介质

Similar Documents

Publication Publication Date Title
CN110222792A (zh) 一种基于孪生网络的标签缺陷检测算法
Huang et al. Development and validation of a deep learning algorithm for the recognition of plant disease
CN105825511B (zh) 一种基于深度学习的图片背景清晰度检测方法
CN105488536B (zh) 一种基于多特征深度学习技术的农田害虫图像识别方法
CN102609681B (zh) 基于字典学习模型的人脸识别方法
CN109086799A (zh) 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN107506740A (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN104992223A (zh) 基于深度学习的密集人数估计方法
US11605163B2 (en) Automatic abnormal cell recognition method based on image splicing
CN109063649A (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN110533057A (zh) 一种单样本与少样本场景下的汉字验证码识别方法
CN107203606A (zh) 基于卷积神经网络的自然场景下文本检测与识别方法
CN108921201A (zh) 基于特征组合与cnn的大坝缺陷识别与分类方法
CN111540006A (zh) 基于深度迁移学习的植物气孔智能检测与识别方法及***
CN109086826A (zh) 基于图像深度学习的小麦干旱识别方法
CN110287806A (zh) 一种基于改进ssd网络的交通标志识别方法
CN109344845A (zh) 一种基于Triplet深度神经网络结构的特征匹配方法
CN109614866A (zh) 基于级联深度卷积神经网络的人脸检测方法
CN107679453A (zh) 基于支持向量机的天气雷达电磁干扰回波识别方法
CN112949517B (zh) 基于深度迁移学习的植物气孔密度和开度识别方法及***
CN114898472A (zh) 基于孪生视觉Transformer网络的签名鉴定方法和***
CN113989536A (zh) 一种基于布谷鸟搜索算法的番茄病害识别方法
CN108509953A (zh) 一种电视台标检测识别方法
Fu et al. Complementarity-aware Local-global Feature Fusion Network for Building Extraction in Remote Sensing Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190910

WD01 Invention patent application deemed withdrawn after publication