CN112950606A - 一种基于小样本的手机屏幕缺陷分割方法 - Google Patents
一种基于小样本的手机屏幕缺陷分割方法 Download PDFInfo
- Publication number
- CN112950606A CN112950606A CN202110275184.2A CN202110275184A CN112950606A CN 112950606 A CN112950606 A CN 112950606A CN 202110275184 A CN202110275184 A CN 202110275184A CN 112950606 A CN112950606 A CN 112950606A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- feature
- segmentation
- mobile phone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 183
- 230000011218 segmentation Effects 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000005520 cutting process Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000003709 image segmentation Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 239000004576 sand Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30121—CRT, LCD or plasma display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉、目标检测与语义分割领域,特别涉及一种基于小样本的手机屏幕缺陷分割方法,包括采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,将待预测图像输入训练好的网络即可得到分割图像;本发明充分利用少量的已标注分割图像对分割网络进行训练,极大地提升缺陷分割的效果,实现对缺陷图像的分类与定位。
Description
技术领域
本发明属于计算机视觉、目标检测与语义分割领域,特别涉及一种基于小样本的手机屏幕缺陷分割方法。
背景技术
目前,手机作为通讯主要工具之一,其各个部件的质量的好坏严重影响手机用户的体验感,尤其是手机屏幕。然而手机屏幕的生产过程极为复杂,在生产的过程中容易出现各种各样的缺陷,常见的手机屏幕缺陷有亮点、暗点、亮线、暗线、亮团、暗团、黄斑以及MURA等,因此要保证手机屏幕高质量的要求,对其进行质量检测是生产过程中必不可少的一道工序。
目前,手机屏幕缺陷检测以人工肉眼检测和基于机器视觉的检测方法为主。人工检测主要由检查人对生产的手机屏幕进行肉眼检测,但检测的效果容易受检查人本身的主/客观因素,对缺陷分割的效率、准确性、稳定性都收到极大的限制,而且人工检测的经济成本、人力成本都很高,难以满足日益增长的手机屏幕的生产速度和客户对手机屏幕高质量的要求。随着计算机视觉、目标检测与识别等领域的快速发展,基于机器视觉的检测方法成为目前手机屏幕缺陷检测的主流方法,该方法能够对特定的、简单的、明显的手机屏幕缺陷完成很好的检测(包括分类和定位);但这类检测方法严重依赖缺陷特征提取算法,针对不同类型的缺陷,需设计不同的特征提取算法用于特定的缺陷检测,这对于手机屏幕在生产过程中,产生的不确定缺陷往往不能够进行有效检测,这类检测方法缺乏算法的通用性和灵活性,此外,通过手工或浅层的学习技术识别的特征对复杂的条件没有足够的辨别力。这些方法通常针对特定的场景,缺乏检测环境的适应性和鲁棒性。
近年来,随着FCN、SegNet、U-Net、DeepLab等语义分割网络的提出,因其灵活性和通用性高、自适应和泛化性能强、无需背景领域知识等特性,越来越多的研究学者利用分割网络来完成手机屏幕缺陷检测,但上述这些方法是在足够多的样本图像下来完成网络的训练,以获得其分割图像。随着生产工艺的提升与设备的增强,在手机屏幕工业生产线上获取像COCO数据集这样拥有足够量的样本数据是很难的,另外对采集到的缺陷图像进行缺陷图像分割标注也是需要消耗大量的人力、物力和财力,能采集到的手机屏幕缺陷的类别、数量都是有限的,构建的少量的手机屏幕缺陷图像数据集不足以完成大数据驱动的分割网络的训练。因此,如何利用少量的手机屏幕缺陷样本图像来很好的完成分割,以实现缺陷的分类和定位,成为一个亟待解决的问题。
发明内容
为了能够利用少量的手机屏幕缺陷样本图像来很好的完成分割,以实现缺陷的分类和定位,本发明提出一种基于小样本的手机屏幕缺陷分割方法,具体包括以下步骤:
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
11.进一步的,小样本手机屏幕缺陷语义分割网络包括编码器和解码器,编码器包括特征提取模块和特征增强模块,特征提取模块包括5个卷积块和一个交叉注意力模块,每个卷积块包括一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层,交叉注意力模块是由两个交叉注意力块级联构成,特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互,进一步增强查询图像特征表示;解码器包括四个反卷积层,且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入,将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入;且在训练过程中,将获得的查询图像的注意力特征图fq"a和支持图像的注意力特征图fs a分别输入到解码器,生成两者的分割图像,并采用的改进的联合损失函数进行网络训练,改进的联合损失函数表示为:
L=lsupport+lquery;
其中,lsupport为支持图像的损失函数,lquery为查询图像的损失函数;
在进行测试或者实时分割时,将待测图像的注意力特征图输入至解码器以生成其分割图像,即可确定测试图像缺陷的位置。进一步的,交叉注意力模块获取新特征图的操作包括以下步骤:将特征图输入一个交叉注意力块中,分别通过三个1×1的卷积获得三个特征图
将得到的新特征图FF作为下一个交叉注意力块的输入,并进行以上操作,该交叉注意力块的输出即为交叉注意力模块获取的新特征图;
进一步的,利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,并获得查询图像新的特征图,包括以下步骤:经过特征提取模块获取支持缺陷图像的特征图以及查询缺陷图像的特征图支持图像的掩膜图像为
判断在支持集中每种类别的缺陷图像的数量,如果每个类别的缺陷图像的数量只有一个,则将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图;
否则将多个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程;
进一步的,协同注意力来强调查询图像与支持图像的相同目标的相关性的过程包括:
本发明的有益效果:
(1)本发明针对手机屏幕缺陷样本不足的问题,设计了一种小样本的手机屏幕缺陷语义分割网络,通过样本图像指导待测图像的分割过程,网络输出待测图像的语义分割图像,获取缺陷的类别与位置,提升手机屏幕缺陷检测的鲁棒性和泛化性。
(2)本发明考虑手机屏幕缺陷位置灵活、大小不定、类别多样等特点,在特征提取时,采用交叉注意力模块有效并高效地获取不同缺陷的特征信息;同时通过掩膜平均池化获取支持图像的代表特征,利用余弦相似性增强查询图像的特征表示,另外采用协同注意力机制加强支持图像与查询图像的相同目标间的信息交互,进一步增强查询图像的特征信息,提升缺陷分割效果。
附图说明
图1是本发明方法的步骤示意图;
图2是本发明采用的小样本语义分割网络框架示意图;
图3是本发明采用的交叉注意力模块示意图;
图4是本发明的掩膜平均池化示意图;
图5是本发明的协同注意力机制示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种基于小样本的手机屏幕缺陷分割方法,如图1,具体包括以下步骤:
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
本发明将上述方法分别数据获取、数据集划分、分割网络构建以及图片分割四个方面进行详细说明,具有包括以下步骤:
(一)数据获取
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;其中,这里的缺陷类型包含但不限于存在异常亮度线段信息、异常亮度点信息、异常亮度区域信息、和/或偏色信息等等;异常亮度线段信息包括暗线信息和/或亮线信息;异常亮度点信息包括亮点信息和/或暗点信息;异常亮度区域信息具体为光斑信息。
本实施例预处理的过程包含但不限于图像切割、灰度处理、缺陷分类和分割标注;对于图像切割是为了分离出高分辨率图像中的各种缺陷,能够更好地用于网络训练;由于手机屏幕图像的特性,灰度处理后的缺陷图像能够突出屏幕缺陷,同时减小图像原始数据量,便于后续处理时计算量更少;对灰度缺陷图像进行缺陷分出划痕、黑点、白印、mura、漏光等类型,以便于后续的分割标注;分割标注是根据灰度图像的缺陷类别,将缺陷图像的每个类别进行标注,不同的缺陷类型与背景用不同的颜色区分开来,以此凸显缺陷的类别、大小、位置等基本信息。
(二)数据集划分
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像。
构建手机屏幕缺陷图像数据集是完成小样本语义分割网络训练的基础,数据集中包含了缺陷图像及其标注好的分割图像。为了更好的训练和验证网络的分割效果,构建的手机屏幕缺陷图像数据集分为训练集和测试集,训练集是对构建小样本手机屏幕语义分割网络进行训练,使得网络能够适应手机屏幕缺陷的应用场景;使用手机屏幕缺陷测试集是对已训练网络性能的测试,测试集包含了经过图像预处理,但未对网络进行训练的手机屏幕缺陷图像,这些图像不仅可以来自手机屏幕缺陷图像训练集中未经过训练的缺陷图像,也可以是从实际手机屏幕生产线上获得的缺陷图像。测试集中的这些缺陷图像包含了参与网络训练的各种缺陷类型,但测试集中的各种缺陷的数量不会像训练集中的数量那么多,每种缺陷的数量只有训练集中的1/10。
对于每一个训练任务,需要从训练集中抽取C个类别,每个类别抽取K个样本作为这次训练任务的支持集(support set)当K=1时,为1-shot,当K>1时,为K-shot。而这C个类别的其他t个样本则作为此次训练任务的查询集(query set)以此来模拟测试时的样本图像和测试图像。对于同一个训练任务的支持集与查询集,I代表了手机屏幕缺陷图像,M代表了标注的手机屏幕缺陷图像的分割图像,而支持集和查询集中包含了同一种类型的缺陷图像。
(三)分割网络构建
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取同种类型的支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成。
小样本手机屏幕缺陷语义分割网络将查询图像/测试图像、支持图像/样本图像及其分割图像进行处理,在训练时,网络的输出是查询图像支持图像的分割图像;在测试时,网络只输出测试图像的分割图像。
图2是本发明所采用的小样本手机屏幕缺陷语义分割网络的整体架构,整体网络依然为编码器-解码器的架构,不同的是编码器是由特征提取模块和特征增强模块构成。在特征提取模块中,为了能够更好地提取到不同尺寸缺陷的特征信息,在特征提取模块引入交叉注意力块来有效地获取缺陷图像的上下文信息;而在特征增强模块中,利用掩码平均池化生成支持图像的代表特征,通过余弦相似度量来指导查询图像的分割过程,同时引入协同注意力来加强查询图像与支持图像之间的信息交互,增强两者在分割过程中的相关性,以此完成更好的查询图像的缺陷分割。在解码器部分,本发明采用了UNet的反卷积部分,采用跳跃连接将特征提取时,学习到的特征将被用于重建图像,最后利用联合的支持/查询图像损失函数来训练网络。
在特征提取模块中,其包含了5个卷积块和两个交叉注意力块,每个卷积块包含一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层。其中,如图3所示,交叉注意力模块是由两个交叉注意力块级联而成,用于获取不同尺寸的手机屏幕缺陷的特征信息,这两个交叉注意力块架构相同。具体地,将特征图输入到第一个交叉注意力块中,首先分别通过三个1×1的卷积获得三个特征图其中b'=b/8。对于特征图F1的每一个位置i,得到这个位置的特征向量同时,我们可以从特征图F2中获得与位置i相同行和列的其他位置(共2r-1个位置)的特征集合其中Φi,j为Φi的第j个元素。然后通过关联操作,生成特征图F1和特征图F2的关联特征图并将其通过softmax来生成注意力图生成过程包括:
Fa=softmax(G);
其中,gi,j属于关联特征图G的元素,i为特征图中一个位置,j为与位置i行和列相同的其他位置。同样地,可以获得特征图F3上的位置i的特征向量以及与位置i相同行和列的其他位置的特征向量形成特征集合通过聚合操作生成具有上下文信息的新的特征图表示为:
对于位置i,Fi为原输入特征F对于位置i的特征向量。同时将得到的新的特征图FF作为下一个交叉注意力块的输入,经过上述相同的过程,输出与原特征图F相同大小的新的特征图。
在特征增强模块中,本发明利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系;同时为了使查询图像与支持图像的信息交互得更加充分,本文还引入了协同注意力来强调查询图像与支持图像的相同目标的相关性,进一步增强特征表示。
如图4所示的是掩膜平均池化示意图,在网络每一次的训练任务中,支持/查询集都是以(I,M)成对的方式出现,其中为缺陷图像,为该缺陷图像的掩膜图像;支持缺陷图像在经过特征提取模块后获得其特征图相同地,也获得查询缺陷图像的特征图然后将fs通过双线性插值法恢复到与掩膜图像相同大小的特征图然后结合掩膜图像通过计算得到支持图像的代表特征表示为:
其中,Ms x,y是指支持图像的掩膜图像的第x行、第y列的位置,为支持图像的特征图fs1的第i个通道图像的第x行、第y列的位置,m为掩膜图像大小,Vi则是支持图像的代表向量V的第i个元素;接下来,使用相似度度量的方式来计算支持图像的代表特征V与查询缺陷图像特征fq之间的相似矩阵表示为:
1-shot.对于K=1,表示在支持集中,每种类别的缺陷图像只有一个。本发明将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图,结合这个缺陷图像的分割图像,以此来指导查询图像的分割过程。
K-shot.当K>1,即对于每一类缺陷,支持集中包含着K个缺陷样本。我们将这K个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时对这K个缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程。
图5所示是协同注意力机制的示意图,在掩膜平均池化时,虽然利用支持图像及其掩膜图像生成的代表特征来进一步指导查询图像的特征的形成,但两者信息的交互是单方面的从支持图像对查询图像。但在小样本分割网络训练过程中,缺陷图像在不同的训练任务中扮演着不同的角色,可能作为支持图像,可能作为查询图像,这说明在训练时,支持集和测试集是可以相互影响的。为了进一个加强支持集与查询集的相同目标之间的信息交互,引入协同注意力机制来对查询缺陷图像特征进行细化,具体包括以下步骤:
Ws=σ(AvgPoolchannel(fs));
Wq=σ(AvgPoolchannel(fq"));
fs a=Wq*fs;
fq"a=Ws*fq";
对于解码器部分,将特征提取模块中的第三个卷积层和第四个卷积层与解码器中第一个反卷积层的输出和第二个卷积层的输出相加,共同作为下一层的输入,最终解码器输出的分割图像与缺陷图像一样大。由于在特征加强模块中引入了协同分割机制,这不管是对支持图像的特征还是对查询图像的特征都会有更加丰富的特征表示,所以在训练阶段,训练网络的损失的函数也做一定的改进。不管是支持图像还是查询图像,对两者的特征进行恢复得到的分割图像都会有利于网络的训练,增强缺陷分割的效果。对于损失函数,本发明联合了支持图像和查询图像的交叉熵损失函数,共同训练网络,即:
L=lsupport+lquery;
其中,L为本发明小样本手机屏幕缺陷语义分割网络采用的损失函数,lsupport为支持图像的交叉熵损失函数,lquery为查询图像的交叉熵损失函数。
(四)图片分割
将测试集中的待测图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
在测试时,将待测图像与样本图像及其分割图像共同作为已训练好的小样本手机屏幕缺陷语义分割网络中,输出的是待测图像的分割图像,根据分割图像的颜色显示判断该待测图像的缺陷类型以及缺陷所在的位置区域。其中,待测图像是从未经过训练的测试集中获取,而样本图像则是来自于训练集。
在一个优选实施例中,当出现新的类型的缺陷图像时,对新的缺陷样本进行分类和分割标注,选取支持图像和查询图像并输入到已训练好的网络,通过网络调参使得网络能够适应新的缺陷类型的分割。
本发明实施例通过在不同过程选择不同类型以及不同数量的数据集,能够在小样本下实现手机屏幕缺陷语义分割。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于小样本的手机屏幕缺陷分割方法,其特征在于,具体包括以下步骤:
采集具有不同类型缺陷的多款手机屏幕图像,并对采集的屏幕图像进行至少包括图像切割、灰度处理、缺陷分类和以及缺陷图像分割标注的预处理;
构建小样本下的手机屏幕缺陷图像数据集,其包括训练集和测试集,数据集中包含了缺陷图像及其对应的分割图像;
构建小样本手机屏幕缺陷语义分割网络,并使用手机屏幕缺陷图像训练集对分割网络进行训练,每一次训练任务从训练集中获取支持图像和查询图像来模拟测试时的样本图像和测试图像,在训练时,将支持图像及其分割图像和查询图像同时输入到小样本分割网络中,利用支持图像及其分割图像指导查询图像的分割过程,直至训练完成;
将测试集中的测试图像与训练集中的样本图像输入到已收敛的小样本分割网络中,通过样本图像及其分割图像指导待测图像的分割图像的生成,通过分割图像的颜色显示,以确定待测图像的缺陷类型与位置。
2.根据权利要求1所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,小样本手机屏幕缺陷语义分割网络包括编码器和解码器,编码器包括特征提取模块和特征增强模块,特征提取模块包括5个卷积块和一个交叉注意力模块,每个卷积块包括一个3*3的卷积层,一个归一化层,一个ReLU激活层以及一个2*2的最大池化层,交叉注意力模块是由两个交叉注意力块级联构成,特征增强模块则是用来加强支持图像特征与查询图像特征的信息之间的交互,进一步增强查询图像特征表示;解码器包括四个反卷积层,且将特征模块中第四个卷积层与解码器中的第一个反卷积层的输出相加作为第二个反卷积层的输入,将特征模块中第三个卷积层与解码器中的第二个反卷积层的输出相加作为第三个反卷积层的输入;且在训练过程中,将获得的查询图像的注意力特征图和支持图像的注意力特征图分别输入到解码器,生成两者的分割图像,并采用的改进的联合损失函数进行网络训练,改进的联合损失函数表示为:
L=lsupport+lquery;
其中,lsupport为支持图像的损失函数,lquery为查询图像的损失函数;
在进行测试或者实时分割时,将待测图像的注意力特征图输入至解码器以生成其分割图像,即可确定测试图像缺陷的位置。
3.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,交叉注意力模块获取新特征图的操作包括以下步骤:
将得到的新特征图FF作为下一个交叉注意力块的输入,并进行以上操作,该交叉注意力块的输出即为交叉注意力模块获取的新特征图;
6.根据权利要求2所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,特征增强模块利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,且引入了协同注意力来强调查询图像与支持图像的相同目标的相关性,获取查询图像和支持图像的特征。
7.根据权利要求6所述的一种基于小样本的手机屏幕缺陷分割方法,其特征在于,利用掩膜平均池化来获取支持图像的代表特征,并利用相似度度量的方式来建立支持图像特征和查询图像特征之间的关系,并获得查询图像新的特征图,包括以下步骤:
判断在支持集中每种类别的缺陷图像的数量,如果每个类别的缺陷图像的数量只有一个,则将特征提取模块输入的支持图像特征直接作为这类缺陷的缺陷图;
否则将多个支持样本的特征图进行加权平均来作为这类缺陷的特征图,同时缺陷样本对应的掩膜图像也进行加权平均得到一个新的掩膜图像,使用新特征图和新的掩膜图像来完成掩膜平均池化过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110275184.2A CN112950606B (zh) | 2021-03-15 | 2021-03-15 | 一种基于小样本的手机屏幕缺陷分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110275184.2A CN112950606B (zh) | 2021-03-15 | 2021-03-15 | 一种基于小样本的手机屏幕缺陷分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112950606A true CN112950606A (zh) | 2021-06-11 |
CN112950606B CN112950606B (zh) | 2023-04-07 |
Family
ID=76229836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110275184.2A Active CN112950606B (zh) | 2021-03-15 | 2021-03-15 | 一种基于小样本的手机屏幕缺陷分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112950606B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553929A (zh) * | 2020-05-12 | 2020-08-18 | 重庆邮电大学 | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 |
CN113191359A (zh) * | 2021-06-30 | 2021-07-30 | 之江实验室 | 基于支持与查询样本的小样本目标检测方法与*** |
CN113688947A (zh) * | 2021-10-11 | 2021-11-23 | 国网智能科技股份有限公司 | 一种配电设备红外图像故障识别方法及*** |
CN113899675A (zh) * | 2021-10-13 | 2022-01-07 | 淮阴工学院 | 一种基于机器视觉的混凝土抗渗自动检测方法、装置 |
CN114092364A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN114359283A (zh) * | 2022-03-18 | 2022-04-15 | 华东交通大学 | 基于Transformer的缺陷检测方法和电子设备 |
CN114565760A (zh) * | 2022-02-24 | 2022-05-31 | 北京百度网讯科技有限公司 | 图像分割方法、模型的训练方法、装置、电子设备及介质 |
CN114612902A (zh) * | 2022-03-17 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 图像语义分割方法、装置、设备、存储介质及程序产品 |
CN116168259A (zh) * | 2023-04-26 | 2023-05-26 | 厦门微图软件科技有限公司 | 一种应用于oled点灯***的自动缺陷分类算法 |
CN117274148A (zh) * | 2022-12-05 | 2023-12-22 | 魅杰光电科技(上海)有限公司 | 基于深度学习的无监督晶圆缺陷检测方法 |
WO2024000420A1 (zh) * | 2022-06-30 | 2024-01-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110910368A (zh) * | 2019-11-20 | 2020-03-24 | 佛山市南海区广工大数控装备协同创新研究院 | 基于语义分割的注射器缺陷检测方法 |
CN111080622A (zh) * | 2019-12-13 | 2020-04-28 | 熵智科技(深圳)有限公司 | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 |
CN111223083A (zh) * | 2020-01-06 | 2020-06-02 | 宜通世纪物联网研究院(广州)有限公司 | 表面划痕检测神经网络的构建方法、***、装置及介质 |
CN111612763A (zh) * | 2020-05-20 | 2020-09-01 | 重庆邮电大学 | 手机屏幕缺陷检测方法、装置及***、计算机设备及介质 |
CN111881957A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学院自动化研究所 | 基于信息导向注意力网络的图像识别方法、***及装置 |
CN111951249A (zh) * | 2020-08-13 | 2020-11-17 | 浙江理工大学 | 基于多任务学习网络的手机导光板缺陷可视化检测方法 |
US20210004945A1 (en) * | 2019-07-05 | 2021-01-07 | International Business Machines Corporation | Image defect identification |
CN112233059A (zh) * | 2020-08-13 | 2021-01-15 | 浙江理工大学 | 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法 |
CN112288741A (zh) * | 2020-11-23 | 2021-01-29 | 四川长虹电器股份有限公司 | 一种基于语义分割的产品表面缺陷检测方法、*** |
-
2021
- 2021-03-15 CN CN202110275184.2A patent/CN112950606B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210004945A1 (en) * | 2019-07-05 | 2021-01-07 | International Business Machines Corporation | Image defect identification |
CN110910368A (zh) * | 2019-11-20 | 2020-03-24 | 佛山市南海区广工大数控装备协同创新研究院 | 基于语义分割的注射器缺陷检测方法 |
CN111080622A (zh) * | 2019-12-13 | 2020-04-28 | 熵智科技(深圳)有限公司 | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 |
CN111223083A (zh) * | 2020-01-06 | 2020-06-02 | 宜通世纪物联网研究院(广州)有限公司 | 表面划痕检测神经网络的构建方法、***、装置及介质 |
CN111612763A (zh) * | 2020-05-20 | 2020-09-01 | 重庆邮电大学 | 手机屏幕缺陷检测方法、装置及***、计算机设备及介质 |
CN111881957A (zh) * | 2020-07-15 | 2020-11-03 | 中国科学院自动化研究所 | 基于信息导向注意力网络的图像识别方法、***及装置 |
CN111951249A (zh) * | 2020-08-13 | 2020-11-17 | 浙江理工大学 | 基于多任务学习网络的手机导光板缺陷可视化检测方法 |
CN112233059A (zh) * | 2020-08-13 | 2021-01-15 | 浙江理工大学 | 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法 |
CN112288741A (zh) * | 2020-11-23 | 2021-01-29 | 四川长虹电器股份有限公司 | 一种基于语义分割的产品表面缺陷检测方法、*** |
Non-Patent Citations (3)
Title |
---|
XIAOLIN ZHANG;YUNCHAO WEI;YI YANG;THOMAS S. HUANG: "SG-One: Similarity Guidance Network for", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
李新叶等: "基于深度神经网络的少样本学习综述", 《计算机应用研究》 * |
邱陵腾: "基于正样本参考的小样本图像缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553929A (zh) * | 2020-05-12 | 2020-08-18 | 重庆邮电大学 | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 |
CN111553929B (zh) * | 2020-05-12 | 2022-08-09 | 重庆邮电大学 | 基于融合网络的手机屏幕缺陷分割方法、装置及设备 |
CN113191359A (zh) * | 2021-06-30 | 2021-07-30 | 之江实验室 | 基于支持与查询样本的小样本目标检测方法与*** |
CN114092364A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN114092364B (zh) * | 2021-08-12 | 2023-10-03 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN113688947A (zh) * | 2021-10-11 | 2021-11-23 | 国网智能科技股份有限公司 | 一种配电设备红外图像故障识别方法及*** |
CN113688947B (zh) * | 2021-10-11 | 2024-03-15 | 国网智能科技股份有限公司 | 一种配电设备红外图像故障识别方法及*** |
CN113899675A (zh) * | 2021-10-13 | 2022-01-07 | 淮阴工学院 | 一种基于机器视觉的混凝土抗渗自动检测方法、装置 |
CN113899675B (zh) * | 2021-10-13 | 2022-05-27 | 淮阴工学院 | 一种基于机器视觉的混凝土抗渗自动检测方法、装置 |
CN114565760B (zh) * | 2022-02-24 | 2023-02-28 | 北京百度网讯科技有限公司 | 图像分割方法、模型的训练方法、装置、电子设备及介质 |
CN114565760A (zh) * | 2022-02-24 | 2022-05-31 | 北京百度网讯科技有限公司 | 图像分割方法、模型的训练方法、装置、电子设备及介质 |
CN114612902A (zh) * | 2022-03-17 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 图像语义分割方法、装置、设备、存储介质及程序产品 |
CN114359283B (zh) * | 2022-03-18 | 2022-07-05 | 华东交通大学 | 基于Transformer的缺陷检测方法和电子设备 |
CN114359283A (zh) * | 2022-03-18 | 2022-04-15 | 华东交通大学 | 基于Transformer的缺陷检测方法和电子设备 |
WO2024000420A1 (zh) * | 2022-06-30 | 2024-01-04 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法和装置 |
CN117274148A (zh) * | 2022-12-05 | 2023-12-22 | 魅杰光电科技(上海)有限公司 | 基于深度学习的无监督晶圆缺陷检测方法 |
CN116168259A (zh) * | 2023-04-26 | 2023-05-26 | 厦门微图软件科技有限公司 | 一种应用于oled点灯***的自动缺陷分类算法 |
CN116168259B (zh) * | 2023-04-26 | 2023-08-08 | 厦门微图软件科技有限公司 | 一种应用于oled点灯***的自动缺陷分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112950606B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112950606B (zh) | 一种基于小样本的手机屏幕缺陷分割方法 | |
CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及***、计算机设备及介质 | |
CN109033998B (zh) | 基于注意力机制卷积神经网络的遥感影像地物标注方法 | |
CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
CN112288706A (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及*** | |
CN106709958A (zh) | 一种基于灰度梯度和颜色直方图的图像质量评价方法 | |
CN111402224B (zh) | 一种用于电力设备的目标识别方法 | |
CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
CN111738994B (zh) | 一种轻量级的pcb缺陷检测方法 | |
CN110111346B (zh) | 基于视差信息的遥感图像语义分割方法 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN115131747A (zh) | 基于知识蒸馏的输电通道工程车辆目标检测方法及*** | |
CN114897865A (zh) | 基于少量缺陷样本的工业缺陷检测方法 | |
CN111950457A (zh) | 油田安全生产图像识别方法及*** | |
CN114821350A (zh) | 多阶段信息融合的高分辨率遥感图像建筑物变化检测方法 | |
CN112967292B (zh) | 一种针对电商产品的自动抠图与评分方法及*** | |
CN109815957A (zh) | 一种基于彩色图像在复杂背景下的文字识别方法 | |
CN117830283A (zh) | 基于冗余特征重用和感受野增强的带钢缺陷检测方法 | |
CN112200766A (zh) | 基于区域关联神经网络的工业产品表面缺陷检测方法 | |
CN115830514B (zh) | 一种适用于带弯曲河道的全河段表面流速计算方法及*** | |
CN113744205B (zh) | 一种端到端的道路裂缝检测*** | |
CN111083468B (zh) | 一种基于图像梯度的短视频质量评价方法及*** | |
CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |