CN112150460B - 检测方法、检测***、设备和介质 - Google Patents
检测方法、检测***、设备和介质 Download PDFInfo
- Publication number
- CN112150460B CN112150460B CN202011112325.0A CN202011112325A CN112150460B CN 112150460 B CN112150460 B CN 112150460B CN 202011112325 A CN202011112325 A CN 202011112325A CN 112150460 B CN112150460 B CN 112150460B
- Authority
- CN
- China
- Prior art keywords
- picture
- data
- detection
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 187
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 129
- 230000007547 defect Effects 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 57
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 238000011946 reduction process Methods 0.000 claims abstract description 7
- 239000004744 fabric Substances 0.000 claims description 70
- 230000004927 fusion Effects 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 230000011218 segmentation Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000007797 corrosion Effects 0.000 description 5
- 238000005260 corrosion Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 239000004753 textile Substances 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005728 strengthening Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种检测方法、检测***、设备和介质,所述检测方法包括:获得检测图片;将所述检测图片输入第一卷积神经网络处理,所述第一卷积神经网络对所述检测图片的特征数据进行先降维,再升维;根据所述先降维再升维过程得到第一特征数据;根据所述降维过程得到第二特征数据;将所述第一特征数据和所述第二特征数据进行融合,得到空间特征数据;根据空间特征数据,判断缺陷信息。本发明实施例可以提高检测精度。
Description
技术领域
本发明实施例涉及人工智能计算机视觉技术领域,尤其涉及一种检测方法、检测***、设备和介质。
背景技术
纺织行业一直是我国经济中占据举足轻重的地位,2019年我国布料产量超过1000亿米,且产量需要一直处于上升趋势。随着人工智能和大数据快速发展。如果能够将人工智能和计算机视觉技术应用于纺织行业,对纺织行业的价值无疑会是巨大的。布匹缺陷检测是纺织行业生产和质量管理的重要环节,但一直以来布匹缺陷检测都是由人工检测完成的。人工检测速度慢、劳动强度大,受主观因素影响,布料缺陷缺乏一致性,这种方法严重降低了纺织生产流程的自动化程度。据了解,人工检测速度一般在15-18米/分,在此速度下,单个检验人员只能完成0.8-1米宽幅的检测,因此布匹的检验和整理环节成了整个生产过程中的瓶颈。人工检测还存在过于依赖验布工人经验的缺点,经常出现多检,漏检和缺陷分类错误。尤其缺陷不明显特征仅仅依靠人工检测往往出现漏检。目前,现有的一些检测算法,检测率低、过检率高、速度慢、以至于很难到达到工业化的要求。因此本发明结合滑动窗口和全卷积网络布料缺陷检测提出了一种更为高效的瑕疵检测方法,解决目前一些检测算法漏检,过检,缺陷分类错误行业痛点。
参考图1和图2,分别示出了两种带有瑕疵的布料示意图。图1中布料表面上有一条较长的拼缝瑕疵10。图2中布料表面有一个不太明显的污点瑕疵20。
现有技术会对织物材料加工程序中布料进行图像采集,获得输入图像,之后针对输入图像进行分析以实现瑕疵检验。但是现有的瑕疵检测存在精度不够的问题。具体地说,图2中的矩形框30为现有检测方法输出的瑕疵检测结果,然而布料上的污点瑕疵20并没有位于矩形框30的范围内,也就是说,所述方法并没有准确地把污点瑕疵20检测到。
除了织物表面缺陷,图像识别还可应用到其他产品(例如:金属、塑料模具、汽车组件、机械零件等)的缺陷识别中。此外,图像识别技术还可以在票据、车牌、人脸识别等场景中应用,然而在其他应用场景中也同样存在检测精度不符合要求的问题。
发明内容
本发明解决的问题是提供一种检测方法、检测***、设备和介质,提高检测精度。
本发明技术方案提供一种检测方法,包括:获得检测图片;将所述检测图片输入第一卷积神经网络处理,所述第一卷积神经网络对所述检测图片的特征数据进行先降维,再升维;根据所述先降维再升维过程得到第一特征数据;根据所述降维过程得到第二特征数据;将所述第一特征数据和所述第二特征数据进行融合,得到空间特征数据;根据空间特征,判断缺陷信息。
可选地,检测方法还包括:将所述检测图片输入第二卷积神经网络处理,获得细节特征数据;融合所述空间特征数据和所述细节特征数据得到融合特征数据;根据融合特征数据,判断缺陷信息。
可选地,融合所述空间特征数据和所述细节特征数据得到融合特征数据的步骤包括:基于一预设权重融合所述空间特征数据和所述细节特征数据得到融合特征数据。
可选地,在获得检测图片之前,所述检测方法还包括:建模步骤,包括:获得样本图片;对所述样本图片进行所述第一卷积神经网络处理,获得样本空间特征数据;对所述样本图片进行第二卷积神经网络处理,获得样本细节特征数据;基于初始权重,融合所述样本空间特征数据和样本细节特征数据,获得样本图片数据,完成一次训练;通过多次训练不断调整所述初始权重,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。
可选地,所述获得样本图片的步骤包括:获得原始样本图片,将所述原始样本图片转化为掩码图;对所述掩码图进行灰度处理,获得灰度图,以所述灰度图和所述原始样本图片作为样本图片。
可选地,判断检测图片上的缺陷信息的步骤包括:将所述空间特征信息和/或所述细节特征信息输入轮廓识别模型,获得所述检测图像的多个轮廓预测数据;对所述多个轮廓预测数据进行特征叠加,获得预测叠加数据;以及基于所述预测叠加数据,判断缺陷信息。
可选地,所述第二卷积神经网络包括VGG网络,所述第一卷积神经网络包括MobileNet V2网络;或者,所述第一卷积神经网络包括Mobilenet V2网络,以及,特征图像金字塔,用于对Mobilenet V2网络输出的数据进行处理;或者,所述第一卷积神经网络包括ResNet 50网络、特征图像金字塔和全卷积网络。
可选地,所述检测图片为布料图片,所述缺陷信息为布料上的瑕疵信息。
相应地,本发明实施例还提供一种检测***,包括:
第一图片获取单元,用于获得检测图片;语义单元,用于将所述检测图片输入第一卷积神经网络处理,获得空间特征数据;判断单元,基于空间特征信息,判断缺陷信息;其中,所述将检测图片输入第一卷积神经网络进行处理包括:对所述检测图片的特征数据进行先降维,再升维;根据所述先降维再升维过程得到第一特征数据;根据所述降维过程得到第二特征数据;将所述第一特征数据和所述第二特征数据进行融合,得到空间特征数据,根据空间特征数据,判断缺陷信息。
相应地,本发明实施例还提供一种设备,包括本发明实施例提供的所述检测***。
可选地,还包括:采样装置,用于对待检测物进行拍照;所述第一图片获取单元用于从所述采样装置获得原始图片。
可选地,所述采样装置为照相机,所述设备还包括:运输平台,用于运输所述待检测对象;所述照相机设置在所述运输平台上,对待检测对象进行拍照;所述检测***用于根据所述照相机获得的待检测对象的图片,判断待检测对象上的缺陷类型和位置。
相应地,本发明实施例还提供一种介质,其上存储有计算机指令,其特征在于,所述计算机指令运行本发明实施例所述检测方法的步骤。
与现有技术相比,本发明的技术方案具有以下优点:
本发明技术方案中通过卷积神经网络(Convolutional Neural Networks,CNN)深度学习的方法对检测图片进行图像识别,以获得检测图片上的缺陷信息,本发明实施例通过对一张检测图片,进行第一卷积神经网络处理,获得空间特征数据,从而使检测出缺陷信息,因此本发明实施例检测方法在保证处理效率的基础上能获得较高的缺陷检测精度。
附图说明
图1为一种带有瑕疵的布料示意图;
图2为另一种带有瑕疵的布料示意图;
图3为本发明检测方法一实施例的流程示意图;
图4为图3中步骤S1检测图片101的示意图;
图5为残差结构示意图;
图6为图3中步骤2的一第一卷积神经网络的示意图;
图7为图3中步骤2的另一第一卷积神经网络的示意图;
图8为直方图均衡示意图;
图9为图3中步骤4的融合步骤的示意图;
图10的a图和b图分别示意出了现有技术检测方法和本发明检测方法的输出结果的对比图;
图11是本发明检测***一实施例的功能框图;
图12是本发明设备一实施例的功能框图。
具体实施方式
如背景技术所述,现有技术布料瑕疵检测存在检测精度不高的问题,结合图1和图2分析现有技术图像处理存在的问题。
现有技术对输入图像进行的图像处理包括高斯滤波等算法,这些图像算法需要根据不同图片进行参数的调整。如图1中拼缝瑕疵10的尺寸较大,而图2中污点瑕疵20的尺寸较小。对不同尺寸的瑕疵进行图像处理时,需要设置不同的参数,才能比较准确地检测到瑕疵。
而实际在布料加工程序中,在无法获知布料上产生何种瑕疵时,通常采用一种参数设置进行图像处理,这就容易出现目标漏检的情况,例如:图1中拼缝瑕疵10尺寸较大而容易被检测到,而图2中污点瑕疵20因为尺寸较小而不容易被检测到,从而出现瑕疵漏检的问题。
此外,为了降低计算复杂度,现有技术还通过剪裁或缩放图片等方法来限定输入图像,这种方法容易造成空间细节的损失,尤其是边界部分造成的细节损失更为严重,因而容易出现检测精度下降的问题。
为了解决所述技术问题,本发明实施例提供一种检测方法,通过卷积神经网络(Convolutional Neural Networks,CNN)深度学习的方法对检测图片进行图像识别,以获得检测图片上的缺陷信息,本发明实施例对一张检测图片,通过第一、第二卷积神经网络处理,分别获得空间、细节特征数据;从而使结合后得到的图片数据即包含了空间信息也没有丢失细节信息,因此本发明实施例检测方法在保证处理效率的基础上能获得较高的缺陷检测精度。
本文的实施例以布料瑕疵检测为例进行说明,但本发明并不局限于布料瑕疵检测,也可以用于金属、塑料模具、汽车组件、机械零件等的缺陷识别中。此外,图像识别技术还可以在票据、车牌、人脸识别等场景中应用。
参考图3,示意出了本发明检测方法一实施例的流程示意图。所述检测方法包括以下步骤:
步骤S1,获得检测图片;
步骤S2,对所述检测图片进行第一卷积神经网络处理,获得空间特征数据;
步骤S3,对所述检测图片进行第二卷积神经网络处理,获得细节特征数据,所述第二卷积神经网络比第一卷积神经网络的层次浅,所述第二卷积神经网络比第一卷积神经网络的通道宽;
步骤S4,融合所述空间特征数据和所述细节特征数据,获得图片数据;
步骤S5,基于所述图片数据,判断缺陷信息。
需要注意的是,上述步骤可以根据实际情况增加或者删除或者修改或者合并。例如在一些实施例中,步骤S3和S4可以删掉,通过空间特征数据直接得到缺陷信息。在另一些实施例中,S4和S5可以合并为通过融合特征信息判断缺陷信息。具体例如,所述检测方法包括以下步骤:
第一步,获得检测图片;
第二步,将所述检测图片输入第一卷积神经网络处理,所述第一卷积神经网络对所述检测图片的特征数据进行先降维,再升维;根据所述先降维再升维过程得到第一特征数据;根据所述降维过程得到第二特征数据;
第三步,将所述第一特征数据和所述第二特征数据进行融合,得到空间特征数据;
第四步,根据空间特征数据,判断缺陷信息。
下面对上述检测方法各个步骤进行详细的说明。
如图4所示,执行步骤S1,获取检测图片101。此处检测图片101指的是能被卷积神经网络识别和处理的图片。
本实施例中检测方法对布料进行检测,所述缺陷信息为布料上的瑕疵信息,因此,此处检测图片为布料图片。
在实际布料加工程序中,布料在流水线上快速移动,在进行瑕疵检测时,通过照相机(也可以是其他图像传感器)对布料表面拍照,获得布料表面的原始图片。本实施例在获得原始图片之后,还包括对原始图片进行等量切割,获得多个检测图片101。这是因为常用工业相机获得的原始图片尺寸不符合卷积神经网络的处理要求,需要对原始图片进行切割处理。
例如,原始图片为4096*500,通过等量切割将原始图片切割为500*500的检测图片,之后送入卷积神经网络进行处理。
在其他实施例中,还可以根据卷积神经网络对检测图片的要求选择等量切割的大小。或者,在其他实施例中,如果原始图片符合卷积神经网络处理的要求,也可以不进行等量切割。
需要说明的是,为了便于进行缺陷信息的识别,本实施例还包括:在获得原始图片之后,进行等量切割之前,对所述原始图片进行预处理,以强化图片的特征信息。因为本发明实施例是识别布料背景上,是否存在与布料背景有所区别和异常的图像特征,因此通过强化图片上的特征信息,可以使与缺陷相关的异常图像信息更加显著化,从而有助于后续缺陷识别和检测的精度。
具体地,本实施例的预处理为对原始图像进行高斯滤波处理(Gauss filter)。高斯滤波通过对数据的平滑处理,对于抑制正态分布的噪声数据非常有效,从而得到信噪比较高的、能反应真实图像信息的图像。
在其他实施例中,所述预处理还可以包括:图片膨胀(Dilation)或图片腐蚀(Erosion)。图片膨胀处理可将图像特征的信息加强;图片腐蚀处理能把噪声减弱从而凸显特征信息,因此图像膨胀处理和图片腐蚀处理均可以起到强化图片的特征信息的作用。
执行步骤S2,对所述检测图片进行第一卷积神经网络处理,获得空间特征数据。
需要说明的是,步骤S1得到的检测图片可以通过数据进行表示,具体地,所述检测图像输入网络时的数据为一像素值矩阵,矩阵的各元素为图片中代表不同灰度的像素值。
通过卷积神经网络可以对像素值矩阵中的特征(feature)进行提取和学***坦的背景、背景上的小物体还是背景上大物体的边缘等等)。
特征提取的过程主要包括:通过不同的卷积核(filter)(通常为是3×3或者5×5)对像素值矩阵进行卷积运算,从而获得不同的特征图(feature map),基于所述特征图和后续的处理(例如:采样等处理),可以实现图像学习和识别的过程。
本发明实施例通过通道(Channel)窄、层次深的卷积神经网络进行第一卷积神经网络处理,得到体现空间信息的第一矩阵,作为所述空间特征数据。
在进行第一卷积神经网络处理时,随着下采样或卷积次数增加,对像素矩阵的感受野(receptive field)逐渐增加,感受野之间的重叠区域也不断增加,获得的信息是一个区域的信息,即获取的是本区域或相邻区域之间的特征信息。因而通过扩大感受野从而获得高级语义,进而获得空间特征数据。
第一卷积神经网络处理的通道窄(例如,Channel为32或64),相应地,卷积核的数量少,可以减少对图像处理的计算量。
需要说明的是,深度卷积网络的层次越深,即经过的卷积次数越多,相应地,层间的梯度越容易发散,从而容易导致误差的产生。
本实施例可以通过具有残差结构的卷积神经网络来获得空间特征数据,具有残差结构的卷积神经网络能够提取布料缺陷抽象空间特征,从而优化训练效果。不具有残差结构网络对输入的数据经过升维降维都会存在一些损失,通过残差结构以原始信息为基准对损失的信号进行补正实现丰富抽象空间特征提取。如图5所示即为一个三层卷积层组成残差结构的具体示意图,第一个1x1的卷积把256维通道降到64维,然后在最后一层卷积输出和第一层卷积特征相加输出256个特征谱。
具体地,第一卷积神经网络可以为MobileNet V2网络。MobileNet V2网络的主要架构还将MobileNet V1和残差网络ResNet的残差单元结合起来,采用先升维再降维的方法,依次执行了扩张、卷积特征提取、压缩的过程。MobileNet V2网络为一种轻量级的、通道窄层次深的网络,从而可以提高网络对检测图片101的处理速度。
在其他实施例中,还可以采用其他的卷积神经网络对检测图片进行处理,以获得高级语义。参考图6,示出了图3中步骤2一第一卷积神经网络的示意图。所述第一卷积神经网络包括:MobileNet网络201,以及特征图像金字塔202(Feature Pyramid Network,FPN),用于对MobileNet网络201输出的数据做进一步处理。
具体地,FPN是一种不同分辨率特征融合的方式,通过将每个分辨率的特征图(feature map)和上采样(up sample)的低分辨率特征(element-wise)相加,使得不同层次的特征增强,因而能较为明显的改善目标检测的性能。此外,因为FPN是在MobileNet网络基础上做跨层连接和低分辨率特征相加。与仅采用MobileNet V2网络2的实施例相比,本实施例增加的计算量较少,从而兼顾了效率和精度。
具体地,比如图6所示,FPN分了4个分层特征(例如:C2、C3、C4、C5分别提取图片32、64、128、256)的特征,且每一分层结合了低分辨率的特征(例如:C4结合了C5的特征)。FPN通过融合不同尺度的特征,从而可以在不同尺度提取像素矩阵里的特征,进而尽量不丢失检测图片101上的缺陷目标。
更加具体的,图6所示的第一卷积神经网络的具体实现过程如下。首先,获取检测图片,所述检测图片中包括瑕疵。检测图片可以为真彩图像(也即,RGB图像)。当需要对某一检测图片中是否有瑕疵进行识别时,需先对检测图片中的瑕疵进行定位,然后基于定位再进行瑕疵的种类和大小的识别。可将需识别的检测图片发送至终端,终端获取到图片后,启动对检测图片中的待识别瑕疵进行定位的操作,即执行下述步骤。
第一步,通过将所述检测图片输入图6第一神经网络中,以得到所述检测图像不同特征维度的若干个特征层,所述第一神经网络是根据样本中的瑕疵特征进行分析得到的、用以提取输入的图片中的瑕疵特征层的模型。上述第一神经网络模型是根据样本图像中瑕疵部分和非瑕疵部分,训练出用于获取输入的图片基于不同特征维度的纹理特征层的模型。其中,当特征维度与图片的像素值对应时,纹理提取模型可以采用MobileNet和FPN特征图像金字塔模型,对检测图片的像素通过多个不同卷积核进行卷积处理,以得到检测图片对应的若干个特征层,例如可以为19层。
第二步,从所述若干个特征层中筛选出基础特征层。基础特征层为若干个特征层中对于瑕疵定位效果最好的几层。在获取若干个特征层后,并非对所有的特征层都执行下一步的操作,而是先根据识别需求来对其进行筛选,仅保留对于瑕疵定位效果最好的基础特征层。若神经网络模型为MobileNetv2时,则可从19层纹理特征层将第2,3,4,5层作为基础特征层,选择的各层的特征矩阵的维度分别是原图的1/2,1/4,1/8,1/16。
第三步,将所述基础特征层进行特征叠加,得到所述检测图片中瑕疵的特征层。在得到上述的基础特征层之后,若基础特征层不止一个,需要对基础特征层中的特征进行叠加,得到一个表征瑕疵在检测图片中的位置的特征层。当基础纹理特征层对应检测图像经过几个不同卷积核得到的卷积层,可对基础特征层进行像素插值,获取几个基础特征层的高维度像素图像。
最后一步,根据所述瑕疵的特征层获取所述瑕疵在所述检测图片中的位置。得到瑕疵的特征层也就是空间特征数据,即可根据该层中的特征分布情况,如像素中的瑕疵对应的特征像素分布,获取瑕疵在检测图片中的位置。
参考图7,示出了图3中步骤2的另一第一卷积神经网络的示意图。本实施例第一卷积神经网络由ResNet101或ResNet 50网络、特征图像金字塔和全卷积网络组成。通过第一卷积神经网络进行处理的步骤,还包括:通过原生模块301、分割模块302和融合模块303对网络得到的特征数据进行融合处理。
具体地,如图7所示,在对检测图片101输入网络进行处理时,可以对特征数据进行先降维(例如,从block1-block5的过程),再升维(例如,从up4-up1的过程)的处理方式。原生模块301输出的是完成整个过程的先降维再升维得到的第一特征数据,而分割模块302输出的是前半程降维过程得到的第二特征数据。
融合模块303将所述第一特征数据和第二特征数据进行融合,得到空间特征数据。
在一个具体实施例中,将检测图片101输入第一卷积神经网络中,神经卷积基础网络采用是ResNet101或者ResNet50、特征图像金字塔和全卷积网络组成,然后选择resnet101或者resnet50中卷积层block第1层、block第3层、block第5层分别与up4、up3、up2、up1进行特征金子塔融合(FPN)。up4、up3、up2、up1分别使用空洞卷积上采样特征谱,原生模块301输出第一特征数据,分割模块302输出第二特征数据,其次分别把原生模块和分割模块进行融合,融合特征进行全卷积操作。其中空洞卷积的方法可以在不做池化损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。在将检测图片输入神经网络之前,可以先对检测图片进行一个预处理,例如可以对检测图片进行直方图均衡化,如图8所示,直方图均衡化用来增加布料缺陷的全局对比度,尤其是当布料缺陷的对比度相当接近的时候,通过该方法,布料缺陷亮度可以更好地在直方图上分布。这样就可以用于增强布料缺陷特征,可以使相似瑕疵分类更准确,直方图均衡化图像输入模型训练,最后得到掩码图。
这样操作的技术效果之一为了解决缺陷不明显特征在卷积过程出现漏检并且布料缺陷分类更准确。同时增加训练模型鲁棒性。
更加具体的,图7所示的第一卷积神经网络的具体实现过程如下。首先,获取检测图片,所述目标图片中包括瑕疵。这个步骤和图6的步骤相同,当需要对某一检测图片中是否有瑕疵进行识别时,一般先对检测图片中的瑕疵进行定位,然后基于定位再进行瑕疵的种类和大小的识别。可将需识别的检测图片发送至终端,终端获取到图片后,即执行下述步骤。
第一步,通过将所述检测图片输入第一卷积神经网络中,其中conv3、block1、block3和block5构成一个带有残差结构的由神经网络resnet101基础网络结合图像金子塔构建的全卷积网络结构,检测图片输入以后,经过conv3获得第一个特征层,经过conv3和block1获得第二个特征层,继续经过block3获得第三个特征层,再经过block5获得第四个特征层,由此可得到所述检测图像不同特征维度的若干个特征层。
第二步,经过block5获得的第四个特征层,进行up4上采样(也叫图像插值法)得到的第五个特征层,第五个特征层与第三个特征层叠加继续经过up3得到第六个特征层,以此类推,最后通过up1得到第八个特征层,up1输出的第一特征数据进入原生模块,up4输出的第二特征数据进入分割模块,其次分别把原生模块和分割模块的输出进行分割融合,融合特征进行全卷积操作。
最后,根据融合特征层也就是空间特征数据获取所述瑕疵在所述检测图片中的不同缺陷类型掩码图(也是mask图)。在得到瑕疵的特征层,即可根据该层中的特征分布情况,如像素中的瑕疵对应的特征像素分布,获取瑕疵在检测图片中的位置和缺陷类型。
在图6和图7的实施例中,可以直接根据获得的空间特征信息得到缺陷信息。在另外的实施例中,也可以利用空间特征信息和细节特征信息的融合特征信息获得缺陷信息。
执行步骤S3,对所述检测图片进行第二卷积神经网络处理,获得细节特征数据,所述第二卷积神经网络比第一卷积神经网络的层次浅,所述第二卷积神经网络比第一卷积神经网络的通道宽。
本发明实施例第二卷积神经网络处理采用与第一卷积神经网络互补的网络,从而可以获得互补的特征信息。此外,本发明实施例第二卷积神经网络处理与所述第一卷积神经网络采用并行方式处理检测图片,可以提高检测方法的处理效率。
通过通道宽、层次浅的卷积神经网络进行第二卷积神经网络处理,得到体现细节信息的第二矩阵,作为所述细节特征数据。
具体地说,第二卷积神经网络的层次浅,相应地,其感受野较小,因而最终输出的特征图能够体现更多的细粒度的特征信息,此外,特征图矩阵的每个像素点对应的感受野重叠区域较小,可以得到高分辨率的特征表示,进而保证网络能捕获更多细节信息。
第二卷积神经网络的通道宽(例如,Channel为512),可以针对RGB的三个通道的数据进行处理,通过较多的卷积核获得更多的细节信息。
本实施例中,第二卷积神经网络采用的是VGG网络结构。
具体地,VGG网络结构每一层均包括:卷积层,批归一化(Batch Normalization)和激活函数。
可以设置第一层的步长(stride)为2,经过第二卷积神经网络处理输出的特征映射是原始输入的1/8,因而具有较小的细粒度,可以得到细节信息。
实际应用中,可以根据计算速度和精度的要求,调整步长以及卷积核的大小。
需要说明的是,与步骤S3中第二卷积神经网络相比,步骤S2中采用的第一卷积神经网络设置了残差结构,减小了网络处理带来的误差;此外,第一卷积神经网络还设置了网络层特征融合,从而可以保留更多特征。
此外,与第二卷积神经网络相比,第一卷积神经网络可在同样的卷积层下,有更少的参数,可以减小了计算量,这个特点主要针对的是基础网络MobileNetV2。
执行步骤S4,融合所述空间特征数据和所述细节特征数据,获得图片数据。此处融合指的是,对应将体现空间信息的第一矩阵和体现细节信息的第二矩阵对应位置相加的过程。预设权重,指的是相加时空间特征数据和细节特征数据各自所占的配比。
空间特征数据的权重和细节特征数据的权重分别位于0-1之间,且两个权重之和为1。
空间特征数据和细节特征数据为相互互补的特征数据,通过将两者进行融合,可以使获得的图片数据即包含空间信息也没有丢失细节信息,从而能保证在保持一定处理速度的基础上又能有较高的检测精度。
具体地,融合的步骤包括:基于一预设权重融合所述空间特征数据和所述细节特征数据,获得图片数据。
实际应用中,可以将所述预设权重设置为1:1。即,通过将所述空间特征数据和所述细节特征数据进行简单相加,获得图片数据。这种处理方式比较简单、计算量较小。
还可以采用其他方式进行两种特征数据融合的步骤。参考图9,示出了步骤S4的一种融合方式的示意图。所述融合步骤包括:通过两种不同卷积对所述空间特征数据进行处理,分别得到第一空间数据和第二空间数据;通过两种不同卷积对细节特征数据进行处理,分别得到第一细节数据和第二细节数据;融合时对第一空间数据和第一细节数据(或第二细节数据)进行组合,对第二空间数据和第一细节数据(或第二细节数据)进行组合,从而得到四种组合方式。通过这种多种组合方式,可以基于通过调整预设权重使得到图像数据与原图相比损失较小,从而更能真实地反映原图的信息,进而提高缺陷判断的准确率。
在其他实施例中,还可以采用更多路或更多组合方式配置权重,以实现融合步骤。
融合步骤将步骤S2和步骤S3分别学习到的空间特征数据和细节特征数据叠加在一起,叠加在一起后获得融合特征数据,根据融合特征数据可以获得图片数据,从而完成了对检测图片的学习过程。
得到数据图片之前的空间特征信息和/或所述细节特征信息还可以进行如下操作,从而更加准确地判断瑕疵的种类和位置:将所述空间特征信息和/或所述细节特征信息输入轮廓识别模型,获得所述检测图像的多个轮廓预测数据;对所述多个轮廓预测数据进行特征叠加,获得预测叠加数据;以及基于所述预测叠加数据,获得判断缺陷的位置和/或种类。
首先,将所述空间特征信息和/或所述细节特征信息输入轮廓识别模型,获得所述检测图像的多个轮廓预测数据。由于利用上述方法训练的轮廓识别模型具有输入一个样本的特征信息输出与多个训练数据的分别对应的多个轮廓预测数据的能力,且多个训练数据是基于样本中识别对象的轮廓获得的,多个轮廓预测数据代表不同尺寸范围的预测目标对象的轮廓。那么输入一个待检测图像的特征信息,就能输出待检测图像的多个轮廓预测数据,多个轮廓预测数据从多个尺寸范围预测待检测图像的中目标对象的轮廓。
其次,对多个轮廓预测数据进行特征叠加,获得预测叠加数据;具体而言,对于待检测图像中目标对象或者重叠在一起的多个目标对象,在现有技术中的从一个尺寸范围获得轮廓预测数据中无法被预测或者无法清楚地分割预测。但由于多个轮廓预测数据从多个尺寸范围预测待检测图像的中目标对象的轮廓。对于目标对象或者重叠在一起的多个目标对象,即使在一个尺寸范围预测不出来,但在其他的尺寸范围可以被预测。将代表多个尺寸范围预测待检测图像的中目标对象的轮廓的多个轮廓预测数叠加,预测叠加数据可以清楚地反映小尺寸目标对象或者重叠在一起的多个目标对象的检测结果。
最后,基于预测叠加数据,获得目标对象的轮廓数据。预测叠加数据可以清楚地反映目标对象或者重叠在一起的多个目标对象的检测结果,基于预测叠加数据,获得目标对象的轮廓数据,确定目标对象的位置以及轮廓,输出检测结果。重叠的多个目标对象的轮廓都可以清楚地别分隔开,每个目标对象的轮廓都可以被准确预测。例如,在布料检测中,布料的瑕疵被识别出来。
在一个实施例中,多个轮廓预测数据包括:以空间特征信息和/或所述细节特征信息对应的瑕疵的轮廓的几何中心为缩放中心,按照M个不同的缩放倍数缩小基础数据对应的识别对象的轮廓。
按照上述缩小方式获取的M个轮廓预测数据可以从不同比例反映样本中瑕疵的轮廓,使得在不同比例下参考值更加清晰,输出的多个轮廓预测数据所反映的也是不同比例下的瑕疵,使得该轮廓识别模型具有从不同尺度下识别出识别对象的能力,更全面准确且快速地识别出识别对象。
步骤S5,基于所述图片数据,判断缺陷信息。
通过对检测图片进行机器学习得到相对应的图片数据,根据图片数据与预先存储的缺陷信息进行比对,以判断缺陷的位置和/或种类。
需要说明的是,本实施例,在将检测图片输入到网络之前进行了等量切割的处理。相应地,基于所述图片数据,判断检测图片上的缺陷信息的步骤包括:对多个检测图片对应的图片数据进行合并,基于合并后的数据判断缺陷的位置或种类。
在进行合并时,根据切割时各个检测图片的对应位置进行还原,从而得到整张原始图片的图片数据,从而有利于准确的定位缺陷位置。
需要说明的是,此处图片数据相当于一矩阵,矩阵中元素代表各个位置处是否有瑕疵,以及瑕疵种类。例如,没有瑕疵的位置,元素值为0;有瑕疵的位置,元素值为1、2、3……,其中1、2、……分别代表不同的瑕疵种类。
需要说明的是,请继续参考图3的流程示意图,本实施例在进行实际检测之前,还需要进行建模的步骤,所述建模的步骤主要用于进行预设权重的配置。在建模过程中卷积神经网络进行特征学习的过程,也是缺陷特征学习的过程。
具体地,建模的步骤包括:获得样本图片;对所述样本图片进行第一卷积神经网络处理,获得样本空间特征数据;对所述样本图片进行第二卷积神经网络处理,获得样本细节特征数据;基于初始权重,融合所述样本空间特征数据和样本细节特征数据,获得样本图片数据,完成一次训练;通过多次训练调整所述初始权重,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。
建模步骤和检测方法步骤中执行的处理方式是相同的,不同点在于,建模过程输入至网络的数据有所不同,建模过程向网络中输入的是样本图片,网络基于对样本图片的学习,一方面学习图片中缺陷特征,另一方面,对融合步骤的两种特征数据的预设权重进行配置。
在最初的学习过程中,初始权重为随机设置的权重,每次学习的过程会对权重进行调整以减小图像数据损失,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。
之后在实际检测过程中,以建模过程得到的预设权重进行检测。
此外,建模步骤与检测方法还有的不同点在于:在获得原始样本图片,将所述原始样本图片转化为掩码图;对所述掩码图进行灰度处理,获得灰度图,以所述灰度图和所述原始样本图片作为样本图片。
通过灰度处理后的样本图片进行训练,一方面数据量少,另一方面更能体现缺陷边缘信息,有利于实现缺陷特征的学习。
需要说明的是,建模步骤中的原始样本图片与实际进行检测的原始图片均为等量切割后的图片。通过将灰度图和原始样本图片作为样本图片进行成对训练,可以通过原始样本图片,建立灰度图和原始图片之间的关联,从而在后续检测过程中,只要输入原始图片即能实现缺陷检测。
参考图10,a图和b图分别示意出了现有技术检测方法和本发明检测方法的输出结果的对比图。
针对污点瑕疵501,如图a现有技术检测方法的检测框502没有标定到污点瑕疵501的位置。而如图b中,本发明检测方法准确地将污点瑕疵501的位置标记出来,并判断出缺陷种类为点瑕疵(spot),缺陷数量为1。
在其他实施例中,还可以检测出其他种类地瑕疵,例如花针、勾毛、拼缝等等。
还需要说明的是,本发明实施例检测方法对布料图片上的缺陷信息进行检测,可以在不到0.1s的时间内完成一张布料图片的处理。另外,在进行缺陷信息检测时,可以实现mIOU在0.7以上的精度。本发明实施例检测方法同时兼顾了处理速度和检测精度。
相应地,本发明还提供一种检测***,参考图11,示出了本发明检测***一实施例的功能框图,所述检测***包括:
第一图片获取单元601,用于获得检测图片;
语义单元602,用于对所述检测图片进行第一卷积神经网络处理,获得空间特征数据;
细节单元603,用于对所述检测图片进行第二卷积神经网络处理,获得细节特征数据,所述第二卷积神经网络比第一卷积神经网络的层次浅,所述第二卷积神经网络比第一卷积神经网络的通道宽;
融合单元604,用于融合所述空间特征数据和所述细节特征数据,获得图片数据;
判断单元605,用于根据所述图片数据,判断缺陷信息。
本发明实施例检测***,通过CNN的深度学习方法对检测图片进行图像识别,以获得检测图片上的缺陷信息,本发明实施例对一张检测图片,通过第一、第二卷积神经网络处理,分别获得空间、细节特征数据;从而使结合后得到的图片数据即包含了空间信息也没有丢失细节信息,因此本发明实施例检测方法在保证处理效率的基础上能获得较高的缺陷检测精度。
下面结合附图对检测***的各个单元和模块进行详细说明。
结合参考图4,第一图片获取单元601,用于获得检测图片101;此处检测图片101指的是能被卷积神经网络识别和处理的图片。
本实施例中检测***用于对布料进行检测,所述缺陷信息为布料上的瑕疵信息。因此此处检测图片为布料图片。
在实际布料加工程序中,布料在流水线上快速移动,在进行瑕疵检测时,通过照相机(也可以是其他图像传感器)对布料表面拍照,获得布料表面的原始图片。本实施例在获得原始图片之后,还包括对原始图片进行等量切割,获得多个检测图片101。这是要因为常用工业相机获得的原始图片尺寸不符合卷积神经网络的处理要求,需要对原始图片进行切割处理。
例如,原始图片为4096*500,通过等量切割将原始图片切割为500*500的检测图片,此时多出来的部分放大成500*500;也可以切割成512*500的检测图片,之后送入卷积神经网络进行处理。
在其他实施例中,还可以根据卷积神经网络对检测图片的要求选择等量切割的大小。或者,在其他实施例中,原始图片符合卷积神经网络处理的要求,也不需要进行等量切割。
需要说明的是,布料上的可能出现的缺陷类型较多,尺寸大小也各不相同。为了便于进行缺陷信息的识别,本实施例***中的第一图片获取单元601还用于在进行等量切割之前,对所述原始图片进行预处理,以强化图片的特征信息。因为本发明实施例是识别布料背景上,是否存在与布料背景有所区别和异常的图像特征,因此通过强化图片上的特征信息,可以使与缺陷相关的异常图像信息更加显著化,从而有助于后续缺陷识别和检测的精度。
所述第一图片获取单元601用于对所述原始图片进行膨胀或腐蚀的预处理;图片膨胀处理可将图像特征的信息加强;图片腐蚀处理能把噪声减弱从而凸显特征信息,因此图像膨胀处理和图片腐蚀处理均可以起到强化图片的特征信息的作用。
或者,所述第一图片获取单元601用于对所述原始图片进行高斯滤波预处理。高斯滤波通过对数据的平滑处理,对于抑制服从正态分布的噪声数据非常有效,从而得到信噪比较高的、能反应真实图像信息的图像。
语义单元602,用于对所述检测图片进行第一卷积神经网络处理,获得空间特征数据;
第一图片获取单元601得到的检测图片可以通过数据来表示,具体地为一像素矩阵,矩阵的各元素为代表不同灰度的像素值。即输入到第一卷积神经网络进行处理的是像素值矩阵。
通过卷积神经网络可以对像素值矩阵中的特征(feature)进行提取和学***坦的背景、背景上的小物体还是背景上大物体的边缘等等)。
特征提取的过程主要包括:通过不同的卷积核(filter)(通常为是3×3或者5×5)对像素值矩阵进行卷积运算,从而获得不同的特征图(feature map),基于所述特征图和后续的处理(例如:采样等处理),可以实现图像学习和识别的过程。
本发明实施例通过通道(Channel)窄、层次深的卷积神经网络进行第一卷积神经网络处理,得到体现空间信息的第一矩阵,即为所述空间特征数据。
第一卷积神经网络处理的层次可以随着下采样或卷积次数增加,对像素矩阵的感受野(receptive field)逐渐增加,感受野之间的重叠区域也不断增加,获得的信息是一个区域的信息,即获取的是本区域或相邻区域之间的特征信息。因而通过扩大感受野从而获得高级语义,进而获得空间特征数据。
第一卷积神经网络处理的通道窄(例如,Channel为32或64),相应地,卷积核的数量少,可以减少对图像处理的计算量。
需要说明的是,深度卷积网络的层次越深,即经过的卷积次数越多,相应地,层间的梯度越容易发散,从而容易导致误差的产生。本实施例可以通过带有直连(shortcut)结构的卷积神经网络来获得空间特征数据,直连结构的卷积神经网络通过使输入数据为带有残差的数据,可以减小网络处理带来的误差,从而优化训练效果。
具体地,第一卷积神经网络可以为MobileNet V2网络。MobileNet V2网络的主要架构还将MobileNet V1和残差网络ResNet的残差单元结合起来,采用先升维再降维的方法,依次执行了扩张、卷积特征提取、压缩的过程。MobileNet V2网络为一种轻量级的、通道窄层次深的网络,从而可以提高网络对检测图片101的处理速度。
在其他实施例中,还可以采用其他的卷积神经网络对检测图片进行处理,以获得高级语义。参考图6,示出了图3中步骤2的另一种第一卷积神经网络的示意图。所述第一卷积神经网络包括:包括MobileNet网络201,以及对MobileNet网络201输出的数据做进一步处理的特征图像金字塔202(Feature Pyramid Network,FPN)。
具体地,FPN是一种不同分辨率特征融合的方式,通过将每个分辨率的特征图(feature map)和上采样(up sample)的低分辨率特征(element-wise)相加,使得不同层次的特征增强,因而能较为明显的改善目标检测的性能。此外,因为FPN是在MobileNet网络基础上做跨层连接和低分辨率特征相加。与仅采用MobileNet V2网络2的实施例相比,本实施例增加的计算量较少,从而兼顾了效率和精度。
具体地,比如图6所示,FPN分了4个分层特征(例如:C2、C3、C4、C5分别提取图片32、64、128、256)的特征,且每一分层结合了低分辨率的特征(例如:C4结合了C5的特征)。FPN通过融合不同尺度的特征,从而可以在不同尺度提取像素矩阵里的特征,进而尽量不丢失检测图片101上的缺陷目标。
如图7所示,第一卷积神经网络由ResNet-50网络、特征图像金字塔和全卷积网络组成。通过第一卷积神经网络进行处理的步骤,还包括通过原生模块301、分割模块302和融合模块303对网络得到的特征数据进行处理。
具体地,如图7所示,在对检测图片101输入网络进行处理时,可以对特征数据进行先降维(例如,从block1-block5的过程),再升维(例如,从up4-up1的过程)的处理方式。
原生模块301输出的是完成整个过程的先降维再升维得到的第一特征数据,而分割模块302输出的则是前半程的只是降维得到的第二特征数据。
融合模块303将所述第一特征数据和第二特征数据进行融合,得到空间特征数据。
本发明实施例检测***还包括:细节单元603,用于对所述检测图片进行第二卷积神经网络处理,获得细节特征数据,所述第二卷积神经网络比第一卷积神经网络的层次浅,所述第二卷积神经网络比第一卷积神经网络的通道宽。
细节单元603的第二卷积神经网络处理采用与第一卷积神经网络互补的网络,从而可以获得互补的特征信息。此外,第二卷积神经网络处理与所述第一卷积神经网络并行进行,可以提高检测方法的处理效率。
通过通道宽、层次浅的卷积神经网络进行第二卷积神经网络处理,得到体现细节信息的第二矩阵,即为所述细节特征数据。
具体地说,第二卷积神经网络的层次浅,相应地,其感受野较小,因而最终输出的特征图能够体现更多的细粒度的特征信息,此外,特征图矩阵的每个像素点对应的感受野重叠区域较小,可以得到高分辨率的特征表示,进而保证网络能捕获更多细节信息。
第二卷积神经网络的通道宽(例如,Channel为512),通过较多的卷积核获得更多的细节信息。
本实施例中,第二卷积神经网络采用的是VGG网络结构。
具体地,VGG网络结构每一层均包括:卷积层,批归一化和激活函数。
可以设置每个阶段的第一层的步长(stride)为2,经过第二卷积神经网络处理输出的特征映射是原始输入的1/8,因而具有较小的细粒度,可以得到细节信息。
需要说明的是,与第二卷积神经网络相比,第一卷积神经网络设置了残差结构,减小了网络处理带来的误差;此外,第一卷积神经网络还设置了网络层特征融合,从而可以保留更多特征。
此外,与第二卷积神经网络相比,第一卷积神经网络可在同样的卷积层下,有更少的参数,可以减小了计算量。
本发明实施例检测***还包括:融合单元604,用于根据一预设权重融合所述空间特征数据和所述细节特征数据,获得图片数据。
此处融合指的是,对应将体现空间信息的第一矩阵和体现细节信息的第二矩阵对应位置相加的过程。预设权重,指的是相加时空间特征数据和细节特征数据各自所占的配比。
空间特征数据的权重和细节特征数据的权重分别位于0-1之间,且两个权重之和为1。
空间特征数据和细节特征数据为相互互补的特征数据,通过将两者进行融合,可以使获得的图片数据即包含空间信息也没有丢失细节信息,从而能保证在保持一定处理速度的基础上又能有较高的检测精度。
实际应用中,可以将所述预设权重设置为1:1,通过将所述空间特征数据和所述细节特征数据进行简单相加,获得图片数据。这种处理方式比较简单、计算量较小。
还可以采用其他方式进行两种特征数据融合的步骤。如图11所示,融合单元604,用于通过两种不同卷积对所述空间特征数据进行处理,分别得到第一空间数据和第二空间数据;还用于通过两种不同卷积对细节特征数据进行处理,分别得到第一细节数据和第二细节数据;所述融合单元604在进行融合时对第一空间数据和第一细节数据(或第二细节数据)进行组合,对第二空间数据和第一细节数据(或第二细节数据)进行组合,从而得到四种组合方式。通过这种多种组合方式,可以基于通过调整预设权重使得到图像数据与原图相比损失较小,从而更能真实地反映原图的信息,进而提高缺陷判断的准确率。
在其他实施例中,还可以采用更多路或更多组合方式配置权重,以实现融合步骤。
所述融合单元604通过将分别学习到的空间特征数据和细节特征数据叠加在一起,获得图片数据,从而完成了对检测图片的学习过程。
如图11所示,所述检测***还包括:判断单元605,用于根据所述图片数据,判断缺陷信息。
所述判断单元605通过对检测图片进行机器学习得到相对应的图片数据,根据图片数据与预先存储的缺陷信息进行比对,以判断缺陷的位置和/或种类。
需要说明的是,本实施例,在将检测图片输入到网络之前进行了等量切割的处理。相应地,所述判断单元605还用于对多个检测图片对应的图片数据进行合并,基于合并后的数据判断缺陷的位置和/或种类。
所述判断单元605在进行合并时,根据切割时各个检测图片的对应位置进行还原,从而得到整张原始图片的图片数据,从而有利于准确的定位缺陷位置。
需要说明的是,此处图片数据相当于一矩阵,矩阵中元素代表各个位置处是否有瑕疵,以及瑕疵种类。例如,没有瑕疵的位置,元素值为0;有瑕疵的位置,元素值为1、2、3……,其中1、2、……分别代表不同的瑕疵种类。
以上描述的是检测***在实际进行检测时各个模块的功能及连接关系,实际应用中,在进行检测之前,还包括对检测***各个模块的深度卷积神经网络训练的过程。通过所述训练的过程中,主要用于进行预设权重的配置,从而实现建模。此外,检测***还在训练过程中完成缺陷特征学习,以在后续检测过程中对缺陷信息进行比对和判断。
继续参考图11所示的检测***的功能框图,所述检测***还包括:第二图片获取单元701,用于获得样本图片;所述语义单元602,还用于对所述样本图片进行第一卷积神经网络处理,获得样本空间特征数据;所述细节单元603,还用于对所述样本图片进行第二卷积神经网络处理,获得样本细节特征数据;所述融合单元604,还用于根据初始权重,融合所述样本空间特征数据和样本细节特征数据,获得样本图片数据,完成一次训练;还用于通过多次训练调整所述初始权重,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。
继续参考图11,所述第二图片获取单元701,包括:第一图片处理单元7011,用于获得原始样本图片,并将所述原始样本图片转化为掩码图;第二图片处理单元7012,用于对所述掩码图进行灰度处理,获得灰度图,以所述灰度图和所述原始样本图片作为样本图片。
通过灰度处理后的样本图片进行训练,一方面数据量少,另一方面更能体现缺陷边缘信息,有利于实现缺陷特征的学习。
需要说明的是,第一图片处理单元7011获得的原始样本图片与第一图片获取单元601获得的检测图片,均为等量切割后的图片。通过将灰度图和原始样本图片作为样本图片进行成对训练,可以通过原始样本图片,建立灰度图和原始图片之间的关联,从而在后续检测过程中,只要输入原始图片即能实现缺陷检测。
在训练以实现建模的过程,检测***输入至网络的数据有所不同,建模过程向网络中输入的是样本图片,网络基于对样本图片的学习,一方面学习图片中缺陷特征,另一方面对融合步骤中,两种特征数据的预设权重进行配置。
在最初的学习过程中,初始权重为随机设置的权重,每次学习的过程会对权重进行调整以减小图像数据损失,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。之后在实际检测过程中,以建模过程中预设权重进行检测。
参考图12,示出了本发明设备一实施例的示意图。
所述设备包括本发明实施例提供的检测***,用于根据待检测布料的检测图片,判断布料上的缺陷类型和/或位置。以下以布料瑕疵检测设备为具体的实施例进行描述。在其他的实施例中这个检测***也可以用在其他设备中。
所述设备包括还包括:采样装置30,用于对待检测物进行拍照。所述检测***中的第一图片获取单元用于从所述采样装置获得原始图片。
具体地,所述采样装置30为照相机(也可以是其他图像传感器)。在布料加工程序中,布料在流水线上快速移动。在进行检测时,设备通过照相机对布料表面拍照,获取布料表面的图片,之后通过检测***对图片进行图像处理,判断布料表面是否存在缺陷,以及更进一步地分析缺陷信息,例如:缺陷的位置和种类。
所述照相机可以采用较高的拍摄速率(一秒几万次)对移动中的布料进行拍照,从而保证流水线的产出效率。
所述设备还包括:运输平台40,用于运输所述待检测布料;所述照相机设置在所述布料运输平台上,对待检测布料进行拍照。
所述设备还可以包括:标记装置,根据检测***判断出的缺陷类型和位置,对布料上的缺陷进行标记。
布料生产商可以根据缺陷类型和产品质量要求,选择将带有缺陷的布料段废弃,或者通过清洗去除瑕疵后仍作为合格品。
本发明的设备不仅可以应用在布料检测领域,也可以应用在其他领域例如汽车零件平整度检测,图像识别中,本发明设备能在生产过程中对产品表面的缺陷进行实时检测,从而能及时发现缺陷产品,或对缺陷进行标记。本发明设备包括所述检测***,因而能有较高的检测精度,也有较高的检测效率。
相应地,本发明实施例还提供一种介质,其上存储有计算机指令,所述计算机指令运行时本发明检测方法的各个步骤。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种检测方法,其特征在于,包括:
获得原始图片;对所述原始图片进行切割,获得多个检测图片;
将所述检测图片输入第一卷积神经网络处理,所述第一卷积神经网络对所述检测图片的特征数据进行先降维,再升维;根据先降维再升维过程得到第一特征数据;根据降维过程得到第二特征数据;
将所述第一特征数据和所述第二特征数据进行融合,得到空间特征数据;
将所述检测图片输入第二卷积神经网络处理,获得细节特征数据;
融合所述空间特征数据和所述细节特征数据得到融合特征数据;
根据融合特征数据,判断缺陷信息;
其中,融合所述空间特征数据和所述细节特征数据得到融合特征数据的步骤包括:
基于一预设权重融合所述空间特征数据和所述细节特征数据得到融合特征数据;
在获得检测图片之前,所述检测方法还包括:建模步骤,包括:
获得样本图片;
对所述样本图片进行所述第一卷积神经网络处理,获得样本空间特征数据;
对所述样本图片进行所述第二卷积神经网络处理,获得样本细节特征数据;
基于初始权重,融合所述样本空间特征数据和所述样本细节特征数据,获得样本图片数据,完成一次训练;
通过多次训练不断调整所述初始权重,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。
2.如权利要求1所述的检测方法,其特征在于,所述获得样本图片的步骤包括:获得原始样本图片,将所述原始样本图片转化为掩码图;
对所述掩码图进行灰度处理,获得灰度图,以所述灰度图和所述原始样本图片作为样本图片。
3.如权利要求1所述的检测方法,其特征在于,判断检测图片上的缺陷信息的步骤包括:将所述空间特征数据和/或所述细节特征数据输入轮廓识别模型,获得所述检测图片的多个轮廓预测数据;
对所述多个轮廓预测数据进行特征叠加,获得预测叠加数据;以及基于所述预测叠加数据,判断缺陷信息。
4.如权利要求1-3任一项所述的检测方法,其特征在于,所述第二卷积神经网络包括VGG网络,所述第一卷积神经网络包括MobileNet V2网络;或者,
所述第一卷积神经网络包括Mobilenet V2网络,以及,特征图像金字塔,用于对Mobilenet V2网络输出的数据进行处理;或者,
所述第一卷积神经网络包括ResNet 101或ResNet 50网络、特征图像金字塔和全卷积网络。
5.如权利要求1-3任一项所述的检测方法,其特征在于,所述检测图片为布料图片,所述缺陷信息为布料上的瑕疵信息。
6.一种检测***,其特征在于,包括:
第一图片获取单元,用于获得原始图片;对所述原始图片进行切割,获得多个检测图片;
语义单元,用于将所述检测图片输入第一卷积神经网络处理,获得空间特征数据;将所述检测图片输入第二卷积神经网络处理,获得细节特征数据;融合所述空间特征数据和所述细节特征数据得到融合特征数据;
判断单元,基于融合特征数据,判断缺陷信息,
其中,所述将所述检测图片输入第一卷积神经网络处理包括:对所述检测图片的特征数据进行先降维,再升维;根据先降维再升维过程得到第一特征数据;根据降维过程得到第二特征数据;将所述第一特征数据和所述第二特征数据进行融合,得到空间特征数据;
融合所述空间特征数据和所述细节特征数据得到融合特征数据的步骤包括:基于一预设权重融合所述空间特征数据和所述细节特征数据得到融合特征数据;
在获得检测图片之前,还包括:建模步骤,包括:获得样本图片;对所述样本图片进行所述第一卷积神经网络处理,获得样本空间特征数据;对所述样本图片进行所述第二卷积神经网络处理,获得样本细节特征数据;基于初始权重,融合所述样本空间特征数据和所述样本细节特征数据,获得样本图片数据,完成一次训练;通过多次训练不断调整所述初始权重,在所述样本图片数据的损失符合规格值时,以调整后的权重作为预设权重。
7.一种检测设备,其特征在于,包括如权利要求6所述的检测***。
8.如权利要求7所述的检测设备,其特征在于,还包括:采样装置,用于对待检测对象进行拍照;所述第一图片获取单元用于从所述采样装置获得原始图片。
9.如权利要求8所述的检测设备,其特征在于,所述采样装置为照相机,所述设备还包括:
运输平台,用于运输所述待检测对象;所述照相机设置在所述运输平台上,对待检测对象进行拍照;
所述检测***用于根据所述照相机获得的待检测对象的图片,判断待检测对象上的缺陷类型和/或位置。
10.一种介质,其上存储有计算机指令,其特征在于,所述计算机指令运行时执行权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011112325.0A CN112150460B (zh) | 2020-10-16 | 2020-10-16 | 检测方法、检测***、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011112325.0A CN112150460B (zh) | 2020-10-16 | 2020-10-16 | 检测方法、检测***、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150460A CN112150460A (zh) | 2020-12-29 |
CN112150460B true CN112150460B (zh) | 2024-03-15 |
Family
ID=73951285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011112325.0A Active CN112150460B (zh) | 2020-10-16 | 2020-10-16 | 检测方法、检测***、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150460B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112200790B (zh) * | 2020-10-16 | 2023-04-07 | 鲸斛(上海)智能科技有限公司 | 布料缺陷检测方法、设备和介质 |
CN112686274B (zh) * | 2020-12-31 | 2023-04-18 | 上海智臻智能网络科技股份有限公司 | 目标对象的检测方法及设备 |
CN112686869A (zh) * | 2020-12-31 | 2021-04-20 | 上海智臻智能网络科技股份有限公司 | 一种布匹瑕疵检测方法及其装置 |
CN112884721B (zh) * | 2021-02-01 | 2024-03-29 | 吴俊� | 一种异常检测方法、***及计算机可读存储介质 |
CN113344918B (zh) * | 2021-08-02 | 2021-12-03 | 深圳市深科硅橡胶模具有限公司 | 一种热成型模具检测方法、***和可读存储介质 |
CN117860207B (zh) * | 2024-03-13 | 2024-05-10 | 长春理工大学 | 基于数据分析的视频非接触测量疼痛识别方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492537A (zh) * | 2018-10-17 | 2019-03-19 | 桂林飞宇科技股份有限公司 | 一种物体识别方法及装置 |
CN109615016A (zh) * | 2018-12-20 | 2019-04-12 | 北京理工大学 | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 |
CN110458818A (zh) * | 2019-08-06 | 2019-11-15 | 苏州感知线智能科技有限公司 | 一种基于神经网络算法的槟榔检测方法 |
CN110766046A (zh) * | 2019-09-16 | 2020-02-07 | 华北电力大学 | 一种双通道卷积神经网络集成学习的空气质量测量方法 |
CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
CN111754513A (zh) * | 2020-08-07 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 产品表面缺陷分割方法、缺陷分割模型学习方法及装置 |
-
2020
- 2020-10-16 CN CN202011112325.0A patent/CN112150460B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492537A (zh) * | 2018-10-17 | 2019-03-19 | 桂林飞宇科技股份有限公司 | 一种物体识别方法及装置 |
CN109615016A (zh) * | 2018-12-20 | 2019-04-12 | 北京理工大学 | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 |
CN110458818A (zh) * | 2019-08-06 | 2019-11-15 | 苏州感知线智能科技有限公司 | 一种基于神经网络算法的槟榔检测方法 |
CN110766046A (zh) * | 2019-09-16 | 2020-02-07 | 华北电力大学 | 一种双通道卷积神经网络集成学习的空气质量测量方法 |
CN110992311A (zh) * | 2019-11-13 | 2020-04-10 | 华南理工大学 | 一种基于特征融合的卷积神经网络瑕疵检测方法 |
CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
CN111583198A (zh) * | 2020-04-23 | 2020-08-25 | 浙江大学 | 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法 |
CN111754513A (zh) * | 2020-08-07 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 产品表面缺陷分割方法、缺陷分割模型学习方法及装置 |
Non-Patent Citations (2)
Title |
---|
Fabric defect detection using deep learning: An Improved Faster R-CNN approach;Meng An et al.;《2020 International Conference on Computer Vision, Image and Deep Learning》;第319-324页 * |
Meng An et al..Fabric defect detection using deep learning: An Improved Faster R-CNN approach.《2020 International Conference on Computer Vision, Image and Deep Learning》.2020,第319-324页. * |
Also Published As
Publication number | Publication date |
---|---|
CN112150460A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112150460B (zh) | 检测方法、检测***、设备和介质 | |
CN111325713B (zh) | 基于神经网络的木材缺陷检测方法、***及存储介质 | |
CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测***及方法 | |
CN111383209B (zh) | 一种基于全卷积自编码器网络的无监督瑕疵检测方法 | |
Kuo et al. | Automated optical inspection system for surface mount device light emitting diodes | |
CN112308832B (zh) | 一种基于机器视觉的轴承质量检测方法 | |
CN107220649A (zh) | 一种素色布匹缺陷检测和分类方法 | |
CN113298757A (zh) | 一种基于u-net卷积神经网络的金属表面缺陷检测方法 | |
CN112200790B (zh) | 布料缺陷检测方法、设备和介质 | |
CN114155181B (zh) | 检查方案的自动优化 | |
CN113554631B (zh) | 一种基于改进网络的芯片表面缺陷检测方法 | |
Bong et al. | Vision-based inspection system for leather surface defect detection and classification | |
CN111160301A (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
CN115797314B (zh) | 零件表面缺陷检测方法、***、设备及存储介质 | |
Sahu et al. | Single image dehazing via fusion of multilevel attention network for vision-based measurement applications | |
JP7415286B2 (ja) | カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法 | |
CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
Chen et al. | Specular removal of industrial metal objects without changing lighting configuration | |
CN117274258A (zh) | 主板图像的缺陷检测方法、***、设备及存储介质 | |
CN114140373A (zh) | 一种基于LabVIEW深度学习的开关缺陷检测方法 | |
CN115861259A (zh) | 一种基于模板匹配的引线框架表面缺陷检测方法及装置 | |
CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
Kögel et al. | Machine learning assisted signal analysis in Acoustic Microscopy for non-destructive defect identification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |