CN110473178A - 一种基于多光源融合的外观缺陷检测方法及*** - Google Patents

一种基于多光源融合的外观缺陷检测方法及*** Download PDF

Info

Publication number
CN110473178A
CN110473178A CN201910694076.1A CN201910694076A CN110473178A CN 110473178 A CN110473178 A CN 110473178A CN 201910694076 A CN201910694076 A CN 201910694076A CN 110473178 A CN110473178 A CN 110473178A
Authority
CN
China
Prior art keywords
image
fusion
deep learning
module
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910694076.1A
Other languages
English (en)
Inventor
闫龑
陈果
王洋
毛雪慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Deepsight Information Technology Co ltd
Original Assignee
Shanghai Deepsight Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Deepsight Information Technology Co ltd filed Critical Shanghai Deepsight Information Technology Co ltd
Priority to CN201910694076.1A priority Critical patent/CN110473178A/zh
Publication of CN110473178A publication Critical patent/CN110473178A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多光源融合的外观缺陷检测方法、***及设备。一种基于多光源融合的外观缺陷检测方法包括S1:使用多角度光源对检材表面进行拍摄,获得多张检材图像;S2:对所述多张检材图像进行预处理,得到检材预处理图像;S3:将所述检材预处理图像进行融合处理,得到检材融合处理图像;S4:将所述检材融合处理图像输入到预先训练的深度学习模型中,得到判别结果;S5:存储所述判别结果与所述多张检材图像,用于所述深度学习模型的模型升级。一种基于多光源融合的外观缺陷检测***包括立体光源图像采集模块、图像预处理模块、图像检测模块。一种基于多光源融合的外观缺陷检测设备包括存储器、处理器。本发明的有益效果是低成本检测缺陷。

Description

一种基于多光源融合的外观缺陷检测方法及***
技术领域
本发明涉及产品表面检测领域,特别涉及一种基于多光源融合的外观缺陷检测方法及***。
背景技术
在传统的工业产品生产过程中,由于碰撞、刮蹭、误操作等原因,常会在产品表面留下凹坑,凸起,划痕,脏污等缺陷。这些存在于产品表面的缺陷若不及时发现并加以补正,可能会对产品的外观甚至是产品的使用产生影响,故在自动化流水线生产过程中一般会采取一定的检测手段对产品的表面缺陷进行检测并加以控制。
在传统的产品生产过程中,早期使用人工检测手段对产品进行检测,但一方面成本过高,另一方面由于抽检率过低且实时性差,导致该种检测手段效率极低,往往会导致次品出厂率较高;随着技术水平的提高,近些年出现了基于光照立体视觉的检测手段,如基于Halcon对产品表面进行三维表面重建,从而检测产品表面存在的裂纹,虽然这些方法很大程度上克服了人工检测的缺点,但一方面这一类光照立体视觉设备价格昂贵,另一方面环境要求苛刻,需要繁琐的准备工作,安装困难,并且对于光源位置,参数等要求非常精确,如在厂房内发生较为强烈的震动,都可能会导致整个***的失效,只能重新对设备进行安装,且在面临较为复杂的外观纹理时会将该纹理与缺陷相混淆,从而导致较高的误检率。
故市场亟需一种可以在成本低廉的前提下,具有良好的***鲁棒性与方案适应性,可以有效分辨复杂的外观纹理与缺陷的区别,从而有效的对产品表面缺陷进行检测的检测方法。
发明内容
为了解决上述技术问题,本发明中披露了一种基于多光源融合的外观缺陷检测方法及***,本发明的技术方案是这样实施的:
一种基于多光源融合的外观缺陷检测方法,其特征在于,包括:S1:使用多角度光源对检材表面进行拍摄,获得多张检材图像;S2:对所述多张检材图像进行预处理,得到检材预处理图像;S3:将所述检材预处理图像进行融合处理,得到检材融合处理图像;S4:将所述检材融合处理图像输入到预先训练的深度学习模型中,得到判别结果;S5:存储所述判别结果与所述多张检材图像,用于所述深度学习模型的模型升级。
优选地,所述预处理所使用的方法为裁剪、拼接、通道合并、滤波、模板定位方法中的一种或多种;所述融合处理所使用的方法为金字塔分解融合法、小波变换法、逻辑滤波法、灰度加权平均法或者对比调制法的一种或多种;所述判别结果为具有缺陷或者不具有缺陷的一种。
优选地,还包括S0:训练所述深度学习模型;所述S0包括:S0-1:使用所述多角度光源对多个所述检材表面进行拍摄,获得多个所述多张检材图像;S0-2:对多个所述多张检材图像进行所述预处理,得到多个所述检材预处理图像;S0-3:对多个所述检材预处理图像进行所述融合处理,得到多个所述检材融合处理图像;S0-4:将多个所述检测融合处理图像划分为训练集和测试集;S0-5:设定多个具有不同任务目标的深度学习模型生成算法;S0-6:使用多通道导入所述训练集,使用图像特征提取算法对所述训练集的图像进行提取,得到特征集;S0-7:将所述特征集导入所述多个具有不同任务目标的深度学习模型中,得到多个深度学习过程模型;S0-8:将多个所述深度学习过程模型使用模型融合处理,得到过程深度学习模型;S0-9:将所述测试集输入所述过程深度学习模型中,得到过程深度学习测试结果;S0-10:根据所述深度学习测试结果进行模型准确性验证,如果没有通过模型准确性验证,调整所述深度学习模型训练参数,返回所述S0-5;如果通过了模型准确性验证,将所述过程深度学习模型转换为所述深度学习模型并输出所述深度学习模型。
优选地,所述模型准确性验证的评估指标为精确率、召回率、AUC(Area UnderCurve)、AUPR(Area under Precison Recall Curve)的一种或多种。
优选地,所述S0还包括S0-12:使用对抗学习策略强化所述深度学习模型。
一种基于多光源融合的外观缺陷检测***,实现所述的一种基于多光源融合的外观缺陷检测方法,包括立体光源图像采集模块、图像预处理模块、图像检测模块;所述立体光源图像采集模块包括传送带、检测台、高清相机、光源和光源支架;所述立体光源图像采集模块与所述图像预处理模块相连,将所述立体光源图像采集模块采集到的原始图像传输到所述图像预处理模块;所述图像预处理模块为基于裁剪、拼接、通道合并、滤波、模板定位的计算机程序中的一种或多种,接收并处理所述原始图像以产生预处理图像;所述图像检测模块包括检测端多通道立体输入模块和预先训练好的深度学习模型;所述图像检测模块与所述图像预处理模块相连,接收所述预处理图像。
优选地,还包括深度学习模型生成模块;所述深度学习模型生成模块包括训练用多通道立体输入模块、多任务学习模块和对抗学习模块;所述训练用多通道立体输入模块与所述图像预处理模块相连接,接收所述多个预处理图像;所述多任务学习模块包括图像细节特征提取模块、任务学习模块和任务结果融合处理模块。
优选地,所述图像细节特征提取模块为基于图像细节特征提取算法的计算机程序;所述任务学***均法、投票法、学习法的计算机程序中的一种。
优选地,所述对抗学习模块包括训练用判别模型和训练用生成模型。
一种基于多光源融合的外观缺陷检测设备,包括存储器、处理器;所述存储器中存储有至少一条指令、至少一段程序、代码集或者指令集,所述至少一条指令、至少一段程序、代码集或者指令集由所述处理器执行从而运行所述的一种基于多光源融合的外观缺陷检测***以实现所述的一种基于多光源融合的外观缺陷检测方法。
实施本发明的技术方案可解决现有技术中检测成本过高,***鲁棒性和方案适应性较差,检测精度不足的技术问题;实施本发明的技术方案,可实现在成本低廉的前提下,具有良好的***鲁棒性与方案适应性,对金属产品表面进行高精度检测的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一种实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种基于多光源融合的外观缺陷检测方法的一种具体实施例的流程示意图;
图2为一种基于多光源融合的外观缺陷检测***的一种具体实施例的结构示意图。
在上述附图中,各图号标记分别表示:
1-立体光源图像采集模块;
2-图像预处理模块;
3-图像检测模块;
31-检测端多通道立体输入模块;32-预先训练好的深度学习模型;
4-深度学习模型生成模块;
41-训练用多通道立体输入模块;
42-多任务学习模块;
421-图像细节特征提取模块;422-任务学习模块;423-任务结果融合处理模块;
43-对抗学习模块。
实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了方便理解,下面对本申请的实施例中涉及的名词进行说明。
精确率:所有的预测正确样本占总样本的比重。
召回率:正确预测为正的样本占全部样本中实际为正的比例。
AUC(Area Under Curve):即ROC曲线下与坐标轴围成的面积。
AUPR(Area under Precison Recall Curve):即PR曲线下与坐标轴围成的面积。
图像融合:将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率,利于监测。
模型融合:模型融合就是训练多个模型,然后按照一定的方法集成多个模型。
对抗学习:即GAN(Generator Discriminator network),识别干扰网络,具有一个生成图片的网络,它接收一个随机的噪声,通过这个噪声生成图片,另据有一个判别网络,判别这张图片是否是正确的。
在一种具体实施例中,如图1,一种基于多光源融合的外观缺陷检测方法,其特征在于,包括:S1:使用多角度光源对检材表面进行拍摄,获得多张检材图像;S2:对多张检材图像进行预处理,得到检材预处理图像;S3:将检材预处理图像进行融合处理,得到检材融合处理图像;S4:将检材融合处理图像输入到预先训练的深度学习模型中,得到判别结果;S5:存储判别结果与多张检材图像,用于深度学习模型的模型升级。
在该具体的实施例中,S1使用多角度光源对检材表面进行拍摄可以获得检材多个角度的照片,从而为后面的三维立体建模提供素材;S2对多张检材图像进行预处理一方面可以消除检材图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性并最大限度地简化数据,从而增强后续模型识别的可靠性;S3将所获得的关于采集到的检材的多个角度图像的检材预处理图像进行融合处理,从而实现对检材的三维建模,从而提高了图像信息的利用率、改善检材预处理图像的解译精度和可靠性、提升检材预处理图像的空间分辨率和光谱分辨率;在S4中,检材融合图像输入到深度学习模型之后,经过深度学习模型的计算,输出判别结果,根据判别结果便可以得知该检材是否具有相应的缺陷;深度学习模型的原理基于统计学,对于统计学来说,数据量越大,其可能出现过拟合的可能性越小,故每一次缺陷检测完成之后,便要将本次缺陷检测的相关数据存储起来,用于下一次深度学习模型的训练与升级,从而提高深度学习模型的可靠性;通过步骤S1至S5,可实现在低廉成本的前提下对于产品缺陷的有效检测,降低缺陷产品的出厂率,减少了人工成本,与传统的如基于Halcon的检测方法相比,对设备的需求较低,成本较为低廉,并具有较好的鲁棒性。
在一种优选的实施例中,如图1,预处理所使用的方法为裁剪、拼接、通道合并、滤波、模板定位方法中的一种或多种;融合处理所使用的方法为金字塔分解融合法、小波变换法、逻辑滤波法、灰度加权平均法或者对比调制法的一种或多种。
在该优选的实施例中,预处理的过程所使用的的方法根据本缺陷检测过程的任务目标选用,裁剪、拼接、通道合并、滤波、模板定位方法在处理过程中各有其相应的用途,应根据不同的任务目标进行选用;融合处理所使用的方法根据本缺陷检测过程中的任务目标进行选用,金字塔分解融合法、小波变换法、逻辑滤波法、灰度加权平均法或者对比调制法等方法在过程中各有其相应的用途,应根据空间域和变换域的实际需求选用相应的融合算法;经过图像预处理与图像融合的过程,图像转换为可为深度学习算法能够使用的数据结构并提高了图像信息的利用率、改善检材预处理图像的解译精度和可靠性、提升了检材预处理图像的空间分辨率和光谱分辨率。
在一种优选的实施例中,如图1,还包括S0:训练深度学习模型;S0包括:S0-1:使用多角度光源对多个检材表面进行拍摄,获得多个多张检材图像;S0-2:对多个多张检材图像进行预处理,得到多个检材预处理图像;S0-3:对多个检材预处理图像进行融合处理,得到多个检材融合处理图像;S0-4:将多个检测融合处理图像划分为训练集和测试集;S0-5:设定多个具有不同任务目标的深度学习模型;S0-6:使用多通道导入训练集,使用图像特征提取算法对训练集的图像进行提取,得到特征集;S0-7:将特征集导入多个具有不同任务目标的深度学习模型生成算法中,得到多个深度学习过程模型;S0-8:将多个深度学习过程模型使用模型融合处理,得到过程深度学习模型;S0-9:将测试集输入过程深度学习模型中,得到过程深度学习测试结果;S0-10:根据深度学习测试结果进行模型准确性验证,如果没有通过模型准确性验证,调整深度学习模型训练参数,返回S0-5;如果通过了模型准确性验证,将所述过程深度学习模型转换为所述深度学习模型并输出深度学习模型。
在该优选的实施例中,S0的作用在于S4提供深度学***均法、投票法、学习法的一种或多种,在算力充足的情况下,一般使用学习法,将多个深度学习过程模型进行融合处理以提高深度学习的有效性;S0-9用于对基于训练集得出的过程深度学习模型进行测试,以得到测试结果,以在S0-10处进行有效性验证,判断该过程深度学习模型是否存在严重的过拟合或者过低的有效性,如未通过有效性验证,则说明存在着严重的过拟合现象或者过低的有效性,则需要在S0-12调整相应的深度学习模型参数,再返回S0-5重新进行训练。
在一种优选的实施例中,模型准确性验证的评估指标为精确率、召回率、AUC、AUPR的一种或多种。
在该优选的实施例中,精确率反映了所有的预测正确的占总的比重,召回率反映了正确预测为正的占全部实际为正的比例,AUC反映了敏感性和特异性连续变量的综合指标,AUPR反映了分类器对正例的识别准确程度和对正例的覆盖能力之间的权衡,通过对以上指标进行评估,可以有效地对过程深度学习模型的性能进行评估,及时将性能较差的模型深度学习模型生成算法,提高了方法的鲁棒性。
在一种优选的实施例中,S0还包括S0-12:使用对抗学习策略强化深度学习模型。
在该优选的实施例中,在流水线生产过程中,难免会遇到某些产品的外观上具有一些极为复杂的纹理,这些纹理可能与缺陷极为相似,导致在检测此类产品时可能会有极高的误检率,采用对抗学习策略,在训练深度学习模型的同时,训练相应的生成模型,不断生成包含与缺陷高度相似的复杂背景的图片,通过对这些对抗样本的学习,可以大大提高模型的鲁棒性,减少对复杂背景的误判;当强化完成后,返回S0-12。
在一种具体的实施例中,一种基于多光源融合的外观缺陷检测***,包括1立体光源图像采集模块、2图像预处理模块、3图像检测模块;1立体光源图像采集模块包括传送带、检测台、高清相机、光源和光源支架;1立体光源图像采集模块与2图像预处理模块相连,将1立体光源图像采集模块采集到的原始图像传输到2图像预处理模块;2图像预处理模块为基于裁剪、拼接、通道合并、滤波、模板定位的计算机程序中的一种或多种,接收并处理原始图像以产生预处理图像;3图像检测模块包括31检测端多通道立体输入模块和32预先训练好的深度学习模型;3图像检测模块与2图像预处理模块相连,接收预处理图像。
在该种具体的实施例中,1立体光源图像采集模块负责采集原始图像,原始图像经2图像预处理模块预处理之后,传输到3图像检测模块,并由3图像检测模块检测后得出是否具有缺陷的结果;当进行检测时,检材位于传送带上,当传送带将检材传送至检测台时,设置在半圆环状的光源支架上的呈圆环状分布的数个光源以及位于光源上的高清相机采集检材的不同方位的图像,得到原始图像,原始图像传输到2图像预处理模块,2图像预处理模块根据实际情况调用相应的计算机程序对原始图像进行处理得到预处理图像并将其输入到31检测端多通道立体输入模块,经过31检测端多通道立体输入模块对图像进行融合处理后,导入32预先训练好的深度学习模型,经过32预先训练好的深度学习模型判别后,得到检材的判别结果;经过前述各个模块之间的协作,可实现在低廉的成本的前提下对于产品缺陷的有效检测,降低缺陷产品的出厂率,减少了人工成本,与传统的如基于Halcon的检测***相比,成本低廉、安装简单,对设备的需求较低,鲁棒性较好。
在一种优选的实施例中,还包括4深度学习模型生成模块;4深度学习模型生成模块包括41训练用多通道立体输入模块、42多任务学习模块和43对抗学习模块;41训练用多通道立体输入模块与2图像预处理模块相连接,接收多个预处理图像;42多任务学习模块包括421图像细节特征提取模块、422任务学习模块和423任务结果融合处理模块。
在该种优选的实施例中,在深度学习模型训练时,1立体光源图像采集模块采集多张原始图像,多张原始图像经过2图像预处理模块处理后,传入到4深度学习模型生成模块,由4深度学习模型生成模块使用深度学习算法计算机程序生成深度学习模型;对于传统的基于深度学习的图像识别技术,会将通道参数设定为3,以输入R、G、B三个通道的图像信息,但这一方法在由流水线上生产的工业产品这一应用场景上,一方面由于这三个通道所输入的图像在同一个方位上的信息,无法对检材进行三维立体建模,另一方面者三个通道之间存在着大量的冗余信息导致效率低下,而若设定每一个通道单独输入一个角度的图像,则可以实现对于检测的三维立体建模,提高***的鲁棒性,同时在该过程之中对通道权重进行标定以生成加权特征图,从而更有效地利用产品图像的立体信息,41训练用多通道立体输入模块采用本种设计,提高了***的鲁棒性;421图像细节特征提取模块的作用在于提取图像的细节特征,从而将预处理图像的数据类型转化为422任务学习模块可以识别的数据类型;预处理图像经过422任务学习模块学习之后产生多个具有不同的任务目标模型,设定多个具有不同任务目标的深度学习模型,从而进行多任务学习,使得模型对图像细节特征的提取更加准确,不受特定任务的影响,而且减少了模型的参数数量,使得模型的泛化能力更强;423任务结果融合处理模块将多个具有不同的任务目标模型进行融合,可提高深度学习模型的有效性。
在一种优选的实施例中,421图像细节特征提取模块为基于图像细节特征提取算法的计算机程序;422任务学***均法、投票法、学习法的计算机程序中的一种。
在该种优选的的实施例中,图像细节特征提取算法可为LBP特征提取算法、HOG特征提取算法、Haar特征提取算子、LoG特征提取算法、Harris角点特征提取算法、SIFT特征提取算子、SURF特征提取算法的一种或者多种,具体的算法选用可根据检材的不同选用合适的算法组合;分类任务算法可为KNN、SVM、BPNN、CNN和迁移学***均法计算机程序适用于回归任务,投票法计算机程序适用于分类任务,若算力较为充足,可使用学习法计算机程序,采用基于Stacking和Blending方法的计算机程序进行融合处理以实现对于深度学习模型有效性的提高。
在一种优选的实施例中,43对抗学习模块包括训练用判别模型和训练用生成模型。
在该种优选的实施例中,43对抗学习模块与4深度学习模型生成模块相连,4深度学习模型生成模块将深度学习模型传入43对抗学习模块后,产生训练用判别模型和训练用生成模型,43对抗学习模块采用对抗学习策略,训练用生成模型不断生成包含与缺陷高度相似的复杂背景的图片即对抗样本,训练用判别模型通过对这些对抗样本的学习,可以大大提高模型的鲁棒性,减少对复杂背景的误判。
在一种具体的实施例中,一种基于多光源融合的外观缺陷检测设备,包括存储器、处理器;存储器中存储有至少一条指令、至少一段程序、代码集或者指令集,至少一条指令、至少一段程序、代码集或者指令集由处理器执行从而运行一种基于多光源融合的外观缺陷检测***以实现一种基于多光源融合的外观缺陷检测方法。
在该优选的实施方式中,存储器包括内存和外存,可使用实体存储器,如硬盘和内存,也可使用虚拟存储器,如使用云服务商提供的云存储服务;处理器至少包括一个中央处理器,既可以是实体的处理器,也可使用虚拟处理器,如使用云服务商提供的虚拟处理器;存储器与处理器配合使用以运行一种基于多光源融合的外观缺陷检测***以实现一种基于多光源融合的外观缺陷检测方法,存储器与处理器配合使用的过程属于所属领域技术人员所熟知的,在此不做赘述。
需要指出的是,以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多光源融合的外观缺陷检测方法,其特征在于,包括:
S1:使用多角度光源对检材表面进行拍摄,获得多张检材图像;
S2:对所述多张检材图像进行预处理,得到检材预处理图像;
S3:将所述检材预处理图像进行融合处理,得到检材融合处理图像;
S4:将所述检材融合处理图像输入到预先训练的深度学习模型中,得到判别结果;
S5:存储所述判别结果与所述多张检材图像,用于所述深度学习模型的模型升级。
2.根据权利要求1所述的一种基于多光源融合的外观缺陷检测方法,其特征在于,所述预处理所使用的方法为裁剪、拼接、通道合并、滤波、模板定位方法中的一种或多种;
所述融合处理所使用的方法为金字塔分解融合法、小波变换法、逻辑滤波法、灰度加权平均法或者对比调制法的一种或多种。
3.根据权利要求1所述的一种基于多光源融合的外观缺陷检测方法,其特征在于,还包括S0:训练所述深度学习模型;
所述S0包括:
S0-1:使用所述多角度光源对多个所述检材表面进行拍摄,获得多个所述多张检材图像;
S0-2:对多个所述多张检材图像进行所述预处理,得到多个所述检材预处理图像;
S0-3:对多个所述检材预处理图像进行所述融合处理,得到多个所述检材融合处理图像;
S0-4:将多个所述检测融合处理图像划分为训练集和测试集;
S0-5:设定多个具有不同任务目标的深度学习模型生成算法;
S0-6:使用多通道导入所述训练集,使用图像特征提取算法对所述训练集的图像进行提取,得到特征集;
S0-7:将所述特征集导入所述多个具有不同任务目标的深度学习模型中,得到多个深度学习过程模型;
S0-8:将多个所述深度学习过程模型使用模型融合处理,得到过程深度学习模型;
S0-9:将所述测试集输入所述过程深度学习模型中,得到过程深度学习测试结果;
S0-10:根据所述深度学习测试结果进行模型准确性验证,如果没有通过模型准确性验证,调整所述深度学习模型训练参数,返回所述S0-5;如果通过了模型准确性验证,将所述过程深度学习模型转换为所述深度学习模型并输出所述深度学习模型。
4.根据权利要求3所述的一种基于多光源融合的外观缺陷检测方法,其特征在于,所述模型准确性验证的评估指标为精确率、召回率、AUC、AUPR的一种或多种。
5.根据权利要求3所述的一种基于多光源融合的外观缺陷检测方法,其特征在于,S0还包括S0-12:使用对抗学习策略强化所述深度学习模型。
6.一种基于多光源融合的外观缺陷检测***,实现权利要求1至5任一所述的一种基于多光源融合的外观缺陷检测方法,其特征在于,包括立体光源图像采集模块、图像预处理模块、图像检测模块;
所述立体光源图像采集模块包括传送带、检测台、高清相机、光源和光源支架;
所述立体光源图像采集模块与所述图像预处理模块相连,将所述立体光源图像采集模块采集到的原始图像传输到所述图像预处理模块;
所述图像预处理模块为基于裁剪、拼接、通道合并、滤波、模板定位的计算机程序中的一种或多种,接收并处理所述原始图像以产生预处理图像;
所述图像检测模块包括检测端多通道立体输入模块和预先训练好的深度学习模型;
所述图像检测模块与所述图像预处理模块相连,接收所述预处理图像。
7.根据权利要求6所述的一种基于多光源融合的外观缺陷检测***,其特征在于,还包括深度学习模型生成模块;
所述深度学习模型生成模块包括训练用多通道立体输入模块、多任务学习模块和对抗学习模块;
所述训练用多通道立体输入模块与所述图像预处理模块相连接,接收所述多个预处理图像;
所述多任务学习模块包括图像细节特征提取模块、任务学习模块和任务结果融合处理模块。
8.根据权利要求7所述的一种基于多光源融合的外观缺陷检测***,其特征在于,所述图像细节特征提取模块为基于图像细节特征提取算法的计算机程序;
所述任务学习模块包括基于分类任务算法、目标检测任务算法、分割任务算法的计算机程序中的一种或者多种;
所述任务结果融合处理模块为基于平均法、投票法、学习法的计算机程序中的一种。
9.根据权利要求6所述的一种基于多光源融合的外观缺陷检测***,其特征在于,所述对抗学习模块包括训练用判别模型和训练用生成模型。
10.一种基于多光源融合的外观缺陷检测设备,其特征在于包括存储器、处理器;
所述存储器中存储有至少一条指令、至少一段程序、代码集或者指令集,所述至少一条指令、至少一段程序、代码集或者指令集由所述处理器执行从而运行权利要求6至9任一所述的一种基于多光源融合的外观缺陷检测***以实现权利要求1至5任一所述的一种基于多光源融合的外观缺陷检测方法。
CN201910694076.1A 2019-07-30 2019-07-30 一种基于多光源融合的外观缺陷检测方法及*** Pending CN110473178A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910694076.1A CN110473178A (zh) 2019-07-30 2019-07-30 一种基于多光源融合的外观缺陷检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910694076.1A CN110473178A (zh) 2019-07-30 2019-07-30 一种基于多光源融合的外观缺陷检测方法及***

Publications (1)

Publication Number Publication Date
CN110473178A true CN110473178A (zh) 2019-11-19

Family

ID=68509915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910694076.1A Pending CN110473178A (zh) 2019-07-30 2019-07-30 一种基于多光源融合的外观缺陷检测方法及***

Country Status (1)

Country Link
CN (1) CN110473178A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
CN112184665A (zh) * 2020-09-27 2021-01-05 苏州嘉展科技有限公司 一种应用于纸塑行业的人工智能缺陷侦测***
CN112489037A (zh) * 2020-12-15 2021-03-12 科大讯飞华南人工智能研究院(广州)有限公司 缺陷检测及相关模型的训练方法、电子设备和存储装置
CN112700483A (zh) * 2021-01-13 2021-04-23 上海微亿智造科技有限公司 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质
CN113092489A (zh) * 2021-05-20 2021-07-09 鲸朵(上海)智能科技有限公司 一种电池外观缺陷的检测***及方法
CN113111828A (zh) * 2021-04-23 2021-07-13 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及***
CN113155852A (zh) * 2021-04-08 2021-07-23 煤炭科学研究总院 一种传输带的检测方法、装置及电子设备
CN113313679A (zh) * 2021-05-21 2021-08-27 浙江大学 基于多源域深度迁移多光源集成的轴承表面缺陷检测方法
CN113554067A (zh) * 2021-07-01 2021-10-26 清华大学深圳国际研究生院 基于集成学习的光纤缠绕缺陷检测方法与装置
CN114708266A (zh) * 2022-06-07 2022-07-05 青岛通产智能科技股份有限公司 一种卡片缺陷的检测工装、方法、装置以及介质
CN114723748A (zh) * 2022-06-06 2022-07-08 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN114782830A (zh) * 2022-06-22 2022-07-22 天津大学 一种图像深度学习特征增强方法、***及装置
WO2022222120A1 (zh) * 2021-04-23 2022-10-27 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及***
CN115457034A (zh) * 2022-11-09 2022-12-09 南京云创大数据科技股份有限公司 一种类镜面工件表面的缺陷检测方法及装置
CN116883741A (zh) * 2023-07-12 2023-10-13 北京市农林科学院 一种基于金字塔注意力机制的小样本虫害检测方法
CN117830859A (zh) * 2024-03-05 2024-04-05 农业农村部南京农业机械化研究所 基于图像处理的果树靶标自动识别方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118044A (zh) * 2015-06-16 2015-12-02 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN107144768A (zh) * 2016-03-01 2017-09-08 李东江 一种电气设备缺陷检测用紫外双光谱检测仪
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108427969A (zh) * 2018-03-27 2018-08-21 陕西科技大学 一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法
CN109635843A (zh) * 2018-11-14 2019-04-16 浙江工业大学 一种基于多视角图像的三维物体模型分类方法
CN109785289A (zh) * 2018-12-18 2019-05-21 中国科学院深圳先进技术研究院 一种输电线路缺陷检测方法、***及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105118044A (zh) * 2015-06-16 2015-12-02 华南理工大学 一种轮形铸造产品缺陷自动检测方法
CN107144768A (zh) * 2016-03-01 2017-09-08 李东江 一种电气设备缺陷检测用紫外双光谱检测仪
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108427969A (zh) * 2018-03-27 2018-08-21 陕西科技大学 一种多尺度形态学结合卷积神经网络的纸张缺陷分类方法
CN109635843A (zh) * 2018-11-14 2019-04-16 浙江工业大学 一种基于多视角图像的三维物体模型分类方法
CN109785289A (zh) * 2018-12-18 2019-05-21 中国科学院深圳先进技术研究院 一种输电线路缺陷检测方法、***及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
笔尖BJ: "【图像融合】简单认识图像融合", 《CSDN》 *
隔壁偷菜的谁: "模型融合", 《CSDN》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815555A (zh) * 2020-05-22 2020-10-23 武汉大学深圳研究院 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN111898680A (zh) * 2020-07-31 2020-11-06 陈艳 一种基于检材多视角形态图像和深度学习的生物鉴别方法
CN111696108B (zh) * 2020-08-17 2021-07-09 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN111696108A (zh) * 2020-08-17 2020-09-22 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN112184665A (zh) * 2020-09-27 2021-01-05 苏州嘉展科技有限公司 一种应用于纸塑行业的人工智能缺陷侦测***
CN112489037A (zh) * 2020-12-15 2021-03-12 科大讯飞华南人工智能研究院(广州)有限公司 缺陷检测及相关模型的训练方法、电子设备和存储装置
CN112700483A (zh) * 2021-01-13 2021-04-23 上海微亿智造科技有限公司 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质
CN112700483B (zh) * 2021-01-13 2023-02-17 上海微亿智造科技有限公司 用于提高表面缺陷检测精度的三锥视角融合方法、***及介质
CN113155852A (zh) * 2021-04-08 2021-07-23 煤炭科学研究总院 一种传输带的检测方法、装置及电子设备
WO2022222120A1 (zh) * 2021-04-23 2022-10-27 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及***
CN113111828A (zh) * 2021-04-23 2021-07-13 中国科学院宁波材料技术与工程研究所 一种轴承三维缺陷检测方法及***
CN113092489A (zh) * 2021-05-20 2021-07-09 鲸朵(上海)智能科技有限公司 一种电池外观缺陷的检测***及方法
CN113313679A (zh) * 2021-05-21 2021-08-27 浙江大学 基于多源域深度迁移多光源集成的轴承表面缺陷检测方法
CN113554067A (zh) * 2021-07-01 2021-10-26 清华大学深圳国际研究生院 基于集成学习的光纤缠绕缺陷检测方法与装置
CN114723748A (zh) * 2022-06-06 2022-07-08 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN114723748B (zh) * 2022-06-06 2022-09-02 深圳硅山技术有限公司 电机控制器的检测方法、装置、设备及存储介质
CN114708266A (zh) * 2022-06-07 2022-07-05 青岛通产智能科技股份有限公司 一种卡片缺陷的检测工装、方法、装置以及介质
CN114782830A (zh) * 2022-06-22 2022-07-22 天津大学 一种图像深度学习特征增强方法、***及装置
CN115457034A (zh) * 2022-11-09 2022-12-09 南京云创大数据科技股份有限公司 一种类镜面工件表面的缺陷检测方法及装置
CN116883741A (zh) * 2023-07-12 2023-10-13 北京市农林科学院 一种基于金字塔注意力机制的小样本虫害检测方法
CN117830859A (zh) * 2024-03-05 2024-04-05 农业农村部南京农业机械化研究所 基于图像处理的果树靶标自动识别方法及***
CN117830859B (zh) * 2024-03-05 2024-05-03 农业农村部南京农业机械化研究所 基于图像处理的果树靶标自动识别方法及***

Similar Documents

Publication Publication Date Title
CN110473178A (zh) 一种基于多光源融合的外观缺陷检测方法及***
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、***及存储介质
CN106600581B (zh) 一种基于双目立体视觉的列车运行故障自动检测***及方法
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN109724984A (zh) 一种基于深度学习算法的缺陷检测识别装置和方法
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN102374993B (zh) 集成电路封装片三维引脚外观检测单元的检测方法
CN108520274A (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN110211101A (zh) 一种铁轨表面缺陷快速检测***及方法
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN102915432B (zh) 一种车载微机图像视频数据提取方法及装置
CN108982514A (zh) 一种铸件表面缺陷仿生视觉检测***
CN110473179A (zh) 一种基于深度学习的薄膜表面缺陷检测方法、***及设备
CN101105459A (zh) 一种空瓶瓶口缺陷的检测方法及装置
CN110441312A (zh) 一种基于多光谱成像的产品表面缺陷检测***
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN106679567A (zh) 基于双目立体视觉的接触网及支柱几何参数检测测量***
CN104063873A (zh) 一种基于压缩感知的轴套类零件表面缺陷在线检测方法
CN102222384A (zh) 纸币多光谱图像分析方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN102928435A (zh) 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
CN107169957A (zh) 一种基于机器视觉的玻璃瑕疵在线检测***及方法
CN105651776A (zh) 基于计算机视觉的牛胴体产肉量自动分级装置与方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191119