CN111929311B - 一种一站式智能缺陷检测*** - Google Patents

一种一站式智能缺陷检测*** Download PDF

Info

Publication number
CN111929311B
CN111929311B CN202011099840.XA CN202011099840A CN111929311B CN 111929311 B CN111929311 B CN 111929311B CN 202011099840 A CN202011099840 A CN 202011099840A CN 111929311 B CN111929311 B CN 111929311B
Authority
CN
China
Prior art keywords
image
defect
defect detection
detection
stop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011099840.XA
Other languages
English (en)
Other versions
CN111929311A (zh
Inventor
郑秀征
叶振飞
王英利
冯龙申
梁长国
朱超平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD
Original Assignee
BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD filed Critical BEIJING ZODNGOC AUTOMATIC TECHNOLOGY CO LTD
Priority to CN202011099840.XA priority Critical patent/CN111929311B/zh
Publication of CN111929311A publication Critical patent/CN111929311A/zh
Application granted granted Critical
Publication of CN111929311B publication Critical patent/CN111929311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种一站式智能缺陷检测***，包括图像采集部分，智能模式自适应部分，一站式缺陷检测部分，并行加速部分，缺陷存储、通信部分，控制部分，缺陷标识执行部分。本发明可一站式检测视野范围内涵盖的所有缺陷类型，并给出缺陷区域的位置信息；无需使用繁杂的缺陷检测工具进行组合、叠加式的缺陷检测手段。本发明可针对被检物料材质和检测需求进行自适应检测模式匹配，以达到最优的缺陷检测效果。该一站式缺陷检测算法，适用于并行加速计算，通过引入并行加速部分，可轻松进行一站式在线、快速、实时缺陷检测。一站式缺陷检测算法对光照条件等环境因素具备非常强的鲁棒性。工业视觉检测最疼点的环境问题就是光照。

Description

一种一站式智能缺陷检测***
技术领域
本发明涉及一种一站式智能缺陷检测***，属于智能缺陷检测技术领域。
背景技术
目前缺陷检测的需求市场份额绝大部分分布在工业生产领域，工业生产领域的大部分行业的缺陷检测还停留在人工肉眼检测阶段，使得企业需要投入大量的人力、物力、财力来确保发货产品质量。目前市场主流视觉缺陷检测***大都采用繁杂的缺陷检测工具实施组合、叠加式的检测手段；或者针对单一行业进行专用检测工具开发，其检测工具通用性差。
因此本专利提出一种一站式智能缺陷检测***，可根据被检物料材质进行智能检测模式匹配，同时引入并行加速部分可轻松进行一站式在线、快速、实时缺陷检测。
发明内容
本发明针对现有技术存在的不足，提供了一种一站式智能缺陷检测***，具体技术方案如下：
一种一站式智能缺陷检测***，包括：
图像采集部分，由相机、镜头、打光子***构成，图像采集部分用来采集被检物料的原始图像；
智能模式自适应部分，由检测模式自适应算法实现，检测模式自适应算法通过构建缺陷检测结果质量评估函数实现闭环控制；
一站式缺陷检测部分，由一站式缺陷检测算法实现，一站式缺陷检测算法用来实现相机视野范围内涵盖的全部缺陷类型及缺陷位置信息；
并行加速部分，包括GPU或FPGA芯片、并行加速算法模块；
缺陷存储、通信部分，由数据库和通信模块实现，用来实时存储缺陷检测结果；
控制部分，用来接收缺陷检测结果；
缺陷标识执行部分，用来接收控制部分发出的控制信号并做出相应的动作进行缺陷标识。
作为上述技术方案的改进，所述一站式智能缺陷检测***的运行流程包括如下步骤：
步骤1、采集良品图像若干；
步骤2、采集不良品图像若干；
步骤3、在线部署缺陷检测启动，智能模式自适应部分通过良品图像和不良品图像智能匹配检测模式；
步骤4、一站式正常缺陷检测，并行计算加速；
步骤5、存储缺陷检测结果并给控制部分通信发送检测信息；
步骤6、控制部分接收检测信息，并发送相关控制信号；
步骤7、缺陷标识执行部分接收到来自于控制部分发出的控制信号，做出相应的执行动作。
作为上述技术方案的改进，在一站式缺陷检测算法中所涉及的图像分辨率必须一致，否则无法进行正常缺陷检测；如果实际应用中，采集的图像分辨率不一致，则通过先进性分辨率统一转换再进行缺陷检测，方法如下：
Figure 55493DEST_PATH_IMAGE001
，
Figure 379158DEST_PATH_IMAGE002
，
其中，
Figure 955633DEST_PATH_IMAGE003
为采集图像的高度；
Figure 6634DEST_PATH_IMAGE004
为采集图像的宽度；
Figure 555427DEST_PATH_IMAGE005
为获取图像高度；
Figure 174627DEST_PATH_IMAGE006
为获取图像宽度；
Figure 848185DEST_PATH_IMAGE007
为输入良品图像。
作为上述技术方案的改进，所述检测模式自适应算法包括如下步骤：
步骤1.1、采集n张被检物料的良品图像，n为正整数，对采集的良品图像进行加权融合得到良品模板图像
Figure 578244DEST_PATH_IMAGE008
，
采集m张被检物料的不良品图像，m为正整数，对采集的不良品图像进行加权融合得到不良品模板图像
Figure 981543DEST_PATH_IMAGE009
，
Figure 896279DEST_PATH_IMAGE010
，
Figure 385029DEST_PATH_IMAGE011
，
其中，i表示采集图像的个数；n为采集良品图像的总数；m为采集不良品图像的总数；
Figure 918778DEST_PATH_IMAGE012
为采集的不同良品图像；
Figure 848688DEST_PATH_IMAGE013
为采集的不同不良品图像；
Figure 12953DEST_PATH_IMAGE008
为加权融合得到的良品模板图像；
Figure 51316DEST_PATH_IMAGE014
为加权融合得到的不良品模板图像；g()为加权融合算子；
步骤1.2、选择一个检测模式
Figure 60861DEST_PATH_IMAGE015
，对良品模板图像
Figure 625703DEST_PATH_IMAGE008
按照模式
Figure 492028DEST_PATH_IMAGE015
进行特征提取运算，得到良品模板图像的特征图像
Figure 955370DEST_PATH_IMAGE016
；对不良品模板图像
Figure 706289DEST_PATH_IMAGE014
按照模式
Figure 938687DEST_PATH_IMAGE015
进行特征提取运算，得到不良品模板图像的特征图像
Figure 507071DEST_PATH_IMAGE017
；将被检测图像
Figure 192131DEST_PATH_IMAGE018
按照模式
Figure 996007DEST_PATH_IMAGE015
进行特征提取运算，得到被检测图像的特征图像
Figure 82912DEST_PATH_IMAGE019
；
Figure 822198DEST_PATH_IMAGE020
，
Figure 994553DEST_PATH_IMAGE021
，
Figure 87274DEST_PATH_IMAGE022
，
其中，
Figure 294265DEST_PATH_IMAGE023
表示检测模式
Figure 204452DEST_PATH_IMAGE015
对应的特征提取算子；
步骤1.3、将检测模式
Figure 864103DEST_PATH_IMAGE015
下的特征图像
Figure 744204DEST_PATH_IMAGE016
,
Figure 602438DEST_PATH_IMAGE019
进行矩阵减法并求其绝对值，得到差值特征图像
Figure 621210DEST_PATH_IMAGE024
；对差值特征图像
Figure 705840DEST_PATH_IMAGE024
进行小核卷积运算获得缺陷位置，并将缺陷位置标识到被检测图像
Figure 468260DEST_PATH_IMAGE018
对应空间位置，得到检测标识图像
Figure 181001DEST_PATH_IMAGE025
；
Figure 292045DEST_PATH_IMAGE026
，
Figure 926289DEST_PATH_IMAGE027
，
其中，Conv.()表示卷积标识算子，对差值特征进行卷积运算获取缺陷位置，并将缺陷位置信息还原到被检测图像上进行标识；
步骤1.3、穷尽所有检测模式
Figure 289137DEST_PATH_IMAGE015
，重复步骤1.1到步骤1.3，获得最优模式
Figure 325226DEST_PATH_IMAGE028
；
Figure 357905DEST_PATH_IMAGE029
，
Figure 276182DEST_PATH_IMAGE030
，
Figure 380404DEST_PATH_IMAGE031
，
Figure 215809DEST_PATH_IMAGE032
，
其中，
Figure 747284DEST_PATH_IMAGE015
为检测模式，
Figure 152858DEST_PATH_IMAGE033
表示最优质量评估值；f 1()、f 2()表示质量评估算子；
Figure 60771DEST_PATH_IMAGE034
、
Figure 743556DEST_PATH_IMAGE035
为加权系数，
Figure 445933DEST_PATH_IMAGE036
；
Figure 338803DEST_PATH_IMAGE037
表示正整数。
作为上述技术方案的改进，所述一站式缺陷检测算法包括如下步骤：
步骤2.1、在线部署实际检测，使用最优模式
Figure 784827DEST_PATH_IMAGE028
，计算良品模板图像
Figure 571387DEST_PATH_IMAGE008
的特征图像
Figure 444665DEST_PATH_IMAGE038
，对实时单张被检测图像
Figure 824831DEST_PATH_IMAGE039
按照最优模式
Figure 808967DEST_PATH_IMAGE028
进行特征提取，获得图像
Figure 466345DEST_PATH_IMAGE040
，
Figure 510524DEST_PATH_IMAGE041
，
Figure 377986DEST_PATH_IMAGE042
，
其中，
Figure 165813DEST_PATH_IMAGE043
为最优模式
Figure 926965DEST_PATH_IMAGE028
对应的特征提取描述子；
步骤2.2、将最优模式
Figure 142045DEST_PATH_IMAGE028
下的特征图像
Figure 231224DEST_PATH_IMAGE038
,
Figure 517029DEST_PATH_IMAGE040
进行矩阵减法并求其绝对值，得到差值特征图像
Figure 840694DEST_PATH_IMAGE044
；对差值特征图像
Figure 620431DEST_PATH_IMAGE044
进行小核卷积和标识运算得到缺陷检测结果图像
Figure 812378DEST_PATH_IMAGE045
；缺陷检测结果图像
Figure 95592DEST_PATH_IMAGE045
包含该张图像里所有的缺陷区域位置信息，并对缺陷位置进行了差别化颜色高亮标识；
Figure 105005DEST_PATH_IMAGE046
，
Figure 106459DEST_PATH_IMAGE047
。
作为上述技术方案的改进，所述并行加速算法模块在工控机环境下采用GPU硬件以及CUDA加速算法库进行加速；所述并行加速算法模块在嵌入式***环境下使用FPGA芯片进行并行加速。
作为上述技术方案的改进，使用CUDA加速算法库的步骤为：
步骤3.1、分配host内存，并进行数据初始化；
步骤3.2、分配device内存，并从host将数据拷贝到device上；
步骤3.3、调用CUDA的核函数在device上完成指定的运算；
步骤3.4、将device上的运算结果拷贝到host上；
步骤3.5、释放device和host上分配的内存。
本发明的有益效果：
1）、一站式检测：本发明可一站式检测视野范围内涵盖的所有缺陷类型，并给出缺陷区域的位置信息；无需使用繁杂的缺陷检测工具进行组合、叠加式的缺陷检测手段。
2）、智能模式自适应：本发明可针对被检物料材质和检测需求进行自适应检测模式匹配，以达到最优的缺陷检测效果。用户也可进行二次开发，添加自定义检测模式，用户自定义检测模式也可支持自适应检测模式匹配。
3）、快速：该一站式缺陷检测算法，适用于并行加速计算，通过引入并行加速部分，可轻松进行一站式在线、快速、实时缺陷检测。
4）、高鲁棒性：一站式缺陷检测算法对光照条件等环境因素具备非常强的鲁棒性。工业视觉检测最疼点的环境问题就是光照。
附图说明
图1为本发明所述一站式智能缺陷检测***的流程图；
图2为本发明所述一站式智能缺陷检测***算法模块结构图；
图3为产品检测原图；
图4为高亮度光照条件缺陷检测效果图；
图5为低亮度光照条件检测效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，所述一站式智能缺陷检测***，包括：
图像采集部分，由相机、镜头、打光子***构成，图像采集部分用来采集被检物料的原始图像；可采集出高品质、高对比度的被检物料的原始图像。
智能模式自适应部分，由检测模式自适应算法实现，检测模式自适应算法通过构建缺陷检测结果质量评估函数实现闭环控制，针对不同被检测物料可实现智能选择、切换检测模式。
一站式缺陷检测部分，由一站式缺陷检测算法实现，一站式缺陷检测算法用来实现相机视野范围内涵盖的全部缺陷类型及缺陷位置信息；同时，一站式缺陷检测算法可智能选择不同的检测模式，包括用户二次开发添加的自定义检测模式。
并行加速部分，包括GPU或FPGA芯片、并行加速算法模块；通过并行计算加速，可轻松解决高分辨率图像实时缺陷检测需求。
缺陷存储、通信部分，由数据库和通信模块实现，用来实时存储缺陷检测结果；也可将检测结果通信到控制部分。
控制部分，用来接收缺陷检测结果。
缺陷标识执行部分，用来接收控制部分发出的控制信号并做出相应的动作进行缺陷标识。
实施例2
所述一站式智能缺陷检测***的运行流程包括如下步骤：
步骤1、采集良品图像若干；
步骤2、采集不良品图像若干；
步骤3、在线部署缺陷检测启动，智能模式自适应部分通过良品图像和不良品图像智能匹配检测模式；
步骤4、一站式正常缺陷检测，并行计算加速；
步骤5、存储缺陷检测结果并给控制部分通信发送检测信息；
步骤6、控制部分接收检测信息，并发送相关控制信号；
步骤7、缺陷标识执行部分接收到来自于控制部分发出的控制信号，做出相应的执行动作。
其中，缺陷标识执行部分，具体的可以为带有速干标记笔的气缸、喷码机、打码机等机构。执行的动作可以为：在缺陷的产品上标记出“NG”或者“不良品”，“不合格品”等字样。
实施例3
所述一站式缺陷检测算法的实现：
一站式缺陷检测算法可选择不同的检测模式，以适应不同材质的被检物料，检测模式自适应算法可自主选择最优的检测模式，并行加速算法模块给一站式缺陷检测算法提供了强大的算力支撑。
由于图像采集部分确定，因此采集的图像分辨率相一致，在一站式缺陷检测算法中所涉及的图像分辨率（高度、宽度）必须一致，否则无法进行正常缺陷检测；如果实际应用中，采集的图像分辨率不一致，则通过先进性分辨率统一转换再进行缺陷检测，方法如下：
Figure 102097DEST_PATH_IMAGE001
，
Figure 239817DEST_PATH_IMAGE002
，
其中，
Figure 170864DEST_PATH_IMAGE003
为采集图像的高度；
Figure 659614DEST_PATH_IMAGE004
为采集图像的宽度；
Figure 193364DEST_PATH_IMAGE005
为获取图像高度；
Figure 451170DEST_PATH_IMAGE006
为获取图像宽度；
Figure 536806DEST_PATH_IMAGE007
为输入良品图像。
实施例4
所述检测模式自适应算法，智能选择、切换被检测物料的最优检测模式。
如图2所示，所述检测模式自适应算法包括如下步骤：
步骤1.1、采集n张被检物料的良品图像，n为正整数，对采集的良品图像进行加权融合得到良品模板图像
Figure 309590DEST_PATH_IMAGE008
，
采集m张被检物料的不良品图像，m为正整数，对采集的不良品图像进行加权融合得到不良品模板图像
Figure 584714DEST_PATH_IMAGE009
，
Figure 900289DEST_PATH_IMAGE010
，
Figure 969876DEST_PATH_IMAGE011
，
其中，i表示采集图像的个数；n为采集良品图像的总数；m为采集不良品图像的总数；
Figure 495535DEST_PATH_IMAGE012
为采集的不同良品图像；
Figure 308770DEST_PATH_IMAGE013
为采集的不同不良品图像；
Figure 728119DEST_PATH_IMAGE008
为加权融合得到的良品模板图像；
Figure 968608DEST_PATH_IMAGE014
为加权融合得到的不良品模板图像；g()为加权融合算子；
步骤1.2、选择一个检测模式
Figure 981563DEST_PATH_IMAGE048
，对良品模板图像
Figure 598489DEST_PATH_IMAGE008
按照模式
Figure 623077DEST_PATH_IMAGE048
进行特征提取运算，得到良品模板图像的特征图像
Figure 300046DEST_PATH_IMAGE016
；对不良品模板图像
Figure 534718DEST_PATH_IMAGE014
按照模式
Figure 689756DEST_PATH_IMAGE048
进行特征提取运算，得到不良品模板图像的特征图像
Figure 83697DEST_PATH_IMAGE017
；将被检测图像
Figure 665988DEST_PATH_IMAGE018
按照模式
Figure 387957DEST_PATH_IMAGE048
进行特征提取运算，得到被检测图像的特征图像
Figure 346685DEST_PATH_IMAGE019
；
Figure 345865DEST_PATH_IMAGE020
，
Figure 161375DEST_PATH_IMAGE021
，
Figure 573901DEST_PATH_IMAGE022
，
其中，
Figure 70742DEST_PATH_IMAGE023
表示检测模式
Figure 173696DEST_PATH_IMAGE048
对应的特征提取算子；
步骤1.3、将检测模式
Figure 363369DEST_PATH_IMAGE015
下的特征图像
Figure 59929DEST_PATH_IMAGE016
,
Figure 360461DEST_PATH_IMAGE019
进行矩阵减法并求其绝对值，得到差值特征图像
Figure 68654DEST_PATH_IMAGE024
；对差值特征图像
Figure 225966DEST_PATH_IMAGE024
进行小核卷积运算获得缺陷位置，并将缺陷位置标识到被检测图像
Figure 347505DEST_PATH_IMAGE018
对应空间位置，得到检测标识图像
Figure 373099DEST_PATH_IMAGE025
；
Figure 263695DEST_PATH_IMAGE026
，
Figure 857487DEST_PATH_IMAGE027
，
其中，Conv.()表示卷积标识算子，对差值特征进行卷积运算获取缺陷位置，并将缺陷位置信息还原到被检测图像上进行标识；
步骤1.3、穷尽所有检测模式
Figure 200744DEST_PATH_IMAGE015
，重复步骤1.1到步骤1.3，获得最优模式
Figure 46340DEST_PATH_IMAGE028
；
Figure 791442DEST_PATH_IMAGE029
，
Figure 556136DEST_PATH_IMAGE030
，
Figure 386689DEST_PATH_IMAGE031
，
Figure 754085DEST_PATH_IMAGE032
，
其中，
Figure 619273DEST_PATH_IMAGE015
为检测模式，不同的检测模式对应不同的特征提取方法，此处可以等价为图像特征描述子提取函数，通过构造质量评估函数，意在从众多检测模式中选择最优的检测模式
Figure 554868DEST_PATH_IMAGE049
。
其中，
Figure 872716DEST_PATH_IMAGE033
表示最优质量评估值；f 1()、f 2()表示质量评估算子；
Figure 794536DEST_PATH_IMAGE034
、
Figure 514230DEST_PATH_IMAGE035
为加权系数，可取经验值
Figure 620727DEST_PATH_IMAGE036
；
Figure 425872DEST_PATH_IMAGE037
表示正整数。
实施例5
所述一站式缺陷检测算法包括如下步骤：
步骤2.1、在线部署实际检测，使用最优模式
Figure 400650DEST_PATH_IMAGE028
，计算良品模板图像
Figure 974851DEST_PATH_IMAGE008
的特征图像
Figure 252248DEST_PATH_IMAGE038
，对实时单张被检测图像
Figure 279110DEST_PATH_IMAGE039
按照最优模式
Figure 808311DEST_PATH_IMAGE028
进行特征提取，获得图像
Figure 237019DEST_PATH_IMAGE040
，
Figure 685318DEST_PATH_IMAGE041
，
Figure 465055DEST_PATH_IMAGE042
，
其中，
Figure 781636DEST_PATH_IMAGE043
为最优模式
Figure 64849DEST_PATH_IMAGE028
对应的特征提取描述子；
步骤2.2、将最优模式
Figure 949629DEST_PATH_IMAGE028
下的特征图像
Figure 951083DEST_PATH_IMAGE038
,
Figure 556508DEST_PATH_IMAGE040
进行矩阵减法并求其绝对值，得到差值特征图像
Figure 959807DEST_PATH_IMAGE044
；对差值特征图像
Figure 15488DEST_PATH_IMAGE044
进行小核卷积和标识运算得到缺陷检测结果图像
Figure 238659DEST_PATH_IMAGE045
；缺陷检测结果图像
Figure 162621DEST_PATH_IMAGE045
包含该张图像里所有的缺陷区域位置信息，并对缺陷位置进行了差别化颜色高亮标识；
Figure 420427DEST_PATH_IMAGE046
，
Figure 381430DEST_PATH_IMAGE047
。
由于算法是通过进行相同的检测模式
Figure 357476DEST_PATH_IMAGE028
进行特征提取，然后进行矩阵减法运算得到差值特征图像
Figure 570283DEST_PATH_IMAGE044
，因此该算法对光线等环境因素的干扰具备天然的高鲁棒性。
从图像处理的整体流程（PipeLine）中可以看出算法对光照的鲁棒性。图3-5是提供环境光发生变化前后，该算法的检测效果的对比图；根据图3-5可知：证明该算法在不同光照条件都适用。
实施例6
由于一站式缺陷检测算法运用大量矩阵加减乘除运算，适用于并行加速计算。所述并行加速算法模块在工控机环境下采用GPU硬件以及CUDA加速算法库进行加速；所述并行加速算法模块在嵌入式***环境下使用FPGA芯片进行并行加速。
使用CUDA加速算法库的步骤为：
步骤3.1、分配host内存，并进行数据初始化；
步骤3.2、分配device内存，并从host将数据拷贝到device上；
步骤3.3、调用CUDA的核函数在device上完成指定的运算；
步骤3.4、将device上的运算结果拷贝到host上；
步骤3.5、释放device和host上分配的内存。
其中，host可以认为是逻辑控制单元，通常为CPU；device可以认为是并行计算加速设备，一般指GPU。
在上述实施例中，本发明提出了一种一站式智能缺陷检测***，该***可以一站式检测视野范围内涵盖的全部缺陷类型及缺陷位置信息，无需再使用先前繁杂的缺陷检测工具进行组合、叠加式的检测手段。该***可根据被检物料的材质属性及检测需求，智能切换检测模式，达到兼容不同材质缺陷检测的需求，同时也可支持用户进行二次开发，添加自定义的检测模式。该一站式缺陷检测方法适用于并行加速计算，通过加入并行计算部分，完美解决了高分辨率图像在线部署实时检测的速度瓶颈问题。例如：500万彩图，不加速情况下处理一幅图需要500ms，帧率2fps，假设产品跳距（一片产品的长度）160mm，运行速度为19.2m/min；加速的话200ms，5fps，假设产品跳距（一片产品的长度）160mm，运行速度48m/min。
本发明具有以下优点：
1）、一站式检测：本发明可一站式检测视野范围内涵盖的所有缺陷类型（缺陷类型包括：堵孔，排废不净，划伤，脏污，异物，缺胶，溢胶，气泡，褶皱，片重叠等；大部分缺陷类型具备位置随机，大小、形状各异等特点），并给出缺陷区域的位置信息。无需使用繁杂的缺陷检测工具进行组合、叠加式的缺陷检测手段。
本发明的核心检测思想是采用全幅特征图像比对的方式，将标准合格产品与被检测产品进行“全幅”比对，因此可一站式检测整副图像所涵盖的所有缺陷。（全幅比对：根据检测模式的不同，全幅特征图像的含义也不同，可以简单理解为特征图，不同模式下的特征抽取方法不同，开发者可加入自己的特征抽取方法，该方法可提供一个表面缺陷检测的全新图像处理流程：标准样品采集—定位—全幅特征图比对—小卷积核标识缺陷位置）。
2）、智能模式自适应：本发明可针对被检物料材质和检测需求进行自适应检测模式匹配，以达到最优的缺陷检测效果。用户也可进行二次开发，添加自定义检测模式，用户自定义检测模式也可支持自适应检测模式匹配。
3）、快速：该一站式缺陷检测算法，适用于并行加速计算，通过引入并行加速部分，可轻松进行一站式在线、快速、实时缺陷检测。
4）、高鲁棒性：一站式缺陷检测算法对光照条件等环境因素具备非常强的鲁棒性。工业视觉检测最疼点的环境问题就是光照。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种一站式智能缺陷检测***,其特征在于，包括：
图像采集部分，由相机、镜头、打光子***构成，图像采集部分用来采集被检物料的原始图像；
智能模式自适应部分，由检测模式自适应算法实现，检测模式自适应算法通过构建缺陷检测结果质量评估函数实现闭环控制；
一站式缺陷检测部分，由一站式缺陷检测算法实现，一站式缺陷检测算法用来实现相机视野范围内涵盖的全部缺陷类型及缺陷位置信息；
并行加速部分，包括GPU或FPGA芯片、并行加速算法模块；
缺陷存储、通信部分，由数据库和通信模块实现，用来实时存储缺陷检测结果；
控制部分，用来接收缺陷检测结果；
缺陷标识执行部分，用来接收控制部分发出的控制信号并做出相应的动作进行缺陷标识；
所述检测模式自适应算法包括如下步骤：
步骤1.1、采集n张被检物料的良品图像，n为正整数，对采集的良品图像进行加权融合得到良品模板图像
Figure DEST_PATH_IMAGE001
,
采集m张被检物料的不良品图像，m为正整数，对采集的不良品图像进行加权融合得到不良品模板图像
Figure 819509DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
，
Figure 873790DEST_PATH_IMAGE004
，
其中，i表示采集图像的个数；n为采集良品图像的总数；m为采集不良品图像的总数；
Figure DEST_PATH_IMAGE005
为采集的不同良品图像；
Figure 19601DEST_PATH_IMAGE006
为采集的不同不良品图像；
Figure 191956DEST_PATH_IMAGE001
为加权融合得到的良品模板图像；
Figure DEST_PATH_IMAGE007
为加权融合得到的不良品模板图像；g()为加权融合算子；
步骤1.2、选择一个检测模式
Figure 81415DEST_PATH_IMAGE008
，对良品模板图像
Figure 22826DEST_PATH_IMAGE001
按照模式
Figure 870696DEST_PATH_IMAGE008
进行特征提取运算，得到良品模板图像的特征图像
Figure DEST_PATH_IMAGE009
；对不良品模板图像
Figure 999189DEST_PATH_IMAGE007
按照模式
Figure 957918DEST_PATH_IMAGE008
进行特征提取运算，得到不良品模板图像的特征图像
Figure 753836DEST_PATH_IMAGE010
；将被检测图像
Figure DEST_PATH_IMAGE011
按照模式
Figure 739984DEST_PATH_IMAGE008
进行特征提取运算，得到被检测图像的特征图像
Figure 886932DEST_PATH_IMAGE012
；
Figure DEST_PATH_IMAGE013
，
Figure 118193DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
，
其中，
Figure 768617DEST_PATH_IMAGE016
表示检测模式
Figure 427132DEST_PATH_IMAGE008
对应的特征提取算子；
步骤1.3、将检测模式
Figure 61375DEST_PATH_IMAGE008
下的特征图像
Figure 361907DEST_PATH_IMAGE009
,
Figure 132416DEST_PATH_IMAGE012
进行矩阵减法并求其绝对值，得到差值特征图像
Figure DEST_PATH_IMAGE017
；对差值特征图像
Figure 961832DEST_PATH_IMAGE017
进行小核卷积运算获得缺陷位置，并将缺陷位置标识到被检测图像
Figure 581907DEST_PATH_IMAGE011
对应空间位置，得到检测标识图像
Figure 420550DEST_PATH_IMAGE018
；
Figure DEST_PATH_IMAGE019
，
Figure 779987DEST_PATH_IMAGE020
，
其中，Conv.()表示卷积标识算子，对差值特征进行卷积运算获取缺陷位置，并将缺陷位置信息还原到被检测图像上进行标识；
步骤1.3、穷尽所有检测模式
Figure 45884DEST_PATH_IMAGE008
，重复步骤1.1到步骤1.3，获得最优模式
Figure DEST_PATH_IMAGE021
；
Figure 123561DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
，
Figure 500316DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
，
其中，
Figure 714259DEST_PATH_IMAGE008
为检测模式，
Figure 416636DEST_PATH_IMAGE026
表示最优质量评估值；f 1()、f 2()表示质量评估算子；
Figure DEST_PATH_IMAGE027
、
Figure 214566DEST_PATH_IMAGE028
为加权系数，
Figure DEST_PATH_IMAGE029
；
Figure 129432DEST_PATH_IMAGE030
表示正整数；
所述一站式缺陷检测算法包括如下步骤：
步骤2.1、在线部署实际检测，使用最优模式
Figure 729041DEST_PATH_IMAGE021
，计算良品模板图像
Figure 602319DEST_PATH_IMAGE001
的特征图像
Figure DEST_PATH_IMAGE031
，对实时单张被检测图像
Figure 389009DEST_PATH_IMAGE032
按照最优模式
Figure 373146DEST_PATH_IMAGE021
进行特征提取，获得图像
Figure DEST_PATH_IMAGE033
，
Figure 561681DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE035
，
其中，
Figure 573238DEST_PATH_IMAGE036
为最优模式
Figure 378383DEST_PATH_IMAGE021
对应的特征提取描述子；
步骤2.2、将最优模式
Figure 166210DEST_PATH_IMAGE021
下的特征图像
Figure 740411DEST_PATH_IMAGE031
,
Figure 689912DEST_PATH_IMAGE033
进行矩阵减法并求其绝对值，得到差值特征图像
Figure DEST_PATH_IMAGE037
；对差值特征图像
Figure 451195DEST_PATH_IMAGE037
进行小核卷积和标识运算得到缺陷检测结果图像
Figure 777134DEST_PATH_IMAGE038
；缺陷检测结果图像
Figure 205841DEST_PATH_IMAGE038
包含该张图像里所有的缺陷区域位置信息，并对缺陷位置进行了差别化颜色高亮标识；
Figure DEST_PATH_IMAGE039
，
Figure 60665DEST_PATH_IMAGE040
。
2.根据权利要求1所述的一种一站式智能缺陷检测***,其特征在于，所述一站式智能缺陷检测***的运行流程包括如下步骤：
步骤1、采集良品图像若干；
步骤2、采集不良品图像若干；
步骤3、在线部署缺陷检测启动，智能模式自适应部分通过良品图像和不良品图像智能匹配检测模式；
步骤4、一站式正常缺陷检测，并行计算加速；
步骤5、存储缺陷检测结果并给控制部分通信发送检测信息；
步骤6、控制部分接收检测信息，并发送相关控制信号；
步骤7、缺陷标识执行部分接收到来自于控制部分发出的控制信号，做出相应的执行动作。
3.根据权利要求1所述的一种一站式智能缺陷检测***,其特征在于，在一站式缺陷检测算法中所涉及的图像分辨率必须一致，否则无法进行正常缺陷检测；如果实际应用中，采集的图像分辨率不一致，则通过先进性分辨率统一转换再进行缺陷检测，方法如下：
Figure DEST_PATH_IMAGE041
，
Figure 73358DEST_PATH_IMAGE042
，
其中，
Figure DEST_PATH_IMAGE043
为采集图像的高度；
Figure 671829DEST_PATH_IMAGE044
为采集图像的宽度；
Figure DEST_PATH_IMAGE045
为获取图像高度；
Figure 423885DEST_PATH_IMAGE046
为获取图像宽度；
Figure DEST_PATH_IMAGE047
为输入良品图像。
4.根据权利要求1所述的一种一站式智能缺陷检测***,其特征在于，所述并行加速算法模块在工控机环境下采用GPU硬件以及CUDA加速算法库进行加速；所述并行加速算法模块在嵌入式***环境下使用FPGA芯片进行并行加速。
5.根据权利要求4所述的一种一站式智能缺陷检测***,其特征在于，使用CUDA加速算法库的步骤为：
步骤3.1、分配host内存，并进行数据初始化；
步骤3.2、分配device内存，并从host将数据拷贝到device上；
步骤3.3、调用CUDA的核函数在device上完成指定的运算；
步骤3.4、将device上的运算结果拷贝到host上；
步骤3.5、释放device和host上分配的内存。
CN202011099840.XA 2020-10-15 2020-10-15 一种一站式智能缺陷检测*** Active CN111929311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011099840.XA CN111929311B (zh) 2020-10-15 2020-10-15 一种一站式智能缺陷检测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011099840.XA CN111929311B (zh) 2020-10-15 2020-10-15 一种一站式智能缺陷检测***

Publications (2)

Publication Number Publication Date
CN111929311A CN111929311A (zh) 2020-11-13
CN111929311B true CN111929311B (zh) 2021-01-05

Family

ID=73334789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011099840.XA Active CN111929311B (zh) 2020-10-15 2020-10-15 一种一站式智能缺陷检测***

Country Status (1)

Country Link
CN (1) CN111929311B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116773528B (zh) * 2023-05-16 2024-05-10 安徽省高速公路试验检测科研中心有限公司 一种用于候选区域的视觉缺陷检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981467A (zh) * 2012-11-13 2013-03-20 上海交通大学 一站式综合信息集成监控***
CN104156913A (zh) * 2014-07-15 2014-11-19 电子科技大学 金属圆柱工件表观缺陷自动光学检测方法
WO2016092640A1 (ja) * 2014-12-10 2016-06-16 株式会社 日立ハイテクノロジーズ 欠陥観察装置および欠陥観察方法
JP2018205005A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
CN110766664A (zh) * 2019-09-29 2020-02-07 杭州电子科技大学 一种基于深度学习的电子元器件外观不良品的检测方法
CN110895716A (zh) * 2018-09-12 2020-03-20 发那科株式会社 检查装置以及机器学习方法
CN111476306A (zh) * 2020-04-10 2020-07-31 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9726617B2 (en) * 2013-06-04 2017-08-08 Kla-Tencor Corporation Apparatus and methods for finding a best aperture and mode to enhance defect detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981467A (zh) * 2012-11-13 2013-03-20 上海交通大学 一站式综合信息集成监控***
CN104156913A (zh) * 2014-07-15 2014-11-19 电子科技大学 金属圆柱工件表观缺陷自动光学检测方法
WO2016092640A1 (ja) * 2014-12-10 2016-06-16 株式会社 日立ハイテクノロジーズ 欠陥観察装置および欠陥観察方法
JP2018205005A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置
CN110895716A (zh) * 2018-09-12 2020-03-20 发那科株式会社 检查装置以及机器学习方法
CN110766664A (zh) * 2019-09-29 2020-02-07 杭州电子科技大学 一种基于深度学习的电子元器件外观不良品的检测方法
CN111476306A (zh) * 2020-04-10 2020-07-31 腾讯科技（深圳）有限公司 基于人工智能的物体检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111929311A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111598861B (zh) 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN109492638A (zh) 文本检测方法、装置及电子设备
CN108305243A (zh) 一种基于深度学习的磁瓦表面缺陷检测方法
JP7316731B2 (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
CN113034488B (zh) 一种喷墨印刷品的视觉检测方法
CN114549507B (zh) 改进Scaled-YOLOv4的织物瑕疵检测方法
CN111929311B (zh) 一种一站式智能缺陷检测***
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN112132196A (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
Dlamini et al. Developing a surface mount technology defect detection system for mounted devices on printed circuit boards using a MobileNetV2 with Feature Pyramid Network
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及***
CN114372980A (zh) 一种工业缺陷检测方法及***
CN112819756A (zh) Pcb板表面缺陷检测装置及方法
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN113705673A (zh) 一种文字检测方法、装置、设备及存储介质
CN110533660B (zh) 一种电子产品外壳丝印缺陷的检测方法
CN113780484A (zh) 工业产品缺陷检测方法和装置
CN109087292B (zh) 一种基于机器视觉的热转印胶片胶水偏位检测方法
CN110508510A (zh) 一种塑料泵缺陷检测方法、装置及***
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN112101060A (zh) 基于平移不变性和小区域模板匹配的二维码定位方法
CN116645351A (zh) 一种复杂场景的缺陷在线检测方法及***
Xu et al. Highlight detection and removal method based on bifurcated-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant