CN110827256A - 透明构件缺陷的光学和热红外多级成像检测方法及装置 - Google Patents
透明构件缺陷的光学和热红外多级成像检测方法及装置 Download PDFInfo
- Publication number
- CN110827256A CN110827256A CN201911054181.5A CN201911054181A CN110827256A CN 110827256 A CN110827256 A CN 110827256A CN 201911054181 A CN201911054181 A CN 201911054181A CN 110827256 A CN110827256 A CN 110827256A
- Authority
- CN
- China
- Prior art keywords
- imaging
- optical
- module
- infrared
- thermal infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 230000007547 defect Effects 0.000 title claims abstract description 94
- 230000003287 optical effect Effects 0.000 title claims abstract description 78
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 238000003331 infrared imaging Methods 0.000 claims abstract description 56
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 229910052757 nitrogen Inorganic materials 0.000 claims abstract description 15
- 238000012634 optical imaging Methods 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000007499 fusion processing Methods 0.000 claims abstract description 5
- 238000010438 heat treatment Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 15
- 239000007921 spray Substances 0.000 claims description 15
- 229910001873 dinitrogen Inorganic materials 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000007599 discharging Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 2
- 230000002950 deficient Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N25/00—Investigating or analyzing materials by the use of thermal means
- G01N25/72—Investigating presence of flaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Multimedia (AREA)
- Analytical Chemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种透明构件缺陷的光学和热红外多级成像检测方法及装置，包括以下步骤：对3C透明构件进行光学成像，获取光学图像，初步判定3C透明构件的缺陷位置和大小；利用氮气对3C透明构件的缺陷位置加热，进行热红外成像，获取热红外图像；将光学图像和热红外图像进行融合处理，再通过深度学习认识出3C透明构件的缺陷类别。所述装置包括通过总线相互通信连接的光学检测模块、热红外检测模块、运动控制模块、数据融合模块、深度学习模块、辅助机械手和显示报警模块。本发明通过光学成像和热红外超声成像，对缺陷产品进行多物理量、多级方式检测，再通过卷积神经网络完成光学和红外的多源信息融合，从而提升3C透明构件缺陷检测的辨识率。
Description
技术领域
本发明涉及一种3C透明构件缺陷检测方法，具体地说是一种3C透明构件缺陷的光学和热红外多级成像检测方法及装置。
背景技术
我国3C行业中，透明构件在应用不断增长，特别是随着5G技术的快速推进，对玻璃材质的构件在终端通信产品中得到广泛的应用。但是，由于3C行业的透明构件的特点，其缺陷检测的难度在不断提升。目前，很多生产企业还主要是以人工检测的方式为主，自动化程度不高。但是，其人工方法依靠工人的经验，标准尺度统一难度大，并且劳动强度非常大，对视力健康有影响，熟练的工人不到退休年龄就得转岗。
当前，主流的3C透明购件的缺陷检测，还主要是以人工目测的方式为主，少量低难度的利用自动化检测设备，而且，以单一光学检测手段为主(特别是可见光为主)，其方式是利用摄像头采集图像，进行图像滤波、图像增强后，再结合图像识别算法进行分析，并判断是否存在相对应的缺陷。但是，由于3C透明构件的特点：尺寸小、类型多、不显著，如果仅仅依靠常规的可见光进行辨识，其检测精度有待改进。
发明内容
为了解决上述的技术问题，本发明提供了透明构件缺陷的光学和热红外多级成像检测方法及装置。
为了解决上述技术问题，本发明采取以下技术方案：
透明构件缺陷的光学和热红外多级成像检测方法，包括以下步骤：
对3C透明构件进行光学成像，获取光学图像，初步判定3C透明构件的缺陷位置和大小；
利用氮气对3C透明构件的缺陷位置加热，进行热红外成像，获取热红外图像；
将光学图像和热红外图像进行融合处理，再通过深度学习认识出3C 透明构件的缺陷类别。
所述融合处理具体为：
采用两个超景深红外模块对3C透明构件进行热红外成像，对得到的两个成像视频进行间隔采样，各抽取7帧60×40像素大小的视频，共计 60×40像素大小、7帧的2段视频，分别为第一红外视频和对二红外视频；
利用第一卷积神经网络模型对第一红外视频和第二红外视频进行数据特征提取，计算属于不同缺陷类别的概率，缺陷类别包括正常、裂纹、气泡、划痕、崩边；
将光学成像图像尺寸压缩到60×40像素，对两个超景深红外成像模块的成像视频随机各提取2张图片共4张红外成形图像，尺寸大小均为 60×40像素，从而得到共计60×40像素的5张图片；
利用第二卷积神经网络模型对5张照片进行数据特征提取，计算属于不同缺陷类别的概率；
将针对第一红外视频和第二红外视频计算得到的缺陷类别的概率，与对5张图片计算得到的缺陷类别的概率进行融合，按照下式计算：
其中，PA为融合后的预测缺陷概率，PV1为第一红外视频的预测缺陷概率，PV2为第二红外视频的预测缺陷概率，PO为光学图像的预测缺陷概率，PT1，PT2，PT3，PT4分别为4张红外成形图像的预测缺陷概率；
最终的判断缺陷类别，依据以下公式进行计算：
Y＝arg max(PA)
其中，Y为最终计算获取当前待检测3C透明构件的缺陷类别。
所述第一卷积神经网络包含1个硬连线层H1、3个卷积层C2、C4和C6、 2个下采样层S3和S5、1个全连接层FC和1个软回归层SR；
每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；所述的1个硬连线层，对输入的第一红外视频、第二红外视频输入分别进行处理，各帧提取五个通道的信息，分别是：灰度、x和y方向的梯度，x 和y方向的光流，灰度、x和y方向的梯度前三个按每帧计算，x和y方向的光流则是连续两帧计算，共计是33个特征；
所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；
2个下采样层分别通过2x2和3x3池化计算获得；
最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率。
所述第二卷积神经网络包含2个卷积层分别为第一卷积层和第二卷积层、2个下采样层分别第一下采样层和第二下采样层、1个全连接层和1 个软回归层；
所述的2个卷积层均用2x2的卷积核对前层数据卷积计算获得；2个下采样层均通过2x2池化计算获得；
最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率；
分别将1张光学成像和4张热红外成像的60×40像素大小图片输入到第二卷积神经网络模型的第一个卷积层，从所述第二卷积神经网络模型的软回归层获取所述5张图像的缺陷类别辨识概率。
一种透明构件缺陷的光学和热红外多级成像检测装置，包括：
工作台，该工作台上设有用于放置待测3C透明构件的透明载物台；
辅助机械手，通过总线与计算机连接通信，用于上料、转运和下料；
光学检测模块，通过总线与计算机通讯信连接，对待测3C透明构件进行光学成像；
热红外检测模块，通过总线与计算机通讯信连接，对待测3C透明构件进行热红外成像；
运动控制模块，通过总线与计算机通讯信连接，用于控制光学检测模块、热红外检测模块的移动；
显示报警模块，通过总线与运动控制模块通信连接，进行显示报警；
数据融合模块，通过总线与光学检测模块、热红外检测模块通信连接，用于接收光学检测模块、热红外检测模块的数据并进行处理；
深度学习模块，通过总线与数据融合模块通信连接，用于处理从数据融合模块输送过来的数据。
所述光学检测模块包括平行光源、光学镜头和成像传感器，平行光源设在透明载物台上方对待测3C透明构件打光，成像传感器和光学镜头安装连接且位于透明载物台下方，对从透明载物台照射过来的光线进行并在成像传感器中进行数字成像。
所述工作台为长方体，并且工作台与透明载物台接触的部分以及在该工作台上铺设通信电缆处设有开口，用于防止外部光线影响光学模块的数字成像效果。
所述热红外检测模块包括电磁夹具、氮气喷枪、电源模块、驱动控制模块、超景深红外成像模块和支撑台，超景深红外成像模块设有两个，超景深红外成像模块和驱动控制模块分别与计算机通信连接，电磁夹具、超景深红外成像模块、驱动控制模块与电源模块连接，驱动控制模块与运动控制模块连接，电磁夹具、超景深红外成像模块、氮气喷枪与驱动控制模块连接，氮气喷枪设在支撑台内且与移动模组连接，电磁夹具装设在支撑台上端用于对待测3C透明构件夹紧，两个超景深红外成像模块设在支撑台上方用于被电磁夹具夹住的待测3C透明构件进行检测。
所述两个超景深红外成像模块倾斜放置，与水平线之间的倾斜角度为 30-60度。
所述两个超景深红外成像模块的放大倍率相同或不同。
本发明的有益效果如下：
1、采用光学与红外的多级联合检测模式，通过光学成像进行初步检测，预估缺陷的位置及其大小，再通过热红外成像进一步对缺陷进行分析，多级联合检测提升检测方法的准确性；
2、通过高温氮气快速加热3C透明构件，获取热红外成像的热传导的动态信息，从而得到缺陷区域的热红外的视频数据，这与传统光学检测的单一图像相比，其信息量更为丰富，缺陷辨识更为有效；
3、基于多源信息融合方法，将光学成像的图像信息和热红外的视频信息进行融合检测，克服单一检测技术的缺陷；
4、采用卷积神经网络，经过样本离线训练后，可在线自动对光学图像和热红外视频数据进行融合处理，自动提取缺陷样本的特征，替代人工，完成3C透明构件在线、精密、高效的检测。
附图说明
图1是本发明原理的一个具体实施例的结构示意图；
图2是本发明装置的机械机构布局示意图；
图3是光学检测模块结构示意图；
图4-1、图4-2是光学检测模块检测流程图；
图5是热红外检测模块结果示意图；
图6-1、图6-2是热红外检测模块检测流程图；
图7-1、7-2、7-3分别是待检测区域热红外成像示意图；
图8是3C透明构件检测辨识的第一卷积神经网络结构示意图；
图9是3C透明构件检测辨识的第二卷积神经网络结构示意图。
具体实施方式
为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。
如附图1-9所示，本发明揭示了一种透明构件缺陷的光学和热红外多级成像检测装置，包括：
工作台14，该工作台上设有透明载物台13，将待检测的3C透明构件12放置在载物台13上。可设置相应的待检测工作台入口和待分类工作台出口，方便产品的输出。
辅助机械手6，通过总线与计算机连接通信，用于上料、转运和下料。
光学检测模块1，通过总线与计算机通讯信连接，对待测3C透明构件进行光学成像。
热红外检测模块2，通过总线与计算机通讯信连接，对待测3C透明构件进行热红外成像。
运动控制模块，通过总线与计算机通讯信连接，用于控制光学检测模块、热红外检测模块的移动。
显示报警模块，通过总线与运动控制模块通信连接，进行显示报警以提醒工作人员。
数据融合模块，通过总线与光学检测模块、热红外检测模块通信连接，用于接收光学检测模块、热红外检测模块的数据并进行处理。
深度学习模块，通过总线与数据融合模块通信连接，用于处理从数据融合模块输送过来的数据。
所述辅助机械手6安装在机械手底座上，布置在待检测工作台入口、所述光学检测模块1、热红外检测模块2和待分类工作台出口中间，待检测3C透明构件由人工或者自动运输带等方式送至到待检测工作台入口处后，由辅助机械手6从待检测工作台入口搬运到所述光学检测模块1里的工作台14上，待光学检测模块完成检测后，再通过辅助机械手6搬运到所述热红外检测模块2所在区域，等热红外检测模块完成检测后，由人工或者自动运输带等方式推送到待分类工作台出口。进一步，由于所述光学检测模块1和所述热红外检测模块2工作时间比所述辅助机械手6时间要长，因此，通过节拍控制，可实现整个流水线的并行工作。
如附图3所示，所述光学检测模块1包括平行光源11、光学镜头15和成像传感器16，平行光源11设在透明载物台13上方对待测3C透明构件 12打光，成像传感器16和光学镜头15安装连接且位于透明载物台13下方，对从透明载物台照射过来的光线进行并在成像传感器中进行数字成像。所述工作台14为长方体，并且工作台14与透明载物台13接触的部分以及在该工作台上铺设通信电缆处设有开口，用于防止外部光线影响光学模块的数字成像效果。
所述热红外检测模块2包括电磁夹具21、氮气喷枪22、电源模块23、驱动控制模块24、超景深红外成像模块25和支撑台26，超景深红外成像模块设有两个，超景深红外成像模块和驱动控制模块分别与计算机通信连接，电磁夹具、超景深红外成像模块、驱动控制模块与电源模块连接，驱动控制模块与运动控制模块连接，电磁夹具、超景深红外成像模块、氮气喷枪与驱动控制模块连接，氮气喷枪设在支撑台内且与移动模组连接，电磁夹具装设在支撑台上端用于对待测3C透明构件夹紧，两个超景深红外成像模块设在支撑台上方用于被电磁夹具夹住的待测3C透明构件进行检测。氮气喷枪以氮气作为加热气源对3C透明构件进行快速加热。移动模组可为现有公知技术，比如线性电机，或者气缸等，或者是步进电机等，实现氮气喷枪的移动，实现对待检测3C透明构件的任意位置的缺陷区域，均可通过氮气喷枪22对其喷射高温氮气或者常温氮气。所述驱动控制模块24一方面与计算17连接，另一方与步进电机进行连接；氮气喷枪上可设置相应的电磁阀作为控制开关，所述电源模块23为所述超景深红外成像模块25、电磁夹具21、驱动控制模块24、步进电机和电磁阀提供电源，步进电机和电磁阀为公知产品技术，图中未示出。
所述两个超景深红外成像模块倾斜放置，与水平线之间的倾斜角度为 30-60度。所述的两个超景深红外成像模块25的红外镜头放大倍数设置在 10～100倍率之间；红外成像过程中，两个超景深红外成像模块25的红外镜头放大倍数可以设置为相同的倍率，比如20倍，也可以设置为不同的放大倍率，比如一个设置为10倍，另外一个设置为50倍。
数据融合模块4由软件实现，运行载体为独立的数据融合DSP芯片，将光学检测模块1的和热红外检测模块2的图像及其视频进行预处理；对光学检测模块1的图像进行去燥、滤波、增强后，并生成新的图像；对热红外检测模块2的视频数据进行抽帧处理，获取精简连续热传导的动态过程图像。
所述的深度学习模块5采用卷积神经网络，由独立的卷积神经网络DSP 芯片实现，能通过多个神经网络，具体包括2通道热红外视频、1通道光学图像和4通道热红外图像的神经网络群，并行输入同一待检测3C透明构件的多物理场数据。
对于更进一步的处理，如下所示。
如图4所示，当所述辅助机械手6将待检测的3C透明构件12放置在所述透明载物台13上后，发送完成信号到所述运动控制模块3，所述运动控制模块3通过CAN总线发送消息到所述计算机17，所述计算机17控制平行光源11的灯光处于打开状态，接着，所述计算机17控制成像传感器 16进行成像，并将第一次成像结果发回所述计算机17，所述计算机17经过评估分析后，如果认为成像质量不高，再控制光学镜头15进行调焦，再次进行数字成像分析，经过多次采集后，所述计算机17将最优3C透明构件的成像照片通过CAN总线发回所述运动控制模块3。
当所述光学检测模块1完成当前检测任务后，所述计算机17通过CAN 总线向所述运动控制模块3发出本环节检测完成信号，所述计算机17控制平行光源11的灯光处于关闭状态，所述计算机17控制光学镜头15处于用户参数设置的焦点位置；所述运动控制模块3通过CAN总线向所述辅助机械手6发出光学检测模块1待检测3C透明构件12搬离任务，所述辅助机械手6将待检测3C透明构件12从光学检测模块1搬运到热红外检测模块2；搬运成功后，通过CAN总线将结果通知所述运动控制模块3，所述运动控制模块3再将该结果通知光学检测模块1。
如图6所示，当所述辅助机械手6将待检测的3C透明构件12放置在所述电磁夹具21工作区域内后，发送完成信号到所述运动控制模块3，所述运动控制模块3通过CAN总线发送所述光学检测模块1初步分析的缺陷位置信息，并将所述辅助机械手6工作到位的消息一并发送到所述计算机 17；所述计算机17控制驱动控制模块24将氮气喷枪22在步进电机的带动下运动到缺陷位置下方，同时，控制驱动控制模块24驱动电磁夹具21，对其待检测的3C透明构件12的边缘进行夹紧；之后，所述驱动控制模块 24控制离缺陷位置最近的电磁夹具21动作(打开开关)，将高温氮气喷射到待检测的3C透明构件12缺陷区域，快速提升待检测3C透明构件12的温度；再之，所述驱动控制模块24控制两个超景深红外成像模25对其热传导过程进行视频录像，获取缺陷区域附近的传热动态过程；最后，所述计算机17将所述的视频绿色通过CAN总线发回所述运动控制模块3。
当所述热红外检测模块2完成当前检测任务后，所述计算机17通过 CAN总线向所述运动控制模块3发出本环节检测完成信号，所述计算机17 控制驱动控制模块24，停止两个超景深红外成像模25的图像采集工作，所述辅助机械手6将待检测3C透明构件12通过吸盘将其抓紧，并通知所述运动控制模块3动作到位信息；之后，驱动控制模块24通过通信环节得到抓紧到位信息后，松开一对电磁夹具21，通过通信环节通知所述辅助机械手6，由其将待检测3C透明构件12从热红外检测模块2搬运到待分类工作台出口处；搬运成功后，通过CAN总线将结果通知所述运动控制模块3，所述运动控制模块3再将该结果通知热红外检测模块2；所述计算机17控制驱动控制模块24，将氮气喷枪22移动到缺省位置待检测3C透明构件12的轴对称线附近。
图7-1、7-2、7-3分别是本发明的3C透明构件待检测区域热红外成像示意图，其中A处为正常区域。当通过所述氮气喷枪22将待检测3C透明构件12进行快速加热时，由于待检测3C透明构件12内部存储气泡缺陷，如图7-1的B处；由于气泡内部气体的密度与待检测3C透明构件12 的基体材料不同，并且气泡与基体接触的区域存在物理传热的边界条件，从而使得于待检测3C透明构件12内部气泡的升温与其他正常的基体材料升温情况不同，因而在超景深红外成像模25的成像下，其图像的颜色存在差异，从而实现缺陷的准确辨识；如图7-2所示，当待检测3C透明构件12内部存在裂纹缺陷C时，由于裂纹两边为正常基体材料，裂纹本身为传热的边界，因此裂纹的温度与基体的温度存在差异，因而在超景深红外成像模25的成像下，其图像的颜色存在差异，从而实现缺陷的准确辨识；如图7-3所示，当待检测3C透明构件12不存在缺陷时，整个待检测的热红外成像区域温度变化不明显，因而在超景深红外成像模25的成像下，其图像的颜色不存在明显差异。
另外，本发明还揭示了一种透明构件缺陷的光学和热红外多级成像检测方法，包括以下步骤：
对3C透明构件进行光学成像，获取光学图像，初步判定3C透明构件的缺陷位置和大小。
利用氮气对3C透明构件的缺陷位置加热，进行热红外成像，获取热红外图像。
将光学图像和热红外图像进行融合处理，再通过深度学习认识出3C 透明构件的缺陷类别，缺陷类别包括正常、裂纹、气泡、划痕、崩边。
具体实例为：
S1，采用两个超景深红外模块对3C透明构件进行热红外成像，对得到的两个成像视频进行间隔采样，各抽取7帧60×40像素大小的视频，共计60×40像素大小、7帧的2段视频，分别为第一红外视频和对二红外视频；
S2，利用第一卷积神经网络(3D-CNN)模型对第一红外视频和第二红外视频进行数据特征提取，计算属于不同缺陷类别的概率，缺陷类别包括正常、裂纹、气泡、划痕、崩边；
S3，将光学成像图像尺寸压缩到60×40像素，对两个超景深红外成像模块的成像视频随机各提取2张图片共4张红外成形图像，尺寸大小均为60×40像素，从而得到共计60×40像素的5张图片；
S4，利用第二卷积神经网络(2D-CNN)模型对所述5副照片进行数据特征提取，计算属于不同缺陷类别的概率；
S5，融合，融合步骤S2和步骤S4的视频和图片特征计算得到的缺陷类别概率，最终计算获取当前待检测3C透明构件的缺陷类别。
按照下式进行融合计算：
其中，PA为融合后的预测缺陷概率，PV1为第一红外视频的预测缺陷概率，PV2为第二红外视频的预测缺陷概率，PO为光学图像的预测缺陷概率，PT1，PT2，PT3，PT4分别为4张红外成形图像的预测缺陷概率；
最终的判断缺陷类别，依据以下公式进行计算：
Y＝arg max(PA)
其中，Y为最终计算获取当前待检测3C透明构件的缺陷类别。
所述第一卷积神经网络(3D-CNN)包含1个硬连线层H1、3个卷积层 C2、C4和C6、2个下采样层S3和S5、1个全连接层FC和1个软回归层 SR；每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；所述的1个硬连线层，对输入的第一红外视频、第二红外视频输入分别进行处理，各帧提取五个通道的信息，分别是：灰度、x和y方向的梯度，x 和y方向的光流，灰度、x和y方向的梯度前三个按每帧计算，x和y方向的光流则是连续两帧计算，共计是33个特征；所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；2个下采样层分别通过2x2和3x3池化计算获得；最后，通过1个全连接层获取128 维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率。
所述第二卷积神经网络(2D-CNN)包含2个卷积层分别为第一卷积层和第二卷积层、2个下采样层分别第一下采样层和第二下采样层、1个全连接层和1个软回归层；所述的2个卷积层均用2x2的卷积核对前层数据卷积计算获得；2个下采样层均通过2x2池化计算获得；最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率；分别将1张光学成像和4张热红外成像的60×40像素大小图片输入到第二卷积神经网络模型的第一个卷积层，从所述第二卷积神经网络模型的软回归层获取所述5张图像的缺陷类别辨识概率。
所述的深度学习模块5所依赖的样本库存在于运动控制模块3中(如内部闪存芯片)，可由运动控制模块3后台更新本方案的各自对应的深度卷积神经网络参数；所述深度卷积神经网络的离线训练样本库可以由厂家或者用户增加样本数量。因而，3C透明构件检测可根据样本的实际情况进行增减，提升特定规格、型号的待检测透明构件的检测准确率。
所述深度卷积神经网络即可以由用户在使用过程中进行训练更新，也可以选择由装置生产厂家定期更新；本发明装置支持多版本的深度卷积神经网络，可由最终用户根据实际应用场景进行自主选择。
需要说明的是，以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.透明构件缺陷的光学和热红外多级成像检测方法，包括以下步骤：
对3C透明构件进行光学成像，获取光学图像，初步判定3C透明构件的缺陷位置和大小；
利用氮气对3C透明构件的缺陷位置加热，进行热红外成像，获取热红外图像；
将光学图像和热红外图像进行融合处理，再通过深度学习认识出3C透明构件的缺陷类别。
2.根据权利要求1所述的透明构件缺陷的光学和热红外多级成像检测方法，其特征在于，所述融合处理具体为：
采用两个超景深红外模块对3C透明构件进行热红外成像，对得到的两个成像视频进行间隔采样，各抽取7帧60×40像素大小的视频，共计60×40像素大小、7帧的2段视频，分别为第一红外视频和对二红外视频；
利用第一卷积神经网络3D-CNN模型对第一红外视频和第二红外视频进行数据特征提取，计算属于不同缺陷类别的概率，缺陷类别包括正常、裂纹、气泡、划痕、崩边；
将光学成像图像尺寸压缩到60×40像素，对两个超景深红外成像模块的成像视频随机各提取2张图片共4张红外成形图像，尺寸大小均为60×40像素，从而得到共计60×40像素的5张图片；
利用第二卷积神经网络2D-CNN模型对5张照片进行数据特征提取，计算属于不同缺陷类别的概率；
将针对第一红外视频和第二红外视频计算得到的缺陷类别的概率，与对5张图片计算得到的缺陷类别的概率进行融合，按照下式计算：
其中，PA为融合后的预测缺陷概率，PV1为第一红外视频的预测缺陷概率，PV2为第二红外视频的预测缺陷概率，PO为光学图像的预测缺陷概率，PT1，PT2，PT3，PT4分别为4张红外成形图像的预测缺陷概率；
最终的判断缺陷类别，依据以下公式进行计算：
Y＝arg max(PA)
其中，Y为最终计算获取当前待检测3C透明构件的缺陷类别。
3.根据权利要求2所述的透明构件缺陷的光学和热红外多级成像检测方法，其特征在于，所述第一卷积神经网络3D-CNN包含1个硬连线层H1、3个卷积层C2、C4和C6、2个下采样层S3和S5、1个全连接层FC和1个软回归层SR；
每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40像素；所述的1个硬连线层，对输入的第一红外视频、第二红外视频输入分别进行处理，各帧提取五个通道的信息，分别是：灰度、x和y方向的梯度，x和y方向的光流，灰度、x和y方向的梯度前三个按每帧计算，x和y方向的光流则是连续两帧计算，共计是33个特征；
所述的3个卷积层分别通过7x7x3、7x6x3和7x4的卷积核对前层数据卷积计算获得；
2个下采样层分别通过2x2和3x3池化计算获得；
最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率。
4.根据权利要求3所述的透明构件缺陷的光学和热红外多级成像检测方法，其特征在于，所述第二卷积神经网络包含2个卷积层分别为第一卷积层和第二卷积层、2个下采样层分别第一下采样层和第二下采样层、1个全连接层和1个软回归层；
所述的2个卷积层均用2x2的卷积核对前层数据卷积计算获得；2个下采样层均通过2x2池化计算获得；
最后，通过1个全连接层获取128维的向量，再通过1个软回归层与所述的全连接层进行连接，获取不同缺陷类别的概率；
分别将1张光学成像和4张热红外成像的60×40像素大小图片输入到第二卷积神经网络模型的第一个卷积层，从所述第二卷积神经网络模型的软回归层获取所述5张图像的缺陷类别辨识概率。
5.一种透明构件缺陷的光学和热红外多级成像检测装置，其特征在于，包括：
工作台，该工作台上设有用于放置待测3C透明构件的透明载物台；
辅助机械手，通过总线与计算机连接通信，用于上料、转运和下料；
光学检测模块，通过总线与计算机通讯信连接，对待测3C透明构件进行光学成像；
热红外检测模块，通过总线与计算机通讯信连接，对待测3C透明构件进行热红外成像；
运动控制模块，通过总线与计算机通讯信连接，用于控制光学检测模块、热红外检测模块的移动；
显示报警模块，通过总线与运动控制模块通信连接，进行显示报警；
数据融合模块，通过总线与光学检测模块、热红外检测模块通信连接，用于接收光学检测模块、热红外检测模块的数据并进行处理；
深度学习模块，通过总线与数据融合模块通信连接，用于处理从数据融合模块输送过来的数据。
6.根据权利要求5所述的透明构件缺陷的光学和热红外多级成像检测装置，其特征在于，所述光学检测模块包括平行光源、光学镜头和成像传感器，平行光源设在透明载物台上方对待测3C透明构件打光，成像传感器和光学镜头安装连接且位于透明载物台下方，对从透明载物台照射过来的光线进行并在成像传感器中进行数字成像。
7.根据权利要求6所述的透明构件缺陷的光学和热红外多级成像检测装置，其特征在于，所述工作台为长方体，并且工作台与透明载物台接触的部分以及在该工作台上铺设通信电缆处设有开口，用于防止外部光线影响光学模块的数字成像效果。
8.根据权利要求7所述的透明构件缺陷的光学和热红外多级成像检测装置，其特征在于，所述热红外检测模块包括电磁夹具、氮气喷枪、电源模块、驱动控制模块、超景深红外成像模块和支撑台，超景深红外成像模块设有两个，超景深红外成像模块和驱动控制模块分别与计算机通信连接，电磁夹具、超景深红外成像模块、驱动控制模块与电源模块连接，驱动控制模块与运动控制模块连接，电磁夹具、超景深红外成像模块、氮气喷枪与驱动控制模块连接，氮气喷枪设在支撑台内且与移动模组连接，电磁夹具装设在支撑台上端用于对待测3C透明构件夹紧，两个超景深红外成像模块设在支撑台上方用于被电磁夹具夹住的待测3C透明构件进行检测。
9.根据权利要求8所述的透明构件缺陷的光学和热红外多级成像检测装置，其特征在于，所述两个超景深红外成像模块倾斜放置，与水平线之间的倾斜角度为30-60度。
10.根据权利要求9所述的透明构件缺陷的光学和热红外多级成像检测装置，其特征在于，所述两个超景深红外成像模块的放大倍率相同或不同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911054181.5A CN110827256B (zh) | 2019-10-31 | 2019-10-31 | 透明构件缺陷的光学和热红外多级成像检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911054181.5A CN110827256B (zh) | 2019-10-31 | 2019-10-31 | 透明构件缺陷的光学和热红外多级成像检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827256A true CN110827256A (zh) | 2020-02-21 |
| CN110827256B CN110827256B (zh) | 2022-04-26 |
Family
ID=69551837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911054181.5A Active CN110827256B (zh) | 2019-10-31 | 2019-10-31 | 透明构件缺陷的光学和热红外多级成像检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827256B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景（北京）科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
| CN112730454A (zh) * | 2020-12-23 | 2021-04-30 | 中国人民解放军空军工程大学 | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 |
| CN112757747A (zh) * | 2020-12-30 | 2021-05-07 | 广东华中科技大学工业技术研究院 | 基于热喷气体红外成像的异形玻璃零件贴膜装置及方法 |
| CN113111946A (zh) * | 2021-04-15 | 2021-07-13 | 宁波九纵智能科技有限公司 | 一种集手眼脑于一体的品质管控方法及其*** |
| US20230052634A1 (en) * | 2021-05-28 | 2023-02-16 | Wichita State University | Joint autonomous repair verification and inspection system |
| CN115965571A (zh) * | 2022-04-28 | 2023-04-14 | 锋睿领创(珠海)科技有限公司 | 增量自主学习的多源信息融合检测、模型训练方法和介质 |
| CN116843615A (zh) * | 2023-05-16 | 2023-10-03 | 西安邮电大学 | 一种基于柔性光路的引线框架智能全检方法 |
| JP7476057B2 (ja) | 2020-09-11 | 2024-04-30 | キオクシア株式会社 | 欠陥検査装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129564A (zh) * | 2011-02-14 | 2011-07-20 | 西南交通大学 | 基于无人飞行器的接触网故障检测与诊断方法 |
| US20120135337A1 (en) * | 2010-11-30 | 2012-05-31 | Bloom Energy Corporation | Non-Destructive Testing Methods for Fuel Cell Interconnect Manufacturing |
| US20160069948A1 (en) * | 2014-09-10 | 2016-03-10 | Kabushiki Kaisha Toshiba | Analyzing apparatus |
| CN105466945A (zh) * | 2015-12-30 | 2016-04-06 | 深圳市创科自动化控制技术有限公司 | 一种自动定位检测位置的红外检测方法及检测设备 |
| CN109115805A (zh) * | 2018-10-25 | 2019-01-01 | 广东华中科技大学工业技术研究院 | 基于超声和光学双成像的透明构件缺陷检测装置及方法 |
| CN209148563U (zh) * | 2018-10-25 | 2019-07-23 | 广东华中科技大学工业技术研究院 | 一种双成像式透明构件缺陷检测装置 |
-
2019
- 2019-10-31 CN CN201911054181.5A patent/CN110827256B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120135337A1 (en) * | 2010-11-30 | 2012-05-31 | Bloom Energy Corporation | Non-Destructive Testing Methods for Fuel Cell Interconnect Manufacturing |
| CN102129564A (zh) * | 2011-02-14 | 2011-07-20 | 西南交通大学 | 基于无人飞行器的接触网故障检测与诊断方法 |
| US20160069948A1 (en) * | 2014-09-10 | 2016-03-10 | Kabushiki Kaisha Toshiba | Analyzing apparatus |
| CN105466945A (zh) * | 2015-12-30 | 2016-04-06 | 深圳市创科自动化控制技术有限公司 | 一种自动定位检测位置的红外检测方法及检测设备 |
| CN109115805A (zh) * | 2018-10-25 | 2019-01-01 | 广东华中科技大学工业技术研究院 | 基于超声和光学双成像的透明构件缺陷检测装置及方法 |
| CN209148563U (zh) * | 2018-10-25 | 2019-07-23 | 广东华中科技大学工业技术研究院 | 一种双成像式透明构件缺陷检测装置 |
Non-Patent Citations (2)
| Title |
|---|
| ZHIJIE ZHANG 等: ""Metal Surface Defect Detection System Based on Semiconductor Laser and Infrared Thermal Imaging"", 《2019 IEEE INTERNATIONAL INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE (I2MTC)》 * |
| 陈乾辉 等: ""基于可见光-红外光图像融合的苹果缺陷检测算法"", 《食品与机械》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景（北京）科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
| JP7476057B2 (ja) | 2020-09-11 | 2024-04-30 | キオクシア株式会社 | 欠陥検査装置 |
| CN112730454A (zh) * | 2020-12-23 | 2021-04-30 | 中国人民解放军空军工程大学 | 基于光学、红外热波与超声波融合的复合材料的损伤智能检测方法 |
| CN112757747A (zh) * | 2020-12-30 | 2021-05-07 | 广东华中科技大学工业技术研究院 | 基于热喷气体红外成像的异形玻璃零件贴膜装置及方法 |
| CN112757747B (zh) * | 2020-12-30 | 2022-07-22 | 广东华中科技大学工业技术研究院 | 基于热喷气体红外成像的异形玻璃零件贴膜装置及方法 |
| CN113111946A (zh) * | 2021-04-15 | 2021-07-13 | 宁波九纵智能科技有限公司 | 一种集手眼脑于一体的品质管控方法及其*** |
| US20230052634A1 (en) * | 2021-05-28 | 2023-02-16 | Wichita State University | Joint autonomous repair verification and inspection system |
| CN115965571A (zh) * | 2022-04-28 | 2023-04-14 | 锋睿领创(珠海)科技有限公司 | 增量自主学习的多源信息融合检测、模型训练方法和介质 |
| CN115965571B (zh) * | 2022-04-28 | 2023-08-22 | 锋睿领创(珠海)科技有限公司 | 增量自主学习的多源信息融合检测、模型训练方法和介质 |
| CN116843615A (zh) * | 2023-05-16 | 2023-10-03 | 西安邮电大学 | 一种基于柔性光路的引线框架智能全检方法 |
| CN116843615B (zh) * | 2023-05-16 | 2024-04-12 | 西安邮电大学 | 一种基于柔性光路的引线框架智能全检方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827256B (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827256B (zh) | 透明构件缺陷的光学和热红外多级成像检测方法及装置 | |
| CN108765416B (zh) | 基于快速几何对准的pcb表面缺陷检测方法及装置 | |
| CN208207914U (zh) | 基于快速几何对准的pcb表面缺陷检测装置 | |
| CN110308153A (zh) | 基于单目立体视觉的金属工件缺陷检测方法、***、存储介质、以及装置 | |
| CN114280075B (zh) | 一种管类零件表面缺陷在线视觉检测***及检测方法 | |
| CN104483320A (zh) | 工业脱硝催化剂的数字化缺陷检测装置与检测方法 | |
| CN112881427B (zh) | 可见光和红外热成像的电子元器件缺陷检测装置及方法 | |
| CN112033971A (zh) | 一种视觉瑕疵检测***及方法 | |
| CN102879404B (zh) | 工业结构化场景中医用胶囊缺陷自动检测的*** | |
| CN113267452A (zh) | 一种基于机器视觉的发动机缸体表面缺陷检测方法及*** | |
| CN113189109A (zh) | 一种基于人工智能的瑕疵判定***及瑕疵判定方法 | |
| WO2023134286A1 (zh) | 一种阴极铜在线质量自动检测分类方法 | |
| CN112630230A (zh) | 一种基于光度立体法的在线表面缺陷检测方法 | |
| CN106645185A (zh) | 一种智能检测工业零件表面质量的方法及装置 | |
| CN114113129B (zh) | 一种镜片微小缺陷识别抓取***及方法 | |
| CN106018415A (zh) | 基于显微视觉的微小零件质量检测*** | |
| Du et al. | An automated optical inspection (AOI) platform for three-dimensional (3D) defects detection on glass micro-optical components (GMOC) | |
| CN112730442A (zh) | 基于机器视觉的产品表面缺陷自动在线检测装置及*** | |
| CN206146851U (zh) | 一种智能检测工业零件表面质量的装置 | |
| CN110838107B (zh) | 变角度光学视频智能检测3c透明构件缺陷的方法及装置 | |
| CN106370673A (zh) | 一种镜片疵病自动检测方法 | |
| CN108375588A (zh) | 一种不透明瓶在线检验*** | |
| CN107248151A (zh) | 一种基于机器视觉的液晶片智能检测方法及*** | |
| CN117761060A (zh) | 一种视觉检测***及其检测方法 | |
| CN117085969A (zh) | 人工智能工业视觉检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |