CN113406111B - 一种基于结构光场视频流的缺陷检测方法和装置 - Google Patents
一种基于结构光场视频流的缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN113406111B CN113406111B CN202110598368.2A CN202110598368A CN113406111B CN 113406111 B CN113406111 B CN 113406111B CN 202110598368 A CN202110598368 A CN 202110598368A CN 113406111 B CN113406111 B CN 113406111B
- Authority
- CN
- China
- Prior art keywords
- light field
- microlens
- video stream
- time
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 100
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000012937 correction Methods 0.000 claims abstract description 28
- 238000009826 distribution Methods 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000011524 similarity measure Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一种基于结构光场视频流的缺陷检测方法和装置,该方法包括:A1:构建包含基于主动式编码结构光源和光场视觉传感器的检测装置;A2:用白图像对光场视觉传感器进行标定,根据标定结果解码光场视觉传感器获取的结构光场视频流,得到实时微透镜图像视频流;A3:对实时微透镜图像视频流进行运动校正、灰度校正以及感兴趣区域校正后计算帧间相似度,建立对微透镜的局部缺陷检测结果;A4:利用光场视频的空域、时域相关性,统计缺陷特征在相邻微透镜上的分布情况,得到结构光场视频缺陷检测结果。本发明结合编码结构光技术与光场成像技术,在更高的维度上捕捉表面缺陷在光场视频流中导致的编码图案几何畸变,提高了机器视觉缺陷检测的准确度与稳定性。
Description
技术领域
本发明涉及计算机视觉与数字视频处理领域,特别是涉及一种基于结构光场视频流的缺陷检测方法和装置。
背景技术
机器视觉缺陷检测是以光学传感器捕获的图像作为输入,通过计算机视觉方法提取物体表面图像特征,进而对其物理缺陷进行识别的技术。与传统人工识别相比,该技术检测精度高,检测速度快,在工业质检领域具有广阔的应用前景。然而,传统图像识别和立体视觉技术大多依赖于图像特征点与纹理信息,面对低纹理或无纹理的待检测物体以及工作场景时往往无能为力;基于结构光的检测技术能够重建物体表面的三维信息,但这类***造价高昂,检测精度受待检测物体材质、加工工艺影响明显。此外,以上基于传统视觉传感器的方法在检测微小缺陷时鲁棒性差,虚检、漏检较多,处理表面结构复杂的物体时需多次多角度成像,效率低下。
光场成像技术通过特殊的光路结构设计同时捕获包含空间维和角度维的四维光线信息,实现了单曝光多角度立体成像,但光场数据维度高,处理复杂,很难实现实时检测处理,将光场成像技术应用于工业检测应用的相关研究尚处于起步阶段。
需要说明的是,在上述背景技术部分公开的信息仅用于对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有机器视觉缺陷检测技术准确性、稳定性、鲁棒性以及实时性较差的问题,本发明提出了一种基于结构光场视频流的缺陷检测方法和装置。
为实现上述目的,本发明采用以下技术方案:
一种基于结构光场视频流的缺陷检测方法,包括如下步骤:
A1:构建包含基于主动式编码结构光源和光场视觉传感器的检测装置;
A2:使用白图像对所述光场视觉传感器进行标定,根据标定结果对所述光场视觉传感器获取的结构光场视频流进行解码,得到实时微透镜图像视频流;
A3:对所述实时微透镜图像视频流进行运动校正、灰度校正以及感兴趣区域校正后计算帧间相似度,建立对微透镜的局部缺陷检测结果;
A4:利用光场视频的空域、时域相关性,统计缺陷特征在相邻微透镜上的分布情况,得到最终的结构光场视频缺陷检测结果。
进一步地:
所述检测装置包含能够发光并显示特定编码图案的主动式编码结构光源***和具备光场视频流采集能力的光场视觉传感器***,其中所述主动式编码结构光源***发出的光经待检测物体反射后被所述光场视觉传感器***所捕获;其中,所述主动式编码结构光源***由计算机程序控制,能够根据程序的要求在指定时间显示指定的编码图案,优选地,所述编码图案包括二维方波条纹、二维正弦波条纹、二维棋盘格中的一种或多种;所述光场视觉传感器***包括一至多台具备单曝光立体成像功能的视觉传感器设备,优选地,采用基于多路复用技术的光场相机或相机阵列式光场相机。
所述步骤A2中:
对于光场视觉传感器捕获的白图像,使用边缘检测算法对白图像中对应的微透镜中心进行初始估计后,将微透镜中心初始估计值输入与相机微透镜分布对应的优化模型,经过非线性优化后得到与光场视觉传感器微透镜几何分布对应的网格矢量,进而得到微透镜中心的精确像素坐标;优选地,具体操作如下:
上式中:
r—微透镜几何分布网格矢量;
θ—与微透镜阵列匹配的微透镜角度分布参数;
H—从像素坐标系到微透镜坐标系的变换矩阵;
xk,yk—第k个微透镜中心的像素坐标值的初始估计;
rrefined—优化后的微透镜几何分布网格矢量;
Hrefined—根据rrefined生成的新变换矩阵;
xk,refined,yk,refined—第k个微透镜中心的精确像素坐标值。
优选地,光场视频流指使用光场视觉传感器连续采集的光场图像序列;对序列中的每一帧光场原始图像,遍历所述标定结果中的所有微透镜中心,以其精确像素坐标值xi,refined,yi,refined为中心,选择与微透镜尺寸相近的邻域大小进行分割,得到实时微透镜图像视频流。
所述步骤A3包括:
A31:对实时微透镜图像视频流进行灰度校正;
A32:对实时微透镜图像视频流进行感兴趣区域(ROI)校正;
A33:对实时微透镜图像视频流进行运动校正;
A34:根据校正后的帧差视频流实时计算帧间相似度,建立对微透镜的局部缺陷检测结果。
所述步骤A31中:
对于步骤A2得到的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,计算两帧图像灰度均值,并对灰度较小的一帧进行线性变换以得到灰度变化一致的视频流;优选地,具体操作如下:
上式中:
I(t)—t时刻的实时微透镜图像;
Δt—光场视觉传感器的帧采样间隔;
I(t+Δt)—t时刻后的第一帧微透镜图像;
I′(t)—t时刻灰度校正后的实时微透镜图像。
所述步骤A32中:
对于步骤A31得到的灰度一致的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,计算两帧图像ROI的交集部分作为新的ROI,去除ROI以外的无效信息;优选地,具体操作如下:
I″(t)=∩{Bin[I′(t)],Bin[I′(t+Δt)]}·I′(t) (6)
上式中:
Bin()—二值化运算;
I″(t)—t时刻ROI校正后的实时微透镜图像。
所述步骤A33中:
对于步骤A32得到的灰度、ROI一致的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,移动前帧的位置并计算不同位移对应的帧间MSE,具有最小MSE值的位移即为两帧间的最佳运动估计,根据该估计值可对前帧运动误差进行修正;优选地,具体操作如下:
It″′(i,j)=It″(i+ut,j+vt) (9)
上式中:
It″—t时刻灰度、ROI一致的实时微透镜图像;
M,N—微透镜图像尺寸;
i,j—用于遍历的微透镜图像像素坐标;
u,v—用于遍历的帧间位移估计;
MSEt—t时刻对应所有用于遍历的帧间位移估计的MSE值;
ut,vt—t时刻的最佳帧间运动估计;
It″′—t时刻灰度、ROI一致、无运动误差的实时微透镜图像。
所述步骤A34中:
对于步骤A33得到的灰度、ROI一致且无运动误差的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,选择适合具体任务的相似性测度函数,对帧间相似度设置阈值判断,输出对微透镜的局部缺陷检测结果;优选地,具体操作如下:
Result(t)=Bin[Similarity(I″′t,I″′t+Δt)] (10)
上式中:
Similarity()—相似性测度函数;
Result(t)—t时刻该微透镜的局部缺陷检测结果。
所述步骤A4包括:
A41:利用光场图像的空域相关性,统计缺陷特征在相邻微透镜上的分布情况,建立单帧差光场图像中的缺陷位置检测结果;
A42:利用光场视频的时域相关性,统计缺陷位置在相邻帧间的变化规律,建立最终的结构光场视频缺陷检测结果。
优选地,所述步骤A41中:
使用步骤A34所得到的微透镜实时局部缺陷检测结果,生成一系列具有缺陷的微透镜中心空间位置分布,计算当前光场图像帧各处对应的缺陷微透镜密度,密度越大则存在物理缺陷的可能性越大;更优选地,具体操作如下:
FrameResult(k)=Bin[D(k)] (12)
上式中:
Dist()—距离测度函数,包括但不限于欧氏距离、高斯距离等;
S—当前帧存在缺陷的微透镜总数;
D(k)—第k个微透镜中心处的缺陷密度;
FrameResult(k)—当前帧第k个微透镜中心处的缺陷位置检测结果。
优选地,所述步骤A42中:
使用步骤A41所得到的单帧差光场图像缺陷位置检测结果,对于可能存在物理缺陷的区域,如果该区域在相邻的数帧之间均检出缺陷,且区域位置在各帧间移动速度与检测装置设定的物体移动速度接近,则判断该位置存在缺陷的可能性较大;在光场视频流上对这种存在时域相关性的缺陷位置进行实时标记和输出。
一种基于结构光场视频流的缺陷检测装置,包括处理器和基于主动式编码结构光源和光场视觉传感器的检测装置,所述处理器执行计算机可读存储介质上的计算机程序时,实现所述的基于结构光场视频流的缺陷检测方法的步骤A2-A4。
本发明具有如下有益效果:
本发明提出了一种基于结构光场视频流的缺陷检测方法和装置,结合编码结构光技术与光场成像技术,利用主动式编码结构光源将待检测物体表面物理缺陷转化为物体表面反射编码图案的几何畸变,利用光场成像在更高的维度上通过更少的曝光次数捕捉这种几何畸变,将传统相机视域内的大范围不明显畸变转化为光场微透镜图像水平上具有空域相关性的小范围显著畸变。与现有方法相比,本发明的方法能够有效提升结构光缺陷检测的准确度与稳定性,解决了复杂工件光场视觉缺陷检测“从无到有”的问题,同时显著提升了光场视频检测方法的实时性,对于精密机械加工等行业以及光场成像技术的推广应用具有重要意义。
附图说明
图1为本发明实施例的基于结构光场视频流的缺陷检测方法的流程图。
具体实施方式
以下对本发明的实施方式做详细说明。应该强调的是,下述说明仅仅是示例性的,而不是为了限制本发明的范围及其应用。
本发明提出一种基于结构光场视频流的缺陷检测方法和装置,主要思路为:结合编码结构光技术与光场成像技术,利用主动式编码结构光源将待检测物体物理缺陷转化为编码图案的几何畸变,利用光场成像在更高的维度上通过更少的曝光次数捕捉这种几何畸变,将传统相机视域内的大范围不明显畸变转化为光场微透镜图像水平上具有空域相关性的小范围显著畸变,实现了对于多种材质物体物理缺陷的准确、高效且稳定的检测。在一些实施例中,如图1所示,所述缺陷检测方法包括如下步骤:
A1:构建包含基于主动式编码结构光源、光场视觉传感器的检测装置;
A2:使用白图像对光场视觉传感器进行标定,根据标定结果对该传感器获取的结构光场视频流进行解码,得到实时微透镜图像视频流;
A3:对实时微透镜图像视频流进行灰度校正、感兴趣区域校正以及运动校正后计算帧间相似度,建立对微透镜的局部缺陷检测结果;
A4:利用光场视频的空域、时域相关性,统计缺陷特征在相邻微透镜上的分布情况,得到最终的结构光场视频缺陷检测结果。
在具体实施例中执行以上步骤时,可以按照以下方式操作。需注意的是,在实施过程中所采用的具体方法都仅为举例说明,本发明所涵盖的范围包括但不局限于所列举的以下具体方法。
A1:构建包含基于主动式编码结构光源、光场视觉传感器的检测装置。
具体地,装置包含能够发光并显示特定编码图案的主动式编码结构光源***和具备光场视频流采集能力的光场视觉传感器***。主动式编码结构光源***由计算机程序控制,能够根据程序的要求在指定时间显示指定的编码图案。编码图案包括但不限于二维方波条纹、二维正弦波条纹、二维棋盘格等包含空间调制信息的图案,光源***硬件载体包括但不限于编码图案覆盖的摄影灯、灯箱以及可由计算机程序控制的电子显示屏等显示设备。光场视觉传感器***由一至多台具备单曝光立体成像功能的视觉传感器设备构成,其硬件载体包括但不限于基于多路复用技术的光场相机、相机阵列式光场相机以及其他能够通过解码得到光场图像的立体成像设备。***中光源***发出的光经待检测物体反射后被光场视觉传感器***所捕获。
A2:使用白图像对光场视觉传感器进行标定,根据标定结果对该传感器获取的结构光场视频流进行解码,得到实时微透镜图像视频流。
具体地,对于光场视觉传感器捕获的白图像,使用Hough圆变换等传统边缘检测算法对白图像中对应的微透镜中心进行初始估计后,将微透镜中心初始估计值输入与相机微透镜分布对应的优化模型,经过非线性优化后得到与光场视觉传感器微透镜几何分布对应的网格矢量,进而得到微透镜中心的精确像素坐标。具体操作如下:
上式中:
r—微透镜几何分布网格矢量;
θ—与微透镜阵列匹配的微透镜角度分布参数;
H—从像素坐标系到微透镜坐标系的变换矩阵;
xi,yi—第i个微透镜中心的像素坐标值的初始估计;
rrefined—优化后的微透镜几何分布网格矢量;
Hrefined—根据rrefined生成的新变换矩阵;
xi,refined,yi,refined—第i个微透镜中心的精确像素坐标值。
光场视频流指使用光场视觉传感器连续采集的光场图像序列。对序列中的每一帧光场原始图像,遍历上述标定结果中的所有微透镜中心,以其精确像素坐标值xi,refined,yi,refined为中心,选择与微透镜尺寸相近的邻域大小进行分割,即可得到实时微透镜图像视频流。
A3:对实时微透镜图像视频流进行灰度校正、感兴趣区域校正以及运动校正后计算帧间相似度,建立对微透镜的局部缺陷检测结果。
A31:对实时微透镜图像视频流进行灰度校正;
具体地,对于步骤A2得到的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,计算两帧图像灰度均值,并对灰度较小的一帧进行线性变换以得到灰度变化一致的视频流。具体操作如下(假设灰度较小的一帧为前帧):
上式中:
I(t)—t时刻的实时微透镜图像;
Δt—光场视觉传感器的帧采样间隔;
I(t+Δt)—t时刻后的第一帧微透镜图像;
I′(t)—t时刻灰度校正后的实时微透镜图像。
A32:对实时微透镜图像视频流进行感兴趣区域(ROI)校正;
具体地,对于步骤A31得到的灰度一致的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,计算两帧图像ROI的交集部分作为新的ROI,去除ROI以外的无效信息。具体操作如下:
I″(t)=∩{Bin[I′(t)],Bin[I′(t+Δt)]}·I′(t) (6)
上式中:
Bin()—二值化运算;
I″(t)—t时刻ROI校正后的实时微透镜图像。
A33:对实时微透镜图像视频流进行运动校正;
具体地,对于步骤A32得到的灰度、ROI一致的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,移动前帧的位置并计算不同位移对应的帧间MSE,具有最小MSE值的位移即为两帧间的最佳运动估计,根据该估计值即可对前帧运动误差进行修正。具体操作如下:
I″′t(i,j)=It″(i+ut,j+vt) (9)
上式中:
It″—t时刻灰度、ROI一致的实时微透镜图像;
M,N—微透镜图像尺寸;
u,v—用于遍历的帧间位移估计;
MSEt—t时刻对应所有用于遍历的帧间位移估计的MSE值;
ut,vt—t时刻的最佳帧间运动估计;
It″′—t时刻灰度、ROI一致、无运动误差的实时微透镜图像。
A34:根据校正后的帧差视频流实时计算帧间相似度,建立对微透镜的局部缺陷检测结果。
具体地,对于步骤A33得到的灰度、ROI一致且无运动误差的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,选择适合具体任务的相似性测度函数(包括但不限于绝对误差、均方误差、二维相关系数、频谱相关系数等相似性测度),对帧间相似度设置阈值判断,输出对微透镜的局部缺陷检测结果。具体操作如下:
Result(t)=Bin[Similarity(I″′t,I″′t+Δt)] (10)
上式中:
Similarity()—相似性测度函数;
Result(t)—t时刻该微透镜的局部缺陷检测结果。
该方法可输出对于每一个微透镜的实时局部缺陷检测结果。
A4:利用光场视频的空域、时域相关性,统计缺陷特征在相邻微透镜上的分布情况,得到最终的结构光场视频缺陷检测结果。
A41:利用光场图像的空域相关性,统计缺陷特征在相邻微透镜上的分布情况,建立单帧差光场图像中的缺陷位置检测结果;
具体地,使用步骤A34所得到的微透镜实时局部缺陷检测结果,生成一系列具有缺陷的微透镜中心空间位置分布,计算当前光场图像帧各处对应的缺陷微透镜密度,密度越大则存在物理缺陷的可能性越大。具体操作如下:
FrameResult(k)=Bin[D(k)] (12)
上式中:
Dist()—距离测度函数,包括但不限于欧氏距离、高斯距离等;
S—当前帧存在缺陷的微透镜总数;
D(k)—第k个微透镜中心处的缺陷密度;
FrameResult(k)—当前帧第k个微透镜中心处的缺陷位置检测结果。
A42:利用光场视频的时域相关性,统计缺陷位置在相邻帧间的变化规律,建立最终的结构光场视频缺陷检测结果。
具体地,使用步骤A41所得到的单帧差光场图像缺陷位置检测结果,对于可能存在物理缺陷的区域,如果该区域在相邻的数帧之间均检出缺陷,且区域位置在各帧间移动速度与检测装置设定的物体移动速度接近,则该位置存在缺陷的可能性较大。在光场视频流上对这种存在时域相关性的缺陷位置进行实时标记和输出,即可得到最终的实时结构光场视频缺陷检测结果。
本发明基于结构光场视频流的缺陷检测方法和装置,结合编码结构光技术与光场成像技术,在更高的维度上捕捉表面缺陷在光场视频流中导致的编码图案几何畸变,提高了机器视觉缺陷检测的准确度与稳定性。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息,而不一定是描述现有技术。因此,在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中,参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点,但应当理解,在不脱离专利申请的保护范围的情况下,可以在本文中进行各种改变、替换和变更。
Claims (8)
1.一种基于结构光场视频流的缺陷检测方法,其特征在于,包括如下步骤:
A1:构建包含基于主动式编码结构光源和光场视觉传感器的检测装置;
A2:使用白图像对所述光场视觉传感器进行标定,根据标定结果对所述光场视觉传感器获取的结构光场视频流进行解码,得到实时微透镜图像视频流;
A3:对所述实时微透镜图像视频流进行运动校正、灰度校正以及感兴趣区域校正后计算帧间相似度,建立对微透镜的局部缺陷检测结果;
A4:利用光场视频的空域、时域相关性,统计缺陷特征在相邻微透镜上的分布情况,得到最终的结构光场视频缺陷检测结果;
所述步骤A2中:
对于光场视觉传感器捕获的白图像,使用边缘检测算法对白图像中对应的微透镜中心进行初始估计后,将微透镜中心初始估计值输入与相机微透镜分布对应的优化模型,经过非线性优化后得到与光场视觉传感器微透镜几何分布对应的网格矢量,进而得到微透镜中心的精确像素坐标;具体操作如下:
上式中:
r—微透镜几何分布网格矢量;
θ—与微透镜阵列匹配的微透镜角度分布参数;
H—从像素坐标系到微透镜坐标系的变换矩阵;
xk,yk—第k个微透镜中心的像素坐标值的初始估计;
rrefined—优化后的微透镜几何分布网格矢量;
Hrefined—根据rrefined生成的新变换矩阵;
xk,refined,yk,refined—第k个微透镜中心的精确像素坐标值;
光场视频流指使用光场视觉传感器连续采集的光场图像序列;对序列中的每一帧光场原始图像,遍历所述标定结果中的所有微透镜中心,以其精确像素坐标值xk,refined,yk,refined为中心,选择与微透镜尺寸相近的邻域大小进行分割,得到实时微透镜图像视频流;
所述步骤A4包括:
A41:利用光场图像的空域相关性,统计缺陷特征在相邻微透镜上的分布情况,建立单帧差光场图像中的缺陷位置检测结果;
A42:利用光场视频的时域相关性,统计缺陷位置在相邻帧间的变化规律,建立最终的结构光场视频缺陷检测结果;
所述步骤A41中:
使用步骤A3所得到的微透镜的局部缺陷检测结果,生成一系列具有缺陷的微透镜中心空间位置分布,计算当前光场图像帧各处对应的缺陷微透镜密度,密度越大则存在物理缺陷的可能性越大;具体操作如下:
FrameResult(k)=Bin[D(k)] (12)
上式中:
Dist()—距离测度函数,包括欧氏距离或高斯距离;
S—当前帧存在缺陷的微透镜总数;
Bin()—二值化运算;
D(k)—第k个微透镜中心处的缺陷密度;
FrameResult(k)—当前帧第k个微透镜中心处的缺陷位置检测结果;
所述步骤A42中:
使用步骤A41所得到的单帧差光场图像缺陷位置检测结果,对于可能存在物理缺陷的区域,如果该区域在相邻的数帧之间均检出缺陷,且区域位置在各帧间移动速度与检测装置设定的物体移动速度接近,则判断该位置存在缺陷的可能性较大;在光场视频流上对这种存在时域相关性的缺陷位置进行实时标记和输出。
2.如权利要求1所述的方法,其特征在于,所述检测装置包含能够发光并显示特定编码图案的主动式编码结构光源***和具备光场视频流采集能力的光场视觉传感器***,其中所述主动式编码结构光源***发出的光经待检测物体反射后被所述光场视觉传感器***所捕获;其中,所述主动式编码结构光源***由计算机程序控制,能够根据程序的要求在指定时间显示指定的编码图案,所述编码图案包括二维方波条纹、二维正弦波条纹、二维棋盘格中的一种或多种;所述光场视觉传感器***包括一至多台具备单曝光立体成像功能的视觉传感器设备,采用基于多路复用技术的光场相机。
3.如权利要求1至2任一项所述的方法,其特征在于,所述步骤A3包括:
A31:对实时微透镜图像视频流进行灰度校正;
A32:对实时微透镜图像视频流进行感兴趣区域ROI校正;
A33:对实时微透镜图像视频流进行运动校正;
A34:根据校正后的帧差视频流实时计算帧间相似度,建立对微透镜的局部缺陷检测结果。
5.如权利要求4所述的方法,其特征在于,所述步骤A32中:
对于步骤A31得到的灰度一致的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,计算两帧图像ROI的交集部分作为新的ROI,去除ROI以外的无效信息;具体操作如下:
I″(t)=∩{Bin[I′(t)],Bin[I′(t+Δt)]}·I′(t) (6)
上式中:
Bin()—二值化运算;
I″(t)—t时刻ROI校正后的实时微透镜图像。
6.如权利要求4所述的方法,其特征在于,所述步骤A33中:
对于步骤A32得到的灰度、ROI一致的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,移动前帧的位置并计算不同位移对应的帧间MSE,具有最小MSE值的位移即为两帧间的最佳运动估计,根据该估计值对前帧运动误差进行修正;具体操作如下:
I″′t(i,j)=I″t(i+ut,j+vt) (9)
上式中:
I″t—t时刻灰度、ROI一致的实时微透镜图像;
M,N—微透镜图像尺寸;
i,j—用于遍历的微透镜图像像素坐标;
u,v—用于遍历的帧间位移估计;
MSEt—t时刻对应所有用于遍历的帧间位移估计的MSE值;
ut,vt—t时刻的最佳帧间运动估计;
I″′t—t时刻灰度、ROI一致、无运动误差的实时微透镜图像。
7.如权利要求6所述的方法,其特征在于,所述步骤A34中:
对于步骤A33得到的灰度、ROI一致且无运动误差的实时微透镜图像视频流,截取其中相邻的两帧微透镜图像,选择适合具体任务的相似性测度函数,对帧间相似度设置阈值判断,输出对微透镜的局部缺陷检测结果;具体操作如下:
Result(t)=Bin[Similarity(I″′t,I″′t+Δt)] (10)
上式中:
Bin()—二值化运算;Similarity()—相似性测度函数;
Result(t)—t时刻该微透镜的局部缺陷检测结果。
8.一种基于结构光场视频流的缺陷检测装置,其特征在于,包括处理器和基于主动式编码结构光源和光场视觉传感器的检测装置,所述处理器执行计算机可读存储介质上的计算机程序时,实现如权利要求1至7任一项所述的基于结构光场视频流的缺陷检测方法的步骤A2-A4。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110598368.2A CN113406111B (zh) | 2021-05-31 | 2021-05-31 | 一种基于结构光场视频流的缺陷检测方法和装置 |
PCT/CN2022/076878 WO2022252698A1 (zh) | 2021-05-31 | 2022-02-18 | 一种基于结构光场视频流的缺陷检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110598368.2A CN113406111B (zh) | 2021-05-31 | 2021-05-31 | 一种基于结构光场视频流的缺陷检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113406111A CN113406111A (zh) | 2021-09-17 |
CN113406111B true CN113406111B (zh) | 2022-09-23 |
Family
ID=77675291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110598368.2A Active CN113406111B (zh) | 2021-05-31 | 2021-05-31 | 一种基于结构光场视频流的缺陷检测方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113406111B (zh) |
WO (1) | WO2022252698A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113406111B (zh) * | 2021-05-31 | 2022-09-23 | 清华大学深圳国际研究生院 | 一种基于结构光场视频流的缺陷检测方法和装置 |
CN116402819B (zh) * | 2023-06-08 | 2023-09-12 | 季华实验室 | 类镜面缺陷检测方法、装置、电子设备及存储介质 |
CN118072230B (zh) * | 2024-04-19 | 2024-07-09 | 深圳市猿人创新科技有限公司 | 基于人工智能的图像识别方法及*** |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3201217B2 (ja) * | 1995-04-17 | 2001-08-20 | 日産自動車株式会社 | 表面欠陥検査装置 |
WO2015008415A1 (ja) * | 2013-07-17 | 2015-01-22 | 株式会社ニコン | 構造化照明装置及び構造化照明顕微鏡装置 |
JP6515013B2 (ja) * | 2015-11-05 | 2019-05-15 | 株式会社ニューフレアテクノロジー | 検査装置および検査方法 |
US10041833B1 (en) * | 2016-04-05 | 2018-08-07 | The United States of America as Represented by the Adminstrator of the NASA | System and method for active multispectral imaging and optical communications |
US10666927B2 (en) * | 2017-03-15 | 2020-05-26 | Baker Hughes, A Ge Company, Llc | Method and device for inspection of an asset |
CN109506589B (zh) * | 2018-12-25 | 2020-07-28 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
CN110146507B (zh) * | 2019-04-30 | 2024-01-26 | 杭州晶耐科光电技术有限公司 | 汽车漆面表面外观缺陷检测***及方法 |
CN112824881A (zh) * | 2020-04-28 | 2021-05-21 | 奕目(上海)科技有限公司 | 一种基于光场相机的透明或半透明介质缺陷检测***及方法 |
CN111583323B (zh) * | 2020-04-30 | 2023-04-25 | 深圳大学 | 一种单帧结构光场三维成像方法和*** |
CN112630469B (zh) * | 2020-12-07 | 2023-04-25 | 清华大学深圳国际研究生院 | 一种基于结构光和多光场相机的三维检测方法 |
CN113406111B (zh) * | 2021-05-31 | 2022-09-23 | 清华大学深圳国际研究生院 | 一种基于结构光场视频流的缺陷检测方法和装置 |
-
2021
- 2021-05-31 CN CN202110598368.2A patent/CN113406111B/zh active Active
-
2022
- 2022-02-18 WO PCT/CN2022/076878 patent/WO2022252698A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN113406111A (zh) | 2021-09-17 |
WO2022252698A1 (zh) | 2022-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113406111B (zh) | 一种基于结构光场视频流的缺陷检测方法和装置 | |
CN112116576B (zh) | 基于偏振结构光成像和改进的缺陷检测方法 | |
CN103530599B (zh) | 一种真实人脸和图片人脸的区别方法和*** | |
US7780084B2 (en) | 2-D barcode recognition | |
CN109859226B (zh) | 一种图形分割的棋盘格角点亚像素的检测方法 | |
CN111429533B (zh) | 一种相机镜头畸变参数估计装置及方法 | |
CN108562250B (zh) | 基于结构光成像的键盘键帽平整度快速测量方法与装置 | |
CN109559324B (zh) | 一种线阵图像中的目标轮廓检测方法 | |
CN112116633B (zh) | 一种矿井打钻计数方法 | |
CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
CN112164117A (zh) | 一种基于Kinect相机的V-SLAM位姿估算方法 | |
CN112161586A (zh) | 一种基于编码棋盘格的线结构光视觉传感器标定方法 | |
CN111402330A (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
Yuan et al. | 3D reconstruction of background and objects moving on ground plane viewed from a moving camera | |
TWI394097B (zh) | 移動物體的偵測方法以及偵測系統 | |
CN115953550A (zh) | 针对线结构光扫描的点云离群点剔除***及方法 | |
CN115330684A (zh) | 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法 | |
CN109064536B (zh) | 一种基于双目结构光的书页三维重建方法 | |
CN115184362B (zh) | 一种基于结构光投影的快速缺陷检测方法 | |
CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 | |
Li et al. | Structured light based high precision 3D measurement and workpiece pose estimation | |
Schmalz et al. | A graph-based approach for robust single-shot structured light | |
Kollmitzer | Object detection and measurement using stereo images | |
CN113409334A (zh) | 一种基于质心的结构光角点检测方法 | |
Yin et al. | Motion detection and tracking using the 3D-camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |