CN108445007A - 一种基于图像融合的检测方法及其检测装置 - Google Patents

Abstract

一种基于图像融合的检测方法，包括采用多个发光模块从不同方向对检测物体进行照射并获得多帧待检测图像、对多帧待检测图像进行图像融合处理、对所得到的纹理图像或者高度图像进行特征筛选处理。上述方法不但可减小低对比度条件下图像采集质量差的影响，还可获得较为完整的表面特征信息，利于将每帧待检测图像中的表面特征信息融合为纹理图像和高度图像，利于从这些图像的区别特征之中识别并筛选出表面缺陷特征。结合上述表面缺陷检测方法的装置对待检测物体进行检测的过程中能够最大限度地排除环境因素的影响，能够从大量的图像中合成得到包括表面缺陷特征的特征图像，增强表面缺陷特征的筛选效果，完成低对比度条件下的表面缺陷检测工作。

Description

一种基于图像融合的检测方法及其检测装置

技术领域

本发明涉及一种图像检测技术，具体涉及一种基于图像融合的检测方法及其检测装置。

背景技术

目前，在工业材料、印刷品等行业中，为保证产品质量的同时高速剔除废品，往往借助机器视觉技术对工件表面或者纸张表面进行检测，查找诸如斑点、凹坑、划痕、缺损、凹凸字符、污垢、色差、漏印、油墨扩散等表面缺陷。进行表面缺陷检测的主要方法是图像模型对比，通过预先选取的标准图像特征域建立图像模型，让当前待检测图像与这些图像模型进行逐像素对比并判断其差异值，最后根据差异值判断待检测图像中的缺陷特征。也有采用图像滤波器的表面缺陷检测方法，对待检测图像进行去噪处理，抑制目标图像的噪声并尽量保留图像细节特征，然后抽取图像细节中的异常部位作为缺陷特征。但是，由于光源衰减、光源移位、镜头污染、曝光参数不一致等客观因素，经常产生图像模型不精确和图像对比度差等问题，而且，使用诸如滤波、灰度去噪、二值化、形态学运算等缺陷筛选方法处理图像时对图像的质量有一定的要求，不适宜从低对比度的图像中筛选出缺陷特征。因此，现有的技术无法对低比度的褶皱、斑痕、色差等缺陷进行检测，从而在表面缺陷检测时存在漏检、误检等问题。

发明内容

本发明主要解决的技术问题是如何检测低对比度的表面缺陷。为解决上述问题，本发明提供了一种基于图像融合的检测方法及其检测装置。

一种基于图像融合的检测方法，包括：依次控制多个发光模块从不同方向照射待检测物体，在每个发光模块照射待检测物体时，控制相机拍摄与该发光模块对应的待检测物体的图像，从而获得待检测物体的多帧待检测图像；对多帧所述待检测图像进行图像融合处理，获得所述待检测物体的特征图像；对所述特征图像进行缺陷特征筛选处理，获得待检测物体的表面缺陷特征；输出所述表面缺陷特征。

一种基于图像融合的检测装置，包括：光源，所述光源包括多个发光模块，所述多个发光模块用于从不同方向照射待检测物体；相机，所述相机用于在发光模块照射待检测物体时采集所述待检测物体的待检测图像；检测控制器，所述检测控制器分别与光源和相机信号连接，在检测时控制多个发光模块依次点亮，同时控制相机在发光模块照射待检测物体时对待检测物体进行拍照，获得与多个发光模块对应的多帧图像，所述检测控制器还用于对所述多帧图像进行处理，获得待检测物体的表面缺陷特征。

本发明实施例采用的光源具有多个发光模块，在各发光模块依次点亮并形成不同方向的照射角度时采集待检测物体的待检测图像，一方面，通过“打光”的手段增强待检测图像的对比度，削弱因表面反光、对比度小等原因造成的图像采集质量差的影响，另一方面，可获得较为完整的待检测物体的表面特征信息。然后，检测控制器对多帧待检测图像进行图像融合处理，利于从每帧待检测图像中获得表面特征信息并将这些信息融合为包括纹理信息和/或高度信息的特征图像，从而得到具有区别特征的纹理图像或高度图像。再次，检测控制器对所得到的纹理图像或者高度图像进行缺陷特征筛选处理，由于纹理图像或者高度图像中已包含有用的区别特征，因此，一方面利于进一步增强待检测图像的对比度，提高用于缺陷特征筛选处理的图像质量，另一方面利于从这些区别特征中更好地识别并筛选出表面缺陷特征。采用上述方法的表面缺陷检测装置对待检测物体进行检测的过程中能够最大限度地排除周围环境的影响，能够从大量的图像中合成得到包括表面缺陷特征的特征图像，进而增强表面缺陷特征的筛选效果，利于完成低对比度条件下的表面缺陷检测工作。

附图说明

图1为表面缺陷检测装置的结构示意图；

图2为表面缺陷检测方法的流程示意图；

图3为检测控制器的时序控制示意图；

图4为表面缺陷特征筛选处理的流程示意图；

图5为光源照射方向向量关系的示意图；

图6为待检测图像中向量关系的示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

一种基于图像融合的检测装置，如图1所示。

在本实施例中，该表面缺陷检测装置包括光源101、相机103和检测控制器105。

在本实施例中，光源101用于从不同方向照射待检测物体A1，其与检测控制器105通信连接并受所述检测控制器105的控制。光源101包括八个发光模块，各发光模块沿在光源101上排布成圆环状并集中在光源101所构成的灯具上，且各个发光模块均匀排列。光源101的各发光模块为多色的发光单元，具有三色发光能力，可以在检测控制器105(检测控制器105具有多光谱设置模块，该多光谱设置模块用于控制发光模块产生哪种颜色的光，该多光谱设置模块的发光模式通常在测试开始前由用户设置)的控制作用下产生红光、绿光或者蓝光，实现多光谱的发光能力，以满足不同检测对象或者不同检测场景的需要。光源101可接收来自检测控制器105的I/O控制信号，并根据该控制信号对各个发光模块进行软触发操作，即依据I/O控制信号可控制光源101的各个发光模块依次处于点亮状态。在检测过程中，待检测物体A1位于光源101的下方中心位置，当一发光模块处于点亮状态时，待检测物体A1的上表面会形成倾斜的照亮面；当全部发光模块点亮时，待检测物体A1的上表面会形成均匀且无倾斜的照亮面。该实施例中，使用光源101的发光模块从不同方向依次照射待检测物体A1时，在待检测物体A1的上表面形成不同照射方向的倾斜照亮面，一方面，有助于削弱待检测物体A1因表面反光而造成的图像采集质量差的影响，另一方面，还利于提高表面缺陷检测时的照射对比度，此外，有助于在所采集的图像中全面获得待检测物体A1的表面的特征信息。

在本实施例中，在光源101的下方处具有固定待检测物体A1的工位，该工位适宜放置待检测物体且对检测物体具有位置限定作用。在一组图像采集过程中，光源101的发光模块可依次被点亮，也可以根据用户需求分别点亮光源101的部分发光模块。

在本实施例中，相机103用于采集待检测物体A1的待检测图像，该相机与检测控制器105通信连接。相机103具有镜头部分和拍照控制部分，相机103的镜头1031位于光源101的圆环中心位置，可允许待检测物体A1的表面的漫反射光线尽可能多的进入，从而达到适宜的图像采集效果，相机103与待检测物体A1的距离可根据实际需求而自由调整。为保证相机103的图像采集效果，其镜头1031采用CCTV镜头或者远心镜头。

在本实施例中，检测控制器105用于控制光源101的发光模块的点亮状态，用于控制相机103的拍摄状态，此外，还用于接收相机103回传的待检测图像并处理得到待检测物体A1的表面缺陷特征。为便于技术人员了解到检测控制器105输出的表面缺陷特征，该检测控制器105具有与计算机通信连接的输入/输出接口，或者具有用于显示表面缺陷特征的显示器。

在另一个实施例中，光源101至少有三个发光模块，使用三个以上发光模块时有利于获得至少三帧待检测图像，从而在处理待检测图像的过程中利用采用最小二乘法的相关理论获得纹理图像和高度图像。此外，各发光模块在光源101上排布成具有环状结构的多边形(如三角形、四边形、五边形、八角菱形等)，这里不对光源101的具体形状做限制。

采用上述实施例的表面缺陷检测装置进行待检测物体A1的表面缺陷检测，所使用的表面缺陷检测方法包括以下步骤，如图2所示。

S201，光源位置和图像采集位置标定。

光源相对待检测物体的向量值，以及相机相对待检测物体的向量值是待检测图像处理过程中的重要参量，因此，对多个发光模块的位置和相机的位置进行标定是进行表面缺陷检测的必要过程。下面将具体说明标定操作的基本原理和方法。

对于图像而言，图像上像素点(x,y)处的灰度成像模型为：

其中，I表示图像上像素点(x,y)处的灰度值；ρ_i表示第i种材料的反射率；k表示材料种类的数目；f_i表示光亮方程，f_i与物体表面的法向量N、光源方向L和相机视角V有关。

若被测物体表面为理想散射表面(能够完全反射入射光且所有方向反射光同等亮度的表面)，则根据灰度成像模型得到图像一像素点的发射模型：

I₀＝ρN₀·L₀ (2)

其中，N₀表示单位法向量，L₀表示单位光源方向。由此，可得图像一像素点在各个方向上的反射模型表达式：

其中，N表示其向量形式，为N＝(N_x N_y N_z)^T，Nx、Ny、Nz分别为像素点在x、y、z方向上的分量；L表示其矩阵形式，为

见图1，为标定光源101中的各个发光模块和相机103相对于待检测物体A1的相对位置，采用了图5中所示高光黑球进行辅助操作。将高光置于待检测物体A1的位置，调整高光黑球和相机的相对位置，保证相机101可拍摄到高光黑球的清晰图像并在图像中能够找到高光黑球上的高光点，从而认为相机的视角方向和高光黑球上的反射光的方向相同，用向量表示为R＝V。此时，认为相机103的视角方向V确定，可得光源方向L的表达式为：

L＝2(N·R)N-R (4)

其中，高光点处的法向量N可以通过平行投影模型求得。高光黑球在图像上的成像与实际尺寸相同，并且最大轮廓截面就是黑球的球心所在平面。检测控制器105对高光黑球的拍摄图像进行处理找到高光黑球在图像中的位置，包括高光黑球的图像像素坐标(C_x,C_y)，以及高光黑球上的高光点在图像上的像素坐标(P_x,P_y)，因此，高光点的法向量N的表达式为：

N＝(P_x-C_x,P_y-C_y,z) (5)

其中，z、r为过程参量，没有实际意义。

标定步骤的具体方法为：将用于标定的高光黑球设置于检测位置(如图1中待检测物体A1的位置)，获取所述高光黑球在各个所述发光模块照射下的待标定图像，构建每帧待标定图像的灰度成像模型(如公式1所示)，根据所述灰度成像模型比较得到所述发光模块和所述相机相对于所述高光黑球的向量值。其中，发光模块的向量值可参照上述公式中的L，相机的向量值可参照上述公式中的V。所获得的向量值用于参与纹理信息或者高度信息的计算过程。

在本步骤中，如果在获取待检测物体A1的待检测图像之前未对光源101和相机103的位置进行标定，则应当执行步骤S201；如果在获取待检测图像之前已经进行了光源101和相机103的位置标定，并将得到的相关向量值存储在检测控制器105之中，则不需要执行步骤S201，直接进行步骤S202即可。

S202，获取待检测图像。

见图1，将待检测物体A1置于光源下的中心位置，检测控制器105按照预设的光谱颜色控制光源101点亮一个发光模块，此时，待检测物体A1的上表面将形成倾斜的光照面。检测控制器105控制相机103对待检测物体A1进行拍摄，相机103将获取到的一帧待检测图像回传至检测控制器105。然后，检测可控制器105继续控制光源101点亮下一个发光模块，控制相机103拍摄另一帧待检测图像，直至顺序点亮用户所设定的发光模块，分别获得获取待检测物体A1在各发光模块的不同照射方向下的待检测图像。

在本实施例中，检测控制器105对光源101和相机103的时序控制过程可见图4。检测控制器105同时向光源101和相机103发送同一触发信号，光源101收到该触发信号时点亮一个发光模块，相机103收到该触发信号时进行拍摄。相机103拍摄完成后，检测控制器105再次发出触发信号，光源101收到该触发信号时控制已点亮的发光模块熄灭并使得该发光模块向下一个发光模块发出LED使能信号并点亮下一个发光模块，相机103收到该触发信号时再次进行拍摄，然后检测控制器105继续发出触发信号，光源101和相机103重复这一步骤，直至完成一组检测。

在本步骤中，光源101被点亮的发光模块位置及个数由技术人员确定，这里不做限制，此外，所获得的待检测图像应与所点亮发光模块的个数相等(至少为3个)，以便检测控制器105能够处理这些待检测图像。

S203，图像融合处理，获取特征图像。

检测控制器105通过步骤S201获得n帧待检测图像(n是指所设定的图像个数)，检测控制器105将对这些待检测图像进行图像融合处理，获得待检测物体A1的特征图像。所述的特征图像包括纹理图像和/或高度图像，所述的纹理图像包括纹理信息，所述的高度图像包括高度信息。

在本步骤中，图像融合处理过程包括从待检测图像中提取纹理信息和/或高度信息的步骤。所述的纹理信息是指因斑点、色差、漏印等色彩差异而造成的缺陷信息，利用这些纹理信息有助于标识待检测物体的具有色彩差异的表面纹理特征；所述的高度信息是指因划痕、凹凸字符、缺损等原因造成的缺陷信息，利用这些高度信息有助于标识待检测物体的具有凸凹差异的表面高度特征。由于获得不同表面缺陷特征所需要的图像存在差异，因此，技术人员可以根据预设的表面缺陷特征类型选择检测控制器105的处理方式，是获得纹理图像还是获得高度图像，亦或是同时获得纹理图像和高度图像。

下面将具体说明获取纹理图像和高度图像的基本原理和方法。

1、获得纹理图像的基本原理和方法。

根据步骤S201和步骤S202，标定好光源方向L、视角方向V以及物体表面法向量N之后，获得至少n(n>3)帧待检测图像，将每帧待检测图像用公式(3)所示的反射模型表达式进行表示，可见公式(6)中的I₁、I₂、I_n，进而建立公式(6)所示的反射模型方程组。

设定一个过程参数G，令G＝ρN，利用最小二乘法求解公式(6)，可得G＝(L^TL)^-1L^TI，进而可得纹理图像的纹理信息表达式N＝G/ρ。

在本步骤中，图像融合处理包括从所述待检测图像中提取纹理信息的步骤，提取纹理信息的步骤可描述为：获得每帧所述待检测图像的反射模型表达式，根据所述反射模型表达式建立所述待检测图像的反射模型方程组，采用最小二乘法求解所述反射模型方程组并获得纹理信息表达式；

2、获得高度图像的基本原理和方法。

为说明高度图像的高度信息的原理，先假设高度图像的表达式z(x,y)，根据图6所示的向量关系得到一帧待检测图像的表面向量表达式：

其中，N·V₁＝0,N·V₂＝0，因此可得：

当有多帧待检测图像时，按照公式(7)、(8)分别对每帧待检测图像进行处理，并分别得到每帧待检测图像的表面向量表达式，进而构建表面向量方程组。假定每帧待检测图像的大小为M×N，根据最小二乘法可求解得到z的向量结果，即高度图像的高度信息表达式：

Z＝(A^TA)^-1AB (9)

其中，A的维数为2MN×MN的稀疏矩阵，B为B＝AZ的参量，所得的Z的维数为2MN×1。

在本步骤中，图像融合处理包括从所述待检测图像中提取高度信息的步骤，提取高度信息的步骤可描述为：获取每帧所述待检测图像的表面向量表达式，根据所述表面向量表达式建立所述待检测图像的表面法向量方程组，采用最小二乘法求解所述表面向量方程组并获得高度信息表达式。

在本步骤中，检测控制器105按照纹理信息和高度信息的表达式获得纹理图像和高度图像，所得到的纹理图像和高度图像以数字形式存储并等待进一步的处理。

S204，缺陷特征筛选处理，获取表面缺陷特征。

检测控制器对步骤S203中得到的特征图像(包括纹理图像和/或高度图像)进行缺陷特征筛选处理，获得待检测物体的表面缺陷特征，见图4。缺陷特征筛选处理包括对比度调整、灰度去噪、二值化、块状物分析或轮廓跟踪，以及条件筛选的图像处理步骤。

在本步骤中，对比度调整用于增强图像的对比度，包括均值滤波和等级设定的操作。灰度去噪用于消除图像反光，包括滤波或者形态学变形的操作。二值化用于将图像上的像素点的灰度值设置为0或255，使得图像呈现出明显的只有黑和白的效果。块状物分析主要用于对二值化的图像进行连通性分析，获取连通区域的平均灰度值、面积、长轴长、短轴长、圆度等特征，便于特征筛选，而轮廓跟踪用于设置图像的区域特征，以便于判断待检测物体的形状或者轮廓。条件筛选用于根据预设条件判断表面缺陷特征，即根据预设条件中的上公差和下公差判别图像中的某一区别特征是否符合条件，若符合条件，认为该区别特征为表面缺陷特征。由于缺陷特征筛选处理中的各步骤所涉及的方法是图像处理技术的惯用手段，各方法的原理和使用将不再做具体说明。

在本步骤中，进行缺陷特征筛选处理的特征图像包括纹理图像和/或高度图像，需要使用哪种图像进行缺陷特征筛选处理应当根据技术人员所预设的缺陷特征类型进行判断，判断过程可参考步骤S203中的相关内容。

在本步骤中，缺陷特征筛选处理用于从表面纹理特征和/或表面高度特征中筛选出待检测物体的表面缺陷特征。由于纹理图像具有色彩差异的表面纹理特征，高度图像具有凸凹差异的表面高度特征，这些表面纹理特征或者高度纹理特征在原始图像(原始图像是指直接采集的且未经过处理的图像)中处于低对比度且不易识别的状态，因此，纹理图像或者高度的图像质量相对于原始图像具有明显的提高。具有高图像质量的特征图像在参与缺陷特征筛选处理的过程中，易于通过常用的缺陷特征筛选方法识别出技术人员期望得到的表面缺陷特征。

在另一个实施例中，缺陷特征筛选处理包括对比度调整、灰度去噪、二值化、块状物分析、轮廓跟踪和条件筛选的一种或者多种处理步骤。待检测图像的质量容易受到环境光、相机曝光值、待检测物体表面材料等影响，则得到的特征图像也存在质量差异，特别是表面纹理特征和表面高度特征之间的差异，因此，技术人员可根据待检测物体和检测环境的实际状况确定缺陷特征筛选处理中用到的处理步骤，这种根据实际情况而参与的处理步骤可以更好地获取表面缺陷特征，能够避免不必要处理步骤所带来的参数抑制、特征消亡等情况的发生。例如对纹理图像进行缺陷特征筛选处理时可主要使用对比度调整、灰度去噪、轮廓跟踪和条件筛选的步骤，而对高度图像进行缺陷特征筛选处理时可主要使用对比度调整、灰度去噪和条件筛选的步骤。

S205，输出表面缺陷特征。

为便于技术人员查看步骤S204中的表面缺陷特征，检测控制器105能够根据自身的数据接口或者显示器对该表面区别特征进行传输或者显示。

上文中提到的基于图像融合的检测方法和检测装置不但能够获得高质量的被测物体的图像，还能通过图像融合手段得到被测物体表面的区别特征，进而利于在低对比度条件下达到检测区别特征的目的。因此，上文实施例提到的检测方法和检测装置不仅可以用于表面缺陷的检测工作，还能够用于机器视觉、人脸识别、移动识别等相关的图像检测领域。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (9)

1.一种基于图像融合的检测方法，其特征在于，包括：

依次控制多个发光模块从不同方向照射待检测物体，在每个发光模块照射待检测物体时，控制相机拍摄与该发光模块对应的待检测物体的图像，从而获得待检测物体的多帧待检测图像；

对多帧所述待检测图像进行图像融合处理，获得所述待检测物体的特征图像；

对所述特征图像进行缺陷特征筛选处理，获得待检测物体的表面缺陷特征；

输出所述表面缺陷特征。

2.如权利要求1所述的一种基于图像融合的检测方法，其特征在于，对多帧所述待检测图像进行图像融合处理包括：根据需要检测的缺陷类型从所述待检测图像中提取纹理信息和/或高度信息，所述纹理信息用于标识所述待检测物体的具有色彩差异的表面纹理特征，所述高度信息用于标识所述待检测物体的具有凸凹差异的表面高度特征；

对所述特征图像进行缺陷特征筛选处理包括：对比度调整、灰度去噪、二值化、块状物分析、轮廓跟踪和条件筛选的图像处理步骤，所述缺陷特征筛选处理用于从所述表面纹理特征和/或所述表面高度特征中筛选出待检测物体的表面缺陷特征。

3.如权利要求2所述的一种基于图像融合的检测方法，其特征在于，所述提取纹理信息包括：获得每帧所述待检测图像的反射模型表达式，根据所述反射模型表达式建立所述待检测图像的反射模型方程组，求解所述反射模型方程组并获得纹理信息表达式，从而得到纹理信息；

和/或

所述提取高度信息包括：获取每帧所述待检测图像的表面向量表达式，根据所述表面向量表达式建立所述待检测图像的表面向量方程组，求解所述表面向量方程组并获得高度信息表达式，从而获得高度信息。

4.如权利要求1所述的一种基于图像融合的检测方法，其特征在于，至少有三个所述发光模块，至少获取三帧所述待检测图像。

5.如权利要求1至4任一项所述的一种基于图像融合的检测方法，其特征在于，在获取待检测图像步骤之前还包括标定步骤：将用于标定的高光黑球置于检测位置，获取所述高光黑球在各个所述发光模块照射下的待标定图像，构建每帧待标定图像的灰度成像模型，根据所述灰度成像模型比较得到所述发光模块和所述相机相对于所述高光黑球的向量值；

所述向量值用于计算得到所述待检测图像的反射模型表达式和/或表面向量表达式。

6.一种基于图像融合的检测装置，其特征在于，包括：

光源，所述光源包括多个发光模块，所述多个发光模块用于从不同方向照射待检测物体；

相机，所述相机用于在发光模块照射待检测物体时采集所述待检测物体的待检测图像；

检测控制器，所述检测控制器分别与光源和相机信号连接，在检测时控制多个发光模块依次点亮，同时控制相机在发光模块照射待检测物体时对待检测物体进行拍照，获得与多个发光模块对应的多帧图像，所述检测控制器还用于对所述多帧图像进行融合处理，获得待检测物体的表面缺陷特征。

7.如权利要求6所述的一种基于图像融合的检测装置，其特征在于，所述检测控制器用于对多帧所述待检测图像进行图像融合处理和图像特征筛选处理；

所述图像融合处理包括：根据需要检测的缺陷类型从所述待检测图像中提取纹理信息和/或高度信息，所述纹理信息用于标识所述待检测物体的具有色彩差异的表面纹理特征，所述高度信息用于标识所述待检测物体的具有凸凹差异的表面高度特征；

所述图像特征筛选处理包括：对比度调整、灰度去噪、二值化、块状物分析、轮廓跟踪和条件筛选，所述缺陷特征筛选处理用于从所述表面纹理特征和/或所述表面高度特征中筛选出待检测物体的表面缺陷特征。

8.如权利要求6所述的一种基于图像融合的检测装置，其特征在于，所述光源的发光模块为多色的发光单元，各发光模块用于产生红光、绿光或者蓝光。

9.如权利要求8所述的一种基于图像融合的检测装置，其特征在于，所述检测控制器具有多光谱设置模块，该多光谱设置模块用于控制发光模块产生哪种颜色的光以适应不同检测场景需求。