CN110487214A - 一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法 - Google Patents

Abstract

本发明公开了一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法，属于工业检测领域，包括结合光度立体***和结构光***，计算得出修正后物体表面法向量以及三维数据，对物体表面法向量进行修正，判断产品的优劣；所述的光度立体技术包括光源控制开关、照明光源、摄像机、图像采集卡和计算机；述的结构光***包括面阵CCD摄像机、图像采集卡、长焦镜头、LED投影仪和计算机，所述的LED投影仪与所述计算机通过网络信号连接。本发明采用了光度立体技术和结构光技术相结合的方式，充分利用了光度立体和结构光在三维数据获取方面的优势，并通过优化修正，得到的物体表面三维数据更加精确，能够提高工业产品检测的效率。

Description

一种基于光度立体技术和结构光技术相结合的产品合格率的 检测***及其检测方法

技术领域

本发明属于工业检测技术领域，具体涉及一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法。

背景技术

随着科技的进步，各行各业都进行了智能化的升级，尤其是在工业生产领域。与此同时，更值得我们关注的是零部件的合格率问题，智能工业检测便很好的解决了这个问题。传统的检测***很难在精确度和检测速度上保持很好的均衡性。

发明内容

本发明的目的在于提供一种基于光度立体技术和结构光技术相结合的产品合格率的检测***及其检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供一种基于光度立体技术和结构光技术相结合的产品合格率的检测***，该***包括光度立体***和结构光***；

所述的光度立体***包括光源控制开关、照明光源、摄像机、图像采集卡A和计算机；所述的照明光源与所述的光源控制开关电性连接；所述的图像采集卡A为相机SSD卡，用于储存摄像机采集的图像信号并将所述的图像信号以以帧为单位传送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输使用；

所述的结构光***包括面阵CCD摄像机、图像采集卡B、长焦镜头、LED 投影仪和计算机，所述的LED投影仪与所述计算机通过网络信号连接；所述的图像采集卡B为相机SSD卡，用于储存CCD摄像机采集的图像信号并将所述的图像信号以以帧为单位传送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输使用。

作为一种优选的实施方式，所述的照明光源共设置有若干个，用于同时对物体照射；所述的光源控制开关可分别对每个照明光源的点亮和熄灭进行控制。

作为一种优选的实施方式，所述的结构光***内的投影仪用于投射一组光强呈正弦变化的光栅图像；所述的CCD摄像机用于拍摄物体表面起伏而发生变形的光栅图像。

上述方案中，需要说明的是，物体表面的法相量计算过程如下：

点亮照明光源，通过摄像机拍照依次采集四幅图像，因摄像机和被测物位置未发生变动，在每个橡塑点上，假设物体表面向量为N，反射率为ρ，亮度为I，光源方向为L，则该点亮度为：

I＝ρL·N (1)

式(1)的矩阵形式为：

式(2)仅存在最小二乘意义解：

ρ＝|(L^TL)^-1(L^T·I)| (3)

经过计算得到物体表面法向量为：

光栅图像的三维数据计算过程如下：

根据CCD摄像机拍摄到的光栅图像进行相位计算得到光栅图像的绝对相位值；

根据预先标定好的***参数从绝对相位值中计算出被测物体表面的三维轮廓数据。

所述的结构光***中三维成像采用相位移法实现，通过具有一定会相位移的多幅光栅条纹图像计算包含有被测物体表面三维信息的相位初值，光栅条纹图像的光为标准正弦分布，投射在物体上的光栅因物体表面的高度起伏而发生变形，在理想情况下，变形光栅的光强分布为：

I_n(x,y)＝R(x,y){A(x,y)+B(x,y)cos[φ(x,y)+δ_n]} (5)

式(5)中I_n(x,y)表示图像上坐标为(x,y)的像素点的光强，R(x,y)表示波形系数，A(x,y)表示背景光的光强，B(x,y)为投影的正弦光栅的光强，δ_n表示图像的相位移，φ(x,y)为待计算的相对相位值。

本发明还提供一种基于光度立体技术和结构光技术相结合的产品合格率的检测方法，包括使用权利要求1-3任意一项所述的基于光度立体技术和结构光技术相结合的产品合格率的检测***检测产品优劣，其特征在于，该方法具体包括如下步骤：

S1、通过结构光***测量出物体表面三维点；

S2、通过三维点计算每一点的法向量N^p，同时通过光度立体***计算出每一点的法向量N^m；

S3、分别对N^p和N^m进行高斯滤波，得到相应的低频数据S(N^P)和S(N^m)；

S4、计算从N^m变换到S(N^m)的旋转矩阵R，得到修正后的物体表面法向量 N^c＝RS(N^p)；

S5、用修正后的表面法向量计算三维数据；

S6、通过S5中得到的三维数据重建产品表面形状；

S7、根据分析对比产品表面形状判断产品的优劣。

与现有技术相比，本发明的有益效果是：

本发明整合了光度立体技术和结构光技术得到的法向量，并对其进行修正，通过修正后的表面法向量得到精度更高、细节更清晰的三维数据，从而重建产品表面信息，通过分析比对的方法来进行工业产品的检测；实现了工业产品的快速、精确检测，提高工业产品的生产效率，保障了生产安全，有非常好的应用前景。

附图说明

图1为本发明的光度立体***图；

图2为本发明的求解光源方向示意图；

图3为本发明的结构光***中基于极线约束的相位灰度匹配示意图；

图4为本发明的结构光***图；

图5为本发明的工作流程图。

具体实施方式

下面结合实施例对本发明做进一步的描述。

以下实施例用于说明本发明，但不能用来限制本发明的保护范围。实施例中的条件可以根据具体条件做进一步的调整，在本发明的构思前提下对本发明的方法简单改进都属于本发明要求保护的范围。

本发明提供了一种基于光度立体技术和结构光技术相结合的产品合格率的检测***，请参阅图5，该***包括光度立体***和结构光***。

请参阅图1，光度立体***包括光源控制开关、照明光源、摄像机、图像采集卡A和计算机；照明光源与光源控制开关电性连接；图像采集卡A为相机SSD卡，用于储存摄像机采集的图像信号并将图像信号以以帧为单位传送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输使用；照明光源共设置有若干个，用于同时对物体照射；光源控制开关可分别对每个照明光源的点亮和熄灭进行控制。

请参阅图4，结构光***包括面阵CCD摄像机、图像采集卡B、长焦镜头、 LED投影仪和计算机，LED投影仪与计算机通过网络信号连接；图像采集卡B 为相机SSD卡，用于储存CCD摄像机采集的图像信号并将图像信号以以帧为单位传送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输使用；投影仪用于投射一组光强呈正弦变化的光栅图像；CCD摄像机用于拍摄物体表面起伏而发生变形的光栅图像。

本实施方案中，物体表面的法相量计算过程如下：

首先需要标定光源方向向量，根据标定的光源方向和图像信息计算得到物体表面的法向量N^m；

再点亮照明光源，通过摄像机拍照依次采集四幅图像，因摄像机和被测物位置未发生变动，在每个橡塑点上，假设物体表面向量为N，反射率为ρ，亮度为I，光源方向为L，则该点亮度为：

I＝ρL·N (1)

式(1)的矩阵形式为：

式(2)仅存在最小二乘意义解：

ρ＝|(L^TL)^-1(L^T·I)| (3)

经过计算得到物体表面法向量为：

请参阅图3，该***采用高光黑球来标定光源方向，其中L为光源方向， R为摄像机的视角方向，V为反射光的方向，此时R＝V，N为球面高光点的法线方向。用高光黑球标定光源方向向量的步骤为：先把高光黑球放到摄像机视场的合适位置，保证此时摄像机拍摄到的图像是最清晰的，然后通过高光黑球图像来查找高光位置，最后通过高光位置来获得反射光线的方向，进而推算得到光源方向。图像采集卡能够将摄像机的图像信号以帧为单位送到计算机的内存和VGA帧存，供计算机处理、存储和传输使用，计算机软件***分为标定和数据重构两部分，标定部分负责摄像机参数和光源参数的标定，测量部分负责三维数据的计算和对测量结果的显示。

三维数据计算过程如下：

投影仪先向被测物体投射一组光强成正弦变化的光栅图像，同时利用CCD 摄像机拍摄因物体表面起伏而发生变形的光栅图像，然后根据所拍摄到的光栅图像进行相位计算得到光栅图像的绝对相位值，最后根据预先标定好的***参数从绝对相位值中计算出被测物体表面的三维轮廓数据以及法向量N^p。

其中，三维成像采用相位移法实现，通过具有一定会相位移的多幅光栅条纹图像计算包含有被测物体表面三维信息的相位初值，光栅条纹图像的光为标准正弦分布，投射在物体上的光栅因物体表面的高度起伏而发生变形，在理想情况下，变形光栅的光强分布为：

I_n(x,y)＝R(x,y){A(x,y)+B(x,y)cos[φ(x,y)+δ_n]} (5)

式(5)中I_n(x,y)表示图像上坐标为(x,y)的像素点的光强，R(x,y)表示波形系数，A(x,y)表示背景光的光强，B(x,y)为投影的正弦光栅的光强，δ_n表示图像的相位移，φ(x,y)为待计算的相对相位值。

采用相位灰度值和极线约束原理相结合的方法来进行对应点的匹配，由图像I₁上的像素点P₁的相位值，可以在图像I₂上找到一条与像素点P₂具有相同相位值的相位灰度曲线，并且像素点P₁的对应像素点P₂就在这条相位灰度曲线上，然后通过极线约束原理可以得到与像素点P₁对应的极线EP₁，该极线和相位灰度曲线相交于一点P₂，那么P₂就是P₁的对应像素点。由小孔成像模型可以得到两个摄像机的投影变换方程如下：

s_c[u_c,v_c,1]^T＝A_cM_c[X_w,Y_w,Z_w,1]^T (6)

s_p[u_p,v_p,1]^T＝A_pM_p[X_w,Y_w,Z_w,1]^T (7)

式中，u和v为P点在图像上投影的像素坐标，s是一个常量，A和M为投影矩阵，其包含了相机的内外部参数，X_w，Y_w，Z_w即为P点的空间坐标值，由式(6)和式(7)便可以求出空间点的三维坐标。

本发明还提供了一种基于光度立体技术和结构光技术相结合的产品合格率的检测方法，请参阅图5，该方法具体包括如下步骤：

S1、通过结构光***测量出物体表面三维点；

S2、通过三维点计算每一点的法向量N^p，同时通过光度立体***计算出每一点的法向量N^m；

S3、分别对N^p和N^m进行高斯滤波，得到相应的低频数据S(N^P)和S(N^m)；

S4、计算从N^m变换到S(N^m)的旋转矩阵R，得到修正后的物体表面法向量 N^c＝RS(N^p)；

S5、用修正后的表面法向量计算三维数据；

S6、通过S5中得到的三维数据重建产品表面形状；

S7、根据分析对比产品表面形状判断产品的优劣。

本发明整合了光度立体技术和结构光技术得到的法向量，并对其进行修正，通过修正后的表面法向量得到精度更高、细节更清晰的三维数据，从而重建产品表面信息，通过分析比对的方法来进行工业产品的检测；实现了工业产品的快速、精确检测，提高工业产品的生产效率，保障了生产安全，有非常好的应用前景。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于光度立体技术和结构光技术相结合的产品合格率的检测***，其特征在于，该***包括光度立体***和结构光***；

所述的光度立体***包括光源控制开关、照明光源、摄像机、图像采集卡A和计算机；所述的照明光源与所述的光源控制开关电性连接；所述的图像采集卡A为相机SSD卡，用于储存摄像机采集的图像信号并将所述的图像信号以以帧为单位传送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输使用；

所述的结构光***包括面阵CCD摄像机、图像采集卡B、长焦镜头、LED投影仪和计算机，所述的LED投影仪与所述计算机通过网络信号连接；所述的图像采集卡B为相机SSD卡，用于储存CCD摄像机采集的图像信号并将所述的图像信号以以帧为单位传送到计算机的内存和VGA帧存，供计算机处理、存储、显示和传输使用。

2.根据权利要求1所述的基于光度立体技术和结构光技术相结合的智能工业检测***，其特征在于：所述的照明光源共设置有若干个，用于同时对物体照射；所述的光源控制开关可分别对每个照明光源的点亮和熄灭进行控制。

3.根据权利要求1所述的基于光度立体技术和结构光技术相结合的智能工业检测***，其特征在于，所述的结构光***内的投影仪用于投射一组光强呈正弦变化的光栅图像；所述的CCD摄像机用于拍摄物体表面起伏而发生变形的光栅图像。

4.一种基于光度立体技术和结构光技术相结合的产品合格率的检测方法，包括使用权利要求1-3任意一项所述的基于光度立体技术和结构光技术相结合的产品合格率的检测***检测产品优劣，其特征在于，该方法具体包括如下步骤：

S1、通过结构光***测量出物体表面三维点；

S2、通过三维点计算每一点的法向量N^p，同时通过光度立体***计算出每一点的法向量N^m；

S3、分别对N^p和N^m进行高斯滤波，得到相应的低频数据S(N^P)和S(N^m)；

S4、计算从N^m变换到S(N^m)的旋转矩阵R，得到修正后的物体表面法向量N^c＝RS(N^p)；

S5、用修正后的表面法向量计算三维数据；

S6、通过S5中得到的三维数据重建产品表面形状；

S7、根据分析对比产品表面形状判断产品的优劣。