CN110146036B - 一种基于光栅投影和双目偏振相机的三维测量方法与*** - Google Patents

Abstract

本发明实施例公开了一种基于光栅投影和双目偏振相机的光滑物体三维测量方法，包括如下步骤：步骤100、调整偏振片，获取高动态范围的物体图像；步骤200、标定双目相机，获取相机的内部参数和外部参数；步骤300、设置光栅投影，将条纹投影于光滑物体表面；步骤400、条纹提取与匹配，获取同名点；步骤500、三维模型重构，获取光滑物体的三维模型；本发明基于双目立体视觉空间交汇获得光滑物体表面的坐标信息，实现光滑物体表面的精确三维测量，本发明能够有效避免光滑物体表面镜面反射导致的饱和情况，提高***的可适用动态范围，同时还可降低***标定难度，降低***的运行成本。

Description

一种基于光栅投影和双目偏振相机的三维测量方法与***

技术领域

本发明实施例涉及非接触测量技术领域，具体涉及一种基于光栅投影和双目偏振相机的三维测量方法与***。

背景技术

光学的三维测量技术可以在非接触的条件下，快速精确获取物体的三维信息，目前已被广泛应用于智能质检、三维重建、轮廓尺寸监测等领域。光栅投影的三维测量是光学三维测量技术中最重要的组成部分，其通过向测量物体表面投射光栅条纹，并对传感器获取的图像处理以提取条纹的相位信息，解算获得物体的三维信息。

传统的光栅投影三维测量方法对于表面粗糙的物体效果较好，但是对于表面光滑物体却具有一定的局限性。这主要是因为镜面反射导致传感器获取的条纹图像饱和，传感器无法有效提取精确的相位信息，从而降低了三维建模精度。另外基于单传感器的光栅投影三维测量方法对***标定要求极高，当需要更换传感器或者其他***单元时，需要重新进行高精度标定，成本较高，提高了***的运行成本。

发明内容

为此，本发明实施例提供一种基于变分方法的高效换热结构自适应优化设计方法与***，可以根据成像几何设置合理的偏振成像条件，有效避免条纹图像饱和情况，提高***的工作动态范围，双目相机的使用可以降低标定的复杂度，可在更换传感器或者其他***单元时快速完成***标定，降低***运行成本，以解决现有技术中的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

本申请提供一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，包括如下步骤：

步骤100、调整偏振片，获取高动态范围的物体图像；

步骤200、标定双目相机，获取相机的内部参数和外部参数；

步骤300、设置光栅投影，将条纹投影于光滑物体表面；

所述步骤300包括：采用DeBruijin编码方式，生成M元N阶序列，然后确定彩色RGB特征与DeBruijin序列的映射关系，生成DeBruijin彩色条纹，并将其投影于光滑物体表面；

步骤400、条纹提取与匹配，获取同名点；

所述步骤400包括：获取投影于光滑物体表面的DeBruijin彩色条纹，将彩色条纹转换为灰度条纹，转换方程为：

R_gray＝0.30R_r+0.59R_g+0.11R_b

其中，R_r，R_g，R_b分别为转换器彩色图像的红、绿、蓝三通道亮度值，R_gray为对应灰度值；

通过亚像素提取条纹中心线，确定每条条纹的中心位置；最后依据双目相机的条纹中心位置及对应的颜色信息，获取条纹码字序列，双目图像序列对比，完成同名点匹配；

步骤500、三维模型重构，获取光滑物体的三维模型；

所述三维模型重构的具体步骤包括：

双目立体视觉空间交汇获得光滑物体表面点云；

对于上述获取的匹配点，可以依据双目立体视觉交汇技术获取匹配点的空间坐标信息，即有：

其中(x₁，y₁)，(x₂，y₂)分别为双目相机图像同名点的坐标，M₁和M₂为对应相机的投影矩阵，由相机标定过程提供，通过上式获取同名点的空间坐标，Z_c1，Z_c2分别为物体表面点在双目相机坐标系Z轴的坐标；

对点云进行滤波的预处理去除噪音，再提取点云数据；

依据不规则三角网对点云数据进行处理，获取表面光滑物体的高精度三维模型。

在步骤100中，当传感器处于镜面反射方向，镜面反射导致传感器获取的条纹图像饱和时，调整偏振片的透光轴，选择性遮蔽较强的纵向波或横向波，降低相机的入瞳光强。

本发明实施例的特征还在于，在步骤200之前，首先对图像进行镜头径向畸变校正和对透镜曲面进行偏心畸变校正。

本发明实施例的特征还在于，镜头径向畸变校正的具体步骤为：

设定镜头纠正模型：

δ_xr＝x(a₁r²+a₂r⁴+a₃r⁶+...)

δ_yr＝y(a₁r²+a₂r⁴+a₃r⁶+...)

其中，(x，y)表示像点在图像中像素坐标，

a₁，a₂，a₃…表示各次径向畸变系数，δ_xr，δ_yr为径向畸变校正后的像素坐标。

本发明实施例的特征还在于，偏心畸变校正的具体步骤为：

设定透镜纠正模型：

δ_xd＝b₁(3x²+y²)+2b₂xy+...

δ_yd＝2b₁xy+b₂(3x²+y²)+...

其中，(x，y)表示像点在图像中的像素坐标，b₁，b₂…表示各次偏心畸变系数，δ_xd，δ_yd为偏心畸变校正后的像素坐标。

本发明实施例的特征还在于，双目相机的标定具体步骤：

在双目相机视场中放入平面标定板，并从不同方向随机移动标定板，获取不同位置的标定表图像，然后提取标定板中标定点坐标，利用透视变换矩阵求解相机参数初始值，即有：

其中，[X，Y，Z，1]^T为物体表面点的世界坐标，[x，y，1]^T为对应的图像点坐标，M为透视变换矩阵，α₁₁，α₁₂，…，α₃₄为矩阵M的元素，Z_c为物体表面点在摄像机坐标系的Z轴坐标；

消去Z_c后，可得到下述方程：

α₁₁X+α₁₂Y+α₁₃Z+α₁₄-xXα₃₁-xYα₃₂-xZα₃₃＝xα₃₄

α₂₁X+α₂₂Y+α₂₃Z+α₂₄-yXα₃₁-yYα₃₂-yZα₃₃＝yα₃₄

采用至少6个标定点完成方程求解，该方程的解即为相机参数的初始值；

将上述初始值通过LM非线性优化方法，迭代获取两个相机内部参数和外部参数的全局最优解，完成相机的标定。

另外，本发明还提供了一种基于光栅投影和双目偏振相机的三维测量***，包括光栅投影单元、数据处理单元和两个双目偏振相机，所述光栅投影单元下方设置有光栅投影区，在所述光栅投影区内设置有平面标定板，所述平面标定板设置在两个双目偏振相机的共同视场内，所述数据处理单元与两个双目偏振相机均电性连接。

本发明实施例具有如下优点：

(1)高动态范围，光滑物体表面会镜面反射入射辐射，导致相机入瞳光强过大，出现饱和的情况，无法提取光滑物体表面的细节信息，通过引入偏振组件，调整偏振片的透光轴，选择性遮蔽较强的纵向波或横向波，降低相机的入瞳光强，这样可以增强***的工作动态范围，在镜面反射方向仍可以获得光滑物体表面的细节信息；

(2)低标定难度，单目相机建立物体表面的三维模型，需要高精度标定光栅投影和单目相机之间的相对位置关系，且在某一物件更换时，需要重新高精度标定，通过引入双目相机，提取特征点，建立空间立体几何关系，求取表面三维模型。这种方法的标定要求相对较低，且某一物件更换时，可快速标定，降低了***的运行成本。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明整体流程示意图；

图2为本发明***结构框图；

1-光栅投影单元；2-数据处理单元；3-双目偏振相机；4-光栅投影区；5-平面标定板。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示，本发明提供了一种基于光栅投影和双目偏振相机的三维测量***，包括光栅投影单元(1)、数据处理单元(2)和两个双目偏振相机(3)，所述光栅投影单元(1)下方设置有光栅投影区(4)，在所述光栅投影区(4)内设置有平面标定板(5)，所述平面标定板(5)设置在两个双目偏振相机(3)的共同视场内，所述数据处理单元(2)与两个双目偏振相机(3)均电性连接。

在本发明提供的所述基于光栅投影和双目偏振相机的三维测量***中，光栅投影单元提供不同模式的投影光栅并投影于光滑物体表面；双目偏振相机单元采集光滑物体表面的光栅投影；数据处理单元基于双目立体视觉处理获得光滑物体表面的三维模型。本发明首先设置不同模式的投影光栅，然后基于投影条纹影像实现双目偏振相机标定，最后通过数据处理单元提取条纹中心位置，并基于双目立体视觉空间交汇获得光滑物体表面的坐标信息，实现光滑物体表面的精确三维测量。

为了更好的说明上述测量方法，下面将结合具体的实施例进行说明。

实施例：

此外，本发明还提供了一种基于光栅投影和双目偏振相机的三维测量方法，包括如下步骤：

步骤100、调节偏振片，获取高动态范围的物体图像，包括以下步骤：当传感器处于镜面反射方向，镜面反射导致传感器获取的条纹图像饱和时，调整偏振片的透光轴，选择性遮蔽较强的纵向波或横向波，降低相机的入瞳光强，使其处于相机的理想成像光强之内，解决图像饱和难题。在调整偏振片透光轴的过程中，相机的入瞳光强会出现由强变弱，然后由弱变强的过程，选择最能体现物体表面特征，而入瞳光强又处于合理动态范围的角度即可。

步骤200、双目相机标定，获取相机的内参和外参，包括以下步骤：对图像进行镜头径向畸变校正，其纠正模型可以表示为：

δ_xr＝x(a₁r²+a₂r⁴+a₃r⁶+...)

δ_yr＝y(a₁r²+a₂r⁴+a₃r⁶+...)

其中(x，y)表示像点在图像中像素坐标，

a₁，a₂，a₃…表示各次径向畸变系数，δ_xr，δ_yr为径向畸变校正后的像素坐标。

透镜曲面瑕疵带来偏心畸变，其纠正模型可以表示为：

δ_xd＝b₁(3x²+y²)+2b₂xy+...

δ_yd＝2b₁xy+b₂(3x²+y²)+...

其中(x，y)表示像点在图像中像素坐标，b₁，b₂…表示各次偏心畸变系数，δ_xd，δ_yd为偏心畸变校正后的像素坐标。

在双目相机视场中放入平面标定板，并从不同方向随机移动标定板，获取不同位置的标定表图像，然后提取标定板中标定点坐标，利用透视变换矩阵求解相机参数初始值，即有：

其中，[X，Y，z，1]^T为物体表面点的世界坐标，[x，y，1]^T为对应的图像点坐标，M为透视变换矩阵，α₁₁，α₁₂，…，α₃₄为矩阵M的元素，Z_c为物体表面点在摄像机坐标系的Z轴坐标。消去Z_c后，可得到下述方程：

α₁₁X+α₁₂Y+α₁₃Z+α₁₄-xXα₃₁-xYα₃₂-xZα₃₃＝xα₃₄

α₂₁X+α₂₂Y+α₂₃Z+α₂₄-yXα₃₁-yYα₃₂-yZα₃₃＝yα₃₄

上述方程即描述了点的世界坐标与图像坐标之间的映射关系。采用6个以上的标定点即可完成方程求解，获得相机参数初始值。一般来说，采用更多的标定点可以使方程数量大大超过未知数数量，从而可以降低误差影响，提高初始值精度。

最后，利用上述初值，结合Levenberg-Marquardt(LM法)非线性优化方法，迭代获取所有相机内外参数的全局最优解，完成相机标定。

步骤400、条纹提取与匹配，获取同名点，包括以下步骤：

获取投影于光滑物体表面的DeBruijin彩色条纹，将彩色条纹转换为灰度条纹，转换方程为：

R_gray＝0.30R_r+0.59R_g+0.11R_b

其中，R_r，R_g，R_b分别为转换器彩色图像的红、绿、蓝三通道亮度值，R_gray为对应灰度值。然后采用亚像素技术精确提取条纹中心线，确定每条条纹的中心位置。最后依据双目相机的条纹中心位置及对应的颜色信息，获取条纹码字序列，双目图像序列对比，完成同名点匹配。

步骤5.三维模型重构，获取光滑物体的三维模型，包括以下步骤：

双目立体视觉空间交汇获得光滑物体表面点云。对于上述获取的匹配点，可以依据双目立体视觉交汇技术获取匹配点的空间坐标信息，即有：

其中(x₁，y₁)，(x₂，y₂)分别为双目相机图像同名点的坐标，M₁和M₂为对应相机的投影矩阵，由相机标定过程提供。可通过上式获取同名点的空间坐标，Z_c1，Z_c2分别为物体表面点在双目相机坐标系Z轴的坐标。

上述获取的点云会存在噪声问题，需要对点云进行预处理，滤波以实现高质量的点云数据提取。

最后，依据不规则三角网对上述点云数据进行处理，获取表面光滑物体的高精度三维模型。

本发明的优点在于以下两个方面：

(1)偏振片的使用可有效避免镜面反射导致的条纹图像饱和情况，提高***的工作动态范围；

(2)双目相机的使用可以降低标定复杂度，可在更换传感器或者其他***单元时，快速完成***标定，降低***运行成本。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (6)

1.一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，包括如下步骤：

步骤100、调整偏振片，获取高动态范围的物体图像；

步骤200、标定双目相机，获取相机的内部参数和外部参数；

步骤300、设置光栅投影，将条纹投影于光滑物体表面；

所述步骤300包括：采用DeBruijin编码方式，生成M元N阶序列，然后确定彩色RGB特征与DeBruijin序列的映射关系，生成DeBruijin彩色条纹，并将其投影于光滑物体表面；

步骤400、条纹提取与匹配，获取同名点；

所述步骤400包括：获取投影于光滑物体表面的DeBruijin彩色条纹，将彩色条纹转换为灰度条纹，转换方程为：

R_gray＝0.30R_r+0.59R_g+0.11R_b

其中，R_r，R_g，R_b分别为转换器彩色图像的红、绿、蓝三通道亮度值，R_gray为对应灰度值；

通过亚像素提取条纹中心线，确定每条条纹的中心位置；最后依据双目相机的条纹中心位置及对应的颜色信息，获取条纹码字序列，双目图像序列对比，完成同名点匹配；

步骤500、三维模型重构，获取光滑物体的三维模型；

所述三维模型重构的具体步骤包括：

双目立体视觉空间交汇获得光滑物体表面点云；

对于上述获取的匹配点，可以依据双目立体视觉交汇技术获取匹配点的空间坐标信息，即有：

其中(x₁，y₁)，(x₂，y₂)分别为双目相机图像同名点的坐标，M₁和M₂为对应相机的投影矩阵，由相机标定过程提供，通过上式获取同名点的空间坐标，Z_c1，Z_c2分别为物体表面点在双目相机坐标系Z轴的坐标；

对点云进行滤波的预处理去除噪音，再提取点云数据；

依据不规则三角网对点云数据进行处理，获取表面光滑物体的高精度三维模型。

2.根据权利要求1所述一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，偏振片的调整具体步骤为：

当传感器处于镜面反射方向，镜面反射导致传感器获取的条纹图像饱和时，调整偏振片的透光轴，选择性遮蔽较强的纵向波或横向波，降低相机的入瞳光强。

3.根据权利要求1所述一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，在步骤200之前，首先对图像进行镜头径向畸变校正和对透镜曲面进行偏心畸变校正。

4.根据权利要求3所述一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，镜头径向畸变校正的具体步骤为：

设定镜头纠正模型：

δ_xr＝x(a₁r²+a₂r⁴+a₃r⁶+...)

δ_yr＝y(a₁r²+a₂r⁴+a₃r⁶+...)

其中，(x，y)表示像点在图像中像素坐标，

a₁，a₂，a₃...表示各次径向畸变系数，δ_xr，δ_yr为径向畸变校正后的像素坐标。

5.根据权利要求3所述一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，偏心畸变校正的具体步骤为：

设定透镜纠正模型：

δ_xd＝b₁(3x²+y²)+2b₂xy+...

δ_yd＝2b₁xy+b₂(3x²+y²)+...

其中，(x，y)表示像点在图像中的像素坐标，b₁，b₂…表示各次偏心畸变系数，δ_xd，δ_yd为偏心畸变校正后的像素坐标。

6.根据权利要求1所述一种基于光栅投影和双目偏振相机的三维测量方法，其特征在于，所述双目相机的标定具体步骤：

在双目相机视场中放入平面标定板，并从不同方向随机移动标定板，获取不同位置的标定表图像，然后提取标定板中标定点坐标，利用透视变换矩阵求解相机参数初始值，即有：

其中，[X，Y，Z，1]^T为物体表面点的世界坐标，[x，y，1]^T为对应的图像点坐标，M为透视变换矩阵，a₁₁，a₁₂，…，a₃₄为矩阵M的元素，Z_c为物体表面点在摄像机坐标系的Z轴坐标；

消去Z_c后，可得到下述方程：

α₁₁X+α₁₂Y+α₁₃Z+α₁₄-xXα₃₁-xYα₃₂-xZα₃₃＝xα₃₄

α₂₁X+α₂₂Y+α₂₃Z+α₂₄-yXα₃₁-yYα₃₂-yZα₃₃＝yα₃₄

采用至少6个标定点完成方程求解，该方程的解即为相机参数的初始值；

将上述初始值通过LM非线性优化方法，迭代获取两个相机内部参数和外部参数的全局最优解，完成相机的标定。

Images