CN112053432B - 一种基于结构光与偏振的双目视觉三维重建方法 - Google Patents

Abstract

本发明涉及计算机视觉领域，具体涉及一种基于结构光与偏振的双目视觉三维重建方法。具体技术方案为：采用投影仪将计算机生成的正弦条纹图像投影到被测物体上；左相机和右相机采集被测物体表面被高度所调制的正弦条纹图像，并发送至计算机；所述计算机将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪、左右相机和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。本发明解决了现有的基于结构光的三维重建方法不能很好的处理高反光区域的重建问题。

Description

一种基于结构光与偏振的双目视觉三维重建方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于结构光与偏振的双目视觉三维重建方法。

背景技术

基于视觉的三维重建技术是计算机视觉领域中的一个重要研究方向，而基于结构光的三维重建技术是主动视觉法中被广泛应用的一种，它有着非接触，精度高，速度快，成本低等优点。常见的基于结构光的三维重建方法不能很好的处理高反光区域的重建问题，因此，本发明提出一种基于结构光与偏振的双目视觉三维重建方法。

发明内容

针对现有技术的不足，本发明提供了一种基于结构光与偏振的双目视觉三维重建方法，以精确地获取被测物体的三维信息，并有效地解决高反光区域的三维信息不准确的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

本发明公开了一种基于结构光与偏振的双目视觉三维重建方法，采用投影仪将计算机生成的正弦条纹图像投影到被测物体上；左相机和右相机采集被测物体表面被高度所调制的正弦条纹图像，并发送至计算机；所述计算机将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪、左右相机和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。

优选的，一种基于结构光与偏振的双目视觉三维重建方法，包括以下步骤：

步骤1.通过***标定获得左、右相机和投影仪的内外参数；

步骤2.确定标签集f，对每个投影仪图像上的像素点P，在左、右相机视图中检测到的点之间形成的点对集合；

步骤3.计算部分绝对相位，通过计算投影仪图像每个像素点的最小代价，确定投影仪像素点在左、右相机上的匹配点，并根据投影仪像素点绝对相位偏移计算左、右相机的部分绝对相位图；

步骤4.填充缺省相位，采用质量图引导的缺省相位填充方法，得到完整的绝对相位；

步骤5.初步计算点云，通过三角测量得到被扫描物体的三维坐标；

步骤6.通过偏振的方法计算高反光区域点云；

步骤7.将步骤5得到的初步点云和步骤6得到的高反光区域点云进行配准，得到完整点云；

步骤8.根据步骤7计算出的点云进行三维重建。

优选的，步骤1中，***标定的主要步骤包括：

步骤1.1.对左、右相机进行标定：基于相机的针孔成像原理建立投影成像模型，设空间中一点的世界坐标为(X_W,Y_W,Z_W)，其在相机平面对应点的图像坐标为(u,v)，具体公式如下：

其中，s为尺寸因子，f_x＝f/dx，f_y＝f/dy，f代表焦距，dx、dy分别代表u轴和v轴上的尺度因子，单位为像素；R和T分别代表旋转矩阵和平移矩阵；W为空间中一点在世界坐标系下的齐次坐标；M₁和M₂分别代表内外参数矩阵；M^c为相机的投影矩阵；

步骤1.2.对投影仪进行标定：方法与步骤1.1相同，计算得到投影仪投影矩阵M^p。

优选的，步骤2中，确定标签集f的主要步骤包括：

步骤2.1.确定可能的标签集：根据投影仪图像上的像素P，确定左、右相机上的与点P相关的极限约束行，然后分别在左、右相机中的极限约束行中求出与点P包裹相位相同的像素点，再根据这些点的二维像素坐标、包裹相位值和亮度值，利用三角测量求出这些像素点的三维空间坐标；

步骤2.2.优化标签集：利用深度约束算法和左右点的布局纹理特征来优化标签集，删除纹理特征差异大的匹配点。

优选的，步骤3中，计算部分绝对相位的主要步骤包括：

步骤3.1.定义数据函数E_data(f)：计算标签集f中左、右相机像素点对应空间点之间的距离，设置阈值α后，作为数据函数E_data(f)，公式如下：

其中，p_m表示投影仪图像上一点，{L_m,R_m}表示p_m对应的标签集。P_3d(L_m)表示左相机像素点对应的空间点，P_3d(R_m)表示右相机像素点对应的空间点；

步骤3.2.定义平滑函数E_smooth1(f)：根据步骤2获取标签集f_m和f_n中左相机像素点二维坐标，求出二维像素点距离，并设置阈值β，以最小化遮挡误差；同理，计算相邻投影仪像素点p_m和p_n在右相机中对应点的距离，并设置阈值β，公式如下：

其中，p_m，p_n表示投影仪图像上相邻的两个像素点，{L_m,R_m}、{L_n,R_n}表示p_m、p_n对应的标签集；p_2d(L_m)和p_2d(L_n)分别表示投影仪相邻像素点p_m和p_n在左相机对应像素点；p_2d(R_m)和p_2d(R_n)分别表示投影仪相邻像素点p_m和p_n在右相机对应像素点；

步骤3.3.定义平滑函数E_smooth2(f)：投影仪上的每个点p_m，根据步骤2获取标签集f_m中左、右相机像素点的相位和亮度，对相位误差和亮度误差分别进行归一化后加权求和，设置比例参数λ后作为平滑函数E_smooth2(f)，公式如下：

其中，和/>分别代表左相机对应像素点的相位值，/>和/>分别代表左、右相机对应像素点的亮度值，w₁和w₂是控制相位误差和亮度误差比例的权重因子，△I是左、右相机的平均亮度误差灵敏度；

步骤3.4.定义标签集f的代价函数：公式如下：

E(f)＝E_data(f)+E_smooth1(f)+E_smooth2(f) (5)

步骤3.5.定义消息构造函数：公式如下：

步骤3.6.确定匹配点：任意选择一个初始像素后，根据代价函数和消息构造函数生成消息并迭代传递，达到一定迭代次数后，对每个像素点收到的消息求和，并找到最小代价确定投影仪像素点在左、右相机上对应匹配点；

步骤3.7.计算部分绝对相位：公式如下：

优选的，步骤4中，填充缺省相位的主要步骤包括：

步骤4.1.基于二阶差分计算质量图，对任意一点(i,j)，二阶差分D的公式为：

其中，H，V，D₁，D₂的公式为：

其中，wrap为相邻两点之间的绝对相位关系函数，若令相邻两点相位之差为Difference，则当Difference>π时返回Difference-2π；当Difference<-π时返回Difference+2π；

因此，点(i,j)的质量值

步骤4.2.根据质量图填充缺省相位。

优选的，步骤5中，初步计算点云的主要步骤包括：

步骤5.1.根据步骤1得到的相机和投影仪的投影矩阵M^c和M^p，以及步骤4得到的绝对相位图计算每个相机平面点对应在投影仪平面像素点纵坐标v^p，公式如下：

φ(u^c,v^c)＝2πv^p (14)

其中，φ(u^c,v^c)代表相机平面点(u^c,v^c)的绝对相位；

步骤5.2.根据M^c、M^p和v^p计算得到待测物体的三维坐标(X_W,Y_W,Z_W)，公式如下：

其中，(u^c,v^c)代表相机平面点的像素坐标，v^p代表对应的投影仪平面像素纵坐标。

优选的，步骤6中，计算高反光区域点云的主要步骤包括：

步骤6.1.计算偏振度，公式如下：

其中，I_min(x,y)、I_min(x,y)是采集到的光照强度的最大值和最小值；

步骤6.2.计算天顶角，公式如下：

其中，(x,y)为像素坐标，η是反射系数，设为1.5，θ(x,y)为(x,y)处的天顶角；

步骤6.3.计算方位角，公式如下：

其中，为不同的偏振角度，/>φ(x,y)是(x,y)处的相位值，且φ(x,y)与方位角/>的关系，公式如下：

步骤6.4.消除方位角的π/2歧义性，利用相机得到的先验深度信息来消除π/2歧义性，公式如下：

E({f_p})＝∑_p∈PD(f_p)+∑_p,q∈NV(f_p,f_q) (21)

其中，f_p是像素P的二值标签，当f_p＝1表示漫反射作主导，当f_p＝0表示镜面反射作主导，P是所有像素的集合，N是所有相邻像素的集合；

步骤6.5.计算高反光区域点云，通过计算得到的方位角和天顶角确定目标物体表面的法线向量并假设物体表面连续可积，则可通过法线梯度场的曲面积分得到物体表面高度，公式如下：

其中，p、q分别表示目标表面法线分别在x、y坐标轴上的坐标分量，Z(x,y)表示目标表面高度。

优选的，步骤6.4中，D(f_p)的计算公式为：

其中，φ_p是从偏振图片中计算出来的值，则是从先验深度信息中估计出来的值，g(φ_p,φ_q)为计算两个相位角(φ_p,φ_q)之间距离的函数，公式如下：

g(φ_p,φ_q)＝min(|φ_p-φ_q+π|,|φ_p-φ_q|,|φ_p-φ_q-π|) (23)。

优选的，步骤7中，点云配准的主要步骤为：

步骤7.1.采用体素网格法进行点云滤波；

步骤7.2.计算点特征直方图，公式如下：

其中，SPFH(p_q)为目标点p_q简化的点特征直方图，而FPFH(p_q)为SPFH(p_q)及其邻近点的加权SPFH之和，其中w_k表示p与p_k的几何距离；

步骤7.3.基于采样一致性的粗配准；

步骤7.4.ICP精配准，公式如下：

其中，n表示对应点的对数，R为旋转矩阵，T为平移矩阵。

本发明具备以下有益效果：

本发明基于相机和投影仪的几何成像模型，利用张正友平面标定法进行***标定，得到相机和投影仪的投影矩阵。其次，根据左右相机极线约束和相同包裹相位条件计算标签集，并利用深度约束算法和左右点的局部纹理特征优化标签集。接着，利用LoopyBelief Propagation算法计算得到具有最小代价的标签，根据对应投影仪像素点的绝对相位偏移计算得到左右相机部分绝对相位图。然后，采用质量图引导的缺省相位填充方法，从而得到完整的绝对相位图。之后，基于三角测量原理初步计算得到点云。再者，采用基于偏振的方法计算高反光区域的点云，并通过左右一致性检查来进一步优化高反光区域的点云。接下来，将初步计算得到的点云与高反光区域点云滤波后进行配准，从而得到完整的点云。最后，根据点云进行三维重建。最终精确地获取到了被测物体的三维信息，并有效地解决高反光区域的三维信息不准确的问题。

附图说明

图1为本发明流程图；

图2为实现图1所示流程的硬件图；

图3为通过自适应深度约束算法求深度值；

图中：投影仪1、左相机2、右相机3、计算机4。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

若未特别指明，实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。

参考图2，本发明公开了一种基于结构光与偏振的双目视觉三维重建方法，包括与计算机4相连的投影仪1、左相机2和右相机3，所述投影仪1将计算机4生成的正弦条纹图像投影到被测物体上；所述左相机2和右相机3采集被测物体表面被高度所调制的正弦条纹图像，并发送至所述计算机4；所述计算机4将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪1、左右相机(2、3)和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。其中左右相机(2、3)均为双目偏振摄像机。

参考图1所示，具体包括以下步骤：

步骤1.***标定。通过***标定获得左、右相机和投影仪的内外参数，以便后续根据相机平面二维图像信息计算获取被测物的三维信息。

该步骤主要包括：

步骤1.1.对左、右相机进行标定，本发明采用张正友平面标定法基于相机针孔模型进行标定。

该步骤主要包括：

步骤1.1.1.建立针孔模型，设空间中一点的世界坐标为(X_W,Y_W,Z_W)，其在相机平面对应点的图像坐标为(u,v)，则基于相机的针孔成像原理建立投影成像模型，具体公式如下：

其中，s为尺寸因子，f_x＝f/dx，f_y＝f/dy，f代表焦距，dx、dy分别代表u轴和v轴上的尺度因子，单位为像素；R和T分别代表旋转矩阵和平移矩阵；W为空间中一点在世界坐标系下的齐次坐标；M₁和M₂分别代表内外参数矩阵；M^c为相机的投影矩阵。

步骤1.1.2.基于张正友平面标定法进行***标定。多次采集不同方位的棋盘格标定板图像，并根据采集的图像提取标定点，并代入公式(1)的模型计算出相机的内外部参数，得到相机投影矩阵M^c。

步骤1.2.对投影仪进行标定：投影仪的标定方法与相机的相同，最终计算得到投影仪投影矩阵M^p。

步骤2.确定标签集f，标签集表示对于每个投影仪图像上的像素点P，在左、右相机视图中检测到的点之间形成的点对集合。例如：对于左相机中检测到的点L₁,L₂,L₃和右相机中检测到的点R₁,R₂，一种可能的标签集为：{(L₁，R₁),(L₁，R₂),(L₂，R₁),(L₂，R₂),(L₃，R₁),(L₃，R₂)}。本发明先确定可能的标签集后，再进行优化筛选，以降低后续步骤的计算数据量。

确定标签集f的主要步骤包括：

步骤2.1.确定可能的标签集：根据投影仪图像上的像素P，确定左、右相机上的与点P相关的极限约束行，然后分别在左、右相机中的极限约束行中求出与点P包裹相位相同的像素点，包裹相位从三幅连续的向移正弦条纹强度图中提取得到。记录这些点的二维像素坐标、包裹相位值和亮度值，利用三角测量求出这些像素点的三维空间坐标。

步骤2.2.优化标签集：利用深度约束算法和左右点的布局纹理特征来优化标签集f，减少一些无关的待匹配点，加快后续的处理速度。

该步骤主要包括：

步骤2.2.1.自适应深度约束算法减少待匹配点，通过设定待匹配像素邻域内初始的深度体积值可以将区间范围之外的待匹配点过滤掉，本发明使用自适应的深度约束来满足不同被测物体的实际测量需求。

主要步骤为：

步骤2.2.1.1.通过增加深度冗余ΔZ^motion来更新将区间范围之外的待匹配点过滤掉。

步骤2.2.1.2.在更新过后的范围里寻找新的和/>重复2.2.1.1步骤直到得到一个最终的深度体积。

步骤2.2.1.3，利用深度体积求出搜索区间范围。从图3中可以求出P点的深度值，如以下公式所示：

P_z＝Focal*B_l/(x_rect-x”_rect) (2)

其中，P_z是P点的深度值，Focal是左右相机的焦距，B_l是左右相机之间的距离，x_rect和x”_rect分别是P点在左相机和右相机上的水平坐标。

再利用公式(3)计算左右相机搜索的区间范围，通过缩小搜索范围进而加快匹配速度。

步骤2.2.2.利用纹理相似性优化待匹配点，先计算左右待匹配点的纹理特征，然后删除纹理特征差异大的待匹配点。

主要步骤为：

步骤2.2.2.1.计算左右待匹配点的纹理误差，本文使用了相位误差和亮度误差作为纹理误差的来源，如公式(4)所示：

D＝w₁[(φ₂-φ₁)/2π]²+w₂[(I₂-△I₂-I₁)/(255/2)]² (4)

其中，D代表左右待匹配点的纹理误差，φ₂和φ₁分别代表左右待匹配点的相位值，I₂和I₁分别代表左右待匹配点的亮度值，△I₂为左右两个相机在成像灵敏度差异方面的平均值，w₁和w₂是控制相位误差和亮度误差比例的权重因子，[(φ₂-φ₁)/2π]和[(I₂-△I₂-I₁)/(255/2)]是为了将不同等级的相位误差和亮度误差归一化。

步骤2.2.2.2.通过上一步计算出纹理误差后，将纹理特征差异大的待匹配点删除，减少后续计算量。

步骤3.计算部分绝对相位，利用Loopy Belief Propagation算法计算投影仪图像每个像素点的最小代价，以此确定投影仪像素点在左、右相机上的匹配点，并根据投影仪像素点绝对相位偏移计算左、右相机的部分绝对相位图。

该步骤主要包括：

步骤3.1.定义标签集f的代价函数，由步骤2得，投影仪图像每个点P对应一个标签集f。如公式(5)，标签集f的代价函数由数据函数E_data(f)、平滑函数E_smooth1(f)和E_smooth2(f)求和得到公式如下：

E(f)＝E_data(f)+E_smooth1(f)+E_smooth2(f) (5)

步骤3.1.1.定义数据函数E_data(f)：对于投影仪图像的每个点p_m，根据步骤2获取标签集f中左右相机像素点对应空间点三维坐标，根据公式(6)，计算标签集f中左右相机像素点对应空间点之间的距离，设置阈值α后，作为数据函数E_data(f)，公式如下：

其中，p_m表示投影仪图像上一点，{L_m,R_m}表示p_m对应的标签集。P_3d(L_m)表示左相机像素点对应的空间点，P_3d(R_m)表示右相机像素点对应的空间点。

步骤3.1.2.定义平滑函数E_smooth1(f)：对于投影仪上的每个点p_m(除边界点外)，都有一个邻域Ν(p_m)，包含上下左右四个像素点。已知p_m的相邻点p_n，根据步骤2获取标签集f_m和f_n中左相机像素点二维坐标，求出二维像素点距离，并设置阈值β，以最小化遮挡误差；同理，计算相邻投影仪像素点p_m和p_n在右相机中对应点的距离，并设置阈值β。将左右相机对应像素点的距离求和后作为平滑函数E_smooth1(f)，公式如下：

其中，p_m、p_n表示投影仪图像上相邻的两个像素点，{L_m,R_m}、{L_n,R_n}表示p_m、p_n对应的标签集；p_2d(L_m)和p_2d(L_n)分别表示投影仪相邻像素点p_m和p_n在左相机对应像素点；p_2d(R_m)和p_2d(R_n)分别表示投影仪相邻像素点p_m和p_n在右相机对应像素点。

步骤3.1.3.定义平滑函数E_smooth2(f)：对于投影仪上的每个点p_m，根据步骤2获取标签集f_m中左右相机像素点的相位和亮度，对相位误差和亮度误差分别进行归一化后加权求和，设置比例参数λ后作为平滑函数E_smooth2(f)，公式如下：

其中，公式(8)可以调节w₁和w₂以控制相位误差和亮度误差的比例。和/>分别代表左相机对应像素点的相位值，/>和/>分别代表左、右相机对应像素点的亮度值，w₁和w₂是控制相位误差和亮度误差比例的权重因子，△I是左、右相机的平均亮度误差灵敏度。

步骤3.2.定义消息构造函数：像素点p_m传递给p_n的消息构造由像素点p_m对应的数据函数值E_data(f_m)、平滑函数值E_smooth1(f)、平滑函数值E_smooth2(f)以及像素点p_m邻域中除p_n以外的其他像素点传递的消息求和得到。因此，两个相邻像素点p_m和p_n之间传递的消息构造如公式(9)所示：

步骤3.3.确定匹配点：任意选择一个初始像素后，根据步骤3.1中的代价函数和步骤3.2中的消息构造函数生成消息并迭代传递，达到不少于M次迭代次数后，M＞5，对每个像素点收到的消息求和，并找到最小代价确定投影仪像素点在左、右相机上对应匹配点。

步骤3.4.计算部分绝对相位：左右相机像素点的绝对相位由其包裹相位和使用最小代价确定的投影仪像素点绝对相位偏移k_p计算得到，公式如下：

步骤4.填充缺省相位，采用质量图引导的缺省相位填充方法，得到完整的绝对相位；

主要步骤包括：

步骤4.1.生成质量图。本发明基于二阶差分计算质量图，对任意一点(i,j)，其二阶差分D的公式为：

其中，H，V，D₁，D₂的公式为：

其中，wrap为相邻两点之间的绝对相位关系函数，若令相邻两点相位之差为Difference，则当Difference>π时返回Difference-2π；当Difference<-π时返回Difference+2π。

因此，点(i,j)的质量值

步骤4.2.根据质量图填充缺省相位。

该步骤主要包括：

步骤4.2.1，首先将质量值按照从高到低的顺序排序。

步骤4.2.2，从最高的质量值开始，确定这个质量值的相邻两个像素点A₁和A₂。当A₁和A₂没有进行相位展开，判断A₁和A₂质量值大小，如果则以A₁为基准，对A₂进行相位展开，并把这两个相位合并到一个群组；当A₁和A₂中有一个像素已经进行相位展开，假设A₁已经完成了相位展开，那么它是有群组M的，则以A₁为基准，对A₂进行相位展开，并且将A₂加入到M群组中；当A₁和A₂都已完成相位展开，假设A₁所在的群组为M，A₂所在的群组为N，像素数目分别为m和n，如果m≥n，则以M为基准，将N进行变换后合并。

步骤4.2.3，循环操作，直至展开整个相位图。

步骤5.初步计算点云，通过三角测量得到被扫描物体的三维坐标。

该步骤主要包括：

步骤5.1.根据步骤1得到的相机和投影仪的投影矩阵M^c和M^p，公式如下：

步骤5.2.根据步骤4得到的绝对相位图计算每个相机平面点对应在投影仪平面像素点纵坐标v^p，公式如下：

φ(u^c,v^c)＝2πv^p (14)

其中，φ(u^c,v^c)代表相机平面点(u^c,v^c)的绝对相位。

步骤5.3.根据M^c、M^p和v^p计算得到待测物体的三维坐标(X_W,Y_W,Z_W)，公式如下：

其中，(u^c,v^c)代表相机平面点的像素坐标，v^p代表对应的投影仪平面像素纵坐标。

步骤6.计算高反光区域点云。本发明采用基于偏振的方法计算高反光区域点云，并通过左右一致性检查来进一步优化高反光区域的点云。

该步骤主要包括：

步骤6.1.计算每个像素点的法向量。在基于偏振的方法中，可在三维坐标系中通过方位角和天顶角来确定唯一的法向量。

该步骤主要包括：

步骤6.1.1.计算偏振度，偏振度是用来衡量偏振光的偏振程度，公式如下：

其中，I_max(x,y)、I_min(x,y)是采集到的光照强度的最大值和最小值，ρ(x,y)是偏振度。

步骤6.1.2.计算天顶角，漫反射区域的天顶角的计算如公式(17)所示，镜面反射区域的天顶角的计算如公式(18)所示：

其中，(x,y)为像素坐标，η是反射系数，此处设为1.5，θ(x,y)为(x,y)处的天顶角。

步骤6.1.3.计算方位角，公式如下：

其中，为不同的偏振角度，/>φ(x,y)是(x,y)处的相位值，且φ(x,y)与方位角/>的关系，公式如下：

步骤6.1.4.消除方位角的π/2歧义性，公式(20)中，方位角的求解存在π/2歧义性，本发明利用相机得到的先验深度信息来消除π/2歧义性，公式如下：

E({f_p})＝∑_p∈PD(f_p)+∑_p,q∈NV(f_p,f_q) (21)

其中，f_p是像素P的二值标签，当f_p＝1表示漫反射作主导，当f_p＝0表示镜面反射作主导，P是所有像素的集合，N是所有相邻像素的集合。

进一步的，D(f_p)的定义如下：

对于纹理较好的区域，从偏振中计算出来的方位角应该和从先验深度信息中恢复出来的形状相似。假设P₊是从先验深度信息中恢复的可靠像素点集，它将被使用来消除π/2歧义性，对于任意一个像素p∈P₊，计算公式为：

其中，φ_p是从偏振图片中计算出来的值，则是从先验深度信息中估计出来的值，g(φ_p,φ_q)为计算两个相位角(φ_p,φ_q)之间距离的函数，公式如下：

g(φ_p,φ_q)＝min(|φ_p-φ_q+π|,|φ_p-φ_q|,|φ_p-φ_q-π|) (23)。

对于纹理较少的区域，只能从统计先验数据上来求D(f_p)。假设是没有可靠深度信息的像素集合，对于任意像素p∈P_-，公式为：

其中，0<ρ_p<1是先验的漫反射作主导的概率。ρ_p可以根据先验的目标材质或者光照条件来进行设定。

同时，V(f_p,f_q)是利用相邻像素的归一化来进行平滑的，公式如下：

其中，是用来进行归一化的。

步骤6.2.通过左右一致性检查优化。本发明采用左右一致性检查筛选待计算表面深度的像素点。首先由步骤3得到左右相机图像中点的匹配关系，再根据左右一致性检查原则筛选点的匹配关系，从而减少待计算表面深度的像素点。具体地，左右一致性检查包含：1)、一一对应的一致性；2)、只有一个候选匹配点的区域才是正确的区域。

步骤6.3.计算高反光区域点云。通过上述步骤计算得到的方位角和天顶角确定目标物体表面的法线向量并假设物体表面连续可积，则可通过法线梯度场的曲面积分得到物体表面高度，公式如下：

其中，p、q分别表示目标表面法线在x、y坐标轴上的坐标分量，Z(x,y)表示目标表面高度。

步骤7.点云配准。将步骤5得到的初步点云和步骤6得到的高反光区域点云进行配准，从而得到完整点云。

该步骤主要包括为：

步骤7.1.体素滤波。点云中通常存在一些噪音点和离群点，为了保证后续点云配准的效果，本发明采取体素网格法进行点云滤波。

步骤7.2.计算FPFH特征。本发明借助FPFH特征分析不同点云之间的关联，该方法根据具有法线信息的点云，计算点特征直方图，具体计算公式如下：

其中，SPFH(p_q)为目标点p_q简化的点特征直方图，而FPFH(p_q)为SPFH(p_q)及其临近点的加权SPFH之和，其中w_k表示p与p_k的几何距离。

步骤7.3.基于采样一致性的粗配准。粗配准可以使待配准的点云位置尽可能地靠近，从而减少配准时的平移和旋转误差，本发明采用了基于采样一致性的粗配准。

主要步骤如下：

步骤7.3.1.从源点集P中选取m个样本点，并在目标点集Q中找到与P中样本点的快速点特征直方图相似的点，从找到的点中随机选取一些点，这些随机选取点与样本点形成一一对应关系。

步骤7.3.2.计算对应点的刚体变换矩阵，然后通过求解对应点变换后的距离误差和函数来判断当前配准变换的性能，以确定最佳变换。

步骤7.4.ICP精配准。本发明采用基于ICP算法的精配准，该方法从两待配准点云中建立相对应的点集P与Q，然后计算所有对应点的欧式距离平方的平均值，通过不断迭代使这个平均值最小，从而完成精配准。迭代的目标函数为：

其中，n表示对应点的对数，R为旋转矩阵，T为平移矩阵。

步骤8.根据步骤7计算出的点云进行三维重建。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：

采用投影仪将计算机生成的正弦条纹图像投影到被测物体上；左相机和右相机采集被测物体表面被高度所调制的正弦条纹图像，并发送至计算机；所述计算机将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪、左右相机和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型；

包括以下步骤：

步骤1.通过***标定获得左、右相机和投影仪的内外参数；

步骤2.确定标签集f，对每个投影仪图像上的像素点P，在左、右相机视图中检测到的点之间形成的点对集合；

步骤3.计算部分绝对相位，通过计算投影仪图像每个像素点的最小代价，确定投影仪像素点在左、右相机上的匹配点，并根据投影仪像素点绝对相位偏移计算左、右相机的部分绝对相位图；

步骤4.填充缺省相位，采用质量图引导的缺省相位填充方法，得到完整的绝对相位；

步骤5.初步计算点云，通过三角测量得到被扫描物体的三维坐标；

步骤6.通过偏振的方法计算高反光区域点云；

步骤7.将步骤5得到的初步点云和步骤6得到的高反光区域点云进行配准，得到完整点云；

步骤8.根据步骤7计算出的点云进行三维重建；

步骤3中，计算部分绝对相位的步骤包括：

步骤3.1.定义数据函数E_data(f)：计算标签集f中左、右相机像素点对应空间点之间的距离，设置阈值α后，作为数据函数E_data(f)，公式如下：

其中，p_m表示投影仪图像上一点，{L_m,R_m}表示p_m对应的标签集，P_3d(L_m)表示左相机像素点对应的空间点，P_3d(R_m)表示右相机像素点对应的空间点；

步骤3.2.定义平滑函数E_smooth1(f)：定义p_m和p_n的标签集分别为：f_m和f_n，根据标签集f_m和f_n中左相机像素点二维坐标，求出二维像素点距离，并设置阈值β，以最小化遮挡误差；同理，计算相邻投影仪像素点p_m和p_n在右相机中对应点的距离，并设置阈值β，公式如下：

其中，p_m，p_n表示投影仪图像上相邻的两个像素点，{L_m,R_m}、{L_n,R_n}表示p_m、p_n对应的标签集；p_2d(L_m)和p_2d(L_n)分别表示投影仪相邻像素点p_m和p_n在左相机对应像素点；p_2d(R_m)和p_2d(R_n)分别表示投影仪相邻像素点p_m和p_n在右相机对应像素点；

步骤3.3.定义平滑函数E_smooth2(f)：投影仪上的每个点p_m，根据步骤2获取标签集f中左、右相机像素点的相位和亮度，对相位误差和亮度误差分别进行归一化后加权求和，设置比例参数λ后作为平滑函数E_smooth2(f)，公式如下：

其中，和/>分别代表左右相机对应像素点的相位值，/>和/>分别代表左、右相机对应像素点的亮度值，w₁和w₂是控制相位误差和亮度误差比例的权重因子，ΔI是左、右相机的平均亮度误差灵敏度；

步骤3.4.定义标签集f的代价函数：公式如下：

E(f)＝E_data(f)+E_smooth1(f)+E_smooth2(f) (5)

步骤3.5.定义消息构造函数：公式如下：

步骤3.6.确定匹配点：任意选择一个初始像素后，根据代价函数和消息构造函数生成消息并迭代传递，达到一定迭代次数后，对每个像素点收到的消息求和，并找到最小代价确定投影仪像素点在左、右相机上对应匹配点；

步骤3.7.计算部分绝对相位：公式如下：

其中，为左右相机像素点的包裹相位，k_p为投影仪像素点绝对相位偏移。

2.根据权利要求1所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤1中，***标定的步骤包括：

步骤1.1.对左、右相机进行标定：基于相机的针孔成像原理建立投影成像模型，设空间中一点的世界坐标为(X_W,Y_W,Z_W)，其在相机平面对应点的图像坐标为(u,v)，具体公式如下：

其中，s为尺寸因子，f_x＝f/dx，f_y＝f/dy，f代表焦距，dx、dy分别代表u轴和v轴上的尺度因子，单位为像素；R和T分别代表旋转矩阵和平移矩阵；W为空间中一点在世界坐标系下的齐次坐标；M₁和M₂分别代表内外参数矩阵；M^c为相机的投影矩阵；

步骤1.2.对投影仪进行标定：方法与步骤1.1相同，计算得到投影仪投影矩阵M^p。

3.根据权利要求1所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤2中，确定标签集f的步骤包括：

步骤2.1.确定可能的标签集：根据投影仪图像上的像素P，确定左、右相机上的与点P相关的极限约束行，然后分别在左、右相机中的极限约束行中求出与点P包裹相位相同的像素点，再根据这些点的二维像素坐标、包裹相位值和亮度值，利用三角测量求出这些像素点的三维空间坐标；

步骤2.2.优化标签集：利用深度约束算法和左右点的布局纹理特征来优化标签集，删除纹理特征差异大的匹配点。