CN111145342B - 一种双目散斑结构光三维重建方法及*** - Google Patents

Abstract

本发明涉及一种双目散斑结构光三维重建方法及***，方法包括：获取散斑图像；搭建双目结构光视觉***，标定得到左右相机的内部参数和外部参数；将散斑图像通过投影设备投射到被测物体表面，通过左右相机进行拍摄，得到左图像和右图像；对左右图像进行极线校正；基于散斑图像、左右图像采用改进的SGM算法进行图像匹配，得到视差图像；基于左右相机的内部参数和外部参数以及视差图像恢复深度信息，得到被测物体表面的三维数据，得到最终的图像。上述方法预设散斑分布约束窗口以控制伪随机散斑分布的疏密程度，生成具有高辨识度和纹理丰富的散斑图案，建立新的视差计算代价函数，有效提高了图像匹配的精度，从而实现了精确的三维动态重建方法。

Description

一种双目散斑结构光三维重建方法及***

技术领域

本发明涉及三维重建领域，特别是涉及一种双目散斑结构光三维重建方法及***。

背景技术

现有的结构光三维重建技术主要采用的编码方法，其中分为时间编码法和空间编码法，前者将编码图像连续地投影到物体表面，根据投影图像的时间顺序进行编码，具有测量精度较高、测量分辨率高的优点，但其测量速度较慢，因此适合于静态目标和场景的三维信息获取；后者仅需投影一幅编码图案，其编码信息由空间编码特征或其不同的排列组合来生成，编码和解码过程均可在单幅图像内完成，因此测量速度快，实时性好适合于动态目标和场景的三维信息获取。然而，在现有的空间编码技术中，编码特征远远低于时间编码结构光，导致可重建的点云数量少、空间分辨率不足。

另外地，基于随机散斑的结构光技术基于单张散斑图像即可实现三维重建，也是重要的动态测量手段之一。该技术采用投影设备投射一幅随机生成的散斑图案，利用双目摄像头采集被物体表面调制后的散斑图案，通过逐点匹配，得到高密度的三维深度信息。该技术的代表性产品有RealSense^TMD400Series、国内的Pico Zense、奥比中光所推出的Astra Series 3D深度摄像头等。散斑作为一种非编码结构光技术，利用随机生成的斑点的亮度信息为物体表面附上纹理，通过局部块匹配、全局/半全局等立体匹配算法估计左右图像的视差，结合标定参数得到三维深度信息，实现高密度三维重建。散斑结构光具有可单张动态重建、硬件成本低、重建点云密度高的优势，然而，由于其采用视差估计方法，重建的特征点并非准确的编码点，因此重建精度一般较低。

常用的视差估计方法有BM(blockmatching)和SGM(semi-global matching)等。SGM作为一种半全局匹配方法，具有匹配效果好、匹配效率高等优点。但是传统SGM算法(semi-global matching method，SGM)存在局部平面的假设，在重建倾斜表面时会出现梯形现象，导致重建精度较低，本发明提出一种改进的SGM算法，通过建立新的视差计算代价函数，改善传统SGM算法无法有效处理倾斜表面的问题，从而实现精确的三维动态重建方法。

发明内容

本发明的目的是提供一种双目散斑结构光三维重建方法及***，提高图像匹配精度，实现精确的三维动态重建。

为实现上述目的，本发明提供了如下方案：

一种双目散斑结构光三维重建方法，所述重建方法包括：

获取分布密度可控的伪随机散斑图像；

搭建双目结构光视觉***，标定得到左相机和右相机的内部参数和外部参数；所述视觉***包括：左相机、右相机和投影设备；

将所述散斑图像通过所述投影设备投射到被测物体表面，通过所述左相机和所述右相机对投影后的场景进行拍摄，得到左图像和右图像；

对所述左图像和所述右图像进行极线校正；

基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像；

基于所述左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据；

基于所述三维数据进行三维重建，得到最终的图像。

可选的，所述获取分布密度可控的伪随机散斑图像具体包括：

步骤1：设置散斑图像的分辨率h×w；

步骤2：设置散斑分布约束窗口q×s；

步骤3：设置散斑的大小d₁×d₂，d₁和d₂分别表示单个散斑在图像上占据的像素数量；

步骤4：随机产生散斑点坐标[u,v]，在[1:h]范围内随机产生一个横坐标u，u∈[1,h]；在[1:w]范围内随机产生一个纵坐标v，v∈[1,w]；

步骤5：判断以区域块[u-d₁/2:u+d₁/2,v-d₂/2:v+d₂/2]为中心、大小为q×s的窗口内是否已有散斑点；

步骤6：若有，则[u,v]处不再设置散斑点，否则，在[u,v]处放置一个散斑点；

步骤7：对步骤3-步骤4循环N次，直到生成整幅散斑图案；其中，N＝w×h。

可选的，所述标定得到左相机和右相机的内部参数和外部参数具体采用棋盘格法标定得到左相机和右相机的内部参数和外部参数。

可选的，所述对所述左图像和所述右图像进行极线校正具体采用Fusiello法。

可选的，基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像具体采用以下公式：

其中，L_r(p,d)为视差图像，p表示像素点，r表示以像素点p为中心的邻域方向，Cost(p,d)表示像素点p视差为d时计算的匹配价值，表示沿着方向r的像素点p-r的最小代价聚合值；

L_r(p-r,d)表示沿着方向r上像素点p-r在视差为d时的代价聚合值，L_r(p-r,d-1)表示沿着方向r上像素点p-r在视差为d-1时的代价聚合值，L_r(p-r,d+1)表示沿着方向r上像素点p-r在视差为d+1时的代价聚合值，表示沿着方向r上像素点p-r在所有像素差大于1pixel的最小代价聚合值，V′(d_p,d_p-r)为改进的惩罚项，惩罚邻近像素视差的变化；对视差变化1pixel之内的邻近像素施行与视差为d的像素同等力度的约束：

其中P₂表示惩罚系数。

可选的，所述基于所述左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据具体采用以下公式：

其中，f为极线矫正后的相机焦距，[u^L,v^L]表示左图像上的点的像素坐标，单位为pixel；[x,y,z]为像素坐标[u^L,v^L]对应的点的三维坐标，单位为mm；表示左相机的图像成像中心，单位为pixel，B表示左右图像之间的基线长度，单位为mm，/>表示右相机的图像成像中心，单位为pixel。

本发明另外提供一种双目散斑结构光三维重建***，所述重建***包括：

获取模块，用于获取分布密度可控的伪随机散斑图像；

双目结构光视觉***搭建模块，用于搭建双目结构光视觉***，标定得到左相机和右相机的内部参数和外部参数；所述视觉***包括：左相机、右相机和投影设备；

左图像和右图像确定模块，用于将所述散斑图像通过所述投影设备投射到被测物体表面，通过所述左相机和所述右相机对投影后的场景进行拍摄，得到左图像和右图像；

极线校正模块，用于对所述左图像和所述右图像进行极线校正；

视差图像确定模块，用于基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像；

三维数据确定模块，用于基于所述左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据；

三维重建模块，用于基于所述三维数据进行三维重建，得到最终的图像。

可选的，所述获取分布密度可控的伪随机散斑图像具体包括：

步骤1：设置散斑图像的分辨率h×w；

步骤2：设置散斑分布约束窗口q×s；

步骤3：设置散斑的大小d₁×d₂，d₁和d₂分别表示单个散斑在图像上占据的像素数量；

步骤4：随机产生散斑点坐标[u,v]，在[1:h]范围内随机产生一个横坐标u，u∈[1,h]；在[1:w]范围内随机产生一个纵坐标v，v∈[1,w]；

步骤5：判断以区域块[u-d₁/2:u+d₁/2,v-d₂/2:v+d₂/2]为中心、大小为q×s的窗口内是否已有散斑点；

步骤6：若有，则[u,v]处不再设置散斑点，否则，在[u,v]处放置一个散斑点；

步骤7：对步骤3-步骤4循环N次，直到生成整幅散斑图案；其中，N＝w×h。

可选的，所述标定得到左相机和右相机的内部参数和外部参数具体采用棋盘格法标定得到左相机和右相机的内部参数和外部参数。

可选的，所述对所述左图像和所述右图像进行极线校正具体采用Fusiello法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中的上述方法，提出一种密度可控散斑生成方法，可以通过预设散斑分布约束窗口以控制伪随机散斑分布的疏密程度，生成具有高辨识度和纹理丰富的散斑图案；所提出的改进的SGM算法，可以有效传统SGM算法在图像匹配时存在的“梯形”现象，有效提高了图像匹配的精度，从而实现了精确的三维动态重建方法，与其他单张动态的空间结构光编码方案对比，本发明中的散斑结构光可重建稠密点云；投射单张散斑图案即可实现三维重建，实时性好、可用于动态物体测量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例双目散斑结构光三维重建方法流程示意图；

图2为本发明实施例双目结构光视觉***示意图；

图3为本发明实施例散斑参数设置示意图；

图4为本发明实施例生成的散斑图案；

图5为本发明实施例经投影设备投射后的效果图；

图6为本发明实施例采用SGM算法得到的图像；

图7为本发明实施例采用改进的SGM算法得到的图像；

图8为本发明实施例双目散斑结构光三维重建***结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种双目散斑结构光三维重建方法及***，提高图像匹配精度，实现精确的三维动态重建。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例双目散斑结构光三维重建方法流程示意图，如图1所示，所述方法包括：

步骤101：获取分布密度可控的伪随机散斑图像。

具体的，通过以下步骤获取散斑图像：

步骤1：设置散斑图像的分辨率h×w；

步骤2：设置散斑分布约束窗口q×s；

步骤3：设置散斑的大小d₁×d₂，d₁和d₂分别表示单个散斑在图像上占据的像素数量；

步骤4：随机产生散斑点坐标[u,v]，在[1:h]范围内随机产生一个横坐标u，u∈[1,h]；在[1:w]范围内随机产生一个纵坐标v，v∈[1,w]；

步骤5：判断以区域块[u-d₁/2:u+d₁/2,v-d₂/2:v+d₂/2]为中心、大小为q×s的窗口内是否已有散斑点；

步骤6：若有，则[u,v]处不再设置散斑点，否则，在[u,v]处放置一个散斑点；

步骤7：对步骤3-步骤4循环N次，直到生成整幅散斑图案；其中，N＝w×h。

如图3所示，图3为本发明实施例散斑参数设置示意图，一般地，q×s越大，散斑分布越稀疏；反之，散斑分布越稠密。根据实际需求调整q×s，生成纹理丰富、高辨识度的散斑图案。如图4和图5所示，为w＝640,h＝480，d₁＝d₂＝1，q＝4,s＝4的散斑图案及相应的投射效果。

步骤102：搭建双目结构光视觉***，具体如图2所示，标定得到左相机和右相机的内部参数和外部参数；所述视觉***包括：左相机、右相机和投影设备。

具体采用棋盘格法标定得到左相机和右相机的内部参数和外部参数。

步骤103：将所述散斑图像通过所述投影设备投射到被测物体表面，通过所述左相机和所述右相机对投影后的场景进行拍摄，得到左图像和右图像。

步骤104：对所述左图像和所述右图像进行极线校正。经过极线校正后的左、右图像的对应极线是水平对齐的，与图像行方向保持一致，因此视差估计(即图像匹配)可以仅沿着图像行方向展开。校正时，具体采用Fusiello法。

步骤105：基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像。

具体采用以下公式：

其中，L_r(p,d)为视差图像，Cost(p,d)表示像素点p视差为d时计算的匹配价值，表示沿着方向r的像素点p-r的最小代价聚合值；

L_r(p-r,d)表示沿着方向r上像素点p-r在视差为d时的代价聚合值，L_r(p-r,d-1)表示沿着方向r上像素点p-r在视差为d-1时的代价聚合值，L_r(p-r,d+1)表示沿着方向r上像素点p-r在视差为d+1时的代价聚合值，表示沿着方向r上像素点p-r在所有像素差大于1pixel的最小代价聚合值，r表示以像素点p为中心的邻域方向(一般取4、8或16)，V′(d_p,d_p-r)为改进的惩罚项，惩罚邻近像素视差的变化；对视差变化1pixel之内的邻近像素施行与视差为d的像素同等力度的约束：

其中P₂表示惩罚系数。

即，若像素p-r处的视差与当前像素p处的视差相同，或像素p-r处的视差与当前像素p处的视差相差1pixel之内，则不施加约束；若两者处的视差相差>1pixel，则施加惩罚系数P₂。为了得到光滑的视差图，视差变化太大的项将施加较大的惩罚系数以减少对当前像素视差的影响，因此P₂一般设为较大的值。

步骤106：基于所述左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据。

具体采用以下公式：

其中，f为极线矫正后的相机焦距，[u^L,v^L]表示左图像上的点的像素坐标，单位为pixel；[x,y,z]为像素坐标[u^L,v^L]对应的点的三维坐标，单位为mm；表示左相机的图像成像中心，单位为pixel，B表示左右图像之间的基线长度，单位为mm，/>表示右相机的图像成像中心，单位为pixel。

步骤107：基于所述三维数据进行三维重建，得到最终的图像。

如图6和图7所示，改进的SGM算法得到的图像可消除“梯形”现象，能够提高重建精度。

图8为本发明实施例双目结构光视觉***示意图，如图8所示，所述重建***包括：获取模块201、双目结构光视觉***搭建模块202、左图像和右图像确定模块203、极线校正模块204、视差图像确定模块204、三维数据确定模块206以及三维数据确定模块207。

其中，获取模块201用于获取分布密度可控的伪随机散斑图像。

双目结构光视觉***搭建模块202用于搭建双目结构光视觉***，标定得到左相机和右相机的内部参数和外部参数。所述视觉***包括：左相机、右相机和投影设备。

左图像和右图像确定模块203用于将所述散斑图像通过所述投影设备投射到被测物体表面，通过所述左相机和所述右相机对投影后的场景进行拍摄，得到左图像和右图像。

极线校正模块204用于对所述左图像和所述右图像进行极线校正。

视差图像确定模块205用于基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像。

三维数据确定模块206用于基于所述左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据。

三维数据确定模块207用于基于所述三维数据进行三维重建，得到最终的图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种双目散斑结构光三维重建方法，其特征在于，所述重建方法包括：

获取分布密度可控的伪随机散斑图像；所述获取分布密度可控的伪随机散斑图像具体包括：

步骤1：设置散斑图像的分辨率h×w；

步骤2：设置散斑分布约束窗口q×s；

步骤3：设置散斑的大小d₁×d₂，d₁和d₂分别表示单个散斑在图像上占据的像素数量；

步骤4：随机产生散斑点坐标[u,v]，在[1:h]范围内随机产生一个横坐标u，u∈[1,h]；在[1:w]范围内随机产生一个纵坐标v，v∈[1,w]；

步骤5：判断以区域块[u-d₁/2:u+d₁/2,v-d₂/2:v+d₂/2]为中心、大小为q×s的窗口内是否已有散斑点；

步骤6：若有，则[u,v]处不再设置散斑点，否则，在[u,v]处放置一个散斑点；

步骤7：对步骤3-步骤4循环N次，直到生成整幅散斑图案；其中，N＝w×h；

搭建双目结构光视觉***，标定得到左相机和右相机的内部参数和外部参数；所述视觉***包括：左相机、右相机和投影设备；

将所述散斑图像通过所述投影设备投射到被测物体表面，通过所述左相机和所述右相机对投影后的场景进行拍摄，得到左图像和右图像；

对所述左图像和所述右图像进行极线校正；

基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像：

其中，L_r(p,d)为视差图像，p表示像素点，r表示以像素点p为中心的邻域方向，Cost(p,d)表示像素点p视差为d时计算的匹配价值，表示沿着方向r的像素点p-r的最小代价聚合值；L_r(p-r,d)表示沿着方向r上像素点p-r在视差为d时的代价聚合值，L_r(p-r,d-1)表示沿着方向r上像素点p-r在视差为d-1时的代价聚合值，L_r(p-r,d+1)表示沿着方向r上像素点p-r在视差为d+1时的代价聚合值，m_iinL_r(p-r,i)表示沿着方向r上像素点p-r在所有像素差大于1pixel的最小代价聚合值，V′(d_p,d_p-r)为改进的惩罚项，惩罚邻近像素视差的变化；对视差变化1pixel之内的邻近像素施行与视差为d的像素同等力度的约束：

其中P₂表示惩罚系数；

基于左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据：其中，f为极线矫正后的相机焦距，[u^L,v^L]表示左图像上的点的像素坐标，单位为pixel；[x,y,z]为像素坐标[u^L,v^L]对应的点的三维坐标，单位为mm；/>表示左相机的图像成像中心，单位为pixel，B表示左右图像之间的基线长度，单位为mm，/>表示右相机的图像成像中心，单位为pixel；

基于所述三维数据进行三维重建，得到最终的图像。

2.根据权利要求1所述的双目散斑结构光三维重建方法，其特征在于，所述标定得到左相机和右相机的内部参数和外部参数具体采用棋盘格法标定得到左相机和右相机的内部参数和外部参数。

3.根据权利要求1所述的双目散斑结构光三维重建方法，其特征在于，所述对所述左图像和所述右图像进行极线校正具体采用Fusiello法。

4.一种双目散斑结构光三维重建***，其特征在于，所述重建***包括：

获取模块，用于获取分布密度可控的伪随机散斑图像；所述获取分布密度可控的伪随机散斑图像具体包括：

步骤1：设置散斑图像的分辨率h×w；

步骤2：设置散斑分布约束窗口q×s；

步骤3：设置散斑的大小d₁×d₂，d₁和d₂分别表示单个散斑在图像上占据的像素数量；

步骤4：随机产生散斑点坐标[u,v]，在[1:h]范围内随机产生一个横坐标u，u∈[1,h]；在[1:w]范围内随机产生一个纵坐标v，v∈[1,w]；

步骤5：判断以区域块[u-d₁/2:u+d₁/2,v-d₂/2:v+d₂/2]为中心、大小为q×s的窗口内是否已有散斑点；

步骤6：若有，则[u,v]处不再设置散斑点，否则，在[u,v]处放置一个散斑点；

步骤7：对步骤3-步骤4循环N次，直到生成整幅散斑图案；其中，N＝w×h；

双目结构光视觉***搭建模块，用于搭建双目结构光视觉***，标定得到左相机和右相机的内部参数和外部参数；所述视觉***包括：左相机、右相机和投影设备；

左图像和右图像确定模块，用于将所述散斑图像通过所述投影设备投射到被测物体表面，通过所述左相机和所述右相机对投影后的场景进行拍摄，得到左图像和右图像；

极线校正模块，用于对所述左图像和所述右图像进行极线校正；

视差图像确定模块，用于基于所述散斑图像、极线校正后的左图像和极线校正后的右图像采用改进的SGM算法进行图像匹配，得到视差图像：

其中，L_r(p,d)为视差图像，p表示像素点，r表示以像素点p为中心的邻域方向，Cost(p,d)表示像素点p视差为d时计算的匹配价值，表示沿着方向r的像素点p-r的最小代价聚合值；L_r(p-r,d)表示沿着方向r上像素点p-r在视差为d时的代价聚合值，L_r(p-r,d-1)表示沿着方向r上像素点p-r在视差为d-1时的代价聚合值，L_r(p-r,d+1)表示沿着方向r上像素点p-r在视差为d+1时的代价聚合值，/>表示沿着方向r上像素点p-r在所有像素差大于1pixel的最小代价聚合值，V′(d_p,d_p-r)为改进的惩罚项，惩罚邻近像素视差的变化；对视差变化1pixel之内的邻近像素施行与视差为d的像素同等力度的约束：

其中P₂表示惩罚系数；

三维数据确定模块，用于基于左右相机的内部参数和外部参数以及所述视差图像恢复深度信息，得到被测物体表面的三维数据：其中，f为极线矫正后的相机焦距，[u^L,v^L]表示左图像上的点的像素坐标，单位为pixel；[x,y,z]为像素坐标[u^L,v^L]对应的点的三维坐标，单位为mm；/>表示左相机的图像成像中心，单位为pixel，B表示左右图像之间的基线长度，单位为mm，/>表示右相机的图像成像中心，单位为pixel；

三维重建模块，用于基于所述三维数据进行三维重建，得到最终的图像。

5.根据权利要求4所述的双目散斑结构光三维重建***，其特征在于，所述标定得到左相机和右相机的内部参数和外部参数具体采用棋盘格法标定得到左相机和右相机的内部参数和外部参数。

6.根据权利要求4所述的双目散斑结构光三维重建***，其特征在于，所述对所述左图像和所述右图像进行极线校正具体采用Fusiello法。