CN104677305B

CN104677305B - 一种基于十字结构光的物体表面三维重建方法和***

Info

Publication number: CN104677305B
Application number: CN201510071721.6A
Authority: CN
Inventors: 吴珊珊; 贺磊盈; 武传宇
Original assignee: Zhejiang Sci Tech University ZSTU
Current assignee: Dongkai Shuke (Shandong) Industrial Park Co.,Ltd.
Priority date: 2015-02-11
Filing date: 2015-02-11
Publication date: 2017-09-05
Anticipated expiration: 2035-02-11
Also published as: CN104677305A

Abstract

本发明涉及一种基于十字结构光的物体表面三维重建方法和***。目的是提供的三维重建方法和三维重建***通过十字结构光扫描物体得到物体的几何参数信息或对物体表面进行重建，可以避免一字结构光边缘信息丢失的情况，具有较好的时效性。技术方案是：一种基于十字结构光实现物体表面三维重建的方法，其特征在于包括以下步骤：步骤1：标定***参数；步骤2：提取光条中心；步骤3：实现三维重建；步骤4：物体信息的获取。一种基于十字结构光实现物体表面三维重建的***，包括机架、移动平台、丝杆以及电机、十字激光投射器以及摄像机，电机与计算机连接，摄像机通过图像采集卡与计算机连接。

Description

一种基于十字结构光的物体表面三维重建方法和***

技术领域

本发明涉及光学工程技术领域，具体是一种基于十字结构光的物体表面三维重建方法和***。

背景技术

线结构光三维检测技术主要用于测量物体几何参数或恢复物体深度信息，其具有非接触、大量程、速度快、精度高、算法稳定、使用方便、结构简单等特点。随着科技的不断更新发展，结构光检测技术现已逐步应用于工业自动检测、航天航空、人体工学、生物医疗及食品检测中。目前在线结构光检测***中，应用最为广泛的为一字结构光，例如加拿大学者Samuel J.Lochner将其应用于足部扫描制造出可供医用的模型，西班牙学者Samuel verdú用其实现对面包发酵过程的监测等。但一字结构光存在当与扫描物体边缘平行时容易丢失边缘信息，或当扫描界面狭窄时数据量较少需要多次扫描等缺陷，尚待改进。

发明内容

本发明的目的是提出一种基于十字结构光实现物体三维重建的方法和三维重建***，所述三维重建方法和三维重建***通过十字结构光扫描物体得到物体的几何参数信息或对物体表面进行重建，可以避免一字结构光边缘信息丢失的情况，具有较好的时效性。

本发明采用的技术方案是：一种基于十字结构光实现物体表面三维重建的方法，其特征在于包括以下步骤：

步骤1：标定***参数，包括十字结构光参数标定和运动方向标定；

步骤2：提取光条中心，获得两条激光光条中心亚像素级坐标；

步骤3：实现三维重建，通过上述***参数标定及光条中心提取，解得激光平面所扫描到的物体表面三维坐标点；

步骤4：物体信息的获取，通过拟合物体表面三维坐标点得到物体的几何参数。

作为优选，所述步骤1中，十字结构光参数标定包括以下步骤：

步骤1-1：变换靶标的姿态，摄像机拍摄同一个姿态下无/有激光照射的靶标图像两幅；

步骤1-2：针对无激光照射时的靶标图像，利用张正友方法标定摄像机的内参矩阵K和外参矩阵[R|t]；

步骤1-3：调整摄像机模式，在高动态模式下拍摄有激光照射的靶标图像，针对带激光光条的靶标图像，用步骤1-4的方法标定两个激光平面的参数；

步骤1-4：首先采用OTSU阈值法分割有激光照射的靶标图像，提取两条激光光条条纹；其次基于RANSAC算法得到图像坐标系下的两条激光光条直线方程，按斜率对激光光条分类；然后求取摄像机坐标系下的射影平面方程及靶标平面方程，得到激光光条的空间直线方程，从而求取激光平面法向[a,b,c]^T；最后以激光光条到激光平面的距离为代价函数，建立下式所示优化的目标函数求解激光平面方程的参数d，

所述步骤1中，运动方向标定包括以下步骤：

步骤1-5：将靶标固定于移动平台上做直线运动，连续拍摄无激光照射时的靶标图像n张(n>2)，得到每帧图像的外参矩阵[R|t]，用最小二乘法对t直线拟合，得到运动方向参数。

作为优选，所述步骤2中，提取光条中心包含以下步骤：

步骤2-1：采用OTSU双阈值法分割出激光光条条纹；

步骤2-2：采用几何中心法提取初始激光光条中心；

步骤2-3：通过求取Hessian矩阵得到光条纹的法线方向，其中Hessian如下式所示，

g(x，y)为二维高斯函数，Hessian矩阵特征值绝对值的极大值对应的特征向量就是法线方向；

步骤2-4：由灰度重心法得到激光光条中心亚像素级坐标；

步骤2-5：利用Hessian矩阵得到的法线方向确定产生该光条的激光平面，由法线方向的不连续性剔除错误的点。

本发明提供的另一个技术方案是：一种基于十字结构光实现物体表面三维重建的***，包括机架、通过水平导轨安装在机架上的移动平台、驱动移动平台的丝杆以及电机、固定在移动平台上方的十字激光投射器以及摄像机，所述电机通过运动控制卡与计算机连接，摄像机通过图像采集卡与计算机连接。

本发明的有益效果：

1、本发明提供的三维重建方法和***只需要一个十字激光投射器、一个摄像机和一个传送装置，就可以重建出物体的表面，或者通过重建信息得到被测对象的几何参数，而且本发明的所有标定都基于自由移动的平面靶标，适合现场标定，操作方便；

2、本发明采用十字结构光对物体进行扫描，信息量增加、精度提高、减少了需重复扫描而增加的工作量，可满足一般的工业需求。

附图说明

图1是本发明提供的三维重建***的示意图。

图2是本发明提供的三维重建***的***框架图。

图3是本发明提供的三维重建方法的流程图。

图4是本发明需标定的三个平面示意图。

图5是本发明激光交线拟合为激光平面的示意图。

图6是本发明的运动方向标定示意图。

图中：1、被扫描物体(铝制圆柱)，2、移动平台，3、十字激光投射器，4、摄像机，5、计算机。

具体实施方式

下面对本发明作进一步说明，但本发明并不局限于以下实施例。

如图1、2所示，本发明提供的三维重建***包括机架、通过水平导轨安装在机架上的移动平台2、驱动移动平台的丝杆以及电机、固定在移动平台上方的十字激光投射器3以及摄像机4，所述电机通过运动控制卡与计算机连接，摄像机通过图像采集卡与计算机5连接。摄像机拍摄图像经图像采集卡传送至计算机，计算机通过运动控制卡控制电机转动，由电机转速及摄像机拍摄图像的时间间隔共同计算得到每帧图像的相对移动距离。软件由图像处理程序、运动控制程序、数据分析程序三部分组成。

本发明将被扫描物体(铝制圆柱)1固定在移动平台2上，十字激光投射器3和摄像机4固定在物体上方的钢架上，电机带动滚珠丝杠匀速旋转，驱使移动平台带动被扫描物体1水平方向运动，十字激光平面连续扫过被测物体1，摄像机采集一系列图像传送至计算机5，通过数字图像处理技术及坐标系变换实现对物体表面的重建。

上述三维重建***利用本发明提供的三维重建方法实现物体表面的重建，该三维重建方法包括以下步骤：

(一)***参数标定：

1.线结构光参数标定；

靶标自由移动，拍摄不同姿态下的靶标图，用以标定摄像机参数及拟合激光平面，在每个姿态下拍摄有/无激光的靶标图两幅。无激光时的靶标图像，用以标定摄像机的内参和外参，调整摄像机模式后拍摄的带激光靶标图像，用以标定激光平面参数。

摄像机的参数可通过张正友提出的方法实现，其不但避免了传统标定方法要求高、操作繁琐等缺点，而且精度高，鲁棒性更强。其得到的外参矩阵[R|t]假设为式1，内参矩阵K假设为式2。fx、fy为焦距，(u₀,v₀)为理想图像坐标，R为旋转向量，t为平移向量。

公式1

公式2

对激光平面参数的标定可通过以下3步实现：

1)采用OTSU阈值法分割图像，提取激光光条。基于RANSAC算法(随机采样一致算法)对筛选出的激光点进行最小二乘法直线拟合，得到相对应的激光直线方程。因有两条激光直线，故删除第一次筛选出的点后重复RANSAC及直线拟合算法，即可获取两条激光直线方程，计算两条激光直线的斜率，按斜率将所有拍摄图像的激光直线分为A、B两类。

2)计算摄像机坐标系下的射影平面方程及靶标平面方程(如图4)。联立两个平面方程得到激光光条的空间直线方程如式3，i＝1，2，3……，n，n为所采集的图像数。因为该直线位于激光平面上，所以直线的方向向量同激光平面的法向量正交。令激光平面的参数方程为ax+by+cz+d＝0(其中a²+b²+c²＝1)，由n幅图像得到n个等式，联立得到超定线性方程组式4，用矩阵形式表示得到式5。对矩阵A奇异值分解得到：A＝UΣV^T，其中V的最后一个行向量v₃即为该齐次线性方程组的解。

公式3

公式4

公式5

3)至此得到激光平面的法线方向F_L[a b c]。如图5所示，激光投射器固定，变换靶标的姿态，每个姿态与激光平面都有一条交线，现已知每条激光交线的空间方程，将直线拟合为平面即可得到激光平面方程。

以光条直线到激光平面的距离为代价函数，建立优化的目标函数求解激光平面方程的参数d。联立摄像机原点到图像端点的直线方程及激光空间直线方程式6，获取激光线段两个端点的三维坐标信息求出线段长度L。式中(u,v)为图像坐标，(x，y，z)为所求摄像机坐标系下的三维坐标。

公式6

将直线方程转换为参数形式(式7)带入到式8即可得到d的一元二次方程，求出的极小值就是所需参数d。

公式7

公式8

2.运动方向标定；

摄像机拍摄一次只能得到两个截面上的三维轮廓信息，需要附加一维扫描信息才能得到整个表面信息。将靶标固定在移动平台上，控制丝杠旋转方向，拍摄5幅以上图片。已知摄像机的内参矩阵K，可以计算得到每个时刻靶标对应的外参矩阵[R_i|t_i]，i＝1，2，3……，n，n为所采集的图像数。如图6所示移动平台为直线方向运动，故靶标不存在旋转参量，每个外参中的旋转矩阵R接近相同，而平移向量t为靶标平面上原点在摄像机坐标系下的表示，用最小二乘法对每个时刻的平移向量进行直线拟合，得到移动平台相对于摄像机的运动方向[t₁ t₂ t₃]^T。

(二)提取光条中心：

1)拍摄的对象如果为铝制、钢等金属材料容易形成三峰特性，即分为激光光条条纹、激光在材料表面形成的光晕、背景三层，采用OTSU双阈值法可以分割出光条条纹。

2)为了提高实时性，需先得到初始的光条中心，在中心条纹的获取算法中，找行或列方向上的几何中心点速度最快。故采用几何中心法提取出光条的初始中心位置。

3)用Hessian矩阵得到初始中心点的法线方向，Hessian矩阵特征值绝对值的极大值对应的特征向量就是法线方向。然后在法线正向及反向方向上累加权值，用灰度重心法便可确定亚像素级光条中心的位置。Hessian矩阵由式9可得，g(x，y)为二维高斯函数。灰度重心点(x_i,y_i)由式10可得。

公式9

公式10

4)利用Hessian矩阵得到的法线方向确定产生该光条的激光平面，由法线方向的不连续性剔除错误的点。

(三)实现三维重建：

本发明的参考坐标系为摄像机坐标系，上述步骤得到光条中心为图像上的坐标(u,v)，需要转换得到在摄像机坐标系下的坐标(x_c,y_c,z_c)。联立摄像机坐标系到图像坐标系的转换方程及激光平面方程式11，即可解得激光平面所扫描到的物体表面三维坐标点。

公式11

得到三维坐标点(x_c,y_c,z_c)后，每帧坐标需要添加相对第一帧图像的平移量才能得到实际坐标。控制丝杠的前进速度为8mm/s，通过摄像机调用程序获取每帧图像相对于第一帧图像的拍摄时间间隔S，得到每帧位移量dis。运动方向标定得到运动向量[t₁ t₂ t₃],通过式12得到每个点的实际坐标为(x’_c,y’_c,z’_c)。

公式12

(四)物体信息的获取：

根据上述步骤可得到激光所扫描到的物体表面各个点的三维坐标信息。若扫描对象为规则几何形状的物体，可通过拟合物体表面三维坐标点得到物体的几何参数，如长、宽、高、半径等。若扫描对象为不规则物体，可对其实现三维重建，恢复其表面信息。尚需说明的是：本发明通过十字结构光扫描物体，从而可以相对一字结构光获取更多的物体几何参数信息，计算机通过这些几何参数信息来拟合物体表面的三维坐标点为现有成熟技术，在此不作详细介绍，计算机所需的算法软件可以由普通的程序人员予以编写。

最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims

1.一种基于十字结构光实现物体表面三维重建的方法，其特征在于包括以下步骤：

步骤4：物体信息的获取，通过拟合物体表面三维坐标点得到物体的几何参数；

所述步骤1中，十字结构光参数标定包括以下步骤：

步骤1-4：首先采用OTSU阈值法分割有激光照射的靶标图像，提取两条激光光条条纹；其次基于RANSAC算法得到图像坐标系下的两条激光光条直线方程，按斜率对激光光条分类；然后求取摄像机坐标系下的射影平面方程及靶标平面方程，得到激光光条的空间直线方程，从而求取激光平面法向[a b c]^T；最后以激光光条到激光平面的距离为代价函数，建立下式所示优化的目标函数求解激光平面方程的参数d，

<mrow> <mi>F</mi> <mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&Integral;</mo> <mn>0</mn> <mi>L</mi> </msubsup> <mfrac> <mrow> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <mi>a</mi> <mi>x</mi> <mo>+</mo> <mi>b</mi> <mi>y</mi> <mo>+</mo> <mi>c</mi> <mi>z</mi> <mo>+</mo> <mi>d</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <msqrt> <mrow> <msup> <mi>a</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>b</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>c</mi> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mi>d</mi> <mi>t</mi> </mrow>

式中：a、b、c分别为参数方程ax+by+cz+d＝0中x、y、z的系数，

其中a²+b²+c²＝1，d为激光平面方程的参数；

L为激光线段的长度；

所述步骤1中，运动方向标定包括以下步骤：

步骤1-5：将靶标固定于移动平台上做直线运动，连续拍摄无激光照射时的靶标图像n张，其中n>2，得到每帧图像的外参矩阵[R|t]，用最小二乘法对t直线拟合，得到运动方向参数。