CN106871815B - 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 - Google Patents

Abstract

本发明公开了一种Kinect与条纹反射法结合的类镜面三维面形测量方法，由基于Kinect的三维点云数据获取、条纹反射三维测量两大关键部分组成。本发明的优点是：（1）与传统条纹反射三维测量方法相比：传统条纹反射三维测量只能测量一些简单的标准面形，而Kinect与条纹反射法结合的类镜面三维面形测量方法则不受待测面形限制，可以测量任意面形的物体；（2）基于Kinect与条纹反射法结合的类镜面三维面形测量方法，通过Kinect对待测物体表面三维形貌点云数据进行采集处理，获取得到物体表面初步三维轮廓信息，将初步三维轮廓信息作为传统条纹反射三维测量中波前重建的迭代基准面，极大的减小了迭代次数，提高三维面形重建速度。

Description

一种Kinect与条纹反射法结合的类镜面三维面形测量方法

技术领域

本发明涉及一种Kinect与条纹反射法结合的类镜面三维面形测量方法，尤其涉及基于Kinect的三维点云数据获取原理和条纹反射三维测量方法。

背景技术

随着工业4.0的提出和实施，制造业智能化、自动化已成为工业发展的大势所趋，对类镜面物体表面形貌高速、高精度的三维数据的获取已迫在眉睫。三维测量方法是支撑智能生产，实现人机互动，3D技术的关键技术之一，是集光、机、电和计算机技术于一体的高新技术，它为智能化生产提供必需的三维数据。

国内外针对类镜面物体表面形貌的高速三维测量在理论和应用上做了一系列研究，通常类镜面物体的三维测量方法可分为干涉法和条纹反射法。

干涉法通常需要复杂而昂贵的光学器件，一般只能的测量范围较小的类镜面物体，且不能实现动态镜面物体的三维测量。在工程中，特别是在现代制造业中，存在大量类镜面物体需要测量。例如，汽车工业中的喷涂后的车身表面、抛光模具表面，建筑陶瓷行业中的瓷砖表面等均具有类镜面反射性质，类镜面物体三维形貌测量技术具有重要的应用前景。

条纹反射法在测量类镜面物体时由于非接触、全场测量、测量速度快和易于信息处理等优点，在三维测量中有重要意义。三维测量实验装置如图1所示，包括平板显示器、CCD相机、计算机、工作站、参考平面和待测物体；平板显示器将带有特征信息的条纹投射到参考平面表面，由CCD相机采集条纹信息，经过工作站处理后得到参考相位。然后将待测物体放在相同位置，经过工作站得到相应的变形光栅像，计算出参考相位，除去参考相位即得到由待测物面畸变引起的相位变化。再将相位信息与CCD光心、入射光线、反射光线等的标定数据综合分析处理，即可获得最终待测类镜面三维面形。

2009年微软公司率先推出了Kinect，首次提出了人机互动的理念。华硕公司也紧随其后，推出了Xtion系列体感设备。相较于其它专业深度摄像机，Kinect具有成本低、容易配置等优点，在三维重建领域展现出可观的应用前景。

大多数类镜面物体往往具有其特殊性和复杂性，釆用单一测量方法，常常很难达到测量的要求。如传统的条纹反射三维测量方法不仅难以对复杂类镜面物体表面进行三维形貌测量而且对彩色类镜面的测量更是难以实现；而基于Kinect的三维形貌测量方法虽然能够快速获取类镜面物体表面点云数据及颜色信息，但其测量精度相对较低。因此，将二者有效的结合，利用基于Kinect的三维形貌测量方法快速获取面形数据和面形颜色信息，并将获取的待测物体表面形貌点云数据作为条纹反射三维测量方法中波前重建的迭代基准面，恢复三维面形和物体颜色。

此法有效地扩大了条纹反射三维测量方法应用范围，而条纹反射三维测量融入又使得本专利所提方法在指定数据精度、密度、处理时间上更具有灵活性和高效性，这为工业类镜面生产和逆向工程等三维模型重建方法提出了新思路。

发明内容

本发明目的在于提出一种Kinect与条纹反射法结合的三维面形测量方法，该方法相比于传统的正弦条纹投影的三维测量方法，极大地突破了待测类镜面的面形限制，同时也能较好的还原待测物体的颜色信息。

本发明是这样来实现的，一种Kinect与条纹反射法结合的类镜面三维面形测量方法，特征是包含以下步骤：

(1)利用Kinect粗略测量待测物体表面三维轮廓并采集颜色信息，此处测量的粗略面形将作为第二步测量中的迭代初始面形，并作为后期条纹级次判决条件；

(2)通过条纹反射法对物体二次测量，获取高精度的三维面形；

(3)数据融合处理，即将第一步中Kinect获取颜色信息附加到步骤2中测量获取的高精度三维面形，得到带颜色信息的待测物体三维面形。

本发明所述步骤(1)具体如下：

(1)对Kinect的彩色摄像机和红外摄像机进行标定得出这两个摄像机准确的旋转矩阵与平移矩阵；

(2)使用Kinect传感器的RGB摄像机和红外摄像机功能，在基于Open NI的框架接口下获取待测类镜面物体的RGB图像和深度图像，并根据之前的相机标定结果将采集的深度信息和RGB信息统一到统一坐标系中，对获取的点云数据进行滤波去噪、背景差分法以提取待测物体区域的深度信息和颜色信息；

(3)输出处理后较为精确的点云数据，从而完成待测类镜面物体表面形貌的粗略测量，并保存以作为第二步测量中的迭代初始面形，并作为后期条纹级次判决条件。

本发明所述步骤(2)具体如下：

(1)条纹反射三维测量中首先在平板显示器上显示横、纵两个方向的正弦条纹，然后用CCD相机分别记录由待测面和标准面反射的正弦条纹像；

(2)通过相移得到各自对应的相位分布，与标准面相位分布相比较得到待测表面相位变化；

(3)利用横、纵两个方向的条纹解得所需的相位信息，结合标定即可得到屏幕上亮点的位置、入射光线方向、相机光心位置和反射镜的亮区对应的反射光线方向，并将步骤1中获取物体表面粗略面形结果作为波前重构拟合算法中的迭代基准面，拟合出待测物体表面三维面形。

其中，Kinect与条纹反射法结合的三维面形测量方法，由基于Kinect的三维点云数据获取、条纹反射三维测量两大关键部分组成；

其中，基于Kinect的三维点云数据获取，首先利用PrimeSense公司的公开专利(US2010/0118123 A1-Depth Mapping using Projected Patterns)对深度相机进行标定，然后用彩色相机获取物体表面的颜色信息，然后通过标定得到的旋转矩阵与平移矩阵，将彩色信息与深度信息整合到同一个坐标***；进而利用PCL库函数保存完整的物体表面的三维信息；

其中，条纹反射三维测量原理，具体是由LCD屏显示预先编码的正弦条纹，CCD相机则记录下待测物体表面的反射像，通过数字相移技术可以计算出相位分布，在预先标定好的***中，通过条纹解得相位分布即可计算获取所需的入射光线、反射光线和梯度等信息，最后根据波前重建算法完成最终面形的确立。根据远心光路模型，光线偏折示意图如图2所示；

在LCD显示屏的黑色屏幕上显示一个亮点A，并将这个亮点照射待测镜面，那么这个亮点经待测镜面反射后会经过CCD相机的光心C，并成像在CCD像面上形成一个亮斑；由反射定律可知，来自屏幕的入射光线的入射角等于回到相机的反射光线的反射角，这两条光线的角平分线与待测镜图像中亮斑对应的镜面反射点的切线垂直，因此通过标定确定屏幕上亮点的位置、相机光心位置、反射镜的亮区对应的反射光线方向和对应入射光线方向，由此可以确定唯一的镜面实际斜率信息，结合Kinect获取的较低精度的完整三维面形，将其作为迭代基准面进行波前重构拟合出待测物体面形。

在Prime-Sense公司的专利(US 2010/0118123 A1-Depth Mapping usingProjected Patterns)上是这样定义该方法的：假定设备前空间1-4m开始每隔0.1m都取一个参考面，总共可以取30副这样的散斑图。当我们需要测量的时候，会拍到一个待测量空间场景的散斑图，和之前所保存的30副参考图按序的进行互相关计算，最终可以得到30张这样的相关度图像。只要空间中有物体出现，在相关度图上就会显示一个峰值。只要把这些峰值按序叠到一块，再通过插值处理后就获得了整个场景的深度。

本发明的优点是：(1)与传统条纹反射三维测量方法相比：传统条纹反射三维测量只能测量一些简单的标准面形，如球形，圆形，抛物线面形等，而Kinect与条纹反射法结合的类镜面三维面形测量方法则不受待测面形限制，可以测量任意面形的物体；(2)基于Kinect与条纹反射法结合的类镜面三维面形测量方法，通过Kinect对待测物体表面三维形貌点云数据进行采集处理，获取得到物体表面初步三维轮廓信息，将初步三维轮廓信息作为传统条纹反射三维测量中波前重建的迭代基准面，极大的减小了迭代次数，简化了计算，提高三维面形重建速度；(3)基于Kinect与条纹反射法结合的类镜面三维面形测量方法，通过Kinect对待测物体表面三维形貌点云数据进行采集，可以得到彩色待测物体表面完整的颜色信息。突破了传统条纹反射三维测量中无法恢复物体颜色这一不足；(4)基于Kinect与条纹反射法相结合的类镜面三维面形测量方法，保留了传统条纹反射三维测量方法的优势，弥补了单纯基于Kinect的三维面形测量精度不高的问题。

附图说明

图1为本发明的实验装置图。

图2为本发明光线偏折示意图。

图3为本发明测量流程图。

图4为本发明Kinect空间坐标与深度图像坐标关系图。

具体实施方式

以下结合附图说明对本发明的实施例作进一步详细描述。

本发明是这样来实现的，Kinect与条纹反射法结合的复合三维面形测量方法，其特征是：由基于Kinect的三维点云数据获取与条纹反射三维测量两大关键部分组成。

一基于kinect点云数据获取；

点云数据获取主要包括两大部分：深度信息获取、点云数据配准。深度数据是Kinect的精髓和灵魂。从二维深度图像到三维空间点云之间的变换，是两种坐标系之间的转换，同时设备的深度信息获取原理与坐标系转换也有这密不可分的联系。RGB-D信息为获取三维点云提供了信息源，本节将从RGB-D图像切入，分析Kinect从深度图像获取三维点云的工作原理。

Kinect可获取3种类别的数据流：彩色图像数据流、用户分割数据、深度图像数据流，其中彩色和深度数据流构成了RGB-D信息。RGB-D信息是指由Kinect实时获取的彩色和深度图像信息。

图4中有2个坐标系，分别是以Kinect红外摄像头为原点的空间坐标系(X,Y,Z)和深度图像的二维坐标系(u,v)，Kinect将空间X,Y方向值转化为深度图像的u,v值，深度距离z转化为灰度像素值。利用OpenNI深度图像和彩色图像生成函数可以获取待测目标的深度和彩色信息，并根据二维深度图像的一个像素P(u,v),和最初始的到的平面内像素原始偏移量d，结合红外相机内参系数，计算得到得到的深度距离值Z。

其中，c0、c1是Kinect深度相机内参。

根据透视投影规则，像素P(u,v)投影空间对应点P’(X,Y,Z)满足透视投影关系，具体表示为

其中，fx，fy是红外相机在X、Y方向上的焦距，(cx,cy)是红外相机的投影中心在成像平面中的坐标，A是相机标定矩阵，由此可解得

结合上述公式，即可由Kinect测量深度Z和深度图像坐标(u,v)得到三维空间坐标(X,Y,Z),即获取到了待测物体的粗略三维面形。

二、条纹反射三维测量原理；

LCD显示器分别显示水平和垂直方向的正弦编码条纹，并根据四步相移技术及对应的相位解包裹算法得到两个方向的解调相位，结合前期标定得到的CCD光心、入射光线、反射光线等的数据,即可得到待测类镜面物体的实际斜率信息——梯度，然后通过波前重建算法恢复待测类镜面物体的表面三维面形。

条纹反射术采用了正弦条纹和数字相移技术，***由计算机3、工作站4、LED显示器1、CCD相机2、待测物6和参考物5组成如图1所示。条纹的产生和CCD图像的采集由计算机控制。当物面为标准平面镜时，可以得到标准的参考条纹图进而得到参考相位；当物面存在起伏时，得到受物面梯度调制的变形条纹图，其表达式为：

I(x,y)＝A(x,y)+B(x,y)cos[(2p/p)x+q(x,y)+f(x,y)] (5)

式(5)中：A和B分别是与背景光强和受物体面形反射率影响分布的光场调制强度，为未知常数；q(x,y)是***引起的附加相位差，f(x,y)是物面引起的相位调制，当物面为标准面时，该项为0。

由图2知，对于物面上任一点形，当表面与标准面的法向矢量存在偏角α时，反射光转过2α，此时CCD像素点不再对应参考相位，而是附加了相位偏移。对于B点，待测物体表面相对于标准面偏转了角度α，反射光线则偏转了2α，α为待测物体表面面形函数在B点的法向量在平面XOZ上投影偏离z轴的角度。即LCD上A点出发的一条入射光线I，当此光线照射到待测物体上B点时，其反射光线R由C点进入CCD点；若B点处于标准平面，则其对应LCD屏幕上的像素点则为A₁点，那么相位f(x,y)可以表示为：

计算得出横、纵两个放方向的相位后，结合前期标定得到的CCD光心C、入射光线I、反射光线R等的数据,即可得到待测类镜面物体的实际斜率信息——梯度，结合Kinect获取的较低精度的完整三维面形，将其作为迭代基准面进行波前重构拟合出高精度的待测物体面形。

Claims (1)

1.一种Kinect与条纹反射法结合的类镜面三维面形测量方法，特征包含以下步骤：

(1)利用Kinect粗略测量待测物体表面三维轮廓并采集颜色信息，此处测量的粗略面形将作为第二步测量中的迭代基准面，并作为后期条纹级次判决条件，具体如下：

a.对Kinect的彩色摄像机和红外摄像机进行标定得出这两个摄像机准确的旋转矩阵与平移矩阵；

b.采用Kinect传感器的彩色摄像机和红外摄像机，在基于Open NI的框架接口下获取待测类镜面物体的彩色图像和深度图像，并根据之前的相机标定结果将采集的深度信息和RGB信息统一到统一坐标系中，对获取的点云数据进行滤波去噪、背景差分法以提取待测物体区域的深度信息和颜色信息；

c.输出处理后较为精确的点云数据，从而完成待测类镜面物体表面形貌的粗略测量，并保存以作为第二步测量中的迭代基准面，并作为后期条纹级次判决条件；

(2)通过条纹反射法对物体二次测量，获取高精度的三维面形，具体如下：

a.条纹反射三维测量中首先在平板显示器上显示横、纵两个方向的正弦条纹，然后用CCD相机分别记录由待测面和标准面反射的正弦条纹像；

b.通过相移得到各自对应的相位分布，与标准面相位分布相比较得到待测表面相位变化；

c.利用横、纵两个方向的条纹解得所需的相位信息，结合标定即可得到屏幕上亮点的位置、入射光线方向、相机光心位置和反射镜的亮区对应的反射光线方向，并将步骤(1)中获取物体表面粗略面形作为波前重构拟合算法中的迭代基准面，重构出待测物体表面三维面形；

(3)数据融合处理，将步骤(1)中Kinect获取颜色信息附加到步骤(2)中测量获取的高精度三维面形，得到带颜色信息的待测物体三维面形。