CN104346829A - 基于pmd相机和摄像头的彩色三维重建***及其方法 - Google Patents

Abstract

本发明公开了一种基于PMD相机和摄像头的彩色三维重建***及其方法，该***包括：单独标定模块，用于对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数和畸变参数；组合标定模块，用于对所述PMD相机、所述摄像头分别采集的图像，根据所述内部参数、所述外部参数和所述畸变参数求解对应的校正后图像、所述PMD相机、所述摄像头坐标系之间的相对旋转矩阵和平移向量；三维重建模块，用于选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。本发明基于PMD相机和摄像头实现彩色三维重建。

Description

基于PMD相机和摄像头的彩色三维重建***及其方法

技术领域

本发明属于自动检测技术领域，具体地涉及一种融合PMD相机（PhotonicMixer Device，PMD）的位置信息和彩色摄像头的色彩信息的三维重建***及其方法。

背景技术

三维重建，是指对三维空间中物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在机器视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程，由于单视频的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建（类似人的双目定位）相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

目前，传统的机器人视觉***都是以单目视觉或双目视觉为基础进行目标的识别定位等工作，这种视觉***对目标的识别和定位存在以下问题：双目视觉***在空间定位上一般要求传感器和目标之间的距离大于50cm。而单目视觉与位置传感器的组合形式一般要求位置传感器与目标的距离小于100cm；这都大大限制了三维重建***和方法在实际工作中的应用。

因为，对于标准的平行轴立体视觉***，即两个摄像机坐标系相互平行且相互仅在它们的X或Y轴方向平移一段距离的双目立体视觉***，其中的深度恢复和三维重建方法是本领域所熟知的（Ramesh Jain,Rangachar Kasturi,Brian G Schunck.Machine Vision,McGraw-Hill,1995）。他是利用两个相机同时采集的图像，两张图像在X轴或Y轴方向具有一定像素偏差，通过标准的三维重建方法进行深度恢复和三维重建时，这就要求两张同时采集到的图像中要有共同的目标，即要求目标到相机***的平面有一定的水平距离，这个距离和两个相机间的水平距离有一定关系，一般要求目标到相机平面的水平距离大于50cm。而对于单目视觉组合的三维重建方法，由于使用位置等传感器来感知目标的深度，所以对目标到相机平面的水平距离也是有要求，一般要求该距离小于100cm。所以，目前在立体视觉中采用的立体视觉***及方法，对目标到传感器的距离有一定要求，且要根据目标的复杂度进行图像匹配也是一个容易产生误差且费时的过程，并且影响重建精度。因此，本领域需要一种新型的深度恢复和三维重建***及方法。

发明内容

本发明的目的在于提供一种基于PMD相机和摄像头的彩色三维重建***及方法，用于基于PMD相机和摄像头实现彩色三维重建。

为了实现上述目的，本发明提供一种基于PMD相机和摄像头的彩色三维重建***，其特征在于，包括：

单独标定模块，用于对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数和畸变参数；

组合标定模块，用于对所述PMD相机、所述摄像头分别采集的图像，根据所述内部参数、所述外部参数和所述畸变参数求解对应的校正后图像、所述PMD相机、所述摄像头坐标系之间的相对旋转矩阵和平移向量；

三维重建模块，用于选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。

所述的彩色三维重建***，其中，所述单独标定模块还用于对所述内部参数、外部参数进行优化。

所述的彩色三维重建***，其中，所述组合标定模块还用于：当所述摄像头、PMD相机上下固定后，从不同角度同时采集至少三张图像，检测出每张照片中的特征点，根据所述特征点并利用旋转矩阵的正交性和所述内外参数和畸变参数，通过求解线性方程，求取所述相对旋转矩阵和平移向量。

所述的彩色三维重建***，其中，所述三维重建模块采用以下方式获取所述校正后图像在所述摄像头上的对应点：

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T

其中，（X₁，Y₁，Z₁）是PMD相机采集到校正后图像的边缘像素点，（X_c，Y_c，Z_c）是在所述摄像头上的对应点，R、T是两相机坐标系之间的相对旋转矩阵和平移矩阵，P_pmd是表示在PMD相机坐标系下一点的空间坐标，P_wed是表示在摄像头坐标系下一点的空间坐标，下标pmd表示在PMD坐标系下，下标web表示在摄像头坐标系下。

所述的彩色三维重建***，其中，所述三维重建模块还用于：利用所述内部参数、外部参数得到畸变校正后图像；求解所述PMD相机、所述摄像头的共同视野范围；求解XYZ空间位置信息对应的RGB彩色信息，利用4点加权求和求解；根据所述共同视野范围利用双线性插值方法得到高分辨率XYZ-RGB图像信息，完成三维重建。

为了实现上述目的，本发明还提供一种基于PMD相机和摄像头的彩色三维重建方法，其特征在于，包括：

步骤一，对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数；

步骤二，对所述PMD相机、所述摄像头分别采集的图像，通过所述PMD相机、所述摄像机的内部参数和畸变参数求解对应的校正后图像、相机坐标系之间的相对旋转矩阵和平移向量，并去边缘方形化；

步骤三，选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。

所述的彩色三维重建方法，其中，所述步骤一中，包括：

B1.获取标定板；

B2.移动标定板或相机，从不同角度拍摄至少8张照片；

B3.检测出每张照片中的所有特征点；

B4.根据所述特征点并利用旋转矩阵的正交性，通过求解线性方程，得到所述内部参数和外部参数。

所述的彩色三维重建方法，其中，所述步骤二中，包括：

C1.获取标定板；

C2.移动标定板或相机，从不同角度同时拍摄至少3张照片；

C3.检测出每张照片中的所有特征点；

C4.利用所述内外参数对图像进行畸变校正，根据所述特征点并利用旋转矩阵的正交性，通过求解线性方程，得到所述旋转矩阵和平移矩阵；

C5.利用最小二乘法优化法可得优化后的所述旋转矩阵和平移矩阵。

所述的彩色三维重建方法，其中，所述步骤三中，包括：

采用以下方式获取所述校正后图像在所述摄像头上的对应点：

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T

其中，（X₁，Y₁，Z₁）是PMD相机采集到校正后图像的边缘像素点，（X_c，Y_c，Z_c）是在所述摄像头上的对应点，R、T是两相机坐标系之间的相对旋转矩阵和平移矩阵，P_pmd是表示在PMD相机坐标系下一点的空间坐标，P_wed是表示在摄像头坐标系下一点的空间坐标，下标pmd表示在PMD坐标系下，下标web表示在摄像头坐标系下。

所述的彩色三维重建方法，其中，所述步骤三中，包括：

D1.利用所述内部参数、外部参数得到畸变校正后图像；

D2.求解所述PMD相机、所述摄像头的共同视野范围；

D3.求解XYZ空间位置信息对应的RGB彩色信息，利用4点加权求和求解；

D4.根据所述共同视野范围利用双线性插值方法得到高分辨率XYZ-RGB图像信息，完成三维重建。

本发明提供了一种新型的基于PMD相机和摄像头的彩色三维重建***及方法，大大适应了农业机器人领域的应用，达到对目标的测量范围更广，测量精度更高，稳定性更好，且操作简单、快速，而不需要对图像进行实时匹配。

本发明所述的方法与传统方法相比，具有以下优点：

1.准确性好，重复性高：对与场景内目标在不同距离进行三维重建，其定位精度与手工测量相关系数为0.999，标准偏差为1.0cm；

2.重建速度快：三维重建方法主要依靠非在线的校正参数，所以在2s内就能够重建出视场内场景三维信息；

3.可靠性高，可以在室外果园环境中使用：该方法三维重建主要是利用特定波长激光飞行时间（TOF）原理建立空间信息，因此在室外果园中利用该方法依然可以得到稳定可靠的空间位置信息；

4.操作简单：三维重建方法已写入编译好的软件中，只需要对操作人员进行简单培训即可进行操作；

5.易扩展性强：当视野范围较大单个视觉***不能覆盖时，可以增加一套***联合使用，只需要利用离线式两相机旋转和平移矩阵校正方法，就可以得到两个***之间的旋转和平移矩阵输入作为参数就能增加视野范围，最多可以同时5个该子***共同使用。

本发明所述的方法能很好的三维重建视觉场景，从而很大程度上保证了机器人视觉***的正常运转，同时也为视觉测量技术提供了一种参考测量方法和装置。

附图说明

图1A是本发明的基于PMD相机和摄像头的彩色三维重建***结构图；

图1B是本发明的基于PMD相机和摄像头的彩色三维重建***结构图；

图2是本发明的基于PMD相机和摄像头的彩色三维重建方法流程图；

图3是本发明的组合标定示意图及原理图；

图4是本发明的加权平均插值方法示意图；

图5是双线性插值方法原理示意图；

图6A-图6D是本发明的基于PMD相机和摄像头的彩色三维重建结构示意图；

图7是对同一目标采用本发明三维重建的测量结果与手工测量的比较示意图。

具体实施方式

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

如图1A所示，是本发明的基于PMD相机和摄像头的彩色三维重建***结构图，图1B是本发明的基于PMD相机和摄像头的彩色三维重建***的外部示意图。

该重建***100包括：单个相机标定10、组合标定模块20、三维重建模块30和***建立模块40。

单独标定模块10，用于对单个相机（普通摄像头1、PMD相机3）进行标定，求解出普通摄像头1、PMD相机3各自的内、外参数。

组合标定模块20，用于进行***的组合标定，对于普通摄像头1、PMD相机3所摄视场内的两幅图像，通过PMD相机3的内参数和畸变参数求解其对应的校正后图像，相机坐标系之间的相对旋转矩阵和平移向量，并去边缘方形化。

三维重建模块30，用于在校正后的图像中，选取四个边缘的像素点并求解在普通摄像头1上的对应点，找到普通摄像头1采集图像中对应的图像边缘，并分割出后存储为新的图像。

由于普通摄像头1、PMD相机3的分辨率不同，PMD相机3的像素点与普通摄像头1上的像素点并非一一对应，所以对应在普通摄像头1上点需要经过插值方法求解出对应的颜色信息（RGB信息），在此使用了四点加权求和方法进行求解。

PMD相机3通过探测光脉冲的飞行（往返）时间来得到目标物距离，并同时得到整幅图像的深度信息。

***建立模块40，用于建立彩色三维***并验证，根据所求解出PMD相机3对应的XYZRGB信息，结合普通摄像头1所求RGB信息，求出对应RGB及XYZ插值矩阵，其中插值方法使用了双线性插值，最终可求得普通摄像头1中与PMD相机3共同采集到的RGB-XYZ信息，实现彩色三维重建。

重建***100的基本工作原理是：

PMD相机3与普通摄像头1上下放置，由相机间连接件4固定，PMD相机3与普通摄像头1同时触发动态采集图像，图像通过数据采集及分析***40采集并保存，提供给中央处理器，经重建方法的计算可得到PMD相机3的三维空间位置和普通摄像头1中色彩信息之间的相互关系，从而建立彩色三维空间信息，为农业中应用如机器人的导航、壁障、识别与定位***等提供相应的参考信息。

普通摄像头1，其作为摄像头，可以使用任何彩色相机或网络摄像头，用作采集视场彩色信息，用于三维重建。

可控激光光源2，选用不同波长的激光光源用作视场内深度信息测量，这里选用了870nm光源，基于激光飞行时间原理进行深度信息测量准确性高，重复性好，而且适用于农业室外环境。

PMD相机3，可以采集视场内所有像素点的深度信息和灰度光强信息，图像分辨率200*200，灰度图像用于自校正或组合标定，深度信息用于三维重建，试用范围0.3-7m。

相机间连接件4，用于将普通摄像头1、PMD相机3固定，保证标定后其相对位置不会改变，从而保证三维重建的精度。

装置外连接件5，用于将整个***固定在其它物体保证其安全和稳定的易连接部件。

PMD相机电源接口6，是用于给PMD相机3及光源提供电源的接口。

光源输入控制接口7，是用于接收光源控制信号的接口。

光源输出控制接口8，根据软件设计和***要求，输出对光源控制信号的接口，主要是控制光源的强度，保证采集到信息的准确性。

PMD相机数据接口9，用于计算机和其它设备控制采集空间位置数据的通讯接口，采用的是Mini b USB2.0接口。

普通相机数据接口10，是用于计算机和其它设备控制采集彩色数据的通讯接口，采用的是普通USB2.0接口。

在上述***中：

普通摄像头1，用于采集彩色信息，这里选用了罗技C920摄像头，最大分辨率1280*960,30fps；

可控激光光源2，主要是用红外段的激光作为光源，可提高***深度信息稳定性和重复性；

PMD相机3，主要使用能采集红外光源的CMOS芯片PMD19K-3S，为增加目标三维信息，可同时使用5个不同的PMD相机共同组成三维重建***。

如图2所示，是本发明的基于PMD相机和摄像头的彩色三维重建方法流程图。结合图1A、图1B，该重建方法的流程包括以下步骤：

步骤201，单个相机的标定，求解出普通摄像头1、PMD相机3各自的内、外参数和畸变参数；

步骤202，***的组合标定，对于普通摄像头1、PMD相机3所摄视场内的两幅图像，通过PMD相机3的内、外参数和畸变参数求解其对应的校正后图像，相机坐标系之间的相对旋转矩阵和平移向量，并去边缘方形化；

步骤203，***的三维重建，在校正后的图像中，选取四个边缘的像素点并求解在普通摄像头1上的对应点，找到普通摄像头1采集图像中对应的图像边缘，并分割出后存储为新的图像；

由于普通摄像头1、PMD相机3的分辨率不同，PMD相机3的像素点与普通摄像头1上的像素点并非一一对应，所以对应在普通摄像头1上点需要经过插值方法求解出对应的颜色信息（RGB信息），在此使用了四点加权求和方法进行求解；

步骤204，建立彩色三维***并验证，根据所求解出PMD相机3对应的XYZRGB信息，结合普通摄像头1所求RGB信息，求出对应RGB及XYZ插值矩阵，其中插值方法使用了双线性插值，最终可求得普通摄像头1中与PMD相机3共同采集到的RGB-XYZ信息，实现彩色三维重建。

在一实施例中，步骤201中，对普通摄像头1、PMD相机3中的单个摄像机标定方法包括以下步骤（参考《学习OpenCV（中文版）》一书，第11章，摄像机模型与标定，第406页）：

A1.打印一张国际象棋棋盘图案或圆点阵图像，并将其贴在一块平面上作为标定板；

A2.移动标定板或相机，从不同角度拍摄若干张照片（不少于8张）；

A3.检测出每张照片中的所有角点或圆点中心点；

A4.在不考虑径向畸变的情况下，利用旋转矩阵的正交性，通过求解线性方程，得到相机的五个内部参数和外部参数。

A5.利用最小二乘法估算相机的径向畸变系数；

A6.对内外参数进行优化。

根据相机的数学模型，因为每幅图像中棋盘是移动的，即在每个视场中，要计算5个内部参数和外部参数。而在每个图像上检测到的角点，通过相机数学模型和已知校正板中角点（或圆点中心点）之间的距离建立线性方程，由于是相机采集多张图片，所以方程是冗余的，利用最小二乘法优化可以得到内外参数最终结果。

在上述步骤A4中，相机的五个内部参数包括：在像素意义下，X、Y方向焦距fc(1)、fc(2)，图像基准点坐标值cc(1)、cc(2)，畸变参数kc；相机的外参数主要包括旋转矩阵和平移矩阵。

焦距fc(1)、fc(2)，实际上是透镜的物理焦距长度与成像仪每个单元对应方向尺寸大小的乘积，从而将米制单位下的焦距转换成像素意义下的焦距，方便在标定过程中直接计算。

图像基准点坐标值cc(1)、cc(2)，是投影中心在成像平面上的垂直投影，也是径向畸变的中心。

畸变参数kc，畸变主要有两类：径向畸变和切向畸变，其中径向畸变是关于相机镜头主轴对称的，是畸变的主要来源，由于在考虑非线性畸变时对相机的标定需要使用非线性优化算法，引入过多的畸变系数，往往非但不能提高精度，反而会导致***的不稳定，所以通常情况下，切向畸变可以忽略。

旋转矩阵与平移矩阵，对每一幅得到的特定物体的图像，可以在摄像机坐标系上用旋转和平移来描述物体的相对位置。

在一实施例中，步骤202中，***组合标定求解普通摄像头1、PMD相机3空间坐标系的旋转矩阵和平移矩阵，需要普通摄像头1、PMD相机3同时采集标定板（国际象棋盘图案或是圆形点阵图案），然后利用标定板上已知特征点来计算***外参数，主要步骤如下：

B1.打印一张国际象棋棋盘图案或圆点阵图像，并将其贴在一块平面上作为标定板；

B2.移动标定板或相机，从不同角度两摄像机同时拍摄若干张照片（不少于3张）；

B3.检测出每张照片中的所有特征点（角点或圆点中心点）；

B4.利用已知的相机内外参数对图像进行畸变校正，根据已检测的特征点利用旋转矩阵的正交性，通过求解线性方程，得到两相机的旋转矩阵和平移矩阵；

B5.利用最小二乘法优化法可得优化后的旋转矩阵和平移矩阵。

如上步骤的实现请参考《学***移矩阵得到的，以O_l与O_r坐标系分别代表两个相机的空间坐标系，以其中一点P作为图像中的角点（或圆点中心点），通过两个坐标系之间的关系、相机本身的内外参数和已知校正板中角点（或圆点中心点）之间的距离建立线性方程，求解两坐标系之间的关系，即旋转矩阵R和平移矩阵T，由于是双相机采集多张图片，所以最后求得的结果经过最小二乘法优化，可以得到优化的结果。

在一实施例中，步骤202中，进行去边缘方形化是畸变校正后常用方法，将校正后的图像中无意义的边缘去除掉，留下长方形的图像数据方便后期运算。在进行去边缘化中，只需要计算出校正过程中填充无意义像素的边缘即可将其去除掉。

在一实施例中，步骤203中，彩色（RGB）和空间位置（XYZ）的三维重建，需要利用已求得的上下两摄像机的内外参数、旋转和平移矩阵（alpha_c、fc、cc、kc、R_s和T_s）共同求解，主要步骤如下：

C1.利用相机参数得到畸变校正后图像；

C2.求解两摄像机共同视野范围；

C3.求解XYZ空间位置信息对应的RGB彩色信息，利用4点加权求和求解；

C4.根据共同视野范围利用双线性插值方法得到高分辨率XYZ-RGB图像信息，三维重建完成。

由于两相机镜头、分辨率和焦距等物理参数不相同，所以其视野范围不同。根据三维重建方法，共同视野范围即可以计算PMD相机采集到图像中的点对应于彩色相机采集图像中的彩色信息的点，如不能求解到深度点对应的彩色图像信息则不属于共同视野范围。将共同视野范围的图像保留，利用双线性插值方法可获得高分辨率图像信息。

进一步地，上述方法中，与手工测量定位相关性为0.999，模型标准偏差为1.0cm；

进一步地，上述方法中，在机器人导航、目标识别与定位中使用时，将摄像机***与世界坐标系相关参数带入后，即可实时建立摄像机三维场景，并利用其它软件计算出所需导航路径或目标位置等相关信息。

进一步地，上述方法中，可以快速、准确和高效的对视野中目标进行三维重建。

下面结合一具体实施例，对本发明的基于PMD相机和摄像头的彩色三维重建的过程进行详细描述：

（1）单个相机的标定

打印一张国际象棋棋盘图案（或点阵图案），并将其贴在一块平面上作为标定板；移动标定板或相机，从不同角度采集若干张图像（不少于八张）；在PMD相机采集到的光强图像或普通相机采集到的彩色图像中利用***软件检测出每张照片中的所有角点（或点阵图像的中心点）；在不考虑径向畸变的情况下，利用旋转矩阵的正交性，通过求解线性方程，分别求得两个相机的五个内部参数和***的外部参数；利用最小二乘法估算相机的径向畸变系数；最后，对内外参数进行优化；最终，求解出两相机优化后的内外参数和畸变参数，对应的每个相机都包括alpha_c、fc、cc、kc、R_s和T_s；

根据相机的数学模型，因为每幅图像中棋盘是移动的，即在每个视场中，要计算5个内部参数和外部参数。而在每个图像上检测到的角点，通过相机数学模型和已知校正板中角点（或圆点中心点）之间的距离建立线性方程，由于是相机采集多张图片，所以方程是冗余的，利用最小二乘法优化可以得到内外参数最终结果。

（2）两相机的组合标定

普通摄像头1、PMD相机3上下两相机固定后，从不同角度同时采集若干张图像（不少于三张），利用***软件检测出每张照片中的所有角点（或是点阵图像的中心点），根据旋转矩阵的正交性和已求得的两相机各自内外参数和畸变参数，通过求解线性方程，求取两相机坐标系之间的相对旋转矩阵和平移向量R，T，如图3所示；

在图3中，绘示了组合标定示意图及原理图，其中图(a)是用于相机间旋转和平移矩阵的计算示意图，图(b)是xyz信息与rgb信息的融合示意图。

组合标定主要包括两个内容：

（一）如图3(a)所示，将普通摄像头1、PMD相机3两相机上下组合固定后，采集了共11个不同姿态棋盘校正板图像，求解两相机坐标系对应的旋转与平移矩阵；

（二）如图3(b)所示，PMD相机3的xyz信息与彩色相机中的rgb信息融合原理示意图，其中坐标系X₁Y₁Z₁O₁是PMD相机3的坐标系，坐标系X₂Y₂Z₂O₂是彩色相机的坐标系，P_pmd(X₁,Y₁,Z₁)是在X₁Y₁Z₁O₁坐标系下一点，目标是求解P_pmd点对应在X₂Y₂Z₂O₂坐标系下的坐标点及其对应的rgb颜色信息。

（3）***的三维重建方法

在组合标定后的***下采集图像，通过已求得两个相机的内、外参数和畸变参数分别解析出其对应的校正后图像；选取校正后PMD光强图像的四个边缘的像素点（X₁，Y₁，Z₁），并根据两相机坐标系之间的相对旋转矩阵和平移矩阵R、T，求解在普通摄像头1上的对应点（X_c，Y_c，Z_c），如公式1所示为计算方法；

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T             （公式1）

其中，（X₁，Y₁，Z₁）是PMD相机3采集到光强图像校正后的边缘像素点，（X_c，Y_c，Z_c）是在普通摄像头1上的对应点，R、T是两相机坐标系之间的相对旋转矩阵和平移矩阵，P_pmd是表示在PMD相机坐标系下一点的空间坐标，P_wed是表示在摄像头坐标系下一点的空间坐标。下标pmd表示在PMD坐标系下，下标web表示在摄像头坐标系下。

接下来，求解P_wed下求得的空间坐标与摄像头采集到的图像像素值之间的关系，将图像彩色信息值rgb与pmd坐标系下空间点xyz结合，即可求得XYZ-RGB图像信息。

根据普通摄像头1的内外参数，alpha_c、fc、cc、kc和已求得的空间坐标（X_c，Y_c，Z_c）计算其对应图像中的像素点（x_p,y_p），即将彩色相机空间中一点（X_c，Y_c，Z_c）转换成平面图像中一点（x_p,y_p），如下公式2所示；

$x_n=\left[\begin{array}{c}{X}_c/Z_c\\ Y_c/Z_c\end{array}\right]=\left[\begin{array}{c}x\\ y\end{array}\right]$

r²＝x²+y²

$x_d=\left[\begin{array}{c}{x}_d\left(1\right)\\ x_d\left(2\right)\end{array}\right]=(1+\mathrm{kc}\left(1\right)r^2+\mathrm{kc}\left(2\right)r^4+\mathrm{kc}\left(5\right)r^6)x_n+\mathrm{dx}$          （公式2）

$\mathrm{dx}=\left[\begin{array}{c}2\mathrm{kc}\left(3\right)\mathrm{xy}+\mathrm{kc}\left(4\right)(r^2+{2x}^2)\\ 2\mathrm{kc}\left(4\right)\mathrm{xy}+\mathrm{kc}\left(3\right)(r^2+{2y}^2)\end{array}\right]$

$\left\{\begin{array}{c}{x}_p=\mathrm{fc}\left(1\right)x_d\left(1\right)+\mathrm{cc}\left(1\right)\\ y_p=\mathrm{fc}\left(2\right)x_d\left(2\right)+\mathrm{cc}\left(2\right)\end{array}\right.$

x_n表示将空间中一点（X_c，Y_c，Z_c）投影到平面中对应的点，x_d表示相机畸变校正数学公式的泰勒级数展开，dx表示泰勒级数展开式的余项。

普通摄像头1上的对应点（X_c，Y_c，Z_c），根据普通摄像头1的内外参数，fc、cc、kc和已求得的空间坐标（X_c，Y_c，Z_c）计算其对应图像中的像素点（x_p,y_p）

由于两摄像机分辨率不同，PMD相机3的像素点与普通摄像头1上像素点并非一一对应，所以求得对应在普通摄像头1上像素点需要经过插值方法求解，才能求出其对应的颜色信息（RGB信息），在此使用了四点加权求和方法进行求解，如图4所示。已知（x_p,y_p）、（x₀,y₀）、（x₁,y₁），可分别求得（x_p,y_p）到最近四个像素点的距离：D₀₀、D₀₁、D₁₀、D₁₁，根据加权求和公式，可求得（x_p,y_p）点对应的RGB信息r_p、g_p、b_p，公式3如下；

$r_p=\frac{D_{00}}{D_{00}+D_{01}+D_{10}+D_{11}}{r}_{00}+\frac{D_{01}}{D_{00}+D_{01}+D_{10}+D_{11}}{r}_{\text{01}}+\frac{D_{10}}{D_{00}+D_{01}+D_{10}+D_{11}}{r}_{10}+\frac{D_{11}}{D_{00}+D_{01}+D_{10}+D_{11}}{r}_{11}$

$g_p=\frac{D_{00}}{D_{00}+D_{01}+D_{10}+D_{11}}{g}_{00}+\frac{D_{01}}{D_{00}+D_{01}+D_{10}+D_{11}}{g}_{\text{01}}+\frac{D_{10}}{D_{00}+D_{01}+D_{10}+D_{11}}{g}_{10}+\frac{D_{11}}{D_{00}+D_{01}+D_{10}+D_{11}}{g}_{11}$

$b_p=\frac{D_{00}}{D_{00}+D_{01}+D_{10}+D_{11}}{b}_{00}+\frac{D_{01}}{D_{00}+D_{01}+D_{10}+D_{11}}{b}_{\text{01}}+\frac{D_{10}}{D_{00}+D_{01}+D_{10}+D_{11}}{b}_{10}+\frac{D_{11}}{D_{00}+D_{01}+D_{10}+D_{11}}{b}_{11}$

其中，已知（x_p,y_p）、（x₀,y₀）、（x₁,y₁），可分别求得（x_p,y_p）到最近四个像素点的距离：D₀₀、D₀₁、D₁₀、D₁₁，根据加权求和公式，可求得（x_p,y_p）点对应的RGB信息r_p、g_p、b_p，

(r₀₀,g₀₀,b₀₀)是（x₀,y₀）点rgb颜色信息；

(r₀₁,g₀₁,b₀₁)是（x₀,y₁）点rgb颜色信息；

(r₁₀,g₁₀,b₁₀)是（x₁,y₀）点rgb颜色信息；

(r₁₁,g₁₁,b₁₁)是（x₁,y₁）点rgb颜色信息。

最终，PMD相机中一点（X₁、Y₁、Z₁）对应的RGB信息为（r_p、g_p、b_p）。

（4）建立彩色三维重建***及验证

根据所求解出PMD相机3对应的XYZRGB信息，可得到与PMD相机3等同像素的XYZRGB信息，为提高图像分辨率，利用双线性插值方法，参见图5所示，对RGBXYZ矩阵进行插值，最终可求得普通摄像头1中与PMD相机3共同采集到的RGB-XYZ信息，实现彩色三维重建，如下图6A-图6D所示。

在图像的双线性插值放大算法中，目标图像中新创造的像素点数值value(x0,y0)，是由源图像中在它临近的2X2区域4个邻近象素的值通过加权平均计算得出的，如图5所示为其原理图。算法描述如下：

其中，float代表该数据为浮点型，int代表该数据为整数型。

(1)计算源图像与目标图像宽与高的比例。

w0:表示源图像的宽度

h0:表示源图像的高度

w1:表示目标图像的宽度

h1:表示目标图像的高度

fw=(w0-1)/(w1-1)；

fh=(h0-1)/(h1-1)；

(2)针对目标图像的一个点(x0,y0)，计算在源图像中的对应坐标，结果为浮点数。

float x0=x*fw；

float y0=y*fh；

int x1=int(x0)；

int x2=x1+1；

int y1=int(y0)；

int y2=y1+1；

(3)求临近四个点所占的权重比值s1、s2、s3、s4，临近四个点分别为(x1,y1)、(x2,y2)、(x1,y2)、(x2,y1)。

fx1=x0-x1；

fx2=1.0f-fx1；

fy1=y0-y1；

fy2=1.0f-fy1；

float s1=fx1*fy1；

float s2=fx2*fy1；

float s3=fx2*fy2；

float s4=fx1*fy2；

最后，以value(坐标)来代表取得此点的坐标值，则：value(x0,y0)=value(x2,y2)*s1+value(x1,y2)*s2+value(x1,y1)*s3+value(x2,y1)*s4。

如图6A所示，为***彩色相机采集到的原始彩色图像；图6B为PMD相机与彩色相机同时触发采集到的光强图像；图6C是PMD相机同时采集到的深度图像；图6D是***融合图6A、6B、6C的颜色信息和深度信息后而产生带有xyz信息的rgb图像。其中，原始彩色图像在左右方向上具有更宽视野范围，经信息融合后已去除掉，深度图像和光强图像的像素点是一一对应的，且由于***是上下固定，所以其深度信息在下方具有更宽视野范围，由于彩色图像中没有对应信息，所以其在重建图像中显示为黑色。

三维重建***测量精度的验证。***在三个不同距离对同样目标进行三维重建，对场景中的目标进行手工测量，并与***三维重建的测量结果进行比较，手工测量和***测量相关性为0.999，标准偏差为1.0cm，平均偏差为0.9cm，结果如下表1和图7所示。

表1

本发明由于安装简单、容易操作、响应速度快，可广泛用于田间、设施农业和果园机器人的目标检测单位，也可以对移动车辆或机器人进行实时壁障以保障在一些生产工作中移动设备和人的安全。本发明不仅可以对目标进行三维重建和检测，也可以用在移动目标的导航和壁障中对其状态进行实时监控，以保障其运行的安全性和稳定性。

本发明提出了一种基于PMD相机和彩色摄像头组合的动态三维重建***及方法。该***由PMD相机、摄像头、计算机和数据采集及分析软件组成，三维重建包括相机***的标定，图像信息采集和不同尺度图像信息三维重建。PMD相机通过探测光脉冲的飞行（往返）时间来得到目标物距离，并同时得到整幅图像的深度信息。***基本工作原理是：PMD相机与摄像头上下放置，由连接部件固定，两相机同时触发动态采集图像，图像通过数据采集软件采集并保存，提供给中央处理器，经重建方法的计算可得到PMD相机的三维空间位置和彩色摄像头中色彩信息之间的相互关系，从而建立彩色三维空间信息，为农业中应用如机器人的导航、壁障、识别与定位***等提供相应的参考信息。

本发明将两幅不同分辨率的深度图像和彩色图像进行信息融合，从而得到彩色的三维信息，主要利用PMD相机深度信息测量的准确性，极大地提高了三维重建的效率和精度，所需设备操作简单、安装容易；把前期的图像获取和后期的数据分析相结合，大大提高了***的可靠性和实用性。

作为一种新型目标三维重建***和方法，该方法引入了基于激光飞行时间的PMD相机和普通彩色摄像头相结合的信息融合三维重建方法，其中PMD相机不单是提供三维重建的深度数据，并且能采集到深度信息对应的光强图像可提高三维重建方法的稳定性，从而显著提高三维重建的精度。应用多视觉信息融合三维重建算法，将PMD相机的测量深度信息、光强信息的高稳定特性和普通相机的快速且彩色的特点融合在一起，实现了农业中对果实等彩色目标的高精度、快速识别与定位。

本发明所述的***结构组成方式，通过采用激光飞行时间原理的PMD相机与彩色摄像头的结构组合，利用重建方法找到PMD相机的空间坐标信息与彩色相机的色彩信息的关系并进行融合，从而保证***快速准确获得空间彩色三维信息。

本发明所述的组合标定方法，通过采用PMD相机的光强图像与普通摄像头进行组合标定，使用棋盘或点阵校正板组合标定分辨率不相同的两相机旋转及平移矩阵，保证两坐标系信息相互统一。

本发明所述的彩色三维重建方法，是以PMD相机的三维空间坐标信息为基础结合两相机的内外参数，经计算转化成彩色相机的像素坐标，并联系与像素对应的彩色信息，从而完成视野中三维信息的彩色重建。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于PMD相机和摄像头的彩色三维重建***，其特征在于，包括：

单独标定模块，用于对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数和畸变参数；

组合标定模块，用于对所述PMD相机、所述摄像头分别采集的图像，根据所述内部参数、所述外部参数和所述畸变参数求解对应的校正后图像、所述PMD相机、所述摄像头坐标系之间的相对旋转矩阵和平移向量；

三维重建模块，用于选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。

2.根据权利要求1所述的彩色三维重建***，其特征在于，所述单独标定模块还用于对所述内部参数、外部参数进行优化。

3.根据权利要求1所述的彩色三维重建***，其特征在于，所述组合标定模块还用于：当所述摄像头、PMD相机上下固定后，从不同角度同时采集至少三张图像，检测出每张照片中的特征点，根据所述特征点并利用旋转矩阵的正交性和所述内外参数和畸变参数，通过求解线性方程，求取所述相对旋转矩阵和平移向量。

4.根据权利要求1、2或3所述的彩色三维重建***，其特征在于，所述三维重建模块采用以下方式获取所述校正后图像在所述摄像头上的对应点：

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T

其中，（X₁，Y₁，Z₁）是PMD相机采集到校正后图像的边缘像素点，（X_c，Y_c，Z_c）是在所述摄像头上的对应点，R、T是两相机坐标系之间的相对旋转矩阵和平移矩阵，P_pmd是表示在PMD相机坐标系下一点的空间坐标，P_wed是表示在摄像头坐标系下一点的空间坐标，下标pmd表示在PMD坐标系下，下标web表示在摄像头坐标系下。

5.根据权利要求1、2或3所述的彩色三维重建***，其特征在于，所述三维重建模块还用于：利用所述内部参数、外部参数得到畸变校正后图像；求解所述PMD相机、所述摄像头的共同视野范围；求解XYZ空间位置信息对应的RGB彩色信息，利用4点加权求和求解；根据所述共同视野范围利用双线性插值方法得到高分辨率XYZ-RGB图像信息，完成三维重建。

6.一种基于PMD相机和摄像头的彩色三维重建方法，其特征在于，包括：

步骤一，对PMD相机、摄像头进行标定，获取所述PMD相机、所述摄像头的内部参数、外部参数；

步骤二，对所述PMD相机、所述摄像头分别采集的图像，通过所述PMD相机、所述摄像机的内部参数和畸变参数求解对应的校正后图像、相机坐标系之间的相对旋转矩阵和平移向量，并去边缘方形化；

步骤三，选取所述校正后图像中四个边缘的像素点，并根据所述相对旋转矩阵和平移向量求解在所述摄像头上的对应点，获得所述摄像头采集的图像中对应的图像边缘，并分割出后存储为新的图像。

7.根据权利要求6所述的彩色三维重建方法，其特征在于，所述步骤一中，包括：

B1.获取标定板；

B2.移动标定板或相机，从不同角度拍摄至少8张照片；

B3.检测出每张照片中的所有特征点；

B4.根据所述特征点并利用旋转矩阵的正交性，通过求解线性方程，得到所述内部参数和外部参数。

8.根据权利要求6所述的彩色三维重建方法，其特征在于，所述步骤二中，包括：

C1.获取标定板；

C2.移动标定板或相机，从不同角度同时拍摄至少3张照片；

C3.检测出每张照片中的所有特征点；

C4.利用所述内外参数对图像进行畸变校正，根据所述特征点并利用旋转矩阵的正交性，通过求解线性方程，得到所述旋转矩阵和平移矩阵；

C5.利用最小二乘法优化法可得优化后的所述旋转矩阵和平移矩阵。

9.根据权利要求6、7或8所述的彩色三维重建方法，其特征在于，所述步骤三中，包括：

采用以下方式获取所述校正后图像在所述摄像头上的对应点：

P_web(X_c，Y_c，Z_c)＝RP_pmd(X₁，Y₁，Z₁)+T

其中，（X₁，Y₁，Z₁）是PMD相机采集到校正后图像的边缘像素点，（X_c，Y_c，Z_c）是在所述摄像头上的对应点，R、T是两相机坐标系之间的相对旋转矩阵和平移矩阵，P_pmd是表示在PMD相机坐标系下一点的空间坐标，P_wed是表示在摄像头坐标系下一点的空间坐标，下标pmd表示在PMD坐标系下，下标web表示在摄像头坐标系下。

10.根据权利要求6、7或8所述的彩色三维重建方法，其特征在于，所述步骤三中，包括：

D1.利用所述内部参数、外部参数得到畸变校正后图像；

D2.求解所述PMD相机、所述摄像头的共同视野范围；

D3.求解XYZ空间位置信息对应的RGB彩色信息，利用4点加权求和求解；

D4.根据所述共同视野范围利用双线性插值方法得到高分辨率XYZ-RGB图像信息，完成三维重建。