CN105225269B - 基于运动机构的三维物体建模*** - Google Patents

Abstract

本发明个公开了一种基于运动机构的三维物体建模***，包括彩色深度视觉相机、三自由度以上的运动机构、图像数据采集传输装置、包含有视觉软件运行的***环境的主控计算机、和外接显示屏，运动机构固定在工作平台上，能够实现围绕物体进行运动，本发明的最大特点在于能对目标物体进行连续采样和分析，通过多幅RGB图像和深度图像以及对应相机的位姿，得到其三维模型。通过运动机构将相机运动到指定位置，能够减少位姿计算误差，可以有效提高对物体建模的准确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。

Description

基于运动机构的三维物体建模***

技术领域

本发明涉及一种对三维物体进行三维建模的***，具体地说，是一种基于运动机构的三维物体建模***。

背景技术

近年来，视觉辅助***在物体三维建模等方面已经有越来越多的应用，如NoahSnavely研发的Bundler***应用于大型三维场景重建。在三维物体建模中，伯克利大学研发了对单个物体实现三维重建的***，由搭建好的硬件平台，通过多个相机对物体在不同角度进行图像采集，通过ICP对得到的点云进行匹配，再由TSDF进行融合得到物体的三维栅格模型，为机械臂抓取物体提供物体三维信息和对应特征。

发明内容

本发明的目的是针对伯克利的三维重建***存在问题的改进，提出一个完善可行的成本较低、观测更连续完整的三维建模***。用于对物体的位姿进行准确观测和分析，从而辅助机械臂进行抓取，完成指定任务，可以在机器人视觉、机器人抓取、3D打印等场景中，实现对物体的识别和位姿估计，从而可以获取待抓取物体的完整的三维信息和特征纹理信息，为机器人的运动和相应操作奠定更好的基础。

为达到上述发明的目的，本发明提出了一种运动机构和相机相结合的视觉***理念，利用运动机构末端所固定的彩色深度视觉相机围绕目标物体运动并采集物体的RGB图像和深度图像，结合运动信息和图像处理融合算法，对目标物体进行三维还原，得到物体的三维模型。

本发明的具体技术方案如下：

本发明公开了一种基于运动机构的三维物体建模***，包括彩色深度视觉相机、三自由度以上的运动机构、图像数据采集传输装置、包含有视觉软件运行的***环境的主控计算机、和外接显示屏，运动机构固定在工作平台上，能够实现围绕物体进行运动；彩色深度视觉相机固定在运动机构末端，通过运动机构的运动使其围绕着目标物体进行彩色深度图像的采集；彩色深度视觉相机通过数据线与图像数据采集卡相连；图像数据采集卡通过包含有视觉软件运行的***环境的主控计算机总线，将采集到的数据传送到主控计算机进行处理；处理结果输出到包含有视觉软件运行的***环境的主控计算机的外接显示屏上进行显示。

作为进一步地改进，本发明所述的***包括如下组成模块：运动机构在线规划和控制模块、图像采集模块、图像处理模块、三维数据融合模块、显示模块，其中，运动机构在线规划和控制模块能依据模型精度对运动机构的轨迹进行在线规划和控制；图像采集模块能实现对物体的RGB图像和深度图像的采集；图像处理模块能将RGB图像进行特征点匹配，计算出对应点的三维坐标，并能将深度信息转化为三维点云；三维数据融合模块可依据相机位姿，将所有三维点统一到同一坐标下，构建出目标物体的三维模型；显示模块能实现物体的三维显示。

作为进一步地改进，本发明所述的基于运动机构的三维物体建模***，将三维物体信息分为三维点云信息和SIFT特征信息，三维点云信息从物体外形完成对物体的外形描述，相对稠密，而SIFT特征信息则从细节特征对物体进行三维描述，相对稀疏，将整体信息和细节信息进行结合，得到了目标物体的完整三维信息。

本发明还公开了一种基于运动机构的三维物体建模***的运行方法，具体步骤如下：

(1)搭建硬件***，半自动标定各相机内外参数；

(2)运动机构按照规划轨迹将相机运动到指定位置，对目标物体进行图像采集；

(3)通过运动机构末端搭载的彩色深度视觉相机获取目标物体的RGB图像和深度图像，结合运动机构的运动信息和相机位姿参数，实现物体三维空间姿态信息还原；

(4)多帧信息拼接，将得到的三维点云和物体三维空间姿态相结合，实现点云的融合，直到完成运动轨迹序列或者获得完整模型，得到物体的三维模型；

(5)将处理得到的物体的SIFT三维点云图和三维深度点云图输入到外接显示屏。

本发明的最大特点在于能对目标物体进行连续采样和分析，通过多幅RGB图像和深度图像以及对应相机的位姿，得到其三维模型。通过运动机构将相机运动到指定位置，能够减少位姿计算误差，可以有效提高对物体建模的准确性，从而可以更科学地推广到其它运行项目及民用、军工等类似场景。

本发明具有的有益效果如下：

(1)本发明提出了一种可以精确在运动机构上完成物体三维建模的***与方法，在运动机构按照指定路径进行运动的同时，能够准确得到相邻两幅图像之间的位姿变换关系，可以加速算法运行速度为用户或自动化***提供更为精确的建模结果；

(2)本发明将彩色深度视觉相机获取到的RGB图像和深度图像相结合，既能恢复物体的外形，又能得到物体的SIFT特征信息；

(3)本发明与传统的多个相机固定位置的方法相比，能够大大降低成本，并且相机在成像上无死角；

(4)本发明中的方法和***还可以应用于3D打印、家用机器人抓取等多种场景中。因此，本发明是一种非常实用、有效地三维物体建模***，具有很好的应用前景。

附图说明

图1是***硬件结构框图；

图2是***的架构流程框图；

图3是相邻点云对应点匹配和相邻点云对应相机位姿变换关系示意图；

图4是点云配准流程图；

图5是基于空间的点云融合技术示意图；

图1中，1为彩色深度视觉相机、2为运动机构、3为图像数据采集传输装置、4为包含有视觉软件运行的***环境的主控计算机、5是视觉软件，6为外接显示屏。

具体实施方式

本发明提供的三维物体建模***，由彩色深度视觉相机1、三个以上自由度的运动机构2、图像数据采集传输装置3、包含有视觉软件的主控计算机4和外接显示屏6组成；其中彩色深度视觉相机1固定在运动机构2末端，视野覆盖物体所在有效区域，进行图像采集；，图像数据采集传输装置3由图像数据采集卡通过包含有视觉软件运行的***环境的主控计算机4的PCI总线，将采集到的数据传送到图像数据采集传输装置3的处理器进行处理；处理结果输出到包含有视觉软件运行的***环境的主控计算机4的外接显示屏6。

包含有视觉软件运行的***环境的主控计算机4包括如下模块：运动机构2运动规划和控制模块、图像采集模块、目标物体的三维建模模块。***架构流程是：运动机构2在线规划和控制模块根据物体建模结果和需求精度，对运动轨迹进行在线规划，将固定在运动机构2末端的彩色深度视觉相机1运动到指定位置，完成目标物体的RGB图像和深度图像采集；图像采集模块对相机视野覆盖区域进行图像采集，将所得图像输入到三维建模模块，进行在线建模，当模型收敛后，运动机构2停止运动，并将物体所建的SIFT特征点云图和TSDF融合得到的点云图输出到外接显示器上。

运动机构2在线规划和控制模块，依据建模需求精度和物体大小进行在线轨迹规划，将固定在运动机构2末端的相机运动到指定位置，即知道相邻两帧相机对应的相机位姿变化关系，能够减少相邻两帧图像计算相机的位姿变换所费时间，并且能够减少由相机外参标定所引起的误差。该模块能够直接得到相邻两帧图片对应相机的位姿关系，能加快速度，提高精度。

目标物体三维建模模块，能够将相机采集的多幅图像，进行位姿变换得到物体的三维点云信息，在此基础上运用TSDF对点云进行融合处理，其中彩色深度视觉相机1采集的RGB图像得到物体的SIFT三维点云信息，而深度图像得到的物体的稠密三维点云信息。

本发明所述的三维虚拟场景重现模块基于OpenGL的三维虚拟场景重现模块：在三维虚拟场景中任意角度观看物体的三维模型并输出到外接显示屏6上。

本发明提供的物体三维建模方法，所述的运行步骤如下：

(1)搭建硬件***，标定彩色深度视觉相机1内参；

(2)运动机构2依据建模精度，进行在线轨迹规划，当运动机构2末端运动到指定位置，固定在运动机构2末端的彩色深度视觉相机1对物体进行采样；

(3)采样后对所得图像进行处理，得到物体的三维点云，每采一副图像，对已建模的模型进行重新计算和更新，模型越完整和精确，新增图像提供的新三维信息就越少，待物体模型收敛后，运动机构2停止运动，结束建模；

(4)将处理结果数据输入到三维虚拟场景重现模块，在外接显示屏6中进行显示。其中上述方法中，控制运动机构2运动采用如下方法：

(1)离线标定运动机构2的零位和彩色深度视觉相机1的内参；

(2)依据物体的大小和建模精度，实施在线轨迹规划，对已建模模型精度进行计算；

(3)当模型收敛到需求精度或者运动机构2完成运动轨迹序列，运动机构2停止运动。其中上述方法中物体三维建模采用如下方法：

(1)利用运动机构2运动轨迹，得到相邻两帧图像对应相机的位姿变换关系；

(2)获取物体在各个位姿下的图像，结合相机位姿进行图像融合；

(3)将图像融合结果再迭代进行融合，直至运动机构2完成运动轨迹序列或者获得完整模型。

其中上述方法中的三维虚拟场景重现采用如下方法：

(1)将计算所得的物体三维模型输入到三维虚拟场景显示模块；

(2)根据实际尺寸，将模型和实际尺寸统一。

下面结合附图，通过具体实施例，对本发明的技术方案作具体说明，详细描述本发明所利用的彩色深度视觉相机1、运动机构2运动和相机位姿变换配合，实现对物体三维建模和分析，并在三维虚拟空间的场景重现。

图1是***硬件结构框图，整个***由：一个彩色深度视觉相机1、三自由度以上的运动机构2、图像数据采集传输装置3、包含有视觉软件运行的***环境的主控计算机4以及外接显示屏6，视觉软件5运行的***环境包含摄像机在不同操作***下的驱动、图像采集软件、图像处理软件等所有隐藏在视觉软件用户操作界面下的核心功能软件合集，是硬件***与用户进行交流的桥梁。视觉运行的***环境与硬件***组成了整个视觉***各个功能模块。

彩色深度视觉相机1固定在运动机构2上，相机视野覆盖目标物体所在的有效区域，并可通过在线控制运动机构2的运动，使相机围绕物体进行采样；通过图像数据采集传输装置3将彩色深度视觉相机1采集到的数据传送到包含有视觉软件运行的***环境的主控计算机4，由视觉软件5进行数据处理；处理结果输出到包含有视觉软件运行的***环境的主控计算机4的外接显示屏6进行显示。

图2是***的架构流程框图，包含有视觉软件运行的***环境的主控计算机4包括如下模块：运动机构2运动在线轨迹规划模块和控制模块、物体三维重构模块、三维虚拟场景重现模块。

首先完成对运动机构零位和相机参数的离线标定，运动机构2运动在线轨迹规划模块根据需求精度，使固定在运动机构2上的彩色深度视觉相机1围绕着目标物体进行采样，并驱动相机运动到指定位置，从而避免了由相机标定外参求解相邻两帧图像对应相机的位姿变换关系带来的误差，并且由轨迹的在线规划，可以更好的定义规划策略和结束条件，即当所建模型收敛或运动机构2完成运动轨迹序列，则停止运动机构2的运动，自动结束。

物体三维重构模块根据彩色深度相机1采样得到的多幅图像，可以直接得到二维信息到三维信息之间的对应关系，由运动机构2在线轨迹规划，可以得到每帧图像对应的粗略位姿变换关系，对点云再进行精确配准，再对采样得到的图像进行TSDF融合，从而完成物体的三维建模，其中彩色深度视觉相机1采样得到的RGB图像是物体的SIFT特征点云，深度图则是物体的稠密点云信息。而通过三维虚拟场景重现模块，就可以从任意角度观看物体的建模效果，即其在三维空间的状态。

图3为相邻点云对应点匹配和相邻点云对应相机位姿变换关系示意图，中由于SIFT特征点和深度图像中的三维点有一一对应关系，所以不需要对SIFT特征点进行匹配，避免了对特征点进行三维坐标的求解。相邻点云C_i和C_i+1之间对应相机的位姿变换关系为[R_ci，t_ci+1]，且运动机构2末端和相机之间的位姿变化关系为[R_e，t_e]，点云对应运动机构2末端和工作平台之间的位姿变换关系为[R_ei，t_ei]，点云对应相机和工作平台之间的位姿变换关系为[R_eci，t_ect]则各位姿变换关系满足：

[R_eci，t_eci]＝[R_e，t_e][R_ei，t_ei] (1)

[R_eci+1，t_eci+1]＝[R_e，t_e][R_ei+1，t_ei+1] (2)

则相邻点云C_i和C_i+1之间对应相机的位姿变换关系满足：

[R_ci，t_ci+1]＝[R_eci，t_eci][R_eci，t_eci]^-1＝[R_e，t_e][R_ei，t_ei][R_ei+1，t_ei+1]^-1[R_e，t_e]^-1(3)

其中[R_ei，t_ei]和[R_ei+1，t_ei+1]可以由运动机构2的轨迹得到，但是相机和运动机构2末端的变化关系[R_e，t_e]很难准确得到，只能给出一个估计值，需要在初始估计值的基础上进行点云的匹配。

图4为点云配准流程图，经对点云配准的初始值进行估计后，需要对其进行精确配准。以第一个点云作为模板点云第i幅初始估计配准点云对应与模板点云进行匹配，根据一个准则将模板点云C_scene和第i幅点云C_i建立对应集，设对应点数为n，则两点云之间的位姿变换平均误差满足：

运动机构2带动相机进行运动，在进行点云匹配时，由运动机构2提供一个初始情况，可以大大减小匹配误差，提高匹配精度，此时对应有点集满足：

Q_i′＝R_eQ_i+t_e (5)

此时对点集C_scene和点集C_i′进行匹配，可以减小迭代求解初始粗略匹配带来的误差并节省了算法所用时间，可以较好的提高算法运行速度。在进行粗略匹配后，再此基础上进行精确匹配，为了使匹配更加精确，需要剔除异常匹配点并加强匹配约束条件。异常匹配点会给之后变换参数的求解带来较大误差，其正确匹配点必须满足两点之间的距离较小并且其法向量之间的角度较小。其中两点之间的距离采用欧式距离：

||Q_i′-P_j||＜m+std×γ (6)

m为点集C_scene和点集C_i′匹配点的平均距离，std对应距离的标准差，γ为一常数。对点云建立k-d树，对建立好的k邻域进行局部曲面分析，从而估计点的法向量：

其中为点p_i在k邻域内的中心坐标，对于非奇异矩阵C可以求解其特征值，设其特征值为λ₀，λ₁，λ₂，取三者中最小的作为点p_i的法向量。则当两点p_i，Q_i法向量的余弦距离满足：

其中τ为一常数，当余弦距离和1越接近，则两点对应法向量的夹角越小。剔除异常匹配后，对匹配约束进行加强，即点p_i，P_i+1在点集C_scene中是相邻点，则点P_i，P_i+1在点集C_i′其互相匹配点Q_j′，Q_i′也为相邻点，满足：

图5为基于空间的点云融合技术示意图，彩色深度视觉相机1进行采样，得到深度图影像图，SDK将彩色深度视觉相机1中获取的原始深度帧数据转换为以米为单位的浮点数据，紧接着对该数据进行优化，通过获取摄像头的坐标信息，将这些浮点数据转换为和彩色深度视觉相机1朝向一致的点云数据，对得到的点云数据进行TSDF融合。其中TSDF用一个立方栅格来表示三维空间，立方体中每个栅格存放该栅格到物体模型表面的距离，同时用正负来表示在表面被遮挡一侧和可见一侧，而过零点就是表面上的点。图5左侧的立方体中有一个物体模型，当有新的数据加入模型时：

W_i+1(x)＝W_i(x)+w_i+1(x) (11)

其中和表示前幅图像的累积栅格距离和权重，和表示第幅图像的栅格距离和权重。同一栅格的距离值通过权重进行融合，新的权重为两者权重之和，融合后得到图5右侧所示。

以上例举的仅是本发明的优选实施方式，本发明并不限于以上实施例，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围内。

Claims (1)

1.一种基于运动机构的三维物体建模***，其特征在于，包括一个彩色深度视觉相机(1)、三自由度以上的运动机构(2)、图像数据采集传输装置(3)、包含有视觉软件运行的***环境的主控计算机(4)和外接显示屏(6)，所述的运动机构(2)固定在工作平台上，能够实现围绕物体进行运动；所述的彩色深度视觉相机(1)固定在运动机构(2)末端，通过运动机构(2)的运动使其围绕着目标物体进行彩色深度图像的采集；所述的彩色深度视觉相机(1)通过数据线与图像数据采集卡相连；所述的图像数据采集传输装置(3)的图像数据采集卡通过包含有视觉软件运行的***环境的主控计算机(4)总线，将采集到的数据传送到包含有视觉软件运行的***环境的主控计算机(4)进行处理；处理结果输出到包含有视觉软件运行的***环境的主控计算机(4)的外接显示屏(6)上进行显示，所述的基于运动机构的三维物体建模***的运行方法具体步骤如下：

1)、搭建硬件***，半自动标定彩色深度视觉相机(1)内外参数；

2)、运动机构(2)按照规划轨迹将相机运动到指定位置，对目标物体进行拍照采样；

3)、通过运动机构(2)末端搭载的彩色深度视觉相机(1)获取待建模物体的RGB图像和深度图像，结合运动机构(2)的运动信息和相机位姿参数，实现物体三维空间姿态信息还原；

4)、多帧信息拼接将得到的三维点云和物体三维空间姿态相结合，实现点云的融合，直到完成运动轨迹序列或者获得完整模型，得到物体的三维模型；

5)、将处理得到的物体的SIFT三维点云图和三维深度点云图输入到外接显示屏(6)；所述的包含有视觉软件运行的***环境的主控计算机(4)包括如下模块：运动机构(2)在线规划和控制模块、图像采集模块、图像处理模块、三维数据融合模块和显示模块，所述的运动机构(2)在线规划和控制模块能依据模型精度对运动机构(2)的轨迹进行在线规划和控制；所述的图像采集模块能实现对物体的RGB图像和深度图像的采集；所述的图像处理模块能将RGB图像进行特征点匹配，计算出对应点的三维坐标，并能将深度信息转化为三维点云；所述的三维数据融合模块可依据相机位姿，将所有三维点统一到同一坐标下，构建出目标物体的三维模型；所述的显示模块能实现物体的三维显示；所述的三维物体的信息分为三维点云信息和SIFT特征信息，三维点云信息从物体外形完成对物体的三维描述，SIFT特征信息是从细节特征对物体进行三维描述，将整体信息和细节信息进行结合，得到了待建模物体的完整三维信息。