CN110148217A - 一种实时三维重建方法、装置及设备 - Google Patents

Abstract

本发明公开的一种实时三维重建方法、装置及设备，属于计算机视觉技术领域。该方法包括：基于初始3D模型对获取到的第一图像中的目标物进行分割得到仅包含感兴趣物体的第二图像；根据所述第二图像和所述初始模型获得目标物位姿信息，根据目标物位姿信息从所述第一图像中获取关键帧图像；根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D模型，对所述新的3D模型进行网格化重建得到第一重建模型，根据所述目标物位姿信息和所述关键帧图像对所述第一重建模型进行纹理贴图得到第二重建模型。

Description

一种实时三维重建方法、装置及设备

技术领域

本发明涉及计算机视觉领域，更具体地说是涉及一种实时三维重建方法、装置及设备。

背景技术

传统的三维重建技术通常是以二维图像作为输入，重建出场景中的三维模型，但这受限于输入数据，重建出的三维模型往往不够完整，与真实物体差异较大，真实感较低。

后来随着消费级3D传感器(如Microsoft Kinect XBOX,ASUS Xtion，AppleiPhone X,Intel Realsense等)越来越多的出现在人们的视野，基于3D传感器的物体三维重建技术也得到了越来越广泛的应用。由于此类扫描设备多数带有颜色传感器，能够同时获取场景物体的深度图和RGB图，所以此类传感器也通常被称为RGBD传感器或RGBD相机。2011年发布的KinectFusion三维重建方法是最早的基于RGBD相机的实时稠密三维重建方法，也是迄今为止使用最广泛的三维重建方法，该方法适合对静态场景或运动刚体进行建模。2016年出现的Fusion4D 三维重建方法可以重建快速变化的非刚体，但是它需要采用多个深度相机，安装布置复杂且成本高昂。

发明内容

针对现有技术的不足，本发明的目的在于提出一种实时三维重建方法、装置及设备，可以对感兴趣物体进行有效分割，实现对场景中动态物体的快速重建。本发明一方面提供了一种实时三维重建方法，包括：

基于初始3D模型对获取到的第一图像中的目标物进行分割得到仅包含感兴趣物体的第二图像；所述第一图像为3D图像；

根据所述第二图像和所述初始3D模型获得目标物位姿信息，根据目标物位姿信息从所述第一图像中获取关键帧图像；

根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D模型，对所述新的3D模型进行网格化重建得到第一重建模型。

优选的，得到第一重建模型之后还包括根据所述目标物位姿信息和所述关键帧图像对所述第一重建模型进行纹理贴图得到第二重建模型。

上述基于初始3D模型对获取到的第一图像中的目标物进行分割得到仅包含感兴趣物体的第二图像具体包括：

步骤a1：对第一图像进行平面检测，并统计每个检测出来的平面的面积；根据所述检测出来的平面的面积，剔除第一图像中的面积大于阈值的平面所包含的像素点；

步骤a2：根据初始3D模型得到感兴趣物体形态统计信息，所述感兴趣物体形态统计信息包含图像的质心信息、图像的边界信息和图像的表面模型信息；

步骤a3：根据所述图像的质心信息将包含感兴趣物体的前景图像从第一图像中分割出来；利用所述图像的边界信息或所述图像的表面模型信息对所述前景图像中的像素点进行标注，将满足预设条件的像素点标注为感兴趣物体，将不满足预设条件的像素点标注为异物；

步骤a4：对标注为感兴趣物体的像素点以及标注为异物的像素点分别做形态学运算，得到调整后的感兴趣物体标注区域；

步骤a5：从所述感兴趣物体标注区域中，剔除同时被标注为感兴趣物体和标注为异物的像素点，将剩余的像素点作为最终感兴趣物体分割点，根据所述最终感兴趣物体分割点确定仅包含感兴趣物体的第二图像。

优选的，上述根据所述目标物位姿信息和所述关键帧图像对所述第一重建模型进行纹理贴图得到第二重建模型具体包括：

基于第一重建模型、关键帧图像及目标物位姿信息得到面片的颜色图局部区域的步骤；

基于第一重建模型得到面片的纹理区域的步骤；

以及基于所述面片的颜色图局部区域和所述面片的纹理区域得到纹理图集和第二重建模型的步骤。

其中，所述基于第一重建模型、关键帧图像及目标物位姿信息得到面片的颜色图局部区域的步骤又具体包括：

步骤c1：利用目标物位姿信息将第一重建模型投影至所述关键帧图像的坐标系，根据第一重建模型面片顶点在关键帧图像的颜色图中的投影位置得到面片与颜色图局部区域对应关系；

步骤c2：计算所述第一重建模型面片顶点在关键帧图像的形状图中的投影位置与形状图中对应点的位置差；计算投影到关键帧图像的形状图中的第一重建模型面片顶点的法向量与z轴反方向的夹角；

步骤c3：选取所述位置差及所述夹角最小的关键帧图像，根据所述面片与颜色图局部区域对应关系以及选取的关键帧图像的颜色图局部区域得到面片的颜色图局部区域。

其中，所述基于第一重建模型得到面片的纹理区域的步骤又具体包括：

步骤e1：对所述第一重建模型进行分割得到分割块；

步骤e2：将各个分割块进行UV参数化并紧凑排布成图集，计算第一重建模型各面片顶点在图集中对应的图像坐标进而得到面片的纹理区域。

本发明还提供了一种实时三维重建装置，包括图像采集设备和计算设备；

其中，所述图像采集设备用于拍摄场景图像，并将实时采集的第一图像传输给所述计算设备；所述计算设备包含有基于所述第一图像实现三维重建的图像处理单元，所述图像处理单元包括图像分割子单元、配准子单元、关键帧图像抽取子单元、图像融合子单元、网格化重建子单元和纹理贴图子单元；

优选的，上述图像分割子单元，用于基于初始3D模型对所述第一图像中的感兴趣物体进行分割得到仅包含感兴趣物体的第二图像；

上述配准子单元，用于根据所述第二图像和所述初始3D模型获得目标物位姿信息；

上述关键帧图像抽取子单元，用于根据所述目标物位姿信息从所述第一图像中抽取关键帧图像；

上述图像融合子单元，用于根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D 模型；

上述网格化重建子单元，用于对所述图像融合子单元融合得到的新的3D模型进行网格化重建得到第一重建模型；

上述纹理贴图子单元，用于根据所述目标物位姿信息和所述关键帧图像对所述网格化重建单元得到的第一重建模型进行纹理贴图得到第二重建模型。

本发明还提供了一种计算设备，包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述实时三维重建方法。

本发明具有如下优点：能够对感兴趣物体进行有效分割，能实现感兴趣物体的单独建模，因此重建出来的感兴趣物体不含有多余的场景信息，例如地面、背景或者其它附着物等；另外动态建模的实现，只需要一个3D传感器，降低了动态建模的成本，且操作简单；采用多视角高精度纹理贴图提高了模型分辨率。

附图说明

图1是本申请实施例提出的实时三维重建方法的应用场景示意图；

图2是本申请实施例提出的一种实时三维重建方法的流程图；

图3是本申请实施例提出的从3D图像中分割出感兴趣物体的方法流程图；

图4是本申请实施例提出的对3D模型进行多视角纹理贴图的方法流程图；

图5是本申请实施例提出的一种实时三维重建装置的组成框图；

图6是本申请实施例提出的一种实时三维重建装置中的图像处理单元的组成结构图；

图7是本申请实施例提出的另一种实时三维重建方法的流程图。

具体实施方式

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提出的一种实时三维重建方法的应用场景示意图，该方法的应用场景中需要用到一个3D传感器以及一个计算设备，计算设备内部含有一个图像处理单元，图像处理单元运行本申请实施例所提出的实时三维重建方法，完成对感兴趣物体的实时动态分割及三维重建，其中感兴趣物体是3D传感器所拍摄场景的一部分。

图1中所示3D传感器可以是搭载了颜色摄像头的激光雷达、TOF深度相机、结构光深度相机、双目立体视觉深度相机等，3D传感器采集的3D图像序列包括场景的形状图及颜色图，形状图可以是深度图或距离图或点云图，颜色图可以是彩色图或灰度图。常见的3D图像有RGBD图像、有色点云图像等。例如，最常见的3D传感器是RGBD相机，其拍摄的3D图像称为RGBD图像。其中，RGBD：RGB 彩色图及Depth深度图。

在本申请实施例中，场景中感兴趣物体是可以动的，本发明实时追踪感兴趣物体与3D传感器的相对位姿，这个相对位姿是动态的、变化的，利用初始3D模型的信息并结合相对位姿对实时采集到的图像帧中的感兴趣物体进行分割，从而实现感兴趣物体的实时动态分割及三维重建。

方法实施例

参见图2，该图为本申请实施例提供的一种实时三维重建方法的流程图，该方法包括：

步骤101：基于初始3D模型对获取到的第一图像中的感兴趣物体进行分割得到仅包含感兴趣物体的第二图像；

本申请实施例中，本步骤之前还包括通过模型初始化得到所述初始3D模型，作为一种优选实现方式，模型初始化的操作方法可以具体如下：

1.将感兴趣物体置于场景中的平整平面，不与其它非感兴趣物体接触；

2.使用3D传感器获取场景3D图像，对场景3D图像进行平面检测，并统计每个检测出来的平面的面积；

3.根据所述检测出来的平面的面积，剔除场景3D图像中的面积大于阈值S的平面所包含的像素点；

4.在场景3D图像中查找离图像中心最近的有效像素点(像素值有效且未被剔除且未被标注为无效起始像素点)作为候选起始像素点；

5.使用区域生长方法找到与该候选起始像素点连通的所有像素点，这些像素点作为感兴趣物体的初始分割像素点；

6.如果找到的像素点个数大于N，进入第7步，否则将该候选起始像素点标注为无效起始像素点，返回第4步；

7.利用感兴趣物体的初始分割像素点生成初始3D模型，结束。(注：该初始3D模型所在的坐标系称为世界坐标系)

本实施例中获取到的所述第一图像是3D图像，例如RGBD图像或有色点云图像，可以理解的是，对第一图像中感兴趣物体进行分割得到的仅包含感兴趣物体的第二图像仍是3D图像。

本步骤的具体实现如图3所示，包括如下步骤：

步骤1011：对第一图像进行平面检测，并统计每个检测出来的平面的面积；

步骤1012：根据所述检测出来的平面的面积，剔除第一图像中的面积大于阈值S的平面所包含的像素点；

本申请实施例中，阈值S的取值范围根据实际指定，例如当感兴趣物体为玩偶时，可以将阈值S设置为0.004平方米，当感兴趣物体为人体时，可以将阈值 S设置为0.1平方米。

步骤1013：根据初始3D模型得到感兴趣物体形态统计信息，所述感兴趣物体形态统计信息包含图像的质心信息、图像的边界信息和图像的表面模型信息；

本实施例中，本步骤的具体实现如下：

1)将当前帧的第一图像与初始3D模型进行初始配准获取当前帧的第一图像中感兴趣物体相对于3D传感器的初始位姿；

2)根据该初始位姿，将初始3D模型投影至当前帧，得到3D模型投影3D图像；

3)对3D模型投影3D图像进行形态统计，得到感兴趣物体形态统计信息，该形态统计信息包括：图像的边界、图像的质心及包围框或包围圈、图像的表面模型等。

其中，图像的表面模型可以是3D模型投影3D图像的像素点组成的点云，或者3D模型投影3D图像点云重建出来的网格曲面。

步骤1014：根据所述图像的质心信息将包含感兴趣物体的前景图像从第一图像中分割出来；

本步骤具体实现时，以图像中离质心最近的像素点为起始点，用区域生长的方法(形态学方法的一种)找到所有连通域像素，该连通域像素包含了感兴趣物体及与感兴趣物体接触的物体(例如手持该感兴趣物体的人的手)，在这里统称为前景，剔除第一图像中的不属于该连通域的像素点，即得到本步骤所称包含感兴趣物体的前景图像。

步骤1015：利用所述图像的边界信息或所述图像的表面模型信息对所述前景图像中的像素点进行标注，将满足预设条件的像素点标注为感兴趣物体，将不满足预设条件的像素点标注为异物；

在实际应用时可以理解的是，本步骤可以采用如下方式对感兴趣物体和异物进行标注：

方式1：将前景图像中的感兴趣物体的边界之内的像素点标注为感兴趣物体，边界之外的像素点标注为异物。

方式2：将前景图像中与感兴趣物体的表面模型最近距离小于d的像素点标注为感兴趣物体，其它像素点标注为异物。

步骤1016：对标注为感兴趣物体的像素点以及标注为异物的像素点分别做形态学运算，得到调整后的感兴趣物体标注区域；

步骤1017：从所述感兴趣物体标注区域中，剔除同时被标注为感兴趣物体和标注为异物的像素点，将剩余的像素点作为最终感兴趣物体分割点，根据所述最终感兴趣物体分割点确定仅包含感兴趣物体的第二图像。

步骤102：根据所述第二图像和所述初始3D模型获得目标物位姿信息，根据目标物位姿信息从所述第一图像中获取关键帧图像；

本实施例中具体的，将仅包含感兴趣物体的第二图像与初始3D模型进行配准，得到当前感兴趣物体的相对于3D传感器的位姿信息，即本步骤中所述目标物位姿信息。

优选的，将第二图像与初始3D模型进行配准获取感兴趣物体的相对于3D传感器的位姿信息，具体可以采用ICP方法，或者采用ElasticFusion方法。

其中，根据目标物位姿信息从所述第一图像中获取关键帧图像具体可以根据目标物位姿信息中的旋转角信息隔一定角度抽取部分3D图像作为关键帧图像。

根据位姿信息中的旋转角信息隔一定角度抽取部分3D图像作为关键帧图像，可以是从当前帧的第一图像中抽取满足第一预设条件或第二预设条件中任一个的3D图像作为关键帧图像，或者是抽取同时满足以下第一预设条件和第二预设条件的3D图像作为关键帧图像；

第一预设条件：当前帧的位姿信息中的旋转角与所有之前的关键帧的位姿信息中的旋转角的差值大于第一预设值(θ角)；θ角取值范围通常为10度到30 度之间。

第二预设条件：当前帧的位姿信息中的位移与所有之前的关键帧的位姿信息中的位移(Translation)量的欧式距离大于第二预设值(t)；t的取值范围通常为10cm到50cm之间。

步骤103：根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D模型，对所述新的3D模型进行网格化重建得到第一重建模型；

本申请实施例中，根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像具体为：利用目标物位姿信息中的旋转和平移变换，将第二图像转换至所述初始3D模型所在的坐标系(世界坐标系)，得到第三图像。

上述基于所述第三图像与所述初始3D模型以融合得到新的3D模型可以采用点云融合、TSDF、Voxel Hashing、Surfel等方法来实现。

其中，对所述新的3D模型进行网格化重建得到第一重建模型可以使用 MarchingCube或泊松重建方法对3D模型进行网格化重建。网格化重建后的3D 模型是一个由很多个面片组成三维曲面，每个面片包含若干个顶点。

步骤104：根据所述目标物位姿信息和所述关键帧图像对所述第一重建模型进行纹理贴图得到第二重建模型。

本申请实施例中，利用关键帧及其位姿信息对第一重建模型进行多视角纹理贴图，本步骤的贴图是在第一重建模型重建完成之后进行，3D模型重建是否完成取决于上一步103中所述新的3D模型的完整性是否满足设定的阈值。另外，本步骤中纹理贴图时所述关键帧图像既包含形状图也包含颜色图。

下面结合图4所示步骤，对本步104的一种具体实现形式进行描绘和说明，具体如下：

步骤1040：输入第一重建模型、关键帧图像及目标物位姿信息时，同时启动第一线程和第二线程；

其中，启动第一线程后通过执行步骤1041-1044可得到面片的颜色图局部区域，启动第二线程后通过执行步骤1045-1046可得到面片的纹理区域；

可以理解的是，步骤104的具体实现可以是通过一个功能模块纹理贴图子单元完成，具体的，给所述纹理贴图子单元输入第一重建模型、关键帧图像及目标物位姿信息，则可以得到该纹理贴图子单元输出的第二重建模型。

步骤1041：利用目标物位姿信息将第一重建模型投影至所述关键帧图像的坐标系，根据第一重建模型面片顶点在关键帧图像的颜色图中的投影位置得到面片与颜色图局部区域对应关系；

步骤1042：计算所述第一重建模型面片顶点在关键帧图像的形状图中的投影位置与形状图中对应点的位置差；

步骤1043：计算投影到关键帧图像的形状图中的第一重建模型面片顶点的法向量与z轴反方向的夹角；

步骤1044：选取所述位置差及所述夹角最小的关键帧图像，根据所述面片与颜色图局部区域对应关系以及选取的关键帧图像的颜色图局部区域得到面片的颜色图局部区域；

如图所示，本步骤执行完之后将进入步骤1047。

步骤1045：对所述第一重建模型进行分割得到分割块；

本实施例中，优选采用Iso-charts方法对第一重建模型(也可称3D模型) 进行分割，分割完成后，3D模型每个面片的每个顶点都有其归属的分割块。

步骤1046：将各个分割块进行UV参数化并紧凑排布成图集，计算第一重建模型各面片顶点在图集中对应的图像坐标进而得到面片的纹理区域；

可以理解的是，所述图集由很多个图像块紧凑排布而成，图像块与3D模型的分割块一一对应，是一种3D到2D的映射关系，这种映射关系通过UV参数化建立关联关系。根据UV参数化建立的关联关系计算第一重建模型(多边形)面片顶点在图集中对应的图像坐标进而得到(多边形)纹理区域。具体实现如下：先通过多边形面片各顶点归属的分割块在图集中找到对应的图像块，然后根据关联关系求出各顶点在图像块中对应的图像坐标点，这些坐标点构成一个多边形纹理区域即得到本步骤所述的面片的纹理区域。

另外，一般3D模型面片为三角形或为多边形(一般为四边形)，在3D模型面片上有多个顶点，例如当为三角形时，其有三个顶点、当为四边形时，其有四个顶点。本申请实施例中，3D模型的面片是多边形，包含多个顶点，面片对应到图集上也是一个多边形，包含多个图像坐标点。

如图所示，本步骤执行完之后将进入步骤1047。

步骤1047：利用所述面片的颜色图局部区域对所述面片的纹理区域进行着色，得到着色后的纹理图集及第二重建模型。

通过上述描述可知，本实施例能对感兴趣物体进行有效分割，能实现感兴趣物体的单独建模，因此重建出来的感兴趣物体不含有多余的场景信息，例如地面、背景或者其它附着物等。其次，本实施例能对感兴趣物体进行有效分割不需要借助转台或者多台3D传感器，只使用1台3D传感器就能对物体进行全角度建模。本申请实施例采用面片纹理贴图，纹理贴图效果更加清晰。

装置实施例

参见图5，该图为本申请实施例提供的一种实时三维重建装置的组成框图，如图所示，装置包括图像采集设备300和计算设备500。

图像采集设备300用于拍摄场景图像，并将实时采集的第一图像(3D图像序列) 传输给所述计算设备500；

本申请实施例中，图像采集设备300(也可称为3D传感器)可以是搭载了颜色摄像头的激光雷达、TOF深度相机、结构光深度相机、双目立体视觉深度相机等，图像采集设备300采集的3D图像序列包括场景的形状图及颜色图，形状图可以是深度图或距离图或点云图，颜色图可以是彩色图或灰度图。本实施例中所述图像采集设备300采用RGBD相机。

计算设备500，用于基于初始3D模型和所述图像采集设备300采集的第一图像，完成对所述第一图像中的感兴趣物体实时三维重建。需说明的是，本申请中场景中的感兴趣物体是可以动的。

具体实现时，所述计算设备500，具体用于基于初始3D模型对所述图像采集设备300采集的第一图像中的目标物进行分割得到仅包含感兴趣物体的第二图像；用于根据所述第二图像和所述初始3D模型获得目标物位姿信息，根据目标物位姿信息从所述第一图像中获取关键帧图像；以及用于根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D 模型以融合得到新的3D模型，对所述新的3D模型进行网格化重建得到第一重建模型。

本申请实施例中，计算设备500中包含有图像处理单元400，进一步的，如图6所示，图像处理单元400包括图像分割子单元401、配准子单元402、关键帧图像抽取子单元403、图像融合子单元404、判断子单元405、网格化重建子单元406和纹理贴图子单元407，其中：

所述图像分割子单元401，用于基于初始3D模型对获取到的第一图像中的感兴趣物体进行分割得到仅包含感兴趣物体的第二图像；

所述配准子单元402，用于根据所述第二图像和所述初始3D模型获得目标物位姿信息；具体的：将所述图像分割子单元401分割得到的第二图像与初始3D 模型进行配准得到目标物位姿信息。

所述关键帧图像抽取子单元403，用于根据所述目标物位姿信息从所述第一图像中抽取关键帧图像；

所述图像融合子单元404，用于根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D模型；

所述判断子单元405，用于判断所述图像融合子单元404融合得到的新的3D 模型是否完整，若完整则触发所述网格化重建子单元406，否则触发所述图像分割子单元401接收所述图像采集设备300采集的第一图像；

所述网格化重建子单元406，用于对所述图像融合子单元404融合得到的新的3D模型进行网格化重建得到第一重建模型；

具体的，采用表面重建方法进行网格化重建得到第一重建模型。

所述纹理贴图子单元407，用于根据所述目标物位姿信息和所述关键帧图像对所述网格化重建单元406得到的第一重建模型进行纹理贴图得到第二重建模型。

综上所述，在本申请实施例中，场景中感兴趣物体是可以动的，本发明可以实现实时追踪感兴趣物体与3D传感器的相对位姿，这个相对位姿是动态的、变化的。利用初始3D模型的信息并结合相对位姿对实时采集到的图像帧中的感兴趣物体进行分割，从而实现了动态场景中的感兴趣物体分割，另外本发明对感兴趣物体进行的有效分割只需要借助1台3D传感器就能完成对物体进行全角度建模，设备成本低、操作简单。最后本发明采用面片纹理贴图，纹理贴图效果更清晰，并且模型的贴图能够规整为单张纹理图集。

设备实施例

本实施例提供的一种计算设备，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于运行计算机程序，所述程序运行时执行如前实施例一所述的实时三维重建方法。

进一步的，所述计算设备在进行程序运行时也可以执行如图7所示的方法流程，具体如下：

步骤201：接收图像采集设备采集的第一图像；

步骤202：利用初始3D模型对所述第一图像进行分割处理得到仅包含感兴趣物体的第二图像；

步骤203：将所述第二图像与初始3D模型进行配准得到目标物位姿信息，根据所述目标物位姿信息从所述第一图像中抽取关键帧图像；

步骤204：根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，将所述第三图像与所述初始3D模型进行融合得到新的3D模型；

步骤205：判断所述新的3D模型是否完整，是则执行步骤206，否则返回步骤201；

优选的，本步骤具体为判断所述新的3D模型的完整性是否满足设定的阈值α，α通常设定为90～98％之间。

步骤206：采用表面重建方法对所述新的3D模型进行网格化重建得到第一重建模型，根据所述目标物位姿信息和所述关键帧对所述第一重建模型进行纹理贴图得到第二重建模型。

作为另一种可选实现方式，对于对重建模型有100％完整性要求的应用场合，上述步骤205和步骤206还可以具体如下：设定阈值α为98％，判断所述新的3D 模型完整性达到α之后，采用模型补洞方法，例如基于径向基函数(RBF：Radial Basis Function)的三角网格补洞方法，对所述新的3D模型进行补洞处理形成 100％完整的封闭三维模型，然后根据所述目标物位姿信息和所述关键帧对形成的该封闭三维模型进行纹理贴图得到第二重建模型。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。

Claims (11)

1.一种实时三维重建方法，其特征在于，包括：

基于初始3D模型对获取到的第一图像中的目标物进行分割得到仅包含感兴趣物体的第二图像；所述第一图像为3D图像；

根据所述第二图像和所述初始3D模型获得目标物位姿信息，根据目标物位姿信息从所述第一图像中获取关键帧图像；

根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D模型，对所述新的3D模型进行网格化重建得到第一重建模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述新的3D模型进行网格化重建得到第一重建模型之后还包括：根据所述目标物位姿信息和所述关键帧图像对所述第一重建模型进行纹理贴图得到第二重建模型。

3.根据权利要求1所述的方法，其特征在于，所述基于初始3D模型对获取到的第一图像中的目标物进行分割得到仅包含感兴趣物体的第二图像具体包括：

步骤a1：对第一图像进行平面检测，并统计每个检测出来的平面的面积；根据所述检测出来的平面的面积，剔除第一图像中的面积大于阈值的平面所包含的像素点；

步骤a2：根据初始3D模型得到感兴趣物体形态统计信息，所述感兴趣物体形态统计信息包含图像的质心信息、图像的边界信息和图像的表面模型信息；

步骤a3：根据所述图像的质心信息将包含感兴趣物体的前景图像从第一图像中分割出来；利用所述图像的边界信息或所述图像的表面模型信息对所述前景图像中的像素点进行标注，将满足预设条件的像素点标注为感兴趣物体，将不满足预设条件的像素点标注为异物；

步骤a4：对标注为感兴趣物体的像素点以及标注为异物的像素点分别做形态学运算，得到调整后的感兴趣物体标注区域；

步骤a5：从所述感兴趣物体标注区域中，剔除同时被标注为感兴趣物体和标注为异物的像素点，将剩余的像素点作为最终感兴趣物体分割点，根据所述最终感兴趣物体分割点确定仅包含感兴趣物体的第二图像。

4.根据权利要求3所述的方法，其特征在于，所述步骤a3中对所述前景图像中的像素点进行标注所采用的方式如下：

方式1：根据所述图像的边界信息，将前景图像中的感兴趣物体的边界之内的像素点标注为感兴趣物体，边界之外的像素点标注为异物；

方式2：根据所述图像的表面模型信息，将前景图像中与感兴趣物体的表面模型最近距离小于预设距离值的像素点标注为感兴趣物体，其它像素点标注为异物。

5.根据权利要求1所述的方法，其特征在于，所述根据目标物位姿信息从所述第一图像中获取关键帧图像具体为：从当前帧的第一图像中抽取满足第一条件或第二条件中任一条件的3D图像作为关键帧图像，或者是从当前帧的第一图像中抽取同时满足第一条件和第二条件的3D图像作为关键帧图像；

所述第一条件为：当前帧的位姿信息中的旋转角与所有之前的关键帧的位姿信息中的旋转角的差值大于第一预设值；

所述第二条件为：当前帧的位姿信息中的位移与所有之前的关键帧的位姿信息中的位移量的欧式距离大于第二预设值。

6.根据权利要求1所述的方法，其特征在于，所述对所述新的3D模型进行网格化重建得到第一重建模型之前还包括：判断所述新的3D模型是否完整。

7.根据权利要求2所述的方法，其特征在于，所述根据所述目标物位姿信息和所述关键帧图像对所述第一重建模型进行纹理贴图得到第二重建模型具体包括：

基于第一重建模型、关键帧图像及目标物位姿信息得到面片的颜色图局部区域的步骤；

基于第一重建模型得到面片的纹理区域的步骤；

以及基于所述面片的颜色图局部区域和所述面片的纹理区域得到纹理图集和第二重建模型的步骤。

8.根据权利要求7所述的方法，其特征在于，所述基于第一重建模型、关键帧图像及目标物位姿信息得到面片的颜色图局部区域的步骤具体包括：

步骤c1：利用目标物位姿信息将第一重建模型投影至所述关键帧图像的坐标系，根据第一重建模型面片顶点在关键帧图像的颜色图中的投影位置得到面片与颜色图局部区域对应关系；

步骤c2：计算所述第一重建模型面片顶点在关键帧图像的形状图中的投影位置与形状图中对应点的位置差；计算投影到关键帧图像的形状图中的第一重建模型面片顶点的法向量与z轴反方向的夹角；

步骤c3：选取所述位置差及所述夹角最小的关键帧图像，根据所述面片与颜色图局部区域对应关系以及选取的关键帧图像的颜色图局部区域得到面片的颜色图局部区域。

9.根据权利要求7所述的方法，其特征在于，所述基于第一重建模型得到面片的纹理区域的步骤具体包括：

步骤e1：对所述第一重建模型进行分割得到分割块；

步骤e2：将各个分割块进行UV参数化并紧凑排布成图集，计算第一重建模型各面片顶点在图集中对应的图像坐标进而得到面片的纹理区域。

10.一种实时三维重建装置，其特征在于，所述装置包括图像采集设备和计算设备；

所述图像采集设备用于拍摄场景图像，并将实时采集的第一图像传输给所述计算设备；所述计算设备包含有基于所述第一图像实现三维重建的图像处理单元，所述图像处理单元包括图像分割子单元、配准子单元、关键帧图像抽取子单元、图像融合子单元、网格化重建子单元和纹理贴图子单元；

所述图像分割子单元，用于基于初始3D模型对所述第一图像中的感兴趣物体进行分割得到仅包含感兴趣物体的第二图像；

所述配准子单元，用于根据所述第二图像和所述初始3D模型获得目标物位姿信息；

所述关键帧图像抽取子单元，用于根据所述目标物位姿信息从所述第一图像中抽取关键帧图像；

所述图像融合子单元，用于根据所述目标物位姿信息对所述第二图像进行变换处理得到第三图像，基于所述第三图像与所述初始3D模型以融合得到新的3D模型；

所述网格化重建子单元，用于对所述图像融合子单元融合得到的新的3D模型进行网格化重建得到第一重建模型；

所述纹理贴图子单元，用于根据所述目标物位姿信息和所述关键帧图像对所述网格化重建单元得到的第一重建模型进行纹理贴图得到第二重建模型。

11.一种计算设备，其特征在于：包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1至9任一项所述的方法。