CN110322549A - 一种基于图像的三维重建的方法及*** - Google Patents

Abstract

本发明公开了一种基于图像的交互式三维重建方法，包括：摄像头获取多帧图像，并将所述多帧图像发送至处理器；该处理器对接收到的多帧图像进行判定，从中筛选出多个关键帧；该处理器对筛选出的多个关键帧进行增量分析，并同时进行闭环检测；该处理器对增量分析及闭环检测的结果进行模型一致性判定，并在模型不一致时给出交互提示；该处理器提供多种交互界面(3D‑3D对齐、3D‑2D对齐、2D‑2D匹配)，方便用户进行关键信息输入；该处理器将用户输入的关键信息与增量分析、闭环检测的结果进行融合，完成三维重建。本方法将自动处理算法与用户交互适当结合，提高重建结果的准确性。

Description

一种基于图像的三维重建的方法及***

技术领域

本发明属于信息技术领域，具体地，涉及一种基于图像的交互式三维重建的方法及***。

背景技术

基于图像的三维重建(Image-based 3D Reconstruction)是计算机视觉研究领域的一个重要分支，在三维地图测绘、增强现实、虚拟现实、游戏、医疗、动画制作、计算机辅助设计等领域有广阔的应用前景。该技术基于视差原理，通过对不同角度拍摄的照片进行分析，再使用光束平差法计算得到被摄物体的三维信息，进而构建出与被摄物体空间结构一致的三维模型。

但是，目前基于图像的三维重建技术还不够成熟，全自动的三维重建实现起来还有很多困难，因而该技术与实际应用仍有较大的距离。具体而言，当下的自动重建算法会在以下几个方面遇到问题：

1.连续帧之间的匹配关系出错：在特定的场景中，现有的特征跟踪算法可能会匹配上一部分错误的特征点，虽然后期可以使用交叉验证算法找出一些有问题的匹配，但目前的算法还无法100％剔除，这些错误的匹配关系会对重建结果造成负面影响。

2.闭环匹配关系出错：闭环检测一直是三维重建研究中的关键问题，在学术界的推动下，相关算法的性能逐渐提高，但目前最好的算法在实用中也还存在很多问题。

3.大场景不同区域的融合问题：对于比较大的场景，重建工作会分成多个区域进行，而不同区域之间的相关信息可能十分很少，导致几乎不可能进行全自动的多区域融合。

发明内容

本发明提供了一种基于图像的交互式三维重建方法及***，通过在自动化的重建过程中给出适当地交互提示，让用户可以方便地录入一些对三维重建有帮助的关键信息，在这些信息的辅助下，本发明让基于图像的三维重建技术更具实用性。为了解决上文列出的问题，本发明在交互方面进行了如下创新：

1.操作人员可在特征跟踪过程中手动剔除一些有问题的匹配关系；

2.在算法检测到闭环时，操作人员可介入对匹配结果进行裁定与修正；

3.跨区域匹配时，操作人员可手动进行关键特征点的匹配操作，为算法提供可靠的基础信息。

同时，由于在交互重建的过程中，操作人员可以实时看到重建进程，因此可以针对性地对采样密度进行调整，如遇到比较复杂的区域，可适当提高采样密度以得到更好的重建结果。

为了实现上述目的，本发明提供了一种基于图像的交互式三维重建方法，包括：

所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧；

所述处理器对所述多个关键帧进行增量分析，并同时对所述多个关键帧进行闭环检测；

所述处理器对所述闭环检测的结果进行模型一致性判定，在模型不一致时给出交互提示；

所述处理器提供多种交互界面，以接收用户的关键信息输入；

所述处理器将所述用户输入的关键信息与所述增量重建、所述闭环检测的结果进行融合，完成三维重建。

可选地，所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧，包括：

所述处理器对所述接收到的多帧图像的清晰程度进行评估，丢弃清晰程度低于预设阈值的图像帧；

所述处理器对相邻图像帧的相似度进行评估，丢弃相似度高于预设阈值的图像帧。

可选地，所述处理器对所述多个关键帧进行增量分析，包括：

构建一个或多个场景区块；

将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系；

利用几何约束对所述特征匹配关系进行筛选，去除不满足所述几何约束的匹配，若剩余的有效匹配数量大于或等于预设阈值，则使用光束平差法计算所述当前关键帧相对于所述前一帧关键帧的相对空间位置关系，并将所述当前关键帧与所述前一帧关键帧放入同一个所述场景区块中；

当所述有效匹配数量小于所述预设阈值，则将所述当前关键帧放入新的所述场景区块中。

可选地，将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系，包括：

将所述当前关键帧与所述前一帧关键帧分别提取出多个局部特征，所述局部特征包括描述向量及与所述描述向量对应的位置坐标；

将所述当前关键帧的所有局部特征分别与所述前一帧关键帧的所有局部特征进行特征匹配，若任一所述当前关键帧中局部特征的描述向量与任一所述前一帧关键帧中局部特征的描述向量相似度高于预设阈值，则所述两个局部特征视为一组匹配关系。

可选地，所述处理器对所述关键帧进行闭环检测，包括：

对每一个关键帧提取出对应的全局特征向量；

将每一关键帧的全局特征向量在该帧之前所有关键帧的全局特征向量数据库中进行近邻检索；

若所述近邻检索过程发现与当前的全局特征向量相似度高于预设阈值的相似关键帧，则认为检测到闭环。

可选地，所述方法还包括：

若所述闭环检测寻找到的相似关键帧与当前关键帧不属于同一场景区块，则给出交互提示；

若属于同一场景区块，则使用光束平差法计算两个关键帧的相对空间位置关系，并与所述增量分析的结果进行比对，如果差异小于或等于预设阈值认为此闭环有效；如果差异大于预设阈值，则给出交互提示。

可选地，在给出交互提示之后，所述方法还包括：

根据用户输入指令，对所述闭环检测结果进行判定；

若所述用户输入指令为确定，则认为所述闭环有效；

若所述用户输入指令为否定，则认为闭环无效并丢弃。

可选地，所述处理器提供多种交互界面，以接收用户的关键信息输入，包括：

交互界面分为3D-3D对齐、3D-2D对齐、2D-2D匹配三种类型；

当所述交互界面为所述3D-3D对齐时，用户通过输入设备对两个3D模型进行平移、缩放、旋转，将两个模型在一些关键位置上对齐；

当所述交互界面为所述3D-2D对齐时，用户通过输入设备对一个3D模型进行平移、缩放、旋转，或对一个2D关键帧进行平移、缩放、旋转，将3D模型在一些关键位置上与2D图像中的影像对齐；

当所述交互界面为所述2D-2D匹配时，用户通过输入设备增加、修改、删除两个2D关键帧之间的特征匹配关系。

可选地，所述方法还包括：

所述处理器进行辅助对齐，在用户完成粗略对齐后，完成精细对齐；

以使用户对所述关键位置进行筛选，确定需要对齐的关键位置。

本发明实施例还提供一种基于图像的三维重建***，所述***包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述基于图像的三维重建方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述方法。

本发明实施例的方法及***具有下列优点：

通过本发明实施例提供的方法及***，将关键帧同时进行自动增量重建以及自动闭环检测，并将结果进行后续的三维重建，降低了人工干预的次数，处理效率更高，自动化程度更优。

附图说明

图1是本发明实施例中三维重建方法流程图；

图2是本发明实施例中三维重建方法另一流程图；

图3是本发明实施例中增量分析方法示意图；

图4是本发明实施例中闭环检测方法示意图；

图5是本发明实施例中3D-3D对齐交互界面示意图；

图6是本发明实施例中3D-2D对齐交互界面示意图；

图7是本发明实施例中2D-2D匹配交互界面示意图；

图8是本发明实施例中三维重建***组成结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

为达到以上目的，如图1所示，本发明提供了一种三维交互的方法，该方法包括：

S101、摄像头获取多帧图像，并将所述多帧图像发送至处理器；

S102、所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧；

处理器对接收到的多帧图像进行关键帧判定，具体可以为：

从前往后对每一帧图像计算清晰度指标，将清晰度高于预定阈值的帧标记为候选关键帧；之后从候选关键帧中取出一系列帧，保证相邻两帧的时间间隔大于一个设定的时间阈值，选出的帧即为关键帧，可以传送给后续算法进行处理。

S103、所述处理器对所述多个关键帧进行增量分析，并同时对所述多个关键帧进行闭环检测；所述处理器对所述闭环检测的结果进行模型一致性判定，在模型不一致时给出交互提示；

处理器对多个关键帧进行增量分析，具体可以为：

将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系；

利用几何约束对特征匹配关系进行筛选，去除不满足几何约束的匹配，若剩余的有效匹配数量大于或等于预设阈值，则使用光束平差法计算当前关键帧相对于前一帧关键帧的相对空间位置关系，并将当前关键帧与前一帧关键帧放入同一个场景区块中；

当有效匹配数量小于预设阈值，则将当前关键帧放入新的场景区块中。

其中，将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系，具体为：

将当前关键帧与前一帧关键帧分别提取出多个局部特征，局部特征包括描述向量及与描述向量对应的位置坐标；

将当前关键帧的所有局部特征分别与前一帧关键帧的所有局部特征进行特征匹配，若任一当前关键帧中局部特征的描述向量与任一前一帧关键帧中局部特征的描述向量相似度高于预设阈值，则两个局部特征视为一组匹配关系。

其中，对关键帧进行闭环检测，具体为：

对每一个关键帧提取出对应的全局特征向量；

将每一关键帧的全局特征向量在该帧之前所有关键帧的全局特征向量数据库中进行近邻检索；

若近邻检索过程发现与当前的全局特征向量相似度高于预设阈值的相似关键帧，则认为检测到闭环。

本发明实施例的主流程如图2所示，在摄像头启动后，开始从摄像头中读入新的一帧图像，并对读入的图像进行关键帧判定，如不作为关键帧则忽略该图像，此后，对关键帧进行自动处理，本发明实施例中自动处理分为两个并行的过程，一是增量分析过程，二是寻找回环过程。在这两个处理过程中，算法根据输入数据的情况，在特定规则下会给出交互提示，以收集一些关键信息。在自动处理完成之后，若自动处理过程中触发了交互条件，或者用户主动触发了交互，则进入特定的用户交互过程。

自动增量分析的算法流程如图3所示，首先将新的关键帧与上一关键帧进行特征匹配，具体而言，首先从图像上提取出若干局部特征(常用的特征如SIFT、SURF、ORB等)，每个特征有对应的图像坐标和一个描述向量(一个高维数值向量，用来表征图像中一个小区域的颜色分布情况，可类比理解为：“这是墙角”、“这是门把手”、“这是个杯子”等)。对两个关键帧进行特征匹配，即先对关键帧A提取局部特征，例如有100个局部特征，再对关键帧B提取局部特征，例如有80个。根据特征的描述向量进行匹配，例如，关键帧A里的找到的局部特征“墙角”和关键帧B里面找到的局部特征“墙角”在特征向量空间中有较高的相似度，“门把手”应该和“门把手”在特征向量空间中有较高的相似度，以此为依据进行特征配对。

此外，还需要用几何关系来提高匹配准确度，例如，关键帧A里可能提取出两个门把手，关键帧B可能提取到了3个，这时候就需要利用特征之间的相对位置关系(例如局部特征1中心点坐标与局部特征2中心点坐标之间的距离)来进行筛选，比如A里的某个门把手边上有个钥匙，那该门把手就应该和B里在钥匙旁边的门把手匹配。

另，若有效匹配数量大于特定阈值，则认为该关键帧有可能处于当前场景区块中，此时将该关键帧与当前场景区块进行整合优化并剔除误匹配(例如，当前板块中，已经通过前5帧图像恢复出一部分场景的三维结构，这时候第6帧图像输入进来，先是用前述的方法和第5帧做匹配，并用视差原理恢复出一些特征的三维坐标，比如墙角和门把手的位置。而整合优化是将第5帧和第6帧的计算结果和前面算出来的结果进行比对，比如发现墙角的位置和前面算的差不多，就和前面的融合一下(例如平均一下)，但是门把手的位置差很多，那有可能就是匹配错了，就将这个匹配剔除。并再次审查有效匹配的数量(经过上述复筛查后留下匹配有多少对)，若依然大于特定阈值(例如50个)，则将该关键帧加入当前场景区块中。若上述两处审查中有一次不满足条件，则认为该关键帧处于新的场景区块中，于是创建一个新的场景区块作为当前板块，并将之前的板块储存备用。

此处对场景区块的概念进行说明。例如对一个建筑物内部进行三维重建时拍摄了一系列的图像，第1帧至第10帧图像是在房间A中拍摄的，且图像之间有较大比例的重叠，因此算法可以利用这些重叠关系分析出这10帧图像的空间关系，进行完成对房间A的场景重建。而第11帧至第20帧图像是在房间B中拍摄的，算法可以依据这10帧图像完成对房间B的场景重建。但由于前10帧图像与后10帧图像没有重叠，算法无法分析出房间A与房间B的相对位置关系。在这个例子中，前10帧图像就构成了一个场景区块，后10帧构成另一场景区块。

自动闭环检测的算法流程如图4所示。首先从输入的关键帧中提取一个全局特征向量(全局特征是相对于局部特征说的，局部特征描述的是图像的一个小区域，一张图可以提取出若干个局部特征。全局特征是对整张图的一个描述向量，如果两张图像长得很像，他们的描述向量之间的距离就比较小，可以据此找出之前拍过的场景。全局特征向量可使用BagofWords方法)，并在闭环数据库中进行近邻检索，以找到内容相似的关键帧。此时，如果找到的相似关键帧不属于当前场景区块，则给出用户交互提示；若属于当前场景区块，则使用自动增量重建的算法进行特征匹配并计算两个关键帧的空间关系，并与自动增量重建的结果进行比对，如果结果相同则认为此闭环有效，进行整合优化；如果结果不相容，则给出用户交互提示。注意此处交互提示应有频率限制，可以减少用户干预的次数，提升用户体验。最后将计算的特征向量加入检索数据库中，供后续的闭环检测使用。

此处对闭环检测的概念进行说明。依然使用上文中的例子，假设第21帧至第30帧图像又回到房间A进行拍摄，由于第11帧至第20帧是房间B的图像，与第21帧至第30帧图像没有重叠，自动增量分析过程会将第21帧至第30帧当作一个新的场景区块，与第1帧至第10帧的场景区块并无关系。此时就需要闭环检测模块来发现它与之前拍摄的图像之间的关联，以便将两个板块进行融合，让第1帧至第10帧、第21帧至第30帧融合为一个场景区块。

S104、所述处理器对所述闭环检测的结果进行模型一致性判定，并在模型不一致时给出交互提示；

对闭环检测的结果进行模型一致性判定，具体为：

若闭环检测寻找到的相似关键帧与当前关键帧不属于同一场景区块，则给出交互提示；

若属于同一场景区块，则使用光束平差法计算两个关键帧的相对空间位置关系，并与增量分析的结果进行比对，如果差异小于或等于预设阈值认为此闭环有效；如果差异大于预设阈值，则给出交互提示。

根据用户输入指令，对闭环检测结果进行判定；

若用户输入指令为确定，则认为闭环有效；

若用户输入指令为否定，则认为闭环无效并丢弃。

S105、所述处理器提供多种交互界面，以接收用户的关键信息输入；所述处理器将所述用户输入的关键信息与所述增量重建、所述闭环检测的结果进行融合，完成三维重建。

提供多种交互界面，以接收用户的关键信息输入，具体为：

交互界面分为3D-3D对齐、3D-2D对齐、2D-2D匹配三种模式；

在3D-3D对齐模式下，用户通过输入设备对两个3D模型进行平移、缩放、旋转，将两个模型在一些关键位置上对齐；

在3D-2D对齐模式下，用户通过输入设备对一个3D模型进行平移、缩放、旋转，或对一个2D关键帧进行平移、缩放、旋转，将3D模型在一些关键位置上与2D图像中的影像对齐；

在2D-2D匹配模式下，用户通过输入设备增加、修改、删除两个2D关键帧之间的特征匹配关系。

以上三种模式的用户界面示意图如图5、图6、图7所示。

此外，在用户完成粗略对齐后，处理器可以进行辅助对齐，完成精细对齐；同时用户可以对关键位置进行筛选，告知处理器哪些位置需要进行精细对齐。

在流程的最后，处理器将用户输入信息与增量分析及闭环检测后的结果进行融合，并进行整体优化，得到最后的三维重建结果。

本发明实施例还提供了一种装置，该装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时执行上述实现三维重建的方法。

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述实现三维重建的方法。

图8是本发明实施例提供的一种***结构示意图。该***800可以包括一个或一个以***处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序832或数据834的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质830通信，在装置800上执行存储介质830中的一系列指令操作。***800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，上述方法实施例所执行的步骤可以基于该图8所示的***结构。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种基于图像的交互式三维重建方法，其特征在于，包括：

摄像头获取多帧图像，并将所述多帧图像发送至处理器；

所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧；

所述处理器对所述多个关键帧进行增量分析，并同时对所述多个关键帧进行闭环检测；

所述处理器对所述闭环检测的结果进行模型一致性判定，并在模型不一致时给出交互提示；

所述处理器提供多种交互界面，以接收用户的关键信息输入；

所述处理器将所述用户输入的关键信息与所述增量重建、所述闭环检测的结果进行融合，完成三维重建。

2.根据权利要求1所述的三维重建方法，其特征在于，所述处理器对所述接收到的多帧图像进行判定，筛选所述多帧图像中的多个关键帧，并丢弃所述多帧图像中的非关键帧，包括：

所述处理器对所述接收到的多帧图像的清晰程度进行评估，丢弃清晰程度低于预设阈值的图像帧；

所述处理器对相邻图像帧的相似度进行评估，丢弃相似度高于预设阈值的图像帧。

3.根据权利要求1所述的三维重建方法，其特征在于，所述处理器对所述多个关键帧进行增量分析，包括：

构建一个或多个场景区块；

将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系；

利用几何约束对所述特征匹配关系进行筛选，去除不满足所述几何约束的匹配，若剩余的有效匹配数量大于或等于预设阈值，则使用光束平差法计算所述当前关键帧相对于所述前一帧关键帧的相对空间位置关系，并将所述当前关键帧与所述前一帧关键帧放入同一个所述场景区块中；

当所述有效匹配数量小于所述预设阈值，则将所述当前关键帧放入新的所述场景区块中。

4.根据权利要求3所述的方法，其特征在于，将当前关键帧与前一帧关键帧进行特征匹配，计算得到特征匹配关系，包括：

将所述当前关键帧与所述前一帧关键帧分别提取出多个局部特征，所述局部特征包括描述向量及与所述描述向量对应的位置坐标；

将所述当前关键帧的所有局部特征分别与所述前一帧关键帧的所有局部特征进行特征匹配，若任一所述当前关键帧中局部特征的描述向量与任一所述前一帧关键帧中局部特征的描述向量相似度高于预设阈值，则所述两个局部特征视为一组匹配关系。

5.根据权利要求1所述的方法，其特征在于，所述处理器对所述关键帧进行闭环检测，包括：

对每一个关键帧提取出对应的全局特征向量；

将每一关键帧的全局特征向量在该帧之前所有关键帧的全局特征向量数据库中进行近邻检索；

若所述近邻检索过程发现与当前的全局特征向量相似度高于预设阈值的相似关键帧，则认为检测到闭环。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述闭环检测寻找到的相似关键帧与当前关键帧不属于同一场景区块，则给出交互提示；

若属于同一场景区块，则使用光束平差法计算两个关键帧的相对空间位置关系，并与所述增量分析的结果进行比对，如果差异小于或等于预设阈值认为此闭环有效；如果差异大于预设阈值，则给出交互提示。

7.根据权利要求6所述的方法，其特征在于，在给出交互提示之后，所述方法还包括：

根据用户输入指令，对所述闭环检测结果进行判定；

若所述用户输入指令为确定，则认为所述闭环有效；

若所述用户输入指令为否定，则认为所述闭环无效并丢弃。

8.根据权利要求1所述的方法，其特征在于，所述处理器提供多种交互界面，以接收用户的关键信息输入，包括：

交互界面分为3D-3D对齐、3D-2D对齐、2D-2D匹配三种类型；

当所述交互界面为所述3D-3D对齐时，用户通过输入设备对两个3D模型进行平移、缩放、旋转，将两个模型在一些关键位置上对齐；

当所述交互界面为所述3D-2D对齐时，用户通过输入设备对一个3D模型进行平移、缩放、旋转，或对一个2D关键帧进行平移、缩放、旋转，将3D模型在一些关键位置上与2D图像中的影像对齐；

当所述交互界面为所述2D-2D匹配时，用户通过输入设备增加、修改、删除两个2D关键帧之间的特征匹配关系。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

所述处理器进行辅助对齐，在用户完成粗略对齐后，完成精细对齐；

以使用户对所述关键位置进行筛选，确定需要对齐的关键位置。

10.根据权利要求1所述的方法，其特征在于，在所述处理器进行三维重建之前，还包括：

将所述用户输入信息与所述增量分析及闭环检测后的结果进行融合，并进行整体优化。

11.一种基于图像的交互式三维重建***，其特征在于，所述***包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至10任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，该计算机可执行指令用于执行权利要求1至10任一项所述的方法。