CN108898661B - 三维图像构建的方法、装置及具有存储功能的装置 - Google Patents

Abstract

本申请公开了一种三维图像构建的方法，该方法包括：获取多帧深度图像，并对每帧深度图像进行显示；检测用户是否选择显示的深度图像中的点，并将检测到被选择的深度图像确定为关键帧图像，将其余深度图像确定为普通帧图像；提取每帧深度图像中的平面，并获取提取的平面的特征信息；利用提取的平面的特征信息，对多帧深度图像的至少部分相邻帧深度图像进行配准；融合配准的结果，构建得到三维图像。通过上述方法可以实现稳定的提取主要平面结构，进而实现构建更加准确的室内三维图像。本申请还提供了一种三维图像构建的装置及具有存储功能的装置。

Description

三维图像构建的方法、装置及具有存储功能的装置

技术领域

本申请涉及图像构建领域，特别是涉及一种三维图像构建的方法、设备及具有存储功能的装置。

背景技术

三维图像构建重建是一种具有挑战性的研究课题，主要涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。实现三维图像构建具有多种途径，传统方法是采用激光、雷达等测距传感器或结构光技术来获取场景或物体表面的结构信息进行构建三维图像，但这些仪器大多价格昂贵并且不易携带，所以应用场合有限。

近年来，随着计算机视觉技术的发展，越来越多的研究者开始使用纯视觉的方法进行三维图像的构建，但是现有技术中多是对全图所有的点进行匹配计算，运算量过大，且由于缺少平面的约束与优化，最终得出的重建数据容易导致错误的数据。且由于重建场所的复杂性，对于简单基于点特征进行匹配的方法，由于容易丢失重要的特征，最终导致无法获得准确的三维图像的数据。

发明内容

本申请主要解决的技术问题是提供一种三维图像构建的方法、设备及具有存储功能的装置，能够稳定的提取主要平面结构，进而实现构建更加准确的室内三维图像。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种三维图像构建的方法，所述方法包括：

获取多帧深度图像，并对每帧深度图像进行显示；

检测用户是否选择所述显示的深度图像中的点，并将检测到被选择的深度图像确定为关键帧图像，将其余深度图像确定为普通帧图像；

提取每帧深度图像中的平面，并获取所述提取的平面的特征信息；

其中，对于所述关键帧图像，基于所述用户选择的点提取第一类平面，并获取所述第一类平面的特征信息，且基于所述关键帧图像中除所述第一类平面外的若干点提取第二类平面，并获取所述第二类平面的特征信息；

对于所述普通帧图像，基于所述普通帧图像中的若干点提取第二类平面，并获取所述第二类平面的特征信息；

利用所述提取的平面的特征信息，对所述多帧深度图像的至少部分相邻帧深度图像进行配准；

融合所述配准的结果，构建得到三维图像。

为解决上述技术问题，本申请采用的另一个技术方案是，提供一种三维图像构建的装置，所述装置包括：处理器，以及与所述处理器耦接的存储器，所述装置还包括人机接口组件或人机交互组件；所述存储器存储程序数据，所述处理器运行所述程序数据时，用于执行如上所述的三维图像构建的方法；所述人机接口组件用于将深度图像输出至外部显示装置，以及输入外部输入装置产生的用户所选择的所述深度图像中的点的信息；所述人机交互组件用于显示深度图像，以及产生的用户所选择的所述深度图像中的点的信息。

为解决上述技术问题，本申请采用的又一个技术方案是，提供一种具有存储功能的装置，所述装置存储有程序数据，所述程序数据被执行时实现如上所述的三维图像的构建方法。

以上方案，通过检测用户是否选择所显示的深度图像中的点，并将用户所选择的深度图像确定为关键帧图像，其余深度图像确定为普通帧图像。进一步基于用户所选择的点提取第一类平面及该第一类平面的特征信息，基于普通帧中的若干点提取第二平面并获取该第二类平面的特征信息。利用所获取的平面的特征信息对所获取的多帧深度图像中的至少部分相邻帧深度图像进行配准，以获得配准的结果，最终基于配准的结果构建三维图像。本申请所提供的技术方案中通过将所获取的深度图像显示，并将用户所选择的点的深度图像作为关键帧图像，较好地实现稳定准确地提取出主要平面，实现构建更加准确的三维图像。

附图说明

图1是本申请三维图像构建的方法一实施例的流程示意图；

图2是本申请三维图像构建的方法另一实施例的流程示意图；

图3是本申请三维图像构建的方法又一实施例的流程示意图；

图4是本申请三维图像构建的方法再一实施例的流程示意图；

图5是本申请三维图像构建的方法再一实施例的流程示意图；

图6是本申请三维图像构建的方法再一实施例的流程示意图；

图7是本申请三维图像构建的方法再一实施例的流程示意图；

图8是本申请三维图像构建的装置一实施例的流程示意图；

图9是本申请三维图像构建的装置另一实施例的流程示意图；

图10是本申请三维图像构建的装置再一实施例的流程示意图；

图11是本申请三维图像构建的装置又一实施例的流程示意图；

图12是本申请一种具有存储功能的装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。举例来说，在不脱离本申请的范围的情况下，可以将第一类平面称为第二类平面，且类似地，可将第二类平面称为第一类平面。第一类平面和第二类平面两者都是平面，但其不是同一类平面。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

首先在此对下文即将阐述技术方案中的图像进行说明，在对本申请所提供的技术方案的阐述，是以深度图像为基础，但是需要说明的是，因深度图像是基于所获取的普通图像经过处理后即可获得，虽本申请是以深度图像为主要基础进行阐述，但本申请所提供的技术方案中并不单单限定于深度图像。

请参阅图1，为本申请一种三维图像构建的方法在一实施例中的流程示意图。本实施例中，该三维图像构建的方法具体包括以下步骤：

S110：获取多帧深度图像，并对每帧深度图像进行显示。

其中，由于本申请所提供的三维图像构建的方法中需要对至少部分相邻帧深度图像进行配准，所以步骤S110中所获取的深度图像为至少两帧。可以理解的，对于所获取的深度图像的数量的上限并不做限定，具体是依据三维图像构建实际的需要及三维图像构建的装置计算能力设定。

进一步的，所获取的多帧深度图像可以是一深度相机实时获取所得，也可以是一普通功能的相机所获取的普通图像，经过处理后所获取的深度图像，在此对于获取深度图像的方式并不限定。可以理解的是，本申请所述的相机可以为任意能够拍摄得到图像的器件，具体可以为独立的拍摄设备或者为设置在设备上的拍摄零件(如一摄像头)，在此不作限定。

在一实施例中，对于所获取的每帧深度图像进行依序显示。如，当是深度相机实时获取深度图像时，又或者是所需要显示的深度图像数量较多时，可以设定对深度相机所获取的深度图像依序显示，在此对于深度图像所显示的时间间隔并不做限定，以可清楚展示给用户、并留有一定时间供用户判断所显示的深度图像中是否有所需要选择的点为主要准则。

在另一实施例中，对所获取的每帧深度图像同时显示。如上所述，当所获取的图像是预先处理所得的深度图像，又或者是当前需要显示的深度图像数量较少时，设定同时显示所获取的深度图像。在此，因是将所获取的深度图像同时显示，可以把所需要显示的时间间隔设置长一些，也可以设置在用户完成对所有深度图像选择后，进一步确认已经完成对深度图像中的点的选择，可以进行下述步骤对应的处理内容，具体依据实际的需要进行设定。

S120：检测用户是否选择显示的深度图像中的点，并将检测到被选择的深度图像确定为关键帧图像，将其余深度图像确定为普通帧图像。

本申请中通过用户选择确定关键帧图像，具体将用户选择了点的深度图像作为关键帧。由于本申请是主要是用于建筑物及室内的三维图像的构建，而墙面、地面或屋顶时构成建筑物的主体结构平面，所以从是否是构成建筑物的主体结构平面角度判断，本申请中的关键帧图像是用户判断当前帧图像中出现新的平面(包括地面、墙面和屋顶等构成建筑物主体结构部分)的深度图像。而普通帧图像则是用户没有选择点的深度图像，即用户在普通帧中相比于前帧或前几帧没有出现新的平面的深度图像，最终基于这些用户判断的关键帧以及普通帧实现更加准确地构建室内、区域或建筑物的三维图像。需要说明的，本申请所提供的技术方案中，用户可以通过鼠标点击、触控屏点击或其他方式选取深度图像中点，所以在此并不限定用户选择所显示的深度图像中的点的方式。

其中，由步骤S110可知本申请所提供的技术方案中所获取的深度图像至少包含两帧，而关键帧是由用户通过在所显示的深度图像中选择点进行确认的，所以可以得知所获取深度图像中关键帧图像的数量是由用户所得，所以在此对于深度图像中的所包含的关键帧图像和普通帧图像的数量并不做限定。如在一实施例中，所获取的深度图像数量较少，但是每一帧图像中均有新的平面或者是墙面出现，则此时当前所获取的深度图像中每一帧图像均是关键帧图像，反之，当用户没有选择一帧图像中的点，则当前所获取的深度图像中均是深度图像。可以理解的，当所获取的深度图像都是关键帧图像或者均是普通帧图像时，本申请所提供的技术方案依然可以适用。

进一步的，在所获取的多帧深度图像中，由于第一帧图像之前没有图像可做参考进行比对，所以第一帧图像可以默认是关键帧图像，或者只要第一帧图像中出现如墙面、屋顶、地面等构成建筑的主体结构的部分或全部，均可以判定第一帧深度图像是关键帧图像，对于第一帧之后的所有帧图像的判定均是将当前帧图像与前一帧图像进行比对，经过比对得到当前帧中出现新的墙面、屋顶、地面时，则判断该帧图像是深度图像。可以理解的，在本申请所提供的技术方案中，关键帧图像多是由用户选择和判断的，所以用户也可以选择所需或所希望在三维图像中展示的部分进行构建，比如一个吧台、电脑桌等等。

进一步的，在一实施例中，本申请所提供的技术方案中，在将所获取的深度图像显示以供用户判断深度图像是否是关键帧图像时，可以进一步基于对深度图像的检测，提示用户当前帧是否有新出现的地面或者是墙面，再结合用户自身对于深度图像前后帧的比对，可以帮助用户快速判断当前帧图像是否是关键帧图像。

S130：提取每帧深度图像中的平面，并获取提取的平面的特征信息。

由于本申请所提供的技术方案中，会基于用户选择点与否将所获取的深度图像分成关键帧图像和普通帧图像，故步骤S130提取每帧深度图像中的平面，并获取所提取的平面的特征信息具体包括如下两方面：

1)对于关键帧图像，基于用户选择的点提取第一类平面，并获取第一类平面的特征信息，且基于关键帧图像中除第一类平面外的若干点提取第二类平面，并获取第二类平面的特征信息。其中，用户所选择的点是指相比于前一帧中所出现的新的地面或者是墙面区域的点。具体的，关于如何基于用户所选择的点提取出第一类平面请参见下文图3所对应的实施例。第一类平面或第二类平面的特征信息均至少包括：平面在其所在的深度图像中相机坐标系中的位置信息、平面中所包含的点的数量、该平面到相机的距离、平面的中心坐标等等。

2)对于深度图像中的普通帧图像，基于普通帧图像中的若干点提取第二类平面，并获取第二类平面的特征信息。需要说明的是，在此对提取第二类平面所需的点的数量不做限定，即点的数量可以是基于普通帧中点的总数量，也可以是由用户设定的基于普通帧中点的总量的某一比例。第二类平面的特征信息至少包括：所获取的第二类平面在其所在的深度图像中相机坐标系中的位置信息。

其中，所提取的平面包括第一类平面和第二类平面，在提取深度图像中所包含平面的同时，进一步获取所提取到的平面的特征信息。平面的特征信息至少包括：平面在其所在的深度图像中相机坐标系中的位置信息。当然，在其他实施例中，平面的特征信息还包括其他信息：如用户所添加的标签等等，具体请参见下文。

S140：利用提取的平面的特征信息，对多帧深度图像的至少部分相邻帧深度图像进行配准。

对多帧深度图像的至少部分相邻帧深度图像进行配准是指基于相邻帧深度图像及其内部各自提取所得的平面特征，先采用平面特征比对的方式，分别在相邻两帧图像中找到提取特征差较小的平面对，然后采用平面配准的方法，计算得到两帧图像之间的旋转矩阵和平移向量。需要说明的是，本申请所提供的技术方案中，求取到相邻两帧之间的旋转矩阵和平移向量时，会进一步保存旋转矩阵和平移向量，最终基于所求得的相邻两帧图像间的旋转矩阵和平移向量，求得统一世界坐标系下的相机位姿，从而获得在采集多帧深度图像时的相机位姿序列。

其中，在一实施例中，本申请中的统一世界坐标系是指在采集多帧图像中的第一帧图像的相机位置为坐标原点，第一帧图像中人工标定的关键平面的法线方向为坐标系主轴，又或者可以由用户定义坐标系主轴方向。无论是由用户定义坐标系的主轴方向还是基于关键平面的法线方向，均需确保墙面或者地面方向平行于坐标系主轴。在另一实施例中，采用用户标定的某一帧图像所对应的相机位姿为坐标原点，以该帧图像所对应的位置前后帧方向建立正负坐标，需要说明的是当前坐标系中的正负仅用于表示方向，不表示大小。

S150：融合配准的结果，构建得到三维图像。

由于本申请所获取的深度图像是多帧，所以步骤S140配准后，会得到多个相邻帧深度图像的配准结果，对所得的配准结果进一步融合以获得的所需构建的三维图像。对于配准的结果的融合实质是将多帧深度图像中的所提取的相同平面，依据该平面的特征信息进行“拼接”，构成完整的平面。如，所获取的第5帧至第15帧中均包含了一个墙面，融合配准的结果即是基于配准所得相邻帧图像之间的旋转矩阵和平移向量，依次求得第5帧至第15帧中的该墙面所对应的平面在世界坐标系下的位置信息，再基于所得位置信息以及该墙面所对应的平面的其他特征信息，将5到15帧中的墙面所对应的平面拼接成一个相对完整的平面。进一步的，需要说明的是，在当前实施例中，只需要提取本申请所获取的三维图像中的各个第一类平面，即可获取到建筑物或者是该区域的三维简图。

进一步的，请参见图2，为本申请三维图像构建的方法在另一实施例中的部分流程示意图。图2所示的实施例是对步骤S150中所得的三维图像做进一步的优化处理，以得到更加准确的三维图像。

S201：调用预设算法，对在采集多帧深度图像时的相机位姿序列、提取的平面的特征信息进行优化。

在一实施例中，预设算法至少包括光束平差法。当相机连续拍摄以及多帧深度图像的相邻帧的连续图像配准，可以得到所提取的平面(包括第一类平面和第二类平面)及构成平面的点在统一的世界坐标系下位置信息。但是由于同一个第一类平面或第二类平面会在多张图像中连续检测到，且相邻两帧之间的配准误差会累计存在，所以需要对在采集多帧深度图像时的相机位姿序列、提取的平面的特征信息进行优化，以获得更加准确的三维图像。

S202：利用优化后的相机位姿序列，对构建的全局三维图像进行调整，得到调整后的三维图像。

在一实施例中，当优化后的相机位姿序列及所提取的平面的特征信息与优化前相比差别不大时，可以基于优化前后的差别对三维图像进行调整，以获得调整后的三维图像。

在另一实施例中，当优化后的相机位姿序列及所提取的平面的特征信息与优化前相比误差较多，可以直接依据优化后的相机位姿、所提取平面的特征信息、以及构成所提取平面的点位置信息，重新融合得到新的三维图像。

基于图2所示的实施例，进一步对在采集多帧深度图像时的相机位姿序列、提取的平面的特征信息进行优化可以较好地实现避免因累计的配准误差，或者其他偶然的误差，获取到相对不准确的三维图像。图1所示的实施例通过将所获取的深度图像显示以供用户基于图像中是否出现如新的地面、墙面、屋顶等来判断该帧图像是否是关键帧图像又或者是普通帧图像，再进一步基于关键帧和普通帧提取每帧深度图像中所包含的平面，提取平面的同时提取所提取平面的特征信息。最后基于平面的特征信息，对所获取的多帧深度图像的至少一部分相邻帧深度图像进行配准，对所得的配准的结果进行融合，构建得到三维图像。在三维图像构建中定义一种人机交互的方式，由用户参与判断关键帧图像，可以较好地实现快速准确的获得准确的关键帧及关键帧中所包含的平面信息，可以实现构建更加准确的三维图像。

请参见图3，为本申请三维图像构建的方法在再一实施例中的部分流程示意图。图3所示的实施例对提取关键帧深度图像中第一类平面作进一步的阐述。其中，步骤基于用户选择的点提取关键帧图像中的第一类平面进一步包括步骤S301至步骤S302。其中，

S301：在关键帧图像中，提取用户选择的每一个点的第一预设邻域内的第一预设数量的点，以获得第一点集合。

其中，第一邻域的大小和第一预设数量的大小均可以基于实际的需要进行调整设定。在一实施例中，用户所选择的每一个点的第一预设邻域可以是以面积进行衡量，如获取以用户所获取的点为圆心r为半径内的第一预设数量m个的点，如果用户在当前关键帧图像选择了k个关键点，此时第一点集合中包含了k×m个点；在另一实施例中，用户所选择的点的第一预设邻域也可以是以数量进行表示，即获取用户所选择的点周围的r×r内第一预设数量的点(r表示的是点的数量)。其中，第一预设数量可以是获取点周围的r×r内所有的点。如用户在某一关键帧中选取了k个关键点，则第一集合中共包含了k×r×r个点。

S302：基于第一点集合中的点在与关键帧图像对应的相机坐标系中的位置信息，拟合得到第一类平面。

由于上述步骤S110所获取的图像是深度图像，而深度图像中至少包含构成图像的点的位置信息，所以可以直接基于步骤S301中所获取到的第一点集合中的点在与该关键帧图像所对应的相机坐标系中的位置信息，进一步拟合得到第一类平面。其中拟合所调用的算法至少包括最小二乘法。其中，第一类平面即是基于用户在关键帧图像中所选择的点经如S301至步骤S302所述步骤拟合所得的平面，也可以理解为拟合得到构成建筑主体结构的平面或部分平面。可以理解的，在拟合得到第一类平面时，进一步获取拟合所得第一类平面的特征信息。如上所述，第一类平面的特征信息至少包括：第一类平面在其所在的深度图像中相机坐标系中的位置信息、第一类平面中所包含的点的数量、第一类平面到相机的距离、第一类平面的中心坐标等等。

进一步的，请参见图4，为本申请三维图像构建的方法在又一实施例中的部分流程示意图。图4所示的实施例中，会进一步对步骤S401和步骤S402拟合所得的第一类平面做进一步的优化(当前实施例中的步骤S401与S402与上述图3中步骤S301和步骤S302相同的，均是提取到第一类平面)。其中步骤S401与步骤S402请参见上述图3中步骤S301和步骤S302的阐述，在此不做赘述。

S401：在关键帧图像中，提取用户选择的每一个点的第一预设邻域内的第一预设数量的点，以获得第一点集合。

S402：基于第一点集合中的点在与关键帧图像对应的相机坐标系中的位置信息，拟合得到第一类平面。

S403：将第一类平面作为参考平面，并在关键帧图像中，查找出属于参考平面或与参考平面的距离差小于或等于预设阈值的点，以获得第二点集合。

可以理解的，在不同的实施例中，对于第二点集合的设定与定义不相同。在一实施例中，可设定查找参考帧图像中所有属于参考平面的点构成第二点集合。在另一实施例中，设定所有属于参考平面的点以及所有与参考平面的距离小于或等于预设阈值的点共同构成第二点集合。

其中，查找出属于参考平面的点，可以理解成求取当前关键帧图像中所有位置信息可以满足参考平面(即是上述步骤中拟合所得的第一类平面)方程的点。如，上述步骤S402拟合所得的第一类平面为：Ax+By+Cz+n＝0，则查找属于参考平面的点即是查找出当前关键帧中所有位置信息可以满足Ax+By+Cz+n＝0的点。

查找所有与参考平面距离差小于或等于预设阈值的点，即这一类的点可在参考平面的上方也在参考平面的下方，且与参考平面的距离差满足在小于或等于预设阈值。其中，预设阈值的设定是基于经验值设定，具体可以根据实际的需要进行调整，当对于精确度的要求相对严格时，会进一步的将所该预设阈值设置略小，具体依据实际的需要进行设定调整，在此不做限定。

S404：基于第二点集合中的点在与关键帧图像对应的相机坐标系中的位置信息，重新拟合得到第一类平面。

在步骤S403中，进一步获取了当前帧图像中所有属于所拟合的第一类平面的点构成第二点集合及其在关键帧图像中所对应的相机坐标系中的位置信息，步骤S404则是进一步基于第二点集合重新拟合得到第一类平面，也可以理解成是对步骤S402中拟合所得的第一类平面进行优化调整。

进一步的，在一实施例中，当步骤S404中拟合所得新第一类平面不符合预设要求时，则进一步重复如S403和S404所述的步骤，以得到一个更加符合预设要求的第一类平面。其中，预设要求包括：重复次数达到预设次数和/或第一类平面与参考平面间的差异程度低于预设程度值，所述预设次数大于或等于零。

在一实施例中，预设要求是重复次数达到预设次数。其中，重复次数达到预设次数是指设定重复步骤S403和S404设定的次数，以拟合出更加准确的第一类平面。即将步骤S402或者是S404拟合所得的第一类平面作为参考平面，在关键帧图像中查找出属于参考平面或者是与参考平面距离差小于或等于预设阈值的点，再次获得第二点集合，再基于第二点集合重新拟合出新的第一类平面，判断是否重复步骤S403和S404达到预设次数，重复达到预设次数时，可进一步判断所得的第一类平面是否是有效的(下文将详述)；当重复不足预设次数时，判断拟合所得新第一类平面不符合预设要求，继续重复步骤S403和S404。可以理解的是，该预设次数可以为大于或等于零的任意数，若该预设次数为零，则无需重复执行步骤S403和S404。

在另一实施例中，预设要求是第一类平面与参考平面间的差异程度低于预设程度值。其中，当步骤S404拟合得到新的第一类平面后，进一步将新的第一类平面与该平面的参考平面进行比较，以判断新的第一类平面与参考平面间的差异程度是否低于预设程度值。可以理解的，平面与平面的差异程度值可以基于拟合所得平面方程进行比较，当两个平面对应系数差小于或等于所设定的预设差值时，判断两个平面的差异程度低于预设程度值，则判断第一类平面符合预设要求，并可进一步判断拟合所得第一类平面的有效性(参见下文)；当新拟合所得第一类平面与参考平面间的差值大于所设定的预设差值时，判断两个平面的差异程序大于预设程度值，则判断拟合所得的第一类平面不符合预设要求，则进一步重复步骤S403和步骤S404。

进一步的，在一实施例中，在执行步骤S404并确定符合预设要求之后还包括：判断步骤S404中拟合所得第一类平面的有效性。具体包括：根据第一点集合与第二点集合的交集的点数量，判断第一类平面是否有效，并在第一类平面有效时，保留第一类平面，在第一类平面无效时，剔除第一类平面。其中，第一类平面的有效性是指判断所提取的第一类平面是否是准确的。当判断拟合所得第一类平面是有效的，则会保留拟合所得的第一类平面，同时保留该第一类平面所对应的特征信息；反之，当判断该第一类平面是无效的，进一步剔除该平面及其对应的平面特征信息。

在一实施例中，根据第一点集合与第二点集合的交集的点数量，判断第一类平面是否有效的步骤包括：获得第一点集合与第二点集合的交集的点数量，判断获得的点数量与第一点集合的点数量之间的比值是否达到预设比值，若是，则第一类平面有效，否则第一类平面无效。如，设第一点集合中点的数量为kr²，第二点集合与第一点集合交集的点数量为m，则设定预设比值时97％，当m/kr²大于或等于97％时，则判断拟合所得的第一类平面是有效的，保留拟合所得第一类平面，反之则是无效的，剔除拟合所得第一类平面。

进一步的，请参见图5，为本申请一种三维图像构建的方法在再一实施例中的部分流程示意图。在图5所示的实施例中，获取第一类平面的特征信息的步骤进一步包括步骤S501和步骤S502。具体的：

S501：通过显示界面向用户显示第一类平面，并获取用户输入的第一类平面的标签信息。

将提取得到的第一类平面输出至显示界面，以突出显示给用户，提示用户可以为所输出的第一类平面添加标签信息。其中，标签信息可以是预先设定包含预设内容(预设的标签包括：承重墙、墙体、地面、台阶、屋顶等等)的标签，供用户选择添加；当然标签信息具体内容还可以由用户添加在此不做限定。

进一步的，由于标签是具有约束作用，所以在某些实施例中，当用户添加标签后，会进一步基于标签信息，再次校验第一类平面的准确性。如，当用户添加的标签是：承重墙，由于承重墙必须与地面垂直，那么会进一步验证提取所得第一类平面与其对应的地面是否是垂直的，当验证得到第一类平面与其对应的地面垂直时，则判断该第一类平面准确有效；反之则判断该第一类平面的不准确或者是判断该平面存在误差等等，提示用户是否需要重新处理该帧图像。

S502：将标签信息以及第一类平面的平面特征信息作为第一类平面的特征信息。

将用户所添加的标签信息以及提取第一类平面时所获取的平面特征信息保存至一起，共同作为第一类平面的特征信息，以供平面配准或融合全局图或部分全局图时调用。

请参见图6，图6是本申请在又一实施例中的部分流程示意图。具体的，图6所示实施例是对普通帧图像中第二类平面的提取或关键帧图像中的第二类平面的提取做进一步的阐述。即是对步骤：基于关键帧图像中除第一类平面外的若干点提取第二类平面的步骤或基于普通帧图像中的若干点提取第二类平面，做进一步阐述。其中，

S601：提取普通区域中每个点的第二预设邻域内的第二预设数量的点，以获得普通区域中每个点对应的第三点集合。

其中，普通区域为关键帧图像中除第一类平面外的区域，又或者是普通帧图像的整个区域。在一实施例中，第二预设邻域是以面积衡量大小的区域，即提取以普通区域中每个点为中心预设面积内的第二预设数量的点，预设面积是指以每个点为中心，r为半径的预设面积内第二预设数量的点，构成第三点集合，第二预设数量可以根据实际的需要进行调整设定大小。在另一实施例中，第二预设区域还可以是以数量进行衡量大小的区域，提取普通区域内每一个点周围预设数量范围内第二预设数量的点，并构成第三点集合，且第二预设数量根据实际的需要进行调整设定大小。

可以理解的，由于步骤S601中提取的是普通区域内每个点的第二预设区域内的第二预设数量的点，所以步骤S601中至少会提取到多个第三点集合，用于拟合所需的第二类平面。

S602：采用最小二乘法，对每个的第三点集合进行平面拟合，并在平面拟合成功时，获得普通区域中的相应点的拟合平面的法向量。

对于上述步骤S601中所提取所得的每个点所对应的第三点集合，采用最小二乘法拟合平面。对拟合成功的平面，进一步获取该平面所对应的法向量。可以理解的，对于拟合平面失败的第三点集合所对应的点直接删除，仅采用成功拟合出平面的第三点集合所对应的点去进一步获取第二类平面。

S603：对普通区域中获得法向量的点进行归并，以组合形成第二类平面。

普通区域中获得法向量的点，即是上述步骤S602中成功拟合出平面的第三点集合所对应的点。由于第三点集合是普通区域内每个点的预设邻域内的第二预设数量的点，所以基于第三点集合所拟合出的平面所对应的法向量既可以看成是第三点集合中任何一个点的法向量。所以对于已获得法向量的点，会进一步对其做归并操作获取到第二类平面。

进一步的，上述步骤S603对普通区域中获得法向量的点进行归并，以组合形成第二类平面的步骤进一步包括：在普通区域中获得法向量的点中，选择满足同向性和共面性的点归并到同一点集合，以得到第二类平面。

其中，同向性(co-normality)是描述两点的拟合平面法向一致性的度量，定义如下：α＝cos^-1(n₁·n₂)。在得到两个点的法向量n1和n2之间夹角，并将夹角α与所设定的阈值α_thresh进行比对，如果α小于此阈值，则判断此时两个点是具有同向性的。

共面性(co-planarity)是描述两点的拟合平面在距离上的临近性，具体定义如下：

d＝max(|r₁₂·n₁|,|r₁₂·n₂|)

其中r₁₂表示这两点之间的距离，|r₁₂·n₁|和|r₁₂·n₂|分别表示的其中一个点到另一个点所在平面上在法向量方向上的距离，也可以理解成是一个点到另一个点所在平面上最小的距离，所以公式d＝max(|r₁₂·n₁|,|r₁₂·n₂|)是求解两个点所在平面间距离。所以需要设定阈值d_thresh，如果d小于此阈值，则判断两点之间满足共面性。

将两两同时满足同向性和共面性的点归并到同一集合，最后得到新的点集合。由于同一集合内的任意两点满足同向性和共面性度量，因而基于点的同向性和共面性对点进行归并得到的同一集合中的点均处于同一平面上。不同的集合上的点则分属不同的平面。在经过对满足同向性和共面性的点归并到同一点集合得到第二类平面后，会进一步获取第二类平面的特征信息。所获取的第二类平面的特征信息至少包括：该平面的所包含的点数量、该平面到相机的距离以及该平面的中心坐标。用于融合配准。

由于相机在获取场景的图像时，每次只能获取相机角度所对应的部分场景，为了构建相对较完整的场景的三维图像，可以采用旋转和平移来改变相机的所覆盖的场景内容，获取完整的场景图，最终再基于相邻帧之间的配准，求解每一次的旋转和平移变换的量。

进一步的，请参见图7，为本申请三维图像构建的方法又一实施例中的部分流程示意图。图7所示的实施例是对图1所示的实施例中步骤S140图像相邻帧的配准进行进一步的阐述，由图可知上述步骤S140利用提取的平面的特征信息，对多帧深度图像的至少部分相邻帧深度图像进行配准进一步包括：S701至步骤S704。

S701：基于至少两种预设特征配对策略，将相邻帧深度图像中提取的平面进行配对，得到特征信息匹配的若干组平面对。其中，至少两种预设特征配对策略包括以下至少两种：

对特征信息之间的差异低于设定差异值的平面优先配对。关于如何求取特征信息之间的差异将在下文详述。

对第一类平面优先配对，由于第一类平面是基于用户所选择的点遵循设定的规则获取预设数量的点集合，最终拟合得到的，所以准确性相对更高，也是构成三维图像的主要部分，所以需要优先配对。

对点数量多的平面优先配对，点数量较多的平面存在误差的可能要比点数量较少的平面要小，所以设定优先配对。

对靠近所在图像的中间位置的平面优先配对，靠近图像中间位置的平面准确性更高，所以可以优先配对。在一实施例中，由于相邻两帧图像的相机的姿态变化不大，进而在相邻两帧图像中提取到的平面特征变化也不是很大。具体对于相邻帧图像中的平面的配对采用如下方法，确定连续两帧A(前一帧)与B(后一帧)中的配对平面：设A帧中所提取的平面包括：

共k个关键平面，m个普通平面；B帧为后一帧图像，B帧中所提取的平面包括：

计算A帧图像和B帧图像中的平面两两之间的特征信息的差异(简称特征差，也可以称之为配准误差)，可采用如下公式计算：

其中，N^A，d^A，P^A为A帧某平面的特征；N^B，d^B，P^B为B帧某平面的特征；dis(P^A,P^B)表示求P^A与P^B点坐标的距离。

S702：利用若干组平面对中的第三预设数量的平面对，计算得到相邻帧深度图像间的旋转矩阵和平移向量。

在一实施例中，求解相邻帧深度图像间的旋转矩阵具体如下所述：对于所提取的每一个平面，我们可以用(n,m)来描述。其中n为该平面的法向量，而m为属于该平面的点集的重心。选取第三预设数量相对应的平面对，可将第三预设数量记为k个(依据经验值多设定k为3)。不妨设在第一组点云(第一组点云指的是连续两帧中的前一帧)中选取的第i个平面的法向和重心分别为n_i和m_i，与之对应的在第二组点云(第一组点云指的是连续两帧中的后一帧)中的第i个平面的法向和重心分别是n_i'和m_i'。同时，我们为每一对平面特征设定一个取值在[0,1]的权值w_i，用来表示该组对应特征在匹配中的重要程度。然后，就可以开始计算相邻两帧图像间的刚性变换(R,t)，其中刚性变换即是旋转矩阵R和平移向量t。

由于每一个刚性变换可以分成两步，先作一个旋转，然后进行平移。而对于法向量这种方向向量而言，平移对其没有作用。因此，将对刚性变换的计算分成两步，首先利用对应平面特征的法向量求解出R，再结合重心求解出t。

理想的情况下，对于任意的第i组对应的平面特征对，都应该有：

n_i'-Rn_i＝0

因此，我们通过对下式的最小化来求解R。

这里采用了单位四元数的方法来进行求解。

设与R对应的单位四元数为q，则有：

其中，p为一个三维向量，

是q的共轭，∧表示两四元数的乘法。于是有：

其中，Ai是一个4×4的反对称矩阵：

而对于一个三维向量v＝(x,y,z)^T

这里，设

则，A为一个对称矩阵。且上式最后可化为：

E＝q^TAq

又q为单位四元数，因此有约束q^Tq＝1。利用拉格朗日乘子法，使得E最小的q应该满足：

即

于是，有：

Aq＝λq

可见，q是A的一个特征向量，在讲上式代回到E＝q^TAq，有

E＝λ

因此，E能取到的最小值实际上就是A的最小特征值，而此时，q应该取这个最小特征值对应的特征向量。

计算出q，就可以方便的求出与之对应的旋转变换矩阵R。

进一步的，接下来需要求解平移向量t。对t的求解比较简单，假设前面计算出的旋转矩阵为

我们通过最小化下式来求t。

直接对t求导，并令导数为0，可得：

求解此线性方程组，即得到了平移向量t。这样最后就可以得到刚性变换(R,t)。

S703：基于旋转矩阵和平移向量，对相邻帧深度图像进行配准，并参考配准结果，计算每组平面对的配准误差。

在求取得到相邻两帧间的刚性变换(R,t)后，进一步将前一帧图像中的点云或者前一帧图像中所提取的平面的点云位置信息做刚性变换(R,t)，进一步将变换后得到的前一帧中点云的坐标信息与当前帧中的点云信息，或者变换后所得前一帧中的所提取的平面的点云信息与之匹配的当前帧所提取的平面点云的位置信息进行配准，保留配准成功的点云的信息，以便构成三维图像。

在基于旋转矩阵和平移向量，对相邻帧深度图像完成配准后，进一步参考配准的结果，计算每组平面对的配准误差。关于配准误差的求取请参见前文中平面特征信息的差异的求取。

S704：在包括同一平面的多组平面对中，选择配准误差最小的平面对作为相邻帧深度图像的匹配的平面对。

由步骤S701可以得知，采用至少两种预设特征配对策略对相邻帧深度图像中提取的平面进行配对，所以在不同的配对策略下，同一平面的会与不同的平面匹配成功。所以需要对不同配对策略所得的且包括同一平面的多组平面对中，进一步比较选取在不同的配对策略下配准误差最小的平面对作为相邻两帧深度图像的匹配的平面对，可以进一步保证所构建的三维图像的准确性。

进一步的，在一实施例中，步骤S704之后，本实施例方法还包括：若匹配的平面对中的一个平面为第一类平面且另一个平面为第二类平面，则将另一个平面更新为第一类平面。如，前一帧中的一个第一类平面与后一帧中的第二类平面是匹配平面，所以此时会将后一帧中的第二类平面更新为第一类平面。

需要说明的是，在相邻帧图像中的平面配准中，可以设定相邻两帧中至少有超过一定数量的且两两不平行的平面作为特征，方可完成相邻帧的配准。但如果，在前文所述的步骤中，某一帧图像中所提取的平面的数量不足时，可以进一步基于相邻帧图像的特征点的提取与匹配完成配准，具体不再详述特征点的提取与匹配的细节。

请参见图8，为本申请一种三维图像构建的装置800在一实施例中的结构示意图。该三维图像构建的装置800包括：处理器801，以及与处理器801耦接的存储器802。其中，存储器802存储程序数据，处理器801运行程序数据时，执行三维图像构建的方法，以实现如图1至图7所对应的各个实施例所对应的情况。

进一步的，请同时参见图8和图9，三维图像构建的装置还包括：人机接口组件803或人机交互组件901。

其中，人机接口组件803用于将深度图像输出至外部显示装置，以及输入外部输入装置产生的用户所选择的深度图像中的点的信息。

人机交互组件901用于显示深度图像，以及产生的用户所选择的深度图像中的点的信息。在一实施例中，所图9所示的人机交互组件901为触控显示屏。

进一步的，请参见图10，为本申请一种三维图像构建的装置1000在另一实施例中的结构示意图，由图可知在当前实施例中，三维图像构建的装置1000进一步包括：通信接口1001。通信接口1001用于耦接本装置之外的拍摄装置1010，以获取拍摄装置1010拍摄所得的深度图像。

进一步的，请参见图11，为本申请一种三维图像构建的装置在一实施例中的结构示意图。在当前实施例中，本申请所提供的三维图像构建的装置1100除包括图8所示的电路之外，还包括拍摄组件1101，用于拍摄场景，以得到场景的深度图像数据。

上述拍摄装置和拍摄组件具体可以为上述方法实施例中的相机。

参见图12，本申请还提供一种具有存储功能的装置1200。该装置存储有程序数据，该程序数据被执行时实现如上所述三维图像构建的方法及各个实施例中所描述的方法。具体的，上述具有存储功能的装置1200可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种三维图像构建的方法，其特征在于，所述方法包括：

获取多帧深度图像，并对每帧深度图像进行显示；

检测用户是否选择所述显示的深度图像中的点，并将检测到被选择的深度图像确定为关键帧图像，将其余深度图像确定为普通帧图像；

提取每帧深度图像中的平面，并获取所述提取的平面的特征信息；其中，

对于所述关键帧图像，提取所述用户选择的每一个点的第一预设邻域内的第一预设数量的点，以获得第一点集合；基于所述第一点集合中的点在与所述关键帧图像对应的相机坐标系中的位置信息，拟合得到第一类平面；将所述第一类平面作为参考平面，并在所述关键帧图像中，查找出属于所述参考平面或与所述参考平面的距离差小于或等于预设阈值的点，以获得第二点集合；基于所述第二点集合中的点在与所述关键帧图像对应的相机坐标系中的位置信息，重新拟合得到所述第一类平面；并获取所述第一类平面的特征信息，且基于所述关键帧图像中除所述第一类平面外的若干点提取第二类平面，并获取所述第二类平面的特征信息；

对于所述普通帧图像，基于所述普通帧图像中的若干点提取第二类平面，并获取所述第二类平面的特征信息；

利用所述提取的平面的特征信息，对所述多帧深度图像的至少部分相邻帧深度图像进行配准；

融合所述配准的结果，构建得到三维图像。

2.根据权利要求1所述的三维图像构建的方法，其特征在于，所述基于所述第二点集合中的点在与所述关键帧图像对应的相机坐标系中的位置信息，重新拟合得到所述第一类平面的步骤之后还包括：

若当前状态不符合预设要求，则重复所述将所述第一类平面作为参考平面，并在所述关键帧图像中，查找出属于所述参考平面或与所述参考平面的距离差小于或等于预设阈值的点，以获得第二点集合；基于所述第二点集合中的点在与所述关键帧图像对应的相机坐标系中的位置信息，重新拟合得到所述第一类平面的步骤，直至符合所述预设要求，其中，所述预设要求为重复次数达到预设次数和/或所述第一类平面与所述参考平面间的差异程度低于预设程度值，所述预设次数大于或等于零。

3.根据权利要求2所述的三维图像构建的方法，其特征在于，在符合所述预设要求后，所述方法还包括：

根据所述第一点集合与第二点集合的交集的点数量，判断所述第一类平面是否有效，并在所述第一类平面有效时，保留所述第一类平面，在所述第一类平面无效时，剔除所述第一类平面。

4.根据权利要求3所述的三维图像构建的方法，其特征在于，所述根据所述第一点集合与第二点集合的交集的点数量，判断所述第一类平面是否有效的步骤包括：

获得所述第一点集合与第二点集合的交集的点数量，判断所述获得的点数量与所述第一点集合的点数量之间的比值是否达到预设比值，若是，则所述第一类平面有效，否则所述第一类平面无效。

5.根据权利要求1所述的三维图像构建的方法，其特征在于，所述获取所述第一类平面的特征信息的步骤包括：

通过显示界面向用户显示所述第一类平面，并获取所述用户输入的所述第一类平面的标签信息；

将所述标签信息以及所述第一类平面的平面特征信息作为所述第一类平面的特征信息。

6.根据权利要求1所述的三维图像构建的方法，其特征在于，所述基于所述关键帧图像中除所述第一类平面外的若干点提取第二类平面的步骤或所述基于所述普通帧图像中的若干点提取第二类平面的步骤进一步包括：

提取普通区域中每个点的第二预设邻域内的第二预设数量的点，以获得所述普通区域中每个点对应的第三点集合，其中所述普通区域为关键帧图像中除所述第一类平面外或所述普通帧图像的整个区域；

采用最小二乘法，对每个所述第三点集合进行平面拟合，并在所述平面拟合成功时，获得所述普通区域中的相应点的拟合平面的法向量；

对所述普通区域中获得所述法向量的点进行归并，以组合形成第二类平面。

7.根据权利要求6所述的三维图像构建的方法，其特征在于，所述对所述普通区域中获得所述法向量的点进行归并，以组合形成第二类平面的步骤进一步包括：

在所述普通区域中获得所述法向量的点中，选择满足同向性和共面性的点归并到同一点集合，以得到所述第二类平面。

8.根据权利要求1所述的三维图像构建的方法，其特征在于，所述利用所述提取的平面的特征信息，对所述多帧深度图像的至少部分相邻帧深度图像进行配准的步骤进一步包括：

基于至少两种预设特征配对策略，将所述相邻帧深度图像中所述提取的平面进行配对，得到特征信息匹配的若干组平面对；

利用所述若干组平面对中的第三预设数量的平面对，计算得到所述相邻帧深度图像间的旋转矩阵和平移向量；

基于所述旋转矩阵和所述平移向量，对所述相邻帧深度图像进行配准，并参考所述配准结果，计算每组所述平面对的配准误差；

在包括同一平面的多组所述平面对中，选择配准误差最小的平面对作为所述相邻帧深度图像的匹配的平面对。

9.根据权利要求8所述的三维图像构建的方法，其特征在于，在所述在包括同一平面的多组所述平面对中，选择配准误差最小的平面对作为所述相邻帧深度图像的匹配的平面对的步骤之后，所述方法还包括：

若所述匹配的平面对中的一个平面为第一类平面且另一个平面为第二类平面，则将所述另一个平面更新为第一类平面；

和/或，所述至少两种预设特征配对策略包括以下至少两种：

对特征信息之间的差异低于设定差异值的平面优先配对；

对所述第一类平面优先配对；

对点数量多的平面优先配对；

对靠近所在图像的中间位置的平面优先配对。

10.根据权利要求1所述的三维图像构建的方法，其特征在于，在所述融合所述配准的结果，构建得到三维图像的步骤之后，所述方法还包括：

调用预设算法，对在采集所述多帧深度图像时的相机位姿序列、所述提取的平面特征信息进行优化；

利用优化后的所述相机位姿序列，对所述构建的三维图像进行调整，得到调整后的所述三维图像。

11.一种三维图像构建的装置，其特征在于，所述装置包括：处理器，以及与所述处理器耦接的存储器，所述装置还包括人机接口组件或人机交互组件；所述存储器存储程序数据，所述处理器运行所述程序数据时，用于执行如权利要求1～10任一项所述的方法；所述人机接口组件用于将深度图像输出至外部显示装置，以及输入外部输入装置产生的用户所选择的所述深度图像中的点的信息；所述人机交互组件用于显示深度图像，以及产生的用户所选择的所述深度图像中的点的信息。

12.根据权利要求11所述的三维图像构建的装置，其特征在于，所述人机交互组件为触控显示屏；

所述装置还包括：

通信接口，所述通信接口用于耦接拍摄装置，以获取所述拍摄装置拍摄得到的深度图像数据；或者，拍摄组件，用于拍摄得到的深度图像数据。

13.一种具有存储功能的装置，其特征在于，所述装置存储有程序数据，所述程序数据被执行时实现如权利要求1～10任一项所述的方法。

Images