CN112950759A - 基于房屋全景图的三维房屋模型构建方法及装置 - Google Patents

Abstract

本公开的实施例公开了一种基于房屋全景图的三维房屋模型构建方法及装置。该方法包括：利用房屋全景图，生成初始三维房屋模型；对房屋全景图进行物品识别，以得到物品识别结果；根据物品识别结果，在初始三维房屋模型中，生成房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数；根据房屋全景图，对N个三维物品模型分别进行贴图处理；根据N个三维物品模型经贴图处理后的初始三维房屋模型，获得目标三维房屋模型。与相关技术相比，本公开的实施例中基于房屋全景图构建出的三维房屋模型能够体现的信息更加丰富，且展示效果更加直观和真实，这样能够有效地提升模型展示效果和用户体验。

Description

基于房屋全景图的三维房屋模型构建方法及装置

技术领域

本公开涉及三维建模技术领域，尤其涉及一种基于房屋全景图的三维房屋模型构建方法及装置。

背景技术

在一些情况下，需要利用房屋全景图构建出三维房屋模型，但采用目前的技术构建出的三维房屋模型一般仅能够体现真实房屋的空间结构信息，而完全无法体现其它方面的信息，这样，采用目前的技术构建出的三维房屋模型能够体现的信息较少，模型展示效果和用户体验均较差。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种基于房屋全景图的三维房屋模型构建方法及装置。

根据本公开实施例的一个方面，提供了一种基于房屋全景图的三维房屋模型构建方法，包括：

利用房屋全景图，生成初始三维房屋模型；

对所述房屋全景图进行物品识别，以得到物品识别结果；

根据所述物品识别结果，在所述初始三维房屋模型中，生成所述房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数；

利用所述房屋全景图，对所述N个三维物品模型分别进行贴图处理；

根据所述N个三维物品模型经贴图处理后的所述初始三维房屋模型，获得目标三维房屋模型。

在一个可选示例中，所述根据所述物品识别结果，在所述初始三维房屋模型中，生成所述房屋全景图中的N个指定物品对应的N个三维物品模型，包括：

根据所述物品识别结果，确定目标指定物品在所述房屋全景图中的M个基准点；其中，所述目标指定物品为所述房屋全景图中的N个指定物品中的任一指定物品，M为大于或等于3的整数；

将所述M个基准点映射至所述初始三维房屋模型，以确定所述初始三维房屋模型中的M个映射点；

根据所述M个映射点，确定所述初始三维房屋模型中的拉伸基准面；

确定所述目标指定物品对应的拉伸参数；

按照所述目标指定物品对应的拉伸参数，对所述拉伸基准面进行拉伸处理，以在所述初始三维房屋模型中，生成所述目标指定物品对应的三维物品模型。

在一个可选示例中，所述根据所述N个三维物品模型经贴图处理后的所述初始三维房屋模型，获得目标三维房屋模型，包括：

确定经贴图处理后的所述N个三维物品模型各自的碎片部分；

从所述N个三维物品模型经贴图处理后的所述初始三维房屋模型中，删除所确定的碎片部分，以得到目标三维房屋模型。

在一个可选示例中，所述拉伸参数包括拉伸方向和拉伸距离；

所述确定经贴图处理后的所述N个三维物品模型各自的碎片部分，包括：

确定目标平面；其中，所述拉伸方向为由所述拉伸基准面指向所述目标平面的方向，所述目标平面平行于所述拉伸基准面且与所述拉伸基准面的距离为所述拉伸距离；

确定所述目标指定物品对应的三维物品模型的、与所述拉伸基准面相对的表面；

检测所确定的表面相对于所述目标平面的凸出部分，并将所确定的凸出部分作为所述目标指定物品对应的三维物品模型的碎片部分。

在一个可选示例中，所述利用所述房屋全景图，对所述N个三维物品模型分别进行贴图处理，包括：

获取目标三维物品模型的特征信息；其中，所述目标三维物品模型为所述N个三维物品模型中的任一三维物品模型；

根据所述特征信息，确定与所述目标三维物品模型匹配的图像映射方式；

按照所述图像映射方式，利用所述房屋全景图，对所述目标三维物品模型进行贴图处理。

在一个可选示例中，所述根据所述特征信息，确定与所述目标三维物品模型匹配的图像映射方式，包括：

在根据所述特征信息，确定所述目标三维物品模型的指定表面的平坦度满足预设条件的情况下，确定与所述目标三维物品模型匹配的图像映射方式为自动平面映射方式；

或者，

在根据所述特征信息，确定所述初始三维房屋模型中，所述目标三维物品模型的预设距离范围内不存在其它三维物品模型的情况下，确定与所述目标三维物品模型匹配的图像映射方式为虚拟相机映射方式。

在一个可选示例中，所述对所述房屋全景图进行物品识别，以得到物品识别结果，包括：

获取预先训练的、用于从图像中识别出指定物品的物品识别模型；

将所述房屋全景图输入所述物品识别模型，以获得所述物品识别模型输出的物品识别结果。

根据本公开实施例的另一个方面，提供了一种基于房屋全景图的三维房屋模型构建装置，包括：

第一生成模块，用于利用房屋全景图，生成初始三维房屋模型；

第一获取模块，用于对所述房屋全景图进行物品识别，以得到物品识别结果；

第二生成模块，用于根据所述物品识别结果，在所述初始三维房屋模型中，生成所述房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数；

处理模块，用于利用所述房屋全景图，对所述N个三维物品模型分别进行贴图处理；

第二获取模块，用于根据所述N个三维物品模型经贴图处理后的所述初始三维房屋模型，获得目标三维房屋模型。

在一个可选示例中，所述第二生成模块，包括：

第一确定子模块，用于根据所述物品识别结果，确定目标指定物品在所述房屋全景图中的M个基准点；其中，所述目标指定物品为所述房屋全景图中的N个指定物品中的任一指定物品，M为大于或等于3的整数；

第二确定子模块，用于将所述M个基准点映射至所述初始三维房屋模型，以确定所述初始三维房屋模型中的M个映射点；

第三确定子模块，用于根据所述M个映射点，确定所述初始三维房屋模型中的拉伸基准面；

第四确定子模块，用于确定所述目标指定物品对应的拉伸参数；

生成子模块，用于按照所述目标指定物品对应的拉伸参数，对所述拉伸基准面进行拉伸处理，以在所述初始三维房屋模型中，生成所述目标指定物品对应的三维物品模型。

在一个可选示例中，所述第二获取模块，包括：

第五确定子模块，用于确定经贴图处理后的所述N个三维物品模型各自的碎片部分；

第一获取子模块，用于从所述N个三维物品模型经贴图处理后的所述初始三维房屋模型中，删除所确定的碎片部分，以得到目标三维房屋模型。

在一个可选示例中，所述拉伸参数包括拉伸方向和拉伸距离：

所述第五确定子模块，包括：

第一确定单元，用于确定目标平面；其中，所述拉伸方向为由所述拉伸基准面指向所述目标平面的方向，所述目标平面平行于所述拉伸基准面且与所述拉伸基准面的距离为所述拉伸距离；

第二确定单元，用于确定所述目标指定物品对应的三维物品模型的、与所述拉伸基准面相对的表面；

第三确定单元，用于检测所确定的表面相对于所述目标平面的凸出部分，并将所确定的凸出部分作为所述目标指定物品对应的三维物品模型的碎片部分。

在一个可选示例中，所述处理模块，包括：

第二获取子模块，用于获取目标三维物品模型的特征信息；其中，所述目标三维物品模型为所述N个三维物品模型中的任一三维物品模型：

第六确定子模块，用于根据所述特征信息，确定与所述目标三维物品模型匹配的图像映射方式：

处理子模块，用于按照所述图像映射方式，利用所述房屋全景图，对所述目标三维物品模型进行贴图处理。

在一个可选示例中，所述第六确定子模块，具体用于：

在根据所述特征信息，确定所述目标三维物品模型的指定表面的平坦度满足预设条件的情况下，确定与所述目标三维物品模型匹配的图像映射方式为自动平面映射方式；

或者，

在根据所述特征信息，确定所述初始三维房屋模型中，所述目标三维物品模型的预设距离范围内不存在其它三维物品模型的情况下，确定与所述目标三维物品模型匹配的图像映射方式为虚拟相机映射方式。

在一个可选示例中，所述第一获取模块，包括：

第三获取子模块，用于获取预先训练的、用于从图像中识别出指定物品的物品识别模型：

第四获取子模块，用于将所述房屋全景图输入所述物品识别模型，以获得所述物品识别模型输出的物品识别结果。

根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述基于房屋全景图的三维房屋模型构建方法。

根据本公开实施例的又一个方面，提供了一种电子设备，包括：

处理器：

用于存储所述处理器可执行指令的存储器：

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述基于房屋全景图的三维房屋模型构建方法。

本公开的实施例中，在利用房屋全景图，生成初始三维房屋模型之后，可以根据对房屋全景图进行物品识别得到的物品识别结果，在初始三维房屋模型中，生成房屋全景图中的N个指定物品对应的N个三维物品模型，另外，还可以利用房屋全景图，对N个三维物品模型分别进行贴图处理，再之后，可以根据N个三维物品模型经贴图处理后的初始三维房屋模型，获得目标三维房屋模型，目标三维房屋模型可以认为是基于房屋全景图最终构建出的三维房屋模型。需要说明的是，N个三维物品模型经贴图处理后的初始三维房屋模型不仅能够体现真实房屋的空间结构信息，还能够体现真实房屋的物品信息，这样，根据N个三维物品模型经贴图处理后的初始三维房屋模型获得的目标三维房屋模型也能够同时体现真实房屋的空间结构信息和物品信息，因此，与相关技术相比，本公开的实施例中基于房屋全景图构建出的三维房屋模型能够体现的信息更加丰富，且展示效果更加直观和真实，这样能够有效地提升模型展示效果和用户体验。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开一示例性实施例提供的基于房屋全景图的三维房屋模型构建方法的流程示意图。

图2是本公开另一示例性实施例提供的基于房屋全景图的三维房屋模型构建方法的流程示意图。

图3是本公开的实施例中目标三维房屋模型的局部示意图。

图4是本公开再一示例性实施例提供的基于房屋全景图的三维房屋模型构建方法的流程示意图。

图5是本公开又一示例性实施例提供的基于房屋全景图的三维房屋模型构建方法的流程示意图。

图6是本公开一示例性实施例提供的基于房屋全景图的三维房屋模型构建装置的结构示意图。

图7是本公开另一示例性实施例提供的基于房屋全景图的三维房屋模型构建装置的结构示意图。

图8是本公开再一示例性实施例提供的基于房屋全景图的三维房屋模型构建装置的结构示意图。

图9是本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开实施例可以应用于终端设备、计算机***、服务器等电子设备，其可与众多其它通用或专用计算***环境或配置一起操作。适于与终端设备、计算机***、服务器等电子设备一起使用的众所周知的终端设备、计算***、环境和/或配置的例子包括但不限于：个人计算机***、服务器计算机***、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***、大型计算机***和包括上述任何***的分布式云计算技术环境，等等。

终端设备、计算机***、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。

示例性方法

图1是本公开一示例性实施例提供的基于房屋全景图的三维房屋模型构建方法的流程示意图。图1所示的方法包括步骤101、步骤102、步骤103、步骤104和步骤105，下面对各步骤分别进行说明。

步骤101，利用房屋全景图，生成初始三维房屋模型。

这里，可以先利用相机等图像拍摄设备，从多个不同的角度对真实房屋进行拍摄，以得到多张拍摄图像，例如从6个不同的角度对真实房屋进行拍摄，以得到6张拍摄图像。

接下来，可以对这6张拍摄图像进行图像拼接等处理，以生成1张房屋全景图，生成的房屋全景图可以用于初始三维房屋模型的生成。需要说明的是，初始三维房屋模型仅能够体现真实房屋的空间结构信息，而无法体现真实房屋的其它方面的信息，初始三维房屋模型也可以认为是真实房屋的空间结构模型。

步骤102，对房屋全景图进行物品识别，以得到物品识别结果。

这里，可以采用物品识别技术，对房屋全景图进行物品识别，以得到物品识别结果。可选地，采用物品识别技术，可以仅对房屋全景图中的指定物品进行识别，指定物品可以为一些大物品，例如床、沙发、茶几、餐桌等。

步骤103，根据物品识别结果，在初始三维房屋模型中，生成房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数。

这里，N可以为1、3、5、8、10、15等，在此不再一一列举。

在得到物品识别结果之后，根据物品识别结果，可以确定房屋全景图中的所有指定物品，在此基础上，可以进一步确定步骤103中的N个指定物品，具体地，N个指定物品可以包括房屋全景图中的所有指定物品，或者，N个指定物品可以仅包括房屋全景图中的部分指定物品。

接下来，针对N个指定物品中的每个指定物品，可以在初始三维房屋模型中的合适位置生成相应的三维物品模型，这样，初始三维房屋模型会具有N个三维物品模型，N个指定物品与N个三维物品模型之间可以为一一对应的关系。

步骤104，利用房屋全景图，对N个三维物品模型分别进行贴图处理。

这里，可以通过图像映射方式，利用房屋全景图，对N个三维物品模型分别进行贴图处理，图像映射方式包括但不限于自动纹理映射方式、自动平面映射方式、虚拟相机映射方式等。

可以理解的是，自动纹理映射方式的实现原理可以为：首先在体素三维重建模型上，为每一个目标表面体素建立高斯混合模型来描述该体素的颜色在不同图像上观测值的分布；然后利用输入的序列图像及对应的相机参数，结合场景的可见性约束，用图像每一个像素的颜色信息更新三维场景模型中它所对应的体素的高斯混合模型；最后用高斯混合模型的期望估计体素的实际颜色纹理，以得到准确精细的三维建筑物纹理模型。

自动平面映射方式的实现原理可以为：首先从输入结构中删除uv坐标(其为uv纹理贴图坐标的简称，其定义了图像上每个点的位置的信息)；然后在顶点着色器中计算新的uv坐标，具体地，可以将uv坐标设置为对象坐标的x和z值；接下来进行可调平铺处理，以修复纹理缩放和平移；之后可以确定基于世界空间的纹理坐标，具体地，可以获得顶点坐标在世界空间中的位置，并将其用于设置uv坐标。

虚拟相机映射方式的实现原理可以为：标定设置物理相机和虚拟相机的内部参数和外部参数；分别计算从世界坐标系到虚拟相机坐标系和物理相机坐标系转换的旋转矩阵；建立虚拟图像坐标与世界坐标的关系；计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；将交点由世界坐标系转换到物理图像坐标系；建立虚拟图像坐标与物理图像坐标的关系；虚拟图像中每个点都建立映射关系，得到映射表Map，通过查表得到虚拟图像。

步骤105，根据N个三维物品模型经贴图处理后的初始三维房屋模型，获得目标三维房屋模型。

这里，在根据房屋全景图，对N个三维物品模型分别进行贴图处理之后，可以直接将N个三维物品模型经贴图处理后的初始三维房屋模型作为目标三维房屋模型；或者，可以对N个三维物品模型经贴图处理后的初始三维房屋模型进行进一步的模型优化处理，以得到目标三维房屋模型。

本公开的实施例中，在利用房屋全景图，生成初始三维房屋模型之后，可以根据对房屋全景图进行物品识别得到的物品识别结果，在初始三维房屋模型中，生成房屋全景图中的N个指定物品对应的N个三维物品模型，另外，还可以利用房屋全景图，对N个三维物品模型分别进行贴图处理，再之后，可以根据N个三维物品模型经贴图处理后的初始三维房屋模型，获得目标三维房屋模型，目标三维房屋模型可以认为是基于房屋全景图最终构建出的三维房屋模型。需要说明的是，N个三维物品模型经贴图处理后的初始三维房屋模型不仅能够体现真实房屋的空间结构信息，还能够体现真实房屋的物品信息，这样，根据N个三维物品模型经贴图处理后的初始三维房屋模型获得的目标三维房屋模型也能够同时体现真实房屋的空间结构信息和物品信息，因此，与相关技术相比，本公开的实施例中基于房屋全景图构建出的三维房屋模型能够体现的信息更加丰富，且展示效果更加直观和真实，这样能够有效地提升模型展示效果和用户体验。

在图1所示实施例的基础上，如图2所示，步骤103，包括：

步骤1031，根据物品识别结果，确定目标指定物品在房屋全景图中的M个基准点；其中，目标指定物品为房屋全景图中的N个指定物品中的任一指定物品，M为大于或等于3的整数。

这里，N可以为3、4、5、6等，在此不再一一列举。

需要说明的是，物品识别结果中可以包括目标指定物品在房屋全景图中的位置信息。假设目标指定物品为床，房屋全景图中的床可以模拟为一个长方形，物品识别结果中具体可以包括该长方形的4个角点的位置坐标，这4个角点即可作为步骤1031中的M个基准点。

步骤1032，将M个基准点映射至初始三维房屋模型，以确定初始三维房屋模型中的M个映射点。

由于初始三维房屋模型是利用房屋全景图生成的，通过分析和计算，可以确定出房屋全景图与初始三维房屋模型之间的转换关系(例如转换矩阵)。这样，在确定出步骤1031中的M个基准点之后，可以利用该转换关系，将这M个基准点一一地映射至初始三维房屋模型中，以确定初始三维房屋模型中的、与这M个基准点一一对应的M个映射点。

步骤1033，根据M个映射点，确定初始三维房屋模型中的拉伸基准面。

这里，在确定初始三维房屋模型中的M个映射点之后，可以确定由这M个映射点作为角点的平面，并将该平面作为初始三维房屋模型中的拉伸基准面。

在一个具体例子中，目标指定物品为床，对应于床，物品识别结果中具体包括4个角点的位置坐标，这4个角点分别为点A、点B、点C、点D.通过执行步骤1032，确定出点A对应的映射点为点A’，点B对应的映射点为点B’，点C对应的映射点为点C’，点D对应的映射点为点D’，则可以在初始三维房屋模型中确定平面A’B’C’D’，并将平面A’B’C’D’作为拉伸基准面。

步骤1034，确定目标指定物品对应的拉伸参数。

这里，拉伸参考包括但不限于拉伸方向、拉伸距离等。

可选地，目标指定物品对应的拉伸方向可以根据目标指定物品在真实房屋中的摆放情况确定，例如，床一般是水平摆放在地板上的，那么，在目标指定物体为床的情况下，目标指定物品对应的拉伸方向可以为垂直向上方向，在目标指定物品为其它物品的情况下，目标指定物品对应的拉伸方向可能为垂直向上方向或者其它方向。

可选地，可以预先设定一拉伸距离，该拉伸距离可以作为每个指定物品对应的拉伸距离，当然，根据实际情况，也可以预先针对不同指定物品设定不同的拉伸距离。

步骤1035，按照目标指定物品对应的拉伸参数，对拉伸基准面进行拉伸处理，以在初始三维房屋模型中，生成目标指定物品对应的三维物品模型。

这里，通过按照目标指定物品对应的拉伸参数，对拉伸基准面进行拉伸处理，可以拉伸出具有立体效果的三维物品模型，拉伸出的三维物品模型即为目标指定物品对应的三维物品模型。在目标指定物品为床的情况下，由于房屋全景图中的床模拟为一个长方形，目标指定物品对应的三维物品模型具体可以为一个长方体模型。

可见，本公开的实施例中，针对房屋全景图中的目标指定物品，基于由房屋全景图至初始三维房屋模型的点映射处理，可以在初始三维房屋模型中确定出合适的拉伸基准面，再结合为目标指定物品确定的合适的拉伸参数，可以通过拉伸处理，便捷可靠地在初始三维房屋模型中，生成目标指定物品对应的三维物品模型。

在一个可选示例中，根据N个三维物品模型经贴图处理后的初始三维房屋模型，获得目标三维房屋模型，包括：

确定经贴图处理后的N个三维物品模型各自的碎片部分；

从N个三维物品模型经贴图处理后的初始三维房屋模型中，删除所确定的碎片部分，以得到目标三维房屋模型。

这里，在根据房屋全景图，对N个三维物品模型分别进行贴图处理之后，可以确定经贴图处理后的N个三维物品模型各自的碎片部分，任一三维物品模型的碎片部分可以认为是本三维物品模型上本来不应该存在的部分。

在一种具体实施方式中，拉伸参数包括拉伸方向和拉伸距离；

确定经贴图处理后的N个三维物品模型各自的碎片部分，包括：

确定目标平面；其中，拉伸方向为由拉伸基准面指向目标平面的方向，目标平面平行于拉伸基准面且与拉伸基准面的距离为拉伸距离；

确定目标指定物品对应的三维物品模型的、与拉伸基准面相对的表面；

检测所确定的表面相对于目标平面的凸出部分，并将所确定的凸出部分作为目标指定物品对应的三维物品模型的碎片部分。

需要说明的是，在按照包括拉伸方向和拉伸距离的拉伸参数，对拉伸基准面进行拉伸处理，以生成目标指定物品对应的三维物品模型时，理想情况下，目标指定物品对应的三维物品模型的、与拉伸基准面相对的表面与拉伸基准面应当是完全平行的，那么，平行于拉伸基准面，且与拉伸基准面的距离为拉伸距离的目标平面与该表面应当是完全平齐的，但是，实际情况中往往并非如此，具体而言，由于各方面因素的影响，目标平面与该表面并非是完全平齐的，该表面的至少部分区域会凸出目标平面。有鉴于此，本实施方式中，可以确定该表面相对于目标平面的凸出部分，所确定的凸出部分可以认为是目标指定物品对应的三维物品模型上本来不应该存在的部分，所确定的凸出部分可以作为目标指定物品对应的三维物品模型的碎片部分。

按照与上段中类似的方式，还可以确定出N个三维物品模型中的其它三维物品模型的碎片部分，之后，可以从N个三维物品模型经贴图处理后的初始三维房屋模型中，删除所确定的所有碎片部分，以得到目标三维房屋模型，目标三维房屋模型的局部示意图可以如图3所示。

可见，本公开的实施例中，通过碎片部分的确定操作和删除操作，能够较好地保证最终得到的目标三维房屋模型的准确性和可靠性，从而有利于进一步提升模型展示效果和用户体验。

在图1所示实施例的基础上，如图4所示，步骤104，包括：

步骤1041，获取目标三维物品模型的特征信息；其中，目标三维物品模型为N个三维物品模型中的任一三维物品模型。

这里，目标三维物品模型的特征信息包括但不限于目标三维物品模型的尺寸信息、目标三维物品模型的各个表面的平坦度、目标三维物品模型的边界位置信息等；其中，边界位置信息可以用边界坐标进行表征。

步骤1042，根据特征信息，确定与目标三维物品模型匹配的图像映射方式。

需要说明的是，步骤1042的具体实施方式多样，下面进行举例介绍。

在一种具体实施方式中，步骤1042，包括：

在根据特征信息，确定目标三维物品模型的指定表面的平坦度满足预设条件的情况下，确定与目标三维物品模型匹配的图像映射方式为自动平面映射方式；

这里，目标指定物品可以为床，目标三维物品模型为床对应的三维物品模型，这时，目标三维物品模型的指定表面可以为上文中提及的目标指定物品对应的三维物品模型的、与拉伸基准面相对的表面。

具体实施时，可以从特征信息中，提取与拉伸基准面相对的表面的平坦度，并将该平坦度与预设平坦度进行比较。如果该平坦度大于预设平坦度，可以认为该平坦度满足预设条件，自动平面映射方式对于目标三维物品模型是适用的，因此，可以确定与目标三维物品模型匹配的图像映射方式为自动平面映射方式。如果该平坦度小于或等于预设平坦度，可以认为该平坦度不满足预设条件，自动平面映射方式对于目标三维物品模型是不适用的，因此，可以确定与目标三维物品模型匹配的图像映射方式为其它图像映射方式，例如为自动纹理映射方式。

在另一种具体实施方式中，步骤1042，包括：

在根据特征信息，确定初始三维房屋模型中，目标三维物品模型的预设距离范围内不存在其它三维物品模型的情况下，确定与目标三维物品模型匹配的图像映射方式为虚拟相机映射方式。

具体实施时，可以从特征信息中，提取目标三维物品模型的边界位置信息，然后结合边界位置信息，识别初始三维房屋模型中，目标三维物品模型的预设距离范围内是否存在其它三维物品模型。如果目标三维物品模型的预设距离范围内不存在其它三维物品模型，这说明目标三维物品模型与其它三维物品模型之间的边界足够明显，虚拟相机映射方式对于目标三维物品模型是适用的，因此，可以确定与目标三维物品模型匹配的图像映射方式为虚拟相机映射方式。如果目标三维物品模型的预设距离范围内存在其它三维物品模型，这说明目标三维物品模型与其它三维物品模型之间的边界可能不够明显，因此，可以确定与目标三维物品模型匹配的图像映射方式为其它图像映射方式，例如为自动纹理映射方式。

可见，以上两种实施方式中，均可以根据目标三维物品模型的特征信息，为目标三维物品模型选择合适的图像映射方式。

步骤1043，按照图像映射方式，利用房屋全景图，对目标三维物品模型进行贴图处理。

这里，在确定与目标三维物品模型匹配的图像映射方式之后，可以按照所确定的图像映射方式，对目标三维房屋模型进行全景图贴图，这样能够使目标三维物品模型具有真实的纹理效果，目标三维物品模型看起来会更加真实。

可见，本公开的实施例中，通过根据目标三维物品模型的特征信息确定图像映射方式，并按照所确定的图像映射方式进行目标三维物品模型的贴图处理，能够有效地保证贴图效果，这样有利于进一步提升模型展示效果和用户体验。

在图1所示实施例的基础上，如图5所示，步骤102，包括：

步骤1021，获取预先训练的、用于从图像中识别出指定物品的物品识别模型。

这里，可以先确定需要识别的各个指定物品，例如将床、沙发、茶几、餐桌作为需要识别的指定物品。接下来，可以获取用于模型训练的全景图，并由人工对这些全景图中出现的床、沙发、茶几、餐桌进行标注，之后，可以利用经标注的全景图，通过机器学习进行模型训练，以得到用于从图像中识别出指定物品的物品识别模型。

步骤1022，将房屋全景图输入物品识别模型，以获得物品识别模型输出的物品识别结果。

这里，可以将房屋全景图作为输入数据提供给物品识别模型，这时，物品识别模型能够自动进行指定物品的识别，并输出相应的物品识别结果，物品识别结果中可以包括识别出的各个指定物品的位置信息、类型信息等。

可见，本公开的实施例中，通过利用物品识别模型来进行物品识别，能够有效地保证获得物品识别结果的效率，并且，由于物品识别模型是使用非常客观的数据训练得到的，物品识别结果的准确性和可靠性能够得到有效地保证。

综上，本公开的实施例中，基于房屋全景图，可以利用物品识别技术，识别到指定物品，通过虚拟建模，可以生成与识别到的各个指定物品对应的三维物品模型，并且，可以对经虚拟建模得到的三维物品模型进行全景图贴图处理，从而可以得到展示效果非常直观和真实的三维房屋模型(即上文中的目标三维房屋模型)，用户可以在C端查看到更加精细化的室内模型效果。

本公开的实施例提供的任一种基于房屋全景图的三维房屋模型构建方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种基于房屋全景图的三维房屋模型构建方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种基于房屋全景图的三维房屋模型构建方法。下文不再赘述。

示例性装置

图6是本公开一示例性实施例提供的基于房屋全景图的三维房屋模型构建装置的结构示意图，图6所示的装置包括第一生成模块601、第一获取模块602、第二生成模块603、处理模块604和第二获取模块605。

第一生成模块601，用于利用房屋全景图，生成初始三维房屋模型；

第一获取模块602，用于对房屋全景图进行物品识别，以得到物品识别结果；

第二生成模块603，用于根据物品识别结果，在初始三维房屋模型中，生成房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数；

处理模块604，用于利用房屋全景图，对N个三维物品模型分别进行贴图处理；

第二获取模块605，用于根据N个三维物品模型经贴图处理后的初始三维房屋模型，获得目标三维房屋模型。

在一个可选示例中，如图7所示，第二生成模块603，包括：

第一确定子模块6031，用于根据物品识别结果，确定目标指定物品在房屋全景图中的M个基准点；其中，目标指定物品为房屋全景图中的N个指定物品中的任一指定物品，M为大于或等于3的整数；

第二确定子模块6032，用于将M个基准点映射至初始三维房屋模型，以确定初始三维房屋模型中的M个映射点；

第三确定子模块6033，用于根据M个映射点，确定初始三维房屋模型中的拉伸基准面；

第四确定子模块6034，用于确定目标指定物品对应的拉伸参数；

生成子模块6035，用于按照目标指定物品对应的拉伸参数，对拉伸基准面进行拉伸处理，以在初始三维房屋模型中，生成目标指定物品对应的三维物品模型。

在一个可选示例中，第二获取模块605，包括：

第五确定子模块，用于确定经贴图处理后的N个三维物品模型各自的碎片部分；

第一获取子模块，用于从N个三维物品模型经贴图处理后的初始三维房屋模型中，删除所确定的碎片部分，以得到目标三维房屋模型。

在一个可选示例中，拉伸参数包括拉伸方向和拉伸距离；

第五确定子模块，包括：

第一确定单元，用于确定目标平面；其中，拉伸方向为由拉伸基准面指向目标平面的方向，目标平面平行于拉伸基准面且与拉伸基准面的距离为拉伸距离；

第二确定单元，用于确定目标指定物品对应的三维物品模型的、与拉伸基准面相对的表面；

第三确定单元，用于检测所确定的表面相对于目标平面的凸出部分，并将所确定的凸出部分作为目标指定物品对应的三维物品模型的碎片部分。

在一个可选示例中，如图8所示，处理模块604，包括：

第二获取子模块6041，用于获取目标三维物品模型的特征信息；其中，目标三维物品模型为N个三维物品模型中的任一三维物品模型；

第六确定子模块6042，用于根据特征信息，确定与目标三维物品模型匹配的图像映射方式；

处理子模块603，用于按照图像映射方式，利用房屋全景图，对目标三维物品模型进行贴图处理。

在一个可选示例中，第六确定子模块6042，具体用于：

在根据特征信息，确定目标三维物品模型的指定表面的平坦度满足预设条件的情况下，确定与目标三维物品模型匹配的图像映射方式为自动平面映射方式；

或者，

在根据特征信息，确定初始三维房屋模型中，目标三维物品模型的预设距离范围内不存在其它三维物品模型的情况下，确定与目标三维物品模型匹配的图像映射方式为虚拟相机映射方式。

在一个可选示例中，第一获取模块602，包括：

第三获取子模块，用于获取预先训练的、用于从图像中识别出指定物品的物品识别模型；

第四获取子模块，用于将房屋全景图输入物品识别模型，以获得物品识别模型输出的物品识别结果。

示例性电子设备

下面，参考图9来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。

图9图示了根据本公开实施例的电子设备900的框图。

如图9所示，电子设备900包括一个或多个处理器901和存储器902。

处理器901可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备900中的其他组件以执行期望的功能。

存储器902可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器901可以运行所述程序指令，以实现上文所述的本公开的各个实施例的基于房屋全景图的三维房屋模型构建方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备900还可以包括：输入装置903和输出装置904，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

例如，在电子设备900是第一设备或第二设备时，该输入装置903可以是麦克风或麦克风阵列。在电子设备900是单机设备时，该输入装置903可以是通信网络连接器，用于从第一设备和第二设备接收所采集的输入信号。

此外，该输入装置903还可以包括例如键盘、鼠标等等。

该输出装置904可以向外部输出各种信息。该输出装置904可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。

当然，为了简化，图9中仅示出了该电子设备900中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备900还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的基于房屋全景图的三维房屋模型构建方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的基于房屋全景图的三维房屋模型构建方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于房屋全景图的三维房屋模型构建方法，其特征在于，包括：

利用房屋全景图，生成初始三维房屋模型；

对所述房屋全景图进行物品识别，以得到物品识别结果；

根据所述物品识别结果，在所述初始三维房屋模型中，生成所述房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数；

利用所述房屋全景图，对所述N个三维物品模型分别进行贴图处理；

根据所述N个三维物品模型经贴图处理后的所述初始三维房屋模型，获得目标三维房屋模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述物品识别结果，在所述初始三维房屋模型中，生成所述房屋全景图中的N个指定物品对应的N个三维物品模型，包括：

根据所述物品识别结果，确定目标指定物品在所述房屋全景图中的M个基准点；其中，所述目标指定物品为所述房屋全景图中的N个指定物品中的任一指定物品，M为大于或等于3的整数；

将所述M个基准点映射至所述初始三维房屋模型，以确定所述初始三维房屋模型中的M个映射点；

根据所述M个映射点，确定所述初始三维房屋模型中的拉伸基准面；

确定所述目标指定物品对应的拉伸参数；

按照所述目标指定物品对应的拉伸参数，对所述拉伸基准面进行拉伸处理，以在所述初始三维房屋模型中，生成所述目标指定物品对应的三维物品模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述N个三维物品模型经贴图处理后的所述初始三维房屋模型，获得目标三维房屋模型，包括：

确定经贴图处理后的所述N个三维物品模型各自的碎片部分；

从所述N个三维物品模型经贴图处理后的所述初始三维房屋模型中，删除所确定的碎片部分，以得到目标三维房屋模型。

4.根据权利要求3所述的方法，其特征在于，所述拉伸参数包括拉伸方向和拉伸距离；

所述确定经贴图处理后的所述N个三维物品模型各自的碎片部分，包括：

确定目标平面；其中，所述拉伸方向为由所述拉伸基准面指向所述目标平面的方向，所述目标平面平行于所述拉伸基准面且与所述拉伸基准面的距离为所述拉伸距离；

确定所述目标指定物品对应的三维物品模型的、与所述拉伸基准面相对的表面；

检测所确定的表面相对于所述目标平面的凸出部分，并将所确定的凸出部分作为所述目标指定物品对应的三维物品模型的碎片部分。

5.根据权利要求1所述的方法，其特征在于，所述利用所述房屋全景图，对所述N个三维物品模型分别进行贴图处理，包括：

获取目标三维物品模型的特征信息；其中，所述目标三维物品模型为所述N个三维物品模型中的任一三维物品模型；

根据所述特征信息，确定与所述目标三维物品模型匹配的图像映射方式；

按照所述图像映射方式，利用所述房屋全景图，对所述目标三维物品模型进行贴图处理。

6.根据权利要求5所述的方法，其特征在于，所述根据所述特征信息，确定与所述目标三维物品模型匹配的图像映射方式，包括：

在根据所述特征信息，确定所述目标三维物品模型的指定表面的平坦度满足预设条件的情况下，确定与所述目标三维物品模型匹配的图像映射方式为自动平面映射方式；

或者，

在根据所述特征信息，确定所述初始三维房屋模型中，所述目标三维物品模型的预设距离范围内不存在其它三维物品模型的情况下，确定与所述目标三维物品模型匹配的图像映射方式为虚拟相机映射方式。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述对所述房屋全景图进行物品识别，以得到物品识别结果，包括：

获取预先训练的、用于从图像中识别出指定物品的物品识别模型；

将所述房屋全景图输入所述物品识别模型，以获得所述物品识别模型输出的物品识别结果。

8.一种基于房屋全景图的三维房屋模型构建装置，其特征在于，包括：

第一生成模块，用于利用房屋全景图，生成初始三维房屋模型；

第一获取模块，用于对所述房屋全景图进行物品识别，以得到物品识别结果；

第二生成模块，用于根据所述物品识别结果，在所述初始三维房屋模型中，生成所述房屋全景图中的N个指定物品对应的N个三维物品模型；其中，N为大于或等于1的整数；

处理模块，用于利用所述房屋全景图，对所述N个三维物品模型分别进行贴图处理；

第二获取模块，用于根据所述N个三维物品模型经贴图处理后的所述初始三维房屋模型，获得目标三维房屋模型。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序用于执行上述权利要求1至7中任一项所述的基于房屋全景图的三维房屋模型构建方法。

10.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1至7中任一项所述的基于房屋全景图的三维房屋模型构建方法。

Images