CN116310188B - 基于实例分割及建筑重构的虚拟城市生成方法及存储介质 - Google Patents

Abstract

本发明公开了一种基于实例分割及建筑重构的虚拟城市生成方法及存储介质，属于数字沙盘技术领域，方法包括：获取实体物理沙盘的RGB图像数据和深度图像数据；对RGB图像数据进行实例分割，取分割结果联合深度图像数据得到实体物理沙盘中各建筑模型的轮廓拐点数据；根据轮廓拐点数据生成各建筑模型的建筑控制线；基于各建筑模型的建筑类别和建筑控制线，采用参数化建模技术进行建筑重构生成虚拟城市。本发明通过对实体物理沙盘进行实时精确感知识别以生成精细化的建筑控制线，并通过参数化建模技术生成建筑，快速构建虚拟城市，同时控制建筑形体景观与建筑群空间组合，提高城市规划效率并优化展示效果，解决现有虚拟城市构建复杂费时的问题。

Description

基于实例分割及建筑重构的虚拟城市生成方法及存储介质

技术领域

本发明属于数字沙盘技术领域，具体涉及一种基于实例分割及建筑重构的虚拟城市生成方法及存储介质。

背景技术

结合虚拟现实技术的数字沙盘可提高城市建筑规划的表现效果与改善城市规划管理手法，对指导城市建设与发展具有重要意义。现有技术如申请号为CN2021115916896的中国发明专利，公开了一种实时在线城市规划沙盘模拟方法。该方法通过获取城市路网数据、城市影像数据后利用3D建模技术构建城市虚拟的静态沙盘模型，结合GIS服务将用户轨迹数据渲染到城市虚拟沙盘模型中实现实时数字孪生沙盘。该***中的城市沙盘模型由传统3D建模技术获得，难以通过城市设计的手段和方法改变建筑的风格、色彩、轮廓空间组合等实现城市建筑模型的实时形体景观控制。

现有技术又如申请号为CN2020111853126的中国发明专利，公开了一种基于城市三维空间实体的城市设计无纸化交互审查方法。该方法能够提取法定规划与规范表中的管控要点，通过代码和三维数字沙盘的嵌合，实现审查结果的无纸化生成与真实三维空间场景中的全方位展示。但该方法数字沙盘中使用到的三维模型为建模数据，构建较为费时，且缺乏用户交互性，不能满足用户定制化的需求。

可见，现有的数字沙盘技术通常集中于利用实际的空间测绘数据，如测绘地形信息、矢量建筑形态信息或三维倾斜摄影数据生成当前城市的三维模型并进行展示。目前，不仅缺少一种精确感知物理沙盘建筑模型信息快速构建虚拟城市的方法，而且现有的技术往往通过人工对城市建筑进行建模，在构建大规模的城市方面较为复杂。最后，目前生成的虚拟建筑模型往往是整体的，难以根据用户需求进行建筑形体景观控制，改变色彩、建筑形式、建筑体量等，难以满足多类型用户需求。

发明内容

本发明的目的之一在于提供一种基于实例分割及建筑重构的虚拟城市生成方法，通过对实体物理沙盘进行实时精确感知识别以生成精细化的建筑控制线，并通过参数化建模技术生成建筑，快速构建虚拟城市，提高城市规划效率并优化展示效果。

为实现上述目的，本发明所采取的技术方案为：

一种基于实例分割及建筑重构的虚拟城市生成方法，所述基于实例分割及建筑重构的虚拟城市生成方法，包括：

获取实体物理沙盘的RGB图像数据和深度图像数据；

对所述RGB图像数据进行实例分割，取分割结果联合所述深度图像数据得到实体物理沙盘中各建筑模型的轮廓拐点数据，所述分割结果包括各建筑模型的建筑类别；

根据所述轮廓拐点数据生成各建筑模型的建筑控制线；

基于各建筑模型的建筑类别和建筑控制线，采用参数化建模技术进行建筑重构生成虚拟城市。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述实体物理沙盘为微缩沙盘，所述实体物理沙盘中包括建筑模型，每一建筑模型上设有建筑标志，该建筑标志用于标识建筑模型所属的建筑类别。

作为优选，所述取分割结果联合所述深度图像数据得到实体物理沙盘中各建筑模型的轮廓拐点数据，包括：

通过标定图像采集设备的内参，将分割结果结合深度图像数据转化为图像采集设备坐标系下的点云数据，所述分割结果还包括各建筑模型的像素点；

计算图像采集设备的相对姿态，将图像采集设备坐标系下的点云数据转化为RGB图像中实体物理沙盘坐标系下的点云数据；

基于实体物理沙盘坐标系下的点云数据得到各建筑模型的轮廓拐点数据。

作为优选，所述基于实体物理沙盘坐标系下的点云数据得到各建筑模型的轮廓拐点数据，包括：

将实体物理沙盘坐标系下的点云数据沿实体物理沙盘的垂直方向进行正交投影；

按空间直角坐标系下的实体物理沙盘范围对投影后的点云数据进行截取，剔除实体物理沙盘空间以外的点；

按像素坐标逐点选取空间直角坐标系下所截取的点云数据中每一建筑模型的高度最大值的对应点，获取到实体物理沙盘中建筑模型的分割高度图；

对所述分割高度图进行二值化操作，提取各建筑模型的轮廓拐点数据。

作为优选，所述根据所述轮廓拐点数据生成各建筑模型的建筑控制线，包括：

利用UE4仿真引擎，依据实际-虚拟比例在虚拟环境中的对应位置生成建筑控制线，所述对应位置为所述轮廓拐点数据中各轮廓拐点的坐标对应的位置。

作为优选，所述基于各建筑模型的建筑类别和建筑控制线，采用参数化建模技术进行建筑重构生成虚拟城市，包括：

根据轮廓拐点数据在深度图像数据中的值确定高度，基于一个建筑模型的建筑控制线和高度形成一个三维体作为建筑组件，并根据建筑类别基于高度计算建筑组件的层数、底层高度以及非底层高度；

根据层数、底层高度以及非底层高度对建筑组件进行分割处理得到楼层模型，根据楼层模型对建筑组件的外立面采用树形语法结构进行功能区划分；

为每一功能区关联预制的功能元素，按照树形语法结构组合所有功能元素，完成一个建筑模型重构，对所有建筑模型进行重构生成虚拟城市。

作为优选，所述根据楼层模型对建筑组件的外立面采用树形语法结构进行功能区划分，包括：

将建筑组件的外立面根据单元尺寸划分为多个单元组件；

对每一单元组件根据楼层模型沿高度方向划分得到多个楼层组件；

对每一楼层组件沿高度方向划分得到多个主功能组件；

若所述主功能组件沿单元组件排布方向上的功能相同，则将该主功能组件作为一个功能区，若所述主功能组件沿单元组件排布方向上的功能不同，则将该主功能组件按照所述单元组件排布方向和/或高度方向进行划分得到多个次功能组件，将所述次功能组件作为一个功能区。

作为优选，所述按照树形语法结构组合所有功能元素，包括：

将归属于同一个主功能组件的多个次功能组件按照所述单元组件排布方向和/或高度方向进行组合得到主功能组件；

将归属于同一个楼层组件的多个主功能组件按照高度方向组合得到楼层组件；

将归属于同一个单元组件的多个楼层组件按照高度方向组合得到单元组件；

将归属于同一个建筑组件的外立面的多个单元组件进行组合得到建筑组件的外立面。

作为优选，所述按照树形语法结构组合所有功能元素，还包括：

在组合得到建筑组件的外立面后对特定楼层的功能元素进行新增、删减和替换操作。

本发明提供的一种基于实例分割及建筑重构的虚拟城市生成方法，通过实时扫描实体物理沙盘，识别建筑模型类别、进行建筑模型的精确空间定位，将建筑模型实际空间位置信息及轮廓信息同步映射到虚拟仿真环境中，在虚拟仿真环境中生成对应的主体建筑控制线，根据建筑控制线进行建筑形体景观控制与建筑群空间组合控制，并进行全方位的虚拟城市展示。

虚拟仿真环境下建筑模型参数可调节，用户可根据需求改变建筑模型结构、外观、尺寸及建筑附属物等，用户可通过自由切换视角，浏览整个城市场景。基于本发明中提出的方法，仅通过实体物理沙盘中的简单建筑模型的组合，即可做到虚拟环境中展示复杂城市环境的效果，本发明可应用于城市建设规划，房地产展示及策略类游戏战术规划等领域。

本发明的目的之二在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于实例分割及建筑重构的虚拟城市生成方法的步骤。

附图说明

图1为本发明的一种基于实例分割及建筑重构的虚拟城市生成方法的整体流程图；

图2为本发明的一种基于实例分割及建筑重构的虚拟城市生成方法的具体流程图；

图3为本发明所采用的一种ArUco标记示意图；

图4为本发明所采用的一种相机姿态求解方法流程图；

图5为本发明建筑控制线与建筑模型的一种实施例示意图；

图6为本发明功能区划分的一种实施例示意图；

图7为本发明功能元素组合的一种实施例示意图；

图8为本发明一种基于实例分割及建筑重构的虚拟城市生成方法的应用流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。

如图1所示，为了克服现有技术中虚拟城市生成缺陷，本实施例提出了一种基于实例分割及建筑重构的沙盘-虚拟城市规划技术，利用深度学习目标分割算法，通过实时扫描实体物理沙盘获取各建筑模型类别、位置及轮廓信息，在虚拟仿真软件中生成对应的主体建筑控制线，根据建筑控制线进行建筑形体景观控制与建筑群空间组合控制并做到全方位的虚拟城市展示，从而对城市空间管理规划进行引导与控制。

如图2所示，本实施例的一种基于实例分割及建筑重构的虚拟城市生成方法，包括以下步骤：

步骤1、获取实体物理沙盘的RGB图像数据和深度图像数据。

本实施例的实体物理沙盘为微缩沙盘，例如可以是由积木拼接而成的微缩沙盘，或者例如由3D打印技术生成的微缩模型。实体物理沙盘中包括建筑模型，每一建筑模型上设有建筑标志，该建筑标志用于标识建筑模型所属的建筑类别。

根据目前常规的建筑类型，设定本实施例中建筑类别为民用、工业和农业，在其他实施例中，可以自定义拓展建筑类别。并且建筑标志可以是额外贴在建筑模型上的一个起标识作用的物品，也可以是直接设置（例如刻蚀）在建筑模型上的一个起标识作用的符号。建筑标志的位置不做严格限定，保证所采集的图像数据中包含建筑标志即可。

本实施例中的图像采集设备为ZED2双目立体相机，调用ZED2双目立体相机采集不同的实体物理沙盘的RGB图像数据，其中图像分辨率均设置为1920x1080。选用ZED2双目立体相机的主要原因在于，ZED2双目立体相机可通过双目图像传感器利用视差估测深度。当然，图像采集设备也可以替换为其他可获取RGB图像及深度图像的图像采集设备，例如Realsense435i相机等。

需要说明的是，由于建立建筑控制线主要基于建筑模型的俯视图完成，因此本实施例利用视觉传感器采集的图像数据为建筑模型的俯视角度的图像数据。在其他实施例中，为了实际需要还可以采集建筑模型其他视角的图像数据进行联合应用。

步骤2、对RGB图像数据进行实例分割，取分割结果联合深度图像数据得到实体物理沙盘中各建筑模型的轮廓拐点数据。

本实施例中采用一种现有的目标分割网络-RefineNet网络架构，利用该网络架构中的高层次图像特征进行图像区域的类别识别，即建筑类别识别，利用低层次的视觉特征细节预测准确的分割边界，得到各建筑模型的边界像素，汇集不同尺寸的特征捕捉图像中的上下文信息。在其他实施例中也选用其他可进行目标检测或目标分割的图像识别算法，例如DeconvNet算法、EDeconvNet算法等。

在RefineNet网络架构的训练过程中，通过实体物理沙盘获取图像数据，用于构建训练数据集与测试数据集。图像数据采集过程中通过改变光照强度，利用域随机化方式进行图像数据增强。采集的图像数据集通过标注软件对建筑轮廓及建筑类别进行标注，以获取真值掩模标签用于目标分割网络的训练与测试。训练过程中使用负对数似然损失函数来计算分割结果与真值掩模标签的分类损失，使用带动量的随机梯度下降算法对目标分割网络参数进行更新。

在应用时，调用ZED2双目立体相机采集实体物理沙盘的RGB图像数据及深度图像数据。将RGB图像数据输入目标分割网络，由目标分割网络输出实体物理沙盘中各建筑模型的分割结果。

在获取各建筑模型的轮廓拐点数据时，通过标定图像采集设备（ZED双目立体相机）的内参，将分割结果结合深度图像数据转化为图像采集设备坐标系下的点云数据。在实体物理沙盘原点处，利用ArUco标记进相机姿态求解。

ArUco（Augmented Reality University of Cordoba）标记是用于摄像机姿态估计的二进制方形基准标记，图3为一种ArUco标记示意图。ArUco标记是由边框和确定其标识符（id）的内部二进制矩阵组成的正方形标记。ArUco标记的边框有助于其在图像中的快速检测，内部二进制矩阵用于识别标记和提供错误检测和纠正。

检测ArUco标记进行相机姿态求解的具体流程如图4所示，通过对图像的阈值分割，提取边缘获取角点，根据角点进行不同视角下的图像特征的匹配，求解PnP，得到相机相对于ArUco标记的相对姿态。本实施例中所采用的相机姿态求解方法为现有常规方法，因此不进行详述。获取到相机相对姿态后，将图像采集设备坐标系下的点云数据转化为RGB图像中实体物理沙盘坐标系下的点云数据，以进行后续的仿射变换处理。

得到实体物理沙盘坐标系下的点云数据后，将实体物理沙盘坐标系下的点云数据沿实体物理沙盘的垂直方向进行正交投影，按空间直角坐标系下的实体物理沙盘范围对投影后的点云数据进行截取，剔除实体物理沙盘空间以外的点，并按像素坐标逐点选取空间直角坐标系下所截取的点云数据中每一建筑模型的高度最大值的对应点，获取到实体物理沙盘中建筑模型的分割高度图，然后对分割高度图进行二值化操作，提取各建筑模型的轮廓拐点数据。

轮廓拐点数据的提取主要为了消除原始图像中建筑模型的侧面信息，获取精确的建筑外轮廓。另外提取过程中涉及的空间直角坐标系的原点可以是与实体物理沙盘坐标系的原点相同，即在实体物理沙盘上取一顶点作为两者的原点，当实体物理沙盘水平放置时，实体物理沙盘坐标系与空间直角坐标系重合，当两者原点不同时，则两个坐标系不重合但坐标轴指向相同。

步骤3、根据轮廓拐点数据生成各建筑模型的建筑控制线。

虚幻引擎(Unreal Engine /UE)4是一个开放且可扩展的实时渲染平台，具备照片级逼真的渲染效果、动态物理效果展示、强大的数据转换接口等功能。本实施例利用UE4仿真引擎，依据实际-虚拟比例（可根据需求进行设置）在虚拟环境中的对应位置生成建筑控制线，该对应位置为轮廓拐点数据中各轮廓拐点的坐标对应的位置。

在UE4仿真引擎中依据实际-虚拟比例在虚拟环境中的对应位置生成对应建筑控制线，使用UE4仿真引擎中的“Spline Actor”创建样条线作为建筑控制线，选择“SplineComponent”利用轮廓拐点数据控制样条线生成，建筑控制线的示意图如图5所示，图5中的下部分为建筑控制线，上部分为待生成的建筑模型。

步骤4、基于各建筑模型的建筑类别和建筑控制线，采用参数化建模技术进行建筑重构生成虚拟城市。

根据实际沙盘模型中的建筑模型的建筑标志对建筑控制线所圈区域进行分区，对各种分区导入不同类别的建筑组件，建筑类别主要有三种类型：包括民用、工业、农业类型。其中每种类型的建筑内部存在差异，建筑形状包含长方体形，U形，O形，H形建筑等，建筑外观包含阳台，商铺，飘窗等，这些因素都会导致建筑具有一定的独特性。建筑形状由建筑控制线直接决定，建筑外观则根据建筑类别信息，调用建筑模型库中的建筑模块，采用参数化程序生成规则生成虚拟城市。

参数化建模技术实现三维数字建筑模型的由简入繁，快速生成具有高视觉质量及高几何细节特征的城市建筑模型，模型参数可控、动态可调，并可实时三维展示，满足城市三维虚拟展示的需求。其中，参数化建模技术进行建筑重构建模的主要过程如下：

步骤4.1、根据轮廓拐点数据在深度图像数据中的值确定高度，基于一个建筑模型的建筑控制线和高度形成一个三维体作为建筑组件，并根据建筑类别基于高度计算建筑组件的层数、底层高度以及非底层高度。

通常不同的建筑类别的层高有所区别，但是相同的建筑类别的层高基本相似，因此本实施例根据目前市场上建筑中的常规标准来计算每个建筑的层高，在确定层高后得到层数。例如民用住宅层高标准取2.8米（适用于底层高度以及非底层高度），例如工业用房层高标准取底层高度为6米，非底层高度为4.5米，例如农业用房层高标准取3.3米（适用于底层高度以及非底层高度）。

需要说明的是，由于图像识别存在精度限制，因此在根据层高确定层数时，若出现多余高度不满一层层高高度时，可以舍弃多余高度或者基于多余高度补齐一层层高高度，并重新修改建筑模型的高度。例如层高划分后剩余4.4米，但一层层高高度为4.5米，此时可以选择将4.4米补齐至4.5米，并将建筑模型的高度加0.1米，以克服图像识别精度限制带来的数据误差。

步骤4.2、根据层数、底层高度以及非底层高度对建筑组件进行分割处理得到楼层模型，根据楼层模型对建筑组件的外立面采用树形语法结构进行功能区划分。

本实施例在三维体的表面根据上一步的层数和层高划分进行分割处理以得到楼层模型，楼层模型使建筑具备基本的楼层区分。本实施例引入树形语法结构对建筑组件的外立面进行划分。因此对建筑物外立面的建模过程可分为划分与组合两部分。例如阳台、窗户和墙在被划分之后会在X、Y平面方向进行组合定义，以组成同楼层的部分形态；相同楼层各部件一般在横向（X方向）来进行组合定义，这样就组成一个楼层；而不同的楼层一般在纵向（Y方向）来进行组合，这样就构成整个建筑的外立面。因此，本实施例仅需预先构建包含建筑模块的素材库，在对建筑立面进行正确划分之后再作基于建筑模块组合操作，把不同方向的建筑模块组合起来构建外立面模型。

如图6所示，树形可以用节点图来描述形状、分割和重复、组件的分割等步骤，具体的，本实施例进行功能区划分的主要步骤如下：

A、将建筑组件的外立面根据单元尺寸划分（X方向划分）为多个单元组件。

B、对每一单元组件根据楼层模型沿高度方向划分（Y方向划分）得到多个楼层组件。

C、对每一楼层组件沿高度方向划分得到多个主功能组件，主功能组件例如楼顶、墙壁、阳台等。

D、若主功能组件沿单元组件排布方向（X方向）上的功能相同（例如一个楼层中的楼顶），则将该主功能组件作为一个功能区，若主功能组件沿单元组件排布方向上的功能不同（例如一个楼层中的阳台，其可包含墙壁、窗口等），则将该主功能组件按照单元组件排布方向和/或高度方向进行划分得到多个次功能组件（例如墙壁、窗口、装饰等），将次功能组件作为一个功能区。

需要说明的是，上述功能区划分仅为本实施例提出的一种较优的划分方法，在其他实施例中，可以基于上述划分方法进行形变，例如先划分楼层，再划分单元，并且主功能组件和次功能组件的划分方向也可以根据实际需要进行改变。

另外在得到次功能组件后，若次功能组件较为复杂，还可以继续对次功能组件进行一个或多个层级的划分，例如对于作为次功能组件的窗口而言，可进一步细化划分为窗外框及窗玻璃等。当无需对窗口进行细化划分时，针对相对精细且复杂的次功能组件，可以运用建模软件来创建许多不同类型及风格的预制建筑模块存放在素材库中，再根据程序化生成规则语法进行建筑模块导入，将建筑模块的坐标调整至相应的空间位置上，就能够便捷精准的完成此三维模型创建。建筑模块可以是从素材库中直接取用，也可以是从素材库中调用后调整样式、颜色、结构和尺寸后应用。

步骤4.3、为每一功能区关联预制的功能元素，按照树形语法结构组合所有功能元素，完成一个建筑模型重构，对所有建筑模型进行重构生成虚拟城市。

在完成外立面的树形划分后，需要添加相应的材质、纹理，其中需确定材质纹理映射的对象形式以实现建筑立面形态及屋顶的样式形态的多样性等。为了提高建模效率，本实施例不实时设置材质和纹理，而是采用预先构建素材库的方式为划分出的窗户、门等功能区配置对应的功能元素，即建筑模块。

本实施例基于建筑模块尺寸标准规则，按预先定义的模型尺寸（如墙面尺寸的长宽高为、立柱尺寸的长宽高为/>）构建建筑模块。

将每一功能元素关联至对应功能区，即将建筑模块的坐标调整至建筑组件相应的空间位置上，然后按照树形语法结构组合所有功能元素，这里的组合过程与步骤4.2中的划分过程相应，可以理解为组合过程为划分过程的逆过程。

针对本实施例步骤4.2中提供的划分方法，本实施例提供一种对应的组合方法如下：

A、将归属于同一个主功能组件的多个次功能组件按照单元组件排布方向和/或高度方向进行组合得到主功能组件。

B、将归属于同一个楼层组件的多个主功能组件按照高度方向组合得到楼层组件。

C、将归属于同一个单元组件的多个楼层组件按照高度方向组合得到单元组件。

D、将归属于同一个建筑组件的外立面的多个单元组件进行组合得到建筑组件的外立面。

为了便于理解本实施例中外立面建模的划分和组合过程，本实施例以一层楼的建筑组件为例进行说明。如图7所示，根据建筑外立面的尺寸划分为相同的四个单元组件（F），由于仅为一层，因此楼层组件也就是单元组件，楼层组件（以仅包含阳台为例）沿Y方向划分得到阳台，即阳台也就是单元组件，阳台沿X方向划分为墙面（为划分后的第一列）、综合区（为划分后的第二列）和墙面（为划分后的第三列），再将综合区按照Y方向进一步划分为墙面（为划分后的第二列第一行）、装饰（KS）、窗口（W）和墙面（为划分后的第二列第四行），完成功能区划分。

划分完成后，先将功能元素配置至每一功能区上，然后按照每个功能区预定义的空间位置关系组合功能元素，本例子中组合先得到阳台，即得到楼层组件和单元组件，然后组合四个单元组件（F）得到外立面。其中对于复杂的窗口等部件，可进一步细化为窗外框及窗玻璃等进行组合，也可以预制包含窗外框及窗玻璃的功能元素直接调用，例如本实施例中装饰（KS）直接是预制的复合元素，例如本实施例的窗口（W）进一步划分为窗外框和窗玻璃（WIN）。

本实施例支持对程序化生成规则进行调整以适应不同尺度的建筑模型。如果纵向构成部分仅仅包含固定和浮动的部分，而不同建筑高度其对应的浮动部分将会导致拉伸变形，引起建筑的模型失真。所以，需要对纵向的代码进行调整，确定在纵向方向重复楼层，通过对楼层增减来调整建筑物的高度。

参数化建模技术中，考虑到建筑物不同楼层的属性应该略有不同（不同的窗口元素）或显著不同（如一楼的商铺），但通常在同一楼层内保持一致，因此有必要从更高层次的设计（如建筑风格）中推断出较低层次的设计决策（如确切的颜色或纹理）。为了解决这个问题，本实施例在组合得到建筑组件的外立面后对特定楼层的功能元素进行新增、删减和替换操作。

本实施例的新增、删减和替换操作是一种非常简单的与上下文无关的属性语法，根据构成组件的不同作用域进行模型属性修改，用于改进模型生成并在空间上实现属性同步。本实施例以两层四单元的墙体结构且每层每单元的墙元素目前仅包含窗口元素的建筑模型为例，例如通常一楼需要有一个门，因此随机将一个单元组件的一楼的窗口元素替换为门元素。例如一楼通常为阳台，因此将单元组件的一楼（除替换为门元素的单元组件外）的窗口元素替换为阳台元素。例如一楼的墙底部通常具有基底，因此在单元组件的一楼的墙元素上增加基底元素。例如二楼的墙底部通常具有飞檐，因此在单元组件的二楼的墙元素上增加飞檐元素。

功能元素的新增、删减和替换根据实际设计需求进行操作，本实施例不进行限定，并且新增、删减和替换操作可以是基于用户请求发起的，也可以是预先绑定在建筑类别中的。

本发明已使用实体物理沙盘，根据城市规划规则，进行了多次三维建筑场景的构建测试。经测试，本发明中所提的基于实例分割及建筑重构的数字沙盘能够满足预设的城市规划模拟的目标，并且能够提供很高的自由度及交互性体验。实体物理沙盘与虚拟环境的实时孪生，可实时改变实体物理沙盘中的建筑模型位置、朝向等，也可进行虚拟环境中的建筑空间组合控制。

现有的沙盘技术中缺少对实体物理沙盘中各个建筑模型的类别、位置识别，本发明中采用基于实例分割的检测方法，可识别实体物理沙盘中各类建筑模型类别，并根据深度差值估测出各建筑模型高度信息，经坐标转换实现模型精确空间位置，同时获取了建筑的外轮廓控制线，从而精准还原沙盘模型在仿真环境中对应位置与形状的建筑模型。其次，现有的数字沙盘中的虚拟建筑模型往往是预设的，用户不能根据城市风格、建筑风格和模型结构进行定制，交互操作性差，本发明中采用重构技术带来如下优势：

1）实现了实时映射。在实体物理沙盘发生变化时，可以将变化实时映射到三维虚拟环境中。最大程度地解决了传统场景搭建、3D建模耗时耗力的问题，有利于快速构建虚拟环境，提升了三维环境构建效率。

2）三维城市街区多样化实时重构。在建筑体量控制中，建筑的体积大小、凹凸、外墙墙面、高度等内容相当重要，因为其直接关系到人对建筑形成的城市空间界面的感受。在本发明中，用户只需使用ZED2双目立体相机或其他可获取深度的相机，在相应实例分割算法的控制下即可获取所摆放的沙盘模型的位置、高度与外轮廓信息，并在仿真软件中进行实时构建。

3）提供了较好的用户交互性体验。最大程度地发挥用户的创造性，场景的建筑风格可以由实际沙盘摆放指定，同时在运行时也提供用户需要进行建筑位置及结构的调整，能够便利地模拟城市空间环境，可以为城市建设规划制订提供功能丰富的三维虚拟展示平台。

本发明方法在多种领域均具有良好应用，如图8所示，提供一种本发明方法的应用过程为：根据用户请求先判断是否为新场景，若为新场景则利用相机扫描实体物理沙盘得到图像数据，基于图像数据执行图像处理后得到轮廓拐点等数据存储在数据库中；若不是新场景则直接到数据库中获取轮廓拐点等数据，利用仿真引擎构建建筑控制线后采用参数化建模技术生成虚拟城市供用户进行交互操作，这里的交互操作可以是城市建设规划、房地产展示等。

在另一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种基于实例分割及建筑重构的虚拟城市生成方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，本实施例图1和图5为分别主要为展示虚拟城市生成流程和建筑控制线效果，图1和图5中的图形仅为软件运行时运行界面中的元素，不涉及本申请改进的重点，且运行界面的清晰度与像素和缩放比例有关，故呈现效果较为有限。同时图7为便于理解提供的结合实际功能元素展示的效果图，与运行界面的像素和缩放比例有关，故呈现效果较为有限。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于实例分割及建筑重构的虚拟城市生成方法，其特征在于，所述基于实例分割及建筑重构的虚拟城市生成方法，包括：

获取实体物理沙盘的RGB图像数据和深度图像数据；

对所述RGB图像数据进行实例分割，取分割结果联合所述深度图像数据得到实体物理沙盘中各建筑模型的轮廓拐点数据，所述分割结果包括各建筑模型的建筑类别；

根据所述轮廓拐点数据生成各建筑模型的建筑控制线；

基于各建筑模型的建筑类别和建筑控制线，采用参数化建模技术进行建筑重构生成虚拟城市；

其中，所述取分割结果联合所述深度图像数据得到实体物理沙盘中各建筑模型的轮廓拐点数据，包括：

通过标定图像采集设备的内参，将分割结果结合深度图像数据转化为图像采集设备坐标系下的点云数据，所述分割结果还包括各建筑模型的边界像素；

计算图像采集设备的相对姿态，将图像采集设备坐标系下的点云数据转化为RGB图像中实体物理沙盘坐标系下的点云数据；

基于实体物理沙盘坐标系下的点云数据得到各建筑模型的轮廓拐点数据，包括：

将实体物理沙盘坐标系下的点云数据沿实体物理沙盘的垂直方向进行正交投影；

按空间直角坐标系下的实体物理沙盘范围对投影后的点云数据进行截取，剔除实体物理沙盘空间以外的点；

按像素坐标逐点选取空间直角坐标系下所截取的点云数据中每一建筑模型的高度最大值的对应点，获取到实体物理沙盘中建筑模型的分割高度图；

对所述分割高度图进行二值化操作，提取各建筑模型的轮廓拐点数据；

其中，所述基于各建筑模型的建筑类别和建筑控制线，采用参数化建模技术进行建筑重构生成虚拟城市，包括：

根据轮廓拐点数据在深度图像数据中的值确定高度，基于一个建筑模型的建筑控制线和高度形成一个三维体作为建筑组件，并根据建筑类别基于高度计算建筑组件的层数、底层高度以及非底层高度；

根据层数、底层高度以及非底层高度对建筑组件进行分割处理得到楼层模型，根据楼层模型对建筑组件的外立面采用树形语法结构进行功能区划分；

为每一功能区关联预制的功能元素，按照树形语法结构组合所有功能元素，完成一个建筑模型重构，对所有建筑模型进行重构生成虚拟城市。

2.如权利要求1所述的基于实例分割及建筑重构的虚拟城市生成方法，其特征在于，所述实体物理沙盘为微缩沙盘，所述实体物理沙盘中包括建筑模型，每一建筑模型上设有建筑标志，该建筑标志用于标识建筑模型所属的建筑类别。

3.如权利要求1所述的基于实例分割及建筑重构的虚拟城市生成方法，其特征在于，所述根据所述轮廓拐点数据生成各建筑模型的建筑控制线，包括：

利用UE4仿真引擎，依据实际-虚拟比例在虚拟环境中的对应位置生成建筑控制线，所述对应位置为所述轮廓拐点数据中各轮廓拐点的坐标对应的位置。

4.如权利要求1所述的基于实例分割及建筑重构的虚拟城市生成方法，其特征在于，所述根据楼层模型对建筑组件的外立面采用树形语法结构进行功能区划分，包括：

将建筑组件的外立面根据单元尺寸划分为多个单元组件；

对每一单元组件根据楼层模型沿高度方向划分得到多个楼层组件；

对每一楼层组件沿高度方向划分得到多个主功能组件；

若所述主功能组件沿单元组件排布方向上的功能相同，则将该主功能组件作为一个功能区，若所述主功能组件沿单元组件排布方向上的功能不同，则将该主功能组件按照所述单元组件排布方向和/或高度方向进行划分得到多个次功能组件，将所述次功能组件作为一个功能区。

5.如权利要求4所述的基于实例分割及建筑重构的虚拟城市生成方法，其特征在于，所述按照树形语法结构组合所有功能元素，包括：

将归属于同一个主功能组件的多个次功能组件按照所述单元组件排布方向和/或高度方向进行组合得到主功能组件；

将归属于同一个楼层组件的多个主功能组件按照高度方向组合得到楼层组件；

将归属于同一个单元组件的多个楼层组件按照高度方向组合得到单元组件；

将归属于同一个建筑组件的外立面的多个单元组件进行组合得到建筑组件的外立面。

6.如权利要求5所述的基于实例分割及建筑重构的虚拟城市生成方法，其特征在于，所述按照树形语法结构组合所有功能元素，还包括：

在组合得到建筑组件的外立面后对特定楼层的功能元素进行新增、删减和替换操作。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于实例分割及建筑重构的虚拟城市生成方法的步骤。