CN113066162A - 一种用于电磁计算的城市环境快速建模方法 - Google Patents

Abstract

本发明公开了一种用于电磁计算的城市环境快速建模方法，包括：步骤A：利用激光雷达以及光学摄像机扫描建模区域，并根据扫描的激光点云图与光学图像建立建模区域的包含电磁材质信息的稠密点云图；步骤B：根据稠密点云中各点的电磁材质信息对应的类别，对稠密点云图中的点云进行分割，得到点云构成的实体；步骤C：针对每一个实体的几何结构，识别出各物体特征，利用各物体特征拟合出实体的重建模型，进而建立城市三维模型。应用本发明方法，能够建立可以适用于电磁计算的三维模型。

Description

一种用于电磁计算的城市环境快速建模方法

技术领域

本发明涉及电磁环境模拟技术领域，更具体涉及一种用于电磁计算的城市环境快速建模方法。

背景技术

城市电磁辐射环境是一项重要的环境要素，近20年以来，电磁技术的发展与应用日益广泛，对周围环境及人体健康等影响也日益严重，环境保护管理部门以及科研部门等对电磁环境的检测予以高度的重视。对于城市电磁环境监测来说，获取待监测城市区域的高精度三维图像是必要的前提条件。

现有技术中，城市区域的高精度三维图像的获取方法主要包括：卫星测绘、机载激光雷达测绘。但是，传统的卫星测绘影像技术存在数据获取能力不足、现势性差、回访慢的缺点。传统大飞机采集数据相比卫星测绘更加灵活，影像质量也更高，但是飞机租赁、机场管理、空域管理流程过于复杂，对云层的要求也相对较高。仅靠卫星测绘和有人机难以快速、及时和全方位地获取环境信息。为了克服上述缺点，目前，基于无人机平台的激光雷达***通过集成高频激光扫描仪、全球定位***和安装在飞机上的惯性测量单元对待测区域进行全向扫描，能够准确、高密度地从地球表面采集数据，快速获取大面积测量区域的精确三维坐标。它具有自动化程度高、受天气影响小、精度高等特点。机载激光雷达传感器发射的激光脉冲能部分地穿透树林遮挡，直接获取高精度三维地表地形数据。

但是，现有技术建立的建筑三维模型仅包括建筑的形状数据，电磁波的传播不仅取决于建筑物的形状，还取决于建筑物的材质等因素，因此，现有的建筑三维模型只能用于无人驾驶和导航领域，并不能直接应用于城市电磁环境的模拟中。因此，如何建立适用于电磁计算的三维模型是亟待解决的技术问题。

发明内容

本发明所要解决的技术问题在于如何建立适于电磁计算的三维模型。

本发明是通过以下技术方案解决上述技术问题的：

本发明提供了一种用于电磁计算的城市环境快速建模方法，所述方法包括：

A：利用激光雷达以及光学摄像机扫描建模区域，并根据扫描的激光点云图与光学图像建立建模区域的包含电磁材质信息的稠密点云图；

B：根据稠密点云中各点的电磁材质信息对应的类别，对所述稠密点云图中的点云进行分割，得到点云构成的实体，其中，所述电磁材质信息包括：植物、玻璃、混凝土、地面；

C：针对每一个实体的几何结构，识别出各物体特征，利用各物体特征拟合出实体的重建模型，进而建立城市三维模型，其中，所述物体特征包括：所述物体特征包括：墙面、门、屋顶、突出物以及窗户，且所述几何结构包括：大小、位置、方向以及拓扑结构。

可选的，所述步骤A，包括：

利用激光雷达扫描建模区域，得到建模区域的激光点云图，并获取激光点云图中的各点对应的电磁材质信息，将电磁材质信息加入该点的标签；

利用全频段多目光学相机扫描建模区域，得到光学图像；利用运动获取结构的算法识别出光学图像中包含的物体特征，基于物体特征构建光学图像的稀疏点云；

从所述光学图像中计算出建模区域的深度点云图；

根据所述光学图像，利用预先训练的电磁介质识别神经网络模型对建模区域的光学图像进行分割，得到光学图像中包含的物体对应的电磁材质信息，利用电磁材质信息标定光学图像中的对应区域；

将深度点云图、稀疏点云图与标定后的激光点云图进行融合处理，并根据融合后的点云图中每一个点的坐标，为该点添加标签，得到添加了标签的稠密点云图，其中，所述标签包括：该点的电磁材质信息、该点的物体特征信息。

可选的，所述利用预先训练的电磁介质识别神经网络模型对建模区域的光学图像进行分割，包括：

利用标注了电磁材质信息的物体的光学图像作为样本，训练预先搭建的神经网络模型，得到收敛后的神经网络模型，然后使用该神经网络模型对建模区域的光学图像进行分割。

可选的，所述利用激光雷达扫描建模区域，得到建模区域的激光点云图，包括：

利用激光雷达扫描建模区域，基于激光雷达的三维坐标，利用公式，

计算各个点的坐标，进而得到建模区域的激光点云图，其中，

X_p为点云中的点的在x轴上的坐标；X_G为激光雷达在x轴上的坐标；Y_p为点云中的点的在y轴上的坐标；Y_G为激光雷达在y轴上的坐标；S为激光雷达到点的矢量；θ为激光测距点P对应的像元与扫描周期内中间像元之间的夹角；b＝cosω·sinα·cosκ+sinκ·sinω；激光雷达的空中姿态参数侧滚角、俯仰角、偏航角

经过坐标系变换得到摄影测量姿态角(α,ω,κ)；Z_p为点云中的点的高度；Z_G为激光雷达的高度。

可选的，所述方法还包括，在步骤B之前，

基于统计的离群值去除算法对稠密点云进行处理，得到处理后的稠密点云。

可选的，所述步骤B中对所述稠密点云图中的点云进行分割，包括：

基于区域生长的点云分割算法对将分割后的建筑点云分割成若干个实体的点云，其中，所述实体包括：起伏地形、平整地面、简单建筑、复杂建筑、树木。

可选的，所述步骤C中利用各物体特征拟合出实体的重建模型，进而建立城市三维模型包括：

判断实体属于起伏地形、平整地面、简单建筑、复杂建筑、树木中的哪一种；

在实体属于简单建筑的情况下，基于全局拟合算法进行建筑建模；

在实体属于树木的情况下，利用预先构建的树木骨架模型进行数据建模；

在实体属于复杂建筑或起伏地形的情况下，利用泊松重建算法建模；

在实体属于平整地面的情况下，采用最小二乘拟合平面的方法建模。

可选的，所述基于全局拟合算法进行建筑建模，包括：

建立建筑模型物体特征的约束，其中，所述约束包括：面积、位置、方向、拓扑结构；

利用随机采样一致性算法对实体进行分割，得到局部几何基元组成的几何基元集{χ_i}；

根据几何基元集{χ_i}中包含的各个几何基元两两之间的平行、正交关系，得到几何基元间的组合关系，从几何基元间的组合关系构成的集合中选择出最大非冲突集

利用带有约束的非线性优化算法将各个几何基元按照最大非冲突集中的组合关系对齐；

针对对齐后的最大非冲突集

根据角度相同，建立若干个几何基元对，再以几何基元对为顶点建立关系图；

计算关系图中的两两几何基元对之间的空间距离，删除与其他几何基元对的空间距离大于设定距离的几何基元对；

针对每一个几何基元对，使用边将几何基元对与其他几何基元对连接起来，其中，所述几何基元对与其他几何基元对之间具备相似的角度；同时，利用公式，

为新增加的边添加约束，其中，

s_c为边的置信分数；

为几何基元i的方向向量与几何基元j的方向向量之间的夹角；

为几何基元k的方向向量与几何基元l的方向向量之间的夹角；g_c为边的约束；n_i为几何基元i；n_j为几何基元j；n_k为几何基元k；n_l为几何基元l；

将新增加的边的集合作为初始候选集，提取出初始候选集中具有等角关系的边组成的等角关系集；

利用公式，

对等角关系集进行优化，其中，

min为最小值求值符号；∑为求和符号；E_d(P_i,χ_i)为点集P_i与基元χ_i之间的误差；w_pd²(p,χ_i)为数据的累积误差；w_p为几何基元的权重；d²(p,χ_i)为p点到几何基元的距离；

针对优化后的集合中的每一个边，判断是否与优化前的边相同；

若是，从等角关系集中优化前后相同边中，删除置信分数最低的边对应的基元对；

若否，返回执行所述对等角关系集进行优化的步骤，直至，优化次数达到设定次数；

获取置信分数最低的边对应的基元对的集合，针对该集合中的每一个基元对，利用公式，

计算该基元对的置信分数以及约束，其中，

s_p为该基元对的置信分数；p_i为几何基元i各轴上的点；p_j为几何基元j各轴上的点；||||为求模符号；(p_i-p_j)^T为向量的转置；g_p:为该基元对的约束；

根据最大关系子集中各个基元对之间的法线向量的方向，对最大关系子集中的基元对进行共轴对齐处理，根据基元对的置信分数对优化后的对等角关系集中的基元对进行排序，得到对应的最大关系子集；根据最大关系子集对应的实体之间的关系得到建筑的三维模型。

可选的，在实体属于复杂建筑的情况下，利用泊松重建算法进行数据建模，包括：

将拟合出的建筑实体对应的点云数据作为输入，根据各个点云的矢量方向确定点云数据的指示函数；

对指示函数进行平滑滤波后，计算指示函数的梯度场，并通过建立根据点云数据的密度调整网格的深度的八叉树的隐式函数来离散化梯度场；

对离散化的梯度场进行分割采样，使用三次线性插值方法来计算采样点的向量场；

求解泊松方程，

得到点云数据的标量指示函数，其中，

Δ为拉普拉斯算子；x为指示函数；▽为矢量微分算符；

为点云数据的空间向量；

基于标量指示函数，采用移动立方体算法提取等值面，并基于所述等值面建立建筑的三维模型。

本发明相比现有技术具有以下优点：

应用本发明实施例，由于光学影像采集成本更低，采集更方便，因此，可以更快的建立城市三维模型，同时，在建立城市三维模型时，选择光学影像匹配与激光扫描相结合的多源点云数据进行匹配融合方式来获取城市的三维点云数据，进而建立的城市三维模型具有很高的精度，因此，本发明实施例可以既快又准的建立城市三维模型，并且建立的城市三维模型中还包括了物体各个部分的电磁介质类型，因此，得到了适于电磁计算的高精度城市三维模型。

附图说明

图1为本发明实施例提供的一种用于电磁计算的城市环境快速建模方法的流程示意图；

图2为本发明实施例提供的一种用于电磁计算的城市环境快速建模方法的原理示意图；

图3为本发明提供的一种稠密点云的获取流程示意图；

图4为本发明实施例得到的建模区域的稠密点云示意图；

图5为本发明实施例重建后的简单建筑三维模型；

图6为本发明实施例重建后的复杂建筑三维模型。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

图1为本发明实施例提供的一种用于电磁计算的城市环境快速建模方法的流程示意图，如图1所示，所述方法包括：

S101：利用激光雷达以及光学摄像机扫描建模区域，并根据扫描的激光点云图与光学图像建立建模区域的包含电磁材质信息的稠密点云图。

图2为本发明实施例提供的一种用于电磁计算的城市环境快速建模方法的原理示意图，如图2所示，

首先，利用机载的激光雷达扫描建模区域，激光雷达发射的及激光脉冲能部分的穿透树木遮挡，进而可以取得地表或者建筑的高精度图像；同时，机载的惯性测量单元以及全球定位单元可以得到无人机的精确坐标以及运动状态，进而可以得到建模区域中各个物体如树木、地面、建筑等的激光点云图。在本发明实施例中，激光雷达的扫描方式不同于现有技术中的全向扫描获取实体的各个面的点云图像，本发明实施例中使用单向扫描的方式，或者往复扫描的方式仅或者实体的一个面或者两个面等部分面的点云图像，而无需获取所有的各个面的激光点云图。

激光探测及测距***(Light Laser Detection and Ranging,LiDAR)是一种主动式对地观测***。它集成激光测距技术、计算机技术、惯性测量单元、GPS差分定位技术于一体。机载激光雷达在进行航摄时，由差分全球定位***确定激光雷达在空中的三维精确位置(X_G，Y_G，Z_G)，惯性测量单元测量飞行器的俯仰角、侧滚角和航向角

激光雷达发射的激光脉冲直接测量地形起伏情况，激光雷达投影中心到地面上的未知点P(X_G，Y_G，Z_G)的矢量S可以精确测出，因此，可以利用激光雷达扫描建模区域，基于激光雷达的三维坐标，利用公式，

计算各个点的坐标，进而得到建模区域的激光点云图，其中，

X_p为点云中的点的在x轴上的坐标；X_G为激光雷达在x轴上的坐标；Y_p为点云中的点的在y轴上的坐标；Y_G为激光雷达在y轴上的坐标；S为激光雷达到点的矢量；θ为激光测距点P对应的像元与扫描周期内中间像元之间的夹角；

b＝cosω·sinα·cosκ+sinκ·sinω；激光雷达的空中姿态参数侧滚角、俯仰角、偏航角

经过坐标系变换得到摄影测量姿态角(α,ω,κ)；Z_p为点云中的点的高度；Z_G为激光雷达的高度。

然后，利用预先训练的神经网络模型获取激光点云图中的各点对应的电磁材质信息，然后将电磁材质信息加入该点的标签，进而可以得到包含了电磁材质信息的激光点云图，其中，电磁材质信息为例如，玻璃、墙体、地面、树木等。可以理解的是，可以将与建模区域类似区域或者建模区域中的十分之一或者百分之一区域的激光点云图中的点云的电磁材质信息进行人工标记，然后利用人工标记的激光点云图作为样本训练神经网络模型。

然后，分别进行重建稀疏点云、光学图像对应的深度图、光学图像的语义识别操作：

利用机载或者机群上携带的五目镜头，拍摄建模区域的全频段光学图像；利用运动获取结构的算法识别出光学图像中包含的物体特征，基于物体特征利用现有技术构建光学图像的稀疏点云，其中，所述物体特征包括：角点、墙面、门、屋顶、突出物以及窗户。其过程为现有技术，具体过程包括：提取影像的元数据，影像关键特征提取(例如建筑目标的角点)、特征匹配与追踪，重建稀疏点云。

从所述光学图像中计算出建模区域的深度点云图，需要说明的是，多目镜头拍摄的光学图像作为基础建立三维点云图的过程为现有技术，本发明实施例在此不再赘述。

根据所述光学图像，利用预先训练的电磁介质识别神经网络模型对建模区域的光学图像进行分割，得到光学图像中包含的物体，如窗户、墙体、屋顶、地面等物体对应的电磁材质信息，利用电磁材质信息标定光学图像中的对应区域。

在实际应用中，可以预先拍摄一些城市区域中的光学图像，对这些图像中包含的不同电磁材质的物体进行分别标注，得到训练样本，用这些样本训练预先搭建的神经网络模型(使用Deeplab结构)，直至该神经网络模型收敛，得到训练好的模型，再使用该神经网络模型对建模区域的光学图像进行语义分割。

然后，将深度点云图、稀疏点云图与标定后的激光点云图进行融合处理，融合的具体过程为：是计算不同点云集合间空间几何关系的精准映射，求取坐标转换参数，将待转换数据集进行刚体变换的过程。本发明实施例使用的基于局部特征匹配初值的迭代最近点(Iterative Closest Point,ICP)算法。ICP算法是一种全局配准以实现点云融合的迭代算法，为了进一步提高点云融合的精度，利用点-线等局部特征识别和匹配得到七参数或四元数构建的点云旋转矩阵实现多点云融合。并根据融合后的点云图中每一个点的坐标，将对应的材质信息作为标签的内容添加到该点上，得到添加了标签的稠密点云图，其中，所述标签包括：该点的电磁材质信息、该点的物体特征信息。

在进行激光点云图与光学图像融合的过程中，利用多视几何的原理，基于估计的采集点位置对每个无人机影像计算各个像素点的深度信息，利用此深度信息可以将无人机采集的二维光学影像变换到三维空间中，则在重建中同时引入一个加载电磁材质信息(电磁材质系数)的影像。进一步的，可以将五目光学相机与激光雷达安装在同一台无人机上，进而可以利用激光雷达测量出的无人机位置进行深度点云图的生成。本发明实施例以稠密点云中的深度信息为媒介，利用深度信息共享的思路将加载了电磁材质信息的无人机光学图片像素变换到三维空间中，就可以将这些电磁材质信息加载到点云中，得到包含电磁材质信息的点云，这样得到的稠密点云图中的每一个点，除了位置与颜色信息外，还包括了一个标签信息，标签信息中包含了该点对应的电磁材质信息。

图4为本发明实施例得到的建模区域的稠密点云示意图，如图4所示，对每一张影像进行上述处理，最终即可获得基于光学影像重建的整个区域的稠密3d点云，接下来再对无人机集群获取的激光点云数据进行获取和处理。

稠密点云图中的点是离散的，不规则的分布在三维空间中，其中包含了在复杂的地表、树木等地物上的点，对生成城市区域的三维模型和地面点数据的应用造成很大困难。为了消除数据中的噪声点，进而减少噪声点对三维模型建模的影响，在执行S102步骤之前，需要通过对获取的稠密点云进行离群处理，以剔除噪声点数据。处理算法需要根据不同地形情况选取合适分类阈值，但是对于复杂的地表选取一种能够将不同大小尺寸的地物剔除的参数并非易事，因此，需要依据特定的地物及地貌情况个性化设置对应的参数是非常必要的。但是，如果人为分别针对特定的地物以及地貌设置不同的参数则是不现实的，本发明实施例中，综合考虑城市环境的典型特征和数据处理要求的时效性，选择基于统计的离群值去除方法对点云进行处理。它利用点云中各点与相邻点的平均距离加用户预先自定义的偏离容限作为阈值，即若稠密点云中某点以平均距离加容限为半径的球体内所含有的相邻点的数量少于定义的阈值，则认为该点为离群值并去除。本发明实施例可以在不过多依靠地物和地貌情况下，设置较为简单的参数并自动提取海量点云数据中的地面点，进而提高了噪声点的去除效率。

S102：根据稠密点云中各点的电磁材质信息对应的类别，对所述稠密点云图中的点云进行分割，得到点云构成的实体，其中，所述电磁材质信息包括：植物、玻璃、混凝土、地面。

在对建模区域城市环境的稠密点云进行分割进而得到其中的每个物体的点云的过程中，由于城市环境中建筑所处的环境较为复杂，在建筑物点云附近存在无用信息，例如车辆等，且这些无用信息对应的点云分布往往处于其他电磁介质的附近，进而导致去除无用信息难度较大。在实际应用中，可以使用基于体元的点云分割方式，直接对点云进行分割以及基于多视觉图片的点云分割方式来实现。

但是，发明人发现基于体元的方法资源消耗太高，而直接对点云进行分割的方式虽然较基于体元的分割方式计算简便，但是仍然要消耗大量的计算资源。虽然基于多视角重建的重建方式，计算简单，但是缺点也同样明显：在将3d结构向2d投影的过程中存在比较严重的结构信息损失，而且从3d向2d信息投影的过程中，投影位置，即虚拟摄像机位置的选取对重建结果有很大影响，进而导致基于多视角重建的结果一致性较差。

为了解决上述问题，本发明实施例以稠密点云中的深度信息为媒介，利用深度信息共享的思路将加载了电磁材质信息的无人机光学图片像素变换到三维空间中，就可以将这些电磁材质信息加载到点云中，得到包含电磁材质信息的点云。即点云中的每一个点，除了位置与颜色信息外，还包括了一个标签信息，标签信息中包含了该点对应的电磁材质信息，因此，利用此标签信息就可以进行点云分割。最终可以根据城市中建筑，树木、地面、湖泊等分布规律可知，对同一类别的点云进行基于区域生长算法的点云分割得到单个物体的点云图。

S103：针对每一个实体的几何结构，识别出各物体特征，利用各物体特征拟合出实体的重建模型，进而建立城市三维模型，其中，所述物体特征包括：墙面、窗户、屋顶、树木、地表，且所述几何结构包括：大小、位置、方向以及拓扑结构。

首先，判断实体属于简单建筑、复杂建筑、树木、或者起伏地形、平整地面(在实体属于平整地面的情况下，采用最小二乘拟合平面的方法进行数据建模，该方法为现有技术，本发明不予撰述)的哪一种；可以使用预先训练深度学习模型进行点云语义分割，重建得到点云，点云的每个点都包含语义类别信息，再根据此类别信息对实体进行分类。

在实体属于简单建筑的情况下，基于全局拟合算法进行建筑建模。

在实体属于树木的情况下，利用预先构建的树木骨架模型进行数据建模。树木骨架是构建三维树木模型的基础，基本思想是从地面激光点云中提取树木的初始骨架，进而优化初始骨架，最终实现树木骨架的提取。依据激光反射强度值的差异，从预处理原始树木点云中，提取出树木的“类主干点”，然后采用图论中的“最小生成树”算法组织“类主干点”和剩余的“非主干点”，形成树木的初始骨架，最后通过“点密度调整”、“树枝平滑”对初始树木骨架进一步优化，得到比较精确且分布合理的树木骨架。

在实体中包含的平面的数量大于设定数量，如100时，将该建筑判定属于复杂建筑的情况下，利用泊松重建算法进行建筑建模。

首先对简单建筑进行三维建模，由于S102步骤中得到的也是点云，直接进行电磁计算的难度很大。所以需要对按照电磁材质信息对单体点云进行表面重建，然后再基于重建后的表面进行电磁计算以降低计算复杂度。

现有技术中常用的表面重建方法为狄洛尼三角网或冯洛诺伊图的方法进行表面重建。重建的结果基本能反映点云位置并有着较高的精度，这种一般的表面重建方式应用广泛，可以适用于几乎所有点云的快速建模，但是，该方法重建的三维模型中包含的三角面的数量非常庞大，通常由数万甚至十数万个，若将其作为射线追踪模型的直接输入，计算的时间复杂度会非常的高。在城区内部往往至少分布着数以百计的建筑物，即使可以进行计算，耗费的时间成本也是非常高的。

为了解决上述问题，发明人研究后发现，建模区域中的建筑物属于结构规则物体，尤其是在城市环境建模过程中，建筑物占比更大；因此可以采用基于先验知识的建筑物立面重建算法进行建筑模型的重建。建筑物立面包括墙面、屋顶、突出物等电磁反射面和窗户等重要的物体特征，每一类元素都有其区别于其它物体特征的几何结构约束，比如面积、位置、方向、拓扑结构中的一种或组合：

大小：通过面积大小，墙面很容易和其它特征分开，一些小的噪声分割很容易被滤除。

位置：特定的特征只会出现在特定的位置，比如窗户和门会在墙面和突出物上，而屋顶总是在墙面的上方。

方向：墙面大多垂直于地面，屋顶不会垂直地面，它只可能是水平或者倾斜：还可以为了更好识别主墙面，可以将添加地面作为辅助特征。

拓扑结构：特征之间的拓扑结构往往是重要的提示，比如墙面总是与顶面交叉，屋顶总是与墙面相交。

点密度：由于激光是通过反射得到被测对象的三维坐标，因此可以通过点密度区别特征。

通过基于电磁介质的语义分割可以为点云中的每个实体加上所属类别，但是为了更加精准的对以上立面物体特征进行识别，每一类语义特征都有其独有的属性，通过将其属性规则化为具体的特征约束，可以自动、高效、准确地提取语义特征。

由于人造工程元件包含平面、柱面、球和圆锥等基本的几何结构。利用随机采样一致性RANSAC算法对实体的点云进行分割，得到其包含的几何结构的基元，所有实体包含的基元构成了几何基元集{χ_i}。然后逐步提取几何基元集中包含的方向关系、置换关系和相等关系等全局约束，以提高重建模型的准确度和算法的普适性。在模型重建过程中，主要关注三类基元之间的关系，也称之为对齐关系：方向关系，比如平行和正交，置换关系，比如基元之间存在共面或共轴；基元之间存在的相等关系。基于以上对齐关系的定义，从全局考虑，通过优化模型参数得到对齐的全局方向关系，并使其能够准确匹配原始数据。考虑到不同类型的关系对噪声的敏感，采取逐步提取的策略，即每次都优先处理最容易处理的关系。本发明实施例中通过对全局约束关系建立关系图以及数据项的约束，可以很好的恢复基元对之间的关系。

城市人造建筑物的外形比较规则，墙面、地面和屋顶等对象基本上都是平行或正交的关系。根据几何基元集{χ_i}中包含的各个几何基元两两之间的平行、正交关系，得到几何基元间的组合关系，即若干个候选关系集C₀；从C₀中提取最大非冲突集

利用带有约束的非线性优化算法将基元与关系

和数据对齐。

然后，进行方向相同的基元的对齐：在城市场景的建筑中存在很多规律性结构，而这种规律性往往使得基元之间存在相等的角度，角度相同的基元组成基元对。而任何角度关系必然包含一对基元对，即四个基元。因此，再以几何基元对为顶点建立关系图G_e。

然后，关系图G_e的每一个顶点代表无序的基元对。在含有噪声的数据中，空间存在距离的基元会产生错误的关系。因此，如果基元对{χ_i,χ_j}之间的距离超过一定的距离，那么将删除相应的节点，即顶点。经过上述处理，关系图G_e只含有O(m)个顶点。

针对每一个几何基元对，使用边将几何基元对与其他几何基元对连接起来，其中，所述几何基元对与其他几何基元对之间具备相似的角度；同时，利用公式，

为新增加的边添加约束，其中，

s_c为边的置信分数；

为几何基元i的方向向量与几何基元j的方向向量之间的夹角；

为几何基元k的方向向量与几何基元l的方向向量之间的夹角；g_c为边的约束；n_i为几何基元i；n_j为几何基元j；n_k为几何基元k；n_l为几何基元l。

按照上述的处理规则，得到的初始候选集为C_e＝{c₁,c₂,...}。

然后，进行平行和正交的基元的对齐：类似于方向对齐关系的处理方法，按照边的分数从高到低的顺序逐步处理边c∈C_e。提取出具有等角度关系的基元对关系，得到基元对关系的集合。同时由于等角关系具有传递性，因此关系图G_e不能是循环图，这样的处理明显减少了关系图中的边数。进一步的，提取的等角度关系集仍然可能存在冲突的关系，需借助内点非线性规划来检测存在的冲突关系。

再利用公式，

对等角关系集进行优化，其中，

min为最小值求值符号；∑为求和符号；E_d(P_i,χ_i)为点集P_i与基元χ_i之间的误差；w_pd²(p,χ_i)为数据的累积误差；w_p为几何基元的权重；d²(p,χ_i)为p点到几何基元的距离。如果优化结果不变，则从优化后的对等角关系集中删除分数最低的基元对关系。然后对剩下的基元对关系再次进行优化，通常情况下只需进行两次的优化就可以得到比较理想的效果。

然后，进行置换关系的基元的对齐：城市建筑大多存在共面和共轴的部分，在处理方向对齐关系之后，保持已经对齐的方向关系不变，再来处理置换关系对齐。由于算法已经对数据进行了方向对齐的处理，因此，如果两个基元χ_i和χ_j的轴是平行的，那么该对基元就很可能共轴。借助于基元之间的轴间距，得到其分数s_p的表达式和进行置换关系的基元的对齐后的关系集C_p的最大关系子集的约束g_p：

其中，

s_p为该基元对的置信分数；p_i为几何基元i各轴上的点；p_j为几何基元j各轴上的点；||||为求模符号；(p_i-p_j)^T为向量的转置；g_p:为该基元对的约束。共面的基元对通常在空间上存在一定距离。由于经过共轴关系的提取，所有的柱面和椎体不需再次处理。因此，共面关系的提取仅仅是检测两个平面模型之间的共面关系。对于基元对χ_i和χ_j，如果它们的法向量同向，则有d_i＝d_j；若两者反向则d_i＝-d_j。

再按照置信分数降序对上述提取的关系进行排列，提取出排序后集合的最大关系子集

并使其对齐关系包含上述三种对齐关系。最后进行最小化数据项误差处理，得到对齐后的基元。

图5为本发明实施例重建后的简单建筑三维模型，如图5所示，根据对齐后的基元对拟合的物体特征进行对齐处理，得到建筑的三维模型。

使用全局拟合的算法来对建筑物立面(电磁反射面)进行拟合：给定输入点云集合，算法同时进行局部基元匹配和全局基元之间关系的提取。算法最终可以对城市的建筑进行反射面的提取与重建，且每个反射面均包含其电磁材质系数信息，该信息是由基于深度学习的电磁介质语义分割得到的。本发明实施例中的全局拟合算法为现有的GlobFit算法。

建筑物的三维重建需要识别并提取点云数据中的点、线或面等基本几何结构，本发明所用算法的优势主要表现在以下两个方面：第一，由于存在树木或者车辆的遮挡，光学影像重建和激光点云不能扫描出完整的建筑物。通过先验的语义知识，可以弥补这种缺陷，以保证重建结果的密封性；第二，根据语义的类型，建筑物模型可以被赋予更多的电磁材质信息，比如地面，所有者，目标名称或代号等，这有助于建立更加精细化的电磁地图。

另外，本发明实施例可以直接使用建筑模型及其电磁材质信息快速获取城市的电磁态势，进而用于电磁计算。进一步的，还可以在电磁计算时需要考虑电磁波传播的吸收体和漫散射物体的影响，以获得更加准确的电磁分布。

在拟合出的建筑为复杂建筑或起伏地形的情况下，可以利用泊松重建的方法进行三维模型的重建，下面以复杂建筑为例，说明其对应的三维模型的重建过程：

对于城市区域的复杂建筑重建选择使用泊松重建的方法。它的原理是将点云的表面重建问题转化为一个空间内的泊松方程解算过程。泊松方程最早用于解决解决强非静止态范围内图像的色调映射问题，还有连接区域图像无缝编辑问题。泊松方程的典型优势就在于解决大范围整体性的问题，这对于复杂建筑点云是十分契合的。

三维直角坐标系下的泊松方程为：

将城市建筑的点云数据作为集合S，采样得到子集s∈S，并得到物体边缘S。渐变指标函数是几乎无处不在的一个零矢量字段，除了在贴近于表面附近的地方，无论在哪里，它都等于内表面法线。因此，面向采样点子集可以看作是样本的梯度模型的指标功能，计算指标函数的问题则简化为倒置梯度算子，即确定最逼近标准矢量场的标量函数X的梯度。这个梯度依赖于样本确定向量场

但是该梯度与向量场不是完全拟合的，需要逼近计算

加入非收敛算子将变分问题转化为泊松问题：

获得向量场

后，就可以解算泊松方程得到标量指示函数X，但是并不是精确解，因为向量场

通常不可积，需要采用散度算子构建泊松方程来找到最佳逼近最小二乘估计解。

因此，将拟合出的建筑实体对应的点云数据作为输入，根据各个点云的矢量方向确定点云数据的指示函数；

由于指示函数X是分段函数，直接计算梯度会出现无穷的数值，因此，利用公式，

对指示函数进行平滑滤波后，计算指示函数的梯度场，并通过建立根据点云数据的密度调整网格的深度的八叉树的隐式函数来离散化梯度场，其中，

为物体，M是表面边缘，X_M是物体

的指示函数，

是一个平滑滤波函数，

为p点的内法线方向。；

对离散化的梯度场进行分割采样，使用三次线性插值方法来计算采样点的向量场：把离散点分割成小曲面片

小面片ρ_S的积分近似如下式：

进而得到向量场

求解泊松方程，

得到点云数据的标量指示函数，其中，

Δ为拉普拉斯算子；x为指示函数；▽为矢量微分算符；

为点云数据的空间向量；

基于标量指示函数，采用移动立方体算法提取等值面，并基于所述等值面建立建筑的三维模型，建立的三维模型如图6所示。

本发明实施例根据电磁介质自适应表面重建的要求，对整个城市环境的稠密点云结果进行分割，按照地理要素的类别(建筑、水面、地面、树木等)得到每个地面物体；然后对不同类别的电磁介质进行表面重建得到三维模型建立特定区域的三维重建的模型，进而可以利用电磁计算方法绘制该区域的电磁态势分布图。

另外，本发明实施例根据城市环境的特点和时效要求，选择光学影像匹配与激光扫描相结合的多源点云数据融合方式来获取城市的三维点云数据，本发明实施例中主要依赖光学影像作为激光雷达未采集到的方向的影像补充，因此，无需使用激光雷达采集多个方向的完整影像，相对于现有技术中单纯利用激光雷达采集图像的方式，成本更低，建模速度更快。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于电磁计算的城市环境快速建模方法，其特征在于，所述方法包括如下步骤：

A：利用激光雷达以及光学摄像机扫描建模区域，并根据扫描的激光点云图与光学图像建立建模区域的包含电磁材质信息的稠密点云图；

B：根据稠密点云中各点的电磁材质信息对应的类别，对所述稠密点云图中的点云进行分割，得到点云构成的实体，其中，所述电磁材质信息包括：植物、玻璃、混凝土、地面；

C：针对每一个实体的几何结构，识别出各物体特征，利用各物体特征拟合出实体的重建模型，进而建立城市三维模型，其中，所述物体特征包括：墙面、门、屋顶、突出物以及窗户，且所述几何结构包括：大小、位置、方向以及拓扑结构。

2.根据权利要求1所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述步骤A的具体实现包括：

利用激光雷达扫描建模区域，得到建模区域的激光点云图，并获取激光点云图中的各点对应的电磁材质信息，将电磁材质信息加入该点的标签；

利用全频段多目光学相机扫描建模区域，得到光学图像；利用运动获取结构的算法识别出光学图像中包含的物体特征，基于物体特征构建光学图像的稀疏点云；

从所述光学图像中计算出建模区域的深度点云图；

根据所述光学图像，利用预先训练的电磁介质识别神经网络模型对建模区域的光学图像进行分割，得到光学图像中包含的物体对应的电磁材质信息，利用电磁材质信息标定光学图像中的对应区域；

将深度点云图、稀疏点云图与标定后的激光点云图进行融合处理，并根据融合后的点云图中每一个点的坐标，为该点添加标签，得到添加了标签的稠密点云图，其中，所述标签包括：该点的电磁材质信息、该点的物体特征信息。

3.根据权利要求2所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述利用预先训练的电磁介质识别神经网络模型对建模区域的光学图像进行分割，包括：

利用标注了电磁材质信息的物体的光学图像作为样本，训练预先搭建的神经网络模型，得到收敛后的神经网络模型，然后使用该神经网络模型对建模区域的光学图像进行分割。

4.根据权利要求2所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述利用激光雷达扫描建模区域，得到建模区域的激光点云图，包括：

利用激光雷达扫描建模区域，基于激光雷达的三维坐标，利用公式，

计算各个点的坐标，进而得到建模区域的激光点云图，其中，

X_p为点云中的点的在x轴上的坐标；X_G为激光雷达在x轴上的坐标；Y_p为点云中的点的在y轴上的坐标；Y_G为激光雷达在y轴上的坐标；S为激光雷达到点的矢量；θ为激光测距点P对应的像元与扫描周期内中间像元之间的夹角；b＝cosω·sinα·cosκ+sinκ·sinω；激光雷达的空中姿态参数侧滚角、俯仰角、偏航角

经过坐标系变换得到摄影测量姿态角(α,ω,κ)；Z_p为点云中的点的高度；Z_G为激光雷达的高度。

5.根据权利要求1所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述方法还包括，在步骤B之前，基于统计的离群值去除算法对稠密点云进行处理，得到处理后的稠密点云。

6.根据权利要求1所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述步骤B中对所述稠密点云图中的点云进行分割，包括：

基于区域生长的点云分割算法对将分割后的建筑点云分割成若干个实体的点云，其中，所述实体包括：起伏地形、平整地面地形、简单建筑、复杂建筑、树木。

7.根据权利要求1所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述步骤C中利用各物体特征拟合出实体的重建模型，进而建立城市三维模型，包括：

判断实体属于起伏地形、平整地面、简单建筑、复杂建筑、树木中的哪一种；

在实体属于简单建筑的情况下，基于全局拟合算法进行建筑建模；

在实体属于树木的情况下，利用预先构建的树木骨架模型进行数据建模；

在实体属于复杂建筑或起伏地形的情况下，利用泊松重建算法进行数据建模；

在实体属于平整地面的情况下，采用最小二乘拟合平面的方法进行数据建模。

8.根据权利要求7所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：所述基于全局拟合算法进行建筑建模，包括：

建立建筑模型物体特征的约束，其中，所述约束包括：面积、位置、方向、拓扑结构；

利用随机采样一致性算法对实体进行分割，得到局部几何基元组成的几何基元集{χ_i}；

根据几何基元集{χ_i}中包含的各个几何基元两两之间的平行、正交关系，得到几何基元间的组合关系，从几何基元间的组合关系构成的集合中选择出最大非冲突集

利用带有约束的非线性优化算法将各个几何基元按照最大非冲突集中的组合关系对齐；

针对对齐后的最大非冲突集

根据角度相同，建立若干个几何基元对，再以几何基元对为顶点建立关系图；

计算关系图中的两两几何基元对之间的空间距离，删除与其他几何基元对的空间距离大于设定距离的几何基元对；

针对每一个几何基元对，使用边将几何基元对与其他几何基元对连接起来，其中，所述几何基元对与其他几何基元对之间具备相似的角度；同时，利用公式，

为新增加的边添加约束，其中，

s_c为边的置信分数；

为几何基元i的方向向量与几何基元j的方向向量之间的夹角；

为几何基元k的方向向量与几何基元l的方向向量之间的夹角；g_c为边的约束；n_i为几何基元i；n_j为几何基元j；n_k为几何基元k；n_l为几何基元l；

将新增加的边的集合作为初始候选集，提取出初始候选集中具有等角关系的边组成的等角关系集；

利用公式，

对等角关系集进行优化，其中，

min为最小值求值符号；∑为求和符号；E_d(P_i,χ_i)为点集P_i与基元χ_i之间的误差；w_pd²(p,χ_i)为数据的累积误差；w_p为几何基元的权重；d²(p,χ_i)为p点到几何基元的距离；

针对优化后的集合中的每一个边，判断是否与优化前的边相同；

若是，从等角关系集中优化前后相同边中，删除置信分数最低的边对应的基元对；

若否，返回执行所述对等角关系集进行优化的步骤，直至，优化次数达到设定次数；

获取置信分数最低的边对应的基元对的集合，针对该集合中的每一个基元对，利用公式，

计算该基元对的置信分数以及约束，其中，

s_p为该基元对的置信分数；p_i为几何基元i各轴上的点；p_j为几何基元j各轴上的点；||||为求模符号；(p_i-p_j)^T为向量的转置；g_p:为该基元对的约束；

根据最大关系子集中各个基元对之间的法线向量的方向，对最大关系子集中的基元对进行共轴对齐处理，根据基元对的置信分数对优化后的对等角关系集中的基元对进行排序，得到对应的最大关系子集；根据最大关系子集对应的实体之间的关系得到建筑的三维模型。

9.根据权利要求7所述的一种用于电磁计算的城市环境快速建模方法，其特征在于：在实体属于复杂建筑的情况下，利用泊松重建算法进行数据建模，包括：

将拟合出的建筑实体对应的点云数据作为输入，根据各个点云的矢量方向确定点云数据的指示函数；

对指示函数进行平滑滤波后，计算指示函数的梯度场，并通过建立根据点云数据的密度调整网格的深度的八叉树的隐式函数来离散化梯度场；

对离散化的梯度场进行分割采样，使用三次线性插值方法来计算采样点的向量场；

求解泊松方程，

得到点云数据的标量指示函数，其中，

Δ为拉普拉斯算子；x为指示函数；

为矢量微分算符；

为点云数据的空间向量；

基于标量指示函数，采用移动立方体算法提取等值面，并基于所述等值面建立建筑的三维模型。

Images