CN111612894B - 基于航拍图像与cim的植被模型辅助生成方法与*** - Google Patents

Abstract

本发明公开了一种基于航拍图像与CIM的植被模型辅助生成方法与***。包括：构建三维数字空间的城市信息模型；得到原始拜耳阵列、包含近红外信息的拜耳阵列；对原始拜耳阵列进行插值处理；计算航拍图像近红外波段反射值NIR；计算航拍图像归一化植被指数NDVI；将航拍图像归一化植被指数NDVI与RGB数据联合形成四通道的输入数据，采用植被提取编码器、植被提取解码器，得到植被主干顶点热力图；后处理，得到植被主干顶点坐标；将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置；结合WebGIS技术对城市信息模型进行可视化。利用本发明，实现了快速有效的区域植被模型生成，提高城市植被模型生成效率和精度。

Description

基于航拍图像与CIM的植被模型辅助生成方法与***

技术领域

本发明涉及人工智能、智慧城市、CIM技术领域，具体涉及一种基于航拍图像与CIM的植被模型辅助生成方法与***。

背景技术

当前，全球信息技术呈加速发展趋势，信息技术在国民经济中的地位日益突出，建设智慧城市对于一个国家综合竞争力的全面提高具有重要的战略意义。

智慧城市的产生源自物联网、云计算、移动互联网、人工智能为代表的新一代信息技术与知识社会环境下逐步孕育的开放的城市创新生态。智慧城市强调的是利用新一代信息技术和各类通信终端融合，实现城市智慧式管理和运行。

目前流行的三维模型建模方法-倾斜摄影技术采用可见光进行测量，对天气要求较高，拍摄时间也较长，得到的数据量巨大，在影像点云提取、生成三维模型方面计算量也特别大。现有的区域植被模型生成方法，无论采用人工建模还是倾斜摄影建模方法，都非常的耗时耗力，因此三维模型的快速建模方法有待进一步完善。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于航拍图像与CIM的植被模型辅助生成方法与***，实现了快速有效的区域植被模型生成，提高城市植被模型生成效率和精度。

一种基于航拍图像与CIM的植被模型辅助生成方法：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型；

步骤2，利用无人机在城市上空对地面进行覆盖拍摄，通过红外滤光片切换器，得到有红外截止滤光片下的原始拜耳阵列、无红外截止滤光片的包含近红外信息的拜耳阵列；

步骤3，对原始拜耳阵列进行插值处理得到每个像素的RGB值；

步骤4，用包含近红外信息的拜耳阵列减去原始拜耳阵列，得到航拍图像近红外波段反射值NIR；

步骤5，计算航拍图像归一化植被指数NDVI：NDVI＝(NIR-R)/(NIR+R)；

步骤6，将航拍图像归一化植被指数NDVI与RGB数据联合形成四通道的输入数据，将输入数据与数据标签一起输入植被主干顶点提取网络，训练植被提取编码器、植被提取解码器；

步骤7，采用植被提取编码器对输入数据进行特征提取，得到特征图；

步骤8，采用植被提取解码器对特征图进行上采样与特征提取，得到植被主干顶点热力图，热力图中热斑表征植被主干顶点的置信度；

步骤9，对植被主干顶点热力图进行后处理，得到植被主干顶点坐标；

步骤10，将植被主干顶点坐标投影到城市信息模型地面坐标系，使用三维建模软件得到植被模型，将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置；

步骤11，结合WebGIS技术，调用信息交换模块实时更新Web端的三维空间模型，以对城市信息模型进行可视化。

制作数据标签具体为：对航拍图像中植被主干顶点的像素进行标注；针对标注的植被主干顶点进行高斯核卷积，生成植被点的热力图数据作为数据标签。

步骤6中对航拍图像RGB数据进行归一化处理，与航拍图像归一化植被指数NDVI联合作为输入数据。

步骤6中训练网络采用的损失函数为：

其中，P_ij代表植被主干顶点在位置(i,j)处的得分，N代表真值图中的关键点数量，α、β为超参数。

一种基于航拍图像与CIM的植被模型辅助生成***，该***可以执行如下步骤：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型；

步骤2，利用无人机在城市上空对地面进行覆盖拍摄，通过红外滤光片切换器，得到有红外截止滤光片下的原始拜耳阵列、无红外截止滤光片的包含近红外信息的拜耳阵列；

步骤3，对原始拜耳阵列进行插值处理得到每个像素的RGB值；

步骤4，用包含近红外信息的拜耳阵列减去原始拜耳阵列，得到航拍图像近红外波段反射值NIR；

步骤5，计算航拍图像归一化植被指数NDVI：NDVI＝(NIR-R)/(NIR+R)；

步骤6，将航拍图像归一化植被指数NDVI与RGB数据联合形成四通道的输入数据，将输入数据与数据标签一起输入植被主干顶点提取网络，训练植被提取编码器、植被提取解码器；

步骤7，采用植被提取编码器对输入数据进行特征提取，得到特征图；

步骤8，采用植被提取解码器对特征图进行上采样与特征提取，得到植被主干顶点热力图，热力图中热斑表征植被主干顶点的置信度；

步骤9，对植被主干顶点热力图进行后处理，得到植被主干顶点坐标；

步骤10，将植被主干顶点坐标投影到城市信息模型地面坐标系，使用三维建模软件得到植被模型，将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置；

步骤11，结合WebGIS技术，调用信息交换模块实时更新Web端的三维空间模型，以对城市信息模型进行可视化。

本发明与现有技术相比，具有以下有益效果：

1.本发明结合航拍图像，采用植被主干顶点提取神经网络提取植被主干顶点，其采用大量样本进行训练，具有较好的鲁棒性，提高了植被点的提取精度；该网络结构简单，能够快速获得植被点信息，为区域植被模型提供植被点，提高了区域植被模型的生成效率。

2.本发明采用归一化植被指数与RGB数据联合对植被主干顶点提取网络进行训练，归一化植被指数可以为植被主干顶点提取提供更丰富的信息，有助于提高神经网络训练效率和植被主干顶点提取的准确率。

3.本发明结合城市信息模型技术，结合植被点信息与三维建模得到的植被模型，将植被模型匹配至城市信息模型中，为智慧城市信息整合提供了便捷性；结合WebGIS技术，对城市信息模型进行可视化，方便监管人员查询和监督。

附图说明

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于航拍图像与CIM的植被模型辅助生成方法与***。首先通过航拍并进行图像处理得到近红外与RGB信息，然后通过模拟的思想生成遥感中的归一化植被指数(NDVI)，并通过卷积神经网络对RGB与NDVI数据进行训练，得到航拍图像植被点并投影到CIM上，提供植被位置信息，并将植被模型匹配至城市信息模型中的相应位置，进行可视化。图1为本发明方法的流程图。下面通过具体实施例来进行说明。

实施例1：

本实施提供一种基于航拍图像与CIM的植被模型辅助生成方法。

城市建设应抓住技术带来的便利，依托BIM等信息化技术，构建城市专属CIM模型，不断整合资源，找准定位，探索智慧城市建设新路径，提升城市服务水平和服务质量。

先构建CIM(城市信息模型)及信息交换模块的内部关系。

CIM是指以城市信息数据为基础，建立起三维城市空间模型和建筑信息的有机综合体，主要以城市道路、建筑、基础设施的GIS数据与BIM数据构成。

信息交换模块是一种基于CIM的数据交换平台，主要实现城市信息模型与外部接口的信息交换，包括三维城市空间模型和城市信息、地理信息、相机感知信息，会随着智慧城市建设进度的不断推进，实时更新城市信息模型的信息内容。

CIM以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型。通过CIM城市信息模型结合WebGIS技术将城市的场景展现在Web中，该***可调用信息交换模块以展现最新的三维城市空间模型和城市信息。

通过航拍图像处理与卷积神经网络实现植被点的提取，并快速投影到CIM地面上，提供植被的位置信息，并根据其进行植被模型的堆放，应用方便，成本低。

本发明主要针对植被进行定位，从而提供城市植被的位置信息。

之所以称为植被模型辅助生成方法，原因在于本发明是提供植被的位置点信息，然后就可以根据植被点的位置信息进行模型的堆放，快速方便。

首先利用无人机在城市上空对地面进行拍摄。由于红外截止滤光片是图像传感器的必需元件，所以可以通过红外滤光片切换器来控制红外截止滤光片的有无，以此拍摄可以得到原始bayer阵列S1与包含近红外信息bayer阵列S2。

在此说明，有红外截止滤光片，拍摄得到的阵列为S1；无红外截止滤光片拍摄得到的阵列为S2。

原始bayer阵列S1为单通道的，每一个像素仅仅包括了光谱的一部分，必须通过插值来得到每个像素的RGB值。Bayer阵列插值方法是周知的，这里不再赘述。

有红外截止滤光片会滤除一定范围(该范围可定制)内的红外光，因此近红外信息NIR可由S2-S1得到，即S2阵列的值减去S1阵列的值。

归一化植被指数可以有效地反映出植被覆盖度，其计算公式为：

NDVI＝(NIR-R)/(NIR+R)

即近红外波段的反射值与红光波段的反射值之差比上两者之和，NIR为近红外波段反射值，R为红光波段反射值。

通过模拟的思想，将得到的红光信息(R)与近红外信息(NIR)通过上述公式得到航拍图像的归一化植被指数。

然后制作数据标签，将航拍图像中为植被主干顶点(即树干顶点或冠层中心顶点)的像素进行标注，如果树木比较密集，可以根据人为经验来标注植被树干的顶点。然后，针对标注的植被树干顶点进行高斯核卷积，生成植被点的热力图数据。具体的细节，如高斯核大小的选取方法，可以根据实施场景调整。

制作数据完毕后，将航拍图像与标签数据送入到植被树干顶点提取网络进行训练。

植被树干顶点提取网络训练的细节如下：航拍相机采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛，并且输入到模型的时候建议Concatenate(联合)NDVI，形成四通道的输入数据，以便获得更好的提取效果。标签同样经过归一化处理。

将训练数据输入到网络中，端到端地训练植被提取编码器Encoder、植被提取解码器Decoder。Encoder对图像进行特征提取，输入为经过归一化处理的RGB+NDVI数据，输出为Feature map；Decoder是对Feature map进行上采样与特征提取，其输入为Encoder产生的Feature map，输出为植被树干顶点热力图(heatmap)。热力图中热斑表征植被主干顶点的置信度。Loss函数采用Heatmaps Loss，其数学公式为：

其中，P_ij代表植被树干顶点在位置(i,j)处的得分，得分越高就越可能是植被树干顶点。y_ij表示真值热力图中位置(i,j)像素值。N代表ground truth中的关键点数量。α、β为超参数，需要人为设定，同时也建议实施者采用超参数搜索技术搜索α、β的合适取值。

需要注意的是，网络的输出为热力图，需要进行后处理才能得到植被树干的顶点坐标。热力图的后处理方法包括softargmax等方法，进行关键点回归。

植被点提取属于计算机视觉中的关键点检测任务，因此本发明卷积神经网络的结构采用编码器-解码器结构，其流行的网络模型有很多种，如Hourglass、HRNet等，实施者可以套用常见的网络来执行植被点的提取。

至此即可完成航拍图像植被点的提取。

将植被主干顶点坐标投影到城市信息模型地面坐标系，使用三维建模软件得到植被模型，将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置。将植被点数据投影到CIM上，即需要投影变换，常见的方法有很多，如解析变换法、数值变换法，其求解方法是周知的，这里不再赘述。

可以根据投影到CIM上的植被点进行建模，将模型匹配到该点上。三维建模软件有很多，比如3DMax就可以完成植被的建模。为实现植被的多样化，实施者可以建立多种不同风格的植被模型。

最终，为了直观地呈现生成植被模型的三维场景，本发明结合WebGIS技术，通过调用信息交换模块实时更新Web端的三维空间模型，以对数据与模型进行可视化。

实施例2：

一种基于航拍图像与CIM的植被模型辅助生成***，该***包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该***可以实现基于航拍图像与CIM的植被模型辅助生成方法，步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型；步骤2，利用无人机在城市上空对地面进行覆盖拍摄，通过红外滤光片切换器，得到有红外截止滤光片下的原始拜耳阵列、无红外截止滤光片的包含近红外信息的拜耳阵列；步骤3，对原始拜耳阵列进行插值处理得到每个像素的RGB值；步骤4，用包含近红外信息的拜耳阵列减去原始拜耳阵列，得到航拍图像近红外波段反射值NIR；步骤5，计算航拍图像归一化植被指数NDVI：NDVI＝(NIR-R)/(NIR+R)；步骤6，将航拍图像归一化植被指数NDVI与RGB数据联合形成四通道的输入数据，将输入数据与数据标签一起输入植被主干顶点提取网络，训练植被提取编码器、植被提取解码器；步骤7，采用植被提取编码器对输入数据进行特征提取，得到特征图；步骤8，采用植被提取解码器对特征图进行上采样与特征提取，得到植被主干顶点热力图，热力图中热斑表征植被主干顶点的置信度；步骤9，对植被主干顶点热力图进行后处理，得到植被主干顶点坐标；步骤10，将植被主干顶点坐标投影到城市信息模型地面坐标系，使用三维建模软件得到植被模型，将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置；步骤11，结合WebGIS技术，调用信息交换模块实时更新Web端的三维空间模型，以对城市信息模型进行可视化。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于航拍图像与CIM的植被模型辅助生成方法，其特征在于，该方法包括：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型；

步骤2，利用无人机在城市上空对地面进行覆盖拍摄，通过红外滤光片切换器，得到有红外截止滤光片下的原始拜耳阵列、无红外截止滤光片的包含近红外信息的拜耳阵列；

步骤3，对原始拜耳阵列进行插值处理得到每个像素的RGB值；

步骤4，用包含近红外信息的拜耳阵列减去原始拜耳阵列，得到航拍图像近红外波段反射值NIR；

步骤5，计算航拍图像归一化植被指数NDVI：NDVI＝(NIR-R)/(NIR+R)；

步骤6，将航拍图像归一化植被指数NDVI与RGB数据联合形成四通道的输入数据，将输入数据与数据标签一起输入植被主干顶点提取网络，训练植被提取编码器、植被提取解码器；

步骤7，采用植被提取编码器对待测的输入数据进行特征提取，得到特征图；

步骤8，采用植被提取解码器对特征图进行上采样与特征提取，得到植被主干顶点热力图，热力图中热斑表征植被主干顶点的置信度；

步骤9，对植被主干顶点热力图进行后处理，得到植被主干顶点坐标；

步骤10，将植被主干顶点坐标投影到城市信息模型地面坐标系，使用三维建模软件得到植被模型，将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置；

步骤11，结合WebGIS技术，调用信息交换模块实时更新Web端的三维空间模型，以对城市信息模型进行可视化；

制作数据标签具体为：对航拍图像中植被主干顶点的像素进行标注；针对标注的植被主干顶点进行高斯核卷积，生成植被点的热力图数据作为数据标签。

2.如权利要求1所述的方法，其特征在于，步骤6中对航拍图像RGB数据进行归一化处理，与航拍图像归一化植被指数NDVI联合作为输入数据。

3.如权利要求1所述的方法，其特征在于，步骤6中训练网络采用的损失函数为：

其中，P_ij代表植被主干顶点在位置(i,j)处的得分，N代表真值图中的关键点数量，α、β为超参数。

4.一种基于航拍图像与CIM的植被模型辅助生成***，其特征在于，该***包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，具体执行如下步骤：

步骤1，以三维的城市空间地理信息为基础，叠加城市建筑、地上地下设施的BIM信息以及城市物联网信息，构建起三维数字空间的城市信息模型；

步骤2，利用无人机在城市上空对地面进行覆盖拍摄，通过红外滤光片切换器，得到有红外截止滤光片下的原始拜耳阵列、无红外截止滤光片的包含近红外信息的拜耳阵列；

步骤3，对原始拜耳阵列进行插值处理得到每个像素的RGB值；

步骤4，用包含近红外信息的拜耳阵列减去原始拜耳阵列，得到航拍图像近红外波段反射值NIR；

步骤5，计算航拍图像归一化植被指数NDVI：NDVI＝(NIR-R)/(NIR+R)；

步骤6，将航拍图像归一化植被指数NDVI与RGB数据联合形成四通道的输入数据，将输入数据与数据标签一起输入植被主干顶点提取网络，训练植被提取编码器、植被提取解码器；

步骤7，采用植被提取编码器对待测的输入数据进行特征提取，得到特征图；

步骤8，采用植被提取解码器对特征图进行上采样与特征提取，得到植被主干顶点热力图，热力图中热斑表征植被主干顶点的置信度；

步骤9，对植被主干顶点热力图进行后处理，得到植被主干顶点坐标；

步骤10，将植被主干顶点坐标投影到城市信息模型地面坐标系，使用三维建模软件得到植被模型，将植被模型匹配至植被主干顶点在城市信息模型地面坐标系的位置；

步骤11，结合WebGIS技术，调用信息交换模块实时更新Web端的三维空间模型，以对城市信息模型进行可视化；

制作数据标签具体为：对航拍图像中植被主干顶点的像素进行标注；针对标注的植被主干顶点进行高斯核卷积，生成植被点的热力图数据作为数据标签。

Images