CN118015055A - 基于深度融合算法的多源勘测数据融合处理方法及*** - Google Patents

Abstract

本发明涉及三维建模技术领域，尤其涉及基于深度融合算法的多源勘测数据融合处理方法及***，本发明提出以下方案，首先通过多源设备获取目标建筑物的多源勘测数据，并对多源勘测数据进行预处理，其次，将多视图像和目标近景图像进行联合标定，获取影像点云，并根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准，获取目标建筑物配准点云，最后构建点云深度融合网络，通过点云深度融合网络进行训练，输出深度融合点云数据，将深度融合点云数据导入到点云处理软件中进行处理，输出目标建筑物的三维模型。

Description

基于深度融合算法的多源勘测数据融合处理方法及***

技术领域

本发明涉及三维建模技术领域，尤其涉及基于深度融合算法的多源勘测数据融合处理方法及***。

背景技术

随着我国经济建设的飞速发展，城镇化进程的日益加快，众多领域都朝着数字化、智慧化方向发展，对空间信息数据需求由传统的二维逐步过渡到三维，尤其在三维实景模型方面的需求更达到前所未有的高度，如何快速、高精度、高效率地获取三维数据，进行三维实景模型构建，并降低生产周期与成本是目前该领域的关键问题。因此，近年来涌现出基于无人机倾斜摄影技术、地面近景摄影测量、机载LiDAR及地基三维激光扫描等多种建模技术。但从诸多研究中可以看到不论哪种技术，都存在各自的局限性，故开展多源数据融合技术研究，发挥各自技术优势，弥补缺陷，实现全方位无死角的三维实景模型的构建，具有重要的理论和应用价值。

例如公开号为CN113012205A的专利提出了一种基于多源数据融合的三维重建方法。所述方法包括如下步骤：首先，倾斜摄影技术和激光雷达技术获取影像和激光点云数据；其次，统一了两种数据的空间坐标系进行数据粗配准；此外，设计一种改进式ICP算法，在传统ICP算法的基础上利用体素网格方法对点云进行重新采样，以此加快算法的收敛速度，提高了配准精度。实验结果表明，多源数据融合的方法保证了三维模型的完整性，弥补了单一技术建模的局限性，具有较好的应用前景。

以上专利均存在本背景技术提出的问题：通过单一数据源对建筑物进行三维建模会出现细节缺失，难以获取详细数据的问题，不同源数据格式和坐标均不同，难以直接进行融合，为解决以上问题，本申请设计了基于深度融合算法的多源勘测数据融合处理方法及***。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供了基于深度融合算法的多源勘测数据融合处理方法及***，首先通过多源设备获取目标建筑物的多源勘测数据，并对多源勘测数据进行预处理，其次，将多视图像和目标近景图像进行联合标定，获取影像点云，并根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准，获取目标建筑物配准点云，最后构建点云深度融合网络，通过点云深度融合网络进行训练，输出深度融合点云数据，将深度融合点云数据导入到点云处理软件中进行处理，输出目标建筑物的三维模型。

为实现上述目的，本发明提供如下技术方案：

基于深度融合算法的多源勘测数据融合处理方法，包括以下步骤：

S1：通过多源设备获取目标建筑物的多源勘测数据，并对多源勘测数据进行预处理，其中，多源勘测数据包括激光扫描点云、多视图像和目标近景图像，多源设备包括地面激光扫描仪、无人机搭载倾斜相机和地面数码相机；

S2：将预处理后的多视图像和目标近景图像进行联合标定，获取建筑物融合图像，通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

S3：通过刚体变换将影像点云和激光扫描点云转换为统一坐标系，根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准，获取目标建筑物配准点云；

S4：构建点云深度融合网络，将所述目标建筑物配准点云作为所述点云深度融合网络的输入参数，通过所述点云深度融合网络进行训练，输出深度融合点云数据，将深度融合点云数据导入到点云处理软件中进行处理，输出目标建筑物的三维模型；

所述通过多源设备获取目标建筑物的多源勘测数据具体步骤如下：

S1.1.1：通过现场踏勘确定地面激光扫描仪的整体扫描范围，根据最大化精度原则制定扫描点布设方案和扫描方式，在测站点布置地面激光扫描仪，对目标建筑物进行扫描，获取激光扫描点云；

S1.1.2：通过现场踏勘确定无人机搭载倾斜相机的倾斜摄影范围，根据倾斜摄影范围布设像控点设控方式，通过无人机搭载倾斜相机获取目标建筑物的多视图像，其中，像控点设控方式包括边缘平高设控、中心平高设控、全面平高设控和边缘平高、中心高程设控；

S1.1.3：通过现场踏勘确定目标建筑物周边近地面遮挡情况，通过地面数码相机对遮挡物背后的目标建筑物进行补拍，获取目标近景图像；

所述最大化精度的计算公式为：

，

其中，表示最大化精度，argmax(•)表示最大值优化函数，s表示地面激光扫描 仪到目标建筑物的斜距，表示地面激光扫描仪到目标建筑物的激光入射角度，表示工程 测量常数，，表示地面激光扫描仪的测距精度，表示地面激光扫描 仪的水平角测角精度，表示地面激光扫描仪的垂直角测角精度，表示地面激光扫描仪 的横向扫描角，表示地面激光扫描仪的竖向扫描角；

所述对多源勘测数据进行预处理包括激光扫描点云预处理和图像预处理，所述激光扫描点云预处理包括激光扫描点云压缩、激光扫描点云降噪和激光扫描点云拼接，所述图像预处理包括无人机倾斜摄影影像预处理和目标近景图像预处理，所述无人机倾斜摄影影像预处理包括区域网联合平差和多视影像匹配，所述目标近景图像预处理包括相机标定和坐标转换；

所述激光扫描点云压缩具体步骤如下：

S1.2.1：将地面激光扫描仪获取的扫描点云三维坐标和扫描仪角分辨率转化为扫描点云影像坐标，每个坐标根据像素的反射值着色，获取反射值影像，扫描点云影像坐标的计算公式为：

，

其中，和表示扫描点云三维坐标对应的扫描点云影像坐标，表示扫描仪角 分辨率，X、Y和Z表示扫描点云三维坐标；

S1.2.2：根据最小生成树算法将反射值影像分割为三个平面影像，并计算每个平面影像的平面重心位置；

S1.2.3：设定拟合平面方程，根据三个重心位置坐标计算拟合平面方程的系数，并计算其余所有扫描点云影像坐标到拟合平面的距离，将扫描点云影像坐标到拟合平面的距离与平面距离阈值对比，如果小于等于平面距离阈值，保存该扫描点云影像坐标，如果大于平面距离阈值，删除该扫描点云影像坐标；

S1.2.4：根据RANSAC算法对剩余扫描点云影像坐标中的异常点进行剔除，通过最小二乘法对剔除异常点后的扫描点云影像坐标进行平面拟合，并将平面拟合后的三个平面影像重新合并，获得压缩后的激光扫描点云；

所述S2具体步骤如下：

S2.1：根据无人机搭载倾斜相机和地面数码相机的拍摄时间计算总时延，获取无人机搭载倾斜相机每一时刻的加速度和角速度；

S2.2：通过目标近景图像相机标定的相机参数将多视图像的像素坐标与目标近景图像的像素坐标进行联合标定，获取统一坐标系下的多视图像和目标近景图像，联合标定的计算公式为：

，

其中，表示联合标定后的多视图像的像素坐标，表示由IMU坐标系到世界坐 标系的旋转四元数，E(•)表示目标近景图像相机标定函数，表示地面数码相机的内参矩 阵，表示地面数码相机的外参矩阵，表示世界坐标系下的加速度量，表示世界坐 标系下的重力矢量，m表示多视图像三维像素坐标矩阵，表示矩阵点乘，B表示常数矩阵，u (t)表示无人机搭载倾斜相机和地面数码相机的拍摄时延矩阵，b表示无人机的加速度计偏 置，表示无人机的陀螺仪噪声，a表示当前时刻无人机的加速度，d表示当前时刻无人机的 角速度；

S2.3：遍历多视图像和目标近景图像，提取每张图像的角点特征和灰度质心，根据角点特征与灰度质心的夹角计算图像的特征描述向量，图像的特征描述向量的计算公式为：

，

其中，表示图像的特征描述向量，i表示图像的单个角点特征的序号，n表示图像 角点特征的数量，表示第i个角点特征与灰度质心的夹角，表示第i个角点特征的加权 权重值，F(•)表示傅里叶变换函数，和表示灰度质心的横坐标和纵坐标，表示图像的 第i个角点特征，表示图像角点特征的平均值；

S2.4：重复计算每一张多视图像特征描述向量与目标近景图像特征描述向量的匹配度，将匹配度最高的多视图像和目标近景图像融合，直到完成所有目标近景图像的融合，获取建筑物融合图像；

S2.5：通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

所述根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准具体步骤如下：

S3.1：计算影像点云中每一个点在激光扫描点云中的对应最近点；

S3.2：根据影像点云和激光扫描点云的对应点对计算最小平均距离，通过最小平均距离确定旋转矩阵和平移矩阵；

S3.3：根据旋转矩阵和平移矩阵对影像点云进行变换，获取迭代影像点云，并计算迭代影像点云与激光扫描点云的平均距离，如果平均距离小于点云距离阈值，停止迭代计算，如果平均距离大于等于点云距离阈值，所述点云距离阈值可由本领域技术人员通过大量实验确定，将迭代影像点云作为新的影像点云继续迭代，所述平均距离的计算公式为：

，

其中，D表示迭代影像点云与激光扫描点云的平均距离，j表示单个点云数据的序 号，M表示点云数据的总数，表示第j个激光扫描点云，表示第j个迭代影像点云，表 示欧氏距离函数，R表示旋转矩阵，T表示平移矩阵；

所述构建点云深度融合网络，包括：

输入层，根据输入参数建立特征序列，所述特征序列包括影像点云特征序列和激光扫描点云特征序列；

特征提取层，用于提取特征序列的特征向量，所述特征提取层包括几何特征提取模块、面特征提取模块和空间特征提取模块，所述特征向量包括面特征、空间特征和几何特征；

特征融合层，用于将面特征、空间特征和几何特征进行融合，生成深度融合点云数据。

基于深度融合算法的多源勘测数据融合处理***，所述***包括：

多源勘测数据获取模块，用于通过多源设备获取目标建筑物的多源勘测数据；

多源勘测数据预处理模块，用于对多源勘测数据进行预处理；

图像点云转换模块，用于对多视图像和目标近景图像进行联合标定，获取影像点云；

点云融合模块，用于对激光扫描点云和影像点云进行配准，并通过点云深度融合网络获取深度融合点云数据；

所述多源勘测数据预处理模块包括：

激光扫描点云预处理单元，用于对激光扫描点云进行激光扫描点云压缩、激光扫描点云降噪和激光扫描点云拼接；

多视图像预处理单元，用于对多视图像进行区域网联合平差和多视影像匹配；

目标近景图像预处理单元，用于对目标近景图像进行相机标定和坐标转换；

所述图像点云转换模块包括：

图像联合标定单元，用于通过目标近景图像相机标定的相机参数将多视图像的像素坐标与目标近景图像的像素坐标进行联合标定，获取统一坐标系下的多视图像和目标近景图像；

图像特征向量计算单元，用于遍历多视图像和目标近景图像，提取每张图像的角点特征和灰度质心，根据角点特征与灰度质心的夹角计算图像的特征描述向量；

图像融合单元，用于计算每一张多视图像特征描述向量与目标近景图像特征描述向量的匹配度，将匹配度最高的多视图像和目标近景图像融合，直到完成所有目标近景图像的融合，获取建筑物融合图像；

影像点云转换单元，用于通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

所述点云融合模块包括：

点云配准单元，用于根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准；

深度融合单元，用于构建点云深度融合网络，将所述目标建筑物配准点云作为所述点云深度融合网络的输入参数，通过所述点云深度融合网络进行训练，输出深度融合点云数据。

与现有技术相比，本发明的有益效果是：

本发明将无人机倾斜摄影、三维激光扫描和地面相机拍摄三种技术手段相融合，获取多源勘测数据，通过深度融合实现数据源优势互补，弥补单一技术建模中出现模型扭曲和空洞的问题，提高三维建模精确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例1基于深度融合算法的多源勘测数据融合处理方法的流程示意图；

图2为本发明实施例1像控点设控方式示意图；

图3为本发明实施例1相机标定步骤示意图；

图4为本发明实施例1角点特征判断区域示意图；

图5为本发明实施例1点云深度融合网络结构图；

图6为本发明实施例2基于深度融合算法的多源勘测数据融合处理***模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。

实施例1：

请参阅图1，本发明提供的一种实施例：基于深度融合算法的多源勘测数据融合处理方法，包括以下步骤：

S1：通过多源设备获取目标建筑物的多源勘测数据，并对多源勘测数据进行预处理，其中，多源勘测数据包括激光扫描点云、多视图像和目标近景图像，多源设备包括地面激光扫描仪、无人机搭载倾斜相机和地面数码相机；

S2：将预处理后的多视图像和目标近景图像进行联合标定，获取建筑物融合图像，通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

S3：通过刚体变换将影像点云和激光扫描点云转换为统一坐标系，根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准，获取目标建筑物配准点云；

S4：构建点云深度融合网络，将所述目标建筑物配准点云作为所述点云深度融合网络的输入参数，通过所述点云深度融合网络进行训练，输出深度融合点云数据，将深度融合点云数据导入到点云处理软件中进行处理，输出目标建筑物的三维模型；

所述通过多源设备获取目标建筑物的多源勘测数据具体步骤如下：

S1.1.1：通过现场踏勘确定地面激光扫描仪的整体扫描范围，根据最大化精度原则制定扫描点布设方案和扫描方式，在测站点布置地面激光扫描仪，对目标建筑物进行扫描，获取激光扫描点云；

S1.1.2：通过现场踏勘确定无人机搭载倾斜相机的倾斜摄影范围，根据倾斜摄影范围布设像控点设控方式，通过无人机搭载倾斜相机获取目标建筑物的多视图像，其中，像控点设控方式包括边缘平高设控、中心平高设控、全面平高设控和边缘平高、中心高程设控；

S1.1.3：通过现场踏勘确定目标建筑物周边近地面遮挡情况，通过地面数码相机对遮挡物背后的目标建筑物进行补拍，获取目标近景图像；

所述最大化精度的计算公式为：

，

其中，表示最大化精度，argmax(•)表示最大值优化函数，s表示地面激光扫描 仪到目标建筑物的斜距，表示地面激光扫描仪到目标建筑物的激光入射角度，表示工程 测量常数，，表示地面激光扫描仪的测距精度，表示地面激光扫描 仪的水平角测角精度，表示地面激光扫描仪的垂直角测角精度，表示地面激光扫描仪 的横向扫描角，表示地面激光扫描仪的竖向扫描角；

请参阅图2，本发明实施例像控点设控方式示意图，像控点设控方式包括边缘平高设控、中心平高设控、全面平高设控和边缘平高、中心高程设控，所述边缘平高设控在目标建筑物边缘角点处布设4个平高控制点，所述中心平高设控在目标建筑物中心区域布设4个平高控制点，所述全面平高设控在目标建筑物边缘角点和中心区域均匀布设8个平高控制点，所述边缘平高、中心高程设控在目标建筑物边缘角点布设4个平高控制点，中心区域布设4个高程控制点；

所述对多源勘测数据进行预处理包括激光扫描点云预处理和图像预处理，所述激光扫描点云预处理包括激光扫描点云压缩、激光扫描点云降噪和激光扫描点云拼接，所述图像预处理包括无人机倾斜摄影影像预处理和目标近景图像预处理，所述无人机倾斜摄影影像预处理包括区域网联合平差和多视影像匹配，所述目标近景图像预处理包括相机标定和坐标转换；

所述激光扫描点云压缩具体步骤如下：

S1.2.1：将地面激光扫描仪获取的扫描点云三维坐标和扫描仪角分辨率转化为扫描点云影像坐标，每个坐标根据像素的反射值着色，获取反射值影像，扫描点云影像坐标的计算公式为：

，

其中，和表示扫描点云三维坐标对应的扫描点云影像坐标，表示扫描仪角 分辨率，X、Y和Z表示扫描点云三维坐标；

S1.2.2：根据最小生成树算法将反射值影像分割为三个平面影像，并计算每个平面影像的平面重心位置；

S1.2.3：设定拟合平面方程，根据三个重心位置坐标计算拟合平面方程的系数，并计算其余所有扫描点云影像坐标到拟合平面的距离，将扫描点云影像坐标到拟合平面的距离与平面距离阈值对比，如果小于等于平面距离阈值，保存该扫描点云影像坐标，如果大于平面距离阈值，删除该扫描点云影像坐标，所述平面距离阈值由本领域技术人员根据大量实验确定；

S1.2.4：根据RANSAC算法对剩余扫描点云影像坐标中的异常点进行剔除，通过最小二乘法对剔除异常点后的扫描点云影像坐标进行平面拟合，并将平面拟合后的三个平面影像重新合并，获得压缩后的激光扫描点云；

所述相机标定通过差分进化粒子群混合算法获取相机标定参数，请参阅图3，本发明实施例相机标定步骤示意图，将相机参数作为目标函数的应变量，将目标近景图像的像素值作为目标函数的自变量和初始粒子群，首先初始化粒子群中的粒子位移和速度，并设置粒子速度的上下限，然后计算每个粒子的适应度，即通过目标近景图像的实际像素值与目标像素值之间的距离计算适应度，选取适应度最大的粒子作为全局最优粒子，同时标记历史最优粒子，根据两个粒子的位置进行跟踪迭代，通过选择性更新、交叉和变异更新初始粒子群中粒子的速度和位置，根据新一代粒子群的适应度获取最优个体和全局最优种群，不断进行迭代，最后判断是否满足最大迭代次数，如果满足最大迭代次数，循环结束，输出相机参数；

所述S2具体步骤如下：

S2.1：根据无人机搭载倾斜相机和地面数码相机的拍摄时间计算总时延，获取无人机搭载倾斜相机每一时刻的加速度和角速度；

S2.2：通过目标近景图像相机标定的相机参数将多视图像的像素坐标与目标近景图像的像素坐标进行联合标定，获取统一坐标系下的多视图像和目标近景图像，联合标定的计算公式为：

，

其中，表示联合标定后的多视图像的像素坐标，表示由IMU坐标系到世界坐 标系的旋转四元数，E(•)表示目标近景图像相机标定函数，表示地面数码相机的内参矩 阵，表示地面数码相机的外参矩阵，表示世界坐标系下的加速度量，表示世界坐 标系下的重力矢量，m表示多视图像三维像素坐标矩阵，表示矩阵点乘，B表示常数矩阵，u (t)表示无人机搭载倾斜相机和地面数码相机的拍摄时延矩阵，b表示无人机的加速度计偏 置，表示无人机的陀螺仪噪声，a表示当前时刻无人机的加速度，d表示当前时刻无人机的 角速度；

S2.3：遍历多视图像和目标近景图像，提取每张图像的角点特征和灰度质心，根据角点特征与灰度质心的夹角计算图像的特征描述向量，图像的特征描述向量的计算公式为：

，

其中，表示图像的特征描述向量，i表示图像的单个角点特征的序号，n表示图像 角点特征的数量，表示第i个角点特征与灰度质心的夹角，表示第i个角点特征的加权 权重值，F(•)表示傅里叶变换函数，和表示灰度质心的横坐标和纵坐标，表示图像的 第i个角点特征，表示图像角点特征的平均值；

S2.4：重复计算每一张多视图像特征描述向量与目标近景图像特征描述向量的匹配度，将匹配度最高的多视图像和目标近景图像融合，直到完成所有目标近景图像的融合，获取建筑物融合图像；

S2.5：通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

请参阅图4，本发明实施例角点特征判断区域示意图，所述角点特征的提取步骤如下：

S2.3.1：随机选取图像中任意一个像素点，标记为P点，并计算P的灰度值；

S2.3.2：以P为圆心，3像素大小为半径作圆，选取圆边界上的16个像素点；

S2.3.3：设定灰度阈值t，如果16个像素点中有连续12个像素点的灰度值均小于或大于，则判定P点为图像的一个角点特征；

S2.3.4：选取下一个像素点重复进行S2.3.1至S2.3.3的步骤，直到所有像素点处理完成，统计所有角点特征；

所述根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准具体步骤如下：

S3.1：计算影像点云中每一个点在激光扫描点云中的对应最近点；

S3.2：根据影像点云和激光扫描点云的对应点对计算最小平均距离，通过最小平均距离确定旋转矩阵和平移矩阵；

S3.3：根据旋转矩阵和平移矩阵对影像点云进行变换，获取迭代影像点云，并计算迭代影像点云与激光扫描点云的平均距离，如果平均距离小于点云距离阈值，停止迭代计算，如果平均距离大于等于点云距离阈值，所述点云距离阈值可由本领域技术人员通过大量实验确定，将迭代影像点云作为新的影像点云继续迭代，所述平均距离的计算公式为：

，

其中，D表示迭代影像点云与激光扫描点云的平均距离，j表示单个点云数据的序 号，M表示点云数据的总数，表示第j个激光扫描点云，表示第j个迭代影像点云，表 示欧氏距离函数，R表示旋转矩阵，T表示平移矩阵；

请参阅图5，本发明实施例点云深度融合网络结构图，所述构建点云深度融合网络，包括：

输入层，根据输入参数建立特征序列，所述特征序列包括影像点云特征序列和激光扫描点云特征序列；

特征提取层，用于提取特征序列的特征向量，所述特征提取层包括几何特征提取模块、面特征提取模块和空间特征提取模块，所述特征向量包括面特征、空间特征和几何特征；

特征融合层，用于将面特征、空间特征和几何特征进行融合，生成深度融合点云数据；

所述输入层用于根据输入参数，进行累加，建立灰色微分方程，计算灰色微分方程的最小二乘参数，通过对最小二乘参数解离散化，计算特征序列的拟合值，获取影像点云特征序列和激光扫描点云特征序列；

所述特征提取层包括几何特征提取模块、面特征提取模块和空间特征提取模块；

所述面特征提取模块包括面形状特征提取子模块、面结构特征提取子模块和特征级联模块，所述面形状特征提取子模块包括一个多层感知机网络，每一层首先通过平均池化对影像点云特征序列进行对称操作，然后通过一维卷积和归一化对影像点云特征序列进行形状描述，最后根据ReLU激活函数进行激活，获取面形状特征，所述面结构特征提取子模块包括一组用于学习的高斯核，通过核函数对影像点云特征序列进行学习，获取影像点云特征序列每一个面的径向距离、方位角和倾斜角，并通过卷积对每一个面的局部结构特征进行编码，获取面结构特征，所述特征级联模块将面形状特征和面结构特征进行级联结合，获取面特征；

所述几何特征提取模块通过注意力机制获取影像点云特征序列的中心点位置，根据K近邻算法计算中心点的近邻点，将中心点与近邻点作为高斯核函数的源，通过高斯核函数输出中心点的局部几何特征，最后通过残差连接网络将所有局部几何特征映射至高维空间，进行池化操作，输出几何特征；

所述空间特征提取模块通过多层感知机网络对激光扫描点云特征序列进行训练，根据最大池化输出空间特征；

所述特征融合层将空间特征、面特征和几何特征映射为元组序，其中，表示几何特征中第m个特征的相 应输入，表示空间特征中第m个特征的相应输入，表示面特征中第m个特征的相应输 入，对元组序中每一个候选序列中的相应输入特征进行点积，通过皮尔逊相关系数计算候 选序列点积后的相关性分数，根据sigmoid函数对相关性分数进行压缩，与相关性阈值进行 对比，如果大于相关性阈值，保留候选序列，如果小于等于相关性阈值，将候选序列过滤，收 集元组序中保留的候选序列的局部特征，并进行增强，沿元组序头部序列将增强后的候选 序列拼接，通过残差连接对局部特征进行融合，对残差连接融合后的特征向量进行池化操 作，得到深度融合点云数据。

实施例2：

请参阅图6，本发明提供一种实施例：基于深度融合算法的多源勘测数据融合处理***，所述***包括：

多源勘测数据获取模块，用于通过多源设备获取目标建筑物的多源勘测数据；

多源勘测数据预处理模块，用于对多源勘测数据进行预处理；

图像点云转换模块，用于对多视图像和目标近景图像进行联合标定，获取影像点云；

点云融合模块，用于对激光扫描点云和影像点云进行配准，并通过点云深度融合网络获取深度融合点云数据；

所述多源勘测数据预处理模块包括：

激光扫描点云预处理单元，用于对激光扫描点云进行激光扫描点云压缩、激光扫描点云降噪和激光扫描点云拼接；

多视图像预处理单元，用于对多视图像进行区域网联合平差和多视影像匹配；

目标近景图像预处理单元，用于对目标近景图像进行相机标定和坐标转换；

所述图像点云转换模块包括：

图像联合标定单元，用于通过目标近景图像相机标定的相机参数将多视图像的像素坐标与目标近景图像的像素坐标进行联合标定，获取统一坐标系下的多视图像和目标近景图像；

图像特征向量计算单元，用于遍历多视图像和目标近景图像，提取每张图像的角点特征和灰度质心，根据角点特征与灰度质心的夹角计算图像的特征描述向量；

图像融合单元，用于计算每一张多视图像特征描述向量与目标近景图像特征描述向量的匹配度，将匹配度最高的多视图像和目标近景图像融合，直到完成所有目标近景图像的融合，获取建筑物融合图像；

影像点云转换单元，用于通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

所述点云融合模块包括：

点云配准单元，用于根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准；

深度融合单元，用于构建点云深度融合网络，将所述目标建筑物配准点云作为所述点云深度融合网络的输入参数，通过所述点云深度融合网络进行训练，输出深度融合点云数据。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.基于深度融合算法的多源勘测数据融合处理方法，其特征在于，包括以下步骤：

S1：通过多源设备获取目标建筑物的多源勘测数据，并对多源勘测数据进行预处理，其中，多源勘测数据包括激光扫描点云、多视图像和目标近景图像，多源设备包括地面激光扫描仪、无人机搭载倾斜相机和地面数码相机；

S2：将预处理后的多视图像和目标近景图像进行联合标定，获取建筑物融合图像，通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云；

S3：通过刚体变换将影像点云和激光扫描点云转换为统一坐标系，根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准，获取目标建筑物配准点云；

S4：构建点云深度融合网络，将所述目标建筑物配准点云作为所述点云深度融合网络的输入参数，通过所述点云深度融合网络进行训练，输出深度融合点云数据，将深度融合点云数据导入到点云处理软件中进行处理，输出目标建筑物的三维模型。

2.根据权利要求1所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述通过多源设备获取目标建筑物的多源勘测数据具体步骤如下：

S1.1.1：通过现场踏勘确定地面激光扫描仪的整体扫描范围，根据最大化精度原则制定扫描点布设方案和扫描方式，在测站点布置地面激光扫描仪，对目标建筑物进行扫描，获取激光扫描点云；

S1.1.2：通过现场踏勘确定无人机搭载倾斜相机的倾斜摄影范围，根据倾斜摄影范围布设像控点设控方式，通过无人机搭载倾斜相机获取目标建筑物的多视图像，其中，像控点设控方式包括边缘平高设控、中心平高设控、全面平高设控和边缘平高、中心高程设控；

S1.1.3：通过现场踏勘确定目标建筑物周边近地面遮挡情况，通过地面数码相机对遮挡物背后的目标建筑物进行补拍，获取目标近景图像。

3.根据权利要求2所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述最大化精度的计算公式为：

，

其中，表示最大化精度，argmax(•)表示最大值优化函数，s表示地面激光扫描仪到目标建筑物的斜距，/>表示地面激光扫描仪到目标建筑物的激光入射角度，/>表示工程测量常数，/>，/>表示地面激光扫描仪的测距精度，/>表示地面激光扫描仪的水平角测角精度，/>表示地面激光扫描仪的垂直角测角精度，/>表示地面激光扫描仪的横向扫描角，/>表示地面激光扫描仪的竖向扫描角。

4.根据权利要求1所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述对多源勘测数据进行预处理包括激光扫描点云预处理和图像预处理，所述激光扫描点云预处理包括激光扫描点云压缩、激光扫描点云降噪和激光扫描点云拼接，所述图像预处理包括无人机倾斜摄影影像预处理和目标近景图像预处理，所述无人机倾斜摄影影像预处理包括区域网联合平差和多视影像匹配，所述目标近景图像预处理包括相机标定和坐标转换。

5.根据权利要求4所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述激光扫描点云压缩具体步骤如下：

S1.2.1：将地面激光扫描仪获取的扫描点云三维坐标和扫描仪角分辨率转化为扫描点云影像坐标，每个坐标根据像素的反射值着色，获取反射值影像，扫描点云影像坐标的计算公式为：

，

其中，和/>表示扫描点云三维坐标对应的扫描点云影像坐标，/>表示扫描仪角分辨率，X、Y和Z表示扫描点云三维坐标；

S1.2.2：根据最小生成树算法将反射值影像分割为三个平面影像，并计算每个平面影像的平面重心位置；

S1.2.3：设定拟合平面方程，根据三个重心位置坐标计算拟合平面方程的系数，并计算其余所有扫描点云影像坐标到拟合平面的距离，将扫描点云影像坐标到拟合平面的距离与平面距离阈值对比，如果小于等于平面距离阈值，保存该扫描点云影像坐标，如果大于平面距离阈值，删除该扫描点云影像坐标；

S1.2.4：根据RANSAC算法对剩余扫描点云影像坐标中的异常点进行剔除，通过最小二乘法对剔除异常点后的扫描点云影像坐标进行平面拟合，并将平面拟合后的三个平面影像重新合并，获得压缩后的激光扫描点云。

6.根据权利要求5所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述S2具体步骤如下：

S2.1：根据无人机搭载倾斜相机和地面数码相机的拍摄时间计算总时延，获取无人机搭载倾斜相机每一时刻的加速度和角速度；

S2.2：通过目标近景图像相机标定的相机参数将多视图像的像素坐标与目标近景图像的像素坐标进行联合标定，获取统一坐标系下的多视图像和目标近景图像，联合标定的计算公式为：

，

其中，表示联合标定后的多视图像的像素坐标，/>表示由IMU坐标系到世界坐标系的旋转四元数，E(•)表示目标近景图像相机标定函数，/>表示地面数码相机的内参矩阵，表示地面数码相机的外参矩阵，/>表示世界坐标系下的加速度量，/>表示世界坐标系下的重力矢量，m表示多视图像三维像素坐标矩阵，/>表示矩阵点乘，B表示常数矩阵，u(t)表示无人机搭载倾斜相机和地面数码相机的拍摄时延矩阵，b表示无人机的加速度计偏置，表示无人机的陀螺仪噪声，a表示当前时刻无人机的加速度，d表示当前时刻无人机的角速度；

S2.3：遍历多视图像和目标近景图像，提取每张图像的角点特征和灰度质心，根据角点特征与灰度质心的夹角计算图像的特征描述向量，图像的特征描述向量的计算公式为：

，

其中，表示图像的特征描述向量，i表示图像的单个角点特征的序号，n表示图像角点特征的数量，/>表示第i个角点特征与灰度质心的夹角，/>表示第i个角点特征的加权权重值，F(•)表示傅里叶变换函数，/>和/>表示灰度质心的横坐标和纵坐标，/>表示图像的第i个角点特征，/>表示图像角点特征的平均值；

S2.4：重复计算每一张多视图像特征描述向量与目标近景图像特征描述向量的匹配度，将匹配度最高的多视图像和目标近景图像融合，直到完成所有目标近景图像的融合，获取建筑物融合图像；

S2.5：通过建模软件构建建筑物融合图像的三维模型，并将三维模型转化为影像点云。

7.根据权利要求6所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述根据旋转矩阵和平移矩阵对影像点云和激光扫描点云进行配准具体步骤如下：

S3.1：计算影像点云中每一个点在激光扫描点云中的对应最近点；

S3.2：根据影像点云和激光扫描点云的对应点对计算最小平均距离，通过最小平均距离确定旋转矩阵和平移矩阵；

S3.3：根据旋转矩阵和平移矩阵对影像点云进行变换，获取迭代影像点云，并计算迭代影像点云与激光扫描点云的平均距离，如果平均距离小于点云距离阈值，停止迭代计算，如果平均距离大于等于点云距离阈值，将迭代影像点云作为新的影像点云继续迭代，所述平均距离的计算公式为：

，

其中，D表示迭代影像点云与激光扫描点云的平均距离，j表示单个点云数据的序号，M表示点云数据的总数，表示第j个激光扫描点云，/>表示第j个迭代影像点云，/>表示欧氏距离函数，R表示旋转矩阵，T表示平移矩阵。

8.根据权利要求7所述基于深度融合算法的多源勘测数据融合处理方法，其特征在于，所述构建点云深度融合网络，包括：

输入层，根据输入参数建立特征序列，所述特征序列包括影像点云特征序列和激光扫描点云特征序列；

特征提取层，用于提取特征序列的特征向量，所述特征提取层包括几何特征提取模块、面特征提取模块和空间特征提取模块，所述特征向量包括面特征、空间特征和几何特征；

特征融合层，用于将面特征、空间特征和几何特征进行融合，生成深度融合点云数据。

9.基于深度融合算法的多源勘测数据融合处理***，基于如权利要求1-8任一项所述的方法实现，其特征在于，所述***包括：

多源勘测数据获取模块，用于通过多源设备获取目标建筑物的多源勘测数据；

多源勘测数据预处理模块，用于对多源勘测数据进行预处理；

图像点云转换模块，用于对多视图像和目标近景图像进行联合标定，获取影像点云；

点云融合模块，用于对激光扫描点云和影像点云进行配准，并通过点云深度融合网络获取深度融合点云数据。