CN116338628A

CN116338628A - 一种基于学习架构的激光雷达测深方法、装置及电子设备

Info

Publication number: CN116338628A
Application number: CN202310548929.7A
Authority: CN
Inventors: 谌一夫; 钱悦; 乐源; 吴临
Original assignee: China University of Geosciences
Current assignee: China University of Geosciences
Priority date: 2023-05-16
Filing date: 2023-05-16
Publication date: 2023-06-27
Anticipated expiration: 2043-05-16
Also published as: CN116338628B

Abstract

本发明涉及激光雷达探测领域，提供了一种基于学习架构的激光雷达测深方法、装置及电子设备，该方法包括：获取第一高精度全波形激光雷达数据；确定第一水面回波信号位置和第一水底回波信号位置；将第一高精度全波形激光雷达数据转化为第一二维图片数据；确定训练后的网络模型；获取第二高精度全波形激光雷达数据，根据第二高精度全波形激光雷达数据确定对应的第二二维图片数据；将第二二维图片数据输入所述网络模型，输出第二水面回波信号位置以及第二水底回波信号位置；根据第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深。本发明的技术方案可以适应复杂的激光回波信号、降低时间复杂度以及提高测量水深的效率和精确度。

Description

一种基于学习架构的激光雷达测深方法、装置及电子设备

技术领域

本发明涉及激光雷达探测领域，具体而言，涉及一种基于学习架构的激光雷达测深方法、装置及电子设备。

背景技术

海洋拥有宝贵的自然资源，是未来经济发展的重要支撑，海洋测绘与勘察是认识海洋、发展海洋经济的基础，其中海底地形的获取是海洋基础测绘的核心领域之一。

海洋测绘主要包括船载测量和遥感测量。传统的船载测量成本较大，效率较低。遥感测量中的水深测量主要包括摄影测量、高光谱等，摄影测量对水体环境要求严格，高光谱的测深范围较浅，误差较大。机载激光雷达测深是近年来蓬勃发展的海洋测深方法，测深覆盖面积大，测量时间短，且能够快速精准地获取水体区域的地形情况。机载激光雷达的激光雷达***能够发射大功率、窄脉冲的激光束并记录回波信号能量在时间序列上的分布情况，从而得到完整的全波形数据。机载激光雷达测深就是对水域的全波形数据进行解算，进而获取水面、水底信号，从而得到水深值的过程。目前，全波形激光雷达处理波形数据的主要步骤包括有效波形提取、数据滤波、模型设计以及参数优化、水深结算四个部分，在模型设计和参数优化方面，目前，全波形激光雷达数据波形分析主要有数值检测法、高斯分解法、反卷积法等算法。其中，数值检测法不适应于复杂的激光回波信号，高斯分解法时间复杂度较高，浅水回波分解效果较差，而反卷积法运算量极大。

发明内容

本发明解决的问题是如何适应复杂的激光回波信号、降低时间复杂度以及提高测量水深的效率和精确度中的至少一者。

为解决上述问题，本发明提供一种基于学习架构的激光雷达测深方法、装置及电子设备。

第一方面，本发明提供了一种基于学习架构的激光雷达测深方法，包括：

获取第一高精度全波形激光雷达数据；

根据所述第一高精度全波形激光雷达数据确定对应的第一水面回波信号位置和第一水底回波信号位置；

将所述第一高精度全波形激光雷达数据转化为第一二维图片数据；

将所述第一二维图片数据、所述第一水面回波信号位置以及所述第一水底回波信号位置作为深度学习网络的训练集进行网络训练，确定训练后的网络模型；

获取第二高精度全波形激光雷达数据，根据所述第二高精度全波形激光雷达数据确定对应的第二二维图片数据；

将所述第二二维图片数据输入所述网络模型，输出第二水面回波信号位置以及第二水底回波信号位置；

根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深。

可选地，所述将所述第一高精度全波形激光雷达数据转化为第一二维图片数据包括：

基于第一公式对所述第一高精度全波形激光雷达数据进行格拉姆角差场处理，确定所述第一二维图片数据；

所述第一公式包括：

式中，GADF表示经过格拉姆角差场处理后得到的所述第一二维图片数据，

表示所述第一高精度全波形激光雷达数据中按时间排列的第1个数据归一化后的反余弦，/>

表示所述第一高精度全波形激光雷达数据中第n个数据归一化后的反余弦。

可选地，所述深度学习网络为Resnet_CBAM网络。

可选地，所述Resnet_CBAM网络的构建过程包括：

在Resnet-18网络中的每个原始block和残差结果中增加一个CBAM注意力模块，得到Resnet_CBAM网络，其中，所述CBAM注意力模块包括通道注意力模块和空间注意力模块；

其中，所述Resnet_CBAM网络的输入为二维图片数据，输出为水面回波信号位置以及水底回波信号位置。

可选地，所述Resnet_CBAM网络中的损失函数采用均方误差函数；

所述均方误差函数的公式为：

式中，MSE表示所述均方误差函数，

表示第j次预测的水面信号位置，/>

表示第j次水面信号的真实位置，/>

表示第j次预测的水底信号位置，/>

表示第j次水底信号的真实位置，M表示训练批次的数量。

可选地，所述获取第一高精度全波形激光雷达数据包括：

获取第一激光雷达测深波形数据，对所述第一激光雷达测深波形数据进行有效波形提取和滤波处理，确定所述第一高精度全波形激光雷达数据。

可选地，所述根据所述第一高精度全波形激光雷达数据确定对应的第一水面回波信号位置和第一水底回波信号位置包括：

采用高斯分解法确定所述第一高精度全波形激光雷达数据对应的所述第一水面回波信号位置和所述第一水底回波信号位置。

可选地，所述根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深包括：

根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定第二水面回波信号位置以及第二水底回波信号位置的时间差；

根据所述时间差确定水深。

第二方面，本发明提供了一种基于学习架构的激光雷达测深装置，包括：

数据获取模块，用于获取第一高精度全波形激光雷达数据；

第一数据处理模块，用于根据所述第一高精度全波形激光雷达数据确定对应的第一水面回波信号位置和第一水底回波信号位置；

第二数据处理模块，用于将所述第一高精度全波形激光雷达数据转化为第一二维图片数据；

网络训练模块，用于将所述第一二维图片数据、所述第一水面回波信号位置以及所述第一水底回波信号位置作为深度学习网络的训练集进行网络训练，确定训练后的网络模型；

网络输入确定模块，用于获取第二高精度全波形激光雷达数据，根据所述第二高精度全波形激光雷达数据确定对应的第二二维图片数据；

网络输出确定模块，用于将所述第二二维图片数据输入所述网络模型，输出第二水面回波信号位置以及第二水底回波信号位置；

水深确定模块，用于根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深。

第三方面，本发明提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现如第一方面所述的基于学习架构的激光雷达测深方法。

本发明的基于学习架构的激光雷达测深方法、装置及电子设备的有益效果是：本发明将第一高精度全波形激光雷达数据转化为第一二维图片数据，实现时间序列数据的可视化，同时保留了原始数据的时间相关性，避免了信息的丢失；本发明训练的网络模型能够适应复杂的激光回波信号、降低时间复杂度，提高了输出的水面回波信号位置以及水底回波信号位置的效率和精确度，根据第二水面回波信号位置以及第二水底回波信号位置确定对应水深，进而提高测量水深的效率和精确度。

附图说明

图1为本发明实施例的一种基于学习架构的激光雷达测深方法的流程示意图；

图2为高精度全波形激光雷达数据的示意图；

图3为格拉姆角差场数据图；

图4为本发明实施例的一种基于学习架构的激光雷达测深装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1为本发明实施例提供的一种基于学习架构的激光雷达测深方法的流程示意图，该方法包含以下步骤：

步骤101、获取第一高精度全波形激光雷达数据。

具体地，通过机载激光雷达获取第一激光雷达测深波形数据，对该第一激光雷达测深波形数据进行处理得到第一高精度全波形激光雷达数据。

在一种可能的实施方式中，所述获取第一高精度全波形激光雷达数据包括：

具体地，通过机载激光雷达获取第一激光雷达测深波形数据后，对该第一激光雷达测深波形数据进行有效波形提取得到对应的有效波形数据，有效波形数据包含了仪器***噪声、来自大气的环境噪声以及其它环境噪声。为了保证后续确定的水深的精度和效率，需要先剔除此类噪声。采用下列公式所示的高斯滤波器对数据进行滤波平滑，其中，σ表示高斯分布的标准差，代表着数据的离散程度。

其中，y、G(y)、π、e均属于本领域公知符号，具体含义不再赘述。

对有效波形数据进行滤波处理后，得到第一高精度全波形激光雷达数据。

步骤102、根据所述第一高精度全波形激光雷达数据确定对应的第一水面回波信号位置和第一水底回波信号位置。

具体地，第一高精度全波形激光雷达数据包含不同深度的高精度全波形激光雷达数据。采用高斯分解法确定出第一高精度全波形激光雷达数据对应的第一水面回波信号位置和第一水底回波信号位置。

步骤103、将所述第一高精度全波形激光雷达数据转化为第一二维图片数据。

具体地，第一高精度全波形激光雷达数据为一维时序序列数据，将一维时序序列数据转化为二维图片数据，实现时间序列数据的可视化，同时保留了原始数据的时间相关性，避免了信息的丢失。

步骤104、将所述第一二维图片数据、所述第一水面回波信号位置以及所述第一水底回波信号位置作为深度学习网络的训练集进行网络训练，确定训练后的网络模型。

具体地，将第一二维图片数据、第一水面回波信号位置以及第一水底回波信号位置作为网络的训练集进行网络训练，训练后的网络可以根据二维图片数据输出对应的水面回波信号位置和水底回波信号位置。

在确定训练后的网络模型后，选择不同于训练集的数据作为测试集进行网络模型的测试。

步骤105、获取第二高精度全波形激光雷达数据，根据所述第二高精度全波形激光雷达数据确定对应的第二二维图片数据。

具体地，第二高精度全波形激光雷达数据为目标高精度全波形激光雷达数据。根据第二高精度全波形激光雷达数据确定对应的第二二维图片数据的方法与步骤103中将第一高精度全波形激光雷达数据转化为第一二维图片数据的方法相同，通过机载激光雷达获取第二激光雷达测深波形数据，对该第二激光雷达测深波形数据进行有效波形提取和滤波处理，确定第二高精度全波形激光雷达数据。第二高精度全波形激光雷达数据为一维时序序列数据，将一维时序序列数据转化为二维图片数据，实现时间序列数据的可视化，同时保留了原始数据的时间相关性，避免了信息的丢失。

步骤106、将所述第二二维图片数据输入所述网络模型，输出第二水面回波信号位置以及第二水底回波信号位置。

将第二二维图片数据作为网络的输入，输出第二水面回波信号位置以及第二水底回波信号位置。

步骤107、根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深。

具体地，第二水面回波信号位置为目标水面回波信号位置，第二水底回波信号位置为目标水底回波信号位置。

综上，在本发明实施例中，将第一高精度全波形激光雷达数据转化为第一二维图片数据，实现时间序列数据的可视化，同时保留了原始数据的时间相关性，避免了信息的丢失；本发明训练的网络模型能够适应复杂的激光回波信号、降低时间复杂度，提高了输出的水面回波信号位置以及水底回波信号位置的效率和精确度，根据第二水面回波信号位置以及第二水底回波信号位置确定对应水深，进而提高测量水深的效率和精确度。

在一种可能的实施方式中，所述根据所述第一高精度全波形激光雷达数据确定对应的第一水面回波信号位置和第一水底回波信号位置包括：

具体地，由于高斯分解法为现有技术，采用高斯分解法确定第一高精度全波形激光雷达数据对应的第一水面回波信号位置和第一水底回波信号位置的具体过程不再阐述。

在一种可能的实施方式中，所述将所述第一高精度全波形激光雷达数据转化为第一二维图片数据包括：

所述第一公式包括：

表示所述第一高精度全波形激光雷达数据中第n个数据归一化后的反余弦。按照确定第一二维图片数据的方法根据第二高精度全波形激光雷达数据确定对应的第二二维图片数据。

具体地，第一高精度全波形激光雷达数据为一维时序序列数据，将第一高精度全波形激光雷达数据转化为第一二维图片数据，卷积神经网络由卷积层、池化层、全连接层交叉堆叠而成，卷积神经网络常被用于图片和视频的分析任务上，但是卷积神经网络对时序序列处理的效果并不是很好，所以本发明通过格拉姆角差场(GADF)方法将一维时序序列数据转化为二维图片数据，具体步骤如下：

假设时序序列X = {x ₁,x ₂,x ₃, …,x _n}，x _i表示第i个纳秒时的回波强度，n表示样本个数，其中包含n个真实值，通过下段中的公式所示的归一化方法将X的所有值缩放到[0,1]区间。

式中，min(x)表示x ₁,x ₂,x ₃, …,x _n中的最小值，max(x)表示x ₁,x ₂,x ₃, …,x _n中的最大值，

表示将时序序列归一化后的结果。

将缩放后的时序序列表示为

，然后使用下列公式将/>

映射到极坐标。

式中，

表示/>

的反余弦，i = 1, 2, 3, …, n，对于极坐标系中的角度，/>

表示时间戳i对应的极坐标半径，N起调节极坐标系跨度的作用。

归一化操作后的数据对应的反余弦函数角度范围为[0,

/2]，这种基于极坐标系的表示为时间序列提供了新的视角，即序列的时标变化映射为极坐标系的半径随时间的变化，而振幅变化映射为极坐标系的角度。

定义GADF如下所示：

其中，

表示第一高精度全波形激光雷达数据中按时间排列的第1个数据归一化后的反余弦，也就是时序序列中第1个数据归一化后的反余弦，/>

表示第一高精度全波形激光雷达数据中第n个数据归一化后的反余弦，也就是时序序列中第n个数据归一化后的反余弦。

如图2和图3所示，图2为高精度全波形激光雷达数据的示意图，图3为对应的格拉姆角差场数据图，图2中2个较为明显的波峰对应着图3格拉姆角差场数据图中相应位置带状区域的点，且峰值较大部分带状区域越明亮，特征也愈发明显。

本发明实施例通过格拉姆角差场的方法将一维时序序列数据转化为二维图片数据，GADF数据图像突出了水面、水底回波信号的位置，实现时间序列数据的可视化，同时，转换后的数据还保留了原始数据的时间相关性，避免了信息的丢失。

在一种可能的实施方式中，所述深度学习网络为Resnet_CBAM网络。

在一种可能的实施方式中，所述Resnet_CBAM网络的构建过程包括：

在确定第一二维图片数据后，选择Resnet_CBAM网络进行网络训练。采用Resnet-18网络模型为基础，这里的18指定的是带有权重的18层，其中包括卷积层和全连接层，不包括池化层和BN层。GADF图片并不需要关注整个图片的全局信息，而是聚焦到水面回波、水底回波的局部特征中。Resnet-18可以逐步捕获到期望的局部结构，相比其它的网络结构，能够更高效、更精准的提取到局部特征，从而提高网络输出的第二水面回波信号位置和第二水底回波信号位置的效率和精确度，进而提高后续确定的水深的效率以及精确度。

为了使网络更能关注到图片的有意义信息和目标位置信息，如波形水面、水底回波信号区域，在Resnet的每个原始block和残差结果中引入了一个CBAM的注意力模块，使网络依次通过通道注意力模块(CAM)和空间注意力模块(SAM)。CAM将输入的特征图(featuremap)经过两个并行的最大池化（MaxPool）层和平均池化（AvgPool）层，将特征图中每个通道数变为1*1的大小，然后将通道数压缩，再扩张到原通道数，经过ReLU激活函数得到两个激活后的结果。将这两个输出结果进行逐元素相加，再通过一个sigmoid激活函数得到输出结果，再将这个输出结果乘原图，变回原来特征图的大小。SAM是将CAM的输出结果通过最大池化和平均池化得到两个特征图，然后对两个特征图进行拼接，通过卷积变为1通道的特征图，再经过一个sigmoid函数得到特征图，最后将输出结果乘原图变回原通道大小。同时，将Resnet的全连接（FC）层替换为新的满足预测目标的FC层。注意力机制赋予了神经网络聚焦的能力，融合了迁移学习模型。CBAM中的两个子模块包括通道注意力模块(CAM)和空间注意力模块(SAM)，分别执行通道注意力和空间注意力，降低了参数数量，提高了计算速度，可以即插即用到现有的网络。

在一种可能的实施方式中，所述Resnet_CBAM网络中的损失函数采用均方误差函数；

所述均方误差函数的公式为：

式中，MSE表示所述均方误差函数，

表示第j次预测的水面信号位置，/>

表示第j次水面信号的真实位置，/>

表示第j次预测的水底信号位置，/>

表示第j次水底信号的真实位置，M表示训练批次的数量。

为了使测量预测值与真实值匹配程度更接近，Resnet_CBAM网络架构中的损失函数选用MSE（均方误差）。在本网络中，表示水面、水底回波信号位置与网络预测的水面、水底回波信号位置之差的平方和的平均值，平均值越小，代表预测值与真实值越匹配。

在一种可能的实施方式中，所述根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深包括：

根据所述时间差确定水深。

具体地，采用下列公式计算水深，其中，C表示光在真空中的传播速度，T表示水面回波和水底回波之间的时间差，β表示激光进入水面的折射角，

表示激光在空气中的折射率，/>

表示激光在水体中的折射率，D表示水深。

根据第二水面回波信号位置以及第二水底回波信号位置确定出水面回波信号和水底回波信号之间的时间差，从而通过上述关于水深的公式确定出水深。

图4为本发明实施例提供的一种基于学习架构的激光雷达测深装置的结构示意图，如图4所示，该装置300包括：

数据获取模块301，用于获取第一高精度全波形激光雷达数据；

第一数据处理模块302，用于根据所述第一高精度全波形激光雷达数据确定对应的第一水面回波信号位置和第一水底回波信号位置；

第二数据处理模块303，用于将所述第一高精度全波形激光雷达数据转化为第一二维图片数据；

网络训练模块304，用于将所述第一二维图片数据、所述第一水面回波信号位置以及所述第一水底回波信号位置作为深度学习网络的训练集进行网络训练，确定训练后的网络模型；

网络输入确定模块305，用于获取第二高精度全波形激光雷达数据，根据所述第二高精度全波形激光雷达数据确定对应的第二二维图片数据；

网络输出确定模块306，用于将所述第二二维图片数据输入所述网络模型，输出第二水面回波信号位置以及第二水底回波信号位置；

水深确定模块307，用于根据所述第二水面回波信号位置以及所述第二水底回波信号位置确定对应水深。

在本发明提供的又一实施例中，还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由所述处理器加载并执行以实现本发明实施例中所述的基于学习架构的激光雷达测深方法。

虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。