CN116863343B - 一种深度学习模型、海底底质解译方法、装置及介质 - Google Patents

一种深度学习模型、海底底质解译方法、装置及介质 Download PDF

Info

Publication number
CN116863343B
CN116863343B CN202311129089.7A CN202311129089A CN116863343B CN 116863343 B CN116863343 B CN 116863343B CN 202311129089 A CN202311129089 A CN 202311129089A CN 116863343 B CN116863343 B CN 116863343B
Authority
CN
China
Prior art keywords
module
substrate
seabed
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311129089.7A
Other languages
English (en)
Other versions
CN116863343A (zh
Inventor
秦绪文
王浩屹
李显巨
陈伟涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202311129089.7A priority Critical patent/CN116863343B/zh
Publication of CN116863343A publication Critical patent/CN116863343A/zh
Application granted granted Critical
Publication of CN116863343B publication Critical patent/CN116863343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种深度学习模型、海底底质解译方法、装置及介质，涉及遥感信息解译领域，深度学习模型包括编码器模块、特征融合模块、图卷积神经网络模块及解码器模块，编码器模块、特征融合模块、图卷积神经网络模块及解码器模块顺次连接；编码器模块用于输出先验知识特征和多波束影像特征至特征融合模块；特征融合模块用于融合先验知识特征和多波束影像特征，输出融合特征至图卷积神经网络模块；图卷积神经网络模块用于处理融合特征，输出海底编码信息至解码器模块；解码器模块用于解译海底编码信息，输出第一海底底质解译标签。本发明提供的技术方案可以提高海底底质图像解译的准确性，进而反映真实的海底底质种类。

Description

一种深度学习模型、海底底质解译方法、装置及介质
技术领域
本发明涉及遥感信息解译领域，具体而言，涉及一种深度学习模型、海底底质解译方法、装置及介质。
背景技术
在现有技术中，大多采用遥感技术收集海洋区域的遥感图像，再通过网络模型解译遥感图像。但是，海洋环境具有高度扰动性和复杂性，且遥感设备的声波具有交互复杂性，使遥感图像具有较大的数据离散性、***误差和噪音等缺点，且遥感图像的声学影像与光学影像存在差异，所以，基于遥感图像训练得到的网络模型准确率低，导致网络模型在解译海底的遥感图像时，不能准确地反映真实的海底底质种类。
发明内容
本发明解决的问题是如何提高海底底质图像解译的准确性，进而反映真实的海底底质种类。
为解决上述问题，本发明提供一种深度学习模型、海底底质解译方法、装置及介质。
第一方面，本发明提供了一种深度学习模型，包括：编码器模块、特征融合模块、图卷积神经网络模块及解码器模块，所述编码器模块、所述特征融合模块、所述图卷积神经网络模块及所述解码器模块顺次连接；
所述编码器模块用于根据获取的海底底质的先验知识数据和多波束影像数据，输出先验知识特征和多波束影像特征至所述特征融合模块；
所述特征融合模块用于融合所述先验知识特征和所述多波束影像特征，输出融合特征至所述图卷积神经网络模块；
所述图卷积神经网络模块用于处理所述融合特征，输出海底编码信息至所述解码器模块；
所述解码器模块用于解译所述海底编码信息，输出第一海底底质解译标签。
可选地，所述解码器模块还用于输出第一海底底质特征标签，根据所述第一海底底质解译标签和所述第一海底底质特征标签，调整模型参数。
可选地，所述解码器模块包括信息解码器和特征解码器，所述信息解码器和所述特征解码器的输入端分别与所述图卷积神经网络模块的输出端连接；
所述信息解码器用于解译所述海底编码信息，输出所述第一海底底质解译标签；
所述特征解码器用于解译所述海底编码信息，输出所述第一海底底质特征标签。
可选地，所述信息解码器还用于获取预设的第二海底底质解译标签，并根据所述第一海底底质解译标签和所述预设的第二海底底质解译标签通过损失公式计算解译误差，根据所述解译误差调整所述模型参数；
所述特征解码器还用于获取预设的第二海底底质特征标签，并根据所述第一海底底质特征标签和所述预设的第二海底底质特征标签通过所述损失公式计算特征误差，根据所述特征误差调整所述模型参数。
可选地，所述编码器模块包括一组或多组深度密集空洞金字塔和与所述深度密集空洞金字塔对应连接的池化层，各组所述深度密集空洞金字塔和所述池化层依次连接，且最后一个所述池化层的输出端与所述特征融合模块的输入端连接；
所述深度密集空洞金字塔用于提取所述先验知识数据和所述多波束影像数据的多尺度特征，并将所述多尺度特征传输至相连的下一个所述池化层；
所述池化层用于将所述多尺度特征降维，获得所述先验知识特征和所述多波束影像特征，并将所述先验知识特征和所述多波束影像特征传输至所述特征融合模块。
可选地，所述特征融合模块还用于根据所述融合特征，输出自适应邻接矩阵至所述图卷积神经网络模块；
所述图卷积神经网络模块还用于根据所述自适应邻接矩阵输出所述海底编码信息。
第二方面，本发明提供了一种海底底质解译方法，包括：
获取目标区域的待解译数据；
将所述待解译数据输入到训练好的深度学习模型中，得到第一海底底质解译标签，其中，所述训练好的深度学习模型采用如上所述的深度学习模型训练得到。
可选地，所述获取目标区域的待解译数据，包括：
获取所述目标区域的海底数据；
根据预设尺寸切分所述海底数据，获取所述待解译数据。
第三方面，本发明提供了一种海底底质解译装置，包括：
获取模块，用于获取目标区域的待解译数据；
解译模块，用于将所述待解译数据输入到训练好的深度学习模型中，得到第一海底底质解译标签，其中，所述训练好的深度学习模型采用如上所述的深度学习模型训练得到。
第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的海底底质解译方法。
本发明的深度学习模型、海底底质解译方法、装置及介质的有益效果是：通过编码器模块提取先验知识数据和多波束影像数据中具有多尺度多深度特性的先验知识特征和多波束影像特征，传输至特征融合模块，由特征融合模块将先验知识特征和多波束影像特征融合为具有先验知识和多波束影像特性的深度融合特征，并由图卷积神经网络模块对融合特征进行关联学习处理，图卷积神经网络模块构建全局依赖关系，学习节点特征和拓扑结构，因为融合特征具有先验知识的特性，所以图卷积神经网络模块可以有效捕捉提取节点的全局信息，使深度学习模型具有应变海底多变环境的高鲁棒性和泛化能力，而且图卷积神经网络模块还可以提高深度学习模型的精度与效率，融合特征经过图卷积神经网络模块处理后，变为可识别的、具有更强的表达能力的、有一定规律的海底编码信息，最后由解码器模块解译海底编码信息，输出第一海底底质解译标签，即海底底质的种类，完成解译海底遥感图像，反映真实的海底底质种类任务。本发明提供的深度学习模型在先验知识特征和图卷积神经网络模块的双重作用下，可通过较少的训练量达到较高的精度，节约时间、人力和财力成本，而且，通过融合先验知识数据和多波束影像数据，以先验知识作为辅助来训练深度学习模型，使深度学习模型具有更高更强的鲁棒性和泛化能力，可以准确地解译海底底质图像，解决了因海底环境具有高度扰动性和复杂性、遥感设备的声波具有交互复杂性造成的解译误差问题，完成对海底底质分类的任务。
附图说明
图1为本发明实施例的一种深度学习模型的结构示意图；
图2为本发明实施例的一种深度密集空洞金字塔的结构示意图；
图3为本发明另一实施例的一种海底底质解译方法的流程示意图；
图4为本发明又一实施例的一种海底底质解译装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
如图1所示，本发明实施例提供的一种深度学习模型，包括：编码器模块、特征融合模块、图卷积神经网络模块及解码器模块，所述编码器模块、所述特征融合模块、所述图卷积神经网络模块及所述解码器模块顺次连接；
所述编码器模块用于根据获取的海底底质的先验知识数据和多波束影像数据，输出先验知识特征和多波束影像特征至所述特征融合模块；
所述特征融合模块用于融合所述先验知识特征和所述多波束影像特征，输出融合特征至所述图卷积神经网络模块；
所述图卷积神经网络模块用于处理所述融合特征，输出海底编码信息至所述解码器模块；
所述解码器模块用于解译所述海底编码信息，输出第一海底底质解译标签。
具体地，先验知识是先于经验的知识，也即提前验证的知识，通过先验知识，可以去更好地推断下一阶段的知识；多波束影像是由Reson Seabat 7125、Reson Seabat 8101和Reson Seabat 8111等水下多波束测深仪的组合使用获得的影像数据。海底底质特征是表面硬度和粗糙度的组合，也叫海底硬结，通过收集源自多波束回声测深仪（MBES）的数据和水下视频数据，从而将海底基底的观察结果，按照沿海和海洋生态分类标准的硬化等级进行划分，海底底质特征划分等级为：软-平滑（海底表面硬度较软，海底表面租糙程度偏平滑）、硬-平滑（海底表面硬度较硬，海底表面租糙程度偏平滑）、硬-崎岖（海底表面硬度较硬，海底表面租糙程度偏崎岖），海底底质特征对应的第一海底底质特征标签分别为1，2，3；海底底质类别依据海底底质特征进行分类，共分为深海沉积物、砾石、砂土、粘土、基岩五个类别，海底底质类别对应的第一海底底质解译标签分别为0，1，2，3，4。
其中，深海沉积物主要有灰质岩、珊瑚石、硅质岩等。地质时期集中于新近系；砾石主要包括碎屑岩石、火山岩石、生物骨骼、沉积物颗粒等，其中碎屑岩石占比较大，地质时期集中于全新世，海底全新世砾石的颗粒粗大，造型复杂，有些砾石表面附着有其他沉积物，如泥沙、粘土等；砂土主要成分是石英和长石等矿物，同时也包含少量的钛铁矿、黑云母、云母等物质，砂土中还可能含有一些生物残骸、石灰岩碎屑和磷酸盐等沉积物，地质时期集中于全新世；粘土在沉积作用下，海洋中的有机质和矿物颗粒在海底淤积形成粘土，主要由两种主要矿物组成：一种是硅酸盐矿物，如伊利石、蒙脱石和高岭石等，另一种是白云石，地质时期集中于全新世；基岩主要有玄武岩、玄武质凝灰岩、海绿岩等，其岩性大多为基性和超基性岩石。地质时期集中在晚第三纪。
本发明的训练数据来自于研究区获取的多波束影像数据，即反向散射强度数据和水深测量数据，以及根据海底底质分类相关标准和人工解译修正的方法，获取的研究区的先验知识数据，即海底底质解译标签和海底底质特征标签。其中，研究区是已经由现有技术解译的海底区域。将多波束影像数据和先验知识数据制作为海底底质数据集，并将的海底底质数据集内的先验知识数据和多波束影像数据切分成128*128的大小，采用随机取样的方式，按照6:2:2的比例将海底底质数据集划分训练集、验证集和测试集，训练集用于用于对深度学习模型的训练，验证集用于深度学习模型的参数优化，测试集用于对训练好的深度学习模型进行精度评价。
本发明提供的深度学习模型以U-Net经典结构为基础结构，通过各个模块构建双U结构神经网络。获取训练集的先验知识数据包括坡向、坡度和山体阴影三种地学分析数据，训练集的多波束影像数据包括反向散射强度数据与水深测量数据；在训练深度学习模块时，编码器模块接收训练集的先验知识数据和多波束影像数据，随着编码器模块内部结构的不断加深，先验知识数据和多波束影像数据的特征图尺寸逐渐变小，特征图通道维度逐渐增加，最终编码器模块提取出先验知识特征和多波束影像特征，并传输至特征融合模块，特征融合模块将先验知识特征和多波束影像特征融合相加，生成具有先验知识特性和多波束影像特性的融合特征，图卷积神经网络模块捕捉融合特征中的像素点特征与拓扑结构，进行有效的关联学习，同时学习特征图像的全局信息，最后输出更具表达能力和泛化能力的特征，即海底编码信息，最后由解码器模块对海底编码信息进行解译，通过解码器模块内部的卷积层结构恢复海底编码信息的特征图尺寸，输出第一海底底质解译标签，完成对海底底质分类的任务；在输出第一海底底质解译标签后，将第一海底底质解译标签与训练集中的数据进行对比，计算损失函数，根据损失函数的值通过深度学习模型的神经网络反向传播机制对深度学习模型的模型参数进行微调，使深度学习模型的精度达到最高。由训练集的数据训练完深度学习模型后，将验证集的数据输入到深度学习模型中，进行深度的参数优化。本发明提供的深度学习模型在先验知识特征和图卷积神经网络模块的双重作用下，可通过较少的训练量达到较高的精度，节约时间、人力和财力成本，而且，通过融合先验知识数据和多波束影像数据，以先验知识作为辅助来训练深度学习模型，使深度学习模型具有更高更强的鲁棒性和泛化能力，每次输出结果后均采用深度学习模型的神经网络反向传播机制微调深度学习模型的模型参数，使其精度更加精准。
示例性地，在获取训练好的深度学习模块后，将测试集的数据输入到训练好的深度学习模型进行精度评价，精度评价结果如下表：
表1 训练好的深度学习模型在测试集上的精度评价数据
训练好的深度学***均值并计算标准差，训练好的深度学习模型在测试集上的精度评价结果如表1所示：在IOU指标上，本发明提供的深度学习模型相较于其他四个模型精度上具有明显的差异，在深海沉积物、砾石、砂土、粘土和基岩五个海底底质的测试上精度均为最高，且在深海沉积物上提高最为明显，相对于UNet，本发明提供的深度学习模型IOU提升了17.82%；在OA指标上，本发明提供的深度学习模型数据达到了94.02%±0.10%，相较于其他模型有明显的提升；在mIOU指标上，本发明提供的深度学习模型数据达到了85.60%±0.09%，相对于UNet，本发明提供的深度学习模型IOU提升了10.41%。结果表明本发明提供的深度学习模型能够显著地提升海底底质解译任务的精度。
示例性地，在深度学习模型训练好后，对训练好的深度学习模型进行使用时，输入的数据可以为先验知识数据和/或多波束影像数据。
在一个实施例中，坡向、坡度和山体阴影三种地学分析数据可由水深测量数据根据下述的计算方法和公式获得，且其计算方法和公式可集成至深度学习模型，减少额外计算的步骤和内存空间；
坡向（Aspect）是指地表某点所面向的方向，通常用度数表示，0°表示正北，90°表示正东，180°表示正南，270°表示正西，360°或0°表示正北；
坡度（Slope）是指地表某点的高程相对水平面的倾斜角度，通常用百分比或度数表示。而百分比是最为常用的表示坡度方法，即两点的高程差与其水平距离的百分比，如公式一所示：
（公式一）；
其中，Slope为坡度，h为高程差，l为水平距离。
山体阴影（Hillshade）是根据光照条件和地形高程数据计算得到的阴影图像。通过计算每个点的遮蔽和照明情况，生成山体阴影图像，可以模拟地表在不同光照角度下的阴影效果，从而提供更加立体的地形感觉。山体阴影可以使用如公式二所示的遮蔽和照明算法：
（公式二）；
其中，Zenith_rad是太阳天顶角的弧度数，Slope_rad是某一点的坡度弧度数，Azimuth_rad是指太阳光线方向角的弧度数，Aspect_rad是某一点的坡向弧度数。
若Hillshade<0,则设Hillshade=0。
太阳天顶角的弧度数由公式三和公式四计算得到：
（公式三）；
（公式四）；
其中，Altitude为太阳高度角，Zenith_deg为太阳天顶角的角度数；
太阳光线方向角是指定的角度数，山体阴影的计算公式需要弧度数，所以需要将地理上的指南针方向转换为数学上的向右的方向，即向右为起算的方向；其次，需要将角度数转换为弧度数。太阳光线方向角的弧度数由公式五、公式六和公式七计算得到：
（公式五）；
（公式六）；
其中，Azimuth_math为太阳光线方向角的角度数，取值范围为[0,360)。
当Azimuth_rad≥360.0时，Azimuth_math由公式七计算得到
（公式七）；
可选地，所述解码器模块还用于输出第一海底底质特征标签，根据所述第一海底底质解译标签和所述第一海底底质特征标签，调整模型参数。
可选地，所述解码器模块包括信息解码器和特征解码器，所述信息解码器和所述特征解码器的输入端分别与所述图卷积神经网络模块的输出端连接；
所述信息解码器用于解译所述海底编码信息，输出所述第一海底底质解译标签；
所述特征解码器用于解译所述海底编码信息，输出所述第一海底底质特征标签。
具体地，信息解码器和特征解码器均由一个或多个卷积单元和输出单元组成，一个或多个卷积单元和输出单元依次连接，且最后一个卷积单元与输出单元连接，作为优选地，本实施例选用四个卷积单元、一个输出单元作为信息解码器和特征解码器的内部结构，四个卷积单元依次连接，且最后一个卷积单元的输出端和输出单元的输入端连接，卷积单元由一层转置卷积层和两层融合层组成，一层转置卷积层和两层融合层顺次连接，且最后一个融合层与输出单元连接；输出单元包括1*1卷积层和Sigmoid层，1*1卷积层的输出端与Sigmoid层的输出端连接，1*1卷积层的输入端与最后一个融合层的输出端连接；融合层包括3*3卷积层、BN层和ReLU层。在图卷积神经网络模块输出海底编码信息后，信息解码器将海底编码信息通过内部结构恢复其特征图尺寸，最后由输出单元输出第一海底底质解译标签；特征解码器将海底编码信息通过内部结构恢复其特征图尺寸，最后由输出单元输出第一海底底质特征标签。
可选地，所述信息解码器还用于获取预设的第二海底底质解译标签，并根据所述第一海底底质解译标签和所述预设的第二海底底质解译标签通过损失公式计算解译误差，根据所述解译误差调整所述模型参数；
所述特征解码器还用于获取预设的第二海底底质特征标签，并根据所述第一海底底质特征标签和所述预设的第二海底底质特征标签通过所述损失公式计算特征误差，根据所述特征误差调整所述模型参数。
具体地，损失公式采用交叉熵损失公式，如公式八所示：
（公式八）；
其中，其中N代表像素总数量，C表示类别数，i代表当前第i个像素，j代表当前第i个像素被预测的类别，y ij代表是否为正确类别：正确则为1、错误则为0，p ij为当前第i个像素被预测为j类别的概率。交叉熵损失函数的作用是用于衡量深度学习模型解译的输出值与真实值之间的距离或差异，损失函数值越小，表示输出值越接近真实值，反之则越远离真实值。
示例性地，预设的第二海底底质解译标签和预设的第二海底底质特征标签为现有技术公开认证的数据，由互联网获得。
通过互联网或其他方法获取研究区的预设的第二海底底质解译标签和第二海底底质特征标签，也即先验知识，在信息解码器输出第一海底底质解译标签后，将第一海底底质解译标签和预设的第二海底底质解译标签带入到损失函数中计算解译误差（也叫分割损失），根据解译误差通过深度学习模型的神经网络反向传播机制微调模型参数；在特征解码器输出第一海底底质特征标签后，将第一海底底质特征标签和预设的第二海底底质特征标签带入到损失函数中计算特征误差（也叫先验损失），根据解译误差通过深度学习模型的神经网络反向传播机制微调模型参数。在深度学习模型的训练过程中，前向传播和反向传播交替进行，在前向传播通过训练集和权重参数计算输出结果后，反向传播遵循导数链式法则根据损失函数公式计算损失函数对各模型参数的梯度，并根据梯度进行模型参数的更新，修正深度学习模型。本发明提供的深度学习模型以预设的第二海底底质解译标签和第二海底底质特征标签为先验知识，辅助反向传播修正深度学习模型，使深度学习模型的精度更高。本发明提供的深度学习模型在一次训练中采用两次先验知识数据，第一先验知识数据为坡向、坡度和山体阴影三种地学分析数据，第二先验知识数据为预设的第二海底底质解译标签和第二海底底质特征标签，通过第一先验知识数据和第二先验知识数据辅助深度学习模型训练修正，可以加快深度学习模型的精度提升训练，减少成本。
示例性地，深度学习模型可通过解译误差和/或特征误差通过深度学习模型的神经网络反向传播机制微调模型参数，其中，模型参数包括但不限于深度学习模型中各个模块的权重系数。在采用解译误差和特征误差通过深度学习模型的神经网络反向传播机制微调模型参数时，将解译误差和特征误差相加融合，得到最终损失，根据最终损失通过深度学习模型的神经网络反向传播机制微调模型参数。
可选地，所述编码器模块包括一组或多组深度密集空洞金字塔和与所述深度密集空洞金字塔对应连接的池化层，各组所述深度密集空洞金字塔和所述池化层依次连接，且最后一个所述池化层的输出端与所述特征融合模块的输入端连接；
所述深度密集空洞金字塔用于提取所述先验知识数据和所述多波束影像数据的多尺度特征，并将所述多尺度特征传输至相连的下一个所述池化层；
所述池化层用于将所述多尺度特征降维，获得所述先验知识特征和所述多波束影像特征，并将所述先验知识特征和所述多波束影像特征传输至所述特征融合模块。
具体地，深度密集空洞金字塔和与其对应连接的池化层为一组，且池化层为最大池化层，编码器模块内部结构包括一组或多组深度密集空洞金字塔和与其对应连接的池化层结构，深度密集空洞金字塔用于提取先验知识数据和多波束影像数据的多尺度特征，池化层用于对多尺度特征降维，并将降维后的多尺度特征传输给下一组结构中的深度密集空洞金字塔，且最后一组结构中的池化层用于对多尺度特征降维并生成先验知识特征和多波束影像特征，传输至特征融合模块；通过深度密集空洞金字塔可以扩大感受野，捕获不同深度、不同尺度的先验知识特征和多波束影像特征，且通过池化层可以快速地进行特征提取，提高深度学习模型的运行速度和效率。
如图2所示，深度密集空洞金字塔包括一个1*1卷积层、三个第一卷积层、两个第二卷积层、一个第三卷积层，一个自适应平均池化层以及一个通道混洗注意力层，1*1卷积层的输出端分别与三个第一卷积层、两个第二卷积层以及自适应平均池化层的输入端连接，三个第一卷积层顺次连接，且第一个第一卷积层的输出端与最后一个第一卷积层和通道混洗注意力层的输出端连接，最后两个第一卷积层的输出端分别与两个第二卷积层的输入端连接，两个第二卷积层顺次连接，且第一个第二卷积层的输出端与通道混洗注意力层的输入端连接，第二个第二卷积层的输出端与第三卷积层的输入端连接，第三卷积层的输出端与通道混洗注意力层连接；1*1卷积层包括1*1卷积、BN层和ReLU层，第一卷积层包括3*3卷积（D=1）、BN层和ReLU层，第二卷积层包括3*3卷积（D=2）、BN和ReLU层，第三卷积层包括3*3卷积（D=3）、BN层和ReLU层。C*H*W为输入数据的特征图的尺寸，其中，C表示特征图的通道数、H为特征图的高度、W为特征图的宽度；C′*H′*W′为由深度密集空洞金字塔处理提取后的特征图尺寸，C′表示处理后的特征图的通道数、H′表示处理后的特征图的高度、W′表示处理后的特征图的宽度。通过上述结构构成的深度密集空洞金字塔及其对应的池化层，可以把任意尺度的图像数据的卷积特征转化成相同维度，这不仅可以让深度学习模型处理任意尺度的图像，还能避免因cropping和warping操作导致的信息丢失问题，具有良好的鲁棒性。
进一步地，编码器模块包括先验知识编码器和影像编码器，先验知识编码器和影像编码器内部结构均包括一组或多组深度密集空洞金字塔和与其对应连接的池化层结构，先验知识编码器用于提取所述先验知识数据中的先验知识特征，影像编码器用于提取多波束影像数据中的多波束影像特征；作为优选地，先验知识编码器和影像编码器内部均设有四组深度密集空洞金字塔和与其对应连接的池化层结构。
可选地，所述特征融合模块还用于根据所述融合特征，输出自适应邻接矩阵至所述图卷积神经网络模块；
所述图卷积神经网络模块还用于根据所述自适应邻接矩阵输出所述海底编码信息。
具体地，特征融合模块内部结构为3*3卷积层、BN层以及ReLU层，3*3卷积层、BN层以及ReLU层顺次连接，特征融合模块接收来接编码器模块的先验知识特征和多波束影像特征，将先验知识特征和多波束影像特征通过上述结构进行融合相加得到融合特征，并生成图卷积神经网络模块进行关联学习处理所需要的自适应邻接矩阵，图卷积神经网络模块处理融合特征和自适应邻接矩阵，深度挖掘其内部潜在的连接关系，捕捉像素点特征与拓扑结构，进行有效的关联学习，同时学习图像特征的全局信息，输出更具表达能力和泛化能力的特征。
示例性地，特征融合模块内部结构的数量可依据编码器模块的内部结构，若编码器模块内部有先验知识编码器和影像编码器两个编码器，特征融合模块则相应的有两组3*3卷积层、BN层以及ReLU层，分别对应两个编码器，可以加快深度学习模型的运行速度。
如图3所示，本发明另一实施例提供了一种海底底质解译方法，包括：
步骤S10，获取目标区域的待解译数据；
步骤S20，将所述待解译数据输入到训练好的深度学习模型中，得到第一海底底质解译标签，其中，所述训练好的深度学习模型采用如上所述的深度学习模型训练得到。
具体地，在进行海底底质解译和海底底质分类等任务时，可采用本发明提供的训练好的深度学习模型，本发明提供的训练好的深度学习模型具有精度高、运行速度快、输出信息完善等优点，将目标区域的待解译数据输入到训练好的深度学习模型后，可快速准确地获取第一海底底质解译标签，即完成海底底质解译和海底底质分类等任务。
可选地，所述获取目标区域的待解译数据，包括：
步骤S11，获取所述目标区域的海底数据；
步骤S12，根据预设尺寸切分所述海底数据，获取所述待解译数据。
具体地，通过Reson Seabat 7125、Reson Seabat 8101和Reson Seabat 8111等水下多波束测深仪的组合使用获得目标区域的多波束影像，即海底数据，将获得海底数据根据预设尺寸进行切分，作为优选地，预设尺寸选为128*128，获得可输入到训练好的深度学习模型的待解译数据，其中，只需要切分多波束影像数据中的反向散射强度数据和水深测量数据即可，不必切分先验知识数据，深度学习模型中已经集成先验知识数据的坡向、坡度和山体阴影三种地学分析数据的计算方法和公式，不需要额外的切分和计算工作，可节约大量的时间成本。
如图4所示，本发明又一实施例提供了一种海底底质解译装置，包括：
获取模块，用于获取目标区域的待解译数据；
解译模块，用于将所述待解译数据输入到训练好的深度学习模型中，得到第一海底底质解译标签，其中，所述训练好的深度学习模型采用如上所述的深度学习模型训练得到。
本发明又一实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的海底底质解译方法。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (8)

1.一种基于深度学习模型的海底底质解译方法，其特征在于，所述基于深度学习模型的海底底质解译方法包括：
获取目标区域的待解译数据；
将所述待解译数据输入到训练好的深度学习模型中，得到第一海底底质解译标签，其中，所述深度学习模型包括：编码器模块、特征融合模块、图卷积神经网络模块及解码器模块，所述编码器模块、所述特征融合模块、所述图卷积神经网络模块及所述解码器模块顺次连接；
所述编码器模块用于根据获取的海底底质的先验知识数据和多波束影像数据，输出先验知识特征和多波束影像特征至所述特征融合模块；
所述特征融合模块用于融合所述先验知识特征和所述多波束影像特征，输出融合特征至所述图卷积神经网络模块；
所述图卷积神经网络模块用于处理所述融合特征，输出海底编码信息至所述解码器模块；
所述解码器模块用于解译所述海底编码信息，输出所述第一海底底质解译标签；
所述编码器模块包括一组或多组深度密集空洞金字塔和与所述深度密集空洞金字塔对应连接的池化层，各组所述深度密集空洞金字塔和所述池化层依次连接，且最后一个所述池化层的输出端与所述特征融合模块的输入端连接；
所述深度密集空洞金字塔用于提取所述先验知识数据和所述多波束影像数据的多尺度特征，并将所述多尺度特征传输至相连的下一个所述池化层；
所述池化层用于将所述多尺度特征降维，获得所述先验知识特征和所述多波束影像特征，并将所述先验知识特征和所述多波束影像特征传输至所述特征融合模块；
所述深度密集空洞金字塔包括1*1卷积层、三个第一卷积层、两个第二卷积层、第三卷积层、自适应平均池化层以及通道混洗注意力层，所述1*1卷积层的输出端分别与三个所述第一卷积层、两个所述第二卷积层以及所述自适应平均池化层的输入端连接，三个所述第一卷积层顺次连接，且第一个所述第一卷积层的输出端与最后一个所述第一卷积层和所述通道混洗注意力层的输出端连接，最后两个所述第一卷积层的输出端分别与两个所述第二卷积层的输入端连接，两个所述第二卷积层顺次连接，且第一个所述第二卷积层的输出端与所述通道混洗注意力层的输入端连接，第二个所述第二卷积层的输出端与所述第三卷积层的输入端连接，所述第三卷积层的输出端与所述通道混洗注意力层连接。
2.根据权利要求1所述的基于深度学习模型的海底底质解译方法，其特征在于，所述解码器模块还用于输出第一海底底质特征标签，根据所述第一海底底质解译标签和所述第一海底底质特征标签，调整模型参数。
3.根据权利要求2所述的基于深度学习模型的海底底质解译方法，其特征在于，所述解码器模块包括信息解码器和特征解码器，所述信息解码器和所述特征解码器的输入端分别与所述图卷积神经网络模块的输出端连接；
所述信息解码器用于解译所述海底编码信息，输出所述第一海底底质解译标签；
所述特征解码器用于解译所述海底编码信息，输出所述第一海底底质特征标签。
4.根据权利要求3所述的基于深度学习模型的海底底质解译方法，其特征在于，所述信息解码器还用于获取预设的第二海底底质解译标签，并根据所述第一海底底质解译标签和所述预设的第二海底底质解译标签通过损失公式计算解译误差，根据所述解译误差调整所述模型参数；
所述特征解码器还用于获取预设的第二海底底质特征标签，并根据所述第一海底底质特征标签和所述预设的第二海底底质特征标签通过所述损失公式计算特征误差，根据所述特征误差调整所述模型参数。
5.根据权利要求1所述的基于深度学习模型的海底底质解译方法，其特征在于，所述特征融合模块还用于根据所述融合特征，输出自适应邻接矩阵至所述图卷积神经网络模块；
所述图卷积神经网络模块还用于根据所述自适应邻接矩阵输出所述海底编码信息。
6.根据权利要求1所述的基于深度学习模型的海底底质解译方法，其特征在于，所述获取目标区域的待解译数据，包括：
获取所述目标区域的海底数据；
根据预设尺寸切分所述海底数据，获取所述待解译数据。
7.一种海底底质解译装置，其特征在于，包括：
获取模块，用于获取目标区域的待解译数据；
解译模块，用于将所述待解译数据输入到训练好的深度学习模型中，得到第一海底底质解译标签，其中，所述深度学习模型包括：编码器模块、特征融合模块、图卷积神经网络模块及解码器模块，所述编码器模块、所述特征融合模块、所述图卷积神经网络模块及所述解码器模块顺次连接；
所述编码器模块用于根据获取的海底底质的先验知识数据和多波束影像数据，输出先验知识特征和多波束影像特征至所述特征融合模块；
所述特征融合模块用于融合所述先验知识特征和所述多波束影像特征，输出融合特征至所述图卷积神经网络模块；
所述图卷积神经网络模块用于处理所述融合特征，输出海底编码信息至所述解码器模块；
所述解码器模块用于解译所述海底编码信息，输出所述第一海底底质解译标签；
所述编码器模块包括一组或多组深度密集空洞金字塔和与所述深度密集空洞金字塔对应连接的池化层，各组所述深度密集空洞金字塔和所述池化层依次连接，且最后一个所述池化层的输出端与所述特征融合模块的输入端连接；
所述深度密集空洞金字塔用于提取所述先验知识数据和所述多波束影像数据的多尺度特征，并将所述多尺度特征传输至相连的下一个所述池化层；
所述池化层用于将所述多尺度特征降维，获得所述先验知识特征和所述多波束影像特征，并将所述先验知识特征和所述多波束影像特征传输至所述特征融合模块；
所述深度密集空洞金字塔包括1*1卷积层、三个第一卷积层、两个第二卷积层、第三卷积层、自适应平均池化层以及通道混洗注意力层，所述1*1卷积层的输出端分别与三个所述第一卷积层、两个所述第二卷积层以及所述自适应平均池化层的输入端连接，三个所述第一卷积层顺次连接，且第一个所述第一卷积层的输出端与最后一个所述第一卷积层和所述通道混洗注意力层的输出端连接，最后两个所述第一卷积层的输出端分别与两个所述第二卷积层的输入端连接，两个所述第二卷积层顺次连接，且第一个所述第二卷积层的输出端与所述通道混洗注意力层的输入端连接，第二个所述第二卷积层的输出端与所述第三卷积层的输入端连接，所述第三卷积层的输出端与所述通道混洗注意力层连接。
8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的基于深度学习模型的海底底质解译方法。
CN202311129089.7A 2023-09-04 2023-09-04 一种深度学习模型、海底底质解译方法、装置及介质 Active CN116863343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311129089.7A CN116863343B (zh) 2023-09-04 2023-09-04 一种深度学习模型、海底底质解译方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311129089.7A CN116863343B (zh) 2023-09-04 2023-09-04 一种深度学习模型、海底底质解译方法、装置及介质

Publications (2)

Publication Number Publication Date
CN116863343A CN116863343A (zh) 2023-10-10
CN116863343B true CN116863343B (zh) 2024-01-23

Family

ID=88228990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311129089.7A Active CN116863343B (zh) 2023-09-04 2023-09-04 一种深度学习模型、海底底质解译方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116863343B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239803A (zh) * 2017-07-21 2017-10-10 国家***第海洋研究所 利用深度学习神经网络的海底底质自动分类方法
CN111178304A (zh) * 2019-12-31 2020-05-19 江苏省测绘研究所 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
KR102367818B1 (ko) * 2021-06-04 2022-02-25 마린리서치(주) 저서생태 서식지 분류를 위한 딥러닝 기반 해저퇴적물 분석시스템
CN115240080A (zh) * 2022-08-23 2022-10-25 北京理工大学 一种多源遥感卫星数据智能解译与分类方法
CN115730247A (zh) * 2022-11-28 2023-03-03 中国科学院深海科学与工程研究所 多维度时空-频率域特征参量融合的海底底质分类方法
KR20230039520A (ko) * 2021-09-14 2023-03-21 아크소프트 코포레이션 리미티드 영상 처리 방법, 장치, 기록 매체 및 전자 장치
CN116051895A (zh) * 2023-01-09 2023-05-02 中国地质大学（武汉） 一种地质环境遥感解译方法、装置及相关组件
CN116452963A (zh) * 2023-01-09 2023-07-18 中国人民解放军92859部队 一种基于多维特征的海底底质类型分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239803A (zh) * 2017-07-21 2017-10-10 国家***第海洋研究所 利用深度学习神经网络的海底底质自动分类方法
CN111178304A (zh) * 2019-12-31 2020-05-19 江苏省测绘研究所 基于全卷积神经网络的高分辨率遥感影像像素级解译方法
KR102367818B1 (ko) * 2021-06-04 2022-02-25 마린리서치(주) 저서생태 서식지 분류를 위한 딥러닝 기반 해저퇴적물 분석시스템
KR20230039520A (ko) * 2021-09-14 2023-03-21 아크소프트 코포레이션 리미티드 영상 처리 방법, 장치, 기록 매체 및 전자 장치
CN115240080A (zh) * 2022-08-23 2022-10-25 北京理工大学 一种多源遥感卫星数据智能解译与分类方法
CN115730247A (zh) * 2022-11-28 2023-03-03 中国科学院深海科学与工程研究所 多维度时空-频率域特征参量融合的海底底质分类方法
CN116051895A (zh) * 2023-01-09 2023-05-02 中国地质大学（武汉） 一种地质环境遥感解译方法、装置及相关组件
CN116452963A (zh) * 2023-01-09 2023-07-18 中国人民解放军92859部队 一种基于多维特征的海底底质类型分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于混合神经网络的多波束图像底质分类;王凤伟;孔凡;廉清云;;上海海事大学学报(第04期);全文 *
学习向量量化神经网络在多波束底质分类中的应用研究;唐秋华;周兴华;丁继胜;刘保华;;武汉大学学报(信息科学版)(第03期);全文 *
植被覆盖区高精度遥感地貌场景分类数据集;欧阳淑冰等;《遥感学报》;全文 *
海底声呐图像智能底质分类技术研究综述;赵玉新;赵廷;;智能***学报(第03期);全文 *

Also Published As

Publication number Publication date
CN116863343A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN112288647B (zh) 一种基于门控卷积的遥感影像云和阴影修复的方法
CN112418027A (zh) 一种改进U-Net网络的遥感影像道路提取方法
CN111311746B (zh) 一种基于钻孔数据的智能三维地质建模方法
CN114972989B (zh) 一种基于深度学习算法的单幅遥感影像高度信息估算方法
CN116168295B (zh) 一种岩性遥感智能解译模型建立方法及解译方法
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN115730247A (zh) 多维度时空-频率域特征参量融合的海底底质分类方法
CN112419197A (zh) 一种通用的单、多时相sar影像相干斑噪声去除方法
CN114966860A (zh) 一种基于卷积神经网络的地震数据去噪方法
CN115859116A (zh) 一种基于径向基函数回归插值法的海洋环境场重建方法
CN116863343B (zh) 一种深度学习模型、海底底质解译方法、装置及介质
CN113642591B (zh) 一种基于迁移学习的多波束海底沉积层类型的估计方法及***
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
CN110363863B (zh) 一种神经网络的输入数据生成方法和***
CN116109813A (zh) 一种钻锚孔识别方法、***、电子设备及介质
CN116304565A (zh) 一种基于小波包去噪与bp神经网络瞬变电磁反演方法
CN114021422B (zh) 一种基于跨孔雷达和深度学习的地下结构内部缺陷识别方法
Ihsan et al. The comparison of spatial models in Peak Ground Acceleration (PGA) study
Muhamad et al. Seagrass habitat suitability map at Merambong Shoal, Johor: A preliminary study using multibeam echosounder and maxent modelling
CN117710758B (zh) 一种遥感图像岩土解译方法、介质及设备
Kim et al. Nonlinear Kernel Convolutional Neural Network to find median sand particle size
Jo et al. Conditioning stratigraphic, rule-Based models with generative adversarial networks: A deepwater lobe, deep learning example
CN115731378B (zh) 一种基于大数据技术的干涉阵列极化效应消除方法
CN117217103B (zh) 基于多尺度注意力机制的星载sar海杂波生成方法及***
CN117765297B (zh) 高光谱图像分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant