CN116758432A - 基于改进Resnet神经网络的自然地质灾害分类识别方法及*** - Google Patents
基于改进Resnet神经网络的自然地质灾害分类识别方法及*** Download PDFInfo
- Publication number
- CN116758432A CN116758432A CN202310625316.9A CN202310625316A CN116758432A CN 116758432 A CN116758432 A CN 116758432A CN 202310625316 A CN202310625316 A CN 202310625316A CN 116758432 A CN116758432 A CN 116758432A
- Authority
- CN
- China
- Prior art keywords
- model
- resnet
- geological disaster
- image data
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 22
- 230000002787 reinforcement Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 206010037844 rash Diseases 0.000 abstract description 5
- 238000006424 Flood reaction Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进Resnet神经网络的自然地质灾害分类识别方法及***，包括如下步骤：采集图像数据：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；构建数据集：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；构建Resnet‑CS模型：对Resnet神经网络模型进行改进，得到Resnet‑CS模型；训练Resnet‑CS模型：将数据集数据输入到Resnet‑CS模型中进行训练，得到最优模型；地质灾害分类识别：将待测图像数据输入训练好的最优模型，得到预测分类结果。通过本发明方法用于对遥感图像进行分类识别以及预测，能对多种自然灾害包括地震，洪水，野火、火山爆发等进行有效的识别，大大提升了多分类问题的准确率。
Description
技术领域
本发明涉及自然地质灾害分类识别领域，具体涉及一种基于改进Resnet神经网络的自然地质灾害分类识别方法及***。
背景技术
地质灾害是一种常见的自然灾害，包括山体滑坡、崩塌、泥石流等。地质灾害的发生往往会对人们的生命和财产造成严重影响，因此对地质灾害的预测和识别具有重要意义。近年来，随着计算机视觉和机器学习技术的不断发展，基于图像的地质灾害识别成为了一种重要的研究方向。然而，由于地质灾害图像的复杂性和多样性，传统的图像分类算法面临着许多挑战，例如分类准确率低、泛化能力差等。
近年来，部分学者将人工智能技术运用于地质灾害识别上，取得了一定的进展。"基于深度残差网络的山体滑坡图像识别方法"作者：刘永强等人。该研究利用ResNet网络结构，提出了一种针对山体滑坡图像的识别方法。实验结果表明，该方法的分类准确率达到了94.2％。"遥感影像与地面监测数据融合的山体滑坡灾害图像识别方法"作者：王军等人。该研究采用了遥感影像和地面监测数据相结合的方法，提出了一种山体滑坡灾害图像识别方法。实验结果表明，该方法的分类准确率达到了95.3％。"基于深度卷积神经网络的泥石流图像识别方法"作者：张亚军等人。该研究采用了深度卷积神经网络(CNN)模型，提出了一种泥石流图像识别方法。
ResNet的残差连接可以有效地解决深度卷积神经网络中的梯度消失问题，使得网络可以深度而不出现过拟合的问题。ResNet引入的残差模块是一种特殊的网络结构，用于解决深度神经网络中的梯度消失问题。目前，ResNet已经成为图像分类、物体检测、语义分割等计算机视觉领域的基础模型，并在多个国际比赛中取得了优异的成绩。但Resnet模型在自然地质灾害的多分类任务上，存在准确率低，泛化能力差的问题。在上述数据集中，其平均准确率只有57.92％，无法满足基本的地质灾害识别与预警需求。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于改进Resnet神经网络的自然地质灾害分类识别方法及***，在ResNet的基础上更换优化器，损失函数，加入通道注意力机制，空间注意力机制和全局平均池化层，可以进一步提高网络的表现和准确性；通道注意力机制和空间注意力机制是两种不同的注意力机制，可以分别对网络中的通道、空间信息进行加权处理，通过引入强化学习思想的策略网络得到action，灵活地、有选择性地在不同位置引入不同的注意力机制，提高网络的鲁棒性和泛化能力；用于对遥感图像进行分类识别以及预测，对多种自然灾害包括地震，洪水，野火、火山爆发等进行有效的识别，解决了上述背景技术中提到的问题。
为实现上述目的，本发明提供如下技术方案：一种基于改进Resnet神经网络的自然地质灾害分类识别方法，包括如下步骤：
S1、采集图像数据：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
S2、构建数据集：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
S3、构建Resnet-CS模型：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
S4、训练Resnet-CS模型：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
S5、地质灾害分类识别：将待测图像数据输入训练好的最优模型，得到预测分类结果。
优选的，在步骤S2中，所述的标注具体是将图像数据标注为地震、洪水、野火或火山爆发；所述的数据增强包括裁剪、缩放、翻转、填充、旋转和镜像。
优选的，步骤S3中，所述对Resnet神经网络模型进行改进具体包括：在Resnet神经网络模型中第一层卷积层后加入通道注意力模块和空间注意力模块、在全连接层前增加全局平均池化层、以及基于强化学***均池化层以及全连接层。
优选的，所述的基于强化学习思想的策略网络，在残差块层后的不同位置添加通道注意力模块和空间注意力模块具体是指：将模型的输入图像转换为一个向量，该向量即状态，根据每个状态做出动作，所述动作即在ResNet块后的位置添加自适应注意力模块，是通过强化学习的策略网络来决策的；
当策略网络输出的动作为0，Resnet-CS模型在第一层残差块之后加入空间注意力模块和通道注意力模块；
当策略网络输出的动作为1，Resnet-CS模型在第二层残差块之后加入空间注意力模块和通道注意力模块；
当策略网络输出的动作为2，Resnet-CS模型则不额外添加注意力模块，只使用原有的模型结构；
然后通过动作以及动作对应的奖励大小来更新策略网络的参数，公式表达如下：
Gt＝rt+γ1rt+1+γ2rt+2+…+γnrt+n
其中，Gt为多步累积奖励值，γ为未来期望系数，帮助决策更好地关注长期奖励而非仅仅着眼于短期奖励，rt+n为第t+n次动作所带来的奖励值。
优选的，所述的奖励是指模型对输入图像的分类结果的正确性评价，使用交叉熵损失函数作为奖励函数来衡量模型输出和真实标签间的差异，所述交叉熵损失函数如下：
L＝-1/N*Σ(Σ(y_ij*log(p_ij)))
其中，N为样本个数，y_i为第i个样本的真实标签，p_i为模型的预测标签，j为多类别分类中的类别标签。
优选的，所述的Resnet-CS模型采用带动量的随机梯度下降(Momentum SGD)调整参数最小化损失函数，公式表达如下：
vt＝γvt-1+lrtgt
其中，vt-1上一次梯度更新的方向和幅度，γ动量系数，用于控制上一次更新的速度在本次更新中的比重，lrt表示学习率，用于控制每次梯度更新的步幅大小，gt表示在当前时间步的梯度，用于更新模型的参数。
优选的，在步骤S4中，训练Resnet-CS模型具体包括：将训练集数据输入到Resnet-CS中进行训练；将验证集数据放入训练好的模型中进行验证，输出准确率，精度，召回率，F1值参数，调整超参数，得到最优模型；将测试集数据放入最优模型进行测试，对最优模型进行测试与检验。
另外，为实现上述目的，本发明还提供了如下技术方案：一种基于改进Resnet神经网络的自然地质灾害分类识别***，所述分类识别***能够实现所述的自然地质灾害分类识别方法，所述分类识别***包括：
图像数据采集模块：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
数据集构建模块：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
Resnet-CS模型构建模块：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
Resnet-CS模型训练模块：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
地质灾害分类识别模块：将待测图像数据输入训练好的最优模型，得到预测分类结果。
另外，为实现上述目的，本发明还提供了如下技术方案：一种电子设备，所述电子设备包括：处理器；和存储器，用于存储一个或多个程序；
当所述一个或多个程序被处理器执行时，使得所述处理器执行所述的自然地质灾害分类识别方法。
另外，为实现上述目的，本发明还提供了如下技术方案：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的自然地质灾害分类识别方法。
本发明的有益效果是：1)本发明采用遥感图像以及无人机照片作为数据图像，降低了地质灾害现场勘测等数据采集难度；本发明的Resnet-CS模型可以在大部分终端上运行，对于硬件要求较低，可以普遍在个人计算机上实现与应用；2)本发明所改进的Resnet模型可以对多种地质灾害类别进行识别，在第一层卷积后和全连接层前添加通道注意力模块和空间注意力模块，可以更加全面地提取特征信息，进一步提高识别准确率；3)本发明新增全局平均池化层，可以有效地降低模型运算复杂度，提高模型训练速度和识别准确率；4)引入了强化学***均精度从71％提升至89％，平均召回58％从提升至89％，其中，尤其是召回率的大幅度提升对地质灾害的预测识别应用有重要意义。
附图说明
图1为本发明自然地质灾害分类识别方法步骤流程示意图；
图2为遥感图像示例图；
图3为本发明Resnet-CS模型结构示意图；
图4为基础ResNet模型与本发明的Resnet-CS模型指标对比示意图；
图5为本发明自然地质灾害分类识别***模块示意图；
图6为本发明设备结构示意图；
图中，110-图像数据采集模块；120-数据集构建模块；130-Resnet-CS模型构建模块；140-Resnet-CS模型训练模块；150-地质灾害分类识别模块；210-处理器；220-储存器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
本实施例基于原始Resnet模型在自然地质灾害识别率低，准确率低的问题上，提出一种基于改进Resnet神经网络的自然地质灾害分类识别方法，用于对遥感图像或无人机航拍图像进行分类识别以及预测，对多种自然灾害包括洪水，飓风，地震等自然地质灾害进行有效的识别，如图1所示，包括如下步骤：
S1、采集图像数据：获取遥感图像或者无人机拍摄的地质灾害地区图像数据，获取的遥感图像如图2所示。
本实施例所使用数据集为Maxar/DigitalGlobe开放数据计划所提供的xBD自然灾害图像数据集，该数据集是迄今为止第一个建筑破坏评估数据集，是带注释的高分辨率卫星图像的规模最大、质量最高的公共数据集之一。此次使用该数据集5572张图像，均为1024*1024的高分辨率卫星遥感图像，标记9不同的事件，包括地震，洪水，野火、火山爆发等。这些图像包括了灾前、灾后图像，图像可用于构建定位和损伤评估这两项任务。
S2、构建数据集：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集。对图片数据集进行标注，分为地震，洪水，野火、火山爆发等9类图像。对遥感图像数据集进行数据增强，提升模型识别准确率，数据增强包括裁剪、缩放、翻转、填充、旋转和镜像。
S3、构建Resnet-CS模型：对Resnet神经网络模型进行改进，得到Resnet-CS模型，如图3所示。
进一步的，对Resnet神经网络模型进行改进具体包括：在Resnet神经网络模型中第一层卷积层后加入通道注意力模块和空间注意力模块、在全连接层前增加全局平均池化层、以及基于强化学习思想的策略网络引入，在残差块层后的不同位置添加通道注意力模块和空间注意力模块。
进一步的，Resnet-CS模型包括卷积层、批归一化层、ReLU激活函数、通道注意力模块、空间注意力模块、最大池化层、残差块层、全局平均池化层以及全连接层。
B1：卷积层(Conv2d)，卷积层是深度学习中最基本的组件之一，用于提取图像等数据的特征；在这个模型中，卷积层作为第一层，对输入图像进行卷积操作，提取图像的低级特征，卷积后产生的特征图大小：
B2：批归一化层(BatchNorm2d)，批归一化层是用于模型训练中加速收敛、提高模型准确率的常用技巧之一；在每个小批量数据上，批归一化层通过对数据进行归一化操作，使得数据的分布更加稳定，从而加速模型训练，其核心算法为：
B3：ReLU激活函数：ReLU激活函数是深度学习中最常用的激活函数之一，用于添加非线性特征；ReLU函数在输入大于0时，输出等于输入；在输入小于等于0时，输出为0；
f(x)＝max(0，x)
这个函数的作用是增加模型的非线性能力，从而提高模型的准确率；
B4：通道注意力模块(ChannelAttention)：通道注意力模块是一种注意力机制，用于增强模型对不同通道之间的相关性的建模能力；通过学习通道之间的相关性，通道注意力模块可以自适应地调整通道的权重，从而提高模型的准确率；s中不同的数值表示不同通道的权重信息，赋予通道不同的权重：
s＝Fex(z，w)＝σ(W2ReLU(W1z))
B5：空间注意力模块(SpatialAttention)：空间注意力模块是一种注意力机制，用于增强模型对不同空间位置之间的相关性的建模能力；通过学习空间位置之间的相关性，空间注意力模块可以自适应地调整空间位置的权重，从而提高模型的准确；最终输出的注意力特征yq:
B6：最大池化层(MaxPooling)用于减小图像或特征图大小的操作，将输入图像或特征图分割成固定大小的块，在每个块中选择最大值作为输出。用于以减少特征图的空间大小，从而减少模型参数和计算量。
B7：残差块层(Residual Blocks)：残差块层是由残差网络提出的一种网络结构，即通过添加跨层连接(shortcut connection)来构建残差块，使得网络可以学习残差信息；在残差块中，输入特征先经过一个普通的卷积层，然后再与原始输入特征相加，从而得到残差信息；最后将残差信息与原始输入特征相加，得到残差块的输出；在数学上，其定义为：
y＝F(x,{W_i})+x
残差块层可以帮助模型更容易地学习残差信息，从而加速模型训练和提高模型准确率；
B8：全局平均池化层(AvgPool)：全局平均池化层是一种池化操作，用于将特征图压缩到固定大小的输出；与传统的池化操作不同的是，全局平均池化层的池化核大小等于输入特征图的大小，从而可以将特征图压缩到固定大小；
B9：全连接层(Fully connected)：全连接层是深度学习中最基本的层之一，用于将输入特征映射到输出标签。全连接层通常用于分类任务中，将特征向量映射到分类标签上。
本专利引入强化学习思想，强化学习中的状态、动作和奖励可以定义如下：
状态：在此发明专利中，状态是指输入图像的表示形式。使用卷积神经网络将输入图像转换为一个向量，这个向量就是状态；
动作：在此发明专利中，动作是指在每个ResNet块之后添加自适应注意力模块的位置。这些位置对应着在神经网络中添加不同的操作，例如在某个位置添加通道注意力模块等；
奖励：在此发明专利中，奖励是指模型对输入图像的分类结果的正确性评价。使用交叉熵损失函数作为奖励函数，用于评价模型在给定输入图像下输出类别的准确性。
进一步的，基于强化学习思想的策略网络，在残差块层后的不同位置添加通道注意力模块和空间注意力模块具体是指：将模型的输入图像转换为一个向量，该向量即状态，根据每个状态做出动作，所述动作即在ResNet块后的位置添加自适应注意力模块，包括通道注意力模块和空间注意力模块，是通过强化学习的策略网络来决策的。具体来说，Resnet-CS模型的策略网络使用输入图像作为状态，输出一个概率分布，指示代理模型在当前状态下应该采取哪个动作。如果策略网络输出的动作是0，Resnet-CS模型会在第一层残差块之后加入空间注意力模块和通道注意力模块；如果策略网络输出的动作是1，Resnet-CS模型会在第二层残差块之后加入空间注意力模块和通道注意力模块。如果策略网络输出的动作是2，Resnet-CS模型则不额外添加注意力模块，只使用原有的Resnet-CS模型结构。然后通过动作以及动作对应的奖励大小来更新策略网络的参数，最后，使用反向传播算法进行参数更新；优化策略网络表现，从而提升Resnet-CS的识别效果。公式表达如下：
Gt＝rt+γ1rt+1+γ2rt+2+…+γnrt+n
其中，Gt为多步累积奖励值，γ为未来期望系数，帮助决策更好地关注长期奖励而非仅仅着眼于短期奖励，rt+n为第t+n次动作所带来的奖励值。
在本专利中，具体意义为r为每次交叉熵函数值的反比值，即每次action后损失值越大则r值越小，损失值越小，r值越大；γ为接近1但小于1的系数，引入此系数确保每次action不仅仅依赖于当前情况，也按照γ系数考虑未来的情况；然后根据累积奖励(Gt)的大小来更新策略网络的参数，使得在高奖励的状态下采取的动作的概率更大，从而优化策略网络的表现。
奖励是指模型对输入图像的分类结果的正确性评价，使用交叉熵损失函数作为奖励函数来衡量模型输出和真实标签间的差异，提高模型泛化能力，提高识别准确率。在分类问题中，交叉熵函数是一种常用的损失函数，用于衡量模型输出和真实标签之间的差异；对于一个分类问题，假设有N个样本，每个样本有K个类别，其中第i个样本的真实标签为y_i，模型的预测标签为p_i，所述交叉熵损失函数如下：
L＝-1/N*Σ(Σ(y_ij*log(p_ij)))
其中，N为样本个数，y_i为第i个样本的真实标签，p_i为模型的预测标签，j为多类别分类中的类别标签。
Resnet-CS模型采用带动量的随机梯度下降(Momentum SGD)调整参数最小化损失函数，提高识别准确率。随机梯度下降(Stochastic Gradient Descent)优化器是一种常用的优化器，它通过迭代更新模型参数以逐步降低损失函数；具体来说，其根据每个样本计算梯度并更新模型参数，因此适用于大规模数据集和高维特征；采用类似动量的累积量来替代真正的梯度，更好地找到最优解；公式表达如下：
vt＝γvt-1+lrtgt
其中，vt-1上一次梯度更新的方向和幅度，γ动量系数，用于控制上一次更新的速度在本次更新中的比重，lrt表示学习率，用于控制每次梯度更新的步幅大小，gt表示在当前时间步的梯度，用于更新模型的参数。
S4、训练Resnet-CS模型：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型。
训练Resnet-CS模型具体包括：将训练集数据输入到Resnet-CS中进行训练；将验证集数据放入训练好的模型中进行验证，输出准确率，精度，召回率，F1值参数，调整超参数使期望指标达到最优状态，得到最优模型；将测试集数据放入最优模型进行测试，对最优模型进行测试与检验。
图像数据输入到训练好的Resnet-CS中进行处理时，使用transforms将图像随机裁剪为不同的大小和宽高比，然后缩放图像为制定的大小；概率翻转图像；图像转为tensor张量；张量归一化处理；
在第一层卷积层后加入通道注意力层和空间注意力层；
在残差块层后加入通道注意力层和空间注意力层；
通道注意力机制在网络中引入一种重要性权重，用于从特征图中选择最具有代表性的通道。计算每个通道的重要性权重，然后将权重应用于通道特征图中，增强重要通道的表达能力。通道注意力机制可以使网络更加关注重要的通道信息，从而提高模型对自然地质灾害的识别准确率；s中不同的数值表示不同通道的权重信息，赋予通道不同的权重：
s＝Fex(z，w)＝σ(W2ReLU(W1z))
空间注意力模块是一种注意力机制，用于增强模型对不同空间位置之间的相关性的建模能力；通过学习空间位置之间的相关性，空间注意力模块可以自适应地调整空间位置的权重，从而提高模型的准确；最终输出的注意力特征yq:
在全连接层前加入全局平均池化层；
用于将特征图转换为向量，并且可以减少模型的参数量和计算量。
在空间维度上的全局平均池化操作：
在分类任务中，全局平均池化层可以将特征图转换为单个特征向量，然后使用一个全连接层将其映射到预测类别的空间。
选用随机梯度下降法(SGD)优化器；
采用类似动量的累积量来替代真正的梯度，更好地找到最优解：
vt＝γvt-1+lrtgt
使用交叉熵函数(CrossEntropyloss)衡量模型输出和真实标签间的差异；
L＝-1/N*Σ(Σ(y_ij*log(p_ij)))
再基于强化学习思想的策略网络引入，有选择性地在不同位置添加注意力模块。
S5、地质灾害分类识别：通过遥感图像或者无人机航拍获得相关图像数据，统一化图片数据，将待测图像数据输入训练好的最优模型，得到预测分类结果。
本发明所改进的Resnet模型可以对多种地质灾害类别进行识别，基础ResNet模型与本发明的Resnet-CS模型相比，如图4所示。由图4可知，Resnet-CS模型大大提升了多分类问题的准确率，在同样的数据集上，测试集准确率从57.92％提升至88.23％，平均精度从71％提升至89％，平均召回58％从提升至89％。其中，尤其是召回率的大幅度提升对地质灾害的预测识别应用有重要意义。
本发明在ResNet的基础上更换优化器，损失函数，加入通道注意力机制，空间注意力机制和全局平均池化层，可以进一步提高网络的表现和准确性。通道注意力机制和空间注意力机制是两种不同的注意力机制，可以分别对网络中的通道、空间信息进行加权处理，通过引入强化学习思想的策略网络得到action，灵活地，有选择性地在不同位置引入不同的注意力机制，提高网络的鲁棒性和泛化能力。
基于与上述方法实施例相同地发明构思，本申请实施例还提供了一种基于改进Resnet神经网络的自然地质灾害分类识别***，该***可以实现上述方法实施例所提供的功能，如图5所示，该***包括：
图像数据采集模块110：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
数据集构建模块120：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
Resnet-CS模型构建模块130：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
Resnet-CS模型训练模块140：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
地质灾害分类识别模块150：将待测图像数据输入训练好的最优模型，得到预测分类结果。
基于与上述方法实施例相同地发明构思，本申请实施例还提供了一种电子设备，如图6所示，所述设备包括：处理器210；和存储器220，用于存储一个或多个程序；
当所述一个或多个程序被处理器210执行时，使得所述处理器执行所述的自然地质灾害分类识别方法。
所述的自然地质灾害分类识别方法包括如下：
采集图像数据：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
构建数据集：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
构建Resnet-CS模型：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
训练Resnet-CS模型：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
地质灾害分类识别：将待测图像数据输入训练好的最优模型，得到预测分类结果。
基于与上述方法实施例相同地发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器210执行时实现所述的自然地质灾害分类识别方法。
所述的自然地质灾害分类识别方法包括如下：
采集图像数据：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
构建数据集：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
构建Resnet-CS模型：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
训练Resnet-CS模型：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
地质灾害分类识别：将待测图像数据输入训练好的最优模型，得到预测分类结果。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于，包括如下步骤：
S1、采集图像数据：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
S2、构建数据集：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
S3、构建Resnet-CS模型：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
S4、训练Resnet-CS模型：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
S5、地质灾害分类识别：将待测图像数据输入训练好的最优模型，得到预测分类结果。
2.根据权利要求1所述的基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于：在步骤S2中，所述的标注具体是将图像数据标注为地震、洪水、野火或火山爆发；所述的数据增强包括裁剪、缩放、翻转、填充、旋转和镜像。
3.根据权利要求1所述的基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于：步骤S3中，所述对Resnet神经网络模型进行改进具体包括：在Resnet神经网络模型中第一层卷积层后加入通道注意力模块和空间注意力模块、在全连接层前增加全局平均池化层、以及基于强化学***均池化层以及全连接层。
4.根据权利要求3所述的基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于：所述的基于强化学习思想的策略网络，在残差块层后的不同位置添加通道注意力模块和空间注意力模块具体是指：将模型的输入图像转换为一个向量，该向量即状态，根据每个状态做出动作，所述动作即在ResNet块后的位置添加自适应注意力模块，是通过强化学习的策略网络来决策的；
当策略网络输出的动作为0，Resnet-CS模型在第一层残差块之后加入空间注意力模块和通道注意力模块；
当策略网络输出的动作为1，Resnet-CS模型在第二层残差块之后加入空间注意力模块和通道注意力模块；
当策略网络输出的动作为2，Resnet-CS模型则不额外添加注意力模块，只使用原有的模型结构；
然后通过动作以及动作对应的奖励大小来更新策略网络的参数，公式表达如下：
Gt＝rt+γ1rt+1+γ2rt+2+…+γnrt+n
其中，Gt为多步累积奖励值，γ为未来期望系数，rt+n为第t+n次动作所带来的奖励值。
5.根据权利要求4所述的基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于：所述的奖励是指模型对输入图像的分类结果的正确性评价，使用交叉熵损失函数作为奖励函数来衡量模型输出和真实标签间的差异，所述交叉熵损失函数如下：
L＝-1/N*Σ(Σ(y_ij*log(p_ij)))
其中，N为样本个数，y_i为第i个样本的真实标签，p_i为模型的预测标签，j为多类别分类中的类别标签。
6.根据权利要求1所述的基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于：所述的Resnet-CS模型采用带动量的随机梯度下降调整参数最小化损失函数，公式表达如下：
vt＝γvt-1+lrtgt
其中，vt-1上一次梯度更新的方向和幅度，γ动量系数，lrt表示学习率，用于控制每次梯度更新的步幅大小，gt表示在当前时间步的梯度，用于更新模型的参数。
7.根据权利要求1所述的基于改进Resnet神经网络的自然地质灾害分类识别方法，其特征在于：在步骤S4中，训练Resnet-CS模型具体包括：将训练集数据输入到Resnet-CS中进行训练；将验证集数据放入训练好的模型中进行验证，输出准确率，精度，召回率，F1值参数，调整超参数，得到最优模型；将测试集数据放入最优模型进行测试，对最优模型进行测试与检验。
8.一种基于改进Resnet神经网络的自然地质灾害分类识别***，其特征在于：所述分类识别***能够实现如权利要求1-7中任一项所述的自然地质灾害分类识别方法，所述分类识别***包括：
图像数据采集模块(110)：获取遥感图像或者无人机拍摄的地质灾害地区图像数据；
数据集构建模块(120)：对图像数据进行标注、数据增强后构建自然灾害图像数据集，并按照8：1：1的比例划分训练集，验证集，测试集；
Resnet-CS模型构建模块(130)：对Resnet神经网络模型进行改进，得到Resnet-CS模型；
Resnet-CS模型训练模块(140)：将数据集数据输入到Resnet-CS模型中进行训练，得到最优模型；
地质灾害分类识别模块(150)：将待测图像数据输入训练好的最优模型，得到预测分类结果。
9.一种电子设备，其特征在于：所述电子设备包括：处理器(210)；和存储器(220)，用于存储一个或多个程序；
当所述一个或多个程序被处理器(210)执行时，使得所述处理器执行如权利要求1-7中任一项所述的自然地质灾害分类识别方法。
10.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器(210)执行时实现如权利要求1-7中任一项所述的自然地质灾害分类识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310625316.9A CN116758432A (zh) | 2023-05-30 | 2023-05-30 | 基于改进Resnet神经网络的自然地质灾害分类识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310625316.9A CN116758432A (zh) | 2023-05-30 | 2023-05-30 | 基于改进Resnet神经网络的自然地质灾害分类识别方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116758432A true CN116758432A (zh) | 2023-09-15 |
Family
ID=87959917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310625316.9A Pending CN116758432A (zh) | 2023-05-30 | 2023-05-30 | 基于改进Resnet神经网络的自然地质灾害分类识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758432A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671526A (zh) * | 2023-11-14 | 2024-03-08 | 广州成至智能机器科技有限公司 | 一种基于深度强化学习的山火识别方法、装置和*** |
-
2023
- 2023-05-30 CN CN202310625316.9A patent/CN116758432A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671526A (zh) * | 2023-11-14 | 2024-03-08 | 广州成至智能机器科技有限公司 | 一种基于深度强化学习的山火识别方法、装置和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580439B (zh) | 小样本条件下的大幅面遥感图像舰船目标检测方法及*** | |
| US11295208B2 (en) | Robust gradient weight compression schemes for deep learning applications | |
| US20180247156A1 (en) | Machine learning systems and methods for document matching | |
| US20210342643A1 (en) | Method, apparatus, and electronic device for training place recognition model | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN112673381B (zh) | 一种对抗样本的识别方法及相关装置 | |
| CN108932455B (zh) | 遥感图像场景识别方法及装置 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN112699998B (zh) | 一种时间序列预测方法、装置、电子设备及可读存储介质 | |
| CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN116758432A (zh) | 基于改进Resnet神经网络的自然地质灾害分类识别方法及*** | |
| CN112241554A (zh) | 基于差分隐私指数机制的模型窃取防御方法和装置 | |
| CN114358197A (zh) | 分类模型的训练方法及装置、电子设备、存储介质 | |
| CN114863209A (zh) | 类别比例引导的无监督领域适应建模方法、***、设备及介质 | |
| KR102358472B1 (ko) | 딥러닝 기반 위성영상의 촬영 스케줄링 방법 | |
| CN114008666A (zh) | 动态图像分辨率评估 | |
| CN114266927A (zh) | 一种无监督的显著性目标检测方法、***、设备及介质 | |
| CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
| CN115620120B (zh) | 街景图像多尺度高维特征构建量化方法、设备及存储介质 | |
| CN114663714B (zh) | 图像分类、地物分类方法和装置 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN115375966A (zh) | 一种基于联合损失函数的图像对抗样本生成方法及*** | |
| Dharmawan et al. | Tsunami tide prediction in shallow water using recurrent neural networks: Model implementation in the Indonesia Tsunami Early Warning System | |
| CN113066537B (zh) | 基于图神经网络的化合物分类方法 | |
| US12026942B2 (en) | Method to detect object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |