CN114972760B - 基于多尺度注意力增强U-Net的电离图自动描迹方法 - Google Patents

基于多尺度注意力增强U-Net的电离图自动描迹方法 Download PDF

Info

Publication number
CN114972760B
CN114972760B CN202210691683.4A CN202210691683A CN114972760B CN 114972760 B CN114972760 B CN 114972760B CN 202210691683 A CN202210691683 A CN 202210691683A CN 114972760 B CN114972760 B CN 114972760B
Authority
CN
China
Prior art keywords
layer
feature
attention
encoder
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210691683.4A
Other languages
English (en)
Other versions
CN114972760A (zh
Inventor
郭李
熊家荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202210691683.4A priority Critical patent/CN114972760B/zh
Publication of CN114972760A publication Critical patent/CN114972760A/zh
Application granted granted Critical
Publication of CN114972760B publication Critical patent/CN114972760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度注意力增强U‑Net的电离图自动描迹方法，引入多尺度特征图跳跃连接以及注意力增强网络，将浅层具有位置信息的特征图与深层具有高级语义信息的特征图结合起来，以对低信噪比的电离图进行分割。本发明将注意力门模块和多尺度特征图跳跃连接结构融合进U‑Net语义分割网络中，特征图通过注意力门模块大小不变，通过多尺度特征图跳跃连接时，利用最大池化操作进行下采样，将特征图大小与注意力门模块输出特征图大小保持一致，这种设计方法，在不增加大量参数的情况下，显著提升了网络分割精度。

Description

基于多尺度注意力增强U-Net的电离图自动描迹方法
技术领域
本发明涉及一种基于多尺度注意力增强U-Net的电离图自动描迹方法。
背景技术
电离图的变化反映电离层的状态，通过雷达探测设备得到电离图并对其处理，以及描绘不同电子密度层的分布情况或变换轨迹，可以推测出近期的一些地质活动、天气变化等信息。电离图描迹目前有自动描迹与人工手动描迹两种方式。目前，最可靠的是人工手动描迹，通过人工描迹从而获得电离层三层(D,E,F)的三个特征参数，再通过后期对这些数据的处理得到相应电离层的变化情况。
随着科技的不断发展，电离图数据的收集速度以及收集量均有待提高，传统的人工方法虽然准确度高，但是因为效率低等原因很难满足电离图描迹的需求。传统的自动描迹方法ARTIST在低信噪比的电离图中，容易出现误判漏判等情况，需要人工干预，不能很好地用于实际中。
近些年来，深度学习快速发展，将深度学习用于电离图自动描迹，提高电离图描迹的准确度、清晰度，值得探索。近年来，有研究者设计了一种将特征金字塔网络结构应用在U-Net网络的DIAS-Resnet50-FPN方法，并将其应用在电离图自动描迹方面，其性能相较传统方法有一定提高，但没有考虑到噪声对电离图自动描迹结果的影响，在低信噪比的电离图中，其分割效果仍不理想。
U-Net是经典的语义分割网络架构之一，其利用U型结构，通过简单的跳跃连接，将编码器与解码器相连，通过将相同大小的编码器特征图与解码器层特征图进行拼接，从而让解码器得到更多编码器特征图中的细节信息。但是，这种方法不能恢复由于池化层造成的损失，并且会使像素图粗糙化。在面对小目标物体，以及低信噪比图片时，U-Net网络简单的跳跃连接会导致部分噪声的传递，分割结果不是十分理想。
发明内容
为了解决上述技术问题，本发明提供一种可过滤噪音、网络分割精度高的基于多尺度注意力增强U-Net的电离图自动描迹方法。
本发明解决上述技术问题的技术方案是：一种基于多尺度注意力增强U-Net的电离图自动描迹方法，引入多尺度特征图跳跃连接以及注意力增强网络，将浅层具有位置信息的特征图与深层具有高级语义信息的特征图结合起来，通过改进的语义分割U-Net网络对低信噪比的电离图进行分割；
具体包括以下步骤：
一、构建多尺度注意力增强U-Net语义分割网络：语义分割网络采用U型网络结构，语义分割网络的左臂由四个编码器层构成，每个编码器层均包括两个第一卷积核、两个第一ReLU激活层和最大池化层；对应的，语义分割网络的右臂由四个解码器层构成，解码器层包括多尺度特征图跳跃连接结构、注意力门模块、两个第二卷积核、两个第二ReLU激活层；
二、训练数据集的预处理：在进行网络训练之前，对齐图片坐标原点，其余补零，将电离图的大小统一调整到512×512的像素大小，将所得数据集分为训练集和测试集；
三、对电离图进行编码：将训练集的电离图输入语义分割网络的编码器层，利用两个第一卷积核进行特征提取，使通道数翻倍，得到第一个特征图，进行下采样，在编码器层的最大池化层的作用下，图片大小减半，之后每进入一个编码器层，特征图大小减半，通道数翻倍，经过第四个编码器层特征提取以后，通过中间层，进入解码器层；
四、解码得到分割结果：中间层输出的特征图，通过上采样使得图片大小翻倍，进入第一个解码器层，同时与注意力门模块输出的特征图以及经过多尺度特征图跳跃连接结构输出的多尺度特征图相融合，通过拼接经过两个第二卷积核处理使得通道数减半，传递给下一解码器层；经过四个解码器层的解码后，将深层语义信息逐渐恢复为最终的分割结果图。
上述基于多尺度注意力增强U-Net的电离图自动描迹方法，所述步骤一的多尺度注意力增强U-Net语义分割网络中，每层解码器前引入的注意力门模块具有两个输入，一个为同层编码器层跳跃连接的特征图，包含同层编码器层对应的编码器中所有上下文和空间信息，第二个为上一个解码器层上采样得到的特征图，作为此解码器层的门控信号；上一个解码器层上采样的特征图与同层编码器层跳跃连接的特征图相加，经过1×1的卷积操作，利用Sigmoid函数得到加权特征图，利用加权特征图与同层编码器层跳跃连接特征图相乘，得到最后的注意力特征图。
上述基于多尺度注意力增强U-Net的电离图自动描迹方法，所述步骤一的多尺度注意力增强U-Net语义分割网络中，多尺度特征图跳跃连接结构通过不同大小的池化核进行最大池化操作将编码器输出的特征图缩小到对应解码器特征图的大小。
上述基于多尺度注意力增强U-Net的电离图自动描迹方法，所述步骤三中，下采样过程中采用最大池化法，其池化核大小2×2。
上述基于多尺度注意力增强U-Net的电离图自动描迹方法，所述步骤四中，考虑到电离图样本不平衡的问题，采用的损失函数为焦点损失函数，其公式如下：
其中p表示网络输出的预测样本属于1的概率，范围为0-1；y表示真实标签，y的取值为{+1,-1}，为了方便表示，将Pt代替p来表示预测样本正确分类的概率，FL(Pt)为焦点损失函数，此函数中，γ为聚焦参数，(1-Pt)相当于一个调制系数，目的是减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
上述基于多尺度注意力增强U-Net的电离图自动描迹方法，所述步骤四中，解码器处理过程的公式为：
其中，表示编码器第i层的特征图，/>表示编码器的第1层到第i-1层，N表示当前的解码器层；/>表示解码器第i层的特征图；H(.)表示通过卷积、批量标准化和ReLU激活函数综合处理过程；[.]表示特征图拼接；C(.)表示卷积过程；D(.)表示利用最大池化下采样；A(.)表示通过注意力门模块。
上述基于多尺度注意力增强U-Net的电离图自动描迹方法，所述步骤四中，上采样操作使用双线性插值法。
本发明的有益效果在于：
1、本发明利用深度学习语义分割的强大特征学习能力，对垂测电离图进行学习、训练和分割，在推理分割阶段即可在电离图图像中精确的定位电离图的描迹区域，从而提高深度学习算法应用在电离图自动描迹的普适性。U-Net语义分割网络应用在电离图的自动描迹方法中，存在对细节特征不敏感，将噪声归纳为特征的问题。本发明提出的基于多尺度注意力增强U-Net语义分割网络的电离图自动描迹方法可以提高描迹精度，加快深度学习语义分割在电离图自动描迹中的实际部署。
2、本发明将注意力门模块和多尺度特征图跳跃连接结构融合进U-Net语义分割网络中，特征图通过注意力门模块大小不变，通过多尺度特征图跳跃连接时，利用最大池化操作进行下采样，将特征图大小与注意力门输出特征图大小保持一致，这种设计方法，在不增加大量参数的情况下，显著提升了网络分割精度。
附图说明
图1为本发明的模型图。
图2为基于多尺度注意力增强的U-Net网络示意图，其中的G是表示注意力门模块。
图3为注意力门模块的示意图。
图4为编码器层的结构图。
图5为解码器层的结构图。
图6为本发明描迹的结果图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示，一种基于多尺度注意力增强U-Net的电离图自动描迹方法，引入多尺度特征图跳跃连接以及注意力机制，将浅层具有位置信息的特征图与深层具有高级语义信息的特征图结合起来，通过改进的语义分割U-Net网络对低信噪比的电离图进行分割；
具体包括以下步骤：
一、构建多尺度注意力增强U-Net语义分割网络：如图2所示，语义分割网络采用U型网络结构，语义分割网络的左臂由四个编码器层构成，每个编码器层均包括两个第一卷积核、两个第一ReLU激活层和最大池化层；对应的，语义分割网络的右臂由四个解码器层构成，解码器层包括多尺度特征图跳跃连接结构、注意力门模块、两个第二卷积核、两个第二ReLU激活层。
激活函数用到了Sigmoid和ReLU两种激活函数。Sigmoid公式如下：
如图3所示，引入的不同级注意力门模块具有两个输入，一个为同层编码器层跳跃连接的特征图，包含同层编码器层对应的编码器中所有上下文和空间信息，第二个为上一个解码器层上采样得到的特征图，作为此解码器层的门控信号；上一个解码器层上采样的特征图与同层编码器层跳跃连接的特征图相加，经过1×1的卷积操作，利用Sigmoid函数得到加权特征图，利用加权特征图与同层编码器层跳跃连接特征图相乘，得到最后的注意力特征图。电离图由于其低信噪比的特性，在深度学习网络中，大量的噪音和冗余信息会对网络的学习造成一定影响，本发明的不同级注意力门模块产生具有空间权重分配的特征图，促进了空间区域模型参数的更新，降低了噪声权重，增强了电离图特征的识别，提高了网络性能。
采用多尺度特征图跳跃连接结构取代简单跳跃结构。U-Net网络编码器下采样的池化操作会使得上下文信息丢失，通常的简单的跳跃连接将低分辨率信息提供给解码器各个阶段，以恢复上下文信息。但是，这种方法不能恢复由于池化层造成的损失，并且会使像素图粗糙化。本发明的多尺度特征图跳跃连接结构通过不同大小的池化核进行最大池化操作将编码器输出的特征图缩小到对应解码器特征图的大小，并将其与解码器特征图拼接，达到解码器对编码器特征图细节特征的应用。
本发明的编码器层结构图如图4。特征图经过编码器层的卷积，使得维度翻倍。利用激活函数ReLU，增强网络的非线性，同时防止梯度消失或***。在最大池化的作用下，特征图大小减半，并且传递到下一级编码器层。
本发明的解码器层结构图如图5。经过上采样扩大一倍的特征图与注意力门传递的注意力特征图以及下采样的多尺度特征图拼接，在卷积的作用下使得通道数减半。
多尺度注意力增强U-Net语义分割网络为编码器-解码器结构。输入的电离图大小为512×512像素点，维度为32。经过第一个编码器层，到达第二个编码器层时，特征图大小为256×256，维度为64。经过第二个编码器层，到达第三个编码器层时，特征图大小为128×128，维度为128。经过第三个编码器层，到达第四个编码器层时，特征图大小为64×64，维度为256。经过第四个编码器层，到达中间层时，特征图大小为32×32，维度为512。经过中间层，到达第一个解码器层时，特征图大小为64×64，维度为512。经过第一个解码器层，到达第二个解码器层时，特征图大小为128×128，维度为256。经过第二个解码器层，到达第三个解码器层时，特征图大小为256×256，维度为128。经过第三个解码器层，到达第四个解码器层时，特征图大小为512×512，维度为64。
二、训练数据集的预处理：由于考虑到电离图的产生是由极化天线探测的，不同时刻的电离层状态不一样导致电离图的大小不一致。在进行网络训练之前，对齐图片坐标原点，其余空缺补零，将电离图的大小统一调整到512×512的像素大小；将所得数据集分为训练集和测试集，利用由DPS4D探空仪提供的图片，其中16935张用于训练集，2975张用于测试集。
三、对电离图进行编码：将训练集的电离图输入语义分割网络的编码器层，利用两个第一卷积核进行特征提取，使通道数翻倍，得到第一个特征图，进行下采样，在编码器层的最大池化层的作用下，图片大小减半，之后每进入一个编码器层，特征图大小减半，通道数翻倍，经过第四个编码器层特征提取以后，通过中间层，进入解码器层。
下采样过程中采用最大池化法，其池化核大小2×2。
四、解码得到分割结果：中间层输出的特征图，通过上采样使得图片大小翻倍，上采样操作使用双线性插值法，进入第一个解码器层，同时与注意力门模块输出的特征图以及经过多尺度特征图跳跃连接结构输出的多尺度特征图相融合，通过拼接经过2个3×3的两个第二卷积核处理使得通道数减半，传递给下一解码器层；经过四个解码器层的解码后，将深层语义信息逐渐恢复为最终的分割结果图。
考虑到电离图正负样本不平衡的问题，采用的损失函数为焦点损失函数，其公式如下：
其中p表示网络输出的预测样本属于1的概率(范围为0-1)，y表示真实标签，y的取值为{+1,-1}，为了方便表示，将Pt代替p来表示预测样本正确分类的概率，FL(Pt)为焦点损失函数，此函数中，γ称为聚焦参数，(1-Pt)相当于一个调制系数，目的是减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
解码器处理过程的公式为：
其中，表示编码器第i层的特征图，/>表示编码器的第1层到第i-1层，N表示当前的解码器层；/>表示解码器第i层的特征图；H(.)表示通过卷积、批量标准化和ReLU激活函数综合处理过程；[.]表示特征图拼接；C(.)表示卷积过程；D(.)表示利用最大池化下采样；A(.)表示通过注意力门模块。
本发明提出了一种基于多尺度注意力增强U-Net的电离图自动描迹方法，利用深度学习语义分割的强大特征学习能力，对垂测电离图进行学习、训练和分割，在推理分割阶段即可在电离图图像中精确的定位电离图的描迹区域，从而提高深度学习算法应用在电离图自动描迹的普适性。对于将U-Net语义分割网络应用在电离图的自动描迹方法中，存在对细节特征不敏感，将噪声归纳为特征的问题，本发明提出的基于多尺度注意力增强U-Net语义分割网络的电离图自动描迹方法可以加快深度学习语义分割在电离图自动描迹中的实际部署。
本发明将注意力模块和多尺度特征图跳跃连接结构融合进U-Net语义分割网络中，特征图通过不同级注意力模块大小不变，通过多尺度特征图跳跃连接时，利用最大池化操作进行下采样，将特征图大小与不同级注意力门输出特征图大小保持一致。以上设计方法，均在不增加大量参数的情况下，显著提升网络分割精度。

Claims (6)

1.一种基于多尺度注意力增强U-Net的电离图自动描迹方法，其特征在于，引入多尺度特征图跳跃连接以及注意力增强网络，将浅层具有位置信息的特征图与深层具有高级语义信息的特征图结合起来，通过改进的语义分割U-Net网络对低信噪比的电离图进行分割；
具体包括以下步骤：
一、构建多尺度注意力增强U-Net语义分割网络：语义分割网络采用U型网络结构，语义分割网络的左臂由四个编码器层构成，每个编码器层均包括两个第一卷积核、两个第一ReLU激活层和最大池化层；对应的，语义分割网络的右臂由四个解码器层构成，解码器层包括多尺度特征图跳跃连接结构、注意力门模块、两个第二卷积核、两个第二ReLU激活层；
所述步骤一的多尺度注意力增强U-Net语义分割网络中，每层解码器前引入的注意力门模块具有两个输入，一个为同层编码器层跳跃连接的特征图，包含同层编码器层对应的编码器中所有上下文和空间信息，第二个为上一个解码器层上采样得到的特征图，作为此解码器层的门控信号；上一个解码器层上采样的特征图与同层编码器层跳跃连接的特征图相加，经过1×1的卷积操作，利用Sigmoid函数得到加权特征图，利用加权特征图与同层编码器层跳跃连接特征图相乘，得到最后的注意力特征图；
二、训练数据集的预处理：在进行网络训练之前，对齐图片坐标原点，其余补零，将电离图的大小统一调整到512×512的像素大小，将所得数据集分为训练集和测试集；
三、对电离图进行编码：将训练集的电离图输入语义分割网络的编码器层，利用两个第一卷积核进行特征提取，使通道数翻倍，得到第一个特征图，进行下采样，在编码器层的最大池化层的作用下，图片大小减半，之后每进入一个编码器层，特征图大小减半，通道数翻倍，经过第四个编码器层特征提取以后，通过中间层，进入解码器层；
四、解码得到分割结果：中间层输出的特征图，通过上采样使得图片大小翻倍，进入第一个解码器层，同时与注意力门模块输出的特征图以及经过多尺度特征图跳跃连接结构输出的多尺度特征图相融合，通过拼接经过两个第二卷积核处理使得通道数减半，传递给下一解码器层；经过四个解码器层的解码后，将深层语义信息逐渐恢复为最终的分割结果图。
2.根据权利要求1所述的基于多尺度注意力增强U-Net的电离图自动描迹方法，其特征在于，所述步骤一的多尺度注意力增强U-Net语义分割网络中，多尺度特征图跳跃连接结构通过不同大小的池化核进行最大池化操作将编码器输出的特征图缩小到对应解码器特征图的大小。
3.根据权利要求1所述的基于多尺度注意力增强U-Net的电离图自动描迹方法，其特征在于，所述步骤三中，下采样过程中采用最大池化法，其池化核大小2×2。
4.根据权利要求1所述的基于多尺度注意力增强U-Net的电离图自动描迹方法，其特征在于，所述步骤四中，考虑到电离图样本不平衡的问题，采用的损失函数为焦点损失函数，其公式如下：
其中p表示网络输出的预测样本属于1的概率，范围为0-1；y表示真实标签，y的取值为{+1,-1}，为了方便表示，将Pt代替p来表示预测样本正确分类的概率，FL(Pt)为焦点损失函数，此函数中，γ为聚焦参数，(1-Pt)相当于一个调制系数，目的是减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
5.根据权利要求1所述的基于多尺度注意力增强U-Net的电离图自动描迹方法，其特征在于，所述步骤四中，解码器处理过程的公式为：
其中，表示编码器第i层的特征图，/>表示编码器的第1层到第i-1层，N表示当前的解码器层；/>表示解码器第i层的特征图；H(.)表示通过卷积、批量标准化和ReLU激活函数综合处理过程；[.]表示特征图拼接；C(.)表示卷积过程；D(.)表示利用最大池化下采样；A(.)表示通过注意力门模块。
6.根据权利要求1所述的基于多尺度注意力增强U-Net的电离图自动描迹方法，其特征在于，所述步骤四中，上采样操作使用双线性插值法。
CN202210691683.4A 2022-06-17 2022-06-17 基于多尺度注意力增强U-Net的电离图自动描迹方法 Active CN114972760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210691683.4A CN114972760B (zh) 2022-06-17 2022-06-17 基于多尺度注意力增强U-Net的电离图自动描迹方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210691683.4A CN114972760B (zh) 2022-06-17 2022-06-17 基于多尺度注意力增强U-Net的电离图自动描迹方法

Publications (2)

Publication Number Publication Date
CN114972760A CN114972760A (zh) 2022-08-30
CN114972760B true CN114972760B (zh) 2024-04-16

Family

ID=82963872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210691683.4A Active CN114972760B (zh) 2022-06-17 2022-06-17 基于多尺度注意力增强U-Net的电离图自动描迹方法

Country Status (1)

Country Link
CN (1) CN114972760B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117952976A (zh) * 2024-03-26 2024-04-30 深圳亚太航空技术股份有限公司 一种高锁螺栓检测***及其方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295663A (zh) * 2015-05-25 2017-01-04 中国海洋大学 一种基于图像处理的垂测电离图e区描迹自动判读方法
WO2021003821A1 (zh) * 2019-07-11 2021-01-14 平安科技（深圳）有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
CN113658201A (zh) * 2021-08-02 2021-11-16 天津大学 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN114519719A (zh) * 2022-01-07 2022-05-20 宁波大学 一种脑肿瘤mr图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295663A (zh) * 2015-05-25 2017-01-04 中国海洋大学 一种基于图像处理的垂测电离图e区描迹自动判读方法
WO2021003821A1 (zh) * 2019-07-11 2021-01-14 平安科技（深圳）有限公司 一种肾小球病理切片图像的细胞检测方法、装置及设备
CN113658201A (zh) * 2021-08-02 2021-11-16 天津大学 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN114519719A (zh) * 2022-01-07 2022-05-20 宁波大学 一种脑肿瘤mr图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中值反差滤波在返回散射电离图前沿提取中的应用;华彩成;冯静;李雪;郭延波;;中国电子科学研究院学报;20150820(第04期);全文 *

Also Published As

Publication number Publication date
CN114972760A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN111311563B (zh) 一种基于多域特征融合的图像篡改检测方法
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
CN113888550B (zh) 一种结合超分辨率和注意力机制的遥感图像道路分割方法
CN111047551A (zh) 一种基于U-net改进算法的遥感影像变化检测方法及***
CN110782420A (zh) 一种基于深度学习的小目标特征表示增强方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN110555841B (zh) 基于自注意图像融合和dec的sar图像变化检测方法
CN115601549A (zh) 基于可变形卷积和自注意力模型的河湖遥感图像分割方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN113888547A (zh) 基于gan网络的无监督域自适应遥感道路语义分割方法
CN116229452B (zh) 一种基于改进的多尺度特征融合的点云三维目标检测方法
CN112016489A (zh) 一种保留全局信息并增强局部特征的行人再识别方法
CN114120272A (zh) 一种融合边缘检测的多监督智能车道线语义分割方法
CN114972760B (zh) 基于多尺度注意力增强U-Net的电离图自动描迹方法
CN117079163A (zh) 一种基于改进yolox-s的航拍图像小目标检测方法
Wang et al. TF-SOD: a novel transformer framework for salient object detection
CN115841464A (zh) 基于自监督学习的多模态脑肿瘤影像分割方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及***
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
US11954917B2 (en) Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof
CN113436198A (zh) 一种协同图像超分辨率重建的遥感图像语义分割方法
CN113240586A (zh) 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法
CN112633123A (zh) 一种基于深度学习的异源遥感影像变化检测方法及装置
CN117372876A (zh) 一种多任务遥感影像道路损毁评估方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant