CN117593666A - 一种极光图像的地磁台站数据预测方法及*** - Google Patents

一种极光图像的地磁台站数据预测方法及*** Download PDF

Info

Publication number
CN117593666A
CN117593666A CN202410081481.7A CN202410081481A CN117593666A CN 117593666 A CN117593666 A CN 117593666A CN 202410081481 A CN202410081481 A CN 202410081481A CN 117593666 A CN117593666 A CN 117593666A
Authority
CN
China
Prior art keywords
layer
station data
module
features
geomagnetic station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410081481.7A
Other languages
English (en)
Other versions
CN117593666B (zh
Inventor
肖晖
田馨沁
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202410081481.7A priority Critical patent/CN117593666B/zh
Publication of CN117593666A publication Critical patent/CN117593666A/zh
Application granted granted Critical
Publication of CN117593666B publication Critical patent/CN117593666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种极光图像的地磁台站数据预测方法及***包括获取卫星的极区紫外极光图像数据和地面台站的地磁台站数据；对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；构建多层卷积网络模块提取极光卵局部特征；构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部、全局特征表示，得到预测特征；构建回归预测模块，输出地磁台站数据；定义损失函数，训练地磁台站数据预测模型；利用地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果。本发明提升模型对地磁台站数据的预测准确度。

Description

一种极光图像的地磁台站数据预测方法及***
技术领域
本发明属于极光特征提取与地磁台站数据预测领域，尤其涉及一种极光图像的地磁台站数据预测方法及***。
背景技术
随着数据驱动的深度学习方法在计算机视觉、自然语言处理等多个领域的成功应用，基于深度学习方法的时空数据挖掘是一个新的技术发展趋势。紫外极光图像数据和地磁台站数据都是时空数据，且他们在时间维度和空间维度有一定的互补关系。基于深度学习的地磁指数预测被认为是对传统方法的有力补充。人工神经网络（ANN）、BP神经网络、广义回归神经网络和极限学习机等深度学习网络被广泛应用到AE、Dst等地磁指数的预测中。然而，以上预测模型多采用行星际磁场分量、太阳风密度、速度等结构化数据为输入，以太阳风驱动的物理过程为基础，而忽视了极光图像和地磁数据在空间尺度上的相关关系。有研究表明，极光图像与地磁台站数据之间不仅存在大范围空间关联关系，极光卵形态和亮度的局部变化特征与地磁台站数据的强弱同样呈强相关。近年来，Transformer在一般图像分类、图像检索和语义分割等方面都展现出了优越的性能。视觉Transformer（ViT）通过其固有注意力机制能够对图像进行全局特征表示，并自动识别出图像中有判别性的特征区域。然而，ViT的感受野无法有效扩展，其单个像素块注意力的长度不会随着编码器层数的增加而改变。此外，ViT输入固定大小的像素块不利于网络捕获关键性的区域注意力信息。Transformer的自注意力机制对输入信息全局特征具有天然良好的建模能力，但局部信息的获取却不如CNN强。
因此，亟待解决上述问题。
发明内容
发明目的：本发明的第一目的是提供一种极光图像的地磁台站数据预测方法，利用多层卷积网络提取极光图像的局部特征并保留位置信息，利用Transformer编码网络对极光图像的全局特征进行学习，利用层级特征融合模块逐层融合局部特征表示和全局特征表示，并聚合层级间的判别性特征，提高模型对极光图像细粒度特征的表达能力，从而提升模型对地磁台站数据的预测准确度。
本发明的第二目的是提供一种极光图像的地磁台站数据预测***。
技术方案：为实现以上目的，本发明公开了一种极光图像的地磁台站数据预测方法，包括以下步骤：
（1）获取卫星的极区紫外极光图像数据和地面台站的地磁台站数据；
（2）对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；
（3）构建多层卷积网络模块提取极光卵局部特征，所述多层卷积网络模块的多层卷积网络共包括四个卷积块，其中前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成；
（4）构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，所述Transformer编码网络模块的编码网络由嵌入层和编码层组成，嵌入层将输入的极光图像划分为固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，并嵌入位置编码以符合Transformer编码层输入范式；
（5）构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部特征表示和全局特征表示，得到预测特征；层级特征融合模块分为前后层级间的特征聚合以及卷积块特征与编码特征融合，所述前后层级间的特征聚合是将前后层级间的注意力权重融合并对标记进行筛选，以提取层级聚合后的编码层判别性特征；所述卷积块特征与编码特征融合是将卷积块特征与层级聚合后的编码层判别性特征进行融合构成融合特征；
（6）构建回归预测模块，将最终的预测特征展开为向量，再将预测特征输入回归预测模块，输出地磁台站数据；
（7）定义损失函数，利用步骤（2）中构建的训练集和验证集，对由多层卷积网络模块，Transformer编码网络模块，层级特征融合模块和回归预测模块四部分组成的地磁台站数据预测模型进行训练和验证，调整用于训练的超参数得到训练好的地磁台站数据预测模型；
（8）利用训练好的地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果；利用步骤（2）中构建的测试集，输入步骤（7）中训练好的地磁台站数据预测模型，得到地磁台站数据的预测结果；并结合真实值对预测结果进行误差分析评价。
其中，步骤（1）中从NASA的空间物理数据设施SPDF网站获取紫外成像仪UVI拍摄的极区紫外极光图像数据；从世界数据中心WDC获取同时段磁纬度60-80°范围内并沿磁经度均匀分布的地磁台站数据，所述地磁台站数据是指地磁场水平H分量的逐分钟数据。
优选的，步骤（2）中对UVI拍摄的极区紫外极光图像数据进行预处理，利用python脚本读取.cdf数据文件获得每单个样本的成像时间、图像矩阵以及单个样本的地理经纬度和地磁经纬度，对极光图像进行坐标转化，目标坐标系以地磁极点为中心，磁纬度范围为50°-90°MLAT，磁地方时范围为0-24MLT，最后重置图像负值像素为0；筛选出极区紫外极光图像数据的LBHL波段160nm-180nm图像作为地磁台站数据预测模型的输入，而同时段的地磁台站数据则为地磁台站数据预测模型的输出；极光图像与地磁台站数据放入不同的文件夹，形成数据集，将该数据集以7：2：1的比例划分为训练集、验证集和测试集。
再者，步骤（3）中每个卷积层后接一个ReLU激活函数，卷积层统一采用3×3的卷积核。
进一步，步骤（4）中Transformer编码网络模块的Transformer编码器由四个相同的编码层组成，每个编码层依次由层归一化LN、多头自注意力模块MHSA、残差连接、层归一化LN、多层感知机MLP和残差连接构成，多层感知机MLP由两层卷积函数以及ReLU激活函数组成。
优选的，步骤（5）中所述层级特征融合模块先将当前层注意力权重与前一层注意力权重通过矩阵乘法进行融合，并利用Max函数提取层级聚合后的编码层判别性特征，其次将卷积块特征与层级聚合后的编码层判别性特征通过矩阵乘法进行融合构成融合特征，最后再次输入一个Transformer编码层，得到预测特征。
再者，步骤（6）中回归预测模块由三层全连接网络组成，包括两个隐藏层和一个输出层，三层全连接网络的神经元个数分别为1024，1024，12；首先将Transformer编码层得到的预测特征展开成向量，再将预测特征输入回归预测模块，最终输出地磁台站数据。
进一步，步骤（7）中若以表示真实序列，/>表示预测序列，则损失函数定义为地磁台站数据预测值与真实值之间的均方误差：
。
优选的，步骤（8）中评价标准包括均方根误差RMSE，平均相对方差ARV和决定系数R2。
本发明一种极光图像的地磁台站数据预测***，包括：
获取原始数据模块，用于获取卫星的极区紫外极光图像数据和地面台站的地磁台站数据；
构建数据集模块，用于对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；
多层卷积网络模块，构建多层卷积网络模块提取极光卵局部特征，所述多层卷积网络模块的多层卷积网络共包括四个卷积块，其中前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成；
Transformer编码网络模块，构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，所述Transformer编码网络模块的编码网络由嵌入层和编码层组成，嵌入层将输入的极光图像划分为固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，并嵌入位置编码以符合Transformer编码层输入范式；
层级特征融合模块，构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部特征表示和全局特征表示，得到预测特征；层级特征融合模块分为前后层级间的特征聚合以及卷积块特征与编码特征融合，所述前后层级间的特征聚合是将前后层级间的注意力权重融合并对标记进行筛选，以提取层级聚合后的编码层判别性特征；所述卷积块特征与编码特征融合是将卷积块特征与层级聚合后的编码层判别性特征进行融合构成融合特征；
回归预测模块，构建回归预测模块，将最终的预测特征展开为向量，再将预测特征输入回归预测模块，输出地磁台站数据；
训练地磁台站数据预测模型模块，定义损失函数，利用构建数据集模块中构建的训练集和验证集，对由多层卷积网络模块，Transformer编码网络模块，层级特征融合模块和回归预测模块四部分组成的地磁台站数据预测模型进行训练和验证，调整用于训练的超参数得到训练好的地磁台站数据预测模型；
地磁台站数据预测模块，利用训练好的地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果；利用构建数据集模块中构建的测试集，输入训练好的地磁台站数据预测模型，得到地磁台站数据的预测结果；并结合真实值对预测结果进行误差分析，评价标准包括均方根误差RMSE，平均相对方差ARV和决定系数R2。
有益效果：与现有技术相比，本发明具有以下显著优点：
（1）本发明利用多层卷积网络提取极光图像的局部特征并保留位置信息，利用Transformer编码网络模块对极光图像的全局特征进行学习，利用层级特征融合模块逐层融合局部特征表示和全局特征表示，并聚合层级间的判别性特征，提高模型对极光图像细粒度特征的表达能力，从而提升模型对地磁台站数据的预测准确度；
（2）本发明从极光图像的角度出发，用深度学习模型替代简单的神经网络，用卷积网络来增强Transformer自注意力机制下的特征表示能力，并行的提取极光图像的全局特征和局部特征；层级特征融合模块不仅将两类特征融合，还将层级间的特征再聚合；最后借助全连接网络实现了基于极光图像的地磁台站数据的预测研究；
（3）本发明所构建的多层卷积网络模块利用串行的神经网络结构提取极光卵的局部特征并保留位置信息；所构建的Transformer编码网络模块对极光卵与地磁台站数据间的全局空间特征进行学习；所构建的层级特征融合模块聚合层级间注意力权重，筛选判别性特征区域，并逐层融合卷积特征和编码特征；所构建的回归预测模块将二维特征矩阵映射为一维特征向量，并通过隐藏层和输出层对地磁台站数据进行最后的回归预测。
附图说明
图1为本发明的框架示意图；
图2为本发明中Transformer编码网络模块中编码层的结构示意图；
图3为本发明中层级特征融合模块的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
实施例1
本发明所公开的一种极光图像的地磁台站数据预测方法在具有以下配置的计算机内：AMDRyzen9 3950X 16核处理器，Nvidia GeForceRTX3090图形处理器，主频3.49GHz，内存64GB，操作***为windows10。一种极光图像的地磁台站数据预测方法的实现基于Tensorflow2.0深度学习框架工具包。
本发明公开了一种极光图像的地磁台站数据预测方法，包括以下步骤：
（1）获取卫星的极区紫外极光图像数据和12个地面台站的地磁台站数据；从NASA的空间物理数据设施SPDF网站获取紫外成像仪UVI拍摄的极区紫外极光图像数据；从世界数据中心WDC获取同时段磁纬度60-80°范围内并沿磁经度均匀分布的12个地磁台站数据，所述地磁台站数据是指地磁场水平H分量的逐分钟数据；
NASA的SPDF网站提供了POLAR卫星搭载的UVI传感器下的uvi_level1数据产品，该产品的极光卵图像像素尺寸为200×228，空间分辨率约为每像素0.04°，世界数据中心WDC则提供了各地地磁台站磁强计的逐分钟监测数据，本发明选择与POLAR卫星同一时段的，磁纬度在60-80°范围内的，沿磁经度均匀分布的12个地磁台站，地磁台站数据特指磁场参数中的水平H分量。
（2）对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；对UVI拍摄的极区紫外极光图像数据进行预处理，利用python脚本读取.cdf数据文件获得每单个样本的成像时间、图像矩阵以及单个样本的地理经纬度和地磁经纬度，对极光图像进行坐标转化，目标坐标系以地磁极点为中心，磁纬度范围为50°~90°MLAT，磁地方时范围为0~24MLT，最后重置图像负值像素为0以消除卫星噪声；筛选出极区紫外极光图像数据的LBHL波段160nm~180nm图像作为地磁台站数据预测模型的输入，而同时段的12个地磁台站数据则为地磁台站数据预测模型的输出；极光图像与地磁台站数据放入不同的文件夹，形成数据集，将该数据集以7：2：1的比例划分为训练集、验证集和测试集；
对UVI拍摄的极区紫外极光图像数据进行预处理，利用python脚本读取.cdf数据文件获得每单个样本的成像时间、图像矩阵以及它的地理经纬度和地磁经纬度。对极光图像进行坐标转换，目标坐标系以地磁极点为中心，磁纬度范围为50°~90°MLAT，磁地方时范围为0~24MLT，转换完成后的图像像素大小为241×241，灰度范围为0~255。由于LBHS波段受氧气SchumannRungeband吸收严重，因此本实施例使用POLAR卫星的LBHL波段（160～180nm），在普通观测模式下连续两帧LBHL图像之间的时间分辨率在0.5-3分钟之间。筛选出UVI成像数据的LBHL波段（160nm-180nm）图像作为地磁台站数据预测模型的输入，而同一时刻的12个地磁台站数据则为地磁台站数据预测模型的输出；极光图像数据是具有特定空间分辨率的图像序列数据，成像范围包括整个北极区域，最低纬度达50°，每个样本图像匹配同一时刻由12个地磁台站数据组成的向量/>，极光图像与地磁台站数据放入不同的文件夹，共计46152组数据，将该数据集以7：2：1的比例划分为训练集、验证集和测试集。
（3）构建多层卷积网络模块提取极光卵局部特征，所述多层卷积网络模块的多层卷积网络共包括四个卷积块，其中前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成；每个卷积层后接一个ReLU激活函数，卷积层统一采用3×3的卷积核，通过堆叠卷积层来扩大卷积块的感受野，同时减少网络参数；多层卷积网络既保留了图像中的位置关系又获得图像的局部特征，多层卷积网络模块利用串行的网络结构来提取极光图像特征，保留极光图像中极光强度的空间分布关系并获得图像的局部特征；
如图1所示，多层卷积网络模块由四个卷积块组成，每个卷积块又包括卷积层和池化层两部分，前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成，卷积核尺寸均为3×3，每个卷积层后接一个ReLU激活函数，如公式（1）所示，卷积网络的各层参数设置如表1所示：
（1）
表1多层卷积网络各层参数设置
（4）构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，Transformer编码网络模块的编码网络由嵌入层和编码层组成，嵌入层将输入的极光图像划分为固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，并嵌入位置编码以符合Transformer编码层输入范式，解决了特征纬度不统一问题；Transformer编码网络模块的Transformer编码器由四个相同的编码层组成，每个编码层依次由层归一化LN、多头自注意力模块MHSA、残差连接、层归一化LN、多层感知机MLP和残差连接构成，多层感知机MLP由两层卷积函数以及ReLU激活函数组成，Transformer编码网络模块通过多头注意力机制可以对图像进行全局交互以编码图像特征；transformer编码网络模块可对极光图像与地磁台站数据间的大范围空间依赖关系进行建模，保留各层的注意力权重，获得图像全局特征；
如图1所示，Transformer编码网络模块由嵌入层和编码层组成，嵌入层首先将输入图像裁剪为16×16的固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，使其符合输入范式；当输入图像为224×224时，嵌入层最终产生的嵌入向量维度为196×256。
自注意力机制是Transformer编码层的核心，自注意力机制可以描述为将一个查询（query）和一组“键值对（key-value）”映射到输出的过程，给定一组查询矩阵Q，键K和值矩阵V，应用Attention函数计算输出矩阵如下：
（2）
其中，Q、K和V分别表示输入序列经过线性变换后得到的查询、键和值序列；softmax表示对关联程度进行归一化；表示对维度进行缩放，其中d表示查询和键的维度。
多头注意力是注意力机制的一个扩展，通过可学习的k组线性变换将查询、键和值投影到不同的子空间，并行地运行k个注意力操作；然后拼接这k个注意力的输出，通过一个可学习的线性变换得到最终输出：
（3）
（4）
其中，，/>，/>分别为查询、键和值的线性变换的参数矩阵，实践中可以简单理解为切分操作；/>是多头注意力机制最终线性变换的参数矩阵，一般地，/>往往设置为/>，d表示输入序列的的纬度，k表示多头注意力中头的个数；
为了保留每个补丁的位置信息，在送入Transformer编码网络模块的Transformer编码器之前，对每个补丁叠加了位置编码信息，Transformer编码网络模块的Transformer编码器由四个相同的编码层组成，每个编码层模块又由层归一化LN、多头自注意力模块MHSA、多层感知机MLP及残差连接等构成，如图2所示。MLP由两层卷积函数以及ReLU激活函数组成，图2中和/>分别表示当前层中MHSA和MLP的输出特征，计算过程如下：
（5）
（6）
（5）构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部特征表示和全局特征表示，捕获丢失在网络深层的信息，得到预测特征进入后续回归预测模块；层级特征融合模块分为前后层级间的特征聚合以及卷积块特征与编码特征融合，前后层级间的特征聚合是将前后层级间的注意力权重融合并对标记进行筛选，以提取层级聚合后的编码层判别性特征；卷积块特征与编码特征融合是将卷积块特征与层级聚合后的编码层判别性特征进行融合构成融合特征；层级特征融合模块先将当前层注意力权重与前一层注意力权重通过矩阵乘法进行融合，并利用Max函数提取层级聚合后的编码层判别性特征，其次将卷积块特征与层级聚合后的编码层判别性特征通过矩阵乘法进行融合构成融合特征，最后再次输入一个Transformer编码层，得到预测特征；层级特征融合模块先强制聚合层级间的判别性特征，弥补因网络深度而丢失掉的特征信息，后逐层沟通卷积块与Transformer编码层，将每个卷积块的局部特征表示与Transformer编码层的全局特征进行融合；
如图3所示，层级特征融合模块分为两步融合，分别是前后层级间的特征聚合和卷积块特征与编码特征融合。层级间的特征聚合是将层级间的注意力权重融合并对标记进行筛选，各层的注意力权重可表示为：
（7）
（8）
式中：k表示模型中多头自注意力机制中自注意力头的数量，N表示嵌入向量的维度。
为了充分利用各个层级间的信息，将第l层和第l-1层的注意力权重通过矩阵乘法进行融合，并利用Max函数选取k个不同注意力头的最大值指标A1，A2，…，AK，以提取层级聚合后的判别性特征，即：
（9）
（10）
其次将卷积块特征与聚合后的编码层判别性特征融合构成融合特征，以嵌入向量为准，利用上/下采样策略对齐特征尺寸和通道数，用层归一化对齐特征值，融合特征可以表示为：
（11）
其中，N是嵌入向量的维度，C表示通道数，等于嵌入向量的深度；
如图1所示，将四层融合后的特征作为输入连接到最后一个Transformer编码层，不仅保留了各个层级间的本地信息，还充分利用层级间的注意力权重，捕获丢失在深层的局部信息。
（6）构建回归预测模块，将最终的预测特征展开为向量，再将预测特征输入回归预测模块，输出12个地磁台站数据；回归预测模块由三层全连接网络组成，包括两个隐藏层和一个输出层，三层全连接网络的神经元个数分别为1024，1024，12；首先将Transformer编码层得到的预测特征展开成向量，再将预测特征输入回归预测模块，最终输出12个地磁台站数据；回归预测模块的三层全连接网络结构通过两个隐藏层和一个输出层建立极光图像特征与地磁台站数据之间的非线性映射关系。
（7）定义损失函数，训练地磁台站数据预测模型；利用步骤（2）中构建的训练集和验证集，对由多层卷积网络模块，Transformer编码网络模块，层级特征融合模块和回归预测模块四部分组成的地磁台站数据预测模型进行训练和验证。模型训练过程首先要加载官方在ImageNet21k上进行预训练的VGG-16模型和ViT-B/16模型的权重分别对多层卷积网络模块和Transformer编码网络模块进行参数初始化，随后模型将在损失函数的约束下自动优化整个预测模型的可训练参数。训练过程采用标准的ADAM优化器，学习率设置为0.0002，批次大小设置为24。若以表示真实序列，/>表示预测序列，则损失函数定义为地磁台站数据预测值与真实值之间的均方误差，如公式（12）所示：
（12）
当验证集与训练集的Loss相差不大，且不再下降时，表示模型训练完成；训练集Loss下降至0.0048，验证集Loss下降至0.0054。
（8）利用训练好的地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果；利用步骤（2）中构建的测试集，输入步骤（7）中训练好的地磁台站数据预测模型，得到12个地磁台站数据的预测结果；并结合真实值对预测结果进行误差分析评价，评价标准包括均方根误差RMSE，平均相对方差ARV和决定系数R2；
（13）
（14）
（15）
本发明的地磁台站数据预测模型在各评价指标下表现良好，均方根误差保持在10%以内，平均相对方差在30%左右；模型的拟合优度均大于0.9。
实施例2
本发明公开了一种极光图像的地磁台站数据预测***，包括：
获取原始数据模块，用于获取卫星的极区紫外极光图像数据和地面台站的地磁台站数据；从NASA的空间物理数据设施SPDF网站获取紫外成像仪UVI拍摄的极区紫外极光图像数据；从世界数据中心WDC获取同时段磁纬度60-80°范围内并沿磁经度均匀分布的12个地磁台站数据，所述地磁台站数据是指地磁场水平H分量的逐分钟数据；
构建数据集模块，用于对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；对UVI拍摄的极区紫外极光图像数据进行预处理，利用python脚本读取.cdf数据文件获得每单个样本的成像时间、图像矩阵以及单个样本的地理经纬度和地磁经纬度，对极光图像进行坐标转化，目标坐标系以地磁极点为中心，磁纬度范围为50°~90°MLAT，磁地方时范围为0~24MLT，最后重置图像负值像素为0以消除卫星噪声；筛选出极区紫外极光图像数据的LBHL波段160nm~180nm图像作为地磁台站数据预测模型的输入，而同时段的12个地磁台站数据则为地磁台站数据预测模型的输出；极光图像与地磁台站数据放入不同的文件夹，形成数据集，将该数据集以7：2：1的比例划分为训练集、验证集和测试集；
多层卷积网络模块，构建多层卷积网络模块提取极光卵局部特征，所述多层卷积网络模块的多层卷积网络共包括四个卷积块，其中前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成；每个卷积层后接一个ReLU激活函数，卷积层统一采用3×3的卷积核，通过堆叠卷积层来扩大卷积块的感受野，同时减少网络参数；多层卷积网络既保留了图像中的位置关系又获得图像的局部特征，多层卷积网络模块利用串行的网络结构来提取极光图像特征，保留极光图像中极光强度的空间分布关系并获得图像的局部特征；
Transformer编码网络模块，构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，Transformer编码网络模块的编码网络由嵌入层和编码层组成，嵌入层将输入的极光图像划分为固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，并嵌入位置编码以符合Transformer编码层输入范式，解决了特征纬度不统一问题；Transformer编码网络模块的Transformer编码器由四个相同的编码层组成，每个编码层依次由层归一化LN、多头自注意力模块MHSA、残差连接、层归一化LN、多层感知机MLP和残差连接构成，多层感知机MLP由两层卷积函数以及ReLU激活函数组成，Transformer编码网络模块通过多头注意力机制可以对图像进行全局交互以编码图像特征；transformer编码网络模块可对极光图像与地磁台站数据间的大范围空间依赖关系进行建模，保留各层的注意力权重，获得图像全局特征；
层级特征融合模块，构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部特征表示和全局特征表示，得到预测特征；层级特征融合模块分为前后层级间的特征聚合以及卷积块特征与编码特征融合，前后层级间的特征聚合是将前后层级间的注意力权重融合并对标记进行筛选，以提取层级聚合后的编码层判别性特征；卷积块特征与编码特征融合是将卷积块特征与层级聚合后的编码层判别性特征进行融合构成融合特征；层级特征融合模块先将当前层注意力权重与前一层注意力权重通过矩阵乘法进行融合，并利用Max函数提取层级聚合后的编码层判别性特征，其次将卷积块特征与层级聚合后的编码层判别性特征通过矩阵乘法进行融合构成融合特征，最后再次输入一个Transformer编码层，得到预测特征；层级特征融合模块先强制聚合层级间的判别性特征，弥补因网络深度而丢失掉的特征信息，后逐层沟通卷积块与Transformer编码层，将每个卷积块的局部特征表示与Transformer编码层的全局特征进行融合；
回归预测模块，构建回归预测模块，将最终的预测特征展开为向量，再将预测特征输入回归预测模块，输出12个地磁台站数据；回归预测模块由三层全连接网络组成，包括两个隐藏层和一个输出层，三层全连接网络的神经元个数分别为1024，1024，12；首先将Transformer编码层得到的预测特征展开成向量，再将预测特征输入回归预测模块，最终输出12个地磁台站数据；回归预测模块的三层全连接网络结构通过两个隐藏层和一个输出层建立极光图像特征与地磁台站数据之间的非线性映射关系；
训练地磁台站数据预测模型模块，定义损失函数，利用构建数据集模块中构建的训练集和验证集，对由多层卷积网络模块，Transformer编码网络模块，层级特征融合模块和回归预测模块四部分组成的地磁台站数据预测模型进行训练和验证，若以表示真实序列，/>表示预测序列，则损失函数定义为地磁台站数据预测值与真实值之间的均方误差，如公式（12）所示：
（12）
调整用于训练的超参数得到训练好的地磁台站数据预测模型；
地磁台站数据预测模块，利用训练好的地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果；利用构建数据集模块中构建的测试集，输入训练好的地磁台站数据预测模型，得到12个地磁台站数据的预测结果；并结合真实值对预测结果进行误差分析，评价标准包括均方根误差RMSE，平均相对方差ARV和决定系数R2；
（13）
（14）
（15）
本发明的地磁台站数据预测模型在各评价指标下表现良好，均方根误差保持在10%以内，平均相对方差在30%左右；模型的拟合优度均大于0.9。

Claims (10)

1.一种极光图像的地磁台站数据预测方法，其特征在于，包括以下步骤：
（1）获取卫星的极区紫外极光图像数据和地面台站的地磁台站数据；
（2）对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；
（3）构建多层卷积网络模块提取极光卵局部特征，所述多层卷积网络模块的多层卷积网络共包括四个卷积块，其中前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成；
（4）构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，所述Transformer编码网络模块的编码网络由嵌入层和编码层组成，嵌入层将输入的极光图像划分为固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，并嵌入位置编码以符合Transformer编码层输入范式；
（5）构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部特征表示和全局特征表示，得到预测特征；层级特征融合模块分为前后层级间的特征聚合以及卷积块特征与编码特征融合，所述前后层级间的特征聚合是将前后层级间的注意力权重融合并对标记进行筛选，以提取层级聚合后的编码层判别性特征；所述卷积块特征与编码特征融合是将卷积块特征与层级聚合后的编码层判别性特征进行融合构成融合特征；
（6）构建回归预测模块，将最终的预测特征展开为向量，再将预测特征输入回归预测模块，输出地磁台站数据；
（7）定义损失函数，利用步骤（2）中构建的训练集和验证集，对由多层卷积网络模块，Transformer编码网络模块，层级特征融合模块和回归预测模块四部分组成的地磁台站数据预测模型进行训练和验证，调整用于训练的超参数得到训练好的地磁台站数据预测模型；
（8）利用训练好的地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果；利用步骤（2）中构建的测试集，输入步骤（7）中训练好的地磁台站数据预测模型，得到地磁台站数据的预测结果；并结合真实值对预测结果进行误差分析评价。
2.根据权利要求1所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（1）中从NASA的空间物理数据设施SPDF网站获取紫外成像仪UVI拍摄的极区紫外极光图像数据；从世界数据中心WDC获取同时段磁纬度60-80°范围内并沿磁经度均匀分布的地磁台站数据，所述地磁台站数据是指地磁场水平H分量的逐分钟数据。
3.根据权利要求2所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（2）中对UVI拍摄的极区紫外极光图像数据进行预处理，利用python脚本读取.cdf数据文件获得每单个样本的成像时间、图像矩阵以及单个样本的地理经纬度和地磁经纬度，对极光图像进行坐标转化，目标坐标系以地磁极点为中心，磁纬度范围为50°-90°MLAT，磁地方时范围为0-24MLT，最后重置图像负值像素为0；筛选出极区紫外极光图像数据的LBHL波段160nm-180nm图像作为地磁台站数据预测模型的输入，而同时段的地磁台站数据则为地磁台站数据预测模型的输出；极光图像与地磁台站数据放入不同的文件夹，形成数据集，将该数据集以7：2：1的比例划分为训练集、验证集和测试集。
4.根据权利要求3所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（3）中每个卷积层后接一个ReLU激活函数，卷积层统一采用3×3的卷积核。
5.根据权利要求4所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（4）中Transformer编码网络模块的Transformer编码器由四个相同的编码层组成，每个编码层依次由层归一化LN、多头自注意力模块MHSA、残差连接、层归一化LN、多层感知机MLP和残差连接构成，多层感知机MLP由两层卷积函数以及ReLU激活函数组成。
6.根据权利要求5所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（5）中所述层级特征融合模块先将当前层注意力权重与前一层注意力权重通过矩阵乘法进行融合，并利用Max函数提取层级聚合后的编码层判别性特征，其次将卷积块特征与层级聚合后的编码层判别性特征通过矩阵乘法进行融合构成融合特征，最后再次输入一个Transformer编码层，得到预测特征。
7.根据权利要求6所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（6）中回归预测模块由三层全连接网络组成，包括两个隐藏层和一个输出层，三层全连接网络的神经元个数分别为1024，1024，12；首先将Transformer编码层得到的预测特征展开成向量，再将预测特征输入回归预测模块，最终输出地磁台站数据。
8.根据权利要求7所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（7）中若以表示真实序列，/>表示预测序列，则损失函数定义为地磁台站数据预测值与真实值之间的均方误差：
。
9.根据权利要求8所述的一种极光图像的地磁台站数据预测方法，其特征在于：所述步骤（8）中评价标准包括均方根误差RMSE，平均相对方差ARV和决定系数R2。
10.一种极光图像的地磁台站数据预测***，其特征在于，包括：
获取原始数据模块，用于获取卫星的极区紫外极光图像数据和地面台站的地磁台站数据；
构建数据集模块，用于对极区紫外极光图像数据进行预处理构建数据集，并划分训练集、验证集和测试集；
多层卷积网络模块，构建多层卷积网络模块提取极光卵局部特征，所述多层卷积网络模块的多层卷积网络共包括四个卷积块，其中前两个卷积块由两层卷积层和一层池化层组成，后两个卷积块由三层卷积层和一层池化层组成；
Transformer编码网络模块，构建Transformer编码网络模块对极光图像进行全局交互以编码极光卵全局特征，所述Transformer编码网络模块的编码网络由嵌入层和编码层组成，嵌入层将输入的极光图像划分为固定大小的补丁，再通过线性映射将补丁向量转化为固定长度的嵌入向量，并嵌入位置编码以符合Transformer编码层输入范式；
层级特征融合模块，构建层级特征融合模块，聚合层级间注意力权重，筛选编码层判别性特征，融合局部特征表示和全局特征表示，得到预测特征；层级特征融合模块分为前后层级间的特征聚合以及卷积块特征与编码特征融合，所述前后层级间的特征聚合是将前后层级间的注意力权重融合并对标记进行筛选，以提取层级聚合后的编码层判别性特征；所述卷积块特征与编码特征融合是将卷积块特征与层级聚合后的编码层判别性特征进行融合构成融合特征；
回归预测模块，构建回归预测模块，将最终的预测特征展开为向量，再将预测特征输入回归预测模块，输出地磁台站数据；
训练地磁台站数据预测模型模块，定义损失函数，利用构建数据集模块中构建的训练集和验证集，对由多层卷积网络模块，Transformer编码网络模块，层级特征融合模块和回归预测模块四部分组成的地磁台站数据预测模型进行训练和验证，调整用于训练的超参数得到训练好的地磁台站数据预测模型；
地磁台站数据预测模块，利用训练好的地磁台站数据预测模型对地磁台站数据进行预测，分析评价预测结果；利用构建数据集模块中构建的测试集，输入训练好的地磁台站数据预测模型，得到地磁台站数据的预测结果；并结合真实值对预测结果进行误差分析，评价标准包括均方根误差RMSE，平均相对方差ARV和决定系数R2。
CN202410081481.7A 2024-01-19 2024-01-19 一种极光图像的地磁台站数据预测方法及*** Active CN117593666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410081481.7A CN117593666B (zh) 2024-01-19 2024-01-19 一种极光图像的地磁台站数据预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410081481.7A CN117593666B (zh) 2024-01-19 2024-01-19 一种极光图像的地磁台站数据预测方法及***

Publications (2)

Publication Number Publication Date
CN117593666A true CN117593666A (zh) 2024-02-23
CN117593666B CN117593666B (zh) 2024-05-17

Family

ID=89918833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410081481.7A Active CN117593666B (zh) 2024-01-19 2024-01-19 一种极光图像的地磁台站数据预测方法及***

Country Status (1)

Country Link
CN (1) CN117593666B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118133888A (zh) * 2024-04-29 2024-06-04 南京航空航天大学 一种基于紫外极光图像的极光电集流指数预测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022037575A (ja) * 2020-08-25 2022-03-09 株式会社日立製作所 画像評価予測装置および方法
CN116229295A (zh) * 2023-02-28 2023-06-06 西安电子科技大学 基于融合卷积注意力机制的遥感图像目标检测方法
CN116469100A (zh) * 2022-12-27 2023-07-21 长春理工大学 一种基于Transformer的双波段图像语义分割方法
CN116630387A (zh) * 2023-06-20 2023-08-22 西安电子科技大学 基于注意力机制的单目图像深度估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022037575A (ja) * 2020-08-25 2022-03-09 株式会社日立製作所 画像評価予測装置および方法
CN116469100A (zh) * 2022-12-27 2023-07-21 长春理工大学 一种基于Transformer的双波段图像语义分割方法
CN116229295A (zh) * 2023-02-28 2023-06-06 西安电子科技大学 基于融合卷积注意力机制的遥感图像目标检测方法
CN116630387A (zh) * 2023-06-20 2023-08-22 西安电子科技大学 基于注意力机制的单目图像深度估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118133888A (zh) * 2024-04-29 2024-06-04 南京航空航天大学 一种基于紫外极光图像的极光电集流指数预测方法及***

Also Published As

Publication number Publication date
CN117593666B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN112991354B (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
CN112347888B (zh) 基于双向特征迭代融合的遥感图像场景分类方法
CN112329760B (zh) 基于空间变换网络端到端印刷体蒙古文识别翻译的方法
CN112507793A (zh) 一种超短期光伏功率预测方法
CN113221641B (zh) 基于生成对抗网络和注意力机制的视频行人重识别方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其***
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN117593666B (zh) 一种极光图像的地磁台站数据预测方法及***
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN110751209A (zh) 一种融合深度图像分类和检索的智能台风定强方法
CN112488963A (zh) 一种用于农作物病害数据的增强方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
CN116912708A (zh) 一种基于深度学习的遥感影像建筑物提取方法
CN115131313A (zh) 基于Transformer的高光谱图像变化检测方法及装置
CN117690178B (zh) 一种基于计算机视觉的人脸图像识别方法与***
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN115032602A (zh) 一种基于多尺度卷积胶囊网络的雷达目标识别方法
CN117351363A (zh) 基于Transformer的遥感影像建筑物提取方法
CN116958700A (zh) 一种基于提示工程和对比学习的图像分类方法
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN113313185B (zh) 一种基于自适应空谱特征提取的高光谱图像分类方法
CN114926691A (zh) 基于卷积神经网络的虫害智能化识别方法及***
CN114529939A (zh) 基于毫米波雷达点云聚类和深度学习的行人识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant