CN114626012A - 多尺度注意力机制的gnss序列预测方法及*** - Google Patents

多尺度注意力机制的gnss序列预测方法及*** Download PDF

Info

Publication number
CN114626012A
CN114626012A CN202210186738.6A CN202210186738A CN114626012A CN 114626012 A CN114626012 A CN 114626012A CN 202210186738 A CN202210186738 A CN 202210186738A CN 114626012 A CN114626012 A CN 114626012A
Authority
CN
China
Prior art keywords
scale
weight
result
network
gnss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210186738.6A
Other languages
English (en)
Inventor
李昭
王健
姜卫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210186738.6A priority Critical patent/CN114626012A/zh
Publication of CN114626012A publication Critical patent/CN114626012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/35—Constructional details or hardware or software details of the signal processing chain
    • G01S19/37—Hardware or software details of the signal processing chain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Algebra (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种多尺度注意力机制的GNSS序列预测方法及***，包括获取GNSS台站坐标时间序列观测值，按照统一量纲排序；采用不同尺度的滑动窗口构建多尺度滑动窗口，构建新的子序列集；注意力机制网络构建，搭建多个注意力网络模型，对每个子序列集分为训练集和测试集，对每一个注意力网络训练和优化；多模型预测，用每个注意力网络预测，最终加权得到最终的预测结果。本发明首次将多尺度滑动窗口与注意力机制网络结合应用于GNSS时间序列预测中，能够有效地提高GNSS台站序列预测的准确率。

Description

多尺度注意力机制的GNSS序列预测方法及***
技术领域
本发明属于卫星导航技术领域，具体涉及一种多尺度注意力机制的GNSS序列预测方法及***。
背景技术
全球卫星导航定位***(Global Navigation Satellite System,GNSS)是重要的空间基础设施，因其成本较低且便捷实用，在大坝或桥梁变形监测、区域或全球坐标框架维持、地壳板块运动监测中有着广泛的应用。
连续不断累积的GNSS观测数据通过GAMIT、GIPSY、Bernese、PANDA等专业软件解算后，可以得到高精度的测站坐标时间序列。GNSS坐标时间序列包含了丰富的信息，其中既包含了可以通过地球物理效应解释的运动趋势和变化，也包含了一些难以解释未模型化的噪声或其他未知因素影响的变化。通过对时间序列的分析研究，可以获得测站的位置、速度、趋势等具有价值的数据。
随着人工智能的进一步发展，以深度学习技术为代表的最新方法为GNSS时间序列分析提供了新的参考。传统的预测分析方法主要是基于地球物理机制的理解进行建模，通过线性项、周期性和阶跃信息进行拟合。深度学习神经网络方法能够通过数据本身进行挖掘特征。注意力机制的网络主要应用于自然语言处理中，由于注意力机制网络模型复杂，算法是当下最先进模型，所以在GNSS时间序列分析和预测中研究非常少，本发明人认为充分利用注意力机制网络算法的处理序列信息优势提供了一种新的研究方式。多尺度滑动窗口优势在于能够同时处理和考虑不同的尺度信息，现有研究基本只是考虑单一尺度。本发明人将多尺度滑动窗口和注意力机制进行结合应用于GNSS台站坐标时间序列预测中，多尺度滑动窗口是计算机视觉图像处理领域，注意力机制网络是自然语言处理领域，将两方面方式充分结合，既能发挥注意力网络的数据挖掘功能，又能充分利用多尺度滑动窗口的优势，针对GNSS时间序列能进行较好的预测。
对GNSS测站的坐标时间序列进行预测研究，对于坐标框架维持、变形监测研究、地震预警分析等都具有极为深远的意义。然而当下较为常用的预测方法主要是传统的线性与周期进行拟合预测，由于台站实际情况复杂，传统的预测方法并未能很好地解决拟合问题，预测误差会进一步扩大。当数据量不足时，无法拟合出正确的曲线，无法进行预测。
因此，发展一种能够根据GNSS台站数据本身特征的预测方法，避免人为选择处理数据特征，对于科研和工业需求都具有重要的意义。
发明内容
为了解决上述技术问题，本发明提供一种能够处理GNSS测站时间序列数据，且能够有效预测GNSS时间序列的方案。
本发明所采用的技术方案包括一种多尺度注意力机制的GNSS序列预测方法，包括以下步骤：
步骤1，获取GNSS测站的坐标时间序列观测值，按照时间顺序采用统一量纲进行排列，序列为x1,x2,x3,...,xm-2,xm-1,xm，记做Xm；其中m是序列的总长度；
步骤2，设使用n个不同的单一尺度滑动窗口进行组合，形成新的子序列集Yn；单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，设当前构建新的子序列集Yp尺度为Scale，异步间隔为Step，两个窗口每次同时滑动1步，构建的数据格式如下：
Figure BDA0003523842320000021
作为新的子序列集Yp
其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′(1:scale)是输入， X′(1+step,scale+step)是预测真值；[X′(2:scale+1),X′(2+step,scale+step+1)]代表子序列集Yp的第二个训练的数据， X′(2:scale+1)是输入，X′(2+step,scale+step+1)是预测真值；…；[X′(p:scale+p-1),X′(p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X′(p:scale+p-1)是输入，X′(p+step,scale+step+p-1)是输出；X′(1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,xscale-1,xscale]的集合，其他含义如上述所示；p代表当前尺度下滑动窗口能建立的训练数据个数；
步骤3，注意力机制网络构建，构建n个注意力机制网络，单个注意力机制网络实现方式为，输入的数据通过Position Encoding输入到Encoder模块，Encoder部分包含多头注意力 Multi-Head Attention和残差神经网络Add和正则化Norm，将前述结果输入到前馈神经网络Feed Forward，然后继续残差神经网络Add和正则化Norm，最终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测试集，对每一个注意力机制网络进行训练及优化；
步骤4，多模型预测，使用n个注意力机制网络最终将得到n个结果，记第1个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为resultn，最终GNSS 序列预测结果R为每个子网络预测结果的加权值，计算公式如下：
R＝result1×weight1+result2×weight2+...+resultn×weightn
weight1+weight2+...+weightn-1+weightn＝1
其中，weight1、weight2、…、weightn-1、weightn为每个注意力网络预测结果对应的权重值。
而且，步骤2中，所述数据变换包括归一化数据操作。
而且，每个注意力网络模型采用一层或多层Encoder的网络实现。
另一方面，本发明提供一种多尺度注意力机制的GNSS序列预测***，用于实现如上所述的一种多尺度注意力机制的GNSS序列预测方法。
而且，包括以下模块，
第一模块，用于获取GNSS测站的坐标时间序列观测值，按照时间顺序采用统一量纲进行排列，序列为x1,x2,x3,...,xm-2,xm-1,xm，记做Xm；其中m是序列的总长度；
第二模块，用于将n个不同的单一尺度滑动窗口进行组合，形成新的子序列集Yn；单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，设当前构建新的子序列集Yp尺度为Scale，异步间隔为Step，两个窗口每次同时滑动1步，构建的数据格式如下：
Figure BDA0003523842320000031
即为新的子序列集Yp
其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′(1:scale)是输入， X′(1+step,scale+step)是预测真值；[X′(2:scale+1),X′(2+step,scale+step+1)]代表子序列集Yp的第二个训练的数据，X′(2:scale+1)是输入，X′(2+step,scale+step+1)是预测真值；…；[X′(p:scale+p-1),X′(p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X′(p:scale+p-1)是输入，X′(p+step,scale+step+p-1)是输出；X′(1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,xscale-1,xscale]的集合，其他含义如上述所示；p代表当前尺度下滑动窗口能建立的训练数据个数；
第三模块，用于注意力机制网络构建，构建n个注意力机制网络，单个注意力机制网络实现方式为，输入的数据通过Position Encoding输入到Encoder模块，Encoder部分包含多头注意力Multi-Head Attention和残差神经网络Add和正则化Norm，将前述结果输入到前馈神经网络Feed Forward，然后继续残差神经网络Add和正则化Norm，最终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测试集，对每一个注意力机制网络进行训练及优化；
第四模块，用于多模型预测，使用n个注意力机制网络最终将得到n个结果，记第1个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为resultn，最终GNSS序列预测结果R为每个子网络预测结果的加权值，计算公式如下：
R＝result1×weight1+result2×weight2+...+resultn×weightn
weight1+weight2+...+weightn-1+weightn＝1
其中，weight1、weight2、…、weightn-1、weightn为每个注意力网络预测结果对应的权重值。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种多尺度注意力机制的GNSS序列预测方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种多尺度注意力机制的GNSS序列预测方法。
本发明技术方案结合滑动窗口与注意力机制神经网络，滑动窗口能够有效避免数据插值问题，注意力机制能够对序列数据进行训练拟合。首先对GNSS时间序列数据构建不同尺度的滑动窗口并进行数据变换，将数据分为训练集和测试集，然后构建等数目的注意力机制神经网络，将每个网络通过训练集训练，将训练好的模型用于测试集，根据实际情况再进行调整注意力机制网络，最后将训练好的模型对台站进行预测输出。本发明可以对GNSS时间序列预测分析提供有力参考，能够有效地提高GNSS台站时间序列预测的准确率。
附图说明
图1是本发明实施例的方法流程图；
图2是本发明实施例单尺度滑动窗口示意图；
图3是本发明实施例多尺度滑动窗口示意图；
图4是本发明实施注意力网络示意图；
图5是本发明实施例中的其中一个GNSS测站的预测结果与真实值图。
具体实施方式
为了便于本专业普通技术人员理解和实施本发明，下面将结合附图及实例对本发明作进一步的详细描述，应当理解，此处所描述的实例示例仅用于说明和解释本发明，并不用于限定本发明。
参见图1，本发明实施例提供一种多尺度注意力机制的GNSS序列预测方法，通过将将多尺度滑动窗口与注意力机制网络结合实现预测，包括以下步骤：
步骤1，获取GNSS测站的坐标时间序列观测值(GNSS时间序列观测值)，按照时间顺序采用统一量纲进行排列：
x1,x2,x3,...,xm-2,xm-1,xm，记为Xm (1)
其中，m是GNSS时间序列的长度；
x1,x2,x3,...,xm-2,xm-1,xm分别为第1个、第2个、第3个、…、第m-2个、第m-1个、第m个观测值，GNSS时间序列记为Xm。
时间序列的间隔应该采用统一量纲，如以年、月、日、小时、分钟、秒等时间统一单位。
本实施例采用某单个GNSS测站1000个不间断数据为实验数据，得到GNSS时间序列如下：
x1,x2,x3,x4,x5,...,x997,x998,x999,x1000，记为X1000
步骤2，使用多尺度滑动窗口构建子序列集。
本步骤构建多尺度滑动窗口形成新的子序列集，使用n个不同的单一尺度滑动窗口进行组合，形成新的子序列集Yn。
单尺度滑动窗口构建子序列集见附图2。单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式具体为，设当前构建新的子序列集Yp尺度为Scale，异步间隔为Step，两个窗口每次同时滑动1步，构建的数据格式如下：
Figure BDA0003523842320000061
即为新的子序列集Yp
其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第1个训练的数据，X′(1:scale)是输入， X′(1+step,scale+step)是预测真值；[X′(2:scale+1),X′(2+step,scale+step+1)]代表子序列集Yp的第2个训练的数据， X′(2:scale+1)是输入，X′(2+step,scale+step+1)是预测真值；…；[X′(p:scale+p-1),X′(p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X′(p:scale+p-1)是输入，X′(p+step,scale+step+p-1)是输出；X′(1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,xscale-1,xscale]的集合，其他含义如上述所示；p代表当前尺度下滑动窗口能建立的训练数据个数；
可以理解为，滑动窗口的长度为scale，两个异步滑动窗口的异步间隔为step，其中 scale＞step，scale+step＜m，数据变换指归一化等数据操作，避免由于数据范围等影响拟合有误。
多尺度滑动窗口构建的方式见附图3。多尺度滑动窗口的核心在于将多个不同的单一尺度滑动窗口进行组合。
如原有时间序列为x1,x2,x3,...,xm-2,xm-1,xm，一共有m个数据。一共构建n个尺度滑动窗口。
第(1)个尺度的滑动窗口长度为scale1，两个异步滑动窗口的异步间隔为step，每次滑动1个单元量，构建数据格式如：
Figure BDA0003523842320000062
其中
Figure BDA0003523842320000063
分别代表第1个尺度滑动窗口的第1个输入值和对应预测真值；
Figure BDA0003523842320000064
分别代表第1个尺度滑动窗口的第2个输入值和对应的预测真值；…；
Figure BDA0003523842320000071
分别代表第1个尺度滑动窗口的第u个输入值和对应的预测真值。u代表第1个尺度滑动窗口下可以构建的子序列集的大小。
第(2)个尺度的滑动窗口长度为scale2，两个异步滑动窗口的异步间隔为step，每次滑动1个单元量，构建数据格式如：
Figure BDA0003523842320000072
其中
Figure BDA0003523842320000073
分别代表第2个尺度滑动窗口的第1个输入值和对应预测真值；
Figure BDA0003523842320000074
分别代表第2个尺度滑动窗口的第2个输入值和对应的预测真值；…；
Figure BDA0003523842320000075
分别代表第2个尺度滑动窗口的第p个输入值和对应的预测真值。p代表第2个尺度滑动窗口下可以构建的子序列集的大小。
……
第(n)个尺度的滑动窗口长度为scalen，两个异步滑动窗口的异步间隔为step，每次滑动1个单元量，构建数据格式如：
Figure BDA0003523842320000076
其中
Figure BDA0003523842320000077
分别代表第n个尺度滑动窗口的第1个输入值和对应预测真值；
Figure BDA0003523842320000078
分别代表第n个尺度滑动窗口的第2个输入值和对应的预测真值；…；
Figure BDA0003523842320000079
分别代表第n个尺度滑动窗口的第v个输入值和对应的预测真值。v代表第n个尺度滑动窗口下可以构建的子序列集的大小。
多尺度滑动窗口中，尺度总数n的取值通常是大于等于2，但取值不应过大，根据实际情况合理取值即可，n代表了能够生成的子集的数目大小。滑动窗口的scale各不相同，两个同尺度下的滑动窗口的异步间隔step都是相同的。
通过滑动窗口建立的数据，需要进行归一化等数据变换操作，避免由于数据范围过大过小导致模型有误。
应注意的是，滑动窗口可以根据实际情况调整大小，遇到间断时也只需在间断前后分别形成滑动窗口，这样可以大大避免进行插值操作，从而避免插值对数据的影响。滑动窗口的建立详见附图2,3。
本实施例一共构建3个不同尺度的滑动窗口，分别是：
①scale1两个滑动窗口为10，step长度为1；
②scale2两个滑动窗口为15，step长度为1；
③scale3两个滑动窗口为20，step长度为1；
具体子序列构建方式如下：
子序列①可以构建990个可用数据
Figure BDA0003523842320000081
子序列②可以构建985个可用数据
Figure BDA0003523842320000082
子序列③可以构建980个可用数据
Figure BDA0003523842320000083
步骤3，注意力机制网络构建；
构建n个注意力机制网络，单个注意力机制网络实现方式为，输入的数据通过位置编码 Position Encoding输入到Encoder模块，Encoder模块部分包含多头注意力Multi-Head Attention、残差神经网络Add和正则化Norm(采用Layer Norm)，将前述结果输入到前馈神经网络Feed Forward，然后继续残差神经网络Add和正则化Norm(采用Layer Norm)，最终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测试集，对每一个注意力机制网络进行训练及优化；对于一般情况，Encoder模块只需采用1层即可。(Encoder中文是“编码”；Decoder中文是“解码”；Subsequence中文是“子序列”)
图4中输入输出关系信号过程：
输入的子序列Subsequence通过位置编码Positional Encoding操作输入到编码Encoder模块；Encoder模块第一个主要步骤是将编码后的输入进行多头注意力机制Multi-Head Attention 操作，然后将此刻输出与编码后输入结合相加Add进行残差神经网络操作，进一步进行正则化操作Norm(采用Layer Norm)；Encoder模块的第二个主要步骤是将此刻正则化后的输出作为新的输入传入到前馈神经网络Feed Forward，将前馈神经网络的输出与刚刚的输入继续做相加Add残差神经网络操作，然后进行正则化操作Norm；此刻将Encoder模块的输出作为解码Decoder模块的输入，最终通过全连接神经网络Linear输出。
与现有注意力机制网络的差别：一般的注意力机制网络Decoder模块也包含注意力机制构建、残差神经网络、正则化等操作，本专利提出的注意力机制算法将Decoder模块进行简化，直接通过全连接神经网络Linear输出，简化后的算法既能保持良好的精度，又能极大地提高运算效率。
具体实施时，n的取值可根据需要预先设定。本实施例中，步骤2一共构建了3个子序列集，对应建立3个注意力机制网络，本实施例采用的注意力机制网络构建如图4所示。
参见图4，单个注意力机制网络包含位置编码Positional Encoding：
Figure BDA0003523842320000091
Figure BDA0003523842320000092
其中，pos为时间序列某个数值所处本批次输入的位置，dmodel为每个数值编码的维度大小，i为所处的编码维度。PE(pos,2i)、PE(pos,2i+1)分别是偶数位位置编码、奇数位位置编码，通常PE代表了位置编码，通过其中i的取值来计算实际PE值。
单个注意力机制网络包含多头注意力机制Multi-Head Attention:
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (7)
Figure BDA0003523842320000093
Figure BDA0003523842320000094
其中Q、K、V为输入经过简单变换后的矩阵，W为权重矩阵，dk代表变换后的新向量长度。
Q、K、V分别代表输入经过变换后的Query查询向量、Key关键向量、Value值向量；
Figure BDA0003523842320000101
代表一个头注意力操作；Concat(head1,...,headh)WO代表多头注意力操作；MultiHead(Q,K,V)中文含义为多头注意力操作。公式(9)是对公式(8)的具体操作的解释。
单个注意力机制网络包含残差神经网络Add和正则化Layer Norm，前馈神经网络Feed Forward，最后Decoder部分通过全连接神经网络Linear输出。
具体实施时，注意力机制网络可以是用户编写的程序，也可以利用当前开源框架进行搭建。
本发明对每一个注意力机制网络模型进行训练和优化，将每一个子序列数据集分为训练集和测试集，比例按照实际需求设定，通常设定为70％为训练集，30％为测试集，且有先后顺序不重合，两者相加大学应小于或等于实际可以产生的数据集大小。
设定训练次数，训练次数过大过小都会影响效果。
设定学习率，学习率根据实际情况设置，过大过小都不利于训练。
设定损失函数和优化函数，损失函数根据实际情况选定，如均方根误差，交叉熵损失函数；优化函数根据实际情况设定，如Adam、SGD等等。
设定超参，根据训练结果进行自行调整合适超参。
本实施例采用自编写代码与PyTorch框架结合搭建注意力机制网络。
本实施例将数据集70％作为训练集，后30％作为测试集，学习率设定为0.0001，损失函数采用均方误差，优化函数采用Adam优化算法。
步骤4，多模型预测。
每一个注意力网络经过训练优化后都有各自的权重矩阵，将训练好的参数进行保存，使用n个注意力机制网络最终将得到n个预测结果，记第1个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为resultn，最终GNSS序列预测结果R为每个子网络预测结果的加权值，计算公式如式(10)所示：
R＝result1×weight1+result2×weight2+...+resultn×weightn (10)
weight1+weight2+...+weightn-1+weightn＝1 (11)
其中，weight1、weight2、…、weightn-1、weightn为每个注意力网络预测结果对应的权重值，权重值相加和为1，如式(11)所示。
一般情况下，每个注意力网络如果差别不大，则每个预测结果的权重值大小设定一样，如式(12)所示：
Figure BDA0003523842320000111
加权后的预测结果即为最终的预测结果。
本实施例中一共有3个注意力网络，将训练好的模型及权重系数进行保存，使用3个网络分别预测，得到第1个网络预测结果为result1、第2个网络预测结果为result2、第3个网络预测结果为result3，设置权重系数为等比：
Figure BDA0003523842320000112
最终预测结果计算公式为：
R＝result1×weight1+result2×weight2+result3×weight3
最终预测结果如图5所示，预测值代表本发明预测结果，真实值代表真实值。图中结果直观的显示出预测结果和真是结果较为符合实际情况。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的***装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种多尺度注意力机制的GNSS序列预测***，包括以下模块，
第一模块，用于获取GNSS测站的坐标时间序列观测值，按照时间顺序采用统一量纲进行排列，序列为x1,x2,x3,...,xm-2,xm-1,xm，记做Xm；其中m是序列的总长度；
第二模块，用于将n个不同的单一尺度滑动窗口进行组合，形成新的子序列集Yn；单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，设当前构建新的子序列集Yp尺度为Scale，异步间隔为Step，两个窗口每次同时滑动1步，构建的数据格式如下：
Figure BDA0003523842320000121
即为新的子序列集Yp
其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′(1:scale)是输入， X′(1+step,scale+step)是预测真值；[X′(2:scale+1),X′(2+step,scale+step+1)]代表子序列集Yp的第二个训练的数据， X′(2:scale+1)是输入，X′(2+step,scale+step+1)是预测真值；…；[X′(p:scale+p-1),X′(p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X′(p:scale+p-1)是输入，X′(p+step,scale+step+p-1)是输出；X′(1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,xscale-1,xscale]的集合，其他含义如上述所示；p代表当前尺度下滑动窗口能建立的训练数据个数；
第三模块，用于注意力机制网络构建，构建n个注意力机制网络，单个注意力机制网络实现方式为，输入的数据通过Position Encoding输入到Encoder模块，Encoder部分包含多头注意力Multi-Head Attention和残差神经网络Add和正则化Norm(采用LayerNorm)，将前述结果输入到前馈神经网络Feed Forward，然后继续残差神经网络Add和正则化Norm(采用 Layer Norm)，最终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测试集，对每一个注意力机制网络进行训练及优化；
第四模块，用于多模型预测，使用n个注意力机制网络最终将得到n个结果，记第1个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为resultn，最终GNSS序列预测结果R为每个子网络预测结果的加权值，计算公式如下：
R＝result1×weight1+result2×weight2+...+resultn×weightn
weight1+weight2+...+weightn-1+weightn＝1
其中，weight1、weight2、…、weightn-1、weightn为每个注意力网络预测结果对应的权重值，权重值相加和为1，一般情况下每个注意力网络的权重值都相等：
Figure BDA0003523842320000122
在一些可能的实施例中，提供一种多尺度注意力机制的GNSS序列预测***，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种多尺度注意力机制的GNSS序列预测方法。
在一些可能的实施例中，提供一种多尺度注意力机制的GNSS序列预测***，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种多尺度注意力机制的GNSS序列预测方法。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种多尺度注意力机制的GNSS序列预测方法，其特征在于，包括以下步骤：
步骤1，获取GNSS测站的坐标时间序列观测值，按照时间顺序采用统一量纲进行排列，序列为x1,x2,x3,...,xm-2,xm-1,xm，记做Xm；其中m是序列的总长度；
步骤2，设使用n个不同的单一尺度滑动窗口进行组合，形成新的子序列集Yn；单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，设当前构建新的子序列集Yp尺度为Scale，异步间隔为Step，两个窗口每次同时滑动1步，构建的数据格式如下：
Figure FDA0003523842310000011
作为新的子序列集Yp
其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′(1:scale)是输入，X′(1+step,scale+step)是预测真值；[X′(2:scale+1),X′(2+step,scale+step+1)]代表子序列集Yp的第二个训练的数据，X′(2:scale+1)是输入，X′(2+step,scale+step+1)是预测真值；…；[X′(p:scale+p-1),X′(p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X′(p:scale+p-1)是输入，X′(p+step,scale+step+p-1)是输出；X′(1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,xscale-1,xscale]的集合，其他含义如上述所示；p代表当前尺度下滑动窗口能建立的训练数据个数；
步骤3，注意力机制网络构建，构建n个注意力机制网络，单个注意力机制网络实现方式为，输入的数据通过Position Encoding输入到Encoder模块，Encoder部分包含多头注意力Multi-Head Attention和残差神经网络Add和正则化Norm，将前述结果输入到前馈神经网络Feed Forward，然后继续残差神经网络Add和正则化Norm，最终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测试集，对每一个注意力机制网络进行训练及优化；
步骤4，多模型预测，使用n个注意力机制网络最终将得到n个结果，记第1个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为resultn，最终GNSS序列预测结果R为每个子网络预测结果的加权值，计算公式如下：
R＝result1×weight1+result2×weight2+...+resultn×weightn
weight1+weight2+...+weightn-1+weightn＝1
其中，weight1、weight2、…、weightn-1、weightn为每个注意力网络预测结果对应的权重值。
2.根据权利要求1所述多尺度注意力机制的GNSS序列预测方法，其特征在于：步骤2中，所述数据变换包括归一化数据操作。
3.根据权利要求1或2所述多尺度注意力机制的GNSS序列预测方法，其特征在于：每个注意力网络模型采用一层或多层Encoder的网络实现。
4.一种多尺度注意力机制的GNSS序列预测***，其特征在于：用于实现如权利要求1-3任一项所述的一种多尺度注意力机制的GNSS序列预测方法。
5.根据权利要求4所述多尺度注意力机制的GNSS序列预测***，其特征在于：包括以下模块，
第一模块，用于获取GNSS测站的坐标时间序列观测值，按照时间顺序采用统一量纲进行排列，序列为x1,x2,x3,...,xm-2,xm-1,xm，记做Xm；其中m是序列的总长度；
第二模块，用于将n个不同的单一尺度滑动窗口进行组合，形成新的子序列集Yn；单一尺度滑动窗口构建方式是采用两个同样大小的滑动窗口异步同时形成，构建方式为，设当前构建新的子序列集Yp尺度为Scale，异步间隔为Step，两个窗口每次同时滑动1步，构建的数据格式如下：
Figure FDA0003523842310000021
即为新的子序列集Yp
其中，[X′(1:scale),X′(1+step,scale+step)]代表子序列集Yp的第一个训练的数据，X′(1:scale)是输入，X′(1+step,scale+step)是预测真值；[X′(2:scale+1),X′(2+step,scale+step+1)]代表子序列集Yp的第二个训练的数据，X′(2:scale+1)是输入，X′(2+step,scale+step+1)是预测真值；…；[X′(p:scale+p-1),X′(p+step,scale+step+p-1)]代表子序列集Yp的第p个训练的数据，X′(p:scale+p-1)是输入，X′(p+step,scale+step+p-1)是输出；X′(1:scale)代表从原始数据中取得[x1,x2,x3,...,xscale-2,xscale-1,xscale]的集合，其他含义如上述所示；p代表当前尺度下滑动窗口能建立的训练数据个数；
第三模块，用于注意力机制网络构建，构建n个注意力机制网络，单个注意力机制网络实现方式为，输入的数据通过Position Encoding输入到Encoder模块，Encoder部分包含多头注意力Multi-Head Attention和残差神经网络Add和正则化Norm，将前述结果输入到前馈神经网络Feed Forward，然后继续残差神经网络Add和正则化Norm，最终Decoder部分通过全连接神经网络Linear输出；将对应的输入子序列集分为训练集和测试集，对每一个注意力机制网络进行训练及优化；
第四模块，用于多模型预测，使用n个注意力机制网络最终将得到n个结果，记第1个网络预测结果为result1、第2个网络预测结果为result2、…、第n个网络预测结果为resultn，最终GNSS序列预测结果R为每个子网络预测结果的加权值，计算公式如下：
R＝result1×weight1+result2×weight2+...+resultn×weightn
weight1+weight2+...+weightn-1+weightn＝1
其中，weight1、weight2、…、weightn-1、weightn为每个注意力网络预测结果对应的权重值。
6.根据权利要求4所述多尺度注意力机制的GNSS序列预测***，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-3任一项所述的一种多尺度注意力机制的GNSS序列预测方法。
7.根据权利要求4所述多尺度注意力机制的GNSS序列预测***，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-3任一项所述的一种多尺度注意力机制的GNSS序列预测方法。
CN202210186738.6A 2022-02-28 2022-02-28 多尺度注意力机制的gnss序列预测方法及*** Pending CN114626012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210186738.6A CN114626012A (zh) 2022-02-28 2022-02-28 多尺度注意力机制的gnss序列预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210186738.6A CN114626012A (zh) 2022-02-28 2022-02-28 多尺度注意力机制的gnss序列预测方法及***

Publications (1)

Publication Number Publication Date
CN114626012A true CN114626012A (zh) 2022-06-14

Family

ID=81900137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210186738.6A Pending CN114626012A (zh) 2022-02-28 2022-02-28 多尺度注意力机制的gnss序列预测方法及***

Country Status (1)

Country Link
CN (1) CN114626012A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117388872A (zh) * 2023-09-05 2024-01-12 武汉大学 一种北斗地基增强***参考站坐标框架维持方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117388872A (zh) * 2023-09-05 2024-01-12 武汉大学 一种北斗地基增强***参考站坐标框架维持方法和***
CN117388872B (zh) * 2023-09-05 2024-03-19 武汉大学 一种北斗地基增强***参考站坐标框架维持方法和***

Similar Documents

Publication Publication Date Title
CN109241536B (zh) 一种基于深度学习自注意力机制的句子排序方法
CN114611792B (zh) 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法
CN110083125B (zh) 一种基于深度学习的机床热误差建模方法
US20230367999A1 (en) Multi-parameter accurate prediction method and system for three-dimensional time-space sequence of seawater quality
CN113359212B (zh) 一种基于深度学习的储层特征预测方法及模型
CN115146700B (zh) 一种基于Transformer序列到序列模型的径流预测方法
CN116822920B (zh) 一种基于循环神经网络的流程预测方法
CN114626012A (zh) 多尺度注意力机制的gnss序列预测方法及***
CN115630742A (zh) 一种基于自监督预训练的天气预测方法及***
CN117153294B (zh) 一种单一体系的分子生成方法
CN116107279A (zh) 基于注意力深度神经网络的流程工业能耗多目标优化方法
CN115827335A (zh) 基于模态交叉方法的时序数据缺失插补***以及插补方法
CN116596033A (zh) 一种基于窗口注意力和生成器的Transformer臭氧浓度预测方法
CN114841072A (zh) 一种基于差分融合Transformer的时序预测方法
CN113484882B (zh) 多尺度滑动窗口lstm的gnss序列预测方法及***
CN116596150A (zh) 基于多分支自注意力的Transformer霍克斯过程模型的事件预测方法
CN116465623A (zh) 一种基于稀疏Transformer的齿轮箱寿命预测方法
CN113609766B (zh) 一种基于深度概率潜隐模型的软测量方法
CN117576910A (zh) 一种基于循环时空注意力机制的交通流量预测方法
CN117852686A (zh) 基于多元自编码器的电力负荷预测方法
CN117313201A (zh) 考虑堆石坝多测点复杂关联性时空融合的变形预测方法及***
CN115587625A (zh) 一种在特征空间内进行多维时序数据建模的神经网络方法及装置
CN114021469B (zh) 一种基于混合序列网络进行一段炉过程监测的方法
CN115860045A (zh) 一种基于时间点标签的多维时序数据神经网络建模方法及装置
KR102610897B1 (ko) 타임 시퀀스 특징 스크리닝 인코딩 모듈 기반의 멀티패스인간-기계 대화 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination