CN113361476B - 一种基于人工智能技术的张衡一号震前异常信号识别方法 - Google Patents
一种基于人工智能技术的张衡一号震前异常信号识别方法 Download PDFInfo
- Publication number
- CN113361476B CN113361476B CN202110753558.7A CN202110753558A CN113361476B CN 113361476 B CN113361476 B CN 113361476B CN 202110753558 A CN202110753558 A CN 202110753558A CN 113361476 B CN113361476 B CN 113361476B
- Authority
- CN
- China
- Prior art keywords
- earthquake
- model
- tree
- pruning
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 22
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 14
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 239000005433 ionosphere Substances 0.000 claims abstract description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000013526 transfer learning Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 42
- 238000013138 pruning Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000003066 decision tree Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 15
- 238000013136 deep learning model Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000009966 trimming Methods 0.000 claims 4
- 238000011156 evaluation Methods 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 7
- 244000141353 Prunus domestica Species 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000002585 base Substances 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于人工智能技术的张衡一号震前异常信号识别方法,该方法包括S1:卫星数据获取及预处理,S2:电离层地震异常识别模型建立,S3:利用迁移学习构建张衡一号多参数地震异常识别模型,S4:地震监测应用效能评价。与现有技术相比,本发明的有益效果是:将已经学到的、训练好的震前异常识别模型参数通过迁移学习,构建基于张衡一号卫星的地震异常识别新模型;最后,利用张衡一号实测数据开展地震遥感监测应用,依据应用效能评价反馈,调整模型参数、优化模型,能提取震前张衡一号卫星的异常信息。
Description
技术领域
本发明涉及卫星震前异常信号识别技术领域,具体为一种基于人工智能技术的张衡一号震前异常信号识别方法。
背景技术
2004年6月,法国发射第一颗专门用于监测地震与火山电离层扰动的卫星DEMETER,卫星在轨运行6年,为地震电离层提供了宝贵的数据资源,迄今为止,基于这颗卫星发表的文章已经超过300篇,其中针对地震异常研究的论文130余篇。我国于2018年2月成功发射了张衡一号电磁地震卫星,标志着我国成为拥有空间地球物理场探测卫星的国家之一,张衡一号电磁卫星发射至今,中国电磁卫星团队全方位开展了电磁卫星数据分析及地震应用研究,目前还没有一套完善高效的张衡一号震前异常信号识别方法。
发明内容
本发明的目的在于提供一种基于人工智能技术的张衡一号震前异常信号识别方法,以解决的问题。
为实现上述目的,本发明提供如下技术方案:包括S1:卫星数据获取及预处理,S2:电离层地震异常识别模型建立,S3:利用迁移学习构建张衡一号多参数地震异常识别模型,S4:地震监测应用效能评价;
S1步骤:选取能够反映各圈层地震前电离层异常变化的法国DEMETER电磁卫星和张衡一号卫星参数,所述卫星参数包括运行轨迹和卫星数据,空间范围为全球,每个地震选取的数据初始时间长度为震前15天到震后5天,初始空间范围为距离震中Dobrovolsky距离R范围内,其中R=100.43M,另外选取全球范围、时空均匀分布的非震事件,即模拟地震,选取数据的时间、空间范围与真实地震一致,利用滑动时间窗分别获取电子密度、电子温度的原始时间序列,并利用深度学习网络自动学习特征,初始研究的滑动窗长度,即连续数据点的长度,设置为20,形成非重叠的时序滑动窗数据,剔除任一数据对应磁情指数Kp大于3.0的滑动窗;
S2步骤:经过步骤S1的数据预处理后,基于CNN-BiLSTM深度学***行特征,采用由多个记忆模块构成的BiLSTM模型对长距离依赖特征进行特征提取,序列学习,每个模块由两个细胞的拓扑结构构成;最后通过全连接层和Softmax分类器获得分类结果,在此基础上,删除CNN-BiLSTM模型的最后两层,提取模型学习到的电离层多参数地震与非震特征,利用IBPT分类器模型,最终区分地震与非震特征;
S3步骤:对张衡一号卫星的多参数时序特征样本切分训练集和测试集,同样按照地震发生的时间顺序,前80%地震对应的样本数据作为训练集,后20%作为测试集,在此基础上,将已经学到的、训练好的基于DEMETER电磁卫星样本的CNN-BiLSTM深度学习模型参数,以及IBPT分类器模型参数迁移到张衡一号电磁卫星电离层多参数,形成新的分类模型,最后,利用得到的权重参数初始化其余网络层的参数,并通过调整损失函数、优化器函数等模型参数来来修正和提高模型准确率,构建新的地震异常识别模型;
S4步骤,基于步骤S3构建的模型,利用在轨运行的张衡一号卫星实时观测数据,开展地震遥感监测应用,用实际震例验证模型,依据应用评价反馈,进而调节模型参数、优化模型,迭代反复进行,项目利用训练集训练模型,通过贝叶斯超参数优化方法构造一个后验分布的函数,需符合高斯过程,使得优化算法更加确定参数空间中哪些区域值得探索,哪些区域不值得探索,最后寻找使得模型在验证数据集上表现性能最佳的超参数组合,建立模型,开展地震监测应用,依据应用评价优化模型。
与现有技术相比,本发明的有益效果是:将已经学到的、训练好的震前异常识别模型参数通过迁移学习,构建基于张衡一号卫星的地震异常识别新模型;最后,利用张衡一号实测数据开展地震遥感监测应用,依据应用效能评价反馈,调整模型参数、优化模型,能提取震前张衡一号卫星的异常信息。
附图说明
图1为地震异常识别深度学习模型架构图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
(1)法国DEMETER电磁卫星和张衡一号卫星数据获取及预处理:
首先,项目结合前人的研究成果以及申请人研究基础,主要选取能够反映各圈层地震前电离层异常变化的法国DEMETER电磁卫星和张衡一号卫星参数,各参量的时空分辨参见下表。
其次,依据法国DEMETER电磁卫星和张衡一号卫星的在轨运行周期,各参数时间选取范围均为2005年到2010年全部法国DEMETER电磁卫星在轨运行数据、以及2019年到2020年张衡一号卫星数据,空间范围为全球。依据申请人前期研究基础,6.0级以上地震的多圈层、多参数异常变化较为明显,结合项目研究的时间范围,项目拟研究1280个全球6.0级以上地震。结合前人的研究成果,每个地震选取的数据初始时间长度为震前15天到震后5天,初始空间范围为距离震中Dobrovolsky距离R范围内,其中R=100.43M。考虑非震异常的影响,项目避开选取的真实地震前后30天及震中500公里范围。另外选取全球范围、时空均匀分布的非震事件,即模拟地震,选取的初始数量为1280个,选取数据的时间、空间范围与真实地震一致。
在此基础上,因选取的电离层多参数(电子密度、电子温度)容易受到载荷交叉干扰等因素的影响而产生误差,项目利用滑动时间窗分别获取电子密度、电子温度的原始时间序列,并利用深度学习网络自动学习特征,避免手动提取特征,能够为地震与非震的识别提供更高精确度。初始研究的滑动窗长度,即连续数据点的长度,设置为20,形成非重叠的时序滑动窗数据。此外,因为磁暴等空间环境对电离圈层参数影响较大,项目剔除任一数据对应磁情指数Kp大于3.0的滑动窗。
(2)电离层地震异常识别模型建立:
经过以上数据预处理后,项目基于CNN-BiLSTM深度学习网络建立DEMETER卫星电离层多参数地震异常识别模型,提取模型学习的地震与非震特征;最后,基于IBPT分类器构建地震异常识别深度学习模型。
项目对2005年到2010年法国DEMETER电磁卫星的电离层多参数时序特征样本进行训练建模,按照地震发生的时间顺序,前80%地震对应的样本数据作为训练集,后20%的地震对应的样本数据作为测试集。
首先,项目利用CNN-BiLSTM深度学***行特征;然后为了解决各属性特征点的前、后特征对该属性特征点的影响,采用由多个记忆模块构成的BiLSTM模型(双向长短时记忆层,初始层数为3)对长距离依赖特征进行特征提取,序列学习,每个模块由两个细胞的拓扑结构构成;最后通过全连接层和Softmax分类器获得分类结果,提高了准确率,降低了***误报率。
CNN-BiLSTM模型结构主要由预处理层、卷积层、Bi-LSTM层和softmax层组成。
卷积层的主要作用是卷积层对Vs进行卷积操作,根据公式(1)产生新的特征
其中,f为ReLU函数:对于记录Vs中的记录的具体特征Vi进行卷机操作,为提取更加全面的局部特征,设置d个不同的卷积核大小W分别对Vi进行特征提取,Wd表示卷积核大小为d;bd为偏置;
当特定卷积核大小完成Vs中的所有特征都卷积之后,输出特征为Hd公式如式(2):
将所有卷积核大小的卷积操作得到的特征Hd进行叠加,得特征序列
池化层的主要作用是对特征序列Hs进行池化操作,具体采用平均池化的方法,具体过程如公式(3)所示:
预先给定一个块数M,将Hd划分成M个小块,将每个小块中的平均值进行拼接,由此得到一个特征向量pdm,长度为M,对全部模块的平均值进行拼接得到 是第mi块平均池化后得到的向量。
BiLSTM层的作用是为了捕获长距离依赖特征,将Ps输入到BiLSTM模型中,该模型由两个方向上的LSTM模块连接而成,具有多个共享权值;
在每个时间步上,BiLSTM模块的输出将由遗忘门(ft)、输入门(it)、输出门(ot)和一个细胞状态更新共同进行控制,每个门都由前一模块的输出bt-1和当前时刻的输入pt表示,三个门共同工作来完成对属性信息的选择、遗忘和细胞状态的更新;
在时间步t上,用BiLSTM模块的正向部分对pt进行特征提取,公式如公式(4):
在时间步t上,用BiLSTM模块的反向部分对进行特征提取,公式如公式(5):
其中,σ是siogmod激活函数;tanh为双曲正切函数;*为元素乘运算,it是对输入信息进行选择操作,对信息的输入过程进行控制,ft是对前一模块需要被遗忘的信息进行遗忘操作,对信息遗忘过程进行控制,ct用来判断哪些信息应该存储到当前细胞状态,完成对信息的存储进行控制,ot则是输出门对输出信息进行选择,对输出的信息进行控制;
在时间步t上,BiLSTM层最终输出的特征向量Pt为:
Pt=[正向LSTM,反向LSTM] (6)
为了获取更加准确的分类精度,将BiLSTM的输出结果输入到全连接层,在全连接层中,处理公示如公式(7)、(8)、(9)所示:
ut=tanh(WwPt+bw) (7)
v=∑atPt (9)
其中,ut是Pt的属性表示,uw为上下文向量,at为重要性权重,v表示对Pt的进行重要性加权求和得到的高级表示,uw在训练过程中随机生成。
在此基础上,项目删除CNN-BiLSTM模型的最后两层,提取模型学习到的电离层多参数地震与非震特征。此方法是基于这样的假设:即通过分析大量地震及非震的电离圈层参数样本,训练的深度网络模型已可以辨识地震的重要特征。
最后,利用项目提出的IBPT(Inverse Boosting Pruning Trees)分类器模型,最终区分地震与非震特征。IBPT分类算法由申请人及其团队提出并将其应用于地震预测领域,取得了较好的效果。IBPT分类器的设计思路是基于传统的集成机器学习模型Adaboost,IBPT从两方面对Adaboost进行了改进:1)提出了一个加权的cost-complexity后剪枝的方法,应用所有训练样本并让决策树完全增长,然后通过计算决策树每个节点的基尼不纯度来生成一组备选的剪枝树组,之后再次利用全部的训练样本来评估每个备选剪枝树的训练误差,训练误差最小的树会被选为最终的剪枝树分类器;2)提出了一个新的boosting框架inverse boosting,为了降低某些噪声样本造成的分类干扰,在原先boosting的基础上,降低在上一颗剪枝树中分类错误样本的权重并增大分类正确的样本权重,更新完的样本权重树组会与所有训练样本进入下一次迭代并进行剪枝树生成,随后重复执行上述步骤,直到达到最大树数为止。前期的研究基础表明,利用IBPT算法(而非CNN-BiLSTM模型自身)作为分类器,能够表现出更高的分类精度。
IBPT算法如下:
3.3.1离散Adaboost:
我们的分类算法是建立在Freud等人提出的离散Adaboost算法的基础上的。算法1提出了离散Adaboost的基本方案,该方案结合了许多简单假设(称为弱学习者),为分类任务形成了强大的分类器。该算法可总结如下:(1)依次训练多个基本分类器,根据其训练误差εm分配权重值ln(βm)(2)将先前分类器分类错误的样本分配较高的权重wm+1,i,这将使分类器更加关注这些样本。(3)最后,将所有弱分类器与其权重组合以获得整体分类器G(X)。通常,Adaboost将决策转储(一个一级决策树)用作其基本估计量。但是,决策转储有时由于其结构简单(例如带有决策转储的Adaboost在复杂的数据集中表现不佳。在此,我们提出了在两个方面都优于标准Adaboost的逆向修剪树(IBPT)算法:(1)我们提高了基础分类器的拟合和泛化能力。(2)提出了一种新颖的提升结构,以减少贡献较小的数据的影响。
3.3.2逆向修剪树:
在本节中,我们提出一种集成方法,该方法将改进的Adaboost算法与修剪决策树结合在一起进行分类。在这里,由于其灵活性和易用性,我们仍将决策树用作增强的基本估算器。决策转储经常遭受拟合不足的困扰,而一棵完整的“树”具有很高的方差。我们在这里考虑修剪树以增加***通用性。在我们的算法中,我们首先应用所有训练样本并让决策树完全增长,然后修剪方法修剪树的某些分支,然后使用修改后的标准来评估***性能修剪的树木和更新的权重。之后,将重复执行上述步骤,直到达到最大树数为止。为了制定我们的算法,我们在这里预先声明使用的符号。特别地,我们将训练数据集表示为L=X1,y1,X2,y2....XN,yN在此,X_n是样本特征向量,y_n表示类别标签,N是样本数。我们使用Dm=(wm,i,wm,i+1...),m=1,2,...M,i=1,2,...,N,N来表示每次迭代中样本权重的分布。M是估计量(迭代次数),每个样本权重在归一化的第一次迭代中初始化为1/N。此外,我们使用φm和Gfinal(x)来表示第m个估算器的权重和最终分类器。
3.3.3搜索最佳修剪的树:
在Adaboost的框架中,每个样本的权重值都会迭代更新。在项目中,我们提出了一种加权成本复杂度方法来构建成本复杂度值与样本权重之间的关系。独立的样本验证或交叉验证可以帮助我们选择最佳的修剪子树。在这里,我们将V折交叉验证用于加权成本复杂度修剪,因为这种方法可以在样本规模不太大时充分利用样本信息。
3.3.4反向助推结构:
如算法1的第4步和第5步所示,Adaboost将训练误差εm用作基本估算器性能的评估标准,以设置估算器的权重并更新样本权重。但是εm不是修剪树木的一致标准。我们观察到,修剪过程中训练样本的误差εm不断增加,而当树较小时,测试样本的误差εm减小。测试样本的错误在大约150个叶节点的子树中达到最小,并在继续修剪树时开始增加。εm不是评估修剪树的性能的合适标准。实际上,当修剪后的树具有较低的训练误差时,应给予它们较高的估计权重。因此,我们现在提出一种新颖的增强结构,该结构将分类结果与相应的修剪后的树木相关联。
第一步,我们将完整的决策树拟合到训练数据L上,并对其进行修剪,以获得最佳的树形结构。接下来,我们用TEα代替εm作为评估标准,因为TEα真实反映了修剪过的树木的结果。估算器的权重可以如下更新:
当时,由于当前的估计器无法始终保持分类性能,因此我们允许迭代过程提前一点点终止。
在下一步中,我们提出一种反向增强结构来更新样品重量。在每次迭代中,我们将分类错误的样本视为“令人不安的”项目,这可能会使修剪后的分支的估计量的判断模糊,并影响决策树的泛化能力。因此,样本权重更新如下:
Dm+1=(wm+1,1,wm+1,2......wm+1,N),m=1,2,...M
在上式中,归一化因子Zm为:
Gm(Xi)是修剪后的树Gm的Xi预测值,yi代表样本Xi的真实性,并且I(Gm(Xi),yi)定义为:
错误分类的样本的权重在减小,分类样本的权重在增加,这减少了“干扰”项的影响,这些项有助于在以后的迭代中对树进行重组。然后,我们使用具有更新的权重分布Dm+1的数据集L训练下一个估计量,设置估计量权重并迭代更新样本权重,以满足最大数量的估计量。最终的整体分类器将是:
所提出的算法基于逆增强修剪树,如算法2所示。
3.3.5收敛分析:
收敛是分类器的描述性特征。在本节中,我们将密切关注拟议分类方法的收敛性,这表明修剪过程是模型自适应的,特别说明相关分类规则的收敛误差严格地是单调递减的。分析还表明,可以通过在数据中添加随机噪声或使用不同的估计量来保持收敛速度。
首先,上面的公式可以如下转换:
因此,最终分类器εfinal的训练误差如下所示:
当yi≠Gfinal(Xi)时,是因为如果exp(-t)≥1if t≤0。然后,我们有以下等式:
最后,上式可以表示为:
由于规范化,其中wm+1,i是更新的权重,∑i wm+1,i=1根据柯西-施瓦兹不等式,我们有:
训练误差εfinal的上限可描述为:
可以看出,当Zm>1时,训练误差εfinal的上限严格单调递减。正如我们上面讨论的,∑i wm,i=1假设Zm>1,我们有:
其中wr代表分类样品的重量,ww是分类错误的样品的重量。当上式满足时,我们确保Zm>1。由于采用了逆增强结构,因此基本估算器误差必须小于0.5,并且错误分类的样本的权重会不断减小,我们使根据上面的定义,我们有/>并且exp(φm)>1。因此,上式始终成立,我们可以验证Zm>1这表明我们提出的方法的训练误差随着估计数m的增加而严格单调减小,最终误差收敛到全局最小值。
(3)利用迁移学习构建张衡一号多参数地震异常识别模型:
首先,项目对2019年到2020年张衡一号卫星的多参数时序特征样本切分训练集和测试集,同样按照地震发生的时间顺序,前80%地震对应的样本数据作为训练集,后20%作为测试集。
在此基础上,将已经学到的、训练好的基于DEMETER电磁卫星样本的CNN-BiLSTM深度学习模型参数,以及IBPT分类器模型参数(也可理解为模型学到的知识)迁移到张衡一号电磁卫星电离层多参数,形成新的分类模型。
最后,利用得到的权重参数初始化其余网络层的参数,并通过调整损失函数、优化器函数等模型参数来来修正和提高模型准确率,构建新的地震异常识别模型。
(4)地震监测应用效能评价:
基于(3)构建的模型,利用在轨运行的张衡一号卫星实时观测数据,开展地震遥感监测应用,用实际震例验证模型,依据应用评价反馈,进而调节模型参数、优化模型,迭代反复进行。
项目利用训练集训练模型,通过贝叶斯超参数优化方法构造一个后验分布的函数,需符合高斯过程,使得优化算法更加确定参数空间中哪些区域值得探索,哪些区域不值得探索,最后寻找使得模型在验证数据集上表现性能最佳的超参数组合,建立模型,开展地震监测应用,依据应用评价优化模型。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:包括S1:卫星数据获取及预处理,S2:电离层地震异常识别模型建立,S3:利用迁移学习构建张衡一号多参数地震异常识别模型,S4:地震监测应用效能评价;
S1步骤:选取能够反映各圈层地震前电离层异常变化的法国DEMETER电磁卫星和张衡一号卫星参数,所述卫星参数包括运行轨迹和卫星数据,空间范围为全球,每个地震选取的数据初始时间长度为震前15天到震后5天,初始空间范围为距离震中Dobrovolsky距离R范围内,其中R=100.43M,另外选取全球范围、时空均匀分布的非震事件,即模拟地震,选取数据的时间、空间范围与真实地震一致,利用滑动时间窗分别获取电子密度、电子温度的原始时间序列,并利用深度学习网络自动学习特征,初始研究的滑动窗长度,即连续数据点的长度,设置为20,形成非重叠的时序滑动窗数据,剔除任一数据对应磁情指数Kp大于3.0的滑动窗;
S2步骤:经过步骤S1的数据预处理后,基于CNN-BiLSTM深度学***行特征,采用由多个记忆模块构成的BiLSTM模型对长距离依赖特征进行特征提取,序列学习,每个模块由两个细胞的拓扑结构构成;最后通过全连接层和Softmax分类器获得分类结果,在此基础上,删除CNN-BiLSTM模型的最后两层,提取模型学习到的电离层多参数地震与非震特征,利用IBPT分类器模型,最终区分地震与非震特征;
S3步骤:对张衡一号卫星的多参数时序特征样本切分训练集和测试集,同样按照地震发生的时间顺序,前80%地震对应的样本数据作为训练集,后20%作为测试集,在此基础上,将已经学到的、训练好的基于DEMETER电磁卫星样本的CNN-BiLSTM深度学习模型参数,以及IBPT分类器模型参数迁移到张衡一号电磁卫星电离层多参数,形成新的分类模型,最后,利用得到的权重参数初始化其余网络层的参数,并通过调整损失函数、优化器函数等模型参数来来修正和提高模型准确率,构建新的地震异常识别模型;
S4步骤,基于步骤S3构建的模型,利用在轨运行的张衡一号卫星实时观测数据,开展地震遥感监测应用,用实际震例验证模型,依据应用评价反馈,进而调节模型参数、优化模型,迭代反复进行,项目利用训练集训练模型,通过贝叶斯超参数优化方法构造一个后验分布的函数,需符合高斯过程,使得优化算法更加确定参数空间中哪些区域值得探索,哪些区域不值得探索,最后寻找使得模型在验证数据集上表现性能最佳的超参数组合,建立模型,开展地震监测应用,依据应用评价优化模型。
2.根据权利要求1所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:所述CNN-BiLSTM模型结构主要由预处理层、卷积层、Bi-LSTM层和softmax层组成;
卷积层的主要作用是卷积层对Vs进行卷积操作,根据公式(1)产生新的特征
其中,f为ReLU函数:对于记录Vs中的记录的具体特征Vi进行卷机操作,为提取更加全面的局部特征,设置d个不同的卷积核大小W分别对Vi进行特征提取,Wd表示卷积核大小为d;bd为偏置;
当特定卷积核大小完成Vs中的所有特征都卷积之后,输出特征为Hd公式如式(2):
将所有卷积核大小的卷积操作得到的特征Hd进行叠加,得特征序列
池化层的主要作用是对特征序列Hs进行池化操作,具体采用平均池化的方法,具体过程如公式(3)所示:
预先给定一个块数M,将Hd划分成M个小块,将每个小块中的平均值进行拼接,由此得到一个特征向量pdm,长度为M,对全部模块的平均值进行拼接得到 是第mi块平均池化后得到的向量;
BiLSTM层的作用是为了捕获长距离依赖特征,将Ps输入到BiLSTM模型中,该模型由两个方向上的LSTM模块连接而成,具有多个共享权值;
在每个时间步上,BiLSTM模块的输出将由遗忘门(ft)、输入门(it)、输出门(ot)和一个细胞状态更新共同进行控制,每个门都由前一模块的输出bt-1和当前时刻的输入pt表示,三个门共同工作来完成对属性信息的选择、遗忘和细胞状态的更新;
在时间步t上,用BiLSTM模块的正向部分对pt进行特征提取,公式如公式(4):
在时间步t上,用BiLSTM模块的反向部分对进行特征提取,公式如公式(5):
其中,σ是siogmod激活函数;tanh为双曲正切函数;*为元素乘运算,it是对输入信息进行选择操作,对信息的输入过程进行控制,ft是对前一模块需要被遗忘的信息进行遗忘操作,对信息遗忘过程进行控制,ct用来判断哪些信息应该存储到当前细胞状态,完成对信息的存储进行控制,ot则是输出门对输出信息进行选择,对输出的信息进行控制;
在时间步t上,BiLSTM层最终输出的特征向量Pt为:
Pt=[正向LSTM,反向LSTM] (6)
为了获取更加准确的分类精度,将BiLSTM的输出结果输入到全连接层,在全连接层中,处理公示如公式(7)、(8)、(9)所示
ut=tanh(WwPt+bw) (7)
v=∑atPt (9)
其中,ut是Pt的属性表示,uw为上下文向量,at为重要性权重,v表示对Pt的进行重要性加权求和得到的高级表示,uw在训练过程中随机生成。
3.根据权利要求2所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:BiLSTM模型包括双向长短时记忆层,初始层数为3。
4.根据权利要求1所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:CNN网络层包括一维卷积层和池化层,初始层数为3。
5.根据权利要求1所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:地震选取的数据初始空间范围不包括真实地震前后30天及震中500公里范围。
6.根据权利要求1所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:该方法使用了Inverse Boosting Pruning Trees(IBPT)算法处理和分析地震和非震事件特征,算法包括:依次训练多个基本分类器,并根据各分类器的训练误差分配权重值;此外,将先前分类器分类错误的样本分配较高的权重;最后,将所有弱分类器与其权重组合以获得整体分类器;IBPT算法是一种改进的Adaboost方法,它具有以下两大优点:一是采用加权的cost-complexity后剪枝方法,首先利用所有训练样本让决策树完全增长,然后通过计算决策树每个节点的基尼不纯度生成一组备选的剪枝树组;再次利用全部的训练样本评估每个备选剪枝树的训练误差,选择训练误差最小的树作为最终的剪枝树分类器;二是采用新的boosting框架inverse boosting,为降低某些噪声样本造成的分类干扰,降低在上一颗剪枝树中分类错误样本的权重并增大分类正确的样本权重;更新完的样本权重树组会与所有训练样本进入下一次迭代并进行剪枝树生成,重复此步骤直至达到最大树数。
7.根据权利要求6所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:所述逆向修剪树(IBPT)算法是指将将改进的Adaboost算法与修剪决策树结合在一起进行分类,将训练数据集表示为L=X1,y1,X2,y2....XN,yN在此,Xn是样本特征向量,yn表示类别标签,N是样本数,使用Dm=(wm,i,wm,i+1...),m=1,2,...M,i=1,2,...,N,N来表示每次迭代中样本权重的分布,M表示迭代次数,每个样本权重在归一化的第一次迭代中初始化为1/N,此外,使用φm和Gfinal(x)来表示第m个估算器的权重和最终分类器。
8.根据权利要求7所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:所述IBPT算法还包括搜索最佳修剪的树,独立的样本验证或交叉验证可以帮助选择最佳的修剪子树,将V折交叉验证用于加权成本复杂度修剪,将原始学习样本集L随机分为V个子集Lv,v=1,...,V,每个子集的训练集为L(v)=L-Lv,树Tmax来自原始集合L,在每个子集Lv上构建完整的树;提出了决策树的成本函数,如下所示:
是树叶编号,C表示类别编号,类别c的样本定义为ic,决策树的成本是所有叶子节点的基尼系数的总和;完整树的gini索引为零,因为每个叶节点仅包含一个类的样本;但是,在修剪过程中,将修剪后的节点的样本与其父节点合并后的基尼Gini({T},{w})会增加;因此,Gini({T},{w})并不是选择子树的好方法,因为它总是偏爱大型树;因此,惩罚项,正则化参数α和树叶/>被添加到成本函数;新的成本函数定义如下:
Rα(T)=Gini({T},{w})+α·|T|
当α为常数且时,惩罚项倾向于使用较小的树;随修剪而减少;
现在,成本函数的变化由Rα(T-Tt)-Rα(T)给出,其中T是完整树,Tt表示节点在t处的分支,而在节点t处修剪的树将为T-Tt;接下来,通过将Rα(T-Tt)等于节点t上分支的成本来计算内部节点上的修剪成本:
其中,
当α≥g(t)时,将通过成本函数值的减小来修剪分支Tt;修剪顺序从设置α=argmin g(t)开始,以找到应该修剪的分支,并且将重复该过程,直到树只剩下根节点为止;这提供了具有相关的成本复杂度参数α的一系列子树
对于α,将修剪的子树应用于预测第v个测试集中的估计,从而导致以下错误率:
其中imiss表示错误分类的样本权重的指标,是测试集Lv的样本权重,而/>代表集Lv的错误分类率;因此,v的平均错误分类率为:
同时,定义α*=argminαTEα,并通过修剪Tmax直到达到最小值,获得最佳修剪树。
9.根据权利要求8所述的一种基于人工智能技术的张衡一号震前异常信号识别方法,其特征在于:所述IBPT算法还包括反向助推结构,将原始学习样本集L随机分为V个子集Lv,v=1,...,V,每个子集的训练集为L(v)=L-Lv,树Tmax来自原始集合L,在每个子集Lv上构建完整的树;提出了决策树的成本函数,如下所示:
是树叶编号,C表示类别编号,类别c的样本定义为ic,决策树的成本是所有叶子节点的基尼系数的总和;完整树的gini索引为零,因为每个叶节点仅包含一个类的样本;但是,在修剪过程中,将修剪后的节点的样本与其父节点合并后的基尼Gini({T},{w})会增加;因此,Gini({T},{w})并不是选择子树的好方法,因为它总是偏爱大型树;因此,惩罚项,正则化参数α和树叶/>被添加到成本函数;新的成本函数定义如下:
Rα(T)=Gini({T},{w})+α·|T|
当α为常数且时,惩罚项倾向于使用较小的树;随修剪而减少
现在,成本函数的变化由Rα(T-Tt)-Rα(T)给出,其中T是完整树,Tt表示节点在t处的分支,而在节点t处修剪的树将为T-Tt;接下来,通过将Rα(T-Tt)等于节点t上分支的成本来计算内部节点上的修剪成本:
其中,
当α≥g(t)时,将通过成本函数值的减小来修剪分支Tt;修剪顺序从设置α=argmin g(t)开始,以找到应该修剪的分支,并且将重复该过程,直到树只剩下根节点为止;这提供了具有相关的成本复杂度参数α的一系列子树
对于α,将修剪的子树应用于预测第v个测试集中的估计,从而导致以下错误率:
其中imiss表示错误分类的样本权重的指标,是测试集Lv的样本权重,而/>代表集Lv的错误分类率;因此,v的平均错误分类率为:
同时,定义α*=argminαTEα,并通过修剪Tmax直到达到最小值,获得最佳修剪树。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110753558.7A CN113361476B (zh) | 2021-07-02 | 2021-07-02 | 一种基于人工智能技术的张衡一号震前异常信号识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110753558.7A CN113361476B (zh) | 2021-07-02 | 2021-07-02 | 一种基于人工智能技术的张衡一号震前异常信号识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361476A CN113361476A (zh) | 2021-09-07 |
CN113361476B true CN113361476B (zh) | 2023-07-25 |
Family
ID=77538057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110753558.7A Active CN113361476B (zh) | 2021-07-02 | 2021-07-02 | 一种基于人工智能技术的张衡一号震前异常信号识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361476B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104407376A (zh) * | 2014-11-21 | 2015-03-11 | *** | 一种地震预测*** |
CN105093273A (zh) * | 2015-07-31 | 2015-11-25 | 黄坚 | 张衡地动仪内部结构及测振原理 |
JP2018081065A (ja) * | 2016-11-20 | 2018-05-24 | みらい地震予測株式会社 | 地震予報システム及び予報方法 |
CN110068857A (zh) * | 2019-04-02 | 2019-07-30 | 吉林大学 | 基于主成分分析的Swarm双星磁场数据地震前兆异常提取方法 |
CN110320549A (zh) * | 2019-05-17 | 2019-10-11 | 上海金光柔生物科技有限公司 | 基于激光测距与激光干涉的地震前兆监测方法与*** |
CN110907984A (zh) * | 2019-11-21 | 2020-03-24 | 中国地震局地震预测研究所 | 一种基于自回归移动平均模型的震前红外长波辐射异常信息探测方法 |
CN111797573A (zh) * | 2020-07-13 | 2020-10-20 | 中国地震局地震预测研究所 | 一种基于深度学习技术的电离层电子浓度总含量时序预测方法 |
CN111814699A (zh) * | 2020-07-13 | 2020-10-23 | 中国地震局地震预测研究所 | 一种面向swarm电磁卫星数据的深度学习地震预测方法 |
CN112633227A (zh) * | 2020-12-30 | 2021-04-09 | 应急管理部国家自然灾害防治研究院 | 张衡一号感应磁力仪数据闪电哨声波自动识别方法及*** |
-
2021
- 2021-07-02 CN CN202110753558.7A patent/CN113361476B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104407376A (zh) * | 2014-11-21 | 2015-03-11 | *** | 一种地震预测*** |
CN105093273A (zh) * | 2015-07-31 | 2015-11-25 | 黄坚 | 张衡地动仪内部结构及测振原理 |
JP2018081065A (ja) * | 2016-11-20 | 2018-05-24 | みらい地震予測株式会社 | 地震予報システム及び予報方法 |
CN110068857A (zh) * | 2019-04-02 | 2019-07-30 | 吉林大学 | 基于主成分分析的Swarm双星磁场数据地震前兆异常提取方法 |
CN110320549A (zh) * | 2019-05-17 | 2019-10-11 | 上海金光柔生物科技有限公司 | 基于激光测距与激光干涉的地震前兆监测方法与*** |
CN110907984A (zh) * | 2019-11-21 | 2020-03-24 | 中国地震局地震预测研究所 | 一种基于自回归移动平均模型的震前红外长波辐射异常信息探测方法 |
CN111797573A (zh) * | 2020-07-13 | 2020-10-20 | 中国地震局地震预测研究所 | 一种基于深度学习技术的电离层电子浓度总含量时序预测方法 |
CN111814699A (zh) * | 2020-07-13 | 2020-10-23 | 中国地震局地震预测研究所 | 一种面向swarm电磁卫星数据的深度学习地震预测方法 |
CN112633227A (zh) * | 2020-12-30 | 2021-04-09 | 应急管理部国家自然灾害防治研究院 | 张衡一号感应磁力仪数据闪电哨声波自动识别方法及*** |
Non-Patent Citations (1)
Title |
---|
张学民 等."2020年新疆于田6.4级地震前电离层扰动现象分析".《地震》.2021,第145-155页. * |
Also Published As
Publication number | Publication date |
---|---|
CN113361476A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112163426B (zh) | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 | |
CN109508655B (zh) | 基于孪生网络的不完备训练集的sar目标识别方法 | |
CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
US10019629B2 (en) | Skeleton-based action detection using recurrent neural network | |
CN108596327B (zh) | 一种基于深度学习的地震速度谱人工智能拾取方法 | |
CN106407649B (zh) | 基于时间递归神经网络的微震信号到时自动拾取方法 | |
CN111582610A (zh) | 基于卷积神经网络对家庭能量分解的预测方法 | |
CN113392931B (zh) | 基于自监督学习及多任务学习的高光谱开放集分类方法 | |
CN111160268A (zh) | 一种基于多任务学习的多角度sar目标识别方法 | |
CN108447057A (zh) | 基于显著性和深度卷积网络的sar图像变化检测方法 | |
CN114548591B (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及*** | |
CN117236390A (zh) | 一种基于交叉注意力扩散模型的储层预测方法 | |
CN113408699A (zh) | 基于改进的径向基函数神经网络的岩性识别方法及*** | |
CN112257847A (zh) | 一种基于CNN和LSTM预测地磁Kp指数的方法 | |
Ristanto et al. | Machine learning applied to multiphase production problems | |
CN115620068A (zh) | 一种深度学习模式下的岩石岩性自动识别分类方法 | |
Mustika et al. | Comparison of keras optimizers for earthquake signal classification based on deep neural networks | |
CN117524353B (zh) | 一种基于多维度分子信息的分子大模型、构建方法及应用 | |
Lei et al. | Convolutional recurrent neural networks based waveform classification in seismic facies analysis | |
CN113988415A (zh) | 一种中长期电力负荷预测方法 | |
CN103559510B (zh) | 一种利用相关主题模型识别社会群体行为的方法 | |
CN113361476B (zh) | 一种基于人工智能技术的张衡一号震前异常信号识别方法 | |
CN115048873B (zh) | 一种用于飞机发动机的剩余使用寿命预测*** | |
Juda et al. | An attempt to boost posterior population expansion using fast machine learning algorithms | |
CN114896479B (zh) | 一种在线学习方法、***及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |