CN112488146A - 基于深度学习的飞机危险识别与趋势预测方法 - Google Patents

基于深度学习的飞机危险识别与趋势预测方法 Download PDF

Info

Publication number
CN112488146A
CN112488146A CN202011102018.4A CN202011102018A CN112488146A CN 112488146 A CN112488146 A CN 112488146A CN 202011102018 A CN202011102018 A CN 202011102018A CN 112488146 A CN112488146 A CN 112488146A
Authority
CN
China
Prior art keywords
data
parameter
svm
value
trend prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011102018.4A
Other languages
English (en)
Inventor
周迪
庄笑
左洪福
蔡景
黄艳
闫洪胜
王涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011102018.4A priority Critical patent/CN112488146A/zh
Publication of CN112488146A publication Critical patent/CN112488146A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Development Economics (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种基于深度学习的飞机危险识别与趋势预测方法。首先，利用飞机通信寻址与报告***以报文的形式收集飞机运行状态信息；然后，利用结合交叉验证的递归特征消除方法(RFECV)进行关键参数筛选；随后，利用粒子群算法优化过的支持向量机模型(PSO‑SVM)进行危险识别；最后，利用长短时记忆(LSTM)趋势预测模型对粒子群算法优化过的支持向量机模型(PSO‑SVM)危险识别模型判断为不存在危险的飞机进行关键参数趋势预测，基于预测结果判断飞机是否存在潜在危险。本发明提出的方法有效提高了危险识别和趋势预测的准确率，能够实时获取危险识别和趋势预测结果。本发明对民用飞机风险管理具有重要的理论和应用价值。

Description

基于深度学习的飞机危险识别与趋势预测方法
技术领域
本发明涉及深度学习方法在民航风险管理领域的应用，具体涉及基于深度学习的飞机危险识别与趋势预测方法。
背景技术
中国民航总局(CAAC)在《航空运营人安全管理体系要求》(AC-121/135-FS-2008-26)中指出，危险识别是整个风险管理过程的基础，准确有效的危险识别能够提高风险分析和评估的准确性，减少安全事故的发生。从历史上看，危险识别的过程是被动的，通常以事故调查的形式在事故发生后实施。而国际民用航空组织(ICAO)在安全管理体系(SMS)文件中指出，危险的识别应该是积极且具有前瞻性的。国际民航组织建议，应在危险尚未造成严重后果以及未出现明显危险前兆时主动发现潜在危险。本发明提出的方法在提高了危险识别的准确性的同时，通过趋势预测实现了主动的危险识别。
深度学习亦称深度机器学习、深度结构学习、分层学习，是一类有效训练深层神经网络的机器学习算法，可用于对数据进行高层抽象建模。深层神经网络能够从大量的复杂数据中学习到合适且有效的特征。这些特征在解决实际问题时常常能够取得极佳的效果，从而使得深度学习受到学术界和工业界的普遍青睐。在航空领域，深度学习算法已经被成熟应用于剩余寿命预测，发动机振动预测，飞机着陆速度预测方面。关于深度学习应用于实际风险危险识别和趋势预测方面的研究还是鲜有报道。本发明在此基础上提出一种基于深度学习的危险识别和趋势预测方法，利用深度学习良好的特征自学习特性对民机可能存在的危险进行识别和预测，提高民机安全性。
发明内容
本发明提出一种基于深度学习的飞机危险识别与趋势预测方法，有效提高了危险识别和趋势预测的准确率，能够实时获取危险识别和趋势预测结果。
本发明采用如下技术方案：
基于深度学习的飞机危险识别与趋势预测方法，包括以下步骤：
(1)数据收集：通过飞机通信寻址与报告***收集历史报文数据；
(2)关键参数筛选：利用结合交叉验证的递归特征消除方法(RFECV)对历史报文数据进行关键参数缩减，以支持向量机模型(SVM)危险识别模型的识别准确率作为评判标准，确定最优的参数数目及最优的参数组合；
(3)数据提取：根据步骤(2)的关键参数筛选结果，从收集到的历史报文数据中提取最优参数组合对应的数据；
(4)SVM危险识别模型的构建：建立二分类SVM危险识别模型来判断飞机是否存在危险，通过确定每个类中最近样本的距离最大化的超平面来实现对SVM危险识别模型的分类；
(5)SVM危险识别模型的训练与优化：利用粒子群算法(PSO)对SVM危险识别模型进行参数优化，得到粒子群算法优化过的支持向量机模型(PSO-SVM)危险识别模型；
(6)PSO-SVM危险识别模型测试：将步骤(3)中经过数据提取得到的测试数据输入至步骤(5)所得的PSO-SVM危险识别模型中，得到PSO-SVM危险识别模型的测试结果；
(7)长短时记忆(LSTM)趋势预测模型的构建；
(8)LSTM趋势预测模型的训练：利用滑动时间窗口方法对步骤(3)中数据做进一步处理，并将其分为训练数据和测试数据。利用反向传播算法对LSTM趋势预测模型进行反向训练，得到训练过的LSTM趋势预测模型；
(9)LSTM趋势预测模型测试：将步骤(8)中的测试数据输入至步骤(8)中训练过的LSTM趋势预测模型中，得到LSTM趋势预测模型的测试结果；
(10)基于LSTM趋势预测模型的测试结果判断飞机是否存在潜在危险。
进一步的，步骤(2)具体如下：
(2.1)：设初始参数组合为S0＝[f1,f2,…,fp]，初始参数排名分数为R＝[]，其中fp为历史报文数据中的参数，输入样本为X＝[x1,x2,…,xn]，相应的标签为Y＝[y1,y2,…,yn]；
(2.2)：以参数组合Sc训练SVM危险识别模型，其中c为循环次数，利用k折交叉验证方法计算参数组合Sc对应的识别准确率；
(2.3)：根据公式
Figure BDA0002725698640000021
计算参数组合Sc中每个参数的排名分数，其中H(i,j)＝yiyjK(xi,xj)，K(xi,xj)是SVM的核函数，H(i,j,-k)是去除第k个参数后的H(i,j)值，xi,xj∈X为步骤(2.1)中输入样本，yi,yj∈Y为步骤(2.1)中输入样本xi,xj对应的标签值，λi，λj是拉格朗日乘数，N为输入样本个数；
(2.4)：标记得分最低的参数e＝argminRJ(k)；
(2.5)：更新排名分数
Figure BDA0002725698640000031
其中Rold为上一次循环产生的参数排名分数，Rnew为根据步骤(2.4)的结果更新的参数排名分数；
(2.6)：在参数组合Sc中去除得分最低的参数，得到新的参数组合Sc+1＝Sc-[fe]；
(2.7)：重复步骤(2.2)至步骤(2.6)，循环至参数组合Sc为空值；
(2.8)：输出最终得到的参数排名分数Rnew，以及每个参数组合对应的识别准确率；综合参数的排名分数以及参数组合的识别准确率结果，得到最优的参数数目及最优的参数组合。
进一步的，步所述骤(4)中超平面的计算公式为：w·φ(xi)+b＝0，其中，w和b是SVM危险识别模型的参数，φ表示可以线性分离输入数据xi的高维空间映射函数。
进一步的，所述步骤具体如下：
(5.1)：初始化PSO算法，PSO粒子群中有m个粒子，设SVM危险识别模型的两个重要参数的初始值为c0和g0，优化过程最大迭代次数为K，初始值作为PSO算法的初始输入，SVM危险识别模型的识别准确率作PSO算法的适应度；
(5.2)：计算每个粒子当前的适应度值
Figure BDA0002725698640000032
其中i表示第i个粒子，k表示第k次迭代；
(5.3)：每个粒子的历史最优适应度值为个体最优值Pbest，将每个粒子当前的适应度值
Figure BDA0002725698640000033
与Pbest进行比较，如果当前的适应度值
Figure BDA0002725698640000034
优于个体最优值Pbest，则将Pbest更新为当前的适应度值
Figure BDA0002725698640000035
否则，保持个体最优值Pbest不变；
(5.4)：粒子群的最优值为全局最优值Gbest，将粒子群中最大的个体最优值Pbest设置为最新的全局最优值Gbest；
(5.5)：更新每个粒子的速度向量
Figure BDA0002725698640000036
和位置向量
Figure BDA0002725698640000037
其中，w为非负惯性因子，
Figure BDA0002725698640000038
是第i个粒子在第k次迭代的速度向量，c1和c2是学习因子，r1和r2是0到1范围内的随机数，
Figure BDA0002725698640000039
是第i个粒子在第k次迭代的位置向量，
Figure BDA00027256986400000310
是第i个粒子在第k次迭代的最优位置，
Figure BDA00027256986400000311
是粒子群在第k次迭代的最优位置；
(5.6)：重复步骤(5.2)至步骤(5.5)直至达到最大迭代次数或最小误差，输出最后的全局最优值Gbest。
进一步的，所述步骤(7)中LSTM趋势预测模型包括l层隐含层，每层包含的隐含节点数为nl，选用的时间窗口大小为Stw。
进一步的，所述步骤(8)具体如下：
(8.1)：利用滑动时间窗口法对步骤(3)中的数据进行处理，选用的时间窗口大小为Stw，第1至Stw个时间点的数据作为第一组输入数据，第Stw+1个时间点的参数值作为第一组数据对应的输出值；向后滑动一个时间点，第2至Stw+1个时间点的数据作为第二组输入数据，第Stw+2个时间点的参数值作为第二组数据对应的输出值，以此类推最终得到N组数据；
(8.2)：将N组数据划分为N1组训练数据和N2组测试数据；
(8.3)：将步骤(8.2)中的训练数据输入至LSTM趋势预测模型，前向计算LSTM的每个神经元在预测时间点t的两个输出，分别为当前隐藏单元输出值
Figure BDA0002725698640000041
和用于保存长时间状态的记忆状态单元输出值
Figure BDA0002725698640000042
其中ot＝σ(Wo·[ht-1,xt]+bo)为输出门函数，ft＝σ(Wf·[ht-1,xt]+bf)为遗忘门函数，it＝σ(Wi·[ht-1,xt]+bi)为输入门函数，
Figure BDA0002725698640000043
为当前输入值的记忆状态单元值，ct-1为上一时间点的记忆状态单元值，σ为sigmoid函数，Wo和bo是输出门函数的权重矩阵和偏差，Wf和bf是遗忘门函数的权重矩阵和偏差，Wi和bi是输入门函数的权重矩阵和偏差，Wc和bc是记忆单元的权重矩阵和偏差，
Figure BDA0002725698640000044
表示两个向量的向量积；
(8.4)：计算每个神经元的误差项，根据步骤(8.3)计算得到的输出，利用时间反向传播法对LSTM进行反向训练，在时间t，时间反向传播法在l层通过两个方向传递误差值，一个方向是将其传递到上层网络以获得
Figure BDA0002725698640000045
另一个方向是将其沿时间轴传递到初始时间t＝1以获得
Figure BDA0002725698640000046
其中，
Figure BDA0002725698640000047
是时间t时第l层中神经元的加权输入，
Figure BDA0002725698640000048
Figure BDA0002725698640000049
和
Figure BDA00027256986400000410
分别代表o，f，i和
Figure BDA00027256986400000411
在时间t沿时间轴反向传播的误差，T为转秩操作；
(8.5)：利用梯度下降算法更新权重，根据以下公式计算权重矩阵和偏差的梯度；
Figure BDA0002725698640000051
Figure BDA0002725698640000052
Figure BDA0002725698640000053
Figure BDA0002725698640000054
Figure BDA0002725698640000055
Figure BDA0002725698640000056
Figure BDA0002725698640000057
Figure BDA0002725698640000058
Figure BDA0002725698640000059
Figure BDA00027256986400000510
Figure BDA00027256986400000511
Figure BDA00027256986400000512
(8.6)：重复步骤(8.3)至步骤(8.5)，直至达到最小误差值或最大迭代次数，得到训练过的LSTM趋势预测模型。
与现有技术相比，本发明具有如下有益效果：
本发明提出一种基于深度学习的危险识别和趋势预测方法，利用深度学习良好的特征自学习特性对民机可能存在的危险进行识别和预测，本发明提出的方法在提高了危险识别的准确性的同时，通过趋势预测实现了主动的危险识别。
附图说明
图1为实施例中步骤(1)所收集的报文的格式；
图2为实施例中步骤(2)所得参数排名结果；
图3为实施例中步骤(2)所得参数组合识别准确率；
图4为实施例中步骤(5)所得SVM危险识别模型优化迭代过程；
图5为实施例中步骤(6)所得PSO-SVM危险识别模型测试结果；
图6为实施例中步骤(9)所得LSTM趋势预测模型测试结果。
具体实施方式
本发明提出一种基于深度学习的飞机危险识别与趋势预测方法，包括以下步骤：
(1)数据收集。首先，通过飞机通信寻址与报告***收集历史报文数据，报文的格式如图1所示，其中共涉及20个参数。20个参数中，部分参数在始终保持常量，部分参数为控制信号，这些参数都不能代表***状态。因此，被人工剔除。最后，剩余9个有效参数。
(2)关键参数筛选。利用RFECV对报文数据进行关键参数缩减，以SVM危险识别模型的识别准确率作为评判标准，最终确定最优的参数数目为4个，最优的参数组合为EGTA,P2A,STA和OT。
(3)数据提取。根据步骤(2)的关键参数筛选结果，从收集到的报文数据中提取最优参数组合对应的数据。
(4)SVM危险识别模型的构建。建立二分类SVM危险识别模型判断飞机是否存在危险。通过确定每个类中最近样本的距离最大化的超平面w·φ(xi)+b＝0来对SVM危险识别模型实现分类，其中，w和b是SVM危险识别模型的参数，φ表示可以线性分离输入数据xi的高维空间映射函数。
(5)SVM危险识别模型的训练与优化。SVM危险识别模型的训练与优化是寻找使识别准确率最高的参数c和g的过程，利用PSO算法对SVM危险识别模型进行参数优化，最终得到使识别准确率最高的参数c＝63和g＝53，对应的十折交叉验证后的SVM识别准确率为90.99％。
(6)PSO-SVM危险识别模型测试。将步骤(3)中得到的测试数据输入至步骤(5)所得的PSO-SVM危险识别模型中，得到PSO-SVM危险识别模型的测试结果，测试结果如图5所示。
(7)LSTM趋势预测模型的构建。采用的LSTM趋势预测模型包含l＝2层隐含层，每层包含的隐含节点数为n1＝60，n2＝15，选用的时间窗口大小为Stw＝30。
(8)LSTM趋势预测模型的训练。通过滑动时间窗口发对步骤(3)中得到的数据进行数据预处理，并将其分为N1＝605训练数据和N2＝70测试数据。为步骤(2)中保留的四个参数分别训练相应的LSTM趋势预测模型，每个参数的LSTM趋势预测模型训练过程相同，利用反向传播算法对LSTM趋势预测模型进行反向训练，得到训练过的LSTM趋势预测模型。
(9)LSTM趋势预测模型测试，将步骤(8)中四个参数的测试数据分别输入至步骤(8)中训练过的LSTM趋势预测模型中，得到LSTM趋势预测模型的测试结果，测试结果如图6所示。
(10)基于LSTM趋势预测模型的测试结果判断飞机是否存在潜在危险。
进一步的，步骤(2)所述关键参数筛选，步骤如下：
(2.1)：设初始参数组合为S0＝[f1,f2,…,fp]＝[EGTA,P2A,LCIT,PT,OTA,STA,EGTP,NPA,OT]，初始参数排名分数为R＝[]，其中fp为历史报文数据中的参数，输入样本为X＝[x1,x2,…,xn]，相应的标签为Y＝[y1,y2,…,yn]。
(2.2)：以参数组合Sc训练SVM危险识别模型，其中c为循环次数，利用k折交叉验证方法计算参数组合Sc对应的识别准确率；
(2.3)：根据公式
Figure BDA0002725698640000071
计算每个参数的排列分数，其中H(i,j)＝yiyjK(xi,xj)，K(xi,xj)是SVM的核函数，H(i,j,-k)是去除第k个参数后的H(i,j)值。
(2.4)：标记得分最低的参数e＝argminRJ(k)。
(2.5)：更新排名分数
Figure BDA0002725698640000072
其中Rold为上一次循环产生的参数排名分数，Rnew为根据步骤(2.4)的结果更新的参数排名分数。
(2.6)：在参数组合Sc中去除得分最低的参数，得到新的参数组合Sc+1＝Sc-[fe]；
(2.7)：重复步骤(2.2)至步骤(2.6)直至参数组合Sc为空值。
(2.8)：输出最终得到的参数排名分数Rnew，以及每个参数组合对应的识别准确率。综合参数的排名分数以及参数组合的识别准确率结果，得到最优的参数数目及最优参数组合。最终得到的参数的排名如图2所示；参数组合的识别准确率结果如图3所示。
进一步的，步骤(5)所述SVM危险识别模型的训练与优化，步骤如下：
(5.1)：初始化PSO算法，PSO粒子群中有m＝30个粒子，优化算法最大迭代次数设置为200，随机生成SVM危险识别模型的两个重要参数的初始值为c0＝100和g0＝50，初始值作为PSO算法的初始输入，SVM危险识别模型的识别准确率作PSO算法的适应度。
(5.2)：计算为每个粒子的适应度值
Figure BDA0002725698640000081
其中i表示第i个粒子，k表示第k次迭代。
(5.3)：每个粒子的历史最优适应度值为个体最优值Pbest。将每个粒子当前的适应度值
Figure BDA0002725698640000082
与Pbest进行比较。如果当前的适应度值
Figure BDA0002725698640000083
优于个体最优值Pbest，则将Pbest更新为当前的适应度值
Figure BDA0002725698640000084
否则，保持个体最优值Pbest不变。
(5.4)：粒子群的最优值为全局最优值Gbest。将粒子群中最大的个体最优值Pbest设置为最新的全局最优值Gbest。
(5.5)：更新每个粒子的速度向量
Figure BDA0002725698640000085
和位置向量
Figure BDA0002725698640000086
其中，w为非负惯性因子，
Figure BDA0002725698640000087
是第i个粒子在第k次迭代的速度向量，c1和c2是学习因子，r1和r2是0到1范围内的随机数，
Figure BDA0002725698640000088
是第i个粒子在第k次迭代的位置向量，
Figure BDA0002725698640000089
是第i个粒子在第k次迭代的最优位置，
Figure BDA00027256986400000810
是粒子群在第k次迭代的最优位置。
(5.6)：重复步骤(5.2)至步骤(5.5)直至达到最大迭代次数或最小误差，SVM危险识别模型优化迭代过程如图4所示。输出最后的全局最优值Gbest＝(63，53)。
进一步的，步骤(8)所述LSTM趋势预测模型的训练，步骤如下：
(8.1)：利用滑动时间窗口法对步骤(3)中经过数据提取得到的数据进行处理，选用的时间窗口大小为Stw＝30，第1至Stw＝30个时间点的数据作为第一组输入数据，第Stw+1＝31个时间点的参数值作为第一组数据对应的输出值；向后滑动一个时间点，第2至Stw+1＝31个时间点的数据作为第二组输入数据，第Stw+2＝32个时间点的参数值作为第二组数据对应的输出值，以此类推最终得到N＝675组数据。
(8.2)：将n组数据划分为N1＝605组训练数据和N2＝70组测试数据，训练过程最大迭代次数为150。
(8.3)：将步骤(8.2)中的训练数据输入至LSTM趋势预测模型，前向计算LSTM的每个神经元在预测时间点t的两个输出，分别为当前隐藏单元输出值
Figure BDA0002725698640000091
和用于保存长时间状态的记忆状态单元输出值
Figure BDA0002725698640000092
其中ot＝σ(Wo·[ht-1,xt]+bo)为输出门函数，ft＝σ(Wf·[ht-1,xt]+bf)为遗忘门函数，it＝σ(Wi·[ht-1,xt]+bi)为输入门函数，
Figure BDA0002725698640000093
为当前输入值的记忆状态单元值，ct-1为上一时间点的记忆状态单元值，σ为sigmoid函数，Wo和bo是输出门函数的权重矩阵和偏差，Wf和bf是遗忘门函数的权重矩阵和偏差，Wi和bi是输入门函数的权重矩阵和偏差，Wc和bc是记忆单元的权重矩阵和偏差，
Figure BDA0002725698640000094
表示两个向量的向量积。
(8.4)：计算每个神经元的误差项，根据步骤(8.3)计算得到的输出，利用时间反向传播法对LSTM进行反向训练。在时间t，时间反向传播法在l层通过两个方向传递误差值。一个方向是将其传递到上层网络以获得
Figure BDA0002725698640000095
另一个方向是将其沿时间轴传递到初始时间t＝1以获得
Figure BDA0002725698640000096
其中，
Figure BDA0002725698640000097
是时间t时第l层中神经元的加权输入，
Figure BDA0002725698640000098
Figure BDA0002725698640000099
和
Figure BDA00027256986400000910
分别代表o，f，i和
Figure BDA00027256986400000911
在时间t沿时间轴反向传播的误差,T为转秩操作。
(8.5)：利用梯度下降算法更新权重，根据以下公式计算权重矩阵和偏差的梯度。
Figure BDA00027256986400000912
Figure BDA00027256986400000913
Figure BDA00027256986400000914
Figure BDA00027256986400000915
Figure BDA0002725698640000101
Figure BDA0002725698640000102
Figure BDA0002725698640000103
Figure BDA0002725698640000104
Figure BDA0002725698640000105
Figure BDA0002725698640000106
Figure BDA0002725698640000107
Figure BDA0002725698640000108
(8.6)：重复步骤(8.3)至步骤(8.5)，直至达到最小误差值或最大迭代次数，得到训练过的LSTM趋势预测模型。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以做出若干改进，这些改进也应视为本发明的保护范围。

Claims (6)

1.基于深度学习的飞机危险识别与趋势预测方法，其特征在于，包括以下步骤：
(1)数据收集：通过飞机通信寻址与报告***收集历史报文数据；
(2)关键参数筛选：利用RFECV对历史报文数据进行关键参数缩减，以SVM危险识别模型的识别准确率作为评判标准，确定最优的参数数目及最优的参数组合；
(3)数据提取：根据步骤(2)的关键参数筛选结果，从收集到的历史报文数据中提取最优参数组合对应的数据；
(4)SVM危险识别模型的构建：建立二分类SVM危险识别模型来判断飞机是否存在危险，通过确定每个类中最近样本的距离最大化的超平面来实现对SVM危险识别模型的分类；
(5)SVM危险识别模型的训练与优化：利用PSO算法对SVM危险识别模型进行参数优化，得到PSO-SVM危险识别模型；
(6)PSO-SVM危险识别模型测试：将步骤(3)中经过数据提取得到的测试数据输入至步骤(5)所得的PSO-SVM危险识别模型中，得到PSO-SVM危险识别模型的测试结果；
(7)LSTM趋势预测模型的构建；
(8)LSTM趋势预测模型的训练：利用滑动时间窗口方法对步骤(3)中数据做进一步处理，并将其分为训练数据和测试数据，利用反向传播算法对LSTM趋势预测模型进行反向训练，得到训练过的LSTM趋势预测模型；
(9)LSTM趋势预测模型测试：将步骤(8)中经过数据处理得到的测试数据输入至步骤(8)中训练过的LSTM趋势预测模型中，得到LSTM趋势预测模型的测试结果；
(10)基于LSTM趋势预测模型的测试结果判断飞机是否存在潜在危险。
2.根据权利要求1所述的基于深度学习的飞机危险识别与趋势预测方法，其特征在于，所述步骤(2)具体如下：
(2.1)：设初始参数组合为S0＝[f1,f2,…,fp]，初始参数排名分数为R＝[]，其中fp为历史报文数据中的参数，输入样本为X＝[x1,x2,…,xn]，相应的标签为Y＝[y1,y2,…,yn]；
(2.2)：以参数组合Sc训练SVM危险识别模型，其中c为循环次数，利用k折交叉验证方法计算参数组合Sc对应的识别准确率；
(2.3)：根据公式
Figure FDA0002725698630000011
计算参数组合Sc中每个参数的排名分数，其中H(i,j)＝yiyjK(xi,xj)，K(xi,xj)是SVM的核函数，H(i,j,-k)是去除第k个参数后的H(i,j)值，xi,xj∈X为步骤(2.1)中输入样本，yi,yj∈Y为步骤(2.1)中输入样本xi,xj对应的标签值，λi，λj是拉格朗日乘数，N为输入样本个数；
(2.4)：标记得分最低的参数e＝argminRJ(k)；
(2.5)：更新排名分数
Figure FDA0002725698630000028
其中Rold为上一次循环产生的参数排名分数，Rnew为根据步骤(2.4)的结果更新的参数排名分数；
(2.6)：在参数组合Sc中去除得分最低的参数，得到新的参数组合Sc+1＝Sc-[fe]；
(2.7)：重复步骤(2.2)至步骤(2.6)，循环至参数组合Sc为空值；
(2.8)：输出最终得到的参数排名分数Rnew，以及每个参数组合对应的识别准确率；综合参数的排名分数以及参数组合的识别准确率结果，得到最优的参数数目及最优的参数组合。
3.根据权利要求1所述的基于深度学***面的表达式为：w·φ(xi)+b＝0，其中，w和b是SVM危险识别模型的参数，φ表示可以线性分离输入数据xi的高维空间映射函数。
4.根据权利要求1所述的基于深度学习的飞机危险识别与预测方法，其特征在于，所述步骤(5)具体如下：
(5.1)：初始化PSO算法，PSO粒子群中有m个粒子，设SVM危险识别模型的两个重要参数的初始值为c0和g0，优化过程最大迭代次数为K，初始值作为PSO算法的初始输入，SVM危险识别模型的识别准确率作PSO算法的适应度；
(5.2)：计算每个粒子当前的适应度值
Figure FDA0002725698630000021
其中i表示第i个粒子，k表示第k次迭代；
(5.3)：每个粒子的历史最优适应度值为个体最优值Pbest，将每个粒子当前的适应度值
Figure FDA0002725698630000022
与Pbest进行比较，如果当前的适应度值
Figure FDA0002725698630000023
优于个体最优值Pbest，则将Pbest更新为当前的适应度值
Figure FDA0002725698630000024
否则，保持个体最优值Pbest不变；
(5.4)：粒子群的最优值为全局最优值Gbest，将粒子群中最大的个体最优值Pbest设置为最新的全局最优值Gbest；
(5.5)：更新每个粒子的速度向量
Figure FDA0002725698630000025
和位置向量
Figure FDA0002725698630000026
其中，w为非负惯性因子，
Figure FDA0002725698630000027
是第i个粒子在第k次迭代的速度向量，c1和c2是学习因子，r1和r2是0到1范围内的随机数，
Figure FDA0002725698630000031
是第i个粒子在第k次迭代的位置向量，
Figure FDA0002725698630000032
是第i个粒子在第k次迭代的最优位置，
Figure FDA0002725698630000033
是粒子群在第k次迭代的最优位置；
(5.6)：重复步骤(5.2)至步骤(5.5)直至达到最大迭代次数或最小误差，输出最后的全局最优值Gbest。
5.根据权利要求1所述的基于深度学习的飞机危险识别与趋势预测方法，其特征在于，所述步骤(7)中LSTM趋势预测模型包括l层隐含层，每层包含的隐含节点数为nl，选用的时间窗口大小为Stw。
6.根据权利要求1所述的基于深度学习的飞机危险识别与趋势预测方法，其特征在于，所述步骤(8)具体如下：
(8.1)：利用滑动时间窗口法对步骤(3)中经过数据提取得到的数据进行处理，选用的时间窗口大小为Stw，第1至Stw个时间点的数据作为第一组输入数据，第Stw+1个时间点的参数值作为第一组数据对应的输出值；向后滑动一个时间点，第2至Stw+1个时间点的数据作为第二组输入数据，第Stw+2个时间点的参数值作为第二组数据对应的输出值，以此类推最终得到N组数据；
(8.2)：将N组数据划分为N1组训练数据和N2组测试数据；
(8.3)：将步骤(8.2)中的训练数据输入至LSTM趋势预测模型，前向计算LSTM的每个神经元在预测时间点t的两个输出，分别为当前隐藏单元输出值
Figure FDA0002725698630000034
和用于保存长时间状态的记忆状态单元输出值
Figure FDA0002725698630000035
其中ot＝σ(Wo·[ht-1,xt]+bo)为输出门函数，ft＝σ(Wf·[ht-1,xt]+bf)为遗忘门函数，it＝σ(Wi·[ht-1,xt]+bi)为输入门函数，
Figure FDA0002725698630000036
为当前输入值的记忆状态单元值，ct-1为上一时间点的记忆状态单元值，σ为sigmoid函数，Wo和bo是输出门函数的权重矩阵和偏差，Wf和bf是遗忘门函数的权重矩阵和偏差，Wi和bi是输入门函数的权重矩阵和偏差，Wc和bc是记忆单元的权重矩阵和偏差，
Figure FDA0002725698630000037
表示两个向量的向量积；
(8.4)：计算每个神经元的误差项，根据步骤(8.3)计算得到的输出，利用时间反向传播法对LSTM进行反向训练，在时间t，时间反向传播法在l层通过两个方向传递误差值，一个方向是将其传递到上层网络以获得
Figure FDA0002725698630000038
另一个方向是将其沿时间轴传递到初始时间t＝1以获得
Figure FDA0002725698630000041
其中，
Figure FDA0002725698630000042
是时间t时第l层中神经元的加权输入，
Figure FDA0002725698630000043
Figure FDA0002725698630000044
和
Figure FDA0002725698630000045
分别代表o，f，i和
Figure FDA0002725698630000046
在时间t沿时间轴反向传播的误差,T为转秩操作；
(8.5)：利用梯度下降算法更新权重，根据以下公式计算权重矩阵和偏差的梯度；
Figure FDA0002725698630000047
Figure FDA0002725698630000048
Figure FDA0002725698630000049
Figure FDA00027256986300000410
Figure FDA00027256986300000411
Figure FDA00027256986300000412
Figure FDA00027256986300000413
Figure FDA00027256986300000414
Figure FDA00027256986300000415
Figure FDA00027256986300000416
Figure FDA0002725698630000051
Figure FDA0002725698630000052
(8.6)：重复步骤(8.3)至步骤(8.5)，直至达到最小误差值或最大迭代次数，得到训练过的LSTM趋势预测模型。
CN202011102018.4A 2020-10-15 2020-10-15 基于深度学习的飞机危险识别与趋势预测方法 Pending CN112488146A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011102018.4A CN112488146A (zh) 2020-10-15 2020-10-15 基于深度学习的飞机危险识别与趋势预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011102018.4A CN112488146A (zh) 2020-10-15 2020-10-15 基于深度学习的飞机危险识别与趋势预测方法

Publications (1)

Publication Number Publication Date
CN112488146A true CN112488146A (zh) 2021-03-12

Family

ID=74926109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011102018.4A Pending CN112488146A (zh) 2020-10-15 2020-10-15 基于深度学习的飞机危险识别与趋势预测方法

Country Status (1)

Country Link
CN (1) CN112488146A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990706A (zh) * 2021-03-15 2021-06-18 上海应用技术大学 危化品仓储环境风险预警方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990706A (zh) * 2021-03-15 2021-06-18 上海应用技术大学 危化品仓储环境风险预警方法

Similar Documents

Publication Publication Date Title
Li et al. Applying various algorithms for species distribution modelling
CN115060497B (zh) 基于ceemd能量熵和优化pnn的轴承故障诊断方法
CN104966105A (zh) 一种鲁棒机器错误检索方法与***
CN110442143B (zh) 一种基于组合多目标鸽群优化的无人机态势数据聚类方法
CN108879732B (zh) 电力***暂态稳定评估方法及装置
Zhao et al. An incremental clustering method for anomaly detection in flight data
CN110082738B (zh) 基于高斯混合和张量循环神经网络的雷达目标识别方法
CN113159264B (zh) 一种入侵检测方法、***、设备及可读存储介质
CN106681305A (zh) 一种Fast RVM污水处理在线故障诊断方法
CN115828140A (zh) 邻域互信息与随机森林相融合故障检测方法、***及应用
CN111680875A (zh) 基于概率基线模型的无人机状态风险模糊综合评价方法
CN113657814B (zh) 一种航空网络风险预测方法及风险等级评估方法
CN115564114A (zh) 一种基于图神经网络的空域碳排放短期预测方法及***
Inyang et al. Fuzzy clustering of students' data repository for at-risks students identification and monitoring
CN113887342A (zh) 基于多源信号和深度学习的设备故障诊断方法
CN115659244A (zh) 故障预测方法、装置及存储介质
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及***
CN112488146A (zh) 基于深度学习的飞机危险识别与趋势预测方法
CN112330114A (zh) 基于混合深度神经网络的飞机危险识别方法
CN107704952A (zh) 一种基于随机子空间的恐怖袭击预测方法
CN117312790A (zh) 电压互感器误差预测方法、装置、设备及可读存储介质
CN115907079B (zh) 一种基于注意力时空图卷积网络的空域交通流量预测方法
CN108830407B (zh) 多工况条件下结构健康监测中的传感器分布优化方法
CN115083511A (zh) 基于图表示学习与注意力的***基因调控特征提取方法
CN112651577B (zh) 一种基于融合时空数据的隧道形变预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination