CN106096728B - 一种基于深层极限学习机的危险源识别方法 - Google Patents
一种基于深层极限学习机的危险源识别方法 Download PDFInfo
- Publication number
- CN106096728B CN106096728B CN201610393646.XA CN201610393646A CN106096728B CN 106096728 B CN106096728 B CN 106096728B CN 201610393646 A CN201610393646 A CN 201610393646A CN 106096728 B CN106096728 B CN 106096728B
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- hidden layer
- deep
- network module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开一种基于深层极限学习机的危险源识别方法,该方法采用的深层神经网络由深层结构模块和单隐藏层神经网络模块两部分组成,包括如下步骤:利用SVM将危险源信息划分到不同的领域分类中,并将不同的领域分类集输入到相应的网络模块中;对每个网络模块使用S‑ELM算法,得到各深层网络的预识别结果;将深层网络预识别结果组合作为顶层神经网络的输入;根据ELM算法和激励函数,计算单隐藏层ELM的初始隐层输出和输出权重;根据改进的反向传播算法,确定网络的最终输入权重,隐藏层特征空间和输出权重;最终得到危险源识别结果。此种识别方法可提高危险源识别的灵活性,减少经验数据的急剧膨胀,提高对经验知识的利用率,缓解高维数据训练时的内存压力。
Description
技术领域
本发明属于信息感知与识别技术领域,特别涉及一种基于深层极限学习机的危险源识别方法。
背景技术
随着民航事业的迅猛发展,空中交通安全管理压力骤增。快速准确地发现空管***中的危险源,并准确地对危险源进行控制,对提高空管安全有着重要的作用。
现阶段危险源识别技术大体分为3种类型。第一种是人工分析法,这种方式主要依靠经验知识,结合航空局提供的相关分析方法进行分析,但是不能将人力解放出来去解决更加复杂的问题。第二种方法是计算机辅助法,通过计算机构建***模型辅助人工分析或实现相关方法的分析过程,这样减少了人力的消耗,但是不能充分利用现有的经验知识。第三种方法是以专家***为代表的智能化危险源识别方法,目前该方法的核心技术主要是基于案例推理的方法,该方法可以有效利用经验知识,但存在经验数据库膨胀和灵活性差的问题。
为此,在现代民航空中交通管理中需要一种危险源识别方法能够充分利用经验知识并且灵活准确。
发明内容
本发明的目的,在于提供一种基于深层极限学习机的危险源识别方法,其可提高危险源识别的灵活性,减少经验数据的急剧膨胀,提高对经验知识的利用率,缓解高维数据训练时的内存压力。
为了达成上述目的,本发明的解决方案是:
一种基于深层极限学习机的危险源识别方法,该方法采用的深层神经网络由深层结构模块和单隐藏层神经网络模块两部分组成,包括如下步骤:
步骤1,利用SVM将危险源信息R划分到不同的领域分类中,并将不同的领域分类集输入到相应的网络模块中;
步骤2,对每个网络模块使用S-ELM算法,得到各深层网络的预识别结果Hi;
步骤3:将深层网络预识别结果组合作为单隐藏层神经网络模块的输入Hinput={H1,…,H4};
步骤4:根据ELM算法和激励函数,计算单隐藏层ELM的初始隐层输出Ht和输出权重βt,下标t表示该变量是临时变量;
步骤5:根据改进的反向传播算法,确定网络的最终输入权重W,隐藏层特征空间H和输出权重β;
步骤6:危险源识别结果:
ΓO=Hβ。
上述步骤1中,将危险源分为人员、设备、环境和管理4个领域,分别以C1,C2,C3,C4表示,则分类后的结果是R={C1,C2,C3,C4}T。
上述步骤2的详细内容是:设各网络模块隐藏节点的个数为Hi,深层网络的层数为Li,根据危险源构成要素表T,从不同数域随机产生各网络模块的权重和隐藏节点偏移量并选择S型函数:
作为激励函数,计算各网络模块首层的隐层特征空间Hi1:
使用维度约减算法对各网络模块首层产生的隐层特征空间约减得到H′i1并把H′i1传递给第二层;在第二层,随机产生H-H′i1个隐层节点,它们的输出与H′i1相结合构成第二层隐层特征空间Hi2,重复上述步骤,直到产生第L层的隐层特征空间HiL,网络模块的隐层特征空间Hi=HiL。
上述步骤4中,输出权重βt的计算公式是:
其中,O表示训练数据集的输出。
上述步骤5中,隐藏层特征空间H的计算公式是:
其中,b表示隐层节点偏移量。
上述的深层结构模块和单隐藏层神经网络模块异构。
采用上述方案后,本发明与现有识别技术相比,具有以下效益:
(1)通过分模块学习使得网络能够维持较优的结构,提高了危险源识别准确性并解决了神经网络训练时内存受限的问题;
(2)通过使用深层神经网络方法,由网络记忆对案例的学习结果,不需要搜索案例库,减慢了案例库的增长速度;
(3)若有新的危险源出现出现,网络学习新的识别特征,提高识别的灵活性。
附图说明
图1是本发明使用的神经网络结构图;
图2是S-ELM算法的流程图;
图3是本发明的流程图。
具体实施方式
以下将结合附图,对本发明的技术方案进行详细说明。
本发明提供一种基于深层极限学习机的危险源识别方法,首先对其使用的异构的深层神经网络进行说明,如图1所示,该神经网络由两部分构成,第一部分是按照模块组织的深层结构,该结构由多个深层神经网络构成,根据输入数据的不同,这些深层神经网络可以具有不同的隐藏节点个数和层数;第二部分是一个单隐藏层神经网络,用来接收深层结构的学习特征。
(一)深层结构模块
在深层结构中,各模块可根据危险源状态信息所属领域或其他的危险源状态信息分类规则进行划分,根据不同的领域构建不同的深层神经网络。我们引入栈式极限学习机(S-ELM,Stacked Extreme Learning Machine)作为网络的训练方法。如图2所示,S-ELM算法的主要思想是前一层节点能够有选择地传递其中的重要节点给上一层,然后上层节点利用接受的节点与随机产生的节点构成自己的隐层输出。算法本质就是网络的第L-1层中的n维隐层特征空间通过维度约减产生最重要的n′维隐层特征空间,并将这n′维隐层特征空间传递给上一层,上一层只需要产生n-n′个随机节点,这n-n′个节点产生的隐层输出与接收到的n′个节点作为第L层的隐层特征空间。考虑到一般危险源的构成要素对于危险源的识别具有一定的指导作用,我们对S-ELM算法进行了改进。在算法中,构建一张存放一般危险源构成要素的表L,在初始化权重时,查找表L,如果状态信息在L中,从一个较大的数域中随机产生相应的权重值;否则,从较小的数域中产生权重。
在S-ELM中,重要节点通常通过主成分分析算法(PCA,Principal ComponentsAlgorithm)来产生。它的主要思想是利用数据集协方差矩阵的特征值分解或数据集矩阵的奇异值分解将数据集中相关的变量转换为非线性相关的变量。具体方法是将相关数据标准化,求出标准化后矩阵B的协方差矩阵C,利用特征值分解求C的特征向量D和特征值V,将特征值和相应的特征向量按特征值递减排列得到排序后特征向量D′,将矩阵B与D′的前m行相乘,得到非线性相关的变量Y=BD′。
(二)单隐藏层神经网络模块
在单隐藏层神经网络模块,网络接收深层结构学习的深层特征,学习得到最终的识别结果。
方法中的单隐藏层神经网络使用传统极限学***衡参数C,由于训练样本的数量常常小于隐藏层节点的数量,RELM的输出权重β如下:
识别准确性是危险源识别过程的关键问题。为了提高网络的准确性,我们引入反向传播算法(BP,Backpropagation algorithm)对网络的权重进行微调。设训练过程中的输入为Xtrain,输出结果为Ylabel,激励函数为g(x)。在单隐藏层极限学习机中反向传播算法的基本思路是通过向输入权重传递网络误差不断更新权重,使网络达到较优的结构。为了提高网络的收敛效率,算法选择性地更新网络权重。具体步骤如下:
1.根据基本ELM算法随机产生ELM的输入权重W,计算网络的输出权重β:
2.根据实际输出结果Γo与训练集输出结果Ylabel,计算网络误差E:
E=Ylabel-Γo (3)
3.根据网络误差E,计算网络的权重更新ΔW:
4.更新网络权重:
如果网络中输入数据量大于一个阈值TH,利用PCA,求出选择权重W′和特征向量D′,网络权重为W′=W′-ΔWD′;
如果网络中输入数据量小于一个阈值TH,网络权重为W=W-ΔW;
5.利用新的输入权重重新计算新的输出权重β和Γo;
6.如果Ylabel=Γo,则算法停止;否则,返回步骤2继续进行计算,直到达到一个足够大的迭代次数或算法收敛。
以上就是危险源识别方法中的关键技术,深层网络中的两部分就构成了危险源识别的两个阶段:预学习阶段和再学习阶段。在预学习阶段,通过深层结构学习危险源状态信息各领域深层特征,在再学习阶段,学习各领域深层特征得到危险源的识别结果。
将HRELM方法运用于危险源识别中可以有效的提高识别准确率,缓解经验数据库的膨胀。根据前文所述,将从2个阶段具体介绍本发明技术方案:
(一)预学习阶段
假设危险源的状态信息为R={r1,r2,…,rn}T,对应的识别结果为O={o1,…,on},根据空中交通安全管理体系建设指导手册将危险源分为人员、设备、环境和管理4个领域。为了确定状态信息rj(j=1,…,n)所属的领域分类即网络模块,利用处理非线性数据具有优越性的支持向量机(SVM,Support Vector Machine)对状态信息进行分类。设分类后的结果为R={C1,C2,C3,C4}T,其中, 是领域i中包含危险源信息,将分类后的结果输入相应网络模块中。接着对各子网络模块使用S-ELM算法,在使用S-ELM算法之前,设各网络模块隐藏节点的个数为Hi,深层结构模块的层数为Li。根据危险源构成要素表T,从不同数域随机产生各网络模块的权重和隐藏节点偏移量并选择S型函数:
作为激励函数,计算各网络模块首层的隐层特征空间Hi1:
使用维度约减算法PCA对各网络模块首层产生的隐层特征空间约减得到H′i1并把H′i1传递给第二层。在第二层,随机产生H-H′i1个隐层节点,它们的输出与H′i1相结合构成第二层隐层特征空间Hi2,重复上述步骤,直到产生第L层的隐层特征空间HiL,网络的隐层特征空间Hi=HiL。根据上述方法,分别计算各个网络模块的隐层特征空间,并将其作为相应网络模块的输出。
(二)再学习阶段
将预学习中4个网络模块的识别结果连接,形成再学习阶段的输入向量Hinput={H1,…,H4},将向量Hinput输入单隐藏层神经网络,根据传统ELM算法,随机产生网络的输入权重Wt和隐层节点偏移量b,计算网络的隐藏层特征空间Ht:
和输出权重βt:
其中,O表示训练数据集的输出。
则网络的输出如下:
其中,下标t表示该变量是临时变量。
根据改进的反向传播算法,确定网络的最终输入权重W、隐藏层特征空间H和输出权重β,得到危险源识别结果:
ΓO=Hβ (10)
本发明的总体实施顺序如图3所示,在介绍之前,设危险源状态信息R={(ri,oi)|i=1,2,…,n},其中,危险源激励函数g(x),标准化参数C。危险源识别方法总体实施步骤如下:
步骤1:利用SVM将危险源信息R划分到不同的领域分类中得到R={C1,C2,C3,C4}T,并将不同的领域分类集输入到相应的模块中;
步骤2:对每个子网络使用S-ELM算法:
For i=1to 4
使用S-ELM算法得到各深层网络的预识别结果Hi;
End For
步骤3:将深层网络预识别结果组合作为单隐藏层神经网络模块的输入Hinput={H1,…,H4};
步骤4:根据ELM算法和激励函数g(x),计算单隐藏层ELM的初始隐层输出Ht和输出权重βt;
步骤5:根据改进的反向传播算法,确定网络的最终输入权重W,隐藏层特征空间H和输出权重β;
步骤6:危险源识别结果:
ΓO=Hβ
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明保护范围之内。
Claims (5)
1.一种基于深层极限学习机的危险源识别方法,其特征在于:该方法采用的深层神经网络由深层结构模块和单隐藏层神经网络模块两部分组成,包括如下步骤:
步骤1,利用SVM将危险源信息R划分到不同的领域分类中,并将不同的领域分类集输入到相应的网络模块中;
步骤2,对每个网络模块使用S-ELM算法,得到各深层网络的预识别结果Hi;
所述步骤2的详细内容是:设各网络模块隐藏节点的个数为Hi,深层网络的层数为Li,根据危险源构成要素表T,从不同数域随机产生各网络模块的权重和隐藏节点偏移量并选择S型函数:
作为激励函数,计算各网络模块首层的隐层特征空间Hi1:
使用维度约减算法对各网络模块首层产生的隐层特征空间约减得到H′i1并把H′i1传递给第二层;在第二层,随机产生H-H′i1个隐层节点,它们的输出与H′i1相结合构成第二层隐层特征空间Hi2,重复上述步骤,直到产生第L层的隐层特征空间HiL,网络模块的隐层特征空间Hi=HiL;
步骤3:将深层网络预识别结果组合作为单隐藏层神经网络模块的输入Hinput={H1,...,H4};
步骤4:根据ELM算法和激励函数,计算单隐藏层ELM的初始隐层输出Ht和输出权重βt,下标t表示该变量是临时变量;
步骤5:根据改进的反向传播算法,确定网络的最终输入权重W,隐藏层特征空间H和输出权重β;
步骤6:危险源识别结果:
ΓO=Hβ。
2.如权利要求1所述的一种基于深层极限学习机的危险源识别方法,其特征在于:所述步骤1中,将危险源分为人员、设备、环境和管理4个领域,分别以C1,C2,C3,C4表示,则分类后的结果是R={C1,C2,C3,C4}T。
3.如权利要求1所述的一种基于深层极限学习机的危险源识别方法,其特征在于:所述步骤4中,输出权重βt的计算公式是:
其中,O表示训练数据集的输出。
4.如权利要求1所述的一种基于深层极限学习机的危险源识别方法,其特征在于:所述步骤5中,隐藏层特征空间H的计算公式是:
其中,b表示隐层节点偏移量。
5.如权利要求1所述的一种基于深层极限学习机的危险源识别方法,其特征在于:所述的深层结构模块和单隐藏层神经网络模块异构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610393646.XA CN106096728B (zh) | 2016-06-03 | 2016-06-03 | 一种基于深层极限学习机的危险源识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610393646.XA CN106096728B (zh) | 2016-06-03 | 2016-06-03 | 一种基于深层极限学习机的危险源识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106096728A CN106096728A (zh) | 2016-11-09 |
CN106096728B true CN106096728B (zh) | 2018-08-24 |
Family
ID=57447650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610393646.XA Active CN106096728B (zh) | 2016-06-03 | 2016-06-03 | 一种基于深层极限学习机的危险源识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106096728B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106776765A (zh) * | 2016-11-22 | 2017-05-31 | 中国人民解放军海军潜艇学院 | 水下***物识别及处置辅助决策***及决策方法 |
CN106682616B (zh) * | 2016-12-28 | 2020-04-21 | 南京邮电大学 | 基于双通道特征深度学习的新生儿疼痛表情识别方法 |
CN106959121B (zh) * | 2017-02-28 | 2020-12-29 | 北京联合大学 | 一种自主反向调优的超限学习算法在磁罗盘误差补偿中的应用方法 |
US10331445B2 (en) | 2017-05-24 | 2019-06-25 | Microsoft Technology Licensing, Llc | Multifunction vector processor circuits |
CN109285344B (zh) * | 2018-06-25 | 2021-05-28 | 江苏智通交通科技有限公司 | 交通高危人员重点监测对象识别方法和智能决策*** |
CN110782061A (zh) * | 2018-08-01 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种恶性事件的预测方法及*** |
CN109214464A (zh) * | 2018-09-28 | 2019-01-15 | 国网江苏省电力有限公司常州供电分公司 | 一种基于大数据的疑似窃电用户识别装置及识别方法 |
CN110278203B (zh) * | 2019-06-18 | 2021-11-23 | 浙江工业大学 | 一种基于单分类支持向量机的燃气scada***中间人攻击检测方法 |
US20210174198A1 (en) * | 2019-12-10 | 2021-06-10 | GM Global Technology Operations LLC | Compound neural network architecture for stress distribution prediction |
JP6942900B1 (ja) * | 2021-04-12 | 2021-09-29 | 望 窪田 | 情報処理装置、情報処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5732697A (en) * | 1995-11-22 | 1998-03-31 | Arch Development Corporation | Shift-invariant artificial neural network for computerized detection of clustered microcalcifications in mammography |
CN102436721B (zh) * | 2011-09-29 | 2013-07-10 | 吴建华 | 一种风电安全智能预警应急***及其方法 |
CN103903077A (zh) * | 2012-12-27 | 2014-07-02 | 上海建工七建集团有限公司 | 危险源监管***和方法 |
-
2016
- 2016-06-03 CN CN201610393646.XA patent/CN106096728B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5732697A (en) * | 1995-11-22 | 1998-03-31 | Arch Development Corporation | Shift-invariant artificial neural network for computerized detection of clustered microcalcifications in mammography |
CN102436721B (zh) * | 2011-09-29 | 2013-07-10 | 吴建华 | 一种风电安全智能预警应急***及其方法 |
CN103903077A (zh) * | 2012-12-27 | 2014-07-02 | 上海建工七建集团有限公司 | 危险源监管***和方法 |
Non-Patent Citations (1)
Title |
---|
《危险源概念辨析及识别方法》;赵鹏;《航空安全》;20100731;第52页-第53页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106096728A (zh) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106096728B (zh) | 一种基于深层极限学习机的危险源识别方法 | |
Khalil et al. | Energy efficiency prediction using artificial neural network | |
Sikora | A modified stacking ensemble machine learning algorithm using genetic algorithms | |
Demidova et al. | Use of fuzzy clustering algorithms ensemble for SVM classifier development | |
CN106779087A (zh) | 一种通用机器学***台 | |
CN110036399A (zh) | 神经网络数据录入*** | |
CN109389207A (zh) | 一种自适应神经网络学习方法及神经网络*** | |
Olteanu et al. | On-line relational and multiple relational SOM | |
Bergmann et al. | Approximation of dispatching rules for manufacturing simulation using data mining methods | |
CN110046672A (zh) | 一种基于半监督学习的银行电子渠道异常交易确定方法 | |
Lapuschkin | Opening the machine learning black box with layer-wise relevance propagation | |
CN117251754A (zh) | 一种计及动态时间包装的cnn-gru能耗预测方法 | |
CN104966106A (zh) | 一种基于支持向量机的生物年龄分步预测方法 | |
Prasad et al. | Designing mamdani-type fuzzy reasoning for visualizing prediction problems based on collaborative fuzzy clustering | |
Kamruzzaman et al. | A hybrid learning algorithm for text classification | |
CN113469288A (zh) | 融合多个机器学习算法的高危人员预警方法 | |
Kanzawa | Bezdek-type fuzzified co-clustering algorithm | |
Kearney | Using genetic algorithms to evolve artificial neural networks | |
Chen et al. | Experiments with rough set approach to face recognition | |
Dal Pozzolo et al. | Comparison of data mining techniques for insurance claim prediction | |
Rani et al. | Prediction analysis techniques of data mining: a review | |
Plewczynski et al. | Generic framework for simulation of cognitive systems: A case study of color category boundaries | |
Lipovetsky | Total odds and other objectives for clustering via multinomial-logit model | |
González | in Semi-Supervised and Active Learning contexts | |
Benyacoub et al. | Learning decision by hidden markov model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |