CN107979606A - 一种具有自适应的分布式智能决策方法 - Google Patents
一种具有自适应的分布式智能决策方法 Download PDFInfo
- Publication number
- CN107979606A CN107979606A CN201711292594.8A CN201711292594A CN107979606A CN 107979606 A CN107979606 A CN 107979606A CN 201711292594 A CN201711292594 A CN 201711292594A CN 107979606 A CN107979606 A CN 107979606A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- decision
- knowledge base
- predefined
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 18
- 238000003909 pattern recognition Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 239000002245 particle Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000015572 biosynthetic process Effects 0.000 abstract 1
- 230000009545 invasion Effects 0.000 abstract 1
- 230000007935 neutral effect Effects 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据安全领域,具体涉及一种具有自适应的分布式智能决策方法。本发明针对实时监控日志及操作请求日志的生成模式进行发掘,检测可能存在的异常,将神经网络在模式识别中的优势与知识的推理理论结合起来,在综合多个相邻节点信息的基础上,引入自适应的机制,以分布式的方式进行入侵检测,同时将决策过程放入分布的节点而不是中央控制台,减少了网络传输,提高了分布式决策的速度。本发明综合相邻节点的信息反馈,进行自适应调整,并且不依赖全局信息,减少了数据传输,能有效检测出单一节点难以检测出入侵的数据。
Description
技术领域
本发明属于数据安全领域,具体涉及一种具有自适应的分布式智能决策方法。
背景技术
入侵检测常用的技术包括专家***,模式匹配(例如神经网络等)以及基于统计方法的技术。但近年来的研究热点越来越集中于神经网络,这是因为其有更好地处理原始数据的随机特性,不需要对这些数据作任何统计假设,同时,它也有较好的抗干扰能力。
然而,仅仅使用神经网络作为入侵检测的主要技术也有许多的局限性;同时,当前对于入侵检测的研究一般都局限于单一检测点,而当前网络攻击手段向分布式方向发展,单一节点难以检测出入侵的数据,破坏性和隐蔽性也越来越大,这些研究普遍采用综合多个探测节点的信息并由一个中央控制台进行处理和分析。但考虑到网络传输带来的延时问题,大规模网络带来的大量检测负荷,将使这种架构的入侵检测面临诸多困难。
发明内容
针对上述存在问题或不足,本发明提供了一种具有自适应的分布式智能决策方法,针对实时监控日志及操作请求日志的生成模式进行发掘,检测可能存在的异常。
本发明的步骤如下:
S1.数据预处理。
S11.定义预定义知识库;预定义知识库由入侵规则集组成,每一种入侵手段所对应的规则集对应一个预定义知识库,初始化为空。这些预定义知识库还包含两个属性:种类和权重,种类用来标识预定义知识库对应的入侵手段,权重表示该预定义知识库的规则对当前环境的重要程度,权重的范围为0到1。
S12.提取预定义知识库的环境特征;针对不同类型的入侵方式,获取该入侵方式的知识,加入到对应的预定义知识库,对所有预定义知识库获取完知识之后,将知识进行求并集获得知识总库,并根据知识所适用的入侵方式,定义一个布尔矩阵E来表示该知识所适用的环境,即用来表示其所属预定义知识库。然后建立知识关系表,用以表示知识之间的逻辑关系。
S2.节点环境识别;对每个节点的数据提取特征,使用其产生的矩阵M来描述节点所处的环境。
S21.产生特征;选取报文长度、字符频率、来源区域、端口号、协议类型和时间以及它们的各种变形与转换,采用加权移动平均(Weighted MovingAverage,WMA)方法将数据进行平滑处理。
S22.对S21步骤产生的特征数据进行降维处理。首先通过ClampingNetwork计算所有特征对结果的影响,然后根据影响按照从大到小进行排序(Ranking),再按照排序结果,依次将特征增加到测试特征集(用来测试特征对结果的影响,初始化为空集)中,测验组合对结果准确度的影响,若精确度提升超过阈值a1(0.01-0.1),则将该特征保留,若精确度下降超过阈值a2(0.01-0.1),则将其剔除,否则,将其放回排序结果列表的末尾。
S23.使用人工神经网络进行模式识别。使用神经网络对S22的输出数据进行训练,神经网络训练完成后得到矩阵M,每个矩阵的元素代表着该节点属于对应环境的置信度。
S3.产生本地知识库。每个节点所使用的入侵规则集与该节点所处的环境相关,因此,需要根据步骤S2环境识别的结果来产生自身的知识库即本地知识库。本地知识库拥有一个矩阵W,其中每个元素代表对应的预定义知识库的基础权重(baseWeight,初始化为0.1-1)。具体步骤如下:
S31.选择知识。将预定义知识库的权值矩阵W,点乘每个知识的布尔矩阵E,得到结果N,将N与M相加,若相加的结果中存在大于1的值,则选择该知识。
S32.知识融合。若步骤S31所选择的知识包含冲突的知识,则需要进行知识融合。将知识间冲突的部分作为额外条件属性加入到冲突知识元素中,重复这个步骤直至找不到更多的条件属性时,开始对冲突的知识进行融合。
S4.推理。建立好本地知识库之后,对实时数据进行判断,若应用知识规则之后能做出判断为入侵或非入侵则做出决策,否则不能做出决策。
S5.自适应调整。对做出的决策进行评估,动态调整本地知识库的矩阵W,如S3所述,该矩阵每个元素代表对应的预定义知识库的baseWeight。具体步骤如下:
S51.若做出决策,则使用下式更新包含做出决策所使用的知识的预定义知识库的baseWeight,无论该决策是否正确。
其中,Wnew是更新后的baseWeight;Wold是更新前的baseWeight;是预定义知识库中未被选进该节点本地知识库的知识数量;是该预定义知识库的知识数量;是该节点所包含的知识数量;Qall是***的知识元素的总数量。
若决策出错,则按照下式更新权重,用以惩罚作出该决策所依据的知识元素的预定义知识库。
其中,是既在该本地知识库又在预定义知识库中的知识数量;α是经验参数用以控制步长,取0-1的小数。
若在S4过程中,使用知识但未作出任何决策,则使用如下公式对baseWeight进行更新,用来惩罚对该知识的不当使用。
其中,是更新前所有baseWeight的平均值;是没有被选入当前节点的本地知识库的知识数量。
S52.全局自适应调整。对于每个节点,当决策次数达到10-30次时,将进行全局自适应调整。全局自适应调整考虑这段时间内所做的所有决策和与该节点直接相连的节点的信息,使用下式进行更新:
其中,WGWA是全局权重调整参数;β是用来控制步长的参数,取0-1的小数;是做决策所用的知识数量;E(0≤E≤1)是***性能评估,表示决策正确率;是所有本地知识库包含的所有知识的数量;Wpre是该节点的本地知识库上一次baseWeight;是该节点和周围节点的本地知识库在这段时间内的baseWeight的平均值。
对于此次全局自适应调整的所用到的节点,用以下公式更新其baseWeight:
Wnew=Wold+WGWA
S53.决定是否重建本地知识库。对进行全局自适应调整之后的节点,若如下不等式成立,将重新构建本地知识库,即从步骤S2重新开始。
其中,Wcur是当前节点预定义知识库的当前baseWeight;Wpre是该知识库上一次baseWeight;求和表示要考虑所有预定义知识库;是用在不正确决策中的知识数量;是该节点所包含的知识数量是当前节点知识库上一次所有baseWeight的平均值。
本发明将神经网络在模式识别中的优势与知识的推理理论结合起来,在综合多个相邻节点信息的基础上,引入自适应的机制,以分布式的方式进行入侵检测,同时将决策过程放入分布的节点而不是中央控制台,减少了网络传输,提高了分布式决策的速度。
本发明综合相邻节点的信息反馈,进行自适应调整,并且不依赖全局信息,减少了数据传输,能有效检测出单一节点难以检测出入侵的数据。
附图说明
图1为自适应分布式决策方法框架示意图;
图2为自适应分布式决策方法的流程图;
图3为实施例使用BP神经网络进行环境识别的示意图;
图4为知识融合过程。
具体实施方式
下面结合附图对本发明做进一步说明。
如图2所示为方法流程图,具体步骤如下:
S1.预处理:将数据进行预处理,用以进行环境识别等后续步骤。
S11.定义预定义知识库;预定义知识库由入侵规则集组成,每一种入侵手段所对应的规则集对应一个预定义知识库,初始化为空。这些预定义知识库还包含两个属性:种类和权重,种类用来标识预定义知识库对应的入侵手段,权重表示该预定义知识库的规则对当前环境的重要程度,权重的范围为0到1。
S12.提取预定义知识库的环境特征;针对不同类型的入侵方式,获取该入侵方式的知识,加入到对应的预定义知识库,对所有预定义知识库获取完知识之后,将知识进行求并集获得知识总库,并根据知识所适用的入侵方式,定义一个布尔矩阵E来表示该知识所适应的环境,即用来表示它是否属于某个预定义知识库。建立知识关系表,用以表示知识之间的逻辑关系。
S2.节点环境识别。对每个节点的数据提取特征,使用其产生的矩阵M来描述节点所处的环境。
S21.产生特征。考察报文长度、字符频率、来源区域、端口号、协议类型、时间及其各种变形与转换的数据类型;为了尽可能的准确识别出所处环境,将这些数据考虑为时间序列信息,由此以获得更多的特征数据,例如原始数据的均值,方差,中值,标准差等。我们计划将数据作为时序数据,使用滑动窗口与加权移动平均(WMA)的方法,对原始采集到的数据进行预处理与分割。采用WMA方法主要原因是需要将数据进行平滑处理,同时也为了使时间上越近的数据其影响越大:
datat=∑Wi·datat-i+1,i∈N
其中,N为样本数量,t为时间,Wi为权重,并且∑Wi=1。
S22.对S21步骤进行之后的数据进行降维处理。
首先通过Clamping Network计算所有特征对结果的影响,然后根据影响按照从大到小进行排序(Ranking),再按照排序结果,依次将特征增加到测试特征集中(用来测试特征对结果的影响,初始化为空集),测验组合对结果准确度的影响。每增加一种特征,就使用此测试特征集对分类神经网络进行训练与测试,如果测试结果的精度提升超过阈值(0.05),就将其保留,如果精度下降超过阈值(0.05),就将其剔除。如果上升下降均未超过阈值,那么将其放回待选列表(即排序列表)的末尾。具体的步骤如下:
步骤1:使用所有特征参数训练网络
步骤2:计算网络的generalized performance
步骤3:对于第i(1≤i≤N;N为特征的总数)个特征:
步骤3.1:设置网络的输入为所有特征参数
步骤3.2:计算当前特征的均值 其中P为测试样本个数;xip为第p个样本中的第i个特征。
步骤3.3:测试整个网络
步骤3.4:计算此时的Clamped generalized performance:
步骤3.5:计算此特征对网络表现的影响Impact:
步骤3.6:重复执行步骤3,直至所有特征参数计算完成。
步骤4:根据Impact,按照降序对所有特征参数按从大到小进行排序。
步骤5:创建测试特征集,初始化为空
步骤6:对排好序中的每一特征:
步骤6.1:将该特征加入集合。
步骤6.2:使用当前集合对网络进行训练。
步骤6.3:测试当前网络,并计算精确度。
步骤6.4:如果精确度提升超过阈值0.05,就将其保留,如果精确度下降超过阈值0.05,就将其剔除。如果上升下降均未超过阈值,那么将其放回待选列表的末尾。
步骤6.5:如果排在末尾的特征在第二次测试时,并没有使网络的精确度超过一个阈值,将其剔除。
步骤6.6:重复步骤6直至特征参数排序列表为空。
步骤7:测试特征集合中的特征即为所需特征。
S23.使用人工神经网络进行模式识别。使用BP神经网络对S22的输出数据进行训练,神经网络的输出为一个矩阵M,每个矩阵的元素代表着该节点属于对应环境的置信度。如图3所示。
S3.产生知识库。每个节点所使用的的规则集与该节点所处的环境相关,因此,需要根据步骤S2环境识别的结果来产生自身的知识库。
S31.选择知识。使用如下二元组描述知识:KO=<P,D>其中,P为该知识对象的属性集合,D为对应的描述或值。将预定义知识库的权值baseWeight,点乘每个知识的布尔矩阵E,得到结果N,将N与M相加,若存在大于1的值,则选择该知识。
S32.知识融合。若步骤S31所选择的知识包含冲突的知识,则需要进行知识融合。将知识间冲突的部分作为额外条件属性加入到冲突知识元素中,重复这个步骤直到找不到更多的条件属性时,开始削弱知识。例如,对于以下两个知识元素:
(1)A(a=Monday)->C
(2)B(a=Weekday)->D
可以找到额外的条件属性为a=Weekday&a!=Monday,则知识将变为:
(1)A(a=Monday)->C
(2)B(a=Monday)->D
(3)B(a=Weekday&a!=Monday)->D
将上述知识进行融合后,新知识元素为:
(1)A(a=Monday)->C&D
(2)B(a=Weekday&a!=Monday)->D
当C包含于D时,融合结果只有(2)B(a=Weekday)->D,第一个知识元素由于重复而被丢弃。这个方法需要一个属性值之间的关系的表以及一组元规则来控制融合过程。这个表在预定义知识库阶段产生。
S4.推理。建立好本地知识库之后,对实时数据进行判断,若应用知识规则之后能做出判断为入侵或非入侵则做出决策,否则不能做出决策。
S5.自适应调整。对做出的决策进行评估,动态调整本地知识库的矩阵W,如S3所述,该矩阵每个元素代表对应的预定义知识库的baseWeight。具体步骤如下:
S51.若做出决策,则使用下式更新包含做出决策所使用的知识的预定义知识库的baseWeight,无论该决策是否正确。
其中,Wnew是更新后的baseWeight;Wold是更新前的baseWeight;是预定义知识库中未被选进该节点的本地知识库的知识数量;是该预定义知识库的知识数量;是该节点所包含的知识数量;Qall是***的知识元素的总数量。
若决策出错,则按照下式更新权重,用以惩罚包含该不恰当知识元素的预定义知识库。
其中,是既在该本地知识库又在预定义知识库中的知识数量;α是经验参数用以控制步长,可取0-1的小数。
若在S4过程中,使用知识但未作出任何决策,则使用如下公式对baseWeight进行更新,用来惩罚对知识的不当使用。
其中,是更新前所有baseWeight的平均值;是没有被选入当前本地知识库的知识数量。
S52.全局自适应调整。对于每个节点,当决策次数达到10-30次时,将进行全局自适应调整。全局自适应调整将考虑这段时间内所做的所有决策和与该节点直接相连的节点的信息,使用下式进行更新:
其中,WGWA是全局权重调整参数;β是用来控制步长的参数,取0-1的小数;是做决策所用的知识数量;E(0≤E≤1)是***性能评估,表示决策正确率;是所有本地知识库包含的所有知识的数量;Wpre是该节点的本地知识库上一次baseWeight;是该节点和周围节点的本地知识库在这段时间内的baseWeight的平均值。
对于此次全局自适应调整的所用到的节点,用以下公式更新其baseWeight:
Wnew=Wold+WGWA
S53.决定是否重建本地知识库。对进行全局自适应调整之后的节点,若如下不等式成立,将重新构建本地知识库,即从步骤S2重新开始。
其中,Wcur是当前节点预定义知识库的当前baseWeight;Wpre是该知识库上一次baseWeight;求和表示要考虑所有预定义知识库;是用在不正确决策中的知识数量;是该节点所包含的知识数量是当前节点知识库上一次所有baseWeight的平均值。
综上可见,本发明通过将神经网络在模式识别中的优势与知识的推理理论结合起来,在综合多个相邻节点信息的基础上,进行自适应调整,以分布式的方式进行入侵检测,同时将决策过程放入分布的节点而不是中央控制台,减少了网络传输,提高了分布式决策的速度。并且不依赖全局信息,减少了数据传输,能有效检测出单一节点难以检测出入侵的数据。
Claims (2)
1.一种具有自适应的分布式智能决策方法,具体步骤如下:
S1.数据预处理;
S11.定义预定义知识库;
预定义知识库由入侵规则集组成,每一种入侵手段所对应的规则集对应一个预定义知识库,初始化为空;这些预定义知识库还包含两个属性:种类和权重,种类用来标识预定义知识库对应的入侵手段,权重表示该预定义知识库的规则对当前环境的重要程度,权重的范围为0到1;
S12.提取预定义知识库的环境特征;
针对不同类型的入侵方式,获取该入侵方式的知识,加入到对应的预定义知识库,对所有预定义知识库获取完知识之后,将知识进行求并集获得知识总库,并根据知识所适用的入侵方式,定义一个布尔矩阵E来表示该知识所适用的环境,即用来表示其所属预定义知识库;然后建立知识关系表,用以表示知识之间的从属关系;
S2.节点环境识别;对每个节点的数据提取特征,使用其产生的矩阵M来描述节点所处的环境;
S21.产生特征;
选取报文长度、字符频率、来源区域、端口号、协议类型和时间以及它们的各种变形与转换,采用加权移动平均Weighted Moving Average,WMA方法将数据进行平滑处理;
S22.对S21步骤产生的特征数据进行降维处理;
首先通过Clamping Network计算所有特征对结果的影响,然后根据影响按照从大到小进行排序Ranking,再按照排序结果,依次将特征增加到测试特征集中,测验组合对结果准确度的影响,若精确度提升超过阈值a1,则将该特征保留,若精确度下降超过阈值a2,则将其剔除,否则,将其放回排序结果列表的末尾,0.01≤a1≤0.1,0.01≤a2≤0.1;所述测试特征集用来测试特征对结果的影响,初始化为空集;
S23.使用人工神经网络进行模式识别;
使用神经网络对S22的输出数据进行训练,神经网络训练完成后得到矩阵M,每个矩阵的元素代表着该节点属于对应环境的置信度;
S3.产生本地知识库;
根据步骤S2环境识别的结果来产生自身的知识库即本地知识库,本地知识库拥有的矩阵W每个元素代表对应的预定义知识库的基础权重baseWeight,初始化为0.1-1,具体步骤如下:
S31.选择知识;
将预定义知识库的权值矩阵W,点乘每个知识的布尔矩阵E,得到结果N,将N与M相加,若相加的结果中存在大于1的值,则选择该知识;
S32.知识融合;
若步骤S31所选择的知识包含冲突的知识,则需要进行知识融合,将知识间冲突的部分作为额外条件属性加入到冲突知识元素中,重复这个步骤直至找不到更多的条件属性时,开始对冲突的知识进行融合;
S4.推理;建立好本地知识库之后,对实时数据进行判断,若应用知识规则之后能做出判断为入侵或非入侵则做出决策,否则不能做出决策;
S5.自适应调整;对做出的决策进行评估,动态调整本地知识库的矩阵W,如S3所述,该矩阵每个元素代表对应的预定义知识库的baseWeight,具体步骤如下:
S51.若做出决策,则使用下式更新包含做出决策所使用的知识的预定义知识库的baseWeight,无论该决策是否正确;
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>*</mo>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>+</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
<mi>l</mi>
<mi>e</mi>
</mrow>
<mrow>
<mi>p</mi>
<mi>b</mi>
</mrow>
</msubsup>
<mo>/</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
<mrow>
<mi>p</mi>
<mi>b</mi>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>*</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
<mrow>
<mi>l</mi>
<mi>b</mi>
</mrow>
</msubsup>
<mo>/</mo>
<msub>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中,Wnew是更新后的baseWeight,Wold是更新前的baseWeight,是预定义知识库中未被选进该节点本地知识库的知识数量,是该预定义知识库的知识数量,是该节点所包含的知识数量,Qall是***的知识元素的总数量;
若决策出错,则按照下式更新权重,用以惩罚作出该决策所依据的知识元素的预定义知识库;
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>*</mo>
<mo>&lsqb;</mo>
<mn>1</mn>
<mo>-</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
<mrow>
<mi>p</mi>
<mi>b</mi>
</mrow>
</msubsup>
<mo>/</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
<mrow>
<mi>p</mi>
<mi>b</mi>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>&alpha;</mi>
<mo>&rsqb;</mo>
</mrow>
其中,是既在该本地知识库又在预定义知识库中的知识数量,α是经验参数用以控制步长,取0-1的小数;
若在S4过程中,使用知识但未作出任何决策,则使用如下公式对baseWeight进行更新,用来惩罚对该知识的不当使用;
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>n</mi>
<mi>e</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>+</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>o</mi>
<mi>l</mi>
<mi>d</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>*</mo>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mi>d</mi>
<mi>l</mi>
<mi>e</mi>
</mrow>
<mrow>
<mi>A</mi>
<mi>L</mi>
<mi>L</mi>
</mrow>
</msubsup>
<mo>/</mo>
<msub>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中,是更新前所有baseWeight的平均值,是没有被选入当前节点的本地知识库的知识数量;
S52.全局自适应调整;
对于每个节点,当决策次数达到10-30次时,将进行全局自适应调整,全局自适应调整考虑这段时间内所做的所有决策和与该节点直接相连的节点的信息,使用下式进行更新:
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>G</mi>
<mi>W</mi>
<mi>A</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<msub>
<mi>W</mi>
<mrow>
<mi>g</mi>
<mi>l</mi>
<mi>o</mi>
<mi>b</mi>
<mi>a</mi>
<mi>l</mi>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>u</mi>
<mi>s</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
<mrow>
<mi>l</mi>
<mi>b</mi>
</mrow>
</msubsup>
<mo>/</mo>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
<mrow>
<mi>A</mi>
<mi>L</mi>
<mi>L</mi>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>E</mi>
<mo>&rsqb;</mo>
<mo>*</mo>
<mi>&beta;</mi>
</mrow>
其中,WGWA是全局权重调整参数;β是用来控制步长的参数,取0-1的小数;是做决策所用的知识数量;E是***性能评估,表示决策正确率,0≤E≤1;是所有本地知识库包含的所有知识的数量;Wpre是该节点的本地知识库上一次baseWeight;是该节点和周围节点的本地知识库在这段时间内的baseWeight的平均值;
对于此次全局自适应调整的所用到的节点,用以下公式更新其baseWeight:
Wnew=Wold+WGWA
S53.决定是否重建本地知识库;
对进行全局自适应调整之后的节点,若如下不等式成立,将重新构建本地知识库,即从步骤S2重新开始;
<mrow>
<mi>&Sigma;</mi>
<mo>|</mo>
<mfrac>
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>c</mi>
<mi>u</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
</mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
</mfrac>
<mo>|</mo>
<mo>&GreaterEqual;</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
</mrow>
<mrow>
<mi>l</mi>
<mi>b</mi>
</mrow>
</msubsup>
<msubsup>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mi>l</mi>
<mi>l</mi>
</mrow>
<mrow>
<mi>l</mi>
<mi>b</mi>
</mrow>
</msubsup>
</mfrac>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mover>
<msub>
<mi>W</mi>
<mrow>
<mi>l</mi>
<mi>o</mi>
<mi>c</mi>
<mi>a</mi>
<mi>l</mi>
<mi>p</mi>
<mi>r</mi>
<mi>e</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
其中,Wcur是当前节点预定义知识库的当前baseWeight,Wpre是该知识库上一次baseWeight,求和表示要考虑所有预定义知识库,是用在不正确决策中的知识数量,是该节点所包含的知识数量是当前节点知识库上一次所有baseWeight的平均值。
2.如权利要求1所述具有自适应的分布式智能决策方法,其特征在于:所述步骤S2中的神经网络选用BP神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711292594.8A CN107979606B (zh) | 2017-12-08 | 2017-12-08 | 一种具有自适应的分布式智能决策方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711292594.8A CN107979606B (zh) | 2017-12-08 | 2017-12-08 | 一种具有自适应的分布式智能决策方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107979606A true CN107979606A (zh) | 2018-05-01 |
CN107979606B CN107979606B (zh) | 2020-08-11 |
Family
ID=62009752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711292594.8A Active CN107979606B (zh) | 2017-12-08 | 2017-12-08 | 一种具有自适应的分布式智能决策方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107979606B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109102024A (zh) * | 2018-08-14 | 2018-12-28 | 中山大学 | 一种用于物体精细识别的层次语义嵌入模型及其实现方法 |
CN111294618A (zh) * | 2020-03-12 | 2020-06-16 | 周光普 | 一种广播电视数据安全的监测***及方法 |
CN111556018A (zh) * | 2020-03-25 | 2020-08-18 | 中国科学院信息工程研究所 | 一种基于cnn的网络入侵检测方法及电子装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060220843A1 (en) * | 2005-03-30 | 2006-10-05 | Alan Broad | Interactive surveillance network and method |
CN101976375A (zh) * | 2010-11-15 | 2011-02-16 | 南京大学 | 一种面向软件中间件的智能决策支撑框架及其工作方法 |
CN102521378A (zh) * | 2011-12-20 | 2012-06-27 | 南京邮电大学 | 基于数据挖掘的实时入侵检测方法 |
-
2017
- 2017-12-08 CN CN201711292594.8A patent/CN107979606B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060220843A1 (en) * | 2005-03-30 | 2006-10-05 | Alan Broad | Interactive surveillance network and method |
CN101976375A (zh) * | 2010-11-15 | 2011-02-16 | 南京大学 | 一种面向软件中间件的智能决策支撑框架及其工作方法 |
CN102521378A (zh) * | 2011-12-20 | 2012-06-27 | 南京邮电大学 | 基于数据挖掘的实时入侵检测方法 |
Non-Patent Citations (3)
Title |
---|
CHANGJUN HAN: ""An Intrusion Detection System Based on Neural Network"", 《2011 INTERNATIONAL CONFERENCE ON MECHATRONIC SCIENCE》 * |
DEWAN MD. FARID: "Adaptive Intrusion Detection based on Boosting and Naïve Bayesian Classifier", 《INTERNATIONAL JOURNAL OF COMPUTER APPLICATIONS》 * |
赵云: ""基于分布式学习的神经网络入侵检测算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109102024A (zh) * | 2018-08-14 | 2018-12-28 | 中山大学 | 一种用于物体精细识别的层次语义嵌入模型及其实现方法 |
CN109102024B (zh) * | 2018-08-14 | 2021-08-31 | 中山大学 | 一种用于物体精细识别的层次语义嵌入模型及其实现方法 |
CN111294618A (zh) * | 2020-03-12 | 2020-06-16 | 周光普 | 一种广播电视数据安全的监测***及方法 |
CN111294618B (zh) * | 2020-03-12 | 2022-04-01 | 周光普 | 一种广播电视数据安全的监测***及方法 |
CN111556018A (zh) * | 2020-03-25 | 2020-08-18 | 中国科学院信息工程研究所 | 一种基于cnn的网络入侵检测方法及电子装置 |
CN111556018B (zh) * | 2020-03-25 | 2021-07-27 | 中国科学院信息工程研究所 | 一种基于cnn的网络入侵检测方法及电子装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107979606B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6397200B1 (en) | Data reduction system for improving classifier performance | |
CN111310814A (zh) | 利用不平衡正负样本对业务预测模型训练的方法及装置 | |
US6336109B2 (en) | Method and apparatus for inducing rules from data classifiers | |
CN112069310A (zh) | 基于主动学习策略的文本分类方法及*** | |
CN107979606B (zh) | 一种具有自适应的分布式智能决策方法 | |
JP2008059601A (ja) | 双峰性データを判別する方法 | |
EP3502978A1 (en) | Meta-learning system | |
CN108898214A (zh) | 一种在线序列数据预测方法及装置 | |
US20220108184A1 (en) | Method and device for training a machine learning system | |
CN116184988B (zh) | 基于多模态数据的故障预测方法、装置、设备及存储介质 | |
CN116361191A (zh) | 一种基于人工智能的软件兼容性处理方法 | |
CN112765894A (zh) | 一种基于k-lstm的铝电解槽状态预测方法 | |
CN112613617A (zh) | 基于回归模型的不确定性估计方法和装置 | |
CN113837481B (zh) | 一种基于区块链的金融大数据管理*** | |
CN111144567A (zh) | 神经网络模型的训练方法及装置 | |
CN111291886B (zh) | 神经网络模型的融合训练方法及装置 | |
CN113065395A (zh) | 一种基于生成对抗网络的雷达目标新类检测方法 | |
CN110766086B (zh) | 基于强化学习模型对多个分类模型进行融合的方法和装置 | |
KR20220014744A (ko) | 강화 학습을 기반으로 한 데이터 전처리 시스템 및 방법 | |
Garcia-Trevino et al. | Wavelet probabilistic neural networks | |
CN112528554A (zh) | 一种适于多发多源火箭试验数据的数据融合方法及*** | |
Tucker et al. | A Bayesian network approach to explaining time series with changing structure | |
Salvador et al. | Effects of change propagation resulting from adaptive preprocessing in multicomponent predictive systems | |
US20220108152A1 (en) | Method for ascertaining an output signal with the aid of a machine learning system | |
CN109523386A (zh) | 一种gmm与lstm结合的投资组合风险预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |