CN114422241B - 一种入侵检测方法、装置及*** - Google Patents

一种入侵检测方法、装置及*** Download PDF

Info

Publication number
CN114422241B
CN114422241B CN202210058096.1A CN202210058096A CN114422241B CN 114422241 B CN114422241 B CN 114422241B CN 202210058096 A CN202210058096 A CN 202210058096A CN 114422241 B CN114422241 B CN 114422241B
Authority
CN
China
Prior art keywords
data set
intrusion detection
intrusion
factor
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210058096.1A
Other languages
English (en)
Other versions
CN114422241A (zh
Inventor
王海凤
杜辉
刘迎喜
贾颜妃
王再平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202210058096.1A priority Critical patent/CN114422241B/zh
Publication of CN114422241A publication Critical patent/CN114422241A/zh
Application granted granted Critical
Publication of CN114422241B publication Critical patent/CN114422241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本发明公开了一种入侵检测方法、装置及***，涉及网络安全技术领域，在精简数据数量的同时，降低了数据的维度，保障了入侵检测的时效性；将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。方案要点为：对入侵数据集进行预处理；计算变量间的相关系数矩阵；计算特征根和特征向量；选取主成分变量，并获取因子载荷矩阵；计算各因子的方差贡献，并累计所有因子的方差贡献率；选取公共因子并表示入侵数据集；获取因子分析神经图灵机入侵检测模型；进行检测，获取数据分类结果，完成入侵检测。本发明用于网络安全维护中。

Description

一种入侵检测方法、装置及***
技术领域
本发明涉及网络安全技术领域，尤其涉及一种入侵检测方法、装置及***。
背景技术
网络安全是指通过各种技术和管理工具，使网络***正常运行，从而确保网络数据的可用性、完整性和保密性。在当今互联网如此发达的信息时代，若网络安全得不到保障，将会直接影响国家信息以及个人财产安全。在众多网络安全管理工具中，入侵检测***是一个非常重要的网络安全检测工具，其主要作用是识别可能存在安全隐患的异常入侵信号，以确保当前网络的安全及正常运行。
现有入侵检测***一般是：先通过正常行为数据建立检测模型；再将待检测行为输入到该检测模型中进行检测，即识别与正常行为存在明显差异的异常行为，从而实现保障网络安全的目的。
因为目前网络数据维度高、数量大，并且存在着较多的冗余数据，所以致使上述现有入侵检测***在实现入侵检测时，出现了检测时间长、响应慢的问题；与此同时，由于在庞大的数据中存在着噪声数据，噪声数据在通过现有入侵检测***时，常常会被误检为异常行为数据，因此，现有入侵检测***会出现误检的情况，检测准确度低。
发明内容
本发明提供一种入侵检测方法、装置及***，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后入侵数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现待检测数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
为达到上述目的，本发明采用如下技术方案：
本发明第一方面提供一种入侵检测方法，包括：
对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
计算所述相关系数矩阵的特征根和特征向量；
在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵，所述因子载荷矩阵为p×m的矩阵；其中，m为小于p的整数；
计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
进一步的，所述的一种入侵检测方法，在将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型之后；还包括：
对所述因子分析神经图灵机入侵检测模型进行迭代优化。
进一步的，所述的一种入侵检测方法，对所述因子分析神经图灵机入侵检测模型进行迭代优化，包括：
将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播。
根据所述误差项计算每个权重的梯度。
根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
进一步的，所述的一种入侵检测方法，在根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述入侵数据集之后，还包括：
判断所述公共因子的典型代表变量是否突出，获取判断结果。
若所述判断结果为不突出，则对所述公共因子进行因子旋转。
进一步的，所述的一种入侵检测方法，对入侵数据集进行预处理，包括：
对所述入侵数据集中各数据的字符型特征进行数值化。
对所述入侵数据集中各数据的特征进行归一化。
进一步的，所述的一种入侵检测方法，将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型包括：
将所述降维简化后的测试数据集通过擦除操作和添加操作输入到所述因子分析神经图灵机入侵检测模型。
本发明第二方面提供一种入侵检测装置，包括：
预处理单元，用于对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
第一计算单元，用于计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
第二计算单元，用于计算所述相关系数矩阵的特征根和特征向量；
第一选取单元，用于在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数；
第三计算单元，用于计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
第二选取单元，用于根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
训练单元，用于将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
检测单元，用于将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
进一步的，所述的一种入侵检测装置，还包括：
优化单元，用于对所述因子分析神经图灵机入侵检测模型进行迭代优化；所述优化单元由第一计算模块、第二计算模块和筛选模块组成，其中，第一计算模块，用于将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；第二计算模块，用于根据所述误差项计算每个权重的梯度；筛选模块，用于根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
进一步的，所述的一种入侵检测装置，还包括：
判断单元，用于判断所述公共因子的典型代表变量是否突出，获取判断结果。
旋转单元，用于若所述判断结果为不突出，则对所述公共因子进行因子旋转。
本发明第三方面提供一种入侵检测***，包括：
输入装置，用于获取入侵数据集，所述入侵数据集分为测试数据集和训练数据集；
公共因子选取装置，所述公共因子选取装置与所述输入装置相连，用于从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；
训练装置，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后的训练数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型；
检测装置，所述检测装置分别与所述输入装置、训练装置相连，用于将所述降维简化后的测试数据集输送到所述因子分析神经图灵机入侵检测模型中，进行入侵检测，获取数据分类结果，以便完成对所述测试数据集的入侵检测。
本发明提供一种入侵检测方法、装置及***，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后入侵数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现测试数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，以下将对实施例描述中所需要使用的附图作简单地介绍，附图仅用于示出实施方式的目的，而并不认为是对本发明的限制。
图1为本发明实施例1中一种入侵检测方法流程示意图；
图2为本发明实施例1中一种神经图灵机组成结构示意图；
图3为本发明实施例1中一种长短期记忆网络组成结构示意图；
图4为本发明实施例2中一种入侵检测方法流程示意图；
图5为本发明实施例3中一种入侵检测装置组成结构示意图；
图6为本发明实施例4中 一种入侵检测***组成结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明术领域的技术人员通常理解的含义相同；本发明中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本发明实施例的描述中，技术术语“第一”“第二”等仅用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量、特定顺序或主次关系。在本发明实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在本发明实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本发明实施例的描述中，术语“多个”指的是两个以上（包括两个），同理，“多组”指的是两组以上（包括两组），“多片”指的是两片以上（包括两片）。
在本发明实施例的描述中，技术术语“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。
在本发明实施例的描述中，除非另有明确的规定和限定，技术术语“安装”“相连”“连接”“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；也可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明例中的具体含义。
实施例1
本实施例提供一种入侵检测方法，如图1所示，包括：
101、对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集。
本实施例对入侵数据集的具体类型不作限制，实施者可根据实际需要在DARPA98、DARPA99、DARPA00、DARPA2000、KDD99、NSL-KDD和IDS2018中任选一种或多种。本实施例对入侵数据集进行预处理包括：对入侵数据集中的各数据进行缺失值处理和归一化处理。
计算各入侵检测数据变量间的相关系数矩阵；各入侵检测数据包含于预处理后的入侵数据集中，所述各入侵检测数据中每条入侵检测数据由p个变量组成，其中，p为大于3的整数。
变量来源于数学，是计算机语言中能储存计算结果或能表示值的抽象概念，一个数据中可包含多个变量，本实施例所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数。
相关系数矩阵也称相关矩阵，是由矩阵各列间的相关系数构成的。
103、计算相关系数矩阵的特征根和特征向量。
此处将对特征根和特征向量进行简单的介绍：
从定义出发Ax=cx：A为矩阵，c为特征根，x为特征向量。矩阵A乘以x表示对向量x进行一次转换，而该转换的效果为常数c乘以向量x。一般的，求特征根和特征向量即为求出该矩阵能使哪些向量只发生拉伸，使其发生拉伸的程度如何，旨在确定当前矩阵在哪些方面产生了最大的效果，并根据所产生的各特征向量进行相关分类、研究。
104、在入侵检测数据变量中选取m个主成分变量，并根据特征根和特征向量获取因子载荷矩阵；其中，m为小于p的整数。
因子载荷的统计意义就是第i个变量与第j个公共因子的相关系数即表示X(i)依赖F(j)的比重，统计学术语称作“权”，心理学家将它叫做“载荷”，即表示第i个变量在第j个公共因子上的负荷，它反映了第i个变量在第j个公共因子上的相对重要性。本发明将心理学中的因子分析法改进并应用于入侵检测中，即在诸多入侵检测变量中找出隐藏的具有代表性的因子，在入侵检测中将入侵检测的众多网络特征融合成精简的综合特征，在实现对网络入侵数据的降维的同时降低了数据之间的相关性。
105、计算各因子的方差贡献，并累计所有因子的方差贡献率；各因子为因子载荷矩阵中的元素。
方差（Variance），应用数学里的专有名词。在概率论和统计学中，一个随机变量的方差描述的是它的离散程度，也就是该变量离其期望值的距离。方法贡献率表示同一公共因子对各变量所提供的方差贡献的总和，是用来衡量各公共因子相对重要性的参数。
106、根据预设贡献率阈值，在因子载荷矩阵中选取前K个因子为公共因子，并使用公共因子的线性组合表示入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
此处需要说明的是：本实施例中预设贡献率阈值可根据实际需求进行调整确定，此处不作具体限制。
107、将降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型。
如图2所示，神经图灵机（Neural Turing Machine，NTM）由外部存储器和神经网络控制器两部分组成。神经网络控制器通过输入输出向量与外界交互，通过使用读操作和写操作和外部存储器进行交互。在NTM中将记忆信息与神经网络解耦，并且每次只更新其中一部分记忆，因此记忆信息可以保存足够久的时间，使得神经网络控制器可以提取入侵检测数据深层特征，提高入侵检测的准确率和降低误报率。
其中，本实施例选用长短期记忆网络（Long Short-Term Memory，LSTM）作为NTM的控制器，如图3所示，LSTM是为了解决循环神经网络（Recurrent Neural Network, RNN）存在梯度消失和梯度***的问题而提出的。与RNN相比，LSTM在隐藏层中使用了记忆单元，记忆单元主要由遗忘门、输入门、输出门和自连接的记忆细胞组成。LSTM遗忘门、输入门、输出门和记忆细胞的公式如下：
遗忘门：
Figure SMS_1
；
输入门：
Figure SMS_2
；
候选记忆细胞：
Figure SMS_3
；
记忆细胞：
Figure SMS_4
；
输出门：
Figure SMS_5
；
输出：
Figure SMS_6
；
式中，
Figure SMS_10
、/>
Figure SMS_14
、/>
Figure SMS_16
和/>
Figure SMS_8
分别代表遗忘门、输入门、输出门和记忆细胞的输出，/>
Figure SMS_13
、
Figure SMS_17
、/>
Figure SMS_19
、/>
Figure SMS_7
是权重矩阵，/>
Figure SMS_11
、/>
Figure SMS_15
、/>
Figure SMS_18
、/>
Figure SMS_9
是偏置向量，/>
Figure SMS_12
是sigmoid函数。
NTM的外部存储器是存储一个N*M的矩阵，其中，Ｎ表示记忆条数，Ｍ表示每条记忆的长度。外部存储器能够进行读取和写入操作。控制器通过对输入和输出向量的读写，使用两个读头和写头有选择地对存储器进行读写操作，从而实现存储器中记忆内容的更新和拾取。
108、将降维简化后的测试数据集输入到因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对入侵数据集的入侵检测。
本发明提供一种入侵检测方法，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
实施例2
本发明实施例提供一种入侵检测方法，如图4所示，包括：
201、对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集。
本实施例选用NSL-KDD数据集为入侵数据集，相比于其它数据集（例如KDD99）NSL-KDD数据集具有以下优势:
（一）、NSL-KDD数据集的训练数据集中不包含冗余记录，所以分类器不会偏向更频繁的记录。
（二）、NSL-KDD数据集的测试数据集中没有重复的记录，使得检测率更为准确。
（三）、来自每个难度级别组的所选记录的数量与原始KDD数据集中的记录的百分比成反比。结果，不同机器学习方法的分类率在更宽的范围内变化，这使得对不同学习技术的准确评估更有效。
（四）、训练和测试中的记录数量设置是合理的，这使得在整套实验上运行实验成本低廉而无需随机选择一小部分。因此，不同研究工作的评估结果将是一致的和可比较的。
2011、对所述入侵数据集中各数据的字符型特征进行数值化。
具体地，对NSL-KDD数据集中各数据的第2列特征protocol_type、第3列特征service和第4列特征flag进行字符型特征数值化：
首先，统计对应字符型特征包含的所有取值情况； 其次，将相应字符型数据与数值型向量一一映射，例如：第二列特征protocol_type的取值类型有三种，分别为TCP,UDP,ICMP,采用one-hot编码方式获取的映射结果如表一所示：
Figure SMS_20
、
表一 protocol_type编码表
2012、对所述入侵数据集中各数据的特征进行归一化。
具体地，对各数据的特征进行归一化,即将数据特征缩放到0和1之间，本实施例使用min-max归一化来完成线性缩放，如公式（1）所示：
Figure SMS_21
（1）
式中，
Figure SMS_22
表示特征的原始值，/>
Figure SMS_23
表示归一化后的特征值，/>
Figure SMS_24
和/>
Figure SMS_25
是第
Figure SMS_26
个特征的最大值和最小值。
202、计算各入侵检测数据变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，各所述入侵检测数据由p个变量组成，其中，p为大于3的整数。
具体地，若各入侵检测数据由p个变量组成，分别用
Figure SMS_27
来表示，且每个变量的均值为0，标准差是1，现将每一个变量用/>
Figure SMS_28
个因子/>
Figure SMS_29
的线性组合来表示，如公式（2）所示：
Figure SMS_30
（2）
式中，
Figure SMS_31
，/>
Figure SMS_32
，/>
Figure SMS_33
,A为因子载荷矩阵。
因为
Figure SMS_34
是可观测随机向量，且均值向量/>
Figure SMS_35
，协方差矩阵Cov(x) =∑且协方差矩阵∑与相关矩阵R相等，所以可求得相关系数矩阵R。
203、计算所述相关系数矩阵的特征根和特征向量。
具体地，记相关系数矩阵的特征根为
Figure SMS_36
，并按照大小排序，使得
Figure SMS_37
，对应的特征向量记为/>
Figure SMS_38
。
204、在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数。
具体地，在入侵检测数据变量中选取m个主成分变量，其中，m为小于p的整数，并根据上述特征根和特征向量计算因子载荷矩阵A，如公式（3）所示：
Figure SMS_39
（3）
式中，
Figure SMS_40
为相关系数矩阵的特征根，/>
Figure SMS_41
为相关系数矩阵的特征向量，p为入侵检测数据变量的个数，m为入侵检测数据主成分变量的个数。
205、计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素。
其中，各因子的方差贡献是因子载荷矩阵中第j列元素的平方和，反映了第j个因子对原有变量总方差的解释能力。
具体地，计算各因子的方差贡献，如公式（4）所示：
Figure SMS_42
（4）
式中，i表示因子载荷矩阵中当前行，j表示因子载荷矩阵中当前列，p为入侵检测数据变量的个数。
累计方差贡献率，如公式（5）所示：
Figure SMS_43
（5）
式中，i表示因子载荷矩阵中当前行，p为入侵检测数据变量的个数，K表示公共因子个数。
206、根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后入侵数据集,也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
此处需要说明的是：本实施例对预设贡献率阈值不作具体限制，实施者可根据实际情况进行调整确定。在选取出前K个公共因子之后，即使用
Figure SMS_44
的线性组合来表示原有数据，从而获取降维简化后入侵数据集：
Figure SMS_45
；
Figure SMS_46
；
Figure SMS_47
；
Figure SMS_48
；
207、判断所述公共因子的典型代表变量是否突出，获取判断结果。
208、若所述判断结果为不突出，则对所述公共因子进行因子旋转。
其中，因子旋转的目的为使因子载荷矩阵中因子载荷的平均值尽量向 0 和1两个极值转化，大的载荷更大，小的载荷更小，让每个变量在尽可能少的因子上有比较高的载荷，从而分辨出各个因子的重要性。
现有因子旋转的方法众多，比如:方差最大旋转法、四次方最大旋转法、等量最大旋转法、斜交旋转法和正交旋转法，实施者可根据实际需求进行选择，此处不再赘述。
209、将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型。
具体地，将降维简化后的训练数据集输入到神经图灵机模型中包括擦除操作和添加操作两部分：
（一）擦除操作：神经图灵机入侵检测模型通过擦除操作将前一时刻的记忆向量
Figure SMS_49
改写为：
Figure SMS_50
（6）
式中，
Figure SMS_51
表示权重向量，/>
Figure SMS_52
表示前一时刻的记忆向量表示，/>
Figure SMS_53
表示擦除向量。
只有当第i个位置存储的
Figure SMS_54
和擦除向量/>
Figure SMS_55
都为１时，存储器单元中的元素才会被复位到0。如果权值/>
Figure SMS_56
或者擦除向量/>
Figure SMS_57
为０时，那么存储器中的记忆向量保持不变。
（二）添加操作：神经图灵机入侵检测模型在t时刻添加到存储器的记忆为：
Figure SMS_58
（7）
式中，
Figure SMS_59
表示写头产生的维数为M的附加向量。
在ｔ时刻，所有写头的擦除操作和添加操作运算结果即为存储器最后存储的内容，控制器从存储器中读取入侵检测数据信息，读取记忆的过程是生成一个定位权值向量
Figure SMS_60
，该向量长度为N，表示在N个位置对应的记忆权值大小，得出记忆向量：
Figure SMS_61
（8）
式中，
Figure SMS_62
为定位权值向量，N为向量长度。
210、对所述因子分析神经图灵机入侵检测模型进行迭代优化。
2101、将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播。
2102、根据所述误差项计算每个权重的梯度。
2103、根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
211、将降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
本发明提供一种入侵检测方法，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后入侵数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现测试数据集内待检测数据的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
实施例3
本发明实施例提供一种入侵检测装置，如图5所示，包括：
预处理单元31，用于对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集。
第一计算单元32，用于计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数。
第二计算单元33，用于计算所述相关系数矩阵的特征根和特征向量。
第一选取单元34，用于在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数。
第三计算单元35，用于计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素。
第二选取单元36，用于根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
判断单元37，用于判断所述公共因子的典型代表变量是否突出，获取判断结果。
旋转单元38，用于若所述判断结果为不突出，则对所述公共因子进行因子旋转。
训练单元39，用于将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型。
检测单元310，用于将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
优化单元311，用于对所述因子分析神经图灵机入侵检测模型进行迭代优化；所述优化单元由第一计算模块3111、第二计算模块3112和筛选模块3113组成，其中，第一计算模块3111，用于将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；第二计算模块3112，用于根据所述误差项计算每个权重的梯度；筛选模块3113，用于根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
此处需要说明的是: 本实施例中各组成单元或模块的详细介绍在其它实施例中均有阐述，此处不再赘述，实施者在实施时可自行对应查找。
本发明提供一种入侵检测装置，从入侵数据集中选取公共因子，所述入侵数据集分为测试数据集和训练数据集，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，也即获得降维简化后的测试数据集和训练数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后训练数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现测试数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
实施例4
本发明实施例提供一种入侵检测***，如图6所示，包括：
输入装置41，用于获取入侵数据集，所述入侵数据集分为测试数据集和训练数据集。
公共因子选取装置42，所述公共因子选取装置与所述输入装置相连，用于从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集。
训练装置43，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后入侵数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型。
检测装置44，所述检测装置分别与所述输入装置、训练装置相连，用于将所述降维简化后的测试数据集输送到所述因子分析神经图灵机入侵检测模型中，进行入侵检测，获取数据分类结果，以便完成对所述测试数据集的入侵检测。
此处需要说明的是: 本实施例中各装置的详细介绍在其它实施例中均有阐述，此处不再赘述，实施者在实施时可自行对应查找。
本发明提供一种入侵检测***，从入侵数据集中选取公共因子，并使用公共因子的线性组合表示入侵数据集，从而获取降维简化后入侵数据集，相比于现有技术，本发明在精简数据数量的同时，降低了数据的维度，从而缩短了入侵检测所需的时间，保障了入侵检测的时效性。
此外，本发明将降维简化后训练数据集写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型，并对其进行迭代优化，获取优化后因子分析神经图灵机入侵检测模型，从而实现待检测数据集的入侵检测，相比于现有技术，本发明将因子分析技术和神经图灵机模型进行合理、高效地结合，提高了检测准确度和模型的泛化能力。
最后应说明的是：以上各实施例仅用以说明本发明技术方案，非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (10)

1.一种入侵检测方法，其特征在于，包括：
对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
计算所述相关系数矩阵的特征根和特征向量；
在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵，所述因子载荷矩阵为p×m的矩阵；其中，m为小于p的整数；
计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
2.根据权利要求1所述的一种入侵检测方法，其特征在于，在将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型之后；还包括：
对所述因子分析神经图灵机入侵检测模型进行迭代优化。
3.根据权利要求2所述的一种入侵检测方法，其特征在于，对所述因子分析神经图灵机入侵检测模型进行迭代优化，包括：
将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；
根据所述误差项计算每个权重的梯度；
根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
4.根据权利要求1所述的一种入侵检测方法，其特征在于，在根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述入侵数据集之后，还包括：
判断所述公共因子的典型代表变量是否突出，获取判断结果；
若所述判断结果为不突出，则对所述公共因子进行因子旋转。
5.根据权利要求1所述的一种入侵检测方法，其特征在于，对入侵数据集进行预处理，包括：
对所述入侵数据集中各数据的字符型特征进行数值化；
对所述入侵数据集中各数据的特征进行归一化。
6.根据权利要求1所述的一种入侵检测方法，其特征在于，将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型包括：
将所述降维简化后的测试数据集通过擦除操作和添加操作输入到所述因子分析神经图灵机入侵检测模型。
7.一种入侵检测装置，其特征在于，包括：
预处理单元，用于对入侵数据集进行预处理，并将预处理后的入侵数据集分为测试数据集和训练数据集；
第一计算单元，用于计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的所述入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；
第二计算单元，用于计算所述相关系数矩阵的特征根和特征向量；
第一选取单元，用于在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵；其中，m为小于p的整数；
第三计算单元，用于计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；
第二选取单元，用于根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数；
训练单元，用于将所述降维简化后的训练数据集输入到神经图灵机模型中进行训练，获取因子分析神经图灵机入侵检测模型；
检测单元，用于将所述降维简化后的测试数据集输入到所述因子分析神经图灵机入侵检测模型进行检测，获取数据分类结果，以便完成对所述入侵数据集的入侵检测。
8.根据权利要求7所述的一种入侵检测装置，其特征在于，还包括：
优化单元，用于对所述因子分析神经图灵机入侵检测模型进行迭代优化；所述优化单元由第一计算模块、第二计算模块和筛选模块组成，其中，第一计算模块，用于将所述因子分析神经图灵机入侵检测模型沿时间步传播，从当前时间步开始，计算每一个时间步的误差项并将所述误差项向上一层传播；第二计算模块，用于根据所述误差项计算每个权重的梯度；筛选模块，用于根据所述梯度更新各层权重，并筛选所述因子分析神经图灵机入侵检测模型的参数组合，以便实现所述因子分析神经图灵机入侵检测模型进行迭代优化。
9.根据权利要求7所述的一种入侵检测装置，其特征在于，还包括：
判断单元，用于判断所述公共因子的典型代表变量是否突出，获取判断结果；
旋转单元，用于若所述判断结果为不突出，则对所述公共因子进行因子旋转。
10.一种入侵检测***，其特征在于，包括：
输入装置，用于获取入侵数据集，所述入侵数据集分为测试数据集和训练数据集；
公共因子选取装置，所述公共因子选取装置与所述输入装置相连，用于从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；
训练装置，所述训练装置与所述公共因子选取装置相连，用于获取所述降维简化后的训练数据集，并将其写入神经图灵机入侵检测模型进行训练，获取因子分析神经图灵机入侵检测模型；
检测装置，所述检测装置分别与所述输入装置、训练装置相连，用于将所述降维简化后的测试数据集输送到所述因子分析神经图灵机入侵检测模型中，进行入侵检测，获取数据分类结果，以便完成对所述测试数据集的入侵检测；
所述从所述入侵数据集中选取公共因子，并使用所述公共因子的线性组合表示所述入侵数据集，具体包括：
计算各入侵检测数据的各变量间的相关系数矩阵；各所述入侵检测数据包含于预处理后的入侵数据集中，所述各入侵检测数据中每条入侵检测数据均由p个变量组成，其中，p为大于3的整数；计算所述相关系数矩阵的特征根和特征向量；在所述入侵检测数据变量中选取m个主成分变量，并根据所述特征根和所述特征向量获取因子载荷矩阵，所述因子载荷矩阵为p×m的矩阵；其中，m为小于p的整数；计算各因子的方差贡献，并累计所有所述因子的方差贡献率；各所述因子为所述因子载荷矩阵中的元素；根据预设贡献率阈值，在所述因子载荷矩阵中选取前K个所述因子为公共因子，并使用所述公共因子的线性组合表示所述训练数据集，即获取降维简化后的入侵数据集，也即获得降维简化后的测试数据集和训练数据集；其中，K为小于m的整数。
CN202210058096.1A 2022-01-19 2022-01-19 一种入侵检测方法、装置及*** Active CN114422241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210058096.1A CN114422241B (zh) 2022-01-19 2022-01-19 一种入侵检测方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210058096.1A CN114422241B (zh) 2022-01-19 2022-01-19 一种入侵检测方法、装置及***

Publications (2)

Publication Number Publication Date
CN114422241A CN114422241A (zh) 2022-04-29
CN114422241B true CN114422241B (zh) 2023-07-07

Family

ID=81273831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210058096.1A Active CN114422241B (zh) 2022-01-19 2022-01-19 一种入侵检测方法、装置及***

Country Status (1)

Country Link
CN (1) CN114422241B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115102891A (zh) * 2022-05-18 2022-09-23 中国第一汽车股份有限公司 一种车辆网络入侵检测测试方法和测试***
CN117336097B (zh) * 2023-11-16 2024-04-26 国网江苏省电力有限公司信息通信分公司 一种基于大数据的网络信息安全管理方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379379A (zh) * 2018-12-06 2019-02-22 中国民航大学 基于改进卷积神经网络的网络入侵检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484602B (zh) * 2014-12-09 2018-01-16 中国科学院深圳先进技术研究院 一种入侵检测方法、装置
CN109960729B (zh) * 2019-03-28 2022-01-18 国家计算机网络与信息安全管理中心 Http恶意流量的检测方法及***
US11595434B2 (en) * 2019-05-30 2023-02-28 Morgan State University Method and system for intrusion detection
CN110825068A (zh) * 2019-09-29 2020-02-21 惠州蓄能发电有限公司 一种基于pca-cnn的工业控制***异常检测方法
CN112488145B (zh) * 2019-11-26 2024-05-28 大唐环境产业集团股份有限公司 一种基于智能化方法的NOx在线预测方法及***
CN112019529B (zh) * 2020-08-14 2022-08-12 山东中瑞电气有限公司 新能源电力网络入侵检测***
CN111931175B (zh) * 2020-09-23 2020-12-25 四川大学 一种基于小样本学习的工业控制***入侵检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379379A (zh) * 2018-12-06 2019-02-22 中国民航大学 基于改进卷积神经网络的网络入侵检测方法

Also Published As

Publication number Publication date
CN114422241A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114422241B (zh) 一种入侵检测方法、装置及***
Engelmann et al. The Basel II risk parameters: estimation, validation, and stress testing
US20220122171A1 (en) Client server system for financial scoring with cash transactions
CN112215702A (zh) 信用风险的评估方法、移动终端及计算机存储介质
CN111340086A (zh) 无标签数据的处理方法、***、介质及终端
CN114819777A (zh) 一种基于数字孪生技术的企业销售业务分析管理***
Sleimi et al. Do employee attitudes mediate the relationship between strategic human resource management practices and organizational effectiveness? A SEM based investigation using SMART-PLS software
CN113313538A (zh) 用户消费能力预测方法、装置、电子设备和存储介质
Chatterjee et al. Handbook of regression analysis with applications in R
US8364614B2 (en) Method for building predictive models with incomplete data
JP7364187B2 (ja) 会計監査支援装置、会計監査支援方法及び会計監査支援プログラム
Liu et al. A gradient-boosting decision-tree approach for firm failure prediction: an empirical model evaluation of Chinese listed companies
Sharma et al. Novel use of logistic regression and likelihood ratios for the estimation of gender of the writer from a database of handwriting features
CN116433333B (zh) 基于机器学习的数字商品交易风险防控方法及装置
Plíhal et al. Comparative analysis of credit risk models in relation to SME segment
Tongesai et al. Insurance Fraud Detection using Machine Learning
CN114358167A (zh) 一种基于主成分分析和极限学习机的滑坡易发性预测模型
Schuckers et al. Statistical methods for assessing differences in false non-match rates across demographic groups
Lin et al. The identification of corporate distress: a conditional probability analysis approach
Beade et al. Evolutionary feature selection approaches for insolvency business prediction with genetic programming
Stefania et al. Credit Risk Scoring Model Based on The Discriminant Analysis Technique
Kontrimas et al. Tracking of doubtful real estate transactions by outlier detection methods: a comparative study
Karaleu “Slice-Of-Life” customization of bankruptcy models: Belarusian experience and future development
Seidu Predicting bankruptcy risk: A gaussian process classifciation model
Gnat Testing the effectiveness of outlier detecting methods in property classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant