CN108848065A - 一种网络入侵检测方法、***、介质及设备 - Google Patents
一种网络入侵检测方法、***、介质及设备 Download PDFInfo
- Publication number
- CN108848065A CN108848065A CN201810510370.8A CN201810510370A CN108848065A CN 108848065 A CN108848065 A CN 108848065A CN 201810510370 A CN201810510370 A CN 201810510370A CN 108848065 A CN108848065 A CN 108848065A
- Authority
- CN
- China
- Prior art keywords
- sample
- label
- matrix
- transition probability
- unknown
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 167
- 230000007704 transition Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000006399 behavior Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000007480 spreading Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 7
- 230000009545 invasion Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种网络入侵检测方法、***、介质及设备，其中的方法包括：获取样本集中各个样本的样本特征，根据样本特征计算样本间的相似度，根据相似度构造样本间的样本相似度矩阵，样本集包括已知标签样本和未知标签样本；根据样本相似度矩阵确定包含样本间转移概率的的转移概率矩阵；将转移到未知标签样本的转移概率最大的已知标签样本的标签赋给未知标签样本，得到标签矩阵。本发明在转移概率矩阵的基础上，基于传播概率的最大隶属度原理对未知标签信息进行初始化，与未知标签的随机初始化相比，收敛速度更快，同时，收敛到全局最优解的概率更高。
Description
技术领域
本发明涉及计算机网络信息安全技术领域，具体涉及一种网络入侵检测方法、***、介质及设备。
背景技术
随着互联网技术的快速发展，人们通过计算机网络共享各种形式的信息，计算机网络给人们的生活带来了极大的便利。然而，网络入侵的风险性也相应地急剧增多，***安全和私有信息时刻受到网络入侵行为的潜在威胁。当前，网络入侵检测***成为防御网络入侵的重要手段，但现有的采用标签传播算法的网络入侵检测***在进行标签初始化时，对未知标签采用的是随机初始化的方式，采用这种标签初始化方式的标签传播算法存在收敛速度慢，同时，收敛到全局最优解的概率小的问题。
发明内容
针对上述技术问题，本发明提供一种网络入侵检测方法、***、介质及设备。
本发明解决上述技术问题的技术方案如下：一种网络入侵检测方法，包括：
获取样本集中各个样本的样本特征，根据所述样本特征计算样本间的相似度，根据所述相似度构造样本间的样本相似度矩阵，所述样本集包括已知标签样本和未知标签样本；
根据所述样本相似度矩阵确定所述样本集的转移概率矩阵；
将所述转移概率矩阵中，转移到未知标签样本的概率最大的已知标签样本的标签赋给所述未知标签样本，得到标签矩阵，所述标签矩阵包括所述样本集中各个样本的标签信息，所述标签信息用于标识对应的样本是正常网络行为或非法网络入侵行为。
为实现上述发明目的，本发明还提供一种网络入侵检测***，包括：
计算模块，用于获取样本集中各个样本的样本特征，根据所述样本特征计算任意两个样本间的相似度，根据所述相似度构造样本间的样本相似度矩阵，所述样本集包括已知标签样本和未知标签样本；
确定模块，用于根据所述样本相似度矩阵，确定所述样本集的转移概率矩阵；
初始化模块，用于将所述转移概率矩阵中，转移到未知标签样本的概率最大的已知标签样本的标签赋给所述未知标签样本，得到标签矩阵，所述标签矩阵包括所述样本集中各个样本的标签信息，所述标签信息用于标识对应的样本是正常网络行为或非法网络入侵行为。
本发明还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述方法。
本发明还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明的有益效果是：在转移概率矩阵的基础上，基于传播概率的最大隶属度原理对未知标签信息进行初始化，即将转移概率矩阵中，转移到未知标签样本的概率最大的已知标签样本的标签赋给该未知标签样本，采用这种标签初始化方式的标签传播算法，与未知标签的随机初始化相比，收敛速度更快，同时，收敛到全局最优解的概率更高。
附图说明
图1为本发明实施例提供的一种网络入侵检测方法的流程图；
图2为本发明实施例提供的一种网络入侵检测***的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的一种网络入侵检测方法的流程图，如图1所示，该方法包括：
S101、获取样本集中各个样本的样本特征，根据所述样本特征计算样本间的相似度，根据所述相似度构造样本间的样本相似度矩阵，所述样本集包括已知标签样本和未知标签样本，其中，所述样本集从网络数据中采集，所述样本特征从所述样本集的各个样本中提取；
S102、根据所述样本相似度矩阵，确定包含样本间转移概率的的转移概率矩阵；
S103、将转移到未知标签样本的转移概率最大的已知标签样本的标签赋给所述未知标签样本，得到标签矩阵，所述标签矩阵包括所述样本集中各个样本的标签信息，所述标签信息用于标识对应的样本是正常网络行为或非法网络入侵行为。
需要说明的是，从网络数据中采集网络数据生成样本集，可以实时监控网络数据，从网络数据中的下列至少一个信息中采集样本构成样本集：流量信息、数据包信息、协议信息、端口信息、端口流量信息、地址信息、TCP标志位信息等。
获取样本集中各个样本的样本特征，其中，样本特征指用于判别网络数据种类的特征数据，从上述信息中提取描述网络数据状态的样本特征，具体包括下列数据中的若干种：流报文数量、流字节数、流开始时间、流结束时间、包长振荡频率、数据包平均间隔、平均包长、SYN包个数、协议类型、源端口、目的端口、每秒发送的数据包数量、源地址、目的地址等。
样本集包括已知标签样本和未知标签样本。假设SL＝{(xi，yi)}，i＝1，…，L为已知标签样本集合,SU＝{(xi，yi)}，i＝L+1，…，L+U为未知标签样本集合，其中，yi,i＝1,…L为已知的样本标签，yi,i＝L+1,…,L+U为未知的样本标签，YL＝{yi}，i＝1，…，L是已知样本标签集合，YU＝{yi}，i＝L+1，…，L+U为未知样本标签集合，每个样本具有一个标签，每个标签中包含该样本属于各类行为的子标签，子标签代表样本属于某一类行为的概率，每个样本的各个子标签之和为1。在网络入侵检测***中，行为通常包含两类，即正常网络行为和非法网络入侵行为，因此，在已知样本标签集合YL中，正常网络行为对应的样本的正常网络行为子标签为1，非法网络入侵行为子标签为0，而非法网络入侵行为对应的样本的非法网络入侵行为子标签为1，正常网络行为子标签为0；X＝{xi}，i＝1，…，L+U为样本特征集合，xi,i＝1,…,L+U为样本特征，xi包括样本i的D个特征，通常情况下，L<<U。网络入侵检测的问题就是利用X和YL计算YU，实现标签传播。
网络入侵检测问题的一个重要假设是距离小的样本具有相似的标签，因此，样本相似度计算至关重要。具体来说，样本相似度矩阵W为L+U阶方阵，通过样本特征集合X计算得到。具体来说，给定样本特征集合X，样本相似度矩阵W可以采用指数函数计算得到：
其中，i和j是样本的索引号，i＝1,…,L+U j＝1,…,L+U，Wij表示样本i和样本j之间的相似度，k是样本特征的索引号，k＝1…D，D是每个样本的样本特征的数量，xik是样本i的第k个特征，xjk是样本j的第k个特征，σ2是样本方差参数，dij是样本i和样本j之间的距离。
需要说明的是，样本相似度计算还可以根据具体数据特点采用不同的距离函数，如余弦相似度、皮尔逊系数、欧式距离、曼哈顿距离等任何满足网络入侵检测假设的距离度量方法。
例如，在计算高维数据样本的相似度时，可采用余弦相似度的计算方法，设两个样本的特征向量分别为A和B，θ是两个向量之间的夹角，那么两个特征向量(样本)之间的余弦相似度为：
在样本相似度矩阵W中，任意两个样本之间的相似度Wij越大，样本标签越倾向于相同。要实现标签从已知标签样本到未知标签样本的传播，需要基于样本相似度矩阵W计算得到转移概率矩阵T，T为L+U阶方阵，具体计算公式为
其中，Tij表示矩阵T中第i行第j列的元素，Pr(j→i)表示标签从样本j传播给样本i的概率，Wij表示样本i和样本j之间的相似度，Wkj表示样本h和样本j之间的相似度，其中，h＝1,…,L+U i＝1,…,L+U j＝1,…,L+U。
我们定义一个(L+U)×2的标签矩阵Y，第一列为正常网络行为子标签，第二列为非法网络入侵行为子标签，将集合YL和YU中的元素填入标签矩阵Y中，因此，标签矩阵Y包含两部分：L×2的已知标签子矩阵和U×2的未知标签子矩阵，其中，已知标签子矩阵的元素取值0或者1，未知标签子矩阵的元素取值待初始化。在转移概率矩阵T的基础上，我们基于传播概率的最大隶属度原理对未知标签信息进行初始化。对于未知标签样本集合SU中的样本i，在已知标签样本集合SL中找出转移到该样本i的概率最大的样本j*，将样本j*的标签赋给未知标签的样本i，作为样本i的初始化标签。具体公式如下：
j*＝argmaxjTij，j＝1，…，L， (3)
其中，T表示转移概率矩阵，j*表示转移到未知标签样本i的概率最大的已知标签样本的索引号，表示已知标签子矩阵中已知标签样本j*的标签，yi表示样本i的标签，即样本i对应的行为属于正常网络行为或非法网络入侵行为的概率。
举例说明如下：现有已知标签样本1、2和未知标签样本3、4，计算得到的转移概率矩阵其中T13和T23为已知标签样本1和2到未知标签样本3的转移概率，若T13＞T23，即转移到样本3的概率最大的已知标签样本为样本1，则将样本1的标签赋予样本3。
本发明实施例提供的一种网络入侵检测方法，在转移概率矩阵的基础上，基于传播概率的最大隶属度原理对未知标签信息进行初始化，即将转移概率矩阵中，转移到未知标签样本的概率最大的已知标签样本的标签赋给该未知标签样本，采用这种标签初始化方式的标签传播算法，与未知标签的随机初始化相比，收敛速度更快，同时，收敛到全局最优解的概率更高。
可选地，在该实施例中，该方法还包括：
S201、根据所述转移概率矩阵，对所述标签矩阵进行一次迭代并进行归一化；
S202、用所述已知标签样本的标签信息替换所述标签矩阵中对应位置的数值；
S203、将所述标签矩阵中数值高于预设阈值α的未知标签标识为1，低于1-α的未知标签标识为0，其中，α∈(0.5,1)；
S204、根据所述标签矩阵，对所述转移概率矩阵进行更新并进行归一化；
S205、重复以上步骤，直到所述标签矩阵收敛或者达到最大迭代次数。
具体的，原始标签传播算法的基本步骤为：
(1)标签矩阵传播计算Y(t+1)＝T×Y(t)；
其中，Y(t+1)为第t+1次更新后的标签矩阵，T为转移概率矩阵，Y(t)为第t次更新后的标签矩阵。
(2)标签矩阵归一化Y(t+1)＝norm(Y(t+1))；
(3)用已知标签信息替换标签矩阵中的对应数值；
归一化处理后，标签矩阵中处于已知标签位置的数值会发生变化，这一步是用该位置原先的已知标签替换现在的数值。
(4)重复以上步骤，直至算法收敛。
上述过程中，标签传播转移概率矩阵T一直是固定不变的。然而，在实际计算过程中，由于人为经验不足、数据特征不充分等原因，初始的标签传播转移概率矩阵T通常不是最优的，造成算法不会沿着最快的方向收敛，因此，本专利根据迭代过程的中间结果Y(t+1)对转移概率矩阵T进行更新优化，以提升算法的收敛速度和计算精度。
转移概率矩阵T更新优化的基本思想是如果两个样本中间标签相同，那么它们的相似度应该很高；反之，如果两个样本的中间标签不同，那么它们的相似度应该很低。设置置信度阈值为α∈(0.5,1)，如果一个样本的概率标签大于α，则认为该样本中间标签为1，反之，如果一个样本的概率标签小于1-α，则认为该样本的中间标签为0。如果两个样本的中间标签相同，那么算法迭代过程会增大它们之间的转移概率，否则，迭代过程会减小它们之间的转移概率。给定参数η∈(0,1)，转移概率矩阵T(t+1)的具体计算公式为：
其中，表示第t次更新后的转移概率矩阵T中第i行第j列的元素，i＝1,…,L+Uj＝1,…,L+U，L为已知标签样本的数量，U为未知标签样本的数量，η表示学习步长，直接影响转移概率矩阵的更新速度，学习步长越大，转移概率矩阵更新越快，表示样本i在第t+1次迭代后的标签矩阵中的标签，表示样本j在第t+1次迭代后的标签矩阵中的标签，t为非负整数。
对转移概率矩阵T(t+1)按列进行归一化后，执行标签传播算法的新一轮迭代。综上可得，基于动态转移概率矩阵标签传播的网络入侵检测方法的基本步骤为：
(1)标签矩阵传播计算Y(t+1)＝T(t)×Y(t)；
(2)标签矩阵归一化Y(t+1)＝norm(Y(t+1))；
(3)用已知标签子矩阵YL替换标签矩阵Y(t+1)中的对应数值；
(4)将Y(t+1)标签概率高于置信度阈值α的未知标签标识为1，标签概率低于1-α的未知标签标识为0；
(5)根据公式(6)和公式(7)更新转移概率矩阵得到T(t+1)，并按列进行归一化；
(6)重复以上步骤，直至算法到达终止条件(如达到最大迭代次数或者算法收敛)。
上述实施例中，根据迭代计算得到的标签矩阵对转移概率矩阵进行更新优化，可提升算法的收敛速度和计算精度。
本发明实施例提供的一种网络入侵检测方法，在现有的标签传播算法的基础上，将最大隶属度和数据均衡因素考虑到其中，进行标签初始化顺序确定，同时，对转移概率矩阵进行动态更新，以提高算法的稳定性和准确度。
可选地，在该实施例中，在得到标签矩阵之后，该方法还包括：
S301、当所述样本中包含存量样本和增量样本时，按照下列公式，对所述标签矩阵进行更新：
其中，为第t+1次更新后的标签矩阵，T11为所述存量样本的转移概率矩阵，T22为所述增量样本的转移概率矩阵，T21为所述增量样本向所述存量样本的转移概率矩阵，T12为所述存量样本向所述增量样本的转移概率矩阵，Y1为存量样本的标签矩阵，Y2为所述增量样本的标签矩阵，t为非负整数。
具体的，随着时间的推移，网络入侵检测***收集的网络数据是实时增加的。要想挖掘最新网络数据蕴含的入侵模式，需要及时将新增的数据添加到网络入侵检测模型中。然而，将新增数据与历史存量数据一块训练新的网络入侵检测模型的计算代价非常大。因此，一种可取的方式是采用增量学习的方式，利用新增数据对已有模型进行更新。
假设添加新增数据后的转移概率矩阵为将按照存量数据和新增数据进行分块，并且按列进行归一化后，可以得到：
其中，为第t+1次更新后的标签矩阵，T11为所述存量样本的转移概率矩阵，T22为所述增量样本的转移概率矩阵，T21为所述增量样本向所述存量样本的转移概率矩阵，T12为所述存量样本向所述增量样本的转移概率矩阵。
类似地，添加新增数据后的标签矩阵为其中，Y1为存量样本的标签矩阵，Y2为增量样本的标签矩阵。
这样，添加增量样本后的标签传播计算为：
其中，T11和Y1都是已知的，T11Y1不需要进行重复计算，其它三部分需要迭代计算。在一段时间内，存量数据通常远远多于新增数据，因此，T11Y1的计算量远远大于其它三部分，这样，增量学习的方式大大降低了模型更新的计算复杂度。
上述实施例中，对于增量样本的标签传播算法采用增量学习的方式，大大降低了模型更新的计算复杂度。
本发明实施例提供的一种网络入侵检测方法，在现有的标签传播算法的基础上，将最大隶属度和数据均衡因素考虑到其中，进行标签初始化顺序确定，同时，对转移概率矩阵进行动态更新，以提高算法的稳定性和准确度。针对增量数据的情况，通过增量学习机制实现算法的在线更新，及时将最新的数据用到模型训练中，并且大大降低了模型更新的计算复杂度。
相应地，本发明实施例还提供一种网络入侵检测***，如图2所示，该***包括：
计算模块，用于获取样本集中各个样本的样本特征，根据所述样本特征计算任意两个样本间的相似度，根据所述相似度构造样本间的样本相似度矩阵，所述样本集包括已知标签样本和未知标签样本，其中，所述样本集从网络数据中采集，所述样本特征从所述样本集的各个样本中提取；
确定模块，用于根据所述样本相似度矩阵，确定包含样本间转移概率的的转移概率矩阵；
初始化模块，用于将转移到未知标签样本的转移概率最大的已知标签样本的标签赋给所述未知标签样本，得到标签矩阵，所述标签矩阵包括所述样本集中各个样本的标签信息，所述标签信息用于标识对应的样本是正常网络行为或非法网络入侵行为。
上述实施例中，可以利用少量已知标签样本和海量未知标签样本建立高效的网络入侵检测模型，提高了网络入侵检测模型的稳定性和准确度，从而提升网络入侵检测的性能，降低网络入侵造成的损失。
可选地，在该实施例中，所述初始化模块，具体用于将所述转移概率矩阵中，转移到未知标签样本的概率最大的已知标签样本的标签赋给所述未知标签样本。
上述实施例中，基于最大隶属度的标签初始化的标签传播算法收敛速度更快，同时，收敛到全局最优解的概率更高。
可选地，在该实施例中，该***还包括：
迭代模块，用于根据所述转移概率矩阵，对所述标签矩阵进行一次迭代并进行归一化；
替换模块，用于用所述已知标签样本的标签信息替换所述标签矩阵中对应位置的数值；
标识模块，用于将所述标签矩阵中数值高于预设阈值α的未知标签标识为1，低于1-α的未知标签标识为0，其中，α∈(0.5,1)；
第一更新模块，用于根据所述标签矩阵，对所述转移概率矩阵进行更新并进行归一化；
重复模块，用于重复以上步骤，直到所述标签矩阵收敛或者达到最大迭代次数。
上述实施例中，根据迭代计算得到的标签矩阵对转移概率矩阵进行更新优化，可提升算法的收敛速度和计算精度。
可选地，在该实施例中，所述更新模块，具体用于按照下列公式，对所述转移概率矩阵进行更新：
其中，表示第t次更新后的转移概率矩阵T中第i行第j列的元素，i＝1,…,L+Uj＝1,…,L+U，L为已知标签样本的数量，U为未知标签样本的数量，η表示学习步长，Yi (t+1)表示样本i在第t+1次迭代后的标签矩阵中的标签，表示样本j在第t+1次迭代后的标签矩阵中的标签，t为非负整数。
可选地，在该实施例中，该***还包括：
第二更新模块，用于当所述样本中包含存量样本和增量样本时，按照下列公式，对所述标签矩阵进行更新：
其中，为第t+1次更新后的标签矩阵，T11为所述存量样本的转移概率矩阵，T22为所述增量样本的转移概率矩阵，T21为所述增量样本向所述存量样本的转移概率矩阵，T12为所述存量样本向所述增量样本的转移概率矩阵，Y1为存量样本的标签矩阵，Y2为所述增量样本的标签矩阵，t为非负整数。
上述实施例中，对于增量样本的标签传播算法采用增量学习的方式，大大降低了模型更新的计算复杂度。
本发明实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述方法。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
本发明实施例实验使用的数据是网络入侵检测领域的经典数据集，来源于1998年美国国防部高级规划署(DARPA)在MIT林肯实验室进行了一项入侵检测评估项目。林肯实验室建立了模拟美国空军局域网的一个网络环境，收集了9周时间的TCPdump网络连接和***审计数据，仿真各种用户类型、各种不同的网络流量和攻击手段，使它就像一个真实的网络环境。这些TCPdump采集的原始数据被分为两个部分：7周时间的训练数据大概包含5,000,000多个网络连接记录，剩下的2周时间的测试数据大概包含2,000,000个网络连接记录。以上数据用于测试本发明实施例的技术效果，结果表明本发明提出的网络入侵检测方法在训练速度和算法准度两个方面都优于基于传统标签传播的网络入侵检测方法及***。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种网络入侵检测方法，其特征在于，包括：
获取样本集中各个样本的样本特征，根据所述样本特征计算样本间的相似度，根据所述相似度构造样本间的样本相似度矩阵，所述样本集包括已知标签样本和未知标签样本；
根据所述样本相似度矩阵，确定包含样本间转移概率的转移概率矩阵；
将转移到未知标签样本的转移概率最大的已知标签样本的标签赋给所述未知标签样本，得到标签矩阵，所述标签矩阵包括所述样本集中各个样本的标签信息，所述标签信息用于标识对应的样本是正常网络行为或非法网络入侵行为。
2.根据权利要求1所述的方法，其特征在于，在得到标签矩阵之后，还包括：
根据所述转移概率矩阵，对所述标签矩阵进行一次迭代并进行归一化；
用所述已知标签样本的标签信息替换完成归一化的标签矩阵中对应位置的数值；
将所述完成归一化的标签矩阵中数值高于α的未知标签标识为1，低于1-α的未知标签标识为0，其中，α∈(0.5,1)；
根据完成标识的标签矩阵，对所述转移概率矩阵进行更新并进行归一化；
重复以上步骤，直到所述标签矩阵收敛或者达到最大迭代次数。
3.根据权利要求2所述的方法，其特征在于，所述根据完成标识的标签矩阵，对所述转移概率矩阵进行更新的公式为：
其中，表示第t次更新后的转移概率矩阵T中第i行第j列的元素，i＝1,…,L+U j＝1,…,L+U，L为已知标签样本的数量，U为未知标签样本的数量，η表示学习步长，表示样本i在第t+1次迭代后的标签矩阵中的标签，表示样本j在第t+1次迭代后的标签矩阵中的标签，t为非负整数。
4.根据权利要求1-3任一项所述的方法，其特征在于，在得到标签矩阵之后，还包括：
当所述样本中包含存量样本和增量样本时，按照下列公式，对所述标签矩阵进行更新：
其中，为第t+1次更新后的标签矩阵，T11为所述存量样本的转移概率矩阵，T22为所述增量样本的转移概率矩阵，T21为所述增量样本向所述存量样本转移的转移概率矩阵，T12为所述存量样本向所述增量样本转移的转移概率矩阵，Y1为存量样本的标签矩阵，Y2为所述增量样本的标签矩阵，t为非负整数。
5.一种网络入侵检测***，其特征在于，包括：
计算模块，用于获取样本集中各个样本的样本特征，根据所述样本特征计算任意两个样本间的相似度，根据所述相似度构造样本间的样本相似度矩阵，所述样本集包括已知标签样本和未知标签样本；
确定模块，用于根据所述样本相似度矩阵，确定包含样本间转移概率的的转移概率矩阵；
初始化模块，用于将转移到未知标签样本的转移概率最大的已知标签样本的标签赋给所述未知标签样本，得到标签矩阵，所述标签矩阵包括所述样本集中各个样本的标签信息，所述标签信息用于标识对应的样本是正常网络行为或非法网络入侵行为。
6.根据权利要求5所述的***，其特征在于，还包括：
迭代模块，用于根据所述转移概率矩阵，对所述标签矩阵进行一次迭代并进行归一化；
替换模块，用于用所述已知标签样本的标签信息替换所述标签矩阵中对应位置的数值；
标识模块，用于将所述标签矩阵中数值高于预设阈值α的未知标签标识为1，低于1-α的未知标签标识为0，其中，α∈(0.5,1)；
第一更新模块，用于根据所述标签矩阵，对所述转移概率矩阵进行更新并进行归一化；
重复模块，用于重复以上步骤，直到所述标签矩阵与迭代前的标签矩阵相同或者达到最大迭代次数。
7.根据权利要求6所述的***，其特征在于，所述第一更新模块根据所述标签矩阵，对所述转移概率矩阵进行更新的公式为：
其中，表示第t次更新后的转移概率矩阵T中第i行第j列的元素，i＝1,…,L+U j＝1,…,L+U，L为已知标签样本的数量，U为未知标签样本的数量，η表示学习步长，表示样本i在第t+1次迭代后的标签矩阵中的标签，表示样本j在第t+1次迭代后的标签矩阵中的标签，t为非负整数。
8.根据权利要求5-7任一项所述的***，其特征在于，还包括：
第二更新模块，用于当所述样本中包含存量样本和增量样本时，按照下列公式，对所述标签矩阵进行更新：
其中，为第t+1次更新后的标签矩阵，T11为所述存量样本的转移概率矩阵，T22为所述增量样本的转移概率矩阵，T21为所述增量样本向所述存量样本转移的转移概率矩阵，T12为所述存量样本向所述增量样本转移的转移概率矩阵，Y1为存量样本的标签矩阵，Y2为所述增量样本的标签矩阵，t为非负整数。
9.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在计算机上运行时，使所述计算机执行根据权利要求1-4任一项所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810510370.8A CN108848065B (zh) | 2018-05-24 | 2018-05-24 | 一种网络入侵检测方法、***、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810510370.8A CN108848065B (zh) | 2018-05-24 | 2018-05-24 | 一种网络入侵检测方法、***、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108848065A true CN108848065A (zh) | 2018-11-20 |
| CN108848065B CN108848065B (zh) | 2020-12-11 |
Family
ID=64213476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810510370.8A Active CN108848065B (zh) | 2018-05-24 | 2018-05-24 | 一种网络入侵检测方法、***、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108848065B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934698A (zh) * | 2019-01-29 | 2019-06-25 | 华融融通（北京）科技有限公司 | 一种基于标签传播的欺诈关联网络特征提取方法 |
| CN110428139A (zh) * | 2019-07-05 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 基于标签传播的信息预测方法及装置 |
| CN111401675A (zh) * | 2019-12-31 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 基于相似性的风险识别方法、装置、设备及存储介质 |
| CN111582313A (zh) * | 2020-04-09 | 2020-08-25 | 上海淇毓信息科技有限公司 | 样本数据生成方法、装置及电子设备 |
| CN112132178A (zh) * | 2020-08-19 | 2020-12-25 | 深圳云天励飞技术股份有限公司 | 对象分类方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463202A (zh) * | 2014-11-28 | 2015-03-25 | 苏州大学 | 一种多类图像半监督分类方法及*** |
| CN105335756A (zh) * | 2015-10-30 | 2016-02-17 | 苏州大学 | 一种鲁棒学习模型与图像分类*** |
| US20160277423A1 (en) * | 2015-03-16 | 2016-09-22 | Threattrack Security, Inc. | Malware detection based on training using automatic feature pruning with anomaly detection of execution graphs |
-
2018
- 2018-05-24 CN CN201810510370.8A patent/CN108848065B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463202A (zh) * | 2014-11-28 | 2015-03-25 | 苏州大学 | 一种多类图像半监督分类方法及*** |
| US20160277423A1 (en) * | 2015-03-16 | 2016-09-22 | Threattrack Security, Inc. | Malware detection based on training using automatic feature pruning with anomaly detection of execution graphs |
| CN105335756A (zh) * | 2015-10-30 | 2016-02-17 | 苏州大学 | 一种鲁棒学习模型与图像分类*** |
Non-Patent Citations (1)
| Title |
|---|
| 张宜浩: "《基于半监督学习的个性化推荐研究》", 《中国优秀硕士学位论文全文库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934698A (zh) * | 2019-01-29 | 2019-06-25 | 华融融通（北京）科技有限公司 | 一种基于标签传播的欺诈关联网络特征提取方法 |
| CN110428139A (zh) * | 2019-07-05 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 基于标签传播的信息预测方法及装置 |
| CN111401675A (zh) * | 2019-12-31 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 基于相似性的风险识别方法、装置、设备及存储介质 |
| CN111582313A (zh) * | 2020-04-09 | 2020-08-25 | 上海淇毓信息科技有限公司 | 样本数据生成方法、装置及电子设备 |
| CN111582313B (zh) * | 2020-04-09 | 2023-05-02 | 上海淇毓信息科技有限公司 | 样本数据生成方法、装置及电子设备 |
| CN112132178A (zh) * | 2020-08-19 | 2020-12-25 | 深圳云天励飞技术股份有限公司 | 对象分类方法、装置、电子设备及存储介质 |
| CN112132178B (zh) * | 2020-08-19 | 2023-10-13 | 深圳云天励飞技术股份有限公司 | 对象分类方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108848065B (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108848065A (zh) | 一种网络入侵检测方法、***、介质及设备 | |
| Wang et al. | Recursive fact-finding: A streaming approach to truth estimation in crowdsourcing applications | |
| Pfeiffer III et al. | Attributed graph models: Modeling network structure with correlated attributes | |
| CN112615888B (zh) | 一种网络攻击行为的威胁评估方法及装置 | |
| Jin et al. | Modeling with node degree preservation can accurately find communities | |
| US10389680B2 (en) | Domain name and internet address approved and disapproved membership interface | |
| CN111932386B (zh) | 用户账号确定方法及装置、信息推送方法及装置、电子设备 | |
| CN110460458A (zh) | 基于多阶马尔科夫链的流量异常检测方法 | |
| Ouyang et al. | Parallel and streaming truth discovery in large-scale quantitative crowdsourcing | |
| García-Pérez et al. | Precision as a measure of predictability of missing links in real networks | |
| Jin et al. | Crime-GAN: A context-based sequence generative network for crime forecasting with adversarial loss | |
| CN110061870A (zh) | 一种战术互联网中基于节点与边联合效能评估方法 | |
| CN112835995A (zh) | 一种基于解析关系的域名图嵌入表示分析方法及装置 | |
| Passino et al. | Mutually exciting point process graphs for modeling dynamic networks | |
| CN114896977A (zh) | 一种物联网实体服务信任值的动态评估方法 | |
| CN108536776A (zh) | 一种社交网络中的统一用户恶意行为检测方法和*** | |
| Liu et al. | Effective semisupervised community detection using negative information | |
| CN115913992A (zh) | 一种基于小样本机器学习的匿名网络流量分类方法 | |
| CN113079168B (zh) | 一种网络异常检测方法、装置及存储介质 | |
| CN115965795A (zh) | 一种基于网络表示学习的深暗网群体发现方法 | |
| CN111611498B (zh) | 一种基于领域内部语义的网络表示学习方法及*** | |
| Kumar et al. | Identification of influential vertices in complex networks: A hitting time‐based approach | |
| CN117692252B (zh) | 渗透测试路线规划方法和装置、电子设备及存储介质 | |
| Liu et al. | Network anomaly detection based on BQPSO-BN algorithm | |
| CN112884161B (zh) | 一种抗标签翻转攻击的协同学习方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A network intrusion detection method, system, medium, and device Granted publication date: 20201211 Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee Pledgor: CLP RUNS (BEIJING) INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2024990000216 |