CN114726589A - 一种报警数据融合方法 - Google Patents

一种报警数据融合方法 Download PDF

Info

Publication number
CN114726589A
CN114726589A CN202210267375.9A CN202210267375A CN114726589A CN 114726589 A CN114726589 A CN 114726589A CN 202210267375 A CN202210267375 A CN 202210267375A CN 114726589 A CN114726589 A CN 114726589A
Authority
CN
China
Prior art keywords
alarm
preset
similarity
time window
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210267375.9A
Other languages
English (en)
Inventor
陶星宇
黄义杰
高翔
肖华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Paienjie Network Security Co ltd
Nanjing Polytechnic Institute
Original Assignee
Jiangsu Paienjie Network Security Co ltd
Nanjing Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Paienjie Network Security Co ltd, Nanjing Polytechnic Institute filed Critical Jiangsu Paienjie Network Security Co ltd
Priority to CN202210267375.9A priority Critical patent/CN114726589A/zh
Publication of CN114726589A publication Critical patent/CN114726589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H04L41/0622—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time based on time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种报警数据融合方法，将获得的报警数据预处理为预设的格式即所有报警序列根据预设的时间差合并为报警时间窗集合；将子时间窗集合进行多种属性相似度计算；将计算出的多种属性相似度，带入预设的判断矩阵，计算出判断矩阵的特征值以及对应的特征向量，将达到预设的相似度阈值的子时间窗集合的报警数据进行融合，然后输入到融合数据集；若未达到预设的相似度阈值的子时间窗集合则直接输入到融合数据集；将所有子时间窗集合的融合数据集组成精简警报数据集输出。本发明能够对报警数据中普遍存在大量冗余或者误报的报警，找出关键的安全事件的问题。

Description

一种报警数据融合方法
技术领域
本发明涉及网络安全技术领域，具体涉及一种报警数据融合方法。
背景技术
随着网络安全威肋、不断增加，对入侵检测领域的研究己经成为整个计算机科学领域的研究热点。入侵检测从最早提出发展到现在，各类检测技术在不断发展及成熟，例如有基于检测机制的、基于检测数据源的检测技术等。相关产品种类也日益丰富，有基于主机的、网络的IDS以及分布式IDS等。除此之外，国内外研究学者也对入侵检测方法进行了大量的研究。传统安全防护体系对在大量报警的处理上效率低下、错误率高且容易忽略关键报警信息。报警融合技术的提出是为了减少IDS产生的报警数据中的冗余报警和误报警，为下一阶段的报警关联分析提供有价值的报警数据。报警融合技术主要是通过将高相
似度的报警数据进行合并，以减少冗余和误报的报警数据。
发明内容
1.所要解决的技术问题：
针对上述技术问题，本发明提供一种报警数据融合方法，对攻击事件产生大量报警数据中重复、低级别的数据的属性进行相似度计算，采
2.技术方案：
一种报警数据融合方法，其特征在于：将获得的报警数据预处理为预设的格式即所有报警序列；将所有报警序列根据报警时间进行划分，将时间差小于预设的间隔阈值的前一个报警划分到前一个时间窗口i-1内；如果时间差大于等于预设的间隔阈值，则将该警报划分至下一个报警时间的始点得到现在的子时间窗口i；基于此，将所有报警序列划分为n个子时间窗集合，n个子时间窗集合合并为报警时间窗集合；
将子时间窗集合进行多种属性相似度计算；所述属性相似度包括IP地址、端口号、检测发生时间以及攻击类型相似度的计算；将计算出的多种属性相似度，带入预设的判断矩阵，计算出判断矩阵的特征值以及对应的特征向量，并求出其最大特征值及其对应的特征向量；将达到预设的相似度阈值的子时间窗集合的报警数据进行融合，然后输入到融合数据集；若未达到预设的相似度阈值的子时间窗集合则直接输入到融合数据集；
将所有子时间窗集合的融合数据集组成精简警报数据集输出。
进一步地，所述预处理为具体包括对原始数据集提取报警数据的关键属性；根据入侵检测消息交换格式将原始数据的格式转换成统一序列得到所有报警序列；所述关键属性包括特征字符串、报警类别、报警日期、报警时间戳、源IP、源端口、目的IP和目的端口。
进一步地，所述属性相似度计算中对IP地址相似度计算为：
Figure BDA0003552370180000021
(1)式中，l为存在多个连续相同的位数，ε为预设的IP相似度阈值；l为多个连续相同的位数的数目，l∈[1，32]；
端口相似度计算为：
Figure BDA0003552370180000022
(2)式中，alert port表示端口号，alert1.Port为端口号为1的端口号；
检测发生时间相似度为：
Figure BDA0003552370180000023
(3)式中，Tmin为预设报警时间最小阈值，Tmax为预设报警时间最大阈值，其中TimeInterval＝alert1.t ime-alert2.time，即为两个连续报警时间差；
攻击类型相似度计算为：
Figure BDA0003552370180000024
(4)式中，alert.type表示报警的类型。
进一步地，所述预设的判断矩阵为A＝(aij)n*n，其中aij为预设的关键属性i对相似度j的重要性，具体为[1，9]区间的整数，其中数字1，3，5，7，9分别表示权重为一样重要、较重要、重要、很重要和绝对重要，2，4，6，8是介于上述两个相邻判断的中间。
3.有益效果：
本发明的一种报警数据融合方法，针对报警数据中普遍存在大量冗余或者误报的报警，难以从中找出关键的安全事件的问题，借助结合权重分析和时间划分的数据融合技术，提出一种报警数据融合方法。针对报警数据的属性之间存在一定的联系，每个属性字段的相对重要性也不一样，即利用属性相似度计算方法代替谱聚类中传统的相似度度量方法来构造报警数据间的相似度矩阵，可以维持报警数据间的联系下实现更好地的聚类。该方法可以在不破坏报警之间的联系的情况下实现更好地聚类融合，减少信息缺失，又能在提高融合率的同时，降低了报警数据的误报率。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图对本发明进行具体的说明。
如附图1所示，一种报警数据融合方法，其特征在于：将获得的报警数据预处理为预设的格式即所有报警序列；将所有报警序列根据报警时间进行划分，将时间差小于预设的间隔阈值的前一个报警划分到前一个时间窗口i-1内；如果时间差大于等于预设的间隔阈值，则将该警报划分至下一个报警时间的始点得到现在的子时间窗口i；基于此，将所有报警序列划分为n个子时间窗集合，n个子时间窗集合合并为报警时间窗集合。
当端口遭到DoS攻击，会在短时间内产生大量相同或者类似的报警，一般来说，同一完整持续攻击下引发报警时间间隔较短，分布集中，通过上述方法能够将同一攻击事件与不同攻击事件引发的报警进行有效划分。
将子时间窗集合进行多种属性相似度计算；所述属性相似度包括IP地址、端口号、检测发生时间以及攻击类型相似度的计算；将计算出的多种属性相似度，带入预设的判断矩阵，计算出判断矩阵的特征值以及对应的特征向量，并求出其最大特征值及其对应的特征向量；将达到预设的相似度阈值的子时间窗集合的报警数据进行融合，然后输入到融合数据集；若未达到预设的相似度阈值的子时间窗集合则直接输入到融合数据集；
将所有子时间窗集合的融合数据集组成精简警报数据集输出。
计算属性相似度时，由于数值类型的属性不同导致其表达的含义存在较大差异性，所以需要采用多种相似度计算方法来对不同的属性进行计算，被计算相似度的属性有四种，分别为IP地址、端口号、检测发生时间以及攻击类型。
进一步地，所述预处理为具体包括对原始数据集提取报警数据的关键属性；根据入侵检测消息交换格式将原始数据的格式转换成统一序列得到所有报警序列；所述关键属性包括特征字符串、报警类别、报警日期、报警时间戳、源IP、源端口、目的IP和目的端口。
进一步地，所述属性相似度计算中对IP地址相似度计算为：
Figure BDA0003552370180000031
(1)式中，l为存在多个连续相同的位数，ε为预设的IP相似度阈值；l为多个连续相同的位数的数目，l∈[1，32]。
l作用是为了权衡两个IP地址是否属于同一子网的概率，若两个IP地址在同一子网，具有较大相似度，则l的值越大，证明受到的攻击来自同一攻击源或者同一攻击目标，同一攻击源源IP地址相似，同一攻击目标IP相似。
端口相似度计算为：
Figure BDA0003552370180000041
(2)式中，alert port表示端口号，alert1.Port为端口号为1的端口号。如果端口号相同，相似度为1，反之则为0。
检测发生时间相似度为：
Figure BDA0003552370180000042
(3)式中，Tmin为预设报警时间最小阈值，Tmax为预设报警时间最大阈值，其中TimeInterval＝alert1.t ime-alert2.time，即为两个连续报警时间差。通过两条报警时间差来进行时间属性相似度的计算。
攻击类型相似度计算为：
Figure BDA0003552370180000043
(4)式中，alert.type表示报警的类型。如果攻击类型相同，相似度为1，反之则为0。
进一步地，所述预设的判断矩阵为A＝(aij)n*n，其中aij为预设的关键属性i对相似度j的重要性，具体包括[1，9]区间的整数，其中数字1，3，5，7，9分别表示权重为一样重要、较重要、重要、很重要和绝对重要，2，4，6，8是介于上述两个相邻判断的中间。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (4)

1.一种报警数据融合方法，其特征在于：将获得的报警数据预处理为预设的格式即所有报警序列；将所有报警序列根据报警时间进行划分，将时间差小于预设的间隔阈值的前一个报警划分到前一个时间窗口i-1内；如果时间差大于等于预设的间隔阈值，则将该警报划分至下一个报警时间的始点得到现在的子时间窗口i；基于此，将所有报警序列划分为n个子时间窗集合，n个子时间窗集合合并为报警时间窗集合；
将子时间窗集合进行多种属性相似度计算；所述属性相似度包括IP地址、端口号、检测发生时间以及攻击类型相似度的计算；将计算出的多种属性相似度，带入预设的判断矩阵，计算出判断矩阵的特征值以及对应的特征向量，并求出其最大特征值及其对应的特征向量；将达到预设的相似度阈值的子时间窗集合的报警数据进行融合，然后输入到融合数据集；若未达到预设的相似度阈值的子时间窗集合则直接输入到融合数据集；
将所有子时间窗集合的融合数据集组成精简警报数据集输出。
2.根据权利要求1所述的一种报警数据融合方法，其特征在于：所述预处理为具体包括对原始数据集提取报警数据的关键属性；根据入侵检测消息交换格式将原始数据的格式转换成统一序列得到所有报警序列；所述关键属性包括特征字符串、报警类别、报警日期、报警时间戳、源IP、源端口、目的IP和目的端口。
3.根据权利要求1所述的一种报警数据融合方法，其特征在于：所述属性相似度计算中对IP地址相似度计算为：
Figure FDA0003552370170000011
(1)式中，l为存在多个连续相同的位数，ε为预设的IP相似度阈值；l为多个连续相同的位数的数目，l∈[1,32]；
端口相似度计算为：
Figure FDA0003552370170000012
(2)式中，alert port表示端口号，alert1.Port为端口号为1的端口号；
检测发生时间相似度为：
Figure FDA0003552370170000013
(3)式中，Tmin为预设报警时间最小阈值，Tmax为预设报警时间最大阈值，其中TimeInterval＝alert1.t ime-alert2.time，即为两个连续报警时间差；
攻击类型相似度计算为：
Figure FDA0003552370170000021
(4)式中，alert.type表示报警的类型。
4.根据权利要求1所述的一种报警数据融合方法，其特征在于：所述预设的判断矩阵为A＝(aij)n*n，其中aij为预设的关键属性i对相似度j的重要性，具体为[1，9]区间的整数，其中数字1，3，5，7，9分别表示权重为一样重要、较重要、重要、很重要和绝对重要，2，4，6，8是介于上述两个相邻判断的中间。
CN202210267375.9A 2022-03-17 2022-03-17 一种报警数据融合方法 Pending CN114726589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210267375.9A CN114726589A (zh) 2022-03-17 2022-03-17 一种报警数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210267375.9A CN114726589A (zh) 2022-03-17 2022-03-17 一种报警数据融合方法

Publications (1)

Publication Number Publication Date
CN114726589A true CN114726589A (zh) 2022-07-08

Family

ID=82236834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210267375.9A Pending CN114726589A (zh) 2022-03-17 2022-03-17 一种报警数据融合方法

Country Status (1)

Country Link
CN (1) CN114726589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701610A (zh) * 2023-08-03 2023-09-05 成都大成均图科技有限公司 一种基于应急多源报警有效警情识别方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532949A (zh) * 2013-10-14 2014-01-22 刘胜利 基于动态反馈的自适应木马通信行为检测方法
CN107517216A (zh) * 2017-09-08 2017-12-26 瑞达信息安全产业股份有限公司 一种网络安全事件关联方法
CN108833139A (zh) * 2018-05-22 2018-11-16 桂林电子科技大学 一种基于类别属性划分的ossec报警数据聚合方法
CN110688892A (zh) * 2019-08-20 2020-01-14 武汉烽火众智数字技术有限责任公司 一种基于数据融合技术的人像识别告警方法及***
US10610160B1 (en) * 2014-04-17 2020-04-07 Cerner Innovation, Inc. Stream-based alarm filtering
US20200322368A1 (en) * 2019-04-03 2020-10-08 Deutsche Telekom Ag Method and system for clustering darknet traffic streams with word embeddings
CN111814897A (zh) * 2020-07-20 2020-10-23 辽宁大学 一种基于多层次shapelet的时间序列数据分类方法
WO2021098021A1 (zh) * 2019-11-20 2021-05-27 珠海格力电器股份有限公司 数据异常统计报警方法、装置及电子设备
CN113420802A (zh) * 2021-06-04 2021-09-21 桂林电子科技大学 基于改进谱聚类的报警数据融合方法
CN113422763A (zh) * 2021-06-04 2021-09-21 桂林电子科技大学 基于攻击场景构建的报警关联分析方法
CN114024830A (zh) * 2021-11-05 2022-02-08 哈尔滨理工大学 一种基于Grubbs的警报关联方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103532949A (zh) * 2013-10-14 2014-01-22 刘胜利 基于动态反馈的自适应木马通信行为检测方法
US10610160B1 (en) * 2014-04-17 2020-04-07 Cerner Innovation, Inc. Stream-based alarm filtering
CN107517216A (zh) * 2017-09-08 2017-12-26 瑞达信息安全产业股份有限公司 一种网络安全事件关联方法
CN108833139A (zh) * 2018-05-22 2018-11-16 桂林电子科技大学 一种基于类别属性划分的ossec报警数据聚合方法
US20200322368A1 (en) * 2019-04-03 2020-10-08 Deutsche Telekom Ag Method and system for clustering darknet traffic streams with word embeddings
CN110688892A (zh) * 2019-08-20 2020-01-14 武汉烽火众智数字技术有限责任公司 一种基于数据融合技术的人像识别告警方法及***
WO2021098021A1 (zh) * 2019-11-20 2021-05-27 珠海格力电器股份有限公司 数据异常统计报警方法、装置及电子设备
CN111814897A (zh) * 2020-07-20 2020-10-23 辽宁大学 一种基于多层次shapelet的时间序列数据分类方法
CN113420802A (zh) * 2021-06-04 2021-09-21 桂林电子科技大学 基于改进谱聚类的报警数据融合方法
CN113422763A (zh) * 2021-06-04 2021-09-21 桂林电子科技大学 基于攻击场景构建的报警关联分析方法
CN114024830A (zh) * 2021-11-05 2022-02-08 哈尔滨理工大学 一种基于Grubbs的警报关联方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李洪成;吴晓平;: "基于自扩展时间窗的告警多级聚合与关联方法", 工程科学与技术, no. 01 *
李洪敏;***;黄晓芳;卢敏;: "基于序列模式的多步攻击挖掘算法的研究", 兵工自动化, no. 09 *
段祥雯;杨兵;张怡;: "防网络攻击警报信息实时融合处理技术研究与实现", 信息网络安全, no. 07 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701610A (zh) * 2023-08-03 2023-09-05 成都大成均图科技有限公司 一种基于应急多源报警有效警情识别方法及装置

Similar Documents

Publication Publication Date Title
CN108076040B (zh) 一种基于杀伤链和模糊聚类的apt攻击场景挖掘方法
US10114934B2 (en) Calculating consecutive matches using parallel computing
Gogoi et al. MLH-IDS: a multi-level hybrid intrusion detection method
CN113422763B (zh) 基于攻击场景构建的报警关联分析方法
CN113420802B (zh) 基于改进谱聚类的报警数据融合方法
CN111709022B (zh) 基于ap聚类与因果关系的混合报警关联方法
CN113364787B (zh) 一种基于并联神经网络的僵尸网络流量检测方法
US11140123B2 (en) Community detection based on DNS querying patterns
CN114726589A (zh) 一种报警数据融合方法
CN113064932A (zh) 一种基于数据挖掘的网络态势评估方法
Yu et al. Design of DDoS attack detection system based on intelligent bee colony algorithm
CN107124410A (zh) 基于机器深度学习的网络安全态势特征聚类方法
Yang et al. Alerts analysis and visualization in network-based intrusion detection systems
CN114697087B (zh) 一种基于报警时序的报警关联方法
CN116132311A (zh) 一种基于时间序列的网络安全态势感知方法
CN111629027A (zh) 一种基于区块链的可信文件储存处理的方法
Ismail et al. Enhanced Recursive Feature Elimination for IoT Intrusion Detection Systems
CN114024830A (zh) 一种基于Grubbs的警报关联方法
CN111901137A (zh) 一种利用蜜罐告警日志挖掘多步攻击场景的方法
CN111556014B (zh) 一种采用全文索引的网络攻击入侵检测方法
CN111049801B (zh) 一种防火墙策略检测方法
Sheikhan et al. Fast neural intrusion detection system based on hidden weight optimization algorithm and feature selection
CN102195827A (zh) 基于重叠子字符串分类器的深度分组检测方法
CN114422389B (zh) 一种基于哈希和硬件加速的高速实时网络数据监测方法
Katkar et al. Experiments on detection of Denial of Service attacks using REPTree

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination