CN105847029A - 一种基于大数据分析的信息安全事件自动关联及快速响应的方法及*** - Google Patents
一种基于大数据分析的信息安全事件自动关联及快速响应的方法及*** Download PDFInfo
- Publication number
- CN105847029A CN105847029A CN201610130328.4A CN201610130328A CN105847029A CN 105847029 A CN105847029 A CN 105847029A CN 201610130328 A CN201610130328 A CN 201610130328A CN 105847029 A CN105847029 A CN 105847029A
- Authority
- CN
- China
- Prior art keywords
- alarm
- meta
- alarms
- module
- information security
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000004044 response Effects 0.000 title claims abstract description 25
- 238000007405 data analysis Methods 0.000 title claims abstract description 17
- 238000010219 correlation analysis Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000008439 repair process Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005065 mining Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000004445 quantitative analysis Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 7
- 238000012098 association analyses Methods 0.000 description 6
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 241000764238 Isis Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- PUZPDOWCWNUUKD-UHFFFAOYSA-M sodium fluoride Chemical compound [F-].[Na+] PUZPDOWCWNUUKD-UHFFFAOYSA-M 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，包括：离线关联模块,在线关联模块,元告警比较模块,元告警优先级模块,元告警聚类模块,攻击模式发现模块,告警响应***/工单模块。通过本发明，采用大数据技术，将安全设备上报的告警聚合成元告警进行相关性分析，产生许多元告警。在告警相关性分析之后进行元告警优先级分析，分配元告警相应的告警级别；告警响应***根据告警级别高/低及时通知和委派相关人员进行故障排查与修复，显著地缩短了告警响应时间，消除了诸如IDS等信息安全设备产生的误报。
Description
技术领域
本发明涉及信息安全技术和大数据技术领域，尤其涉及到信息***的事件关联与快速响应的方法与***。。
背景技术
本发明中包含的英文简称如下：
IDS：Intrusion Detection Systems入侵检测***。
LOF：Local Outlier Factor局部异常因子
TTL：Time to Live该字段是指IP包被路由器丢弃之前允许通过的最大网段数量
TOS：Type of Service业务类型
ACG：Alert Correlation Graph告警关联图
GED：Graph Edit Distance图编辑距离
DMZ：demilitarized zone隔离区、或非军事化区
App：Application应用程序
最近的研究结果表明，几乎所有的信息安全设备均采用日志文件来作为被遭受攻击的证据（Verizon, 2014）。这表明，成功地分析如此海量的日志并进行攻击/威胁检测的任务是十分艰巨的。
本专利提供了一种基于大数据的信息安全分析的框架。告警相关性分析是本框架的核心模块，其主要功能是对各类信息安全设备（例如，防火墙、入侵检测***、UTM）上报的日志信息进行综合关联分析。由于入侵检测***，尤其是基于数字签名的入侵检测***，会产生大量的误报。采用大数据技术，将告警聚合成高层次结构的元告警进行相关性分析。通过告警相关性分析，***将产生许多个元告警。元告警由多个从安全设备上报的告警所组成，这样，显著地减少了信息安全分析师所需要评估的告警的数量，并能够有效地处理诸如IDS产生的大量误报。
本框架的另一个核心的模块，就是在完成告警相关性分析之后，对元告警进行“优先级分析”。告警优先级分析就是给每个元告警分配一个与之相适应的表示其严重程度的告警级别，这个非常有助于告警响应***/工单来决定处理这些元告警的先后顺序。告警响应***根据告警级别高/低来及时通知和委派相关人员进行故障排查与修复。告警通知的方式主要包括App、短信、邮件等多种方式。
目前，已有的告警相关性分析技术，主要采用基于规则的模型。这种技术将网络攻击的各种特征抽取出来，形成攻击特征描述库，并基于描述库将一次网络攻击从开始到结束整个过程的特征，构建出一个分析用的自动机模型，从而得出关联分析规则，并以该关联分析规则应用到信息安全检测中。然而，基于规则模型的关联分析技术主要采用状态机的方法，这种“状态机”式关联分析具有很强的实时性和时序，必须与事件发生的真正时序一致，对触发事件的时序要求很高。在复杂网络环境中，受网络传输延时和前端处理延时的影响，安全事件进入引擎的时序可能发生颠倒，而导致“状态机”无法触发，关联分析引擎出现错报或漏报。因此，现有的基于规则模型的关联分析技术精确度存在缺陷，难以满足诸如信息安全运维管理云平台环境下的大数据量的关联分析需求。
为此，如何解决信息安全运维管理云平台环境下的信息安全事件关联分析所面临的问题，以及设计出一种基于信息安全运维管理云平台的信息安全事件自动关联分析的方案，即成为尤其是信息安全运维管理平台设计上必须要解决的一个重要课题。
发明内容
有鉴于此，本发明的主要目的在于提供一种信息安全事件日志自动关联及快速响应的方法及***。采用大数据技术，将安全设备上报的告警聚合成元告警进行相关性分析，产生许多元告警。在告警相关性分析之后进行元告警优先级分析，分配元告警相应的告警级别；告警响应***根据告警级别高/低及时通知和委派相关人员进行故障排查与修改。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供的一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，包括：离线关联模块,在线关联模块,元告警比较模块,元告警优先级分析模块,元告警聚类模块,攻击模式发现模块,告警响应***/工单模块。
上述方案中，所述离线关联模块，就是利用历史告警构建告警相关性分析模型。
上述方案中，所述在线关联模块，就是对每一个实时收到的告警进行相关性分析，生成大量的元告警。
上述方案中，所述元告警比较模块，采用一种定量的方法来测量每个元告警之间的差别。
上述方案中，所述元告警优先级模块，就是基于它与其它元告警的差别，给每个元告警分配一个优先级。
上述方案中，所述元告警聚类模块，将元告警组合成聚类。
上述方案中，所述攻击模式发现模块，通过频繁模式挖掘抽取每一个聚类的一些具有代表性的特征。
上述方案中，所述告警响应***/工单模块，将严重程度高的告警，及时通过短信、App、邮件等方式通知到客户，或通过工单及时委派专家和技术人员进行告警修复。
进一步地，所述告警相关性分析模型，由两个知识表所组成：相关强度表和相关约束表。对于任何两个告警类型来说，和相关强度L(,)就是条件概率：L(,)=P() ，相关约束C就是两个告警类型进行关联的规则。
进一步地，所述对每一个实时收到的告警进行相关性分析，若两个告警和被称谓相关，则满足和两个告警类型的关联强度，和两个告警类型的各自约束，至少之一对和都为真。
进一步地，所述一种测量每个元告警之间的差别的定量方法，采用告警关联图ACG来描述每一个元告警的数据结构，图编辑距离GED作为定量地计算两个元告警之间差别的度量方法。
进一步地，所述为每个元告警分配一个优先级，优先级共分为4级，与其它元告警高度相似的元告警一般被划分为1或2级，而与其它元告警差别很大的元告警一般被划分为3或4级。
进一步地，所述将元告警组合成聚类，应用DBSCAN算法到元告警聚类过程中。
进一步地，所述元告警差别的优先级，经过如下五步计算而获得：
（1）计算元告警的k-邻居和k-距离；
（2）计算元告警的可达距离；
（3）计算元告警的局部可达密度；
（4）计算元告警的局部异常因子；
（5）计算元告警的差别程度LOF的优先级。
本发明所提供的方法与***，大大弥补了现有告警关联量化的不足，显著地缩短了告警响应时间，消除了诸如IDS等信息安全设备产生的误报，提高了告警判断的精确性和可信程度。
附图说明
图1为本发明所述的IDS安全设备的告警日志格式；
图2（a）为本发明所述的告警信息（发生时间、源IP、源端口、目标IP、目标端口、入侵类型）；
图2（b）为本发明所述的元告警关联图；
图3为本发明所述的基于大数据的安全事件告警相关性分析框架；
图4（a）为本发明所述的一个告警关联图；
图4（b）为本发明所述的一个告警关联图之攻击模式图。
具体实施方式
下面是根据附图和实例对本发明的进一步详细说明：
图1就是某公司生产的IDS安全设备的告警日志格式。第1行表示的是告警类型、告警分类和告警优先级。第2行表示的是入侵发生时间，发送者和接收者的IP地址与端口号，以及TTL、网络协议、业务类型和长度。
图1的日志采用6个属性，这样，每一个告警被表示成一个6维数组（，，，，，）。该6维数组的属性分别是告警发生的时间、源IP、源端口、目标IP、目标端口和告警类型。这些属性值或者是文本、IP地址、时间，或者是数字。一个告警类型为的告警，实际上就是当取值为时的一个告警实例。
一般地，元告警被用在描述相关性告警之中。一个元告警包含了设备所上报的一个或以上的告警，其通过聚合或关联***被组合在一起的高层次结构的告警（或超级告警）。图2（a）给出了一个入侵告警（，，，，，），在经过某种形式的关联之后，如图2（b）所示，它们之间的逻辑关系就被建立起来了，并且被称为“告警关联图”。
“告警关联图”是一个加权有向无环图G=（V,E）。其中，V代表节点，而且每一个节点vV表示一个6维数组的告警，每一条边是两个节点、之间的一个连接，其表示：
（1）与是相关的，
（2）表示在之前发生的告警，而边的权重表示两个节点之间的相关性的强度。
图3提供了基于大数据的安全日志相关性分析之框架，所述框架由7个模块所组成。它们分别如下：
1、离线关联模块；
2、在线关联模块；
3、元告警比较；
4、元告警优先级分析；
5、元告警聚类；
6、攻击模式发现；
7、告警响应***/工单。
下面将分别加以介绍。
1、离线关联模块：
离线关联模块就是利用历史告警构建告警相关性分析之模型。该相关性分析模型由离线相关性分析组件来构建，并且，周期性地由在线关联组件来使用和更新。该相关性模型由两个知识表所组成：
（i）相关强度表
（ii）相关约束表
相关强度表表示两个告警类型分别为和的相关强度。更具体地说，它表示发生在之后的可能性有多大。对于任何两个告警类型来说，和相关强度L(,)就是条件概率：
L(,)=P() （1）
其中，相关约束C就是两个告警类型进行关联的规则。例如，就是表示关联发生在20秒之内的和；另一个就是表示两个告警类型和是相关，即当它们的目标IP地址相同时（换句话说，它们目标IP地址之间的差为零）。
当两个告警类型之间有n：n＞1的约束关系，则这两个告警类型之间的相关强度就是n约束的最小值：
L(,)=min{P（） （2）
其中，
P（）= （3）
在方程（3）里，对于已给定的历史告警，P（）是指在时间窗W之内，之后发生的次数，以及关于在同一个时间窗之内发生的次数。P（）指的是之后发生的概率，并且这两个告警类型和都满足相关约束关于在历史告警总库H里所发生的数量或次数。最后，P（︱）就是在给定的两个告警类型和在相同时间窗之内发生的概率。
算法1描述了离线关联组件计算相关强度表和相关约束表的过程。
第1～5行初始化离线关联过程。A表示所有告警的属性，告警信息包括：发生的时间、源IP、源端口、目标IP、目标端口和入侵类型。H是历史告警，用来训练模型的；T表示所有历史告警H里的告警类型。表示是成对的告警类型，其中表示第i对告警类型和。
对每一对告警类型，GETConstraints通过计算所有可能k组合属性，生成了一些相关约束。首先，当k=1时，就生成长度为1的相关约束，其中，对每一个相关约束，C仅包含一个属性aA。对于每一个相关约束，我们将计算在条件C之下，发送在之前的概率。如果这个概率没有超过，则、视为不相关。
2、在线关联模块：
在告警之前的秒时间之内发生的告警S=，对每一个实时收到的告警进行相关性分析。为了确定和S里的告警是否相关，它们的告警类型被抽取和用作发现相关强度和约束（由离线模块存储在知识库里）。如果两个告警满足如下条件，则意味着相关:
（1）和两个告警类型的的关联强度
（2）和两个告警类型的各自约束，至少之一对和都为真。
每一个被分析的历史告警存储在数据库节点里。如果该告警与相关，则被添加到。因此，一条边被添加到元告警里来描述其相关性。
3、元告警比较
相关性分析的过程，一般会产生许多的元告警。在海量的告警分析的压力下，将会在短时间内产生数以千计的元告警。为了弄清楚这些业已产生的元告警，采用一个定量的方法来度量每一个元告警之间的差别，即后面所述的元告警优先级组件和元告警聚类组件。
这样分析的重要性是不言而喻的。从已产生的大量的元告警之中，任选两个元告警、。由两个可连接的节点（）所组成，其中，表示一个从邮件服务器到Web服务器的可疑ping，并且，也表示一个从Web服务器到邮件服务器的响应（该响应也触发了一个入侵）。也由两个可连接的节点所组成，然而，具有不同的上下文。表示一个入侵，其从外部地址路由到网络DMZ邮件服务器上的数据包而触发的，然后，所述DMZ服务器路由数据包到内部邮件服务器。这个也触发了一个告警，这里称之为。尽管在结构上很相似，但是，通过可视化的分析使得安全分析师能够了解攻击模式和它们的文法（并且它们不是同类型的入侵）。另外，根据分析与观察，很多生成的元告警很相似于这两个元告警、，但不仅限于这两个。由于成千上万的元告警检测这样的攻击模式可能被证明，可视化是不可行的。然而，聚类分析能够解决这个问题。
所述的告警关联图ACG就是一个元告警的数据结构。图编辑距离GED作为距离度量来定量地计算告警关联图之间的差别。
对于任意两个告警关联图和，它们之间的差别就是GED，这个差别是通过诸如节点删除/节点***、边删除/边***和节点替换/边替换的操作使得变换成操作动作次数的最小值的计算而获得的。算法2详细地给出任意两个元告警的比较。计算了所有元告警对之间的距离，并存储在如图3的知识库之中。
在算法2之中，有3个关键操作：替换路径、删除路径和***路径。每个操作需要一个成本函数，其被用作排序的。利用域知识库，定义了一套适合元告警比较的成本函数。
（1）***和删除路径C)和C)
当比较任意两个ACG时，如果一个图比另一个图含有更多的节点（例如，告警）时，则节点***或删除的操作可能被用来将一个图转换成另一个图。对于每一个入侵类型，我们定义了一个权重作为***或删除一个T类型节点的成本。
对于边来说，边的***或删除的操作的成本等同于边的权重。
（2）替换路径
一个节点替换操作替换了另一个告警。因此，相似的告警越多，则替换的代价就越低。本专利则利用如下Euclidean公式来度量告警之间的相似性。
C)=d（，）=
注意到就是告警的第k个属性，n是告警属性的最大值。对于分类属性，采用字符串编辑距离；对于IP属性，使用一个共同的前缀的方法。如下表所示的两个IP地址差别的例子：
在本专利中也定义了边替换的成本，所述边替换的成本是两条边权重之差的绝对值，如下公式所示：
C（）=
4、元告警优先级
元告警优先级组件，基于它与其它元告警的差异，给每一个元告警分配一个优先级。优先级共分为4级。与其它元告警高度相似的元告警一般被划分为1或2级，而与其它元告警差别很大的元告警一般被划分为3或4级。
基于相差的不同程度，每一个元警报被映射到一个优先级。所述元告警的差别程度就是利用LOF计算的。如下是优先级之值和元告警的LOF之间的映射关系：
P（g）=
在上式中，g是一个元告警，是LOF值的权重。使用一个点的（元告警的）邻居、可达距离和局部密度分5个步骤计算而得到。
（1）k-邻居和k-距离：一个元告警的k-邻居采用()表示，是一些其它元告警的集合；其中，任意一个其它元告警与之间的差别小于或等于所述的k-距离。一个的k-距离就是与第k个最近元告警之间的距离。k是算法所提供的一个可配置的参数。
（2）可达距离：这是取两个元告警之间距离与后者k-距离的最大值，如下公式所示。
r(g,)=max
（3）局部可达密度：一个元告警的局部可达密度就是它与它的k-邻居之间的平均可达距离的倒数（如下公式所示）。
Ir=（
（4）局部异常因子：对于每一个元告警g，它的LOF由以下公式计算：
=
（5）LOF优先级：考虑到LOF值的范围在0～之间，本专利利用了权重技术，将LOF之值映射到0～之间（如下公式所示）。
nLOF（g）=
根据每一个元告警优先级的值的计算，元告警优先级组件使用它的过滤子组件，将门限大于的所有元告警转发到告警响应***/工单做进一步处理。
5、元告警聚类
元告警聚类组件接收元告警G，并将它们组合成聚类，如果大于2的话。对于一个已给定的元告警，如果通过聚类的内部成员密度可达的话，则g被认为属于聚类。一个聚类内的任意一个元告警，，至少存在k个与它类似的元告警（例如，和之间的差别应该小于门限）。利用DBSCAN算法的聚类过程如下所示：
6、攻击模式发现
攻击模式发现组件接收元告警的聚类，并通过频繁模式挖掘（frequent patternmining）抽取每一个聚类的一些具有代表性的特征。前面所述的模式挖掘，攻击模式发现组件将每一个元告警表示成不太复杂的图结构。所述图结构被称为模式图。一个攻击模式图就是用图表示元告警，其每一个节点表示为一个告警或一个告警的属性，并且，每一条边表示成两个元告警之间的关联或者告警之属性的关联。
图4表明从一个元告警图映射到了一个图模式。在图4（a）中，节点标有“HTTP IESecurity…”是表示一个告警。每一个告警可以表示成一个多维向量。因为图模式挖掘是不适合多个属性节点的场景。每个节点被压缩成一个单一属性的被标鉴的节点，这通过对每一个告警的属性表示成一个新节点来实现。为了维护所有的属性，通过使用一条边将每一个属性节点与告警节点联系（如图4（b））。通过采用不同的形状，属性节点区别于告警节点。一个图的频繁模式挖掘算法GSPAN，被用于从每个聚类中提取频繁模式。对于已给定的一些图和一个最小支持门限，一些频繁模式被抽取了。从任意一个聚类抽取的每一个频繁模式就是一个子图，并通常在这个聚类里至少包括个元告警。GSPAN算法太长了，这里不做详细的描述。
7、告警响应***/工单
告警响应***/工单就是将严重程度高的告警，通过短信、APP、邮件等方式通知到客户，或通过工单的形式委派专家或技术员进行故障修复。
该模块所提供的可视化分析的Web应用，被分析师们通过一连串的交互，广泛地利用来探讨每个元告警优先级。例如，他或她根据大小，优先级，远近等进行查询，可以排序和过滤元告警。
以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。
Claims (14)
1.一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，包括：离线关联模块,在线关联模块,元告警比较模块,元告警优先级分析模块,元告警聚类模块,攻击模式发现模块,告警响应***/工单模块。
2.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述离线关联模块，就是利用历史告警构建告警相关性分析之模型。
3.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述在线关联模块，就是对每一个实时收到的告警进行相关性分析，产生许多个元告警。
4.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述元告警比较模块，采用一种定量的方法来测量每个元告警之间的差别。
5.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述元告警优先级分析模块，就是基于它与其它元告警的差别，给每一个元告警分配一个优先级。
6.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述元告警聚类模块，将元告警组合成聚类。
7.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述攻击模式发现模块，通过频繁模式挖掘抽取每一个聚类的一些具有代表性的特征。
8.如权利要求1所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述告警响应***/工单模块，将严重程度高的告警，及时通过短信、App、邮件等方式通知到客户，或通过工单及时委派专家或技术人员进行告警修复。
9.如权利要求2所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述告警相关性分析模型，由两个知识表所组成：相关强度表、相关约束表，对于任何两个告警类型来说，和相关强度L(,)就是条件概率：L(,)=P() ，相关约束C就是两个告警类型进行关联的规则。
10.如权利要求3所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述对每一个实时收到的告警进行相关性分析，若两个告警和被称谓相关，则满足和两个告警类型的关联强度，和两个告警的各自约束，至少之一对和都为真。
11.如权利要求4所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述一种测量每个元告警之间的差别的定量方法，采用告警关联图ACG来描述每一个元告警的数据结构，图编辑距离GED作为定量地计算两个元告警之间差别的度量方法。
12.如权利要求5所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述为每个元告警分配一个优先级，优先级共分为4级，与其它元告警高度相似的元告警一般被划分为1或2级，而与其它元告警差别很大的元告警一般被划分为3或4级。
13.如权利要求6所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述将元告警组合成聚类，应用DBSCAN算法到元告警聚类过程中。
14.如权利要求12所述一种基于大数据分析的信息安全事件自动关联及快速响应的方法及***，其特点在于，所述4级元告警优先级，经过以下五步计算而获得：
（1）计算元告警的k-邻居和k-距离；
（2）计算元告警的可达距离；
（3）计算元告警的局部可达密度；
（4）计算元告警的局部异常因子；
（5）计算元告警的元告警的差别程度LOF的优先级。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510565165 | 2015-09-08 | ||
| CN2015105651658 | 2015-09-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105847029A true CN105847029A (zh) | 2016-08-10 |
| CN105847029B CN105847029B (zh) | 2019-08-09 |
Family
ID=56586983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610130328.4A Active CN105847029B (zh) | 2015-09-08 | 2016-03-09 | 一种基于大数据的信息安全事件自动关联及快速响应*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105847029B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106254125A (zh) * | 2016-08-18 | 2016-12-21 | 南京联成科技发展有限公司 | 基于大数据的安全事件相关性分析的方法及*** |
| CN107332717A (zh) * | 2017-08-16 | 2017-11-07 | 南京联成科技发展股份有限公司 | 一种新型安全智慧平台的实现架构 |
| CN107479518A (zh) * | 2017-08-16 | 2017-12-15 | 南京联成科技发展股份有限公司 | 一种自动生成告警关联规则的方法及*** |
| CN108829794A (zh) * | 2018-06-04 | 2018-11-16 | 北京交通大学 | 基于区间图的告警分析方法 |
| CN109064179A (zh) * | 2018-07-11 | 2018-12-21 | 成都理工大学 | 移动支付安全态势感知*** |
| CN109660526A (zh) * | 2018-12-05 | 2019-04-19 | 国网江西省电力有限公司信息通信分公司 | 一种应用于信息安全领域的大数据分析方法 |
| CN109995561A (zh) * | 2017-12-30 | 2019-07-09 | ***通信集团福建有限公司 | 通信网络故障定位的方法、装置、设备及介质 |
| CN110149230A (zh) * | 2019-05-20 | 2019-08-20 | 拉扎斯网络科技（上海）有限公司 | 服务维护方法、装置、电子设备及可读存储介质 |
| CN110933101A (zh) * | 2019-12-10 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 安全事件日志处理方法、装置及存储介质 |
| CN111126729A (zh) * | 2018-10-30 | 2020-05-08 | 千寻位置网络有限公司 | 智能化的安全事件闭环处置***及其方法 |
| CN111224973A (zh) * | 2019-12-31 | 2020-06-02 | 南京联成科技发展股份有限公司 | 一种基于工业云的网络攻击快速检测*** |
| CN112118141A (zh) * | 2020-09-21 | 2020-12-22 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
| CN113377623A (zh) * | 2021-07-02 | 2021-09-10 | 华青融天(北京)软件股份有限公司 | 告警规则的自动生成方法、装置和电子设备 |
| CN113901452A (zh) * | 2021-09-30 | 2022-01-07 | 中国电子科技集团公司第十五研究所 | 一种基于信息熵的子图模糊匹配安全事件识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070289013A1 (en) * | 2006-06-08 | 2007-12-13 | Keng Leng Albert Lim | Method and system for anomaly detection using a collective set of unsupervised machine-learning algorithms |
| CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析***与方法 |
| CN101697545A (zh) * | 2009-10-29 | 2010-04-21 | 成都市华为赛门铁克科技有限公司 | 安全事件关联方法、装置及网络服务器 |
| CN101296122B (zh) * | 2008-06-23 | 2011-04-20 | 中兴通讯股份有限公司 | 告警相关性的分析方法和装置 |
-
2016
- 2016-03-09 CN CN201610130328.4A patent/CN105847029B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070289013A1 (en) * | 2006-06-08 | 2007-12-13 | Keng Leng Albert Lim | Method and system for anomaly detection using a collective set of unsupervised machine-learning algorithms |
| CN101296122B (zh) * | 2008-06-23 | 2011-04-20 | 中兴通讯股份有限公司 | 告警相关性的分析方法和装置 |
| CN101610174A (zh) * | 2009-07-24 | 2009-12-23 | 深圳市永达电子股份有限公司 | 一种日志关联分析***与方法 |
| CN101697545A (zh) * | 2009-10-29 | 2010-04-21 | 成都市华为赛门铁克科技有限公司 | 安全事件关联方法、装置及网络服务器 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106254125A (zh) * | 2016-08-18 | 2016-12-21 | 南京联成科技发展有限公司 | 基于大数据的安全事件相关性分析的方法及*** |
| CN107332717A (zh) * | 2017-08-16 | 2017-11-07 | 南京联成科技发展股份有限公司 | 一种新型安全智慧平台的实现架构 |
| CN107479518A (zh) * | 2017-08-16 | 2017-12-15 | 南京联成科技发展股份有限公司 | 一种自动生成告警关联规则的方法及*** |
| CN109995561B (zh) * | 2017-12-30 | 2022-03-29 | ***通信集团福建有限公司 | 通信网络故障定位的方法、装置、设备及介质 |
| CN109995561A (zh) * | 2017-12-30 | 2019-07-09 | ***通信集团福建有限公司 | 通信网络故障定位的方法、装置、设备及介质 |
| CN108829794A (zh) * | 2018-06-04 | 2018-11-16 | 北京交通大学 | 基于区间图的告警分析方法 |
| CN108829794B (zh) * | 2018-06-04 | 2022-04-12 | 北京交通大学 | 基于区间图的告警分析方法 |
| CN109064179A (zh) * | 2018-07-11 | 2018-12-21 | 成都理工大学 | 移动支付安全态势感知*** |
| CN109064179B (zh) * | 2018-07-11 | 2022-05-20 | 成都理工大学 | 移动支付安全态势感知*** |
| CN111126729A (zh) * | 2018-10-30 | 2020-05-08 | 千寻位置网络有限公司 | 智能化的安全事件闭环处置***及其方法 |
| CN109660526A (zh) * | 2018-12-05 | 2019-04-19 | 国网江西省电力有限公司信息通信分公司 | 一种应用于信息安全领域的大数据分析方法 |
| CN110149230A (zh) * | 2019-05-20 | 2019-08-20 | 拉扎斯网络科技（上海）有限公司 | 服务维护方法、装置、电子设备及可读存储介质 |
| CN110933101A (zh) * | 2019-12-10 | 2020-03-27 | 腾讯科技（深圳）有限公司 | 安全事件日志处理方法、装置及存储介质 |
| CN110933101B (zh) * | 2019-12-10 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 安全事件日志处理方法、装置及存储介质 |
| CN111224973A (zh) * | 2019-12-31 | 2020-06-02 | 南京联成科技发展股份有限公司 | 一种基于工业云的网络攻击快速检测*** |
| CN112118141A (zh) * | 2020-09-21 | 2020-12-22 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
| CN112118141B (zh) * | 2020-09-21 | 2021-12-17 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
| CN113377623A (zh) * | 2021-07-02 | 2021-09-10 | 华青融天(北京)软件股份有限公司 | 告警规则的自动生成方法、装置和电子设备 |
| CN113377623B (zh) * | 2021-07-02 | 2024-05-28 | 华青融天(北京)软件股份有限公司 | 告警规则的自动生成方法、装置和电子设备 |
| CN113901452A (zh) * | 2021-09-30 | 2022-01-07 | 中国电子科技集团公司第十五研究所 | 一种基于信息熵的子图模糊匹配安全事件识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105847029B (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105847029B (zh) | 一种基于大数据的信息安全事件自动关联及快速响应*** | |
| CN112651006B (zh) | 一种电网安全态势感知*** | |
| US11799898B2 (en) | Method for sharing cybersecurity threat analysis and defensive measures amongst a community | |
| CN103001811B (zh) | 故障定位方法和装置 | |
| US20230012220A1 (en) | Method for determining likely malicious behavior based on abnormal behavior pattern comparison | |
| US20220247778A1 (en) | Systems and methods for automatically selecting an access control entity to mitigate attack traffic | |
| US20140165207A1 (en) | Method for detecting anomaly action within a computer network | |
| WO2017160409A1 (en) | Real-time detection of abnormal network connections in streaming data | |
| US10476752B2 (en) | Blue print graphs for fusing of heterogeneous alerts | |
| CN105376193B (zh) | 安全事件的智能关联分析方法与装置 | |
| CN103441982A (zh) | 一种基于相对熵的入侵报警分析方法 | |
| CN109302396A (zh) | 一种基于风险评估的网络安全态势感知方法 | |
| Wang et al. | Automatic multi-step attack pattern discovering | |
| Janabi et al. | Convolutional neural network based algorithm for early warning proactive system security in software defined networks | |
| Zhang et al. | Intrusion detection in SCADA systems by traffic periodicity and telemetry analysis | |
| CN111181971A (zh) | 一种自动检测工业网络攻击的*** | |
| CN104468193A (zh) | 一种基于组件发现对业务***进行监控的方法 | |
| EP2936772A1 (en) | Network security management | |
| CN114531273A (zh) | 一种防御工业网络***分布式拒绝服务攻击的方法 | |
| CN107479518A (zh) | 一种自动生成告警关联规则的方法及*** | |
| Sen et al. | Towards an approach to contextual detection of multi-stage cyber attacks in smart grids | |
| Nehinbe | A simple method for improving intrusion detections in corporate networks | |
| TWI744545B (zh) | 分散式網路流分析惡意行為偵測系統與其方法 | |
| WO2017176676A1 (en) | Graph-based fusing of heterogeneous alerts | |
| Protic et al. | WK-FNN design for detection of anomalies in the computer network traffic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210012, Nanjing high tech Zone, Jiangsu, Nanjing Software Park, No. 99 unity Road, Eagle building, block A, 14 floor Applicant after: Nanjing Liancheng science and technology development Limited by Share Ltd Address before: The small road line road in Yuhuatai District of Nanjing City, Jiangsu province 210012 Building No. 158 Building 1 new ideal Applicant before: NANJING LIANCHENG TECHNOLOGY DEVELOPMENT CO., LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 210000 14F, building A, Eagle building, 99 solidarity Road, Nanjing Software Park, Nanjing hi tech Zone, Jiangsu Applicant after: Nanjing Liancheng science and technology development Limited by Share Ltd Address before: 210000, Nanjing high tech Zone, Jiangsu, Nanjing Software Park, No. 99 unity Road, Eagle building, block A, 14 floor Applicant before: Nanjing Liancheng science and technology development Limited by Share Ltd |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Information security event automatic association and rapid response system based on big data Effective date of registration: 20200328 Granted publication date: 20190809 Pledgee: Bank of Jiangsu, Limited by Share Ltd, Nanjing Jiangning branch Pledgor: NANJING LIANCHENG TECHNOLOGY DEVELOPMENT Co.,Ltd. Registration number: Y2020980001149 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20210521 Granted publication date: 20190809 Pledgee: Bank of Jiangsu Limited by Share Ltd. Nanjing Jiangning branch Pledgor: NANJING LIANCHENG TECHNOLOGY DEVELOPMENT Co.,Ltd. Registration number: Y2020980001149 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |