CN110912889B - 一种基于智能化威胁情报的网络攻击检测***和方法 - Google Patents

Abstract

本发明公开了一种基于智能化威胁情报的网络攻击检测***和方法，涉及网络安全领域，包括网页爬虫模块、威胁情报提取模块、流量数据包解析模块和网络攻击检测模块。网页爬虫模块爬取安全厂商分析报告网页，获取最新分析报告；威胁情报提取模块提取威胁情报，流量数据包解析模块解析PCAP数据包，获取流量特征；网络攻击检测模块对流量特征和威胁情报进行匹配检测网络攻击。本发明自动提取网络中分散的威胁情报，利用威胁情报与网络流量特征匹配发现网络攻击，提升了安全检测的有效性和准确性。

Description

一种基于智能化威胁情报的网络攻击检测***和方法

技术领域

本发明涉及网络安全领域，尤其涉及一种基于智能化威胁情报的网络攻击检测***和方法。

背景技术

威胁情报(Threat intelligence)是循证知识，包括环境、机制、指标、意义和可行性建议，现有的或新兴的、对资产的威胁或危害，可用于主体对威胁或危害的反应做出明确决定。威胁情报就是收集、评估和应用关于安全威胁、威胁分子、攻击利用、恶意软件、漏洞和漏洞指标的数据集合。公司企业政府等组织可能面临各种各样的威胁，威胁也可能危害到其正常的运转及发展。现在大多数情况下把精力花在了对漏洞的修补以及调查上，而威胁情报所做的事就是在攻击发生之前，发现潜在的威胁，进而阻止攻击的发生。按照使用场景可以将威胁情报分为，运营级情报，战术级情报，战略级情报，按照威胁内容还可以分成，基础网络情报，攻击团体情报，APT分析类情报。目前威胁情报的应用从厂商提供数据的方式可以分为两种，一种是提供信誉查询接口，一种是直接提供IoC feeds，从威胁情报应用场景角度看，威胁情报可以用在预防、检测、响应、防御等环节。从海量的数据中挖掘威胁，可以预测面临的攻击行为，从而可以帮助决策者在防御方面更早的做出合理的决策。威胁情报可以化被动为主动，不是被动的等待攻击者来攻击，而是主动出击，主动去发现潜在攻击者的痕迹。能够对威胁进行及时的预警，也能够为应急响应提供更多的参考信息。获取最新的漏洞信息，及时修补避免漏洞遭到恶意利用。也可以利用恶意IP，恶意域名，恶意URL，恶意样本的哈希值等进行网络攻击检测。

在实际应用中，一些安全厂商捕获到恶意样本的时候，安全专家会对这些样本进行人工分析，从中分析出C&C服务器IP，域名，或者URL。分析完成之后，他们会将分析报告发布到博客上面。目前恶意病毒层出不穷，APT攻击持续不断，安全厂商也不断的在发布这些事件的报告。

另外一方面，攻击者的攻击方式越来越多种多样，传统的攻击检测不足以应对这种多变的攻击方式。在这种情况下，威胁情报这种新的技术显得尤为重要。当A厂商从恶意样本里面或者攻击事件里面提取出一些IP，域名等威胁情报，如果分享给其他厂商，其他厂商就可以将这些威胁情报部署到防火墙等边界检查设备上。由于攻击者的IP，域名等资产是有一定限额的，他不可能无限的增加这些资产，如果我们共享的情报越多，那么作为防守方，安全研究人员掌握攻击者的相关资产就越多。这样从流量里面更容易发现攻击者的痕迹。但是大多数厂商出于商业原因，他们并不会发布可以机读格式的威胁情报，仅仅会在发布的博客中提到相关信息。

由于报告数量不断增加，不可能用人工的方式去逐一提取威胁情报，采用自动化技术提取威胁情报将大大提升威胁情报的提取效率。

在各大安全厂商的分析报告中，所有的文章可以分为三类：未包含威胁情报，包含威胁情报但是文末没有列出威胁情报，包含威胁情报且文末列出威胁情报。其中文末列出威胁情报的文章占了80％。基于这种观察，可以使用一种不依赖语义的提取方法，只需从整个文章中提取出文末列出的威胁情报即可。正则表达式(Regular Expression)使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。正则表达式通常被用来检索、替换那些匹配某个模式的文本。使用正则表达式可以匹配提取报告中所需的威胁情报。

机器学习(Machine Learning)是一种重在寻找数据中的模式并使用这些模式来做出预测的研究和算法的门类。机器学习是人工智能领域的一部分，并且和知识发现与数据挖掘有所交集。机器学习是一种数据分析技术，使用计算方法直接从数据中学习信息，而不依赖于预定方程模型。当可用于学习的样本数量增加时，这些算法可自适应提高性能。机器学习采用两种技术：监督式学习和无监督学习。监督式学习根据已知的输入和输出训练模型，让模型能够预测未来输出；无监督学习从输入数据中找出隐藏模式或内在结构。对机器学习的研究和其在网络安全领域的应用，必将促使网络安全检测应用的进一步发展。

因此，本领域的技术人员致力于开发一种基于智能化的威胁情报的网络攻击检测***和方法，将区块提取技术和机器学习算法应用于威胁情报及网络攻击检测领域。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何自动提取威胁情报，将各种来源的威胁情报收集起来，保存为统一的形式。并通过区块提取技术和机器学习算法，有效利用威胁情报，对网络攻击行为进行准确、高效的检测。

为实现上述目的，本发明提供了一种基于智能化威胁情报的网络攻击检测***，包括网页爬虫模块、威胁情报提取模块、流量数据包解析模块和网络攻击检测模块；

网页爬虫模块爬取安全厂商分析报告网页，获取最新分析报告；

威胁情报提取模块从分析报告中提取威胁情报，保存威胁情报至数据库；

流量数据包解析模块解析PCAP数据包，获取流量特征，保存流量特征至数据库；

网络攻击检测模块对流量特征和威胁情报进行匹配，将匹配的记录作为事件保存到数据库中，做进一步的攻击检测分析。

进一步地，网页爬虫模块以安全厂商的分析报告主页的链接作为输入。

进一步地，威胁情报提取模块采用基于区块的提取方法。

进一步地，威胁情报提取模块采用基于机器学习的方法。

进一步地，流量数据包解析模块解析TCP/UDP/ICMP流、DNS流、HTTP头，并保存其特征信息。

进一步地，流量数据包解析模块对传输文件进行重组，并保存传输文件的特征信息。

进一步地，网络攻击检测模块对威胁情报和流量特征进行匹配，匹配上的记录作为事件记录到数据库中。

进一步地，事件的字段包括时间戳、源IP、源端口号、威胁情报内容、威胁情报来源。

本发明还提供了一种基于智能化威胁情报的网络攻击检测***获取威胁情报的方法，包括如下步骤：

步骤101、网页爬虫模块爬取安全厂商的分析报告网页；

步骤102、网页爬虫模块发现分析报告网页有更新后，爬取更新的内容保存至文件***；

步骤103、威胁情报提取模块根据步骤102爬取到的分析报告的类型，采用不同的方法提取威胁情报；

步骤104、分析报告文末列出威胁情报时，使用基于区块的提取方式，使用正则表达式对匹配内容及行号进行记录，通过行号和标签建立不同区块，计算区块间的距离，若小于阈值则予以合并；

步骤105、使用步骤104无法获得威胁情报时，使用基于机器学习分类的方法提取威胁情报。

本发明还提供了一种基于智能化威胁情报的网络攻击检测***检测网络攻击的方法，包括如下步骤：

步骤201、数据包解析模块对PCAP进行解析，从PCAP中提取出相关特征，包括：TCP/UDP/ICMP连接信息中的源IP、源端口号、目的IP、目的端口号；DNS记录中的源IP、源端口号、对应的域名；HTTP记录中的host，uri；

步骤202、数据包解析模块对传输文件进行重组，并保存传输文件的特征信息，包括发送端IP、接收端IP、文件的MD5、SHA1、SHA256；

步骤203、对流量特征和威胁情报进行匹配，将匹配的记录作为事件保存到数据库中；

步骤204、对数据库中的事件进行进一步攻击检测分析。

本发明中的基于智能化威胁情报的网络攻击检测***和方法，将分散的威胁情报通过基于区块和机器学习的提取方法，自动化、智能化地收集起来，用于刻画网络攻击行为。对于网络流量数据包，进行解析并获取流量特征，与威胁情报进行匹配，生成事件记录。对事件记录地进一步分析，可以获得攻击行为的更具体特征。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的较佳具体实施例组成示意图；

图2是本发明的较佳具体实施例爬取网页过程示意图；

图3是本发明的较佳具体实施例提取威胁情报过程示意图；

图4是本发明的较佳具体实施例流量数据包解析及攻击检测过程示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，是本发明的组成示意图，包括以下模块：

网页爬虫模块：爬取安全厂商及个人的分析报告，并且定时检测是否更新，以保证获取最新的威胁情报。

威胁情报提取模块：解析分析报告，首先检测文末是否列出威胁情报，如果列出威胁情报将用基于区块的方式提取，如果文末没有列出威胁情报，会先用正则表达式提取出威胁情报，然后再对威胁情报进行分类，进而提取出真实有效的威胁情报，提取出的威胁情报会被存到数据库中。

流量数据包解析模块：从流量数据包中提取出TCP/UDP/ICMP流、DNS流、HTTP头，传输的文件并计算文件的哈希值，将这些提取的特征保存到数据库。

网络攻击检测模块：对采集到的流量特征与数据库中存储的威胁情报进行匹配，如果命中说明该IP对应的计算机可能已经被病毒感染，已经与C&C服务器进行了通讯。

如图2所示，网页爬虫模块的详细处理流程和工作机制为：首先人工收集包括奇安信威胁情报中心，腾讯御见威胁情报中心，卡巴斯基等50多家安全厂商的分析报告主页的链接，将这些主页的链接作为网页爬虫模块的输入。网页爬虫模块中的抓取器会下载这些主页的HTML，然后交给页面解析器处理，页面解析器提取出主页的HTML中所有的分析报告链接，存至链接数据库中。首次运行爬虫***的时候，会先把链接数据库里面的链接一次性爬取完毕，并标记已爬取。之后会只检测发布主页中有没有新的链接，当存在有新的链接时，爬取新的链接中的分析报告。

如图3所示，是本发明的提取威胁情报过程示意图，包括基于区块的提取方法和基于机器学习的方法。提取模块首先会检测文末有没有列出威胁情报，如果列出威胁情报将用基于区块的方式提取，如果文末没有列出威胁情报，会先用正则表达式提取出相关信息，然后再进行分类，进而提取出真实有效的威胁情报，提取出的威胁情报会被存到数据库中。

威胁情报提取模块的详细处理流程和工作机制为：首先会对抓取下来的文章进行预处理，将html文本转换成text纯文本，然后将text分割成单行，并记录其行号。对每一行的内容进行正则匹配，如果命中则记录行号，匹配的类型，以及匹配的内容。完成对每行的匹配之后，开始进行后续的分析。主要根据两方面进行分析，一是根据行号，二是根据标签。遍历所有匹配内容后，若两个行号连续，则放进一个区块里面，否则为后者建立一个新的区块。经过这样处理之后，得到了一个区块的列表。遍历所有的区块，计算区块之间的距离，如果距离小于事先设定的阈值，则将两个区块进行合并。最后根据区块的长度，以及区块中包含威胁情报上下文短语的数量进行判断哪个区块是厂商列出来的威胁情报。通过区块，可以针对网页中格式异常、使用表格形式、添加附加干扰的威胁情报准确提取。

对于无法基于区块提取的威胁情报，使用另一种通用的提取方法。首先利用正则表达式提取报告中的所有Domain，IP，以及文件哈希。直接通过正则表达式提取出来的Domain分为两类，一种是恶意样本的C&C服务器等恶意域名，一种是一些参考链接，补丁链接等正常网站的域名，这两类会有很大的不同，所以可以用支持向量机SVM对其进行分类。使用SVM训练，无需使用大规模人工标注数据集，提供简易轻量的实现方式得到准确率极高的分类器。

如图4所示，为本发明的流量数据包解析及攻击检测过程示意图。流量数据包解析模块将流量数据包转化为高级事件，获取不同网络协议数据流的报文信息和对应日志文件。对于传输文件，则计算其哈希值保存至数据库。

本实施例使用Bro从流量里面解析出相应的特征，也可以采用其他流量包解析工具。Bro是一个十分强大的网络分析框架，包括两大组件：事件引擎和脚本解释器。事件引擎会将packet转化成高级事件，Bro解析PCAP之后会记录相应的日志文件。从PCAP中可以提取出如下的信息：TCP/UDP/ICMP的连接信息包括源IP、源端口号、目的IP、目的端口号，DNS记录中的源IP、源端口号、以及对应的域名，HTTP记录中的host，uri等特征信息。

对于传输文件，bro默认只记录某些文件类型的哈希，但是可以通过加载脚本的方式让bro记录所有传输文件的哈希值，并保存传输文件的特征信息如发送端IP，接收端IP，以及文件的MD5，SHA1，SHA256等特征信息。

通过Bro解析出来的流量特征信息，构成流量待诊数据库。流量待诊数据库中的流量特征，与数据库中存储的威胁情报信息进行匹配，每个匹配上的记录作为一个事件记录到事件库中。本实施例使用的匹配方法是基于数据库的Join查询。每条事件记录的字段包括：时间戳，源IP，源端口号，威胁情报内容，以及威胁情报的来源。根据事件库，就可以分析得到哪个IP在什么时候命中了什么威胁情报，以及这个威胁情报和什么相关，进而可以得到该IP被哪个恶意病毒感染，或者被哪个APT组织攻击。安全从业者可以根据攻击事件进行溯源分析，根据来源找到相应的安全分析报告，对应的更详细的攻击方式说明、组织者信息、防范策略等，更好地进行应对。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (2)

1.一种基于智能化威胁情报的网络攻击检测***，其特征在于，包括网页爬虫模块、威胁情报提取模块、流量数据包解析模块和网络攻击检测模块；

所述网页爬虫模块爬取安全厂商的分析报告网页，定时检测是否更新以获取最新分析报告；

所述威胁情报提取模块从所述分析报告中提取威胁情报，保存所述威胁情报至数据库；如果所述分析报告的文末列出威胁情报，则采用基于区块的提取方式；如果所述分析报告的文末没有列出威胁情报，则采用基于机器学习的提取方式；

其中，所述如果所述分析报告的文末列出威胁情报，则采用基于区块的提取方式，包括：对所述分析报告进行预处理，将文本分割成单行，并记录行号，接着对每一行内容利用正则表达式进行匹配，若匹配成功，则记录匹配结果；之后通过行号和标签建立不同区块，遍历所有区块后，计算区块间的距离，若距离小于设定的阈值则予以合并；然后根据区块的长度，以及区块中包含的威胁情报上下文短语的数量进行判断哪个区块是安全厂商列出的威胁情报，最后将威胁情报存到数据库中；

所述如果所述分析报告的文末没有列出威胁情报，则采用基于机器学习的提取方式，包括：利用正则表达式提取所述分析报告中的相关信息，包括Domain、IP、以及文件哈希，利用机器学习算法对所述相关信息进行分类，进而提取出威胁情报，最后将威胁情报存到数据库中；

所述流量数据包解析模块获取流量特征，包括：所述流量数据包解析模块解析PCAP数据包，从所述PCAP数据包中提取出相关特征，保存至所述数据库；其中，所述相关特征包括TCP/UDP/ICMP连接信息中的源IP、源端口号、目的IP、目的端口号，DNS记录中的源IP、源端口号、对应的域名和HTTP记录中的host，uri；所述流量数据包解析模块对传输文件进行重组，并保存传输文件的特征信息，包括发送端IP、接收端IP、文件的MD5、SHA1、SHA256；

所述网络攻击检测模块对所述流量特征和所述威胁情报进行匹配，将匹配的记录作为事件保存到所述数据库中，做进一步的攻击检测分析；所述事件的字段包括时间戳、源IP、源端口号、威胁情报内容、威胁情报来源。

2.一种基于智能化威胁情报的网络攻击检测方法，其特征在于，包括如下步骤：

步骤101、网页爬虫模块爬取安全厂商的分析报告网页；

步骤102、所述网页爬虫模块发现所述分析报告网页有更新后，爬取更新的内容保存至文件***；

步骤103、威胁情报提取模块根据所述步骤102爬取到的分析报告的类型，采用不同的方法提取所述威胁情报，如果所述分析报告的文末列出威胁情报，则执行步骤104，如果所述分析报告的文末没有列出威胁情报，则执行步骤105；

步骤104、基于区块提取威胁情报，具体为：对所述分析报告进行预处理，将文本分割成单行，并记录行号，接着对每一行内容利用正则表达式进行匹配，若匹配成功，则记录匹配结果；之后通过行号和标签建立不同区块，遍历所有区块后，计算区块间的距离，若距离小于设定的阈值则予以合并；然后根据区块的长度，以及区块中包含的威胁情报上下文短语的数量进行判断哪个区块是安全厂商列出的威胁情报，最后将威胁情报存到数据库中，执行步骤106；

步骤105、基于机器学习提取威胁情报，具体为：利用正则表达式提取所述分析报告中的相关信息，包括Domain、IP、以及文件哈希，利用机器学习算法对所述相关信息进行分类，进而提取出威胁情报，最后将威胁情报存到数据库中，执行步骤106；

步骤106、将流量特征与数据库中的所述威胁情报进行匹配，将匹配的记录作为事件保存到所述数据库中；其中，所述流量特征由流量数据包解析模块获得；所述流量数据包解析模块对PCAP数据包进行解析，从所述PCAP数据包中提取出相关特征，包括TCP/UDP/ICMP连接信息中的源IP、源端口号、目的IP、目的端口号，DNS记录中的源IP、源端口号、对应的域名和HTTP记录中的host，uri；所述流量数据包解析模块对传输文件进行重组，并保存传输文件的特征信息，包括发送端IP、接收端IP、文件的MD5、SHA1、SHA256；

步骤107、对所述数据库中的所述事件进行进一步攻击检测分析。

Images