CN112738126A - 基于威胁情报和att&ck的攻击溯源方法 - Google Patents

Abstract

本发明公开了一种基于威胁情报和ATT&CK的攻击溯源方法，利用标签模块，威胁情报库模块，数据预处理模块，ATT&CK处理模块来实现；基于应用场景，先建立标签体系与处理规则的映射关系，预先设定各个攻击行为属性的权重系数，利用标签体系对应数据特征并标识日志文件中的数据；建立开源威胁情报收集查询框架，自动从各种公开资源中收集威胁情报；从攻击者角度，结合高级渗透测试攻击矩阵通过对攻击者的战术、技术及步骤分析，识别出需要优先处理的技术点，最后生成攻击溯源可视化报告。本发明对于传统的日志数据清洗和单一的威胁情报溯源方法进行改进，依据标签配置模块预设规则，提高了信息检索效率，同时便于信息分类和建模。

Description

基于威胁情报和ATT＆CK的攻击溯源方法

技术领域

本发明涉及计算机网络安全领域，尤其涉及一种基于威胁情报和ATT&CK的攻击溯源方法。

背景技术

威胁是能对特定的目标***，资产造成破坏的潜在因素。随着黑客攻击手段日趋多样化，方法复杂化，应用多元化，威胁存在大量的不确定因素。而高级可持续性威胁(APT，Advanced Persistent Threat)因其利用手段技术高，攻击持续周期长，攻击危害高特点，已经成为一种严重威胁政府，企业数据安全的网络攻击手段。

现实场景中，在APT攻击造成严重经济损失之前，现有的防御架构无法及时准确地发现威胁的存在。更重要的是，在攻击后的复盘阶段，由于攻击手段过于复杂、攻击者填充过多脏数据干扰等原因，难以详细定位漏洞并知晓详细攻击流程。另外，动辄成百上千G的复盘日志数据，导致溯源过程难上加难。总体而言，现有技术中存在如下问题：

一是实际情况下，现实网络中每日基于IPS的虚假报警信息繁多，对于庞大的日志文件，传统方法在溯源过程中仍然采用Ip-Time-Process等进行低效的日志处理和攻击行为筛选，耗费了大量时间和人力。

二是威胁情报信息并不总是完整的，往往只包含单一或极少的攻击者信息，攻击行为在其生命周期中的意图及攻击流程无法在威胁情报信息中紧密联系起来，其攻击者信息是杂乱无序的，给其溯源过程带来了较大的难度。

三是攻击者在执行攻击行为之前会进行大量的探测行为，甚至在攻击执行中填充脏数据混淆真实攻击目的，这也加大了溯源难度。

依据以上问题，本发明首先引入标签技术，建立标签体系与威胁等级的映射关系，利用威胁情报对日志进行预处理，清洗筛选出具有威胁隐患的数据信息，针对不同特征不同应用场景下不同日志文件，赋予特定的标签，方便分类、分析管理。

威胁情报在现实中经常无法将攻击流程紧密连接，因此本发明通过高级渗透测试攻击矩阵(ATT&CK)框架，通过了解对手可能使用的技术，战术和程序，按照已有的部分关键信息，结合ATT&CK攻击者框架辅助攻击溯源定位。进行针对性的日志过滤及扫描，同时添加上下文关联信息，丰富攻击语义，完善攻击者路径。

针对以上情况，本发明提出一种基于威胁情报和ATT&CK的攻击溯源方法。

发明内容

针对现有网络安全攻击溯源技术中存在的日志数据分类难、处理过程效率低，安全事故难定位，攻击者路径难复原，攻击事件的威胁情报不完整等问题，提出一种基于威胁情报和ATT&CK的攻击溯源方法，利用标签模块，威胁情报库模块，数据预处理模块，ATT&CK处理模块来实现。其中，威胁情报库模块包括外部威胁采集子模块，内部威胁采集子模块，内部威胁聚合分析子模块，内部威胁情报库。ATT&CK处理模块包括ATT&CK框架解析子模块，数据处理子模块，反馈子模块。标签模块与数据预处理模块相连接，数据预处理模块分别与ATT&CK处理模块和威胁情报库模块相连接，ATT&CK处理模块和威胁情报库模块相连接。外部威胁采集子模块与内部威胁情报库相连接，内部威胁采集子模块与内部威胁聚合分析子模块相连接，内部威胁聚合分析子模块与内部威胁情报库相连接。ATT&CK框架解析子模块与数据处理子模块相连接，数据处理子模块与反馈子模块相连接。

本方法的具体步骤包括：

基于应用场景，先建立标签体系与处理规则的映射关系，预先设定各个攻击行为属性的权重系数，利用标签体系对应数据特征并标识日志文件中的数据。针对威胁性质，通过攻击行为暴露出的IP、MD5标识码、HASH标识码、域名等特征，对日志文件中的数据进行标识。

搜集内部安全威胁，结合外部各平台共享的威胁情报源，建立并完善内部威胁情报库。

利用外部威胁采集子模块，建立开源威胁情报收集查询框架，自动从各种公开资源中收集威胁情报，利用网络爬虫技术和API接口，简化外部收集流程，实现对威胁情报的快速收集整理，将采集到的数据存入内部威胁情报库，采用关系型数据库进行存储。其中，网络爬虫技术针对Twitter、Tor、暗网论坛、安全门户网站360、freebuf、fireeye、MCAfee等目标，利用Python中的BeautifuleSoup、Requests、Scrapy等库进行网页解析和页面内容爬取。利用API接口对开源的威胁情报共享平台和厂商收集威胁情报，包括AlienVault OTX、GreyNoise、Hunter、MalShare等，该类平台均提供固定的API接口来调用收集信息。

利用内部威胁采集子模块，进行数据源收集，其包括防火墙、IDS、IPS在内的传统安全设备中监测到的非法接入、未授权访问、身份认证、非常规操作，还包括利用沙盒运行模式、蜜罐技术、DPI技术、DFI技术、恶意代码检测技术等进行数据源收集。

利用内部威胁聚合分析子模块，发现整个环境中的特定趋势和态势场景下，与某种威胁相关的上下文、场景指标、攻击指标、攻击影响，并在应对威胁中收集和分析所建立的安全事件信息，最终将分析结果按威胁情报格式标准存入内部威胁情报库。

在内部威胁情报库建立完成后，利用数据预处理模块对需要溯源检测的文件进行预处理，对其日志文件进行初步过滤，对经过预处理后的威胁情报，通过IP、MD5标识码、HASH标识码、域名、攻击特征等多维度信息从日志文件中筛选出具有威胁隐患的日志信息，同时，利用标签模块，根据预设的标签体系与处理规则的映射关系，在数据预处理过程中对日志文件中的数据打上对应的威胁权重标签，通过正则匹配标签体系规则，对攻击行为暴露出的对应特征进行标记。

将经过数据预处理模块后的数据，送入ATT&CK处理模块。利用ATT&CK处理模块，从攻击者角度，结合高级渗透测试攻击矩阵通过对攻击者的战术、技术及步骤(Tactics，Techniques and Procedures，TTP)分析，识别出需要优先处理的技术点，提高溯源准确度。

ATT&CK处理模块中的ATT&CK框架解析子模块通过ATT&CK解析，并结合本地网络拓扑环境构建攻击者路径模型。ATT&CK框架解析子模块包含了攻击者所可能使用的全部方法和通过的途径等信息，基于此模拟并建立攻击者攻击路径模型。

利用ATT&CK处理模块中的数据处理子模块，基于解析子模块所生成的模型，将数据预处理模块所输出的数据作为新的数据源载入到数据处理子模块中，根据标签信息对日志数据进行有优先级的梯度化处理。利用数据处理子模块继续对攻击行为进行信息补充，具体包括如下操作：首先，针对较为完整的已挖掘出的攻击行为，在传统威胁情报基础上重塑攻击者路径，并根据递进关系，丰富攻击行为的上下文关系；其次，针对仍不完整的情报信息和未挖掘出的攻击行为，将得到的情报信息依据解析子模块所生成的模型进行填空操作，寻找攻击信息所缺失的环节，并根据缺失环节，结合情报信息缺失环节的攻击特点、攻击特征，攻击区域等信息，再一次进行日志信息搜集和过滤。

利用ATT&CK处理模块中的反馈子模块进行如下操作：首先，对通过数据处理子模块完善的攻击路径信息进行收集和整理后，以规定的格式写入到本地威胁情报库，其次，生成以攻击者角度的上下文联系紧密的攻击溯源可视化报告。

本发明的有益效果为：

1、本发明公开的基于威胁情报和ATT&CK的攻击溯源方法，对于传统的日志数据清洗和单一的威胁情报溯源方法进行改进，依据标签配置模块预设规则，采用基于多维度信息评判威胁权重的方法并标注标签，优化标签规则，提高了信息检索效率，同时便于后期信息整理，分类和建模。

2、本发明公开的基于威胁情报和ATT&CK的攻击溯源方法，通过建立本地威胁情报库，利用威胁情报和标签体系结合的方式，一方面避免检测到攻击者后进行的过多重复的访问、探测、填充脏数据等无意义的操作，例如攻击者伪造IP等信息会造成标记量过大，耗费***资源；另一方面，有许多威胁等级类似的攻击行为大概率具有一定的同源性或攻击路径相似，本方法可以极大的缩减工作量。

3、本发明方法利用ATT&CK和威胁情报相结合，一方面可以解决威胁情报信息单一，不完整，无序性等特点，另一方面通过建立本地威胁情报库，通过本地ATT&CK建模分析、精准关联攻击前后行为，可完善威胁情报，进而促进检测发现，以此达成一种闭环的自学习、自更新架构。

附图说明

图1为本发明的实现***的整体框架。

图2为威胁情报库模块的组成示意图。

具体实施方式

为了更好的了解本发明内容，这里给出一个实施例。

一种基于威胁情报和ATT&CK的攻击溯源方法，其实施方式如下：

如图1所示，本方法利用标签模块，威胁情报库模块，数据预处理模块，ATT&CK处理模块来实现。其中，威胁情报库模块包括外部威胁采集子模块，内部威胁采集子模块，内部威胁聚合分析子模块，内部威胁情报库。ATT&CK处理模块包括ATT&CK框架解析子模块，数据处理子模块，反馈子模块。标签模块与数据预处理模块相连接，数据预处理模块分别与ATT&CK处理模块和威胁情报库模块相连接，ATT&CK处理模块和威胁情报库模块相连接。外部威胁采集子模块与内部威胁情报库相连接，内部威胁采集子模块与内部威胁聚合分析子模块相连接，内部威胁聚合分析子模块与内部威胁情报库相连接。ATT&CK框架解析子模块与数据处理子模块相连接，数据处理子模块与反馈子模块相连接。

基于应用场景，先建立标签体系与处理规则的映射关系，预先设定各个攻击行为属性的权重系数，利用标签体系对应数据特征并标识日志文件中的数据，令处理规则规范化，通用化。与传统建立标签索引方式不同，不以单独的IP作为标识来标记信息，这样会导致标记量过大，增加工作量。因威胁情报的特殊结构，利用威胁情报的特性，具体的，针对威胁性质，对通过攻击行为暴露出的IP、MD5标识码、HASH标识码、域名等特征，进行标识，此标识方式的优点在于，有许多威胁等级类似的攻击行为大概率具有一定的同源性，或攻击路径相似，可以极大地缩减工作量。该方法中的标识规则还可以避免因为攻击者伪造IP等信息造成标记量过大，耗费资源。标签体系威胁权重表如表1所示。

表1标答体系威胁权重表

威胁权重	威胁情报特征
		1	(IP、hash、Domain等)泛指具有C&C，提权等高危的行为特征
2	(IP、hash、Domain等)泛指具有命令执行，ARP等中高危的行为特征
		3	(IP、hash、Domain等)泛指具有后门流量，绕过waf等中危行为特征
4	(IP、hash、Domain等)泛指具有探测，扫描，搜集等低危的行为特征

如图2所示，威胁情报库模块包括：外部威胁采集子模块，内部威胁采集子模块，内部威胁聚合分析子模块，内部威胁情报库。

搜集内部安全威胁，结合外部各平台共享的威胁情报源，建立并完善本地威胁情报库，从而可快速高效的对攻击数据分析和溯源。建立本地威胁情报库，威胁情报可大幅减少日志检索过程中的工作，其中需要将内部安全威胁搜集整理加上外部各平台共享威胁情报源结合，以此完善最基本的本地威胁情报库。

利用外部威胁采集子模块，建立开源威胁情报收集查询框架，自动从各种公开资源中收集威胁情报，利用网络爬虫技术和API接口，简化外部收集流程，实现对威胁情报的快速收集整理。其中，网络爬虫技术针对Twitter、Tor、暗网论坛、安全门户网站360、freebuf、fireeye、MCAfee等目标，利用Python中的BeautifuleSoup、Requests、Scrapy等库进行网页解析和页面内容爬取。利用API接口对开源的威胁情报共享平台和厂商收集威胁情报，包括AlienVault OTX、GreyNoise、Hunter、MalShare等，该类平台均提供固定的API接口来调用收集信息。

该方法中，针对外部威胁采集子模块采集到的数据，均是威胁情报国际标准STIX设定好的一种标准化和结构化的格式，将采集到的数据存入内部威胁情报库，所采集到的数据因其本身是代表具有联系的一连串攻击行为，所以采用关系型数据库进行存储，关系型数据库包括Mysql和Mssql等。

如图2所示，利用内部威胁采集子模块，进行数据源收集，一方面通过防火墙、IDS、IPS为代表的传统安全设备中监测到的非法接入、未授权访问、身份认证、非常规操作等。另一方面还有沙盒执行、蜜罐、DPI、DFI、恶意代码检测等，即均通过搜集传统检测设备结果或原生的中间件日志。

利用内部威胁聚合分析子模块，发现整个环境中的特定趋势和态势场景下，与某种威胁相关的上下文、场景指标、攻击指标、攻击影响，并在应对威胁中收集和分析所建立的安全事件信息，最终将分析结果按威胁情报格式标准存入内部威胁情报库。内部威胁聚合分析子模块根据STIX威胁情报结构化格式进行整理。

在内部威胁情报库建立完成后，利用数据预处理模块对需要溯源检测的文件进行预处理，对其日志文件进行初步过滤，对经过预处理后的威胁情报，通过IP、MD5标识码、HASH标识码、域名、攻击特征等多维度信息从日志文件中筛选出具有威胁隐患的日志信息，从而极大地简化了繁琐的日志分析工作，且分析、过滤后的日志信息都有较高的TPR(TruePositive Rate)，同时，利用标签模块，根据预设的标签体系与处理规则的映射关系，在数据预处理过程中对日志文件中的数据打上对应的威胁权重标签，通过正则匹配标签体系规则，对攻击行为暴露出的对应特征进行标记。基于威胁权重分类，便于后期溯源处理和识别，以及最终分析和总结。

将经过数据预处理模块后的数据，送入ATT&CK处理模块，在ATT&CK模块处理之前，威胁情报本身包含信息未必完整，往往只针对某一组织某一时段的攻击特征有记录。单独利用威胁情报进行数据处理提取难免导致数据结果单一，且无法很好的关联到各攻击行为。利用ATT&CK处理模块，从攻击者角度，结合高级渗透测试攻击矩阵通过对攻击者的战术、技术及步骤(Tactics，Techniques and Procedures，TTP)分析，识别出需要优先处理的技术点，提高溯源准确度。MITRE

是一个全球可访问的对手战术和技术知识库，其基于对现实世界的观察。ATT&CK知识库被用作私营部门、政府部门以及网络安全产品和服务领域特定威胁模型和方法开发的基础。ATT&CK是开放的，任何人或组织都可以***。

ATT&CK处理模块中的ATT&CK框架解析子模块通过ATT&CK解析，并结合本地网络拓扑环境构建攻击者路径模型。ATT&CK框架解析子模块包含了攻击者所可能使用的全部方法和通过的途径等信息，基于此模拟并建立攻击者攻击路径模型。其中，基于攻击者角度，攻击路径从Initial Access-->Execution-->Persistence-->Privilege Escalation-->Defense Evasion-->Credential Access-->Discovery-->Lateral Movement-->Collection-->Command and Control-->Exfiltration。

攻击者攻击路径模型利用AI中的NLP方法处理建模，威胁情报包括中英文文本，视频，音频，比特流或其他复杂格式信息，利用NLP方法，结合ATT&CK进行文本分类、词性标注、句法分析、信息检索、信息抽取、***问答、机器翻译，逐步建立模型，最终将数据预处理模块所输出的数据作为新的数据源载入到数据处理子模块中。数据处理子模块读取标签后，按写入的标签值对数据进行有优先级的梯度化处理，其中，对于具有相同威胁等级的攻击通常较容易具有相似攻击特征，对相似攻击行为，相似威胁等级便于分类、总结。威胁情报是某种基于证据的知识，包括上下文、机制、标示、含义和能够执行的建议，这些知识与资产所面临已有的或酝酿中的威胁或危害相关，可用于资产相关主体对威胁或危害的响应或处理决策提供信息支持。所有的数据如果表示了某种带有威胁含义的行为，那它就是威胁情报。将原本孤立的数据，从里面分析，抽取出带有威胁含义的数据，抽取出的信息就是一种威胁情报。

利用ATT&CK处理模块中的数据处理子模块，基于解析子模块所生成的模型，将数据预处理模块所输出的数据作为新的数据源载入到数据处理子模块中，根据标签信息对日志数据进行有优先级的梯度化处理。对于具有相同威胁等级的攻击通常较容易具有相同攻击特征，更有利于简化溯源过程。利用数据处理子模块继续对攻击行为进行信息补充，具体包括如下操作：：首先，针对较为完整的已挖掘出的攻击行为，在传统威胁情报基础上重塑攻击者路径，并根据递进关系，丰富攻击行为的上下文关系；其次，针对仍不完整的情报信息和未挖掘出的攻击行为，将得到的情报信息依据解析子模块所生成的模型进行填空操作，寻找攻击信息所缺失的环节，并根据缺失环节，结合情报信息缺失环节的攻击特点、攻击特征，攻击区域等信息，再一次进行日志信息搜集和过滤。

利用ATT&CK处理模块中的反馈子模块进行如下操作：首先，对通过数据处理子模块完善的攻击路径信息进行收集和整理后，以规定的格式写入到本地威胁情报库，其次，生成以攻击者角度的上下文联系紧密的攻击溯源可视化报告。该溯源结果在传统溯源之上针对攻击者行为联系更为紧密，对攻击行为捕获更完整。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于威胁情报和ATT&CK的攻击溯源方法，其特征在于，利用标签模块，威胁情报库模块，数据预处理模块，ATT&CK处理模块来实现；威胁情报库模块包括外部威胁采集子模块，内部威胁采集子模块，内部威胁聚合分析子模块，内部威胁情报库；ATT&CK处理模块包括ATT&CK框架解析子模块，数据处理子模块，反馈子模块；

本方法的具体步骤包括：

基于应用场景，先建立标签体系与处理规则的映射关系，预先设定各个攻击行为属性的权重系数，利用标签体系对应数据特征并标识日志文件中的数据；针对威胁性质，通过攻击行为暴露出的IP、MD5标识码、HASH标识码、域名特征，对日志文件中的数据进行标识；

搜集内部安全威胁，结合外部各平台共享的威胁情报源，建立并完善内部威胁情报库；

利用外部威胁采集子模块，建立开源威胁情报收集查询框架，自动从各种公开资源中收集威胁情报，利用网络爬虫技术和API接口，简化外部收集流程，实现对威胁情报的快速收集整理，将采集到的数据存入内部威胁情报库，采用关系型数据库进行存储；

利用内部威胁采集子模块，进行数据源收集；

利用内部威胁聚合分析子模块，发现整个环境中的特定趋势和态势场景下，与某种威胁相关的上下文、场景指标、攻击指标、攻击影响，并在应对威胁中收集和分析所建立的安全事件信息，最终将分析结果按威胁情报格式标准存入内部威胁情报库；

在内部威胁情报库建立完成后，利用数据预处理模块对需要溯源检测的文件进行预处理，对其日志文件进行初步过滤，对经过预处理后的威胁情报，通过IP、MD5标识码、HASH标识码、域名、攻击特征多维度信息从日志文件中筛选出具有威胁隐患的日志信息，同时，利用标签模块，根据预设的标签体系与处理规则的映射关系，在数据预处理过程中对日志文件中的数据打上对应的威胁权重标签，通过正则匹配标签体系规则，对攻击行为暴露出的对应特征进行标记；

将经过数据预处理模块后的数据，送入ATT&CK处理模块；利用ATT&CK处理模块，从攻击者角度，结合高级渗透测试攻击矩阵通过对攻击者的战术、技术及步骤分析，识别出需要优先处理的技术点；

ATT&CK处理模块中的ATT&CK框架解析子模块通过ATT&CK解析，并结合本地网络拓扑环境构建攻击者路径模型；

利用ATT&CK处理模块中的数据处理子模块，基于解析子模块所生成的模型，将数据预处理模块所输出的数据作为新的数据源载入到数据处理子模块中，根据标签信息对日志数据进行有优先级的梯度化处理；利用数据处理子模块继续对攻击行为进行信息补充；

利用ATT&CK处理模块中的反馈子模块进行如下操作：首先，对通过数据处理子模块完善的攻击路径信息进行收集和整理后，以规定的格式写入到本地威胁情报库，其次，生成以攻击者角度的上下文联系紧密的攻击溯源可视化报告。

2.一种如权利要求1所述的基于威胁情报和ATT&CK的攻击溯源方法，其特征在于，所述的标签模块与数据预处理模块相连接，数据预处理模块分别与ATT&CK处理模块和威胁情报库模块相连接，ATT&CK处理模块和威胁情报库模块相连接；外部威胁采集子模块与内部威胁情报库相连接，内部威胁采集子模块与内部威胁聚合分析子模块相连接，内部威胁聚合分析子模块与内部威胁情报库相连接；ATT&CK框架解析子模块与数据处理子模块相连接，数据处理子模块与反馈子模块相连接。

3.一种如权利要求1所述的基于威胁情报和ATT&CK的攻击溯源方法，其特征在于，所述的利用网络爬虫技术和API接口，简化外部收集流程，实现对威胁情报的快速收集整理，其中，网络爬虫技术针对Twitter、Tor、暗网论坛、安全门户网站360、freebuf、fireeye、MCAfee目标，利用Python中的BeautifuleSoup、Requests、Scrapy库进行网页解析和页面内容爬取；利用API接口对开源的威胁情报共享平台和厂商收集威胁情报，包括AlienVaultOTX、GreyNoise、Hunter、MalShare，该类平台均提供固定的API接口来调用收集信息。

4.一种如权利要求1所述的基于威胁情报和ATT&CK的攻击溯源方法，其特征在于，

所述的利用内部威胁采集子模块，进行数据源收集，

其包括防火墙、IDS、IPS在内的传统安全设备中监测到的非法接入、未授权访问、身份认证、非常规操作，还包括利用沙盒运行模式、蜜罐技术、DPI技术、DFI技术、恶意代码检测技术进行数据源收集。

5.一种如权利要求1所述的基于威胁情报和ATT&CK的攻击溯源方法，其特征在于，

ATT&CK框架解析子模块包含了攻击者所可能使用的全部方法和通过的途径信息，基于此模拟并建立攻击者攻击路径模型。

6.一种如权利要求1所述的基于威胁情报和ATT&CK的攻击溯源方法，其特征在于，

利用数据处理子模块继续对攻击行为进行信息补充，具体进行如下操作：首先，针对较为完整的已挖掘出的攻击行为，在传统威胁情报基础上重塑攻击者路径，并根据递进关系，丰富攻击行为的上下文关系；其次，针对仍不完整的情报信息和未挖掘出的攻击行为，将得到的情报信息依据解析子模块所生成的模型进行填空操作，寻找攻击信息所缺失的环节，并根据缺失环节，结合情报信息缺失环节的攻击特点、攻击特征，攻击区域信息，再一次进行日志信息搜集和过滤。

Images