CN109857917A - 面向威胁情报的安全知识图谱构建方法及*** - Google Patents

Abstract

本发明涉及一种面向威胁情报的安全知识图谱构建方法及***。该方法的步骤包括：1)采集威胁情报的结构化数据和非结构化数据；2)对采集的结构化数据和非结构化数据进行知识抽取，得到威胁情报实体及实体间关系；3)构建基于图的本体模式，其中的节点表示威胁情报实体，边表示威胁情报实体间关系；4)根据步骤3)构建的基于图的本体模式，将步骤2)抽取的威胁情报实体及实体间关系存储到图数据库中，形成威胁情报的知识图谱。进一步利用所述图数据库提供查询服务和可视化展示功能。本发明将知识图谱技术应用到威胁情报领域，构建面向威胁情报的安全知识图谱，将分散的情报融合，同时提高了威胁信息的分析能力。

Description

面向威胁情报的安全知识图谱构建方法及***

技术领域

本发明属于计算机网络安全领域，涉及一种知识图谱构建方法，更具体地，涉及一种面向威胁情报的安全知识图谱构建方法及***。

背景技术

近年来，网络空间安全环境日益复杂，随着技术的进步，不法分子发起的网络攻击越来越高级、隐蔽，尤其是高级持续性威胁(APT)攻击呈现出多发态势，传统的防御措施无法满足当前的安全需求。在此背景下，威胁情报这一新兴技术应运而生。威胁情报描述网络空间中的安全实体及关联关系，为威胁响应提供决策依据，已成为构建新一代网络空间安全防御的基石。威胁情报作为一个新兴领域，目前的研究较为散乱、初步，存在着情报获取方式有限，采集技术有待提高，缺乏分析能力，尚未形成统一的共享标准等问题。

而知识图谱自2012年由谷歌公司提出以来，已在知识抽取，知识融合与知识推理等方面发展了许多研究成果，并在智能问答，个性化推荐，情报分析等方面发挥重要作用。从本质上讲，知识图谱是一个语义网。语义网被用来存储知识，具有有向图结构，其中，图中的顶点表示实体，图中的边表示实体间语义关系。知识图谱将杂乱的信息表示成实体-关系结构的知识，使资源更加容易理解与计算，以达到智能化语义搜索的目标。

在威胁情报领域应用知识图谱技术，可以将分散的威胁信息融合，提高情报输出质量，缓解数据爆发带来的分析困难，更好的发掘和利用威胁情报，提升威胁情报共享、分析与利用等多个方面应用能力。

发明内容

本发明提出一种面向威胁情报的安全知识图谱构建方法及***，通过将知识图谱技术应用到威胁情报领域，解决当前威胁情报多源异构、信息分析能力弱等问题。

为达到上诉目的，本发明采用具体技术方案是：

一种面向威胁情报的安全知识图谱构建方法，包括以下步骤：

1)数据采集。通过爬虫等手段从网络开放的威胁情报数据源、安全社区博客、安全报告等来源收集威胁情报的结构化和非结构化数据，用于后续的威胁情报知识抽取。

2)知识抽取。使用模式匹配和自然语言处理技术对收集的威胁情报基础数据进行抽取，抽取出威胁情报实体及其关系，得到高质量的情报知识。

3)本体构建。参考结构化威胁信息表达式(STIX^TM)威胁情报标准，结合实际，提出一种基于图的本体模式，节点表示威胁情报实体，边表示威胁情报实体间关系。

4)数据转储。使用图数据库作为后端存储解决方案，将抽取的威胁情报知识转化为一定的格式，存储到图数据库中，形成情报知识图谱，用于后续的共享、分析和利用。

进一步地，利用所述图数据库提供查询服务和可视化展示功能。使用数据可视化技术对分析、查询所得的结果以图的方式进行直观的可视化展现。

一种面向威胁情报的安全知识图谱***，包括数据采集模块、消息队列模块、实体抽取模块、关系抽取模块、本体构建模块和数据转储模块。

1、数据采集模块。使用爬虫技术从网络上开放的威胁情报数据源、安全社区博客、安全报告等来源收集威胁情报结构化和非结构化数据，将威胁情报发送到相应的消息队列中。

2、消息队列模块。消息队列使用RabbitMQ实现，使用topic类型的交换器，通过路由键将收集的威胁情报数据路由到相应的抽取模块。

3、实体抽取模块。对结构化数据，对其数据模式进行解读，使用模式匹配的方式识别出威胁情报实体；对非结构化文本数据，使用自然语言处理工具包Stanford CoreNLP进行命名实体识别，抽取出威胁情报实体。

4、关系抽取模块。对结构化数据，对其数据模式进行解读，使用模式匹配的方式识别出威胁情报实体间关系；对非结构化文本数据，在识别出威胁情报实体的基础上，使用Stanford CoreNLP工具包中的TokensRegex框架找出满足特定模式的文本序列，抽取出实体间关系。

5、本体构建模块。参考STIX威胁情报标准，结合本人所在研究小组的行业经验，构建一种具有高度可扩展性的面向威胁情报的图本体模式，涵盖大部分威胁情报实体及关系，作为图数据库模式。

6、数据转储模块。基于数据的海量性和***的成熟度与易用性，威胁情报后端存储使用JanusGraph分布式图数据库，采用面向列的数据库HBase作为JanusGraph的存储后端，使用内置的JanusGraph Server引擎作为服务器组件与客户端交互，数据转储模块通过提交Gremlin语句的方式存储威胁情报数据。

进一步地，还包括查询服务模块。查询服务模块以REST接口的形式为用户提供服务，将用户的查询转换为相应的Gremlin语句，提交到JanusGraph Server的HTTP服务接口，获得执行结果，处理、转换为相应的格式，返回到前端。

进一步地，还包括可视化模块。可视化模块对查询结果以图的方式进行直观展示，用户在浏览器中输入查询关键字，点击搜索后，可视化模块使用d3.js等前端框架将威胁情报实体及关系用节点和边展示在界面上。

威胁情报作为一个新兴领域，当前研究尚处于萌芽阶段，而知识图谱中涉及的知识抽取、知识融合和知识推理技术正契合了威胁情报中情报判定，资产管理，态势感知，情报融合与分析的需求。本发明将知识图谱技术应用到威胁情报领域，提出一种面向威胁情报的安全知识图谱构建方法，将分散的情报融合，同时也提高了威胁信息的分析能力。

附图说明

图1是本发明中面向威胁情报的安全知识图谱***的整体流程图。

图2是本发明中定义的表示威胁情报实体及关系的本体模式图。

图3是本发明中实体抽取流程图。

图4是本发明中实体间关系抽取流程图。

图5是本发明中数据转储流程图。

图6是本发明中查询服务流程图。

图7是本发明中实体查询可视化示意图。

图8是本发明中关系查询可视化示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和事例对本发明中技术核心作进一步详细的说明。

在本发明中，设计了一套面向威胁情报的安全知识图谱***，能够有效解决上述所存在的问题，所述***包括如下：

如图1所示，为安全知识图谱***的整体流程图。数据采集模块100从网络上收集威胁情报数据，通过相应的消息队列模块200路由到知识抽取模块(包括实体抽取模块400和关系抽取模块500)，从中抽取出威胁情报实体及关系，然后通过本体构建模块300构建基于图的本体模式，并通过数据转储模块600存储到图数据库中，同时通过查询服务模块700和可视化模块800提供查询服务和可视化展示。

如图2所示，本体模式包括威胁情报实体和关系。实体有AS(自治***)、Campaign(网络战役)、Cert(数字证书)、Domain(域名)、Hacker Group(黑客组织)、Incident(安全事件)、IP(网络地址)、Mail(电子邮件)、Mailbox(电子邮箱)、Organization(组织机构)、Report(安全报告)、Sample(样本)、TTP(战术、技术和程序)、URL(网址)、User(身份标识)、Vulnerability(漏洞)等；关系包括use(使用)、authorize(授权)、resolve(解析)、contain(包含)、register(注册)、host(托管)、launch(发动)、belong(属于)、refer(提及)、communicate(通信)、target(攻击)、send(发送)、receive(接收)等。

如图3所示，实体抽取从消息队列取出的情报数据中抽取出威胁情报实体。其中：

步骤410，针对非结构化文本数据，使用Stanford CoreNLP工具包进行处理，该工具包使用内置的Web API服务器提供自然语言处理服务。第一次使用StanfordCoreNLPClient连接服务器时，服务器后端会初始化服务，通过读取配置文件，加载分词(tokenize)、分句(ssplit)、词性标注(pos)、文法(lemma)、命名实体识别(ner)等功能，然后读取定义好的威胁情报实体规则和字典文件，规则使用正则表达式，部分如表1，对客户端提交的文本进行标注，识别出威胁情报实体，返回标注后的token序列。

表1威胁情报本体规则

步骤440，客户端获得标注后的token序列后，循环遍历，抽取出标注为威胁情报实体标签的文本序列，即得到威胁情报实体。

步骤450，针对结构化数据，同一情报源的数据往往具有相同的数据模式，针对不同源的情报数据，分别编写对应的规则抽取，然后根据路由键判断情报源，进而使用对应的抽取接口，抽取出威胁情报实体。

如图4所示，关系抽取在实体抽取后，从文本或序列中抽取出威胁情报实体间关系。其中：

步骤510，针对标注后的序列，使用TokensRegex模式语言编写关系模式文件，如表2，TokensRegex模式语言用于定义文本上的模式，强调将文本描述为token序列，并在token上编写模式，支持许多来自字符串标准正则表达式的概念，如通配符和捕获组，并使用类似的语法。与标准正则表达式主要区别在于匹配单个token的语法。在TokensRegex中，token被表示为CoreMap类(本质上是从属性键(Class)到属性值(Object)的映射)，通过指定key和匹配的value来支持属性匹配。每个token由[<expression>]指示，其中<expression>指定如何匹配属性。如：

[]匹配任意一个token；

[{word:”cat”}]匹配一个文本等于“cat”的token，可简写为/cat/；

[{word:/cat|dog/}]匹配一个文本为“cat”或“dog”的token，可简写为/cat|dog/；

[{ner:organization}]匹配一个实体类别为组织机构的token。

表达式中，常用的属性有word(文本匹配)，tag(词性匹配)，ner(实体匹配)；常用的包围符号有：[…]表示一个token；(…)表示一个捕获组；{…}表示属性匹配；/…/表示基于字符串的正则表达式；“…”表示一个字符串。通过读取文件中的关系模式构造匹配项，找出相应的实体间关系。

表2关系模式

步骤520，循环遍历序列，找出匹配关系模式的所有序列，映射到实体间关系。

步骤530，针对结构化数据，与实体抽取相同，根据数据模式抽取威胁情报实体间关系。

如图5所示，数据转储将抽取的威胁情报知识存储到图数据库中。其中：

步骤610，JanusGraph使用内置的Gremlin Server提供交互服务，默认使用WebSocket方式，通过指定主机和端口连接到Gremlin Server服务，获得图数据库实例。

步骤620，通过图实例获得图遍历源GraphTraversalSource，用于执行图遍历操作，如增删改查操作。

步骤630，JanusGraph图数据库模式中定义了威胁情报实体的唯一键属性，用于约束实体对象的唯一性，在存储抽取的情报实体时，首先查询该实体是否存在，若不存在，进行实体添加操作，若存在，则获得该实体对象，对属性进行更新。

步骤640，JanusGraph图数据库模式中定义了威胁情报实体间关系的多重性约束为MULTI，即无多重性约束，因此，在存储抽取的情报实体间关系时，首先查询该关系边是否存在，若不存在，进行边添加操作，若存在，则获得该边对象，对属性进行更新。

如图6所示，查询服务主要提供两个接口：实体查询和关联查询。实体查询根据关键字查询是否有匹配的实体；关系查询根据实体类别和关键字查询与该实体直接或间接关联的实体及关系，限制查询路径次数最大为100。其查询过程包括：

步骤710，用户输入查询关键字后，前端将查询关键字封装成查询服务模块查询接口要求的参数格式，然后向查询服务的REST接口请求数据。

步骤740，通过修改JanusGraph的配置文件，打开Gremlin Server的HTTP接口，将查询关键字封装成Gremlin语句，向Gremlin Server的HTTP服务发送请求，Gremlin Server后台执行该Gremlin语句，返回执行后的结果。

如图7所示，用户在搜索框输入查询关键字后，通过查询服务获得威胁情报实体数据，使用d3.js“画”出一个节点，展示在界面上，同时在右侧栏中显示该实体的属性。

如图8所示，用户在某个节点上选择关系查询后，通过查询服务获得与该实体关联的威胁情报实体及关系数据，使用d3.js“画”出所有节点和边，展示在界面上，同时在右侧栏中显示选中实体的属性。

最后所应说明的是，以上实施案例仅用以说明本发明的技术方案而非限制，尽管使用事例对本发明进行了详细说明，本领域的普通技术人员应当理解，可对本发明的技术方案进行修改或者等价替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种面向威胁情报的安全知识图谱构建方法，其特征在于，包括以下步骤：

1)采集威胁情报的结构化数据和非结构化数据；

2)对采集的结构化数据和非结构化数据进行知识抽取，得到威胁情报实体及实体间关系；

3)构建基于图的本体模式，其中的节点表示威胁情报实体，边表示威胁情报实体间关系；

4)根据步骤3)构建的基于图的本体模式，将步骤2)抽取的威胁情报实体及实体间关系存储到图数据库中，形成威胁情报的知识图谱。

2.根据权利要求1所述的方法，其特征在于，步骤1)通过爬虫从网络开放的威胁情报数据源、安全社区博客、安全报告收集威胁情报的结构化数据和非结构化数据。

3.根据权利要求1所述的方法，其特征在于，步骤1)将采集的威胁情报的结构化数据和非结构化数据发送到消息队列中，步骤2)对所述消息队列中的数据进行知识抽取。

4.根据权利要求1所述的方法，其特征在于，步骤2)使用模式匹配和自然语言处理技术进行所述知识抽取，包括：

2.1)实体抽取步骤：对结构化数据，对其数据模式进行解读，使用模式匹配的方式识别出威胁情报实体；对非结构化文本数据，使用自然语言处理工具进行命名实体识别，抽取出威胁情报实体；

2.2)关系抽取步骤：对结构化数据，对其数据模式进行解读，使用模式匹配的方式识别出威胁情报实体间关系；对非结构化文本数据，在识别出威胁情报实体的基础上，使用自然语言处理工具找出满足特定模式的文本序列，抽取出实体间关系。

5.根据权利要求1所述的方法，其特征在于，步骤3)根据根据威胁情报相关国际标准及行业经验构建基于图的本体模式。

6.根据权利要求1所述的方法，其特征在于，步骤4)使用JanusGraph分布式图数据库，采用面向列的数据库HBase作为JanusGraph的存储后端，使用内置的JanusGraph Server引擎作为服务器组件与客户端交互，通过提交Gremlin语句的方式存储威胁情报数据。

7.根据权利要求1所述的方法，其特征在于，步骤4)利用所述图数据库提供查询服务和可视化展示功能。

8.根据权利要求7所述的方法，其特征在于，所述查询服务以REST接口的形式为用户提供服务，将用户的查询转换为相应的Gremlin语句，提交到JanusGraph Server的HTTP服务接口，获得执行结果；所述可视化展示功能对查询结果以图的方式进行直观展示，在用户在浏览器中输入查询关键字并点击搜索后，将威胁情报实体及关系用节点和边展示在界面上。

9.一种面向威胁情报的安全知识图谱构建***，其特征在于，包括数据采集模块、消息队列模块、实体抽取模块、关系抽取模块、本体构建模块和数据转储模块；

所述数据采集模块用于采集威胁情报的结构化数据和非结构化数据，并发送到所述消息队列模块；

所述消息队列模块用于接收所述数据采集模块采集的威胁情报的结构化数据和非结构化数据，并通过路由将其发送到所述实体抽取模块和所述关系抽取模块；

所述实体抽取模块用于从威胁情报的结构化数据和非结构化数据中抽取出威胁情报实体；

所述关系抽取模块用于从威胁情报的结构化数据和非结构化数据中抽取出实体间关系；

所述本体构建模块用于构建基于图的本体模式，其中的节点表示威胁情报实体，边表示威胁情报实体间关系；

所述数据转储模块用于根据所述本体构建模块构建的基于图的本体模式，将所述实体抽取模块抽取的威胁情报实体及所述关系抽取模块抽取的实体间关系存储到图数据库中，形成面向威胁情报的安全知识图谱。

10.根据权利要求9所述的***，其特征在于，还包括查询服务模块和可视化模块：

所述查询服务模块以REST接口的形式为用户提供服务，将用户的查询转换为相应的Gremlin语句，提交到JanusGraph Server的HTTP服务接口，获得执行结果；

所述可视化模块对查询结果以图的方式进行直观展示，在用户在浏览器中输入查询关键字并点击搜索后，将威胁情报实体及关系用节点和边展示在界面上。