CN118070281A - 一种基于日志信息和图神经网络的恶意代码检测方法 - Google Patents

Abstract

本发明提供了一种基于日志信息和图神经网络的恶意代码检测方法，解析每个审计日志数据样本的日志信息，获取对恶意代码检测所需的特征信息并生成进程事件；根据进程事件序列构建全局异构图，通过图卷积神经网络获取每个进程事件的向量表示；构建使用进程事件语义信息和进程调用信息的检测模型，并使用该检测模型对日志数据进行恶意代码检测。本发明构建以日志文档和进程事件为节点的全局异构图，借用图卷积神经网络进行进程事件语义嵌入，挖掘进程事件间的关联关系，利用事件语义嵌入以及进程树结构信息，为每个软件样本的日志文档构建事件关系图，使用基于注意力的门控图神经网络进行模型搭建，从而提高恶意代码的检测准确率并且降低误报率。

Description

一种基于日志信息和图神经网络的恶意代码检测方法

技术领域

本发明涉及恶意代码检测领域，尤其是涉及了一种基于日志信息和图神经网络的恶意代码检测方法。

背景技术

恶意代码是攻击者为达到恶意目的而故意设计的用于攻击特定***或平台的恶意软件，它形态多样且种类繁多，例如有恶意文件、恶意命令行、恶意shellcode等多种类型。根据特征提取过程使用的方法不同可以将恶意代码智能检测分为静态检测和动态检测两种方法，大多数静态检测方法和动态检测方法都需要使用额外的工具去获取程序的特征，尤其是动态检测方法，需要在程序运行期间使用工具收集数据，这就意味着工具的使用在一定程度上给***带来网络开销和性能开销，另外，对于企业或政府部门来说，部署以及维护额外的工具软件也是一笔较大的成本。为解决这两个问题，目前多通过使用日志信息作为特征去检测计算机异常情况或者是否遭遇恶意软件入侵。

当前的基于日志信息的恶意代码检测方法主要包括以下三个缺点：

(1)在进行日志解析的过程，大多数方案对Windows审计日志的解析都是直接解析被测程序运行期间操作***记录的所有进程事件，大量无关的进程事件不仅影响检测模型的训练速度，还可能会带来大量误报，并且在进行进程事件嵌入表示时丢失了进程调用等结构信息。

(2)大部分基于Windows审计日志的研究都只关注进程事件序列的时序关系使用循环神经网络，缺少全局信息以及进程事件之间局部结构信息的抽取，造成获取的信息不够全面，准确性不高。

(3)大部门研究使用的模型都依赖于高质量的训练数据集，只关注进程事件序列的时序信息，当测试集出现大量训练集没出现过的进程事件时，模型的检测效果大幅度降低，模型的鲁棒性和可解释性都比较薄弱。

发明内容

为了解决背景技术中所存在的问题，本发明提出了一种基于日志信息和图神经网络的恶意代码检测方法。

一种基于日志信息和图神经网络的恶意代码检测方法：

日志解析：获取并解析每个审计日志数据样本的日志信息，获取对恶意代码检测所需的特征信息，包括日志的语义信息、时序信息和进程调用结构信息，并生成进程事件；

进程事件嵌入：根据进程事件序列构建全局异构图，通过图卷积神经网络获取每个进程事件的向量表示；

模型构建：构建使用进程事件语义信息和进程调用信息的检测模型，并使用该检测模型对日志数据进行恶意代码检测。

基于上述，根据审计日志的信息字段，获取进程事件的操作类型信息和操作目标信息，并将进程事件的操作类型信息和操作目标信息关联为进程事件的语义信息。

基于上述，根据审计日志中进程的特定字段信息，获取进程之间的父子关系，并生成进程事件。

基于上述，在日志解析过程中，对进程事件进行去重操作和优化操作，其中优化操作是指筛选满足重要程度要求的进程事件。

基于上述，预置频率阈值或增益阈值，将在数据集中出现频率超过频率阈值或信息增益超过增益阈值的进程事件，筛选为满足重要程度要求的进程事件。

基于上述，构建全局异构图，包括日志文档节点、事件节点、通过滑动窗口建立的事件节点与事件节点之间的关联信息和通过进程事件序列描述的事件节点与日志文档节点之间的关联信息。

基于上述，根据日志文档节点和事件节点获取节点特征矩阵，根据事件节点与事件节点之间的关联信息和事件节点与日志文档节点之间的关联信息获取邻接矩阵，将节点特征矩阵和邻接矩阵输入图卷积神经网络进行训练并获取各进程事件的向量表示。

基于上述，在模型构建过程中，先为每个软件样本构建一个包括进程结构信息的事件关系图，事件关系图中每个节点表示该软件样本的日志文档中记录的事件，使用滑动窗口建图法从进程序列信息和进程调用关系中抽取事件关系图中节点之间的关联信息。

基于上述，滑动窗口建图法建图原则：两个事件在同一个滑动窗口内，则为该两个事件构建一个关联信息；两个事件在序列内距离越近，则其关联的权值越大；两个进程之间存在调用关系，则为调用进程的事件和被调用进程的事件建立关联信息。

基于上述，获取事件关系图后，通过两层基于注意的门控图神经网络进行节点特征更新，再利用节点特征提取出该事件关系图的特征表示后，通过多层感知器传送至分类层进行分类，完成检测模型的构建。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明利用进程调用关系以及各相关进程的进程事件时序关系构建以日志文档和进程事件为节点的异构图，借用图卷积神经网络进行进程事件的语义嵌入，挖掘进程事件之间的全局共现与局部共现的关联关系，有效利用事件语义嵌入以及进程树结构信息，为每个软件样本的日志文档构建事件关系图，使用基于注意力的门控图神经网络进行模型搭建，从而提高恶意代码的检测准确率并且降低误报率。

附图说明

图1为本发明的流程示意框图；

图2为本发明日志解析的流程示意框图；

图3为本发明全局异构图的构建示意图；

图4为本发明事件关系图的构建示意图；

图5为本发明检测模型构建示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现实中，先收集Windows***中软件样本的审计日志数据样本，并分为训练集和测试集，训练集用于对模型进行搭建和训练，测试集数据用于对搭建的模型进行测试。一个日志中记录了操作***中所有进程的行为，一个操作***中有多个进程，一个日志中记录了不同进程的事件信息。

如图1所示，日志解析主要目的是解析每个软件样本的日志信息，获取对恶意代码检测有用的特征，包括日志的语义信息、时序信息和进程调用结构信息。进程事件嵌入主要目的是根据进程事件序列构建全局异构图，通过图卷积神经网络获取每个进程事件的向量表示。模型构建的主要目的是构建一个可以使用进程事件语义信息和进程调用信息的检测模型，从而进行恶意代码检测。

在日志解析过程中首先就要剔除无关进程的进程事件，减少进程事件的数量，然后就是根据进程事件的字段信息描述事件语义。因此，有必要首先介绍一下Windows平台审计日志的信息字段，事件是审计日志中的最小单元，包含其对应的属性，有些属性是所有事件都包含的字段，如time、event_id、action、target等，也有些字段是特定事件独有的字段，如生成新进程的事件，包含特有的new_pid字段,该事件的event_id为4688，在提取进程结构时有着重要作用。在日志解析器中，使用所有进程事件中都存在的两个最为重要的字段，即action和target字段，action字段表示该事件的操作类型，例如Spawn、Excute、Write等。target字段表示操作目标，例如操作的文件目录或文件名、注册表项等。解析进程事件时将action和target字段关联，用于表示事件的语义。根据Windows审计日志的领域知识，寻找每个进程中event_id为4688的进程事件，根据该事件中的new_pid字段可以获取进程之间的父子关系。日志解析完整流程如图2所示，通过日志解析操作后，获得每个软件样本中所有相关进程的事件序列。

获取进程事件嵌入选择使用预训练的方法，获取图卷积神经网络(GCN)隐藏层作为事件嵌入向量表示的方法。使用图卷积神经网络预训练的方式进行事件向量化，首要工作就是全局异构图的建立。全局异构图是根据日志解析中获取的所有软件样本的进程进程事件序列进行构建的，由于日志解析粒度很细，target字段包含具体文件名称和后缀，因此解析后的事件集很大，有的软件样本的进程事件序列过长，加上建立异构图中本身就包含上万个日志文档节点，构建异构图的过程对内存消耗比较大，需要对进程日志序列进行精简。精简软件样本的进程日志序列主要有两个方面，一个是对进程事件进行去重操作，因为程序的一些循环或迭代操作可能会导致某个事件在短时间连续出现，另一个是对事件序列进行优化操作，即把序列中重要程度较小的事件剔除。本实施例中使用两种方式评价事件是否需要剔除，一种是基于事件频率，进程事件在整个数据集出现的频率越高，就说明越重要，因此设置一个频率阈值，在整个数据集出现频率小于该频率阈值的事件，就直接剔除；另一种是基于事件信息增益的增益阈值，信息增益小于增益阈值的事件，就直接剔除。

事件序列精简后的进程事件序列集指的是训练集所有软件样本的进程进程事件序列。根据这些事件序列进行全局异构图的构建，如图3所示，其中方块节点代表所有样本软件的日志文档节点，圆形节点代表日志文档中所有的事件节点，并且根据序列建立文档节点和事件节点的边以及事件节点与事件节点的边(图中节点间的关联信息以边线表示，本文简称为“边”；下同，不再赘述)。事件关系图G可以形式化表示为G＝(V,E),V代表样本日志中的所有事件(即图中所有节点)，E代表事件之间的关系(即图中所有的边)，A表示事件关系图G对应的邻接矩阵。对于事件i与事件j，其边的权值如公式1.1所示，其中k是事件i与事件j在滑动窗口中共现的频次，d_k(E_i,E_j)表示每次共现时两个事件的距离，两个事件的距离定义为两个事件在序列中序号之差；A_call表示事件关系图中存在调用关系的边的权重；a_ij表示邻接矩阵A中的元素。将进程调用的事件之间边的权值设置为所有边权值的最大值,其计算如公式1.2所示(代表将进程调用的事件之间边的权值设置为所有边权值的最大值)：

异构图中方框节点代表每个软件的日志文档节点，圆形节点代表事件节点，每个日志文档对应了其解析和优化后的事件序列，图3中的示例使用的是大小为3的滑动窗口建图法构建的全局异构图，图中只存在事件节点与事件节点之间和日志文档节点与事件节点之间的边，事件节点与事件节点之间的关联通过滑动窗口来建立，事件节点与日志文档节点之间的关联通过日志的事件序列来描述。根据日志文档节点和事件节点获取全局异构图的节点特征矩阵，边的关系确定了就得到了全局异构图的邻接矩阵，其中日志文档节点与事件节点之间边的权重使用词频-逆文档频率(TF-IDF)度量，事件在某个日志中出现频率越高，同时在其他日志中出现频率越低，则这个事件在该日志中越重；事件节点之间边的权重使用两个事件的互信息(PMI)进行衡量，因为PMI可以较好地利用两个事件之间的全局共现信息。PMI是一种常用的关联度量方法，对于事件节点i和事件节点j，PMI的计算如公式2.1所示，公式2.1中的节点共现概率使用统计频率来近似，如公式2.2和公式2.3所示，其中freq(Ei,Ej)表示事件i和事件j在滑动窗口共现次数，freq(Ei)表示包含事件i的滑动窗口的个数，而|W|表示所有滑动窗口的个数。p(E_i,E_j)表示事件i和事件j共同出现的概率；p(E_i)表示事件i出现的概率。

然后节点特征矩阵初始就设置为一个单位矩阵，相当于使用one-hot编码。将节点特征矩阵和邻接矩阵输入图卷积神经网络中训练，训练中各节点的特征接收邻居节点的信息从而更新节点特征，也就是说，最后的隐藏层中就得到了所有节点的事件嵌入向量表示。

本实施例使用图卷积神经网络对全局异构图进行预训练，虽然预训练的过程中日志文档节点最终也能训练出一个向量表示，但是由于全局异构图更注重事件之间的全局共现，对于单个日志文档的局部信息表示没那么准确，因此，本实施例并不使用图卷积神经网络的日志文档嵌入之间来进行分类，但其事件节点的嵌入能表示事件在全局的语义信息，可以使用该信息作为检测模型中事件的向量初始表示。为了考虑到每个软件样本的日志文档事件局部共现特性以及进程之间的调用关系，在获取每个事件的全局语义表示之后，本实施例为每个软件样本构建一个事件关系图，图中每个节点表示该软件日志文档中记录的事件。一个软件样本日志文档在解析后得到多个进程日志序列，因此，建图过程中需要考虑各进程序列之间的关系以及进程序列内部事件之间的关系。为每个日志数据样本建立事件关系图后才开始本阶段的模型搭建，根据日志数据特点，本实施例使用基于注意力的门控图神经网络(AGGNN)，因为GRU(门控循环单元Gated Recurrent Unit)善于处理时序关系的信息聚合，加上注意力机制为邻居节点学习一个权重，加强聚合的效果，另外，图神经网络也善于处理带有结构信息的数据。训练集和测试集的事件关系图都是通过前两个步骤获取，每个日志数据样本对应一个事件关系图，也即是一个特征矩阵和一个邻接矩阵。

要结合进程序列的时序关系以及进程之间的调用关系，首先就是为每一个日志数据样本构建一个带有进程结构信息的图，本实施例在日志解析部分就已经将每个日志数据样本相关的进程结构信息提取出来，每个日志数据样本得到多个进程事件序列，以及进程之间的调用关系，而事件的嵌入向量已经在全局异构图中使用图卷积神经网络获取了，因此，事件关系图的构建只需考虑其邻接矩阵的构建。事件关系图是每一个日志数据样本构建一个图，因此可以进行批量训练，学习到的图关系可以移植到新的日志数据样本直接使用，虽然新样本中可能会有训练集中从未见过的事件，但其事件关系图的结构信息可以提取出来，因此，模型的健壮性相对更好。给每个日志数据样本构建事件关系图，事件关系图中每个节点就是该日志数据样本中的一个事件，而事件之间边的关系从进程序列信息以及进程调用关系中抽取。根据日志数据集的特点，本实施例构建事件之间边的关系时使用滑动窗口建图法，使用以下三个原则建图：两个事件在同一个滑动窗口内，则为其构建一条边的连接；两个事件在序列内距离越近，则其边的权值越大；两个进程之间存在调用关系，则为调用进程的事件和被调用进程的事件建立边的连接。建图过程如图4所示，假设该日志数据样本通过日志解析后提取出两个相关进程，进程之间的调用关系是进程P1通过事件E2开启了新进程P2，则首先为新进程P2构造一个开启新进程的事件E0，从而事件E2和事件E0之间边的关系就是进程调用关系，而两个进程内部的事件序列使用滑动窗口进行建图，图示中滑动窗口大小为3。

在获取事件关系图后，将事件关系图输入(Graph Input)至基于注意的门控图神经网络(AGGNN)，如图5所示，每一层AGGNN都能使事件节点在聚合邻居信息过程中不断更新自身特征向量，多层AGGNN可以使节点聚合更高阶的邻居节点的信息，AGGNN的层数堆叠有助于检测效果的提升，但也会增加模型参数从而导致训练速度变慢，本实施例采用两层AGGNN。在AGGNN完成信息传递后，得到了更新后的节点特征，利用节点特征提取出该事件关系图的特征表示，这个步骤称为图读出(Readout)，本实施例提取事件关系图的向量表示借鉴CNN(卷积神经网络)中的池化概念。每个日志数据样本的事件关系图提取的图向量表示包括两部分，一部分是通过构建一个注意力层为事件关系图中每个节点学习一个注意力分数，然后通过加权求和获得一个向量表示；另一部分是通过事件关系图中每个节点特征向量进行最大池化，选出一个向量表示。两部分关联后获得事件关系图的最终向量表示。在获取了每个日志数据样本的事件关系图的向量表示后，就可以通过多层感知器(MLP)全连接将其传送到分类层(Classification Layer)中进行分类，完成检测模型的构建。通过检测模型对审计日志进行检测并发现和识别恶意代码。

可解释性：通过测试集进行测试，通过图读出得到事件关系图中的节点注意力分数，即重要程度。为每个恶意日志数据样本找到事件关系图中重要程度前10的事件，统计每个事件在恶意日志数据样本中处于注意力分数前10的次数，获取在恶意日志数据样本中出现次数排在前30的事件。本实施例获取的这些前30名的重要特征都是恶意的，说明模型学习到的领域知识是正确的，可以使用这些领域知识对恶意日志数据样本进行初步判断，也即本实施例提出的检测模型是具有较好可解释性的。

本实施例通过滑动窗口的序列建图方法构建全局异构图，捕获事件局部共现信息以及全局共现信息，提取图卷积神经网络隐藏层作为事件全局语义嵌入向量。构建兼顾进程事件时序关系以及进程调用关系的事件关系图，并根据事件关系图设计了一个基于注意力的门控图神经网络检测模型，使用门控机制在图节点消息传递时捕获时序信息，并在聚合图向量过程中添加注意力机制，在提升检测模型检测率的同时也可以找出恶意日志数据样本中的重要恶意事件特征，让检测模型具有一定的可解释性。另外，由于检测模型可以同时利用事件语义信息和进程调用结构信息，当待测日志数据样本集中出现大量检测模型未见过的进程事件时，检测模型依然可以通过事件关系图的结构信息进行节点消息传递从而更新节点特征，从而保持较高的检测准确率，也即是说，模型具有一定的鲁棒性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于日志信息和图神经网络的恶意代码检测方法，其特征在于：

日志解析：获取并解析每个审计日志数据样本的日志信息，获取对恶意代码检测所需的特征信息，包括日志的语义信息、时序信息和进程调用结构信息，并生成进程事件；

进程事件嵌入：根据进程事件序列构建全局异构图，通过图卷积神经网络获取每个进程事件的向量表示；

模型构建：构建使用进程事件语义信息和进程调用信息的检测模型，并使用该检测模型对日志数据进行恶意代码检测。

2.根据权利要求1所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：根据审计日志的信息字段，获取进程事件的操作类型信息和操作目标信息，并将进程事件的操作类型信息和操作目标信息关联为进程事件的语义信息。

3.根据权利要求1所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：根据审计日志中进程的特定字段信息，获取进程之间的父子关系，并生成进程事件。

4.根据权利要求1所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：在日志解析过程中，对进程事件进行去重操作和优化操作，其中优化操作是指筛选满足重要程度要求的进程事件。

5.根据权利要求4所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：预置频率阈值或增益阈值，将在数据集中出现频率超过频率阈值或信息增益超过增益阈值的进程事件，筛选为满足重要程度要求的进程事件。

6.根据权利要求1所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：构建全局异构图，包括日志文档节点、事件节点、通过滑动窗口建立的事件节点与事件节点之间的关联信息和通过进程事件序列描述的事件节点与日志文档节点之间的关联信息。

7.根据权利要求6所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：根据日志文档节点和事件节点获取节点特征矩阵，根据事件节点与事件节点之间的关联信息和事件节点与日志文档节点之间的关联信息获取邻接矩阵，将节点特征矩阵和邻接矩阵输入图卷积神经网络进行训练并获取各进程事件的向量表示。

8.根据权利要求1所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：在模型构建过程中，先为每个软件样本构建一个包括进程结构信息的事件关系图，事件关系图中每个节点表示该软件样本的日志文档中记录的事件，使用滑动窗口建图法从进程序列信息和进程调用关系中抽取事件关系图中节点之间的关联信息。

9.根据权利要求8所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于，滑动窗口建图法建图原则：两个事件在同一个滑动窗口内，则为该两个事件构建一个关联信息；两个事件在序列内距离越近，则其关联的权值越大；两个进程之间存在调用关系，则为调用进程的事件和被调用进程的事件建立关联信息。

10.根据权利要求8所述的基于日志信息和图神经网络的恶意代码检测方法，其特征在于：获取事件关系图后，通过两层基于注意的门控图神经网络进行节点特征更新，再利用节点特征提取出该事件关系图的特征表示后，通过多层感知器传送至分类层进行分类，完成检测模型的构建。