CN109829315A - 日志处理的方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种日志处理的方法、装置及计算机可读存储介质，所述方法包括：对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果；根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。本发明实施例有效解决了现有技术中防数据泄漏设备中待处理数据庞杂、设备处理负荷大的技术问题。

Description

日志处理的方法、装置及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，特别是一种日志处理方法、装置及计算机可读存储介质。

背景技术

随着网络技术的不断发展，数据泄漏已成为影响企业信息安全的重要问题。通常情况下，为防止内部敏感信息或数据泄露，各企业大多采用通过人员管理和技术管理来防止企业内部的敏感信息或数据泄露。其中，人员管理主要通过企业与员工签订保密协议的方式实现，而技术管理则主要通过在企业内部的IT环境中部署防止数据泄漏的设备来实现。

目前，防止数据泄漏的设备的基本工作原理如下：采集企业内部的用户终端的操作日志，通过在服务器上设置安全规则来判断用户终端的哪些操作违反了企业的安全策略，并封锁这些操作。在实际应用中，这些防数据泄漏的设备往往要处理产生大量的告警事件，处理负荷较大。

发明内容

有鉴于此，本发明实施例中提出了一种日志处理的方法、装置及计算机可读存储介质，解决现有技术中防数据泄漏设备待处理数据庞杂、处理负荷大的技术问题。

依据本发明实施例的第一个方面，提供了一种日志处理的方法，包括：

对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果；

根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

通过对所述至少一个用户终端的应用操作日志进行数据清洗处理，可以优化防数据泄漏设备采集到的至少一个用户终端的大量冗余信息及用户正常的操作行为，解决防数据泄漏设备的数据庞杂、处理负荷大的技术问题，生成少量有效的告警事件，便于进一步防止数据泄露。

在本发明实施例中，所述应用操作日志包括：应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的至少两种。

所述对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理包括：

根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，得到所述日志条目的数据分布；

根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理。

在本发明实施例中，通过对所述应用操作日志条目按照应用操作类型、应用名称、用户账号、操作对象及对象位置信息等中的一种或多种进行分组，可以得到所述日志条目的数据分布情况，便于进一步对所述应用操作日志的数据清洗处理，优化所述应用操作日志的数据处理流程。

在本发明实施例中，所述根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理包括：

根据日志条目的数据分布，按各组日志条目占所述日志条目总数的比重确定各组日志条目的优先级，选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

在本发明实施例中，根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组包括：选取所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象、对象位置信息中的至少两种，构成一包括根节点和至少一级子节点的节点树；分别以所述节点树中的每个节点为关键词，依次对所述应用操作日志的日志条目进行分组，生成一树状分组结构。

所述根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理包括：根据日志条目的数据分布，按所述树状分组结构中父节点的优先级高于子节点的优先级的原则确定各组日志条目的优先级；选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

在本发明实施例中，按照应用操作类型、应用名称、用户账号、操作对象及对象位置信息等对所述应用操作日志进行基本分组，亦或，基于应用操作类型、应用名称、用户账号、操作对象、对象位置信息等对所述应用操作日志进行嵌套式分组，便于对所述应用操作日志按照设定的优先级进行数据清洗处理，提高所述应用操作日志数据清洗处理的工作效率。

在本发明实施例中，所述对应用操作日志进行数据清洗处理，包括下列处理中的任一种或任意组合：

基于专家经验，过滤所述应用操作日志中对数据泄露行为分析无关的日志条目；

基于去重策略，压缩所述应用操作日志中的重复日志条目；

基于合并策略，合并所述应用操作日志中的相关日志条目。

在本发明实施例中，基于专家经验，例如通过设置无用名称清单、无用账号清单等，过滤应用操作日志中对数据泄露行为分析无关的日志条目，保留所述应用操作日志中与数据泄露行为相关的日志条目；基于去重策略，对同类操作类型，相同的应用名称和操作对象的条目保留一个，压缩所述应用操作日志中的重复日志条目；基于合并策略，针对同类操作类型，合并相同应用名称的不同操作对象的条目。通过以上数据清洗方式中的任一种或任意组合，消除了所述应用操作日志中的冗余数据信息，简化了应用操作日志的数据结构。

在本发明实施例中，所述应用操作日志包括操作时间、用户账号及应用操作类型；

所述根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，得到潜在数据泄露行为告警事件，包括：

针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志；

对所选取的各应用操作类型的应用操作日志与设定的可疑操作序列进行关联，得到对应所述用户账号的一个操作关联度，所述操作关联度用于评价所选取的各应用操作类型的应用操作日志与设定的可疑操作序列的相似度。

在本发明实施例中，通过对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，简化了应用操作日志的数据结构；根据数据清洗处理的处理结果，针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志，在对所述应用操作日志简化的基础上扩大了数据采集范围，提高了结果的准确度。

在本发明实施例中，所述方法包括：在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件。

本发明实施例中，所述操作关联度的设定阈值可以依据专家经验等进行调整，适应不同的敏感度要求。在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件，便于后续基于该告警事件，采取相应动作，从而解决数据泄露问题。

依据本发明实施例的第二个方面，提供了一种日志处理装置，所述装置包括：

一个处理模块100，用于对预先获取的用户终端的应用操作日志进行数据清洗处理，得到处理结果，所述应用操作日志包括操作时间、用户账号以及应用操作类型；

一个分析模块200，用于根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

在本发明实施例中，处理模块100通过对所述至少一个用户终端的应用操作日志进行数据清洗处理，可以优化防数据泄漏设备采集到的至少一个用户终端的大量冗余信息及用户正常的操作行为，解决防数据泄漏设备的数据庞杂、处理负荷大的技术问题，分析模块200对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成少量有效的告警事件，便于进一步防止数据泄露。

在本发明实施例中，所述应用操作日志包括：应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的至少两种，处理模块100包括：分组单元110和处理单元120。

其中，分组单元110用于根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，得到所述日志条目的数据分布；

处理单元120用于根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理。

在本发明实施例中，分组单元110通过对所述应用操作日志条目按照应用操作类型、应用名称、用户账号、操作对象及对象位置信息等中的一种或多种进行分组，亦或，基于应用操作类型、应用名称、用户账号、操作对象、对象位置信息等对所述应用操作日志进行嵌套式分组，可以得到所述应用操作日志条目的数据分布情况。处理单元120基于上述数据分布情况，可以进一步对所述应用操作日志的数据清洗处理，优化所述应用操作日志的数据处理流程。

在本发明实施例中，处理单元120包括：过滤子单元121、去重子单元122及合并子单元123中的任一种或任意组合。

其中，过滤子单元121用于基于专家经验过滤所述应用操作日志中对数据泄露行为分析无关的日志条目；去重子单元122用于基于去重策略压缩所述应用操作日志中的重复日志条目；合并子单元123用于基于合并策略合并所述应用操作日志中的相关日志条目。

在本发明实施例中，过滤子单元121基于专家经验，例如通过设置无用名称清单、无用账号清单等，过滤应用操作日志中对数据泄露行为分析无关的日志条目，保留所述应用操作日志中与数据泄露行为相关的日志条目；去重子单元122基于去重策略，对同类操作类型，相同的应用名称和操作对象的条目保留一个，压缩所述应用操作日志中的重复日志条目；合并子单元123基于合并策略，针对同类操作类型，合并相同应用名称的不同操作对象的条目。通过以上处理单元中的各子单元任一个或任意组合，消除了所述应用操作日志中的冗余数据信息，简化了应用操作日志的数据结构。

在本发明实施例中，所述应用操作日志包括操作时间、用户账号及应用操作类型。所述分析模块根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，得到潜在数据泄露行为告警事件。所述分析模块200包括：选取单元210、关联单元220及告警单元230。

其中，选取单元210用于针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志。

关联单元220用于对所选取的各应用操作类型的应用操作日志与设定的可疑操作序列进行关联，得到对应所述用户账号的一个操作关联度，所述操作关联度用于评价所选取的各应用操作类型的应用操作日志与设定的可疑操作序列的相似度。

告警单元230用于在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件。

依据本发明实施例的第三个方面，提供了一种日志处理装置，包括：至少一个存储器、至少一个处理器，其中：

所述至少一个存储器301，用于存储计算机程序；

所述至少一个处理器302，用于调用所述至少一个存储器中301存储的计算机程序，执行以上任一项所述的日志处理方法。

依据本发明实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序能够被一处理器执行并实现以上任一项所述的日志处理的方法。

从上述方案中可以看出，本发明实施例，通过对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果；根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。本发明实施例，日志处理方法解决了现有技术中防数据泄漏设备的数据庞杂、处理负荷大的技术问题。

附图说明

下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：

图1是本发明一个实施例中的日志处理的方法流程图；

图2是示本发明一个实施例中的日志处理的装置示意图；

图3表示本发明另一实施例提供的日志处理的装置的结构示意图。

其中，附图标记如下：

具体实施方式

本发明的实施例为解决现有技术中防数据泄漏设备的数据庞杂、处理负荷大的技术问题，通过对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果；根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。本发明技术方案适用于包括工业领域在内的各种需要处理告警事件的技术领域，采用本发明实施例，可以有效减轻设备用于处理告警事件的负荷。

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的实施例提供一种日志处理的方法、装置及计算机可读存储介质，解决现有技术中防数据泄漏设备的数据庞杂、处理负荷大的技术问题。

在本发明的一个实施例中，参见图1，图中示出本发明一个实施例中的日志处理的方法，具体步骤如下：

S01、对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果。

在本发明实施例中，所述应用操作日志包括诸如：应用操作类型、应用名称、用户账号、操作对象及对象位置信息等多种信息。所述对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理包括：首先，根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，得到所述日志条目的数据分布；然后，根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理。

通过对所述至少一个用户终端的应用操作日志进行数据清洗处理，可以优化防数据泄漏设备采集到的至少一个用户终端的大量冗余信息及用户正常的操作行为，以解决防数据泄漏设备的数据庞杂、处理负荷大的技术问题，从而防止数据泄露。其中，所述至少一个用户终端的应用操作日志，可以通过Digital Guardian，Symantec，Forcepoint，IntelSecurity等数据防泄漏产品获取。

在本发明实施例中，根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，可以包括：按照应用操作类型、应用名称、用户账号、操作对象及对象位置信息等进行的基本分组，以及基于应用操作类型、应用名称、用户账号、操作对象、对象位置信息的嵌套式分组。

其中，基本分组可以包括：根据日志条目的数据分布，按各组日志条目占所述日志条目总数的比重确定各组日志条目的优先级，选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

嵌套式分组可以包括：选取所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象、对象位置信息中的至少两种，构成一包括根节点和至少一级子节点的节点树；分别以所述节点树中的每个节点为关键词，依次对所述应用操作日志的日志条目进行分组，生成一树状分组结构。例如，首先以操作类型为根节点对所述应用操作日志的日志条目进行分组，然后再分别以应用名称和用户账号为一级子节点和二级子节点对所述应用操作日志的日志条目进行分组，生成一树状分组结构。

在本发明实施例中，对所述嵌套式分组的应用操作日志进行数据清洗处理包括：

根据日志条目的数据分布，按所述树状分组结构中父节点的优先级高于子节点的优先级的原则确定各组日志条目的优先级；选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

在本发明实施例中，所述数据清洗，可以包括下列数据处理中的任一种或任意组合：

基于专家经验，过滤所述应用操作日志中对数据泄露行为分析无关的日志条目；基于去重策略，压缩所述应用操作日志中的重复日志条目；以及，基于合并策略，合并所述应用操作日志中的相关日志条目。

在本实施例中，专家经验可以包括：设置无用应用名称清单、设置无用账号清单等。例如，根据专家经验得知，应用进程bfsvc.exe为***级进程，而该应用进程所产生的日志对数据泄露行为分析无实际意义，则将该应用加入到无用应用名称清单，实现过滤所述应用操作日志中对数据泄露行为分析无关的日志条目的目的。

去重策略可以包括：针对同类操作类型，相同的应用名称和操作对象的条目保留一个。例如，某账号用户在短短几分钟内打印5个文档，每个文档打印10份，则通过本步骤，可以将50条日志压缩为5条。

合并策略可以包括：针对同类操作类型，合并相同应用名称的不同操作对象的条目。本步骤将某时间的某账号的日志按照合并策略合并相关的日志条目，合并策略可以包括同类操作类型下同样应用的不同操作对象的条目合并为一个条目。例如，某账号用户在T时刻向5个人发送了带有4个附件的邮件，则通过本步骤将25条日志合并为1条。

S02、根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

在本发明实施例中，所述根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，得到潜在数据泄露行为告警事件，可以包括：

针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志。通过选取所述处理结果对应时间段及其之前和\或其后的设定操作时间段内的各应用操作类型的应用操作日志进行分析，可以进一步提高分析结果的准确度。

对所选取的各应用操作类型的应用操作日志与设定的可疑操作序列进行关联，得到对应所述用户账号的一个操作关联度，所述操作关联度用于评价所选取的各应用操作类型的应用操作日志与设定的可疑操作序列的相似度。其中，所述可疑操作序列为典型的潜在数据泄露场景下用户的操作序列，可以通过专家经验指定或者机器学习完成。例如，某用户账号在某天下午的1个小时内，先后有以下操作：network transfer download、filerename及network transfer upload，且应用进程名为fsquirt.exe，则该用户账号的这些操作的关联度为1.0。

以及，在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件。

在本发明实施例中，所述设定阈值可以依据专家经验进行调整，以适应不同的敏感度要求。

在本发明的另一个实施例中，参见图2，图中示出本发明一个实施例中的日志处理的装置，具体可以包括：处理模块100和分析模块200。

其中，处理模块100用于对预先获取的用户终端的应用操作日志进行数据清洗处理，得到处理结果，所述应用操作日志包括操作时间、用户账号以及应用操作类型。分析模块200用于根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

在本发明实施例中，所述应用操作日志可以包括：应用操作类型、应用名称、用户账号、操作对象及对象位置信息等信息中的至少两种，处理模块100可以包括：分组单元110和处理单元120。

其中，分组单元110用于根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，得到所述日志条目的数据分布。

在本实施例中，分组单元110根据日志条目的数据分布，按各组日志条目占所述日志条目总数的比重确定各组日志条目的优先级，选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

分组单元110还可以用于选取所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象、对象位置信息中的至少两种，构成一包括根节点和至少一级子节点的节点树；分别以所述节点树中的每个节点为关键词，依次对所述应用操作日志的日志条目进行分组，生成一树状分组结构。例如，首先以操作类型为根节点对所述应用操作日志的日志条目进行分组，然后再分别以应用名称和用户账号为一级子节点和二级子节点对所述应用操作日志的日志条目进行分组，生成一树状分组结构。

处理单元120用于根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理。

在本发明实施例中，处理单元120通过对所述至少一个用户终端的应用操作日志进行数据清洗处理，优化防数据泄漏设备采集到的至少一个用户终端的大量冗余信息及用户正常的操作行为。根据对所述应用操作日志的数据清理，解决防数据泄漏设备的处理数据庞杂、处理负荷大的技术问题，进一步防止数据泄露。其中，所述至少一个用户终端的应用操作日志，可以通过Digital Guardian，Symantec，Forcepoint，Intel Security等数据防泄漏产品获取。

其中，处理单元120可以包括过滤子单元121、去重子单元122及合并子单元123中的任一种或任意组合。

其中，过滤子单元121用于基于专家经验，过滤所述应用操作日志中对数据泄露行为分析无关的日志条目。其中，所述专家经验可以包括：设置无用应用名称清单、设置无用账号清单等。

去重子单元122用于基于去重策略，压缩所述应用操作日志中的重复日志条目。其中，所述去重策略可以包括：针对同类操作类型，相同的应用名称和操作对象的条目保留一个。

合并子单元123用于基于合并策略，合并所述应用操作日志中的相关日志条目。其中，所述合并策略可以包括：针对同类操作类型，合并相同应用名称的不同操作对象的条目。

在本发明实施例中，所述应用操作日志包括操作时间、用户账号及应用操作类型。分析模块200根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，得到潜在数据泄露行为告警事件。其中，分析模块200可以包括：选取单元210、关联单元220以及告警单元230。

其中，选取单元210用于针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志。

在本实施例中，选取单元210通过选取所述处理结果对应时间段及其之前和\或其后的设定操作时间段内的各应用操作类型的应用操作日志进行分析，可以进一步提高分析结果的准确度。

关联单元220用于对所选取的各应用操作类型的应用操作日志与设定的可疑操作序列进行关联，得到对应所述用户账号的一个操作关联度，所述操作关联度用于评价所选取的各应用操作类型的应用操作日志与设定的可疑操作序列的相似度。

例如，关联单元220将一定时间段窗口内的某账号的多种操作类型的日志与设定的可疑操作序列进行关联，并给出量化的操作关联度。所述可疑操作序列为典型的潜在数据泄露场景下用户的操作序列，可以通过专家经验指定或者机器学习完成。

告警单元230用于在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件。

在本实施例中，告警单元230的设定阈值可以依据专家经验进行调整，以适应不同的敏感度要求。

图3为本发明另一实施例提供的日志处理的结构示意图。如图3所示，图3所示的日志处理的处理装置300包括：至少一个存储器301、处理器302。所述至少一个存储器301，用于存储计算机程序；所述至少一个处理器302，用于调用所述至少一个存储器中存储的计算机程序，执行以上任一项所述的日志处理方法。终端300中的各个组件通过总线***303耦合在一起。可理解，总线***303用于实现这些组件之间的连接通信。总线***303除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线***303。

可以理解，本发明实施例中的存储器301可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的***和方法的存储器301旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器301存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作***3011和应用程序3012。

其中，操作***3011，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序3012，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序3012中。

在本发明实施例中，通过调用存储器301存储的程序或指令，具体的，可以是应用程序3012中存储的程序或指令，处理器302可以执行上述日志处理装置所执行的方法。

上述本发明实施例揭示的方法可以应用于处理器302中，或者由处理器302实现。处理器302可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本发明所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

在本实施例，处理器302具体用于：对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果；根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

可选地，所述应用操作日志包括诸如：应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的至少两种，处理器302还用于：根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，得到所述日志条目的数据分布；根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理。

可选地，处理器302还用于：根据日志条目的数据分布，按各组日志条目占所述日志条目总数的比重确定各组日志条目的优先级，选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

可选地，处理器302还用于：根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组包括：选取所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象、对象位置信息中的至少两种，构成一包括根节点和至少一级子节点的节点树；分别以所述节点树中的每个节点为关键词，依次对所述应用操作日志的日志条目进行分组，生成一树状分组结构。

所述根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理包括：根据日志条目的数据分布，按所述树状分组结构中父节点的优先级高于子节点的优先级的原则确定各组日志条目的优先级；选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

可选地，处理器302对应用操作日志进行数据清洗处理，包括下列处理中的任一种或任意组合：

基于专家经验，过滤所述应用操作日志中对数据泄露行为分析无关的日志条目；

基于去重策略，压缩所述应用操作日志中的重复日志条目；

基于合并策略，合并所述应用操作日志中的相关日志条目。

可选地，所述应用操作日志包括操作时间、用户账号及应用操作类型；处理器302根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，得到潜在数据泄露行为告警事件，包括：

针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志；

对所选取的各应用操作类型的应用操作日志与设定的可疑操作序列进行关联，得到对应所述用户账号的一个操作关联度，所述操作关联度用于评价所选取的各应用操作类型的应用操作日志与设定的可疑操作序列的相似度。

可选地，处理器302还用于：在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述日志处理的方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种日志处理方法，其特征在于，所述方法包括：

对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理，得到处理结果；

根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

2.根据权利要求1所述的日志处理方法，其特征在于，所述应用操作日志包括：应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的至少两种；

所述对预先获取的至少一个用户终端的应用操作日志进行数据清洗处理包括：

根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组，得到所述日志条目的数据分布；

根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理。

3.根据权利要求2所述的日志处理方法，其特征在于，所述根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理包括：

根据日志条目的数据分布，按各组日志条目占所述日志条目总数的比重确定各组日志条目的优先级，选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

4.根据权利要求2所述的日志处理方法，其特征在于，

根据所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象及对象位置信息中的一种或多种，对所述应用操作日志的日志条目进行分组包括：选取所述应用操作日志的应用操作类型、应用名称、用户账号、操作对象、对象位置信息中的至少两种，构成一包括根节点和至少一级子节点的节点树；分别以所述节点树中的每个节点为关键词，依次对所述应用操作日志的日志条目进行分组，生成一树状分组结构；

所述根据所述日志条目的数据分布，对所述应用操作日志进行数据清洗处理包括：根据日志条目的数据分布，按所述树状分组结构中父节点的优先级高于子节点的优先级的原则确定各组日志条目的优先级；选取设定的高优先级的至少一组日志条目，作为筛选后得到的应用操作日志，对所述应用操作日志进行数据清洗处理。

5.根据权利要求2至4中任一项所述的日志处理方法，其特征在于，所述对应用操作日志进行数据清洗处理，包括下列处理中的任一种或任意组合：

基于专家经验，过滤所述应用操作日志中对数据泄露行为分析无关的日志条目；

基于去重策略，压缩所述应用操作日志中的重复日志条目；以及，

基于合并策略，合并所述应用操作日志中的相关日志条目。

6.根据权利要求1至5中任一项所述的日志处理方法，其特征在于，所述应用操作日志包括操作时间、用户账号及应用操作类型；

所述根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，得到潜在数据泄露行为告警事件，包括：

针对每个用户账号，在所述预先获取的至少一个用户终端的应用操作日志中选取包含所述处理结果对应时间段及其之前和\或其后的设定操作时间段内对应所述用户账号的各应用操作类型的应用操作日志；

对所选取的各应用操作类型的应用操作日志与设定的可疑操作序列进行关联，得到对应所述用户账号的一个操作关联度，所述操作关联度用于评价所选取的各应用操作类型的应用操作日志与设定的可疑操作序列的相似度。

7.根据权利要求6中所述的日志处理方法，其特征在于，所述方法包括：

在所述操作关联度大于一设定阈值时，分析结果指示异常，生成一潜在数据泄露行为告警事件。

8.一种日志处理装置，其特征在于，所述装置包括：

一个处理模块(100)，用于对预先获取的用户终端的应用操作日志进行数据清洗处理，得到处理结果，所述应用操作日志包括操作时间、用户账号以及应用操作类型；

一个分析模块(200)，用于根据所述处理结果，对所述应用操作日志与设定的可疑操作序列进行关联分析，在分析结果指示异常时，生成潜在数据泄露行为告警事件。

9.一种日志处理装置，其特征在于，包括：至少一个存储器(301)、至少一个处理器(302)，其中：

所述至少一个存储器(301)，用于存储计算机程序；

所述至少一个处理器(302)，用于调用所述至少一个存储器(301)中存储的计算机程序，执行如权利要求1至8中任一项所述的日志处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序；其特征在于，所述计算机程序能够被一处理器执行并实现如权利要求1至8中任一项所述的日志处理的方法。