CN115408236A - 一种日志数据审计***、方法、设备及介质 - Google Patents

Abstract

本发明公开了一种日志数据审计***、方法、设备及介质。该***包括：数据采集层，用于获取各应用***的日志数据，并进行标准化处理，得到待分类日志数据，并发送至数据沉淀层；数据沉淀层，对待分类日志数据分类处理得到待处理日志数据，并发送至数据处理层；数据处理层，从待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取对应的转换规则对待转换日志数据转换处理，以得到待分析日志数据，并将待分析日志数据发送至数据分析层；数据分析层，确定与待分析日志数据相关联的待处理日志数据，进而进行轨迹分析，并将分析结果确定为目标审计结果；应用展现层，基于目标审计结果确定目标展示图。实现对各应用***日志数据的集中审计。

Description

一种日志数据审计***、方法、设备及介质

技术领域

本发明涉及日志数据审计技术领域，尤其涉及一种日志数据审计***、方法、设备及介质。

背景技术

为了加强企业信息的安全防护，保障企业信息***与数据安全，某行业对信息安全工作高度重视，基于日志审计***对企业的日志进行审计，日志审计***是用于全面收集企业IT***中常见的安全设备、网络设备、数据库、服务器、应用***、主机等设备所产生的日志(包括运行、告警、操作、消息、状态等)并进行存储、监控、审计、分析、报警、响应和报告的***。

现有的审计***，例如，***审计、应用审计，只是针对企业业务支撑***中的某个应用***进行日志审计，审计方法较为单一，审计策略不足，导致审计工作效率不高。

发明内容

本发明提供了一种日志数据审计***、方法、设备及介质，以实现对企业业务***上的所有应用***的日志数据进行集中审计。

根据本发明的一方面，提供了一种日志数据审计***，该***包括：数据采集层、数据沉淀层、数据处理层、数据分析层、应用展现层；其中，

所述数据采集层，用于获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；

所述数据沉淀层，用于接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；

所述数据处理层，用于接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；

所述数据分析层，用于接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；

所述应用展现层，用于接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示。

根据本发明的另一方面，提供了一种日志数据审计方法，该方法应用于日志数据审计***，所述日志数据审计***包括数据采集层、数据沉淀层、数据处理层、数据分析层、应用展现层，其中，所述日志数据审计方法包括：

通过数据采集层获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；

通过数据沉淀层接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；

通过数据处理层接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；

通过数据分析层接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；

通过应用展现层接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的日志数据审计方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的日志数据审计方法。

本发明实施例的技术方案，通过数据采集层获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；通过数据沉淀层接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；通过数据处理层接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；通过数据分析层接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；通过应用展现层接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示，解决了现有的审计方式只能针对某个应用***进行日志数据审计，审计策略单一，对不同来源的数据和异构数据无法进行集中审计，导致审计工作效率低的问题，实现了对业务支撑***上的所有应用***进行集中审计，可以适用于对不同来源的数据和异构数据进行集中审计，提高了审计的效率，增加了审计的策略。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种日志数据审计***的结构图；

图2为本发明实施例二提供的一种日志数据审计***的结构图；

图3为本发明实施例二提供的一种日志数据审计***的日志数据采集模型图；

图4为本发明实施例二提供的一种日志数据审计***的日志标签处理模型图；

图5为本发明实施例二提供的一种日志数据审计***的分布式搜索的设计图；

图6为本发明实施例二提供的一种日志数据审计***的动态字段解析的设计图；

图7为本发明实施例三提供的一种日志数据审计方法的流程图；

图8为本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在介绍本技术方案之前，先对应用场景进行示例性说明。本技术方案可以应用于需要对业务支撑***上各应用***的日志数据进行集中审计的情形，日志数据审计主要是为了保证业务支撑***的数据安全以及运行正常，业务支撑***上包括多个应用***，例如，A应用***、B应用***。在此基础上，不同的应用***会产生相应的日志数据，可以对各个应用***上的日志数据进行获取，并对获取到的不同来源的日志数据集中处理分析，得到分析结果并进行展示，实现对业务支撑***的审计。

实施例一

图1为本发明实施例一提供的一种日志数据审计***的结构图，本实施例可适用于需要对各个应用***的日志进行集中审计的情况，可以由日志数据审计***来执行，该日志数据审计***可以采用硬件和/或软件的形式实现，该日志数据审计***装置可配置于PC端或者移动终端。

如图1所示，该***包括：数据采集层、数据沉淀层、数据处理层、数据分析层、应用展现层。

所述数据采集层，用于获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据。应用***可以是业务支撑***上的各个应用***，例如，客户管理***或其他应用***，企业用户在使用各个应用***会产生相应的日志数据，可以将不同的应用***接入到日志数据审计***，还可以将用于存储各个应用***日志数据的云平台接入到日志数据审计***中，以此来使应用审计***的数据采集层获取各个应用***的日志数据。具体来说，日志数据审计***与各个应用***之间可以配置对应的端口，进而实现日志数据的传输。

可以理解，由于业务支撑***所接入的应用***是不同开发方开发的，因此不同的应用***所产生的日志数据的格式以及映射规则一般情况下都是不同的。在此基础上，需对获取到的日志数据进行标准化处理，标准化处理指的是对不同应用***的日志数据进行统一，可以是将不同格式的日志数据统一为某种格式，例如，将所有的日志数据统一为.log的格式进行存储，将处理后的日志数据作为待分类日志数据，并将待分类日志数据发送至数据沉淀层，使数据沉淀层对待分类数据进一步处理。

在本实施例中，各个应用***都包含对应的主机、数据库、应用、网络***、中间件以及安全防护***，相应的，会产生对应的日志数据，也即主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据、安全日志数据，对应用***中的包含的各类日志数据获取可以更好的对应用***进行日志数据审计，保证日志数据审计的全面性。

所述数据沉淀层，用于接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层。预设分类规则可以理解为用户预先设置的数据分类规则，是用于对待分类日志数据进行分类的规则，基于数据沉淀层接收到待分类日志数据后可以按照预设分类规则对待分类日志数据进行分类处理，以便于之后数据处理层对其更高效的处理。

所述数据处理层，用于接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层。目标字段字段指的是预先设置的字段，如果检测到待处理日志数据中，存在与目标字段对应的待处理日志数据，可以将此部分待处理日志数据提取出来，作为待转换日志数据并进行转换处理，转换规则可以是对待处理日志数据的处理规则，不同的目标字段对应于不同的转换规则，转换规则可以预先存储在日志数据审计***中，通过日志转换规则对待转换日志数据进行转换，得到的数据即为待分析日志数据。进一步，可以将待分析日志数据发送至数据分析层，对待分析日志数据进行分析处理。

所述数据分析层，用于接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；待处理日志数据指的是与待分析日志数据相关联的日志数据，可以理解的是，不同的日志数据对应于不同的用户操作，而不同的操作之间也是关联关系的，用户在应用***上进行操作时，会产生对应的日志数据，如用户进行第一个操作步骤后，可以得到对应的日志数据，在进行第二个操作步骤后可以得到对应的日志数据。此时，如果某个操作步骤对应的日志数据为待分析数据，则与该步骤相关联的操作步骤对应的日志数据即可以认为是待处理数据。在实际应用中，可以基于待分析日志数据进行回溯，确定出与待分析日志数据相关的待处理日志数据，进一步的基于待分析日志数据与待处理日志数据进行轨迹分析，轨迹分析可以理解为对日志数据对应的操作轨迹进行分析确定，例如，基于待分析日志数据和待处理日志数据可以确定用户在应用***上的操作轨迹。

示例性的，用户在应用***中删除了某个项目，会产生对应的日志数据，如果确定该日志数据为待分析日志数据，则可以确定与其相关联的待处理理日志数据，进而根据待分析日志数据和待处理日志数据进行轨迹分析，确定出用户什么情况下删除了某个项目，且在删除后又进行了什么操作，也即是说，可以确定出用户的操作轨迹，将操作轨迹作为目标审计结果，并将目标审计结果发送至应用展现层。

所述应用展现层，用于接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示。其中，目标展示图可以是饼状图、折线图、柱状图，可以将审计结果通过上述目标展示图的方式展示出来，后台用户可以基于目标展示图更清晰的了解到前端用户在应用***上的操作，确定出用户是否进行了误操作，或者用户是否按照规定使用应用***，保证应用***的正常运行。

在上述技术方案的基础上，所述数据采集层还用于在获取到各所述应用***的日志数据后，对所述日志数据进行日志校验处理、自动映射处理、日志解析处理或者信息补全处理，并将处理后的日志数据确定为待分类日志数据。在实际应用中，可以将各个应用***中的防火墙日志、入侵检测***(intrusion detection system，IDS)日志、风险提示日志、服务器主机日志、安全网关日志、应用***日志、数据库日志进行集中采集，并接入到分布式云存储中或者大数据平台，进而日志数据审计***可以从分布式云存储和大数据平台中获取相应的日志数据，并对日志数据进行上述的日志校验处理、自动映射处理、日志解析处理或者信息补全处理，其目的是为了使不同应用***的日志数据统一，进而将处理后得到的日志数据作为待分类日志数据。

在上述技术方案的基础上，所述数据沉淀层还用于基于预设字段或者组织架构对所述待分类日志数据进行分类，以得到待处理日志数据。其中，预设字段为用户预先设置的字段名称，在接收到待分类日志数据后可以按照该字段对所有的待分类日志数据进行分类，如按照A字段、B字段对日志数据进行分类，具体可以将所有的待分类日志数据按照A字段和B字段进行分类，即将待分类日志数据分为不同的两类，一类日志数据是与A字段对应的，一类数据是与B字段相对应，还可以是按照应用***中的组织架构对日志数据进行分析，在组织架构中，对应有管理用户以及普通用户，普通用户的日志数据为一类，管理用户的日志数据为一类，当然，可以对管理用户或普通用户对应的日志数据进一步细分，具体根据实际情况确定。

在上述技术方案的基础上，所述数据处理层，还用于：若所述待处理日志数据对应的字段与所述目标字段相同，则确定所述待处理日志数据为待转换日志数据；调取与所述目标字段相对应的目标转换规则，基于目标转换规则对所述待转换日志数据进行转换处理，以得到待分析日志数据。

示例性的，目标字段可以是代表业务***的一些重要字段，该字段对应的字段内容是属于业务***的重要数据，如果某个待处理日志数据与目标字段相对应，则将其作为待转换日志数据，并确定相应的转换规则对其进行处理，例如是对重要的待转换日志数据进行脱敏处理。

在上述技术方案的基础上，所述数据分析层还用于：基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据确定出对应的日志轨迹；基于所述日志轨迹和预设轨迹进行分析，并确定异常结果，以将所述异常结果作为目标审计结果。其中，日志轨迹可以是日志对应的用户操作轨迹，预设轨迹可以理解为预先设置的用户操作轨迹，具体的，当确定出日志轨迹后，如果日志轨迹与预设轨迹不一致，则说明用户操作轨迹是不正常的，即可将分析出的结果作为异常结果，并将异常结果作为目标审计结果，以执行后续的展示或者是预警。

在上述技术方案的基础上，所述数据分析层还用于：基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据确定出对应的日志轨迹；基于所述日志轨迹，确定与待分日志数据对应的操作项目、操作步骤以及操作频次；根据所述操作项、操作步骤以及操作频次建立操作画像并将述操作画像确定为目标审计结果，以使应用展示层对所述目标审计结果进行展示。其中，操作项目可以是用户在应用***中进行的操作项，如登录操作项目，操作步骤以及操作频次可以是用户进行操作的具体步骤以及进行该操作项的操作次数，操作画像用于表示用户在应用***操作行为的偏好属性，具体的，可对通过一些日志分析技术，对待分析日志数据和待处理日志数据进行分析，可以得到上述日志数据对应的用户操作项目，操作步骤以及操作频次，进而分析出用户的的操作习惯，生成对应的画像，例如，对日志数据分析后，确定出对应的操作项包括登录操作项和数据维护项目，操作频次为多次，则可以生成该用户的画像，代表该用户是通常是应用***中进行数据维护的管理用户。在建立操作画像后，可以通过应用展示层进行展示。

在上述技术方案的基础上，所述日志数据审计***还包括日志查找模块；其中，所述日志查找模块，用于对待查找日志字段拆分处理，以得到与所述待查找日志字段对应的至少两个待使用日志字段；基于至少两个待使用日志字段和至少两个分布式索引库确定与所述待查找日志字段对应的目标日志数据。

日志查找模块可以是基于solr技术所开发的模块，基于该模块可以实现日志的全文检索，待查找日志字段可以是用户想要查找的日志对应的字段名，例如，用户想要在日志数据审计***中查找出A日志，则A日志对应的字段名即为待查找日志字段，用户可以将待查找日志字段输入至日志查找模块，日志查找模块对待查找日志字段进行拆分，可以是拆分为三个新的字段，将新的字段输入至分布式索引库中，分布式索引库的数量为多个，进而从分布式索引库中查询到对应的结果，并将其作为与待查找日志字段对应的目标日志数据。此种方式是模糊化全文检索的，主要是基于分布式搜索和动态字段解析实现的，在分布式索引库的入库时只有一个字段，查询时可以临时分解字段进行查询，性能达到百万量级的检索秒级返回数据，解决了审计数据量庞大、检索效率低下的问题。

本发明实施例的技术方案，通过数据采集层获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；通过数据沉淀层接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；通过数据处理层接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；通过数据分析层接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；通过应用展现层接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示，解决了现有的审计方式只能针对某个应用***进行日志数据审计，审计策略单一，对不同来源的数据和异构数据无法进行集中审计，导致审计工作效率低的问题，实现了对企业信息***上的所有应用***进行集中审计，可以适用于对不同来源的数据和异构数据进行集中审计，提高了审计的效率，增加了审计的策略。

实施例二

图2为本发明实施例二提供的一种日志数据审计***的结构图，本实施例是上述实施例的优选实施例，其具体的实施方式可以参见本实施例技术方案。其中，与上述实施例相同或者相应的技术术语在此不再赘述。

如图2所示，日志数据审计***包括采集层、数据沉淀层、数据处理层

数据分析层、应用展现层采集层：主要负责主机、数据库、应用、网络等资源的日志采集工作；

数据沉淀层：对采集的日志进行预处理；

数据处理层：通过标签、索引的方式处理所采集的日志；

数据分析层：通过风险建模、轨迹分析、异常感知等方式分析处理日志；应用展现层：用户访问的门户，展示审计分析结果。

日志集中化设计

构建异构数据的统一采集、分布式处理和存储的集中化管理体系，实现由目前各***独立采集向集中化大数据架构的转换，形成一个分布式、可靠且高可用的海量日志聚合平台***。

该平台不仅支持在***中定制各类数据发送方，用于收集数据；而且拥有可定制各类数据接受方的能力。同时具备日志标准化(日志校验、自动映射、解析和信息补全)、数据筛选、日志预处理等功能。

其详细的采集模型如图3所示：

日志标签化处理设计

基于数据标签化的方法实现灵活自定义的专题审计模型，支持通过日志类型、日志标签的组合叠加，归纳形成审计日志决策树挖掘分析策略，并应用于前后台人员操作画像、用户行为轨迹分析等场景，不仅落实针对业务支撑实际业务场景的信息安全审计稽核要求，也极大提高了安全审计覆盖场景和效率。

日志标签处理模型如图4所示：

用户行为数据建模设计

通过对***特点进行综合分析，规划并实现了行业领先的用户操作行为数据模型，整合多种来源数据，建立了基于人的完整行为链路模型，具备对“人”、“来源终端”、”访问通道”、”访问资源”、”何种操作”的完整事件表述能力。

集中处理6类业务支撑***范围内日志，分别为主机类日志、应用类日志、数据库类日志、中间件类日志、网络日志和安全日志。研究基于“异常行为是全部操作行为中的稀疏行为”这一事实构造算法，利用“行为关系网”这个数据结构，在空间中构造基于hdfs全部离线日志的行为流向分布图，分析行为单元之间具有稀疏流向的异常流向行为，从而筛选出用户对***操作的全部异常行为日志。

模糊化全文检索

基于Solr技术实现安全日志的全文检索，性能达到百万量级的检索秒级返回数据，解决了审计数据量庞大、检索效率低下的问题。

模糊化全文检索的核心是基于分布式搜索和动态字段解析来实现的，其中分布式搜索的设计如图5所示：动态字段解析的设计如图6所示：

本发明实施例的技术方案，通过数据采集层获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；通过数据沉淀层接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；通过数据处理层接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；通过数据分析层接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；通过应用展现层接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示，解决了现有的审计方式只能针对某个应用***进行日志数据审计，审计策略单一，对不同来源的数据和异构数据无法进行集中审计，导致审计工作效率低的问题，实现了对企业信息***上的所有应用***进行集中审计，可以适用于对不同来源的数据和异构数据进行集中审计，提高了审计的效率，增加了审计的策略。

实施例三

图7为本发明实施例三提供的一种日志数据审计方法的流程图，本实施例可适用于需要对各个应用***的日志进行集中审计的情况，可以由日志数据审计***来执行，该日志数据审计方法可以采用硬件和/或软件的形式实现，该日志数据审计***装置可配置于PC端或者移动终端。如图7所示，该方法包括：

S310、通过数据采集层获取各应用***的日志数据，并对日志数据进行标准化处理，得到待分类日志数据，并将待分类日志数据发送至数据沉淀层。

其中，应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据。应用***可以是业务支撑***上的各个应用***，例如，客户管理***或其他应用***，企业用户在使用各个应用***会产生相应的日志数据，可以将不同的应用***接入到日志数据审计***，还可以将用于存储各个应用***日志数据的云平台接入到日志数据审计***中，以此来使应用审计***的数据采集层获取各个应用***的日志数据。

具体来说，日志数据审计***与各个应用***之间可以配置对应的端口，进而实现日志数据的传输。对获取到的日志数据进行标准化处理，标准化处理指的是对不同应用***的日志数据进行统一，可以是将不同格式的日志数据统一为某种格式，例如，将所有的日志数据统一为.log的格式进行存储，将处理后的日志数据作为待分类日志数据，并将待分类日志数据发送至数据沉淀层，使数据沉淀层对待分类数据进一步处理。

S320、通过数据沉淀层接收待分类日志数据，基于预设分类规则对待分类日志数据进行分类处理以得到待处理日志数据，并将待处理日志数据发送至数据处理层。

具体的，预设分类规则可以理解为用户预先设置的数据分类规则，是用于对待分类日志数据进行分类的规则，基于数据沉淀层接收到待分类日志数据后可以按照预设分类规则对待分类日志数据进行分类处理，以便于之后数据处理层对其更高效的处理。

S330、通过数据处理层接收待处理日志数据，从待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与目标字段对应的转换规则对待转换日志数据转换处理，以得到待分析日志数据，并将待分析日志数据发送至数据分析层。

其中，目标字段字段指的是预先设置的字段，转换规则可以是对待处理日志数据的处理规则，不同的目标字段对应于不同的转换规则。

具体的，如果检测到待处理日志数据中，存在与目标字段对应的待处理日志数据，可以将此部分待处理日志数据提取出来，作为待转换日志数据并进行转换处理，转换规则可以预先存储在日志数据审计***中，通过日志转换规则对待转换日志数据进行转换，得到的数据即为待分析日志数据。进一步，可以将待分析日志数据发送至数据分析层，对待分析日志数据进行分析处理。

S340、通过数据分析层接收待分析日志数据，确定与待分析日志数据相关联的待处理日志数据，基于待分析日志数据以及与待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将目标审计结果发送至应用展现层。

其中，待处理日志数据指的是与待分析日志数据相关联的日志数据。

具体的，不同的日志数据对应于不同的用户操作，而不同的操作之间也是关联关系的，用户在应用***上进行操作时，会产生对应的日志数据，如用户进行第一个操作步骤后，可以得到对应的日志数据，在进行第二个操作步骤后可以得到对应的日志数据。此时，如果某个操作步骤对应的日志数据为待分析数据，则与该步骤相关联的操作步骤对应的日志数据即可以认为是待处理数据。在实际应用中，可以基于待分析日志数据进行回溯，确定出与待分析日志数据相关的待处理日志数据，进一步的基于待分析日志数据与待处理日志数据进行轨迹分析，轨迹分析可以理解为对日志数据对应的操作轨迹进行分析确定，例如，基于待分析日志数据和待处理日志数据可以确定用户在应用***上的操作轨迹。

S350、通过应用展现层接收目标审计结果，基于目标审计结果确定与目标审计结果对应的目标展示图，并将目标展示图进行展示。

其中，目标展示图可以是饼状图、折线图、柱状图。

具体的，可以将审计结果通过上述目标展示图的方式展示出来，后台用户可以基于目标展示图更清晰的了解到前端用户在应用***上的操作，确定出用户是否进行了误操作，或者用户是否按照规定使用应用***，保证应用***的正常运行。

本发明实施例的技术方案，通过数据采集层获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；通过数据沉淀层接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；通过数据处理层接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；通过数据分析层接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；通过应用展现层接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示，解决了现有的审计方式只能针对某个应用***进行日志数据审计，审计策略单一，对不同来源的数据和异构数据无法进行集中审计，导致审计工作效率低的问题，实现了对企业信息***上的所有应用***进行集中审计，可以适用于对不同来源的数据和异构数据进行集中审计，提高了审计的效率，增加了审计的策略。

实施例四

图8为本发明实施例四提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图8所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如日志数据审计方法。

在一些实施例中，日志数据审计方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的日志数据审计方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行日志数据审计方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的***和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种日志数据审计***，其特征在于，包括：数据采集层、数据沉淀层、数据处理层、数据分析层、应用展现层；其中，

所述数据采集层，用于获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；

所述数据沉淀层，用于接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；

所述数据处理层，用于接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；

所述数据分析层，用于接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；

所述应用展现层，用于接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示。

2.根据权利要求1所述的***，其特征在于，所述数据采集层还用于：

在获取到各所述应用***的日志数据后，对所述日志数据进行日志校验处理、自动映射处理、日志解析处理或者信息补全处理，并将处理后的日志数据确定为待分类日志数据。

3.根据权利要求1所述的***，其特征在于，所述数据沉淀层还用于：

基于预设字段或者组织架构对所述待分类日志数据进行分类，以得到待处理日志数据。

4.根据权利要求1所述的***，其特征在于，所述数据处理层，还用于：

若所述待处理日志数据对应的字段与所述目标字段相同，则确定所述待处理日志数据为待转换日志数据；

调取与所述目标字段相对应的目标转换规则，基于目标转换规则对所述待转换日志数据进行转换处理，以得到待分析日志数据。

5.根据权利要求1所述的***，其特征在于，所述数据分析层还用于：

基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据确定出对应的日志轨迹；

基于所述日志轨迹和预设轨迹进行分析，并确定异常结果，以将所述异常结果作为目标审计结果。

6.根据权利要求1所述的***，其特征在于，所述数据分析层还用于：

基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据确定出对应的日志轨迹；

基于所述日志轨迹，确定与待分日志数据对应的操作项目、操作步骤以及操作频次；

根据所述操作项、操作步骤以及操作频次建立操作画像并将述操作画像确定为目标审计结果，以使应用展示层对所述目标审计结果进行展示。

7.根据权利要求1所述的***，其特征在于，还包括：日志查找模块；其中，

所述日志查找模块，用于对待查找日志字段拆分处理，以得到与所述待查找日志字段对应的至少两个待使用日志字段；

基于至少两个待使用日志字段和至少两个分布式索引库确定与所述待查找日志字段对应的目标日志数据。

8.一种日志数据审计方法，其特征在于，应用于日志数据审计***，所述日志数据审计***包括数据采集层、数据沉淀层、数据处理层、数据分析层、应用展现层，其中，所述日志数据审计方法包括：

通过数据采集层获取各应用***的日志数据，并对所述日志数据进行标准化处理，得到待分类日志数据，并将所述待分类日志数据发送至数据沉淀层；其中，所述应用***的日志数据包括：主机日志数据、数据库日志数据、应用日志数据、网络日志数据、中间件日志数据或者安全日志数据；

通过数据沉淀层接收所述待分类日志数据，基于预设分类规则对所述待分类日志数据进行分类处理以得到待处理日志数据，并将所述待处理日志数据发送至数据处理层；

通过数据处理层接收所述待处理日志数据，从所述待处理日志数据中确定出与目标字段相对应的待转换日志数据，并调取与所述目标字段对应的转换规则对所述待转换日志数据转换处理，以得到待分析日志数据，并将所述待分析日志数据发送至数据分析层；

通过数据分析层接收所述待分析日志数据，确定与所述待分析日志数据相关联的待处理日志数据，基于所述待分析日志数据以及与所述待分析日志数据相关联的待处理日志数据进行轨迹分析，并将分析结果确定为目标审计结果，将所述目标审计结果发送至应用展现层；

通过应用展现层接收所述目标审计结果，基于目标审计结果确定与所述目标审计结果对应的目标展示图，并将所述目标展示图进行展示。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求8所述的日志数据审计方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求8所述的日志数据审计方法。

Images