CN109408479A

CN109408479A - 日志数据添加方法、***、计算机设备和存储介质

Info

Publication number: CN109408479A
Application number: CN201811093596.9A
Authority: CN
Inventors: 曹越
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2019-03-01
Anticipated expiration: 2038-09-19
Also published as: CN109408479B

Abstract

本发明涉及数据处理技术领域，尤其涉及一种日志数据添加方法、***、计算机设备和存储介质。该方法包括：对原始日志进行字段解析，提取出多项有效字段信息；获取查找表转换器，查找表转换器是一包含有每项有效字段信息和外部数据源之间的映射关系的字段映射信息表；将有效字段信息与查找表转换器依次进行匹配，当查找表转换器中含有有效字段信息时，将有效字段信息映射的外部数据源中的数据信息添加到原始日志中。本发明通过查找表转换器，从外部数据源中添加映射信息至原始日志中的方式，丰富了原始日志中的数据，为日志事件分析提供有价值的日志数据。

Description

日志数据添加方法、***、计算机设备和存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志数据添加方法、***、计算机设备和存储介质。

背景技术

目前的日志管理平台都是直接将采集到的原始日志进行存储，或是通过正则解析、分隔符的方式对日志消息进行简单的预处理，但是无法从外部的数据源添加相关的信息到原始的日志。如果日志事件的发生依赖于外部的数据源信息，这样的日志事件在分析原因的时候会显得有些捉襟见肘。如果想要通过子***的条目来分类日志，由于原始日志中一般只包含可区分的登录服务器的用户名虽然用户名可以映射到不同的子***，但只存储原始日志的话会难以实现对子***根据日志进行分类。

发明内容

有鉴于此，有必要针对日志事件的发生依赖于外部的数据源信息时，无法从外部的数据源添加相关的信息到原始日志的问题，提供一种日志数据添加方法、***、计算机设备和存储介质。

一种日志数据添加方法，包括：

对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息；

获取查找表转换器，所述查找表转换器是一包含有每项所述有效字段信息和外部数据源之间的映射关系的字段映射信息表，所述外部数据源存储在所述分布式日志处理平台的数据库中；

将所述有效字段信息与所述查找表转换器依次进行匹配，当所述查找表转换器中含有所述有效字段信息时，将所述有效字段信息映射的所述外部数据源中的数据信息添加到所述原始日志中，将添加有所述数据信息的原始日志存储在所述分布式日志处理平台的数据库中。

在其中一个实施例中，所述对存储在分布式日志处理平台中的原始日志进行字段解析，包括：

当所述原始日志为结构化日志类型时，采用正则表达式、分隔符的方式或json提取器对所述原始日志进行字段解析；

当所述原始日志为非结构化日志类型时，采用grok表达式对所述原始日志进行字段解析。

在其中一个实施例中，，所述有效字段信息包括IP地址、主机名信息、登录服务器的用户名、员工编号、API数据接口信息、URL网址信息或返回状态码中的至少一项信息；

所述外部数据源是多项csv格式的查找信息表，所述外部数据源包括IP地理位置信息表、IP对应公司信息表、资产信息表、员工信息表、接口用户信息、网站信息或状态码查询表中的至少一张查找信息表；

所述有效字段信息中的所述IP地址与所述外部数据源中的所述IP地理位置信息表、所述IP对应公司信息表均具有映射关系，所述有效字段信息中的所述主机名信息与所述外部数据源中的所述资产信息表具有映射关系，所述有效字段信息中的登录服务器的用户名和员工编号与所述外部数据源中的所述员工信息表均具有映射关系，所述有效字段信息中的所述API数据接口信息与所述外部数据源中的所述接口用户信息具有映射关系，所述有效字段信息中的所述URL网址信息与所述外部数据源中的所述网站信息具有映射关系，所述有效字段信息中的所述返回状态码与所述外部数据源中的所述状态码查询表具有映射关系。

在其中一个实施例中，所述获取查找表转换器前，还包括对所述查找表转换器和所述外部数据源之间建立映射关系：

通过配置界面上的输入字段获取配置信息，所述配置界面预设在所述分布式日志处理平台上，所述输入字段预设在所述配置界面上，所述配置信息包括有效字段信息、查找表ID信息、需添加字段信息，将获取的所述配置信息存储在所述字段映射信息表中；

通过所述配置界面上的上传接口获取外部数据源，并存储在所述数据库中，所述上传接口预设在所述配置界面上，将所述外部数据源的存储路径存储在所述字段映射信息表的查找表存储路径信息中，且所述存储路径与所述有效字段信息对应，致使建立所述查找表转换器和所述外部数据源之间的映射关系。

在其中一个实施例中，所述对所述查找表转换器和所述外部数据源之间建立映射关系，还包括：

建立所述查找表转换器和所述外部数据源之间的映射关系后，通过自动事件的形式发布到其他服务器上，所述其他服务器是已在所述分布式日志处理平台中注册所述事件的处理机制的服务器；

获取所述其他服务器同步更新的所述外部数据源，并将更新后的外部数据源更新至对应的所述数据库中。

在其中一个实施例中，所述将所述有效字段信息与所述查找表转换器依次进行匹配前，包括：

依次读取所述查找表转换器中的查找表存储路径，通过查找表存储路径读取存储在所述数据库中所有的外部数据源；

将所有所述外部数据源均加载到内存中进行缓存。

在其中一个实施例中，所述将所述有效字段信息与所述查找表转换器依次进行匹配，包括：

将提取的所述有效字段信息依次与所述查找表转换器进行匹配，当所述查找表转换器中含有所述有效字段信息时，获取所述有效字段信息对应的查找表ID信息和需添加字段信息；

在内存中查找与所述查找表ID信息相同的外部数据源，读取所述外部数据源中需添加字段信息，将所述需添加字段信息添加到所述原始日志中后，将所述原始日志存储在数据库中。

一种日志数据添加***，包括：

解析单元，用于对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息；

获取单元，用于获取查找表转换器，所述查找表转换器是一包含有每项所述有效字段信息和外部数据源之间的映射关系的字段映射信息表，所述外部数据源存储在所述分布式日志处理平台的数据库中；

匹配及添加单元，用于将所述有效字段信息与所述查找表转换器依次进行匹配，当所述查找表转换器中含有所述有效字段信息时，将所述有效字段信息映射的所述外部数据源中的数据信息添加到所述原始日志中，将添加有所述数据信息的原始日志存储在所述分布式日志处理平台的数据库中。

一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述日志数据添加方法的步骤。

一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述日志数据添加方法的步骤。

上述日志数据添加方法、装置、计算机设备和存储介质，包括对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息；获取查找表转换器，所述查找表转换器是一包含有每项所述有效字段信息和外部数据源之间的映射关系的字段映射信息表，所述外部数据源存储在所述分布式日志处理平台的数据库中；将所述有效字段信息与所述查找表转换器依次进行匹配，当所述查找表转换器中含有所述有效字段信息时，将所述有效字段信息映射的所述外部数据源中的数据信息添加到所述原始日志中，将添加有所述数据信息的原始日志存储在所述分布式日志处理平台的数据库中。本发明通过查找表转换器，从外部数据源中添加映射信息至原始日志中的方式，丰富了原始日志中的数据，为日志事件分析提供有价值的日志数据。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

图1为本发明一个实施例中的日志数据添加方法的流程图；

图2为一个实施例中的获取查找表转换器前的流程图；

图3为一个实施例中步骤S3的流程图；

图4为本发明一个实施例中日志数据添加***的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

图1为本发明一个实施例中的日志数据添加方法的流程图，如图1所示，一种日志数据添加方法，包括以下步骤：

步骤S1，字段解析：对存储在分布式日志处理平台中的原始日志进行字段解析，提取出多项有效字段信息。

日志主要包括***日志、应用程序日志和安全日志，每条日志都记载着时间戳、主机名、使用者及操作行为等相关的描述，***运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因等。经常分析日志可以了解服务器的负荷，性能安全性，及时分析问题、追查错误根源纠正错误。在大数据时代，日志数量巨大，种类多样化，日志的统计和检索的难度加大，一般使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。过去，日志被分散的储存各台服务器上，没有集中管理，难以做关联分析，甚至被删除。使用集中化的日志管理，将所有服务器上的日志收集汇总，即采用分布式日志处理平台对其他服务器上的日志进行收集和处理，则更能方便全面的分析日志。

在一个实施例中，对存储在分布式日志处理平台中的原始日志进行字段解析，包括：当原始日志为结构化日志类型时，采用正则表达式、分隔符的方式或json提取器对原始日志进行字段解析；当原始日志为非结构化日志类型时，采用grok表达式对原始日志进行字段解析。

根据采集的服务器不同，服务器产生的原始日志结构不同，一般包括结构化日志类型、非结构化日志类型，一般原始日志均有日志文件名称或日志ID，可以预先设置日志类型查找表，日志类型查找表中包含日志文件名称或日志ID、对应的日志类型。在对原始日志进行字段解析前，在日志类型查找表中查找到原始日志对应的日志类型，根据日志类型采用正则表达式、分隔符的方式、json提取器或grok表达式对原始日志进行字段解析。

本实施例根据原始日志的日志类型不同，采用不同的方式进行字段解析，能解析出较为精确且完整的有效字段信息。

步骤S2，获取查找表转换器：查找表转换器是一包含有每项有效字段信息和外部数据源之间的映射关系的字段映射信息表，外部数据源存储在分布式日志处理平台的数据库中。

在一个实施例中，提取出的多项有效字段信息包括IP地址、主机名信息、登录服务器的用户名、员工编号、API数据接口信息、URL网址信息或返回状态码中的至少一项信息；外部数据源是多项csv格式的查找信息表，外部数据源包括IP地理位置信息表、IP对应公司信息表、资产信息表、员工信息表、接口用户信息、网站信息或状态码查询表中的至少一张查找信息表；有效字段信息中的IP地址与外部数据源中的IP地理位置信息表、IP对应公司信息表均具有映射关系，有效字段信息中的主机名信息与外部数据源中的资产信息表具有映射关系，有效字段信息中的登录服务器的用户名和员工编号与外部数据源中的员工信息表均具有映射关系，有效字段信息中的API数据接口信息与外部数据源中的接口用户信息具有映射关系，有效字段信息中的URL网址信息与外部数据源中的网站信息具有映射关系，有效字段信息中的返回状态码与外部数据源中的状态码查询表具有映射关系。具体的有效字段信息与外部数据源之间的映射关系如下表1所示：

表1

本实施例例举了在原始日志中通常解析的有效字段信息，这些有效字段信息需要映射的外部数据源的映射关系，通过查找表转换器的映射关系能容易的匹配到有效字段信息对应的外部数据源。

在一个实施例中，如图2所示，获取查找表转换器前，还包括对查找表转换器和外部数据源之间建立映射关系：

步骤S201，获取配置信息并存储：通过配置界面上的输入字段获取配置信息，配置界面预设在分布式日志处理平台上，输入字段预设在配置界面上，配置信息包括有效字段信息、查找表ID信息、需添加字段信息，将获取的配置信息存储在字段映射信息表中。

本步骤中的查找表转换器，即字段映射信息表如表2所示：

有效字段信息	查找表ID信息	需添加字段信息	查找表存储路径信息
				XXXX	XXXX	XXXX	XXXX

表2

如表2所示，通过配置界面获取的配置信息分别存储在字段映射信息表的有效字段信息、查找表ID信息和需添加字段信息中，而查找表存储路径通过步骤S202获取和存储。

步骤S202，获取外部数据源：通过配置界面上的上传接口获取外部数据源，并存储在数据库中，上传接口预设在配置界面上，将外部数据源的存储路径存储在字段映射信息表的查找表存储路径信息中，且存储路径与有效字段信息对应，致使建立查找表转换器和外部数据源之间的映射关系。

由于分布式日志处理平台没有存储外部数据源，因此在配置查找表转换器时，还需要通过配置界面上的上传接口，将外部数据源上传及保存到本地的分布式日志处理平台中，在保存完成后，自动将存储路径保存在字段映射信息表中与有效字段信息对应的查找表存储路径中。

具体的，通过配置界面获取的配置信息，通过上传接口获取外部数据源，并存储在数据库中，自动将存储路径存储在查找表存储路径信息中，得到的一条字段映射信息表如下：

有效字段信息：IP地址；

查找表ID信息：geo_location_src.csv；

需添加字段信息：

src_location_country,src_location_province,src_location_city,src_location_lat,src_location_lon；

查找表存储路径信息：XX/XX/Externaldate。

对IP地址的有效字段信息需要与查找表ID信息为geo_location_src.csv的外部数据源进行映射，外部数据源是一张IP地理位置信息表，根据IP地址，需添加字段信息是国家、省、城市、纬度、经度，用于分布式拒绝服务DDOS攻击分析。

另外，对IP地址还可以对应一张IP对应公司信息表的外部数据源，此时需添加字段信息是公司ID和公司名称，用于分析用户访问情况。

有效字段信息是主机名信息时，对应一张资产信息表的外部数据源，此时需添加字段信息是IP地址。

有效字段信息是登录服务器的用户名或员工编号时，对应一张员工信息表的外部数据源，此时需添加字段信息是员工姓名、公司ID、公司名称或员工联系方式等至少一项信息，用于分析用户访问记录。

本实施例通过预先设置配置界面的方式，获取用户输入的配置信息及上传的外部数据源，并存储在字段映射信息表，通过字段映射信息表中有效字段信息和查找表ID信息、需添加字段信息和查找表存储路径信息的对应关系，自动建立查找表转换器和外部数据源之间的映射关系。

在一个实施例中，如图2所示，还包括：

步骤S203，事件发布：建立查找表转换器和外部数据源之间的映射关系后，通过自动事件的形式发布到其他服务器上，其他服务器是已在分布式日志处理平台中注册事件的处理机制的服务器。

由于本发明的外部数据源通常在其他服务器上进行维护和更新，一旦其他服务器上的外部数据源更新后，如果通过用户手动再次上传外部数据源，则工作量非常大。本步骤预先在分布式日志处理平台中设置自动更新用的事件，如updateDatasetEvent事件，其他服务器注册对此事件的处理机制。建立查找表转换器和外部数据源之间的映射关系后，自动触发updateDatasetEvent事件，通过updateDatasetEvent事件将外部数据源的存储位置发布到对应其他服务器上，即告知其他服务器，在分布式日志处理平台映射了此外部数据源，当其他服务器更新此外部数据源时，触发其他服务器自动将更新后的外部数据源更新至分布式日志处理平台。

步骤S204，同步更新外部数据源：获取其他服务器同步更新的外部数据源，并将更新后的外部数据源更新至对应的数据库中。

其他服务器通过updateDatasetEvent事件与本地的分布式日志处理平台建立了同步更新的处理机制，因此当其他服务器的外部数据源更新外部数据源后，将更新后的外部数据源自动发送给分布式日志处理平台，分布式日志处理平台获取更新后的外部数据源，并将其更新至对应的存储路径中。

本实施例通过自动同步更新外部数据源的形式，不仅自动更新的方式省时省力，还保证分布式日志处理平台存储的外部数据源是最新最可靠的数据信息。

步骤S3，匹配及添加数据信息：将有效字段信息与查找表转换器依次进行匹配，当查找表转换器中含有有效字段信息时，将有效字段信息映射的外部数据源中的数据信息添加到原始日志中，将添加有数据信息的原始日志存储在分布式日志处理平台的数据库中。

在一个实施例中，如图3所示，将有效字段信息与查找表转换器依次进行匹配前，包括：

步骤S301，将外部数据源进行缓存：依次读取查找表转换器中的查找表存储路径，通过查找表存储路径读取存储在数据库中所有的外部数据源；将所有外部数据源均加载到内存中进行缓存。

在对外部数据源进行缓存时，采用如下数据结构并进行缓存处理：

Map<String,List<Map<String,Object>>>

本实施例数据结构经过了优化处理，Map的key不保存冗余的信息，分布式日志处理平台的服务器会有64个线程去同时处理进入的原始日志，所有处理线程共用一份缓存的数据，节省内存空间，实现了分布式多线程的功能。

在一个实施例中，如图3所示，将有效字段信息与查找表转换器依次进行匹配时，包括：

步骤S302，匹配有效字段信息：将提取的有效字段信息依次与查找表转换器进行匹配，当查找表转换器中含有有效字段信息时，获取有效字段信息对应的查找表ID信息和需添加字段信息。

查找表转换器是一张字段映射信息表，包含的内容如表2所示，当步骤S1提取的有效字段信息与查找表转换器进行匹配时，查找表转换器中含有此有效字段信息时，表示此有效字段信息具有映射关系的外部数据源，需要从外部数据源中获取数据信息，添加到原始日志中。为了获取数据信息，本步骤需要从查找表转换器中获取与此有效字段信息对应的查找表ID信息，用于查找到对应的外部数据源，获取需添加字段信息，用于添加对应的数据信息。

具体的，当步骤S1提取的有效字段信息含有IP地址时，查找表转换器中含有IP地址的有效字段信息，本步骤获取到：

查找表ID信息：geo_location_src.csv；

需添加字段信息：

src_location_country,src_location_province,src_location_city,

src_location_lat,src_location_lon；

步骤S303，添加数据：在内存中查找与查找表ID信息相同的外部数据源，读取外部数据源中需添加字段信息，将需添加字段信息添加到原始日志中后，将原始日志存储在数据库中。

外部数据源中含有与需要添加字段信息对应的所有数据信息，根据步骤S302获取的查找表ID信息在内存中查找外部数据源后，可依次读取外部数据源中对应的需要添加字段信息，并将需要添加字段信息添加到原始日志中。在添加时，可以将有效字段信息、需要添加字段信息一起添加在原始日志的最前方，也可以将需要添加字段信息添加在有效字段信息之后。将需添加字段信息添加到原始日志中后，将原始日志存储在数据库中时，建立索引表，采用存储索引的方式存储原始日志，以便于后续用户搜索原始日志。

具体的，根据步骤S302获取的查找表ID信息找到对应的外部数据源，此外部数据源是一张IP地理位置信息表，IP地理位置信息表中含有某项IP地址对应的国家、省、城市、纬度、经度等信息。本步骤读取这些信息后，将这些信息添加到原始日志中并进行存储，后续可以方便的用于分布式拒绝服务DDOS攻击分析。

本实施例通过在内存中查找外部数据源的方式，当多线程同时处理原始日志时，可以共用一份缓存在内存中的外部数据源，不仅节省内存空间，多线程同时处理的方式可以大大提高数据添加的效率。

在一个实施例中，提出了一种日志数据添加***，如图4所示，包括如下单元：

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例的日志数据添加方法中的步骤。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例的日志数据添加方法中的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种日志数据添加方法，其特征在于，包括：

2.根据权利要求1所述的日志数据添加方法，其特征在于，所述对存储在分布式日志处理平台中的原始日志进行字段解析，包括：

3.根据权利要求1所述的日志数据添加方法，其特征在于，所述有效字段信息包括IP地址、主机名信息、登录服务器的用户名、员工编号、API数据接口信息、URL网址信息或返回状态码中的至少一项信息；

4.根据权利要求1所述的日志数据添加方法，其特征在于，所述获取查找表转换器前，还包括对所述查找表转换器和所述外部数据源之间建立映射关系：

5.根据权利要求4所述的日志数据添加方法，其特征在于，所述对所述查找表转换器和所述外部数据源之间建立映射关系，还包括：

6.根据权利要求1所述的日志数据添加方法，其特征在于，所述将所述有效字段信息与所述查找表转换器依次进行匹配前，包括：

将所有所述外部数据源均加载到内存中进行缓存。

7.根据权利要求6所述的日志数据添加方法，其特征在于，所述将所述有效字段信息与所述查找表转换器依次进行匹配，包括：

8.一种日志数据添加***，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述日志数据添加方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述日志数据添加方法的步骤。