CN114281781A - 一种数据处理方法以及数据处理设备 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法以及数据处理设备，用于根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。本申请实施例方法包括：数据处理设备获取日志集合；所述数据处理设备确定所述日志集合中N条日志属于第一类型，所述N为正整数；所述数据处理设备根据所述N条日志确定与所述第一类型对应的日志模板，所述第一类型对应的日志模板用于指示所述N条日志的变量位置；所述数据处理设备根据所述变量位置从所述N条日志中的一条或多条日志提取变量生成结构化日志。

Description

一种数据处理方法以及数据处理设备

本申请是向中国知识产权局提交的申请日为2016年10月26日、申请号 为201610948580.6、发明名称为“一种数据处理方法以及数据处理设备”的 申请的分案申请。

技术领域

本申请涉及计算机领域，尤其涉及一种数据处理方法以及数据处理设 备。

背景技术

日志数据是***运维中的重要数据之一。日志数据的分析在网站用户行 为分析、***运维统计等方面都是必不可少的。而直接从海量的文本日志 中，分析一种日志类型的变量是非常困难的。比如在海量文本中分析其中一 种协议日志中记录的状态变化；一种传输问题引起端口震荡的日志中记录的 端口有哪些等。通过日志的结构化处理后，可以按报表格式输出日志(例 如，生成Excel格式)，就比较容易统计分析各个日志变量。因此在日志的分 析和处理中常常有日志结构化的需求。

目前日志结构化信息提取方法中，通常是在上游***配置数据库模式定 义语言(英文全称：Data Description Language，简称：DDL)文件，DDL文件 中定义好了结构化信息的解析规则和字段定义。然后该上游***向下游*** 提供日志和日志DDL文件，这样下游***可根据日志DDL文件自动提取日 志的结构化数据，后续可加载到目标数据库供后续分析。

这种方法中，DDL文件为事先配置好且固定不变。而在实际应用中，不 同的产品或不同的版本对应的日志是不同的，即导致DDL文件需要根据产品 和版本的改变进行修改，进而导致日志结构化信息提取的过程中维护困难。

申请内容

本申请实施例提供了一种数据处理方法以及数据处理设备，用于根据相 同类型的多条日志确定该多条日志对应的日志类型的日志模板，即解析规 则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即不再需 要人工设置解析规则，免除了运行过程对解析规则的人工维护与更新。

第一方面，本申请实施例提供一种数据处理方法，包括：

该数据处理设备在获取到日志集合之后，确定该日志集合中N条日志属 于类型作为第一类型，其中该N为正整数；然后该数据处理设备根据该N条 日志确定该第一类型对应的日志模板，该第一类型对应的日志模板用于指示 该N条日志的变量位置，即该N条日志的解析规则；最后该数据处理设备根 据该变量位置提取该N条日志中的一条或多条日志的变量生成结构化日志文 件。

本申请实施例中，该第一类型对应的日志模板除了指示该变量位置之 外，还可以指示变量数量，也可以指示该第一类型对应的日志模板对应的其 他信息，包括但不限于模块名称、严重性、进程ID等信息。

本申请实施例中，该数据处理设备根据相同类型的多条日志确定该多条 日志对应的日志类型的日志模板，即解析规则；然后根据该日志模板提取该 多条日志的变量生成结构化日志文件。即该数据处理设备在运行的过程可以 即时的获取和更新日志对应的解析规则，不再需要人工设置解析规则，免除 了运行过程对解析规则的人工维护与更新。

可选的，该数据处理设备在根据该N条日志确定该第一类型对应的日志 模板时，可以采用如下方式：

该数据处理设备获取该N条日志中的第M条日志，其中该M为正整数；

若该M等于1，则该数据处理设备可以将该第M条日志作为该第一类型 对应的日志模板；或者，该数据处理设备根据该第M条日志更新与该N条日 志类型相同的其他日志确定的第一目标模板作为该第一类型对应的日志模 板。

若该M大于或等于2，则该数据处理设备可以根据该第M条日志更新该 第M-1条日志确定的第二目标模板作为该第一类型对应的日志模板。

其中，该数据处理设备根据该第M条日志更新与该N条日志类型相同的 其他日志确定的第一目标模板作为该第一类型对应的日志模板的具体做法如 下：

该数据处理设备将第M条日志与该第一目标模板进行比对；

若该数据处理设备确定该第一目标模板相对该第M条日志存在变量，则 该数据处理设备将该第一目标模板相对该第M条日志的变量用通配符表示作 为该第一类型对应的日志模板，该通配符为预先设置的字符或字符串；

若该数据处理设备确定该第一目标模板相对该第M条日志不存在变量， 则该数据处理设备将该第一目标模板作为该第一类型对应的日志模板。

该数据处理设备可以根据该第M条日志更新该第M-1条日志确定的第二 目标模板作为该第一类型对应的日志模板的具体做法如下：

该数据处理设备将第M条日志与该第二目标模板进行比对；

若该数据处理设备确定该第二目标模板相对该第M条日志存在变量，则 该数据处理设备将该第二目标模板相对该第M条日志的变量用通配符表示作 为该第一类型对应的日志模板，该通配符为预先设置的字符或字符串，该变 量为该第二目标模板相对该第M条日志不同的地方；

若该数据处理设备确定该第二目标模板相对该第M条日志不存在变量， 则该数据处理设备将该第二目标模板作为该第一类型对应的日志模板。

本申请实施例提供的技术方案中，该数据处理设备将该N条日志通过循 环比对更新的方式确定最后的日志模板，这样可以保证同一批次的日志采用 相同的日志模板，且在日志出现新的类型时，同样出现新日志模板，可以即 时获取和更新日志模板，提高日志数据分析的准确度。

可选的，该数据处理设备在根据该第一类型对应的日志模板中的变量位 置提取该N条日志中的一条或多条日志中的变量生成结构化日志时可以采用 如下方式：

一种可能实现方式中，该数据处理设备将该N条日志中的一条或多条日 志逐一与该第一类型对应的日志模板进行比对，进而确定该N条日志中的一 条或多条日志相对该第一类型对应的日志模板不同的地方并将该不同的地方 识别为变量；然后该数据处理设备提取该变量生成该结构化日志。

另一种可能实现方式中，该数据处理设备从该第一类型对应的日志模板 中获取该变量位置；然后该数据处理设备根据该变量位置逐一从该N条日志 中的一条或多条日志中提取该变量位置对应的变量生成该结构化日志。

本申请实施例提供的技术方案中，该数据处理设备可以根据该第一类型 对应的日志模板采用多种方式提取变量生成结构化日志，即可以灵活快速的 处理日志。

可选的，该数据处理设备可以根据分类算法或聚类算法确定该日志集合 中该N条日志属于该第一类型。在实际应用中，该数据处理设备可以采用的 分类算法包括但不限于应用决策树分类算法、贝叶斯分类算法、BP神经网络 算法和K-Means算法等；聚类算法包括但不限于SOM聚类算法、FCM聚类 算法等。其中也有一些其他的算法，比如通过测量日志之间的距离或者相关 度，对日志进行分类等。

本申请实施例提供的技术方案中，该数据处理设备可以灵活快速的进行 日志的分类，有效的加快日志的处理速度。

可选的，该数据处理设备为该第一类型对应的日志模板与该N条日志通 过该索引建立映射关系，即一个模板可以对应多条日志，在此基础上该数据 处理设备在结构化该N条日志时，该数据处理设备可以通过该映射关系和该 索引查询该N条日志对应的该第一类型对应的日志模板，然后该数据处理设 备再根据该第一类型对应的日志模板中的该变量位置提取该N条日志中的变 量生成该结构化日志。

本申请实施例提供的技术方案中，该数据处理设备建立了该第一类型对 应的日志模板与该N条日志之间的索引映射关系之后，可以有效的加快该数 据处理设备生成该结构化日志的速度，提高日志处理效率。

可选的，该数据处理设备在生成结构化日志之后，还可以将该结构化 日志与该第一类型对应的日志模板一起发送给下游***。

本申请实施例提供的技术方案中，该数据处理设备将结构化日志和与该 结构日志相对应的日志模板一起发送给下游***可以使得该下游***可以正 确的分析该结构化日志。

可选的，该数据处理设备生成的结构化日志中还包括但不限于时间、主 机名、模板名、严重性和进程标识ID中任意一个或多个。

本申请实施例提供的技术方案中，该结构化日志包含的信息越多，该下 游***进行分析该结构化日志时的结果越正确。

第二方面，本申请实施例提供一种数据处理设备，该数据处理设备具有 实现上述方法中数据处理设备的功能。该功能可以通过硬件实现，也可以通 过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对 应的模块。

一种可能实现方式中，该数据处理设备包括：

获取模块，用于获取日志集合；

处理模块，用于确定该日志集合中N条日志属于第一类型，该N为正整 数；根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的 日志模板用于指示该N条日志的变量位置；根据该变量位置从该N条日志中 的一条或多条日志提取变量生成结构化日志。

另一种可能实现方式中，该数据处理设备包括：

收发器，处理器和总线；

该收发器与该处理器通过该总线相连；

该收发器，执行如下步骤：

获取日志集合；

该处理器，执行如下步骤：

确定该日志集合中N条日志属于第一类型，该N大于或等于1；

根据该N条日志确定与该第一类型对应的日志模板，该第一类型对应的 日志模板用于指示该N条日志的变量位置；

该变量位置从该N条日志中的一条或多条日志提取变量生成结构化日 志。

第三方面，本申请实施例提供一种计算机存储介质，该计算机存储介质 中存储有程序代码，该程序代码用于指示执行上述第一方面的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：该数据处理设 备根据相同类型的多条日志确定该多条日志对应的日志类型的日志模板，即 解析规则；然后根据该日志模板提取该多条日志的变量生成结构化日志。即 不再需要人工设置解析规则，免除了运行过程对解析规则的人工维护与更 新。

附图说明

图1为本申请实施例中日志结构化的***框架图；

图2为本申请实施例中数据处理方法的一个实施例示意图；

图3为本申请实施例中数据处理设备的一个实施例示意图；

图4为本申请实施例中数据处理设备的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种本申请实施例提供了一种数据处理方法以及数 据处理设备，用于根据相同类型的多条日志确定该多条日志对应的日志类型 的日志模板，即解析规则；然后根据该日志模板提取该多条日志的变量生成 结构化日志。即不再需要人工设置解析规则，免除了运行过程对解析规则的 人工维护与更新。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第 三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的 顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这 里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此 外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包 含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必 限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这 些过程、方法、产品或设备固有的其它步骤或单元。

日志数据是***运维中的重要数据之一。日志数据的分析在网站用户行 为分析、***运维统计等方面都是必不可少的。而直接从海量的文本日志 中，分析一种日志类型的变量是非常困难的。请参阅图1所示，目前通常是 通过日志的结构化处理后，将该结构化日志按报表格式输出，就比较容易统 计分析各个日志变量。因此在日志的分析和处理中常常有日志结构化的需 求。目前日志结构化信息提取方法中，通常是在上游***配置DDL文件，DDL文件中定义好了结构化信息的解析规则和字段定义。然后该上游***向 下游***提供日志和日志DDL文件，这样下游***可根据日志DDL文件自 动提取日志的结构化数据，后续可加载到目标数据库供后续分析。这种方法 中，DDL文件为事先配置好且固定不变。而在实际应用中，不同的产品或不 同的版本对应的日志是不同的，即导致DDL文件需要根据产品或版本的改变 进行修改，进而导致日志结构化信息提取的过程中维护困难。

为解决这一问题，本申请实施例中提供了如下方案：该数据处理设备在 获取到日志集合之后，确定该日志集合中N条日志属于类型作为第一类型， 其中该N为正整数；然后该数据处理设备根据该N条日志确定该第一类型对 应的日志模板，该第一类型对应的日志模板用于指示该N条日志的变量位 置，即该N条日志的解析规则；最后该数据处理设备根据该变量位置提取该 N条日志中的一条或多条日志的变量生成结构化日志文件。

具体请参阅图2所示，本申请实施例中数据处理方法中的一个实施例， 包括：

201、数据处理设备获取日志集合。

该数据处理设备获取日志集合。

在实际应用中，该数据处理设备可以采用多种方式获取该第一日志文 件，包含但不限于通过界面导入、接口传输等，具体的方式此处不做限定。 其中该日志集合包括但不限定于***日志(英文全称：System Log，简称： Syslog)。同时该数据处理设备获取到的日志通常会是大量的，这时，该数据 处理设备在进行日志结构化的过程中通常是将日志进行批量处理。即该数据 处理设备获取日志的时长满足预设时长或该数据处理设备获取的日志的数量 满足预设阈值时，该数据处理设备才将获取到的日志归类为一个日志集合， 然后将该日志集合中的各日志按照类型分类并确定该各日志对应的日志类型 的模板，即解析规则。其中，该预设时长和该预设阈值为事先确定，具体数 值此处不做限定。

202、数据处理设备确定该日志集合中N条日志属于第一类型。

该数据处理设备将该日志集合中的各日志进行解析，并将相同类型的N 条日志归属于一类，即该第一类型。

在实际应用中，该数据处理设备可以通过多种方式来确定该日志集合中 各日志的类型。比如，该数据处理设备可以通过分类算法或聚类算法确定该 第一日志文件的类型也可以通过获取该第一日志文件的源代码确定该第一日 志文件的类型。其中该数据处理设备可以采用的分类算法包括但不限于应用 决策树分类算法、贝叶斯分类算法、BP神经网络算法和K-Means算法等；聚 类算法包括但不限于SOM聚类算法、FCM聚类算法等。其中也有一些其他 的算法，比如通过测量日志之间的距离或者相关度，对日志进行分类等。

203、数据处理设备根据该N条日志确定与该第一类型对应的日志模 板，该第一类型对应的日志模板用于指示该N条日志的变量位置。

该数据处理设备根据该N条日志确定与该第一类型对应的日志模板，该 第一类型对应的日志模板用于指示该N条日志的变量位置。

在实际应用中，该数据处理设备根据该N条日志确定与该第一类型对应 的日志模板时，可以采用如下方式：

该数据处理设备获取该N条日志中的第M条日志，其中该M为正整数；

若该M等于1，则该数据处理设备可以将该第M条日志作为该日志模 板；或者，该数据处理设备根据该第M条日志更新与该N条日志类型相同的 其他日志确定的第一目标模板作为该日志模板。若该M大于或等于2，则该 数据处理设备可以根据该第M条日志更新该第M-1条日志确定的第二目标模 板作为该日志模板。其中，该数据处理设备根据该第M条日志更新与该N条 日志类型相同的其他日志确定的第一目标模板作为该日志模板的具体做法如 下：该数据处理设备将第M条日志与该第一目标模板进行比对；若该数据处 理设备确定该第一目标模板相对该第M条日志存在变量，则该数据处理设备 将该第一目标模板相对该第M条日志的变量用通配符表示作为该日志模板， 该通配符为预先设置的字符或字符串；若该数据处理设备确定该第一目标模 板相对该第M条日志不存在变量，则该数据处理设备将该第一目标模板作为 该日志模板。该数据处理设备可以根据该第M条日志更新该第M-1条日志确 定的第二目标模板作为该日志模板的具体做法如下：该数据处理设备将第M 条日志与该第二目标模板进行比对；若该数据处理设备确定该第二目标模板 相对该第M条日志存在变量，则该数据处理设备将该第二目标模板相对该第 M条日志的变量用通配符表示作为该日志模板，该通配符为预先设置的字符 或字符串；若该数据处理设备确定该第二目标模板相对该第M条日志不存在 变量，则该数据处理设备将该第二目标模板作为该日志模板。其中该通配符 可以为字符，也可以为字符串，比如星号“*”、感叹号“！”、井号 “#”、多星号“***”等，本申请实施例中以星号“*”为例。

比如，该日志集合包括四条日志，具体情况如表1所示，其中根据算法 得知该第二行与该第三行所示的日志为同一类型的日志，该第四行与该第五 行所示的日志为同一类型的日志，本申请实施例中将该第二行与该第三行所 示的日志为例。

表1

则该数据处理设备确定该2条日志的类型对应的日志模板的具体的方式 如下：该数据处理设备从该2条日志中获取第一条日志，即该表1中第二行 所示的日志时，该数据处理设备可以将该第一日志作为该日志模板，即此时 的日志模板如表2所示：

模板
	The BFD session went Down.SessName is 26585-tdm,Interface is GE1/1/0

表2

该数据处理设备从该2条日志中获取第二条日志，即该表1中第三行所 示的日志时，该数据处理设备需要根据该第二条日志更新该第一条日志确定 的日志模板，即表2所示的日志模板。这时该数据处理设备将该第二条日志 与表2所示的日志模板进行比对，将该表2所示的日志模板相对该第二条日 志不同的地方用通配符*进行表示，进而生成表3所示的日志模板，这时该2 条日志对应的第一类型的日志模板为表3所示的日志模板。

模板
	The BFD session went Down.SessName is*,Interface is*

表3

而在实际应用中，该数据处理设备在获取到该第一条日志时，该数据处 理设备还可以采用如下方式生成该日志模板，具体如下：该数据处理设备获 取在上一批次的日志处理中根据与本申请实施例中第一类型相同的日志确定 的第一目标模板，该第一目标模板如表3所示，则该数据处理设备可以将该 第一条日志与该第一目标模板进行比对确定该第一目标模板相对该第一条日 志是否存在变量，若存在变量，则该数据处理设备将该第一目标模板中相对 该第一条日为变量的单词用通配符*表示生成该日志模板，如表4所示；若不存在变量，则该数据处理设备将该第一目标模板即表3作为该日志模板。然 后该数据处理设备在获取到该第二条日志时，该数据处理设备则将该第二条 日志与该表4所示的日志模板进行比对，若存在变量，则该数据处理设备将 该第一目标模板中相对该第一条日志为变量的单词用通配符*表示生成该日 志模板，如表4所示；若不存在变量，则该数据处理设备将该第一目标模板 即表3作为该日志模板。在实际应用中，若该第一条日志为“The BFDsession went Up.SessName is 26585-tdm,Interface is GE1/1/0”，则该数据处理 设备根据该第一条日志更新该表3所示的第一目标模板，则该数据处理设备 得到的该第一类型的日志模板如表5所示。

模板
	The BFD session went Down.SessName is*,Interface is*

表4

模板
	The BFD session went*.SessName is*,Interface is*

表5

在实际应用中，该数据处理设备还可以为该N条日志与该第一类型对应 的日志模板建立映射关系。这样在该数据处理设备根据该第一类型对应的日 志模板将该N条日志中的一条或多条日志进行结构化生成该结构化日志时， 该数据处理设备可以根据该映射关系迅速的查询到该N条日志中的日志。

本申请实施例中，该数据处理设备在根据该N条日志确定该N条日志确 定的第一类型对应的该日志模板时，一种可能实现方式中，该数据处理设备 可以直接遍历该日志集合根据类型标注一一将所有的日志同时进行生成日志 模板的过程。比如，该日志集合中包含五条日志，其中日志1，日志3与日志 4为第一类型的日志，日志2与日志5为第二类型的日志，则该数据处理设备 在遍历该日志集合时，可能会有如下情况：该数据处理设备获取到的第一条 日志为日志1，这时该数据处理设备将该日志1作为第一类型的日志模板；然 后该数据处理设备获取到的第二条日志为日志2，这时该数据处理设备根据 类型标注得知该第二条日志与该第一条日志为不同类型，则该数据处理设备 则将该日志2作为该第二类型的第一条日志，这时该数据处理设备将该日志2 作为第二类型的日志模板；再次，该数据处理设备获取到的第三条日志为日 志3，这时该数据处理设备根据类型标注得知该第三条日志与该第一条日志 为同一类型，则该数据处理设备根据该第三条日志将该第一条日志确定的日 志模板进行更新从而得到的日志模板作为该第一类型的日志模板；该数据处 理设备获取到的第四条日志为日志4，这时该数据处理设备根据类型标注得 知该第四条日志与该第三条日志和该第一条日志为同一类型，则该数据处理 设备根据该第四条日志将该第三条日志确定的日志模板进行更新从而得到最 终的日志模板作为该第一类型的日志模板；最后，该数据处理设备获取到的 第五条日志为该日志5，这时该数据处理设备根据类型标注得知该第五条日 志与该第二条日志为同一类型，则该数据处理设备根据该第五条日志将该第 一条日志确定的日志模板进行更新从而得到最终的日志模板作为该第二类型的日志模板。当然，本申请实施例中举例的情况仅是其中一种可能情况，具 体的情况此处不做限定。另一种可能实现方式中，该数据处理设备可以将每 个类型中的日志分别进行遍历先后得到各类型的日志对应的日志模板。比 如，该日志集合如表1所示，则该数据处理设备在分别遍历不同的日志类型 时，可能会有如下情况：该数据处理设备先遍历该表1中第二行与第三行所 示的日志，然后遍历该表1中第四行与第五行所示的日志，其中，该表1中的第二行所示的日志与该第三行所示的日志为第一类型，该表1中的第四行 所示的日志与该第五行所示的日志为第二类型。具体情况如下：该数据处理 设备获取该第一类型的第一条日志，即该表1中的第二行所示的日志，则该 数据处理设备将该第一条日志作为该第一类型的日志模板；然后该数据处理 设备获取该第一类型的第二条日志，即该表1中的第三行所示的日志，则该 数据处理设备根据该第二条日志更新该第一条日志确定的日志模板生成该第 一类型的最终日志模板；再次该数据处理设备获取该第二类型中的第一条日志，即该表1中第四行所示的日志，则该数据处理设备将该第二类型中的第 一条日志作为该第二类型的日志模板；最后，该数据处理设备获取到该第二 类型的第二条日志，即该表1中第五行所示的日志，则该数据处理设备根据 该第二类型的第二条日志更新该第二类型的第一条日志确定的日志模板生成 该第二类型的最终日志模板。当然，本申请实施例中举例的情况仅是其中一 种可能情况，具体的情况此处不做限定。

在本申请实施例中，该数据处理设备在根据该N条日志确定该第一类型 对应的日志模板时，该数据处理设备还可以将该N条日志分别用语句分隔符 进行分隔生成单词向量。这里的语句分隔符为预设的字符或预设的字符串， 比如星号“*”、空格“”、逗号“，”等，具体的选择此处不做限定。

204、数据处理设备根据该变量位置提取该N条日志中一条或多条日志 的变量生成结构化日志。

数据处理设备根据该变量位置提取该N条日志的变量生成结构化日志。

在实际应用中，该数据处理设备可以采用如下方式对该N条日志进行结 构化：

一种可能实现方式中，该数据处理设备直接将该N日志逐一与该日志模 板进行比对，然后该数据处理设备逐一该N条日志相对该日志模板不同的地 方识别为变量，并将该变量提取出来生成该结构化日志。比如，本申请实施 例中，该数据处理设备将该表3所示的日志模板与该表1中的该2条日志进 行比对，即可以确定该2条日志与该日志模板的不同的地方，然后该数据处 理设备将该不同的地方提取出来生成如表6所示的结构化日志。

另一种可能实现方式中，该数据处理设备解析该日志模板得到该日志模 板中变量位置的信息；然后该数据处理设备逐一从该N条日志中将该变量位 置对应的变量提取出来生成该结构化日志。比如本申请实施例表3所示的模 板，若该数据处理设备将该标点符号与单词作为一个单位，则该数据处理设 备可以得知该日志模板的变量位置为第8个单词位置和第11个单词位置为变 量，则该数据处理设备在遍历表1所示的该2条日志时，可以直接从该2条 日志的第8个单词位置与该11个单词位置提取变量生成如表6所示的结构化 日志。

变量1	变量2
		26585-tdm	GE1/1/0
26586-tdm	GE1/2/0

表6

在实际应用中，该结构化日志中还可以包括如时间、主机名、模块等信 息，若以表6所示的结构化日志为例，该结构化日志如表7所示：

表7

该数据处理设备在生成结构化日志之后，还可以将该结构化日志与该日 志模板一起发送给下游***，进而使得该下游***可以根据该日志模板将该 结构化日志进行解析。

本申请实施例中，本申请实施例中，该数据处理设备根据相同类型的多 条日志确定该多条日志对应的日志类型的日志模板，即解析规则；然后根据 该日志模板提取该多条日志的变量生成结构化日志。即该数据处理设备在运 行的过程可以即时的获取和更新日志对应的解析规则，不再需要人工设置解 析规则，免除了运行过程对解析规则的人工维护与更新。上面对本申请实施 例中的数据处理方法进行了描述，下面对本申请实施例中的数据处理设备进 行描述。

具体请参阅图3所示，本申请实施例中，该数据处理设备包括：

获取模块301，用于获取日志集合；

处理模块302，用于确定该日志集合中N条日志属于第一类型，该N为 正整数；根据该N条日志确定与该第一类型对应的日志模板，该第一类型对 应的日志模板用于指示该N条日志的变量位置；根据该变量位置从该N条日 志中的一条或多条日志中提取变量生成结构化日志。

可选的，该处理模块302，具体用于获取该N条日志中的第M条日志， 该M为正整数；

当该M等于1时，将该第M条日志作为该第一类型对应的日志模板；

或，

根据该第M条日志更新第一目标模板作为该第一类型对应的日志模板， 该第一目标模板为与该N条日志类型相同的其他日志确定的日志模板。

可选的，当该M大于或等于2时，该处理模块302，具体用于，根据该 第M条日志更新第二目标模板作为该第一类型对应的日志模板，该第二目标 模板为该数据处理设备根据第M-1条日志确定的日志模板。

可选的，该处理模块302，具体用于，将第M条日志与该第二目标模板 进行比对；

若确定该第二目标模板相对该第M条日志存在变量，则将该第二目标模 板相对该第M条日志的变量用通配符表示作为该第一类型对应的日志模板， 该通配符为预先设置的字符或字符串；

若确定该第二目标模板相对该第M条日志不存在变量，则将该第二目标 模板作为该第一类型对应的日志模板。

可选的，该处理模块302，具体用于，将通过比对获取到的该N条日志 中的一条或多条日志相对该第一类型对应的日志模板不同的地方识别为变 量；提取该变量生成该结构化日志。

可选的，该处理模块302，具体用于，获取该第一类型对应的日志模板 所记录的该变量位置；从该N条日志中的一条或多条日志中提取该变量位置 对应的变量生成该结构化日志。

可选的，该处理模块302，具体用于，根据分类算法或聚类算法确定该 日志集合中该N条日志属于该第一类型。

可选的，该处理模块302，还用于，为该第一类型对应的日志模板与该N 条日志建立映射关系；

该处理模块302，具体用于，根据该映射关系查询该第一类型对应的日志 模板对应的该N条日志中的一条或多条日志；

根据该第一类型对应的日志模板中的该变量位置从该N条日志提取变量 生成该结构化日志。

可选的，该数据处理设备还包括发送模块303，用于将该结构化日志和 该第一类型对应的日志模板发送给下游***。

可选的，该结构化日志还包括时间、主机名、模块名、严重性和进程ID 中的任意一个或多个。

进一步的，图3中的数据处理设备还可以用于执行图2中的数据处理设 备执行的任何步骤，实现图2中的数据处理设备可以实现的任何功能。

本申请实施例中，该处理模块302根据相同类型的多条日志确定该多条 日志对应的日志类型的日志模板，即解析规则；然后该处理模块302根据该 日志模板提取该多条日志的变量生成结构化日志。即该数据处理设备在运行 的过程可以即时的获取和更新日志对应的解析规则，不再需要人工设置解析 规则，免除了运行过程对解析规则的人工维护与更新。

具体请参阅图4所示，本申请实施例中数据处理设备的另一个实施例 中，该数据处理设备包括：

收发器401，处理器402，总线403；该收发器401与该处理器402通过 该总线403相连。

总线403可以是外设部件互连标准(peripheral component interconnect，简 称PCI)总线或扩展工业标准结构(extended industry standard architecture，简 称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便 于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总 线。

处理器402可以是中央处理器(central processing unit，简称CPU)，网络 处理器(network processor，简称NP)或者CPU和NP的组合。

处理器402还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电 路(application-specific integrated circuit，简称ASIC)，可编程逻辑器件(programmable logic device，简称PLD)或其组合。上述PLD可以是复杂可编 程逻辑器件(complex programmable logic device，简称CPLD)，现场可编程 逻辑门阵列(field-programmable gate array，简称FPGA)，通用阵列逻辑(generic array logic,简称GAL)或其任意组合。

参见图4所示，该数据处理设备还可以包括存储器404；该存储器404还可 以用于存储日志集合；该存储器404可以包括易失性存储器(volatile memory)， 例如随机存取存储器(random-access memory，简称RAM)；存储器也可以包 括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)， 硬盘(hard disk drive，简称HDD)或固态硬盘(solid-state drive，简称SSD)； 存储器404还可以包括上述种类的存储器的组合。

可选地，存储器404还可以用于存储程序指令，处理器402调用该存储器 404中存储的程序指令，可以执行图2所示实施例中的一个或多个步骤，或其 中可选的实施方式，实现上述方法中数据处理设备行为的功能。本申请实施 例中，该收发器401，执行图2所示的步骤201；

该处理器，执行图2所示的步骤202至步骤204。

本申请实施例中，该处理器402根据相同类型的多条日志确定该多条日志 对应的日志类型的日志模板，即解析规则；然后该处理器402根据该日志模板 提取该多条日志的变量生成结构化日志。即该数据处理设备在运行的过程可 以即时的获取和更新日志对应的解析规则，不再需要人工设置解析规则，免 除了运行过程对解析规则的人工维护与更新。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭 露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装 置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划 分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者 可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示 或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置 或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为 分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的 部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分 布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来 实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以 集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两 个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现， 也可以采用软件功能单元的形式实现。所述集成的单元如果以软件功能单元 的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取 存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术 做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出 来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台 计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各 个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬 盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述， 以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实 施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然 可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申 请各实施例技术方案的精神和范围。

Claims (13)

1.一种数据处理方法，其特征在于，包括：

数据处理设备获取日志集合，所述日志集合包括N条日志类型，所述N为正整数；

所述数据处理设备比较所述N条日志中的第一日志和所述N条日志中的第二日志，以确定包括第一通配符的日志模板，所述第一通配符用于指示所述第一日志与所述第二日志之间的变量位置；

所述数据处理设备比较所述日志模板和所述日志集合中的目标日志，以提取所述目标日志中的差异部分，所述差异部分包括所述第一通配符对应的变量内容；

所述数据处理设备根据所述差异部分生成结构化日志。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述N条日志中的第三日志，更新所述日志模板，更新后的所述日志模板包括第二通配符，所述第二通配符用于指示更新前的所述日志模板与所述第三日志之间的变量位置；

所述比较所述日志模板和所述日志集合中的目标日志，以提取所述目标日志中的差异部分，包括：

比较更新后的所述日志模板和所述日志集合中的目标日志，以提取所述目标日志中的差异部分，所述差异部分包括所述第一通配符和所述第二通配符对应的变量内容。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述数据处理设备确定所述N条日志属于第一类型；其中，所述日志模板为所述第一类型对应的日志模板；

所述数据处理设备确定所述目标日志属于所述第一类型。

4.根据权利要求3所述的方法，其特征在于，所述数据处理设备确定所述N条日志属于第一类型包括：

所述数据处理设备根据分类算法或聚类算法确定所述N条日志属于所述第一类型。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

所述数据处理设备将所述结构化日志和所述日志模板发送给下游设备。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述结构化日志包括时间、主机名、模块名、严重性和进程标识ID中任意一个或多个。

7.一种数据处理设备，其特征在于，包括：

获取模块，用于获取日志集合，所述日志集合包括N条日志类型，所述N为正整数；

处理模块，用于比较所述N条日志中的第一日志和所述N条日志中的第二日志，以确定包括第一通配符的日志模板，所述第一通配符用于指示所述第一日志与所述第二日志之间的变量位置；比较所述日志模板和所述日志集合中的目标日志，以提取所述目标日志中的差异部分，所述差异部分包括所述第一通配符对应的变量内容；根据所述差异部分生成结构化日志。

8.根据权利要求7所述的设备，其特征在于，

所述处理模块还用于：根据所述N条日志中的第三日志，更新所述日志模板，更新后的所述日志模板包括第二通配符，所述第二通配符用于指示更新前的所述日志模板与所述第三日志之间的变量位置；比较更新后的所述日志模板和所述日志集合中的目标日志，以提取所述目标日志中的差异部分，所述差异部分包括所述第一通配符和所述第二通配符对应的变量内容。

9.根据权利要求7或8所述的设备，其特征在于，所述设备还包括：

确定模块，用于确定所述N条日志属于第一类型；其中，所述日志模板为所述第一类型对应的日志模板；确定所述目标日志属于所述第一类型。

10.根据权利要求9所述的设备，其特征在于，

所述确定模块还用于根据分类算法或聚类算法确定所述N条日志属于所述第一类型。

11.根据权利要求7至10中任一项所述的设备，其特征在于，所述设备还包括：

发送模块，用于将所述结构化日志和所述日志模板发送给下游设备。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任一项所述的方法。

13.一种芯片，其特征在于，所述芯片用于执行如权利要求1-6任一项所述的方法。

Images