CN104717085A - 一种日志解析方法及装置 - Google Patents
一种日志解析方法及装置 Download PDFInfo
- Publication number
- CN104717085A CN104717085A CN201310688769.2A CN201310688769A CN104717085A CN 104717085 A CN104717085 A CN 104717085A CN 201310688769 A CN201310688769 A CN 201310688769A CN 104717085 A CN104717085 A CN 104717085A
- Authority
- CN
- China
- Prior art keywords
- initial data
- characteristic value
- event type
- daily record
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种日志解析方法及装置，该方法包括：获得不同格式日志中的原始数据；确定所述原始数据归属的事件类型；针对归属每个事件类型的原始数据，执行：在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对所述原始数据进行解析，获得该事件类型对应的非标准化事件；以及在匹配且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示；并在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第二显示规则显示。能够较好地解决浪费资源，各日志***之间互通性较差，具有一定的局限性问题。
Description
技术领域
本发明涉及计算机技术领域，尤其是涉及一种日志解析方法及装置。
背景技术
日志详细地记录了***每天发生的各种各样的事件，要保护和提高信息安全，可以由各种操作***、应用程序、设备和安全产品的日志数据能够帮助提前发现和避开灾难，并且找到安全事件的根本原因。而现实情况下，各主机、网络设备、应用***产生的日志与相应的业务密切相关，并且各种设备是由不同的生产商提供，日志格式各异。收集、处理、搜索甚至是简单地解释日志信息都是非常耗费人力和时间的，因此日志解析和日志管理变得日益重要。
针对不同格式的日志，目前常用的解析方法是对每种日志格式分别建立一套日志解析***，例如对于数据库来说，可以建立数据库日志解析***、对于网络设备来说，可以对应建立网络设备日志解析***等，不同的日志解析***分别对应不同的日志格式，这样可以将日志解析与日志格式绑定，从而实现对不同格式的日志分别进行解析。
现有技术针对每种日志格式分别建立一套日志解析***，可相对快速的对每种日志做出解析，但是随着业务的发展，日志格式也会随业务的变动而不断的变化和完善，这对日志解析工作会带来很多问题，一旦日志格式发生变化，原有的日志解析***势必也要进行代码的修改和维护，给维护工作带来很大的负担。
综上所述，由于针对不同的日志格式均对应不同的日志解析***，使得比较浪费资源，各日志***之间互通性较差，一套日志解析***不能同时适用于多种日志格式的解析。
发明内容
本发明提供了一种日志解析方法及装置，能够较好地解决针对不同的日志格式均对应不同的日志解析***，使得比较浪费资源，各日志***之间互通性较差，具有一定的局限性问题。
一种日志解析方法，包括：获得不同格式日志中的原始数据；确定所述获得的原始数据归属的事件类型；针对归属每个事件类型的原始数据，执行下述操作：在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对所述原始数据进行解析，获得该事件类型对应的非标准化事件；以及在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示；并在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第二显示规则显示。
通过预先建立事件类型、以及设定知识库特征值，将不同格式的日志进行统一解析，最终按照解析结果进行显示，从而实现了针对不同格式的日志，均可以进行显示，通用性较好，节省资源。
确定所述获得的原始数据归属的事件类型，包括：通过正则表达式规则匹配算法，对获得的原始数据进行解析；将解析后的原始数据与设定的不同的事件类型比较；在确定出解析后的原始数据中包含其中一个设定的事件类型的分组变量时，确定所述原始数据归属该事件类型。
通过采用上述技术方案，引入事件类型，将原始数据和事件类型进行匹配，将不同格式的日志进行初次划分，进一步增加了本方案的通用性。
所述设定的不同的事件类型按照下述方式确定：获得预设数量的不同格式的日志；将获得的不同格式的日志按照设定的规则进行分类；并分析获得的不同格式的日志的组成元素；将分类后的日志和各日志对应的组成元素对应存储。
通过采用上述技术方案，引入事件类型，将原始数据和事件类型进行匹配，将不同格式的日志进行初次划分，进一步增加了本方案的通用性。
按照下述方式确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是否匹配：根据特征值公式，计算所述事件类型的原始数据对应的特征值；将得到的特征值与预先设定的知识库特征值进行比对；在比对结果符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是匹配；在比对结果不符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配。
通过采用上述技术方案，对日志进行解析时，解析范围广，各类主机、网络设备、DB、应用服务器、应用***日志都能解析。
将所述原始数据按照设定的第一显示规则显示，包括：通过正文生成规则，将所述原始数据的各字段进行重新组合，按照设定的第一显示规则显示。
通过采用上述技术方案，高效，可快速的解析出事件，管理员无需专业知识就能知道每条日志的含义，快速的发现问题。
一种日志解析装置，包括：获得模块，用于获得不同格式日志中的原始数据；确定模块，用于确定所述获得的原始数据归属的事件类型；执行模块，用于针对归属每个事件类型的原始数据，执行下述操作：在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对所述原始数据进行解析，获得该事件类型对应的非标准化事件；以及在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示；并在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第二显示规则显示。
通过预先建立事件类型、以及设定知识库特征值，将不同格式的日志进行统一解析，最终按照解析结果进行显示，从而实现了针对不同格式的日志，均可以进行显示，通用性较好，节省资源。
所述执行模块，具体用于通过正则表达式规则匹配算法，对获得的原始数据进行解析；将解析后的原始数据与设定的不同的事件类型比较；在确定出解析后的原始数据中包含其中一个设定的事件类型的分组变量时，确定所述原始数据归属该事件类型。
通过采用上述技术方案，引入事件类型，将原始数据和事件类型进行匹配，将不同格式的日志进行初次划分，进一步增加了本方案的通用性。
所述执行模块，具体用于按照下述方式确定所述设定的不同的事件类型：获得预设数量的不同格式的日志；将获得的不同格式的日志按照设定的规则进行分类；并分析获得的不同格式的日志的组成元素；将分类后的日志和各日志对应的组成元素对应存储。
通过采用上述技术方案，引入事件类型，将原始数据和事件类型进行匹配，将不同格式的日志进行初次划分，进一步增加了本方案的通用性。
所述执行模块，具体用于按照下述方式确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是否匹配：根据特征值公式，计算所述事件类型的原始数据对应的特征值；将得到的特征值与预先设定的知识库特征值进行比对；在比对结果符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是匹配；在比对结果不符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配。
通过采用上述技术方案，对日志进行解析时，解析范围广，各类主机、网络设备、DB、应用服务器、应用***日志都能解析。
所述执行模块，具体用于通过正文生成规则，将所述原始数据的各字段进行重新组合，按照设定的第一显示规则显示。
通过采用上述技术方案，高效，可快速的解析出事件，管理员无需专业知识就能知道每条日志的含义，快速的发现问题。
附图说明
图1为本发明实施例中，提出的一种日志解析方法流程图；
图2为本发明实施例中，提出的一种日志解析装置结构组成示意图。
具体实施方式
针对通常情况下存在的针对不同的日志格式均对应不同的日志解析***，使得比较浪费资源，各日志***之间互通性较差，一套日志解析***不能同时适用于多种日志格式的解析的问题，本发明实施例提出的技术方案中，通过预先建立事件类型、以及设定知识库特征值，将不同格式的日志进行统一解析，最终按照解析结果进行显示，从而实现了针对不同格式的日志，均可以进行显示，通用性较好，节省资源。
下面将结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。
本发明实施例提出一种日志解析方法，如图1所示，其具体处理过程如下述：
步骤11，获得不同格式日志中的原始数据。
原始数据是由不同设备或不同***生成的原始日志中包含的数据，每个日志的格式以及该日志所代表的含义并不完全相同。
步骤12，判断获得的原始数据是否和设定的判别规则匹配，如果判断结果为是，则执行步骤13，反之，执行步骤14。
步骤13，在确定出获得的原始数据和设定的判断规则相匹配时，则确定该原始数据所归属的事件类型。
可以通过正则表达式规则匹配算法，对获得的原始数据进行解析，将解析后的原始数据与设定的不同的事件类型比较。在确定出解析后的原始数据中包含其中一个设定的事件类型的分组变量时，确定原始数据归属该事件类型。
具体地，设定的不同的事件类型按照下述方式确定：获得预设数量的不同格式的日志，将获得的不同格式的日志按照设定的规则进行分类，并分析获得的不同格式的日志的组成元素，将分类后的日志和各日志对应的组成元素对应存储。
具体实施中，原始数据所归属的事件类型可以按照下述方式确定并存储：获得***或设备中传输的一定数量的日志，对该些获得的日志进行统计分析，例如可以根据原始日志对应的***类型、设备类型，将获得的该些日志按照一定的规则分类，方便日志的定义，建立日志类型。分析原始日志的组成元素，建立日志基础属性表，日志的基础属性为日志的基本组成元素，可以通过基础属性的各种组合来描述任何日志，在每一类日志类型下建立具体的操作细项，以特征值区分。通过上述步骤完成日志的分类。
需要说明的是，将日志按照一定的规则分类时，分类的规则可以灵活确定，比如可以按日志的来源、日志的行为、产生日志的***等。
具体实施中，确定获得的原始数据所归属的事件类型，可以按照下述方式确定通过正则表达式规则匹配算法通过一系列的特殊字符构建日志类型的匹配模式，然后把匹配模式与原始日志进行比较，根据比较对象中是否包含匹配模式，***匹配成功后和以key-value的形式缓存正则表达式规则，其中key是报送设备IP，value是正则表达式规则，这样可以较好地提高匹配效率。匹配成功后析取正则表达式中的分组变量或特殊变量值，然后将这些变量与事先定义好的日志基础属性建立对应关系，属性变量及其值以key-vale形式缓存在map里。通过规则表达式及其所需的已经析取出的变量值计算出原始数据所归属的事件类型。
步骤14，如果判断结果为否，即获得的原始数据和设定的判断规则不匹配，则确定该获得的原始数据不是标准化的事件类型，则可以丢弃该获得的原始数据。
步骤15，在确定出原始数据所归属的事件类型之后，判断该获得的原始数据对应的特征值是否和预先设定的知识库特征值匹配。如果判断结果为是，则执行步骤16，反之执行步骤17。
根据特征值公式，计算所述事件类型的原始数据对应的特征值，将得到的特征值与预先设定的知识库特征值进行比对。在比对结果符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是匹配，在比对结果不符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配。
本步骤在具体实施中，通过日志的特征值公式（如逻辑表达式等）和其所需的已析取出的变量值计算出特征值。将计算出的特征值和对应所有事件类型下事件类型知识库（如操作细项）的特征值进行匹配，匹配成功后生成对应日志对象，完成知识库关联。得到的操作细项特征值可以按照key-value的形式进行存储，key为特征值，value为操作细项日志ID。
步骤16，如果判断结果为是，进一步判断对该原始数据是否需要配置正文生成规则。如果判断结果为是，则执行步骤18，反之执行步骤19。
步骤17，在确定出事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对原始数据进行解析，获得该事件类型对应的非标准化事件。
步骤18，在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示。
通过正文生成规则，将所述原始数据的各字段进行重新组合，按照设定的第一显示规则显示。
具体实施中，为了形成让管理员容易看懂的文字信息并了解其含义，需要建立正文生成规则，正文生成规则是由日志的基础属性重新组合，如，原始日志：<44>09-26-201318:13:32System0.Info192.168.1.187sshd[2535]:Accepted password for testuser from192.168.1.100，通过正文生成规则之后形成：“05-28-200718:13:32用户通过sshd服务登录主机192.168.1.187成功”。
具体地，正文生成规则也是通过逻辑表达式的方式将日志的各个字段进行重组，该规则的作用是对日志进行翻译，翻译成管理员容易看懂的文字信息。
步骤19，在确定出事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将原始数据按照设定的第二显示规则显示。
第二显示规则也可以是默认显示规则，该种情况下，可以将获得的原始数据按照设定的规则，生成默认的日志内容，或者显示内容为空白。
相应地，本发明实施例还提出一种日志解析装置，如图2所示，包括：
获得模块201，用于获得不同格式日志中的原始数据。
确定模块202，用于确定所述获得的原始数据归属的事件类型。
执行模块203，用于针对归属每个事件类型的原始数据，执行下述操作：在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对所述原始数据进行解析，获得该事件类型对应的非标准化事件；以及在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示；并在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第二显示规则显示。
具体地，上述执行模块203，具体用于通过正则表达式规则匹配算法，对获得的原始数据进行解析；将解析后的原始数据与设定的不同的事件类型比较；在确定出解析后的原始数据中包含其中一个设定的事件类型的分组变量时，确定所述原始数据归属该事件类型。
具体地，上述执行模块203，具体用于按照下述方式确定所述设定的不同的事件类型：获得预设数量的不同格式的日志；将获得的不同格式的日志按照设定的规则进行分类；并分析获得的不同格式的日志的组成元素；将分类后的日志和各日志对应的组成元素对应存储。
具体地，上述执行模块203，具体用于按照下述方式确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是否匹配：根据特征值公式，计算所述事件类型的原始数据对应的特征值；将得到的特征值与预先设定的知识库特征值进行比对；在比对结果符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是匹配；在比对结果不符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配。
具体地，上述执行模块203，具体用于通过正文生成规则，将所述原始数据的各字段进行重新组合，按照设定的第一显示规则显示。
本发明实施例上述提出的技术方案中，给出了一种较佳地实施方式，根据原始日志对应的***类型、设备类型，建立日志分类（即事件类型）。分析原始日志的组成元素，根据分析的结果建立日志基础属性。通过原始日志判别规则的建立，可以将不同类型的原始日志识别出来，并建立原始日志中关键字段与日志基础属性之间的对应关系，将建立的对应关系分别对应到不同的日志分类中。针对任一条原始日志来说，该原始日志可能是由不同的***或设备发出的，每个原址日志所代表的含义各不相同。为了形成让管理员容易看懂的文字信息并了解日志所代表的含义，需要建立正文生成规则（如日志属性重新组合）、知识库关联规则（如特征值公式），根据日志分类，定义该类日志中不同的特征值所代表的不同含义。通过上述步骤，完成原始日志的整个解析过程。无需对每类日志分别建立日志解析***，只需要建立日志解析规则即可，解析范围广，各类主机、网络设备、DB、应用服务器、应用***日志都能解析，一旦日志格式发生变化，只需要修改原始日志判别规则，而不用修改后台代码，维护简单，策略灵活。
本领域的技术人员应明白，本发明的实施例可提供为方法、装置（设备）、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、只读光盘、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置（设备）和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种日志解析方法，其特征在于，包括：
获得不同格式日志中的原始数据；
确定所述获得的原始数据归属的事件类型；
针对归属每个事件类型的原始数据，执行下述操作：
在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对所述原始数据进行解析，获得该事件类型对应的非标准化事件；以及
在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示；并在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第二显示规则显示。
2.如权利要求1所述的方法，其特征在于，确定所述获得的原始数据归属的事件类型，包括：
通过正则表达式规则匹配算法，对获得的原始数据进行解析；
将解析后的原始数据与设定的不同的事件类型比较；
在确定出解析后的原始数据中包含其中一个设定的事件类型的分组变量时，确定所述原始数据归属该事件类型。
3.如权利要求2所述的方法，其特征在于，所述设定的不同的事件类型按照下述方式确定：
获得预设数量的不同格式的日志；
将获得的不同格式的日志按照设定的规则进行分类；并
分析获得的不同格式的日志的组成元素；
将分类后的日志和各日志对应的组成元素对应存储。
4.如权利要求1所述的方法，其特征在于，按照下述方式确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是否匹配：
根据特征值公式，计算所述事件类型的原始数据对应的特征值；
将得到的特征值与预先设定的知识库特征值进行比对；
在比对结果符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是匹配；
在比对结果不符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配。
5.如权利要求1所述的方法，其特征在于，将所述原始数据按照设定的第一显示规则显示，包括：
通过正文生成规则，将所述原始数据的各字段进行重新组合，按照设定的第一显示规则显示。
6.一种日志解析装置，其特征在于，包括：
获得模块，用于获得不同格式日志中的原始数据；
确定模块，用于确定所述获得的原始数据归属的事件类型；
执行模块，用于针对归属每个事件类型的原始数据，执行下述操作：在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配时，对所述原始数据进行解析，获得该事件类型对应的非标准化事件；以及在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第一显示规则显示；并在确定出所述事件类型的原始数据的特征值与预先设定的知识库特征值匹配，且不需要对所述原始数据配置正文生成规则时，将所述原始数据按照设定的第二显示规则显示。
7.如权利要求6所述的装置，其特征在于，所述执行模块，具体用于通过正则表达式规则匹配算法，对获得的原始数据进行解析；将解析后的原始数据与设定的不同的事件类型比较；在确定出解析后的原始数据中包含其中一个设定的事件类型的分组变量时，确定所述原始数据归属该事件类型。
8.如权利要求7所述的装置，其特征在于：所述执行模块，具体用于按照下述方式确定所述设定的不同的事件类型：获得预设数量的不同格式的日志；将获得的不同格式的日志按照设定的规则进行分类；并分析获得的不同格式的日志的组成元素；将分类后的日志和各日志对应的组成元素对应存储。
9.如权利要求6所述的装置，其特征在于，所述执行模块，具体用于按照下述方式确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是否匹配：根据特征值公式，计算所述事件类型的原始数据对应的特征值；将得到的特征值与预先设定的知识库特征值进行比对；在比对结果符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值是匹配；在比对结果不符合匹配要求时，确定所述事件类型的原始数据的特征值与预先设定的知识库特征值不匹配。
10.如权利要求6所述的装置，其特征在于，所述执行模块，具体用于通过正文生成规则，将所述原始数据的各字段进行重新组合，按照设定的第一显示规则显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310688769.2A CN104717085B (zh) | 2013-12-16 | 2013-12-16 | 一种日志解析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310688769.2A CN104717085B (zh) | 2013-12-16 | 2013-12-16 | 一种日志解析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104717085A true CN104717085A (zh) | 2015-06-17 |
| CN104717085B CN104717085B (zh) | 2018-05-01 |
Family
ID=53416080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310688769.2A Active CN104717085B (zh) | 2013-12-16 | 2013-12-16 | 一种日志解析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104717085B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138593A (zh) * | 2015-07-31 | 2015-12-09 | 山东蚁巡网络科技有限公司 | 一种利用正则表达式自定义提取日志关键信息的方法 |
| CN105389338A (zh) * | 2015-10-20 | 2016-03-09 | 北京用友政务软件有限公司 | 一种采购中标数据的解析方法 |
| CN107025233A (zh) * | 2016-01-29 | 2017-08-08 | 苏宁云商集团股份有限公司 | 一种数据特征的处理方法及装置 |
| CN107070706A (zh) * | 2017-03-24 | 2017-08-18 | 中国联合网络通信集团有限公司 | 基于面向服务架构的日志处理方法和装置 |
| CN107818150A (zh) * | 2017-10-23 | 2018-03-20 | ***通信集团广东有限公司 | 一种日志审计方法及装置 |
| CN108228875A (zh) * | 2018-01-18 | 2018-06-29 | 北京奇安信科技有限公司 | 基于完美哈希的日志解析方法及装置 |
| CN108712294A (zh) * | 2018-06-05 | 2018-10-26 | 陈艳 | 一种基于Syslog知识库实现网络设备监控告警的方法 |
| CN108735275A (zh) * | 2018-05-28 | 2018-11-02 | 重庆浩雅宇殊科技有限公司 | 一种自动报告生成***及报告生成方法 |
| CN108920377A (zh) * | 2018-07-16 | 2018-11-30 | 杭州安恒信息技术股份有限公司 | 一种日志回放测试方法、***、装置及可读存储介质 |
| CN109413131A (zh) * | 2018-04-28 | 2019-03-01 | 武汉思普崚技术有限公司 | 一种日志解析的方法及装置 |
| CN110019067A (zh) * | 2017-09-26 | 2019-07-16 | 深圳市中兴微电子技术有限公司 | 一种日志分析方法及*** |
| CN110765090A (zh) * | 2019-10-31 | 2020-02-07 | 泰康保险集团股份有限公司 | 日志数据管理方法及装置、存储介质、电子设备 |
| WO2020140624A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 从日志中提取数据的方法和相关设备 |
| CN112667672A (zh) * | 2021-01-06 | 2021-04-16 | 北京启明星辰信息安全技术有限公司 | 日志解析方法及解析装置 |
| CN115686853A (zh) * | 2022-11-03 | 2023-02-03 | 北京优特捷信息技术有限公司 | 一种日志要素提取方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1549160A (zh) * | 2003-05-23 | 2004-11-24 | 联想(北京)有限公司 | 基于插件技术的设备日志实时解析***及日志解析方法 |
| CN1645336A (zh) * | 2005-01-20 | 2005-07-27 | 上海复旦光华信息科技股份有限公司 | 基于模板的异构日志信息自动提取与分析方法 |
| CN101237326A (zh) * | 2008-02-29 | 2008-08-06 | 华为技术有限公司 | 设备日志实时解析的方法、装置和*** |
| CN101286891A (zh) * | 2008-05-30 | 2008-10-15 | 杭州华三通信技术有限公司 | ***日志解析方法及装置 |
| CN102164050A (zh) * | 2011-05-16 | 2011-08-24 | 北京星网锐捷网络技术有限公司 | 日志解析方法及日志解析节点设备 |
| CN102768636A (zh) * | 2011-05-05 | 2012-11-07 | 阿里巴巴集团控股有限公司 | 一种日志解析方法及装置 |
| EP2590102A1 (en) * | 2010-06-30 | 2013-05-08 | Fujitsu Limited | Trail log analysis system, trail log analysis program, and trail log analysis method |
-
2013
- 2013-12-16 CN CN201310688769.2A patent/CN104717085B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1549160A (zh) * | 2003-05-23 | 2004-11-24 | 联想(北京)有限公司 | 基于插件技术的设备日志实时解析***及日志解析方法 |
| CN1645336A (zh) * | 2005-01-20 | 2005-07-27 | 上海复旦光华信息科技股份有限公司 | 基于模板的异构日志信息自动提取与分析方法 |
| CN101237326A (zh) * | 2008-02-29 | 2008-08-06 | 华为技术有限公司 | 设备日志实时解析的方法、装置和*** |
| CN101286891A (zh) * | 2008-05-30 | 2008-10-15 | 杭州华三通信技术有限公司 | ***日志解析方法及装置 |
| EP2590102A1 (en) * | 2010-06-30 | 2013-05-08 | Fujitsu Limited | Trail log analysis system, trail log analysis program, and trail log analysis method |
| CN102768636A (zh) * | 2011-05-05 | 2012-11-07 | 阿里巴巴集团控股有限公司 | 一种日志解析方法及装置 |
| CN102164050A (zh) * | 2011-05-16 | 2011-08-24 | 北京星网锐捷网络技术有限公司 | 日志解析方法及日志解析节点设备 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138593A (zh) * | 2015-07-31 | 2015-12-09 | 山东蚁巡网络科技有限公司 | 一种利用正则表达式自定义提取日志关键信息的方法 |
| CN105389338A (zh) * | 2015-10-20 | 2016-03-09 | 北京用友政务软件有限公司 | 一种采购中标数据的解析方法 |
| CN105389338B (zh) * | 2015-10-20 | 2018-09-04 | 北京用友政务软件有限公司 | 一种采购中标数据的解析方法 |
| CN107025233A (zh) * | 2016-01-29 | 2017-08-08 | 苏宁云商集团股份有限公司 | 一种数据特征的处理方法及装置 |
| CN107025233B (zh) * | 2016-01-29 | 2020-04-28 | 苏宁云计算有限公司 | 一种数据特征的处理方法及装置 |
| CN107070706A (zh) * | 2017-03-24 | 2017-08-18 | 中国联合网络通信集团有限公司 | 基于面向服务架构的日志处理方法和装置 |
| CN110019067A (zh) * | 2017-09-26 | 2019-07-16 | 深圳市中兴微电子技术有限公司 | 一种日志分析方法及*** |
| CN110019067B (zh) * | 2017-09-26 | 2023-05-30 | 深圳市中兴微电子技术有限公司 | 一种日志分析方法及*** |
| CN107818150A (zh) * | 2017-10-23 | 2018-03-20 | ***通信集团广东有限公司 | 一种日志审计方法及装置 |
| CN108228875A (zh) * | 2018-01-18 | 2018-06-29 | 北京奇安信科技有限公司 | 基于完美哈希的日志解析方法及装置 |
| CN108228875B (zh) * | 2018-01-18 | 2021-12-14 | 奇安信科技集团股份有限公司 | 基于完美哈希的日志解析方法及装置 |
| CN109413131A (zh) * | 2018-04-28 | 2019-03-01 | 武汉思普崚技术有限公司 | 一种日志解析的方法及装置 |
| CN108735275A (zh) * | 2018-05-28 | 2018-11-02 | 重庆浩雅宇殊科技有限公司 | 一种自动报告生成***及报告生成方法 |
| CN108712294A (zh) * | 2018-06-05 | 2018-10-26 | 陈艳 | 一种基于Syslog知识库实现网络设备监控告警的方法 |
| CN108920377A (zh) * | 2018-07-16 | 2018-11-30 | 杭州安恒信息技术股份有限公司 | 一种日志回放测试方法、***、装置及可读存储介质 |
| WO2020140624A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 从日志中提取数据的方法和相关设备 |
| CN110765090A (zh) * | 2019-10-31 | 2020-02-07 | 泰康保险集团股份有限公司 | 日志数据管理方法及装置、存储介质、电子设备 |
| CN110765090B (zh) * | 2019-10-31 | 2023-05-02 | 泰康保险集团股份有限公司 | 日志数据管理方法及装置、存储介质、电子设备 |
| CN112667672A (zh) * | 2021-01-06 | 2021-04-16 | 北京启明星辰信息安全技术有限公司 | 日志解析方法及解析装置 |
| CN112667672B (zh) * | 2021-01-06 | 2024-05-10 | 北京启明星辰信息安全技术有限公司 | 日志解析方法及解析装置 |
| CN115686853A (zh) * | 2022-11-03 | 2023-02-03 | 北京优特捷信息技术有限公司 | 一种日志要素提取方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104717085B (zh) | 2018-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104717085A (zh) | 一种日志解析方法及装置 | |
| EP2302538B1 (en) | Method and system for capturing change of data | |
| JP5570608B2 (ja) | エクセル基盤の分析レポート作成システム及び方法 | |
| CN107872454B (zh) | 超大型互联网平台威胁信息监测与分析***及方法 | |
| CN112685433B (zh) | 元数据更新方法、装置、电子设备及计算机可读存储介质 | |
| CN109669976B (zh) | 基于etl的数据服务方法及设备 | |
| CN104067281A (zh) | 按多个时间维度的聚类事件数据 | |
| CN106528828A (zh) | 一种基于多维度校验规则的数据质量检测方法 | |
| KR101764674B1 (ko) | 침해 자원에 대한 그래프 데이터베이스 생성 방법 및 그 장치 | |
| CN105808775A (zh) | 版式文件信息同步入数据库方法与装置 | |
| Välja et al. | A requirements based approach for automating enterprise it architecture modeling using multiple data sources | |
| CN110941629A (zh) | 元数据处理方法、装置、设备及计算机可读存储介质 | |
| CN110704924A (zh) | Bim预设模型创建***与bim预设模型创建方法 | |
| EP2897401A1 (en) | Method and device for guaranteeing consistency of planning data | |
| CN111177244A (zh) | 面向多个异构数据库的数据关联分析方法 | |
| CN105224599A (zh) | 一种数据库自动优化配置的方法及*** | |
| CN113282599A (zh) | 数据同步方法及*** | |
| CN113672692B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN101833505B (zh) | 一种软件***安全缺陷检测方法 | |
| JP2021140430A (ja) | データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム | |
| CN111209266A (zh) | 一种基于Redis数据库的审计方法、装置及电子设备 | |
| CN107168822B (zh) | Oracle streams的异常修复***及方法 | |
| CN113722337B (zh) | 业务数据确定方法、装置、设备及存储介质 | |
| CN104679740A (zh) | 数据处理*** | |
| CN109885953B (zh) | 一种模型构件的映射方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |