CN113742192A - 日志规则质量分析方法、***、电子装置和存储介质 - Google Patents
日志规则质量分析方法、***、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113742192A CN113742192A CN202111069491.1A CN202111069491A CN113742192A CN 113742192 A CN113742192 A CN 113742192A CN 202111069491 A CN202111069491 A CN 202111069491A CN 113742192 A CN113742192 A CN 113742192A
- Authority
- CN
- China
- Prior art keywords
- log
- rule
- analysis
- result
- log analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志规则质量分析方法、***、电子装置和存储介质,其中,该日志规则质量分析方法包括:获取目标日志解析规则包和日志样例;将所述目标日志解析规则包和所述日志样例输入至日志解析模块以输出第一日志解析结果,并将所述目标日志解析规则包和所述日志样例输入至测试框架以输出第二日志解析结果;其中,所述日志解析模块用于生成所述第一日志解析结果,所述测试框架用于生成所述第二日志解析结果;利用预设的校验规则,根据所述第一日志解析结果和所述第二日志解析结果得到日志解析规则校验结果。通过本申请,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志解析结果的自动化质量分析。
Description
技术领域
本申请涉及日志解析规则领域,特别是涉及日志规则质量分析方法、***、电子装置和存储介质。
背景技术
日志规则,即日志解析规则,通过创建的日志解析规则与日志字段进行关联,当日志中的字段满足解析规则所配置的过滤条件时,则自动匹配解析规则实现数据解析。日志规则从最开始的手工编写正则表达式,到基于源代码的解析方法如频繁模式挖掘、层次聚类、迭代分区等,实现了日志的自动化解析。在自动化解析中,需要对设置的解析规则进行测试,评判解析的正确率。
目前在解析规则测试的相关技术中,主要依靠导入日志样例至日志审计平台并输出结果,根据预设的解析正则表达式与日志样例,手动逐条核对日志解析结果与解析字段是否正确。
针对相关技术中存在解析规则测试结果核对效率慢且出错率高的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种日志规则质量分析方法、***、电子装置和存储介质,以解决相关技术中核对效率慢且出错率高的问题。
第一个方面,在本实施例中提供了一种日志规则质量分析方法,包括:
获取目标日志解析规则包和日志样例;
将所述目标日志解析规则包和所述日志样例输入至日志解析模块以输出第一日志解析结果,并将所述目标日志解析规则包和所述日志样例输入至测试框架以输出第二日志解析结果;其中,所述日志解析模块用于生成所述第一日志解析结果,所述测试框架用于生成所述第二日志解析结果;
利用预设的校验规则,根据所述第一日志解析结果和所述第二日志解析结果得到日志解析规则校验结果。
在其中的一些实施例中,所述获取目标日志解析规则包包括:
获取初始日志解析规则包,并获取所述初始日志解析规则包中定义的各个字段名称,以及与所述字段名称对应的字段取值;其中,所述字段名称包括:规则名称、规则对应的资产类型、正则表达式和预判模式;所述预判模式为预先在所述日志解析规则包中定义的解析规则匹配的预匹配模式;
将获取到的所述字段名称和所述字段取值进行格式转换,得到转换字段名称和转换字段取值,并根据所述转换字段名称和所述转换字段取值得到所述目标日志解析规则包。
在其中的一些实施例中,获取所述日志样例包括:
利用预设的日志存储文件获取所述日志样例;或者,使用解析规则指定的网络协议获取所述日志样例。
在其中的一些实施例中,所述将所述目标日志解析规则包和所述日志样例输入至日志解析模块以输出第一日志解析结果包括:
将所述目标日志解析规则包和所述日志样例输入至所述日志解析模块;
利用所述日志解析模块,依据所述目标日志解析规则包中的预判模式获取与所述预判模式对应的日志解析规则,并根据所述日志解析规则中的正则表达式解析得到对应的字段名称与字段取值;
利用所述日志解析模块,根据所述字段名称和所述字段取值对所述日志样例进行第一解析操作,并输出得到所述第一日志解析结果。
在其中的一些实施例中,所述利用所述日志解析模块,根据所述字段名称和所述字段取值对所述日志样例进行第一解析操作,并输出得到所述第一日志解析结果包括:
获取所述日志解析模块针对第一解析操作是否正常的解析操作校验结果,获取所述日志解析模块针对所述目标日志解析规则包中规则数据字段是否缺失的日志解析模块字段校验结果,并获取所述日志解析模块针对不同日志解析规则是否存在误匹配的日志解析模块匹配校验结果;
利用所述日志解析模块,根据所述字段名称和所述字段取值对所述日志样例进行第一解析操作得到初始解析结果,并根据所述解析操作校验结果、所述日志解析模块字段校验结果和所述日志解析模块匹配校验结果对所述初始解析结果进行校验,最终输出得到所述第一日志解析结果。
在其中的一些实施例中,所述将所述目标日志解析规则包和所述日志样例输入至测试框架以输出第二日志解析结果包括:
将所述目标日志解析规则包和所述日志样例输入至所述测试框架;
利用所述测试框架,依据所述目标日志解析规则包中的预判模式获取与所述预判模式对应的日志解析规则,并根据所述日志解析规则中的正则表达式解析得到对应的字段名称与字段取值;
利用所述测试框架,根据所述字段名称和所述字段取值对所述日志样例进行第二解析操作,并输出得到所述第二日志解析结果。
在其中的一些实施例中,所述利用预设的校验规则,根据所述第一日志解析结果和所述第二日志解析结果得到日志解析规则校验结果包括:
利用所述校验规则,将解析得到的所述第一日志解析结果的字段名称与字段值,与所述第二日志解析结果的字段名称与字段值,依据所述日志解析规则包中定义的各个字段名称及其对应的字段取值进行一一比对,得到比对结果;根据所述比对结果得到所述日志解析规则校验结果;
发送所述第一日志解析结果、所述第二日志解析结果及所述日志解析规则校验结果至终端设备;其中,所述终端设备用于针对所述日志解析规则校验结果进行界面渲染,生成可视化测试报告并显示。
第二个方面,在本实施例中提供了一种日志规则质量分析***,包括:终端设备、传输设备以及服务器设备;其中,所述终端设备通过传输设备连接服务器设备;
所述终端设备用于接收目标日志解析规则包和日志样例;
所述传输设备用于将所述目标日志解析规则包和所述日志样例发送至所述服务器设备;
所述服务器设备用于执行上述第一个方面所述的日志规则质量分析方法。
第三个方面,在本实施例中提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的日志规则质量分析方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的日志规则质量分析方法。
与相关技术相比,在本实施例中提供的一种日志规则质量分析方法、***、电子装置和存储介质,通过将日志解析模块的解析结果与测试框架的解析结果进行比对,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志解析结果的自动化质量分析。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中日志规则质量分析方法的应用场景图;
图2为一个实施例中日志规则质量分析方法的流程示意图;
图3为另一个实施例中日志规则质量分析方法的流程示意图;
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和***、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
本申请提供的日志规则质量分析方法,可以应用于如图1所示的应用环境中。其中,终端设备102通过网络与服务器104进行通信。终端设备102接收初始日志解析规则包和日志样例;服务器104获取初始日志解析规则包,将获取到的字段名称和字段取值进行格式转换,得到目标日志解析规则包;服务器104将目标日志解析规则包和日志样例输入至日志解析模块以输出第一日志解析结果,并将目标日志解析规则包和日志样例输入至测试框架以输出第二日志解析结果;服务器104利用预设的校验规则,根据第一日志解析结果和第二日志解析结果得到日志解析规则校验结果。其中,终端设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在本实施例中提供了一种日志规则质量分析方法,图2是本实施例的日志规则质量分析方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,获取目标日志解析规则包和日志样例。其中,该日志样例可以通过人工导入日志样例文本获取,或者,可以通过网络协议接收。
步骤S204,将该目标日志解析规则包和该日志样例输入至日志解析模块以输出第一日志解析结果,并将该目标日志解析规则包和该日志样例输入至测试框架以输出第二日志解析结果;其中,该日志解析模块用于生成该第一日志解析结果,该测试框架用于生成该第二日志解析结果。
需要说明的是,该日志解析模块依据该日志解析规则包对该日志样例进行解析,并对解析结果进行是否正常、数据字段是否缺失和是否存在误匹配的校验,输出第一日志解析结果;该测试框架对日志解析规则包中的字段名、字段特征值进行提取,该测试框架可以为Pytest或UnitTest等Python测试框架,或者,也可以采用支持其他编程语言的测试框架,在此不再赘述。
步骤S206,利用预设的校验规则,根据该第一日志解析结果和该第二日志解析结果得到日志解析规则校验结果。其中,该预设的校验规则为将第一日志解析结果和第二日志解析结果进行一一比对,得到该日志解析规则校验结果。
通过上述步骤,利用测试框架对日志解析规则包中的字段名、字段特征值进行提取输出第二日志解析结果,与待检测的日志解析模块输出的第一日志解析结果进行自动化的一一比对,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志解析结果的自动化质量分析。
在其中的一些实施例中,该获取目标日志解析规则包包括:
获取初始日志解析规则包,并获取该初始日志解析规则包中定义的各个字段名称,以及与该字段名称对应的字段取值;其中,该字段名称包括:规则名称、规则对应的资产类型、正则表达式和预判模式;该预判模式为预先在该日志解析规则包中定义的解析规则匹配的预匹配模式;
将获取到的该字段名称和该字段取值进行格式转换,得到转换字段名称和转换字段取值,并根据该转换字段名称和该转换字段取值得到该目标日志解析规则包。
需要说明的是,获取初始日志解析规则包可以通过脚本程序自动获取初始文本形式的日志解析规则包,该脚本程序可以嵌入Pytest测试框架和日志解析模块中,也可以在Pytest测试框架和日志解析模块之外单独编写并运行;该规则对应的资产类型是指产生该日志样例的资产所属的资产类型,可以为组成计算机***的软件、设备、***等,例如可以为Windows;该规则对应的资产类型区分了不同类型产生的不同格式日志样例,针对不同类型资产产生的不同日志样例,分别对应不同的解析规则;该正则表达式用来描述或者匹配符合一定规则的字符串,在日志解析中用来匹配符合一定规则的日志文本;将获取到的该字段名称和该字段取值进行格式转换是指将获取到的文本形式的日志解析规则包中的字段名称和字段取值转换为适于计算机程序语言执行的格式,如把某种格式的文本或者字符串转换成某种数据结构,该格式转换可以采用parser转换或其他能够进行数据结果转换的格式转换方法。
通过上述实施例,可以将文本形式的初始日志解析规则包转换为适于计算机程序执行的程序语言形式的字段名称和字段取值,实现日志解析规则包的自动化加载,为后续日志解析模块解析结果的自动化质量分析提供基础;同时,通过对日志样例的资产类型的确定,可以在校验前先确定产生该日志样例的资产所属的资产类型,以筛选出相应类型的日志样例,减小样本量,提高解析校验的效率。
在其中的一些实施例中,获取该日志样例包括:
利用预设的日志存储文件获取该日志样例;或者,使用解析规则指定的网络协议获取该日志样例。其中,利用预设的日志存储文件获取该日志样例可以是从预设的日志存储文件中选择日志样例再进行人工导入;该网络协议可以为UDP协议、TCP协议、RELP协议、syslog协议或者Rsyslog协议。
通过上述实施例,在该日志规则质量分析方法的实施过程中,可以通过人工手动导入和通过网络协议获取两种方式来获取日志样例。在日志规则质量分析中需要有日志样例的输入作为质量分析的数据基础,通过人工手动导入的方式通过人为操控日志样例获取来控制日志规则质量分析的启动,可以实现用户对日志规则质量分析的结果进行人工评判;或者,通过网络协议获取日志样例的方式将启动行为嵌入自动化程序,可以实现对所有日志解析模块的解析结果进行校验;日志规则质量分析的多种启动模式,可以造成人工启动执行和自动启动执行两种不同的启动执行方式,以适应不同的应用场景。
在其中的一些实施例中,将该目标日志解析规则包和该日志样例输入至日志解析模块以输出第一日志解析结果包括:
将该目标日志解析规则包和该日志样例输入至该日志解析模块;
利用该日志解析模块,依据该目标日志解析规则包中的预判模式获取与该预判模式对应的日志解析规则,并根据该日志解析规则中的正则表达式解析得到对应的字段名称与字段取值;
利用该日志解析模块,根据该字段名称和该字段取值对该日志样例进行第一解析操作,并输出得到该第一日志解析结果。
需要说明的是,该预判模式为预先在该日志解析规则包中定义的解析规则匹配的预匹配模式。进一步地,日志样例文本的头字符串具有一定的格式,日志解析规则包中的预判模式包含了许多不同格式的日志样例文本头字符串,不同格式的日志样例文本头字符串对应不同的解析规则,在预判模式获取与该预判模式对应的日志解析规则过程中,该预判模式对日志样例进行初步筛选,匹配具有相应头字符串的日志样例,再根据相应头字符串的预判模式,找到对应的日志解析规则。具体地,获取的日志样例以Nov 6 15:49:39开头,预判模式获取到该日志样例的开头,并找到该日志样例开头对应的解析规则,解析规则中该日志样例开头对应的正则表达式为:<\d+>\S{1,3}\s*\d{1,2}。
通过上述步骤,作为日志规则质量分析对象的日志解析模块,产生第一日志解析结果,在后续日志规则质量分析的过程中通过对第一日志解析结果的正确率比对,得到日志解析规则校验结果,即日志解析模块的日志规则质量分析结果,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志规则的自动化质量分析。
在其中的一些实施例中,利用该日志解析模块,根据该字段名称和该字段取值对该日志样例进行第一解析操作,并输出得到该第一日志解析结果,还包括:
获取该日志解析模块针对第一解析操作是否正常的解析操作校验结果,获取该日志解析模块针对该目标日志解析规则包中规则数据字段是否缺失的日志解析模块字段校验结果,并获取该日志解析模块针对不同日志解析规则是否存在误匹配的日志解析模块匹配校验结果;
利用该日志解析模块,根据该字段名称和该字段取值对该日志样例进行第一解析操作得到初始解析结果,并根据该解析操作校验结果、该日志解析模块字段校验结果和该日志解析模块匹配校验结果对该初始解析结果进行校验,最终输出得到该第一日志解析结果。
通过上述步骤,利用该日志解析模块,对第一解析操作是否正常、该目标日志解析规则包中规则数据字段是否缺失和不同日志解析规则是否存在误匹配三个方面进行校验,可以保证日志解析的效率和准确性,上述三个方面的输出结果是第一日志解析结果的重要内容,可以反应日志解析模块的解析质量,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志规则的自动化质量分析。
在其中的一些实施例中,该将该目标日志解析规则包和该日志样例输入至测试框架以输出第二日志解析结果包括:
将该目标日志解析规则包和该日志样例输入至该测试框架;
利用该测试框架,依据该目标日志解析规则包中的预判模式获取与该预判模式对应的日志解析规则,并根据该日志解析规则中的正则表达式解析得到对应的字段名称与字段取值;
利用该测试框架,根据该字段名称和该字段取值对该日志样例进行第二解析操作,并输出得到该第二日志解析结果。
通过上述步骤,利用测试框架对日志解析规则包中的字段名、字段特征值进行提取输出第二日志解析结果,在后续日志规则质量分析的过程中与待检测的日志解析模块输出的第一日志解析结果进行自动化的一一比对,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志解析结果的自动化质量分析。
在其中的一些实施例中,该利用预设的校验规则,根据该第一日志解析结果和该第二日志解析结果得到日志解析规则校验结果包括:
利用该校验规则,将解析得到的该第一日志解析结果的字段名称与字段值,与该第二日志解析结果的字段名称与字段值,依据该日志解析规则包中定义的各个字段名称及其对应的字段取值进行自动化一一比对,得到比对结果;根据该比对结果得到该日志解析规则校验结果;
发送该第一日志解析结果、该第二日志解析结果及该日志解析规则校验结果至终端设备;其中,该终端设备用于针对该日志解析规则校验结果进行界面渲染,生成可视化测试报告并显示。
通过上述步骤,将解析得到的该第一日志解析结果的字段名称与字段值,与该第二日志解析结果的字段名称与字段值,依据该日志解析规则包中定义的各个字段名称及其对应的字段取值进行自动化一一比对,得到比对结果,根据该比对结果得到该日志解析规则校验结果,解决了解析规则测试结果核对效率慢且出错率高的问题,实现了对日志解析结果的自动化质量分析。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
下面通过优选实施例对本实施例进行描述和说明。
图3是另一个实施例的日志规则质量分析方法的流程图。首先获取待测试的日志解析规则包,进行解析规则格式Parser转换,并将转换后的解析规则发送至Pytest测试框架与日志解析模块,同时需要将日志样例发送至Pytest测试框架与日志解析模块;其次,Pytest测试框架对转换后的日志解析规则包中的字段名与字段取值进行提取,得到日志样例文本与解析规则对应的结果;同时,日志解析模块依据日志解析规则对日志样例进行解析;提取Pytest测试框架的解析结果与日志解析模块的解析结果,根据校验规则进行校验;最后通过API构建数据校验任务,将数据校验结果输出到UI显示界面上进行可视化显示。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。例如,构建数据校验任务(API/UI)步骤可以与解析规则/日志样例发送步骤同时进行,也可以与校验规则进行校验步骤同时进行;Pytest提取解析规则中的字段名、字段取值步骤可以与日志解析模块执行步骤同时进行,也可以先后进行。
在本实施例中还提供了一种日志规则质量分析***,该***包括:终端设备、传输设备以及服务器设备;其中,该终端设备通过传输设备连接服务器设备;
该终端设备用于接收目标日志解析规则包和日志样例;
该传输设备用于将该目标日志解析规则包和该日志样例发送至该服务器设备;
该服务器设备用于执行上述任一项方法实施例中的步骤。
在本实施例中还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S2,获取目标日志解析规则包和日志样例。
S4,将所述目标日志解析规则包和所述日志样例输入至日志解析模块以输出第一日志解析结果,并将所述目标日志解析规则包和所述日志样例输入至测试框架以输出第二日志解析结果;其中,所述日志解析模块用于生成所述第一日志解析结果,所述测试框架用于生成所述第二日志解析结果。
S6,利用预设的校验规则,根据所述第一日志解析结果和所述第二日志解析结果得到日志解析规则校验结果。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的日志规则质量分析方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种日志规则质量分析方法。
在一个实施例中,还提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志规则质量分析方法。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种日志规则质量分析方法,其特征在于,包括:
获取目标日志解析规则包和日志样例;
将所述目标日志解析规则包和所述日志样例输入至日志解析模块以输出第一日志解析结果,并将所述目标日志解析规则包和所述日志样例输入至测试框架以输出第二日志解析结果;其中,所述日志解析模块用于生成所述第一日志解析结果,所述测试框架用于生成所述第二日志解析结果;
利用预设的校验规则,根据所述第一日志解析结果和所述第二日志解析结果得到日志解析规则校验结果。
2.根据权利要求1所述的日志规则质量分析方法,其特征在于,所述获取目标日志解析规则包包括:
获取初始日志解析规则包,并获取所述初始日志解析规则包中定义的各个字段名称,以及与所述字段名称对应的字段取值;其中,所述字段名称包括:规则名称、规则对应的资产类型、正则表达式和预判模式;所述预判模式为预先在所述日志解析规则包中定义的解析规则匹配的预匹配模式;
将获取到的所述字段名称和所述字段取值进行格式转换,得到转换字段名称和转换字段取值,并根据所述转换字段名称和所述转换字段取值得到所述目标日志解析规则包。
3.根据权利要求1所述的日志规则质量分析方法,其特征在于,获取所述日志样例包括:
利用预设的日志存储文件获取所述日志样例;或者,使用解析规则指定的网络协议获取所述日志样例。
4.根据权利要求1所述的日志规则质量分析方法,其特征在于,所述将所述目标日志解析规则包和所述日志样例输入至日志解析模块以输出第一日志解析结果包括:
将所述目标日志解析规则包和所述日志样例输入至所述日志解析模块;
利用所述日志解析模块,依据所述目标日志解析规则包中的预判模式获取与所述预判模式对应的日志解析规则,并根据所述日志解析规则中的正则表达式解析得到对应的字段名称与字段取值;
利用所述日志解析模块,根据所述字段名称和所述字段取值对所述日志样例进行第一解析操作,并输出得到所述第一日志解析结果。
5.根据权利要求4所述的日志规则质量分析方法,其特征在于,所述利用所述日志解析模块,根据所述字段名称和所述字段取值对所述日志样例进行第一解析操作,并输出得到所述第一日志解析结果,还包括:
获取所述日志解析模块针对第一解析操作是否正常的解析操作校验结果,获取所述日志解析模块针对所述目标日志解析规则包中规则数据字段是否缺失的日志解析模块字段校验结果,并获取所述日志解析模块针对不同日志解析规则是否存在误匹配的日志解析模块匹配校验结果;
利用所述日志解析模块,根据所述字段名称和所述字段取值对所述日志样例进行第一解析操作得到初始解析结果,并根据所述解析操作校验结果、所述日志解析模块字段校验结果和所述日志解析模块匹配校验结果对所述初始解析结果进行校验,最终输出得到所述第一日志解析结果。
6.根据权利要求1所述的日志规则质量分析方法,其特征在于,所述将所述目标日志解析规则包和所述日志样例输入至测试框架以输出第二日志解析结果包括:
将所述目标日志解析规则包和所述日志样例输入至所述测试框架;
利用所述测试框架,依据所述目标日志解析规则包中的预判模式获取与所述预判模式对应的日志解析规则,并根据所述日志解析规则中的正则表达式解析得到对应的字段名称与字段取值;
利用所述测试框架,根据所述字段名称和所述字段取值对所述日志样例进行第二解析操作,并输出得到所述第二日志解析结果。
7.根据权利要求1至6任一项所述的日志规则质量分析方法,其特征在于,所述利用预设的校验规则,根据所述第一日志解析结果和所述第二日志解析结果得到日志解析规则校验结果包括:
利用所述校验规则,将解析得到的所述第一日志解析结果的字段名称与字段值,与所述第二日志解析结果的字段名称与字段值,依据所述日志解析规则包中定义的各个字段名称及其对应的字段取值进行一一比对,得到比对结果;根据所述比对结果得到所述日志解析规则校验结果;
发送所述第一日志解析结果、所述第二日志解析结果及所述日志解析规则校验结果至终端设备;其中,所述终端设备用于针对所述日志解析规则校验结果进行界面渲染,生成可视化测试报告并显示。
8.一种日志规则质量分析***,其特征在于,包括:终端设备、传输设备以及服务器设备;其中,所述终端设备通过传输设备连接服务器设备;
所述终端设备用于接收目标日志解析规则包和日志样例;
所述传输设备用于将所述目标日志解析规则包和所述日志样例发送至所述服务器设备;
所述服务器设备用于执行权利要求1至7中任一项所述的日志规则质量分析方法。
9.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的日志规则质量分析方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的日志规则质量分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111069491.1A CN113742192A (zh) | 2021-09-13 | 2021-09-13 | 日志规则质量分析方法、***、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111069491.1A CN113742192A (zh) | 2021-09-13 | 2021-09-13 | 日志规则质量分析方法、***、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113742192A true CN113742192A (zh) | 2021-12-03 |
Family
ID=78738433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111069491.1A Pending CN113742192A (zh) | 2021-09-13 | 2021-09-13 | 日志规则质量分析方法、***、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113742192A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117194159A (zh) * | 2023-09-11 | 2023-12-08 | 北京优特捷信息技术有限公司 | 一种日志质量评价方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1917445A (zh) * | 2006-09-07 | 2007-02-21 | 上海交通大学 | 防火墙日志事件审计方法及教学实验*** |
US20090119307A1 (en) * | 2007-10-22 | 2009-05-07 | Check Point Software Technologies Ltd. | Syslog parser |
CN106294673A (zh) * | 2016-08-08 | 2017-01-04 | 杭州玳数科技有限公司 | 一种用户自定义规则实时解析日志数据的方法与*** |
CN110765148A (zh) * | 2019-10-28 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种业务数据处理方法及装置 |
CN111143312A (zh) * | 2019-12-24 | 2020-05-12 | 广东电科院能源技术有限责任公司 | 一种电力日志的格式解析方法、装置、设备和存储介质 |
-
2021
- 2021-09-13 CN CN202111069491.1A patent/CN113742192A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1917445A (zh) * | 2006-09-07 | 2007-02-21 | 上海交通大学 | 防火墙日志事件审计方法及教学实验*** |
US20090119307A1 (en) * | 2007-10-22 | 2009-05-07 | Check Point Software Technologies Ltd. | Syslog parser |
CN106294673A (zh) * | 2016-08-08 | 2017-01-04 | 杭州玳数科技有限公司 | 一种用户自定义规则实时解析日志数据的方法与*** |
CN110765148A (zh) * | 2019-10-28 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种业务数据处理方法及装置 |
CN111143312A (zh) * | 2019-12-24 | 2020-05-12 | 广东电科院能源技术有限责任公司 | 一种电力日志的格式解析方法、装置、设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117194159A (zh) * | 2023-09-11 | 2023-12-08 | 北京优特捷信息技术有限公司 | 一种日志质量评价方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10394686B2 (en) | Static feature extraction from structured files | |
CN111061526B (zh) | 自动化测试方法、装置、计算机设备及存储介质 | |
US10572370B2 (en) | Test-assisted application programming interface (API) learning | |
KR20190026641A (ko) | 클레임 서류의 문자 인식 방법, 장치, 서버 및 저장매체 | |
CN111813701B (zh) | 基于http的接口测试方法、装置、计算机设备及存储介质 | |
CN110955600B (zh) | 接口测试方法及装置 | |
EP2722783A2 (en) | License verification method and apparatus | |
CN113742192A (zh) | 日志规则质量分析方法、***、电子装置和存储介质 | |
CN110287700B (zh) | 一种iOS应用安全分析方法及装置 | |
CN114328274A (zh) | 测试模板生成方法、装置、计算机设备和存储介质 | |
CN113434400A (zh) | 测试用例的执行方法、装置、计算机设备及存储介质 | |
CN112612706A (zh) | 自动化测试方法、计算机设备及存储介质 | |
CN116069324A (zh) | 一种基于Vue的动态表单构建方法及装置 | |
CN108446127B (zh) | 更新包的处理方法及装置 | |
CN115456623A (zh) | 区块链交易验证方法、装置、存储介质及电子设备 | |
CN111414525B (zh) | 小程序的数据获取方法、装置、计算机设备和存储介质 | |
CN113868210A (zh) | 一种导入数据的有效性验证方法、***、设备及存储介质 | |
CN115470095A (zh) | 一种测试方法、***、电子设备及计算机存储介质 | |
US20230071959A1 (en) | Analysis device, analysis method, and analysis program | |
CN112580334A (zh) | 一种文案处理方法、装置、服务器及存储介质 | |
CN113032256A (zh) | 自动化测试方法、装置、计算机***和可读存储介质 | |
CN113885963B (zh) | 一种二次开发文件执行方法、装置及存储介质 | |
CN110661678B (zh) | 一种异常监控方法和装置 | |
CN114201507A (zh) | 基于ElasticSearch的日志查询方法、装置、设备及存储介质 | |
CN107665209A (zh) | 信息推送方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |