CN117271350A - 一种基于日志分析的软件质量评估***及方法 - Google Patents
一种基于日志分析的软件质量评估***及方法 Download PDFInfo
- Publication number
- CN117271350A CN117271350A CN202311281795.3A CN202311281795A CN117271350A CN 117271350 A CN117271350 A CN 117271350A CN 202311281795 A CN202311281795 A CN 202311281795A CN 117271350 A CN117271350 A CN 117271350A
- Authority
- CN
- China
- Prior art keywords
- dimension
- score
- utilization rate
- index
- dimension score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000013441 quality evaluation Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004140 cleaning Methods 0.000 claims abstract description 12
- 238000013210 evaluation model Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 39
- 230000003993 interaction Effects 0.000 claims description 32
- 230000006399 behavior Effects 0.000 claims description 28
- 230000014759 maintenance of location Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 23
- 238000013461 design Methods 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001303 quality assessment method Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
- G06F11/3612—Software analysis for verifying properties of programs by runtime analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于日志分析的软件质量评估***及方法，所述评估***包括；日志收集模块、数据预处理模块和质量评估模块；所述日志收集模块用于收集***运行中产生的日志数据；所述数据预处理将收集到的所述日志数据进行清洗与转换的标准化处理，得到预处理后的日志数据；所述质量评估模块用于建立评估模型，对所述预处理后的日志数据进行质量评估和预测，根据预测结果评估软件质量状况。本申请通过在软件***中嵌入适当的日志记录机制，收集日志并进行清洗、解析、特征提取、指标定义、建模、质量评估、结果展示等来反馈软件质量，给出软件改进建议。
Description
技术领域
本申请涉及数据挖掘与质量评估技术领域，具体涉及一种基于日志分析的软件质量评估***及方法。
背景技术
随着互联网的快速发展，计算机***和软件应用越来越复杂，同时也越来越庞大，***发生错误的概率也越来越大，在云原生和DevOps研发模式的挑战下，一个软件从开发、测试、到上线维护的过程中，会产生大量的日志、指标、事件以及告警等数据，这也给企业质量平台建设带来了很大的挑战。为了更精准的评估软件质量，需要针对产品的整个生命周期进行阶段式检查和评估，并给出有效性建议，从而改善、评估软件产品质量。
目前业内有很多关于软件质量的评估及改进方法。这些软件质量评估方法多是对于软件的质量定义、评测，且更多用于软件发布前的质量评估，以用来判断是否满足发布指标，以及发布后的三方验收测试上最终评估确认质量达标。
现有软件质量评估方法缺少对软件发布后运行过程中的日志、监控及告警数据进行分析，对软件全生命周期覆盖不全，对软件质量的改善效果不佳。因此，期望能提供一种针对软件运行过程中薄弱环节精准改善的软件质量改进方法或工具。
发明内容
为了解决以上技术问题，本申请提供了一种基于日志分析的软件质量评估***及方法，所述***包括：日志收集模块、数据预处理模块和质量评估模块；
所述日志收集模块用于收集***运行中产生的日志数据；
所述数据预处理模块用于将收集到的所述日志数据进行清洗与转换的标准化处理，得到预处理后的日志数据；
所述质量评估模块用于建立评估模型，对所述预处理后的日志数据进行质量评估和预测，根据预测结果评估软件质量状况。
可选的，所述日志数据包括***运行状态数据、异常错误信息和用户操作数据。
可选的，所述对日志数据进行清洗与转换的标准化处理包括去除无效值和处理缺失值；
所述缺失值的处理具体包括：
当缺失值为整行，删除整行缺失值；
当缺失值为某一单元格，则对缺失值进行填补。
可选的，所述质量评估模块包括关键指标提取子模块和评估模型构建子模块；
所述关键特征提取子模块用于对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值；
所述评估模型构建子模块用于基于所述关键指标以及该关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型。
可选的，对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值，所述关键指标具体包括：异常错误日志数量、90％百分位响应时间、可用性分析、CPU利用率、内存利用率、网络带宽利用率、存储空间利用率、用户活跃度、使用习惯、搜索行为、互动程度、留存率。
可选的，基于所述关键指标以及该关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型具体包括：
所述每一个维度对应的权重包括：
稳定性维度、响应性能维度、错误处理维度、资源利用率维度和用户体验维度；分别对应的权重为：30％、30％、20％、10％、10％；
所述关键指标以及所述关键指标对应的值包括：
所述稳定性维度的衡量指标为异常错误日志数量，其中，当错误为0个，维度分值为5分；当错误为1～5个，维度分值为4分；当错误为5～10个，维度分值为3分；当错误为10～20个，维度分值为2分；当错误大于20个，维度分值为1分；
所述响应性能维度的衡量指标为90％百分位响应时间，其中，当响应时间小于500毫秒，维度分值为5分；当响应时间为500～1000毫秒，维度分值为4分；当响应时间为1000～2000毫秒，维度分值为3分；当响应时间为2000～3000毫秒，维度分值为2分；当响应时间大于3000毫秒，维度分值为1分；
所述错误处理的衡量指标为可用性分析，其中，当可用性为0.95～1，维度分值为5；当可用性为0.85～0.95，维度分值为4；当可用性为0.7～0.85，维度分值为3分；当可用性为0.5～0.7，维度分值为2分；当可用性低于0.5，维度分值为1分；
所述资源利用率的衡量指标为CPU利用率、内存利用率、网络带宽利用率和存储空间利用率；其中，当CPU利用率为0～60％且内存利用率0～50％且网络带宽利用率为0～60％且存储空间利用率为0～70％且维度分值为5分；当CPU利用率为60％～70％，内存利用率50％～70％，网络带宽利用率为60％～70％，存储空间利用率为70％～80％，维度分值为4分，当指标值满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为4分，否则进入下一分值；当CPU利用率为70％～80％，内存利用率70％～80％，网络带宽利用率为70％～80％，存储空间利用率为80％～90％，维度分值为3分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为3分，否则进入下一分值；当CPU利用率为80％～90％，内存利用率80％～90％，网络带宽利用率为80％～90％，存储空间利用率为90％～95％，维度分值为2分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为2分，否则进入下一分值；当CPU利用率高于90％，内存利用率高于90％，网络带宽利用率高于90％，存储空间利用率高于95％，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分；
所述用户体验的衡量指标为用户活跃度、使用习惯、搜索行为、互动程度、留存率；其中，当用户活跃度高且使用习惯与本***设计一致且搜索行为明确表达对***信息的需求且互动程度高且留存率较高，维度分值为5分；当用户活跃度较高，使用习惯与本***设计基本相符，搜索行为体现对***内容的兴趣，互动程度较高，留存率一般，维度分值为4分，当指标值满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为4分，否则进入下一分值；当用户活跃度一般，使用习惯与本***设计有些出入，搜索行为没有明确展示需求，互动程度一般，留存率较低，维度分值为3分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为3分，否则进入下一分值；当用户活跃度较低，使用习惯与本***设计严重不符，搜索行为与***内容无关，互动程度较低，留存率较很低，维度分值为2分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为2分，否则进入下一分值；当用户活跃度极低，使用习惯与***设计完全不符，搜索行为无搜索内容，互动程度为无互动，留存率较极低，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分。
本申请还公开一种基于日志分析的软件质量评估方法，其特征在于，
收集***运行中产生的日志数据；
将收集到的所述日志数据进行清洗与转换的标准化，得到预处理后的日志数据；
建立评估模型，对所述预处理后的日志数据记性质量评估和预测，根据预测结果评估软件质量状况。
可选的，所述日志数据包括***运行状态数据、异常错误信息和用户操作数据。
与现有技术相比，本申请的有益效果为：
本申请基于在软件***中嵌入适当的日志监控记录机制，以收集软件***在运行过程中产生的日志、告警等数据，对收集到的数据进行预处理，解析，从日志、告警数据中提取关键特征，根据具体需求和软件的质量标准，定义一组适当的质量指标，使用数据挖掘和机器学习技术，对日志数据进行分析和建模，利用建立的模型，对未知的日志数据进行质量评估和预测，将分析和评估结果可视化展示，以便更好地理解和汇报软件的质量情况。本申请通过在软件***中嵌入适当的日志记录机制，收集日志并进行清洗、解析、特征提取、指标定义、建模、质量评估、结果展示等来反馈软件质量，给出软件改进建议。
附图说明
为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于日志分析的软件质量评估***及方法的***结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一：
在本实施例中，如图1所示，一种基于日志分析的软件质量评估***，所述***包括：日志收集模块、数据预处理模块和质量评估模块；
日志收集模块用于收集***运行中产生的日志数据；
日志数据包括***运行状态数据、异常错误信息和用户操作数据。
数据预处理模块用于将收集到的所述日志数据进行清洗与转换的标准化，得到预处理后的日志数据；
对日志数据进行清洗与转换的标准化包括去除无效值和处理缺失值；
所述缺失值的处理具体包括：
当缺失值为整行，删除整行缺失值；
当缺失值为某一单元格，则对缺失值进行填补。
具体的，日志数据的转换包括文件格式转换、日期类型格式转换统一、不同字段类型转换以及各种转换函数等。例如，将数值型的字符串数据转换为便于统计与计算的数值型数据；采用转换函数实现内容的替换；日期型数据统一书写格式；不同文件统一文件类型等。
质量评估模块用于建立评估模型，对所述预处理后的日志数据进行质量评估和预测，根据预测结果评估软件质量状况。
质量评估模块包括关键指标提取子模块和评估模型构建子模块；
关键指标提取子模块用于对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值；
评估模型构建子模块用于基于所述关键指标以及该关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型。
对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值，关键指标具体包括：异常错误日志数量、90％百分位响应时间、可用性分析、CPU利用率、内存利用率、网络带宽利用率、存储空间利用率、用户活跃度、使用习惯、搜索行为、互动程度、留存率。
基于所述关键指标以及关键指标对应的值以及不同维度对应的权重构建软件质量评估模型具体包括：
每一个维度对应的权重包括：
稳定性维度、响应性能维度、错误处理维度、资源利用率维度和用户体验维度；分别对应的权重为：30％、30％、20％、10％、10％；
关键指标以及所述关键特指标对应的值包括：
所述稳定性维度的衡量指标为异常错误日志数量，其中，当错误为0个，维度分值为5分；当错误为1～5个，维度分值为4分；当错误为5～10个，维度分值为3分；当错误为10～20个，维度分值为2分；当错误大于20个，维度分值为1分；
响应性能维度的衡量指标为90％百分位响应时间，其中，当响应时间小于500毫秒，维度分值为5分；当响应时间为500～1000毫秒，维度分值为4分；当响应时间为1000～2000毫秒，维度分值为3分；当响应时间为2000～3000毫秒，维度分值为2分；当响应时间大于3000毫秒，维度分值为1分；
错误处理的衡量指标为可用性分析，其中，当可用性为0.95～1，维度分值为5；当可用性为0.85～0.95，维度分值为4；当可用性为0.7～0.85，维度分值为3分；当可用性为0.5～0.7，维度分值为2分；当可用性低于0.5，维度分值为1分；
所述资源利用率的衡量指标为CPU利用率、内存利用率、网络带宽利用率和存储空间利用率；其中，当CPU利用率为0～60％且内存利用率0～50％且网络带宽利用率为0～60％且存储空间利用率为0～70％且维度分值为5分；当CPU利用率为60％～70％，内存利用率50％～70％，网络带宽利用率为60％～70％，存储空间利用率为70％～80％，维度分值为4分，当指标值满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为4分，否则进入下一分值；当CPU利用率为70％～80％，内存利用率70％～80％，网络带宽利用率为70％～80％，存储空间利用率为80％～90％，维度分值为3分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为3分，否则进入下一分值；当CPU利用率为80％～90％，内存利用率80％～90％，网络带宽利用率为80％～90％，存储空间利用率为90％～95％，维度分值为2分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为2分，否则进入下一分值；当CPU利用率高于90％，内存利用率高于90％，网络带宽利用率高于90％，存储空间利用率高于95％，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分；
所述用户体验的衡量指标为用户活跃度、使用习惯、搜索行为、互动程度、留存率；其中，当用户活跃度高且使用习惯与本***设计一致且搜索行为明确表达对***信息的需求且互动程度高且留存率较高，维度分值为5分；当用户活跃度较高，使用习惯与本***设计基本相符，搜索行为体现对***内容的兴趣，互动程度较高，留存率一般，维度分值为4分，当指标值满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为4分，否则进入下一分值；当用户活跃度一般，使用习惯与本***设计有些出入，搜索行为没有明确展示需求，互动程度一般，留存率较低，维度分值为3分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为3分，否则进入下一分值；当用户活跃度较低，使用习惯与本***设计严重不符，搜索行为与***内容无关，互动程度较低，留存率较很低，维度分值为2分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为2分，否则进入下一分值；当用户活跃度极低，使用习惯与***设计完全不符，搜索行为无搜索内容，互动程度为无互动，留存率较极低，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分。
其中，90％百分位响应时间：一组数据由小到大进行排列，第90％个数的响应时长。
可用性计算：
可用性＝MTBF/(MTBF+MTTR)；
平均故障间隔时间，MTBF＝(总运行时间-故障总时间)/故障次数；
平均修复时间，MTTR＝故障总时间/故障次数。
利用建立的模型，对未知的日志数据进行质量评估和预测。满分100分，可以根据预测结果得分来评估软件的质量状况。
具体的，从5个维度评估质量，每个维度都有对应的评估指标，比喻“稳定性维度”通过“异常错误日志数量”来评估，异常错误日志数量的具体数值，可以从日志中提取到对应字段及字段值，如：错误信息Error的个数。
实施例二
一种基于日志分析的软件质量评估方法，具体包括：
收集***运行中产生的日志数据；
将收集到的所述日志数据进行清洗与转换的标准化，得到预处理后的日志数据；
建立评估模型，对所述预处理后的日志数据记性质量评估和预测，根据预测结果评估软件质量状况。
日志数据包括***运行状态数据、异常错误信息和用户操作数据。
用于对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值；
基于所述关键指标以及关键指标对应的值以及不同维度对应的权重构建软件质量评估模型。
具体的，日志数据的转换包括文件格式转换、日期类型格式转换统一、不同字段类型转换以及各种转换函数等。例如，将数值型的字符串数据转换为便于统计与计算的数值型数据；采用转换函数实现内容的替换；日期型数据统一书写格式；不同文件统一文件类型等。
对缺失值填补后的日志数据进行解析，获取各个字段以及字段值，关键指标具体包括：异常错误日志数量、90％百分位响应时间、可用性分析、CPU利用率、内存利用率、网络带宽利用率、存储空间利用率、用户活跃度、使用习惯、搜索行为、互动程度、留存率。
基于所述关键指标以及关键指标对应的值以及不同维度对应的权重构建软件质量评估模型具体包括：
每一个维度对应的权重包括：
稳定性维度、响应性能维度、错误处理维度、资源利用率维度和用户体验维度；分别对应的权重为：30％、30％、20％、10％、10％；
关键指标以及所述关键指标对应的值包括：
所述稳定性维度的衡量指标为异常错误日志数量，其中，当错误为0个，维度分值为5分；当错误为1～5个，维度分值为4分；当错误为5～10个，维度分值为3分；当错误为10～20个，维度分值为2分；当错误大于20个，维度分值为1分；
响应性能维度的衡量指标为90％百分位响应时间，其中，当响应时间小于500毫秒，维度分值为5分；当响应时间为500～1000毫秒，维度分值为4分；当响应时间为1000～2000毫秒，维度分值为3分；当响应时间为2000～3000毫秒，维度分值为2分；当响应时间大于3000毫秒，维度分值为1分；
错误处理的衡量指标为可用性分析，其中，当可用性为0.95～1，维度分值为5；当可用性为0.85～0.95，维度分值为4；当可用性为0.7～0.85，维度分值为3分；当可用性为0.5～0.7，维度分值为2分；当可用性低于0.5，维度分值为1分；
所述资源利用率的衡量指标为CPU利用率、内存利用率、网络带宽利用率和存储空间利用率；其中，当CPU利用率为0～60％且内存利用率0～50％且网络带宽利用率为0～60％且存储空间利用率为0～70％且维度分值为5分；当CPU利用率为60％～70％，内存利用率50％～70％，网络带宽利用率为60％～70％，存储空间利用率为70％～80％，维度分值为4分，当指标值满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为4分，否则进入下一分值；当CPU利用率为70％～80％，内存利用率70％～80％，网络带宽利用率为70％～80％，存储空间利用率为80％～90％，维度分值为3分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为3分，否则进入下一分值；当CPU利用率为80％～90％，内存利用率80％～90％，网络带宽利用率为80％～90％，存储空间利用率为90％～95％，维度分值为2分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为2分，否则进入下一分值；当CPU利用率高于90％，内存利用率高于90％，网络带宽利用率高于90％，存储空间利用率高于95％，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分；
所述用户体验的衡量指标为用户活跃度、使用习惯、搜索行为、互动程度、留存率；其中，当用户活跃度高且使用习惯与本***设计一致且搜索行为明确表达对***信息的需求且互动程度高且留存率较高，维度分值为5分；当用户活跃度较高，使用习惯与本***设计基本相符，搜索行为体现对***内容的兴趣，互动程度较高，留存率一般，维度分值为4分，当指标值满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为4分，否则进入下一分值；当用户活跃度一般，使用习惯与本***设计有些出入，搜索行为没有明确展示需求，互动程度一般，留存率较低，维度分值为3分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为3分，否则进入下一分值；当用户活跃度较低，使用习惯与本***设计严重不符，搜索行为与***内容无关，互动程度较低，留存率较很低，维度分值为2分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为2分，否则进入下一分值；当用户活跃度极低，使用习惯与***设计完全不符，搜索行为无搜索内容，互动程度为无互动，留存率较极低，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分。
具体的，导出***运行的一阶日志数据，根据上述的质量维度、维度指标、权重，维度分值，获取本次日志分析的维度类别及权重占比(Hw,Hx,HC,Hs,Hu)；其中w为稳定性，X为响应性能，C为错误处理，s为资源利用率，u为用户体验。
将分析的日志数据与质量指标【质量指标定义中的：衡量指标、度量维度、维度分值】进行比对，归属到对应的度量维度、维度分值，以确定在各维度类别下的维度分值(Fw,Fx,FC,Fs,Fu).
根据所有类别的权重及指标得分计算出本次日志分析出的质量评估总分G，G＝Hw*Fw/5+Hx*Fx/5+Hc*Fc/5+Hz*Fz/5+Hu*Fu/5。
以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。
Claims (8)
1.一种基于日志分析的软件质量评估***，其特征在于，包括：日志收集模块、数据预处理模块和质量评估模块；
所述日志收集模块用于收集***运行中产生的日志数据；
所述数据预处理模块用于将收集到的所述日志数据进行清洗与转换的标准化处理，得到预处理后的日志数据；
所述质量评估模块用于建立评估模型，对所述预处理后的日志数据进行质量评估和预测，根据预测结果评估软件质量状况。
2.根据权利要求1所述的基于日志分析的软件质量评估***，其特征在于，所述日志数据包括***运行状态数据、异常错误信息和用户操作数据。
3.根据权利要求1所述的基于日志分析的软件质量评估***，其特征在于：对所述日志数据进行清洗与转换的标准化处理包括去除无效值和处理缺失值；
所述缺失值的处理具体包括：
当缺失值为整行，删除整行缺失值；
当缺失值为某一单元格，则对缺失值进行填补。
4.根据权利要求3所述的基于日志分析的软件质量评估***，其特征在于，所述质量评估模块包括关键指标提取子模块和评估模型构建子模块；
所述关键特征提取子模块用于对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值；
所述评估模型构建子模块用于基于所述关键指标以及该关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型。
5.根据权利要求4所述的基于日志分析的软件质量评估***，其特征在于，对缺失值填补后的日志数据进行解析，根据关键指标获取各个字段以及字段值，所述关键指标具体包括：异常错误日志数量、90％百分位响应时间、可用性分析、CPU利用率、内存利用率、网络带宽利用率、存储空间利用率、用户活跃度、使用习惯、搜索行为、互动程度、留存率。
6.根据权利要求4所述的基于日志分析的软件质量评估***，其特征在于，基于所述关键指标以及关键指标对应的值、维度以及每一个维度对应的权重构建软件质量评估模型具体包括：
所述每一个维度对应的权重包括：
稳定性维度、响应性能维度、错误处理维度、资源利用率维度和用户体验维度；分别对应的权重为：30％、30％、20％、10％、10％；
所述关键指标以及所述关键指标对应的值包括：
所述稳定性维度的衡量指标为异常错误日志数量，其中，当错误为0个，维度分值为5分；当错误为1～5个，维度分值为4分；当错误为5～10个，维度分值为3分；当错误为10～20个，维度分值为2分；当错误大于20个，维度分值为1分；
所述响应性能维度的衡量指标为90％百分位响应时间，其中，当响应时间小于500毫秒，维度分值为5分；当响应时间为500～1000毫秒，维度分值为4分；当响应时间为1000～2000毫秒，维度分值为3分；当响应时间为2000～3000毫秒，维度分值为2分；当响应时间大于3000毫秒，维度分值为1分；
所述错误处理的衡量指标为可用性分析，其中，当可用性为0.95～1，维度分值为5；当可用性为0.85～0.95，维度分值为4；当可用性为0.7～0.85，维度分值为3分；当可用性为0.5～0.7，维度分值为2分；当可用性低于0.5，维度分值为1分；
所述资源利用率的衡量指标为CPU利用率、内存利用率、网络带宽利用率和存储空间利用率；其中，当CPU利用率为0～60％且内存利用率0～50％且网络带宽利用率为0～60％且存储空间利用率为0～70％且维度分值为5分；当CPU利用率为60％～70％，内存利用率50％～70％，网络带宽利用率为60％～70％，存储空间利用率为70％～80％，维度分值为4分，当指标值满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为4分，否则进入下一分值；当CPU利用率为70％～80％，内存利用率70％～80％，网络带宽利用率为70％～80％，存储空间利用率为80％～90％，维度分值为3分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为3分，否则进入下一分值；当CPU利用率为80％～90％，内存利用率80％～90％，网络带宽利用率为80％～90％，存储空间利用率为90％～95％，维度分值为2分，当指标值至少满足一项阈值且其它指标值未超出对应指标值的最大值时，维度分值为2分，否则进入下一分值；当CPU利用率高于90％，内存利用率高于90％，网络带宽利用率高于90％，存储空间利用率高于95％，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分；
所述用户体验的衡量指标为用户活跃度、使用习惯、搜索行为、互动程度、留存率；其中，当用户活跃度高且使用习惯与本***设计一致且搜索行为明确表达对***信息的需求且互动程度高且留存率较高，维度分值为5分；当用户活跃度较高，使用习惯与本***设计基本相符，搜索行为体现对***内容的兴趣，互动程度较高，留存率一般，维度分值为4分，当指标值满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为4分，否则进入下一分值；当用户活跃度一般，使用习惯与本***设计有些出入，搜索行为没有明确展示需求，互动程度一般，留存率较低，维度分值为3分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为3分，否则进入下一分值；当用户活跃度较低，使用习惯与本***设计严重不符，搜索行为与***内容无关，互动程度较低，留存率较很低，维度分值为2分，当指标值至少满足一项阈值且其它指标值不低于对应指标值的程度等级时，维度分值为2分，否则进入下一分值；当用户活跃度极低，使用习惯与***设计完全不符，搜索行为无搜索内容，互动程度为无互动，留存率较极低，维度分值为1分，当指标值至少有一项满足阈值时，维度分值为1分。
7.一种基于日志分析的软件质量评估方法，所述评估方法应用权利要求1-6任一项所述的***，其特征在于，
收集***运行中产生的日志数据；
将收集到的所述日志数据进行清洗与转换的标准化，得到预处理后的日志数据；
建立评估模型，对所述预处理后的日志数据记性质量评估和预测，根据预测结果评估软件质量状况。
8.根据权利要求7所述的基于日志分析的软件质量评估方法，其特征在于，所述日志数据包括***运行状态数据、异常错误信息和用户操作数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311281795.3A CN117271350B (zh) | 2023-09-28 | 2023-09-28 | 一种基于日志分析的软件质量评估***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311281795.3A CN117271350B (zh) | 2023-09-28 | 2023-09-28 | 一种基于日志分析的软件质量评估***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117271350A true CN117271350A (zh) | 2023-12-22 |
| CN117271350B CN117271350B (zh) | 2024-07-02 |
Family
ID=89205938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311281795.3A Active CN117271350B (zh) | 2023-09-28 | 2023-09-28 | 一种基于日志分析的软件质量评估***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117271350B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111200530A (zh) * | 2019-12-31 | 2020-05-26 | 畅捷通信息技术股份有限公司 | 一种基于kpi指标进行根因分析的方法及装置 |
| WO2020220437A1 (zh) * | 2019-04-29 | 2020-11-05 | 东北大学 | 一种基于AdaBoost-Elman的虚拟机软件老化预测方法 |
| WO2021139235A1 (zh) * | 2020-06-30 | 2021-07-15 | 平安科技（深圳）有限公司 | ***异常检测方法、装置、设备及存储介质 |
| CN113900902A (zh) * | 2021-10-21 | 2022-01-07 | 挂号网（杭州）科技有限公司 | 日志处理方法、装置、电子设备及存储介质 |
| CN115471088A (zh) * | 2022-09-20 | 2022-12-13 | 红有软件股份有限公司 | 一种基于大数据用户日志的***使用评估方法及装置 |
| CN115859240A (zh) * | 2022-11-30 | 2023-03-28 | 群硕软件开发(上海)有限公司 | 基于日志的主体异常检测评分方法 |
| CN116755992A (zh) * | 2023-08-17 | 2023-09-15 | 青岛民航凯亚***集成有限公司 | 一种基于OpenStack云计算的日志分析方法及*** |
-
2023
- 2023-09-28 CN CN202311281795.3A patent/CN117271350B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020220437A1 (zh) * | 2019-04-29 | 2020-11-05 | 东北大学 | 一种基于AdaBoost-Elman的虚拟机软件老化预测方法 |
| CN111200530A (zh) * | 2019-12-31 | 2020-05-26 | 畅捷通信息技术股份有限公司 | 一种基于kpi指标进行根因分析的方法及装置 |
| WO2021139235A1 (zh) * | 2020-06-30 | 2021-07-15 | 平安科技（深圳）有限公司 | ***异常检测方法、装置、设备及存储介质 |
| CN113900902A (zh) * | 2021-10-21 | 2022-01-07 | 挂号网（杭州）科技有限公司 | 日志处理方法、装置、电子设备及存储介质 |
| CN115471088A (zh) * | 2022-09-20 | 2022-12-13 | 红有软件股份有限公司 | 一种基于大数据用户日志的***使用评估方法及装置 |
| CN115859240A (zh) * | 2022-11-30 | 2023-03-28 | 群硕软件开发(上海)有限公司 | 基于日志的主体异常检测评分方法 |
| CN116755992A (zh) * | 2023-08-17 | 2023-09-15 | 青岛民航凯亚***集成有限公司 | 一种基于OpenStack云计算的日志分析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117271350B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209131B (zh) | 一种基于机器学习确定异构***的故障的方法和*** | |
| CN116450399B (zh) | 微服务***故障诊断及根因定位方法 | |
| CN110502445B (zh) | 软件故障严重等级判定方法及装置、模型训练方法及装置 | |
| WO2022001125A1 (zh) | 一种存储***的存储故障预测方法、***及装置 | |
| CN115981984A (zh) | 一种设备故障检测方法、装置、设备及存储介质 | |
| CN112148561B (zh) | 业务***的运行状态预测方法、装置及服务器 | |
| CN114816962A (zh) | 基于attention-lstm的网络故障预测方法 | |
| Zeng et al. | Traceark: Towards actionable performance anomaly alerting for online service systems | |
| CN115114124A (zh) | 主机风险的评估方法及评估装置 | |
| US20240168835A1 (en) | Hard disk failure prediction method, system, device and medium | |
| CN116954624B (zh) | 基于软件开发包的编译方法、软件开发***及服务器 | |
| CN117271350B (zh) | 一种基于日志分析的软件质量评估***及方法 | |
| CN116541728A (zh) | 一种基于密度聚类的故障诊断方法及装置 | |
| CN113891342A (zh) | 基站巡检方法、装置、电子设备及存储介质 | |
| CN116578436A (zh) | 基于异步多元时间序列数据的实时在线检测方法 | |
| Zhu et al. | A Performance Fault Diagnosis Method for SaaS Software Based on GBDT Algorithm. | |
| CN114881112A (zh) | 一种***异常检测方法、装置、设备及介质 | |
| CN113807690A (zh) | 区域电网调控***运行状态在线评估预警方法及*** | |
| CN115145623A (zh) | 软件业务***的白盒监控方法、装置、设备和存储介质 | |
| CN112631900A (zh) | 接口的巡检方法、装置、电子设备和存储介质 | |
| CN117785643B (zh) | 一种软件开发用性能测试平台 | |
| CN114969335B (zh) | 异常日志检测方法、装置、电子设备及可读存储介质 | |
| CN118041678A (zh) | 一种自动化日志合规检测方法 | |
| CN118075090A (zh) | 一种基于机器学习的网络故障预测方法 | |
| CN117648236A (zh) | 一种日志文件预警方法、***及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |