CN110232020A - 基于智能决策的测试结果分析方法及相关装置 - Google Patents
基于智能决策的测试结果分析方法及相关装置 Download PDFInfo
- Publication number
- CN110232020A CN110232020A CN201910420838.9A CN201910420838A CN110232020A CN 110232020 A CN110232020 A CN 110232020A CN 201910420838 A CN201910420838 A CN 201910420838A CN 110232020 A CN110232020 A CN 110232020A
- Authority
- CN
- China
- Prior art keywords
- application
- performance
- online
- result
- deficiency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 120
- 238000004458 analytical method Methods 0.000 title claims abstract description 31
- 230000007812 deficiency Effects 0.000 claims abstract description 198
- 238000011056 performance test Methods 0.000 claims abstract description 115
- 238000011156 evaluation Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000007547 defect Effects 0.000 claims description 134
- 238000012545 processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例公开了一种基于智能决策的测试结果分析方法及相关装置，其中，该方法包括：获取第一应用的测试参考数据，该第一应用为已上线应用；该第一应用的测试参考数据包括该第一应用的性能测试结果、与该第一应用的性能测试结果对应的性能测试评价和该第一应用上线后的性能缺陷反馈结果；利用该第一应用的测试参考数据训练预设模型，得到性能预测模型；获取第二应用的性能测试结果，该第二应用为未上线应用；利用该性能预测模型对该第二应用的性能测试结果进行分析，得到与该第二应用的性能测试结果对应的目标性能测试评价、该第二应用上线后的性能缺陷预测结果。采用本申请，可以提高对测试结果的分析效率。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于智能决策的测试结果分析方法及相关装置。
背景技术
性能测试在把控应用质量的过程中起着十分重要的作用。通常来说，在针对某应用的性能测试过程中，通常会由相关技术人员按照经验来分析应用的性能测试结果，其分析效率较为低下。因此，如何提高对性能测试结果的分析效率成为亟待解决的问题。
发明内容
本申请实施例提供了一种基于智能决策的测试结果分析方法及相关装置，可以自动化智能化地对性能测试结果进行分析，从而提高对性能测试结果的分析效率。
第一方面，本申请实施例提供了一种基于智能决策的测试结果分析方法，包括：
获取第一应用的测试参考数据，所述第一应用为已上线应用；所述第一应用的测试参考数据包括所述第一应用的性能测试结果、与所述第一应用的性能测试结果对应的性能测试评价和所述第一应用上线后的性能缺陷反馈结果；
利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型；
获取第二应用的性能测试结果，所述第二应用为未上线应用；
利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
可选地，所述方法还包括：
当所述第二应用的上线时长超过预设时长时，获取所述第二应用上线后的性能缺陷反馈结果；
判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致；
当所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致时，利用所述第二应用的测试参考数据，训练所述性能预测模型，以对所述性能预测模型进行修正；
其中，所述第二应用的测试参考数据包括：所述第二应用的性能测试结果、与所述第二应用的性能测试结果对应的性能测试评价和所述第二应用上线后的性能缺陷反馈结果。
可选地，所述判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，包括：
若所述性能缺陷预测结果指示所述第二应用在上线后会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后未发生性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致；或，
若所述性能缺陷预测结果指示所述第二应用在上线后不会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后发生了性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
可选地，所述第二应用上线后的性能缺陷预测结果包括第一缺陷类别，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷类别，所述判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，包括：
判断所述第一缺陷类别与所述第二缺陷类别是否相同；
当所述第一缺陷类别与所述第二缺陷类别不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
可选地，所述方法还包括：
查询预设的缺陷类别集合是否包括所述第二缺陷类别；所述缺陷类别集合包括多个预设的缺陷类别；
当所述缺陷类别集合包括所述第二缺陷类别时，触发所述判断所述第一缺陷类别与所述第二缺陷类别是否相同的步骤。
可选地，所述第二应用上线后的性能缺陷预测结果包括第一缺陷等级，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷等级，所述判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，包括：
判断所述第一缺陷等级与所述第二缺陷等级是否相同；
当所述第一缺陷等级与所述第二缺陷等级不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
可选地，所述获取所述第二应用的性能缺陷反馈结果，包括：
发送数据获取请求至第二应用对应的服务器；所述数据获取请求用于请求所述第二应用对应的服务器反馈所述第二应用的性能缺陷反馈结果；
接收所述第二应用对应的服务器发送的所述第二应用的性能缺陷反馈结果。
第二方面，本申请实施例提供了一种基于智能决策的测试结果分析装置，包括：
获取单元，用于获取第一应用的测试参考数据，所述第一应用为已上线应用；所述第一应用的测试参考数据包括所述第一应用的性能测试结果、与所述第一应用的性能测试结果对应的性能测试评价和所述第一应用上线后的性能缺陷反馈结果；
处理单元，用于利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型；
所述获取单元，还用于获取第二应用的性能测试结果，所述第二应用为未上线应用；
所述处理单元，还用于利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的方法。
综上所述，电子设备可以利用该第一应用的测试参考数据训练预设模型，得到性能预测模型，并利用该性能预测模型对该第二应用的性能测试结果进行分析，得到与该第二应用的性能测试结果对应的目标性能测试评价、该第二应用上线后的性能缺陷预测结果，以自动化智能化地分析应用的性能测试结果，从而提高对性能测试结果的分析效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于智能决策的测试结果分析方法的流程示意图；
图2是本申请实施例提供的另一种基于智能决策的测试结果分析方法的流程示意图；
图3是本申请实施例提供的一种基于智能决策的测试结果分析装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参阅图1，为本申请实施例提供的一种基于智能决策的测试结果分析方法的流程示意图。该方法可以应用于电子设备，该电子设备可以为服务器或终端。具体的，该方法可以包括以下步骤：
S101、获取第一应用的测试参考数据，所述第一应用为已上线应用。
需要说明的是，该第一应用可以为一个应用，或为多个应用的统称。该第一应用的测试参考数据包括该第一应用的性能测试结果、与该第一应用的性能测试结果对应的性能测试评价和该第一应用上线后的性能缺陷反馈结果。
其中，该第一应用的性能测试结果为针对该第一应用的性能测试指标的测试结果。例如，该性能测试指标为内存占用率，该内存占用率的测试结果可以为内存占用率30％。当该第一应用为一个应用时，该第一应用的性能测试指标为至少一个，该至少一个为一个或多个。相应地，该第一应用的性能测试结果也为至少一个。当该第一应用为多个应用的统称时，该第一应用中每个应用的性能测试指标为至少一个。每个应用的性能测试指标根据实际的测试需求可以相同或不同。相应地，每个应用的性能测试结果也为至少一个。
在一个实施例中，该第一应用的性能测试指标可以为在预设测试场景下对该第一应用进行性能测试的指标。例如，该第一应用为应用A，该应用A的性能测试指标为基于测试场景1对应用A进行性能测试的指标。或，该第一应用为应用A和应用B，该应用A的性能测试指标为基于测试场景1对应用A进行性能测试的指标，该应用B的性能测试指标为基于测试场景1对应用B进行性能测试的指标。或，该应用B的性能测试指标为基于测试场景2对应用B进行性能测试的指标。
或，该第一应用包括应用A和应用B，则该第一应用的测试参考数据包括的应用A的测试参考数据，是基于测试场景1对第一应用进行性能测试后得到的，该第二应用的测试参考数据包括的应用B的测试参考数据，是基于测试场景1对第二应用的测试场景1对第一应用进行性能测试后得到的。
其中，该第一应用的性能测试评价可以用于表征该第一应用的性能测试是否通过。在一个实施例中，该性能测试评价包括但不限于以文字、数字等多种形式体现。在一个实施例中，当该第一应用为一个应用，该第一应用的性能测试结果为至少一个时，该第一应用的性能测试评价可以是对该第一应用的至少一个性能测试结果进行综合分析，得到的一个综合评价；或还可以是对该第一应用的至少一个性能测试结果中每个性能测试结果分别进行分析，得到的每个性能测试结果对应的评价。当该第一应用为多个应用的统称时，该第一应用的性能测试评价可以包括对每个应用的至少性能测试结果进行综合分析，得到的每个应用的综合评价；或还可以是对每个应用的至少一个性能测试结果中每个性能测试结果分别进行分析，得到的每个应用的每个性能测试结果对应的评价。
其中，该第一应用的性能缺陷反馈结果指示该第一应用在上线后是否发生了性能缺陷。在一个实施例中，该第一应用的性能缺陷反馈结果可以包括对应的缺陷类别，和/或对应的缺陷等级。该缺陷等级包括但不限于以数字或文字形式体现。
在一个实施例中，当该电子设备存储了该第一应用的测试参考数据时，可以从本地获取该第一应用的测试参考数据。
或，当该电子设备未存储该第一应用的测试参考数据时，可以从该第一应用对应的服务器获取该第一应用的测试参考数据。。
在一个实施例中，电子设备从该第一应用对应的服务器获取该第一应用的测试参考数据，可以包括：电子设备接收该第一应用对应的服务器发送的该第一应用的测试参考数据；或，电子设备发送第一数据获取请求(用于请求该第一应用对应的服务器反馈该第一应用的测试参考数据)至该第一应用对应的服务器，并接收由该第一应用对应的服务器发送的该第一应用的性能缺陷反馈结果。
在一个实施例中，前述第一应用对应的服务器，可以为该第一应用对应的应用服务器，或为该第一应用对应的测试服务器。
S102、利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型。
本申请实施例中，电子设备可以利用第一应用的测试参考数据训练预设模型，得到性能预测模型。
在一个实施例中，电子设备利用该第一应用的测试参考数据训练预设模型，得到性能预测模型，可以包括：电子设备将该第一应用的测试参考数据作为预设模型的输入数据，以训练该预设模型，并将训练后的预设模型作为性能预测模型。
在一个实施例中，该预设模型可以为卷积神经网络模型，或还可以为决策树模型等模型。
S103、获取第二应用的性能测试结果，所述第二应用为未上线应用。
本申请实施例中，电子设备可以获取第二应用的性能测试结果。其中，该第二应用的性能测试结果为针对该第二应用的性能测试指标的测试结果。在一个实施例中，该第二应用的性能测试指标尅以为在该预设测试场景下对该第二进行性能测试的指标。
在一个实施例中，当该电子设备存储了该第二应用的性能测试结果时，可以从本地获取该第二应用的性能测试结果。
或，当该电子设备未存储该第二应用的性能测试结果时，可以从该第二应用对应的服务器获取该第二应用的性能测试结果。
在一个实施例中，电子设备从该第二应用对应的服务器获取该第二应用的测试参考数据，可以包括：电子设备接收该第二应用对应的服务器发送的该第二应用的性能测试结果；或，电子设备发送第二数据获取请求(用于请求该第二应用对应的服务器反馈该第二应用的性能测试结果)至该第二应用对应的服务器，并接收由该第二应用对应的服务器发送的该第二应用的性能测试结果。
在一个实施例中，前述第二应用对应的对应的服务器，可以为该第二应用对应的应用服务器，或为该第二应用对应的测试服务器。
S104、利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
本申请实施例中，电子设备可以利用该性能预测模型对该第二应用的性能测试结果进行分析，得到与该第二应用的性能测试结果对应的目标性能测试评价，该第二应用上线后的性能缺陷预测结果。
在一个实施例中，电子设备利用该性能预测模型对该第二应用的性能测试结果进行分析，得到与该第二应用的性能测试结果对应的目标性能测试评价，该第二应用上线后的性能缺陷预测结果，可以包括：电子设备将该第二应用的性能测试结果输入到该性能预测模型中进行分析，并经由该性能预测模型输出与该第二应用的性能测试结果对应的目标性能测试评价、该第二应用上线后的性能缺陷预测结果。
可见，图1所示的实施例中，电子设备可以利用该第一应用的测试参考数据训练预设模型，得到性能预测模型，并利用该性能预测模型对该第二应用的性能测试结果进行分析，得到与该第二应用的性能测试结果对应的目标性能测试评价、该第二应用上线后的性能缺陷预测结果，以自动化智能化地分析应用的性能测试结果，从而提高对性能测试结果的分析效率。
请参阅图2，为本申请实施例提供的另一种基于智能决策的测试结果分析方法的流程示意图。该方法可以应用于电子设备，该电子设备可以为服务器或终端。具体的，该方法可以包括以下步骤：
S201、获取第一应用的测试参考数据，所述第一应用为已上线应用；
S202、利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型。
S203、获取第二应用的性能测试结果，所述第二应用为未上线应用。
S204、利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
其中，步骤S201-S204可参见图1实施例中的步骤S101-S104，本申请实施例中在此不做赘述。
S205、当所述第二应用的上线时长超过预设时长时，获取所述第二应用上线后的性能缺陷反馈结果。
本申请实施例中，为了有效地监控第二应用的性能缺陷，可以当第二应用的上线时间超过预设时间阈值时，获取该第二应用上线后的性能缺陷反馈结果。
在一个实施例中，电子设备获取该第二应用的性能缺陷反馈结果，可以包括：电子设备发送数据获取请求至第二应用对应的服务器；该数据获取请求用于请求该第二应用对应的服务器反馈该第二应用的性能缺陷反馈结果；接收该第二应用对应的服务器发送的该第二应用的性能缺陷反馈结果。
在一个实施例中，电子设备可以记录该第二应用的上线时间，并从该上线时间开始统计该第二应用的上线时长，以便在该第二应用的上线时长超过预设时长时，获取该第二应用上线后的性能缺陷反馈结果。
在一个实施例中，该第二应用对应的服务器可以记录该第二应用的上限时间，并从该上线时间开始统计该第二应用的上线时长，以便电子设备在该上线时长超过预设时长时，获取该第二应用上线后的性能缺陷反馈结果。
S206、判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致。
S207、当所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致时，利用所述第二应用的测试参考数据，训练所述性能预测模型，以对所述性能预测模型进行修正。
本申请实施例，电子设备可以判断该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果是否一致，当该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致时，电子设备可以利用该第二应用的测试参考数据，训练该性能预测模型，以对该性能预测模型进行修正。本申请实施例通过对该性能预测模型进行修正，可以达到优化该性能预测模型的目的，有利于提高对应用的性能测试结果的分析准确度。其中，该第二应用的测试参考数据包括：该第二应用的性能测试结果、与该第二应用的性能测试结果对应的性能测试评价和该第二应用上线后的性能缺陷反馈结果。
在一个实施例中，电子设备判断该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果是否一致，可以包括：若该性能缺陷预测结果指示该第二应用在上线后会发生性能缺陷，且该性能缺陷反馈结果指示该第二应用在上线后未发生性能缺陷，则电子设备确定该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致；或，若该性能缺陷预测结果指示该第二应用在上线后不会发生性能缺陷，且该性能缺陷反馈结果指示该第二应用在上线后发生了性能缺陷，则电子设备确定该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致。例如，该性能缺陷预测结果可以为通过或不通过，或还可以为表征是否通过的数字，如可以为0或1，其中，0表示不通过，1表示通过。
在一个实施例中，该第二应用上线后的性能缺陷预测结果包括第一缺陷类别，该第二应用上线后的性能缺陷反馈结果包括第二缺陷类别，电子设备判断该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果是否一致，包括：电子设备判断该第一缺陷类别与该第二缺陷类别是否相同；当该第一缺陷类别与该第二缺陷类别不相同时，电子设备确定该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致。其中，该第一缺陷类别是指预测的缺陷类别，该第二缺陷类别是指反馈的缺陷类别。
在一个实施例中，电子设备可以建立性能测试指标与缺陷类别的对应关系，根据该对应关系，电子设备可以查询出该第二应用的性能测试结果对应的性能测试指标，所对应的缺陷类别；电子设备可以判断该查询出的缺陷类别是否包括该第二缺陷类别；当该查询出的缺陷类别包括该第二缺陷类别时，触发所述判断该第一缺陷类别与该第二缺陷类别是否相同的步骤。
或者，电子设备查询预设的缺陷类别集合是否包括所述第二缺陷类别；所述缺陷类别集合包括多个预设的缺陷类别；当所述缺陷类别集合包括所述第二缺陷类别时，电子设备触发所述判断所述第一缺陷类别与所述第二缺陷类别是否相同的步骤。
在一个实施例中，该第二应用上线后的性能缺陷预测结果可以包括第一缺陷描述信息，该第二应用上线后的性能缺陷反馈结果可以包括第二缺陷描述信息；电子设备判断该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果是否一致，包括：电子设备判断该第一缺陷描述信息与该第二缺陷描述信息是否相同；当该第一缺陷类别与该第二缺陷类别不相同时，电子设备确定该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致。其中，该第一缺陷描述信息是指预测的缺陷描述信息，该第二缺陷描述信息是指反馈的缺陷描述信息。每个缺陷类别可以对应至少一个缺陷描述信息。
在一个实施例中，该第二应用上线后的性能缺陷预测结果包括第一缺陷等级，该第二应用上线后的性能缺陷反馈结果包括第二缺陷等级，该判断该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果是否一致，包括：判断该第一缺陷等级与该第二缺陷等级是否相同；当该第一缺陷等级与该第二缺陷等级不相同时，确定该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致。例如，缺陷等级可以包括一级、二级、三级，其中，一级指示的性能缺陷的严重程度低于二级、二级指示的性能缺陷的严重程度低于三级。
在一个实施例中，电子设备还可以获取该第一应用的测试参考数据、该第二应用的测试参考数据，训练指定模型，得到新的性能预测模型，以用于后续对应用的性能测试结果的分析过程。在一个实施例中，该指定模型为前述预设模型。
可见，图2所示的实施例中，电子设备可以获取第二应用的性能缺陷反馈结果，并判断该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果是否一致，当该第二应用上线后的性能缺陷预测结果与该第二应用上线后的性能缺陷反馈结果不一致时，可以利用该第二应用的测试参考数据，训练该性能预测模型，以对该性能预测模型进行修正，从而提高模型预测准确度。
请参阅图3，为本申请实施例提供的一种基于智能决策的测试结果分析装置的结构示意图，该装置可以应用于电子设备。具体的，该装置可以包括：
获取单元31，用于获取第一应用的测试参考数据，所述第一应用为已上线应用；所述第一应用的测试参考数据包括所述第一应用的性能测试结果、与所述第一应用的性能测试结果对应的性能测试评价和所述第一应用上线后的性能缺陷反馈结果；
处理单元32，用于利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型；
所述获取单元31，还用于获取第二应用的性能测试结果，所述第二应用为未上线应用；
所述处理单元32，还用于利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
在一种可选的实施方式中，获取单元31，还用于当所述第二应用的上线时长超过预设时长时，获取所述第二应用上线后的性能缺陷反馈结果。
在一种可选的实施方式中，处理单元32，还用于判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致；当所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致时，利用所述第二应用的测试参考数据，训练所述性能预测模型，以对所述性能预测模型进行修正；其中，所述第二应用的测试参考数据包括：所述第二应用的性能测试结果、与所述第二应用的性能测试结果对应的性能测试评价和所述第二应用上线后的性能缺陷反馈结果。
在一种可选的实施方式中，处理单元32判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，具体为若所述性能缺陷预测结果指示所述第二应用在上线后会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后未发生性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致；或，若所述性能缺陷预测结果指示所述第二应用在上线后不会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后发生了性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
在一种可选的实施方式中，所述第二应用上线后的性能缺陷预测结果包括第一缺陷类别，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷类别，处理单元32判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，具体为判断所述第一缺陷类别与所述第二缺陷类别是否相同；当所述第一缺陷类别与所述第二缺陷类别不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
在一种可选的实施方式中，处理单元32，还用于查询预设的缺陷类别集合是否包括所述第二缺陷类别；所述缺陷类别集合包括多个预设的缺陷类别；当所述缺陷类别集合包括所述第二缺陷类别时，触发所述判断所述第一缺陷类别与所述第二缺陷类别是否相同的操作。
在一种可选的实施方式中，所述第二应用上线后的性能缺陷预测结果包括第一缺陷等级，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷等级，处理单元32判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，具体为判断所述第一缺陷等级与所述第二缺陷等级是否相同；当所述第一缺陷等级与所述第二缺陷等级不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
在一种可选的实施方式中，获取单元31获取所述第二应用的性能缺陷反馈结果，具体为发送数据获取请求至第二应用对应的服务器；所述数据获取请求用于请求所述第二应用对应的服务器反馈所述第二应用的性能缺陷反馈结果；接收所述第二应用对应的服务器发送的所述第二应用的性能缺陷反馈结果。
可见，图3所示的实施例中，电子设备可以利用该第一应用的测试参考数据训练预设模型，得到性能预测模型，并利用该性能预测模型对该第二应用的性能测试结果进行分析，得到与该第二应用的性能测试结果对应的目标性能测试评价、该第二应用上线后的性能缺陷预测结果，以自动化智能化地分析应用的性能测试结果，从而提高对性能测试结果的分析效率。
请参阅图4，为本申请实施例提供的一种电子设备的结构示意图。其中，本实施例中所描述的电子设备可以包括：一个或多个处理器1000和存储器2000。可选地，该电子设备还可以包括一个或多个输入设备3000、一个或多个输出设备4000。处理器1000、存储器2000、输入设备3000、输出设备4000相互之间可以通过总线连接。
输入设备3000、输出设备4000可以是标准的有线或无线通信接口。
处理器1000可以是中央处理模块(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器2000可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器2000用于存储一组程序代码，输入设备3000、输出设备4000和处理器1000可以调用存储器2000中存储的程序代码。具体地：
处理器1000，用于获取第一应用的测试参考数据，所述第一应用为已上线应用；所述第一应用的测试参考数据包括所述第一应用的性能测试结果、与所述第一应用的性能测试结果对应的性能测试评价和所述第一应用上线后的性能缺陷反馈结果；利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型；获取第二应用的性能测试结果，所述第二应用为未上线应用；利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
可选地，处理器1000，还用于当所述第二应用的上线时长超过预设时长时，获取所述第二应用上线后的性能缺陷反馈结果；判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致；当所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致时，利用所述第二应用的测试参考数据，训练所述性能预测模型，以对所述性能预测模型进行修正；其中，所述第二应用的测试参考数据包括：所述第二应用的性能测试结果、与所述第二应用的性能测试结果对应的性能测试评价和所述第二应用上线后的性能缺陷反馈结果。
可选地，处理器1000判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，具体为若所述性能缺陷预测结果指示所述第二应用在上线后会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后未发生性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致；或，若所述性能缺陷预测结果指示所述第二应用在上线后不会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后发生了性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
可选地，所述第二应用上线后的性能缺陷预测结果包括第一缺陷类别，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷类别，处理器1000判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，具体为判断所述第一缺陷类别与所述第二缺陷类别是否相同；当所述第一缺陷类别与所述第二缺陷类别不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
可选地，处理器1000，还用于查询预设的缺陷类别集合是否包括所述第二缺陷类别；所述缺陷类别集合包括多个预设的缺陷类别；当所述缺陷类别集合包括所述第二缺陷类别时，触发所述判断所述第一缺陷类别与所述第二缺陷类别是否相同的操作。
可选地，所述第二应用上线后的性能缺陷预测结果包括第一缺陷等级，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷等级，处理器1000判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，具体为判断所述第一缺陷等级与所述第二缺陷等级是否相同；当所述第一缺陷等级与所述第二缺陷等级不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
可选地，处理器1000获取所述第二应用的性能缺陷反馈结果，具体为通过输出设备4000发送数据获取请求至第二应用对应的服务器；所述数据获取请求用于请求所述第二应用对应的服务器反馈所述第二应用的性能缺陷反馈结果；通过输入设备3000接收所述第二应用对应的服务器发送的所述第二应用的性能缺陷反馈结果。
具体实现中，本申请实施例中所描述的处理器1000、输入设备3000、输出设备4000可执行图1-图2实施例所描述的实现方式，也可执行本申请实施例所描述的实现方式，在此不再赘述。
在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采样硬件的形式实现，也可以采样软件功能模块的形式实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (10)
1.一种基于智能决策的测试结果分析方法，其特征在于，包括：
获取第一应用的测试参考数据，所述第一应用为已上线应用；所述第一应用的测试参考数据包括所述第一应用的性能测试结果、与所述第一应用的性能测试结果对应的性能测试评价和所述第一应用上线后的性能缺陷反馈结果；
利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型；
获取第二应用的性能测试结果，所述第二应用为未上线应用；
利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述第二应用的上线时长超过预设时长时，获取所述第二应用上线后的性能缺陷反馈结果；
判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致；
当所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致时，利用所述第二应用的测试参考数据，训练所述性能预测模型，以对所述性能预测模型进行修正；
其中，所述第二应用的测试参考数据包括：所述第二应用的性能测试结果、与所述第二应用的性能测试结果对应的性能测试评价和所述第二应用上线后的性能缺陷反馈结果。
3.根据权利要求2所述的方法，其特征在于，所述判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，包括：
若所述性能缺陷预测结果指示所述第二应用在上线后会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后未发生性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致；或，
若所述性能缺陷预测结果指示所述第二应用在上线后不会发生性能缺陷，且所述性能缺陷反馈结果指示所述第二应用在上线后发生了性能缺陷，则确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
4.根据权利要求2所述的方法，其特征在于，所述第二应用上线后的性能缺陷预测结果包括第一缺陷类别，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷类别，所述判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，包括：
判断所述第一缺陷类别与所述第二缺陷类别是否相同；
当所述第一缺陷类别与所述第二缺陷类别不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
5.根据权利按要求4所述的方法，其特征在于，所述方法还包括：
查询预设的缺陷类别集合是否包括所述第二缺陷类别；所述缺陷类别集合包括多个预设的缺陷类别；
当所述缺陷类别集合包括所述第二缺陷类别时，触发所述判断所述第一缺陷类别与所述第二缺陷类别是否相同的步骤。
6.根据权利要求2所述的方法，其特征在于，所述第二应用上线后的性能缺陷预测结果包括第一缺陷等级，所述第二应用上线后的性能缺陷反馈结果包括第二缺陷等级，所述判断所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果是否一致，包括：
判断所述第一缺陷等级与所述第二缺陷等级是否相同；
当所述第一缺陷等级与所述第二缺陷等级不相同时，确定所述第二应用上线后的性能缺陷预测结果与所述第二应用上线后的性能缺陷反馈结果不一致。
7.根据权利要求2-6任意一项所述的方法，其特征在于，所述获取所述第二应用的性能缺陷反馈结果，包括：
发送数据获取请求至第二应用对应的服务器；所述数据获取请求用于请求所述第二应用对应的服务器反馈所述第二应用的性能缺陷反馈结果；
接收所述第二应用对应的服务器发送的所述第二应用的性能缺陷反馈结果。
8.一种基于智能决策的测试结果分析装置，其特征在于，包括：
获取单元，用于获取第一应用的测试参考数据，所述第一应用为已上线应用；所述第一应用的测试参考数据包括所述第一应用的性能测试结果、与所述第一应用的性能测试结果对应的性能测试评价和所述第一应用上线后的性能缺陷反馈结果；
处理单元，用于利用所述第一应用的测试参考数据训练预设模型，得到性能预测模型；
所述获取单元，还用于获取第二应用的性能测试结果，所述第二应用为未上线应用；
所述处理单元，还用于利用所述性能预测模型对所述第二应用的性能测试结果进行分析，得到与所述第二应用的性能测试结果对应的目标性能测试评价、所述第二应用上线后的性能缺陷预测结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420838.9A CN110232020A (zh) | 2019-05-20 | 2019-05-20 | 基于智能决策的测试结果分析方法及相关装置 |
| PCT/CN2019/118452 WO2020233021A1 (zh) | 2019-05-20 | 2019-11-14 | 基于智能决策的测试结果分析方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910420838.9A CN110232020A (zh) | 2019-05-20 | 2019-05-20 | 基于智能决策的测试结果分析方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110232020A true CN110232020A (zh) | 2019-09-13 |
Family
ID=67861434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910420838.9A Pending CN110232020A (zh) | 2019-05-20 | 2019-05-20 | 基于智能决策的测试结果分析方法及相关装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110232020A (zh) |
| WO (1) | WO2020233021A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111177011A (zh) * | 2020-01-02 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 软件免测的预测方法、装置、设备及存储介质 |
| WO2020233021A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安普惠企业管理有限公司 | 基于智能决策的测试结果分析方法及相关装置 |
| CN112540919A (zh) * | 2020-12-08 | 2021-03-23 | 上海哔哩哔哩科技有限公司 | 测试设备确定方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105843743A (zh) * | 2016-04-11 | 2016-08-10 | 南京邮电大学 | 一种特殊自动化测试用例实际输出结果正确性的验证方法 |
| CN108874665A (zh) * | 2018-05-29 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 一种测试结果校验方法、装置、设备和介质 |
| CN109634833A (zh) * | 2017-10-09 | 2019-04-16 | 北京京东尚科信息技术有限公司 | 一种软件缺陷预测方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10423522B2 (en) * | 2017-04-12 | 2019-09-24 | Salesforce.Com, Inc. | System and method for detecting an error in software |
| US10649882B2 (en) * | 2017-08-29 | 2020-05-12 | Fmr Llc | Automated log analysis and problem solving using intelligent operation and deep learning |
| CN107832219B (zh) * | 2017-11-13 | 2020-08-25 | 北京航空航天大学 | 基于静态分析和神经网络的软件故障预测技术的构建方法 |
| CN109240929A (zh) * | 2018-09-18 | 2019-01-18 | 百度在线网络技术（北京）有限公司 | 软件质量预测方法、装置、终端和计算机可读存储介质 |
| CN109446090A (zh) * | 2018-10-31 | 2019-03-08 | 南开大学 | 基于深度神经网络和概率决策森林的软件缺陷预测模型 |
| CN110232020A (zh) * | 2019-05-20 | 2019-09-13 | 平安普惠企业管理有限公司 | 基于智能决策的测试结果分析方法及相关装置 |
-
2019
- 2019-05-20 CN CN201910420838.9A patent/CN110232020A/zh active Pending
- 2019-11-14 WO PCT/CN2019/118452 patent/WO2020233021A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105843743A (zh) * | 2016-04-11 | 2016-08-10 | 南京邮电大学 | 一种特殊自动化测试用例实际输出结果正确性的验证方法 |
| CN109634833A (zh) * | 2017-10-09 | 2019-04-16 | 北京京东尚科信息技术有限公司 | 一种软件缺陷预测方法和装置 |
| CN108874665A (zh) * | 2018-05-29 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 一种测试结果校验方法、装置、设备和介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020233021A1 (zh) * | 2019-05-20 | 2020-11-26 | 平安普惠企业管理有限公司 | 基于智能决策的测试结果分析方法及相关装置 |
| CN111177011A (zh) * | 2020-01-02 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 软件免测的预测方法、装置、设备及存储介质 |
| CN112540919A (zh) * | 2020-12-08 | 2021-03-23 | 上海哔哩哔哩科技有限公司 | 测试设备确定方法及装置 |
| CN112540919B (zh) * | 2020-12-08 | 2024-02-23 | 上海哔哩哔哩科技有限公司 | 测试设备确定方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020233021A1 (zh) | 2020-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107294808B (zh) | 接口测试的方法、装置和*** | |
| CN101044463B (zh) | 用于监视客户端-服务器架构的性能的方法和*** | |
| CN110232020A (zh) | 基于智能决策的测试结果分析方法及相关装置 | |
| CN108234247B (zh) | 一种检测网络质量的方法和*** | |
| CN111177222B (zh) | 模型测试方法、装置及计算设备、存储介质 | |
| CN104539053B (zh) | 基于爬虫技术的电力调度自动化巡检机器人及巡检方法 | |
| CN106095673A (zh) | 基于web接口的自动化测试方法及*** | |
| KR101904436B1 (ko) | 깨진 네트워크 연결들의 기계 학습 기반 식별 | |
| CN106294179A (zh) | 应用程序开发过程中的模拟测试方法及服务器 | |
| CN109947641A (zh) | 自动化测试方法及装置 | |
| CN110765189A (zh) | 互联网产品的异常管理方法和*** | |
| CN112835792B (zh) | 一种压力测试***及方法 | |
| CN104683181B (zh) | 一种性能监控方法、设备和*** | |
| CN108108445A (zh) | 一种智能数据处理方法和*** | |
| US7617313B1 (en) | Metric transport and database load | |
| CN115271736B (zh) | 验证事务一致性的方法、装置、设备及存储介质 | |
| CN113127356A (zh) | 压测方法、装置、电子设备及存储介质 | |
| CN113079061B (zh) | 一种物联网性能测试方法及*** | |
| CN114706740A (zh) | 混沌实验方法、装置、存储介质和设备 | |
| CN111277427B (zh) | 一种数据中心网络设备的巡检方法及*** | |
| CN115952098A (zh) | 一种性能测试调优方案推荐方法及*** | |
| CN115309638A (zh) | 协助模型优化的方法及装置 | |
| CN112835780B (zh) | 一种业务检测方法及装置 | |
| CN112765213A (zh) | 一种二代征信自动化查询方法、***及计算机设备 | |
| CN113656313A (zh) | 自动化测试处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190913 |