CN112905463B - 软件测试监控方法、装置、电子设备及可读存储介质 - Google Patents

软件测试监控方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112905463B
CN112905463B CN202110177312.XA CN202110177312A CN112905463B CN 112905463 B CN112905463 B CN 112905463B CN 202110177312 A CN202110177312 A CN 202110177312A CN 112905463 B CN112905463 B CN 112905463B
Authority
CN
China
Prior art keywords
preset
threshold value
user cluster
test
software
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110177312.XA
Other languages
English (en)
Other versions
CN112905463A (zh
Inventor
姚珺
陈奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110177312.XA priority Critical patent/CN112905463B/zh
Publication of CN112905463A publication Critical patent/CN112905463A/zh
Application granted granted Critical
Publication of CN112905463B publication Critical patent/CN112905463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的实施例提供了一种软件测试监控方法、装置、电子设备及可读存储介质，涉及测试技术领域。该方法包括：获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，该目标事件为影响用户使用体验的负面事件；根据第一次数及第二次数计算得到次数差值；判断该次数差值是否达到第一阈值，其中，第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；若达到，则生成告警信息，其中，该告警信息用于提示停止测试。如此，在测试有风险时，可及时生成告警信息，从而通过监控保证负面影响在用户的承受范围内，以避免极大地伤害用户体验。

Description

软件测试监控方法、装置、电子设备及可读存储介质
技术领域
本申请涉及测试技术领域，具体而言，涉及一种软件测试监控方法、装置、电子设备及可读存储介质。
背景技术
在互联网分析中，A/B测试(或称为桶测试或分流测试)是一个随机实验，通常有两个变体，A和B，在利用控制变量法保持有单一变量的前提下，将A、B数据进行对比，得出实验结论。简单来说，就是为同一目标制定两个方案，让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计目标。
线上测试会有大量的用户参与实验，由于变量可能有负面影响，因而有可能会极大伤害用户体验。为避免该情况，需要通过对测试进行监控，保证风险在承受范围内。因此，如何对测试进行监控，从而能够正确提示测试有风险(即风险即将在测试用户的承受范围外)已成为本领域技术人员亟需解决的技术问题。
发明内容
本申请实施例提供了一种软件测试监控方法、装置、电子设备及可读存储介质，其能够在测试有风险时，及时生成告警信息，从而通过监控保证负面影响在用户的承受范围内，以避免极大地伤害用户体验。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种软件测试监控方法，包括：
获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；
根据所述第一次数及第二次数计算得到次数差值；
判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；
若所述次数差值达到所述第一阈值，则生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。
第二方面，本申请实施例提供一种实验监控装置，包括：
数据采集模块，用于获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；
计算模块，应用于根据所述第一次数及第二次数计算得到次数差值；
判断模块，用于判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；
处理模块，用于在所述次数差值达到所述第一阈值时，生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的软件测试监控方法。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的软件测试监控方法。
本申请实施例提供一种软件测试监控方法、装置、电子设备及可读存储介质，获得第一用户集群在使用测试版本软件时发生目标事件的第一次数、以及第二用户集群在使用基准版本软件时发生上述目标事件的第二次数，该目标事件为影响用户使用体验的负面事件；然后判断根据第一次数及第二次数计算出的次数差值，是否达到通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到的第一阈值；若达到，则生成用于提示停止测试的告警信息。由此，可结合简单序贯检验算法判断测试是否有风险，并在有风险时生成告警信息，便于测试的工作人员及时采取相应措施，从而避免测试极大地伤害用户体验。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图；
图2为本申请实施例提供的软件测试监控方法的流程示意图之一；
图3为本申请实施例提供的软件测试监控方法的流程示意图之二；
图4为本申请实施例提供的软件测试监控方法的流程示意图之三；
图5为本申请实施例提供的软件测试装置的方框示意图。
图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-软件测试监控装置；210-数据采集模块；220-计算模块；230-判断模块；240-处理模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参照图1，图1为本申请实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，电脑、服务器等。所述电子设备100包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中，存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序，并执行相应地功能。比如，存储器110中存储有软件测试监控装置200，所述软件测试监控装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本申请实施例中的软件测试监控装置200，从而执行各种功能应用以及数据处理，即实现本申请实施例中的软件测试监控方法。
通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的软件测试监控方法的流程示意图之一。所述方法可应用于电子设备100。下面对软件测试监控方法的具体流程进行详细阐述。所述方法可以包括步骤S120～步骤S150。
步骤S120，获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数。
所述测试版本软件及基准版本软件为针对同一目标所设计的两个方案。其中，所述测试版本软件作为实验组，所述基准版本软件作为未受干预的对照组。可选地，所述测试版本软件与基准版本软件可以是同一软件在开关功能不同的情况下所对应的两个版本软件，也即，可针对同一软件，动态控制功能是否开放给用户，从而得到两个版本软件作为所述测试版本软件及基准版本软件。其中，所述测试版本软件及基准版本软件可以是APP(Application，应用程序)，也可以是网页，还可以是其他待测试文件。当然可以理解的是，上述仅为举例说明，具体可以根据实际需求确定所述测试版本软件及基准版本软件。
在测试时，可以实时采集测试数据。其中，所述测试数据可以包括第一用户集群在使用测试版本软件时发生目标事件的第一次数，以及第二用户集群在使用基准版本软件时发生所述目标事件的第二次数。所述第一用户集群为使用所述测试版本软件的用户群，也即参与所述测试版本软件测试的用户；所述第二用户集群为使用所述基准版本软件的用户群，也即参与所述基准版本软件测试的用户。所述目标事件为影响用户使用体验的负面事件，具体可以根据测试所关注的负面事件确定，比如，奔溃事件。
步骤S130，根据所述第一次数及第二次数计算得到次数差值。
在获得所述第一次数及第二次数的情况下，可根据与测试所关注的目标所对应的计算方式，基于该第一次数及第二次数计算得到所述次数差值。
步骤S140，判断所述次数差值是否达到第一阈值。
所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到。简单序贯检验算法，可用于在设定的正确率和召回率下计算出停止实验的次数，该算法可以减少实验次数。在计算出所述次数差值的情况下，判断该次数差值是否达到第一阈值，从而确定目前存在的风险是否在测试人员(即参与线上测试的人员)的承受范围内。
若所述次数差值未达到所述第一阈值，则认为当前存在的风险还在参与测试的人员的承受范围内，无需进行告警，也即无需提示风险在承受范围外。
若所述次数差值达到所述第一阈值，则执行步骤S150。
步骤S150，生成告警信息。
若所述次数差值达到了所述第一阈值，则可以认为当前的风险不在测试人员的承受范围内，继续测试有风险，也即继续测试可能会极大地伤害用户体验。在此情况下，则生成告警信息。所述告警信息用于提示继续测试存在较大风险，会极大地伤害用户体验。所述告警信息可用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件，也即提示停止测试。由此，可正确提示测试的工作人员测试有风险。
可选地，在生成所述告警信息之后，可停止监控。测试的工作人员在查看到所述告警信息之后，可以停止测试，然后对测试版本软件和/或基准版本软件进行调整；也可以继续继续，具体处理方式可以根据实际需求确定。
线上数据充满随机，实时、精准监控比较困难。实验监控为实验场景，有未干预的对照组信息，可以通过合适的假设检验方法控制正确率、召回率。在将假设检验运用到监控场景时，需要解决实时检测问题，本申请实施例采用简单序贯检验算法，根据预设正确率、预设召回率及预设最小改善程度计算得到第一阈值，并在根据第一用户集群在使用测试版本软件时发生目标事件的第一次数、以及第二用户集群在使用基准版本软件时发生上述目标事件的第二次数计算出的次数差值达到该第一阈值时，生成用于提示存在风险的告警信息。由此，可结合简单序贯检验算法判断测试是否有风险，并在有风险时生成告警信息，便于测试的工作人员及时采取相应措施，从而避免测试极大地伤害用户体验。
作为一种可能的实现方式，请参照图3，图3为本申请实施例提供的软件测试监控方法的流程示意图之二。所述方法在步骤S120之前还可以包括步骤S111。
步骤S111，预先根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到所述第一阈值。
其中，所述第一预设计算公式为：
其中，α表示根据所述预设正确率计算得到的预设显著性水平；1-β表示所述预设召回率，β表示假阴性；Pc表示预设的所述目标事件发生在所述第一用户集群的概率，也即预设的所述第一用户集群在使用测试版本软件时发生目标事件的概率；Pt表示预设的所述目标事件发生在所述第二用户集群的概率，也即预设的所述第二用户集群在使用测试版本软件时发生目标事件的概率；Pc及Pt根据所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。
在本实施例中，可以根据实际的监控方案确定根据所述预设最小改善程度得到Pc及Pt的具体方式。可选地，针对负面事件所对应的负面指标(比如，崩溃率)，一般都假设实验不能造成负面指标的提升。当监控方案设置为10％的负面指标提升效果时，也即预设最小改善程度Minimum Detectable Effect(MDE)为10％时，有：Pc＝1/(2+mde)，Pt＝1-1/(2+mde)，其中，mde表示所述预设最小改善程度。当监控方案设置为10％的下降效果时，则对应有：Pt＝1/(2+mde)，Pc＝1-1/(2+mde)。
上述第一预设计算公式中，第一个公式表示的α控制为：假设两者是相同，也即下一次目标事件发生在实验组、对照组的概率相同，都是1/2。在N、d情况下，合计概率为左式控制左式概率小于期望的α，就可以保证误判概率小于α。
上述第一预设计算公式中，第二个公式表示的β控制为：假设两者是不同的，实际上实验组比对照组提升了mde，则可以得到：Pc＝1/(2+mde)，Pt＝1-1/(2+mde)。同理，可得到在N、d情况下，合计概率为左式如果提升超过mde，可控制提升为mde的情况下，此事发生概率大于1-β；如果提升超过mde，则概率会更大，犯β错误概率更低。
第一预设计算公式的两个公式中，左式表示：在此情况下，这件事发生的概率。第一个式子假设实际上没区别，发生了这件事就错了，要控制错误率小于α。第二个式子假设实际上提升了mde，未发生过这件事就错了，要控制错误率小于1-β。
在实际应用时，可根据实际需求设置所述预设正确率、预设召回率、Pc及Pt。预设正确率及召回率分别为符合预期的正确率、召回率。其中，基于所述预设正确率计算得到预设显著性水平的方式，由是进行单向检测还是双向检测确定。
可选地，在进行单向检测时，代入上述所述第一预设计算公式的预设显著性水平α的值为1与预设正确率之差，即此时所述预设正确率为1-α。
在进行双向检测时，α改为单向检测时的一半，β不变。也就是说，代入所述第一预设计算公式的预设显著性水平α为1与预设正确率之差的1/2，即此时所述预设正确率为1-2α。比如，预设正确率为90％，在进行单向检测时，代入第一预设计算公式的α的值为10％，而在进行双向检测时，代入该公式的α的值为10％的一半，5％。也即，在同时关心负面指标的上升与下降、又将整体错误率控制在α时，相当于将一半α消耗在正向(即上升)、另一半在负向(即下降)，因此代入所述第一预设计算公式的所述预设显著性水平为1与预设正确率之差的1/2。
对应地，可以理解的是，在进行单向检测时，可以根据单向检测对应的方向，确定是将所述第一次数减去所述第二次数得到所述次数差值，还是将所述第二差值减去所述第一次数得到所述次数差值。比如，在进行正向检测时，即在关注实验组的负面指标相较于对照组的负面指标的提升时，将所述第一次数减去所述第二次数得到所述次数差值。在进行双向检测时，所述次数差值为所述第一次数与所述第二次数两者之差的绝对值。
请参照图4，图4为本申请实施例提供的软件测试监控方法的流程示意图之三。在步骤S140之后，在所述次数差值未达到所述第一阈值时，所述方法还可以包括步骤S160及步骤S170。
步骤S160，判断所述第一次数与第二次数的次数和值是否达到第二阈值。
步骤S170，停止监控。
所述次数差值小于所述第一阈值，表示测试目前还未超出测试人员内的承受范围。在此情况下，可计算所述第一次数与所述第二次数的和，将该和作为次数和值，并判断所述次数和值是否达到所述第二阈值，也即判断所述次数和值是否等于所述第二阈值。若等于，则可以认为测试是安全的，此时可以停止监控，以节省资源。若不等于，则可以继续采集数据并进行监控。
下面以举例的方式对上述软件测试监控方法进行举例说明。
假设监控方案为：预设正确率1-α为99％，相较于对照组10％的提升效果(即mde为10％)，此时为单向检测，预设召回率1-β为90％；将该值代入上述第一预设计算公式，可计算得到所述第一阈值为200、所述第二阈值为6004。随着数据采集进行以下动作：判断实验组中目标事件的发生次数减去对照组中目标事件的发生次数得到的次数差值是否达到200次，若达到则生成告警信息，也即对测试的工作人员进行告警；若未达到，则判断实验组中目标事件的发生次数与对照组中目标事件的发生次数之和是否达到6004次，若达到6004次，则认为安全并停止监控，若未达到6004次，则继续采集数据并进行监控。
由此，可检验实验组和对照组发生目标事件的概率是否相同。
部分实际场景中更关注于提升/下降是否超过阈值，可选地，作为另一种可能的实现方式，可在实验组和对照组实际发生目标事件的概率的提升/下降超过预设变化阈值时进行告警。可以理解的是，在关注的是提升时，所述预设变化阈值可以为预设提升阈值；在关于的是下降时，所述预设变化阈值可以为预设下降阈值。
作为一种可选的实施方式，在图3所示方法的基础上，可通过如下方式进行二次过滤，从而使得在大于所述预设变化阈值的情况生成告警信息。根据所述第一次数、第二次数、第一总次数及第二总次数，计算得到实际变化幅度。所述实际变化幅度为测试数据得到的实际中所述目标事件分别发生在所述第一用户集群、第二用户集群的概率的提升或下降情况。其中，所述第一总次数为所述第一用户集群使用所述测试版本软件的总次数，所述第二总次数为所述第二用户集群使用所述基准版本软件的总次数。在获得所述实际变化幅度后，可判断该实际变化幅度是否大于所述预设变化幅度，若大于，则执行步骤S150：生成告警信息。
其中，可先所述第一次数、第二次数、第一总次数及第二总次数得到初始变化情况，然后根据初始变化情况进行点估计，得到所述实际变化幅度。其中，点估计(pointestimation)是用样本统计量来估计总体参数。
比如，若关注的是提升时，所述预设变化阈值可以为预设提升阈值，具体设置为20％；那么先可以计算出a/A除以b/B得到的商，然后根据将商减去1，并根据所得差值进行点估计，得到实际提升幅度，并判断实际提升幅度是否大于预设提升阈值20％，若大于，则生成告警信息。其中，在判断时，还可以直接对所得商进行点估计，然后判断点估计结果是否大于1.2，若大于，则生成告警信息。a表示所述第一次数，A表示所述第一总次数，b表示所述第二次数，B表示所述第二总次数。
作为另一种可选的实施方式，还可以在图3所示方法的基础上，通过如下方式得到所述次数差值，从而使得在大于所述预设变化阈值的情况生成告警信息。根据预设变化阈值对所述第一次数进行修正处理，得到处理后的第一次数。比如，依然以关注的是提升是否超过预设提升阈值20％为例，可以使所述第一次数除以1.2，并将所得结果作为处理后的第一次数。然后根据处理后的第一次数及所述第二次数，通过差值运算，获得所述次数差值。若所述次数差值大于所述第一阈值，则执行步骤S150：生成告警信息。
作为另一种可选的实施方式，还可以在图2所示方法的基础上，预先根据第二预设计算公式、所述预设正确率、预设召回率、预设最小改善程度及预设变化阈值计算得到所述第一阈值，从而使得在大于所述预设变化阈值的情况生成告警信息，其他处理逻辑不变。其中，所述第二预设计算公式为：
其中，α表示根据所述预设正确率计算得到的预设显著性水平，1-β表示所述预设召回率，Pc0表示预设的所述目标事件发生在所述第一用户集群的初始概率，Pt0表示预设的所述目标事件发生在所述第二用户集群的初始概率，Pc0及Pt0根据所述预设变化阈值计算得到，Pc表示预设的所述目标事件发生在所述第一用户集群的概率，Pt表示预设的所述目标事件发生在所述第二用户集群的概率，Pc及Pt根据Pc0、Pt0及所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。
可选地，以关注负面指标的提升为例，有：Pc0＝0.5-threshold，Pt0＝0.5+threshold，其中，threshold表示在关注提升时作为所述预设变化阈值的预设提升阈值；Pc＝Pc0/[Pc0+Pt0*(1+mde)]，Pt＝1-Pc。
在应用时，可判断所述次数差值是否达到根据上述第二预设公式计算得到的第一阈值，若达到，则生成所述告警信息。若未达到，可判断所述次数和值是否达到根据上述第二预设公式计算得到的第二阈值，若达到，则可以停止监控。
由此，本申请实施例可在测试的工作人员根据实际需求设置预设正确率、召回率及监控水平(即预设最小改善程度、预设变化阈值)下，实时且准确地监控是否风险超出测试人员的承受范围，并在是时生成告警信息，便于测试的工作人员及时采取相应措施，从而避免测试极大地伤害用户体验。
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种软件测试监控装置200的实现方式，可选地，该软件测试监控装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图5，图5为本申请实施例提供的软件测试监控装置200的方框示意图。需要说明的是，本实施例所提供的软件测试监控装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述软件测试监控装置200可以包括：数据采集模块210、计算模块220、判断模块230及处理模块240。
所述数据采集模块210，用于获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数。所述目标事件为影响用户使用体验的负面事件；
所述计算模块220，应用于根据所述第一次数及第二次数计算得到次数差值。
所述判断模块230，用于判断所述次数差值是否达到第一阈值。其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到。
所述处理模块240，用于在所述次数差值达到所述第一阈值时，生成告警信息。其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件。
可选地，在本实施例中，所述处理模块240还用于预先根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到所述第一阈值。其中，所述第一预设计算公式为：
其中，α表示根据所述预设正确率计算得到的预设显著性水平，1-β表示所述预设召回率，Pc表示预设的所述目标事件发生在所述第一用户集群的概率，Pt表示预设的所述目标事件发生在所述第二用户集群的概率，Pc及Pt根据所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值。
可选地，上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于电子设备100的操作***(Operating System，OS)中，并可由图1中的处理器120执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的软件测试监控方法。
综上所述，本申请实施例提供的软件测试监控方法、装置、电子设备及可读存储介质，获得第一用户集群在使用测试版本软件时发生目标事件的第一次数、以及第二用户集群在使用基准版本软件时发生上述目标事件的第二次数，该目标事件为影响用户使用体验的负面事件；然后判断根据第一次数及第二次数计算出的次数差值，是否达到通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到的第一阈值；若达到，则生成用于提示停止测试的告警信息。由此，可结合简单序贯检验算法判断测试是否有风险，并在有风险时生成告警信息，便于测试的工作人员及时采取相应措施，从而避免测试极大地伤害用户体验。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种软件测试监控方法，其特征在于，包括：
获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；
根据所述第一次数及第二次数计算得到次数差值；
判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；
若所述次数差值达到所述第一阈值，则生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件；
其中，所述第一阈值根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到，所述第一预设计算公式为：
其中，α表示根据所述预设正确率计算得到的预设显著性水平，1-β表示所述预设召回率，Pc表示预设的所述目标事件发生在所述第一用户集群的概率，Pt表示预设的所述目标事件发生在所述第二用户集群的概率，Pc及Pt根据所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值；
或者，所述第一阈值根据第二预设计算公式、所述预设正确率、预设召回率、预设最小改善程度及预设变化阈值计算得到所述第一阈值，其中，所述第二预设计算公式为：
其中，Pc0表示预设的所述目标事件发生在所述第一用户集群的初始概率，Pt0表示预设的所述目标事件发生在所述第二用户集群的初始概率，Pc0及Pt0根据所述预设变化阈值计算得到，Pc及Pt根据Pc0、Pt0及所述预设最小改善程度计算得到。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
预先根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到所述第一阈值。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
预先根据第二预设计算公式、所述预设正确率、预设召回率、预设最小改善程度及预设变化阈值计算得到所述第一阈值。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，在判断所述次数差值是否达到第一阈值之后，所述方法还包括：
若所述次数差值小于所述第一阈值，则判断所述第一次数与第二次数的次数和值是否达到第二阈值，其中，所述第二阈值通过简单序贯检验算法根据所述预设正确率、预设召回率及预设最小改善程度计算得到；
若所述次数和值达到所述第二阈值，则停止监控。
5.根据权利要求2所述的方法，其特征在于，在所述次数差值不小于所述第一阈值的情况下，在生成所述告警信息之前，所述方法还包括：
根据所述第一次数、第二次数、第一总次数及第二总次数，计算得到所述目标事件分别发生在所述第一用户集群、第二用户集群的概率的实际变化幅度，其中，所述第一总次数为所述第一用户集群使用所述测试版本软件的总次数，所述第二总次数为所述第二用户集群使用所述基准版本软件的总次数；
判断所述实际变化幅度是否大于预设变化阈值；
若所述实际变化幅度大于所述预设变化阈值，则执行生成告警信息的步骤。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第一次数及第二次数计算得到次数差值，包括：
根据预设变化阈值对所述第一次数进行修正处理，得到处理后的第一次数；
根据处理后的第一次数及所述第二次数，通过差值运算，获得所述次数差值。
7.一种软件测试监控装置，其特征在于，包括：
数据采集模块，用于获得第一用户集群在使用测试版本软件时发生目标事件的第一次数，获得第二用户集群在使用基准版本软件时发生所述目标事件的第二次数，所述目标事件为影响用户使用体验的负面事件；
计算模块，应用于根据所述第一次数及第二次数计算得到次数差值；
判断模块，用于判断所述次数差值是否达到第一阈值，其中，所述第一阈值通过简单序贯检验算法根据预设正确率、预设召回率及预设最小改善程度计算得到；
处理模块，用于在所述次数差值达到所述第一阈值时，生成告警信息，其中，所述告警信息用于提示停止在所述第一用户集群中使用所述测试版本软件和/或提示停止在所述第二用户集群中使用所述基准版本软件；
其中，所述第一阈值根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到，所述第一预设计算公式为：
其中，α表示根据所述预设正确率计算得到的预设显著性水平，1-β表示所述预设召回率，Pc表示预设的所述目标事件发生在所述第一用户集群的概率，Pt表示预设的所述目标事件发生在所述第二用户集群的概率，Pc及Pt根据所述预设最小改善程度计算得到，d表示所述第一阈值，N表示第二阈值；
或者，所述第一阈值根据第二预设计算公式、所述预设正确率、预设召回率、预设最小改善程度及预设变化阈值计算得到所述第一阈值，其中，所述第二预设计算公式为：
其中，Pc0表示预设的所述目标事件发生在所述第一用户集群的初始概率，Pt0表示预设的所述目标事件发生在所述第二用户集群的初始概率，Pc0及Pt0根据所述预设变化阈值计算得到，Pc及Pt根据Pc0、Pt0及所述预设最小改善程度计算得到。
8.根据权利要求7所述的装置，其特征在于，
所述计算模块，还用于预先根据第一预设计算公式、所述预设正确率、预设召回率及预设最小改善程度计算得到所述第一阈值。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-6中任意一项所述的软件测试监控方法。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的软件测试监控方法。
CN202110177312.XA 2021-02-07 2021-02-07 软件测试监控方法、装置、电子设备及可读存储介质 Active CN112905463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110177312.XA CN112905463B (zh) 2021-02-07 2021-02-07 软件测试监控方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110177312.XA CN112905463B (zh) 2021-02-07 2021-02-07 软件测试监控方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112905463A CN112905463A (zh) 2021-06-04
CN112905463B true CN112905463B (zh) 2023-10-27

Family

ID=76123028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110177312.XA Active CN112905463B (zh) 2021-02-07 2021-02-07 软件测试监控方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112905463B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946353B (zh) * 2021-09-30 2022-08-09 北京五八信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826071A (zh) * 2019-09-24 2020-02-21 平安科技（深圳）有限公司 软件漏洞风险预测方法、装置、设备及存储介质
CN112131079A (zh) * 2020-09-22 2020-12-25 北京达佳互联信息技术有限公司 数据监控方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8959486B2 (en) * 2013-01-09 2015-02-17 International Business Machines Corporation Automatic regression testing based on cyclomatic complexity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826071A (zh) * 2019-09-24 2020-02-21 平安科技（深圳）有限公司 软件漏洞风险预测方法、装置、设备及存储介质
CN112131079A (zh) * 2020-09-22 2020-12-25 北京达佳互联信息技术有限公司 数据监控方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112905463A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109239265B (zh) 监测设备故障检测方法及装置
CN109186813B (zh) 一种温度传感器自检装置及方法
CN105718715B (zh) 异常检测方法和设备
CN106201829B (zh) 监控阈值确定方法及装置、监控报警方法、装置及***
CN110633893B (zh) 一种策略效能监控方法、装置以及计算机设备
CN108696368B (zh) 一种网元健康状态的检测方法及设备
CN110445680B (zh) 网络流量异常检测方法、装置及服务器
CN116611712B (zh) 基于语义推断的电网工作票评估***
EP3617826A1 (en) Management monitoring system
CN114936675A (zh) 一种故障预警方法、装置、存储介质及电子设备
CN109725220B (zh) 一种变压器油冷却回路的检测方法、***及装置
CN116757367B (zh) 一种三维可视化电网运行数据分析***
US7949497B2 (en) Machine condition monitoring using discontinuity detection
CN116345700B (zh) 一种用于储能电站的能耗监测方法及监测***
CN112905463B (zh) 软件测试监控方法、装置、电子设备及可读存储介质
CN115796708B (zh) 一种工程建设用的大数据智能质检方法、***和介质
JP5755116B2 (ja) 放射線測定装置
CN116747528A (zh) 一种游戏后台用户监管方法及***
CN113590427B (zh) 一种监控指标异常的告警方法、装置、存储介质和设备
CN112240829A (zh) 用于检测转动设备的缺陷的装置
CN116448219B (zh) 油位异常检测方法、装置、设备及计算机可读存储介质
CN116894247B (zh) 一种保护计算机***安全的方法及***
CN109714196B (zh) 数据监控方法及平台
CN116666785A (zh) 储能电池***安全预警方法、装置、电子设备及介质
CN115879094A (zh) 一种口令过期的风险处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant