CN115878496A - 一种算法能力测试方法及装置 - Google Patents

Abstract

本申请实施例提供一种算法能力测试方法及装置，涉及计算机技术领域，该方法应用于算法能力测试***，所述方法包括：向所述第一算法的第一接口下发第一测试样本，第一接口为按照预先确定的接口测试顺序，从M个接口中确定出的待测试接口，第一测试样本为测试样本库中随机抽取的测试样本，第一测试样本包括多个测试信息；接收第一接口响应于多个测试信息中的第一测试信息的第一响应信息；根据第一响应信息，确定第一接口是否存在异常；在确定第一接口不存在异常的情况下，向第一算法的第二接口下发第一测试样本中的第二测试信息，第二接口为按照接口测试顺序所确定的待测试接口。本申请可确保算法测试的测试效果。

Description

一种算法能力测试方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种算法能力测试方法及装置。

背景技术

目前，随着人工智能技术的发展，越来越多的需要人为处理的工作由模型（即算法）来实现。例如，在通信铁塔上搭载摄像头进行视频监控，使“通信塔”向“数字塔”转变。具体地，在摄像头上加载不同的算法为林草、水利、农业、环保等行业提供智能化的告警识别。

目前，算法测试需要依靠人工为每个算法单独编写测试用例和测试代码，这导致算法测试所需耗费的成本较大。

发明内容

本申请实施例提供一种算法能力测试方法及装置，能够解决算法测试需要依靠人工为每个算法单独编写测试用例和测试代码而导致算法测试所需耗费的成本较大的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供一种算法能力测试方法，应用于算法能力测试***，所述测试***部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口，所述方法包括：

向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；

接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；

根据所述第一响应信息，确定所述第一接口是否存在异常；

在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

第二方面，本申请实施例提供一种算法能力测试装置应用于算法能力测试***，所述测试***部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口，所述装置包括：

第一下发模块，用于向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；

接收模块，用于接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；

确定模块，用于根据所述第一响应信息，确定所述第一接口是否存在异常；

第二下发模块，用于在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

第四方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。

本申请实施例中，通过向第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；根据所述第一响应信息，确定所述第一接口是否存在异常；在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。本申请实施例中，只需将算法接口通用化或标准化即可通过上述过程实现算法的整体测试，而无需为依靠人工为每个算法单独编写测试用例和测试代码，降低了算法测试所需耗费的成本。并且，通过对算法的每个接口按照接口测试顺序进行测试，能够确保算法测试的效果。

附图说明

图1为本申请实施例提供的算法能力测试方法的流程示意图一；

图2为本申请实施例提供的算法能力测试方法的流程示意图二；

图3为本申请实施例提供的算法接口测试流程示意图；

图4为本申请实施例提供的算法能力测试装置的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的算法能力测试方法、装置、电子设备和可读存储介质进行详细地说明。

请参阅图1，图1为本申请实施例提供的一种算法能力测试方法的流程示意图。该方法应用于算法能力测试***，所述测试***部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口。

本申请实施例中，第一算法可以是各类人工智能算法，例如：人脸识别算法、告警识别算法等。第一算法可通过镜像部署在测试***，其中，镜像是一种文件存储形式，是对第一算法整体进行的完整备份。

所述方法包括：

步骤101，向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息。

应理解的是，测试***设置有测试样本库，第一测试样本可为测试样本库中随机抽取的文字、图片以及视频中的至少一项。

本申请实施例中，第一算法包括M个接口，其中，不同的第一算法包括不同数量的接口。向第一算法的第一接口下发第一测试样本，其中，第一接口可为M个接口中的第一个接口，第一测试样本可为测试***中测试样本库中随机抽取的测试样本，第一测试样本包括多个测试信息，通过不同测试信息对M个接口中的不同接口进行测试，且多个接口具有一定的接口顺序。

步骤102，接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息。

本申请实施例中，第一测试信息为匹配第一算法的第一接口的测试信息，第一响应信息为测试***在进行第一算法测试时，针对第一接口的测试信息所返回的信息。

步骤103，根据所述第一响应信息，确定所述第一接口是否存在异常。

本申请实施例中，可通过对第一响应信息的长度、内容等，对第一响应信息进行判断，在第一响应信息满足测试***预先设置要求时，判断第一接口不存在异常，而在第一响应信息不满足测试***预先设置要求时，判断第一接口存在异常。

步骤104，在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

本申请实施例中，第二接口为第一接口的下一个接口，第二测试信息为与第二接口相匹配的测试信息。

本申请实施例中，通过向第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；根据所述第一响应信息，确定所述第一接口是否存在异常；在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。这样，只需将算法接口通用化或标准化即可通过上述过程实现算法的整体测试，而无需为依靠人工为每个算法单独编写测试用例和测试代码，降低了算法测试所需耗费的成本。并且，通过对算法的每个接口按照接口测试顺序进行测试，能够确保算法测试的效果。

在一些可选的实施例中，所述M个接口包括基本信息接口、任务启动接口、信息上报接口；

所述接口测试顺序为先对所述基本信息接口进行测试后，在确定所述基本信息接口不存在异常的情况下，对所述任务启动接口进行测试，在确定所述任务启动接口不存在异常的情况下，对所述信息上报接口进行测试。

应理解的是，上述基本信息接口、任务启动接口和信息上报接口均为通用化的算口接口，即在不同的算法中，均包括以上三个接口。

具体地，基本信息接口可包括第一算法中存储服务器的域名以及存储地址等信息进行处理的接口，任务启动接口可包括第一算法中下发算法任务、检测算法是否能正常接收算法分析任务等进行处理的接口，信息上报接口可包括第一算法能否正常分析并上报计算结果进行处理的接口。

测试***按照接口测试顺序对第一算法的多个接口进行测试，可选地，上述第一接口为基本信息接口，第二接口可为任务启动接口，依照接口测试顺序，信息上报接口为第三接口。在具体实现时，测试***向第一算法的基本信息接口下发与基本信息接口相匹配的测试信息，通过对接收针对该测试信息的响应信息，对基本信息接口进行测试，在判断基本信息接口不存在异常的情况下，依顺序向任务启动接口下发与任务启动接口相匹配的测试信息，通过对接收针对该测试信息的响应信息，对任务启动接口进行测试，在判断任务启动接口不存在异常的情况下，依顺序向信息上报接口下发与任务启动接口相匹配的测试信息，通过对接收对该测试信息的响应信息，对任务启动接口进行测试，进而判断信息上报接口是否正常。

在一可选的实施例中，对所述基本信息接口进行测试的步骤包括：

根据所述基本信息接口的配置参数，向所述基本信息接口下发测试报文，所述测试报文包括所述第一测试信息的存储服务器的域名和所述第一测试信息的存储地址；

接收所述基本信息接口响应于所述测试报文的响应报文；

根据所述响应报文，确定所述基本信息接口是否存在异常。

在本实施例中，测试***依据基本信息接口的配置参数，向基本信息接口下发与该配置参数相适配的测试报文，例如，在该配置参数可包括第一算法的存储服务器的域名和存储地址的情况下，该测试***通过在第一算法运用第一测试信息在基本信息接口处进行接口测试的测试报文，而获取的响应报文，判断该基本信息接口是否存在异常。

其中，可通过对响应报文的长度、报文类型、报文版本、报文实体等信息，从而确定基本信息接口是否存在异常。

在确定基本信息接口不存在异常的情况下，则继续对任务启动接口进行测试。在一可选的实施例中，对所述任务启动接口进行测试的步骤包括：

根据所述任务启动接口的配置参数，向所述任务启动接口下发测试报文；

接收所述任务启动接口响应于所述测试报文的响应报文；

根据所述响应报文，确定所述任务启动接口是否存在异常。

在本实施例中，测试***依据任务启动接口的配置参数，向任务启动接口下发与该配置参数相适配的测试报文，在该测试***通过在第一算法运用第二测试信息在任务启动接口处进行接口测试的测试报文，而获取的响应报文，判断该任务启动接口是否存在异常。其中，可通过对响应报文的长度、报文类型、报文版本、报文实体等信息，从而确定任务启动接口是否存在异常。

在确定任务启动接口不存在异常的情况下，则继续对信息上报接口进行测试。在一可选的实施例中，对所述信息上报接口进行测试的步骤包括：

根据所述信息上报接口的配置参数，向所述信息上报接口下发测试报文；

接收所述信息上报接口响应于所述测试报文的响应报文；

根据所述响应报文，确定所述信息上报接口是否存在异常。

在本实施例中，测试***依据信息上报接口的配置参数，向信息上报接口下发与该配置参数相适配的测试报文，在该测试***通过在第一算法运用第二测试信息在信息上报接口处进行接口测试的测试报文，而获取的响应报文，判断该信息上报接口是否存在异常。其中，可通过对响应报文的长度、报文类型、报文版本、报文实体等信息，从而确定信息上报接口是否存在异常。

需要说明的是，以上三个接口仅为第一算法中的部分接口或通用化接口，根据第一算法的类型的不同，在上述三个接口之后，第一算法中还可包括其他接口，同样地，测试***还需对其他接口进行测试，以判断第一算法能否正常运行。而对预先设置的接口测试顺序，与不同的算法的不同运算顺序相关，对此本实施例不做限定。

可选地，所述第一算法为告警识别算法，所述N个接口还包括流异常接口和心跳上报接口；

应理解的是，在第一算法为告警识别算法的情况下，所述信息上报接口包括告警信息上报接口，例如，在第一算法为计算非法闯入人员的数量的算法的情况下，告警信息上报接口将计算的非法闯入人员的数量上报。

在第一算法为告警识别算法的情况下，告警识别算法的N个接口除了上述的基本信息接口、任务启动接口和告警信息上报接口之外，还包括流异常接口和心跳上报接口。

所述方法还包括：

依据所述第一测试样本的样本类型，确定所述接口测试顺序；

所述依据所述第一测试样本的样本类型，确定所述接口测试顺序；

其中，在所述第一测试样本的样本类型为图片样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述心跳上报接口进行测试。

在所述第一测试样本的样本信息为图片样本时，确定所述接口测试顺序还包括在确定所述告警信息上报接口正常之后，对所述心跳上报接口进行测试；

在本申请实施例中，第一测试样本的样本信息可为文字信息、图片信息、视频信息等。在具体实现时，在第一测试样本的样本信息为图片样本时，确定N个接口还包括心跳上报接口，具体地，通过测试确定基本信息接口、任务启动接口和告警信息上报接口均不存在异常的情况下，依顺序对心跳上报接口进行测试，其中，心跳上报接口即探测算法是否活着的指标，通过主动上报状态实现，在算法连续三次上报为异常心跳，或大于等于三分钟都不进行上报心跳的情况下，则认为算法存在异常。

在所述第一测试样本的样本类型为视频样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述流异常接口进行测试；

在确定所述流异常接口不存在异常的情况下，对所述心跳上报接口进行测试。

在具体实现时，在第一测试样本的样本信息为视频样本时，确定N个接口还包括心跳上报接口之外，还包括流异常接口，具体地，通过测试确定基本信息接口、任务启动接口和告警信息上报接口均不存在异常的情况下，依顺序对流异常接口和心跳上报接口进行测试。其中，流异常接口即探测算法在对实时流进行分析和计算是否正常的指标，通过主动上报状态实现，对该流异常接口进行测试。在测试流异常不存在异常的情况下，继续对心跳上报接口进行测试，由于本实施例的中心跳上报接口的测试，与上述实施例的心跳上报接口的测试相同，因此至少能实现上述实施例的全部技术效果，此处不再一一赘述。

需要说明的是，通过依顺序对第一算法的N个接口进行测试，在测试***检测到N个接口中的某一个接口存在异常的情况下，即停止对该第一算法的各接口进行继续检测，如图3所示。

可选地，所述方法还包括：

在确定所述M个接口不存在异常的情况下，向所述第一算法下发N个测试样本，N为大于1的整数；

获取所述第一算法对所述N个测试样本的N个测试结果；

依据所述N个测试结果，确定所述第一算法的测试能力是否满足要求。

在本申请实施例中，在通过上述对第一算法的M个接口均不存在异常的情况下，向第一算法下发N个测试样本，其中，N即为测试样本数据库中测试样本的数量，第一算法对N个测试样本进行计算，获取N个与N个测试样本相对应的测试结果，以对第一算法的测试能力是否满足要求进行判断。

可选地，在第一算法为告警识别算法的情况下，所述N个测试样本为N个告警样本；

获取所述第一算法对所述N个测试样本的测试结果，包括：

获取所述告警识别算法对所述N个告警样本的识别结果；

依据所述测试结果，确定所述第一算法的测试能力是否满足要求，包括：

依据所述识别结果，确定所述告警识别算法的告警识别能力是否满足要求。

可选地，在所述依据所述测试结果,确定所述第一算法的测试能力是否满足要求之后，所述方法还包括:

向所述第一算法持续增加任务下发路数，直至所述第一算法的状态由正常状态变更至崩溃状态；

确定所述第一算法可承受的最大任务下发路数。

在本申请实施例中，通过向第一算法持续增加任务下发路数，直到算法崩溃，即此时算法不能进行计算，从而获取该算法可承受的最大任务下发路数，进一步地，获取算法的性能参数。

可选地，所述N个告警样本包括N1个正样本信息和N2个负样本信息，其中，N1和N2均为大于或等于1的正整数；

所述获取所述告警识别算法对所述N个告警样本的识别结果，包括：

获取所述N1个正样本信息中依据所述告警识别算法识别为告警信息的第一告警信息的数量N11以及所述告警识别算法识别为非告警信息的第二告警信息的数量N12；和，

获取所述N2个负样本信息中所述告警识别算法识别为告警信息的第三告警信息的数量N21以及所述告警识别算法识别为非告警信息的第四告警信息的数量N22。

应理解的是，测试***具有测试样本库，该测试样本库支持录入各种算法的正样本和负样本，并进行唯一编码。例如：在待测试算法为告警识别算法的情况下，对告警样本进行编码，而在待测试算法为人脸识别算法的情况下，对人脸信息样本进行编码。通过在测试样本库录入各种算法的样本，以对不同类型的算法进行测试，从而提高算法测试的测试效率。

另外，应理解的是，正样本是指属于某目标样本类别的样本，负样本是指不属于目标类别的样本。测试***自动抽取P个正样本和N个负样本，其中，正负样本的数量支持自定义配置，测试***将P个正样本和N个负样本同时下发给算法，算法进行分析，待分析完成后将告警信息上报，上报的告警信息可通过可视化展示。测试***获取通过第一算法计算的准确率、误报率、漏报率三项得分求和，得到该算法的得分。

在具体实现时，正样本中通过第一算法计算产生告警为识别正确的，记为P₁，正样本中通过第一算法计算没有产生告警为漏报，记为P₂，其中P₁+ P₂=P；负样本中通过第一算法计算产生告警的为识别错误的，记为N₁，负样本中通过第一算法计算为没有产生告警为识别正确，记为N₂，且满足N₁+N₂=N。测试算法的准确率

，误报率/>

，漏报率

。本方法规定算法的准确率达到设定值及以上得满分，每低1%扣一分，扣完为止；误报率和漏报率达到设定值及以下得满分，每高1%扣一分，扣完为止。记准确率得分为f₁，误报率得分为f₂，漏报率得分为f₃，三项权重分别为α₁,、α₂、α₃，算法告警验证得分为三项之和

。***中设定值和权重支持配置。一般情况下默认，准确率、误报率和漏报率的权重分别为40%、30%、30%,则三项满分分别为40、30、30分；准确率达到70%及以上得满分，误报率小于等于20%得满分，漏报率小于等于10%得满分。默认规则如下：

因此，默认设定值时，算法的准确性得分为

，

算法的误报率得分为

，

算法的漏报率得分为

，

当

时，则测试***测试该第一算法的告警验证环节通过，即可视为该算法满足告警要求。

可选地，所述依据所述识别结果，确定所述告警识别算法的告警识别能力是否满足要求，包括：

获取所述第一告警信息、所述第二告警信息、所述第三告警信息和所述第四告警信息的研判结果；

根据所述研判结果，确定所述告警识别算法的告警识别能力是否满足要求。

应理解的是，对第一告警信息、第二告警信息、第三告警信息、第四告警信息进行研判，具体包括，通过人工辅助二次复核算法识别的结果。研判人员登录***后，通过可视化的界面对算法告警验证中算法的告警区域是否正确、告警内容是否正确等内容进行检查。例如算法告警中对正样本的分析虽然产生了告警，未正确的划定告警区域则可以将改告警置为漏报。***记录二次研判后的结果，重新计算算法的准确率、误报率、漏报率，具体地计算方法与上述计算方法一致，对此本实施例不再赘述。

在测试***检测第一算法的接口均通过测试，且告警识别能力的研判结果也满足要求，另外，第一算法的性能参数也满足要求的情况下，测试***自动生成第一算法的测试结果报告，其中，该报告内容可包括算法名称及提供该算法的厂家的基本信息、测试环境、测试时间、接口测试的报文及结果、二次研判后的告警验证的结果及得分、压力测试结果等，该报告作为算法具备上线条件的客观依据，如图2所示。

如图4所示，本申请实施例提供一种算法能力测试装置400，应用于算法能力测试***，所述测试***部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口，所述装置包括：

第一下发模块401，用于向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；

接收模块402，用于接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；

第一确定模块403，用于根据所述第一响应信息，确定所述第一接口是否存在异常；

第二下发模块404，用于在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

可选地，所述M个接口包括基本信息接口、任务启动接口、信息上报接口；

所述接口测试顺序为先对所述基本信息接口进行测试后，在确定所述基本信息接口不存在异常的情况下，对所述任务启动接口进行测试，在确定所述任务启动接口不存在异常的情况下，对所述信息上报接口进行测试。

可选地，对所述基本信息接口进行测试的步骤包括：

根据所述基本信息接口的配置参数，向所述基本信息接口下发测试报文，所述测试报文包括所述第一测试信息的存储服务器的域名和所述第一测试信息的存储地址；

接收所述基本信息接口响应于所述测试报文的响应报文；

根据所述响应报文，确定所述基本信息接口是否存在异常。

可选地，所述第一算法为告警识别算法，所述信息上报接口包括告警信息上报接口，所述M个接口还包括流异常接口和心跳上报接口；

所述装置400还包括：

第二确定模块，用于依据所述第一测试样本的样本类型，确定所述接口测试顺序；

所述依据所述第一测试样本的样本类型，确定所述接口测试顺序；

其中，在所述第一测试样本的样本类型为图片样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述心跳上报接口进行测试；

在所述第一测试样本的样本类型为视频样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述流异常接口进行测试；

在确定所述流异常接口不存在异常的情况下，对所述心跳上报接口进行测试。第一确定子模块，用于在所述第一测试样本的样本信息为图片样本时，确定所述接口测试顺序还包括在确定所述告警信息上报接口正常之后，对所述心跳上报接口进行测试；

第二确定子模块，用于在所述第一测试样本的样本信息为视频样本时，确定所述接口测试顺序还包括在确定所述告警信息上报接口正常之后，对所述流异常接口进行测试，在所述流异常接口不存在异常的情况下，对所述心跳上报接口进行测试。

可选地，所述装置400还包括：

第三下发模块，用于在确定所述M个接口不存在异常的情况下，向所述第一算法下发N个测试样本，N为大于1的整数；

获取模块，用于获取所述第一算法对所述N个测试样本的N个测试结果；

第三确定模块，用于依据所述N个测试结果，确定所述第一算法的测试能力是否满足要求。

可选地，所述装置400还包括:

第四下发模块，用于向所述第一算法持续增加任务下发路数，直至所述第一算法的状态由正常状态变更至崩溃状态；

第四确定模块，用于确定所述第一算法可承受的最大任务下发路数。

可选地，所述第一算法为告警识别算法，所述N个测试样本为N个告警样本；

所述获取模块，包括：

第一获取子模块，用于获取所述告警识别算法对所述N个告警样本的识别结果；

所述第三确定模块，包括：

第三确定子模块，用于依据所述识别结果，确定所述告警识别算法的告警识别能力是否满足要求。

可选地，所述N个告警样本包括N1个正样本信息和N2个负样本信息，其中，N1和N2均为大于或等于1的正整数；

所述第三确定子模块，包括：

第一获取单元，用于获取所述N1个正样本信息中依据所述告警识别算法识别为告警信息的第一告警信息的数量N11以及所述告警识别算法识别为非告警信息的第二告警信息的数量N12；和，

获取所述N2个负样本信息中所述告警识别算法识别为告警信息的第三告警信息的数量N21以及所述告警识别算法识别为非告警信息的第四告警信息的数量N22。

可选地，所述第三确定子模块，还包括：

第三获取单元，用于获取所述第一告警信息、所述第二告警信息、所述第三告警信息和所述第四告警信息的研判结果；

确定单元，用于根据所述研判结果，确定所述告警识别算法的告警识别能力是否满足要求。

由于本实施例的技术方案包含了上述实施例的全部技术方案，因此至少能实现上述实施例的全部技术效果，此处不再一一赘述。

如图5所示，本申请实施例还提供一种电子设备500，包括：至少一个处理器501；以及与所述至少一个处理器通信连接的存储器502；其中，所述存储器502存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行时实现上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图1所示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是， 本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。

上面结合附图对本申请实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种算法能力测试方法，其特征在于，应用于算法能力测试***，所述测试***部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口，所述方法包括：

向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；

接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；

根据所述第一响应信息，确定所述第一接口是否存在异常；

在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

2.根据权利要求1所述的方法，其特征在于，所述M个接口包括基本信息接口、任务启动接口、信息上报接口；

所述接口测试顺序为：先对所述基本信息接口进行测试，在确定所述基本信息接口不存在异常的情况下，对所述任务启动接口进行测试，在确定所述任务启动接口不存在异常的情况下，对所述信息上报接口进行测试。

3.根据权利要求2所述的方法，其特征在于，对所述基本信息接口进行测试的步骤包括：

根据所述基本信息接口的配置参数，向所述基本信息接口下发测试报文，所述测试报文包括所述第一测试信息的存储服务器的域名和所述第一测试信息的存储地址；

接收所述基本信息接口响应于所述测试报文的响应报文；

根据所述响应报文，确定所述基本信息接口是否存在异常。

4.根据权利要求2所述的方法，其特征在于，所述第一算法为告警识别算法，所述M个接口还包括流异常接口和心跳上报接口；

所述方法还包括：

依据所述第一测试样本的样本类型，确定所述接口测试顺序；

其中，在所述第一测试样本的样本类型为图片样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述心跳上报接口进行测试；

在所述第一测试样本的样本类型为视频样本时，所述接口测试顺序还包括：

在确定所述信息上报接口不存在异常的情况下，对所述流异常接口进行测试；

在确定所述流异常接口不存在异常的情况下，对所述心跳上报接口进行测试。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定所述M个接口不存在异常的情况下，向所述第一算法下发N个测试样本，N为大于1的整数；

获取所述第一算法对所述N个测试样本的N个测试结果；

依据所述N个测试结果，确定所述第一算法的测试能力是否满足要求。

6.根据权利要求5所述的方法，其特征在于，在所述依据所述测试结果,确定所述第一算法的测试能力是否满足要求之后，所述方法还包括：

向所述第一算法持续增加任务下发路数，直至所述第一算法的状态由正常状态变更至崩溃状态；

确定所述第一算法可承受的最大任务下发路数。

7.根据权利要求5所述的方法，其特征在于，所述第一算法为告警识别算法，所述N个测试样本为N个告警样本；

获取所述第一算法对所述N个测试样本的测试结果，包括：

获取所述告警识别算法对所述N个告警样本的识别结果；

依据所述测试结果，确定所述第一算法的测试能力是否满足要求，包括：

依据所述识别结果，确定所述告警识别算法的告警识别能力是否满足要求。

8.根据权利要求7所述的方法，其特征在于，所述N个告警样本包括N1个正样本信息和N2个负样本信息，其中，N1和N2均为大于或等于1的正整数；

所述获取所述告警识别算法对所述N个告警样本的识别结果，包括：

获取所述N1个正样本信息中依据所述告警识别算法识别为告警信息的第一告警信息的数量N11以及所述告警识别算法识别为非告警信息的第二告警信息的数量N12；和，

获取所述N2个负样本信息中所述告警识别算法识别为告警信息的第三告警信息的数量N21以及所述告警识别算法识别为非告警信息的第四告警信息的数量N22。

9.根据权利要求8所述的方法，其特征在于，所述依据所述识别结果，确定所述告警识别算法的告警识别能力是否满足要求，包括：

获取所述第一告警信息、所述第二告警信息、所述第三告警信息和所述第四告警信息的研判结果；

根据所述研判结果，确定所述告警识别算法的告警识别能力是否满足要求。

10.一种算法能力测试装置，其特征在于，应用于算法能力测试***，所述测试***部署有第一算法，所述第一算法为预先训练的待测试算法，所述第一算法包括M个接口，所述装置包括：

第一下发模块，用于向所述第一算法的第一接口下发第一测试样本，所述第一接口为按照预先确定的接口测试顺序，从所述M个接口中确定出的待测试接口，所述第一测试样本为测试样本库中随机抽取的测试样本，所述第一测试样本包括多个测试信息；

接收模块，用于接收所述第一接口响应于所述多个测试信息中的第一测试信息的第一响应信息；

确定模块，用于根据所述第一响应信息，确定所述第一接口是否存在异常；

第二下发模块，用于在确定所述第一接口不存在异常的情况下，向所述第一算法的第二接口下发所述第一测试样本中的第二测试信息，所述第二接口为按照所述接口测试顺序所确定的待测试接口。

Images