CN110096430A - 第三方sdk准入测试方法、装置、终端及存储介质 - Google Patents
第三方sdk准入测试方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN110096430A CN110096430A CN201910205705.XA CN201910205705A CN110096430A CN 110096430 A CN110096430 A CN 110096430A CN 201910205705 A CN201910205705 A CN 201910205705A CN 110096430 A CN110096430 A CN 110096430A
- Authority
- CN
- China
- Prior art keywords
- test
- set level
- risk score
- risk
- sdk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 286
- 238000013515 script Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012790 confirmation Methods 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000011002 quantification Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012954 risk control Methods 0.000 description 2
- 230000009885 systemic effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electrically Operated Instructional Devices (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种第三方SDK准入测试方法、装置、终端及存储介质,该方法包括:获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。本发明基于云测试技术实现第三方SDK的兼容性、稳定性等指标测试,明确了准入标准,提高了接入方应用程序的质量。
Description
技术领域
本发明涉及软件集成技术领域,尤其涉及一种第三方SDK准入测试方法、装置、终端及存储介质。
背景技术
SDK(Software Development Kit)指软件开发工具包,是软件工程师为特定的软件包、软件框架、硬件平台、操作***等建立应用软件时的开发工具的集合。例如:电商类app应用中支持微信、支付宝、百度钱包等支付方式,实际上就是电商类app应用接入了第三方的支付SDK。
目前大部分的app应用依赖于第三方SDK完成需求的情况较多,一个app应用往往集成了众多第三方SDK,如:平安证券APP接入了30+个外部或者平安集团内的SDK,但因业内对SDK的质量没有验收标准,接入的SDK质量层次不齐,发现问题后再进行修复,会导致集成效果不佳,影响接入方APP的质量。
发明内容
本发明的主要目的在于提供一种第三方SDK准入测试方法,旨在解决业内对SDK的质量没有验收标准,接入的SDK与接入方APP集成效果不佳的技术问题。
为实现上述目的,本发明提供一种第三方SDK准入测试方法,其特征在于,所述第三方SDK准入测试方法包括以下步骤:
获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;
获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;
基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;
若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。
可选地,所述基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试的步骤包括:
获取当前测试模式,判断当前测试模式是否为紧急测试模式;
若当前测试模式为紧急测试模式,则从预置的指标库中提取必要指标作为预设指标,并获得所述预设指标下的必要问题,基于所述必要问题从预置的测试用例脚本中确定对应的测试用例脚本;
基于所述对应的测试用例脚本所述目标应用程序进行所述预设指标下所述必要问题的测试。
可选地,所述获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分的步骤包括:
确定各预设指标下的必要问题,并从所述测试结果中获取各必要问题对应的测试结果;
基于预置的权重分配规则和各必要问题对应的测试结果,计算获得各必要问题对应的风险权重;
基于所述各必要问题对应的测试结果及风险权重计算各必要问题对应的风险评分,并基于所述各必要问题对应的风险评分计算各必要问题所属预设指标的风险评分。
可选地,所述基于预置的权重分配规则和各必要问题对应的测试结果,计算获得各必要问题对应的风险权重的步骤包括:
从预置的权重分配规则中获取所述必要问题对应的权重计算方式;
在所述必要问题对应的权重计算方式为问题类型分配方式时,基于预置的问题类型与风险权重的对应关系,获得所述必要问题对应的风险权重;
在所述必要问题对应的权重计算方式为频次或数量分配方式时,从所述必要问题对应的测试结果中统计出所述必要问题对应的出现频次或实际数量,基于所述出现频次或实际数量与风险权重的对应关系,获得所述必要问题对应的风险权重。
可选地,所述基于所述各预设指标的风险评分确定所述第三方SDK的风险评分的步骤包括:
从所述预设指标中确定必要指标,并计算所述必要指标的第一风险评分之和,判断所述第一风险评分之和是否小于预设阈值;
若所述第一风险评分之和小于预设阈值,则输出是否将非必要指标纳入风险评分的选择提示;
若检测到将非必要指标纳入风险评分的确认指令,则计算所有预设指标的第二风险评分之和,将第二风险评分之和作为第三方SDK的风险评分;
若检测到将非必要指标纳入风险评分的否定指令,则将所述第一风险评分之和作为第三方SDK的风险评分。
可选地,所述基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果的步骤包括:
获取预置的测试顺序,基于所述测试顺序获取并执行对应的测试用例脚本;
在执行对应的测试用例脚本的过程中,在检测到异常标识指令时,基于该异常标识指令确定对应的异常脚本代码和异常结果;
将所述异常脚本代码与异常结果关联存储,并基于所述异常结果生成对应的测试结果。
可选地,所述根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分的步骤之后还包括:
获取风险评分与风险等级的对应关系;
基于所述各预设指标的风险评分和所述对应关系确定所述各预设指标对应的风险等级,以列表形式输出各预设指标对应的风险等级。
此外,为实现上述目的,本发明还提供一种第三方SDK准入测试装置,所述第三方SDK准入测试装置包括:
测试模块,用于获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;
风险评分模块,用于获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;
风险判断模块,用于基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;
接入模块,用于若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。
此外,为实现上述目的,本发明还提供一种第三方SDK准入测试终端,所述第三方SDK准入测试终端包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的第三方SDK准入测试程序,其中所述第三方SDK准入测试程序被所述处理器执行时,实现如上述的第三方SDK准入测试方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有第三方SDK准入测试程序,其中所述第三方SDK准入测试程序被处理器执行时,实现如上述的第三方SDK准入测试方法的步骤。
本发明实施例通过预置Crash、兼容性以及稳定性等预设指标的风险量化规则,对集成第三方SDK的目标应用程序进行Crash、兼容性以及稳定性等预设指标的测试后,统计测试结果,并根据风险量化规则计算各预设指标对应的风险评分,进而获得第三方SDK的风险评分,在第三方SDK的风险评分小于预设阈值时,将第三方SDK接入到接入方应用程序;通过对预设指标风险的量化,实现了对第三方SDK风险的量化,进而明确了准入标准,可将接入的第三方SDK风险控制到最小,提高接入方应用程序的质量。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的第三方SDK准入测试终端结构示意图;
图2为本发明第三方SDK准入测试方法第一实施例的流程示意图;
图3为本发明第三方SDK准入测试装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1为本发明所提供的第三方SDK准入测试终端的硬件结构示意图。
所述第三方SDK准入测试终端可以是PC,也可以是智能手机、平板电脑、便携计算机、台式计算机等具有显示功能的设备终端,可选地,所述第三方SDK准入测试终端可以是服务器设备,例如可以是接入第三方SDK的目标应用程序的私有云平台,开发/测试人员通过私有云平台的后端管理***输入相关指令,以实现对第三方SDK准入测试终端进行管理。
所述第三方SDK准入测试终端可以包括:处理器101以及存储器201等部件。在所述第三方SDK准入测试终端中,所述处理器101与所述存储器201连接,所述存储器201上存储有第三方SDK准入测试程序,处理器101可以调用存储器201中存储的第三方SDK准入测试程序,并实现如下述第三方SDK准入测试方法各实施例的步骤。
所述存储器201,可用于存储软件程序以及各种数据。存储器201可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如第三方SDK准入测试程序)等;存储数据区可包括数据库等。处理器101,是第三方SDK准入测试终端的控制中心,利用各种接口和线路连接整个第三方SDK准入测试终端的各个部分,通过运行或执行存储在存储器201内的软件程序和/或模块,以及调用存储在存储器201内的数据,执行第三方SDK准入测试终端的各种功能和处理数据,从而对第三方SDK准入测试终端进行整体监控。
本领域技术人员可以理解,图1中示出的第三方SDK准入测试终端结构并不构成对第三方SDK准入测试终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
基于上述硬件结构,提出本发明方法各个实施例,在下文中,第三方SDK准入测试终端简称为测试终端。
本发明提供一种第三方SDK准入测试方法。
参照图2,图2为本发明第三方SDK准入测试方法第一实施例的流程示意图。
本实施例中,所述第三方SDK准入测试方法包括以下步骤:
步骤S10,获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;
在将第三方SDK正式接入接入方应用程序进行集成发布之前,需对集成了第三方SDK的接入方应用程序(本实施例称“目标应用程序”)进行稳定性、兼容性等测试指标的测试。为测试目的,接入第三方SDK并在目标应用程序内提供入口,将集成第三方SDK的目标应用程序输入测试终端,测试终端在获得目标应用程序后,获得第三方SDK对应的测试用例脚本,以进行预设指标的测试。
测试人员可基于第三方SDK的核心测试范围和功能点预先配置对应的测试用例,测试用例指为进行测试指标的测试而编制的一组测试输入、执行条件以及预期结果。测试用例可能有多个,测试人员预先在测试终端上配置好测试环境,可包括配置所有测试用例脚本以及各测试用例脚本的执行顺序,在测试终端启动测试时,依照预先配置好的各测试用例脚本的执行顺序依次进行对应测试用例的测试,可在执行完一个测试用例后就输出该测试用例对应的测试结果,也可以在执行完所有测试用例后再输出总的测试结果。
测试指标,指性能指标、Crash(宕机/主机、程序停止工作等)指标及兼容性指标,一个测试指标可能包含多个待测试问题,例如:性能指标包括CPU损耗、内存占用、内存泄漏、流量使用、慢操作、耗电量等问题;兼容性指标包括***版本兼容、分辨率兼容、网络兼容等问题。预设指标指测试终端预设,或测试人员自定义,或基于预设指标规则确定的测试指标。
在执行测试用例脚本的过程中,基于预设指标获取测试结果数据,例如,若是测试性能指标,则获得测试过程中的CPU损耗数据、内存占用数据、内存泄漏数据、流量使用数据、耗电量数据等,在执行完测试用例脚本后,基于获得的测试结果数据进行各预设指标的权重确定和评分计算。
步骤S20,获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;
在获得各预设指标的测试结果后,基于预设的评分规则对各预设指标进行风险评分。本实施例中,预设的评分规则包括:预先为各预设指标分配不同的风险权重,例如:为Crash指标分配权重30,为性能指标分配权重15,为兼容性指标分配权重20;将各预设指标的测试结果进行数值化,主要通过从测试结果中统计出各预设指标对应问题的出现频次以及问题程度,基于各预设指标对应问题的出现频次及问题程度和对应权重,计算获得各预设指标的风险评分。
在一实施方式中,S20中根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分的步骤包括:分别统计各预设指标的测试结果,获得各预设指标对应问题的数量,计算各预设指标对应问题的数量与对应权重的乘积,该乘积为各预设指标的风险评分。
可选地,步骤S20之后还包括:
获取风险评分与风险等级的对应关系;基于所述各预设指标的风险评分和所述对应关系确定所述各预设指标对应的风险等级,以列表形式输出各预设指标对应的风险等级。
可在***中预置风险评分与风险等级的对应关系,该对应关系可以为映射表形式,具体可为各评分区间设置不同的风险等级,如在风险评分≥200时,风险等级为“高”;在风险评分≥80时,风险等级为“中”;在风险评分<80时,风险等级为“低”。根据各预设指标的风险评分,查询风险评分与风险等级的对应关系,获得对应的风险等级,并输出。
步骤S30,基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;
步骤S40,若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。
在计算获得各预设指标的风险评分后,在一实施方式中,将各预设指标的风险评分进行求和操作,将所有预设指标的风险评分之和作为第三方SDK的风险评分;在另一实施方式中,从预设指标中确定指定指标,将指定指标的风险评分之和作为第三方SDK的风险评分,其中,指定指标可以由测试人员预设或由测试人员自定义。
预设阈值可以由***预设,也可以由测试人员自定义。判断第三方SDK的风险评分是否小于预设阈值,若第三方SDK的风险评分大于预设阈值,则说明第三方SDK的风险评分较大,对接入方应用程序风险较大,因此,判定第三方SDK未通过准入测试,若第三方SDK的风险评分小于预设阈值,则说明第三方SDK的风险评分较小,对接入方应用程序风险较小,可接入到接入方应用程序。
本实施例通过预置Crash、兼容性以及稳定性等预设指标的风险量化规则,对集成第三方SDK的目标应用程序进行Crash、兼容性以及稳定性等预设指标的测试后,统计测试结果,并根据风险量化规则计算各预设指标对应的风险评分,进而获得第三方SDK的风险评分,在第三方SDK的风险评分小于预设阈值时,将第三方SDK接入到接入方应用程序;通过对预设指标风险的量化,实现了对第三方SDK风险的量化,进而明确了准入标准,可将接入的第三方SDK风险控制到最小,提高接入方应用程序的质量。
进一步地,基于第一实施例提出本发明第三方SDK准入测试方法第二实施例,步骤S10中所述基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试的步骤包括:
步骤S11,获取当前测试模式,判断当前测试模式是否为紧急测试模式;
不同测试指标对接入方应用程序的风险影响程度不同,同一测试指标下不同待测试问题对接入方应用程序的风险影响程度也不同。例如,Crash指标与兼容性指标相比,Crash指标对接入方应用程序的影响程度更大;兼容性指标中的“整体页面布局错乱”与“字体偏小、折行等”相比,前者对接入方应用程序的影响程度更大。在急需将第三方SDK投入使用时,某些风险影响程度不大的测试指标或问题可以先不进行测试。
在本实施例中,至少配置一种紧急测试模式,并预置必要指标,在急于接入第三方SDK时将测试终端设置为紧急测试模式,在紧急测试模式下,从所有测试指标中选取必要指标,并从必要指标下的待测试问题中选取必要问题,对第三方SDK进行必要问题的测试。
在接收到集成第三方SDK的目标应用程序后,在进入测试之前,确定测试终端当前所处的测试模式,即本实施例中的当前测试模式。
除紧急测试模式之外,还可包括全面测试模式,即对目标应用程序进行所有测试指标的测试,将所有测试指标作为预设指标。
步骤S12,若当前测试模式为紧急测试模式,则从预置的指标库中提取必要指标作为预设指标,并获得所述预设指标下的必要问题,基于所述必要问题从预置的测试用例脚本中确定对应的测试用例脚本;
测试指标存储于预置的指标库,必要指标从预置的指标库中选出,可由测试人员预先设置,可通过添加必要标签以标识对应的测试指标为必要指标,将必要指标作为预设指标。预设指标下的必要问题也可由测试人员预先设置,并添加必要标签以标识对应的问题为必要问题。
例如,预先设置兼容性指标为必要指标,包含三个问题“(1)整体页面布局错乱”、“(2)对象被遮挡,文字被截断等”、“(3)字体偏小、折行等”,其中问题(1)(2)为必要问题。
不同指标可能对应相同或不同测试用例脚本,同一指标下的不同问题可能对应相同或不同测试用例脚本,在确定需测试的必要指标及预设指标下的必要问题,可进一步地确定对应预置的测试用例脚本。
步骤S13,基于所述对应的测试用例脚本所述目标应用程序进行所述预设指标下所述必要问题的测试。
确定的对应预置的测试用例脚本,即本实施例中紧急测试模式下待执行的测试用例脚本,执行对应预置的测试用例脚本以完成预设指标下必要问题的测试。
本实施例通过对当前测试模式进行识别,在当前测试模式为紧急测试模式时,对目标应用程序进行预设指标下必要问题的测试,可在紧急情况下节约测试资源,提升测试效率,以满足不同场景下的测试需求。
进一步地,在本发明第三方SDK准入测试方法第三实施例中,步骤S20包括:
步骤S21,确定各预设指标下的必要问题,并从所述测试结果中获取各必要问题对应的测试结果;
一个预设指标下可能包含多个待测试问题,不同待测试问题对接入方应用程序的影响程度不同、对用户的使用体验也不同,基于此,将各预设指标下的待测试问题进一步分配不同权重,用以标识其不同的风险程度。各预设指标下的必要问题,指各预设指标下待测试问题中影响程度较大的问题,可由测试人员预置各预设指标的必要问题。
必要问题可以为***预设,也可以输出自定义界面供测试人员选定。
本实施例可以基于第一实施例或第二实施例,从第一实施例或第二实施例的测试结果中获得各必要问题对应的测试结果,可能在一个或多个测试用例中进行多个必要问题的测试,在测试过程中,采集各必要问题对应的测试数据,并基于对应的测试数据输出对应的测试结果。
步骤S22,基于预置的权重分配规则和各必要问题对应的测试结果,计算获得各必要问题对应的风险权重;
同一预设指标下的各待测试问题可能具有不同的权重分布,具体如何根据待测试问题确定对应权重,可获取并查询预置的权重分配规则。可选地,可直接基于待测试问题的问题类型设置固定权重,例如,为兼容性指标的三个问题“(1)整体页面布局错乱”、“(2)对象被遮挡,文字被截断等”、“(3)字体偏小、折行等”中的(1)分配权重25,(2)分配权重20,(3)分配权重10;还可以根据待测试问题的问题类型以及出现频次确定权重,例如,对于Crash指标,若是出现频次为10,则权重为20,对于兼容性指标,若是出现频次为10,则权重为15。
可选地,步骤S22包括:
步骤S221,从预置的权重分配规则中获取所述必要问题对应的权重计算方式;
不同预设指标有不同的权重计算方式,在计算必要问题的权重时,需首先获得必要问题的权重计算方式。
步骤S222,在所述必要问题对应的权重计算方式为问题类型分配方式时,基于预置的问题类型与风险权重的对应关系,获得所述必要问题对应的风险权重;
问题类型分配方式,指***预置问题类型与风险权重的对应关系,在确定必要问题的权重时,根据必要问题的问题类型查询该对应关系,获得必要问题对应的风险权重。
如上示例中,为兼容性指标的三个问题中的(1)分配权重25,(2)分配权重20,(3)分配权重10,则在确定必要问题(1)的权重时,直接获得(1)问题类型对应的风险权重。
步骤S223,在所述必要问题对应的权重计算方式为频次或数量分配方式时,从所述必要问题对应的测试结果中统计出所述必要问题对应的出现频次或实际数量,基于所述出现频次或实际数量与风险权重的对应关系,获得所述必要问题对应的风险权重;
频次或数量分配方式,指所属预设指标下的必要问题的权重与其出现频次或属性数量有关,其中,属性数量指必要问题中原本就有数量含义,例如性能指标中,内存占用值、流量使用量。一般而言,出现频次或属性数量越高,对应权重越大,即权重并非固定不变,而是随着频次或属性数量的变化呈阶梯式变化。
例如,对于Crash指标,有:
通过基于必要问题的测试结果为各必要问题分配对应权重,可使得权重分配更为合理与准确,使权重更能代表必要问题的风险程度,使得测试结果更加精准。
步骤S23,基于所述各必要问题对应的测试结果及风险权重计算各必要问题对应的风险评分,并基于所述各必要问题对应的风险评分计算各必要问题所属预设指标的风险评分。
对于某些必要问题,可能是持续存在的问题,并无数量属性,如兼容性指标中的整体页面布局错乱问题,则可直接将其权重作为该问题对应的风险评分。对于如Crash指标/性能指标等具有数量属性的指标,可以将必要问题出现频次乘以对应权重,以计算必要问题对应的风险评分,公式可为:
单个问题总风险评分=∑(各问题出现频次*各问题对应权值)
例如:第三方SDK的Crash指标测试结果:
Crash指标下问题共有7个,其中,权重为20的问题数量为2,权重为10的问题数量为2,权重为3的问题数量为3,则:Crash指标风险评分=20*2+10*2+3*3。
可将属于同一预设指标的必要问题对应的风险评分进行求和操作,求得之和为所属预设指标的风险评分。
本实施例可以在测试完必要问题后,对必要问题进行风险评分,并基于必要问题的风险评分计算所属预设指标的风险评分,或者在测试完所有问题后,对必要问题进行风险评分,给出必要问题的风险评分,并基于必要问题的风险评分计算所属预设指标的风险评分,可以给出关键的必要问题的测试评分结果,可快速给出关键性评分,可适用于需快速获得风险评分的场景。
进一步地,在本发明第三方SDK准入测试方法第四实施例中,步骤S30中所述基于所述各预设指标的风险评分确定所述第三方SDK的风险评分的步骤包括:
步骤S31,从所述预设指标中确定必要指标,并计算所述必要指标的第一风险评分之和,判断所述第一风险评分之和是否小于预设阈值;
必要指标指对接入方应用程序的用户体验、性能干扰、兼容性及稳定性影响较大的指标,可以由***预置。本实施例为便于描述,将必要指标的风险评分之和称为第一风险评分之和,将所有预设指标的风险评分之和称为第二风险评分之和。
为减少风险计算量,可先计算必要指标的风险评分之和,并判断所述第一风险评分之和是否小于预设阈值,若第一风险评分之和大于或等于预设阈值,则说明第三方SDK风险过大,说明第三方SDK无法通过测试,则可直接输出无法通过测试的结果。
步骤S32,若所述第一风险评分之和小于预设阈值,则输出是否将非必要指标纳入风险评分的选择提示;
若第一风险评分之和小于预设阈值,则由测试人员依据自己的需求确定是否将非必要指标纳入风险评分。若是想要全面评分,则可选择将非必要指标纳入风险评分,若是紧急状况下,或者从众多第三方SDK中筛选出符合条件的第三方SDK,通过必要指标的风险评分即可满足测试需求,则可不将非必要指标纳入风险评分。
步骤S33,若检测到将非必要指标纳入风险评分的确认指令,则计算所有预设指标的第二风险评分之和,将第二风险评分之和作为第三方SDK的风险评分;若检测到将非必要指标纳入风险评分的否定指令,则将所述第一风险评分之和作为第三方SDK的风险评分。
若检测到测试人员基于选择提示输入的将非必要指标纳入风险评分的确认指令,则计算所有预设指标的风险评分,并将其作为第三方SDK的风险评分,再进行后续与预设阈值的判断;反之,则直接将第一风险评分之和作为第三方SDK的风险评分,并输出测试判定结果。
本实施例中若测试人员仅需要必要指标的风险评分,则可直接获得风险评分结果,可供测试人员直观必要指标的风险评分与非必要指标的风险评分分布情况,并基于该分布情况,确定后续修复操作以及确定是否将第三方SDK接入到接入方应用程序;若测试人员需要全面指标的风险评分,则可进一步计算全部预设指标的风险评分,并将所有预设指标的风险评分之和作为第三方SDK的风险评分,进行后续判断。本实施例提供的方案可适用于不同的测试场景。
进一步地,在本发明第三方SDK准入测试方法第五实施例中,步骤S10中所述基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果的步骤包括:
步骤S14,获取预置的测试顺序,基于所述测试顺序获取并执行对应的测试用例脚本;
基于核心测试范围可能配置有多个测试用例脚本,该多个测试用例脚本可能有预先配置有测试顺序,基于测试顺序执行对应的测试用例脚本。
步骤S15,在执行对应的测试用例脚本的过程中,在检测到异常标识指令时,基于该异常标识指令确定对应的异常脚本代码和异常结果;
在进行测试发过程中,即在执行对应的测试用例脚本的过程中,可能有来自***的BUG报错信息以及测试人员手动输入的错误标识,本实施例中的异常标识指令由***报错信息和/或测试人员输入的错误标识触发,并包含***报错信息和/或测试人员输入的错误标识信息。
例如,***检测到第三方SDK占用内存大于预设值时触发异常标识指令,测试终端基于该异常标识指令确定异常结果(即是何种异常)以及异常脚本代码,即哪些代码段存在该种异常;又如测试人员发现某个界面存在样式不兼容的问题,则测试终端提供控件供测试人员输入错误标识,该错误标识中包含异常结果,在检测到错误标识后,基于错误标识生成异常标识指令,并确定异常结果对应位置处的异常脚本代码。
步骤S16,将所述异常脚本代码与异常结果关联存储,并基于所述异常结果生成对应的测试结果。
将异常脚本代码与异常结果关联存储,以供后续调试修复漏洞,在检测到指向异常结果的点击指令时,输出异常脚本代码,或者在检测到指向异常脚本代码时,输出异常结果。
异常结果可以直接是测试结果,也可以在对异常结果进行统计分析后,将获得的统计分析结果作为测试结果。例如,统计并输出异常结果所属指标以及出现频次。
本实施例通过获取预置的测试顺序,基于所述测试顺序获取并执行对应的测试用例脚本;在执行对应的测试用例脚本的过程中,在检测到异常标识指令时,基于该异常标识指令确定对应的异常脚本代码和异常结果;将所述异常脚本代码与异常结果关联存储,并基于所述异常结果生成对应的测试结果;可便于后续修复和测试结果输出操作。
此外,本发明还提供一种与上述第三方SDK准入测试方法各步骤对应的第三方SDK准入测试装置。
参照图3,图3为本发明第三方SDK准入测试装置第一实施例的功能模块示意图。
在本实施例中,本发明第三方SDK准入测试装置包括:
测试模块10,用于获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;
风险评分模块20,用于获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;
风险判断模块30,用于基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;
接入模块40,用于若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。
进一步地,所述测试模块10还用于获取当前测试模式,判断当前测试模式是否为紧急测试模式;若当前测试模式为紧急测试模式,则从预置的指标库中提取必要指标作为预设指标,并获得所述预设指标下的必要问题,基于所述必要问题从预置的测试用例脚本中确定对应的测试用例脚本;基于所述对应的测试用例脚本所述目标应用程序进行所述预设指标下所述必要问题的测试。
进一步地,所述风险评分模块20,还用于确定各预设指标下的必要问题,并从所述测试结果中获取各必要问题对应的测试结果;基于预置的权重分配规则和各必要问题对应的测试结果,计算获得各必要问题对应的风险权重;基于所述各必要问题对应的测试结果及风险权重计算各必要问题对应的风险评分,并基于所述各必要问题对应的风险评分计算各必要问题所属预设指标的风险评分。
进一步地,所述风险评分模块20,还用于从预置的权重分配规则中获取所述必要问题对应的权重计算方式;在所述必要问题对应的权重计算方式为问题类型分配方式时,基于预置的问题类型与风险权重的对应关系,获得所述必要问题对应的风险权重;在所述必要问题对应的权重计算方式为频次或数量分配方式时,从所述必要问题对应的测试结果中统计出所述必要问题对应的出现频次或实际数量,基于所述出现频次或实际数量与风险权重的对应关系,获得所述必要问题对应的风险权重。
进一步地,风险判断模块30,还用于从所述预设指标中确定必要指标,并计算所述必要指标的第一风险评分之和,判断所述第一风险评分之和是否小于预设阈值;若所述第一风险评分之和小于预设阈值,则输出是否将非必要指标纳入风险评分的选择提示;若检测到将非必要指标纳入风险评分的确认指令,则计算所有预设指标的第二风险评分之和,将第二风险评分之和作为第三方SDK的风险评分;若检测到将非必要指标纳入风险评分的否定指令,则将所述第一风险评分之和作为第三方SDK的风险评分。
进一步地,所述测试模块10,还用于获取预置的测试顺序,基于所述测试顺序获取并执行对应的测试用例脚本;在执行对应的测试用例脚本的过程中,在检测到异常标识指令时,基于该异常标识指令确定对应的异常脚本代码和异常结果;将所述异常脚本代码与异常结果关联存储,并基于所述异常结果生成对应的测试结果。
进一步地,所述第三方SDK准入测试装置还包括风险等级划分模块,用于获取风险评分与风险等级的对应关系;基于所述各预设指标的风险评分和所述对应关系确定所述各预设指标对应的风险等级,以列表形式输出各预设指标对应的风险等级。
本发明还提出一种存储介质,其上存储有计算机程序。所述存储介质可以是图1的第三方SDK准入测试终端中的存储器201,也可以是如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘中的至少一种,所述存储介质包括若干指令用以使得一台具有处理器的终端设备(可以是手机,计算机,服务器,网络设备或本发明实施例中的第三方SDK准入测试终端等)执行本发明各个实施例所述的方法。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者服务端不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者服务端所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者服务端中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种第三方SDK准入测试方法,其特征在于,所述第三方SDK准入测试方法包括以下步骤:
获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;
获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;
基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;
若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。
2.如权利要求1所述的第三方SDK准入测试方法,其特征在于,所述基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试的步骤包括:
获取当前测试模式,判断当前测试模式是否为紧急测试模式;
若当前测试模式为紧急测试模式,则从预置的指标库中提取必要指标作为预设指标,并获得所述预设指标下的必要问题,基于所述必要问题从预置的测试用例脚本中确定对应的测试用例脚本;
基于所述对应的测试用例脚本所述目标应用程序进行所述预设指标下所述必要问题的测试。
3.如权利要求1所述的第三方SDK准入测试方法,其特征在于,所述获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分的步骤包括:
确定各预设指标下的必要问题,并从所述测试结果中获取各必要问题对应的测试结果;
基于预置的权重分配规则和各必要问题对应的测试结果,计算获得各必要问题对应的风险权重;
基于所述各必要问题对应的测试结果及风险权重计算各必要问题对应的风险评分,并基于所述各必要问题对应的风险评分计算各必要问题所属预设指标的风险评分。
4.如权利要求3所述的第三方SDK准入测试方法,其特征在于,所述基于预置的权重分配规则和各必要问题对应的测试结果,计算获得各必要问题对应的风险权重的步骤包括:
从预置的权重分配规则中获取所述必要问题对应的权重计算方式;
在所述必要问题对应的权重计算方式为问题类型分配方式时,基于预置的问题类型与风险权重的对应关系,获得所述必要问题对应的风险权重;
在所述必要问题对应的权重计算方式为频次或数量分配方式时,从所述必要问题对应的测试结果中统计出所述必要问题对应的出现频次或实际数量,基于所述出现频次或实际数量与风险权重的对应关系,获得所述必要问题对应的风险权重。
5.如权利要求1所述的第三方SDK准入测试方法,其特征在于,所述基于所述各预设指标的风险评分确定所述第三方SDK的风险评分的步骤包括:
从所述预设指标中确定必要指标,并计算所述必要指标的第一风险评分之和,判断所述第一风险评分之和是否小于预设阈值;
若所述第一风险评分之和小于预设阈值,则输出是否将非必要指标纳入风险评分的选择提示;
若检测到将非必要指标纳入风险评分的确认指令,则计算所有预设指标的第二风险评分之和,将第二风险评分之和作为第三方SDK的风险评分;
若检测到将非必要指标纳入风险评分的否定指令,则将所述第一风险评分之和作为第三方SDK的风险评分。
6.如权利要求1所述的第三方SDK准入测试方法,其特征在于,所述基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果的步骤包括:
获取预置的测试顺序,基于所述测试顺序获取并执行对应的测试用例脚本;
在执行对应的测试用例脚本的过程中,在检测到异常标识指令时,基于该异常标识指令确定对应的异常脚本代码和异常结果;
将所述异常脚本代码与异常结果关联存储,并基于所述异常结果生成对应的测试结果。
7.如权利要求1所述的第三方SDK准入测试方法,其特征在于,所述根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分的步骤之后还包括:
获取风险评分与风险等级的对应关系;
基于所述各预设指标的风险评分和所述对应关系确定所述各预设指标对应的风险等级,以列表形式输出各预设指标对应的风险等级。
8.一种第三方SDK准入测试装置,其特征在于,所述第三方SDK准入测试装置包括:
测试模块,用于获取集成第三方SDK的目标应用程序,基于预置的测试用例脚本对所述目标应用程序进行预设指标的测试,并获得各预设指标的测试结果;
风险评分模块,用于获取各预设指标的风险权重,根据各预设指标的测试结果和风险权重计算获得各预设指标的风险评分;
风险判断模块,用于基于所述各预设指标的风险评分确定所述第三方SDK的风险评分,并判断所述第三方SDK的风险评分是否小于预设阈值;
接入模块,用于若所述第三方SDK的风险评分小于预设阈值,则判定所述第三方SDK通过准入测试。
9.一种第三方SDK准入测试终端,其特征在于,所述第三方SDK准入测试终端包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的第三方SDK准入测试程序,其中所述第三方SDK准入测试程序被所述处理器执行时,实现如权利要求1至7中任一项所述的第三方SDK准入测试方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有第三方SDK准入测试程序,其中所述第三方SDK准入测试程序被处理器执行时,实现如权利要求1至7中任一项所述的第三方SDK准入测试方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910205705.XA CN110096430B (zh) | 2019-03-16 | 2019-03-16 | 第三方sdk准入测试方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910205705.XA CN110096430B (zh) | 2019-03-16 | 2019-03-16 | 第三方sdk准入测试方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110096430A true CN110096430A (zh) | 2019-08-06 |
CN110096430B CN110096430B (zh) | 2024-06-28 |
Family
ID=67443335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910205705.XA Active CN110096430B (zh) | 2019-03-16 | 2019-03-16 | 第三方sdk准入测试方法、装置、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110096430B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674041A (zh) * | 2019-09-23 | 2020-01-10 | 凡普数字技术有限公司 | 风险控制***的调试方法、装置以及存储介质 |
CN111124891A (zh) * | 2019-12-02 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 接入状态的检测方法和装置、存储介质及电子装置 |
WO2022042726A1 (zh) * | 2020-08-28 | 2022-03-03 | 中兴通讯股份有限公司 | ***测试方法、装置、设备和存储介质 |
CN114610599A (zh) * | 2022-01-18 | 2022-06-10 | 阿里云计算有限公司 | 测试方法以及*** |
CN116860597A (zh) * | 2023-05-11 | 2023-10-10 | 钉钉(中国)信息技术有限公司 | 应用程序的检测方法、计算设备及计算机存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020184165A1 (en) * | 2001-05-31 | 2002-12-05 | International Business Corporation | Web browser-based object oriented application component test client |
US20100100781A1 (en) * | 2008-10-21 | 2010-04-22 | Synopsys, Inc. | Fully X-Tolerant, Very High Scan Compression Scan Test Systems And Techniques |
US20180206136A1 (en) * | 2017-01-17 | 2018-07-19 | Tutela Technologies Ltd. | System and Method for Evaluating Wireless Device and/or Wireless Network Performance |
CN108492169A (zh) * | 2018-01-29 | 2018-09-04 | 广州越秀金融科技有限公司 | 基于***审批场景的风险建模方法及***实现 |
CN108804323A (zh) * | 2018-06-06 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 代码质量监控方法、设备及存储介质 |
CN109102888A (zh) * | 2017-06-20 | 2018-12-28 | 深圳大森智能科技有限公司 | 一种人体健康评分方法 |
CN109359019A (zh) * | 2018-08-15 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 应用程序性能监控方法、装置、电子设备及存储介质 |
CN109408372A (zh) * | 2018-09-26 | 2019-03-01 | 平安普惠企业管理有限公司 | 公共组件测试方法、装置、计算机设备和存储介质 |
-
2019
- 2019-03-16 CN CN201910205705.XA patent/CN110096430B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020184165A1 (en) * | 2001-05-31 | 2002-12-05 | International Business Corporation | Web browser-based object oriented application component test client |
US20100100781A1 (en) * | 2008-10-21 | 2010-04-22 | Synopsys, Inc. | Fully X-Tolerant, Very High Scan Compression Scan Test Systems And Techniques |
US20180206136A1 (en) * | 2017-01-17 | 2018-07-19 | Tutela Technologies Ltd. | System and Method for Evaluating Wireless Device and/or Wireless Network Performance |
CN109102888A (zh) * | 2017-06-20 | 2018-12-28 | 深圳大森智能科技有限公司 | 一种人体健康评分方法 |
CN108492169A (zh) * | 2018-01-29 | 2018-09-04 | 广州越秀金融科技有限公司 | 基于***审批场景的风险建模方法及***实现 |
CN108804323A (zh) * | 2018-06-06 | 2018-11-13 | 中国平安人寿保险股份有限公司 | 代码质量监控方法、设备及存储介质 |
CN109359019A (zh) * | 2018-08-15 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 应用程序性能监控方法、装置、电子设备及存储介质 |
CN109408372A (zh) * | 2018-09-26 | 2019-03-01 | 平安普惠企业管理有限公司 | 公共组件测试方法、装置、计算机设备和存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674041A (zh) * | 2019-09-23 | 2020-01-10 | 凡普数字技术有限公司 | 风险控制***的调试方法、装置以及存储介质 |
CN111124891A (zh) * | 2019-12-02 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 接入状态的检测方法和装置、存储介质及电子装置 |
WO2022042726A1 (zh) * | 2020-08-28 | 2022-03-03 | 中兴通讯股份有限公司 | ***测试方法、装置、设备和存储介质 |
CN114610599A (zh) * | 2022-01-18 | 2022-06-10 | 阿里云计算有限公司 | 测试方法以及*** |
CN116860597A (zh) * | 2023-05-11 | 2023-10-10 | 钉钉(中国)信息技术有限公司 | 应用程序的检测方法、计算设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110096430B (zh) | 2024-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110096430A (zh) | 第三方sdk准入测试方法、装置、终端及存储介质 | |
CN107992401B (zh) | 性能测试评价方法、装置、终端设备及存储介质 | |
US9710257B2 (en) | System and method to map defect reduction data to organizational maturity profiles for defect projection modeling | |
CN111078482B (zh) | 通讯导航设备测试***、方法、设备和可读存储介质 | |
CN106708818A (zh) | 一种压力测试方法和*** | |
CN114546738B (zh) | 服务器通用测试方法、***、终端及存储介质 | |
CN106487603A (zh) | 一种响应测试方法及装置 | |
CN107038120A (zh) | 一种软件测试方法和设备 | |
CN114511235A (zh) | 流程评估方法及*** | |
CN113656174A (zh) | 资源分配方法、***、计算机设备和存储介质 | |
CN110503567A (zh) | 数据校验方法、设备、存储介质及装置 | |
CN112333246B (zh) | 一种ABtest实验方法、装置、智能终端及存储介质 | |
CN116860314A (zh) | 代码管理方法、装置、电子设备及存储介质 | |
CN113986753A (zh) | 接口测试方法、装置、设备及存储介质 | |
CN109858632A (zh) | 一种确定阈值的方法及装置 | |
CN112799956B (zh) | 资产识别能力测试方法、装置及***装置 | |
CN115080412A (zh) | 软件更新质量评估方法、装置、设备及计算机存储介质 | |
CN114637685A (zh) | 银行***中应用程序的性能测试方法、装置、设备和介质 | |
CN113760672A (zh) | 多云平台资源的性能测试方法、设备及存储介质 | |
CN110362466A (zh) | 出价逻辑测试方法、装置、计算机设备及存储介质 | |
CN114816956A (zh) | 接口性能测试方法及装置 | |
CN115935138B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112098920B (zh) | 智能电能表剩余电流监测功能的测试装置、方法及*** | |
CN116909903A (zh) | ***的测试方法、装置、设备及存储介质 | |
CN117314121A (zh) | 基于人员调配的信息处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |