CN110209576A - 测试用例覆盖率的计算方法及相关设备 - Google Patents

测试用例覆盖率的计算方法及相关设备 Download PDF

Info

Publication number
CN110209576A
CN110209576A CN201910421939.8A CN201910421939A CN110209576A CN 110209576 A CN110209576 A CN 110209576A CN 201910421939 A CN201910421939 A CN 201910421939A CN 110209576 A CN110209576 A CN 110209576A
Authority
CN
China
Prior art keywords
test case
program
mark
subprogram
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910421939.8A
Other languages
English (en)
Inventor
颜平平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910421939.8A priority Critical patent/CN110209576A/zh
Publication of CN110209576A publication Critical patent/CN110209576A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3676Test management for coverage analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及测试技术领域中的测试管理,尤其涉及一种测试用例覆盖率的计算方法及相关设备,应用于管理设备,该方法包括:获取目标测试用例和目标测试用例关联的目标程序;获取目标测试用例的M个测试用例标识和目标程序的N个程序标识;将N个程序标识中的每个程序标识与M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;基于匹配结果确定测试用例覆盖率。采用本申请实施例可用于简化软件设计中代码缺陷的检验方法。

Description

测试用例覆盖率的计算方法及相关设备
技术领域
本申请涉及测试技术领域,尤其涉及一种测试用例覆盖率的计算方法及相关设备。
背景技术
覆盖率是度量测试完整性的一个手段,是测试有效性的一个度量。目前,在软件开发过程中,检测软件设计缺陷的常用方法是计算代码的覆盖率。其具体实现方式为:编译阶段在源代码中***探针函数,通过测试运行编译后的源代码来快速定位哪些代码没有被运行,从而发现软件设计中的缺陷。然而,这种代码缺陷检验方法需要测试人员具有编程能力,步骤繁琐复杂。
发明内容
本申请实施例提供一种测试用例覆盖率的计算方法及相关设备,用于简化软件设计中代码缺陷的检验方法。
第一方面,本申请实施例提供一种测试用例覆盖率的计算方法,应用于管理设备,所述方法包括:
获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数;
获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识;
将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;
基于所述匹配结果确定测试用例覆盖率。
第二方面,本申请实施例提供一种测试用例覆盖率的计算装置,应用于管理设备,所述装置包括:
获取单元,用于获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数;获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识;
匹配单元,用于将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;
确定单元,用于基于所述匹配结果确定测试用例覆盖率。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质用于存储计算机程序,其中,上述计算机程序被处理器执行,以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,在本申请实施例中,管理设备先获取目标测试用例和目标测试用例关联的目标程序,目标测试用例的M个子测试用例对应M个测试用例标识和目标程序的N个子程序对应N个程序标识,然后将每个程序标识与每个测试用例标识进行关键字匹配,基于所述匹配结果确定测试用例覆盖率。在将每个程序标识与每个测试用例标识进行关键字匹配的过程中,不需要对目标程序***探针函数和编译运行,直接匹配测试用例标识和程序标识就可以得到测试用例覆盖率,然后通过测试用例覆盖率可以判断目标程序的完整程度,从而简化软件设计中代码缺陷的检验方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种测试用例覆盖率的计算方法的流程示意图;
图2是本申请实施例提供的另一种测试用例覆盖率的计算方法的流程示意图;
图3是本申请实施例提供的一种管理设备的结构示意图;
图4是本申请实施例提供的一种测试用例覆盖率的计算装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
管理设备、第一电子设备和第二电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备、服务设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
请参见图1,图1是本申请实施例提供的一种测试用例覆盖率的计算方法的流程示意图,应用于管理设备,该方法包括:
步骤101:获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数。
其中,目标测试用例(Test Case)是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果,以便测试某个程序路径或核实是否满足某个特定需求。测试用例包括以下至少一种信息:软件或项目的名称、软件或项目的版本、功能模块名、测试用例的简单描述、测试用例的参考信息、本测试用例与其他测试用例间的依赖关系、本用例的前置条件、用例的编号(ID)、步骤号、操作步骤描述、测试数据描述、预期结果和实际结果、开发人员和测试人员、测试执行日期。
其中,每个子测试用例对应的一个测试用例标识用于唯一识别子测试用例,测试用例标识可以为子测试用例ID,可以为子测试用例的应用场景,也可以为子测试用例的测试步骤,还可以为子测试用例的预期结果,还可以为其他能唯一识别子测试用例的标识,在此不作限定。
其中,目标程序是一组计算机能识别和执行的指令,运行于电子计算机上,满足人们某种需求的信息化工具。
其中,每个子程序对应的一个程序标识可以是子程序的程序ID,也可以是子程序的应用场景,还可以为子程序的功能描述,在此不作限定。
举例说明,表1是一个登录界面测试用例,该登记界面测试用例实现以下功能:用户在地址栏输入相应地址,要求显示登录界面;输入用户名和密码,登录,***自动校验,并给出相应提示信息;如果用户名或者密码任一信息未输入,登录后***给出相应提示信息;连续3次未通过验证时,自动关闭浏览器。
表1
步骤102:获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识。
进一步地,所述目标测试用例的M个测试用例标识是在所述目标测试用例的编写阶段基于对应的子测试用例命名的测试用例标识,所述N个程序标识是在目标程序编程阶段基于对应的子程序命名的程序标识。
步骤103:将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果。
其中,将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配的具体实现方式可以为:将所述N个程序标识中的程序标识i的关键字与所述M个测试用例标识中的每个测试用例标识的关键字进行关键字匹配,直至所述N个程序标识中所有的程序标识的关键字均与所述M个测试用例标识中的每个测试用例标识的关键字进行关键字匹配;也可以是将所述M个测试用例标识中的测试用例标识j的关键字与所述N个程序标识中的每个程序标识的关键字进行关键字匹配,直至所述M个测试用例标识中所有的测试用例标识的关键字均与所述N个程序标识中的每个程序标识的关键字进行关键字匹配,在此不作限定。
表2
举例说明,表2为一个获取的登录界面测试用例的测试用例标识与登录界面测应用程序的程序标识一一对应关系表。具体匹配方式可以是将测试用例标识中的“初始页面显示”的关键字“初始页面显示”与程序标识中的“初始页面显示1.0”的关键字“初始页面显示”、“User Log In_1.0”的关键字“User Log In”、“用户名-容错性验证1.0”的关键字“用户名-容错性验证”、“用户名-容错性验证2.0”的关键字“用户名-容错性验证”、“用户名-容错性验证3.0”的关键字“用户名-容错性验证”、“***登录-成功1.0”的关键字“***登录-成功”进行关键字匹配,也可以是将程序标识中的“初始页面显示1.0”的关键字“初始页面显示”与测试用例标识中的“初始页面显示”的关键字“初始页面显示”、“用户名录入-验证”的关键字“用户名-录入验证”、“用户名-容错性验证”的关键字“用户名-容错性验证”、“密码-密码录入”的关键字“密码-密码录入”、“***登录-成功”的关键字“***登录-成功”进行关键字匹配。
步骤104:基于所述匹配结果确定测试用例覆盖率。
本申请的一实现方式中,所述匹配结果包括Q个匹配成功记录,每个匹配成功记录均包括一个测试用例标识和所述一个测试用例标识匹配的至少一个程序标识,所述基于所述匹配结果确定测试用例覆盖率,包括:
确定所述Q个匹配成功记录中记录的Q个测试用例标识,所述Q为大于或等于0且小于或等于M的整数;
基于第一公式确定测试用例覆盖率,所述第一公式为:P=Q/M,所述P为测试用例覆盖率。
表3
举例说明,表3为另一个获取的登录界面测试用例的测试用例标识与登录界面测应用程序的程序标识一一对应关系表。根据步骤103,可以得到3个匹配成功记录:测试用例TC1的测试用例标识“初始页面显示”与子程序AP1的程序标识“初始页面显示1.0”匹配成功、测试用例TC3的测试用例标识“用户名-容错性验证”与子程序AP2的程序标识“用户名-容错性验证1.0”、AP3的程序标识“用户名-容错性验证2.0”、AP5的程序标识“用户名-容错性验证3.0”均匹配成功、测试用例TC5的测试用例标识“***登录-成功”与子程序AP6的程序标识“***登录-成功1.0”匹配成功。因此,基于第一公式可确定表3中的测试用例覆盖率为60%。
可以看出,在本申请实施例中,管理设备先获取目标测试用例和目标测试用例关联的目标程序,目标测试用例的M个子测试用例对应M个测试用例标识和目标程序的N个子程序对应N个程序标识,然后将每个程序标识与每个测试用例标识进行关键字匹配,基于所述匹配结果确定测试用例覆盖率。在将每个程序标识与每个测试用例标识进行关键字匹配的过程中,不需要对目标程序***探针函数和编译运行,直接匹配测试用例标识和程序标识就可以得到测试用例覆盖率,然后通过测试用例覆盖率可以判断目标程序的完整程度,从而简化软件设计中代码缺陷的检验方法。
在本申请的一实现方式中,所述管理设备包括输出模块,所述方法还包括:
通过所述输出模块输出所述Q个测试用例标识、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识和所述测试用例覆盖率。
进一步地,通过所述输出模块输出所述Q个测试用例标识、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识和所述测试用例覆盖率,包括:
确定所述Q个测试用例标识的第一输出参数、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识的第二输出参数和所述测试用例覆盖率的第三输出参数;
通过所述输出模块基于所述第一输出参数输出所述Q个测试用例标识,基于所述第二输出参数输出所述M-Q个测试用例标识,以及基于所述第一输出参数输出所述测试用例覆盖率。
其中,第一输出参数、第一输出参数或第三输出参数包括以下至少一种:字体颜色、字体粗细、字体大小、字体背景。第一输出参数、第一输出参数和第三输出参数可以相同,也可以不同,在此不做限定。
可以看出,在本申请实施例中,基于第一输出参数输出匹配成功的Q个测试用例标识,基于第二输出参数输出匹配失败的M-Q个测试用例标识,基于第三输出参数输出测试用例覆盖率,不同的输出参数显示不同的部分,以便提醒用户和方便用户后续对测试用例覆盖率进行分析和处理。
在本申请的一实现方式中,所述方法还包括:
在所述测试用例覆盖率低于或等于预设阈值时,向所述管理设备关联的测试人员的第一电子设备发送第一指令,所述第一指令携带所述M-Q个测试用例标识,所述第一指令用于请求所述测试人员从所述M-Q个测试用例标识中选择K个测试用例标识,所述K为大于0且小于或等于M-Q的整数;
在接收到所述第一电子设备针对所述第一指令发送的携带所述测试人员选择出的K个测试用例标识的第一响应时,向所述管理设备关联的研发人员的第二电子设备发送第二指令,所述第二指令携带所述选择出的K个测试用例标识,所述第二指令用于通知所述研发人员增加K个子程序至所述目标程序中,所述K个子程序对应的K个子程序标识能够与所述选择出的K个测试用例标识匹配成功。
其中,预设阈值可以是40%、60%、80%或是其他值,在此不作限定。
举例说明,假定预设阈值为80%,如表3所示,测试用例覆盖率为60%,向所述管理设备关联的测试人员的第一电子设备发送第一指令,所述第一指令携带所述2个测试用例标识“用户名录入-验证”和“密码-密码录入”,则所述选择出的K个测试用例标识为“用户名录入-验证”和/或“密码-密码录入”。
可以看出,在本申请实施例中,在测试用例覆盖率低于或等于预设阈值时,向管理设备关联的测试人员的第一电子设备发送第一指令,以用于提醒测试人员测试用例覆盖率偏低;向管理设备关联的研发人员的第二电子设备发送第二指令,以用于通知研发人员按照测试人员的要求补充新的子程序,智能的解决了测试用例覆盖率偏低的问题。
在本申请的一实现方式中,所述方法还包括:
在接收到所述第二电子设备针对所述第二指令发送的携带所述研发人员增加的K个子程序的第二响应时,将所述增加的K个子程序添加至所述目标程序中,以及编译包括所述增加的K个子程序的目标程序,以使得所述增加的K个子程序能够被运行。
可以看出,在本申请实施例中,在接收到第二电子设备针对第二指令发送的携带研发人员增加的K个子程序的第二响应时,将增加的K个子程序添加至目标程序中,以及编译包括增加的K个子程序的目标程序,不需要人为的更新目标程序和编译目标程序,简化了目标程序的更新和编译的流程,从而提升了工作的效率。
在本申请的一实现方式中,所述编译包括所述K个子程序的目标程序之前,所述方法还包括:
确定所述匹配结果中Q个测试用例匹配的多个程序标识;
确定所述多个程序标识对应的多个子程序;
删除所述N个子程序中除所述多个程序标识对应的多个子程序之外的子程序。
举例说明,如表3所示,假定有10个子程序:AP1、AP2、AP3、AP4、AP5、AP6、AP7、AP8、AP9、AP10,3个匹配成功记录中与3个测试用例标识匹配成功的5个程序标识对应的5个子程序分别为:AP1、AP2、AP3、AP5、AP6,则删除子程序AP4、AP7、AP8、AP9、AP10。
可以看出,在本申请实施例中,删除多余的子程序,提升了目标程序源代码的简洁性和可读性,从而也节省了电子设备的内存。
在本申请的一实现方式中,若所述Q个成功记录中有H个匹配成功记录包括的一个测试用例标识与至少两个程序标识匹配,所述编译包括所述K个子程序的目标程序之前,所述方法还包括:
确定所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序;
获取所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序的编辑时间;
将所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序中的目标子程序删除,所述目标子程序删除的编辑时间早于或等于预设时间。
举例说明,如表3所示,5个子程序AP1、AP2、AP3、AP5、AP6中,与测试用例标识“用户名-容错性验证”匹配成功的有3个子程序AP2、AP3、AP5的程序标识,假定AP2的编辑时间为2019年1月18日、AP3的编辑时间为2019年1月20日和AP5的编辑时间为2019年1月23日,预设时间为2019年1月20日,则删除子程序AP2和AP3。
可以看出,在本申请实施例中,基于编辑时间删除目标程序在更新过程中旧版本产生的垃圾,提升了目标程序源代码的简洁性和可读性,从而也节省了电子设备的内存。
与所述图1所示的实施例一致的,请参阅图2,图2是本申请实施例提供的另一种测试用例覆盖率的计算方法的流程示意图,应用于管理设备,该方法包括:
步骤201:获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数。
步骤202:获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识。
步骤203:将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果。
步骤204:所述匹配结果包括Q个匹配成功记录,每个匹配成功记录均包括一个测试用例标识和所述一个测试用例标识匹配的至少一个程序标识,确定所述Q个匹配成功记录中记录的Q个测试用例标识,所述Q为大于或等于0且小于或等于M的整数。
步骤205:基于第一公式确定测试用例覆盖率,所述第一公式为:P=Q/M,所述P为测试用例覆盖率。
步骤206:所述管理设备包括输出模块,通过所述输出模块输出所述Q个测试用例标识、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识和所述测试用例覆盖率。
步骤207:在所述测试用例覆盖率低于或等于预设阈值时,向所述管理设备关联的测试人员的第一电子设备发送第一指令,所述第一指令携带所述M-Q个测试用例标识,所述第一指令用于请求所述测试人员从所述M-Q个测试用例标识中选择K个测试用例标识,所述K为大于0且小于或等于M-Q的整数。
步骤208:在接收到所述第一电子设备针对所述第一指令发送的携带所述测试人员选择出的K个测试用例标识的第一响应时,向所述管理设备关联的研发人员的第二电子设备发送第二指令,所述第二指令携带所述选择出的K个测试用例标识,所述第二指令用于通知所述研发人员增加K个子程序至所述目标程序中,所述K个子程序对应的K个子程序标识能够与所述选择出的K个测试用例标识匹配成功。
步骤209:确定所述匹配结果中Q个测试用例匹配的多个程序标识。
步骤210:确定所述多个程序标识对应的多个子程序。
步骤211:删除所述N个子程序中除所述多个程序标识对应的多个子程序之外的子程序。
步骤212:若所述Q个成功记录中有H个匹配成功记录包括的一个测试用例标识与至少两个程序标识匹配,确定所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序。
步骤213:获取所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序的编辑时间。
步骤214:将所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序中的目标子程序删除,所述目标子程序删除的编辑时间早于或等于预设时间。
步骤215:在接收到所述第二电子设备针对所述第二指令发送的携带所述研发人员增加的K个子程序的第二响应时,将所述增加的K个子程序添加至所述目标程序中,以及编译包括所述增加的K个子程序的目标程序,以使得所述增加的K个子程序能够被运行。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
与上述图1和图2所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种电子设备的结构示意图,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数;
获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识;
将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;
基于所述匹配结果确定测试用例覆盖率。
可以看出,在本申请实施例中,管理设备先获取目标测试用例和目标测试用例关联的目标程序,目标测试用例的M个子测试用例对应M个测试用例标识和目标程序的N个子程序对应N个程序标识,然后将每个程序标识与每个测试用例标识进行关键字匹配,基于所述匹配结果确定测试用例覆盖率。在将每个程序标识与每个测试用例标识进行关键字匹配的过程中,不需要对目标程序***探针函数和编译运行,直接匹配测试用例标识和程序标识就可以得到测试用例覆盖率,然后通过测试用例覆盖率可以判断目标程序的完整程度,从而简化软件设计中代码缺陷的检验方法。
在本申请的一实现方式中,所述匹配结果包括Q个匹配成功记录,每个匹配成功记录均包括一个测试用例标识和所述一个测试用例标识匹配的至少一个程序标识,在基于所述匹配结果确定测试用例覆盖率方面,上述程序包括具体用于执行以下步骤的指令:
确定所述Q个匹配成功记录中记录的Q个测试用例标识,所述Q为大于或等于0且小于或等于M的整数;
基于第一公式确定测试用例覆盖率,所述第一公式为:P=Q/M,所述P为测试用例覆盖率。
在本申请的一实现方式中,所述管理设备包括输出模块,上述程序包括还用于执行以下步骤的指令:
通过所述输出模块输出所述Q个测试用例标识、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识和所述测试用例覆盖率。
在本申请的一实现方式中,上述程序包括还用于执行以下步骤的指令:
在所述测试用例覆盖率低于或等于预设阈值时,向所述管理设备关联的测试人员的第一电子设备发送第一指令,所述第一指令携带所述M-Q个测试用例标识,所述第一指令用于请求所述测试人员从所述M-Q个测试用例标识中确定K个测试用例标识,所述K为大于0且小于或等于M-Q的整数;
在接收到所述第一电子设备针对所述第一指令发送的携带所述测试人员选择出的K个测试用例标识的第一响应时,向所述管理设备关联的研发人员的第二电子设备发送第二指令,所述第二指令携带所述选择出的K个测试用例标识,所述第二指令用于通知所述研发人员增加K个子程序至所述目标程序中,所述K个子程序对应的K个子程序标识能够与所述选择出的K个测试用例标识匹配成功。
在本申请的一实现方式中,上述程序包括还用于执行以下步骤的指令:
在接收到所述第二电子设备针对所述第二指令发送的携带所述研发人员增加的K个子程序的第二响应时,将所述增加的K个子程序添加至所述目标程序中,以及编译包括所述增加的K个子程序的目标程序,以使得所述增加的K个子程序能够被运行。
在本申请的一实现方式中,在编译包括所述K个子程序的目标程序之前,上述程序包括还用于执行以下步骤的指令:
确定所述匹配结果中Q个测试用例匹配的多个程序标识;
确定所述多个程序标识对应的多个子程序;
删除所述N个子程序中除所述多个程序标识对应的多个子程序之外的子程序。
在本申请的一实现方式中,若所述Q个成功记录中有H个匹配成功记录包括的一个测试用例标识与至少两个程序标识匹配,在编译包括所述K个子程序的目标程序之前,上述程序包括还用于执行以下步骤的指令:
确定所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序;
获取所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序的编辑时间;
将所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序中的目标子程序删除,所述目标子程序删除的编辑时间早于或等于预设时间。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面为本申请装置实施例,本申请装置实施例用于执行本申请方法实施例所实现的方法。请参阅图4,本申请实施例提供的一种测试用例覆盖率的计算装置,应用于管理设备,该测试用例覆盖率的计算装置包括:
获取单元401,用于获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数;获取所述目标测试用例的每个子测试用例的测试用例标识和所述目标程序的每个子程序的程序标识;
匹配单元402,用于将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;
确定单元403,用于基于所述匹配结果确定测试用例覆盖率。
可以看出,在本申请实施例中,管理设备先获取目标测试用例和目标测试用例关联的目标程序,目标测试用例的M个子测试用例对应M个测试用例标识和目标程序的N个子程序对应N个程序标识,然后将每个程序标识与每个测试用例标识进行关键字匹配,基于所述匹配结果确定测试用例覆盖率。在将每个程序标识与每个测试用例标识进行关键字匹配的过程中,不需要对目标程序***探针函数和编译运行,直接匹配测试用例标识和程序标识就可以得到测试用例覆盖率,然后通过测试用例覆盖率可以判断目标程序的完整程度,从而简化软件设计中代码缺陷的检验方法。
在本申请的一实现方式中,所述匹配结果包括Q个匹配成功记录,每个匹配成功记录均包括一个测试用例标识和所述一个测试用例标识匹配的一个程序标识,在基于所述匹配结果确定测试用例覆盖率方面,所述确定单元403具体用于:
确定所述Q个匹配成功记录中记录的Q个测试用例标识,所述Q为大于或等于0且小于或等于M的整数;基于第一公式确定测试用例覆盖率,所述第一公式为:P=Q/M,所述P为测试用例覆盖率。
在本申请的一实现方式中,所述管理设备包括输出模块,所述装置还包括输出单元404,用于:
通过所述输出模块输出所述Q个测试用例标识、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识和所述测试用例覆盖率。
在本申请的一实现方式中,所述装置还包括通信单元405,用于:
在所述测试用例覆盖率低于或等于预设阈值时,向所述管理设备关联的测试人员的第一电子设备发送第一指令,所述第一指令携带所述M-Q个测试用例标识,所述第一指令用于请求所述测试人员从所述M-Q个测试用例标识中确定K个测试用例标识,所述K为大于0且小于或等于M-Q的整数;
在接收到所述第一电子设备针对所述第一指令发送的携带所述测试人员选择出的K个测试用例标识的第一响应时,向所述管理设备关联的研发人员的第二电子设备发送第二指令,所述第二指令携带所述选择出的K个测试用例标识,所述第二指令用于通知所述研发人员增加K个子程序至所述目标程序中,所述K个子程序对应的K个子程序标识能够与所述选择出的K个测试用例标识匹配成功。
在本申请的一实现方式中,所述装置还包括添加编译单元406,用于:
在接收到所述第二电子设备针对所述第二指令发送的携带所述研发人员增加的K个子程序的第二响应时,将所述增加的K个子程序添加至所述目标程序中,以及编译包括所述增加的K个子程序的目标程序,以使得所述增加的K个子程序能够被运行。
在本申请的一实现方式中,在编译包括所述K个子程序的目标程序之前,所述确定单元403,还用于确定所述匹配结果中Q个测试用例匹配的多个程序标识;确定所述多个程序标识对应的多个子程序;
所述装置还包括删除单元407,用于删除所述N个子程序中除所述多个程序标识对应的多个子程序之外的子程序。
在本申请的一实现方式中,若所述Q个成功记录中有H个匹配成功记录包括的一个测试用例标识与至少两个程序标识匹配,在编译包括所述K个子程序的目标程序之前,所述确定单元403,还用于确定所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序;
所述获取单元401,还用于获取所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序的编辑时间;
所述删除单元407,还用于将所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序中的目标子程序删除,所述目标子程序删除的编辑时间早于或等于预设时间。
需要说明的是,获取单元401、匹配单元402、确定单元403、输出单元404、添加编译单元406和删除单元407可通过处理器实现,通信单元405可通过通信接口。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于存储计算机程序,该计算机程序被处理器执行如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种测试用例覆盖率的计算方法,其特征在于,应用于管理设备,所述方法包括:
获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数;
获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识;
将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;
基于所述匹配结果确定测试用例覆盖率。
2.根据权利要求1所述的方法,其特征在于,所述匹配结果包括Q个匹配成功记录,每个匹配成功记录均包括一个测试用例标识和所述一个测试用例标识匹配的至少一个程序标识,所述基于所述匹配结果确定测试用例覆盖率,包括:
确定所述Q个匹配成功记录中记录的Q个测试用例标识,所述Q为大于或等于0且小于或等于M的整数;
基于第一公式确定测试用例覆盖率,所述第一公式为:P=Q/M,所述P为测试用例覆盖率。
3.根据权利要求2所述的方法,其特征在于,所述管理设备包括输出模块,所述方法还包括:
通过所述输出模块输出所述Q个测试用例标识、所述M个测试用例标识中除所述Q个测试用例标识之外的M-Q个测试用例标识和所述测试用例覆盖率。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
在所述测试用例覆盖率低于或等于预设阈值时,向所述管理设备关联的测试人员的第一电子设备发送第一指令,所述第一指令携带所述M-Q个测试用例标识,所述第一指令用于请求所述测试人员从所述M-Q个测试用例标识中选择K个测试用例标识,所述K为大于0且小于或等于M-Q的整数;
在接收到所述第一电子设备针对所述第一指令发送的携带所述测试人员选择出的K个测试用例标识的第一响应时,向所述管理设备关联的研发人员的第二电子设备发送第二指令,所述第二指令携带所述选择出的K个测试用例标识,所述第二指令用于通知所述研发人员增加K个子程序至所述目标程序中,所述K个子程序对应的K个子程序标识能够与所述选择出的K个测试用例标识匹配成功。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在接收到所述第二电子设备针对所述第二指令发送的携带所述研发人员增加的K个子程序的第二响应时,将所述增加的K个子程序添加至所述目标程序中,以及编译包括所述增加的K个子程序的目标程序,以使得所述增加的K个子程序能够被运行。
6.根据权利要求5所述的方法,其特征在于,所述编译包括所述K个子程序的目标程序之前,所述方法还包括:
确定所述匹配结果中Q个测试用例匹配的多个程序标识;
确定所述多个程序标识对应的多个子程序;
删除所述N个子程序中除所述多个程序标识对应的多个子程序之外的子程序。
7.根据权利要求6所述的方法,其特征在于,若所述Q个成功记录中有H个匹配成功记录包括的一个测试用例标识与至少两个程序标识匹配,所述编译包括所述K个子程序的目标程序之前,所述方法还包括:
确定所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序;
获取所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序的编辑时间;
将所述H个匹配成功记录中每个匹配成功记录包括的至少两个程序标识对应的至少两个子程序中的目标子程序删除,所述目标子程序删除的编辑时间早于或等于预设时间。
8.一种测试用例覆盖率的计算装置,其特征在于,应用于管理设备,所述装置包括:
获取单元,用于获取目标测试用例和所述目标测试用例关联的目标程序,所述目标测试用例包含M个子测试用例,每个子测试用例对应一个测试用例标识,所述目标程序有N个子程序,每个子程序对应一个程序标识,所述M和所述N均为大于或等于1的整数;获取所述目标测试用例的M个测试用例标识和所述目标程序的N个程序标识;
匹配单元,用于将所述N个程序标识中的每个程序标识与所述M个测试用例标识中的每个测试用例标识进行关键字匹配,以得到匹配结果;
确定单元,用于基于所述匹配结果确定测试用例覆盖率。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行,以实现如权利要求1-7任一项所述的方法。
CN201910421939.8A 2019-05-21 2019-05-21 测试用例覆盖率的计算方法及相关设备 Pending CN110209576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910421939.8A CN110209576A (zh) 2019-05-21 2019-05-21 测试用例覆盖率的计算方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910421939.8A CN110209576A (zh) 2019-05-21 2019-05-21 测试用例覆盖率的计算方法及相关设备

Publications (1)

Publication Number Publication Date
CN110209576A true CN110209576A (zh) 2019-09-06

Family

ID=67787906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910421939.8A Pending CN110209576A (zh) 2019-05-21 2019-05-21 测试用例覆盖率的计算方法及相关设备

Country Status (1)

Country Link
CN (1) CN110209576A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400189A (zh) * 2020-03-25 2020-07-10 平安银行股份有限公司 代码覆盖率监测方法、装置、电子设备及存储介质
CN111639031A (zh) * 2020-06-01 2020-09-08 电信科学技术第十研究所有限公司 一种基于测试数据的覆盖评估方法及装置
CN112380125A (zh) * 2020-11-16 2021-02-19 中信银行股份有限公司 测试案例的推荐方法、装置、电子设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100095274A1 (en) * 2008-10-10 2010-04-15 American Express Travel Related Services Company, Inc. System, Computer Program, and Method for a Static Code Coverage Analyzer for Computer Programs
US20150161026A1 (en) * 2013-12-09 2015-06-11 International Business Machines Corporation System and method for determining test coverage
US20160034382A1 (en) * 2014-08-01 2016-02-04 Unisys Corporation Automated regression test case selector and black box test coverage tool for product testing
CN107797923A (zh) * 2017-10-10 2018-03-13 平安科技(深圳)有限公司 代码覆盖率分析方法及应用服务器
CN108038052A (zh) * 2017-11-27 2018-05-15 平安科技(深圳)有限公司 自动化测试管理方法、装置、终端设备及存储介质
CN109308263A (zh) * 2018-09-29 2019-02-05 北京云测信息技术有限公司 一种小程序测试方法、装置及设备
CN109766263A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 自动化测试分析处理方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100095274A1 (en) * 2008-10-10 2010-04-15 American Express Travel Related Services Company, Inc. System, Computer Program, and Method for a Static Code Coverage Analyzer for Computer Programs
US20150161026A1 (en) * 2013-12-09 2015-06-11 International Business Machines Corporation System and method for determining test coverage
US20160034382A1 (en) * 2014-08-01 2016-02-04 Unisys Corporation Automated regression test case selector and black box test coverage tool for product testing
CN107797923A (zh) * 2017-10-10 2018-03-13 平安科技(深圳)有限公司 代码覆盖率分析方法及应用服务器
CN108038052A (zh) * 2017-11-27 2018-05-15 平安科技(深圳)有限公司 自动化测试管理方法、装置、终端设备及存储介质
CN109308263A (zh) * 2018-09-29 2019-02-05 北京云测信息技术有限公司 一种小程序测试方法、装置及设备
CN109766263A (zh) * 2018-12-15 2019-05-17 深圳壹账通智能科技有限公司 自动化测试分析处理方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TEEMU KANSTRÉN: "Towards a deeper understanding of test coverage", 《JOURNAL OF SOFTWARE MAINTENANCE AND EVOLUTION: RESEARCH AND PRACTICE》, vol. 20, no. 1, 28 February 2008 (2008-02-28), pages 59 - 76 *
董昕;牟永敏;于秀山;: "代码覆盖与功能覆盖映射方法探究", 数据通信, no. 03, 28 June 2016 (2016-06-28), pages 9 - 17 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400189A (zh) * 2020-03-25 2020-07-10 平安银行股份有限公司 代码覆盖率监测方法、装置、电子设备及存储介质
CN111639031A (zh) * 2020-06-01 2020-09-08 电信科学技术第十研究所有限公司 一种基于测试数据的覆盖评估方法及装置
CN111639031B (zh) * 2020-06-01 2023-06-30 电信科学技术第十研究所有限公司 一种基于测试数据的覆盖评估方法及装置
CN112380125A (zh) * 2020-11-16 2021-02-19 中信银行股份有限公司 测试案例的推荐方法、装置、电子设备及可读存储介质
CN112380125B (zh) * 2020-11-16 2024-04-26 中信银行股份有限公司 测试案例的推荐方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN110209576A (zh) 测试用例覆盖率的计算方法及相关设备
CN107944380A (zh) 身份识别方法、装置及存储设备
CN106804055B (zh) 一种无线保真Wi-Fi连接方法及移动终端
CN106021118B (zh) 测试代码生成方法及装置、测试框架代码执行方法及装置
CN109256147A (zh) 音频节拍检测方法、装置及存储介质
CN107957956A (zh) 软件差异覆盖率的测试方法、装置及可读存储介质
CN110335139A (zh) 基于相似度的评估方法、装置、设备及可读存储介质
CN107105093A (zh) 基于手部轨迹的拍照控制方法、装置及终端
CN109739983A (zh) 识别公安笔录人物关系的方法、装置及计算机可读介质
EP4193261A1 (en) Test script generation from test specifications using natural language processing
CN108959067A (zh) 搜索引擎的测试方法、装置及计算机可读存储介质
CN112181835A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN109885474A (zh) 测试用例编辑方法及装置、终端和计算机可读存储介质
CN109492081A (zh) 文本信息搜索和信息交互方法、装置、设备及存储介质
CN109491913A (zh) 基于物联网的电池管理***测试方法及***
CN110321285A (zh) 测试用例处理方法及相关设备
CN110460617A (zh) 机考考试***及相关产品
CN112035630A (zh) 结合rpa和ai的对话交互方法、装置、设备及存储介质
CN106251114A (zh) 应用中实现审批的方法和装置
CN106951373A (zh) 一种用于电网网管移动运维软件的自动化测试方法及装置
CN107969154A (zh) 隐私管理
CN109032864A (zh) 一种NVMe SSD热插拔测试的方法及***
CN109699003B (zh) 位置确定方法及装置
CN106933744A (zh) 节点修订状态标记方法及装置、电子设备及存储介质
CN110362672A (zh) 表单显示方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination