CN109062794A - 一种软件测评结果的确定方法、装置及电子设备 - Google Patents
一种软件测评结果的确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109062794A CN109062794A CN201810816785.8A CN201810816785A CN109062794A CN 109062794 A CN109062794 A CN 109062794A CN 201810816785 A CN201810816785 A CN 201810816785A CN 109062794 A CN109062794 A CN 109062794A
- Authority
- CN
- China
- Prior art keywords
- test
- case
- bug
- test case
- attributive character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明实施例提供了一种软件测评结果的确定方法、装置及电子设备，方案如下：可以获取针对待测软件进行测试所需的多个测试用例，针对每个测试用例，基于该测试的各属性特征，确定能够表示该测试用例的各属性特征的用例编号，获取使用该测试用例对待测软件进行测试所产生的bug，作为该测试用例对应的测试bug，针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号与该测试bug进行关联，得到测试bug与用例编号之间的关联关系，基于关联关系，确定待测软件的测评结果。采用本发明实施例提供的方案，可以根据测试bug与用例编号之间的关联关系，便于确定待测软件的测评结果，提高了软件测评的效率。
Description
技术领域
本发明涉及软件测试技术领域，特别是涉及一种软件测评结果的确定方法、装置及电子设备。
背景技术
软件测试是软件开发过程中的重要组成部分，开发人员根据开发要求建造出软件***或者***中的软件部分。在软件开发过程中，开发人员每开发出一个版本，测试人员需要对当前开发的版本进行测试，并根据测试结果做出软件评估，之后，测试人员会将软件测评结果提交到bug管理***中。开发人员根据bug管理***中反映的测评问题对当前版本进行优化，设计出新的版本，再由测试人员进行软件测评，从而形成一个良性循环，最终达到开发要求。
然而，在测试过程中，每一个版本的测试都是由多名测试人员共同完成的，同时，每一个版本包括多个功能模块，测试人员需要针对不同的功能模块设计出对应的测试用例，根据测试用例对版本进行测试。在测试过程中，随着版本的不断迭代，测试用例的数量越来越多，每一次测试产生的bug(漏洞)往往有数百个，甚至可以达到数千个。
一般来说，在整个测试过程中，首先由测试人员根据测试用例对当前版本进行测试，测试后会产生对应的bug，然后测试人员会将每一个测试用例产生的bug贴在对应的测试用例后面，以此将测试用例与bug进行关联，之后测试人员会统计所有的测试用例与其产生的bug，将产生bug多的测试用例，以及其反映的功能问题等，作为软件评估的依据，根据该依据，对当前版本软件评估，最后再将软件测评结果提交bug管理***以供开发人员参考。
由此可见，软件测评过程中，测试人员需要将测试用例与bug进行关联，以及统计bug反映的问题需要花费大量的时间，致使软件测评效率偏低。
发明内容
本发明实施例的目的在于提供一种软件测评结果的确定方法、装置及电子设备，以实现提高软件测评的效率。具体技术方案如下：
本发明实施例提供了一种软件测评结果的确定方法，所述方法，包括：
获取针对待测软件进行测试所需的多个测试用例；
针对每个所述测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号；
针对每个所述测试用例，获取使用该测试用例对所述待测软件进行测试所产生的bug，作为该测试用例对应的测试bug；
针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系；
基于所述关联关系，确定所述待测软件的测评结果。
进一步的，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号，包括：
获取该测试用例的各属性特征的特征ID，以及该测试用例的唯一初始ID；
生成包含有该测试用例的各属性特征的特征ID以及所述唯一初始ID的用例编号，作为该测试用例的用例编号。
进一步的，所述方法，还包括：
针对每一个测试用例，按照该测试用例对应用例编号中的所述特征ID，统计具有相同特征ID的测试用例，作为相似测试用例；
当所述相似测试用例的数量大于预设的用例数量时，针对每一个所述相似测试用例，通过增加该测试用例对应用例编号中的属性特征，重新确定该测试用例的用例编号。
进一步的，各属性特征至少包括如下属性特征之一：
所述待测软件测试时的场景特征、功能特征和操作行为特征。
进一步的，针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系，包括：
针对测试产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，标记在该测试bug中，用该测试bug中标记的用例编号表示测试bug与用例编号之间的关联关系。
进一步的，基于所述关联关系，确定所述待测软件的测评结果，包括：
基于所述关联关系，根据所述测试bug中标记的用例编号，统计用例编号中各属性特征出现的次数；
比较所述各属性特征出现的次数是否大于预设的阈值；
根据比较的结果以及各属性特征对应用例编号关联的测试bug，确定所述待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
进一步的，所述方法，还包括：
获取按照所述测评结果中的评估意见，对所述测试用例进行增添、删减或者修改后得到的测试用例，作为下一次测试所需的测试用例。
本发明实施例提供了一种软件测评结果的确定装置，所述装置，包括：
测试用例获取模块，用于获取针对待测软件进行测试所需的多个测试用例；
用例编号确定模块，用于针对每个所述测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号；
测试bug获取模块，用于针对每个所述测试用例，获取使用该测试用例对所述待测软件进行测试所产生的bug，作为该测试用例对应的测试bug；
关联关系确定模块，用于针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系；
测评结果确定模块，用于基于所述关联关系，确定所述待测软件的测评结果。
进一步的，用例编号确定模块，包括：
ID获取子模块，用于获取该测试用例的各属性特征的特征ID，以及该测试用例的唯一初始ID；
用例编号生成子模块，用于生成包含有该测试用例的各属性特征的特征ID以及所述唯一初始ID的用例编号，作为该测试用例的用例编号。
进一步的，所述装置，还包括：
相似测试用例统计模块，用于针对每一个测试用例，按照该测试用例对应用例编号中的所述特征ID，统计具有相同特征ID的测试用例，作为相似测试用例；
用例编号重新确定模块，用于当所述相似测试用例的数量大于预设的用例数量时，针对每一个所述相似测试用例，通过增加该测试用例对应用例编号中的属性特征，重新确定该测试用例的用例编号。
进一步的，各属性特征至少包括如下属性特征之一：
所述待测软件测试时的场景特征、功能特征和操作行为特征。
进一步的，关联关系确定模块，具体用于针对测试产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，标记在该测试bug中，用该测试bug中标记的用例编号表示测试bug与用例编号之间的关联关系。
进一步的，测评结果确定模块，包括：
次数统计子模块，用于基于所述关联关系，根据所述测试bug中标记的用例编号，统计用例编号中各属性特征出现的次数；
比较子模块，用于比较所述各属性特征出现的次数是否大于预设的阈值；
测评结果确定子模块，用于根据比较的结果以及各属性特征对应用例编号关联的测试bug，确定所述待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
进一步的，所述装置，还包括：
测试用例重新获取模块，用于获取按照所述测评结果中的评估意见，对所述测试用例进行增添、删减或者修改后得到的测试用例，作为下一次测试所需的测试用例。
本发明实施例还提供了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一软件测评结果的确定方法步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一软件测评结果的确定方法的步骤。
本发明实施例提供的一种软件测评结果的确定方法、装置及电子设备，可以获取针对待测软件进行测试所需的多个测试用例，针对每个测试用例，基于该测试的各属性特征，确定能够表示该测试用例的各属性特征的用例编号，针对每个测试用例，获取使用该测试用例对待测软件进行测试所产生的bug，作为该测试用例对应的测试bug，针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号与该测试bug进行关联，得到测试bug与用例编号之间的关联关系，基于关联关系，确定待测软件的测评结果。通过上述方法可以根据测试bug与用例编号之间的关联关系，便于确定待测软件的测评结果，提高了软件测评的效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种软件测评结果的确定方法的流程图之一；
图2为本发明实施例提供的一种用例管理***的结构示意图；
图3为本发明实施例提供的一种软件测试结果的确定方法的流程图之二；
图4为本发明实施例提供的一种软件测评结果确定的装置结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明实施例提供的一种软件测评结果的确定方法、装置及电子设备，可以获取针对待测软件进行测试所需的多个测试用例，针对每个测试用例，基于该测试的各属性特征，确定能够表示该测试用例的各属性特征的用例编号，针对每个测试用例，获取使用该测试用例对待测软件进行测试所产生的bug，作为该测试用例对应的测试bug，针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号与该测试bug进行关联，得到测试bug与用例编号之间的关联关系，基于关联关系，确定待测软件的测评结果。通过上述方法可以根据测试bug与用例编号之间的关联关系，便于确定待测软件的测评结果，提高了软件测评的效率。
本发明实施例提供了一种软件测评结果的确定方法，如图1所示，可以包括以下步骤：
步骤S101，获取针对待测软件进行测试所需的多个测试用例。
在本步骤中，可以从待测软件对应测试用例的全量集中，获取待测软件测试所需的多个测试用例。
步骤S102，针对每个测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号。
在本步骤中，可以针对步骤S101中获取的每个测试用例，获取该测试用例的各属性特征的特征ID，以及该测试用例的唯一初始ID，根据特征ID和唯一初始ID，生成包含有该测试用例的各属性特征的特征ID以及唯一初始ID的用例编号，作为该测试用例的用例编号。其中，各属性特征至少包括如下特征之一：待测软件测试时的场景特征，功能特征和操作行为特征。
具体的，针对每个测试用例，其对应的用例编号可以表示为：
xx_yy_zz_id
其中，xx、yy以及zz该测试用例的各特征属性的特征ID，id表示该测试用例的唯一初始ID。
例如，某一测试用例的用例编号可以表示为：
H264_HCDN_Seek_10
H264表示该测试用例对应的测试场景是H264播放器，HCDN表示该测试用例对应的测试功能是测试待测软件的HCDN功能，Seek表示该测试用例对应的具体操作行为，10表示该测试用例的唯一初始ID。
在本发明实施例中，上述每个测试用例对应的用例编号中的各属性特征，除了待测软件测试时的场景特征，功能特征和操作行为特征，还可以包括测试时的预置条件，预期效果，备注信息，甚至可以包括测试人员的姓名等多种属性特征。同时为了方便管理，可以按照预设的顺序，生成该测试用例的用例编号。其中，预设的顺序可以是根据该测试用例的不同特征属性，按照递进的关系，排列上述各属性特征，例如，某一测试用例的用例编号可以是，待测软件采用该测试用例测试时的测试场景_针对该测试场景下的测试的功能_针对该测试功能的具体操作行为_针对该操作行为的测试前的预置条件_在该预置条件下的预期效果_id。以上述用例编号H264_HCDN_Seek_10为例进行说明，该用例编号可以表示该测试用例用于在H264的测试环境中，针对待测软件的HCDN功能，进行查找测试，而查找的具体内容可以根据具体情况进行补充。
进一步的，针对上述每个测试用例的用例编号，为便于对用例编号的管理，可以在每个用例编号生成时，对用例编号中的各特征属性的数量加以控制。例如，针对每一测试用例，都将其所有的属性特征作为该测试用例的用例编号中的特征ID，虽然可以完整、准确的表述出该测试用例的所有属性特征，但是用例编号将显得过于冗余。因此，可以采用以下方法对用例编号中的属性特征加以控制。具体实施方式可以是：
针对每一个测试用例，按照该测试用例对应用例编号中的特征ID，统计具有相同特征ID的测试用例，作为相似测试用例。
当相似测试用例的数量大于预设的用例数量时，针对每一个相似测试用例，通过增加该测试用例对应用例编号中的属性特征，重新确定该测试用例的用例编号。
具体的，假设现有一待测软件需要验证其在Linux类的操作***中，验证该软件的用户登录功能，假设该登录功能中包含的测试用例又包括有账号登录验证的测试用例25个，无账号登录验证的测试用例5个，其中，有账号登录验证的测试用例中又包括账号输入正确验证的测试用例7个，账号输入错误验证的测试用例18个。
根据上述情况，假设预设的用例数量为20，在确定上述30个测试用例的用例编号时，其用例编号可以是，如，Linux_登录_id这样形式的30个用例编号，因为这30个用例编号的特征ID完全相同，因此，这30个测试用例编号对应的测试用例为相似测试用例。由于相似测试用例的数量30大于预设的用例数量20，因此，可以在上述用例编号中增加新的属性特征，重新确定30个测试用例的用例编号。例如，针对无账号登录验证的5个测试用例可以表示为：Linux_登录_无账号_id，同理，针对有账号登录验证的25个测试用例，由于其数量大于预设的用例数量，因此，这25个测试用例对应的用例编号可以表示为：Linux_登录_有账号_账号输入正确_id，以及Linux_登录_有账号_账号输入错误_id两种形式。
在本发明实施例中，为方便对上述测试用例的管理，可以采用树形结构构成用例管理***，用于对测试用例进行管理。如图2所示，在该用例管理***中，每一个父结点表示对应属性特征的用例模块，这些用例模块之间的连接关系可以参照上述用例编号中各属性特征的顺序逐层生成。针对该树形结构中的每一分支，该分支的最底层子结点中存放有对应的属性特征的测试用例，测试用例对应用例编号中的特征ID表示的各属性特征，在顺序上与该分支上的用例模块一一对应。以上述用户登录功能测试为例，可以将Linux用例模块作为父结点，其子结点包含登录测试用例模块；以登录测试用例模块为父结点，其子结点包含无账号登录测试用例模块，有账号登录测试用例模块，其中，无账号登录测试用例模块中包含有，如，Linux_登录_无账号_id这样形式的用例编号的测试用例共有5个，而以有账号登录测试用例模块为父结点，其子结点包含账号输入正确测试用例模块和账号输入错误测试用例模块，其中，账号输入正确测试用例模块包含有，如，Linux_登录_有账号_账号输入正确_id这样形式的用例编号的测试用例共7个，账号输入错误测试用例模块包含有，如，Linux_登录_有账号_账号输入错误_id这样形式的用例编号的测试用例共18个。
在本发明实施例中，针对上述唯一初始ID的确定方法，可以直接采用步骤S101中提到的全量集中测试用例的ID号，作为唯一初始ID编号；或者，根据上述描述，在上述用例管理***中，因为相似测试用例的数量是一定的，可以直接根据相似测试用例数量的多少进行编号，也可以对上述用例管理***中的每一用例模块进行编号，根据每一个测试用例所在的用例模块的编号以及该模块中的相似测试用例的数量，生成对应的唯一初始ID。由于编号方式可以采用方式，例如，***数字，以及英文字母等，因此，在本文中就不作具体阐述了。
由上述可知，通过上述方法确定测试用例的用例编号，每一测试用例对应的用例编号都是唯一的，且每一个用例编号可以很好的体现出该测试用例的测试场景、测试功能等属性特征，同时，通过用例编号中包含的特征ID，可以实现对相似测试用例的数量控制，有利于后期测评结果的确定。
步骤S103，针对每个测试用例，获取使用该测试用例对待测软件进行测试所产生的bug，作为该测试用例对应的测试bug。
在本步骤中，针对每个测试用例，在利用该测试用例对待测软件进行测试时，获取测试所产生的bug，作为该测试用例对应的测试bug。
具体的，以word的功能测试为例进行说明，假设现要测试word的查找关键词的功能，其对应的测试用例主要是，在查找栏中键入所要查找的关键字，预期的效果是在测试文档中，页面自动跳转至查找的关键字所在的位置，但实际测试时，word没有任何响应的现象，此时认为出现bug，该bug就是该测试用例对应产生的测试bug。
步骤S104，针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系。
在本步骤中，可以针对测试产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，标记在该测试bug中，用该测试bug中标记的用例编号表示测试bug与用例编号之间的关联关系。
具体的，可以在测试时产生的每个测试bug中，以标记的形式，将该测试bug对应的测试用例的用例编号，标记在该测试bug中，从而表示该测试bug与该用例编号之间的关联关系，间接地表示该测试用例对应的用例编号与该测试bug之间的关联关系。例如，上述测试word的查找关键词的功能，假设出现无响应现象，则可以将其对应的测试用例的用例编号标记在对应的测试bug中。
在本发明实施例中，用例编号标记的具***置，可以根据具体情况自由设定，例如，可以标记在每个测试bug对应的标题上，也可以标记在每个测试bug的详细描述中，如，备注等位置处。
步骤S105，基于关联关系，确定待测软件的测评结果。
在本步骤中，可以基于关联关系，根据测试bug中标记的用例编号，统计用例编号中各属性特征出现的次数；比较各属性特征出现的次数是否大于预设的阈值；根据比较的结果以及各属性特征对应用例编号关联的测试bug，确定待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
具体的，基于用例编号和测试bug之间的关联关系，根据每个测试bug中标记的用例编号中的特征ID表示属性特征，统计特定场景或者特定功能等属性特征对应出现的次数，若该次数的数量大于预设的阈值，则其对应的场景模块或者功能模块等可能出现问题，针对这些问题模块，结合测试bug中的详细描述，确定待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
例如，现有一待测软件需要进行***测试，其包括性能测试、用户界面测试、兼容性测试、安全测试以及接口测试等多个测试，根据上述步骤完成对应的测试bug获取，以及关联关系确定之后。假设预设的阈值测试bug数量为100个，根据测试bug中关联的用例编号，统计发现性能测试产生的测试bug达到200个，兼容性测试产生的测试bug达到500个，其他测试查出的bug数量明显低于预设的阈值，此时，可以根据性能测试以及兼容性测试产生的测试bug中的详细描述，可以获取待测软件的测试结果，并根据测试结果对待测软件进行分析，提出评估意见，确定测评结果。例如，上述待测软件的性能以及兼容性明显没有达到开发要求，根据测试bug表现出的问题，分析问题出现的原因，具体需要进行修改的模块等。
在本发明实施例中，在确定待测软件的测评结果中，可以根据测评结果中的评估意见，在上述测试用例的基础上，对测试用例进行增添、删减或者修改，作为下一次测试所需的测试用例。以上述***测试为例，可以针对上述性能测试以及兼容性测试模块中的测试用例进行修改，或者增加对应的测试用例，针对产生测试bug较少的用户界面测试模块，接口测试模块等则可以适当的减少测试用例的数量，或者对修改对应的测试用例，使其更加优化等，将调整后的测试用例作为下一次测试所需的测试用例。
进一步的，本发明实施例对于待测软件的测评，可以随着待测软件的版本的不断更迭，实现对版本的不断优化。如图3所示，针对当前版本的待测软件，按照步骤S101中的方法，获取测试所需的多个测试用例，存放在用例管理***中，基于用例管理***，按照步骤S102中的方法，确定每一个测试用例的用例编号。按照步骤S103中的方法，调用用例管理***中的测试用例，并执行调用的测试用例对测试待测软件的进行测试，获取测试产生的测试bug。按照步骤S104中的方法，在bug管理***中，确定用例编号与测试bug之间的关联关系。按照步骤S105中的方法，根据每一个测试bug与用例编号的关联关系，确定测评结果。最后根据测评结果，正反馈的调整用例管理***中的测试用例，具体可以增添、删减或者修改用例管理***中的测试用例，并将调整后的测试用例用于下一轮测试的执行。进而对当前版本的下一个版本的待测软件进行测试，实现对版本的不断优化，形成待测软件版本的良性迭代。
综上所述，通过本发明实施例提供的软件测评结果的确定方法，在确定测评结果时，可以直接根据测试bug与用例编号的关联关系，统计每个测试bug中标记的用例编号所体现出的问题模块，就确定待测软件的测评结果。相比现有技术，本发明实施例，在统计问题模块时，仅仅根据测试bug，就能得到待测软件的问题所在，尤其是随着待测软件的不断优化，其所需的测试用例数将不断增加，但是产出的测试bug数将不断减少，采用本发明实施例，将明显的缩短了统计的时间，从而提高测评的效率。
基于同一种发明构思，根据上述本发明实施例提供的一种软件测评结果的确定方法，本发明实施例还提供了一种软件测试结果的确定装置，如图4所示，可以包括以下模块：
测试用例获取模块401，用于获取针对待测软件进行测试所需的多个测试用例；
用例编号确定模块402，用于针对每个测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号；
测试bug获取模块403，用于针对每个测试用例，获取使用该测试用例对待测软件进行测试所产生的bug，作为该测试用例对应的测试bug；
关联关系确定模块404，用于针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系；
测评结果确定模块405，用于基于关联关系，确定待测软件的测评结果。
进一步的，用例编号确定模块402，可以包括：
ID获取子模块，用于获取该测试用例的各属性特征的特征ID，以及该测试用例的唯一初始ID；
用例编号生成子模块，用于生成包含有该测试用例的各属性特征的特征ID以及唯一初始ID的用例编号，作为该测试用例的用例编号。
进一步的，上述装置，还可以包括：
相似测试用例统计模块，用于针对每一个测试用例，按照该测试用例对应用例编号中的特征ID，统计具有相同特征ID的测试用例，作为相似测试用例；
用例编号重新确定模块，用于当相似测试用例的数量大于预设的用例数量时，针对每一个相似测试用例，通过增加该测试用例对应用例编号中的属性特征，重新确定该测试用例的用例编号。
进一步的，各属性特征至少可以包括如下属性特征之一：
待测软件测试时的场景特征、功能特征和操作行为特征。
进一步的，关联关系确定模块404，具体用于针对测试产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，标记在该测试bug中，用该测试bug中标记的用例编号表示测试bug与用例编号之间的关联关系。
进一步的，测评结果确定模块405，可以包括：
次数统计子模块，用于基于关联关系，根据测试bug中标记的用例编号，统计用例编号中各属性特征出现的次数；
比较子模块，用于比较各属性特征出现的次数是否大于预设的阈值；
测评结果确定子模块，用于根据比较的结果以及各属性特征对应用例编号关联的测试bug，确定待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
进一步的，上述装置，还可以包括：
测试用例重新获取模块，用于获取按照测评结果中的评估意见，对测试用例进行增添、删减或者修改后得到的测试用例，作为下一次测试所需的测试用例。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
获取针对待测软件进行测试所需的多个测试用例；
针对每个测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号；
针对每个测试用例，获取使用该测试用例对待测软件进行测试所产生的bug，作为该测试用例对应的测试bug；
针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系；
基于关联关系，确定待测软件的测评结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一软件测评结果的确定方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一软件测评结果的确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (15)
1.一种软件测评结果的确定方法，其特征在于，包括：
获取针对待测软件进行测试所需的多个测试用例；
针对每个所述测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号；
针对每个所述测试用例，获取使用该测试用例对所述待测软件进行测试所产生的bug，作为该测试用例对应的测试bug；
针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系；
基于所述关联关系，确定所述待测软件的测评结果。
2.根据权利要求1所述的方法，其特征在于，所述基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号，包括：
获取该测试用例的各属性特征的特征ID，以及该测试用例的唯一初始ID；
生成包含有该测试用例的各属性特征的特征ID以及所述唯一初始ID的用例编号，作为该测试用例的用例编号。
3.根据权利要求2所述的方法，其特征在于，在所述针对每个所述测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号之后，还包括：
针对每一个测试用例，按照该测试用例对应用例编号中的所述特征ID，统计具有相同特征ID的测试用例，作为相似测试用例；
当所述相似测试用例的数量大于预设的用例数量时，针对每一个所述相似测试用例，通过增加该测试用例对应用例编号中的属性特征，重新确定该测试用例的用例编号。
4.根据权利要求1或2所述的方法，其特征在于，所述各属性特征至少包括如下属性特征之一：
所述待测软件测试时的场景特征、功能特征和操作行为特征。
5.根据权利要求1所述的方法，其特征在于，所述针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系，包括：
针对测试产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，标记在该测试bug中，用该测试bug中标记的用例编号表示测试bug与用例编号之间的关联关系。
6.根据权利要求5所述的方法，其特征在于，所述基于所述关联关系，确定所述待测软件的测评结果，包括：
基于所述关联关系，根据所述测试bug中标记的用例编号，统计用例编号中各属性特征出现的次数；
比较所述各属性特征出现的次数是否大于预设的阈值；
根据比较的结果以及各属性特征对应用例编号关联的测试bug，确定所述待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
7.根据权利要求6所述的方法，其特征在于，在所述基于所述关联关系，确定所述待测软件的测评结果之后，还包括：
获取按照所述测评结果中的评估意见，对所述测试用例进行增添、删减或者修改后得到的测试用例，作为下一次测试所需的测试用例。
8.一种软件测评结果的确定装置，其特征在于，包括：
测试用例获取模块，用于获取针对待测软件进行测试所需的多个测试用例；
用例编号确定模块，用于针对每个所述测试用例，基于该测试用例的各属性特征，确定能够表示该测试用例的各属性特征的用例编号；
测试bug获取模块，用于针对每个所述测试用例，获取使用该测试用例对所述待测软件进行测试所产生的bug，作为该测试用例对应的测试bug；
关联关系确定模块，用于针对产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，与该测试bug进行关联，得到测试bug与用例编号之间的关联关系；
测评结果确定模块，用于基于所述关联关系，确定所述待测软件的测评结果。
9.根据权利要求8所述的装置，其特征在于，所述用例编号确定模块，包括：
ID获取子模块，用于获取该测试用例的各属性特征的特征ID，以及该测试用例的唯一初始ID；
用例编号生成子模块，用于生成包含有该测试用例的各属性特征的特征ID以及所述唯一初始ID的用例编号，作为该测试用例的用例编号。
10.根据权利要求9所述的装置，其特征在于，所述装置，还包括：
相似测试用例统计模块，用于针对每一个测试用例，按照该测试用例对应用例编号中的所述特征ID，统计具有相同特征ID的测试用例，作为相似测试用例；
用例编号重新确定模块，用于当所述相似测试用例的数量大于预设的用例数量时，针对每一个所述相似测试用例，通过增加该测试用例对应用例编号中的属性特征，重新确定该测试用例的用例编号。
11.根据权利要求8或9所述的装置，其特征在于，所述各属性特征至少包括如下属性特征之一：
所述待测软件测试时的场景特征、功能特征和操作行为特征。
12.根据权利要求8所述的装置，其特征在于，所述关联关系确定模块，具体用于针对测试产生的每个测试bug，将对应有该测试bug的测试用例的用例编号，标记在该测试bug中，用该测试bug中标记的用例编号表示测试bug与用例编号之间的关联关系。
13.根据权利要求12所述的装置，其特征在于，所述测评结果确定模块，包括：
次数统计子模块，用于基于所述关联关系，根据所述测试bug中标记的用例编号，统计用例编号中各属性特征出现的次数；
比较子模块，用于比较所述各属性特征出现的次数是否大于预设的阈值；
测评结果确定子模块，用于根据比较的结果以及各属性特征对应用例编号关联的测试bug，确定所述待测软件的测试结果、测试分析结果以及评估意见，作为测评结果。
14.根据权利要求13所述的装置，其特征在于，所述装置，还包括：
测试用例重新获取模块，用于获取按照所述测评结果中的评估意见，对所述测试用例进行增添、删减或者修改后得到的测试用例，作为下一次测试所需的测试用例。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810816785.8A CN109062794B (zh) | 2018-07-24 | 2018-07-24 | 一种软件测评结果的确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810816785.8A CN109062794B (zh) | 2018-07-24 | 2018-07-24 | 一种软件测评结果的确定方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109062794A true CN109062794A (zh) | 2018-12-21 |
| CN109062794B CN109062794B (zh) | 2022-04-22 |
Family
ID=64836328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810816785.8A Active CN109062794B (zh) | 2018-07-24 | 2018-07-24 | 一种软件测评结果的确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109062794B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857660A (zh) * | 2019-01-25 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 项目度量方法、***、装置和计算机可读存储介质 |
| CN111752833A (zh) * | 2020-06-23 | 2020-10-09 | 南京领行科技股份有限公司 | 一种软件质量体系准出方法、装置、服务器及存储介质 |
| CN112115049A (zh) * | 2020-08-27 | 2020-12-22 | 北京奇艺世纪科技有限公司 | 应用程序测试方法、装置、设备和计算机可读存储介质 |
| CN112363928A (zh) * | 2020-11-10 | 2021-02-12 | 网易（杭州）网络有限公司 | 测试用例的处理方法、装置、处理器及电子装置 |
| CN112416768A (zh) * | 2020-11-20 | 2021-02-26 | 深圳开源互联网安全技术有限公司 | 交互式安全弱点检测方法、***、装置及可读存储介质 |
| CN113268419A (zh) * | 2021-05-19 | 2021-08-17 | 北京金山云网络技术有限公司 | 测试用例优化信息的生成方法、装置、设备和存储介质 |
| CN113688060A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市信润富联数字科技有限公司 | 缺陷管理方法、装置、设备、存储介质及计算机程序产品 |
| CN114721936A (zh) * | 2022-02-28 | 2022-07-08 | 阿里巴巴（中国）有限公司 | 数据处理方法、电子设备、介质及程序产品 |
| CN114996167A (zh) * | 2022-08-03 | 2022-09-02 | 成都星联芯通科技有限公司 | 一种测试用例管理方法、装置、存储介质及电子设备 |
| CN115809203A (zh) * | 2023-02-07 | 2023-03-17 | 杭州罗莱迪思科技股份有限公司 | 软件测试用例动态嵌套方法、装置及其应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186466A (zh) * | 2011-12-31 | 2013-07-03 | ***股份有限公司 | 基于关联测试用例自动生成的信息交互测试装置及方法 |
| CN103186456A (zh) * | 2011-12-29 | 2013-07-03 | 北京新媒传信科技有限公司 | 一种***测试的方法和装置 |
| CN103257918A (zh) * | 2012-02-16 | 2013-08-21 | 广州博纳信息技术有限公司 | 基于软件测评平台的项目测试过程管理方法 |
| US20170192880A1 (en) * | 2016-01-06 | 2017-07-06 | Hcl Technologies Limited | Defect prediction |
-
2018
- 2018-07-24 CN CN201810816785.8A patent/CN109062794B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186456A (zh) * | 2011-12-29 | 2013-07-03 | 北京新媒传信科技有限公司 | 一种***测试的方法和装置 |
| CN103186466A (zh) * | 2011-12-31 | 2013-07-03 | ***股份有限公司 | 基于关联测试用例自动生成的信息交互测试装置及方法 |
| CN103257918A (zh) * | 2012-02-16 | 2013-08-21 | 广州博纳信息技术有限公司 | 基于软件测评平台的项目测试过程管理方法 |
| US20170192880A1 (en) * | 2016-01-06 | 2017-07-06 | Hcl Technologies Limited | Defect prediction |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109857660A (zh) * | 2019-01-25 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 项目度量方法、***、装置和计算机可读存储介质 |
| CN111752833B (zh) * | 2020-06-23 | 2022-08-26 | 南京领行科技股份有限公司 | 一种软件质量体系准出方法、装置、服务器及存储介质 |
| CN111752833A (zh) * | 2020-06-23 | 2020-10-09 | 南京领行科技股份有限公司 | 一种软件质量体系准出方法、装置、服务器及存储介质 |
| CN112115049A (zh) * | 2020-08-27 | 2020-12-22 | 北京奇艺世纪科技有限公司 | 应用程序测试方法、装置、设备和计算机可读存储介质 |
| CN112115049B (zh) * | 2020-08-27 | 2023-06-02 | 北京奇艺世纪科技有限公司 | 应用程序测试方法、装置、设备和计算机可读存储介质 |
| CN112363928A (zh) * | 2020-11-10 | 2021-02-12 | 网易（杭州）网络有限公司 | 测试用例的处理方法、装置、处理器及电子装置 |
| CN112363928B (zh) * | 2020-11-10 | 2023-08-22 | 网易（杭州）网络有限公司 | 测试用例的处理方法、装置、处理器及电子装置 |
| CN112416768A (zh) * | 2020-11-20 | 2021-02-26 | 深圳开源互联网安全技术有限公司 | 交互式安全弱点检测方法、***、装置及可读存储介质 |
| CN113268419A (zh) * | 2021-05-19 | 2021-08-17 | 北京金山云网络技术有限公司 | 测试用例优化信息的生成方法、装置、设备和存储介质 |
| CN113268419B (zh) * | 2021-05-19 | 2024-04-09 | 北京金山云网络技术有限公司 | 测试用例优化信息的生成方法、装置、设备和存储介质 |
| CN113688060A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市信润富联数字科技有限公司 | 缺陷管理方法、装置、设备、存储介质及计算机程序产品 |
| CN114721936A (zh) * | 2022-02-28 | 2022-07-08 | 阿里巴巴（中国）有限公司 | 数据处理方法、电子设备、介质及程序产品 |
| CN114996167A (zh) * | 2022-08-03 | 2022-09-02 | 成都星联芯通科技有限公司 | 一种测试用例管理方法、装置、存储介质及电子设备 |
| CN114996167B (zh) * | 2022-08-03 | 2022-11-01 | 成都星联芯通科技有限公司 | 一种测试用例管理方法、装置、存储介质及电子设备 |
| CN115809203A (zh) * | 2023-02-07 | 2023-03-17 | 杭州罗莱迪思科技股份有限公司 | 软件测试用例动态嵌套方法、装置及其应用 |
| CN115809203B (zh) * | 2023-02-07 | 2023-04-25 | 杭州罗莱迪思科技股份有限公司 | 软件测试用例动态嵌套方法、装置及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109062794B (zh) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109062794A (zh) | 一种软件测评结果的确定方法、装置及电子设备 | |
| CN109062809B (zh) | 一种线上测试用例生成方法、装置及电子设备 | |
| US8918678B2 (en) | Functional testing of a processor design | |
| Ocariza Jr et al. | JavaScript errors in the wild: An empirical study | |
| KR100849223B1 (ko) | Ｕｓｂ 장치 테스트 방법 및 그 시스템 | |
| CN105068929A (zh) | 测试脚本生成方法和装置、测试方法、测试装置以及测试*** | |
| US20030018461A1 (en) | Simulation monitors based on temporal formulas | |
| US11003817B2 (en) | Hard error simulation and usage thereof | |
| US20110055777A1 (en) | Verification of Soft Error Resilience | |
| US9195634B2 (en) | Optimizing constraint solving by rewriting at least one modulo constraint | |
| US20160306736A1 (en) | Translation verification testing | |
| US9195730B2 (en) | Verifying correctness of a database system via extended access paths | |
| US10830818B2 (en) | Ensuring completeness of interface signal checking in functional verification | |
| US8909579B2 (en) | Identifying invariant candidates based on proofs | |
| CN108647533B (zh) | 用于检测硬件木马的安全断言自动生成方法 | |
| Hierons et al. | Incomplete distinguishing sequences for finite state machines | |
| US20090112552A1 (en) | Method, System and Program Product for Reporting Temporal Information Regarding Count Events of a Simulation | |
| US20130318499A1 (en) | Test script generation | |
| Altisen et al. | SASA: a SimulAtor of Self-stabilizing Algorithms | |
| JP2014134842A (ja) | 検証装置及び検証方法 | |
| CN115292178A (zh) | 测试数据搜索方法、装置、存储介质以及终端 | |
| CN112631852B (zh) | 宏检查方法、装置、电子设备和计算机可读存储介质 | |
| CN108875374A (zh) | 基于文档节点类型的恶意pdf检测方法及装置 | |
| US20230011129A1 (en) | Log analyzer for fault detection | |
| CN108509347B (zh) | 等价变异体识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |