CN111581074A - 通话场景覆盖测试方法、装置、计算机设备及存储介质 - Google Patents
通话场景覆盖测试方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111581074A CN111581074A CN202010222806.0A CN202010222806A CN111581074A CN 111581074 A CN111581074 A CN 111581074A CN 202010222806 A CN202010222806 A CN 202010222806A CN 111581074 A CN111581074 A CN 111581074A
- Authority
- CN
- China
- Prior art keywords
- test
- node
- interface
- tested
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 474
- 230000002159 abnormal effect Effects 0.000 claims abstract description 56
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims description 39
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000010998 test method Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 33
- 230000008569 process Effects 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3676—Test management for coverage analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了通话场景覆盖测试方法、装置、计算机设备及存储介质。方法包括：对待测试***所包含的测试节点进行遍历，以获取待测试***的测试路径集合；根据预置的话术信息表及预置的测试用例生成模板生成与每一测试路径对应的测试用例；执行测试用例对待测试***进行接口测试以获取对应的接口返回数据；根据预置的返回时间阈值及测试用例从接口返回数据中筛选得到异常返回数据。本发明基于接口测试技术，可快速获取到测试路径集合，以覆盖理论上可能存在的所有路径，基于测试路径集合对待测试***进行覆盖测试并筛选得到异常返回数据，提高了对智能语音***进行通话场景全覆盖测试时的覆盖率，在实际应用过程中取得了良好的技术效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种通话场景覆盖测试方法、装置、计算机设备及存储介质。
背景技术
现如今人工智能应用的领域越来越广泛，企业可基于人工智能构建智能语音***，使用智能语音***中的智能语音客服代替传统的人工语音客服，通过全时段、智能化的智能语音***接听用户来电，以提高语音通话的服务效率及服务质量，降低企业经营成本。大型企业由于所包含的业务众多，通话场景的数量十分庞大，因此智能语音***在使用之前均需进行测试，以使智能语音***适用于各种通话场景。
传统测试方法中可通过真实电话外呼对智能语音***进行测试，由大量测试人员发起语音通话，智能语音***可通过接听语音通话以触发各种通话场景，然而真实的语音通话无法全面覆盖所有通话场景，且这一测试过程需耗费大量人力；还可通过人工配置接口以手动配置测试案例，通过测试案例模拟真实的语音通话以触发各种通话场景，然而这一过程中所涉及的通话场景均需预先设想好，实际通话过程中所面临的复杂通话场景难以预先设想好，则这一测试过程也无法全面覆盖所有通话场景。因而，现有技术方法中存在对智能语音***进行测试时通话场景覆盖率较低的问题。
发明内容
本发明实施例提供了一种通话场景覆盖测试方法、装置、计算机设备及存储介质，旨在解决现有技术方法在对智能语音***进行测试时所存在的通话场景覆盖率较低的问题。
第一方面，本发明实施例提供了一种通话场景覆盖测试方法，其包括：
对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径；
根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例；
执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据；
根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
第二方面，本发明实施例提供了一种通话场景覆盖测试装置，其包括：
测试路径集合获取单元，用于对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径；
测试用例生成单元，用于根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例；
接口返回数据获取单元，用于执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据；
异常返回数据筛选单元，用于根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的通话场景覆盖测试方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的通话场景覆盖测试方法。
本发明实施例提供了一种通话场景覆盖测试方法、装置、计算机设备及存储介质。对待测试***所包含的测试节点进行遍历，以获取待测试***的测试路径集合；根据预置的话术信息表及测试用例生成模板生成与每一测试路径对应的测试用例；执行测试用例对待测试***进行接口测试以获取对应的接口返回数据；根据预置的返回时间阈值及测试用例从所述接口返回数据中筛选得到异常返回数据。通过上述方法，可快速获取到测试路径集合，以覆盖理论上可能存在的所有路径，基于测试路径集合对待测试***进行覆盖测试并筛选得到异常返回数据，提高了对智能语音***进行通话场景全覆盖测试时的覆盖率，在实际应用过程中取得了良好的技术效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的通话场景覆盖测试方法的流程示意图；
图2为本发明实施例提供的通话场景覆盖测试方法的使用状态示意图；
图3为本发明实施例提供的通话场景覆盖测试方法的子流程示意图；
图4为本发明实施例提供的通话场景覆盖测试方法的另一子流程示意图；
图5为本发明实施例提供的通话场景覆盖测试方法的另一子流程示意图；
图6为本发明实施例提供的通话场景覆盖测试方法的另一子流程示意图；
图7为本发明实施例提供的通话场景覆盖测试方法的另一子流程示意图；
图8为本发明实施例提供的通话场景覆盖测试装置的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本发明实施例提供的通话场景覆盖测试方法的流程示意图。该通话场景覆盖测试方法应用于管理服务器中，管理服务器即是用于执行所述通话场景覆盖测试方法以对智能语音***进行通话场景覆盖测试的企业终端。
如图1所示，该方法包括步骤S110～S140。
S110、对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合；所述测试路径集合中包含多条测试路径。
对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合；所述测试路径集合中包含多条测试路径。所述测试节点包括开始节点、中间节点及结束节点。待测试***中包含多个测试节点，测试节点中包含一个开始节点及至少一个结束节点，至少有一个中间节点作为开始节点的子节点，至少有一个中间节点作为结束节点的父节点，两个测试节点之间采用箭头表示相互之间的关系，箭头所指向的测试节点为另一测试节点的子节点。
例如，某一待测试***所包含的测试节点入图2所示。
从开始节点沿箭头顺序经过中间节点至任一结束节点作为一条测试路径，对待测试***所包含的测试节点进行遍历，也即是获取从开始节点至结束节点的所有路径，获取得到包含多条测试路径的测试路径集合。
在一实施例中，如图3所示，步骤S110包括子步骤S111、S112、S113、S114和S115。
S111、获取所述待测试***的开始节点作为待遍历节点；
S112、遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点；
S113、判断所述子节点是否为结束节点；
S114、若所述子节点为结束节点，将从所述开始节点至所述子节点的路径记录为测试路径；
S115、若所述子节点不是结束节点，将所述子节点作为待遍历节点并返回执行所述遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点的步骤；
通过上述遍历方法，循环判断待遍历节点的子节点是否为结束节点，若某一子节点为结束节点，则将开始节点至该子节点的路径作为测试路径，可在确保无重复的情况下，获取从开始节点至结束节点的所有测试路径，将所获取到的测试路径作为测试路径集合。
例如，通过上述方法对图2中待测试***的测试节点进行遍历，即可得到包含6条测试路径的测试路径集合。
S120、根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例。
根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例。测试路径仅仅表示对待测试***进行测试过程中信息在待测试***中进行流转的路径，可沿该路径对待测试***进行测试。话术信息表即为管理服务器中用于存储测试话术、话术标签及预期值的信息表，测试用例生成模板即是用于将测试话术及对应的预期值转换成程序语言的模板，通过测试用例生成目标即可生成与每一测试路径对应的测试用例。具体的，一个测试用例对应一条测路径，测试用例中包括与相应测试路径的测试节点对应的测试数据，测试数据中包括与该测试节点对应的一条测试话术及预期值，测试话术即是输入待测试***以对与测试节点对应的接口进行测试的信息，测试话术可以是一段语音信息，预期值即是对相应接口的接口返回数据进行验证的信息，若接口返回数据与预期值一致，则对应的接口通过验证；若接口返回数据不与预期值一致，则对应的接口未通过验证。
在一实施例中，如图4所示，步骤S120包括子步骤S121、S122和S123。
S121、根据所述测试路径所包含的测试节点获取所述话术信息表中与每一所述测试节点对应的话术标签作为目标话术标签。
根据所述测试路径所包含的测试节点获取所述话术信息表中与每一所述测试节点对应的话术标签作为目标话术标签。话术信息表中包含多个话术标签，每一话术标签对应一个或多个测试话术，可根据测试节点获取话术信息表中对应的一个话术标签作为目标话术标签。
例如，某一话术信息表中所包含的信息表1中所示。
表1
某一测试节点为“客户本人”则上述话术信息表中与该测试节点对应的目标话术标签为“客户本人”。
此外，若话术信息表发生更新，即与话术标签对应的测试话术的内容被更新，无在生成测试用例时，无需手动调整，直接使用最新的话术信息表进行测试即可。在项目开发前期时测试话术的内容变动较大，这一方法可以大大减少测试人员对测试数据进行处理时间，对话术信息表中信息发生变更的维护成本几乎为零，方便了测试人员对测试数据进行维护。
S122、随机选择所述话术信息表中与所述目标话术标签对应的一条测试话术，将所选择的所述测试话术及所述目标话术标签的预期值填充至所述测试用例生成模板以得到对应的测试数据。
随机选择所述话术信息表中与所述目标话术标签对应的一条测试话术，将所选择的所述测试话术及所述目标话术标签的预期值填充至所述测试用例生成模板以得到对应的测试数据。随机选择一条与目标话术标签对应的测试话术，并将与目标话术标签对应的预期值填充至测试用例生成模板，即可得到与该测试节点对应的一条测试数据。
例如，随机选择与“客户本人”这一目标话术标签对应的测试话术为“是的，我是.wav”，则对应生成的测试数据为：{'content':'是的，我是.wav','tag':'客户本人','hangupFlag':'N','hungupWaitTime':'1','voice':'1','speechContent':[{'voice':'00-02-0011-1-0*.wav'}。
S123、根据所述测试路径对所述测试数据进行串接以生成所述测试路径对应的测试用例。
根据所述测试路径对所述测试数据进行串接以生成所述测试路径对应的测试用例。结束节点即执行挂断通话的操作，因此除结束节点外其他节点均需进行测试，则测试路径中至少包含一个需进行测试的测试节点，可根据测试路径将该测试路径中每一测试节点对应的测试数据进行串接，生成与该测试路径对应的测试用例，所生成的测试用例即可真实模拟待测试***的实际应用过程。
S130、执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据。
执行所述测试用例对所述待测试***进行接口测试以获取对应接口的接口返回数据。测试用例对应的测试路径中包含多个测试节点，除结束节点外其他节点均需进行测试，每一所需测试的测试节点对应待测试***中的一个接口，执行测试用例也即是将测试用例中的测试数据输入待测试***的接口，接口根据应答规则进行应答，也即是返回对应的接口返回数据，执行测试用例即可获取与该测试用例对应的接口所返回的接口返回数据。
在一实施例中，如图5所示，步骤S130包括子步骤S131、S132、S133和S134。
S131、根据所述测试用例对应的测试路径依次将所述测试用例包含的测试话术输入所述待测试***。
根据所述测试用例对应的测试路径依次将所述测试用例包含的测试话术输入所述待测试***。首先由待测试***发出与开始话术对应的语音信息，再根据测试用例对应的测试路径依次将测试用例所包含的测试话术输入待测试***。由于实际应用过程中信息在待测试***中按照既定路径进行流转，这一测试话术的输入过程也即是模拟待测试***的实际应用过程。
S132、根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息。
根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息。由于输入待测试***的测试话术均为一段语音信息，因此测试话术输入待测试***中对应的接口之前，需通过语音识别规则对测试话术进行识别，以获取与测试话术对应的文字信息。其中，语音识别规则即是用于对测试话术进行识别并转换为文字信息的规则信息，语音识别规则包括声学模型、语音特征词典及语义解析模型。
在一实施例中，如图6所示，步骤S132包括子步骤S1321、S1322和S1323。
S1321、根据所述声学模型对所述测试话术进行切分以得到所述测试话术中所包含的多个音素。
根据所述声学模型对所述测试话术进行切分以得到所述测试话术中所包含的多个音素。具体的，测试话术的语音信息中由多个字符发音的音素而组成，一个字符的音素包括该字符发音的频率和音色。声学模型中包含所有字符发音的音素，通过将测试话术与声学模型中所有的音素进行匹配，即可对测试话术中单个字符的音素进行切分，通过切分最终得到该测试话术中所包含的多个音素。
S1322、根据所述语音特征词典对所述音素进行匹配，以将所有所述音素转换为拼音信息。
根据语音识别规则中的语音特征词典对所得到的音素进行匹配，即可将所有音素转换为拼音信息。语音特征词典中包含所有字符拼音对应的音素信息，通过将所得到的音素与字符拼音对应的音素信息进行匹配，即可将单个字符的音素转换为语音特征词典中与该音素相匹配的字符拼音，以实现将测试话术中所包含的所有音素转换为拼音信息。
S1323、根据所述语义解析模型对所述拼音信息进行语义解析，以将所述拼音信息转换为文字信息。
根据语音识别规则中的语义解析模型对所得到的拼音信息进行语义解析，以实现将拼音信息转换为文字信息。语义解析模型中包含拼音信息与文字信息之间所对应的映射关系，通过语义解析模型中所包含的映射关系即可对所得到的拼音信息进行语义解析以将拼音信息转换为文字信息。
例如，拼音“shì，wǒ”在语义解析模型中所对应的文字信息为“是我”。
S133、根据与所述测试话术对应的接口的分类规则获取与所述文字信息对应的分类信息。
根据与所述测试话术对应的接口的分类规则获取与所述文字信息对应的分类信息。具体的，分类规则即是用于对文字信息进行分类以获取对应分类信息的规则，接口所对应的每一种分类信息即与该接口的测试节点的某一子节点对应，若接口对某一文字信息进行分类后得到错误的分类信息，则信息无法从该接口对应的测试节点流转至正确的子节点。具体的，接口的分类规则包含多个与该接口的每一类别对应的分类关键字，获取接口中与文字信息相匹配的分类关键字，根据分类关键字的匹配结果获取与文字信息相匹配的一个类别作为该文字信息的分类信息。
例如，对与“开始节点”对应的接口进行测试时，输入的文字信息为“是的，我是”，该接口包含“客户本人”及“非客户本人”两个类别，“客户本人”这一类别对应的分类关键字为“是/是的/我是/我就是”，“非客户本人”这一类别对应的关键字为“不是/不是我/错了/打错了”，则获取到与该文字信息对应的分类信息为“客户本人”。
S134、根据所述待测试***中的应答话术关系表获取与所述分类信息对应的接口返回信息。
根据所述待测试***中的应答话术关系表获取与所述分类信息对应的接口返回信息。待测试***的应答话术关系表即为用于存储应答话术及相应返回值的信息表，应答话术关系表中包含与所有接口的每一类别对应的应答话术及返回值，根据文字信息的分类信息即可获取应答话术信息表中与该文字信息对应的应答话术及返回值，将应答话术及返回值作为与测试话术对应的接口的接口返回信息。
例如，应答话术关系表中所包含的信息如表2所示。
表2
对与“开始节点”对应的接口进行测试时，输入的文字信息为“不是，打错了”，获取到的接口返回信息为：{"answerContent":"麻烦您跟XX先生/女士说一声，那AA客服待会儿会再联系他，谢谢您啦","hangupFlag":"Y","hungupWaitTime":1,"speechContent":[{"voice":"00-00-0002-1-05.wav","voiceType":"AF"}],"isSuccess":"Y"}。
S140、根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。在使用一个测试用例对待测试***进行测试后，可获取该测试用例的所有接口返回数据，需从测试用例的接口返回数据中筛选得到异常返回数据，测试人员获取异常返回数据后即可根据异常返回数据即可查找待测试***中所存在的相应问题，并进行解决。其中，所述异常返回数据包括第一异常返回数据及第二异常返回数据。
在一实施例中，如图7所示，步骤S140包括子步骤S141、S142、S143、S144和S145。
S141、判断每一所述接口返回数据的返回耗时是否超出所述返回时间阈值。
判断每一所述接口返回数据的返回耗时是否超出所述返回时间阈值。将测试话术输入接口至获取到该接口所返回的接口返回数据之间的时间作为返回耗时，判断返回耗时是否超出预置的返回时间阈值。
S142、若所述接口返回数据的返回耗时超出所述返回时间阈值，将所述接口返回数据作为第一异常返回数据。
若所述接口返回数据的返回耗时超出所述返回时间阈值，将所述接口返回数据作为第一异常返回数据。若某一接口返回数据的返回耗时超出返回时间阈值，则表明对应接口的处理效率存在问题，将该接口返回数据作为第一异常返回数据，以便测试人员进行分析；若某一接口返回数据的返回耗时未超出返回时间阈值，则表明对应接口的处理效率符合要求，无需对该接口返回数据进行处理。
例如，若返回时间阈值为1秒，则将返回耗时超出1秒的接口返回数据作为第一异常返回数据。
S143、获取每一所述接口返回数据中与所述测试用例的验证项目对应的项目值。
获取每一所述接口返回数据中与所述测试用例的验证项目对应的项目值。测试用例中包含多条测试数据，每一测试数据的期望值中均与若干个验证项目相对应，根据验证项目即可获取接口返回数据中对应的项目值。
例如，期望值中的“hangupFlag”也即对应表2中“挂断”这一验证项目、“hungupWaitTime”也即对应“等待”这一验证项目、“speechContent”也即对应“话术编号”这一验证项目，根据上述验证项目即可获取表2中对应接口返回数据的项目值。其中，若hangupFlag＝N，则表明通话可以继续；若hangupFlag＝Y且hungupWaitTime＝5000，则表明此时待测试***等待5000ms以在等待时间内获取客户追加的问题；若hangupFlag＝Y且hungupWaitTime＝1，则待测试***不等待直接挂断通话。
S144、根据每一所述测试数据中的预期值对与所述测试数据对应的接口返回数据的项目值进行验证以获取所述接口返回数据是否验证通过的验证结果。
根据每一所述测试数据中的预期值对与所述测试数据对应的接口返回数据的项目值进行验证以获取所述接口返回数据是否验证通过的验证结果。跟每一测试数据中的预期值对相应的接口返回数据的项目值进行验证，若接口返回数据中所有项目值均与预期值一致，则该接口返回数据的验证结果为验证通过；若接口返回数据中任一项目值与预期值不一致，则该接口返回数据的验证结果为验证不通过。
S145、若所述接口返回数据的验证结果为不通过，将所述接口返回数据作为第二异常返回数据。
若所述接口返回数据的验证结果为不通过，将所述接口返回数据作为第二异常返回数据。若某一接口返回数据的验证结果为不通过，则表明对应接口对数据的处理存在问题，将该接口返回数据作为第二异常返回数据，以便测试人员进行分析。
此外，获取第一异常返回数据及第二异常返回数据并无先后顺序的限制，可先执行步骤S141-S143以获取第一异常返回数据、再获取第二异常返回数据，或先执行步骤S144-S145以获取第二异常返回数据、再获取第一异常返回数据，还可同时执行步骤S141-S143及步骤S144-S145，以同时获取第一异常返回数据及第二异常返回数据。
在本发明实施例所提供的通话场景覆盖测试方法中，对待测试***所包含的测试节点进行遍历，以获取待测试***的测试路径集合；根据预置的话术信息表及测试用例生成模板生成与每一测试路径对应的测试用例；执行测试用例对待测试***进行接口测试以获取对应的接口返回数据；根据预置的返回时间阈值及测试用例从所述接口返回数据中筛选得到异常返回数据。通过上述方法，可快速获取到测试路径集合，以覆盖理论上可能存在的所有路径，基于测试路径集合对待测试***进行覆盖测试并筛选得到异常返回数据，提高了对智能语音***进行通话场景全覆盖测试时的覆盖率，在实际应用过程中取得了良好的技术效果。
本发明实施例还提供一种通话场景覆盖测试装置，该通话场景覆盖测试装置用于执行前述通话场景覆盖测试方法的任一实施例。具体地，请参阅图8，图8是本发明实施例提供的通话场景覆盖测试装置的示意性框图。该通话场景覆盖测试装置可以配置于管理服务器中。
如图8所示，通话场景覆盖测试装置100包括测试路径集合获取单元110、测试用例生成单元120、接口返回数据获取单元130和异常返回数据筛选单元140。
测试路径集合获取单元110，用于对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径。
其他发明实施例中，所述测试路径集合获取单元110包括子单元：待遍历节点确定单元、子节点获取单元、判断单元、测试路径记录单元和返回执行单元。
待遍历节点确定单元，用于获取所述待测试***的开始节点作为待遍历节点；子节点获取单元，用于遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点；判断单元，用于判断所述子节点是否为结束节点；测试路径记录单元，用于若所述子节点为结束节点，将从所述开始节点至所述子节点的路径记录为测试路径；返回执行单元，用于若所述子节点不是结束节点，将所述子节点作为待遍历节点并返回执行所述遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点的步骤。
测试用例生成单元120，用于根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例。
其他发明实施例中，所述测试用例生成单元120包括子单元：目标话术标签获取单元、测试数据获取单元和测试数据串接单元。
目标话术标签获取单元，用于根据所述测试路径所包含的测试节点获取所述话术信息表中与每一所述测试节点对应的话术标签作为目标话术标签；测试数据获取单元，用于随机选择所述话术信息表中与所述目标话术标签对应的一条测试话术，将所选择的所述测试话术及所述目标话术标签的预期值填充至所述测试用例生成模板以得到对应的测试数据；测试数据串接单元，用于根据所述测试路径对所述测试数据进行串接以生成所述测试路径对应的测试用例。
接口返回数据获取单元130，用于执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据。
其他发明实施例中，所述接口返回数据获取单元130包括子单元：测试话术输入单元、测试话术识别单元、分类信息获取单元和接口返回信息获取单元。
测试话术输入单元，用于根据所述测试用例对应的测试路径依次将所述测试用例包含的测试话术输入所述待测试***；测试话术识别单元，用于根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息；分类信息获取单元，用于根据与所述测试话术对应的接口的分类规则获取与所述文字信息对应的分类信息；接口返回信息获取单元，用于根据所述待测试***中的应答话术关系表获取与所述分类信息对应的接口返回信息。
其他发明实施例中，所述测试话术识别单元包括子单元：音素获取单元、拼音信息获取单元和文字信息获取单元。
音素获取单元，用于根据所述声学模型对所述测试话术进行切分以得到所述测试话术中所包含的多个音素；拼音信息获取单元，用于根据所述语音特征词典对所述音素进行匹配，以将所有所述音素转换为拼音信息；文字信息获取单元，用于根据所述语义解析模型对所述拼音信息进行语义解析，以将所述拼音信息转换为文字信息。
异常返回数据筛选单元140，用于根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
其他发明实施例中，所述异常返回数据筛选单元140包括子单元：返回耗时判断单元、第一异常返回数据获取单元、项目值获取单元、验证结果获取单元和第二异常返回数据获取单元。
返回耗时判断单元，用于判断每一所述接口返回数据的返回耗时是否超出所述返回时间阈值；第一异常返回数据获取单元，用于若所述接口返回数据的返回耗时超出所述返回时间阈值，将所述接口返回数据作为第一异常返回数据；项目值获取单元，用于获取每一所述接口返回数据中与所述测试用例的验证项目对应的项目值；验证结果获取单元，用于根据每一所述测试数据中的预期值对与所述测试数据对应的接口返回数据的项目值进行验证以获取所述接口返回数据是否验证通过的验证结果；第二异常返回数据获取单元，用于若所述接口返回数据的验证结果为不通过，将所述接口返回数据作为第二异常返回数据。
在本发明实施例所提供的通话场景覆盖测试装置应用上述通话场景覆盖测试方法，对待测试***所包含的测试节点进行遍历，以获取待测试***的测试路径集合；根据预置的话术信息表及测试用例生成模板生成与每一测试路径对应的测试用例；执行测试用例对待测试***进行接口测试以获取对应的接口返回数据；根据预置的返回时间阈值及测试用例从所述接口返回数据中筛选得到异常返回数据。通过上述方法，可快速获取到测试路径集合，以覆盖理论上可能存在的所有路径，基于测试路径集合对待测试***进行覆盖测试并筛选得到异常返回数据，提高了对智能语音***进行通话场景全覆盖测试时的覆盖率，在实际应用过程中取得了良好的技术效果。
上述通话场景覆盖测试装置可以实现为计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本发明实施例提供的计算机设备的示意性框图。
参阅图9，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行通话场景覆盖测试方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行通话场景覆盖测试方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径；根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例；执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据；根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
在一实施例中，处理器502在执行对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合的步骤时，执行如下操作：获取所述待测试***的开始节点作为待遍历节点；遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点；判断所述子节点是否为结束节点；若所述子节点为结束节点，将从所述开始节点至所述子节点的路径记录为测试路径；若所述子节点不是结束节点，将所述子节点作为待遍历节点并返回执行所述遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点的步骤。
在一实施例中，处理器502在执行根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例的步骤时，执行如下操作：根据所述测试路径所包含的测试节点获取所述话术信息表中与每一所述测试节点对应的话术标签作为目标话术标签；随机选择所述话术信息表中与所述目标话术标签对应的一条测试话术，将所选择的所述测试话术及所述目标话术标签的预期值填充至所述测试用例生成模板以得到对应的测试数据；根据所述测试路径对所述测试数据进行串接以生成所述测试路径对应的测试用例。
在一实施例中，处理器502在执行执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据的步骤时，执行如下操作：根据所述测试用例对应的测试路径依次将所述测试用例包含的测试话术输入所述待测试***；根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息；根据与所述测试话术对应的接口的分类规则获取与所述文字信息对应的分类信息；根据所述待测试***中的应答话术关系表获取与所述分类信息对应的接口返回信息。
在一实施例中，处理器502在执行根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息的步骤时，执行如下操作：根据所述声学模型对所述测试话术进行切分以得到所述测试话术中所包含的多个音素；根据所述语音特征词典对所述音素进行匹配，以将所有所述音素转换为拼音信息；根据所述语义解析模型对所述拼音信息进行语义解析，以将所述拼音信息转换为文字信息。
在一实施例中，处理器502在执行根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据的步骤时，执行如下操作：判断每一所述接口返回数据的返回耗时是否超出所述返回时间阈值；若所述接口返回数据的返回耗时超出所述返回时间阈值，将所述接口返回数据作为第一异常返回数据；获取每一所述接口返回数据中与所述测试用例的验证项目对应的项目值；根据每一所述测试数据中的预期值对与所述测试数据对应的接口返回数据的项目值进行验证以获取所述接口返回数据是否验证通过的验证结果；若所述接口返回数据的验证结果为不通过，将所述接口返回数据作为第二异常返回数据。
本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径；根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例；执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据；根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
在一实施例中，所述对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合的步骤，包括：获取所述待测试***的开始节点作为待遍历节点；遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点；判断所述子节点是否为结束节点；若所述子节点为结束节点，将从所述开始节点至所述子节点的路径记录为测试路径；若所述子节点不是结束节点，将所述子节点作为待遍历节点并返回执行所述遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点的步骤。
在一实施例中，所述根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例的步骤，包括：根据所述测试路径所包含的测试节点获取所述话术信息表中与每一所述测试节点对应的话术标签作为目标话术标签；随机选择所述话术信息表中与所述目标话术标签对应的一条测试话术，将所选择的所述测试话术及所述目标话术标签的预期值填充至所述测试用例生成模板以得到对应的测试数据；根据所述测试路径对所述测试数据进行串接以生成所述测试路径对应的测试用例。
在一实施例中，所述执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据的步骤，包括：根据所述测试用例对应的测试路径依次将所述测试用例包含的测试话术输入所述待测试***；根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息；根据与所述测试话术对应的接口的分类规则获取与所述文字信息对应的分类信息；根据所述待测试***中的应答话术关系表获取与所述分类信息对应的接口返回信息。
在一实施例中，所述根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息的步骤，包括：根据所述声学模型对所述测试话术进行切分以得到所述测试话术中所包含的多个音素；根据所述语音特征词典对所述音素进行匹配，以将所有所述音素转换为拼音信息；根据所述语义解析模型对所述拼音信息进行语义解析，以将所述拼音信息转换为文字信息。
在一实施例中，所述根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据的步骤，包括：判断每一所述接口返回数据的返回耗时是否超出所述返回时间阈值；若所述接口返回数据的返回耗时超出所述返回时间阈值，将所述接口返回数据作为第一异常返回数据；获取每一所述接口返回数据中与所述测试用例的验证项目对应的项目值；根据每一所述测试数据中的预期值对与所述测试数据对应的接口返回数据的项目值进行验证以获取所述接口返回数据是否验证通过的验证结果；若所述接口返回数据的验证结果为不通过，将所述接口返回数据作为第二异常返回数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种通话场景覆盖测试方法，其特征在于，包括：
对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径；
根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例；
执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据；
根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
2.根据权利要求1所述的通话场景覆盖测试方法，其特征在于，所述对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，包括：
获取所述待测试***的开始节点作为待遍历节点；
遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点；
判断所述子节点是否为结束节点；
若所述子节点为结束节点，将从所述开始节点至所述子节点的路径记录为测试路径；
若所述子节点不是结束节点，将所述子节点作为待遍历节点并返回执行所述遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点的步骤。
3.根据权利要求1所述的通话场景覆盖测试方法，其特征在于，所述根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例，包括：
根据所述测试路径所包含的测试节点获取所述话术信息表中与每一所述测试节点对应的话术标签作为目标话术标签；
随机选择所述话术信息表中与所述目标话术标签对应的一条测试话术，将所选择的所述测试话术及所述目标话术标签的预期值填充至所述测试用例生成模板以得到对应的测试数据；
根据所述测试路径对所述测试数据进行串接以生成所述测试路径对应的测试用例。
4.根据权利要求1所述的通话场景覆盖测试方法，其特征在于，所述执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据，包括：
根据所述测试用例对应的测试路径依次将所述测试用例包含的测试话术输入所述待测试***；
根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息；
根据与所述测试话术对应的接口的分类规则获取与所述文字信息对应的分类信息；
根据所述待测试***中的应答话术关系表获取与所述分类信息对应的接口返回信息。
5.根据权利要求4所述的通话场景覆盖测试方法，其特征在于，所述语音识别规则包括声学模型、语音特征词典及语义解析模型，所述根据所述待测试***中的语音识别规则对所述测试话术进行识别以获取对应的文字信息，包括：
根据所述声学模型对所述测试话术进行切分以得到所述测试话术中所包含的多个音素；
根据所述语音特征词典对所述音素进行匹配，以将所有所述音素转换为拼音信息；
根据所述语义解析模型对所述拼音信息进行语义解析，以将所述拼音信息转换为文字信息。
6.根据权利要求1所述的通话场景覆盖测试方法，其特征在于，所述根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据，包括：
判断每一所述接口返回数据的返回耗时是否超出所述返回时间阈值；
若所述接口返回数据的返回耗时超出所述返回时间阈值，将所述接口返回数据作为第一异常返回数据；
获取每一所述接口返回数据中与所述测试用例的验证项目对应的项目值；
根据每一所述测试数据中的预期值对与所述测试数据对应的接口返回数据的项目值进行验证以获取所述接口返回数据是否验证通过的验证结果；
若所述接口返回数据的验证结果为不通过，将所述接口返回数据作为第二异常返回数据。
7.一种通话场景覆盖测试装置，其特征在于，包括：
测试路径集合获取单元，用于对待测试***所包含的测试节点进行遍历，以获取所述待测试***的测试路径集合，其中，所述测试路径集合中包含多条测试路径；
测试用例生成单元，用于根据预置的话术信息表及预置的测试用例生成模板生成与每一所述测试路径对应的测试用例；
接口返回数据获取单元，用于执行所述测试用例对所述待测试***进行接口测试以获取对应的接口返回数据；
异常返回数据筛选单元，用于根据预置的返回时间阈值及所述测试用例从所述接口返回数据中筛选得到异常返回数据。
8.根据权利要求7所述的通话场景覆盖测试装置，其特征在于，所述测试节点遍历单元，包括：
待遍历节点确定单元，用于获取所述待测试***的开始节点作为待遍历节点；
子节点获取单元，用于遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点；
判断单元，用于判断所述子节点是否为结束节点；
测试路径记录单元，用于若所述子节点为结束节点，将从所述开始节点至所述子节点的路径记录为测试路径；
返回执行单元，用于若所述子节点不是结束节点，将所述子节点作为待遍历节点并返回执行所述遍历所述待遍历节点的下一层级，以得到所述待遍历节点的子节点的步骤。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的通话场景覆盖测试方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的通话场景覆盖测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222806.0A CN111581074A (zh) | 2020-03-26 | 2020-03-26 | 通话场景覆盖测试方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222806.0A CN111581074A (zh) | 2020-03-26 | 2020-03-26 | 通话场景覆盖测试方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111581074A true CN111581074A (zh) | 2020-08-25 |
Family
ID=72111433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010222806.0A Pending CN111581074A (zh) | 2020-03-26 | 2020-03-26 | 通话场景覆盖测试方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111581074A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181818A (zh) * | 2020-09-23 | 2021-01-05 | 中国电子技术标准化研究院 | 开源社区中的微服务架构工业app测试方法及*** |
| CN112346988A (zh) * | 2020-11-26 | 2021-02-09 | 恩亿科(北京)数据科技有限公司 | 一种数据测试方法、***及数据筛选器 |
| CN112685297A (zh) * | 2020-12-25 | 2021-04-20 | 科讯嘉联信息技术有限公司 | 一种电话客服机器人话术流程自动测试方法 |
| CN112988565A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 接口自动化测试方法、装置、计算机设备及存储介质 |
| CN113568797A (zh) * | 2021-08-04 | 2021-10-29 | 北京百度网讯科技有限公司 | 智能交互***的测试方法及装置、电子设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203466A (zh) * | 2016-03-17 | 2017-09-26 | 美的集团股份有限公司 | Api测试方法和装置 |
| CN109977005A (zh) * | 2019-02-13 | 2019-07-05 | 网易（杭州）网络有限公司 | 端到端测试方法、介质、装置和计算设备 |
| CN110389894A (zh) * | 2019-05-27 | 2019-10-29 | 南京祖母绿智能科技有限公司 | 测试用例生成的方法和装置 |
| CN112256558A (zh) * | 2020-09-17 | 2021-01-22 | 苏宁云计算有限公司 | 一种测试用例的生成方法、装置、计算机设备及存储介质 |
-
2020
- 2020-03-26 CN CN202010222806.0A patent/CN111581074A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203466A (zh) * | 2016-03-17 | 2017-09-26 | 美的集团股份有限公司 | Api测试方法和装置 |
| CN109977005A (zh) * | 2019-02-13 | 2019-07-05 | 网易（杭州）网络有限公司 | 端到端测试方法、介质、装置和计算设备 |
| CN110389894A (zh) * | 2019-05-27 | 2019-10-29 | 南京祖母绿智能科技有限公司 | 测试用例生成的方法和装置 |
| CN112256558A (zh) * | 2020-09-17 | 2021-01-22 | 苏宁云计算有限公司 | 一种测试用例的生成方法、装置、计算机设备及存储介质 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181818A (zh) * | 2020-09-23 | 2021-01-05 | 中国电子技术标准化研究院 | 开源社区中的微服务架构工业app测试方法及*** |
| CN112181818B (zh) * | 2020-09-23 | 2023-06-27 | 中国电子技术标准化研究院 | 基于变组合强度的微服务架构工业app测试方法及*** |
| CN112346988A (zh) * | 2020-11-26 | 2021-02-09 | 恩亿科(北京)数据科技有限公司 | 一种数据测试方法、***及数据筛选器 |
| CN112685297A (zh) * | 2020-12-25 | 2021-04-20 | 科讯嘉联信息技术有限公司 | 一种电话客服机器人话术流程自动测试方法 |
| CN112988565A (zh) * | 2021-01-25 | 2021-06-18 | 杭州衣科云科技有限公司 | 接口自动化测试方法、装置、计算机设备及存储介质 |
| CN112988565B (zh) * | 2021-01-25 | 2024-01-02 | 杭州衣科信息技术股份有限公司 | 接口自动化测试方法、装置、计算机设备及存储介质 |
| CN113568797A (zh) * | 2021-08-04 | 2021-10-29 | 北京百度网讯科技有限公司 | 智能交互***的测试方法及装置、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111581074A (zh) | 通话场景覆盖测试方法、装置、计算机设备及存储介质 | |
| US10847136B2 (en) | System and method for mapping a customer journey to a category | |
| CN109360550A (zh) | 语音交互***的测试方法、装置、设备和存储介质 | |
| CN110543552A (zh) | 对话交互方法、装置及电子设备 | |
| CN104903954A (zh) | 使用基于人工神经网络的亚语音单位区分的说话人验证及识别 | |
| CN111179935B (zh) | 一种语音质检的方法和设备 | |
| CN112346567A (zh) | 基于ai的虚拟交互模型生成方法、装置及计算机设备 | |
| US11120802B2 (en) | Diarization driven by the ASR based segmentation | |
| CN108804526A (zh) | 兴趣确定***、兴趣确定方法及存储介质 | |
| CN111210842A (zh) | 语音质检方法、装置、终端及计算机可读存储介质 | |
| CN115328756A (zh) | 一种测试用例生成方法、装置及设备 | |
| CN109947651B (zh) | 人工智能引擎优化方法和装置 | |
| CN112416778A (zh) | 测试用例推荐方法、装置和电子设备 | |
| CN114049895B (zh) | 一种基于asr的语音质检分析方法及*** | |
| CN112836053A (zh) | 用于工业领域的人机对话情感分析方法及*** | |
| CN113343248A (zh) | 一种漏洞识别方法、装置、设备和存储介质 | |
| US10956914B2 (en) | System and method for mapping a customer journey to a category | |
| CN113065850B (zh) | 用于智能外呼机器人的话术测试方法及装置 | |
| US10468031B2 (en) | Diarization driven by meta-information identified in discussion content | |
| CN112434953A (zh) | 一种基于计算机数据处理的客服人员考核方法和装置 | |
| CN111309288B (zh) | 适用于银行业务的软件需求规格文件的分析方法及装置 | |
| WO2022122174A1 (en) | Methods and apparatuses for troubleshooting a computer system | |
| CN109787784B (zh) | 群组推荐方法、装置、存储介质和计算机设备 | |
| CN112632229A (zh) | 文本聚类方法及装置 | |
| CN113822029A (zh) | 客服辅助方法、装置和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |