CN114185782A - 一种虚拟对象的交互测试方法、装置及电子设备 - Google Patents

Abstract

本公开提供了一种虚拟对象的交互测试方法、装置及电子设备，涉及自动测试技术领域，尤其涉及智能家居领域。具体实现方案为：获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，测试用例中至少包含与虚拟对象进行交互的交互信息，交互信息与虚拟对象的交互功能相对应；控制虚拟对象执行与交互信息所对应的控制指令，得到执行结果，其中，执行结果以视频图像的方式展示；获取测试用例所对应的目标执行结果；比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果。通过本公开以至少解决现有技术中对虚拟对象的交互功能进行测试所存在的测试效率低的问题。

Description

一种虚拟对象的交互测试方法、装置及电子设备

技术领域

本公开涉及自动测试技术领域，尤其涉及一种虚拟对象的交互测试方法、装置及电子设备。

背景技术

随着计算机技术和人工智能技术的发展，除了传统工业行业的机器人逐渐走入人类的医疗、电商娱乐等领域外，随着人类对人机交互的更高要求，目前越来越多的智能设备上逐渐出现越来越逼真、流畅的虚拟对象的多模态交互，即在智能设备上显示的虚拟对象能够通过语音、面部表情、肢体动作等与用户进行交流互动。

现有技术中，通常采用人工测试的方式来对虚拟对象的交互功能进行检测。由于虚拟对象具有多模态，因此，需要测试人员对虚拟对象的各个功能模块进行逐一测试，人工成本高，且易出错，对测试人员的专业度要求较高。而且，在测试过程中，各个测试点以及各个测试环节均需要人工介入，测试周期耗时长。

发明内容

本公开提供了一种虚拟对象的交互测试方法、装置及电子设备。

根据本公开的一方面，提供了一种虚拟对象的交互测试方法，包括：获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，测试用例中至少包含与虚拟对象进行交互的交互信息，交互信息与虚拟对象的交互功能相对应；控制虚拟对象执行与交互信息所对应的控制指令，得到执行结果，其中，执行结果以视频图像的方式展示；获取测试用例所对应的目标执行结果；比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果。

进一步地，虚拟对象的交互测试方法还包括：在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，获取信息采集设备所采集到的音频信息和/或视频信息；根据音频信息和/或视频信息生成测试用例。

进一步地，虚拟对象的交互测试方法还包括：在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，获取预先存储的视频图像文件和/或音频文件，其中，音频文件至少包括如下之一：预先存储的音频文件，由文本文件转换得到的音频文件；基于视频图像文件和/或音频文件生成测试用例。

进一步地，虚拟对象的交互测试方法还包括：从执行结果所对应的视频图像中，获取虚拟对象执行控制指令所对应的动作视频图像；从目标执行结果所对应的视频图像中，获取与控制指令对应的目标动作视频图像；比对动作视频图像与目标动作视频图像，得到动作相似度；根据动作相似度确定测试结果。

进一步地，虚拟对象的交互测试方法还包括：获取待测设备对交互信息进行识别的识别结果；从执行结果所对应的视频图像中，获取虚拟对象执行控制指令所对应的音频反馈结果；从目标执行结果所对应的视频图像中，获取与控制指令对应的目标音频反馈结果；比对音频反馈结果与目标音频反馈结果的音频相似度；根据识别结果以及音频相似度确定测试结果。

进一步地，虚拟对象的交互测试方法还包括：在比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果之后，根据测试结果生成测试报告；发送测试报告至终端设备中。

进一步地，虚拟对象的交互测试方法还包括：在检测到测试用例执行失败的情况下，检测测试用例是否为异常测试用例；在测试用例为异常测试用例时，记录异常测试用例的标识信息以及执行异常测试用例所对应的执行结果，并执行其他测试用例。

进一步地，虚拟对象的交互测试方法还包括：在测试用例为正常测试用例时，确定测试用例执行失败的失败条件；在失败条件转换为成功条件时，控制虚拟对象重新执行测试用例，其中，成功条件为虚拟对象成功执行测试用例的条件。

根据本公开的另一方面，提供了一种虚拟对象的交互测试装置，包括：第一获取模块，用于获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，测试用例中至少包含与虚拟对象进行交互的交互信息，交互信息与虚拟对象的交互功能相对应；控制模块，用于控制虚拟对象执行与交互信息所对应的控制指令，得到执行结果，其中，执行结果以视频图像的方式展示；第二获取模块，用于获取测试用例所对应的目标执行结果；比对模块，用于比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的虚拟对象的交互测试方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据上述的虚拟对象的交互测试方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据上述的虚拟对象的交互测试方法。

在本公开中，采用与所述虚拟对象的交互功能所对应的测试用例对虚拟对象的交互功能进行功能测试的方式，在获取到对待测设备所展示的虚拟对象进行测试的测试用例之后，控制虚拟对象执行与测试用例中所包含的与虚拟对象进行交互的交互信息的控制指令，得到以视频图像的方式进行展示的执行结果，然后获取测试用例所对应的目标执行结果，并通过比对执行结果与目标执行结果来确定对虚拟对象的交互功能进行测试的测试结果。

在上述过程中，虚拟对象所执行的控制指令与测试用例所包含的交互信息相对应，而交互信息与虚拟对象的交互功能相对应，因此，在设定好测试用例之后，即可使用该测试用例来实现虚拟对象的交互功能的测试，该过程无需人工参与，从而避免了现有技术中人工测试虚拟对象的交互功能所存在的测试效率低的问题，提高了测试效率，以及测试的准确率。另外，由于虚拟对象的交互功能与测试用例相对应，因此，在对虚拟对象的多模态的功能进行测试时，仅需调用对应的测试用例即可，而无需测试人员对虚拟对象的每个测试功能进行逐一测试，进而降低了测试成本。

由此可见，本公开所提供的方案达到了对虚拟对象的多模态的功能进行自动测试的目的，从而实现了提高虚拟对象的交互功能的测试效率的技术效果，进而解决了现有技术中对虚拟对象的交互功能进行测试所存在的测试效率低的问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的虚拟对象的交互测试方法的流程图；

图2是根据本公开第一实施例的待测设备的图形用户界面示意图；

图3是根据本公开第一实施例的虚拟对象的交互测试方法的流程图；

图4是根据本公开第二实施例的虚拟对象的交互测试装置的示意图；

图5是用来实现本公开实施例的虚拟对象的交互测试方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

实施例1

根据本公开的实施例，本公开提供了一种虚拟对象的交互测试方法，其中，测试装置可作为本实施例所提供方法的执行主体，其中，该测试装置可与展示虚拟对象的待测设备连接，测试装置可以通过USB(Universal Serial Bus，通用串行总线)接口、串口、无线网络等方式进行连接。

可选的，图1是根据本公开实施例所提供的虚拟对象的交互测试方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，测试用例中至少包含与虚拟对象进行交互的交互信息，交互信息与虚拟对象的交互功能相对应。

在步骤S102中，待测设备至少包括处理单元以及显示单元，其中，显示单元可显示虚拟对象。可选的，该待测设备可以为手持设备(例如，智能手机、智能平板、智能手表等)，也可以为非手持设备(例如，台式电脑、笔记本电脑以及其他终端设备等)。另外，上述的虚拟对象可以为运行在待测设备上的程序所呈现的图形用户界面中的对象，例如，在图2所示的待测设备的图形用户界面中，虚拟对象为卡通形象。

需要说明的是，虚拟对象可以为卡通形象，还可以为其他形象，例如，人物形象、动物形象等。此外，在待测设备中运行上述程序时，虚拟对象能够与用户进行交流互动，例如，在上述程序为游戏程序时，用户发出“跳舞”的语音，则虚拟对象在图形用户界面中跳舞；又例如，在上述程序为咨询类程序时，用户向前抬起手，呈现握手的姿势时，虚拟对象也伸出手，示意要与用户握手；在用户发出“天气查询”的语音时，虚拟对象语音播报天气情况。

此外，还需要说明的是，在步骤S102中，测试用例用于对虚拟对象的交互功能进行测试，可选的，虚拟对象的一种交互功能与一个测试用例相对应，例如，测试用例1用于对虚拟对象的天气查询功能进行测试，测试用例2用于对虚拟对象的语音识别功能进行测试，测试用例3用于对虚拟对象的表情展示功能进行测试。

容易注意到的是，由于一种交互功能与一个测试用例相对应，因此，在对具有多模态的虚拟对象进行交互功能的测试时，使用与该交互功能对应的测试用例对虚拟对象的功能进行测试即可，无需人工逐一比对测试，从而降低了测试成本。此外，在某个交互功能的测试用例发生异常，而无法执行时，可继续使用其他交互功能的测试用例对其他交互功能进行测试，无需中断测试，从而避免了现有技术中，批量执行多个测试用例中途某个失败后之后，其他测试用例无法执行所导致的测试效率低的问题，进而提高了虚拟对象的交互功能的测试效率。

另外，在步骤S102中，测试用例中所包含的与虚拟对象进行交互的交互信息为向虚拟对象发出的交互信息，例如，上述用户发出的“跳舞”语音、“天气查询”语音、用户的握手姿势等均为上述交互信息。

在一种可选的实施例中，测试装置可自动录制测试人员的动作、语音等，并根据录制的动作、语音等生产测试用例。测试装置还可从预设存储区域中获取已有的测试用例，导入已有的测试用例来对虚拟对象进行测试。

步骤S104，控制虚拟对象执行与交互信息所对应的控制指令，得到执行结果，其中，执行结果以视频图像的方式展示。

在步骤S104中，在对待测设备中的虚拟对象的交互功能进行测试时，测试装置展示测试用例中所包含的交互信息，待测设备中的虚拟对象在接收到上述的交互信息之后，对交互信息进行识别，得到与交互信息对应的控制指令，然后，待测设备中的虚拟对象执行控制指令。在虚拟对象执行控制指令的过程中，待测设备展示虚拟对象执行控制指令的过程，并以视频图像的形式展示该执行过程，同时测试装置对待测设备进行录屏，以获取到执行结果。即在本实施例中，虚拟对象执行控制指令的执行结果以视频图像的方式进行展示，进而，测试装置通过视频比对的方式来确定虚拟对象的交互功能是否存在异常。

步骤S106，获取测试用例所对应的目标执行结果。

在步骤S106中，目标执行结果为测试用例所对应的标准执行结果，其中，该目标执行结果也可以以视频图像的方式在测试装置上进行展示。可选的，上述目标执行结果至少包括如下之一：虚拟对象的目标执行动作、目标识别结果以及虚拟对象的目标音频反馈结果。其中，目标执行动作为虚拟对象根据交互信息应当执行的动作，目标音频反馈结果为虚拟对象根据交互信息应当反馈的音频，目标识别结果为待测设备根据交互信息应当识别出的、正确的控制指令。

可选的，测试用例所对应的目标执行结果可以预先存储在测试装置的预设存储区域中，也可存储在其他终端设备的存储区域中，或者存储在网络云盘中。另外，在生成测试用例的同时，也生成与测试用例对应的目标执行结果。

在一种可选的实施例中，在检测到虚拟对象已执行完控制指令之后，测试装置从预设的存储区域或者网络云盘中获取与测试用例对应的目标执行结果。

在另一种可选的实施例中，在获取到测试用例之后，测试装置从预设的存储区域或者网络云盘中获取与测试用例对应的目标执行结果，并将目标执行结果存储在测试装置的本地的内存中，便于在进行结果比对时，能够快速的获取到目标执行结果。

步骤S108，比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果。

在步骤S108中，在获取到虚拟对象执行控制指令的执行结果以及测试用例所对应的目标执行结果之后，测试装置可通过视频比对的方式来对执行结果与目标执行结果进行比对，从而得到表征虚拟对象的交互功能是否正常的测试结果。

可选的，在通过视频比对的方式对执行结果与目标执行结果进行比对的过程中，测试装置可将执行结果对应的第一视频的每一帧图像与目标执行结果所对应的第二视频的每一帧图像进行比对，第一视频的每一帧图像与第二视频的每一帧图像的相似度达到预设相似度时，确定虚拟对象的交互功能正常，测试成功。如果第一视频中存在与第二视频中的帧图像的相似度小于预设相似度的帧图像时，确定虚拟对象的交互功能异常，测试失败。

需要说明的是，在比对第一视频的每一帧图像与第二视频的每一帧图像之前，测试装置还需要确定第一视频中的起始帧图像，该起始帧图像与第二视频的第一帧图像相对应，从而避免了由于第一视频的起始播放时间与第二视频的起始播放时间不同所导致的比对结果不准确的问题，进而提高了虚拟对象的交互功能测试的准确度。

基于上述步骤S102至步骤S108所限定的方案，可以获知，在本公开中，采用与所述虚拟对象的交互功能所对应的测试用例对虚拟对象的交互功能进行功能测试的方式，在获取到对待测设备所展示的虚拟对象进行测试的测试用例之后，控制虚拟对象执行与测试用例中所包含的与虚拟对象进行交互的交互信息的控制指令，得到以视频图像的方式进行展示的执行结果，然后获取测试用例所对应的目标执行结果，并通过比对执行结果与目标执行结果来确定对虚拟对象的交互功能进行测试的测试结果。

容易注意到的是，在上述过程中，虚拟对象所执行的控制指令与测试用例所包含的交互信息相对应，而交互信息与虚拟对象的交互功能相对应，因此，在设定好测试用例之后，即可使用该测试用例来实现虚拟对象的交互功能的测试，该过程无需人工参与，从而避免了现有技术中人工测试虚拟对象的交互功能所存在的测试效率低的问题，提高了测试效率，以及测试的准确率。另外，由于虚拟对象的交互功能与测试用例相对应，因此，在对虚拟对象的多模态的功能进行测试时，仅需调用对应的测试用例即可，而无需测试人员对虚拟对象的每个测试功能进行逐一测试，进而降低了测试成本。

由此可见，本公开所提供的方案达到了对虚拟对象的多模态的功能进行自动测试的目的，从而实现了提高虚拟对象的交互功能的测试效率的技术效果，进而解决了现有技术中对虚拟对象的交互功能进行测试所存在的测试效率低的问题。

在一种可选的实施例中，在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，测试装置需生成测试用例，其中，测试装置可通过如下两种方式中的任意一种方式来生成测试用例。

方式一：通过录制测试用例的方式来生成测试用例。具体的，测试装置首先获取信息采集设备所采集到的音频信息和/或视频信息，并根据音频信息和/或视频信息生成测试用例。

在该场景中，测试装置中的信息采集单元至少包括音频采集单元以及图像采集单元，其中，音频采集单元可以为但不限于录音机，图像采集单元可以为但不限于照相机、摄像机。

可选的，测试人员可对测试装置中的测试用例获取控件进行操作，测试装置在检测到测试人员对测试用例获取控件进行操作后，确定测试人员需要获取测试用例。此时，在测试装置的图形用户界面中弹出获取测试用例的获取方式的选择界面，在该选择界面中至少展示有两种获取方式，其中，方式一为录制测试用例，方式二为导入已有测试用例。在测试人员选择方式一，并征求被测试人员的同意之后，测试装置启动音频采集单元和/或图像采集单元，音频采集单元采集被测试人员的语音信息，图像采集单元采集被测试人员的图像信息(例如，人脸信息)以及动作信息(例如，肢体动作信息、面部表情信息)。在采集到被测试人员的语音信息和/或图像信息之后，测试装置根据语音信息和/或图像信息生成测试用例。

需要说明的是，在音频采集单元采集被测试人员的语音信息，和/或图像采集单元采集被测试人员的图像信息以及动作信息的过程中，被测试人员可根据测试人员的要求发出相应的语音，或者执行相同的动作，例如，测试人员要求被测是人员发出“查询天气”的语音，则被测试人员发出“查询天气”的语音。被测试人员还可根据测试装置所显示的提示信息发出相应的语音或者执行相应的动作，例如，测试装置根据当前所要测试的虚拟对象的交互功能来设置被测试人员需要发出的语音，和/或被测试人员需要执行的动作，并在测试装置的显示单元中显示相应的指令，进而被测试人员即可根据指令发出相应的语音，和/或执行相应的动作。

此外，还需要说明的是，在测试人员检测到生成测试用例的语音信息和/或图像信息不符合要求时，测试人员还可通过操作测试装置中的删除控件，删除不符合要求的语音信息和/或图像信息。另外，测试人员还可操作测试装置中的更改控件，对语音信息和/或图像信息进行更改，例如，测试人员人工更改语音的播放语速、视频图像的亮暗度、对比度等。

另外，在上述场景中，由于音频信息和/或视频信息是通过信息采集设备采集到的，因此，根据音频信息和/或视频信息生成的测试用例能够与当前所要测试的虚拟对象的交互功能更加匹配，而使用与交互功能匹配度较高的测试用例对交互功能进行测试，可以有效提高虚拟对象的交互功能的测试效率。

方式二：通过已有的测试用例来生成测试用例。具体的，测试装置首先获取预先存储的视频图像文件和/或音频文件，并基于视频图像文件和/或音频文件生成测试用例。其中，音频文件至少包括如下之一：预先存储的音频文件，由文本文件转换得到的音频文件。

可选的，在方式二中，测试装置可通过导入图片或者导入视频的方式来生成与人脸信息相对应的测试用例，以增加测试用例全面性。其中，上述的图片或者视频可以预先存储在测试装置的本地内存中，也可以存储在其他设备的内存中，还可以存储在云端服务器中。

另外，上述的音频文件可以为预先存储的音频文件，例如，预先存储在测试装置的本地内存中的音频文件、预先存储在其他设备的内存中的音频文件、预先存储在云端服务器中的音频文件等，其中，上述的预先存储的音频文件的格式可以为但不限于mp3、pcm、wav等常见的视频格式。

上述的音频文件还可以是文本文件转换得到的音频文件，其中，测试人员可在测试装置中对上述的文本文件进行配置，在配置完成后，测试装置即可根据测试用例和测试时机自动将上述文本文件中的文本转换为语音，从而得到上述的音频文件，并播放音频文件。

需要说明的是，在方式二中，直接调用已有的视频图像文件和/音频文件生成测试用例，无需每次对虚拟对象的交互功能进行测试时录制视频图像和/或音频，从而减少了虚拟对象的交互功能的测试步骤，降低了测试虚拟对象的交互功能的操作成本。

进一步的，在通过上述的方式一或者方式二生成测试用例之后，测试装置即可导入测试用例，并基于测试用例对虚拟对象的交互功能进行测试，从而得到执行结果。

可选的，测试人员可点击测试装置中的启动控件，测试装置启动测试流程。其中，测试装置可根据方式一录制得到的测试用例，或者方式二中导入已有的测试用例的方式得到的测试用例，对虚拟对象的交互功能进行测试，同时自动录屏记录虚拟对象执行测试用例所对应的控制指令后的视频图像。

需要说明的是，在对虚拟对象的交互功能进行测试的过程中，测试装置还自动监控日志和测试装置的性能情况，并在测试装置所对应的显示设备的指定区域内实时展示上述内容。其中，上述的日志中至少记载有对虚拟对象的交互功能进行测试的测试信息，例如，测试的功能类型、测试时间、测试时长、测试过程中出现异常的时间、异常出现的时长、异常原因等信息，以便于测试人员能够及时的知晓测试的相关信息，并在测试过程中出现异常时，能够采取有效的措施。

更进一步的，在确定了测试用例之后，测试装置还导入对虚拟对象的交互功能进行测试的测试用例所对应的目标执行结果，并比对执行结果与目标执行结果，从而得到对虚拟对象的交互功能进行测试的测试结果。

在一种可选的实施例中，测试装置通过比对执行结果所对应的视频图像与目标执行结果所对应的视频图像以对虚拟对象的动作执行准确度进行测试。

具体的，测试装置首先从执行结果所对应的视频图像中，获取虚拟对象执行控制指令所对应的动作视频图像，并从目标执行结果所对应的视频图像中，获取与控制指令对应的目标动作视频图像，然后，比对动作视频图像与目标动作视频图像，得到动作相似度，最后，根据动作相似度确定测试结果。

可选的，测试装置可通过比对动作视频图像中的每一帧图像与目标动作视频图像中的每一帧图像的相似度来确定虚拟对象的动作执行准确的。例如，测试装置可首先确定在动作视频图像中的第一时刻所对应的第一帧图像中虚拟对象的执行动作是否与目标动作视频图像中的第一时刻所对应的第一帧图像中虚拟对象的目标执行动作相同，得到第一相似度。如果相同，则继续比对执行动作的动作细节，是否与目标执行动作的动作细节是否相同，得到第二相似度，例如，比对虚拟对象执行某个动作的执行速度、延迟等。最后，测试装置计算第一相似度与第二相似度的加权平均值，得到动作相似度。其中，动作相似度的数值越高，表明动作视频图像与目标动作视频图像的匹配度越高，即虚拟对象的动作执行的越准确。

需要说明的是，通过视频图像的比对方式对虚拟对象的动作执行准确度以及动作执行细节进行自动测试，可以有效避免现有技术中，通过人工比对虚拟对象的动作所存在的测试效率低、测试准确度低的问题以及人工比对存在主观性和易错性的问题，从而提高了对虚拟对象的动作执行准确度进行测试的测试准确度。

在另一种可选的实施例中，测试装置还可通过比对执行结果所对应的音频反馈结果与目标执行结果所对应的目标音频反馈结果以对虚拟对象的音频反馈准确度进行测试。

具体的，测试装置首先获取待测设备对交互信息进行识别的识别结果，并从执行结果所对应的视频图像中，获取虚拟对象执行控制指令所对应的音频反馈结果，然后，从目标执行结果所对应的视频图像中，获取与控制指令对应的目标音频反馈结果，并比对音频反馈结果与目标音频反馈结果的音频相似度，最后，根据识别结果以及音频相似度确定测试结果。

可选的，测试用例中的音频为“查询天气”，测试装置首先检测待测设备是否能够准确识别出上述的音频，得到上述的识别结果。如果待测设备无法准确识别出上述音频，则确定测试失败；如果待测设备能够准确识别出上述音频，则测试装置进一步对虚拟对象的音频反馈结果进行测试，即测试装置比对虚拟对象的音频反馈结果与目标音频反馈结果，得到二者的音频相似度，进而根据音频相似度来确定测试是否成功。其中，在音频相似度小于预设相似度时，确定测试失败；在音频相似度大于或等于预设相似度时，确定测试成功。

需要说明的是，测试装置能够对待测设备的识别结果以及虚拟对象的音频反馈结果进行自动断言处理，以确定测试是否成功，与现有技术相比，提高了对虚拟对象的音频反馈结果的准确的测试效率以及测试准确度。

更进一步的，在比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果之后，测试装置还可根据测试结果生成测试报告，并发送测试报告至终端设备中。

需要说明的是，在本公开中，测试人员还可通过测试装置配置测试人邮箱信息，用于通知测试人员测试情况、测试报告等信息。容易注意到的是，由于测试装置能够自动生成测试报告，无需人工填写，降低了测试人员的工作量，简化了测试人员的操作步骤，提高了测试人员的测试体验。

在一种可选的实施例中，在检测到测试用例执行失败的情况下，测试装置检测测试用例是否为异常测试用例，在测试用例为异常测试用例时，记录异常测试用例的标识信息以及执行异常测试用例所对应的执行结果，并执行其他测试用例。

需要说明的是，上述的异常测试用例的标识信息用于对测试用例进行唯一标识，该标识信息可以包括但不限于测试用例的编号、名称等一种或多种信息的组合。另外，异常测试用例表征测试用例本身存在错误。

此外，还需要说明的是，在检测到测试用例本身存在错误时，测试装置继续执行其他测试用例，可以避免相关技术中，测试装置在等待异常测试用例正常后再继续对虚拟对象的交互功能进行测试所导致的增加测试时长，降低测试效率的问题，进而提高了虚拟对象的交互功能的测试效率。

另外，在测试用例为正常测试用例时，测试装置确定测试用例执行失败的失败条件，并在失败条件转换为成功条件时，控制虚拟对象重新执行测试用例，其中，成功条件为虚拟对象成功执行测试用例的条件。

需要说明的是，上述失败条件可以为但不限于设备断电、断网的条件，即在该场景中，测试用例本申请没有错误，仅是外界条件不允许测试装置对虚拟对象的交互功能进行测试。此时，测试装置只需暂停测试，待导致测试装置无法执行测试步骤的原因解决后，再继续使用当前测试用例对虚拟对象的交互功能进行测试。

此外，还需要说明的是，在外界环境导致测试装置无法正常进行测试流程时，暂停当前测试用例的执行，待外界环境所存在的导致测试装置无法执行测试流程的故障解决后，再继续执行当前测试用例，避免了现有技术中，在外界环境所存在的导致测试装置无法执行测试流程的故障解决后，重新开始执行全部测试用例所导致的测试步骤重复，增加测试人员的工作量的问题。

在一种可选的实施例中，图3示出了一种可选的虚拟对象的交互测试方法的流程图，由图3可知，在展示虚拟对象的待测设备与测试装置连接后，测试人员可通过测试装置配置邮箱，以获取测试结果、测试报告等信息。然后，测试装置通过录制视频图像生成测试用例，或者导入已有测试用例的方式获取测试用例，同时获取用户输入的或者已有的虚拟对象执行测试用例所对应的目标执行结果。在接收到测试人员的启动测试的控制指令之后，测试装置启动测试程序，获取虚拟对象执行测试用例的执行结果，并通过视频比对的方式比对执行结果与目标执行结果，得到测试结果。另外，在对虚拟对象的交互功能进行测试的过程中，测试装置还检测测试用例是否为异常测试用例，如果是异常测试用例，则执行其他的测试用例；如果不是异常测试用例，则在测试完成后，自动生成测试报告，并通过邮件的方式将测试报告发送至上述的邮箱中，以通知测试人员测试的相关信息。

由上述内容可知，本公开提供了一种多模态可视化语音交互虚拟对象的自动化测试方案，该方案有效提升了测试效率，节省了人力。另外，在本公开中还将视频比对技术应用在测试结果自动断言阶段，同时对于虚拟对象识别结果以及语音反馈结果可以自动断言校验，降低了人工介入带来的主观性和易错性。

实施例2

根据本公开的实施例，本公开还提供了一种虚拟对象的交互测试装置，其中，图4是根据本公开实施例所提供的虚拟对象的交互测试装置的示意图，如图4所示，该装置包括：第一获取模块401、控制模块403、第二获取模块405以及比对模块407。

其中，第一获取模块401，用于获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，测试用例中至少包含与虚拟对象进行交互的交互信息，交互信息与虚拟对象的交互功能相对应；控制模块403，用于控制虚拟对象执行与交互信息所对应的控制指令，得到执行结果，其中，执行结果以视频图像的方式展示；第二获取模块405，用于获取测试用例所对应的目标执行结果；比对模块407，用于比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果。

需要说明的是，上述第一获取模块401、控制模块403、第二获取模块405以及比对模块407对应于上述实施例中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。

可选的，虚拟对象的交互测试装置还包括：第三获取模块以及第一生成模块。其中，第三获取模块，用于在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，获取信息采集设备所采集到的音频信息和/或视频信息；第一生成模块，用于根据音频信息和/或视频信息生成测试用例。

可选的，虚拟对象的交互测试装置还包括：第四获取模块以及第二生成模块。其中，第四获取模块，用于在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，获取预先存储的视频图像文件和/或音频文件，其中，音频文件至少包括如下之一：预先存储的音频文件，由文本文件转换得到的音频文件；第二生成模块，用于基于视频图像文件和/或音频文件生成测试用例。

可选的，比对模块包括：第五获取模块、第六获取模块、第一比对模块以及第一确定模块。其中，第五获取模块，用于从执行结果所对应的视频图像中，获取虚拟对象执行控制指令所对应的动作视频图像；第六获取模块，用于从目标执行结果所对应的视频图像中，获取与控制指令对应的目标动作视频图像；第一比对模块，用于比对动作视频图像与目标动作视频图像，得到动作相似度；第一确定模块，用于根据动作相似度确定测试结果。

可选的，比对模块包括：第七获取模块、第八获取模块、第九获取模块、第二比对模块以及第二确定模块。其中，第七获取模块，用于获取待测设备对交互信息进行识别的识别结果；第八获取模块，用于从执行结果所对应的视频图像中，获取虚拟对象执行控制指令所对应的音频反馈结果；第九获取模块，用于从目标执行结果所对应的视频图像中，获取与控制指令对应的目标音频反馈结果；第二比对模块，用于比对音频反馈结果与目标音频反馈结果的音频相似度；第二确定模块，用于根据识别结果以及音频相似度确定测试结果。

可选的，虚拟对象的交互测试装置还包括：第三生成模块以及传输模块。其中，第三生成模块，用于在比对执行结果与目标执行结果，得到对虚拟对象的交互功能进行测试的测试结果之后，根据测试结果生成测试报告；传输模块，用于发送测试报告至终端设备中。

可选的，虚拟对象的交互测试装置还包括：检测模块以及记录模块。其中，检测模块，用于在检测到测试用例执行失败的情况下，检测测试用例是否为异常测试用例；记录模块，用于在测试用例为异常测试用例时，记录异常测试用例的标识信息以及执行异常测试用例所对应的执行结果，并执行其他测试用例。

可选的，虚拟对象的交互测试装置还包括：第三确定模块以及第一控制模块。其中，第三确定模块，用于在测试用例为正常测试用例时，确定测试用例执行失败的失败条件；第一控制模块，用于在失败条件转换为成功条件时，控制虚拟对象重新执行测试用例，其中，成功条件为虚拟对象成功执行测试用例的条件。

实施例3

根据本公开的实施例，本公开还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如虚拟对象的交互测试方法。例如，在一些实施例中，虚拟对象的交互测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的虚拟对象的交互测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行虚拟对象的交互测试方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种虚拟对象的交互测试方法，包括：

获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，所述测试用例中至少包含与所述虚拟对象进行交互的交互信息，所述交互信息与所述虚拟对象的交互功能相对应；

控制所述虚拟对象执行与所述交互信息所对应的控制指令，得到执行结果，其中，所述执行结果以视频图像的方式展示；

获取所述测试用例所对应的目标执行结果；

比对所述执行结果与所述目标执行结果，得到对所述虚拟对象的交互功能进行测试的测试结果。

2.根据权利要求1所述的方法，在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，所述方法还包括：

获取信息采集设备所采集到的音频信息和/或视频信息；

根据所述音频信息和/或所述视频信息生成所述测试用例。

3.根据权利要求1所述的方法，在获取对待测设备所展示的虚拟对象进行测试的测试用例之前，所述方法还包括：

获取预先存储的视频图像文件和/或音频文件，其中，所述音频文件至少包括如下之一：预先存储的音频文件，由文本文件转换得到的音频文件；

基于所述视频图像文件和/或所述音频文件生成所述测试用例。

4.根据权利要求1所述的方法，比对所述执行结果与所述目标执行结果，得到对所述虚拟对象的交互功能进行测试的测试结果，包括：

从所述执行结果所对应的视频图像中，获取所述虚拟对象执行所述控制指令所对应的动作视频图像；

从所述目标执行结果所对应的视频图像中，获取与所述控制指令对应的目标动作视频图像；

比对所述动作视频图像与所述目标动作视频图像，得到动作相似度；

根据所述动作相似度确定所述测试结果。

5.根据权利要求1所述的方法，比对所述执行结果与所述目标执行结果，得到对所述虚拟对象的交互功能进行测试的测试结果，包括：

获取所述待测设备对所述交互信息进行识别的识别结果；

从所述执行结果所对应的视频图像中，获取所述虚拟对象执行所述控制指令所对应的音频反馈结果；

从所述目标执行结果所对应的视频图像中，获取与所述控制指令对应的目标音频反馈结果；

比对所述音频反馈结果与所述目标音频反馈结果的音频相似度；

根据所述识别结果以及所述音频相似度确定所述测试结果。

6.根据权利要求4或5中任意一项所述的方法，在比对所述执行结果与所述目标执行结果，得到对所述虚拟对象的交互功能进行测试的测试结果之后，所述方法还包括：

根据所述测试结果生成测试报告；

发送所述测试报告至终端设备中。

7.根据权利要求1所述的方法，所述方法还包括：

在检测到所述测试用例执行失败的情况下，检测所述测试用例是否为异常测试用例；

在所述测试用例为所述异常测试用例时，记录所述异常测试用例的标识信息以及执行所述异常测试用例所对应的执行结果，并执行其他测试用例。

8.根据权利要求7所述的方法，所述方法还包括：

在所述测试用例为正常测试用例时，确定所述测试用例执行失败的失败条件；

在所述失败条件转换为成功条件时，控制所述虚拟对象重新执行所述测试用例，其中，所述成功条件为所述虚拟对象成功执行所述测试用例的条件。

9.一种虚拟对象的交互测试装置，包括：

第一获取模块，用于获取对待测设备所展示的虚拟对象进行测试的测试用例，其中，所述测试用例中至少包含与所述虚拟对象进行交互的交互信息，所述交互信息与所述虚拟对象的交互功能相对应；

控制模块，用于控制所述虚拟对象执行与所述交互信息所对应的控制指令，得到执行结果，其中，所述执行结果以视频图像的方式展示；

第二获取模块，用于获取所述测试用例所对应的目标执行结果；

比对模块，用于比对所述执行结果与所述目标执行结果，得到对所述虚拟对象的交互功能进行测试的测试结果。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的虚拟对象的交互测试方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1至8中任一项所述的虚拟对象的交互测试方法。

12.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至8中任一项所述的虚拟对象的交互测试方法。

Images