CN116578485A - 交互界面测试方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种交互界面测试方法、装置、电子设备及存储介质，确定待测试的目标交互界面和参考影音数据；根据参考影音数据获取目标交互界面的待测影音数据；根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧；根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果。本申请通过将待测影音数据的待测影音特征和参考影音数据的参考影音特征进行比对，确定参考影音数据是否出现在待测影音数据中，从而确定待测交互界面的测试结果。无需将待测影音数据和参考影音数据进行全面比对，而是采用特征数据比对，数据比对的计算量更小，测试效率更高。

Description

交互界面测试方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种交互界面测试方法、装置、电子设备及存储介质。

背景技术

随着智能座舱的发展，用户对于智能座舱内部的各种设施的需求也越来越高，因此，需要对智能座舱内部的设施进行测试，智能座舱内部的设施可以包括人机交互屏幕和音响设施等，以给用户带来更好的使用体验。

目前，对于人机交互屏幕和音响设施的测试方法，主要是通过将拍摄的屏幕图像与参考视频的像素点进行全面比对，或者将录制的音频与参考音频进行全面比对，此种方式的数据运算量大，效率较低。

发明内容

有鉴于此，本申请实施例提供一种交互界面测试方法、装置、电子设备及存储介质，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种交互界面测试方法，包括：确定待测试的目标交互界面和参考影音数据；根据参考影音数据获取目标交互界面的待测影音数据；根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧；根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果。

根据本申请实施例的第二方面，提供了一种交互界面测试装置，包括参考数据确定单元、待测数据确定单元、特征数据确定单元和测试结果确定单元，其中，参考数据确定单元用于确定待测试的目标交互界面和参考影音数据；待测数据确定单元用于根据参考影音数据获取目标交互界面的待测影音数据；特征数据确定单元用于根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧；测试结果确定单元用于根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存放至少一可执行指令，可执行指令使处理器执行本申请各实施例的方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请各实施例的方法。

根据本申请实施例提供的交互界面测试方法、装置、电子设备及存储介质，确定待测试的目标交互界面和参考影音数据；根据参考影音数据获取目标交互界面的待测影音数据；根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧；根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果。本申请通过将待测影音数据的待测影音特征和参考影音数据的参考影音特征进行比对，确定参考影音数据是否出现在待测影音数据中，从而确定待测交互界面的测试结果。无需将待测影音数据和参考影音数据进行全面比对，而是采用特征数据比对，数据运算量更小，测试效率更高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请示例性实施例的一种交互界面测试方法的流程示意图；

图2为本申请示例性实施例的另一种交互界面测试方法的流程示意图；

图3为本申请示例性实施例的交互界面测试装置的结构框图；

图4为本申请示例性实施例的电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图1为本申请示例性实施例的交互界面测试方法的流程示意图，如图所示，本实施例主要包括以下步骤：

S102、确定待测试的目标交互界面和参考影音数据。

示例性地，目标交互界面可以是自动驾驶设备的智能座舱中的交互界面，交互界面是用户和计算机进行信息交换的通道，用户通过交互界面向计算机输入信息，进行操作，计算机通过交互界面向用户提供信息。参考影音数据是指用于测试目标交互界面的标准影音数据，参考影音数据可以是预先设定的，参考影音数据可以包括参考图像和参考音频。

需要说明的是，本实施例的测试方法适用于自动化测试库，自动化测试库使用的计算机编程语言可以为python，自动化测试库可以包括库OpenCV，numpy，librosa等，本实施例对此不进行限制。

S104、根据参考影音数据获取目标交互界面的待测影音数据。

示例性地，根据参考影音数据，获取目标交互界面中相应的待测影音数据，待测影音数据可以包括待测视频和待测音频，其中待测视频可以包括待测图像。例如，若参考影音数据为参考图像，则获取目标交互界面中的待测视频，若参考影音数据为为参考音频，则获取目标交互界面中的待测音频。

S106、根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧。

示例性地，分别提取待测影音数据的待测影音特征和参考影音数据的参考影音特征，例如，待测影音数据为待测视频，则提取待测视频中每帧图像的特征，待测影音数据为待测音频，则提取待测音频中每个音频段的特征，待测影音数据的待测影音特征和参考影音数据的参考影音特征进行比对，可以根据参考影音数据和待测影音数据的相似度是否满足相似度阈值，筛选出参考影音数据出现在待测影音数据中的起始影音帧，其中，起始影音帧是指参考影音数据出现在待测影音数据中的第一帧。

S108、根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果。

示例性地，确定参考影音数据出现在待测影音数据中的起始影音帧，根据该起始影音帧的时间和参考影音数据，可以确定参考影音数据出现在待测影音数据中的起始时间、参考影音数据与待测影音数据的相似度信息、相似区域信息等作为测试结果输出。例如，若待测影音数据为待测视频，则确定参考图像在待测视频中的起始视频帧，并将获得的该视频帧的时间作为参考图像出现在待测视频中的起始时间，最终根据参考图像和起始视频帧，可以确定参考图像在起始视频帧中的区域信息，例如参考图像的中心位置在起始视频帧中的位置坐标，以及参考图像与起始视频帧的相似度信息。若待测影音数据为待测音频，则确定参考音频在待测音频中的起始音频帧，并将获得的该音频帧的时间作为参考音频出现在待测音频中的起始时间，最终根据参考音频和起始音频帧，可以确定待测音频中与参考音频相似的相似音频段，以及参考音频与相似音频段的相似度信息。

本实施例的交互界面测试方法，通过将待测影音数据的待测影音特征和参考影音数据的参考影音特征进行比对，确定参考影音数据是否出现在待测影音数据中，从而确定待测交互界面的测试结果。无需将待测影音数据和参考影音数据进行逐个数据比对，而是采用特征数据比对，数据比对的计算量更小，测试效率更高。

在一种具体实现方式中，参考影音数据包括参考图像。其中，根据参考影音数据获取目标交互界面的待测影音数据，包括：根据参考图像，获取目标交互界面的待测视频；其中，根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧，包括：获取待测视频的多个待测图像帧；根据参考图像的参考图像特征、多个待测图像帧的图像帧时间和待测图像特征，确定参考图像首次出现在待测视频中的起始视频帧以及参考图像在起始视频帧中的参考位置；其中，根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果，包括：根据起始视频帧以及参考位置，确定目标交互界面的测试结果。

示例性地，可以预先拍摄保存目标交互界面的待测视频，再根据参考图像，获取相应的待测视频。可以提取待测视频的帧率、以及多个待测图像帧和对应的图像帧序列数，然后可以根据帧率和每个待测图像帧的图像帧序列数，得到每个待测图像帧的图像帧时间，例如，可以通过图像帧序列数除以帧率，计算得到图像帧时间。分别提取参考图像的参考图像特征，以及待测图像帧的待测图像特征，其中，参考图像特征和待测图像特征可以是图像特征点数据。将参考图像的参考图像特征和多个待测图像帧的待测图像特征进行相似度匹配，可以根据预设的相似度阈值，确定测视频中与参考图像匹配合格的一个或多个待测图像帧，若相似的待测图像帧为一个，则将该待测图像帧作为起始视频帧；若相似的待测图像帧为多个，则根据多个待测图像帧各自的图像帧时间，确定首次出现的待测图像帧作为起始视频帧。并且确定参考图像在起始视频帧中的参考位置，其中，参考位置可以是参考图像的中心位置在起始视频帧中的位置坐标。根据起始视频帧以及参考位置，确定目标交互界面的测试结果。

本实现方式中，通过对参考图像的参考图像特征与待测图像帧的待测图像特征进行对比，以确定参考图像是否出现在待测视频中，实现对交互界面的画面进行测试。相较于对图像的所有像素点进行逐个比对，基于图像特征的图形比对，可以在摄像头与交互界面的相对位置发生调整或参考图像在交互界面上的相对位置发生变更时，也能识别出参考图像是否出现在待测视频中，不需要重新确定参考图像或是重新对摄像头进行标定，效率更高。

在一种具体实现方式中，根据参考图像的参考图像特征、多个待测图像帧的图像帧时间和待测图像特征，确定参考图像首次出现在待测视频中的起始视频帧以及参考图像在起始视频帧中的参考位置，包括：基于图像特征提取算法，对参考图像和多个待测图像帧进行特征提取，得到参考图像的特征点数据、各待测图像帧各自的待测特征点数据；对特征点数据和各待测图像帧各自的待测特征点数据进行比对，确定各待测图像帧各自的有效特征点数据；根据各待测图像帧各自的有效特征点数据和特征点数量阈值，确定各待测图像帧中包含参考图像的多个候选图像帧；根据多个候选图像帧各自的图像帧时间，将多个候选图像帧中时间最早的一个候选图像帧确定为起始视频帧；检测参考图像在起始视频帧中的位置，确定参考位置。

示例性地，可以使用SIFT算法对参考图像和多个待测图像帧进行特征提取，得到参考图像的特征点数据、每个待测图像帧的待测特征点数据。其中，特征点数据包括特征点数量和特征点信息，待测特征点数据包括待测特征点数量和待测特征点信息。然后将每个待测图像帧的待测特征点信息逐个与特征点信息进行比对，设定相似度阈值，将大于或等于相似度阈值的待测特征点数据确定为各待测图像帧各自的有效特征点数据。其中，有效特征点数据包括有效特征点数量和特征点坐标。将特征点数量记为n，将有效特征点数量记为m，特征点数量阈值为：n*第一阈值，其中，第一阈值落入区间(0，1],若各待测图像帧各自的有效特征点数量m大于或等于特征点数量阈值，则认为该待测图像帧中存在有参考图像，由此可以确定各待测图像帧中包含参考图像的多个候选图像帧。根据多个候选图像帧各自的图像帧时间，将多个候选图像帧中时间最早的一个候选图像帧确定为起始视频帧。再提取出起始视频帧的有效特征点数据中特征点的横、纵坐标构成两个数组。其中，所有的横坐标排列构成第一数组，所有的纵坐标构成第二数组，分别确定两个数组的两个中位数，根据两个中位数的组合，确定参考图像的中心位置在起始图像帧中的位置坐标信息，得到参考位置。

本实现方式中，通过图像特征提取算法提取参考图像的参考图像特征，以及待测图像帧的待测图像特征，从而根据参考图像特征和待测图像特征的对比结果，确定测试结果。利用图像特征的尺度不变性，可以在摄像头的拍摄角度发生变化或交互界面的画面格局发生变化时，仍能识别并输出参考图像在待测视频中所在的位置。

在一种具体实现方式中，参考影音数据包括参考音频。其中，根据参考影音数据获取目标交互界面的待测影音数据，包括：根据参考音频，获取目标交互界面的待测音频；其中，根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧，包括：根据参考音频的参考时长，将待测音频切分为至少一个待测音频段；根据参考音频的参考音频特征、至少一个待测音频段的待测音频特征，确定至少一个待测音频段中包含参考音频的目标音频段；根据目标音频段中的各音频帧时间，确定参考音频出现在待测音频中的起始音频帧；其中，根据参考影音数据出现在待测影音数据中的起始影音帧，确定目标交互界面的测试结果，包括：根据起始音频帧，确定待测交互界面的测试结果。

示例性地，可以基于第三方开源库pyaudio调用麦克风预先录制待测音频，再根据参考音频，获取相应的待测音频。根据参考音频的参考时长，将待测音频切分为与参考时长相同的至少一个待测音频段。分别提取参考音频的参考音频特征和待测音频段的待测音频特征，将参考音频的参考音频特征和至少一个待测音频段的待测音频特征进行比对，可以确定至少一个待测音频段中包含参考音频的目标音频段。可以根据对待测音频进行采样的采样率，计算得到目标音频段中各音频帧的时间，再根据目标音频段中的各音频帧时间，筛选确定出参考音频出现在待测音频中的起始音频帧；最后根据起始音频帧，可以确定参考音频出现在待测音频中的时间点，得到待测交互界面的测试结果。

另外，根据参考音频的参考时长，将待测音频切分为与参考时长相同的至少一个待测音频段。由于声音信号在计算机中用二进制方式数据表示，可以根据预设采样率a分别对参考音频和待测音频进行采样，得到参考音频数组和待测音频数组，然后分别计算参考音频数组的长度s1和待测音频数组的长度s2，根据参考音频数组的长度s1，将待测音频数组切分为与参考音频数组的长度s1相同的至少一个待测音频段。

本实现方式中，通过对参考音频的参考音频特征与待测音频段的待测音频特征进行对比，以确定参考音频是否出现在待测音频中，实现对交互界面的音频进行测试。相较于对音频全面比对，比对音频特征能够避免待测音频中其他环境声的干扰，以保证测试结果的准确性。

在一种具体实现方式中，根据参考音频的参考音频特征、至少一个待测音频段的待测音频特征，确定至少一个待测音频段中包含参考音频的目标音频段，包括：根据预设采样率，对参考音频中的各参考音频帧进行特征提取，得到参考音频特征数组，并对待测音频段中的各待测音频帧进行特征提取，得到待测音频特征数组；根据参考音频特征数组的参考波形图和待测音频特征数组的待测波形图执行比对，确定待测音频段中的目标音频段。

示例性地，根据预设采样率a，对参考音频中的各参考音频帧进行光谱质心特征提取，得到参考音频特征数组A，并对待测音频段中的各待测音频帧进行光谱质心特征提取，得到待测音频特征数组B。根据预设采样率a算出数组中每个数据的时间间隔为(1/a)秒,将时间作为横坐标，数组中的数据作为纵坐标，依次将数组填入二维画面中得到波形图。由此，可以得到参考音频特征数组的参考波形图和待测音频特征数组的待测波形图。然后对参考波形图和待测波形图进行比对，即对参考音频特征数组A和待测音频特征数组B中的数据进行比对，计算相似度，根据相似度确定待测音频段中的目标音频段。

本实现方式中，通过提取参考音频的参考音频特征数组，以及待测音频段的待测音频特征数组确定波形图，对波形图进行比对，确定参考音频是否出现在待测音频中，最终实现对交互界面的音频进行测试，该比对方式更方便直观，能够进一步提高测试效率。

图2为本申请另一种示例性实施例的交互界面测试方法的流程示意图。如图所示，本实施例主要包括以下步骤：

S202、确定待测试的目标交互界面和参考影音数据。

其中，参考影音数据包括参考图像和参考音频。

S204、根据参考图像获取目标交互界面的待测视频，并根据参考音频获取目标交互界面的待测音频。

S206、根据参考图像的参考图像特征和待测视频的待测图像帧特征，确定参考图像出现在待测视频中的起始视频帧。

S208、根据起始视频帧，确定参考音频出现在待测音频中的起始音频帧，并根据起始视频帧和起始音频帧，确定参考图像和参考音频的起始时间帧。

S210、根据参考图像和参考音频的起始时间帧，确定目标交互界面的测试结果。

示例性地，获取目标交互界面的待测影音数据，根据参考图像获取待测影音数据中的待测视频，并根据参考音频获取待测影音数据中的待测音频。其中，获取的待测视频和待测音频在待测影音数据中的起始时间可以相同，也可以不同，即待测视频和待测音频在待测影音数据中的起始时间之间的时间差大于或等于0。根据上述实施例中的具体实施方法，确定参考图像出现在待测视频中的起始视频帧。根据起始视频帧和待测视频和待测音频的起始时间差，可以确定参考音频出现在待测音频中的起始音频帧的时间点。再以待测影音数据的时间轴为基准时间，对起始视频帧和起始音频帧进行时间对齐，确定参考图像和参考音频首次出现在待测影音数据中的起始时间帧。最后根据参考图像和参考音频的起始时间帧，确定目标交互界面的测试结果。

需要说明的是，步骤S202的具体实施方案可参照前述步骤S102中的具体实现。以及确参考图像出现在待测视频中的起始视频帧，以及参考音频出现在待测音频中的起始音频帧的具体实施方案，均可参照前述的具体实施方式进行实现，在此不进行赘述。

本实施例中，需要对包含待测音频和待测视频的待测试影音数据进行测试，确定参考图像在待测视频中的起始视频帧，相应地确定起始视频帧的时间点对应的参考音频在待测音频中的起始音频帧，然后进行时间对齐，确定参考图像和参考音频同时出现在待测试影音数据中的起始时间帧。最终可以实现对待测试影音数据的音频和视频进行同步测试，提高测试效率。

在一种具体实现方式中，根据起始视频帧，确定参考音频出现在待测音频中的起始音频帧，并根据起始视频帧、起始音频帧，确定参考图像和参考音频的起始时间帧，包括：根据待测视频的获取起始时间、待测音频的获取起始时间、参考图像出现在待测视频中的起始视频帧，确定参考音频出现在待测音频中的起始音频帧；根据基准测试时间，对起始视频帧和起始音频帧进行时间对齐，确定参考图像和参考音频的起始时间帧。

示例性地，假设基准测试开始为第0秒，第1秒启动待测视频的录制，在第1.2秒启动待测音频的录制，则待测视频的获取起始时间为第1秒，待测音频的获取起始时间为第1.2秒，且待测视频和待测音频之间的时间差为0.2秒。若确定出现在待测视频中的起始视频帧为待测视频的第2秒，则根据时间差，确定参考音频出现在待测音频中的起始音频帧为待测音频的第1.8秒。然后根据基准测试时间，对起始视频帧和起始音频帧进行时间对齐，可以确定参考图像和参考音频的起始时间帧为待测影音数据的第3秒。

本实现方式中，当对待测试影音数据进行测试时，可能对其中包含待测音频和待测视频的获取时间不一致，通过对参考图像和参考音频在待测试影音数据中的起始视频帧和起始音频帧进行时间对齐，可以确定参考图像和参考音频同时出现在待测试影音数据中的起始时间帧。可以实现对待测试影音数据的音频和视频分别单独进行测试后再进行时间对齐，确定测试结果，提高测试效率。

图3为本申请示例性实施例的交互界面测试装置的结构框图。

如图所示，本实施例的交互界面测试装置300，包括参考数据确定单元301、待测数据确定单元302、特征数据确定单元303和测试结果确定单元304。

其中，参考数据确定单元301，用于确定待测试的目标交互界面和参考影音数据；待测数据确定单元302，用于根据参考影音数据获取目标交互界面的待测影音数据；特征数据确定单元303，用于根据待测影音数据的待测影音特征和参考影音数据的参考影音特征，确定参考影音数据出现在待测影音数据中的起始影音帧；测试结果确定单元304，用于根据参考影音数据出现在待测影音数据中的起始影音帧，确定待测交互界面的测试结果。

在一种具体实现方式中，参考影音数据包括参考图像。其中，待测数据确定单元302还用于根据参考图像，获取目标交互界面的待测视频；特征数据确定单元303还用于获取待测视频的多个待测图像帧；根据参考图像的参考图像特征、多个待测图像帧的图像帧时间和待测图像特征，确定参考图像首次出现在待测视频中的起始视频帧以及参考图像在起始视频帧中的参考位置；测试结果确定单元304还用于根据起始视频帧以及参考位置，确定目标交互界面的测试结果。

在一种具体实现方式中，特征数据确定单元303还用于基于图像特征提取算法，对参考图像和多个待测图像帧进行特征提取，得到参考图像的特征点数据、各待测图像帧各自的待测特征点数据；对特征点数据和各待测图像帧各自的待测特征点数据进行比对，确定各待测图像帧各自的有效特征点数据；根据各待测图像帧各自的有效特征点数据和特征点数量阈值，确定各待测图像帧中包含参考图像的多个候选图像帧；根据多个候选图像帧各自的图像帧时间，将多个候选图像帧中时间最早的一个候选图像帧确定为起始视频帧；检测参考图像在起始视频帧中的位置，确定参考位置。

在一种具体实现方式中，参考影音数据包括参考音频。其中，待测数据确定单元302还用于根据参考音频，获取目标交互界面的待测音频；特征数据确定单元303还用于根据参考音频的参考时长，将待测音频切分为至少一个待测音频段；根据参考音频的参考音频特征、至少一个待测音频段的待测音频特征，确定至少一个待测音频段中包含参考音频的目标音频段；根据目标音频段中的各音频帧时间，确定参考音频出现在待测音频中的起始音频帧；测试结果确定单元304还用于根据起始音频帧，确定待测交互界面的测试结果。

在一种具体实现方式中，特征数据确定单元303还用于根据预设采样率，对参考音频中的各参考音频帧进行特征提取，得到参考音频特征数组，并对待测音频段中的各待测音频帧进行特征提取，得到待测音频特征数组；根据参考音频特征数组的参考波形图和待测音频特征数组的待测波形图执行比对，确定待测音频段中的目标音频段。

在一种具体实现方式中，参考影音数据包括参考图像和参考音频；待测数据确定单元302还用于根据参考图像获取目标交互界面的待测视频，并根据参考音频获取目标交互界面的待测音频；特征数据确定单元303还用于根据参考图像的参考图像特征和待测视频的待测图像帧特征，确定参考图像出现在待测视频中的起始视频帧；根据起始视频帧，确定参考音频出现在待测音频中的起始音频帧，并根据起始视频帧、起始音频帧，确定参考图像和参考音频的起始时间帧；测试结果确定单元304还用于根据参考图像和参考音频的起始时间帧，确定目标交互界面的测试结果。

在一种具体实现方式中，特征数据确定单元303还用于根据待测视频的获取起始时间、待测音频的获取起始时间、参考图像出现在待测视频中的起始视频帧，确定参考音频出现在待测音频中的起始音频帧；根据基准测试时间，对起始视频帧和起始音频帧进行时间对齐，确定参考图像和参考音频的起始时间帧。

此外，本申请实施例的交互界面测试装置300还可用于实现前述各交互界面测试方法实施例中的其他步骤，并具有相应的方法步骤实施例的有益效果，在此不再赘述。

参照图4，示出了根据本发明的另一实施例的电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图4所示，该电子设备可以包括：处理器(processor)401、存储器(memory)403、以及通信总线404、通信接口(Communications Interface)405。

其中：

处理器401、存储器403以及通信接口405、通过通信总线404完成相互间的通信。

通信接口405，用于与其它电子设备或服务器进行通信。

处理器401，用于执行程序402，具体可以执行上述实施例中任一项交互界面测试方法的步骤。

具体地，程序402可以包括程序代码，该程序代码包括计算机操作指令。

处理器401可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器403，用于存放程序402。存储器403可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序402具体可以用于使得处理器401执行以实现实施例中所描述任一项交互界面测试的步骤。程序402中各步骤的具体实现可以参见上述步骤中任一项交互界面测试方法所执行的步骤和单元中对应的描述，在此不赘述。为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述。

本申请示例性实施例还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请各实施例的方法。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码。从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

至此，已经对本发明的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

需要说明的是，本发明实施例中所有方向性指示(诸如上、下、左、右、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

在本发明的描述中，术语“第一”、“第二”仅用于方便描述不同的部件或名称，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

需要说明的是，虽然结合附图对本发明的具体实施例进行了详细地描述，但不应理解为对本发明的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属于本发明的保护范围。

本发明实施例的示例旨在简明地说明本发明实施例的技术特点，使得本领域技术人员能够直观了解本发明实施例的技术特点，并不作为本发明实施例的不当限定。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种交互界面测试方法，其特征在于，包括：

确定待测试的目标交互界面和参考影音数据；

根据所述参考影音数据获取所述目标交互界面的待测影音数据；

根据所述待测影音数据的待测影音特征和所述参考影音数据的参考影音特征，确定所述参考影音数据出现在所述待测影音数据中的起始影音帧；

根据所述参考影音数据出现在所述待测影音数据中的起始影音帧，确定所述待测交互界面的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述参考影音数据包括参考图像；

其中，所述根据所述参考影音数据获取所述目标交互界面的待测影音数据，包括：

根据所述参考图像，获取所述目标交互界面的待测视频；

其中，根据所述待测影音数据的待测影音特征和所述参考影音数据的参考影音特征，确定所述参考影音数据出现在所述待测影音数据中的起始影音帧，包括：

获取所述待测视频的多个待测图像帧；

根据所述参考图像的参考图像特征、所述多个待测图像帧的图像帧时间和待测图像特征，确定所述参考图像首次出现在所述待测视频中的起始视频帧以及所述参考图像在所述起始视频帧中的参考位置；

其中，所述根据所述参考影音数据出现在所述待测影音数据中的起始影音帧，确定所述待测交互界面的测试结果，包括：

根据所述起始视频帧以及所述参考位置，确定所述目标交互界面的测试结果。

3.根据权利要求2所述的方法，其特征在于，所述根据所述参考图像的参考图像特征、所述多个待测图像帧的图像帧时间和待测图像特征，确定所述参考图像首次出现在所述待测视频中的起始视频帧以及所述参考图像在所述起始视频帧中的参考位置，包括：

基于图像特征提取算法，对所述参考图像和所述多个待测图像帧进行特征提取，得到所述参考图像的特征点数据、各待测图像帧各自的待测特征点数据；

对所述特征点数据和各待测图像帧各自的待测特征点数据进行比对，确定各待测图像帧各自的有效特征点数据；

根据各待测图像帧各自的有效特征点数据和特征点数量阈值，确定各待测图像帧中包含所述参考图像的多个候选图像帧；

根据所述多个候选图像帧各自的图像帧时间，将所述多个候选图像帧中时间最早的一个候选图像帧确定为所述起始视频帧；

检测所述参考图像在所述起始视频帧中的位置，确定所述参考位置。

4.根据权利要求1所述的方法，其特征在于，所述参考影音数据包括参考音频；

其中，所述根据所述参考影音数据获取所述目标交互界面的待测影音数据，包括：

根据所述参考音频，获取所述目标交互界面的待测音频；

其中，根据所述待测影音数据的待测影音特征和所述参考影音数据的参考影音特征，确定所述参考影音数据出现在所述待测影音数据中的起始影音帧，包括：

根据所述参考音频的参考时长，将所述待测音频切分为至少一个待测音频段；

根据所述参考音频的参考音频特征、所述至少一个待测音频段的待测音频特征，确定所述至少一个待测音频段中包含所述参考音频的目标音频段；

根据所述目标音频段中的各音频帧时间，确定所述参考音频出现在所述待测音频中的起始音频帧；

其中，所述根据所述参考影音数据出现在所述待测影音数据中的起始影音帧，确定所述目标交互界面的测试结果，包括：

根据所述起始音频帧，确定所述待测交互界面的测试结果。

5.根据权利要求4所述的方法，其特征在于，所述根据所述参考音频的参考音频特征、所述至少一个待测音频段的待测音频特征，确定所述至少一个待测音频段中包含所述参考音频的目标音频段，包括：

根据预设采样率，对所述参考音频中的各参考音频帧进行特征提取，得到参考音频特征数组，并对所述待测音频段中的各待测音频帧进行特征提取，得到待测音频特征数组；

根据所述参考音频特征数组的参考波形图和所述待测音频特征数组的待测波形图执行比对，确定所述待测音频段中的所述目标音频段。

6.根据权利要求1所述的方法，其特征在于，所述参考影音数据包括参考图像和参考音频；

其中，所述根据所述参考影音数据获取所述目标交互界面的待测影音数据，包括：

根据所述参考图像获取所述目标交互界面的待测视频，并根据所述参考音频获取所述目标交互界面的待测音频；

其中，根据所述待测影音数据的待测影音特征和所述参考影音数据的参考影音特征，确定所述参考影音数据出现在所述待测影音数据中的起始影音帧，包括：

根据所述参考图像的参考图像特征和所述待测视频的待测图像帧特征，确定所述参考图像出现在所述待测视频中的起始视频帧；

根据所述起始视频帧，确定所述参考音频出现在所述待测音频中的起始音频帧，并根据所述起始视频帧和所述起始音频帧，确定所述参考图像和所述参考音频的起始时间帧；

其中，所述根据所述参考影音数据出现在所述待测影音数据中的起始影音帧，确定所述待测交互界面的测试结果，包括：

根据所述参考图像和所述参考音频的起始时间帧，确定所述目标交互界面的测试结果。

7.根据权利要求6所述的方法，其特征在于，所述根据所述起始视频帧，确定所述参考音频出现在所述待测音频中的起始音频帧，并根据所述起始视频帧、所述起始音频帧，确定所述参考图像和所述参考音频的起始时间帧，包括：

根据所述待测视频的获取起始时间、所述待测音频的获取起始时间、所述参考图像出现在所述待测视频中的起始视频帧，确定所述参考音频出现在所述待测音频中的起始音频帧；

根据基准测试时间，对所述起始视频帧和所述起始音频帧进行时间对齐，确定所述参考图像和所述参考音频的起始时间帧。

8.一种交互界面测试装置，其特征在于，包括：

参考数据确定单元，用于确定待测试的目标交互界面和参考影音数据；

待测数据确定单元，用于根据所述参考影音数据获取所述目标交互界面的待测影音数据；

特征数据确定单元，用于根据所述待测影音数据的待测影音特征和所述参考影音数据的参考影音特征，确定所述参考影音数据出现在所述待测影音数据中的起始影音帧；

测试结果确定单元，用于根据所述参考影音数据出现在所述待测影音数据中的起始影音帧，确定所述待测交互界面的测试结果。

9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的方法对应的操作。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。