CN113837984A - 播放异常检测方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种播放异常检测方法、电子设备和计算机可读存储介质，该方法可以包括：电子设备获取包含预设标记的待处理数据，该待处理数据是在待检测电子设备播放目标影像和/或目标音频的过程中，通过采集待检测电子设备播放的图像和/或声音得到的数据，该目标影像和目标音频均包含预先植入的预设标记；电子设备通过识别待处理数据中的预设标记，得到标记检测结果；电子设备根据标记检测结果，得到播放异常检测结果。本申请实施例通过在视频、图片和音频中植入预设标记，以将复杂的播放异常检测转化成预设标记检测，降低了检测难度，提高了检测效率。

Description

播放异常检测方法、电子设备和计算机可读存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种播放异常检测方法、电子设备和计算机可读存储介质。

背景技术

电子设备一般可以被用于播放声音，以及播放视频或者图片。具备显示屏的电子设备(例如，手机、平板和大屏设备等)在播放视频或图片的过程中，由于电子设备本身硬件或者软件渲染等原因，电子设备可能会出现显示异常问题，例如，黑屏、闪屏、花屏和卡顿等。同样，具备声音播放模块的电子设备在播放声音的过程中，也可能会出现音频播放质量异常等问题。

目前，电子设备的播放异常检测方式存在检测难度大和检测效率低等问题。以显示异常为例，电子设备显示异常的检测方式一般可以包括相似度算法检测和缺陷算法检测。相似度算法检测的过程可以包括：使用待检测显示设备播放各种视频场景(例如，电视剧，动画，游戏等)；使用高清相机拍摄待检测显示设备的显示屏，以获得显示图像，并使用内置软件进行截图；计算相机拍摄的图像和内置软件获取的图像之间的相似度，如果相似度小于某个阈值时则判定出现显示异常。而缺陷算法检测的过程可以包括：采集大量视频显示异常的图片，对显示异常的图片进行标注后，使用包括标注后图片的训练数据集来训练模型；模型训练完成后，使用高清相机拍摄待检测电子设备的显示图像，再将所拍摄的显示图像输入至训练好的模型，得出显示异常检测结果。由于视频场景十分复杂等原因，导致当前的显示异常检测难度大且效率低。

发明内容

本申请实施例提供一种播放异常检测方法、电子设备和计算机可读存储介质，以解决现有播放异常检测方式的检测难度大和检测效率低的问题。

第一方面，本申请实施例提供一种播放异常检测方法，具体包括：获取包含预设标记的待处理数据，该待处理数据是在待检测电子设备播放目标影像和/或目标音频的过程中，通过采集待检测电子设备播放的图像和/或声音得到的数据，该目标影像和目标音频均包含预先植入的预设标记；通过识别待处理数据中的预设标记，得到标记检测结果；根据标记检测结果，得到播放异常检测结果。

本申请实施例通过在所播放的目标影像或者目标音频中预先植入预设标记，然后在待检测电子设备播放目标影像或者目标音频的过程中，采集待检测电子设备播放的图像或者声音，以获得待处理数据，该待处理数据包含预设标记，再通过检测待处理数据中的预设标记，得到播放异常检测结果，从而将复杂的播放异常检测转化成预设标记检测，降低了检测难度，提高了检测效率。

作为示例而非限定，目标影像为视频，该视频内的每一帧图像均预先被植入预设标记。此时，该预设标记包括一组或多组简单图标，以及数字，简单图标可以例如为笑脸图标等，每一帧图像中植入的图标均相同。另外，按照视频中图像序列的先后顺序，在每一帧图像中***对应数字，例如，第一帧图像***的数字为1，第十帧图像***的数字为10，第二十帧图像***的数字为20。

在将简单图标和数字植入到视频之后，使用大屏设备(例如，智慧屏等)播放该视频，并在大屏设备播放视频的过程中，使用高清相机拍摄大屏设备的显示屏，采集到待处理图像，该大屏设备为上述待检测电子设备。由于预先在视频的每一帧图像中植入有简单图标和数字等标记，故可以通过识别所采集的待处理图像中的简单图标和数字来确定是否出现显示异常问题。具体来说，一方面，可以通过识别待处理图像中的数字，确定是否出现卡顿。例如，在视频播放2分钟后采集待处理图像，并识别出该待处理图像中的数字为990，即该待处理图像是第990帧。而预期在2分钟时，大屏设备预期播放的图像帧为第1000帧，此时由于预期播放的图像帧和实际播放的图像帧不一致，可以确定播放过程中出现卡顿。另一方面，可以通过识别待处理图像中简单图标的完整性，来确定是否出现花屏、闪屏和黑屏等显示异常。例如，如果检测出待处理图像中的笑脸图标和预先植入的笑脸图标不一致，即所显示的笑脸图标和预先植入的笑脸图标不一致，则认为在播放过程中出现花屏、闪屏和黑屏等显示异常问题。由此可见，通过在视频中预先植入预设标记，将复杂的视频显示检测(例如，游戏、电影和动画等)问题转化为检测预设标记的问题，降低了检测难度，提高了检测效率。

在第一方面的一些可能的实现方式中，上述预设标记可以包括第一预设标记和/或第二预设标记。

在该实现方式中，第二预设标记可以用于表征待处理图像或者待处理声音的先后顺序，该先后顺序是指在图像序列或声音序列中所处位置，例如，第二预设标记为数字，某个待处理图像的数字为1，则表明该待处理图像是图像序列中的第一帧图像。具体id，该第二预设标记为数字、字母、字母和数字组合、符号或图标组合，图标组合是指包括至少两个图标的组合，该图标组合可以表征先后顺序。

第一预设标记可以用于检测待处理图像的显示异常，或者待处理声音中的音频播放质量异常。例如，在待处理图像中植入简单图标，通过待处理图像中的简单图标的完整性(具体可以通过标记类别和/或图标位置确定)，确定是否出现黑屏、花屏和闪屏等显示异常问题。

在第一方面的一些可能的实现方式中，上述待处理数据包括待处理图像，该目标影像为视频或图片，该目标影像的每一帧图像均预先植入有预设标记。

需要说明的是，在其它一些实施例中，可以不在每一帧图像都植入预设标记。相较而言，在每一帧图像中均植入预设标记，可以提高检测准确率。

在第一方面的一些可能的实现方式中，上述第一预设标记包括至少一个第一预设图标，而上述第二预设标记包括数字或者图标组合，该图标组合可以包括至少两个第二预设图标。

上述第一预设图标可以和第二预设图标相同，例如，第一预设图标为笑脸图案。

在第一方面的一些可能的实现方式中，上述预设标记包括第一预设标记，此时，通过识别待处理数据中的预设标记，得到标记检测结果的过程可以包括：识别待处理图像中的第一预设标记，得到第一标记检测结果；其中，标记检测结果包括第一标记检测结果。第一标记检测结果是第一预设标记对应的检测结果。

在第一方面的一些可能的实现方式中，上述识别待处理图像中的第一预设标记，得到第一标记检测结果的具体过程可以包括：

将待处理图像输入至预先训练完成的第一检测模型，获得第一检测模型的第一输出结果，将第一输出结果作为第一标记检测结果；

上述第一输出结果可以包括标记类别和/或位置信息，该位置信息用于描述第一预设标记在待处理图像中所处的位置，该标记类别用于描述第一预设标记的类别。该标记类别可以包括正常类别和异常类别。

在第一方面的一些可能的实现方式中，该标记检测结果包括第一标记检测结果，第一标记检测结果包括标记类别。此时，上述根据标记检测结果，得到播放异常检测结果的过程可以包括：根据标记类别，确定待处理图像中是否存在属于异常类别的第一预设标记；若待处理图像中存在属于异常类别的第一预设标记，确定待检测电子设备出现第一类显示异常。该第一类显示异常可以是指花屏、黑屏和闪屏等显示问题。

在第一方面的一些可能的实现方式中，如果第一标记检测结果还包括位置信息，在根据标记类别，确定待处理图像中是否存在属于异常类别的第一预设标记之后，还包括：若待处理图像中不存在属于异常类别的第一预设标记，确定每个第一预设标记的位置信息和对应的预设位置信息是否一致；若存在至少一个第一预设标记的位置信息和对应的预设位置信息不一致，确定待检测电子设备出现第一类显示异常。

在第一方面的一些可能的实现方式中，该预设标记包括第二预设标记，此时，上述通过识别待处理数据中的预设标记，得到标记检测结果的过程可以包括：识别待处理图像中的第二预设标记，得到第二标记检测结果；其中，标记检测结果包括第二标记检测结果。第二标记检测结果是第二预设标记对应的检测结果。

在第一方面的一些可能的实现方式中，上述识别待处理图像中的第二预设标记，得到第二标记检测结果的过程可以包括：将待处理图像输入至预先训练完成的第二检测模型，获得第二检测模型的第二输出结果，将第二输出结果作为第二标记检测结果；其中，第二输出结果用于描述待处理图像在目标影像的图像序列中所处的位置，该待处理图像是在预设时刻采集的图像。

例如，待处理图像中植入的第二预设标记为图标组合，将该待处理图像输入至第二检测模型，获得第二检测模型的第二输出结果，该结果可以表征图标组合所对应的数字。

或者，通过光学字符识别方式识别待处理图像中的第二预设标记，得到识别结果，将识别结果作为第二标记检测结果；其中，识别结果用于描述待处理图像在目标影像的图像序列中所处的位置，该待处理图像是在预设时刻采集的图像。例如，第一帧图像中植入的第二预设标记为1，通过光学字符识别方式识别第一帧图像的数字为1。

在第一方面的一些可能的实现方式中，该标记检测结果包括第二标记检测结果，此时上述根据标记检测结果，得到播放异常检测结果的过程可以包括：若第二标记检测结果小于目标数值，确定待检测电子设备出现第二类显示异常，该目标数值是通过识别目标图像帧中的第二预设标记得到的数值，该目标图像帧是在预设时刻待检测电子设备预期播放的图像帧，该目标影像包括目标图像帧。该第二类显示异常可以是指卡顿异常。

在该实现方式中，预期播放的图像帧是预期播放位置，检测的待处理图像是实际播放位置，通过比较第二标记检测结果和目标数值，以确定预期播放位置和实际播放位置是否一致，如果预期播放位置和实际播放位置不一致，则确定卡顿异常，反之，如果预期播放位置和实际播放位置一致，则确定没有出现卡顿异常。例如，预期播放的图像帧为第10000帧图像，此时，目标数值为10000；待处理图像(实际播放位置)中植入的数字为9800，即待处理图像是第9800帧图像，由于9800＜10000，则判定出现卡顿异常。

在其它一些实施例中，还可以通过比对预期播放位置对应的图像帧和实际播放位置对应的图像帧是否一致，来确定是否出现卡顿异常。例如，待处理图像中植入由图标组合，如果预期播放的图像帧和待处理图像(实际播放的图像帧)中的图标组合一致，则认为预期播放位置和实际播放位置一致，确定没有出现卡顿异常，反之，如果两个图像的图标组合不一致，则确定预期播放位置和实际播放位置不一致，确定出现卡顿异常。

在第一方面的一些可能的实现方式中，第一检测模型和第二检测模型可以为人工智能模型。其中，第一检测模型的训练过程可以包括：获取训练数据集，该训练数据集包括已植入预设标记的视频或者图片，此时，该预设标记可以包括正常类别的标记和异常类别的标记。使用训练数据集对已构建模型进行训练，得到训练完成的模型。可以理解的是，训练完成的模型可以识别出图像中的标记是正常类别，还是异常类别，还可以识别出标记在图像中的位置。

在第一方面的一些可能的实现方式中，该待处理图像包括待处理声音，此时，上述通过识别待处理数据中的预设标记，得到标记检测结果的过程可以包括：从待处理声音中分离出预设标记，该预设标记包括预设频段的音频信号，该预设频段高于或低于目标音频的频段；识别预设标记，得到标记检测结果。

在该实现方式中，在目标音频中预先植入易于分离的声音标记，该声音标记可以以高频或者低频的音频信号存在。通过识别在音频中植入的声音标记，来检测待检测电子设备的音频播放质量是否存在异常。

第二方面，本申请实施例提供一种播放异常检测装置，该装置可以包括：

获取模块，用于获取包含预设标记的待处理数据，待处理数据是在待检测电子设备播放目标影像和/或目标音频的过程中，通过采集待检测电子设备播放的图像和/或声音得到的数据，目标影像和目标音频均包含预先植入的预设标记；

标记检测模块，用于通过识别待处理数据中的预设标记，得到标记检测结果；

异常检测模块，用于根据标记检测结果，得到播放异常检测结果。

在第二方面的一些可能的实现方式中，上述预设标记可以包括第一预设标记和/或第二预设标记。

在第二方面的一些可能的实现方式中，上述待处理数据包括待处理图像，目标影像为视频或图片，该目标影像的每一帧图像均预先植入有预设标记。

在第二方面的一些可能的实现方式中，上述第一预设标记包括至少一个第一预设图标，第二预设标记包括数字或者图标组合，图标组合包括至少两个第二预设图标。

在第二方面的一些可能的实现方式中，上述预设标记包括第一预设标记，上述标记检测模块具体用于：识别待处理图像中的第一预设标记，得到第一标记检测结果；其中，标记检测结果包括第一标记检测结果。

在第二方面的一些可能的实现方式中，上述标记检测模块具体用于：将待处理图像输入至预先训练完成的第一检测模型，获得第一检测模型的第一输出结果，将第一输出结果作为第一标记检测结果；第一输出结果包括标记类别和/或位置信息，位置信息用于描述第一预设标记在待处理图像中所处的位置，标记类别用于描述第一预设标记的类别。

在第二方面的一些可能的实现方式中，该标记检测结果包括第一标记检测结果，第一标记检测结果包括标记类别；上述异常检测模块具体用于：根据标记类别，确定待处理图像中是否存在属于异常类别的第一预设标记；若待处理图像中存在属于异常类别的第一预设标记，确定待检测电子设备出现第一类显示异常。

在第二方面的一些可能的实现方式中，第一标记检测结果还包括位置信息，上述异常检测模块具体还用于：若待处理图像中不存在属于异常类别的第一预设标记，确定每个第一预设标记的位置信息和对应的预设位置信息是否一致；若存在至少一个第一预设标记的位置信息和对应的预设位置信息不一致，确定待检测电子设备出现第一类显示异常。

在第二方面的一些可能的实现方式中，该预设标记包括第二预设标记，上述标记检测模块具体用于：识别待处理图像中的第二预设标记，得到第二标记检测结果；其中，标记检测结果包括第二标记检测结果。

在第二方面的一些可能的实现方式中，上述标记检测模块具体用于：将待处理图像输入至预先训练完成的第二检测模型，获得第二检测模型的第二输出结果，将第二输出结果作为第二标记检测结果；其中，第二输出结果用于描述待处理图像在目标影像的图像序列中所处的位置，待处理图像是在预设时刻采集的图像；

或者，通过光学字符识别方式识别待处理图像中的第二预设标记，得到识别结果，将识别结果作为第二标记检测结果；其中，识别结果用于描述待处理图像在目标影像的图像序列中所处的位置，待处理图像是在预设时刻采集的图像。

在第二方面的一些可能的实现方式中，该标记检测结果包括第二标记检测结果，上述异常检测模块具体用于：若第二标记检测结果小于目标数值，确定待检测电子设备出现第二类显示异常，目标数值是通过识别目标图像帧中的第二预设标记得到的数值，目标图像帧是在预设时刻待检测电子设备预期播放的图像帧，目标影像包括目标图像帧。

在第二方面的一些可能的实现方式中，该待处理图像包括待处理声音，上述标记检测模块具体用于：从待处理声音中分离出预设标记，预设标记包括预设频段的音频信号，预设频段高于或低于目标音频的频段；识别预设标记，得到标记检测结果。

上述播放异常检测装置具有实现上述播放异常检测方法的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。

第三方面，本申请实施例提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一项的方法。

第五方面，本申请实施例提供一种芯片***，该芯片***包括处理器，该处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现如上述第一方面任一项所述的方法。该芯片***可以为单个芯片，或者多个芯片组成的芯片模组。

第六方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项所述的方法。

可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1为本申请实施例提供的电子设备100的硬件架构示意图；

图2为本申请实施例提供的电子设备100的软件架构示意图；

图3为本申请实施例提供的播放异常检测***架构的示意框图；

图4为本申请实施例提供的播放异常检测方法的一种流程示意框图；

图5为本申请实施例提供的简单图标示意图；

图6为本申请实施例提供的图标组合示意图；

图7为本申请实施例提供的图像示意图；

图8为本申请实施例提供的简单图标示意图；

图9为本申请实施例提供的植入图标后的图像示意图；

图10为本申请实施例提供的卡顿异常检测示意图；

图11为本申请实施例提供的另一种卡顿异常检测示意图；

图12为本申请实施例提供的显示异常检测过程的示意图；

图13为本申请实施例提供的植入预设标记后的图像示意图；

图14为本申请实施例提供的黑屏、花屏和闪屏屏幕检测过程示意图；

图15为本申请实施例提供的卡顿异常检测过程示意图；

图16为本申请实施例提供的播放异常检测装置示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。

本申请实施例中，在视频或音频中植入预设标记后，使用待检测电子设备播放已植入预设标记的视频或者音频，在待检测电子设备播放视频或音频的过程中，通过采集设备采集待检测电子设备播放的图像或者声音，得到待处理数据。然后使用具备数据处理功能的电子设备对采集到的待处理数据进行处理，以识别待处理数据中的预设标记，得到标记检测结果，再根据标记检测结果，得到播放异常检测结果。

其中，上述待检测电子设备是指需要进行播放异常检测的电子设备，而播放异常可以分为图片或视频显示异常，以及音频播放异常。一般情况下，如果需要进行显示异常检测，该待检测电子设备一般需要具备视频(或图片)播放功能，且一般具有显示屏，例如，智能手机、大屏设备(智能屏等)和平板电脑等显示设备。如果需要进行音频播放异常检测，该待检测电子设备一般需要具备音频播放功能，例如，手机、智能电视和平板电脑等音频播放设备。当然，如果需要同时进行显示异常检测和音频播放异常检测，即对待检测电子设备的显示异常和音频播放异常进行检测，该待检测电子设备一般需要同时具备视频(或图片)播放功能和音频播放功能。

上述采集待检测电子设备播放的图像的方式可以是但不限于相机拍摄或者录屏等，即待检测电子设备播放视频或者图片时，可以通过高清相机拍摄待检测电子设备的显示屏播放图像，或者也可以是待检测电子设备自身进行录屏等操作，以采集到待处理图像。而采集待检测电子设备播放的音频的方式一般需要使用音频采集设备，该音频采集设备可以是独立设置于待检测电子设备之外，也可以集成在待检测电子设备内。

也就是说，上述采集设备可以是待检测电子设备本身，例如，当待检测电子设备为手机时，手机可以通过录屏方式采集到待处理图像，或者，手机通过录音方式采集到待处理声音，此时，手机作为采集设备；也可以是独立于待检测电子设备的设备，例如，待检测电子设备为大屏设备，在大屏设备播放视频或图片时，通过高清相机拍摄大屏设备的显示屏，以采集到待处理图像，此时，高清相机作为采集设备。

上述具备数据处理功能的电子设备可以为但不限于手机、个人电脑、平板或云服务器等。一般情况下，采集设备采集到待处理声音或者待处理图像之后，具备数据处理功能的电子设备可以获取到待处理图像或者待处理声音，并对待处理图像或者待处理声音进行处理，得到播放异常检测结果。其中，待检测电子设备、采集设备和用于处理待处理数据的电子设备可以是同一个设备，例如，待检测电子设备、采集设备和用于处理待处理数据的电子设备均为手机，即使用手机播放视频或音频，该手机可以通过录屏或者录音等方式采集待处理图像或者待处理声音，然后，手机可以对采集到的待处理图像或者待处理声音进行处理；也可以不是同一个设备，此时，这三者没有集成在同一个电子设备。这三者可以是相互独立的电子设备，例如，待检测电子设备为大屏设备，采集设备为高清相机，用于数据处理的电子设备为个人电脑。当然，这三者中的两者也可以集成在一个电子设备上，例如，待检测电子设备为大屏设备，采集设备和用于数据处理的电子设备均集成在手机上，即使用手机采集大屏设备播放的视频或者音频，并使用手机对所采集的数据进行处理。又例如，待检测电子设备和采集设备均集成在手机上，即使用手机播放视频或者音频，并使用该手机采集待处理图像或者待处理声音，然后，手机再将采集到的待处理图像和待处理声音传输至个人电脑，由个人电脑对所采集到的数据进行处理，此时，用于数据处理的电子设备为个人电脑。

具体应用中，上文提及的电子设备的类型可以是任意的，作为示例而非限定，如图1所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigation satellite system，GLONASS)，北斗卫星导航***(beidounavigation satellite system，BDS)，准天顶卫星***(quasi-zenith satellitesystem，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

在一些实施例中，电子设备100为用于数据处理的电子设备时，电子设备100通过摄像头193采集到待检测电子设备的显示屏播放的图像之后，电子设备100的处理器110对待处理图像进行处理，以识别出待处理图像中的预设标记，得到显示异常检测结果。或者，电子设备100通过麦克风170C采集待检测电子设备播放的音频信号之后，电子设备100的处理器110对待处理声音进行处理，以识别出待处理声音中的预设标记，得到音频播放质量检测结果。

下面首先对本申请实施例可能涉及的***架构和场景进行介绍。

请参见图3，为本申请实施例提供的播放异常检测***架构的示意框图，该架构可以包括服务器31、传输链路32、待检测电子设备33、采集设备34和数据处理设备35。其中，服务器31可以通过传输链路32和待检测电子设备33进行数据交互。传输链路32可以具体为通信网络，例如，互联网。

服务器31用于存储有已植入预设标记的目标影像和/或目标音频。具体应用中，先通过脚本将预设标记***至视频、图片和音频中，然后再将***预设标记的视频、图片和音频存储至服务器。通常情况下，服务器上存储的视频和音频所覆盖的场景较多，以视频来说，其可以包括电视剧、动画和游戏等视频场景。

待检测电子设备33是指需要进行播放异常检测的电子设备，其可以包括但不限于手机、平板、智能电视等大屏设备、个人电脑、以及其它播放设备等。待检测电子设备33用于播放已植入预设标记的目标影像和/或目标音频。具体应用中，检测电子设备33需要播放视频或者音频时，可以通过传输链路32从服务器31中获取到带预设标记的视频或音频，再播放所获取到的视频或者音频。

可以理解的是，待检测电子设备33可以只播放已植入预设标记的视频或者图片，或者只播放已植入预设标记的音频，也可以同时播放已植入预设标记的视频和已植入预设标记的音频，例如，电视剧一般包括视频和音频，在该电视剧的视频和音频均植入预设标记，智能电视播放该电视剧时，可以同时播放已植入预设标记的视频和已植入预设标记的音频。

采集设备34用于采集待检测电子设备33播放的声音和/或图像，再将采集到的声音和/或图像传输至数据处理设备35。可以理解的是，采集设备可以同时采集待检测电子设备播放的声音和图像，例如，待检测电子设备为智能电视，智能电视所播放的电视剧的视频和音频均植入预设标记，此时，采集设备可以同时采集待处理图像和待处理声音。该采集设备可以为但不限于高清相机和音频采集设备等。

数据处理设备35用于获取采集设备所采集的待处理声音和/或待处理图像，并对所获取到的待处理声音或者待处理图像进行处理，得到播放异常检测结果。数据处理设备35可以为但不限于个人电脑、手机或服务器等具备数据处理能力的电子设备。

需要指出的是，在一些实施例中，图3的***架构可以不用包括服务器31，此时，已植入预设标记的目标影像和/或目标音频可以存储在电子设备(例如，个人电脑)上，该电子设备可以通过数据连接线(例如，USB数据线)和待检测电子设备连接，以将已植入预设标记的目标影像和/或目标音频传输至待检测电子设备。或者，已植入预设标记的目标影像和/或目标音频可以直接存储在待检测电子设备31，不需要服务器31和传输链路32。

在一些实施例中，待检测电子设备33、采集设备34和数据处理设备35可以具体外现为一个电子设备，例如，外现为一个手机，即手机不仅作为待检测电子设备，还作为采集设备和数据处理设备，具体来说，手机播放已植入预设标记的视频，在播放视频的过程中，该手机通过录屏的方式采集待处理图像，然后，该手机对所采集到的待处理图像进行处理，得到播放异常检测结果。

当然，在其它一些实施例中，待检测电子设备33、采集设备34和数据处理设备35中的任意两个可以外现为一个电子设备，例如，待检测电子设备33为手机，手机在播放视频的同时，通过录屏的方式采集待处理图像，并将该待处理图像传输至个人电脑，此时，采集设备34为手机，数据处理设备35为个人电脑。

本申请实施例中，播放异常可以包括显示异常和音频播放质量异常。显示异常是指显示设备在播放视频或者图片的时候，出现卡顿、黑屏、花屏和闪屏等问题，这些问题可能是由显示设备的硬件器件或者软件渲染造成的。音频播放质量异常是指音频播放设备在播放音频的过程中，音频播放质量出现异常(例如，卡顿等)。

具体应用中，可以在新产品上市、产品维修检测、以及竞品对比测试等情况下进行播放异常检测，例如，在新款手机发布之前，使用本申请实施例提供的播放异常检测方案对新款手机进行显示异常检测和音频播放质量异常检测。当然，除了新产品上市、产品维修检测、以及竞品对比测试等场景之外，本申请实施例提供的播放异常检测方案还可以应用于其它场景，在此不对应用场景作限定。

需要说明的是，上文提及的***架构和应用场景仅仅是一种示例，并不对本申请实施例的***架构和应用场景造成限定。

在介绍完本申请实施例可能涉及的***架构和应用场景之后，下面将结合附图对播放异常检测过程进行介绍。

请参见图4，为本申请实施例提供的播放异常检测方法的一种流程示意框图，该方法可以应用于电子设备，该电子设备具备数据处理功能，其可以为上述数据处理设备35或者电子设备100。该方法可以包括以下步骤：

步骤S401、电子设备获取包含预设标记的待处理数据，该待处理数据是在待检测电子设备播放目标影像和/或目标音频的过程中，通过采集待检测电子设备播放的图像和/或声音得到的数据，该目标影像和目标音频均包含预先植入的预设标记。

具体应用中，如果待检测电子设备同时播放目标影像和目标音频，所采集到的待处理数据则包括待处理声音和待处理图像。如果待检测电子设备播放目标影像和目标音频中一种，所采集到的待处理数据则可以包括待处理图像或者待处理声音。也就是说，上述待处理数据可以包括待处理图像和待处理声音，也可以为待处理图像或待处理声音。

上述目标影像可以为视频或者图片，该视频或者图片中预先植入有预先标记。一般情况下，目标影像中的每一帧图像均植入有预设标记，但实际应用中，也可以不用每一帧图像都植入预设标记，而是有选择性地植入预设标记，例如，每隔一定帧数植入预设标记。相较而言，由于每一帧图像均可能会出现显示异常问题，故每一帧图像中均植入对应的预设标记的方案较佳。

在一些实施例中，在视频或图片中植入的预设标记可以包括第一预设标记和/或第二预设标记，即目标影像中的图像内可以包含第一预设标记或第二预设标记，也可以同时包含第一预设标记和第二预设标记。

第一预设标记可以用于检测第一类显示异常，第一类显示异常可以是指黑屏、花屏和闪屏等显示问题。也就是说，电子设备可以通过检测图像帧中包含的第一预设标记，确定待检测电子设备是否出现黑屏、花屏和闪屏等显示问题。一般情况下，每帧图像中植入的第一预设标记是一样的。

第一预设标记可以具体包括一个或多个简单图标，简单图标的形状和类型可以是任意的。作为示例而非限定，参见图5示出的本申请实施例提供的简单图标示意图，第一预设标记可以包括图标51、图标52和图标53，具体应用中，可以在视频的每一帧图像均植入图标51、图标52和图标53。可以理解的是，第一预设标记所包含的图标可以比图5中的图标更复杂或者更简单，且图标的形状和类型不限于图5示出的。

需要指出的是，相较于第一预设标记只包含一个图标，第一预设标记包含多个图标可以使得图标覆盖的显示区域更大，进而使得显示异常检测结果更加准确。因为待检测电子设备的显示屏的每一个区域均可能出现黑屏、花屏和闪屏等显示问题，使用多个图标可以尽可能地覆盖大部分显示区域。

另外，第一预设标记中所包含的图标一般优选为简单图标，简单图标比较容易识别，进而可以提高图标识别速率。当然，第一预设标记中所包含的图标也可以是较为复杂的图标。

而第二预设标记可以用于检测第二类显示异常，第二类显示异常可以是指卡顿异常。也就是说，电子设备可以通过检测图像帧中的第二预设标记，确定待检测电子设备是否出现卡顿异常。每帧图像植入的第二预设标记用于描述该帧图像的先后顺序，先后顺序是指图像序列中的先后顺序。例如，视频的图像序列依据播放先后顺序，可以分为第一帧图像、第二帧图像、第三帧图像…第n帧图像，n为正整数，此时第二预设标记为数字，即通过在每帧图像中植入对应的数字，表征每帧图像在图像序列中所处的先后位置。

可以理解的是，每帧图像中的第二预设标记一般是不同的，例如，第二预设标记为数字时，视频的第一帧图像植入的第二预设标记为1，第二帧图像植入的第二预设标记为2，第三帧图像植入的第二预设标记为3，依次类推，第n帧图像植入的第二预设标记为n。

具体应用中，第二预设标记除了可以表现为上文提及的数字形式之外，还可以表现其它形式，只要能起到表征先后顺序的作用即可。作为示例而非限定，第一预设标记可以表现为***数字，即用1、2、3、4…n来表示每帧图像在图像序列中的先后顺序；可以表现为中文数字，即分别用一、二、三、四…来表示每帧图像在图像序列中的先后顺序；可以表现为数字和字母的组合，例如，第一帧图像植入的第二预设标记为A1，第二帧图像植入的第二预设标记为A2，第三帧图像植入的第二预设标记为A3；也可以表现为图标组合，即用包括至少两个图标的组合来表征先后顺序。参见图6示出的本申请实施例提供的图标组合示意图，如图6所示，其包括图标组合61、图标组合62和图标组合63，将图标组合61植入第一帧图像内，图标组合62植入第二帧图像，图标组合63植入第三帧图像，此时，图标组合61表征的数字为1，图标组合62表征的数字为2，图标组合63表征的数字为3。当然，第二预设标记还可以表现为其它形式，例如，用特殊符号和数字的组合来表征每帧图像在图像序列中的先后顺序，在此不再一一列举。

实际应用中，可以只在图像中植入对应的第一预设标记或者第二预设标记，也可以同时植入第一预设标记和第二预设标记。参见图7示出的本申请实施例提供的图像示意图，其中，图7中的(a)的图像71是原始图像，即图像71是未植入预设标记的图像。图7中的(b)示出的是已植入第一预设标记的图像72，图像72中的图标73、图标74和图标75与图5中的三个简单图标对应，此时，图像72中所植入的第一预设标记包括图标73、图标74和图标75。具体应用中，可以将图5中的三个简单图标植入图像71，得到图像72。图7中的(c)示出的是已植入第二预设标记的图像76，第二预设标记为数字77，该数字示例性为10000。图7中的(d)示出的是已植入第二预设标记的图像78，图像78中植入的图6中的图标组合63。图7中的(e)示出的是已植入第一预设标记和第二预设标记的图像79，图像79中的第一预设标记包括简单图标711～713，第二预设标记为数字710，该数字示例性地为10000。

可以理解的是，预设标记在图像中的位置是任意的。

与上文提及的在视频或图片中植入预设标记的原理和过程类似，在目标音频中也可以植入预设标记。目标音频中植入的预设标记一般是易于分离的声音标记，该声音标记一般以信号的形式存在。例如，在每个时刻的声音信号中均植入一个高频信号，该高频信号的频率高于目标音频的频率，且人耳无法听到，但通过机器可以检测出来。目标音频中所植入的高频信号携带有对应的标记信息，比如，该高频信息携带的标记信息是表征声音信号先后顺序的信息。

同理，目标音频中也可以植入第一预设标记和/或第二预设标记，第一预设标记可以用于检测第一类音频播放异常，第一类音频播放异常一般是指音频播放质量异常。第二预设标记可以用于检测第二类音频播放异常，第二类音频播放异常可以是指卡顿异常。

目标音频中植入的预设标记除了可以以高频信号的形式存在，也可以以低频信号的形式存在，低频信号的频率低于目标音频的频率。高频信号和低频信号均可以携带或者表征标记信息，该标记信息可以是表征先后顺序的信息，也可以是表征播放质量的信息。

基于上文提及的方式和原理，可以在视频或图片，以及音频中植入预设标记。一般情况下，收集的视频源和音频所覆盖的场景可以尽可能地多。例如，对于视频来说，可以收集电视剧、动画和游戏等场景的视频源，并使用脚本在各个场景的视频源中植入对应的预设标记。

在得到已植入预设标记的目标影像和目标音频之后，待检测电子设备可以先获取到所需播放的目标影像和/或目标音频，然后待检测电子设备再播放所获取到的目标影像和/或目标音频。播放目标影像是指在待检测电子设备的显示屏上显示对应的图像，例如，目标影像为动画视频，待检测电子设备为智能手机时，智能手机播放动画视频时，智能手机的显示屏上会显示对应的图像。在待检测电子设备播放视频或音频的过程中，可以通过采集设备采集到待处理数据，例如，通过高清相机拍摄正在播放电视剧视频的智能电视的显示屏，以获取到待处理图像，该电视剧视频已被植入预设标记。采集到待处理数据之后，电子设备可以获取到该待处理数据，然后，电子设备再识别待处理数据中的预设标记，得到对应的标记检测结果。

步骤S402、电子设备通过识别待处理数据中的预设标记，得到标记检测结果。

需要说明的是，如果待处理数据中包含第一预设标记，上述标记检测结果可以包括标记类别和/标记位置。其中，标记类别可以包括正常类别和异常类别，而标记位置是指预设标记在图像中的位置。

可以理解的是，可以只识别第一预设标记的标记类别，也可以只识别第一预设标记的标记位置，当然，也可以即识别第一预设标记的标记类别，又识别第一预设标记的标记位置。

例如，待处理数据包括待处理图像，该待处理图像包括图5中示出的三个简单图标，即第一预设标记为图5示出的是三个简单图标。电子设备通过识别待处理图像中的简单图标，得到待处理图像中的简单图标的图标类别和/或图标所处位置。

如果待处理数据中包含第二预设标记，上述标记检测结果可以包括表征先后顺序的信息。例如，待处理数据包括待处理图像，该待处理图像内的第二预设标记具体为数字，比如为10000，电子设备识别该待处理图像中的第二预设标记，得到该待处理图像中的数字为10000。

如果待处理数据中包含第一预设标记和第二预设标记，标记检测结果则可以包括标记类别和/或标记位置，以及表征先后顺序的信息。

具体应用中，用于识别待处理数据中的预设标记的方式可以是任意的，例如，电子设备可以通过预先训练好的人工智能模型来识别预设标记，此时，可以将待处理数据输入至预先训练完成的模型，获得模型的输出结果，该输出结果即为上述标记检测结果。又例如，如果待处理图像中植入的第二预设标记为数字或者文字等，电子设备可以通过光学字符识别(Optical Character Recognition，OCR)方式来识别待处理图像中的文字或者数字。

实际应用中，待处理数据包含待处理声音时，可以先分离待处理声音中的声音标记，然后再确定该声音标记所携带的标记信息，并确定该标记信息具体表征的信息，例如，声音标记所表征的是先后顺序的信息时，识别出该待处理声音中的声音标记表征的顺序是1。

步骤S403、电子设备根据标记检测结果，得到播放异常检测结果。

需要说明的是，标记检测结果可以包括第一预设标记的检测结果和/或第二预设标记的检测结果。具体应用中，电子设备可以根据第一预设标记的检测结果，确定是否出现播放异常。以显示异常来说，如果待检测电子设备出现黑屏、花屏和闪屏等显示问题，所显示的图像中的第一预设标记和原始图像中的第一预设标记可能不一致，具体可以表现为类别不一致和/或位置不一致。例如，原始图像中植入的第一预设标记均为正常类别的标记，但待处理图像中存在异常类别的第一预设标记，则可以认为原始图像和待处理图像的标记类别不一致，可以判定待检测电子设备出现了黑屏、花屏和闪屏等显示问题。又例如，原始图像中的第一预设标记所处位置为A，但待处理图像中的相同的第一预设标记所处位置为B，则认为原始图像中的标记位置和待处理图像中的标记位置不一致，则可以判定待检测电子设备出现了黑屏、花屏和闪屏等显示问题。此处的原始图像是指未经过待检测电子设备显示的图像。

也就是说，如果标记检测结果包括第一预设标记的标记类别和/标记位置，电子设备可以根据标记类别和/或标记位置，确定播放异常检测结果，该播放异常检测结果可以是指待检测电子设备是否出现黑屏、花屏和闪屏等显示问题。

电子设备还可以根据标记检测结果中的第二预设标记的检测结果，来确定是否出现卡顿异常。以显示异常检测来说，先采集预设时刻的待处理图像，然后电子设备识别该预设时刻的待处理图像中的第二预设标记，该待处理图像中的第二预设标记可以表征该待处理图像是第几帧图像；电子设备再比较待处理图像是否和预期播放的图像帧一致，预期播放的图像帧是指上述预设时刻时待检测电子设备预期播放的图像帧。如果待处理图像和预期播放的图像帧不一致，则可以认为出现卡顿异常。

例如，智能电视播放已植入数字的视频源，播放10分钟之后，高清相机通过拍摄智能电视的显示屏采集到待处理图像，然后个人电脑识别该待处理图像中的数字为9800，即表明该待处理图像是第9800帧图像。10分钟预期播放的图像帧是10000。播放10分钟后，实际播放位置是第9800帧图像，预期播放位置是第10000帧图像，实际播放位置小于预期播放位置，由此可以得出在播放过程中出现了卡顿，实际播放位置和预期播放位置不相符。

当然，电子设备可以分别根据第一预设标记的检测结果和第二预设标记的检测结果，分别确定视频或者图片播放过程中是否出现黑屏、花屏和闪屏等第一类显示异常，以及是否出现卡顿等第二类显示异常。对于显示异常检测来说，播放异常检测结果可以包括第一类显示异常检测结果和/或第二类显示异常结果。

音频播放异常检测和显示异常检测类似。对于音频播放异常检测来说，电子设备可以通过在音频中植入的第二预设标记，来确定播放过程中是否出现卡顿，具体地，电子设备可以先从采集到的待处理声音中分离第二预设标记，然后再识别第二预设标记所表征的先后顺序，然后根据识别出实际播放位置以及预期播放位置，确定是否出现卡顿。同理，电子设备可以先从采集的待处理声音中分离出第一预设标记，然后再识别第一预设标记是否和原本所植入的第二预设标记是否一致，如果一致，则认为没有出现播放异常，如果不一致，则可以认为出现了音频播放质量异常。

由上可见，本申请实施例通过在视频、图片或者音频中植入预设标记，并在待检测电子设备播放视频、图片或者音频的过程中，采集得到待处理声音或者待处理图像，再通过识别待处理图像或待处理声音的完整性，来确定是否出现播放异常。例如，对于显示异常检测来说，可以通过检测待处理图像中的第一预设标记的完整性来确定是否出现花屏、黑屏和闪屏等显示问题。又例如，对于音频播放异常检测来说，可以通过检测待处理声音中的第一预设标记的完整性来确定音频播放质量是否异常。

其中，第一预设标记的完整性可以通过比较待处理图像或者待处理声音中的第一预设标记和原始植入的第一预设标记得到。原始植入的第一预设标记是指未经过播放的视频源或者音频中的标记。例如，通过待处理图像中的第一预设标记的标记类别和/或标记位置，可以确定待处理图像中的第一预设标记的完整性，如果标记类别不同和/或标志位置发生改变，则认为出现显示异常。

本申请实施例还可以通过识别待处理图像或者待处理声音的预设标记表征的先后顺序，得到实际播放位置，然后再比较实际播放位置和预期播放位置是否一致来确定是否出现卡顿异常。

可以看出，相较于现有的播放异常检测方式，本申请实施例将复杂的播放异常检测问题转化为检测预设标记的问题，从而大幅降低了检测难度，提高了检测效率。

本申请实施例中，在视频、图片或者音频中植入的预设标记可以只包括第一预设标记，可以只包括第二预设标记，也可以既包括第一预设标记，又包括第二预设标记。下面将对上述三种情况进行分别介绍。

当预设标记包括第一预设标记，此时，电子设备可以通过识别待处理数据中的第一预设标记，得到第一标记检测结果，该第一标记检测结果是第一预设标记对应的检测结果。具体的识别方式可以是任意的，例如，电子设备可以适用预先训练的模型来是否第一预设标记，此时，电子设备可以将待处理数据输入只预先训练完成的模型，获得该模型的输出结果，将该输出结果作为第一标记检测结果。

下面将以显示异常检测为例，对使用预先训练的模型识别第一预设标记的过程进行介绍说明。

在使用预先训练的模型识别待处理图像中的第一预设标记之前，需要先构建模型，再使用训练数据集对所构建的模型进行训练，然后再使用训练完成的模型识别待处理图像中的第一预设标记。

首先，先确定出第一预设标记的具体表现形式，即确定第一预设标记采用何种形式的图标，以及采用几组图标。然后，再制作或生成对应的异常图标。最后，基于正常图标和异常图标进行模型训练。

作为示例而非限定，参见图8示出的本申请实施例提供的简单图标示意图。如图8中的(a)所示，其包括3组简单图标，分别可以标注为PIC1、PIC2和PIC3。基于图8中的(a)中示出的三组简单图标，制作或生成对应的异常图标，其中，每一组图标生成2个异常图标。所生成的异常图标可以如图8中的(b)所示，每一个异常图标可以依次标注为PICErr，PICErr2，PICErr3…，或者均可以标注为PICErr。图8中的(b)中均标注为PICErr。相较于图8中的(b)中的异常图标，图8中的(a)中示出的简单图标称为正常图标。

可以理解的是，所生成的异常图标数量可以是任意的，在此不对所生成的异常图标数量作限定。

在生成异常图标之后，可以将正常图标和异常图标均植入到各类视频源中，即将图8中的(a)中的3个简单图标和图8中的(b)中的6个异常图标一并植入到各类视频源中。其中，视频源中的每一帧图像均植入图8中的(a)中的3个简单图标和图8中的(b)中的6个异常图标。正常图标是指属于正常类别的图标，异常图标是指属于异常类别的图标。

作为示例而非限定，参见图9示出的本申请实施例提供的植入图标后的图像示意图，如图9所示，图像中植入了6个图标，其中3个是正常图标，另外3个是异常图标。

将正常图标和异常图标植入到视频的每帧图像之后，将已植入图标的视频源作为训练数据，使用该训练数据对所构建的模型进行训练。

需要说明的是，本申请实施例中的模型可以是任意类型的人工智能模型，例如，该模型可以为机器学习模型或者神经网络模型。

训练完成的模型，除了可以识别图像中所植入的图标的类别之外，还可以识别图标在图像中所处的位置。图标类别可以分别正常图标和异常图标，更进一步地，正常图标还可以分为第一类图标、第二类图标等，例如，以图9中示出的图像为例，图标类别包括PIC1、PIC2、PIC3和PICErr，其中，PIC1、PIC2和PIC3是正常图标，PICErr是异常图标。而在其它一些实施例中，图9中的PIC1、PIC2和PIC3均划分为正常图标类别。

基于图9示出的图像，以左上角的图标(即PIC1)为例，训练完成的模型除了识别图标类别为PIC1(或者识别为正常图标类别)之外，还可以识别出该图标的图像坐标为(0.2，0.1，0.2，0.3)。可以理解的是，根据识别需要，可以确定只识别图标类别，还是识别图标类别和图标位置，亦或者是只识别图标位置。

模型训练完成之后，可以将该训练好的模型部署至电子设备，该电子设备是用于检测播放异常的设备，例如，该电子设备为手机或个人电脑，将训练好的模型部署至手机或者个人电脑。当然，模型训练的设备和实际检测的设备可以是同一个电子设备，例如，个人电脑既用于模型训练，又用于播放异常检测。

然后，可以收集各种场景的视频源，并在视频源中植入正常图标，例如，可以在视频源的每一帧图像中均植入图8中的(a)示出的三组正常图标。具体可以使用脚本或者其它方式将图标植入到每个视频的每帧图像中。另外，每一帧图像中图标所处位置可以相同，也可以不相同。

接着，使用待检测电子设备播放已植入正常图标的视频，同时，使用高清相机拍摄待检测电子设备的显示屏，或者通过录屏方式，采集得到待处理图像，该待处理图像包括预先植入的正常图标。

采集到待处理图像之后，电子设备可以获取到该待处理图像，并将该待处理图像输入至预先部署的第一检测模型，获得该第一检测模型的第一输出结果。第一检测模型的第一输出结果可以是表征标记类别的图标类别，可以是用于表征图标位置的位置信息，也可以是标记类别和位置信息。该输出结果为上述第一标记检测结果。该第一检测模型是预先训练完成的模型。

电子设备可以根据模型的输出结果，得到对应的显示异常检测结果。具体来说，如果第一输出结果只包括标记类别，电子设备可以根据标记类别确定待处理图像中是否存在异常图标，如果存在异常图标，则可以判定出现第一类显示异常，第一类显示异常是指黑屏、花屏和闪屏等类别的显示异常。如果不存在异常图标，则认为不存在第一类显示异常。

如果第一输出结果只包括位置信息，电子设备可以根据位置信息和预先设置的图标位置信息，判断图标位置是否发生改变，如果图标位置发生改变，则可以判定出现第一类显示异常。

如果第一输出结果包括标记类别和位置信息，电子设备可以先根据标记类别，确定待处理图像中是否存在异常图标，如果存在异常图标，则可以判定出现第一类显示异常。如果待处理图像中不存在异常图标，可以进一步根据位置信息来判断图标位置是否发生改变，如果图标位置已经发生改变，则可以判定出现第一类显示异常，如果图标位置没有发生改变，则可以判定没有出现第一类显示异常。

具体应用中，电子设备可以通过比较预先设定的图标位置和识别出的图标位置，确定图标位置是否发生改变。

需要说明的是，当待检测电子设备播放的是目标音频，采集的待处理数据包含待处理声音时，识别待处理声音中的第一预设标记的过程与识别待处理图像中第一预设标记的过程类似。此时，电子设备可以将待处理声音输入至预先训练完成的模型，获得模型的输出结果，该输出结果可以包括待处理声音中的第一预设标记的标记类别和/或位置信息等，最后，电子设备可以根据标记类别和/或位置信息，确定是否出现音频播放质量异常，其过程与显示异常检测过程类似，在此不再赘述。

当预设标记包括第二预设标记时，电子设备可以根据第二预设标记，确定出实际播放位置，然后比较实际播放位置和预期播放位置，确定是否出现卡顿。

需要说明的是，第二预设标记的具体表现形式不同，识别方式也可能会有所不同。例如，第二预设标记表现为数字时，电子设备通过OCR来识别待处理图像中的数字，第二预设标记表现为图标组合时，电子设备可以通过预先训练完成的模型来识别待处理图像中的图标组合。

第二预设标记具体表现为数字、字母或者字母和数字等形式时，电子设备可以通过OCR识别第二预设标记。此时，先收集各种场景的视频，然后在视频的每一帧图像中植入对应的数字，例如，第一帧图像植入的数字是1，第二帧图像植入的数字是2，第10000帧图像植入的数字是10000，依次类推。然后，待检测电子设备播放已植入第二预设标记的视频，通过高请相机或者录屏的方式采集待处理图像。最后，电子设备获取到待处理图像后，可以通过OCR方式识别待处理图像中的第二预设标记，再比较实际播放位置和预期播放位置，确定是否出现第二类显示异常，第二类显示异常是卡顿异常。

例如，参见图10示出的本申请实施例提供的卡顿异常检测示意图，如图10所示，左边的图像是初始播放位置，该图像内的第二预设标记为1，即初始播放位置处的图像帧是第一帧图像。播放一段时间后(例如，10分钟)，预期播放位置是第18000帧，预期播放位置的图像帧如图10右上角的图像所示，该图像中的第二预设标记为18000。但实际播放位置是第17800帧，实际播放位置的图像帧如图10右下角的图像所示，该图像中的第二预设标记为178000。实际应用中，采集到的待处理图像为图10右下角的图像，电子设备通过OCR方式识别该图像中的第二预设标记为17800，再将17800和18000比较，由于实际播放位置比预期播放位置要靠前，即17800＜18000，则可以判定播放过程中出现卡顿。

当第二预设标记表现为图标组合时，可以先收集各种场景的视频，然后在视频的每一帧中植入图标组合，每一帧的图标组合均不同，且每一帧图像中的图标组合均表征不同的数字。然后，待检测电子设备播放已植入第二预设标记的视频，电子设备获取到采集的待处理图像之后，可以识别该待处理图像中的图标组合和预期播放的图像帧中的图标组合是否一致，如果不一致，则可以判定出现卡顿，如果一致，则判定没有出现卡顿。

例如，参见图11示出的本申请实施例提供的另一种卡顿异常检测示意图，如图11所示，左边的图像是初始播放位置，该图像内的图标组合表征的数字为1，即该图像是第一帧图像。播放一段时间后(例如，10分钟)，预期播放位置为右上角的图像。实际播放位置是右下角的图像。此时，电子设备获得实际播放位置的待处理图像之后，可以将该待处理图像和预期播放的图像帧进行比对，即将图10中右上角的图像和右下角的图像进行比对，确定两个图像中的图标组合是否一致，如果两个图像中的图标组合一致，则认为实际播放位置和预期播放位置相同，没有出现卡顿，如果两个图像中的图标组合不一致，则认为实际播放位置和预期播放位置不相同，出现了卡顿。

具体应用中，可以通过预先训练完成的模型识别待处理图像中的图标组合，即将该待处理图像输入至预先训练完成的模型，获得该模型的第二输出结果。该第二输出结果可以具体表现为数字，即识别待处理图像中的图标组合表征的数字；也可以表征为图标组合。然后，电子设备再根据第二输出结果，确定实际播放位置和预期播放位置是否一致。

需要说明的是，音频播放异常检测与显示异常检测类似，具体地，当待处理声音中包含第二预设标记，电子设备可以先从待处理声音中分离出第二预设标记，再识别第二预设标记对应的数字，然后根据识别出的数字，确定预期播放位置和实际播放位置是否一致。

当预设标记包括第一预设标记和第二预设标记，此时，可以分别使用上文提及的第一预设标记的检测方式来识别检测第一预设标记，使用上文提及的第二预设标记的检测方式来检测第二预设标记，具体过程可以参见上文内容，在此不再赘述。

可以理解的是，上文示例性地给出了第一预设标记的检测方式和第二预设标记的检测方式，但预设标记的检测方式并不仅限于上文提及的。

下面将示例性地对显示异常检测过程进行介绍。

参见图12示出的本申请实施例提供的显示异常检测过程的示意图，如图12所示，首先，收集视频源；然后，在视频源中植入动态标记，得到带标记视频源：待检测电子设备通过传输链路获取到待标记视频源，并播放视频源，其中，图12中示例性地示出了待检测电子设备可以包括但不限于手机型号1、手机型号2、手机型号1、平板型号X、大屏设备型号X或其他显示终端等。在待检测电子设备播放带标记视频的过程中，高清相机分别拍摄每台显示终端的屏幕，获得待处理图像，然后，对待处理图像进行检测识别，输出检测结果，该检测结果为显示异常检测结果。

上述过程中，动态标记可以包括第一预设标记和/或第二预设标记。传输链路可以是互联网，也可以是其它，例如，USB数据传输通道等。

在视频中植入预设标记的过程中，所植入的标记的位置也可以是固定的，即每一帧图像中的预设标记的位置均一致；也可以是动态随机，即每一帧图像中的预设标记的标记不是固定，而是随机的。

作为示例而非限定，参见图13示出的本申请实施例提供的植入预设标记后的图像示意图，如图13中的(a)所示，针对黑花闪屏幕检测，即在检测黑屏、花屏和闪屏等显示异常时，在视频源中的图像131中植入3类简单图标，这三个图标分别为PIC1、PIC2和PIC3。视频中的每一帧图像中的3个简单图标的位置均是一致的，例如，第一帧图像中的PIC1的位置和第二帧的PIC1的位置相同，第一帧图像中的PIC2和第二帧图像中的PIC2的位置相同。

基于图13中的(a)，在模型训练阶段，需要在图像中植入4类图标，分别为PIC1、PIC2、PIC3和PICErr，即每一类正常图标作为一类，所有异常图标归为一类。此时，对所有图标进行标注，可以得到4类，即所训练的模型是4分类的模型，或者说训练任务是4分类任务。

如图13中的(b)所示，针对黑花闪屏幕检测，即在检测黑屏、花屏和闪屏等显示异常时，可以在视频源的图像132中植入3类简单图标，这三个图标分别为PIC1、PIC2和PIC3。图像中每类图标均有多个图案意在表明每帧图像中的图标位置是随机的。例如，第一帧图像中的PIC1的图标位置为A，第二帧图像中的PIC1的图标位置为B，第三帧图像中的PIC1的图标位置为C。以图13中的(b)中的PIC3为例，图标133和图标134在图中的位置不同，第一帧图像的PIC3位于图标133的位置，第二帧图像的PIC3位于图标134的位置，也就是说，同类图标在多个不同位置表明各帧图像中的图标所处位置是随机的。

基于图13中的(b)，在模型训练阶段，可以在图像中植入4类图标，分别为PIC1、PIC2、PIC3和PICErr，即每一类正常图标作为一类，所有异常图标归为一类。此时，模型训练任务是4分类任务。当然，在其它一些实施例中，每类图标可以有正负两个样本，此时，存在3个正常图标和3个异常图标，分别为PIC1、PIC2、PIC3、PIC1对应的PICErr、PIC2对应的PICErr以及PIC3对应的PICErr。分别对这6个图标进行标注，可以得到6类标注，此时的模型训练任务是6分类任务。

也就是说，实际应用中在图像中***N类图标，模型阶段的模型训练任务可以是N+1分类任务，也可以是2N分类任务。

参见图14示出的本申请实施例提供的黑屏、花屏和闪屏屏幕检测过程示意图，如图14所示，首先在视频源中***图标，然后待检测电子设备播放待图标的视频，通过拍摄或者录屏的方式获取到待处理图像，再通过图标检测识别算法对待处理图像中的图标进行识别，获得图标类别和图标位置。确定是否检测到PICErr，如果检测到PICErr，则判定出现黑屏、花屏和闪屏等显示异常，其中，PICErr是指异常图标或者异常类别的图标。如果没有检测到PICErr，则判断图标位置是否发生改变，如果图标位置发生改变，则判定出现黑屏、花屏和闪屏等显示异常，反之，如果图标位置没有发生改变，则判定视频正常，即没有出现黑屏、花屏和闪屏等显示异常。

其中，上述过程的图标检测识别算法可以具体表现为模型，也可以表现为其它形式。

在卡顿异常检测过程中，可以通过判断实际播放位置和预期播放位置是否一致来确定是否出现异常。作为示例而非限定，参见图15示出的本申请实施例提供的卡顿异常检测过程示意图，此时，假设所播放的视频源帧率为30fps，视频时长一共为10分钟，一共是30x10x60＝18000帧，每帧图像中均***数字，从首帧到末帧一共18000个数字。

如图15中的(a)所示，首先通过脚本在视频源的每帧图像***连续的数字，然后待检测电子设备播放该视频，在T1时刻通过高清相机拍摄或者录屏等方式采集到待处理图像。然后，电子设备通过OCR识别待检测图像中的数字，得到该数字为T1'。再在T2时刻通过拍摄或者录屏等方式采集到待处理图像，然后电子设备通过OCR识别该检测图像中的数字，得到该数字为T2'。接着，计算T2-T1，此时，设T2-T1等于10分钟，帧率为30fps，再确定T2'-T1'是否约等于18000，如果是，视频正常，没有出现卡顿异常，如果否，出现卡顿异常。在图15中的(a)中，采集首帧图像和播放了10分钟之后的图像，确定两个图像中的数字相差是否约等于18000，来确定是否出现卡顿。

如图15中的(b)所示，此时，在图像中***的是图标组合，不是数字。首先，在视频源中***图标，所***的是图标组合。然后，待检测电子设备播放该视频，在T1时刻通过高清相机拍摄或者录屏等方式采集到待处理图像，然后，电子设备根据图标组合确定T1时刻对应帧。在T2时刻采集待处理图像，然后电子设备根据图标组合确定T₂时刻对应帧。接着，计算T2-T1，此时，T2-T1＝10分钟，帧率为30fps。确定T2时刻预期帧和T2时刻对应的检测帧是否一致，如果不一致，检测出卡顿异常，如果一致，视频正常，即没有出现卡顿异常。

需要说明的是，上文示例性介绍的显示异常检测过程可以参见上文实施例的相关介绍，在此不再赘述。

另外，一个视频源可以多次植入图标，然后多次检测，以增加检测覆盖范围。

由上可见，通过在图像中植入预设标记，该预设标记可以为图标、数字或者图标组合，将复杂的视频显示检测问题(例如，电影、游戏、动画等复杂多变的视频场景)转换为标记检测问题，或者图标组合检测问题，大幅降低了检测难度，提高了检测效率。

参见图16示出的本申请实施例提供的播放异常检测装置示意图，该装置可以包括：

获取模块161，用于获取包含预设标记的待处理数据，待处理数据是在待检测电子设备播放目标影像和/或目标音频的过程中，通过采集待检测电子设备播放的图像和/或声音得到的数据，目标影像和目标音频均包含预先植入的预设标记；

标记检测模块162，用于通过识别待处理数据中的预设标记，得到标记检测结果；

异常检测模块163，用于根据标记检测结果，得到播放异常检测结果。

在一些可能的实现方式中，上述预设标记可以包括第一预设标记和/或第二预设标记。

在一些可能的实现方式中，上述待处理数据包括待处理图像，目标影像为视频或图片，该目标影像的每一帧图像均预先植入有预设标记。

在一些可能的实现方式中，上述第一预设标记包括至少一个第一预设图标，第二预设标记包括数字或者图标组合，图标组合包括至少两个第二预设图标。

在一些可能的实现方式中，上述预设标记包括第一预设标记，上述标记检测模块具体用于：识别待处理图像中的第一预设标记，得到第一标记检测结果；其中，标记检测结果包括第一标记检测结果。

在一些可能的实现方式中，上述标记检测模块具体用于：将待处理图像输入至预先训练完成的第一检测模型，获得第一检测模型的第一输出结果，将第一输出结果作为第一标记检测结果；第一输出结果包括标记类别和/或位置信息，位置信息用于描述第一预设标记在待处理图像中所处的位置，标记类别用于描述第一预设标记的类别。

在一些可能的实现方式中，该标记检测结果包括第一标记检测结果，第一标记检测结果包括标记类别；上述异常检测模块具体用于：根据标记类别，确定待处理图像中是否存在属于异常类别的第一预设标记；若待处理图像中存在属于异常类别的第一预设标记，确定待检测电子设备出现第一类显示异常。

在一些可能的实现方式中，第一标记检测结果还包括位置信息，上述异常检测模块具体还用于：若待处理图像中不存在属于异常类别的第一预设标记，确定每个第一预设标记的位置信息和对应的预设位置信息是否一致；若存在至少一个第一预设标记的位置信息和对应的预设位置信息不一致，确定待检测电子设备出现第一类显示异常。

在一些可能的实现方式中，该预设标记包括第二预设标记，上述标记检测模块具体用于：识别待处理图像中的第二预设标记，得到第二标记检测结果；其中，标记检测结果包括第二标记检测结果。

在一些可能的实现方式中，上述标记检测模块具体用于：将待处理图像输入至预先训练完成的第二检测模型，获得第二检测模型的第二输出结果，将第二输出结果作为第二标记检测结果；其中，第二输出结果用于描述待处理图像在目标影像的图像序列中所处的位置，待处理图像是在预设时刻采集的图像；

或者，通过光学字符识别方式识别待处理图像中的第二预设标记，得到识别结果，将识别结果作为第二标记检测结果；其中，识别结果用于描述待处理图像在目标影像的图像序列中所处的位置，待处理图像是在预设时刻采集的图像。

在一些可能的实现方式中，该标记检测结果包括第二标记检测结果，上述异常检测模块具体用于：若第二标记检测结果小于目标数值，确定待检测电子设备出现第二类显示异常，目标数值是通过识别目标图像帧中的第二预设标记得到的数值，目标图像帧是在预设时刻待检测电子设备预期播放的图像帧，目标影像包括目标图像帧。

在一些可能的实现方式中，该待处理图像包括待处理声音，上述标记检测模块具体用于：从待处理声音中分离出预设标记，预设标记包括预设频段的音频信号，预设频段高于或低于目标音频的频段；识别预设标记，得到标记检测结果。

上述播放异常检测装置具有实现上述播放异常检测方法的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，硬件或软件包括一个或多个与上述功能相对应的模块，模块可以是软件和/或硬件。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例还提供一种芯片***，所述芯片***包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现如上述播放异常检测方法实施例中所述的方法。所述芯片***可以为单个芯片，或者多个芯片组成的芯片模组。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。此外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种播放异常检测方法，其特征在于，包括：

获取包含预设标记的待处理数据，所述待处理数据是在待检测电子设备播放目标影像和/或目标音频的过程中，通过采集所述待检测电子设备播放的图像和/或声音得到的数据，所述目标影像和所述目标音频均包含预先植入的预设标记；

通过识别所述待处理数据中的所述预设标记，得到标记检测结果；

根据所述标记检测结果，得到播放异常检测结果。

2.根据权利要求1所述的方法，其特征在于，所述预设标记包括第一预设标记和/或第二预设标记。

3.根据权利要求2所述的方法，其特征在于，所述第一预设标记包括至少一个第一预设图标，所述第二预设标记包括数字或者图标组合，所述图标组合包括至少两个第二预设图标。

4.根据权利要求2或3所述的方法，其特征在于，所述预设标记包括所述第一预设标记，所述通过识别所述待处理数据中的所述预设标记，得到标记检测结果，包括：

识别待处理图像中的第一预设标记，得到第一标记检测结果；

其中，所述标记检测结果包括所述第一标记检测结果，所述待处理数据包括所述待处理图像。

5.根据权利要求4所述的方法，其特征在于，所述识别所述待处理图像中的第一预设标记，得到第一标记检测结果，包括：

将所述待处理图像输入至预先训练完成的第一检测模型，获得所述第一检测模型的第一输出结果，将所述第一输出结果作为所述第一标记检测结果；

所述第一输出结果包括标记类别和/或位置信息，所述位置信息用于描述所述第一预设标记在所述待处理图像中所处的位置，所述标记类别用于描述所述第一预设标记的类别。

6.根据权利要求5所述的方法，其特征在于，所述第一标记检测结果包括所述标记类别；

所述根据所述标记检测结果，得到播放异常检测结果，包括：

根据所述标记类别，确定所述待处理图像中是否存在属于异常类别的第一预设标记；

若所述待处理图像中存在属于异常类别的第一预设标记，确定所述待检测电子设备出现第一类显示异常。

7.根据权利要求6所述的方法，其特征在于，所述第一标记检测结果还包括所述位置信息，在根据所述标记类别，确定所述待处理图像中是否存在属于异常类别的第一预设标记之后，还包括：

若所述待处理图像中不存在属于异常类别的第一预设标记，确定每个所述第一预设标记的位置信息和预设位置信息是否一致；

若存在至少一个所述第一预设标记的位置信息和预设位置信息不一致，确定所述待检测电子设备出现所述第一类显示异常。

8.根据权利要求4至7任一项所述的方法，其特征在于，所述预设标记包括所述第二预设标记，所述通过识别所述待处理数据中的所述预设标记，得到标记检测结果，包括：

识别所述待处理图像的第二预设标记，得到第二标记检测结果；

其中，所述标记检测结果包括所述第二标记检测结果。

9.根据权利要求8所述的方法，其特征在于，所述识别所述待处理图像中的第二预设标记，得到第二标记检测结果，包括：

将所述待处理图像输入至预先训练完成的第二检测模型，获得所述第二检测模型的第二输出结果，将所述第二输出结果作为所述第二标记检测结果；

其中，所述第二输出结果用于描述所述待处理图像在所述目标影像的图像序列中所处的位置，所述待处理图像是在预设时刻采集的图像；

或者，

通过光学字符识别方式识别所述待处理图像中的所述第二预设标记，得到识别结果，将所述识别结果作为所述第二标记检测结果；

其中，所述识别结果用于描述所述待处理图像在所述目标影像的图像序列中所处的位置，所述待处理图像是在预设时刻采集的图像。

10.根据权利要求9所述的方法，其特征在于，所述标记检测结果包括所述第二标记检测结果，所述根据所述标记检测结果，得到播放异常检测结果，包括：

若所述第二标记检测结果小于目标数值，确定所述待检测电子设备出现第二类显示异常，所述目标数值是通过识别目标图像帧中的第二预设标记得到的数值，所述目标图像帧是在所述预设时刻所述待检测电子设备预期播放的图像帧，所述目标影像包括所述目标图像帧。

11.根据权利要求1或2所述的方法，其特征在于，所述待处理数据包括待处理声音，所述通过识别所述待处理数据中的所述预设标记，得到标记检测结果，包括：

从所述待处理声音中分离出所述预设标记，所述预设标记包括预设频段的音频信号，所述预设频段高于或低于所述目标音频的频段；

识别所述预设标记，得到所述标记检测结果。

12.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的方法。

Images