CN116048933B

CN116048933B - 一种流畅度检测方法

Info

Publication number: CN116048933B
Application number: CN202210950178.7A
Authority: CN
Inventors: 孙丽娜; 韦思臣; 韩风; 朱勇
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-08-09
Filing date: 2022-08-09
Publication date: 2024-05-03
Anticipated expiration: 2042-08-09
Also published as: CN116048933A

Abstract

本申请提供了一种流畅度检测方法。电子设备100可在刷帧时，获取并统计刷各帧图像或图像中图层的绘制时间，确定相邻两帧图像之间的帧间距、累计丢帧时间、刷新完成率等信息。然后，电子设备100可通过上述确定上述刷帧过程是否存在掉帧的情况，进而确定上述刷帧过程中屏幕显示是否流畅。若不流畅，电子设备可将该过程中的现场数据保存下载，并上报到云端，以供后续开发人员分析卡顿原因，提升屏幕显示流畅度。

Description

一种流畅度检测方法

技术领域

本申请涉及终端领域，尤其涉及一种流畅度检测方法。

背景技术

手机、平板电脑等终端设备在动效滑动、播放动画、视频等场景中，通常需要连续地刷新屏幕中显示的图像内容，以提供流畅的显示效果。当连续的屏幕刷新的过程中发生掉帧的情况时，用户会明显感觉到卡顿或者抖动，即屏幕显示不流畅，从而影响用户使用体验。

发明内容

第一方面，本申请提供了一种流畅度检测方法，该应用于具备屏幕的电子设备，该方法包括：在获取到第一指令之后，开始获取屏幕显示的图像的绘制时间；在获取到第二指令之后，停止获取屏幕显示的图像的绘制时间；根据第一指令与第二指令之间获取到的图像的绘制时间确定第一信息；第一信息用于反映第一指令与第二指令之间屏幕显示图像的流畅度；当第一信息指示屏幕显示图像不流畅时，保存第一指令与第二指令之间屏幕显示图像的现场数据；现场数据包括第一信息。

实施第一方面提供的方法，电子设备上安装的应用可以随时向调用本申请提供的方法，进行屏幕显示流畅度检测。电子设备可根据应用下发的开始检测指令和结束检测指令，获取两次指令之间屏幕显示的图像的绘制时间。然后，根据每一帧送显图像的绘制时间，电子设备可确定两次指令之间屏幕显示是否流畅。电子设备可以保存不流畅检测过程中的现场信息，以后后续开发人员分析使用。

结合第一方面提供的方法，在一些实施例中，第一信息包括帧间距，帧间距为屏幕先后显示两帧图像的时间间隔；当帧间距长于帧间距阈值时，第一信息指示屏幕显示图像不流畅。

实施上述实施例提供的方法，电子设备可以根据获取到的每一帧图像的绘制时间，确定先后两帧图像的帧间距。当存在一个或多个帧间距长于帧间距阈值时，第一信息指示屏幕显示图像不流畅。这时，电子设备可根据第一指示信息确定屏幕显示不流畅。

结合第一方面提供的方法，在一些实施例中，电子设备内预设有***刷新率，***刷新率对应***帧间距，帧间距阈值大于等于***帧间距。

实施上述实施例提供的方法，电子设备可以将***刷新率对应的***帧间距设置为帧间距阈值。当检测期间确定的帧间距大于上述***帧间距时，第一信息指示屏幕显示图像不流畅。在一些场景中，电子设备的实际刷新率略低于***刷新率也是用户可以接受的。这时，电子设备设置的帧间距阈值可以略高于***帧间距。

结合第一方面提供的方法，在一些实施例中，电子设备中还设置有宽容度M，M用于指示允许帧间距长于帧间距阈值的次数；当帧间距长于帧间距阈值时，第一信息指示屏幕显示图像不流畅，具体为：针对第一指令与第二指令之间屏幕显示的图像对应的多个帧间距，当存在N个帧间距长于帧间距阈值时，第一信息才指示屏幕显示图像不流畅，N＞M，N和M为正整数。

在一些场景中，电子设备在检测流畅度时，可能在很长一段时间内偶然地检测到一两次帧间距大于帧间距阈值的情况，而这一两次掉帧的情况对用户浏览屏幕显示内容基本上没有影响。这时，实施上述实施例提供的方法，电子设备可忽略上述一两次掉帧的情况。当掉帧的次数超过电子设备预设的宽容度之后，电子设备才判定检测过程中屏幕显示不流畅。实施上述实施例提供的方法，电子设备可以进一步精准地定位影响用户使用体验的屏幕显示不流畅的场景。

结合第一方面提供的方法，在一些实施例中，第一信息还包括平均帧间距，当帧间距中存在至少一个帧间距长于帧间距阈值，但平均帧间距小于帧间距阈值时，第一信息指示屏幕显示图像流畅。

实施上述实施例提供的方法，电子设备还可通过平均帧间距来实现忽略一两次掉帧的情况，进而进一步精准地定位影响用户使用体验的屏幕显示不流畅的场景。

结合第一方面提供的方法，在一些实施例中，在保存第一指令与第二指令之间屏幕显示图像的现场数据之前，该方法还包括：获取第一指令与第二指令之间的处理器负载；当第一信息指示屏幕显示图像不流畅时，保存第一指令与第二指令之间屏幕显示图像的现场数据，具体为：当第一信息指示屏幕显示图像不流畅，且处理器负载低于过载阈值时，保存第一指令与第二指令之间屏幕显示图像的现场数据。

当电子设备的处理器负载过高的时候，电子设备因为处理器计算和渲染图像不及时的原因容易发生掉帧。这种场景下的掉帧原因和后续优化方向是比较明确的。因此，在根据帧间距确定掉帧后，电子设备还可以通过检测过程中的处理器负载确定是否保存现场数据。当处理器负载低于过载阈值(即不是因为处理器过载导致的掉帧)时，电子设备才保存该检测过程中的现场数据。

结合第一方面提供的方法，在一些实施例中，现场数据还包括以下一项或多项：***刷新率、屏幕显示的图像，屏幕显示的图像的绘制时间。

结合第一方面提供的方法，在一些实施例中，该方法还包括：将现场数据发送到云端保存。

实施上述实施例提供的方法，电子设备可以在保存屏幕显示不流畅场景下的现场数据之后，将上述数据发送到云端保存，既可以避免占用电子设备的存储和计算资源，也可以综合多个电子设备的现场数据，以便于开发人员分析处理。

结合第一方面提供的方法，在一些实施例中，屏幕显示的一帧图像由一个或多个图层构成；获取屏幕显示的图像的绘制时间，包括：获取第一图层的绘制时间，第一图层是检测过程中图像内容发生变化的图层。

实施上述实施例提供的方法，电子设备可以确定一帧图像中各个图层的绘制时间。进一步的，电子设备可以从图层层面确定电子设备绘制屏幕显示的一帧图像的详细过程，进而发现屏幕显示卡顿是否有图层方面的原因。如果有，电子设备还可以定位引发卡顿的图层。

结合第一方面提供的方法，在一些实施例中，在获取第一图层的绘制时间之前，该方法还包括：通过窗口焦点确定第一图层。

第二方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第三方面，本申请实施例提供了一种芯片***，该芯片***应用于电子设备，该芯片***包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面，本申请提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

可以理解地，上述第二方面提供的电子设备、第三方面提供的芯片***、第四方面提供的计算机存储介质、第五方面提供的计算机程序产品均用于执行本申请所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1是本申请实施例提供的一种电子设备100的软件结构示意图；

图2是本申请实施例提供的另一种电子设备100的软件结构示意图；

图3A是本申请实施例提供的电子设备100的屏幕显示的一帧桌面图像；

图3B是本申请实施例提供的一帧桌面图像的图层结构示意图；

图4是本申请实施例提供的一种流畅度检测方法的时序图；

图5A是本申请实施例提供的滑动切换桌面的用户界面示意图；

图5B是本申请实施例提供的滑动切换桌面过程中的屏幕先后显示的两帧图像；

图5C是本申请实施例提供的另一帧桌面图像的图层结构示意图；

图6是本申请实施例提供的通过绘制信息确定检测信息的示意图；

图7是本申请实施例提供的overScroller进行流畅度检测的时序图；

图8示例性示出了电子设备100的硬件结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。

手机、平板电脑等电子设备在动效滑动、播放动画、视频等场景中，通常需要连续地刷新屏幕中显示的图像内容(刷帧)，以提供流畅的显示效果。当刷帧过程中发生掉帧时，用户会明显感觉到卡顿和抖动，即屏幕显示不流畅，从而影响用户使用体验。上述掉帧是指未在指定的显示信号到来时显示指定图像。

但是单一场景中的掉帧一般都是偶发的，不能提供有效的信息供开发分析。这时，为了后续分析掉帧原因、减少掉帧、提升屏幕刷新过程中的显示流畅度，电子设备需要确定发生掉帧的场景，即刷帧卡顿的场景，并保存该场景下的现场数据。

本申请提供了一种流畅度检测方法。该方法可应用于手机、平板电脑等具备显示能力的电子设备上。后续使用电子设备100指代上述具备显示能力的手机、平板电脑等电子设备。

实施本申请实施例提供的流畅度检测方法，电子设备100可在刷帧时，获取并统计刷各帧图像的绘制时间，并确定相邻两帧图像之间的绘制时间的间隔，也称帧间距。若上述刷帧过程中的帧间距满足帧间距阈值，则电子设备100可确定在执行上述刷帧动作时出现了掉帧的问题，进而确定屏幕显示卡顿(不流畅)。

上述检测屏幕显示是否流畅的场景可称为检测场景。经过检测确定的屏幕显示卡顿的检测场景可称为问题场景。问题场景下的现场数据即后续开发分析所需的数据。现场数据包括但不限于：屏幕显示的图像帧、图像帧的绘制时间、帧间距、以及电子设备100的***刷帧率。在确定问题场景之后，电子设备100可将上述问题场景的现场数据保存下来。

在获取到大量的电子设备100的问题场景下的现场数据后，开发人员可以利用上述现场数据分析使用掉帧的原因，即屏幕显示卡顿的原因，进而对屏幕刷帧过程进行优化，以减少掉帧、卡顿现象，提升屏幕显示流畅度。

不限于手机、平板电脑，电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。不限于Android***，本申请实施例提供的流畅度检测方法还可用于其他分层架构的软件***，这里不一一例举。

图1是本申请实施例提供的一种电子设备100的软件结构示意图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。如图1所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层(framework，FWK)为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。如图1所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

安卓运行时Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

图2是本申请实施例提供的另一种电子设备100的软件结构示意图。图2是在图1的基础上具体展示实施本申请提供的一种流畅度检测方法的软件结构示意图。

如图2所示，该软件结构示意图示出了应用程序框架层、***库、内核层。上述应用程序框架层、***库、内核层分别对应图1中的应用程序框架层、***库、内核层，这里不再赘述。

在图2中，应用程序框架层可包括流畅度检测接口(FluencyDetectorAPI)、同步接口。流畅度检测接口可用于应用层的应用程序或客户端调用本申请实施例提供的流畅度检测方法、实现流畅度检测功能。同步接口可用于将问题场景下的现场数据发送到云端。上述同步接口例如下的hiviewtunnel接口。

***库可包括显示模块、流畅度检测模块以及同步模块。显示模块可用于绘制并显示图像。流畅度检测模块可用于检测图像显示过程中是否出现了掉帧的问题。同步模块可用于上报问题场景下的现场数据。

具体的，显示模块可包括接收模块(SurfaceFlingerEx)、图层管理模块(Layer)以及合成模块(SurfaceFlinger)。接收模块可用于接收和传输流畅度检测指令。流畅度检测指令包括开始检测的指令和结束检测的指令。图层管理模块(Layer)可用管理窗口图层。在本申请实施例中，Layer可用于确定屏幕刷新过程中图像内容发生变化的图层。

某一时刻，电子设备100的屏幕中显示的一帧图像可是由多个图层组合成的。

例如，图3A示例性示出了电子设备100的一帧桌面(homepage)图像。该桌面包括状态栏201、应用程序图标托盘202。该应用程序图标托盘中展示了多个应用程序图标。图3A所示的桌面可拆分为多个图层。图3B示例性示出了上述桌面的图层结构。如图3B所示，图3A所示的桌面图像可包括3个图层：控件层20、状态栏层21以及背景层22。控件层20是桌面中应用程序图标等控件所在的图层。状态栏层21是桌面中状态栏201所在的图层。背景层22是桌面壁纸所在的图层。可以理解的，图3A和图3B中未具体展示背景层20中展示的桌面壁纸。

合成模块可用于合成并显示由一个或多个图层组合得到的图像。一般的，电子设备在亮屏状态显示的一帧图像，都包括有多个图层，参考上述图3B所示的桌面的图层结构。这多个图层的组合显示通过上述合成模块实现。例如，合成模块组合图3B所示的各个图层图像，进而在屏幕中显示图3A所示的桌面图像。

流畅度检测模块可包括检测模块(FluencyDetector)和分析模块(FluencyDetectorThread)。检测模块可用于获取图层的绘制信息。上述绘制信息包括但不限于所属图像的图像标识(例如帧编号)、图层标识(例如图层名称)、绘制时间等。分析模块(FluencyDetectorThread)可统计和分析上述绘制信息中的特定数据，进而确定检测过程中屏幕显示是否流畅。

同步模块对应应用程序框架层的同步接口，可用于上报问题场景下的现场数据。同步模块可从内核层的日志模块获取上述现场数据，并将上述现场数据发送到应用程序框架层的同步接口，进而通过同步接口上传到云端，以供后续分析使用。与应用程序框架层所使用的同步接口hiviewtunnel对应的，上述同步模块可以为hiview。

日志模块可用于记录问题场景下的现场数据。当分析模块确定被检测刷帧场景出现掉帧情况时，即屏幕显示卡顿，分析模块可指示日志模块记录现场数据。此时，被记录的现场数据即问题场景下的现场数据。然后，日志模块可将上述现场数据发送给同步模块，并经由上述同步模块传输到同步接口，进而上报到云端存储下来。

图4是本申请实施例提供的一种流畅度检测方法的时序图。

如图4所示，该时序图包括：接收模块(SurfaceFlingerEx)、图层管理模块(Layer)、合成模块(SurfaceFlinger)、检测模块(FluencyDetector)以及分析模块(FluencyDetectorThread)。上述模块可参考图2的介绍，这里不再赘述。

应用层中的应用或客户端(例如相机应用、视频播放器等，后续简称上层应用)在需要监测程序运行过程中是否发生掉帧的问题时，可以调用本申请实施例提供的流畅度检测方法来实现检测屏幕显示流畅度的功能。

S401.SurfaceFlingerEx接收到开始检测的指令。

上层应用可确定何时开始检测和结束检测。例如，上层应用可确定在切换页面、播放视频时开始检测屏幕刷新的流畅度。参考图5A，上层应用可以在检测到左滑切换桌面的事件时，执行流畅度检测方法，确定左滑切换桌面这一动作对应刷帧过程是否流畅。在确定开始检测后，上层应用可向SurfaceFlingerEx发送开始检测的指令。

S402.SurfaceFlingerEx向FluencyDetector发送开始检测的指令。

SurfaceFlingerEx向可用于接收和传输流畅度检测指令。在接收到上层应用下发的开始检测的指令之后，SurfaceFlingerEx可将上述开始检测的指令发送到FluencyDetector。

S403.FluencyDetector创建检测信息表(DetectionInfo)。

在接收到开始检测的指令之后，FluencyDetector可首先创建检测信息表(DetectionInfo)。检测信息表可用于记录检测发生的场景，检测信息等。其中检测信息可用于后续确定检测过程中屏幕是否流畅显示刷帧图像。

示例性的，检测信息表可如表1所示：

表1

场景编号、图层名称和场景描述用于记录发生流畅度检测的位置。场景编号可用于标记流畅度检测发生的应用或客户端。上述应用或客户端可以是电子设备100上安装任意应用、客户端，或其中的功能模块。图层名称可用于标记被检测的图层。场景描述是可选的，可用于进一步描述发生流畅度检测的位置，例如从界面A切换到界面B的页面切换场景。

***刷新率是指理论上单位时间内电子设备100可以刷新的图像帧的数量。以60Hz刷新率为例，电子设备100可以在1秒内在屏幕上刷新图像60次，即刷帧60次。***刷新率对应的屏幕显示相邻两帧图像的帧间距可称为***帧间距。例如，60Hz刷新率对应的***帧间距为16.6毫秒，即屏幕上先后显示的两帧图像的时间间隔为16.6毫秒。

开始时间是指开始检测的时间。这里，FluencyDetector可以以接收到的开始检测指令的时间为开始时间。结束时间是指结束检测的时间。对应的，FluencyDetector可以以接收到的结束检测指令的时间为结束时间。

帧数量是指检测期间(开始检测的指令和结束检测的指令之间)屏幕刷新的图像帧的数量。最长帧间距是指检测期间所有帧间距中时间间隔最长的帧间距。相邻两帧图像的帧间距长于***帧间距的时间可称为丢帧时间。累计丢帧时长即检测期间全部帧间距相比于***帧间距的丢帧时间之和。

刷新完成率是指实际屏幕刷新的图像帧的数量与理论上应当刷新的数量的比率。例如，***刷新率60Hz指示了理论上电子设备100应该在1秒钟内显示60帧图像。在实际刷帧检测过程中，电子设备100在1秒钟内显示58帧图像。对应的，电子设备100在上述检测期间的刷新完成率为58/60，即0.9666。

在创建检测信息表时，表中的部分属性的值是当前可确定的，剩余部分需要等待检测结束才能确定。例如，在接收到开始检测的指令时，FluencyDetector可记录接收到上述指令的时间戳，记为T-BEGIN。在创建表1所示的检测信息表之后，FluencyDetector可确定表1中的开始时间为上述T-BEGIN。而表1中的结束时间则需要在FluencyDetector接收到结束检测的指令之后才能确定。因此，此时，表1中的结束时间是待确定的。

S404.SurfaceFlinger向Layer传递VSync信号。上述传递VSync信号的指令例如DoTransaction指令。

VSync是周期性的信号。VSync信号的周期长度与***帧间距一致。例如，在60Hz刷新率的场景下，垂直同步信号VSync的周期为16.6毫秒，屏幕显示一帧图像的时间也为16.6毫秒。

SurfaceFlinger是用于合成和显示的模块。在一个VSync信号到来时，电子设备100的SurfaceFlinger可以合成一张图像帧，并将该帧图像发送的送显缓存区中。屏幕可在下一个VSync信号到来时，从上述缓存区中获取图像并显示。

在本申请实施例中，在开始检测之后，SurfaceFlinger可在每一个VSync信号到来时，合成并送显一帧图像。同时，在每一个VSync信号到来时，SurfaceFlinger可将上述VSync信号传递到Layer。

S405.Layer确定图像内容发生变化的图层。

在每一次接收到VSync信号之后，Layer可确定最新合成的图像中发生变化的图层。上述最新合成的图像即SurfaceFlinger在该VSync信号周期内合成的图像。

图5B示例性示出了SurfaceFlinger在图5A所示的滑动切换桌面的过程中合成的两帧图像：F1、F2。F1、F2分别对应一个VSync信号周期。SurfaceFlinger合成F1的VSync信号周期记为VSync1，合成F2的VSync信号周期记为VSync2。

Layer可遍历SurfaceFlinger合成的图像帧中的各个图层，并确定哪些图层的图像内容发生了变化，哪些图层未变化。图像内容发生变化的图层可称为变化图层。例如，在接收到VSync2之后，Layer可获取到SurfaceFlinger合成的F2的各个图层，如图5C所示。这时，相比于F1的各个图层(参考图3B)，Layer可确定控件层20发生了变化。

S406.Layer向FluencyDetector发送变化图层的绘制信息。

在确定变化图层之后，Layer可向FluencyDetector发送变化图层的绘制信息。上述绘制信息包括但不限图层名称、绘制时间、VSync周期等。图层名称用于标识变化图层，例如上述F2的控件层20。SurfaceFlinger在重绘制某一图层时，Layer可确定该图层为变化图层。因此，Layer确定变化图层的时间即该图层的绘制时间。

每合成一帧图像，Layer可确定该帧图像中的变化图层，并将上述变化图层的绘制信息发送给FluencyDetector。同样以F2为例，在确定F2中的变化图层控件层20之后，Layer可将本VSync周期内控件层20的绘制信息发送给FluencyDetector。控件层20的绘制信息例如：控件层20、T2、VSync2。其中，T_F2为Layer确定控件层20发生变化的时间。

可以理解的，在一次屏幕刷新过程中，发生变化的图层有多个。这时，Layer确定的变化图层也有多个。相应地，Layer可向FluencyDetector发送上述多个变化图层的绘制信息。Layer可以一次性发送上述多个图层的全部绘制信息，还可以按图层依次发送各个图层的绘制信息。

同样以图5A所示的切换桌面的场景为例，当桌面中的壁纸为动态壁纸时，Layer除了要绘制F2所述的控件层20，还需要绘制对应的背景层22的图像。这时，Layer确定的变化图层还包括背景层22。这时，Layer还可向FluencyDetector发送背景层22的绘制信息。

S407.FluencyDetector记录绘制信息。

在每一次接收到绘制信息之后，FluencyDetector可将上述绘制信息记录下来。以图5B所示的2帧图像为例，FluencyDetector可接收到上述2帧图像的绘制信息，如下表表2所示：

表2

帧编号	图层名称	绘制时间	VSync周期
				F1	控件层20	T1	VSync1
F2	控件层20	T2	VSync2
				……	……	……	……

其中，T1、T2分别表示Layer确定F1、F2中控件层20发生了变化，即发生了重绘制，的时间。

当同时更新多个图层，例如同时更新控件层20和背景层22时，FluencyDetector接收到的上述2帧图像的绘制信息可如表3所示：

表3

其中，T3、T4分别表示Layer确定F1、F2中背景层22重绘制的时间。

S408.SurfaceFlingerEx接收到结束检测的指令。

参考S401的介绍，上层应用可确定何时开始检测和结束检测。因此，任意时刻，上层应用可确定结束检测。这时，上层应用可向SurfaceFlingerEx发送结束检测的指令。在接收到上层应用下发的结束检测的指令之后，S409.SurfaceFlingerEx向FluencyDetector发送结束检测的指令。

S410.唤醒FluencyDetectorThread。在接收到结束检测的指令后，FluencyDetector可向FluencyDetectorThread发送指示信息，以唤醒FluencyDetectorThread。同时，在接收到结束检测的指令后，FluencyDetector不会再接收到新的绘制信息。

S411.基于已记录的绘制信息确定检测信息，并将检测信息写入检测信息表中。

在唤醒FluencyDetectorThread之后，FluencyDetectorThread可获取并统计FluencyDetector记录的绘制信息。在上述统计过程中，FluencyDetectorThread可确定检测过程中各个图像帧之间的帧间距，进而确定上述检测过程中是否存在掉帧的情况，屏幕显示是否流畅。

图6是本申请实施例提供的通过绘制信息确定检测信息的示意图。

如图6所示，F1-F7可用于表示在检测期间控件层20连续更新的7帧图像。结合S407的介绍，FluencyDetector可记录有上述7帧图像的绘制信息，包括每一帧图像的图层名称、绘制时间和VSync周期等。

FluencyDetectorThread可基于上述绘制信息中的绘制时间，确定上述7帧图像在刷新过程中相邻两帧的帧间距。FluencyDetectorThread可获取电子设备100预设的帧间距阈值。当相邻两帧图像之间的帧间距大于帧间距阈值时，FluencyDetectorThread可确定上述两帧图像之间发生了掉帧。进而，FluencyDetectorThread可将上述检测场景标记为问题场景。

其中，帧间距阈值是预设的，根据电子设备100支持的刷新率、用户的使用体验以及电量策略等各种因素，电子设备100可设定不同大小的帧间距阈值。优选的，帧间距阈值与***刷新率指示的***帧间距一致。可选的，在用户对刷新流畅度相对较低的场景下，帧间距阈值还可以略大于上述***帧间距。

示例性的，FluencyDetectorThread可确定上述7帧图像的绘制时间分别为：T1-T7。根据上述绘制时间，FluencyDetectorThread可分别确定上述7帧图像中相邻两帧图像的帧间距：S1-S6。示例性的，预设的帧间距阈值为17毫秒，S1＝S2＝S3＝S4＝S6＝16.6毫秒，S5＝19毫秒。这时，由于图像F5和F6间的帧间距S5超过帧间距阈值17毫秒，FluencyDetectorThread可确定电子设备100显示F6时发生了掉帧。

可选的，在确定检测过程中存在一个帧间距长于帧间距阈值(发生一次掉帧)后，FluencyDetectorThread可确定屏幕显示卡顿。FluencyDetectorThread可将该检测场景标记为问题场景。

可选的，电子设备100中还可设置宽容度。宽容度可指示允许的帧间距长于帧间距阈值的次数。例如，在宽容度为3的场景下，若整个检测场景中只存在一次帧间距长于帧间距阈值，则FluencyDetectorThread可确定屏幕显示流畅。该检测场景不是问题场景。若整个检测过程中存在4次帧间距长于帧间距阈值，则FluencyDetectorThread可确定屏幕显示卡顿。这时，该检测场景可被标记为问题场景。

在一些实施例中，FluencyDetectorThread还可结合平均帧间距、累计丢帧时间、刷新完成率等参数确定是否掉帧以及屏幕显示是否流畅。

例如，若存在最长帧间距长于帧间距阈值，或多个帧间距长于帧间距阈值，但平均帧间距低于帧间距阈值，则FluencyDetectorThread可确定检测过程发生了掉帧，但是屏幕显示流畅。类似的，若存在最长帧间距长于帧间距阈值，或多个帧间距长于帧间距阈值，但累计丢帧时间未达到预设值，则FluencyDetectorThread也可确定屏幕显示流畅。若存在最长帧间距长于帧间距阈值，或多个帧间距长于帧间距阈值，刷新完成率满足预设值，则FluencyDetectorThread也可确定屏幕显示流畅。

在一些实施例中，FluencyDetectorThread也可根据绘制信息中的VSync周期确定检测期间是否发生掉帧。SurfaceFlinger应该在每一个VSync周期内合成并送显一帧图像。这就意味着，相邻两帧送显的图像的VSync周期内的标识应该是连续的。若FluencyDetector记录的绘制信息中相邻两帧的VSync周期的标识不连续，则电子设备100可判定检测过程中发生掉帧。

例如，理论上，图6中每一帧对应一个VSync周期，那么F1～F7的VSync周期分别为VSync1～VSync7。如果，在检测过程中，F5所在的VSync周期为VSync5，而F6所在的VSync周期为VSync7，此时，FluencyDetectorThread也可确定F5～F6之间发生了掉帧。

在一些实施例中，在确定屏幕显示卡顿的基础上，FluencyDetectorThread还可获取处理器负载。FluencyDetectorThread可根据处理器负载确定上述卡顿的检测场景是否为问题场景。可选的，处理器负载可以包括中央处理器(central processing unit，CPU)负载和/或GPU负载。

在处理器负载过高的情况下，屏幕显示卡顿是可以理解的。这时，通过提升处理器处理能力、优化处理策略，屏幕显示卡顿的问题可相应的解决。若处理器没有过载，但仍然出现屏幕显示卡顿。这时导致屏幕显示卡顿的问题是未知的。开发人员需要进一步研究分析该场景下的现场数据，确定问题原因。因此，鉴于此，当处理器负载低于过载阈值时，即未过载时，FluencyDetectorThread才将屏幕显示卡顿的检测场景标记为问题场景。上述过载阈值是预设的。

在FluencyDetectorThread确定上述帧间距、最长帧间距、平均帧间距、累计丢帧时间、刷新完成率等参数时，FluencyDetectorThread可以将上述参数的具体数值写入前述创建的检测信息表(detectionInfo)中。在判断处理器是否过载的方法中，上述检测信息表还可包括处理器负载，用于记录电子设备100在检测期间的处理器负载情况。

示例性的，以图6所示的检测场景为例，在结束检测之后，电子设备100可得到表4所示的检测信息表：

表4

/>

其中，T-BEGIN为FluencyDetector接收到开始检测指令的时间；T-END为FluencyDetector接收到结束检测指令的时间。如图6所示，在检测期间电子设备100刷新的图像帧数量为7。这7帧图像之间的帧间距依次为：16.6、16.6、16.6、16.6、19、16.6。最长帧间距为19。累计掉帧时间为2.4。刷新完成率为0.9833(59/60)。可以理解的，上述表4中各属性的取值均为示例性的。

S412.确认问题场景，保存问题场景的现场数据。

S411在介绍FluencyDetectorThread确定检测信息：帧间距、最长帧间距、平均帧间距、累计丢帧时间、刷新完成率等时，也介绍了FluencyDetectorThread结合上述信息确定被检测场景是否为问题场景的方法，这里不再赘述。

可在确定问题场景后，FluencyDetectorThread保存并上报问题场景的现场数据。现场数据至少包括检测信息表中记载的检测信息。进一步的，现场数据还可包括变化图层的各帧图像及其对应的绘制信息。例如，在确定图6所示的被检测场景为问题场景之后，表4所示的检测信息即现场数据。进一步的，现场数据还可包括图6所示的被检测场景中变化图层更新的各帧图像F1-F7、及其对应的绘制信息。

然后，日志模块可生成对应各个问题场景的检测日志。上述检测日志包括上述现场数据。进而，日志模块可将上述检测日志通过同步模块和同步接口上传到云端存储下来，以供后续分析使用。其中，同步模块可以在电子设备100存储的问题场景的现场数据达到一定规模后，再上报到云端，以提升数据传输效率。

在图4中，S401所示的开始检测的指令可称为第一指令；S408所示的结束检测的指令可称为第二指令。第一信息包括帧间距、帧间距阈值、***帧间距、宽容度、平均帧间距等。参考S411介绍的，第一信息还可以包括***刷新率、开始时间、结束时间、帧数量、最长帧间距、累计丢帧时长、刷新完成率等。参考S406介绍的，变化图层可称为第一图层，例如控件层20。

实施上述实施例提供的流畅度检测方法，电子设备100上安装的上层应用可以随时调用本申请提供的流畅度检测方法，获取屏幕刷新期间的绘制信息，然后基于上述绘制信息确定上述屏幕刷新期间是否发生掉帧的问题。在确认发生掉帧的问题之后，电子设备100可以保存现场数据，并上传到云端存储，从而为后续分析问题场景、优化屏幕刷新提供有效的数据支撑。

图7是本申请实施例提供的滑动切换桌面的场景下桌面应用进行流畅度检测的时序图。

如图7所示，该时序图包括平滑滚动模块、图层归一化模块、流畅度检测模块和同步模块。平滑滚动模块用于实现窗口视图的平滑滚动。在该实施例中，平滑滚动模块相当于上层应用。平滑滚动模块可以在实现窗口视图的平滑滚动的过程中，检测上述平滑滚动的场景中是否出现了掉帧的问题。图层归一化模块可用于确定用户操作聚焦的目标图层。一般的，用户操作聚焦的目标图层是检测场景中用户可以直观感受到发生图像内容变化的图层。

其中，在架构中，上述平滑滚动模块可以为overScroller；平滑检测模块FlingJankDetector可用于确定用户操作聚焦的目标图层，即确定被检测图层。此外FlingJankDetector可视为overScroller在的接收模块(SurfaceFlingerEx)。全局窗口管理模块windowGlobalManager可用于提供窗口的全部图层。

S701.overScroller向FlingJankDetector发送开始检测的指令。

如图7所示，overScroller可在执行平滑滚动的过程中向FlingJankDetector发送开始检测的指令。例如，参考图5A所示的用户界面，在检测到用户的滑动操作之后，overScroller可确定将要执行平滑滚动的动作。这时，overScroller可触发流畅度检测程序，下发开始检测的指令。

在接收到开始检测的指令后，S702.FlingJankDetector可向windowGlobalManager发送获取窗口视图的指令，例如GetWindowView()。

S703.返回所有窗口视图的所有图层。响应于获取窗口视图的指令，windowGlobalManager可确定当前所有窗口的全部图层，并将上述所有图层传回FlingJankDetector。

S704.FlingJankDetector遍历所有图层，确定用户操作聚焦的目标图层。

在接收到windowGlobalManager传回的当前窗口视图的所有图层之后，FlingJankDetector可确定上述所有图层中，拥有窗口焦点的图层，确定上述图层为将要进行滑动刷新的图层。上述拥有窗口焦点的图层即用户操作聚焦的目标图层。FlingJankDetector可根据用户操作作用在屏幕上的位置、操作的类型(滑动、点击、双击、长按等)、操作发生的场景等信息确定拥有窗口焦点的图层。

假设当前视图为图5A所示的用户界面时，FlingJankDetector可确定当前视图的所有图层包括：控件层20、状态栏层21以及背景层22。这时，FlingJankDetector可确定用户滑动操作作用的聚焦的图层为控件层20，即控件层20为拥有窗口焦点的图层。上述控件层20即目标图层。

S705.FlingJankDetector指示流畅度检测模块开始检测目标图层的掉帧情况。

具体的，FlingJankDetector可向流畅度检测模块发送开始检测的指令。结合图4所示的时序图，响应于上述指令，流畅度检测模块中的FluencyDetector可在每一次Layer确定变化图层控件层20后，从Layer获取控件层20的绘制信息，并将上述绘制信息记录下来，具体参考图4中S404-S407的介绍。

在上层应用确定结束检测的时刻，例如在一次滑动操作结束后，S706.overScroller向FlingJankDetector发送结束检测的指令。响应于上述指令，S707.FlingJankDetector指示流畅度检测模块停止检测目标图层的掉帧情况。

结合图4所示的时序图，在接收到上述停止检测目标图层的指示之后，Layer不再向流畅度检测模块可发送当前刷新的图层及其绘制信息。即流畅度检测模块不再从Layer获取新的控件层20的图像以及该帧图像的绘制信息。

同时，流畅度检测模块中的FluencyDetectorThread可开始统计检测过程中的刷帧情况。

S708.基于已记录的绘制信息确定屏幕显示卡顿的问题场景。

流畅度检测模块可根据已记录的绘制信息，进行统计分析，确定帧间距等检测信息，进而确定检测过程中是否存在掉帧的问题，屏幕显示是否流畅。屏幕显示卡顿的场景可被标记为问题场景。

在确定检测信息的同时，流畅度检测模块可将上述检测信息记录下来，例如写入检测信息表。在确定被检测的场景为问题场景，上述检测信息即现场数据。流畅度检测模块可直接从上述检测信息表中获取问题场景的现场数据。

S709.上报问题场景的现场数据。

在确认被检测场景为问题场景后，流畅度检测模块可将上述问题场景的现场数据发送给同步模块，进而上报到云端存储下来，以供后续分析使用。

图8示例性示出了电子设备100的硬件结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(global navigation satellite system，GLONASS)，北斗卫星导航***(beidounavigation satellite system，BDS)，准天顶卫星***(quasi-zenith satellitesystem，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)。显示面板还可以采用有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，QLED)等制造。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，电子设备100依赖于GPU，显示屏194，以及应用处理器等提供的显示功能实现屏幕刷新的功能。进而，电子设备100可以在上述屏幕刷新的过程中，检测是否出现影响屏幕显示流畅度的掉帧问题。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM)和一个或多个非易失性存储器(non-volatile memory，NVM)。

随机存取存储器可以包括静态随机存储器(static random-access memory，SRAM)、动态随机存储器(dynamic random access memory，DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM，例如第五代DDR SDRAM一般称为DDR5 SDRAM)等。非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。

快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等，按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等，按照存储规范划分可以包括通用闪存存储(英文：universalflash storage，UFS)、嵌入式多媒体存储卡(embedded multi media Card，eMMC)等。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作***或其他正在运行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。

非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载到随机存取存储器中，用于处理器110直接进行读写。

在本申请实施例中，电子设备100实现流畅度检测的程序代码可存储在非易失性存储器中；在调用上述流畅度检测方法进行检测时，电子设备100可以将上述程序代码加载到随机存储器中，并执行，进而实现本申请提供的流畅度检测。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部的非易失性存储器中。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定电子设备100的运动姿态。气压传感器180C用于测量气压。磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。

距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

在本申请实施例中，电子设备100可通过触摸传感器180K接收用户的触控操作，例如图5A所示的滑动操作。

骨传导传感器180M可以获取振动信号。按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。

本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作***与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。

用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims

1.一种流畅度检测方法，应用于具备屏幕的电子设备，其特征在于，所述电子设备包括桌面应用、检测模块、分析模块和日志模块，所述方法包括：

在检测到作用于第一桌面的滑动操作之后，所述桌面应用向所述检测模块发送第一指令；

响应于所述第一指令，所述检测模块开始获取第一图层的绘制时间，所述第一图层是所述屏幕显示的图像中图像内容发生变化的图层，所述第一图层通过窗口焦点确定；

在显示第二桌面后，所述桌面应用向所述检测模块发送第二指令；

响应于所述第二指令，所述检测模块停止获取所述第一图层的绘制时间；

所述分析模块根据所述第一指令与所述第二指令之间获取到的所述第一图层的绘制时间确定帧间距；

当所述帧间距中N个帧间距长于帧间距阈值时，所述分析模块确定所述屏幕显示图像不流畅，其中，所述N＞M，所述M用于指示允许的帧间距长于帧间距阈值的次数，所述N和所述M均为正整数；

在所述屏幕显示图像不流畅且处理器在所述第一指令与所述第二指令之间的负载低于过载阈值时，所述日志模块保存所述第一指令与所述第二指令之间所述屏幕显示图像的现场数据；所述现场数据包括所述帧间距。

2.根据权利要求1所述的方法，其特征在于，所述电子设备内预设有***刷新率，所述***刷新率对应***帧间距，帧间距阈值大于等于所述***帧间距。

3.根据权利要求1所述的方法，其特征在于，所述现场数据还包括以下一项或多项：***刷新率、屏幕显示的图像，屏幕显示的图像的绘制时间。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述现场数据发送到云端保存。

5.一种电子设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得执行如权利要求1-4任一项所述的方法。

6.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得执行如权利要求1-4任一项所述的方法。