CN115686403A - 显示参数的调整方法、电子设备、芯片及可读存储介质 - Google Patents

显示参数的调整方法、电子设备、芯片及可读存储介质 Download PDF

Info

Publication number
CN115686403A
CN115686403A CN202110876250.1A CN202110876250A CN115686403A CN 115686403 A CN115686403 A CN 115686403A CN 202110876250 A CN202110876250 A CN 202110876250A CN 115686403 A CN115686403 A CN 115686403A
Authority
CN
China
Prior art keywords
trigger signal
frequency
display
preset
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110876250.1A
Other languages
English (en)
Inventor
钟辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110876250.1A priority Critical patent/CN115686403A/zh
Publication of CN115686403A publication Critical patent/CN115686403A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例适用于显示技术领域,提供一种显示参数的调整方法、电子设备、芯片及可读存储介质。通过接收用户的操作,响应于操作,确定电子设备的当前场景是否为预设场景,若是预设场景时,确定当前时刻的显示触发信号的频率是否为第一预设频率,若不为且小于第一预设频率,提高显示触发信号的频率,进而确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,若第一时间差大于等于第一预设时间差阈值,按照调整后的显示触发信号执行图像显示的处理流程。相当于在滑动操作的时刻与初始的显示触发信号之间增加了至少一个触发信号,降低了图像送显的时延,提高了电子设备的跟手性。

Description

显示参数的调整方法、电子设备、芯片及可读存储介质
技术领域
本申请实施例涉及显示技术领域,尤其涉及一种显示参数的调整方法、电子设备、芯片及可读存储介质。
背景技术
在显示一帧图像的过程中,电子设备通常会按照固定的流程,依次进行绘制渲染、图层合成及图像显示。通常,电子设备将周期性的垂直同步(verticalsynchronization,Vsync)信号作为触发绘制渲染、图层合成及图像显示的触发信号。在触发信号到达时,触发对应的处理流程。例如,如图1所示,在第N个Vsync信号到达时,对第N帧图像数据进行绘制渲染。在第N+1个Vsync信号到达时,对第N帧绘制渲染后的数据进行图层合成。在第N+2个Vsync信号的周期内完成第N帧合成后的图像数据的显示。通常,Vsync信号的频率与显示屏的刷新率相同。即,显示屏的刷新率越高,Vsync信号的周期时长越短,显示屏的刷新率越低,Vsync信号的周期时长越长。
在一些场景下,当用户滑动显示界面时,电子设备可以调整显示屏的刷新率。然而,电子设备只能在一个Vsync信号周期中的帧消隐区才能调整刷新率。如图2所示,假设电子设备在进行第N帧图像的绘制渲染时接收到用户的滑动操作,电子设备需要等待T时长才能将滑动后的图像(第N+1帧图像)送显。其中,T时长包括当用户滑动显示界面的时刻与第N+1帧Vsync信号的触发时刻之间的时长,以及两个完整的Vsync信号周期时长。
采用上述方法送显滑动后的图像延时较长,电子设备的图像显示的跟手性差。
发明内容
本申请实施例提供一种显示参数的调整方法、电子设备、芯片及计算机可读存储介质,提高了图形显示效率。
第一方面,提供了一种显示参数的调整方法,用于电子设备,电子设备包含有触摸屏,该方法包括:
接收用户通过触摸屏输入的操作;
响应于接收操作,确定电子设备的场景是否为预设场景;
若是预设场景时,确定当前时刻的显示触发信号的频率是否为第一预设频率;显示触发信号用于触发图像显示的处理流程;
若当前时刻的显示触发信号的频率不为第一预设频率且当前时刻的显示触发信号的频率小于第一预设频率,将当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号;
确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,第一时刻为当前时刻的显示触发信号指示的下一个触发时刻;
若第一时间差大于等于第一预设时间差阈值,则在第一时刻前按照调整后的显示触发信号执行图像显示的处理流程。
在一个实施例中,上述图像显示的处理流程包括绘制渲染流程,显示触发信号包括应用绘制渲染触发信号;应用绘制渲染触发信号用于触发绘制渲染流程;
将当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号,包括:
将当前时刻的应用绘制渲染触发信号的频率提高至第二预设频率,得到调整后的应用绘制渲染触发信号;
对应的,按照调整后的显示触发信号执行图像显示的处理流程,包括:
按照调整后的应用绘制渲染触发信号执行绘制渲染流程。
通过将应用绘制渲染触发信号的频率调高到第二预设频率,得到调整后的应用绘制渲染触发信号,使得调整后的应用绘制渲染触发信号的频率高于当前的应用绘制渲染触发信号的频率,相当于在当前时刻与初始的应用绘制渲染触发信号指示的下一个触发时刻之间增加了至少一个应用绘制渲染触发信号,使得绘制渲染流程能够提前被执行,保证了当前帧的图像能够及时被硬件送显,降低了图像送显的时延,提高了画面的流畅度及电子设备的跟手性。
在一个实施例中,上述第一预设时间差阈值为频率调整后的应用绘制渲染触发信号一个周期的时长。
在一个实施例中,上述图像显示的处理流程包括图像合成流程,显示触发信号还包括图层合成触发信号;图层合成触发信号用于触发图层合成流程;
将当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号,包括:
将当前时刻的图层合成触发信号的频率提高至第二预设频率,得到调整后的图层合成触发信号;
对应的,按照调整后的显示触发信号执行图像显示的处理流程,包括:
按照调整后的图层合成触发信号执行图层合成流程。
通过将图层合成触发信号的频率调高到第二预设频率,得到调整后的图层合成触发信号,使得调整后的图层合成触发信号的频率高于当前的图层合成触发信号的频率,相当于在当前时刻与初始的图层合成触发信号指示的下一个触发时刻之间增加了至少一个图层合成触发信号,使得图层合成流程能够提前被执行,保证了当前帧的图像能够及时被硬件送显,降低了图像送显的时延,提高了画面的流畅度及电子设备的跟手性。
在一个实施例中,上述第一预设频率为电子设备所支持的最高显示刷新率,且第二预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述第一预设频率为预设场景的最高刷新率,且第二预设频率为预设场景的最高刷新率。
在一个实施例中,上述第一预设频率为预设场景的最高刷新率,且不是电子设备所支持的最高显示刷新率,第二预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述在第一时刻前按照调整后的显示触发信号执行图像显示的处理流程,包括:
在第一时刻前第一时段的时刻按照调整后的显示触发信号执行图像显示的处理流程;第一时段为至少一个第一预设频率的周期时长,或者,第一时段为至少一个第二预设频率的周期时长。
在一个实施例中,上述在第一时刻前按照调整后的显示触发信号执行图像显示的处理流程之后,该方法还包括:
在第一时刻后,将显示触发信号的频率调整为第一预设频率。
在一个实施例中,上述当图像显示的处理流程为绘制渲染流程,显示触发信号为应用绘制渲染触发信号,按照调整后的显示触发信号执行图像显示的处理流程之后,该方法还包括:
确定当前时刻的图层合成触发信号的频率是否为第三预设频率;图层合成触发信号用于触发图层合成流程;
若当前时刻的图层合成触发信号的频率不为第三预设频率,且当前时刻的图层合成触发信号的频率小于第三预设频率,将当前时刻的图层合成触发信号的频率提高至第四预设频率,得到频率调整后的图层合成触发信号;
确定当前时刻与第二时刻之间的第二时间差是否大于等于第二预设时间差阈值;第二时刻为当前时刻的图层合成触发信号指示的下一个触发时刻;
若第二时间差大于等于第二时间差阈值,则在第二时刻前按照调整后的图层合成触发信号执行图像合成流程。
在当前时刻与当前时刻的图层合成触发信号中指示的下一个触发时刻之间的第二时间差大于第二预设时间差阈值的情况下,再将图层合成频率提高至第四预设频率,得到调整后的图层合成触发信号。使得能够有效的根据调整后的图层合成触发信号能够提前执行的图层合成流程,进而能够有效的提高图像送显的效率,进而使得图像能够及时被硬件送显,提高了画面的流畅度。在一种可能的情况,触发调高图层合成频率的第二预设时间差阈值可以与触发调高绘制渲染频率的第一预设时间差阈值不同,提高了调高图层合成频率的灵活性。
在一个实施例中,上述第二时间差阈值为调整后的图层合成触发信号一个周期的时长。
在一个实施例中,若第二预设频率高于第四预设频率;该方法还包括:
在buffer queue中存储的待合成图层数据的数量超过buffer queue中的存储队列可存储的数据的数量时,按照待合成图层数据在buffer queue中存储的顺序从前至后依次删除待合成图层数据,直至buffer queue中存储的待合成图层数据的数量不超过bufferqueue中的存储队列的数量。
在一个实施例中,上述第一预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述第三预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述操作包括滑动操作,响应于接收操作,确定电子设备的场景是否为预设场景,包括:
响应于接收的滑动操作,确定电子设备的当前场景是否为预设场景;预设场景包括列表类场景。
在一个实施例中,上述操作包括点击操作,响应于接收操作,确定电子设备的场景是否为预设场景,包括:
响应于接收到的点击操作,确定电子设备的场景是否为预设场景;预设场景为预存在场景列表中的场景。
在一个实施例中,上述电子设备包括应用程序模块、窗口管理模块、场景识别模块和帧率控制模块;
应用程序模块接收通过触摸屏输入的操作,并响应于操作,向窗口管理模块发送窗口数据;
窗口管理模块将获取到的窗口数据发送给场景识别模块;
场景识别模块获取预设的场景信息列表,并将接收到的窗口数据与预设的场景信息列表进行比对,确定电子设备的场景;
场景识别模块向帧率控制模块发送通知消息,通知消息中携带有电子设备的场景对应的标识;
帧率控制模块将通知消息指示的场景与预存的场景列表进行比较,当通知消息指示的场景在预存的场景列表中时,确定通知消息指示的场景为预设场景;
帧率控制模块确定当前时刻的显示触发信号的频率是否为第一预设频率,并在当前时刻的显示触发信号的频率不为第一预设频率且当前时刻的显示触发信号的频率小于第一预设频率的情况下,将当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号;
帧率控制模块确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,并在第一时间差大于等于第一预设时间差阈值的情况下,在第一时刻前发送调整后的显示触发信号。
在一个实施例中,上述电子设备还包括应用绘制渲染模块;显示触发信号包括应用绘制渲染触发信号;
帧率控制模块在第一时刻前向应用绘制渲染模块发送调整后的应用绘制渲染触发信号;
应用绘制渲染模块接收到应用绘制渲染触发信号时执行绘制渲染流程。
在一个实施例中,上述帧率控制模块在第一时刻前向照调整后的频率向应用绘制渲染模块发送调整后的应用绘制渲染触发信号。
在一个实施例中,上述电子设备还包括图层合成模块,显示触发信号还包括图层合成触发信号;
帧率控制模块在第一时刻前向图层合成模块发送调整后的图层合成触发信号;
图层合成模块接收到图层合成触发信号时执行图层合成流程。
在一个实施例中,上述帧率控制模块在第一时刻前向照调整后的频率向图层合成模块发送调整后的图层合成触发信号。
上述显示参数的调整方法。通过接收用户的操作,响应于操作,确定电子设备的当前场景是否为预设场景,若是预设场景时,确定当前时刻的显示触发信号的频率是否为第一预设频率,若不为且小于第一预设频率,提高显示触发信号的频率,进而确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,若第一时间差大于等于第一预设时间差阈值,按照调整后的显示触发信号执行图像显示的处理流程。相当于在滑动操作的时刻与初始的显示触发信号之间增加了至少一个触发信号,降低了图像送显的时延,提高了电子设备的跟手性。
第二方面,提供了一种电子设备,电子设备包括处理器,处理器用于与存储器耦合,并读取存储器中的指令并根据指令使得电子设备执行第一方面提供的方法。
第三方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行第一方面提供的方法。
第四方面,提供了一种芯片,芯片包括处理器,处理器用于与存储器耦合,并执行存储器中的计算机程序,以执行第一方面提供的方法。
第五方面,提供了一种包含指令的计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行第一方面提供的方法。
附图说明
图1为一种图像送显流程的示意图;
图2为一种响应于滑动操作的图像送显流程的示意图;
图3为本申请一个实施例提供的电子设备的一种结构示意图;
图4为本申请一个实施例提供的电子设备的软件结构框图;
图5为本申请一个实施例提供的Vsync信号的示意图;
图6为本申请一个实施例提供的图像送显流程的示意图;
图7为本申请一个实施例提供的滑动操作的示意图;
图8为本申请另一个实施例提供的电子设备的软件结构框图;
图9为本申请另一个实施例提供的图像送显流程的示意图;
图10为本申请另一个实施例提供的图像送显流程的示意图;
图11为本申请另一个实施例提供的图像送显流程的示意图;
图12为本申请另一个实施例提供的图像送显流程的示意图;
图13为本申请一个实施例提供的显示参数的调整方法的流程示意图;
图14为本申请一个实施例提供的屏幕刷新率的设置界面示意图;
图15为本申请另一个实施例提供的图像送显流程的示意图;
图16为本申请另一个实施例提供的图像送显流程的示意图;
图17为本申请另一个实施例提供的图像送显流程的示意图;
图18为本申请另一个实施例提供的显示参数的调整方法的流程示意图;
图19为本申请另一个实施例提供的显示参数的调整方法的流程示意图;
图20为本申请另一个实施例提供的显示参数的调整方法的流程示意图;
图21为本申请另一个实施例提供的显示参数的调整方法的流程示意图;
图22为本申请一个实施例提供的显示参数的调整装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请实施例提供的显示参数的调整方法,可以应用于电子设备。可选的,电子设备包括终端设备,终端设备也可以称为终端(terminal)、用户设备(user equipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。终端设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。
示例性的,图3示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等***器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与***设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星***(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),第五代无线通信***(5G,the 5thGeneration of wireless communication system),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位***(global positioning system,GPS),全球导航卫星***(global navigation satellite system,GLONASS),北斗卫星导航***(beidounavigation satellite system,BDS),准天顶卫星***(quasi-zenith satellitesystem,QZSS)和/或星基增强***(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过***SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时***多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
需要说明的是,本申请实施例提到的任一电子设备可以包括电子设备100中更多或者更少的模块。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图4是本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图4所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图4所示,应用程序框架层可以包括窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,Wi-Fi驱动等。
需要说明的是,本申请实施例提到的电子设备可以包括上述电子设备中更多或者更少的模块。例如,电子设备还可以包括存储器、计时器等。
为了便于理解,示例的给出部分与本申请实施例相关概念的说明以供参考。
1、帧:是指界面显示中最小单位的单幅画面。一帧可以理解为一幅静止的画面,快速连续地显示多个相连的帧可以形成物体运动的假象。帧率是指在1秒钟时间里刷新图片的帧数,也可以理解为终端设备中图形处理器每秒钟刷新画面的次数。高的帧率可以得到更流畅和更逼真的动画。每秒钟帧数越多,所显示的动作就会越流畅。
需要说明的是,界面显示帧前通常需要经过绘制、渲染、合成等过程。
2、帧绘制:是指显示界面的图片绘制。显示界面可以由一个或多个视图组成,各个视图可以由视图***的可视控件绘制,各个视图由子视图组成,一个子视图对应视图中的一个小部件,例如,其中的一个子视图对应图片视图中的一个符号。
3、帧渲染:是将绘制后的视图进行着色操作或增加3D效果等。例如:3D效果可以是灯光效果、阴影效果和纹理效果等。
4、帧合成:是将多个上述一个或多个渲染后的视图合成为显示界面的过程。
下面结合应用程序启动或应用程序中发生界面切换的场景,示例性说明终端设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作时,内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸力度,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。内核层通过输入处理库将原始输入事件上报至应用程序框架层的输入***。应用程序框架层的输入***解析该原始输入事件的信息(包括:操作类型和报点位置等)和根据当前焦点确定焦点应用,并将解析后的信息发送至焦点应用。焦点可以是触摸操作中触碰点或者鼠标点击操作中点击位置。焦点应用为终端设备前台运行的应用或者触摸操作中触碰位置对应的应用。焦点应用根据解析后的原始输入事件的信息(例如,报点位置)确定该原始输入事件所对应的控件。
以该触摸操作是触摸滑动操作,该触摸滑动操作所对应的控件为微信应用的列表控件为例,微信应用调用应用绘制渲染模块(图中未示出)对图像进行绘制,应用绘制渲染模对绘制后的图像进行渲染。微信应用将渲染后的图像发送至显示合成进程的缓存队列中。通过图层合成模块(图中未示出)将显示合成进程中渲染后的图像合成为微信列表界面。显示合成进程通过内核层的LCD/LED屏幕驱动,使得LCD/LED屏幕显示微信应用的相应列表界面。
下面结合附图对本申请实施例提供的应用场景进行说明。
首先对图像送显过程上的各流程进行说明。
电子设备响应于用户点击滑动应用列表,应用获取待显示帧图像的相关数据,并将待显示帧图像的相关数据按照固定流程进行处理,向显示屏送显。上述固定流程主要包括绘制渲染流程、图层合成流程和送显流程。也就是说,对于某一帧图像而言,需要电子设备依次执行绘制渲染流程、图层合成流程和送显流程后才能显示于显示屏。其中,绘制渲染流程可以通过应用实现,因此也称为应用绘制渲染流程。图层合成流程可以由图层合成模块(SurfaceFlinger)实现图层合成,图层合成流程也可以称为SurfaceFlinger图层合成流程。送显流程通过硬件(hardaware)实现,因此也称为硬件送显流程。
具体的,绘制渲染流程是指获取多个待显示图层数据,对多个待显示图层数据进行绘制和渲染处理,生成待合成图层数据。图层合成流程是指对绘制渲染流程生成的待合成图层数据进行合成,并进行硬件混合渲染(hardware compose,HWC),生成待显示帧图像数据。硬件送显流程是指将图层合成流程生成的待显示帧图像数据进行硬件显示处理,并推送至显示屏。
电子设备通常将周期性的Vsync信号作为触发各流程的触发信号。Vsync信号的周期频率与显示屏的刷新率相关。例如,显示屏的刷新率为15Hz时,Vsync信号的周期频率也为15Hz,一个Vsync信号的周期时长为66.67ms。即,电子设备每间隔66.67ms输出一个Vsync信号。下面以显示屏的刷新率为15Hz为例,通过图1所示的显示图像的流程示意图来详细说明如何显示一帧图像。如图1所示,在第N个Vsync的周期信号到达时,触发应用层的应用绘制渲染模块对第N帧图像中的多个待显示图层数据进行绘制和渲染处理,生成待合成图层数据,并将生成的待合成图层数据存入SurfaceFlinger中的待合成缓存队列(bufferqueue)中。在第N+1个Vsync的周期信号到达时,应用框架层的SurfaceFlinger从bufferqueue队列中获取应用在第N个Vsync的周期生成的待合成图层数据,并对待合成图层数据进行合成,然后合成后的图层进行硬件混合渲染,生成待显示帧图像数据。需要说明的是,SurfaceFlinger通常会按照存入buffer queue队列中的顺序从前至后的依次获取待合成图层数据。在第N+2个Vsync的周期内,硬件层的显示单元将SurfaceFlinger生成的待显示帧图像数据进行硬件显示处理,并推送至显示屏。
电子设备中的显示屏中包括行列排布的像素点,显示控制器可以控制每个像素点显示对应的亮度和色彩,进而使得显示屏可以显示一帧画面。在一种实施例中,以显示屏为有机发光二极管(organic light-emitting diode,OLED)显示屏为例,每个像素点可以由3个OLED有机发光二极管组成,3个发光二极管分别发出红(red,R),绿(green,G),以及蓝(blue,B)的颜色,该3个发光二极管组合可以发出RGB格式的色彩。其中,显示控制器可以控制有机发光二极管,使得有机发光二极管显示对应的亮度和色彩,进而使得显示屏显示一帧画面。在一种实施例中,电子设备的显示屏可以位于触摸屏的下层,本申请实施例对显示屏和触摸屏的设置不做限制。
示例性的,OLED显示屏为1080×2400分辨率,表征OLED显示屏一行包括1080个像素点,一列包括2400个像素点。以显示控制器控制第一行的像素点为例,显示控制器可以输出行同步信号(horizontal sync,HSYNC),HSYNC表征显示控制器即将控制第一行的像素点中的有机发光二极管工作。显示控制器输出HSYNC后,可以等待水平后肩(horizontal backporch,HBP),开始控制第一行的像素点中的有机发光二极管工作。在显示控制器控制第一行的像素点中的最后一个有机发光二极管工作后,可以等待水平前肩(horizontal frontporch,HFP),输入第二行的行同步信号。如此,显示控制器可以控制所有行的像素点中的有机发光二极管工作。
其中,如图5所示,对于每一行的像素点来说,存在水平消隐区(horizontalporch,H-Porch),每一行的H-Porch的时长等于“行同步信号的时长+水平后肩+水平前肩”,即H-Porch=HFP+HBP+HSW。其中HSW为行同步信号的时长,水平消隐区也可以称为行消隐区。
当显示控制器控制一帧画面中所有行的像素点中的有机发光二极管工作,可以使得显示屏可以显示一帧画面。在显示屏显示一帧画面后,显示控制器可以等待垂直前肩(vertical front porch,VFP),输出帧同步信号(vertical sync,VSYNC),VSYNC表征显示控制器即将开始控制显示屏显示下一帧画面。显示控制器输出VSYNC后,可以等待垂直后肩(vertical back porch,VBP),输出下一帧画面的第一行的HSYNC,以控制显示屏显示下一帧画面,可以参照上述的相关描述。
其中,对于一帧画面来说,存在垂直消隐区(vertical porch,V-Porch),每一行的V-Porch的时长等于“帧同步信号的时长+垂直后肩+垂直前肩”,即V-Porch=VFP+VBP+VSW。其中VSW为帧同步信号的时长,垂直消隐区也可以称为帧消隐区。
电子设备可以在帧消隐区中的VFP时段进行显示参数的调整。通常,帧消隐区的时长非常短,约为一个Vsync的周期时长的1/1000。但是,当图像刷新的频率低于24Hz时,能被人眼分辨图像的变化。因此在显示屏的刷新率低于24Hz(例如15Hz)时,显示时间的时长通常会小于1000/24=41.67ms,对应的,帧消隐区的时长通常较长,为一个Vsync的周期时长减去显示时间的时长。例如,帧消隐区的时长为15Hz信号一个周期时长66.67ms减去显示时间的时长为41.67ms,即为15ms。
基于上述描述可知,一帧图像显示需要经过绘制渲染流程、图层合成流程和硬件送显流程。由于上述绘制渲染流程和图层合成流程均需要一个Vsync的触发才能被执行。因此,如图6所示,显示一帧图像所需要的时长至少包括触发绘制渲染流程周期时长(T1)、图层合成流程Vsync的周期时长(T2),以及,硬件送显流程中显示时间占用的时长(T3),即2个完整的Vsync周期时长与一个显示时间的时长之和。显示屏的刷新率越低,显示一帧图像所需的时长越长。
在一种可能的情况,当显示屏上的画面静止不变时,电子设备通常会将显示屏的刷新率调低(例如15Hz),实现电子设备的节能降耗。当显示屏上显示的画面发生变化时,电子设备会将显示屏的刷新率调高,以提高用户的使用体验。
例如,如图7所示,用户浏览如图7中的(a)所示的社交应用的界面,或者,用户浏览如图7中的(b)所示的设置界面,又或者,用户浏览如图7中的(c)所示的文档界面,又或者,用户浏览如图7中的(d)所示的商品浏览界面。若用户在较长的时段内未进行任何操作,显示屏上显示的图像在较长的时段内未发生变化,则电子设备将显示屏的刷新率调低至15Hz。接收用户上滑操作或下滑操作,电子设备会将显示屏的刷新率调高至60Hz。此时,电子设备响应于上滑操作或下滑操作执行绘制渲染流程、图层合成流程和硬件送显流程,对上滑操作对应的内容进行显示,或者,对下滑操作对应的内容进行显示。
继续如图7所示,用户浏览如图7中的(e)所示的界面,或者,用户浏览如图7中的(f)所示的电子书浏览界面。若用户在较长的时段内未进行任何操作,显示屏上显示的图像在较长的时段内未发生变化,则电子设备将显示屏的刷新率调低至15Hz。当接收用户左滑操作或右滑操作,电子设备会将显示屏的刷新率调低至60Hz。此时,电子设备响应于左滑操作或右滑操作执行绘制渲染流程、图层合成流程和硬件送显流程,对左滑操作对应的内容进行显示,或者,对右滑操作对应的内容进行显示。
相关技术中,将触发绘制渲染流程的Vsync信号称为应用绘制渲染触发信号(application verticalsynchronization,APP-Vsync);将触发图层合成流程的Vsync信号称为图层合成触发信号(SurfaceFlinger verticalsynchronization,SF-Vsync);将触发硬件送显流程的Vsync信号称为硬件送显触发信号(Hardware verticalsynchronization,HW-Vsync)。其中,APP-Vsync、SF-Vsync可以和HW-Vsync的周期时长相同,且HW-Vsync的周期频率与显示屏的刷新率相同。
在一种可能的情况下,电子设备的软件架构图可以如图8所示。其中,电子设备可以包括应用绘制渲染模块501、图层合成模块502、显示屏503、窗口管理模块(WindowsManger Service)504、场景识别模块505、帧率控制模块506和显示驱动507。
其中,应用绘制渲染模块501为应用中的功能模块,属于应用程序层。图层合成模块502、窗口管理模块504、场景识别模块505和帧率控制模块506属于应用程序架构层。图层合成模块502为可以为SurfaceFlinger进程。窗口管理模块504接收应用发送的窗口数据。示例性的,窗口数据包括:应用包名、界面(activity)名、焦点控件类型(例如,listview列表控件)。帧率控制模块506可以调整APP-Vsync和/或SF-Vsync的周期时长。场景识别模块504可以响应于接收到窗口管理模块504发送的窗口数据,识别出窗口数据对应的场景信息。显示屏503为硬件中的功能模块,属于硬件层。
应用绘制渲染模块501按照帧率控制模块506发送的APP-Vsync,对待显示图层数据进行绘制和渲染处理,生成待合成图层数据。图层合成模块502按照帧率控制模块506发送的SF-Vsync,对从应用绘制渲染模块501获取生成的待合成图层数据进行合成,并进行硬件混合渲染,生成待显示帧图像数据。图层合成模块502还可以将待显示帧图像数据发送给显示屏503。显示屏503在内核层的显示驱动507的驱动下,将待显示帧图像数据发送到显示屏503显示。其中,显示驱动507可以按照帧率控制模块506发送的HW-Vsync,驱动显示屏503将待显示帧图像发送到显示屏显示。
下面通过图9来详细说明接收到用户的滑动操作,显示一帧图像所需的时长。以滑动操作之前显示器的刷新率为15Hz,滑动操作之后电子设备将显示器的刷新率提高到120Hz为例进行说明。
如图9所示,当接收到用户的滑动操作时,应用绘制渲染模块在第N个Vsync信号到达时,对第1帧图像进行绘制渲染。并在第N个Vsync信号内的帧消隐区将显示屏的刷新率从15Hz调高到120Hz。如图9所示,第N+1个Vsync信号周期为调高后的周期,在第N+1个Vsync信号到达时,对第2帧图像进行绘制渲染。在第N+2个Vsync信号到达时,对第2帧图像进行图层合成。直至第N+2个Vsync周期内,对第2帧的图像进行图像送显。也即是说,响应于滑动操作显示的第2帧图像,需要A+B+C的时长才能开始送显。若滑动操作的时刻距离第N+1Vsync信号指示的触发时刻之间的差值为50ms,则第2帧图像显示需要等待50+8.33+8.33=66.66ms。
在一种可能的情况,可以将APP-Vsync指示的触发时刻和/或SF-Vsync指示的触发时刻提前,避免显示屏的刷新率低导致的上述图像显示之后的情况。下面通过图10至图12所示的实施例来详细说明。
在一个实施例中,可以通过提前APP-Vsync指示的下一个触发时刻来降低图像显示的延时情况。下面通过图10来详细说明。如图10所示,当接收到用户的滑动操作时,应用绘制渲染模块正在执行对帧1的绘制渲染流程。帧率控制模块将APP-Vsync指示的下一个触发时刻提前,例如提前到如图10所示的时刻。应用绘制渲染模块可以在执行完成对帧1的绘制渲染流程之后,在APP-Vsync指示的下一个触发时刻执行帧2的绘制渲染流程;也可以停止对帧1的绘制渲染,在APP-Vsync指示的下一个触发时刻到达时,对帧2执行绘制渲染流程,本申请实施例对此不作限制。也即是说,通过提前APP-Vsync指示的下一个触发时刻,显示滑动后的图像(帧2)所需等待的时长为A1+B。与图9相比,如图10所示,A1的时长小于A的时长,同时将APP-Vsync提前,还节省了一个Vsync信号的周期时长C。也即是说,将APP-Vsync指示的下一个触发时刻提前,可以有效的降低显示滑动后的图像所需的时长。
在一个实施例中,可以通过提前SF-Vsync指示的下一个触发时刻来降低图像显示的延时情况。下面通过图11来详细说明。图11所示,当接收到用户的滑动操作时,图层合成模块正在执行对帧1的图层合成流程。帧率控制模块将SF-Vsync指示的下一个触发时刻提前,例如提前到如图11所示的时刻。图层合成模块可以在完成对帧1的图层合成流程之后,在SF-Vsync指示的下一个触发时刻执行对帧2的图层合成流程;也可以直接停止对帧1的图层合成,在SF-Vsync指示的下一个触发时刻到达时,对帧2执行图层合成流程。通过提前SF-Vsync指示的下一个触发时刻,在一个初始的Vsync信号的周期时长(66.67ms)结束后,即可显示滑动后的图像(帧2)。也即是说,将SF-Vsync指示的下一个触发时刻提前,可以有效的降低显示滑动后的图像所需的时长。
在一个实施例中,还可以同时提前APP-Vsync指示的下一个触发时刻,和,SF-Vsync指示的下一个触发时刻来降低图像显示的延时情况。下面通过图12来详细说明。如图12所示,当接收到用户的滑动操作时,应用绘制渲染模块正在执行对帧1的绘制渲染流程。帧率控制模块将APP-Vsync指示的下一个触发时刻提前,例如提前到如图12所示的时刻。同时应用绘制渲染模块可以停止对帧1的绘制渲染,在APP-Vsync指示的下一个触发时刻到达时,对帧2执行绘制渲染流程。帧率控制模块可以同时将SF-Vsync指示的下一个触发时刻提前,在一种可能的情况下,可以提前到如图12所示的时刻。图层合成模块可以在SF-Vsync指示的下一个触发时刻到达时,对帧2执行图层合成流程。在完成对帧2执行的图层合成流程之后,显示驱动可以按照帧率控制模块发送的HW-Vsync,驱动显示屏显示待显示帧图像。即,显示滑动后的图像(帧2)所需的时长为A3+A4。与图9相比,节省了绘制渲染流程所占用的周期时长B和图层合成流程所占用的周期时长C。也即是说,通过同时提前APP-Vsync指示的下一个触发时刻,和,SF-Vsync指示的下一个触发时刻,能够进一步地降低显示帧2所需的时长。
示例性的,图13为一个实施例中各个模块进行信息交互的过程示意图。
如图13所示,包括:
步骤101:当接收到滑动操作时,响应于滑动操作,应用程序框架层的窗口管理模块获取显示屏上更新的窗口数据。
响应于用户滑动操作,应用程序向窗口管理模块发送窗口数据。其中,窗口数据包括:包名、窗口名、列表控件、切换后的窗口的位置,窗口中的元素的显示顺序、尺寸和位置,以及切换动画等。窗口的位置为窗口位于电子设备的显示屏上的位置,窗口中的元素包括但不限于为:窗口中显示的文字、图片、方框等。切换动画用于表征切换后的窗口进行显示时的切换效果。窗口管理模块可以包括界面管理器(Activity Manager Services,AMS)和窗口管理器(Window Manager Services,WMS)。AMS用于管理应用程序的界面,WMS用于管理窗口,WMS中还可以存储有终端设备中所有窗口的信息。
步骤102:窗口管理模块将获取到的更新后的窗口数据发送给场景识别模块。
步骤103:响应于接收窗口数据,场景识别模块确定更新后的场景信息。
示例性的,电子设备的配置文件中可以预设有场景信息列表,可以存储在电子设备的内存中。其中,场景信息列表可以如表1所示,不同的场景类别对应不同的标识号(IDentity,ID)。需要说明的是,该场景信息列表中还可以包括即时通讯中的界面对应的ID和列表控件对应的ID。
表1
Figure BDA0003190419300000171
Figure BDA0003190419300000181
场景识别模块可以通过从内存中加载该场景信息列表,在从接收到的窗口数据中的应用包名确定应用类别,进而确定该应用类别对应的场景信息标识。
步骤104:场景识别模块向帧率控制模块发送通知消息,该通知信息中携带有当前的场景信息对应的标识。
步骤105:响应于接收该通知消息,帧率控制模块确定该通知消息指示的更新后的场景是否为预设场景。
示例性的,帧率控制模块可以获取该通知消息携带的场景标识,与帧率控制模块中预存的场景的标识进行对比,若标识一致,则说明当前场景为预设场景,则执行步骤106。
若该通知消息中携带的场景标识与帧率控制模块中预存的场景的标识不一致,则在当前的场景,画面变化的延时并不会影响用户体验。因此不需要提前提高Vsync的周期频率。
示例性的,若通知消息中携带的场景标识指示的场景为地图场景,其中,地图场景不是预存在帧率控制模块中的场景。当地图长时间不发生变化时,显示屏的刷新率被调低。当接收到滑动操作时,响应于该滑动操作显示对应的地图画面,该地图画面的延时并不明显,因此不需要调高Vsync的周期频率。
步骤106:帧率控制模块在确定该通知消息指示的更新后的场景为预设场景的情况下,帧率控制模块确定是否调整APP-Vsync的周期频率。
其中,预设场景可以是表2中相同模式下低刷新率和高刷新率不同的场景。当帧率控制模块从通知消息中获取到更新后的场景,通过查询表2,确定更新后的场景是否存在不同的刷新率。例如,帧率控制模块从通知消息中获取场景的ID为“0”,则确定更新后的场景是即时通讯场景。从表2中可知,即时通讯在同一模式下存在不同的刷新率,则将即时通讯场景确定为预设场景。同时,帧率控制模块可以查询当前的刷新率,若当前的刷新率为15Hz,则帧率控制模块确定将刷新率调高到120Hz。
表2
Figure BDA0003190419300000182
Figure BDA0003190419300000191
在一种可能的情况下,用户可以设置场景的模式类型。例如,当用户点击应用程序的模式设置选项之后,电子设备展示如图14所示的界面,包括智能模式、高性能模块和标准模式。以应用程序为浏览器为例,当用户选定了智能模式,对应的,浏览器处于智能模式时,与高性能模式的刷新率一致,即存在两种刷新率,分别为低刷新率15Hz,高刷新率120Hz。
进一步地,可以根据滑动操作的时刻与下一个绘制渲染流程的触发时刻之间的差值大小,确定是否调高APP-Vsync的周期频率。当滑动操作的时刻与下一个绘制渲染流程的触发时刻之间的差值大于频率调高后APP-Vsync的一个周期时长时,则调高APP-Vsync。例如,如图15所示,滑动操作的时刻与下一个绘制渲染流程的触发时刻之间的差值A5大于调高后的APP-Vsync的一个周期时长B时,则调高APP-Vsync的周期频率。如图16所示,若滑动操作的时刻与下一个绘制渲染流程的触发时刻之间的差值A6小于调高后的APP-Vsync的一个周期时长B时,则不调高APP-Vsync的周期频率。
需要说明的是,调高周期频率后的APP-Vsync周期频率与初始的Vsync周期频率成整数倍关系。这样可以使得调高周期频率后的APP-Vsync指示的下一个绘制渲染流程的时刻,能够与Vsync指示的下一个图层合成流程的时刻、下一个硬件送显流程的时刻匹配。
步骤107:帧率控制模块按照调高后的周期频率,将APP-Vsync和属性标识发送给应用绘制渲染模块。
将APP-Vsync的周期频率调高相当于在滑动时刻与下一帧的Vsync信号指示的触发时刻之间增加了至少一个触发绘制渲染流程的触发信号,相当于将下一个绘制渲染流程的触发时刻提前。
在一种可能的情况,调高后的APP-Vsync可以如图17所示。滑动操作的时刻与Vsync信号指示的下一个触发时刻之间的差值X,调高后的Vsync信号的一个周期时长为B。通过X-n*B=Y,确定APP-Vsync指示的触发时刻与滑动操作的时刻之间的额差值,其中n为X/B之后的最小正整数。如图17所示,X/B之后的最小正整数为2,相当于在初始的Vsync的周期时长内,有两个APP-Vsync。则可以将第一个APP-Vsync指示的触发时刻作为下一个绘制渲染流程的触发时刻。
例如,提高后的APP-Vsync的周期频率为120Hz,则对应的一个周期时长为8.33ms。当前的Vsync的周期频率为15Hz,对应的一个周期时长为66.67ms。若滑动操作的时刻与当前的Vsync指示的下一个绘制渲染流程的时刻之间的差值为20ms,将当前的APP-Vsync的周期频率调高到120Hz。调高后的APP-Vsync指示的下一个绘制渲染流程的时刻为滑动操作的时刻之后的20-2*8.33=3.34ms。
示例性的,属性标识包括New和Repalce。当属性标识为New时,应用绘制渲染模块继续执行当前帧的绘制渲染流程。如图17所述,即完成第1帧的图像绘制后,再执行第2帧图像的绘制。当属性标识为Replace时,应用绘制渲染模块停止执行当前帧的绘制渲染流程,开始执行新的一帧的绘制渲染流程。如图17所述,即停止第1帧的图像绘制,直接执行第2帧图像的绘制。
帧率控制模块按照调高后的周期频率,将APP-Vsync和赋值为Replace的属性标识发送给应用绘制渲染模块。
步骤108:应用绘制渲染模块按照调高后的APP-Vsync执行绘制渲染流程。
应用绘制渲染模块响应于赋值为Replace的属性标识,停止执行当前帧的绘制渲染流程,开始执行新的一帧的绘制渲染流程。
在一种可能的情况下,帧率控制模块还可以提高SF-Vsync的周期频率,实现。其实现过程与上述图13所示实施例类似,此处不再赘述。
在一种可能的情况下,帧率控制模块可以同时调整APP-Vsync和SF-Vsync的周期,下面通过图18所示实施例来详细描述。
如图18所示,包括:
步骤101:当接收到滑动操作时,响应于滑动操作,应用程序框架层的窗口管理模块获取显示屏上更新的窗口数据。
步骤102:窗口管理模块将获取到的更新后的窗口数据发送给场景识别模块。
步骤103:响应于接收窗口数据,场景识别模块确定更新后的场景信息。
步骤104:场景识别模块向帧率控制模块发送通知消息,该通知信息中携带有当前的场景信息对应的标识。
步骤105:响应于接收该通知消息,帧率控制模块确定该通知消息指示的更新后的场景是否为预设场景。
步骤109:帧率控制模块在确定该通知消息指示的更新后的场景为预设场景的情况下,帧率控制模块确定是否调整APP-Vsync和SF-Vsync的周期频率。
需要说明的是,帧率控制模块在调整APP-Vsync和SF-Vsync的周期频率时,可以将APP-Vsync和SF-Vsync调整为相同的周期频率,也可以将APP-Vsync和SF-Vsync调整为不同的周期频率,本申请实施例对此不作限制。
在一种可能的情况下,调整后的APP-Vsync周期频率大于调整后的SF-Vsync周期频率。这样会导致应用绘制渲染模块生成待合成图层数据的速度大于图层合成模块处理待合成图层数据的速度。由于应用绘制渲染模块生成待合成图层数据存储在buffer queue,因此可能出现buffer queue队列存满,图层合成模块不能及时处理buffer queue队列中存储的待合成图层数据的情况。当buffer queue队列可供存储的待合成图层数据的空间已满时,应用绘制渲染模块可以按照存储顺序从前后到的顺序,删除掉buffer queue队列中的待合成图层数据,直至buffer queue中存储的待合成图层数据的数量不超过buffer queue中的存储队列的数量。需要说明的是,图层合成模块对待合成图层数据进行图层合并处理时,先处理buffer queue队列最早存储的待合成图层数据。
步骤107:帧率控制模块按照调高后的周期频率,将APP-Vsync和属性标识发送给应用绘制渲染模块。
步骤108:应用绘制渲染模块按照调高后的APP-Vsync执行绘制渲染流程。
步骤110:帧率控制模块按照调高后的周期频率,将SF-Vsync和属性标识发送给图层合成模块。
步骤111:图层合成模块按照调高后的SF-Vsync执行图层合成流程。
通过提将APP-Vsync指示的触发时刻和SF-Vsync指示的触发时刻体现,将显示过程中的绘制渲染流程和图层合成流程提前,降低了显示滑动后图像的延时,提高了电子设备的跟手性。
下面通过具体的实施例对本申请涉及的显示参数的调整方法进行详细说明。下面的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图19为本申请实施例提供的显示参数的调整方法的流程示意图。如图19所示,本实施例提供的显示参数的调整方法,包括:
S201、接收用户通过触摸屏输出的操作,响应于接收的操作,确定电子设备的场景是否为预设场景。
可选的,上述操作可以是滑动操作,也可以是点击操作,本申请实施例对此不作限制。
S202、当电子设备的场景是预设场景时,确定当前时刻的应用绘制渲染触发信号的频率是否为第一预设频率。
第一预设频率可以是用户设置的频率阈值,也可以是变更场景之后该变更后的场景对应的显示刷新率。在一种可能的情况下,第一预设频率为电子设备显示屏支持的最高刷新率。若当前时刻的应用绘制渲染触发信号的频率不是第一预设频率且小于第一预设频率,执行S203。
S203、确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值。
其中,第一时刻为当前时刻的应用绘制渲染触发信号指示的下一个触发时刻。若第一时间差大于第一预设时间差阈值,则执行S204。
其中,第一预设时间差阈值可以是调整后的应用绘制渲染触发信号一个周期的时长,第一预设时间差阈值也可以是电子设备支持的最高刷新率的一个周期的时长,本申请实施例对此不作限制。
S204、将当前时刻的应用绘制渲染触发信号的频率提高到第二预设频率,得到调整后的应用绘制渲染触发信号。
将当前时刻的应用绘制渲染触发信号的频率提高至第二预设频率,得到调整后的应用绘制渲染触发信号。
其中,第二预设频率可以与第一预设频率相同,也可以不同,本申请实施例对此不作限制。在一种可能的情况下,第二预设频率为电子设备所支持的最高显示刷新率。需要说明的是,电子设备所支持的最高显示刷新率可以为第二预设频率的整数倍,即Fv-app=(1/n)*F1,其中,n为正整数,Fv-app为第二预设频率,F1为电子设备所支持的最高刷新率。由于电子设备所支持的最高显示刷新率为第二预设频率的整数倍,使得采用第二预设频率的应用绘制渲染触发信号能够与采用电子设备的最高刷新率的硬件送显触发信号对齐。
在当前时刻与当前时刻的应用绘制渲染触发信号中指示的下一个触发时刻之间的第一时间差大于第一预设时间差阈值时,再去调高当前时刻的应用绘制渲染触发信号的频率,能够有效的根据调整后的应用绘制渲染触发信号提前执行的绘制渲染流程,进而能够有效的提高图像送显的效率,使得当前帧的图像能够及时被硬件送显,提高了画面的流畅度。
S205、在第一时刻前按照调整后的应用绘制渲染触发信号执行绘制渲染流程。
通过将应用绘制渲染触发信号的频率调高到第二预设频率,得到调整后的应用绘制渲染触发信号,使得调整后的应用绘制渲染触发信号的频率高于当前的应用绘制渲染触发信号的频率,相当于在当前时刻与初始的应用绘制渲染触发信号指示的下一个触发时刻之间增加了至少一个应用绘制渲染触发信号,使得绘制渲染流程能够提前被执行,保证了当前帧的图像能够及时被硬件送显,降低了图像送显的时延,提高了画面的流畅度及电子设备的跟手性。
由表2可知,同一场景可以有两个刷新率。以即时通讯场景为例,在标准模式下,即时通讯场景的刷新率包括15Hz和60Hz。在一种可能的情况下,第一预设频率可以是预设场景的最高刷新率,即60Hz,第二预设频率是电子设备支持的最高刷新率时,例如120Hz。在第一时刻之后,还可以将应用绘制渲染的频率调到第一预设频率60Hz,并在第一时刻之后,按照60Hz向应用绘制渲染模块发送应用绘制渲染触发信号。
图19所示的实施例重点描述了通过调高应用绘制渲染触发信号的频率,使得电子设备能够提前执行绘制渲染流程,提高了画面的流畅度的具体过程。在一种可能的情况下,电子设备还可以调高图层合成触发信号的频率,进一步地提高画面的流畅度。其中,电子设备调高图层合成触发信号的频率的实现方法和有益效果与上述图19所示实施例类似,此处不再赘述。
进一步地,在图19所示实施例的基础上,电子设备在调高了应用绘制渲染触发信号的频率之后,还可以同时调高图层合成触发信号的频率,下面通过图20所示实施例来详细描述。
图20为本申请实施例提供的显示参数的调整方法的流程示意图。如图20所示,本实施例提供的显示参数的调整方法,包括:
S201、接收用户通过触摸屏输出的操作,响应于接收的操作,确定电子设备的场景是否为预设场景。
S202、当电子设备的场景是预设场景时,确定当前时刻的应用绘制渲染触发信号的频率是否为第一预设频率。
第一预设频率可以是用户设置的频率阈值,也可以是变更场景之后该场景对应的显示刷新率。在一种可能的情况下,第一预设频率为电子设备显示屏支持的最高刷新率。若当前时刻的应用绘制渲染触发信号的频率不为小于第一预设频率且小于第一预设频率,执行S203。
S203、确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值。若第一时间差大于等于第一预设时间差阈值,则执行S204。
S204、将当前时刻的应用绘制渲染触发信号的频率提高至第二预设频率,得到调整后的应用绘制渲染触发信号。
S205、在第一时刻前按照调整后的应用绘制渲染触发信号执行绘制渲染流程。
S206、确定当前时刻的图层合成触发信号的频率是否为第一预设频率。若图层合成触发信号的频率不为第一预设频率且小于第一预设频率,执行S207。
S207、确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值。
若第一时间差大于等于第一时间差阈值,则执行S208。
其中,第一时刻为当前时刻的图层合成触发信号指示的下一个触发时刻。第一预设时间差阈值可以是调整后的图层合成触发信号一个周期的时长,第一预设时间差阈值也可以是电子设备支持的最高刷新率的一个周期的时长,本申请实施例对此不作限制。
S208、将图层合成触发信号的频率提高至第二预设频率,得到调整后的图层合成触发信号。
S209、在第一时刻前按照调整后的图层合成触发信号执行图层合成流程。
通过调高图层合成触发信号的图层合成频率,得到调整后的图层合成触发信号,在调高绘制渲染频率,得到调整后的应用绘制渲染触发信号,并按照调整后的应用绘制渲染触发信号及时的执行绘制渲染流程的基础上,进一步按照调整后的图层合成触发信号及时的执行绘制渲染流程,进一步地保证了图像能够及时被硬件送显,提高了画面的流畅度。
在一种可能的情况下,可以在绘制渲染频率小于第一预设频率时,调高绘制渲染频率,在图层合成频率小于第三预设频率时,调高图层合成频率。其中,第一预设频率和第三预设频率不同。进一步地,可以将绘制渲染频率调高到第二预设频率,将图层合成频率调高到第四预设频率。其中,第二预设频率与第四预设频率不同。下面通过图21所示实施例来详细描述。
图21为本申请另一个实施例提供的显示参数的调整方法的流程示意图,如图21所示,该方法包括:
S201、接收用户通过触摸屏输出的操作,响应于接收的操作,确定电子设备的场景是否为预设场景。
S202、当电子设备的场景是预设场景时,确定当前时刻的应用绘制渲染触发信号的频率是否为第一预设频率。
第一预设频率可以是用户预设的频率阈值,也可以是变更场景之后该场景对应的显示刷新率。在一种可能的情况下,第一预设频率为电子设备显示屏支持的最高刷新率。若当前时刻的应用绘制渲染触发信号的绘制渲染频率小于第一预设频率,执行S203。
S203、确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值。若第一时间差大于等于第一预设时间差阈值,则执行S204。
S204、将当前时刻的应用绘制渲染触发信号的频率提高至第二预设频率,得到调整后的应用绘制渲染触发信号。
S205、在第一时刻前按照调整后的应用绘制渲染触发信号执行绘制渲染流程。
S210、确定当前时刻的图层合成触发信号的频率是否为第三预设频率。若图层合成触发信号的频率不为第三预设频率且小于第三预设频率,执行S211。
第三预设频率可以是用户设置的频率阈值,也可以是电子设备的场景对应的显示刷新率,本申请实施例对此不作限制。在一种可能的情况下,第三预设频率为电子设备显示屏支持的最高刷新率。
S211、确定当前时刻与第二时刻之间的第二时间差是否大于等于第二预设时间差阈值。
若第三时间差大于第三时间差阈值,则执行S212。
其中,第二时刻为当前时刻的图层合成触发信号指示的下一个触发时刻。第二预设时间差阈值可以是调整后的图层合成触发信号一个周期的时长,第二预设时间差阈值也可以是电子设备支持的最高刷新率的一个周期的时长,本申请实施例对此不作限制。
S212、将图层合成触发信号的频率提高至第四预设频率,得到调整后的图层合成触发信号。
在当前时刻与当前时刻的图层合成触发信号中指示的下一个触发时刻之间的第二时间差大于第二预设时间差阈值的情况下,再将图层合成频率提高至第四预设频率,得到调整后的图层合成触发信号。使得能够有效的根据调整后的图层合成触发信号能够提前执行的图层合成流程,进而能够有效的提高图像送显的效率,进而使得图像能够及时被硬件送显,提高了画面的流畅度。在一种可能的情况,触发调高图层合成频率的第二预设时间差阈值可以与触发调高绘制渲染频率的第一预设时间差阈值不同,提高了调高图层合成频率的灵活性。
在一种可能的情况下,第四预设频率与第二预设频率不同,使得可以按照不同的触发信号执行图像显示流水线上对应的流程,提高了执行图像显示流水线上各流程的灵活性。
需要说明的是,电子设备所支持的最高显示刷新率为第二预设频率的整数倍,即F1=n*Fv-sf,其中,n为正整数,Fv-sf为第四预设频率,F1为电子设备所支持的最高刷新率。其中,由于电子设备所支持的最高显示刷新率为第四预设频率的整数倍,使得采用第四预设频率的图层合成触发信号能够与采用电子设备的最高刷新率的硬件送显触发信号对齐。
S213、在第二时刻前按照调整后的图层合成触发信号执行图层合成流程。
图22为本申请实施例提供的显示参数调整装置的一种结构示意图。如图22所示,本实施例提供的显示参数的调整装置,可以包括:接收模块1101、第一确定模块1102、第二确定模块1103、调整模块1104和执行模块1105,其中:
接收模块1101,用于接收用户通过触摸屏输入的操作。
第一确定模块1102,用于响应于接收操作,确定电子设备的场景是否为预设场景。
第二确定模块1103,用于若是预设场景时,确定当前时刻的显示触发信号的频率是否为第一预设频率;显示触发信号用于触发图像显示的处理流程。
调整模块1104,用于若当前时刻的显示触发信号的频率不为第一预设频率且当前时刻的显示触发信号的频率小于第一预设频率,将当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号。
执行模块1105,用于确定当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,第一时刻为当前时刻的显示触发信号指示的下一个触发时刻,按照调整后的显示触发信号执行图像显示的处理流程。
在一个实施例中,上述图像显示的处理流程包括绘制渲染流程,显示触发信号包括应用绘制渲染触发信号;应用绘制渲染触发信号用于触发绘制渲染流程。
调整模块1104具体用于将当前时刻的应用绘制渲染触发信号的频率提高至第二预设频率,得到调整后的应用绘制渲染触发信号。
执行模块1105具体用于按照调整后的应用绘制渲染触发信号执行绘制渲染流程。
在一个实施例中,上述第一预设时间差阈值为频率调整后的应用绘制渲染触发信号一个周期的时长。
在一个实施例中,上述图像显示的处理流程包括图像合成流程,显示触发信号还包括图层合成触发信号;图层合成触发信号用于触发图层合成流程。
调整模块1104具体用于将当前时刻的图层合成触发信号的频率提高至第二预设频率,得到调整后的图层合成触发信号。
执行模块1105具体用于按照调整后的图层合成触发信号执行图层合成流程。
在一个实施例中,上述第一预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述第二预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,第二确定模块1103还用于确定当前时刻的图层合成触发信号的频率是否不为第三预设频率;图层合成触发信号用于触发的图层合成流程。
调整模块1104还用于若当前时刻的图层合成触发信号的频率不为第三预设频率,且当前时刻的图层合成触发信号的频率小于第三预设频率,将当前时刻的图层合成触发信号的频率提高至第四预设频率,得到频率调整后的图层合成触发信号。
执行模块1105还用于确定当前时刻与第二时刻之间的第二时间差是否大于等于第二预设时间差阈值;第二时刻为当前时刻的图层合成触发信号指示的下一个触发时刻;若第二时间差大于等于第二时间差阈值,则在第二时刻前按照调整后的图层合成触发信号执行图像合成流程。
在一个实施例中,上述第二时间差阈值为调整后的图层合成触发信号一个周期的时长。
在一个实施例中,上述若第二预设频率高于第四预设频率;上述显示参数的调整装置还包括:删除模块1106,其中:
删除模块1106用于在buffer queue中存储的待合成图层数据的数量超过bufferqueue中的存储队列可存储的数据的数量时,按照待合成图层数据在buffer queue中存储的顺序从前至后依次删除待合成图层数据,直至buffer queue中存储的待合成图层数据的数量不超过buffer queue中的存储队列的数量。
在一个实施例中,上述第一预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述第三预设频率为电子设备所支持的最高显示刷新率。
在一个实施例中,上述操作为滑动操作,上述第一确定模块1102具体用于响应于接收的滑动操作,确定电子设备的当前场景是否为所述预设场景;所述预设场景包括列表类场景。
在一个实施例中,上述操作为点击操作,上述第一确定模块1102具体用于响应于接收到的点击操作,确定所述电子设备的场景是否为所述预设场景;所述预设场景为预存在场景列表中的场景。
本实施例提供的显示参数的调整装置,用于执行上述实施例的显示参数的调整方法,技术原理和技术效果相似,此处不再赘述。
本申请实施例提供一种电子设备,结构参见图3。电子设备的存储器可用于存储至少一个程序指令,处理器用于执行至少一个程序指令,以实现上述方法实施例的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
本申请实施例提供一种芯片。芯片包括处理器,处理器用于与存储器耦合,并执行存储器中的计算机程序,以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似,此处不再赘述。
本申请实施例提供一种计算机程序产品,当所述计算机程序产品在电子设备运行时,使得所述电子设备执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似,此处不再赘述。
本申请实施例提供一种计算机可读存储介质,其上存储有程序指令,所述程序指令被电子设备执行时,使得所述电子设备执行上述实施例的技术方案。其实现原理和技术效果与上述相关实施例类似,此处不再赘述。综上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (24)

1.一种显示参数的调整方法,其特征在于,应用于电子设备,所述电子设备包含有触摸屏,所述方法包括:
接收用户通过所述触摸屏输入的操作;
响应于接收所述操作,确定电子设备的场景是否为预设场景;
若是所述预设场景时,确定当前时刻的显示触发信号的频率是否为第一预设频率;所述显示触发信号用于触发图像显示的处理流程;
若所述当前时刻的显示触发信号的频率不为所述第一预设频率且所述当前时刻的显示触发信号的频率小于所述第一预设频率,将所述当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号;
确定所述当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,所述第一时刻为所述当前时刻的显示触发信号指示的下一个触发时刻;
若所述第一时间差大于等于所述第一预设时间差阈值,则在所述第一时刻前按照所述调整后的显示触发信号执行所述图像显示的处理流程。
2.根据权利要求1所述的方法,其特征在于,所述图像显示的处理流程包括绘制渲染流程,所述显示触发信号包括应用绘制渲染触发信号;所述应用绘制渲染触发信号用于触发所述绘制渲染流程;
所述将所述当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号,包括:
将当前时刻的应用绘制渲染触发信号的频率提高至所述第二预设频率,得到调整后的应用绘制渲染触发信号;
对应的,所述按照所述调整后的显示触发信号执行所述图像显示的处理流程,包括:
按照所述调整后的应用绘制渲染触发信号执行所述绘制渲染流程。
3.根据权利要求2所述的方法,其特征在于,所述第一预设时间差阈值为频率调整后的应用绘制渲染触发信号一个周期的时长。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述图像显示的处理流程包括图像合成流程,所述显示触发信号还包括图层合成触发信号;所述图层合成触发信号用于触发所述图层合成流程;
所述将所述当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号,包括:
将当前时刻的图层合成触发信号的频率提高至所述第二预设频率,得到调整后的图层合成触发信号;
对应的,所述按照所述调整后的显示触发信号执行所述图像显示的处理流程,包括:
按照所述调整后的图层合成触发信号执行所述图层合成流程。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一预设频率为所述电子设备所支持的最高显示刷新率,且所述第二预设频率为所述电子设备所支持的最高显示刷新率。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述第一预设频率为所述预设场景的最高刷新率,且所述第二预设频率为所述预设场景的最高刷新率。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述第一预设频率为所述预设场景的最高刷新率,且不是所述电子设备所支持的最高显示刷新率,所述第二预设频率为所述电子设备所支持的最高显示刷新率。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述在所述第一时刻前按照所述调整后的显示触发信号执行所述图像显示的处理流程,包括:
在所述第一时刻前第一时段的时刻按照所述调整后的显示触发信号执行所述图像显示的处理流程;所述第一时段为至少一个所述第一预设频率的周期时长,或者,所述第一时段为至少一个所述第二预设频率的周期时长。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述在所述第一时刻前按照所述调整后的显示触发信号执行所述图像显示的处理流程之后,所述方法还包括:
在所述第一时刻后,将所述显示触发信号的频率调整为所述第一预设频率。
10.根据权利要求1-9任一项所述的方法,其特征在于,当所述图像显示的处理流程为绘制渲染流程,所述显示触发信号为应用绘制渲染触发信号,所述按照所述调整后的显示触发信号执行所述图像显示的处理流程之后,所述方法还包括:
确定当前时刻的图层合成触发信号的频率是否为第三预设频率;所述图层合成触发信号用于触发图层合成流程;
若所述当前时刻的图层合成触发信号的频率不为所述第三预设频率,且所述当前时刻的图层合成触发信号的频率小于所述第三预设频率,将所述当前时刻的图层合成触发信号的频率提高至第四预设频率,得到调整后的图层合成触发信号;
确定当前时刻与第二时刻之间的第二时间差是否大于等于第二预设时间差阈值;所述第二时刻为所述当前时刻的图层合成触发信号指示的下一个触发时刻;
若所述第二时间差大于等于所述第二时间差阈值,则在所述第二时刻前按照调整后的图层合成触发信号执行所述图像合成流程。
11.根据权利要求10所述的方法,其特征在于,所述第二时间差阈值为所述调整后的图层合成触发信号一个周期的时长。
12.根据权利要求10或11所述的方法,其特征在于,若所述第二预设频率高于所述第四预设频率;所述方法还包括:
在buffer queue中存储的待合成图层数据的数量超过所述buffer queue中的存储队列可存储的数据的数量时,按照所述待合成图层数据在所述buffer queue中存储的顺序从前至后依次删除所述待合成图层数据,直至所述buffer queue中存储的待合成图层数据的数量不超过所述buffer queue中的存储队列的数量。
13.根据权利要求10-12任一项所述的方法,其特征在于,所述第一预设频率为所述电子设备所支持的最高显示刷新率。
14.根据权利要求10-13任一项所述的方法,其特征在于,所述第三预设频率为所述电子设备所支持的最高显示刷新率。
15.根据权利要求1-14任一项所述的方法,其特征在于,所述操作包括滑动操作,所述响应于接收所述操作,确定电子设备的场景是否为预设场景,包括:
响应于接收的滑动操作,确定电子设备的当前场景是否为所述预设场景;所述预设场景包括列表类场景。
16.根据权利要求1-14任一项所述的方法,其特征在于,所述操作包括点击操作,所述响应于接收所述操作,确定电子设备的场景是否为预设场景,包括:
响应于接收到的点击操作,确定所述电子设备的场景是否为所述预设场景;所述预设场景为预存在场景列表中的场景。
17.根据权利要求1-16任一项所述的方法,其特征在于,所述电子设备包括应用程序模块、窗口管理模块、场景识别模块和帧率控制模块;
所述应用程序模块接收通过所述触摸屏输入的操作,并响应于所述操作,向窗口管理模块发送窗口数据;
所述窗口管理模块将获取到的窗口数据发送给所述场景识别模块;
所述场景识别模块获取预设的场景信息列表,并将接收到的窗口数据与所述预设的场景信息列表进行比对,确定所述电子设备的场景;
所述场景识别模块向所述帧率控制模块发送通知消息,所述通知消息中携带有所述电子设备的场景对应的标识;
所述帧率控制模块将所述通知消息指示的场景与预存的场景列表进行比较,当所述通知消息指示的场景在所述预存的场景列表中时,确定所述通知消息指示的场景为预设场景;
所述帧率控制模块确定当前时刻的显示触发信号的频率是否为第一预设频率,并在所述当前时刻的显示触发信号的频率不为所述第一预设频率且所述当前时刻的显示触发信号的频率小于所述第一预设频率的情况下,将所述当前时刻的显示触发信号的频率提高至第二预设频率,得到频率调整后的显示触发信号;
所述帧率控制模块确定所述当前时刻与第一时刻之间的第一时间差是否大于等于第一预设时间差阈值,并在所述第一时间差大于等于所述第一预设时间差阈值的情况下,在所述第一时刻前发送所述调整后的显示触发信号。
18.根据权利要求17所述的方法,其特征在于,所述电子设备还包括应用绘制渲染模块;所述显示触发信号包括应用绘制渲染触发信号;
所述帧率控制模块在第一时刻前向所述应用绘制渲染模块发送调整后的应用绘制渲染触发信号;
所述应用绘制渲染模块接收到应用绘制渲染触发信号时执行绘制渲染流程。
19.根据权利要求18所述的方法,其特征在于,所述帧率控制模块在第一时刻前按照调整后的频率向所述应用绘制渲染模块发送所述调整后的应用绘制渲染触发信号。
20.根据权利要求17-19任一项所述的方法,其特征在于,所述电子设备还包括图层合成模块,所述显示触发信号还包括图层合成触发信号;
所述帧率控制模块在第一时刻前向所述图层合成模块发送调整后的图层合成触发信号;
所述图层合成模块接收到图层合成触发信号时执行图层合成流程。
21.根据权利要求20所述的方法,其特征在于,所述帧率控制模块在第一时刻前按照调整后的频率向所述图层合成模块发送所述调整后的图层合成触发信号。
22.一种电子设备,其特征在于,所述电子设备包括处理器,所述处理器用于与存储器耦合,并读取存储器中的指令并根据所述指令使得所述电子设备执行如权利要求1至21中任一项所述的方法。
23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至21中任一项所述的方法。
24.一种芯片,其特征在于,所述芯片包括处理器,所述处理器用于与存储器耦合,并执行存储器中的计算机程序,以执行如权利要求1至21中任一项所述的方法。
CN202110876250.1A 2021-07-30 2021-07-30 显示参数的调整方法、电子设备、芯片及可读存储介质 Pending CN115686403A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110876250.1A CN115686403A (zh) 2021-07-30 2021-07-30 显示参数的调整方法、电子设备、芯片及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110876250.1A CN115686403A (zh) 2021-07-30 2021-07-30 显示参数的调整方法、电子设备、芯片及可读存储介质

Publications (1)

Publication Number Publication Date
CN115686403A true CN115686403A (zh) 2023-02-03

Family

ID=85060027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110876250.1A Pending CN115686403A (zh) 2021-07-30 2021-07-30 显示参数的调整方法、电子设备、芯片及可读存储介质

Country Status (1)

Country Link
CN (1) CN115686403A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204149A (zh) * 2023-05-06 2023-06-02 南京极域信息科技有限公司 一种提升Android操作***显示性能的技术

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116204149A (zh) * 2023-05-06 2023-06-02 南京极域信息科技有限公司 一种提升Android操作***显示性能的技术

Similar Documents

Publication Publication Date Title
WO2020253719A1 (zh) 一种录屏方法及电子设备
WO2021175213A1 (zh) 刷新率切换方法和电子设备
WO2020259452A1 (zh) 一种移动终端的全屏显示方法及设备
CN113254120B (zh) 数据处理方法和相关装置
CN115473957B (zh) 一种图像处理方法和电子设备
CN109559270B (zh) 一种图像处理方法及电子设备
WO2022007862A1 (zh) 图像处理方法、***、电子设备及计算机可读存储介质
WO2022257451A1 (zh) 一种显示方法、电子设备及计算机存储介质
WO2023065873A1 (zh) 帧率调整方法、终端设备及帧率调整***
WO2021258814A1 (zh) 视频合成方法、装置、电子设备及存储介质
CN114327127B (zh) 滑动丢帧检测的方法和装置
CN113961157B (zh) 显示交互***、显示方法及设备
CN115048012B (zh) 数据处理方法和相关装置
CN114089932A (zh) 多屏显示方法、装置、终端设备及存储介质
US20230335081A1 (en) Display Synchronization Method, Electronic Device, and Readable Storage Medium
CN114756184A (zh) 协同显示方法、终端设备及计算机可读存储介质
CN112532508B (zh) 一种视频通信方法及视频通信装置
CN116048831B (zh) 一种目标信号处理方法和电子设备
CN116051351B (zh) 一种特效处理方法和电子设备
CN115686403A (zh) 显示参数的调整方法、电子设备、芯片及可读存储介质
CN114691248A (zh) 显示虚拟现实界面的方法、装置、设备和可读存储介质
CN113495733A (zh) 主题包安装方法、装置、电子设备及计算机可读存储介质
CN116700578B (zh) 图层合成方法、电子设备以及存储介质
US12020620B2 (en) Display method, electronic device, and computer storage medium
CN115904184B (zh) 数据处理方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination