CN106331831B - 图像处理的方法及装置 - Google Patents

Abstract

本发明涉及一种图像处理的方法及装置，所述方法包括：判断显示屏显示的图像是否为静止图像；若是，则利用图形处理器GPU进行所述图像的图层处理，若否，则利用硬件图层混合器HWC进行所述图像的图层处理。本发明可有效降低图像显示时的功耗。

Description

图像处理的方法及装置

技术领域

本发明涉及终端显示领域，特别是涉及一种图像处理的方法及装置。

背景技术

手机等智能终端的显示界面通常有多个显示图层(layer)，比如手机的桌面就有状态栏、背景图像、图标等图层。

采用Android等***的智能终端合成图层并显示时，主要是调用OpenGL进行合成显示，这通常会导致GPU的任务繁重并增加耗电量，从而严重影响智能终端的续航能力及运行性能。因此，通常Android等***的智能终端均支持硬件合成HWC(Hardware Composer，硬件合成)，图层直接通过这种硬件合成(HWC)，无须传递到内存即可直接显示到终端界面上，这样，可以解放GPU去做其他的图形处理工作，提升智能终端的续航能力及运行性能。

但如果终端显示的画面全部使用HWC，相应的硬件会一直处于工作状态，从而产生额外功耗，并降低相应硬件的使用期限。

发明内容

基于此，有必要提供一种图像处理的方法及装置，降低图像显示时的功耗。

一种图像处理的方法，所述方法包括：

判断显示屏显示的图像是否为静止图像；

若是，则利用图形处理器GPU进行所述图像的图层处理，若否，则利用硬件图层混合器HWC进行所述图像的图层处理。

在其中一个实施例中，所述方法还包括：对所述显示的图像进行刷新。

在其中一个实施例中，所述判断显示屏显示的图像是否为静止图像，包括：

检测预设时长内是否有图像传输至显示控制器；

若否，则确定所述显示屏显示的图像为静止图像。

在其中一个实施例中，所述对所述显示的图像进行刷新，包括：

显示控制器将图层处理后得到的图像传输至所述显示屏；

所述显示屏显示接收到的所述图层处理后得到的图像。

在其中一个实施例中，所述显示屏工作于视频模式下。

以上所述图像处理的方法中，当显示屏显示的图像为动态图像时，则利用硬件图层混合器HWC进行图像的图层处理，减少图形处理器GPU的任务量，避免图形处理器GPU重复拷贝内存，降低动态图像处理过程中的功耗；如果显示的图像切换为显示静止图像时，则停止硬件图层混合器HWC的工作，利用图形处理器GPU进行图像的图层处理，由于是显示静止图像所以不需要对内存进行重复读写，因此，可有效降低静止图像处理过程中的功耗。

一种图像处理的装置，所述装置包括：

判断模块，用于判断显示屏显示的图像是否为静止图像；

处理模块，用于在所述判断模块判断显示屏显示的图像为静止图像时，利用图形处理器GPU进行所述图像的图层处理，否则，利用硬件图层混合器HWC进行所述图像的图层处理。

在其中一个实施例中，所述装置还包括：

刷新模块，用于对所述显示的图像进行刷新。

在其中一个实施例中，所述判断模块包括：

检测模块，用于检测预设时长内是否有图像传输至显示控制器；

确定模块，用于在所述检测模块检测在预设时长内没有图像传输至显示控制器时，确定所述显示屏显示的图像为静止图像。

在其中一个实施例中，所述刷新模块包括：

传输模块，用于通过显示控制器将图层处理后得到的图像传输至所述显示屏；

显示模块，用于通过所述显示屏显示接收到的所述图层处理后得到的图像。

在其中一个实施例中，所述显示屏工作于视频模式下。

以上所述图像处理的装置中，当显示屏显示的图像为动态图像时，则利用硬件图层混合器HWC进行图像的图层处理，减少图形处理器GPU的任务量，避免图形处理器GPU重复拷贝内存，降低动态图像处理过程中的功耗；如果显示的图像切换为显示静止图像时，则停止硬件图层混合器HWC的工作，利用图形处理器GPU进行图像的图层处理，由于是显示静止图像所以不需要对内存进行重复读写，因此，可有效降低静止图像处理过程中的功耗。

附图说明

图1为一实施例的图像处理的方法的流程示意图；

图2为一实施例的图像处理装置的结构示意图；

图3为另一实施例的图像处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一实施例的图像处理的方法包括步骤S120至步骤S160。

步骤S120，判断显示屏显示的图像是否为静止图像；

步骤S140，若为静止图像，则利用图形处理器GPU进行图像的图层处理；

步骤S160，若为动态图像，则利用硬件图层混合器HWC进行图像的图层处理。

以上所述图像处理的方法中，当显示屏显示的图像为动态图像时，则利用硬件图层混合器HWC进行图像的图层处理，减少图形处理器GPU的任务量，避免图形处理器GPU重复拷贝内存，降低动态图像处理过程中的功耗；如果显示的图像切换为显示静止图像时，则停止硬件图层混合器HWC的工作，利用图形处理器GPU进行图像的图层处理，不需要对内存进行重复读写，因此，可有效降低静止图像处理过程中的功耗。

智能终端如智能手机显示的图像中具有多个显示图层，通常显示的界面中包括状态栏、背景图像、图标等图层，***如果均利用图形处理器GPU进行图像的图层处理，会加重图形处理器GPU的任务量，从而提升功耗。通常智能终端安装的***均支持HWC硬件合成机制，因此，可以利用硬件图层混合器HWC进行图像的图层处理，降低图形处理器GPU的任务量。这种处理方式在图像为动态图像时，利用硬件图层混合器HWC进行图像的图层处理可有效降低功耗，但如果图像为静止图像，由于需要重复合成相同图像的图层，明显不利于降低功能，此时，可以选择利用图形处理器GPU进行图像图层的处理，进一步降低显示静止图像的功耗。

以上图层处理包括图层的叠加、合成等。

具体的，步骤S120判断显示屏显示的图像是否为静止图像，包括：

检测预设时长内是否有图像传输至显示控制器；

若否，则确定所述显示屏显示的图像为静止图像。

在本实施例中可以建立一个检测线程，用来检测显示图像的刷新率，这个刷新率的检测功能是通过上层软件(检测线程)做出的判断，因为图像静止的情况下，上层不会往驱动层(显示控制器)更新数据，通过监控数据更新接口就能够知道显示的图像是否处于静止画面，即这里所述的刷新/更新是指上层软件将数据地址和内容(图像)发送给显示控制器。

当检测到显示图像的刷新率不为0时，确定图像为动态，由HWC进行图层的叠加合成等处理；当检测到显示图像的刷新率降为0时，确定图像静止，将所有显示图层标记为跳过HWC，即停止HWC处理，由GPU进行图层的叠加合成等。

进一步，静止图像利用图形处理器GPU进行图像的图层处理后，或动态图像利用硬件图层混合器HWC进行图像的图层处理后，强制刷新图像一次。具体的，对显示的图像进行刷新时，显示控制器会将图层处理后得到的图像传输至显示屏，显示屏显示接收到的图层处理后得到的图像即可。

可以知道的是，显示控制器、显示屏为智能设备的显示组件，显示屏可以是具有不同的材质柔性或曲面屏等，也可以为具有不同功能的触摸屏等。可以知道的是，显示控制器、显示屏只是可实现本实施例的相关组件，本实施例不限于实现过程中可能涉及的其他相关的组件。

可以知道的是，当由步骤S120判断显示屏显示的图像为静止图像时，会利用图形处理器GPU进行图像的图层处理，当为动态图像时，会利用硬件图层混合器HWC进行图像的图层处理。在显示屏显示的图像由静止图像转换为动态图像，或由动态图像转换为静止图像时，需要切换图形处理器GPU和硬件图层混合器HWC进行图像的图层处理。具体的实现中，在显示屏显示为动态图像时，可以利用硬件图层混合器HWC进行图像的图层处理，当切换为静止图像时，可以将图像包含的图层的相应标记设置为跳过硬件图层混合器HWC，使用图形处理器GPU进行图像的图层处理，当需要切换回动态图像时，恢复图像包含的图层的相应标记即可。

显示器通常支持两种显示方式：基于DSI(DisplaySerialInterface)接口的视频模式Video Mode和基于DCS(DisplayCommandSet)接口的命令模式Command mode。

视频模式与传统RGB接口相似，主机需要持续刷新显示器。不使用专用的数据信号传输同步信息，控制信号和RGB数据是以报文的形式通过MIPI(Mobile IndustryProcessor Interface，移动行业处理器接口)总线传输的。主机需要定期刷新显示器，显示器不需要帧缓冲器。

命令模式是MIPI总线控制器使用显示命令报文向显示器发送像素数据流。显示器有一个全帧长的帧缓冲器存储所有的像素数据。一旦数据被放在显示器的帧缓冲器中，定时控制器就从帧缓冲器中取出数据，并自动把它们显示在屏幕上。因此，MIPI总线控制器不需要定期刷新显示器。

由此，优选的，在本实施例的实现中，显示屏工作于视频模式下。

可以知道的是，本实施例的应用包括各种智能设备，如智能手机、平板等，或者笔记本、台式机等。本实施例的应用不限于本实施例所述的具体内容，还包括通过本实施例的内容以实现具体应用的各种设备。

如图2所示，一实施例的图像处理的装置包括判断模块120和处理模块140。

判断模块120用于判断显示屏显示的图像是否为静止图像；

处理模块140用于在判断模块120判断显示屏显示的图像为静止图像时，利用图形处理器GPU进行图像的图层处理，否则，利用硬件图层混合器HWC进行图像的图层处理。

以上所述图像处理的装置中，当显示屏显示的图像为动态图像时，则利用硬件图层混合器HWC进行图像的图层处理，减少图形处理器GPU的任务量，避免图形处理器GPU重复拷贝内存，降低动态图像处理过程中的功耗；如果显示的图像切换为显示静止图像时，则停止硬件图层混合器HWC的工作，利用图形处理器GPU进行图像的图层处理，不需要对内存进行重复读写，因此，可有效降低静止图像处理过程中的功耗。

智能终端如智能手机显示的图像中具有多个显示图层，通常显示的界面中包括状态栏、背景图像、图标等图层，***如果均利用图形处理器GPU进行图像的图层处理，会加重图形处理器GPU的任务量，从而提升功耗。通常智能终端安装的***均支持HWC硬件合成机制，因此，可以利用硬件图层混合器HWC进行图像的图层处理，降低图形处理器GPU的任务量。这种处理方式在图像为动态图像时，利用硬件图层混合器HWC进行图像的图层处理可有效降低功耗，但如果图像为静止图像，由于需要重复合成相同图像的图层，明显不利于降低功能，此时，可以选择利用图形处理器GPU进行图像图层的处理，进一步降低显示静止图像的功耗。

以上图层处理包括图层的叠加、合成等。

本实施例中，判断模块120包括检测模块和确定模块。检测模块用于检测预设时长内是否有图像传输至显示控制器；确定模块用于在检测模块检测在预设时长内没有图像传输至显示控制器时，确定显示屏显示的图像为静止图像。

在本实施例中可以建立一个检测线程，用来检测显示图像的刷新率，这个刷新率的检测功能是通过上层软件(检测线程)做出的判断，因为图像静止的情况下，上层不会往驱动层(显示控制器)更新数据，通过监控数据更新接口就能够知道显示的图像是否处于静止画面，即这里所述的刷新/更新是指上层软件将数据地址和内容(图像)发送给显示控制器。

当检测到显示图像的刷新率不为0时，确定图像为动态，由HWC进行图层的叠加合成等处理；当检测到显示图像的刷新率降为0时，确定图像静止，将所有显示图层标记为跳过HWC，即停止HWC处理，由GPU进行图层的叠加合成等。

进一步，静止图像利用图形处理器GPU进行图像的图层处理后，或动态图像利用硬件图层混合器HWC进行图像的图层处理后，强制刷新图像一次。具体的，如图3所示，另一实施例的图像处理的装置还包括刷新模块160，用于对显示的图像进行刷新。其中，刷新模块160包括传输模块和显示模块。传输模块用于通过显示控制器将图层处理后得到的图像传输至显示屏；显示模块用于通过显示屏显示接收到的图层处理后得到的图像。

可以知道的是，显示控制器、显示屏为智能设备的显示组件，显示屏可以是具有不同的材质柔性或曲面屏等，也可以为具有不同功能的触摸屏等。可以知道的是，显示控制器、显示屏只是可实现本实施例的相关组件，本实施例不限于实现过程中可能涉及的其他相关的组件。

可以知道的是，当由判断模块120判断显示屏显示的图像为静止图像时，处理模块140会利用图形处理器GPU进行图像的图层处理，当由判断模块120判断显示屏显示的图像为动态图像时，处理模块140会利用硬件图层混合器HWC进行图像的图层处理。在显示屏显示的图像由静止图像转换为动态图像，或由动态图像转换为静止图像时，需要切换图形处理器GPU和硬件图层混合器HWC进行图像的图层处理。具体的实现中，在显示屏显示为动态图像时，可以利用硬件图层混合器HWC进行图像的图层处理，当切换为静止图像时，可以将图像包含的图层的相应标记设置为跳过硬件图层混合器HWC，使用图形处理器GPU进行图像的图层处理，当需要切换回动态图像时，恢复图像包含的图层的相应标记即可。

显示器通常支持两种显示方式：基于DSI(DisplaySerialInterface)接口的视频模式Video Mode和基于DCS(DisplayCommandSet)接口的命令模式Command mode。

视频模式与传统RGB接口相似，主机需要持续刷新显示器。不使用专用的数据信号传输同步信息，控制信号和RGB数据是以报文的形式通过MIPI(Mobile IndustryProcessor Interface，移动行业处理器接口)总线传输的。主机需要定期刷新显示器，显示器不需要帧缓冲器。

命令模式是MIPI总线控制器使用显示命令报文向显示器发送像素数据流。显示器有一个全帧长的帧缓冲器存储所有的像素数据。一旦数据被放在显示器的帧缓冲器中，定时控制器就从帧缓冲器中取出数据，并自动把它们显示在屏幕上。因此，MIPI总线控制器不需要定期刷新显示器。

由此，优选的，在本实施例的实现中，显示屏工作于视频模式下。

可以知道的是，本实施例的应用包括各种智能设备，如智能手机、平板等，或者笔记本、台式机等。本实施例的应用不限于本实施例所述的具体内容，还包括通过本实施例的内容以实现具体应用的各种设备。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理的方法，其特征在于，所述方法包括：

判断显示屏显示的图像是否为静止图像；

若是，则停止硬件图层混合器HWC的工作，利用图形处理器GPU进行所述图像的图层处理，若否，则利用硬件图层混合器HWC进行所述图像的图层处理；

其中，所述判断显示屏显示的图像是否为静止图像，包括：

检测预设时长内是否有图像传输至显示控制器；

若否，则确定所述显示屏显示的图像为静止图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述显示的图像进行刷新。

3.根据权利要求1所述的方法，其特征在于，所述判断显示屏显示的图像是否为静止图像，还包括：

建立一个检测线程，用于检测所述显示图像的刷新率；

当检测到所述显示图像的刷新率不为0时，确定所述显示图像为动态图像；

当检测到所述显示图像的刷新率为0时，确定所述显示图像为静止图像。

4.根据权利要求2所述的方法，其特征在于，所述对所述显示的图像进行刷新，包括：

显示控制器将图层处理后得到的图像传输至所述显示屏；

所述显示屏显示接收到的所述图层处理后得到的图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述显示屏工作于视频模式下。

6.一种图像处理的装置，其特征在于，所述装置包括：

判断模块，用于判断显示屏显示的图像是否为静止图像；

处理模块，用于在所述判断模块判断显示屏显示的图像为静止图像时，停止硬件图层混合器HWC的工作，利用图形处理器GPU进行所述图像的图层处理，否则，利用硬件图层混合器HWC进行所述图像的图层处理；

其中，所述判断模块包括：

检测模块，用于检测预设时长内是否有图像传输至显示控制器；

确定模块，用于在所述检测模块检测在预设时长内没有图像传输至显示控制器时，确定所述显示屏显示的图像为静止图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

刷新模块，用于对所述显示的图像进行刷新。

8.根据权利要求6所述的装置，其特征在于，所述判断模块用于：

建立一个检测线程，用于检测所述显示图像的刷新率；

当检测到所述显示图像的刷新率不为0时，确定所述显示图像为动态图像；

当检测到所述显示图像的刷新率为0时，确定所述显示图像为静止图像。

9.根据权利要求7所述的装置，其特征在于，所述刷新模块包括：

传输模块，用于通过显示控制器将图层处理后得到的图像传输至所述显示屏；

显示模块，用于通过所述显示屏显示接收到的所述图层处理后得到的图像。

10.根据权利要求6至9任一项所述的装置，其特征在于，所述显示屏工作于视频模式下。