CN111356026B - 图像数据处理方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种图像数据处理方法及相关装置，方法包括：检测电子设备的第一待显示图像集合中是否存在预设格式的第一图层；若存在，则将第一图层的图像数据通过第一数据通道送往图像数据处理模块，通过图像数据处理模块对第一图层的图像数据进行插帧处理，得到第一目标数据；将第一待显示图像集合中第二图层的图像数据通过第二数据通道送往图像数据处理模块，通过图像数据处理模块对第二图层的图像数据进行插帧处理，得到第二目标数据；对第一目标数据和第二目标数据进行合并处理，得到第一待显示图像集合对应的目标显示图像集合。本申请实施例有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。

Description

图像数据处理方法及相关装置

技术领域

本申请涉及电子设备技术领域，具体涉及一种图像数据处理方法及相关装置。

背景技术

运动估计和运动补偿(Motion Estimation&Motion Compensation，MEMC)是一种视频插帧的实现算法，运动补偿是一种描述相邻帧差别的方法，具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去。这种方法经常被视频压缩/视频编解码器用来减少视频序列中的空域冗余。它也可以用来进行去交织(deinterlacing)与以及运动插值(motion interpolation)的操作。MEMC技术的优势包括：消除运动抖动、消除运动拖尾、对角线补偿：重显斜线图像信息时，消除了阶梯状的轮廓、清晰度增强：恢复原汁原味的边际轮廓定义。

发明内容

本申请实施例提供了一种图像数据处理方法及相关装置，以期改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。

第一方面，本申请实施例提供了一种图像数据处理方法，应用于电子设备，所述电子设备包括图像数据处理模块，所述方法包括：

检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；

若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；

将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；

对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

第二方面，本申请实施例提供了一种图像数据处理装置，应用于电子设备，所述电子设备包括图像数据处理模块，所述装置包括处理单元和通信单元，其中，

所述处理单元用于，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；

若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；

将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；

对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层，则将该第一待显示图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道，送往该电子设备的图像数据处理模块分别进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将第一图层的图像数据和第二图层的图像数据分别进行插帧处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的硬件结构示意图；

图1B是本申请实施例提供的一种电子设备的软件***结构示意图；

图2A是本申请实施例提供的一种图像数据处理方法的流程示意图；

图2B是一种电子设备视频播放界面示例示意图；

图3是本申请实施例提供的另一种图像数据处理方法的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种图像数据处理装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。

目前，市场上现存的插帧算法，是直接对整个显示输出做插帧，当显示输出中同时存在弹幕和视频时，弹幕受到插帧算法的影响，会出现色块异常。

针对上述问题，本申请实施例提供一种图像数据处理方法和相关产品，下面结合附图对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例所提供的电子设备的硬件结构示意图，所述电子设备包括数据管道(如专为视频YUV数据提供的数据管道VIG)、显示图层后处理单元DSPP0、显示图层后处理单元DSPP1、显示压缩器DSC0、显示压缩器DSC1、显示通信接口DSI0、显示通信接口DSI0、图像数据处理模块和显示器(如液晶显示器LCD)。基于上述结构，所述电子设备能实现本申请实施例提供的图像数据处理方法，针对视频应用中弹幕图层数据和视频图层数据的处理，数据管道、DSPP1、DSC1和DSI1属于第一数据通道，数据管道、DSPP0、DSC0和DSI0属于第二数据通道，分别将两图层的数据通过不同的数据通道进行处理，DSI1将弹幕图层数据送往图像数据处理模块，通过DSI0将视频图层数据送往图像数据处理模块，最终通过显示器完成画面显示。

请参阅图1B，图1B是本申请实施例所提供的电子设备的软件***结构示意图，所述电子设备包括视频应用、名单和前端策略模块、SurfaceFlinger模块、HWC模块和显示驱动Display Driver。其中，视频应用可提供打开弹幕通知，名单和前端策略模块可向下传送功能选择、帧率检测、分层检测、弹框检测、电量检测、开关控制等信息，SurfaceFlinger是一套管理显示设备的服务代码，HWC是控制显示的中间件代码。基于上述结构，所述电子设备能实现本申请实施例提供的图像数据处理方法，举例来说，视频应用中包括视频图层和弹幕图层，视频应用打开弹幕时，将发送打开弹幕通知到***底层，在SurfaceFlinger模块接收到该打开弹幕通知后，识别图层中是否存在RGBA8888的图层，若存在RGBA8888的图层，可通过HWC模块控制对图层分层进行处理，分别将RGBA8888的图层和视频送往两路进行处理，若不存在分层，则直接将所有数据送往一路进行处理。

请参阅图2A，图2A是本申请实施例提供的一种图像数据处理方法的流程示意图，如图所示，本图像数据处理方法包括：

步骤201，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；

其中，第一待显示图像集合可以是电子设备待显示的视频，预设格式的第一图层可以是RGBA8888图层，预设格式的第一图层的显示内容可以是视频弹幕。

具体实现中，电子设备中的视频应用打开弹幕时，会发送弹幕打开通知到***底层。电子设备可以在***底层接收到视频应用发送的弹幕打开通知后，再检测电子设备的第一待显示图像集合中是否存在预设格式的第一图层，如果存在，则执行步骤201、202、203和204，如果不存在，则直接将该第一图像集所有图层的图像数据通过第二数据通道送往图像数据处理模块进行插帧处理。

步骤202，若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；

步骤203，将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据；

其中，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层。

步骤204，对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

举例来说，请参见图1A，在步骤202、203和204中，第二数据通道包括显示图层后处理单元0、显示压缩器0和显示通信接口0，第一数据通道包括显示后处理单元1、显示压缩器1和显示通信接口1，图1A中虚线表示预设格式的第一图层的图像数据例如视频弹幕图层的图像数据，实线表示第二图层的图像数据例如视频画面图层的图像数据。

以预设格式的第一图层中待显示内容为视频弹幕、第二图层待显示内容为视频画面为例，在检测到第一待显示图像集合中存在预设格式的第一图层即视频弹幕图层后，将视频弹幕的图像数据通过数据管道送到显示后处理单元1和显示压缩器1，进行常规的图像数据处理操作后，通过显示通信接口1送往图像数据处理模块进行插帧处理，将视频画面的图像数据通过数据管道送到显示后处理单元0和显示压缩器0，进行常规的图像数据处理操作后，通过显示通信接口0送往图像数据处理模块进行插帧处理，数据流向如图1A中箭头所示。

分别对视频弹幕和视频画面的图像数据进行插帧处理，得到第一目标数据和第二目标数据后，可以通过该图像数据处理模块将数据进行合并处理，例如将插帧后的视频弹幕和视频画面进行透明度融合，最终得到插帧处理后输出给电子设备的显示屏进行显示的图像，即第一待显示图像集合对应的目标显示图像集合。

可以看出，本申请实施例中，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层，则将该第一待显示图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道，送往该电子设备的图像数据处理模块分别进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将第一图层的图像数据和第二图层的图像数据分别进行插帧处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题

在一个可能的示例中，所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据，包括：将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，包括：将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。

具体实现中，考虑到用户对于不同的显示内容的要求不同，例如对于视频画面的帧率要求一般高于对弹幕的帧率要求，故可以针对不同的画面内容采用不同的插帧帧率进行插帧处理。例如，预设格式的第一图层的显示内容是视频弹幕，第二图层的显示内容是视频画面，可以采用第二插帧帧率对视频画面的图像数据做处理，以使得处理后的视频画面更加流畅，而弹幕采用低于第一插帧帧率的第二插帧帧率处理，由于用户对弹幕帧率要求不高，故不会影响用户的观看体验，采用较低的插帧帧率还可以减少***功耗。

可见，本示例中，采用第一插帧帧率对预设格式的第一图层的图像数据进行插帧处理，采用第二插帧帧率对所述第二图层的图像数据进行插帧处理，且第一插帧帧率低于第二插帧帧率，有利于减少***功耗。

在一个可能的示例中，所述第一插帧帧率通过如下操作确定：确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。

具体实现中，预设的移动速度与插帧帧率的关系可以根据移动速度越高对应的插帧帧率越高的关系进行设置。以视频弹幕为例，例如，0～0.5厘米每秒的弹幕移动速度对应的插帧帧率为3fps，0.5～1厘米每秒的弹幕移动速度对应的插帧帧率为6fps，若检测到弹幕移动速度为0.2厘米每秒，则第一插帧帧率为3fps，若检测到弹幕移动速度为0.6厘米每秒，则第一插帧帧率为6fps。

可见，本示例中，先确定预设格式的第一图层中的待显示对象的移动速度，再根据该待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率，有利于提高第一插帧帧率确定的准确性。

在一个可能的示例中，所述第二插帧帧率通过如下操作确定：确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。

具体实现中，考虑到不同电子设备的最大屏幕刷新率可能存在不同，若第二插帧帧率过低，处理后的图像帧率低于屏幕最大刷新率，则无法达到最佳显示效果，若第二插帧帧率过高，处理后的图像帧率高于屏幕最大刷新率，并不会达到更佳的显示效果，造成了功耗的浪费。根据不同的电子设备的最大屏幕刷新率确定第二插帧帧率，有利于得到更佳的显示效果。以电子设备的最大屏幕刷新率为50hz、插帧处理前的图像帧率为45fps为例，此时可以确定第二插帧帧率为5fps，采用第二插帧帧率处理后的图像帧率为50fps，即每秒50帧图像，与电子设备每秒刷新50次的最大屏幕刷新率相匹配。

可见，本示例中，先确定电子设备的最大屏幕刷新率，再根据该最大屏幕刷新率确定第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配，有利于提高第二插帧帧率确定的灵活性。

在一个可能的示例中，所述方法还包括：检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。

具体实现中，考虑到插帧帧率越高，***的功耗就越高的问题，在电子设备的电量较低的时候，可以降低对图像数据进行插帧处理的插帧帧率，以较少***的功耗，由于用户对于视频弹幕的要求低于对视频画面的要求，可以首先降低对视频弹幕进行插帧处理时采用的第一插帧帧率，在电量更低的情况下，才降低对视频画面进行插帧处理时采用的第二插帧帧率，例如在电子设备电量剩余20％时，降低第一插帧帧率，在电子设备电量剩余10％时，再降低第二插帧帧率。

可见，本示例中，检测电子设备剩余电量，在剩余电量低于第一预设阈值时，调低第一插帧帧率，在剩余电量低于第二预设阈值时，调低第一插帧帧率和第二插帧帧率，有利于减少***功耗。

在一个可能的示例中，所述方法还包括：检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。

具体实现中，视频播放时可以对弹幕的显示区域进行设置，例如可以设置弹幕的显示区域为显示屏的顶部区域或者是显示屏的底部区域，同时由于视频的画面尺寸的不同，或者由于相同的视频画面尺寸在不同显示屏上显示等原因，不同场景下视频在显示屏中的显示区域存在不同，可能视频的显示区域只在显示屏的中部，而显示屏的顶部和底部区域则无视频画面，故视频播放场景中，可能存在视频的显示区域与弹幕的显示区域并不重合的情况，如图2B所示，由于视频画面的尺寸问题，视频画面的显示区域为显示屏的中部区域，显示屏中黑色区域无视频画面内容，而弹幕的显示区域经设置可只为显示屏上方的黑色区域，弹幕显示区域与视频画面的显示区域并不存在重合，此时则无需分别对不同图层进行插帧处理，可直接将整个显示界面的数据送往图像数据处理模块进行插帧处理。

可见，本示例中，在检测到电子设备的第二待显示图像集合中存在预设格式的第三图层后，再判断该第三图层中待显示内容的显示区域，与第四图层中待显示内容的显示区域是否存在重合区域，如果不存在重合区域，则直接将该第二待显示图像集合中所有图层的图像数据通过第二数据通道送往图像数据处理模块进行处理，有利于减少***功耗。

在一个可能的示例中，所述预设格式的第一图层的图层类型包括滚动弹幕图层。

具体实现中，考虑到弹幕的类型包括固定弹幕和滚动弹幕，滚动弹幕在显示界面中的位置会发生改变，而固定弹幕在显示时，在显示界面中的位置并不会发生改变，故可对滚动弹幕图层做插帧处理，将插帧处理后的滚动弹幕图层的图像数据与插帧处理后的其他图层的图像数据进行合并处理，若预设格式的第一图层的图层类型为固定弹幕图层，则无插帧处理的必要，可直接将固定弹幕图层的图像数据与插帧处理后的其他图层的图像数据进行合并处理。

可见，本示例中，预设格式的第一图层的图层类型包括滚动弹幕图层，将滚动弹幕图层通过第一数据通道送往图像数据处理模块进行插帧处理，而固定弹幕图层则无需进行插帧处理，有利于减少***功耗。

与上述图2A所示的实施例一致的，请参阅图3，图3是本申请实施例提供的另一种图像数据处理方法的流程示意图，如图所示，所述图像数据处理方法包括以下步骤：

步骤301，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；

步骤302，若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；

步骤303，将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；

其中，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。

步骤304，对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

可以看出，本申请实施例中，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层则将该第一图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道送往该电子设备的图像数据处理模块，分别采用第一插帧帧率和第二插帧帧率进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将预设格式的第一图层的图像数据和第二图层的图像数据分别进行插帧处理，且预设格式的第一图层的图像数据采用相对较低的插帧帧率进行处理，第二图层的图像数据采用相对较高的插帧帧率进行处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题，减少***用于插帧处理的功耗。

与上图2A、图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，如图所示，所述电子设备400包括应用处理器410、存储器420、通信接口430以及一个或多个程序421，其中，所述一个或多个程序421被存储在上述存储器420中，且被配置由上述应用处理器410执行，所述一个或多个程序421包括用于执行上述方法实施例中任一步骤的指令。

在一个可能的示例中，所述程序421中的指令用于执行以下操作：

检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；

若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；

将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；

对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

可以看出，本申请实施例所描述的电子设备，先检测电子设备的第一待显示图像集合是否存在预设格式的第一图层，若存在该预设格式的第一图层，则将该第一待显示图像集中第一图层的图像数据和第二图层的图像数据，分别通过第一数据通道和第二数据通道，送往该电子设备的图像数据处理模块分别进行插帧处理，最后再将分别插帧处理后得到的第一目标数据和第二目标数据进行合并处理，得到该第一待显示图像集合对应的目标显示图像集合，由于将第一图层的图像数据和第二图层的图像数据分别进行插帧处理，故有利于改善弹幕和视频共存的视频场景中，弹幕图层存在色块异常的问题。

在一个可能的示例中，在所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据方面，所述程序421中的指令具体用于执行以下操作：将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；在所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据方面，所述程序421中的指令具体用于执行以下操作：将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。

在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。

在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。

在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。

在一个可能的示例中，所述程序421中还包括用于执行以下操作的指令：检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。

在一个可能的示例中，所述预设格式的第一图层的图层类型包括滚动弹幕图层。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述各个步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图5是本申请实施例提供的一种图像数据处理装置的功能单元组成框图。该图像数据处理装置500应用于电子设备，所述电子设备包括图像数据处理模块，所述电子设备根据图像数据处理方法进行图像数据处理，所述图像数据处理装置包括处理单元501和通信单元502，其中，所述处理单元501，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元502来完成相应操作。下面进行详细说明。

所述处理单元501，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层；若所述第一待显示图像集合中存在所述预设格式的第一图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

在一个可能的示例中，在将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据方面，所述处理单元501具体用于，将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；在所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据方面，所述处理单元501具体用于，将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。

在一个可能的示例中，所述处理单元501还用于，确定所述预设格式的第一图层中的待显示对象的移动速度；根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。

在一个可能的示例中，所述处理单元501还用于，确定所述电子设备的最大屏幕刷新率；根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。

在一个可能的示例中，所述处理单元501还用于，检测所述电子设备剩余电量；在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；其中，所述第一预设阈值大于所述第二预设阈值。

在一个可能的示例中，所述处理单元501还用于，检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。

在一个可能的示例中，所述预设格式的第一图层的图层类型包括滚动弹幕图层。

其中，所述图像数据处理装置500还可以包括存储单元503，用于存储电子设备的程序代码和数据。所述处理单元501可以是处理器，所述通信单元502可以是触控显示屏或者收发器，存储单元503可以是存储器。

可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本申请中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图像数据处理方法，其特征在于，应用于电子设备，所述电子设备包括图像数据处理模块，所述方法包括：

检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层，所述第一图层的图层类型包括滚动弹幕图层或固定弹幕图层；

若所述第一待显示图像集合中存在所述预设格式的第一图层，且所述第一图层的图层类型为滚动弹幕图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；

将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；

对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合；

若所述第一待显示图像集合中存在所述预设格式的第一图层，且所述第一图层的图层类型为固定弹幕图层，则直接将所述第一图层的图像数据与插帧处理后其他图层的图像数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据，包括：

将所述第一图层的图像数据，通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据采用第一插帧帧率进行插帧处理，得到第一目标数据；

所述将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，包括：

将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据采用第二插帧帧率进行插帧处理，得到第二目标数据；

其中，所述第一插帧帧率低于所述第二插帧帧率；所述插帧帧率越高，插帧处理后的图像帧率越高。

3.根据权利要求2所述的方法，其特征在于，所述第一插帧帧率通过如下操作确定：

确定所述预设格式的第一图层中的待显示对象的移动速度；

根据所述待显示对象的移动速度，以及预设的移动速度与插帧帧率的关系确定所述第一插帧帧率。

4.根据权利要求2所述的方法，其特征在于，所述第二插帧帧率通过如下操作确定：

确定所述电子设备的最大屏幕刷新率；

根据所述最大屏幕刷新率确定所述第二插帧帧率，以使得采用第二插帧帧率处理后的图像帧率与所述最大屏幕刷新率相匹配。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

检测所述电子设备剩余电量；

在所述剩余电量低于第一预设阈值时，调低所述第一插帧帧率；

在所述剩余电量低于第二预设阈值时，调低所述第一插帧帧率和所述第二插帧帧率；

其中，所述第一预设阈值大于所述第二预设阈值。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

检测所述电子设备的第二待显示图像集合中是否存在预设格式的第三图层；

若所述第二待显示图像集合中存在所述预设格式的第三图层，则判断所述第三图层中待显示内容的显示区域，与所述第二待显示图像集合的第四图层中待显示内容的显示区域是否存在重合区域，所述第四图层为所述第二待显示图像集合中除所述预设格式的第三图层以外的图层；

若否，则将所述第二待显示图像集合中所有图层的图像数据，通过所述第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二待显示图像集合中所有图层的图像数据进行插帧处理，得到所述第二待显示图像集合对应的目标显示图像集合。

7.一种图像数据处理装置，其特征在于，应用于电子设备，所述电子设备包括图像数据处理模块，所述装置包括处理单元和通信单元，其中，

所述处理单元用于，检测所述电子设备的第一待显示图像集合中是否存在预设格式的第一图层，所述第一图层的图层类型包括滚动弹幕图层或固定弹幕图层；

若所述第一待显示图像集合中存在所述预设格式的第一图层，且所述第一图层的图层类型为滚动弹幕图层，则将所述第一图层的图像数据通过第一数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第一图层的图像数据进行插帧处理，得到第一目标数据；

将所述第一待显示图像集合中第二图层的图像数据通过第二数据通道送往所述图像数据处理模块，通过所述图像数据处理模块对所述第二图层的图像数据进行插帧处理，得到第二目标数据，所述第二图层为所述第一待显示图像集合中除所述预设格式的第一图层以外的图层；

对所述第一目标数据和所述第二目标数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合；

若所述第一待显示图像集合中存在所述预设格式的第一图层，且所述第一图层的图层类型为固定弹幕图层，则直接将所述第一图层的图像数据与插帧处理后其他图层的图像数据进行合并处理，得到所述第一待显示图像集合对应的目标显示图像集合。

8.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。

9.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。

Images