CN104010204A - 图像信息处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像信息的处理方法及装置，用以解决采用现有技术中针对WiMo技术所提供的图像信息处理方式，会导致大屏设备的图像显示效果较差的问题。方法包括：安装于移动终端中的图像信息处理模块获得具备WiMo所支持的图像格式的图像信息；其中，所述图像信息是通过对安装于所述移动终端中的应用客户端生成的绘制有图像信息的画布进行转换而得到的；触发所述移动终端对所述图像信息进行发送。

Description

图像信息处理方法及装置

技术领域

本发明涉及无线及终端技术领域，尤其涉及一种图像信息处理方法及装置。

背景技术

移动终端无线多媒体传送协议（WiMo，Wireless Mobile MultimediaTransmission Protocol）技术是基于移动终端与大屏设备之间低时延无线传屏及互动控制协议，而实现移动终端与电视等大屏设备之间的屏幕与声音实时同步的技术。该技术一般以Wi-Fi作为传输手段，可有效扩展移动终端的展现能力，从而实现以移动终端为核心的多屏共享互动。

以安装在移动终端上的某应用客户端为例，目前，利用WiMo技术，将移动终端屏幕所展示的由该应用客户端提供的图像信息，传输到大屏设备上进行显示的实现流程主要包括如图1所示的下述步骤：

步骤11，该应用客户端生成画布（Canvas），并将待显示图像的图像信息绘制在该Canvas上；

步骤12，该应用客户端将绘制有图像信息的Canvas传输给移动终端的处理器，以实现移动终端根据绘制在该Canvas上的图像信息，在移动终端显示屏上对相应的图像进行显示，同时，在显示屏上显示的图像的图像信息会被抓取并存储到移动终端的帧缓存器（frame buffer）中；

其中，由于frame buffer中存储的图像信息是针对移动终端的屏幕所显示的图像进行抓取而得到的，因此，该图像信息所表示的图像的分辨率与移动终端显示屏的分辨率应一致。

步骤13，移动终端的WiMo客户端（该WiMo客户端可以内置于移动终端中，也可以外接于移动终端）从frame buffer中读取其存储的图像信息；

步骤14，WiMo客户端对读取到的图像信息执行视频编码的操作，生成具备WiMo所支持的图像格式的图像信息并发送给大屏设备；

步骤15，大屏设备对接收到的图像信息执行视频解码的操作，得到解码后的图像信息，并对得到的解码后的图像信息进行显示，流程结束。

在上述过程中，由于如手机等移动终端屏幕的图像分辨率仅为480P，因此，在移动终端抓取并存储到frame buffer中的图像信息所对应的图像分辨率也仅为480P。而一般地，如电视等大屏设备屏幕的图像分辨率为1080P。因此，这也就导致大屏设备在图像分辨率为1080P的屏幕上对图像分辨率为480P的图像进行显示，从而会得到非常差的图像显示效果。

发明内容

本发明实施例提供一种图像信息的处理方法及装置，用以解决采用现有技术中针对WiMo技术所提供的图像信息处理方式，会导致大屏设备的图像显示效果较差的问题。

本发明实施例采用以下技术方案：

一种图像信息处理方法，应用于移动终端无线多媒体传送协议WiMo技术中，包括：安装于移动终端中的图像信息处理模块获得具备WiMo所支持的图像格式的图像信息；其中，所述图像信息是通过对安装于所述移动终端中的应用客户端生成的绘制有图像信息的画布进行转换而得到的；触发所述移动终端对所述图像信息进行发送。

一种图像信息处理装置，应用于WiMo技术中，包括：

图像信息获得模块，用于获得具备WiMo所支持的图像格式的图像信息；其中，所述图像信息是通过对安装于移动终端中的应用客户端生成的绘制有图像信息的画布进行转换而得到的；

触发模块，用于触发所述移动终端对图像信息获得模块获得的图像信息进行发送。

本发明实施例的有益效果如下：

本发明实施例提供的方案中，由于不再采用对移动终端显示屏显示的图像进行抓取，并存储到frame buffer中的方式来提供发送给大屏设备的图像信息，而是直接将应用客户端生成的绘制有图像信息的画布转换为具备WiMo所支持的图像格式的图像信息，并对该图像信息进行编码和发送，从而本发明实施例提供的该方案中发送的图像信息所表示的图像不再受限于移动终端显示屏的分辨率，从而可以实现向大屏设备提供较高分辨率的图像，因此解决了采用现有的针对WiMo技术所提供的图像信息处理方式导致的大屏设备的图像显示效果较差的问题。

附图说明

图1为现有技术中利用WiMo技术将移动终端屏幕所展示的图像信息传输到大屏设备上进行显示的实现流程示意图；

图2为本发明实施例提供的一种图像信息处理方法的具体流程示意图；

图3为用于实施本发明中介绍的具体实施例的***的结构示意图；

图4为本发明实施例提供的图像信息处理方法在如图3所示的***中的应用流程示意图。

具体实施方式

为了解决采用现有技术中针对WiMo技术所提供的图像信息处理方式，会导致大屏设备的图像显示效果较差的问题，本发明实施例提供了一种新型的图像信息处理方案。该方案无需采用对移动终端显示屏显示的图像进行抓取并存储到frame buffer中的方式，来提供发送给大屏设备的图像信息，而是通过在移动终端中设置图像信息处理模块，并由图像信息处理模块直接将移动终端中的应用客户端生成的绘制有图像信息的Canvas转换为具备WiMo所支持的图像格式的图像信息，从而使得移动终端所发送的图像信息所表示的图像不再受限于移动终端显示屏的分辨率，因此可以实现向大屏设备提供较高分辨率的图像，缓解了采用现有的WiMo技术提供的图像信息处理方式导致的大屏设备的图像显示效果较差的问题。

以下结合说明书附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限制本发明。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

首先，本发明实施例提供一种如图2所示的图像信息处理方法。该方法主要包括如下步骤：

步骤21，安装于移动终端中的图像信息处理模块获得具备WiMo所支持的图像格式的图像信息；

其中，该图像信息是通过对安装于移动终端中的应用客户端生成的绘制有图像信息的Canvas进行转换而得到的。具体地，将应用客户端生成的绘制有图像信息的Canvas进行转换的方式可以但不限于有以下两种方式：

方式一：由图像信息处理模块基于Canvas进行转换。

该方式一中，应用客户端可以将生成的绘制有图像信息的Canvas提供给图像信息处理模块，由图像信息处理模块通过执行下述子步骤而实现对Canvas的转换：

子步骤1：图像信息处理模块先将应用客户端发送来的Canvas转换为位图（Bitmap）；

子步骤2：图像信息处理模块再根据WiMo所支持的图像格式（如MJPEG或H.264等），将该Bitmap转换为具备WiMo所支持的图像格式的图像信息。

需要说明的是，一般说来，用于实现将Canvas转换为位图的Canvas转换算法可以有多种。若图像信息处理模块随机采用某种Canvas转换算法对Canvas进行转换，则转换得到的Bitmap的类型有带有不确定性。为了能兼容Bitmap的多种类型，本发明实施例中，可以在图像信息处理模块中预先设置不同Bitmap的类型与位图转换算法的对应关系。这样，在将Bitmap转换为具备WiMo所支持的图像格式的图像信息时，就可以根据先确定转换得到的Bitmap的类型，然后再根据该对应关系确定相应的位图转换算法，并利用该算法将该Bitmap转换为具备WiMo所支持的图像格式的图像信息。

方式二：由图像信息处理模块基于Bitmap进行转换。

该方式二中，由Canvas到Bitmap的转换是由应用客户端实现的。应用客户端在将绘制有图像信息的Canvas转换为Bitmap后，将Bitmap发送给图像信息处理模块。之后，图像信息处理模块就可以执行根据WiMo所支持的图像格式，将应用客户端发来的Bitmap转换为具备WiMo所支持的图像格式的图像信息。

除上述两种方式外，本发明实施例中的图像信息处理模块还可以采用用于实现直接Canvas转换为具备WiMo所支持的图像格式的图像信息的转换算法，完成将应用客户端提供的Canvas转换为具备WiMo所支持的图像格式的图像信息，从而实现对该图像信息的获得。

步骤22，图像信息处理模块触发移动终端对获得的具备WiMo所支持的图像格式的图像信息进行发送。

本发明实施例中，编码后的图像信息的接收方设备可以是大屏设备，还可以是对编码后的图像信息有需求的其他设备，如图像信息分析设备等。

可选的，图像信息处理模块可以是由软件开发工具包（SDK，SoftwareDevelopment Kit）实现的。当图像信息处理模块由SDK实现时，在上述方式一中，图像信息处理模块所接收到的Canvas是由应用客户端通过SDK与应用客户端之间的接口发送给图像信息处理模块的；类似的，在上述方式二中，图像信息处理模块所接收到的Bitmap是由应用客户端通过SDK与应用客户端之间的接口发送给图像信息处理模块的。

通过本发明实施例提供的上述方案，由于不再采用对移动终端显示屏显示的图像进行抓取，并存储到frame buffer中的方式来提供发送给大屏设备的图像信息，而是不再执行抓取、存储的操作，而直接将应用客户端生成的绘制有图像信息的画布转换为具备WiMo所支持的图像格式的图像信息，并对该图像信息进行编码和发送，从而本发明实施例提供的该方案中发送的图像信息所表示的图像不再受限于移动终端显示屏的分辨率，因此可以实现向大屏设备提供较高分辨率的图像，解决了采用现有的针对WiMo技术所提供的图像信息处理方式导致的大屏设备的图像显示效果较差的问题。

以下通过对一个具体实施例的介绍，详细说明本发明实施例提供的上述方法在实际中的应用流程。

首先，假设用于实施该具体实施例的***结构示意图如图3所示，包括移动电话（Mobile Phone）和电视机（TV）。其中，Mobile Phone中设置有三个主要的功能模块，分别为屏幕显示输出模块、游戏应用（GAME APP）客户端模块以及由安装于Mobile Phone中的SDK所实现的WiMo Tx SDK模块。TV中设置有两个主要的功能模块，分别为屏幕显示输出模块和由安装于TV中的SDK所实现的WiMo Dx SDK模块。

以下结合图4，说明上述模块的具体功能及其实现方式。

请参照图4，其为本发明实施例提供的图像信息处理方法在如图3所示的***中的应用流程示意图，该应用流程主要包括如下步骤：

步骤41，GAME APP客户端模块生成Canvas，并将预先存储于该GAMEAPP软件包中的图像信息绘制于该Canvas上；

在本发明实施例中，GAME APP客户端模块绘制于Canvas上的图像信息可以是屏幕显示输出模块从该GAME APP客户端模块的软件包中获取且显示在Mobile Phone显示屏上的当前图像的信息；也可以是通过对GAME APP客户端模块的配置，而指定该GAME APP客户端模块从存储于该GAME APP客户端模块的软件包中获取的特定图像信息。针对后一种情况，特定图像信息可以与通过运行该GAME APP客户端而显示在Mobile Phone显示屏上的当前图像的信息一致，也可以与该当前图像的信息不一致。比如，以该AME APP客户端模块为某赛车游戏客户端为例，若假设运行该GAME APP客户端模块而显示在Mobile Phone显示屏上的当前图像为包含赛车整体外观、赛道地图、赛车操控界面等信息的图像，则指定该GAME APP客户端模块获取的特定图像信息则可以仅仅包含赛车整体外观的信息，或者也可以仅仅包含赛道地图的信息。

需要说明的是，无论是上述哪种情况，GAME APP客户端模块绘制于其生成的Canvas上的图像信息都不是采用从Mobile Phone显示屏上进行抓取而得到的，而是直接从GAME APP客户端模块的软件包中获得的。因此，这也就使得该Canvas上绘制的图像信息所表示的图像的分辨率不会受限于MobilePhone显示屏的分辨率。

本具体实施例中，假设GAME APP客户端模块绘制于Canvas上的图像信息是Mobile Phone通过运行该GAME APP客户端模块而显示在Mobile Phone显示屏上的当前图像的信息，则进一步执行步骤42。

步骤42，GAME APP客户端模块将绘制有图像信息的Canvas转换为位图Bitmap8888，并将Bitmap8888发送给WiMo Tx SDK模块；

步骤43，WiMo Tx SDK模块将Bitmap8888转换为具备WiMo所能支持的格式的图像信息；

具体地，本具体实施方式中，假设将Bitmap8888转换为MJPEG格式的图像信息，从而进一步执行步骤44。

步骤44，WiMo Tx SDK模块将转换得到的MJPEG格式的图像信息发送给TV的WiMo Dx SDK模块；

步骤45，WiMo Dx SDK模块对接收到的MJPEG格式的图像信息执行解码的操作，并将解码得到的图像信息发送给TV中的屏幕显示输出模块；

步骤46，屏幕显示输出模块将WiMo Dx SDK模块发来的图像信息显示在TV的显示屏上，流程结束。

本具体实施例中，用于实现WiMo Tx SDK模块的SDK可以提供一个GameSDK.java类，该类是WiMo Tx SDK模块同GAME APP客户端模块的接口类。具体地，WiMo Tx SDK模块同GAME APP客户端模块的接口可以有下述三个：

1、GameSDK.initializeSDK(Context context)

本具体实施例中，Canvas可以是由SDK创建的。此情况下，该接口用于初始化SDK所创建的Canvas和位图，并绑定两者。

2、GameSDK.getSDKCanvas()

该接口用于获取SDK创建的Canvas。该接口通常由GAME APP客户端模块直接调用，其调用代码可以写入游戏的绘图线程执行代码中。

3、GameSDK.getSDKBitmap()

该接口用于返回SDK创建的位图。由于GAME APP客户端模块可以在游戏线程中调用doDraw(GameSDK.getSDKCanvas())来实现获取SDK创建的Canvas并在该Canvas上执行绘制（doDraw）图像信息的操作，故WiMo Tx SDK模块的实现代码中，只要调用该接口GameSDK.getSDKBitmap()，就可以取得SDK创建的位图，即对绘制有图像信息的Canvas进行转换而得到的位图。

本发明实施例提供的图像信息处理方法在实际中的应用证明，该方法相对于现有技术而言，具备下述优点：

1、可实现输出高分辨率图像到大屏设备；

2、该方法无需读frame buffer；

3、该方法中的图像信息处理模块（如上述WiMo Tx SDK模块）和应用客户端模块可以采用统一接口，从而避免产生由于执行接口适配而需要的资源量；

4、现有技术中从frame buffer读取图像信息的前提是需要获取root权限；而本发明实施例提供的方法则不依赖于这一前提；

5、本发明实施例中，移动终端显示屏和大屏设备显示屏在同一时刻所显示的图像可以不同，从而可以给用户一种全新的体验；

6、本发明实施例提供的方案可以支持通过直接在应用客户端模块中内置与WiMo有关的功能的方式，使得应用客户端模块可以执行图像信息转换、编码等操作，从而无需另外再在移动终端中安装WiMo客户端。

对应于本发明实施例提供的图像信息处理方法，本发明实施例还提供一种图像信息处理装置，该装置具体包括图像信息获得模块和触发模块。该些模块的具体功能介绍如下：

图像信息获得模块，用于获得具备WiMo所支持的图像格式的图像信息；其中，该图像信息是通过对安装于移动终端中的应用客户端生成的绘制有图像信息的画布进行转换而得到的；

触发模块，用于触发移动终端对图像信息获得模块获得的图像信息进行发送。

可选的，本发明实施例中，根据图像信息获得模块功能的具体实现方式，可以采用以下两种划分方式对其具体结构进行进一步划分。

第一种划分方式：

将图像信息获得模块划分为以下功能单元：

画布接收单元，用于接收应用客户端发送的绘制有图像信息的画布；

画布转换单元，用于将画布接收单元接收的画布转换为Bitmap；

图像信息转换单元，用于根据WiMo所支持的图像格式，将画布转换单元转换得到的Bitmap转换为具备WiMo所支持的图像格式的图像信息。

其中，对应于上述图像信息转换单元功能的一种实现方式，可以将其划分为以下子单元：

类型确定子单元，用于确定Bitmap的类型；

转换算法确定子单元，用于根据预先设置的不同Bitmap的类型与位图转换算法的对应关系，确定与类型确定子单元确定出的Bitmap的类型相对应的位图转换算法；

转换子单元，用于利用转换算法确定子单元确定出的位图转换算法，将画布转换单元转换得到的Bitmap转换为具备WiMo所支持的图像格式的图像信息。

第二种划分方式：

将图像信息获得模块划分为以下功能单元：

位图接收单元，用于接收应用客户端发送的Bitmap；其中，该Bitmap为应用客户端对绘制有图像信息的画布进行转换而得到的；

图像信息转换单元，用于根据WiMo所支持的图像格式，将位图接收单元接收的Bitmap转换为具备WiMo所支持的图像格式的图像信息。

可选的，本发明实施例提供的该图像信息处理装置可以由软件开发工具包SDK实现。

本发明实施例提供的方案由于不再采用对移动终端显示屏显示的图像进行抓取，并存储到frame buffer中的方式来提供发送给大屏设备的图像信息，而是直接将应用客户端生成的绘制有图像信息的画布转换为具备WiMo所支持的图像格式的图像信息，并对该图像信息进行编码和发送，从而本发明实施例提供的该方案中发送的图像信息所表示的图像不再受限于移动终端显示屏的分辨率，从而可以实现向大屏设备提供较高分辨率的图像，因此解决了采用现有的针对WiMo技术所提供的图像信息处理方式导致的大屏设备的图像显示效果较差的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像信息处理方法，应用于移动终端无线多媒体传送协议WiMo技术中，其特征在于，包括：

安装于移动终端中的图像信息处理模块获得具备WiMo所支持的图像格式的图像信息；其中，所述图像信息是通过对安装于所述移动终端中的应用客户端生成的绘制有图像信息的画布进行转换而得到的；

触发所述移动终端对所述图像信息进行发送。

2.如权利要求1所述的方法，其特征在于，所述图像信息处理模块获得具备WiMo所支持的图像格式的图像信息，具体包括：

所述图像信息处理模块接收所述应用客户端发送的绘制有图像信息的所述画布；

将所述画布转换为位图Bitmap；

根据WiMo所支持的图像格式，将所述Bitmap转换为具备WiMo所支持的图像格式的图像信息。

3.如权利要求2所述的方法，其特征在于，所述图像信息处理模块根据WiMo所支持的图像格式，将所述Bitmap转换为具备WiMo所支持的图像格式的图像信息，具体包括：

所述图像信息处理模块确定所述Bitmap的类型；

根据预先设置的不同Bitmap的类型与位图转换算法的对应关系，确定与确定出的所述Bitmap的类型相对应的位图转换算法；

利用确定出的位图转换算法，将所述Bitmap转换为具备WiMo所支持的图像格式的图像信息。

4.如权利要求1所述的方法，其特征在于，所述图像信息处理模块获得具备WiMo所支持的图像格式的图像信息，具体包括：

所述图像信息处理模块接收所述应用客户端发送的Bitmap；其中，所述Bitmap为所述应用客户端对绘制有图像信息的所述画布进行转换而得到的；

根据WiMo所支持的图像格式，将所述Bitmap转换为具备WiMo所支持的图像格式的图像信息。

5.如权利要求1～4任一所述的方法，其特征在于，所述图像信息处理模块由软件开发工具包SDK实现。

6.一种图像信息处理装置，应用于WiMo技术中，其特征在于，包括：

图像信息获得模块，用于获得具备WiMo所支持的图像格式的图像信息；其中，所述图像信息是通过对安装于移动终端中的应用客户端生成的绘制有图像信息的画布进行转换而得到的；

触发模块，用于触发所述移动终端对图像信息获得模块获得的图像信息进行发送。

7.如权利要求6所述的装置，其特征在于，所述图像信息获得模块具体包括：

画布接收单元，用于接收所述应用客户端发送的绘制有图像信息的所述画布；

画布转换单元，用于将画布接收单元接收的所述画布转换为位图Bitmap；

图像信息转换单元，用于根据WiMo所支持的图像格式，将画布转换单元转换得到的所述Bitmap转换为具备WiMo所支持的图像格式的图像信息。

8.如权利要求7所述的装置，其特征在于，所述图像信息转换单元具体包括：

类型确定子单元，用于确定所述Bitmap的类型；

转换算法确定子单元，用于根据预先设置的不同Bitmap的类型与位图转换算法的对应关系，确定与类型确定子单元确定出的所述Bitmap的类型相对应的位图转换算法；

转换子单元，用于利用转换算法确定子单元确定出的位图转换算法，将所述Bitmap转换为具备WiMo所支持的图像格式的图像信息。

9.如权利要求6所述的装置，其特征在于，所述图像信息获得模块具体包括：

位图接收单元，用于接收所述应用客户端发送的Bitmap；其中，所述Bitmap为所述应用客户端对绘制有图像信息的所述画布进行转换而得到的；

图像信息转换单元，用于根据WiMo所支持的图像格式，将位图接收单元接收的所述Bitmap转换为具备WiMo所支持的图像格式的图像信息。

10.如权利要求6～9任一所述的装置，其特征在于，所述装置由软件开发工具包SDK实现。