CN107329717B - 一种屏幕显示信息的处理方法、显示方法和显示*** - Google Patents

Abstract

本发明提供了一种屏幕显示信息的处理方法、显示方法和显示***，上述处理方法应用于与外接设备连接的移动终端，移动终端具有第一显示屏，用于显示移动终端的第一主界面信息；外接设备具有第二显示屏，第一显示屏的屏幕尺寸大于第二显示屏的屏幕尺寸，包括将独立于第一主界面信息的第二主界面信息发送到外接设备的第二显示屏中进行显示，当用户对任一个显示屏的主界面程序界面进行操作时，响应用户的操作指令，将响应上述操作指令后得到的响应结果，发送至上述操作指令对应的显示屏处进行显示；其使得用户可以同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

Description

一种屏幕显示信息的处理方法、显示方法和显示***

技术领域

本发明涉及通信技术领域，具体而言，涉及一种屏幕显示信息的处理方法、显示方法和显示***。

背景技术

随着信息技术的迅猛发展，移动终端已成为用户随身携带的工具。目前，移动终端对于用户来讲，其不仅作为用户的通信工具，还能作为用户的商务工具、休息娱乐工具等，包括更多的性能以提供给更多的服务给客户，如用户利用移动终端看电影、玩游戏、上网等操作。然而，智能移动终端受随身携带、单手操作等因素的影响，其主流屏幕需局限在4.0至6.0英寸之间，这使得用户利用移动终端进行娱乐或者办公时，常常因为屏幕尺寸过小而不能得到很好的操作体验和视觉体验。

为了改善上述问题，市场上出现了独立于移动终端的屏幕较大的平板电脑，其屏幕尺寸大于移动终端屏幕尺寸并且还兼顾用户携带方便的特点。但是，目前的大多数平板电脑的硬件性能均能够与现主流移动终端性能相匹配，这使得平板电脑价格普遍较高，而较少数硬件性能低于现主流移动终端性能的平板电脑价格相对便宜，但是其无法满足用户的需求。

基于上述问题，相关技术提供了一种外接设备，该外接设备的尺寸匹配上述平板电脑的尺寸，即满足大于移动终端屏幕尺寸并且还兼顾用户携带方便的特点；该外设设备用于配合移动终端使用，其在连接移动终端后，同步显示移动终端的内容，用户可以根据外接设备显示的内容进行操作，对应于用户的操作，上述外接设备基于移动终端的性能对用户的操作进行处理，并显示处理结果。上述外接设备的大部分主流性能是依赖于移动终端的性能，因此，成本低且能够满足用户的需求。

但是，发明人在研究中发现上述外接设备至少存在以下问题：其只能同步移动终端的运行应用程序以及显示该运行应用程序对应的显示画面，而无法独立运行移动终端的应用程序，这无法满足用户同时通过外接设备和移动终端运行不同应用程序的需求。

发明内容

有鉴于此，本发明实施例的目的在于提供一种屏幕显示信息的处理方法、显示方法和显示***，能够使用户同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

第一方面，本发明实施例提供了一种屏幕显示信息的处理方法，所述方法应用于与外接设备通信连接的移动终端，移动终端具有第一显示屏，第一显示屏用于显示移动终端的第一主界面信息；第一主界面信息包括：第一主界面程序界面和应用程序图标；外接设备具有第二显示屏，第一显示屏的屏幕尺寸大于第二显示屏的屏幕尺寸；所述方法包括：

在检测到外接设备接入时，获取移动终端中的第二主界面程序和应用程序；

对第二主界面程序和应用程序进行处理，得到第二主界面信息；第二主界面信息包括：第二主界面程序界面和应用程序图标；

将第二主界面信息发送至外接设备，以便在外接设备的第二显示屏上显示第二主界面信息；

当接收到在任一个主界面程序界面上触发的第一操作指令后，响应该第一操作指令，并确定该第一操作指令对应的显示屏信息；其中，该操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；显示屏为第一显示屏或者第二显示屏；

将响应第一操作指令后得到的响应结果，发送至确定的显示屏信息对应的显示屏处进行显示。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，应用程序图标在第一主界面程序界面或者第二主界面程序界面上显示，第一操作指令包括用户在任一主界面程序界面上显示的应用程序的图标触发的操作指令，第一操作指令对应的响应结果为应用程序的图标对应的应用程序界面，所述方法还包括：

将应用程序的图标对应的应用程序界面发送至确定的显示屏信息对应的显示屏处进行显示；

当接收到在应用程序界面上触发的第二操作指令后，响应第二操作指令，并确定第二操作指令对应的显示屏信息；其中，第二操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；显示屏为第一显示屏或者第二显示屏；

将响应第二操作指令后得到的响应结果，发送至确定的显示屏信息对应的显示屏处进行显示；响应结果显示在应用程序界面中。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，第二操作指令包括：在应用程序界面上触发的音频文件播放请求；所述方法包括：

当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，并确定该音频文件播放请求对应的显示屏信息；其中，该音频文件播放请求对应的显示屏信息是指用户触发该音频文件播放请求所使用的显示屏的信息；显示屏为第一显示屏或者第二显示屏；

将响应于音频文件播放请求后得到的音频文件发送至显示屏的信息所对应的显示屏处进行播放。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述方法还包括：获取外接设备的第二显示屏显示的应用程序图标的第一标识信息和外接设备的第二标识信息，建立第一标识信息和第二标识信息的对应关系，并存储对应关系；

确定该音频文件播放请求所对应的显示屏的信息，包括：

获取音频文件所属的应用程序的第一待识别标识信息；

判断第一待识别标识信息是否与第一标识信息相同；

若第一待识别标识信息与第一标识信息相同时，根据第一标识信息与第二标识信息的对应关系，确定音频文件所对应的显示屏为第二显示屏。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，当在外接设备的第二显示屏显示的应用程序界面上触发所述音频文件播放请求时，所述当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，包括：

当接收到在外接设备的第二显示屏显示的应用程序界面上触发的音频文件播放请求后，获取所述音频文件播放请求的触控位置信息；

对所述触控位置信息进行坐标转换，根据坐标转换结果识别所述触控位置信息对应的应用程序；

获取识别的所述应用程序，从识别的所述应用程序中获取所述音频文件。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，对第二主界面程序界面和应用程序图标进行处理，包括：

获取外接设备的外接屏参数；外接屏参数至少包括：屏幕分辨率和每英寸点数DPI；

根据屏幕分辨率和DPI，对第二主界面程序界面和应用程序图标进行处理，以使得处理后的第二主界面信息能够显示在外接设备的第二显示屏中；

将处理后的第二主界面信息发送至外接设备的第二显示屏中进行显示。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，将第二主界面信息发送至外接设备，以便在外接设备的第二显示屏上显示第二主界面信息，包括：

对第二主界面信息进行压缩编码处理；

将编码后的第二主界面信息发送至外接设备，以便外接设备对编码后的第二主界面信息进行解码处理并显示解码后的第二主界面信息。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，确定该第一操作指令对应的显示屏信息，包括：

获取第一操作指令中携带的第二待识别标识信息；

判断第二待识别标识信息是否与预存的第一主界面程序界面的第一标准标识信息和预存的第二主界面程序界面的第二标准标识信息相同；第一标准标识信息和第二标准标识信息不同；

若第二待识别标识信息与第一标准标识信息相同，确定第一操作指令对应第一显示屏；

若第二待识别标识信息与第二标准标识信息相同，确定第一操作指令对应第二显示屏。

结合第一方面，第一方面的第一种可能的实施方式至第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，响应结果包括：视频数据和/或音频数据；将响应第一操作指令后得到的响应结果，发送至确定的显示屏信息对应的显示屏处进行显示，包括：

当确定第一操作指令对应的显示屏信息为第二显示屏时，对视频数据进行压缩编码处理，将编码后的视频数据传输到外接设备，以便外接设备对编码后的视频数据进行解码处理并显示解码后的视频数据；

和/或，当确定第一操作指令对应的显示屏信息为第二显示屏时，调用指定传输通道将音频数据传输到外接设备，以便外接设备控制第二显示屏显示音频数据。

结合第一方面，第一方面的第一种可能的实施方式至第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，第一操作指令还包括旋屏指令，该旋屏指令为外接设备根据重力传感器传输的重力信号生成的；第一操作指令对应的响应结果显示在确定的显示屏信息对应的显示屏的主界面程序界面中。

结合第一方面，本发明实施例提供了第一方面的第十种可能的实施方式，其中，移动终端上设置有通信接口；所述方法还包括：

监听通信接口的状态信息；

在检测到通信接口的状态为***状态时，判断是否接收到外接设备的第二标识信息；

若是，确定通信接口接入外接设备。

本发明实施例提供的一种屏幕显示信息的处理方法，该方法应用于与外接设备连接的移动终端，上述移动终端具有第一显示屏，第一显示屏用于显示移动终端的第一主界面信息；上述外接设备具有第二显示屏，第一显示屏的屏幕尺寸大于第二显示屏的屏幕尺寸，该方法采用将独立于第一主界面信息的第二主界面信息发送到外接设备的第二显示屏上进行显示，当用户对任一个显示屏的主界面程序界面进行操作时，响应用户的操作指令，将响应上述操作指令后得到的响应结果，发送至上述操作指令对应的显示屏处进行显示，与现有技术中的外接设备只能同步移动终端当前屏幕信息，而无法独立运行移动终端的屏幕信息相比，其在外接设备接入移动终端时，使外接设备能够显示独立于移动终端的第一主界面信息的第二主界面信息，且能够对用户任一主界面程序界面上的操作进行响应处理并向响应对象反馈响应结果，使得用户可以同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

第二方面，本发明实施例还提供了一种屏幕显示信息的显示方法，该方法应用于与移动终端通信连接的外接设备，移动终端具有第一显示屏，第一显示屏用于显示移动终端的第一主界面信息；第一主界面信息包括：第一主界面程序界面和应用程序图标；外接设备具有第二显示屏，第一显示屏的屏幕尺寸大于第二显示屏的屏幕尺寸；该方法包括：

在接入移动终端后，接收移动终端发送的第二主界面信息，在第二显示屏上显示第二主界面信息；第二主界面信息包括：第二主界面程序界面和显示在第二主界面程序界面上的应用程序图标；

在监听到第二显示屏显示的第二主界面程序界面上的控制操作时，生成与控制操作对应的第一控制指令；

将第一控制指令发送至移动终端，以使移动终端响应于第一控制指令；

接收移动终端发送的响应于第一控制指令的响应结果，显示响应结果。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，接收移动终端发送的第二主界面信息，包括：

接收移动终端发送的编码后的第二主界面信息；

对编码后的第二主界面信息进行解码处理，显示解码后的主界面信息。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，第一控制指令为用户针对显示在第二主界面程序界面上的应用程序图标触发的第三操作指令；或者第一控制指令为旋屏指令；

当第一控制指令为第三操作指令时，接收移动终端发送的响应于第一控制指令的响应结果，包括：

接收移动终端发送的触发操作的应用程序的图标对应的应用程序界面。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述方法还包括：

在监听到第二显示屏显示的应用程序界面上的控制操作时，生成与控制操作对应的第二控制指令；

将第二控制指令发送至移动终端，以使移动终端响应于第二控制指令；

接收移动终端发送的响应于第二控制指令的响应结果，显示响应结果；响应结果包括：视频数据和/或音频数据。

本发明实施例提供的一种屏幕显示信息的显示方法，该方法应用于与移动终端通信连接的外接设备，上述移动终端具有第一显示屏，第一显示屏用于显示移动终端的第一主界面信息；上述外接设备具有第二显示屏，第一显示屏的屏幕尺寸大于第二显示屏的屏幕尺寸，该方法采用接收并显示移动终端发送第二主界面信息，根据用户输入的控制操作，向移动终端发送对应的控制指令，以使移动终端响应于该控制指令；接收并显示移动终端发送的响应于上述控制指令的响应结果，与现有技术中的外接设备只能同步移动终端的屏幕信息而无法独立于移动终端的屏幕信息相比，其在接入移动终端后，接收移动终端显示的独立于移动终端显示的第一主界面信息的第二主界面信息，同时根据用户输入的控制操作，响应给用户控制操作的反馈结果，使得用户可以同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

第三方面，本发明实施例还提供了一种屏幕显示信息的显示***，包括：如第一方面任一项的屏幕显示信息的处理方法处理屏幕显示信息的移动终端和如应用第二方面任一项的屏幕显示信息的显示方法显示屏幕显示信息的外接设备；所述移动终端和所述外接设备通信连接。

本发明实施例提供的一种屏幕显示信息的显示***，包括移动终端和与移动终端通信连接的外接设备，上述移动终端具有第一显示屏，第一显示屏用于显示移动终端的第一主界面信息；上述外接设备具有第二显示屏，第一显示屏的屏幕尺寸大于第二显示屏的屏幕尺寸，该方法采用接收并显示移动终端发送第二主界面信息，根据用户输入的控制操作，向移动终端发送对应的控制指令，以使移动终端响应于该控制指令；接收并显示移动终端发送的响应于上述控制指令的响应结果，与现有技术中的外接设备只能同步移动终端的屏幕信息而无法独立于移动终端的屏幕信息相比，其在接入移动终端后，接收移动终端显示的独立于移动终端显示的第一主界面信息的第二主界面信息，同时根据用户输入的控制操作，响应给用户控制操作的反馈结果，使得用户可以同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种屏幕显示信息的处理方法的流程图；

图2示出了本发明实施例所提供的另一种屏幕显示信息的处理方法的流程图；

图3示出了本发明实施例所提供的另一种屏幕显示信息的处理方法的流程图；

图4a示出了本发明实施例所提供的一种移动终端对音频文件进行处理的流程图；

图4b示出了本发明实施例所提供的另一种移动终端对音频文件进行处理的流程图；

图5示出了本发明实施例所提供的另一种屏幕显示信息的处理方法的流程图；

图6示出了本发明实施例所提供的另一种屏幕显示信息的处理方法的流程图；

图7示出了本发明实施例所提供的另一种屏幕显示信息的处理方法的流程图；

图8示出了本发明实施例所提供的一种屏幕显示信息的显示方法的流程图；

图9示出了本发明实施例所提供的另一种屏幕显示信息的显示方法的流程图；

图10示出了本发明实施例所提供的一种屏幕显示信息的显示***的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有技术中的外接设备只能同步移动终端的运行应用程序以及显示该运行应用程序对应的显示画面，而无法独立运行移动终端的应用程序，这无法满足用户同时通过外接设备和移动终端运行不同应用程序的需求的问题，本发明实施例提供了一种屏幕显示信息的处理方法、显示方法和显示***，下面通过实施例进行描述。

本发明实施例提供了一种屏幕显示信息的处理方法，所述方法应用于与外接设备通信连接的移动终端，所述移动终端具有第一显示屏，所述第一显示屏用于显示所述移动终端的第一主界面信息；所述第一主界面信息包括：第一主界面程序界面和在第一主界面程序界面上显示的应用程序图标；所述外接设备具有第二显示屏，所述第一显示屏的屏幕尺寸大于所述第二显示屏的屏幕尺寸；参考图1，所述方法包括：

S101、在检测到所述外接设备接入时，获取所述移动终端中的第二主界面程序和所述应用程序。

具体的，移动终端中预先嵌入操作***(简称AnOS操作***)，该AnOS操作***是基于Android内核的移动终端操作***，是功能实现的核心，针对移动终端和外接设备的多前台的需求，对Android中framework层进行深入开发与优化。从视频、音频和触控三个功能点触发，落至ActivityManager(活动管理模块)、WindowManager(窗口管理模块)、DisplayManager(显示管理模块)、SurfaceFlinger(帧缓存管理模块)、InputFlinger(输入管理模块)、AudioFlinger(音频管理模块)、Libmedia(多媒体库)、AudioService(音频服务模块)几个模块内，进行开发优化。

并且，在对Android的上述模块进行修改的同时，新增***服务(ExternalDisplayService)，该***服务用于持续监听外接设备的连接状况、注册外接设备对应的外接虚拟显示屏和对应于该外接虚拟显示屏的活动栈；同时，还新增了应用服务(ExternalCommunicator)，作用是与外接设备连接移动终端软件程序类似，即启动三个线程来与外接设备(也可以称为扩展平板)进行视频、音频和触控信号的数据交换。

具体的，移动终端启动时，创建原始虚拟显示屏Display₀，并基于该虚拟显示屏创建任务栈(包括主界面任务栈HomeStack和应用程序任务栈FullscreenWorkspaceStack)。通过创建的原始虚拟显示屏和两个任务栈在第一显示屏上显示移动终端的主界面信息以及主界面上的应用程序图标的应用程序界面及该应用程序界面中的相关显示数据，该相关显示数据包括视频数据、音频数据和触摸信号。

而在移动终端中接入外接设备后，通过***服务(ExternalDisplayService)和修改后的DisplayManager，创建外接虚拟显示屏Display₁，并基于该外接虚拟显示屏创建外接任务栈(包括外接主界面任务栈ExternalHomeStack₁和外接应用程序任务栈ExternalFullscreenWorkspaceStack₁)。通过创建的外接虚拟显示屏、两个外接任务栈和新增的应用服务(ExternalCommunicator)实现在第二显示屏上显示移动终端的主界面信息以及主界面上的应用程序图标的应用程序界面及该应用程序界面中的相关显示数据，该相关显示数据包括视频数据、音频数据和触摸信号。

另外，本发明实施例还新增了一个专用于外接设备的Launcher(该Launcher为上述第二主界面程序)，该Launcher本身跑在外接主界面任务栈ExternalHomeStack₁中，因此，其画面进会显示在外接设备的第二显示屏上，并且由其启动的应用程序(即APP)也会直接放入外接应用程序任务栈ExternalFullscreenWorkspaceStack₁中，同时，将外接设备的第二显示屏的焦点置于外接应用程序任务栈ExternalFullscreenWorkspaceStack₁上，外接设备的第二显示屏便会显示启动的APP的内容。

具体的，通过外接虚拟显示屏获取第二主界面程序和所述应用程序。

S102、对所述第二主界面程序界面和所述应用程序图标进行处理，得到第二主界面信息。

具体的，在外接虚拟显示屏获取第二主界面程序和应用程序后，通过优化后的ActivityManager(活动管理模块)、WindowManager(窗口管理模块)、DisplayManager(显示管理模块)、SurfaceFlinger(帧缓存管理模块)和InputFlinger(输入管理模块)对上述第二主界面程序和应用程序进行处理，得到第二主界面信息。其中，第二主界面信息包括：第二主界面程序界面和在该第二主界面程序界面上显示的应用程序图标。

S103、将所述第二主界面信息发送至所述外接设备，以便在所述外接设备的第二显示屏上显示所述第二主界面信息。

具体的，移动终端启动上述Launcher，该Launcher使上述第二主界面信息运行在外接主界面任务栈ExternalHomeStack₁中，然后由通过新增的应用服务(ExternalCommunicator)调用Android中的编码器对第二主界面信息进行编码处理，然后将编码后的数据通过设定的传输通道发送给外接设备，以便外接设备接收该编码后的数据并进行解码，并显示解码后的第二主界面信息。

S104、当接收到在任一个主界面程序界面上触发的第一操作指令后，响应该第一操作指令，并确定该第一操作指令对应的显示屏信息；其中，该操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏。

具体的，移动终端的第一显示屏用于显示第一主界面信息，外接设备的第二显示屏用于显示第二主界面信息，用户可以对任意一个显示屏显示的主界面程序界面进行操作；当用户在任意一个显示屏显示的主界面程序界面上触发第一操作后，移动终端接收该第一操作指令，首先将第一操作指令转换成自身能识别的数据并响应该第一操作指令，并确定该第一操作指令对应第一显示屏还是第二显示屏。

S105、将响应所述第一操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示。

当确定第一操作指令对应第一显示屏，将响应结果发送至第一显示屏进行显示；当确定第一操作指令对应第二显示屏，将响应结果发送至第二显示屏进行显示。

本发明实施例提供的一种屏幕显示信息的处理方法，与现有技术中的外接设备只能同步移动终端当前屏幕信息，而无法独立运行移动终端的屏幕信息相比，其在外接设备接入移动终端时，使外接设备能够显示独立于移动终端的第一主界面信息的第二主界面信息，且能够对用户任一主界面程序界面上的操作进行响应处理并向响应对象反馈响应结果，使得用户可以同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

进一步的，本发明实施例提供的屏幕显示信息的处理方法中，上述响应结果可能有三种情况，第一，响应结果只为视频数据；第二，响应结果为音频数据；第三，响应结果同时包括视频数据和音频数据。

对应于上述响应结果包括的三种情况，上述步骤105中，将响应所述第一操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示，包括：

第一，当确定第一操作指令对应第二显示屏时，对所述视频数据进行压缩编码处理，将编码后的所述视频数据传输到所述外接设备，以便所述外接设备对编码后的所述视频数据进行解码处理并显示解码后的视频数据；

第二，当确定第一操作指令对应第二显示屏时，调用指定传输通道将所述音频数据传输到所述外接设备，以便所述外接设备控制所述第二显示屏显示所述音频数据。

第三，当确定第一操作指令对应第二显示屏时，对所述视频数据进行压缩编码处理，将编码后的所述视频数据传输到所述外接设备，以便所述外接设备对编码后的所述视频数据进行解码处理并显示解码后的视频数据；以及，调用指定传输通道将所述音频数据传输到所述外接设备，以便所述外接设备控制所述第二显示屏显示所述音频数据。

而当确定第一操作指令对应的显示屏信息为第一显示屏时，移动终端直接控制显示屏显示视频数据和/或音频数据，这是移动终端本身的功能，本发明实施例对此不做具体说明。

进一步的，所述应用程序图标在第一主界面程序界面或者第二主界面程序界面上显示，无论是在第一显示屏的主界面，还是在第二显示屏的主界面，触发不同功能的第一操作指令对应的响应结果的显示位置不同。具体如下，第一，第一操作指令包括用户在任一主界面程序界面上显示的应用程序的图标触发的操作指令，该第一操作指令对应的响应结果为应用程序的图标对应的应用程序界面；第二，第一操作指令还包括旋屏指令，该旋屏指令为外接设备根据重力传感器传输的重力信号生成的；该旋屏指令的所述响应结果显示在确定的显示屏信息对应的显示屏的主界面程序界面中。

参考图2，下面的步骤201至步骤203对主界面上接收“第一”种情况中的第一操作指令进行说明，所述方法还包括：

S201、将所述应用程序的图标对应的应用程序界面发送至确定的所述显示屏信息对应的显示屏处进行显示。

具体的，主界面程序为一种***APP，是一种特殊的APP，该主界面程序界面上可以显示应用程序的图标。第一操作指令包括用户在任一主界面程序界面上显示的应用程序的图标触发的操作指令。

当确定该第一操作指令对应第一显示屏，首先将第一主界面信息发送至第一显示屏进行显示，然后移动终端响应该第一操作指令，并在第一显示屏中显示响应后的应用程序界面。

针对第一操作指令对应第一显示屏的技术特征是移动终端本身的功能，本发明实施例对此不再进行赘述。

当确定第一操作指令对应第二显示屏，移动终端响应针对作用于第二显示屏显示的第二主界面信息的第一操作指令，然后将响应结果(第一操作指令作用的应用程序的图标对应的应用程序界面)发送至第二显示屏处进行显示。

针对第一操作指令对应第二显示屏的情况，应用程序界面的发送过程同上述第二主界面信息的发送过程相类似，即通过外接虚拟显示屏获取上述应用程序界面，然后启动Launcher，该Launcher使上述应用程序界面的相关数据运行在外接应用程序任务栈ExternalFullscreenWorkspaceStack₁)，然后由通过新增的应用服务(ExternalCommunicator)调用Android中的编码器对应用程序界面进行编码处理，然后将编码后的数据通过设定的传输通道发送给外接设备，以便外接设备接收该编码后的数据并进行解码，并显示解码后的应用程序界面。

S202、当接收到在所述应用程序界面上触发的第二操作指令后，响应所述第二操作指令，并确定所述第二操作指令对应的显示屏信息；其中，所述第二操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏。

具体的，用户还可以针对上述应用程序界面进行操作，具体的，移动终端的第一显示屏和外接设备的第二显示屏均能够显示应用程序界面，用户可以对任意一个显示屏显示的应用程序界面，进行操作；当用户在任意一个显示屏显示的应用程序界面触发第二操作后，移动终端接收第二操作对应的第二操作指令，将第二操作指令转换成自身能识别的数据并响应该第二操作指令，并确定该第二操作指令对应第一显示屏还是第二显示屏。

S203、将响应所述第二操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示；所述响应结果显示在所述应用程序界面中。

当确定第二操作指令对应第一显示屏，将响应结果发送至第一显示屏进行显示；当确定第二操作指令对应第二显示屏，将响应结果发送至第二显示屏进行显示。

同理，此时，上述响应结果仍然可能有三种情况，第一，响应结果只为视频数据；第二，响应结果为音频数据；第三，响应结果同时包括视频数据和音频数据。针对该响应结果的发送过程与主界面信息上响应结果的发送过程相同，本发明实施例对此不再赘述。

下面的步骤301至步骤302对主界面上接收“第二”种情况的第一操作指令进行说明，所述第一操作指令还包括旋屏指令，该旋屏指令为外接设备根据重力传感器传输的重力信号生成的；其对应的响应结果显示在确定的显示屏信息对应的显示屏的主界面程序界面中；

当用户在所述第二显示屏的第二主界面程序界面上触发的旋屏指令后，外接设备将该旋屏指令发送给移动终端，移动终端通过应用服务(ExternalCommunicator)接收外接设备发送的旋屏指令并发送给处理器(移动终端中预先设置有处理器)，通过处理器响应该旋屏指令，得到的响应结果为视频数据；通过外接虚拟显示屏Display₁获取响应结果的视频数据，并通过应用服务(ExternalCommunicator)将响应结果的视频数据发送至所述外接设备。

当接收到在所述第一显示屏的主界面上触发的旋屏指令后，由移动终端自身的功能进行处理，本发明实施例对此不做赘述。

另外，无论是在第一显示屏和第二显示屏上均可以显示应用程序界面，针对该应用程序界面的第二操作指令同样可以包括两种情况：第二操作指令为用户针对应用程序界面触发的操作指令，或者，第二操作指令为旋转指令，而上述两种情况第二操作指令对应的响应结果的方式与上述两种情况的第一操作指令对应的响应结果的方式相类似，本发明实施例中不在具体说明。

进一步的，上述第二操作指令包括：在所述应用程序界面上触发的所述音频文件播放请求；所述方法包括：

当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，并确定该音频文件播放请求对应的显示屏信息；其中，该音频文件播放请求对应的显示屏信息是指用户触发该音频文件播放请求所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；

具体的，确定该音频文件播放请求所对应的显示屏的信息包括：获取所述外接设备的第二显示屏显示的所述应用程序图标的第一标识信息和所述外接设备的第二标识信息，建立所述第一标识信息和所述第二标识信息的对应关系，并存储所述对应关系；然后，获取所述音频文件所属的应用程序的第一待识别标识信息；判断所述第一待识别标识信息是否与所述第一标识信息相同；若所述第一待识别标识信息与所述第一标识信息相同时，根据所述第一标识信息与所述第二标识信息的对应关系，确定所述音频文件所对应的显示屏为第二显示屏。

将响应于所述音频文件播放请求后得到的音频文件发送至所述显示屏的信息所对应的显示屏处进行播放。

进一步的，参考图3，当在外接设备的第二显示屏显示的应用程序界面上触发所述音频文件播放请求时，所述当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，包括：

S301、当接收到在外接设备的第二显示屏显示的应用程序界面上触发的音频文件播放请求后，获取所述音频文件播放请求的触控位置信息；

S302、对所述触控位置信息进行坐标转换，根据坐标转换结果识别所述触控位置信息对应的应用程序；

S303、获取识别的所述应用程序，从识别的所述应用程序中获取所述音频文件。

其中，为便于区分，移动终端第一显示屏对应的虚拟显示屏为Display₀，当有多个外接设备时，则依次设置该多个外接设备的显示屏对应的虚拟显示屏为Display₁、Display₂……Display_n，并且，上述每一个虚拟显示屏均对应有两个任务栈(即主界面任务栈和应用程序任务栈)；需要说明的是，上述第二标识信息、虚拟显示屏的标识和上述第二标识信息均呈一一对应的关系。

如图4b所示，相对应的，设置使上述的每个虚拟显示屏均对应一个虚拟扬声器33，创建虚拟扬声器33以使区分待播放的各个音频。

当移动终端获取到任一应用程序的音频文件以后，根据该音频文件所属的应用程序的第一标识信息以及上述第二标识信息、虚拟显示屏的标识和上述第二标识信息的对应关系，判断该应用程序对应的虚拟显示屏及任务栈，以便将该音频文件传输至确定的虚拟显示屏，同时，该虚拟显示屏将该音频文件传输至其对应的虚拟扬声器33，以便该虚拟扬声器33将该音频文件传输至其对应的外接设备的扬声器或者移动终端上的扬声器。

参照图4a、图4b所示，上述安装有上述操作***(简称AnOS操作***)的移动终端在进行多路音频文件的处理过程中，当接收到在应用程序界面上触发的音频文件播放请求(即第二操作指令触发的音频文件播放请求)后，判断所述音频文件播放请求是在第一显示屏上触发的还是在第二显示屏上触发的，当音频文件播放请求是在第一显示屏显示的应用程序界面中触发的，移动终端获取该音频文件，然后将该音频文件经过AudioTrack模块30、AudioPolicy模块31和AudioFlinger模块32进行处理，最终通过AudioFlinger模块32将该音频文件传输至移动终端的扬声器，以便移动终端的扬声器进行播放。当音频文件播放请求是在第二显示屏显示的应用程序界面中触发的，移动终端通过步骤301-步骤302的方式获取所述音频文件，然后将该音频文件经过AudioTrack模块30和AudioFlinger模块32进行处理，最终通过该AudioFlinger模块32将音频文件传输至对应的虚拟扬声器33，然后由虚拟扬声器33将该音频文件传输至对应的外接设备。

具体的，当音频文件播放请求是作用于外接设备中时，由于移动终端内的AudioPolicy模块31是闭源(即外界无法对其进行更改)，若音频文件通过该AudioPolicy，移动终端将无法在获知音频文件的传输路径，因此，本发明实施例中，使该音频文件绕开AudioPolicy模块，直接由AudioTrack模块30进入AudioFlinger模块，最终由虚拟显示屏传输给匹配的外界设备。

作为另一种可选的实施方式，当移动终端获取到AudioPolicy模块31的源代码或者修改权限时，可以直接对AudioPolicy模块31进行修改(例如，当开发者获取到AudioPolicy模块31的源代码时，直接在移动终端上对该源代码进行修改)，使AudioPolicy模块31能够识别经过的音频文件所属的任务栈。此时，本发明实施例中，移动终端可以使该音频文件经过AudioPolicy模块进入AudioFlinger模块32，由于AudioPolicy模块31能够识别经过的音频文件所属的任务栈，从而使得AudioFlinger模块32也能够获知音频文件所属的任务栈，最终，AudioFlinger模块32能够将该音频文件传输给匹配的虚拟扬声器33，最终由虚拟显示屏传输给匹配的外界设备。

进一步的，参考图5，本发明实施例提供的屏幕显示信息的处理方法，步骤102中，对所述第二主界面程序界面和所述应用程序图标进行处理，包括：

S401、获取所述外接设备的外接屏参数；所述外接屏参数至少包括：屏幕分辨率和每英寸点数DPI；所述外接屏参数至少包括：屏幕分辨率和每英寸点数DPI。其中，上述DPI为单位英寸的像素点的数量。

S402、根据所述屏幕分辨率和所述DPI，对所述第二主界面程序界面和所述应用程序图标进行处理，以使得处理后的第二主界面信息能够显示在所述外接设备的第二显示屏中。

S403、将处理后的第二主界面信息发送至所述外接设备的所述第二显示屏中进行显示。

具体的，移动终端对将处理后的第二主界面信息进行压缩编码处理；将编码后的第二主界面信息发送至所述外接设备，以便所述外接设备对编码后的第二主界面信息进行解码处理并显示解码后的第二主界面信息。

对应于上述步骤401至403，移动终端通过***服务(ExternalDisplayService)根据屏幕分辨率和DPI创建外接虚拟显示屏Display₁，并基于该外接虚拟显示屏创建外接任务栈(包括外接主界面任务栈ExternalHomeStack₁和外接应用程序任务栈ExternalFullscreenWorkspaceStack₁)。上述外接虚拟显示屏Display₁相当于一个画板，用于获取外接设备侧的屏幕显示数据；对应于该外接虚拟显示屏Display₁的外接主界面任务栈ExternalHomeStack₁，用于为外接设备显示的第二主界面信息提供运行环境；对应于该外接虚拟显示屏Display₁的外接应用程序任务栈ExternalFullscreenWorkspaceStack₁，用于为外接设备显示的第二主界面信息包括的应用程序图标提供运行环境；通过上述外接虚拟显示屏Display₁获取上述第二主界面信息，启动Launcher，该Launcher使上述第二主界面信息运行在外接主界面任务栈ExternalHomeStack₁中，然后由通过新增的应用服务(ExternalCommunicator)调用Android中的编码器对第二主界面信息进行编码处理，然后将编码后的数据通过设定的传输通道发送给外接设备，以便外接设备接收该编码后的数据并进行解码，并显示解码后的第二主界面信息。

进一步的，参考图6，本发明实施例中，步骤104中确定该第一操作指令对应的显示屏信息，包括：

S501、获取所述第一操作指令中携带的第二待识别标识信息。

具体的，上述第一操作指令包括：在移动终端的第一显示屏显示的第一主界面程序界面触发的第一操作指令和在外接设备的第二显示屏显示的第二主界面程序界面上触发的第一操作指令，这两种环境中的第一操作指令携带的第二待识别标识信息不同。

S502、判断所述第二待识别标识信息是否与预存的第一主界面程序界面的第一标准标识信息和预存的第二主界面程序界面的第二标准标识信息相同；所述第一标准标识信息和所述第二标准标识信息不同。

其中，移动终端预先存储有第一标准标识信息和第二标准标识信息。

S503、若所述第二待识别标识信息与所述第一标准标识信息相同，确定所述第一操作指令对应第一显示屏。

S504、若所述第二待识别标识信息与所述第二标准标识信息相同，确定所述第一操作指令对应第二显示屏。

进一步的，本发明实施例中提供的屏幕显示信息的处理方法中，移动终端上设置有通信接口，该通信接口用于接入其他设备(此处的其他设备包括上述外接设备还包括充电器、耳机等)。上述通信接口可以为USB(Universal Serial Bus，通用串行总线)接口，也可以为WIFI(WIreless-Fidelity，无线保真)接口。参考图7，所述方法还包括：

S601、监听所述通信接口的状态信息。

S602、在检测到所述通信接口的状态为***状态时，判断是否接收到所述外接设备的第二标识信息。

S603、若是，确定所述通信接口接入所述外接设备。

本发明实施例中，检测到外接设备接入的方法包括：实时监听通信接口的状态信息，在检测到该通信接口的状态为***状态时，判断是否接收到外接设备的第二标识信息；若是，确定上述通信接口接入外接设备。

以上述通信接口为USB接口为例进行说明，监听USB接口广播的其当前状态信息，当检测到USB广播的当前状态信息变更时，判断变更的状态是否为***状态，若确定变更的状态为***状态，在判断是否接收到外接设备的第二标识信息；若接收到外接设备的第二标识信息，则确定通信接口接入外接设备；若确定变更的状态不是***状态，则继续监听USB接口广播的其当前状态信息；若未接收到外接设备的第二标识信息，则继续监听USB接口广播的其当前状态信息。

本发明实施例提供的屏幕显示信息的处理方法中，还包括：在检测到所述外接设备接入时，在所述移动终端的存储内存中搜索在所述外接设备中具有显示权限的应用程序；对搜索的具有显示权限的所述应用程序进行处理，得到外接主界面信息；所述外接主界面信息包括：第二主界面程序界面和其他应用程序图标；将所述外接主界面信息发送至所述外接设备，以便在所述外接设备的第二显示屏上同步显示所述外接主界面信息。当接收到在任一主界面程序界面上触发的第一操作指令后，响应该第一操作指令，并确定该第一操作指令对应的显示屏信息；其中，该操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；将响应所述第一操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示。

具体的，移动终端中具有存储内存和运行内存；存储内存是指移动终端自带的内存储存空间，运行内存是指移动终端运行程序时的内存。

当用户不想让移动终端中的某些应用程序在外接设备上显示时，其首先可以在移动终端的第一主界面程序界面中进行设置(具体用户可以在主界面中的“设置”选择这些应用程序的权限中)，对应的，移动终端接收用户在第一显示屏上触发的第一权限设置指令，该第一权限设置指令用于设置上述移动终端中的应用程序在外接设备中的显示权限，且该第一权限设置指令携带有应用程序的唯一标识(具体的，该唯一标识为应用程序的唯一名称)。移动终端根据上述第一权限设置指令在存储内存中创建第一权限库，并在该存储内存中搜索第一权限设置指令携带的唯一标识匹配的应用程序，并将搜索得到的应用程序进行标识处理，使搜索得到的上述应用程序具有第一权限标识；该第一权限标识用于指示应用程序在外接设备中没有显示权限；然后，移动终端将具有第一权限标识的应用程序加入上述第一权限库中。

移动终端在检测到外接设备接入时，在其包括的存储内存中搜索不在上述第一权限库中的应用程序，而搜索得到的不在上述第一权限库中的应用程序为在外接设备中具有显示权限的应用程序。

上述，在所述移动终端的存储内存中搜索在所述外接设备中具有显示权限的应用程序，包括：遍历所述移动终端的存储内存中的应用程序，并判断遍历的所述应用程序是否具有所述第一权限标识；获取判断结果中不含所述第一权限标识的应用程序。

具体的，在遍历移动终端的存储内存中的应用程序的同时，判断遍历的每一个应用程序是否在存储内存的第一权限库中且具有第一权限标识，确定不在存储内存的权限库中且不具有第一权限标识的应用程序，在外接设备中具有显示权限；而确定的在存储内存的权限库中和/或具有第一权限标识的应用程序，在外接设备中不具有显示权限。

另外，本发明实施例提供的屏幕显示信息的处理方法中，还包括：在检测到所述外接设备接入时，获取所述移动终端中的第二主界面程序和所述应用程序；对所述第二主界面程序和所述应用程序进行处理，得到第二主界面信息；所述第二主界面信息包括：第二主界面程序界面和显示在该第二主界面程序界面上的其他应用程序图标。将所述第二主界面信息发送至所述外接设备，以便在所述外接设备的第二显示屏上显示所述第二主界面信息；当接收到在所述第二主界面程序界面显示的其他应用程序图标上触发的用于启动该其他应用程序图标的第三操作指令后，根据所述第三操作指令携带的应用程序的唯一标识，判断该应用程序是否具有运行权限；若是，响应第三操作指令，将响应所述第三操作指令后得到的响应结果，发送至所述外接设备的第二显示屏处进行显示；若否，显示用于指示该应用程序无法启动的提示信息。

具体的，移动终端的第一显示屏用于显示第一主界面信息，外接设备的第二显示屏用于显示第二主界面信息，用户可以对任意一个显示屏显示的主界面程序界面进行操作。当用户在任意一个显示屏显示的主界面程序界面上触发操作后，移动终端首先接收该操作对应的第三操作指令，然后将第按操作指令转换成自身能识别的数据，并判断上述第三操作指令是作用于第一显示屏上还是作用于第二显示屏，当判断第三操作指令作用在第二显示屏上时，移动终端根据该第三操作指令携带的应用程序的唯一标识，判断该应用程序是否具有运行权限；具体的判断过程为在存储内存中的第二权限库搜索是否存在与该唯一标识匹配的应用程序，若存在，则确定该应用程序具有运行权限；若不存在，则确定该应用程序不具有运行权限。

当用户不想让移动终端中的某些应用程序在外接设备上启动时，其首先可以在移动终端的主界面程序界面上中(具体可以在主界面中的“设置”)进行设置，使存储内存中的某些应用程序不再移动终端的主界面中启动运行，对应的，本发明实施例提供的多显示屏显示信息的处理方法，还包括：

接收在所述移动终端的第一显示屏上触发的第二权限设置指令，所述第二权限设置指令用于设置所述移动终端的应用程序在所述外接设备中的运行权限，且所述第二权限设置指令携带有所述应用程序的唯一标识；

在所述移动终端的存储内存中搜索所述唯一标识匹配的应用程序，对搜索得到的所述应用程序进行标识处理，使搜索得到的所述应用程序具有第二权限标识；所述第二权限标识用于指示所述应用程序在外接设备中没有运行权限。

具体的，移动终端中具有存储内存和运行内存；存储内存是指移动终端自带的内存储存空间，运行内存是指移动终端运行程序时的内存。

当用户不想让移动终端中的某些应用程序在外接设备上启动时，其首先可以在移动终端的主界面程序界面中进行设置(具体可以在主界面中的“设置”选择应用程序的权限)，对应的，移动终端接收用户在第一显示屏上触发的第二权限设置指令，该第二权限设置指令用于设置上述移动终端中的应用程序在外接设备中的启动运行权限，且该第二设置指令携带有应用程序的唯一标识(具体的，该唯一标识为应用程序的唯一名称)。移动终端根据上述第二权限设置指令在存储内存中创建第二权限库，并在该存储内存中搜索第二权限设置指令携带的唯一标识匹配的应用程序，并将搜索得到的应用程序进行标识处理，使搜索得到的应用程序均具有第二权限标识；该第二权限标识用于指示应用程序在外接设备中没有启动运行权限；然后，移动终端将具有第二权限标识的应用程序加入第二权限库中。

本发明实施例提供的一种屏幕显示信息的处理方法，与现有技术中的外接设备只能同步移动终端当前屏幕信息，而无法独立运行移动终端的屏幕信息相比，其在外接设备接入移动终端时，使外接设备能够显示独立于移动终端的第一主界面信息的第二主界面信息，且能够对用户任一主界面程序界面上的操作进行响应处理并向响应对象反馈响应结果，使得用户可以同时在移动终端和外接设备上进行不同的操作，满足了用户同时通过外接设备和移动终端运行不同应用程序的需求。

本发明实施例中提供的一种屏幕显示信息的显示方法，所述方法应用于与移动终端通信连接的外接设备，所述移动终端具有第一显示屏，所述第一显示屏用于显示所述移动终端的第一主界面信息；所述第一主界面信息包括：第一主界面程序界面和应用程序图标；所述外接设备具有第二显示屏，所述第一显示屏的屏幕尺寸大于所述第二显示屏的屏幕尺寸；参考图8，所述方法包括：

S701、在接入所述移动终端后，接收所述移动终端发送的第二主界面信息，在所述第二显示屏上显示所述第二主界面信息；所述第二主界面信息包括：第二主界面程序界面和显示在第二主界面程序界面上的应用程序图标。

本发明实施例中，外接设备中预先存储有与移动终端侧的编码协议对应的解码协议，在接入移动终端后，接收移动终端中发送的编码后的第二主界面信息；根据预存的解码协议对编码后的第二主界面信息进行解码处理，显示解码后的第二主界面信息。

S702、在监听到所述第二显示屏显示的第二主界面程序界面上的控制操作时，生成与所述控制操作对应的第一控制指令。

具体的，用户的控制操作可以是对第二主界面程序界面显示的应用程序的图标的触控操作，也可以是对第二主界面程序界面的旋屏操作。对应的，上述第一控制指令可以是用户针对第二主界面程序界面显示显示的应用程序的图标触发的第一操作指令，也可以是旋屏指令。

S703、将所述第一控制指令发送至所述移动终端，以使所述移动终端响应于所述第一控制指令。

具体的，外接设备将控制指令发送至所述移动终端的应用服务(ExternalCommunicator)，而移动终端侧的响应过程与在前述屏幕显示信息的处理方法中已详细说明，本发明实施例不做具体限定。

S704、接收所述移动终端发送的响应于所述第一控制指令的响应结果，显示所述响应结果。具体的，接收移动终端通过应用服务(ExternalCommunicator)发送的第一控制指令的响应结果。

当该第一控制指令为用户针对第二主界面程序界面显示显示的应用程序的图标触发的第一操作指令时，接收移动终端通过应用服务(ExternalCommunicator)发送的应用程序的图标对应的应用程序界面，对该应用程序界面进行处理并显示；当第一控制指令为旋屏指令时，接收所述移动终端通过应用服务(ExternalCommunicator)发送的旋转后的第二主界面程序界面，并进行处理和显示。

进一步的，参考图9，本发明实施例提供的屏幕显示信息的显示方法还包括：

S801、在监听到所述第二显示屏显示的应用程序界面上的控制操作时，生成与所述控制操作对应的第二控制指令；

S802、将所述第二控制指令发送至所述移动终端，以使所述移动终端响应于所述第二控制指令；

S803、接收所述移动终端发送的响应于所述第二控制指令的响应结果，显示所述响应结果；该响应结果包括：视频数据和/或音频数据。

具体的，接收所述移动终端发送的编码后的所述视频数据，对编码后的所述视频数据进行解码处理，显示解码后的视频数据；和/或，接收所述移动终端发送的编码后的所述音频数据，对编码后的所述音频数据进行解码处理，显示解码后的音频数据。

具体的，外接设备根据预存的解码协议对编码后的视频数据和/或音频数据进行解码处理，显示解码后的视频数据和/或音频数据。

本发明实施例还提供了一种屏幕显示信息的显示***，参考图10，包括：应用上述屏幕显示信息的处理方法处理屏幕显示信息的移动终端10和应用上述屏幕显示信息的显示方法显示屏幕显示信息的外接设备20；移动终端10和外接设备20通信连接。上述通信连接可以为有线连接(如通过USB连接)，也可以为无线连接(如通过WIFI连接)。

其中，上述外接设备20中设置有可充电电池(如锂电池)，在外接设备20在接入移动终端10时，该外接设备可以为移动终端10充电，这样相当于增加了移动终端中的电池的电量，能够移动终端10运行的持久性，用户体验较好。

本发明实施例提供的一种屏幕显示信息的显示方法及***，与现有技术中的外接设备20只能同步移动终端10的屏幕信息而无法独立于移动终端10的屏幕信息相比，其在接入移动终端10后，接收移动终端10显示的独立于移动终端10显示的第一主界面信息的第二主界面信息，同时根据用户输入的控制操作，响应给用户控制操作的反馈结果，使得用户可以同时在移动终端10和外接设备20上进行不同的操作，满足了用户同时通过外接设备20和移动终端10运行不同应用程序的需求。

本发明实施例所提供的屏幕显示信息的显示***可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的***、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种屏幕显示信息的处理方法，其特征在于，所述方法应用于与外接设备通信连接的移动终端，所述移动终端具有第一显示屏，所述第一显示屏用于显示所述移动终端的第一主界面信息；所述第一主界面信息包括：第一主界面程序界面和应用程序图标；所述外接设备具有第二显示屏，所述第一显示屏的屏幕尺寸大于所述第二显示屏的屏幕尺寸；在所述移动终端中新增***服务和应用服务，所述***服务用于持续监听所述外接设备的连接状况、注册外接设备对应的外接虚拟显示屏和对应于该外接虚拟显示屏的活动栈；所述应用服务，用于启动三个线程来与外接设备进行视频、音频和触控信号的数据交换；

其中，通过***服务和修改后的显示管理模块，创建外接虚拟显示屏，并基于该外接虚拟显示屏创建外接任务栈，所述外接任务栈包括外接主界面任务栈和外接应用程序任务栈；通过创建的外接虚拟显示屏、两个外接任务栈和所述应用服务实现在第二显示屏上显示移动终端的主界面信息以及主界面上的应用程序图标的应用程序界面及该应用程序界面中的相关显示数据，该相关显示数据包括视频数据、音频数据和触摸信号；所述方法包括：

在检测到所述外接设备接入时，获取所述移动终端中的第二主界面程序和所述应用程序；

对所述第二主界面程序和所述应用程序进行处理，得到第二主界面信息；所述第二主界面信息包括：第二主界面程序界面和所述应用程序图标；

将所述第二主界面信息发送至所述外接设备，以便在所述外接设备的第二显示屏上显示所述第二主界面信息；

当接收到在任一个主界面程序界面上触发的第一操作指令后，响应该第一操作指令，并确定该第一操作指令对应的显示屏信息；其中，该操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；

将响应所述第一操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示；

所述应用程序图标在第一主界面程序界面或者第二主界面程序界面上显示，所述第一操作指令包括用户在任一主界面程序界面上显示的应用程序的图标触发的操作指令，所述第一操作指令对应的响应结果为所述应用程序的图标对应的应用程序界面，所述方法还包括：

将所述应用程序的图标对应的应用程序界面发送至确定的所述显示屏信息对应的显示屏处进行显示；

当接收到在所述应用程序界面上触发的第二操作指令后，响应所述第二操作指令，并确定所述第二操作指令对应的显示屏信息；其中，所述第二操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；

将响应所述第二操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示；所述响应结果显示在所述应用程序界面中；

所述第二操作指令包括：在所述应用程序界面上触发的音频文件播放请求；所述方法包括：

当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，并确定该音频文件播放请求对应的显示屏信息；其中，该音频文件播放请求对应的显示屏信息是指用户触发该音频文件播放请求所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；

将响应于所述音频文件播放请求后得到的音频文件发送至所述显示屏的信息所对应的显示屏处进行播放；

当在外接设备的第二显示屏显示的应用程序界面上触发所述音频文件播放请求时，所述当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，包括：

当接收到在外接设备的第二显示屏显示的应用程序界面上触发的音频文件播放请求后，获取所述音频文件播放请求的触控位置信息；

对所述触控位置信息进行坐标转换，根据坐标转换结果识别所述触控位置信息对应的应用程序；

获取识别的所述应用程序，从识别的所述应用程序中获取所述音频文件。

2.根据权利要求1所述的屏幕显示信息的处理方法，其特征在于，所述方法还包括：获取所述外接设备的第二显示屏显示的所述应用程序图标的第一标识信息和所述外接设备的第二标识信息，建立所述第一标识信息和所述第二标识信息的对应关系，并存储所述对应关系；

所述确定该音频文件播放请求对应的显示屏信息，包括：

获取所述音频文件所属的应用程序的第一待识别标识信息；

判断所述第一待识别标识信息是否与所述第一标识信息相同；

若所述第一待识别标识信息与所述第一标识信息相同时，根据所述第一标识信息与所述第二标识信息的对应关系，确定所述音频文件所对应的显示屏为第二显示屏。

3.根据权利要求1所述的屏幕显示信息的处理方法，其特征在于，所述对所述第二主界面程序界面和所述应用程序图标进行处理，包括：

获取所述外接设备的外接屏参数；所述外接屏参数至少包括：屏幕分辨率和每英寸点数DPI；

根据所述屏幕分辨率和所述DPI，对所述第二主界面程序界面和所述应用程序图标进行处理，以使得处理后的第二主界面信息能够显示在所述外接设备的第二显示屏中；

将处理后的第二主界面信息发送至所述外接设备的所述第二显示屏中进行显示。

4.根据权利要求1所述的屏幕显示信息的处理方法，其特征在于，所述将所述第二主界面信息发送至所述外接设备，以便在所述外接设备的第二显示屏上显示所述第二主界面信息，包括：

对所述第二主界面信息进行压缩编码处理；

将编码后的所述第二主界面信息发送至所述外接设备，以便所述外接设备对编码后的所述第二主界面信息进行解码处理并显示解码后的第二主界面信息。

5.根据权利要求1所述的屏幕显示信息的处理方法，其特征在于，所述确定该第一操作指令对应的显示屏信息，包括：

获取所述第一操作指令中携带的第二待识别标识信息；

判断所述第二待识别标识信息是否与预存的第一主界面程序界面的第一标准标识信息和预存的第二主界面程序界面的第二标准标识信息相同；所述第一标准标识信息和所述第二标准标识信息不同；

若所述第二待识别标识信息与所述第一标准标识信息相同，确定所述第一操作指令对应第一显示屏；

若所述第二待识别标识信息与所述第二标准标识信息相同，确定所述第一操作指令对应第二显示屏。

6.根据权利要求1-5任一项所述的屏幕显示信息的处理方法，其特征在于，所述响应结果包括：视频数据和/或音频数据；将响应所述第一操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示，包括：

当确定第一操作指令对应的显示屏信息为第二显示屏时，对所述视频数据进行压缩编码处理，将编码后的所述视频数据传输到所述外接设备，以便所述外接设备对编码后的所述视频数据进行解码处理并显示解码后的视频数据；

和/或，当确定第一操作指令对应的显示屏信息为第二显示屏时，调用指定传输通道将所述音频数据传输到所述外接设备，以便所述外接设备控制所述第二显示屏显示所述音频数据。

7.根据权利要求1-5任一项所述的屏幕显示信息的处理方法，其特征在于，所述第一操作指令还包括旋屏指令，该旋屏指令为所述外接设备根据重力传感器传输的重力信号生成的；所述第一操作指令对应的所述响应结果显示在确定的所述显示屏信息对应的显示屏的主界面程序界面中。

8.根据权利要求1所述的屏幕显示信息的处理方法，其特征在于，所述移动终端上设置有通信接口；所述方法还包括：

监听所述通信接口的状态信息；

在检测到所述通信接口的状态为***状态时，判断是否接收到所述外接设备的第二标识信息；

若是，确定所述通信接口接入所述外接设备。

9.一种屏幕显示信息的显示方法，其特征在于，所述方法应用于与移动终端通信连接的外接设备，所述移动终端具有第一显示屏，所述第一显示屏用于显示所述移动终端的第一主界面信息；所述第一主界面信息包括：第一主界面程序界面和应用程序图标；所述外接设备具有第二显示屏，所述第一显示屏的屏幕尺寸大于所述第二显示屏的屏幕尺寸；在所述移动终端中新增***服务和应用服务，所述***服务用于持续监听所述外接设备的连接状况、注册外接设备对应的外接虚拟显示屏和对应于该外接虚拟显示屏的活动栈；所述应用服务，用于启动三个线程来与外接设备进行视频、音频和触控信号的数据交换；

其中，通过***服务和修改后的显示管理模块，创建外接虚拟显示屏，并基于该外接虚拟显示屏创建外接任务栈，所述外接任务栈包括外接主界面任务栈和外接应用程序任务栈；通过创建的外接虚拟显示屏、两个外接任务栈和所述应用服务实现在第二显示屏上显示移动终端的主界面信息以及主界面上的应用程序图标的应用程序界面及该应用程序界面中的相关显示数据，该相关显示数据包括视频数据、音频数据和触摸信号；所述方法包括：

在接入所述移动终端后，接收所述移动终端发送的第二主界面信息，在所述第二显示屏上显示所述第二主界面信息；所述第二主界面信息包括：第二主界面程序界面和显示在第二主界面程序界面上的应用程序图标；

在监听到所述第二显示屏显示的第二主界面程序界面上的控制操作时，生成与所述控制操作对应的第一控制指令；

将所述第一控制指令发送至所述移动终端，以使所述移动终端响应于所述第一控制指令；

接收所述移动终端发送的响应于所述第一控制指令的响应结果，显示所述响应结果；

其中，所述应用程序图标在第一主界面程序界面或者第二主界面程序界面上显示，第一操作指令包括用户在任一主界面程序界面上显示的应用程序的图标触发的操作指令，所述第一操作指令对应的响应结果为所述应用程序的图标对应的应用程序界面，所述方法还包括：

将所述应用程序的图标对应的应用程序界面发送至确定的所述显示屏信息对应的显示屏处进行显示；

当接收到在所述应用程序界面上触发的第二操作指令后，响应所述第二操作指令，并确定所述第二操作指令对应的显示屏信息；其中，所述第二操作指令对应的显示屏信息是指用户触发该操作指令所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；

将响应所述第二操作指令后得到的响应结果，发送至确定的所述显示屏信息对应的显示屏处进行显示；所述响应结果显示在所述应用程序界面中；

所述第二操作指令包括：在所述应用程序界面上触发的音频文件播放请求；所述方法包括：

当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，并确定该音频文件播放请求对应的显示屏信息；其中，该音频文件播放请求对应的显示屏信息是指用户触发该音频文件播放请求所使用的显示屏的信息；所述显示屏为第一显示屏或者第二显示屏；

将响应于所述音频文件播放请求后得到的音频文件发送至所述显示屏的信息所对应的显示屏处进行播放；

当在外接设备的第二显示屏显示的应用程序界面上触发所述音频文件播放请求时，所述当接收到在应用程序界面上触发的音频文件播放请求后，响应该音频文件播放请求，包括：

当接收到在外接设备的第二显示屏显示的应用程序界面上触发的音频文件播放请求后，获取所述音频文件播放请求的触控位置信息；

对所述触控位置信息进行坐标转换，根据坐标转换结果识别所述触控位置信息对应的应用程序；

获取识别的所述应用程序，从识别的所述应用程序中获取所述音频文件。

10.根据权利要求9所述的屏幕显示信息的显示方法，其特征在于，接收所述移动终端发送的第二主界面信息，包括：

接收所述移动终端发送的编码后的所述第二主界面信息；

对编码后的所述第二主界面信息进行解码处理，显示解码后的主界面信息。

11.根据权利要求9所述的屏幕显示信息的显示方法，其特征在于，所述第一控制指令为用户针对显示在第二主界面程序界面上的应用程序图标触发的第三操作指令；或者所述第一控制指令为旋屏指令；

当所述第一控制指令为所述第三操作指令时，所述接收所述移动终端发送的响应于所述第一控制指令的响应结果，包括：

接收所述移动终端发送的触发操作的应用程序的图标对应的应用程序界面。

12.根据权利要求11所述的屏幕显示信息的显示方法，其特征在于，还包括：

在监听到所述第二显示屏显示的应用程序界面上的控制操作时，生成与所述控制操作对应的第二控制指令；

将所述第二控制指令发送至所述移动终端，以使所述移动终端响应于所述第二控制指令；

接收所述移动终端发送的响应于所述第二控制指令的响应结果，显示所述响应结果；所述响应结果包括：视频数据和/或音频数据。

13.一种屏幕显示信息的显示***，其特征在于，包括：如应用权利要求1至9任一项所述的方法处理屏幕显示信息的移动终端和如应用权利要求11至12任一项所述的方法显示屏幕显示信息的外接设备；所述移动终端和所述外接设备通信连接。

Images