CN102510541B - 多屏互动的音视频内容切换方法及媒体播放器 - Google Patents

Abstract

本发明公开了一种多屏互动的音视频内容切换方法及媒体播放器，所述方法包括当需要屏幕切换时，将源设备与目标设备建立连接，源设备的播放器把记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流，以及包括当前所播放音视频解码需要的参数、控制信息生成一音视频内容切换数据，按照多屏互动协议传输给目标设备的媒体播放器；目标设备的媒体播放器根据接收到的音视频内容切换数据，根据所述当前播放位置，从当前播放帧的上一个关键帧开始对所述音视频进行继续播放。采用本发明可以在各设备间灵活地实现多屏互动，可以无缝地进行音视频画面切换，还可以继续在源设备上遥控目标设备的播放及再次切换回源设备继续播放，且占用网络带宽低，为用户提供了方便。

Description

多屏互动的音视频内容切换方法及媒体播放器

技术领域

本发明涉及多屏互动技术领域，尤其涉及的是一种多屏互动的音视频内容切换方法及支持多屏互动的媒体播放器。

背景技术

随着网络通信技术和多媒体技术的发展，智能电视、智能手机、平板电脑越来越多地进入人们的日常生活中。并且，人们希望在智能电视、智能手机、平板电脑之间能够灵活地进行画面和音视频内容的共享和切换，例如，把手机上观看着的一个视频切换到电视上继续播放。

目前，已经有一些方法实现这样的功能，一种方法是采用屏幕拷贝技术，例如把当前手机屏幕的内容完整地拷贝下来，传输到电视屏幕上。而采用这种技术实现视频画面的传输，要求手机的计算处理能力足够强大，占用很大的带宽资源，对于高清视频几乎做不到或非常昂贵。

另一种方法是采用文件传输技术，将正在播放的媒体压缩文件传输过去，而这种技术的局限在于：第一，以文件方式传输过去，无法自动切换到当前播放位置开始播放，需要人工快进搜索；第二，如果播放的是网络上的流媒体则可能无权限进行或无法实时完成文件传输。

因此，现有技术还有待于改进和发展。

发明内容

针对现有技术的上述缺陷，提供一种多屏互动的音视频内容切换方法及支持多屏互动的媒体播放器。

本发明解决技术问题所采用的技术方案如下：

一种多屏互动的音视频内容切换方法，其中，包括：

步骤A、源设备启动媒体播放器在本地播放音视频，并将当前所播放音视频的控制信息数据记录在其多屏互动数据缓冲器组模块；

步骤B、源设备媒体播放器的多屏互动数据缓冲器组模块实时更新记录当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及包括当前所播放音视频解码需要的参数和控制信息；

步骤C、当需要屏幕切换时，将源设备与目标设备建立连接，源设备的媒体播放器把记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及包括当前所播放音视频解码需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议传输给目标设备的媒体播放器；

步骤D、目标设备的媒体播放器根据接收到的音视频内容切换数据，根据所述当前播放位置，从当前播放帧的上一个关键帧开始对所述音视频进行继续播放。

所述多屏互动的音视频内容切换方法，其中，所述步骤A之前还包括：步骤a、预先设置需与源设备进行多屏互动的多个目标设备的地址，并存储在源设备的多屏互动数据缓冲器组模块。

所述多屏互动的音视频内容切换方法，其中，所述步骤a还包括：所述多个目标设备的地址至少包括一默认设置的目标设备的地址。

所述多屏互动的音视频内容切换方法，其中，所述当前所播放音视频解码需要的参数包括：当前播放媒体的音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号和文件大小。

所述多屏互动的音视频内容切换方法，其中，所述目标设备的地址包括目的设备ID和IP地址列表。

所述多屏互动的音视频内容切换方法，其中，所述步骤C还包括：所述源设备通过多屏互动通信模块与目标设备建立连接。

一种支持多屏互动的媒体播放器，包括：

用于对播放的媒体文件的格式进行解析的媒体格式解析器；

用于接收网络的媒体文件的流媒体协议栈模块；

用于对进行格式解析后媒体文件进行音视频解码的音视频解码器；

用于解压输出音视频解码器解码后的媒体文件的音视频到显示器进行播放显示的解压视频输出模块；

用于对媒体播放器进行操作控制的人机交互模块；

所述音视频解码器分别与所述媒体格式解析器、流媒体协议栈模块、人机交互模块连接；

其中，所述媒体播放器还包括：分别与所述媒体格式解析器、流媒体协议栈模块、音视频解码器、人机交互模块连接的多屏互动数据缓冲器组模块；以及

分别与多屏互动数据缓冲器组模块、人机交互模块连接的多屏互动通信模块；

所述多屏互动数据缓冲器组模块用于实时更新记录当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及包括当前所播放音视频解码需要的参数和控制信息；

所述多屏互动通信模块用于在媒体播放器进入屏幕切换或同时播放状态时，把所述多屏互动数据缓冲器组模块记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及当前所播放音视频解码需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议传输给目标设备的媒体播放器，以进行屏幕切换后的播放。

所述的支持多屏互动的媒体播放器，其中，所述多屏互动数据缓冲器组模块还用于记录来自人机交互模块输入的配置信息，包括目标设备的ID和IP地址列表；以及用于保存播放器当前的工作状态：是本机播放，切换播放，还是同时播放。

所述的支持多屏互动的媒体播放器，其中，所述多屏互动数据缓冲器组模块还用于记录来自媒体格式解析器和流媒体协议栈模块的当前播放媒体的格式，包括：音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号及文件大小。

本发明所提供的多屏互动的音视频内容切换方法及支持多屏互动的媒体播放器，由于采用了把源设备的媒体播放器当前播放的媒体格式、当前播放的媒体下一帧压缩数据及当前播放位置记录下来，当需要屏幕切换时，源设备的媒体播放器把这些数据转发出去，传输给目标设备的媒体播放器，这样就可以无缝地进行切换，还可以继续在源设备上遥控目标设备的播放及再次切换回源设备继续播放，且传输的就是原来已压缩数据，既不需要源设备重新压缩，也不需要很大的网络带宽。通过使用本发明的方法，在保持原有智能手机、平板电脑的处理能力下，在现有10M/100M家庭网络带宽环境下，可以低成本地实现音视频的多屏互动，包括高清互动，而且，用户随意切换或同时播放都可以做到无缝不间断的体验。

附图说明

图1是本发明实施例的支持多屏互动的媒体播放器的原理框图。

图2是本发明实施例的多屏互动的音视频内容切换方法的流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的一种支持多屏互动的媒体播放器100，如图1所示，主要包括：媒体格式解析器110、流媒体协议栈模块120、音视频解码器130、人机交互模块140、解压视频输出模块150。

所述媒体格式解析器110与所述音视频解码器130连接，主要用于对播放的媒体文件（如本地媒体文件）的格式进行解析。

所述流媒体协议栈模块120与所述音视频解码器130连接，主要用于接收来自网络的网络数据（如流媒体文件）。

所述音视频解码器130主要用于对进行格式解析后的媒体文件进行音视频解码。

所述人机交互模块140与所述音视频解码器130连接，主要用于对本实施例的媒体播放器100进行操作控制。

解压视频输出模块150与所述音视频解码器130连接，主要用于解压输出音视频解码器130解码后的媒体文件的音视频到显示器200进行播放显示。

其中，如图1所示，本实施例的支持多屏互动的媒体播放器100其还包括：

分别与所述媒体格式解析器110、流媒体协议栈模块120、音视频解码器130、人机交互模块140连接的多屏互动数据缓冲器组模块160；以及

分别与多屏互动数据缓冲器组模块160、人机交互模块140连接的多屏互动通信模块170。

其中，所述多屏互动数据缓冲器组模块160用于实时更新记录当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧（例如：MPEG中的I帧）开始到当前播放帧尾部的原始压缩数据流以及当前所播放媒体文件解码所需要的参数和控制信息。

所述多屏互动通信模块170用于在媒体播放器100进入屏幕切换或同时播放状态时，把所述多屏互动数据缓冲器组模块160记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及包括当前所播放音视频解码需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议传输给目标设备的媒体播放器，以进行屏幕切换后的播放。

所述的支持多屏互动的媒体播放器100，其中，所述多屏互动数据缓冲器组模块160还用于记录来自人机交互模块140输入的配置信息，包括目标设备的ID和IP地址列表；以及用于保存播放器当前的工作状态：是本机播放，切换播放，还是同时播放。

进一步地，所述多屏互动数据缓冲器组模块160还用于记录来自媒体格式解析器110和流媒体协议栈模块120的当前播放媒体文件的格式，包括：音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号和文件大小。

即本发明实施例的支持多屏互动的媒体播放器100在多屏互动数据缓冲器组模块160中需要存储的关键数据如下：

1）、来自音视频解码器130的当前播放音视频的最新一帧帧内压缩数据帧（关键帧I帧，本实施例中即为每小段流媒体的第一帧（起始帧）为I帧）的数据，以及随后的所有数据帧，直到遇到下一帧I帧数据，则将以前缓冲的所有数据帧清空，重新从I帧开始缓冲。

2）、记录来自人机交互模块140输入的配置信息，包括目标设备的ID和IP地址列表；以及保存有播放器当前的工作状态信息：包括是本机播放，切换播放，还是同时播放。

3）、来自媒体格式解析器110或流媒体协议栈模块120的当前播放媒体文件的格式，包括：音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号和文件大小。

本发明实施例的支持多屏互动的媒体播放器100，在具体实施时，参考图1所示，在媒体格式解析器110、流媒体协议栈模块120、音视频解码器130及人机交互模块140上增加与多屏互动数据缓冲器组模块160连接的接口；并在人机交互模块140上还要增加与多屏互动通信模块170连接的接口。

进一步地，本发明实施例的支持多屏互动的媒体播放器100，需要在人机交互模块140中增加一个“多屏互动”组合按键，通过其可以直接“确认”切换到缺省目标设备，也可以下拉选择或输入目标设备。

当用户启动所述媒体播放器100播放媒体文件时，媒体播放器100首先在本地播放媒体文件，媒体播放器100的各模块自动发送相关控制信息给多屏互动数据缓冲器组模块160，多屏互动数据缓冲器组模块160还缓冲有最近上一个I帧之后的数据。

当用户点击“多屏互动”按键进行切换时，所述媒体播放器100首先与第一缺省目标设备连接，不成功就连接下一个缺省目标设备，或连接用户指定的目标设备。一旦连接成功，多屏互动通信模块170就主动从多屏互动数据缓冲器组模块160获取音视频内容切换数据，并按照多屏互动协议以网络数据形式发送给目标设备，其中该音视频内容切换数据包括媒体解码需要的所有参数、控制信息及从上一个I帧开始的媒体文件的原始压缩数据流。

本发明实施例的支持多屏互动的媒体播放器100，一旦进入屏幕切换或同时播放状态，音视频解码器130就把其输入的数据同时发送给多屏互动数据缓冲器组模块160，直到停止播放或回到本机播放模式。

本发明实施例的支持多屏互动的媒体播放器100，可以用在智能手机、平板电脑、和智能电视中的播放器，本发明的媒体播放器100是在原来媒体播放器的基础上新增加两个模块：多屏互动数据缓冲器组模块160和多屏互动通信模块170，使本发明实施例的支持多屏互动的媒体播放器100，既支持原有的媒体播放功能，又支持多屏切换播放或多屏同时播放，还可以继续在源设备上遥控目标设备的播放及再次切换回源设备继续播放。由此可见，本发明实施例的支持多屏互动的媒体播放器100，可以在各设备间灵活地实现多屏互动，可以无缝地进行音视频画面切换，且占用网络带宽低，为用户提供了方便。

基于上述支持多屏互动的媒体播放器100，本发明实施例还提供了一种多屏互动的音视频内容切换方法，如图2所示，主要包括以下步骤：

在步骤S110中，源设备启动媒体播放器在本地播放音视频，并将播放当前音视频的控制信息数据记录在其多屏互动数据缓冲器组模块。

在步骤S120中，源设备媒体播放器的多屏互动数据缓冲器组模块实时更新记录当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及当前所播放音视频解码所需要的参数和控制信息。

在步骤S130中，当需要屏幕切换时，将源设备与目标设备建立连接，并把源设备的播放器记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及当前所播放音视频媒体文件解码所需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议传输给目标设备的媒体播放器。

在步骤S140中，目标设备的媒体播放器根据接收到的音视频内容切换数据，根据所述当前播放位置，从当前播放帧的上一个关键帧开始对所述音视频进行继续播放。

优选地，该多屏互动的音视频内容切换方法中，在所述步骤S110之前还可包括步骤：预先设置需与源设备进行多屏互动的多个目标设备的地址，并存储在源设备的多屏互动数据缓冲器组模块。其中，所述多个目标设备的地址至少包括一默认设置的目标设备的地址，而所述目标设备的地址包括目标设备ID和IP地址列表。

优选地，在步骤S130中，所述当前所播放媒体文件解码所需要的参数可包括：当前播放媒体的音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号、文件大小，当前播放相对位置。

其中，所述步骤S130还包括：所述源设备通过多屏互动通信模块与目标设备建立连接。

综上所述，本发明所提供的多屏互动的音视频内容切换方法及支持多屏互动的媒体播放器，由于采用了把源设备的媒体播放器当前播放的媒体格式、当前播放的媒体下一帧压缩数据、当前播放位置记录下来，当需要屏幕切换时，源设备的播放器把这些数据转发出去，传输给目的设备的媒体播放器，这样就可以无缝地进行切换，且传输的就是原来已压缩数据，既不需要源设备重新压缩、也不需要很大的网络带宽。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1. 一种多屏互动的音视频内容切换方法，其特征在于，包括：

步骤A、源设备启动媒体播放器在本地播放音视频，并将当前所播放音视频的控制信息数据记录在其多屏互动数据缓冲器组模块；

步骤B、源设备媒体播放器的多屏互动数据缓冲器组模块实时更新记录当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及当前所播放音视频解码需要的参数和控制信息；

步骤C、当需要屏幕切换时，将源设备与目标设备建立连接，并把源设备的媒体播放器记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及当前所播放音视频解码需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议传输给目标设备的媒体播放器；

步骤D、目标设备的媒体播放器根据接收到的音视频内容切换数据，根据所述当前播放位置，从当前播放帧的上一个关键帧开始对所述音视频进行继续播放；

所述当前所播放音视频解码需要的参数包括：当前播放媒体的音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号及文件大小；

所述多屏互动数据缓冲器组模块存储当前播放音视频的上一个关键帧的数据，以及随后的所有数据帧，直到遇到下一个关键帧，则将以前缓冲的所有数据帧清空，重新开始缓冲；

所述步骤A之前还包括：步骤a、预先设置需与源设备进行多屏互动的多个目标设备的地址，并存储在源设备的多屏互动数据缓冲器组模块；

所述步骤a还包括：所述多个目标设备的地址至少包括一默认设置的目标设备的地址；

所述目标设备的地址包括目标设备ID和IP地址列表；

所述步骤C还包括：所述源设备通过多屏互动通信模块与目标设备建立连接；

在进入屏幕切换或同时播放状态时，多屏互动通信模块把所述多屏互动数据缓冲器组模块记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及包括当前所播放音视频解码需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议以网络数据形式传输给目标设备的媒体播放器，以进行屏幕切换后的播放；

所述多屏互动数据缓冲器组模块还用于记录来自人机交互模块输入的配置信息，包括目标设备的ID和IP地址列表；以及用于保存播放器当前的工作状态：是本机播放，切换播放，还是同时播放。

2.一种支持多屏互动的媒体播放器，包括：

用于对播放的媒体文件的格式进行解析的媒体格式解析器；

用于接收网络的媒体文件的流媒体协议栈模块；

用于对进行格式解析后的媒体文件进行音视频解码的音视频解码器；

用于解压输出音视频解码器解码后的媒体文件的音视频到显示器进行播放显示的解压视频输出模块；

用于对媒体播放器进行操作控制的人机交互模块；

所述音视频解码器分别与所述媒体格式解析器、流媒体协议栈模块、人机交互模块连接；

其特征在于，所述媒体播放器还包括：分别与所述媒体格式解析器、流媒体协议栈模块、音视频解码器、人机交互模块连接的多屏互动数据缓冲器组模块；以及

分别与多屏互动数据缓冲器组模块、人机交互模块连接的多屏互动通信模块；

所述多屏互动数据缓冲器组模块用于实时更新记录当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及当前所播放音视频解码需要的参数和控制信息；

所述多屏互动通信模块用于在媒体播放器进入屏幕切换或同时播放状态时，把所述多屏互动数据缓冲器组模块记录的当前所播放音视频的当前播放位置、从当前播放帧的上一个关键帧开始到当前播放帧尾部的原始压缩数据流以及包括当前所播放音视频解码需要的参数和控制信息生成一音视频内容切换数据，按照多屏互动协议以网络数据形式传输给目标设备的媒体播放器，以进行屏幕切换后的播放；

所述多屏互动数据缓冲器组模块还用于记录来自媒体格式解析器和流媒体协议栈模块的当前播放媒体的格式，包括：音频压缩格式、数据采样率、采样数据位、视频压缩格式、视频分辨率、视频帧率、支持的流媒体协议及版本号和文件大小；

所述多屏互动数据缓冲器组模块还用于存储当前播放音视频的上一个关键帧的数据，以及随后的所有数据帧，直到遇到下一个关键帧，则将以前缓冲的所有数据帧清空，重新开始缓冲；

所述多屏互动数据缓冲器组模块还用于记录来自人机交互模块输入的配置信息，包括目标设备的ID和IP地址列表；以及用于保存播放器当前的工作状态：是本机播放，切换播放，还是同时播放。