CN101695090A - 一种实现移动终端音视频实时共享方法及移动终端 - Google Patents

Abstract

本发明提供一种实现移动终端音视频实时共享的方法及移动终端，该方法包括步骤：A、发送端记录将要播放的音视频数据，对所述音视频数据进行编码压缩后传输给接收端；B、接收端对接收到的所述音视频数据进行解压解码后调用相应的驱动接口对所述音视频数据进行播放。根据本发明可以使接收端在没有发送端播放文件相应解码器的情况下同步观看文件，满足接收端实时同步显示和播放发送端所显示或播放内容，包括各种实体或非实体信息。

Description

一种实现移动终端音视频实时共享方法及移动终端

技术领域

本发明涉及移动通信领域，具体地涉及一种实现移动终端音视频实时共享的方法及移动终端。

背景技术

媒体功能是当前移动终端的重要功能之一，而媒体共享也逐渐显现它在资源共享方面的重要性。目前，移动终端之间的音视频等媒体信息的实时共享一般都是通过先将音视频等媒体文件传输到接收端，再由接收端进行媒体文件的解码与播放。但是，如果接收端不支持相关媒体文件的解码，则该接收端就无法播放这些媒体文件；而且，由于文件传输需要一段时间，接收端需要等待较长的时间进行文件下载，才能进行播放；而且，对于需要分享其实时播放或显示内容的移动终端用户，可能还需要将这些内容录制成文件，再传输到接收端，不能满足实时与同步性。

现有的专利文献有：专利申请号为CN200810066097.0的专利申请提出了“一种共享播放多媒体文件的方法及多媒体播放器”。该专利申请提出的方法和多媒体播放器虽然可以通过实时流的方式对播放器中的媒体进行缓冲，但还需播放器进行媒体解码，对播放器解码能力要求较高，对一些播放器不支持的文件格式没有办法共享播放；并且，该专利申请提出的方法和多媒体播放器未涉及与解决非实体文件的实时共享问题，例如，终端如何将其CMMB(China Mobile Multimedia Broadcasting，***多媒体广播)或收音机所接收到的视频或音频信息实时共享给其他终端，或如何将终端的LCD(Liquid Crystal Display，液晶显示器)显示内容或声音实时共享给其他终端。

发明内容

本发明所要解决的技术问题是提供一种实现移动终端音视频实时共享的方法及移动终端，以将发送端所播放的音视频数据同步传输到接收端。

为了解决上述技术问题，本发明提供了一种实现移动终端音视频实时共享的方法，包括以下步骤：

A、发送端记录将要播放的音视频数据，对所述音视频数据进行编码压缩后传输给接收端；

B、接收端对接收到的所述音视频数据进行解压解码后调用相应的驱动接口对所述音视频数据进行播放。

进一步地，上述方法具有下面特点：所述步骤A具体实现为：

发送端以特定的速率定时抽取将要播放的音视频数据，按时间顺序将相邻Δt时间内抽取的音视频数据存储在不同的缓冲区中，形成多个Δt时间数据包；

轮流编码压缩所述不同的缓冲区中的Δt时间数据包；

将编码压缩后的Δt时间数据包传输给接收端。

进一步地，上述方法具有下面特点：所述抽取音视频数据具体实现为：

按照抽取周期定时采样视频数据，并且抽取所述抽取周期内完整的音频数据。

进一步地，上述方法具有下面特点：在所述轮流编码压缩所述不同的缓冲区中的Δt时间数据包之后还包括：

将编码压缩后的Δt时间数据包存储于数据队列中。

进一步地，上述方法具有下面特点：所述步骤B具体实现为：

接收端接收发送端发来的所述Δt时间数据包；

对所述Δt时间数据包进行解压解码后交替存储于不同的缓冲区中；

轮流地从所述不同的缓冲区中取出所述Δt时间数据包中的音视频数据进行分离和调整后，调用LCD驱动接口和CODEC驱动接口分别对所述音视频数据进行播放。

本发明还提供一种移动终端，包括：

数据记录模块，用于记录所述移动终端的音视频数据，然后向第一数据处理模块发送一消息；

第一数据处理模块，用于接收所述数据记录模块发来的消息后对所述音视频数据进行编码压缩，然后通知数据发送模块；

数据发送模块，用于接收到所述第一数据处理模块发来的通知后发送编码压缩后的音视频数据。

进一步地，上述移动终端具有下面特点：

所述数据记录模块，具体用于以特定的速率定时抽取本身的音视频数据，按时间顺序将相邻Δt时间内抽取的音视频数据存储在不同的缓冲区中，形成多个Δt时间数据包，每形成一个Δt时间数据包即向所述第一数据处理模块发送一消息；

所述第一数据处理模块，具体用于接收到所述消息后相应地轮流编码压缩所述不同的缓冲区中的Δt时间数据包，然后通知所述数据发送模块；

所述数据发送模块，具体用于接收到所述通知后发送编码压缩后的所述Δt时间数据包。

进一步地，上述移动终端具有下面特点：还包括：

数据接收模块，用于接收其它移动终端发来的音视频数据，然后向第二数据处理模块发送消息；

第二数据处理模块，用于接收所述消息后对所述音视频数据进行解压解码，然后通知驱动接口模块；

驱动接口模块，用于接收到所述通知后调用相应的驱动接口对所述音视频数据进行显示和播放。

进一步地，上述移动终端具有下面特点：

所述数据接收模块接收到的音视频数据为第二Δt时间数据包；

所述第二数据处理模块，具体用于对所述第二Δt时间数据包进行解压解码后交替存储于不同的缓冲区中；

所述驱动接口模块，具体用于轮流地从所述缓冲区中取出所述第二Δt时间数据包中的音视频数据进行分离和调整后，调用LCD驱动接口和CODEC驱动接口对所述音视频数据进行播放。

本发明还提供一种移动终端，包括：

数据接收模块，用于接收其它移动终端发来的音视频数据，然后向第三数据处理模块发送一消息；

第三数据处理模块，用于接收所述消息后对所述音视频数据进行解压解码，然后通知驱动接口模块；

驱动接口模块，用于接收到所述通知后调用相应的驱动接口对所述音视频数据进行播放。

综上，本发明提供的实现移动终端音视频实时共享的方法及移动终端，可以使接收端在没有发送端播放文件相应解码器的情况下同步观看文件，或可以在没有发送端媒体硬件(如CMMB、摄像头、收音机等)的情况下同步播放媒体，或满足接收端实时同步显示和播放发送端所显示或播放内容，包括各种实体或非实体信息。通过移动终端间的音视频实时共享，可以加大用户间的交流，增强用户的多媒体体验。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为根据本发明实施例的移动终端(发送端)的示意图；

图2为根据发明实施例的移动终端(接收端)的示意图；

图3为根据发明实施例的移动终端(包括发送端和接收端功能)的示意图；

图4为根据发明实施例的实现移动终端音视频实时共享的方法的流程图；

图5示出了根据本发明实施例的线程T110控制与数据流图；

图6示出了根据本发明实施例的线程T120控制与数据流图；

图7示出了根据本发明实施例的线程T130控制与数据流图；

图8示出了根据本发明实施例的线程T210控制与数据流图；

图9示出了根据本发明实施例的线程T220控制与数据流图；

图10示出了根据本发明实施例的线程T230控制与数据流图。

具体实施方式

目前，各种移动终端，特别是手机基本上都采用蓝牙作为短距离无线传输方式，因此，本发明实施例基于该传输方式进行各种移动终端间的音视频实时共享，但不局限于该传输方式。主要的技术方案是：发送端将其需要显示和播放的音视频数据记录下来，并进行编码压缩，通过蓝牙传输给接收端，接收端再将该数据解压解码，并通过调用其相应的驱动接口进行显示和播放。以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例的移动终端(发送端)的示意图，如图1所示，本实施例的移动终端，即发送端S100，包括数据记录模块S110、数据处理模块S120和数据发送模块S130。

数据记录模块S110用于抽取发送端S100的音视频数据，即RGB与PCM的原始数据，经过数据预处理降低数据量后，保存于缓冲区中，最终形成Δt时间数据包，然后通知数据处理模块S120进行下一步处理；

数据处理模块S120得到数据记录模块S110的通知消息后，对保存于缓冲区中的数据进行编码压缩，并将编码压缩结果保存于数据队列，接着，通知数据发送模块S130进行下一步处理；

数据发送模块S130得到数据处理模块S120通知消息，调用蓝牙接口将数据队列中保存的音视频数据通过蓝牙发送至接收端。

图2为发明实施例的移动终端(接收端)的示意图，如图2所示，本实施例的移动终端，即接收端R100，包括数据接收模块R110、数据处理模块R120和驱动接口模块R130。

数据接收模块R110用于通过蓝牙接收到从发送端传过来的音视频数据包，存于数据队列P2中，并通知数据处理模块R120进行处理；

数据处理模块R120用于接收到数据接收模块R110的通知后，对数据队列P2中的音视频数据进行解压缩、解码，恢复出Δt时间数据包内的各个数据抽样，存于缓冲区中，然后通知驱动接口模块R130进行处理；

驱动接口模块R130用于接收到数据处理模块R120的通知后，处理缓冲区中的数据抽样，得到原始的RGB数据和PCM数据，调用LCD驱动接口和CODEC驱动接口进行音视频数据的显示和播放。

图3为发明实施例的移动终端(包括发送端和接收端功能)的示意图，如图3所示，本实施例的移动终端10包括上述发送端的功能模块(数据记录模块S110、数据处理模块S120和数据发送模块S130)，用于向其它移动终端发送其本身显示和播放的音视频数据；还包括上述接收端的功能模块(数据接收模块R110、数据处理模块R120和驱动接口模块R130)，用于显示和播放其它移动终端发来的音视频数据。本实施例的移动终端10即可以作为发送端也可以作为接收端。

下面详细介绍利用本发明提供的移动终端来实现移动终端音视频实时共享的方法，本发明的实现移动终端音视频实时共享的方法主要是通过抽取发送端原始的音视频数据，即RGB数据与PCM数据，经过编码与压缩，有效的降低数据包大小，然后通过蓝牙发送给接收端，接收端通过蓝牙接收到该音视频数据，对其进行解压和解码，经过LCD驱动和音频CODEC驱动最终将音视频播放出来。

如图4所示，本实施例的实现移动终端音视频实时共享的方法包括步骤：

S401、发送端记录本身将播放的音视频数据，对所述音视频数据进行编码压缩后通过蓝牙传输给接收端；

在该方法中，发送端S100包括数据记录模块S110、数据处理模块S120和数据发送模块S130。本实施例中应用线程T110来实现数据记录模块S110的功能，应用线程T120来实现数据处理模块S120的功能，应用线程T130和蓝牙模块来实现数据发送模块S130的功能。

在本实施例中，线程T110记录一段时间Δt中的音视频数据。该音视频数据包括发送端将输出到其LCD驱动接口模块的RGB数据，以及将输出到音频CODEC(解码-译码器)模块的PCM数据。该记录方法应该尽可能降低音视频原始数据量：对于视频RGB数据，可以采用降低视频数据分辨率，可以采用降低视频数据位数，可以采用降低视频数据抽取速率，或采用其他降低视频原始数据量的方式，或不进行视频数据传输而只传输音频数据；对于音频数据，可以采用降低音频数据位数，可以采用降低音频数据抽取速率，可以进行u率或A率编码，或采用其他降低音频原始数据量的方式，或不进行音频数据传输而只传输视频数据。记录过程中为降低音视频数据量所消耗的时间应小于对音视频数据的抽样周期。线程T110将所记录的数据采用双缓冲或多缓冲方式存储于存储器中，例如线程T110使用缓冲区B1记录一段时间Δt后，通知线程T120对缓冲区B1进行数据处理，这时，线程T110可在线程T120处理缓冲区B1的数据的同时，继续将新的抽样数据保存在缓冲区B2中，使按时间关系相邻的Δt时间抽样的数据保存在不同的缓冲区中。

图5示出了根据本发明实施例的线程T110控制与数据流图。如图5所示，线程T110以一定的抽取速率定时抽取RGB数据和PCM数据，经过数据预处理，进行简单的图像和音频数据的调整与压缩，存储到缓冲区B1中，作为一条数据抽样，这样一直在缓冲区B1中进行数据抽样保存，直到进行Δt时间后，形成一个完整的Δt时间数据包。此时，线程T110通知线程T120处理缓冲区B1中的Δt时间数据包，接下来的Δt时间内的数据抽样保存在缓冲区B2中，之后处理过程依此在缓冲区B1和缓冲区B2循环进行。这里以将抽样的音视频数据存储于双缓冲区中为例，当然也可以将抽样的音视频数据存储于多缓冲区中，方法类似，这里就不再赘述。而且，对于RGB数据和PCM数据抽取方式不尽相同：RGB数据按照抽取周期进行定时采样，而所抽取的PCM数据则是对该抽取周期内的PCM数据的完整记录。

然后，线程T120处理线程T110所保存数据。图6示出了根据本发明实施例的线程T120控制与数据流图。如图6所示，线程T120得到线程T110的通知消息，轮流处理缓冲区B 1和缓冲区B2中的Δt时间数据包。处理过程可以包括编码、压缩等步骤，也可以采取其他方式，目的是尽可能消除Δt时间数据包内各个数据抽样之间的冗余信息，达到数据存储空间的最小化，以及降低对蓝牙传输带宽的要求。线程T120进行一个Δt时间数据的压缩编码的耗时应小于Δt，否则会导致新的Δt时间数据有效时，不能及时进行压缩编码处理。Δt时间数据包经过编码、压缩等步骤处理后，存储于数据队列P1中，并通知线程T130。通过数据队列P1的应用，可以灵活调整每次通过蓝牙模块发送Δt时间数据包的个数，优化蓝牙传输阶段的有效性。

然后，线程T130处理线程T120所保存数据。图7示出了根据本发明实施例的线程T130控制与数据流图。如图7所示，线程T130得到线程T120的通知消息后，选择数据队列P1中的数据通过蓝牙模块的蓝牙空口发出。在通过蓝牙模块发送该数据时，可以采用蓝牙的OPP(Object Push Profile，物体推拉传输协议)、FTP(File Transfer Protocol，文件传送协议)等协议进行，也可以采用其他协议进行。数据队列P1中数据的选择方法可以根据具体情况进行调整，可以每次传输固定个数的Δt时间数据包，也可以根据链路情况动态调整，可以在每次调用蓝牙模块接口进行蓝牙传输前，将所传输Δt时间数据包个数信息传输至接收端。Δt时间数据包需要在发送之前经过处理，如加入Δt时间数据包结束标志，以便接收端能够判断一个Δt时间数据包是否已经接收完成。

S402、接收端对接收到的音视频数据进行解压解码后调用相应的驱动接口对所述音视频数据进行播放。

在该方法中，接收端R100包括数据接收模块R110、数据处理模块R120和驱动接口模块R130。本实施例中应用蓝牙模块和线程T210来实现数据接收模块R110的功能，应用线程T220来实现数据处理模块R120的功能，应用线程T230来实现驱动接口模块R130的功能。

图8示出了根据本发明实施例的线程T210控制与数据流图。如图8所示，蓝牙模块通过蓝牙空口接收到发送端发来的音视频数据后，通知线程T210接收。线程T210将该音视频数据存储到接收数据队列P2中的当前写入位置。当检测到一个完整的Δt时间数据包被接收，如通过Δt时间数据包结束标志判断，则将接收到的结束标志之后得数据存储于数据队列P2的其他单元之中，并通知线程T220进行数据处理。线程T210如果未在预定的T时间内得到一个完整的Δt时间数据包，则通知上层应用进行错误处理，以防止接收端一直处于数据接收状态。

然后，线程T220进行音视频数据处理。线程T220接收到线程T210的通知消息，从接受数据队列P2中取数据进行解压缩、解码等操作，得到一个Δt时间数据，存于双缓冲或多缓冲区，并通知驱动接口模块R130进行处理。图9是示出了根据本发明实施例的线程T220控制与数据流图。如图9所示，线程T220接收到线程T210的通知消息后，从数据队列P2的当前读出位置取出一个Δt时间数据包，进行解压缩、解码，恢复出一个Δt时间数据包内的各个数据抽样，存于多缓冲区，例如缓冲区B3或缓冲区B4中，并通知线程T230进行后续处理。如果之前一个Δt时间数据包存于缓冲区B3中，则下一个Δt时间数据包存于缓冲区B4中，即Δt时间数据包数据抽样的保存与处理在两个缓冲区之间交替进行。

然后，线程T230实现与驱动程序的接口功能。线程T230接收到线程T220的通知消息后，从双缓冲区(或多缓冲区)中取出数据进行预处理，以符合LCD和音频CODEC对RGB、PCM数据的要求，并调用相应的LCD驱动程序与音频驱动程序。其中，RGB数据使用发送端RGB抽样速率进行LCD刷新；PCM数据则根据该PCM的采样率、采样位数、压缩方式等信息，调用音频驱动程序播放。

图10是示出了根据本发明实施例的线程T230控制与数据流图。

如图10所示，线程T230接收到线程T220的通知消息后，从数据缓冲区B3或数据缓冲区B4中取出一个Δt时间数据包内抽样的音视频数据，经过PCM数据、RGB数据分离，RGB数据调整、PCM数据调整，然后调用LCD驱动接口和CODEC驱动接口显示和播放该抽样的音视频数据。PCM、RGB数据分离，RGB数据调整、PCM数据调整等步骤主要是使最终输入到LCD驱动接口和CODEC驱动接口的数据满足相应接口的要求。对抽样的音视频数据的处理方式，对于PCM数据和RGB数据是不同的，这是由其的信号特点决定，并从数据抽样的采样方式反映。

综上所述，通过本发明的移动终端和实现移动终端音视频实时共享的方法，可以将发送端所播放的音视频数据同步传输到接收端，由于采用将最终输出到LCD和音频CODEC的数据进行发送，实现了接收端LCD图像与声音与发送端的同步。这样，可以使接收端在没有发送端播放文件相应解码器的情况下同步观看文件，或可以在没有发送端媒体硬件(如CMMB、摄像头、收音机等)的情况下同步播放媒体，使用户同步实时共享媒体信息，达到移动终端间的音视频实时共享，加大用户间的交流，增强用户的多媒体体验。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种实现移动终端音视频实时共享的方法，包括以下步骤：

A、发送端记录将要播放的音视频数据，对所述音视频数据进行编码压缩后传输给接收端；

B、接收端对接收到的所述音视频数据进行解压解码后调用相应的驱动接口对所述音视频数据进行播放。

2.如权利要求1所述的方法，其特征在于，所述步骤A具体实现为：

发送端以特定的速率定时抽取将要播放的音视频数据，按时间顺序将相邻Δt时间内抽取的音视频数据存储在不同的缓冲区中，形成多个Δt时间数据包；

轮流编码压缩所述不同的缓冲区中的Δt时间数据包；

将编码压缩后的Δt时间数据包传输给接收端。

3.如权利要求2所述的方法，其特征在于：所述抽取音视频数据具体实现为：

按照抽取周期定时采样视频数据，并且抽取所述抽取周期内完整的音频数据。

4.如权利要求2所述的方法，其特征在于：在所述轮流编码压缩所述不同的缓冲区中的Δt时间数据包之后还包括：

将编码压缩后的Δt时间数据包存储于数据队列中。

5.如权利要求2所述的方法，其特征在于：所述步骤B具体实现为：

接收端接收发送端发来的所述Δt时间数据包；

对所述Δt时间数据包进行解压解码后交替存储于不同的缓冲区中；

轮流地从所述不同的缓冲区中取出所述Δt时间数据包中的音视频数据进行分离和调整后，调用LCD驱动接口和CODEC驱动接口分别对所述音视频数据进行播放。

6.一种移动终端，包括：

数据记录模块，用于记录所述移动终端的音视频数据，然后向第一数据处理模块发送一消息；

第一数据处理模块，用于接收所述数据记录模块发来的消息后对所述音视频数据进行编码压缩，然后通知数据发送模块；

数据发送模块，用于接收到所述第一数据处理模块发来的通知后发送编码压缩后的音视频数据。

7.如权利要求6所述的移动终端，其特征在于，

所述数据记录模块，具体用于以特定的速率定时抽取本身的音视频数据，按时间顺序将相邻Δt时间内抽取的音视频数据存储在不同的缓冲区中，形成多个Δt时间数据包，每形成一个Δt时间数据包即向所述第一数据处理模块发送一消息；

所述第一数据处理模块，具体用于接收到所述消息后相应地轮流编码压缩所述不同的缓冲区中的Δt时间数据包，然后通知所述数据发送模块；

所述数据发送模块，具体用于接收到所述通知后发送编码压缩后的所述Δt时间数据包。

8.如权利要求6所述的移动终端，其特征在于，还包括：

数据接收模块，用于接收其它移动终端发来的音视频数据，然后向第二数据处理模块发送消息；

第二数据处理模块，用于接收所述消息后对所述音视频数据进行解压解码，然后通知驱动接口模块；

驱动接口模块，用于接收到所述通知后调用相应的驱动接口对所述音视频数据进行显示和播放。

9.如权利要求8所述的移动终端，其特征在于，

所述数据接收模块接收到的音视频数据为第二Δt时间数据包；

所述第二数据处理模块，具体用于对所述第二Δt时间数据包进行解压解码后交替存储于不同的缓冲区中；

所述驱动接口模块，具体用于轮流地从所述缓冲区中取出所述第二Δt时间数据包中的音视频数据进行分离和调整后，调用LCD驱动接口和CODEC驱动接口对所述音视频数据进行播放。

10.一种移动终端，包括：

数据接收模块，用于接收其它移动终端发来的音视频数据，然后向第三数据处理模块发送一消息；

第三数据处理模块，用于接收所述消息后对所述音视频数据进行解压解码，然后通知驱动接口模块；

驱动接口模块，用于接收到所述通知后调用相应的驱动接口对所述音视频数据进行播放。

Images