CN1538707A - 一种终端应用协议中自适应的多媒体分布播放方法 - Google Patents

Abstract

本发明涉及终端应用协议中多媒体播放技术领域，提供一种在终端应用协议中播放多媒体内容的自适应方法，通过应用程序服务器和网络终端之间根据终端处理能力、应用服务器负载情况以及网络带宽状况对多媒体播放过程进行协商。通过协商，终端应用协议中多媒体播放过程的码流解析，视频解码、音频解码和同步控制过程就可以分布在应用服务器和网络终端上。这种多媒体自适应播放方法定义了网络终端和应用服务器之间针对终端处理能力、网络带宽以及应用服务器负载等进行协商的信息格式和协商过程，实现了应用服务器对多媒体播放控制窗口和终端多媒体解码之间的有机融合。

Description

一种终端应用协议中自适应的多媒体分布播放方法

技术领域

本发明涉及终端应用协议中多媒体播放技术领域，特别是一种终端应用协议中自适应的多媒体分布播放方法，通过终端应用协议网络终端可以使用终端应用服务器上的应用程序。使用这种自适应的多媒体播放方法网络终端通过和应用服务器协商可以将播放过程中的多媒体码流解析、视音频解码以及同步控制分布到本地完成。采用本发明的终端应用协议可以明显降低网络应用服务器负载，提高终端应用协议中多媒体应用的带宽利用效率，极大改善网络终端多媒体播放质量。

背景技术

随着网络基础设施和互联网络的迅速发展，个人计算机迅速向网络计算机过渡。使用网络计算机访问网络上的各种应用已经成为人们获取信息和各种网络服务的重要方式。通过终端应用协议进行多媒体播放在终端应用协议中有重要地位。但传统的终端应用协议中对多媒体播放没有进行专门处理，只是简单的把其作为一种普通的图形界面通过远程显示协议来实现。传统方式主要缺点有：一是对多媒体的播放需要大量网络带宽资源，二是多媒体播放中的视音频同步控制困难，三是当用户增加时应用服务器负载很重。本发明的多媒体自适应分布播放方法，可以应用到各种网络终端上，包括PC和NC(网络计算机)等，很好的解决了上述三个问题。

发明内容

本发明的目的在于提供一种终端应用协议中多媒体播放的自适应分布方法。在终端应用协议中当用户进行多媒体播放时，网络终端和应用服务器先进行协商，协商的内容包括网络终端处理能力、服务器负载情况以及可使用的网络带宽情况。其中网络终端处理能力主要包括多媒体码流解析能力、视频解码能力、音频解码能力以及视音频同步能力。通过协商多媒体播放过程中的码流解析、视频解码、音频解码、视音频同步就可以根据终端处理能力、服务器负载情况和网络带宽情况分别在网络终端或应用服务器上进行。当视频解码过程在网络终端上进行时，播放控制窗口的控制仍然由应用服务器进行，本地视频解码对用户透明。

为实现上述目的，终端应用协议中的多媒体自适应播放方法包括步骤：

●网络终端和应用服务器连接时先对终端多媒体播放能力进行协商并根据协商结果分布实施，其中播放过程包括多媒体码流解析、视频解码、音频解码和同步控制；

●协商在终端和服务器建立连接时进行，首先由终端发送本地对多媒体播放的能力支持信息，其中包括码流解析、视频解码、音频解码能力等，然后由服务器对其进行检查和调整，并向终端发送确认信息，协商过程完成后，应用服务器和网络终端根据协商结果协同完成播放过程的多媒体码流解析、视频解码、音频解码以及同步控制过程；

●多媒体播放时，服务器根据和终端的协商信息自适应的向终端传输编码码流或已解码的视、音频数据；

●终端本地的多媒体播放控制窗口由应用服务器进行控制，其中的视、音频解码既可以在服务器也可以在终端进行；

●播放过程中播放控制窗口的控制始终由应用服务器进行。

本发明是解决应用服务器和网络终端之间对多媒体播放进行协商、调节、调整和分布实施，而不是单纯的同步控制。

附图说明

以下结合附图及协商实例对本发明作进一步的详细说明：

图1是本发明的终端应用协议中自适应的多媒体播放方法过程示意图；

图2是本发明的应用服务器进行视、音频解码和同步控制图；

图3是本发明的应用服务器进行视频解码，网络终端进行音频解码图；

图4是本发明的网络终端进行视频解码时，播放控制窗口控制信息流程示意图；

图5是本发明的应用服务器进行播放窗口控制和音频解码，网络终端进行视频解码图；

图6是本发明的应用服务器进行播放窗口控制，网络终端进行视、音频解码和同步控制图；

图7是本发明的应用服务器进行播放窗口控制，网络终端进行多媒体码流解析和视、音频解码图。

图1中，首先终端用户登录，然后终端向服务器发送媒体播放能力信息，服务器在接到信息后协商确认播放过程。当终端用户开始多媒体播放时，根据协商结果播放的各个过程分布在终端或服务器进行

图2中，其中左侧为应用服务器上的虚屏幕，右侧为终端本地屏幕。服务器完成以下功能：

1、多媒体播放窗口控制

2、视、音频码流解析

3、视、音频解码

4、传送已解码视、音频数据

5、同步控制

终端只是通过远程显示协议显示图形界面和输出音频。

图3中，其基本过程和图2所示相同，但音频解码在终端上进行。

图4中，其控制信息流程见下面的详细说明。

图5中，服务器功能同图2相比的不同之处是视频解码过程在终端进行，因此服务器向终端传输的为编码视频数据。

图6中，服务器完成的功能如下：

1、多媒体播放窗口控制

2、多媒体视、音频流解析

3、传送编码视频数据和编码音频数据

终端完成视、音频解码和同步控制。

图7中，服务器只进行如下功能：

1、多媒体播放窗口控制

2、分析视频格式

3、向网络终端传送原始多媒体码流

终端实际是一个完整的视频播放器，完成多媒体码流解析，视、音频解码和同步控制。

具体实施方式

本发明的具体实施如图1所示，当网络终端用户同网络应用服务器进行连接时对终端多媒体播放能力进行协商。在协商过程中，网络终端为服务器提供本地多媒体播放能力的信息，其中包括对多媒体码流的解析能力、视频解码能力、音频解码能力以及进行视音频同步的能力。网络应用服务器根据终端提供的上述信息，再结合服务器自身当前的负载情况和网络带宽资源情况，来决定多媒体播放过程中的多媒体码流解析、视频解码、音频解码、视音频同步等如何在应用服务器和终端上协同进行，并向终端发送确认信息。

本发明对终端多媒体播放过程做自适应调整。根据多媒体码流解析、视频解码、音频解码以及视音频同步过程在应用服务器或网络终端上分布执行，实际的播放过程可以有五种方式，其分别对应于图2、图3、图5、图6和图7。下面分别说明这五种情况。

图2为在应用服务器上进行码流分析、视、音频解码和同步控制的示意图。应用服务器上的播放程序将解码后的视频数据输出到应用服务器上的虚窗口中，然后视频数据连同播放控制窗口通过远程显示协议再输出到终端用户屏幕上，已解码的音频数据则通过音频数据通道输出到网络终端上。播放过程的同步控制在应用服务器端进行。此种情况适应于功能简单的网络终端。

图3同图2类似，主要区别在播放过程中的音频解码过程在网络终端完成，通过音频通道传输的数据为编码音频数据。这种播放方式中同步控制由应用服务器进行。

图4为视频解码过程在网络终端上进行时播放窗口控制信息示意图。当终端用户对播放窗口进行调整时(这些信息包括开始、暂停、调整窗口位置和大小等)，控制信息如图4中1所示先和本地屏幕上的位置信息相结合，再如图4中2所示的通过远程显示协议将用户控制送至服务器虚窗口，如图4中3所示再将控制信息送至服务器上的播放程序，播放程序如图4中4所示对虚窗口***中的播放界面进行调整。播放窗口中的视频数据在终端上产生，服务器上的播放程序必须继续将控制信息再送回终端上的视频解码过程，如图4中5所示，然后终端上的视频解码过程根据此控制信息，将解码后的视频数据写入本地屏幕上的远程窗口***中对应的播放窗口区域内，如图4中6所示。通过上述步骤，播放过程中的窗口控制和视频解码虽然分别在服务器和终端上进行，但这个过程对终端用户透明，整个窗口控制仍然完全由应用服务器进行。

图5为视频解码过程在终端进行的播放过程示意图。这种情况窗口控制信息如图4所示。具体播放过程如下，应用服务器上的播放主要完成以下功能：播放窗口控制、多媒体码流解析、音频解码、音频数据传送、视频编码数据传送以及同步控制等。图5中应用程序虚窗口中的播放窗口为浅色阴影，表示实际的视频数据并不输出到此处。图5中终端上的视频解码过程根据从服务器获得的窗口信息将解码出的视频数据写入本地屏幕上的远程窗口***中对应的播放窗口中。图5所示的播放过程中的同步控制仍然在服务器上进行，这主要是因为音频解码在服务器上完成。

图6和图7与图5基本类似，视频解码过程都是在终端完成。图6表示视频和音频解码过程都在网络终端完成，但多媒体码流解析仍然在服务器进行，由于视、音频解码都在终端，因此可以把视、音频的同步控制移至终端。图7所示解码过程与图6的区别在于多媒体码流的解析过程也在终端进行，服务器上的播放程序似乎只需将多媒体码流传送至终端即可，但实际上由于服务器上的播放程序需要对播放窗口进行控制，因此需要在服务器上解出多媒体码流中和视频相关的信息。

Claims (5)

1.一种终端应用协议中自适应的多媒体分布播放方法，其特征在于：步骤如下：

●网络终端和应用服务器连接时先对终端多媒体播放能力进行协商并根据协商结果分布实施，其中播放过程包括多媒体码流解析、视频解码、音频解码和同步控制；

●协商在终端和服务器建立连接时进行，首先由终端发送本地对多媒体播放的能力支持信息，其中包括码流解析、视频解码、音频解码能力，然后由服务器对其进行检查和调整，并向终端发送确认信息，协商过程完成后，应用服务器和网络终端根据协商结果协同完成播放过程的多媒体码流解析、视频解码、音频解码以及同步控制过程；

●多媒体播放时，服务器根据和终端的协商信息自适应的向终端传输编码码流或已解码的视、音频数据；

●终端本地的多媒体播放控制窗口由应用服务器进行控制，其中的视、音频解码既可以在服务器也可以在终端进行；

●播放过程中播放控制窗口的控制始终由应用服务器进行。

2.根据权利要求1所述的方法，其特征在于：应用服务器上的多媒体播放器通过和网络终端协商，播放过程中的码流解析、视频解码、音频解码以及视、音频同步过程可以分别由应用服务器或网络终端完成。

3.根据权利要求1所述的方法，其特征在于：应用服务器和网络终端的协商依据终端处理能力、应用服务器负载情况和网络带宽因素，其中终端处理能力主要包括终端对多媒体码流解析、视频解码、音频解码以及视音频同步的能力。

4.根据权利要求1所述的方法，其特征在于：在终端应用协议的多媒体播放过程中，同步控制可以根据上述的协商过程分别在应用服务器上和网络终端上进行。

5.根据权利要求1所述的方法，其特征在于：在终端应用协议的多媒体播放过程中，多媒体播放控制窗口由应用服务器进行控制，而实际的视、音频解码过程可以在终端上完成。

Images