CN101765003A - 在不同速率网络环境下传输音频和视频的方法 - Google Patents

Abstract

本发明公开了在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端和数据接收端，所述数据发送端至少包括编码器、数据缓冲和第一控制逻辑，数据发送端根据数据缓冲的缓冲充满程度，通过第一控制逻辑控制编码器，选择内容源的源码率。本发明的方法能自动检测实际的数据传输速率，使音频和视频的编码码率适应变化的网络环境与实际的数据传输速率，从而使用户在变化的网络环境下，享受到最佳的多媒体质量。

Description

在不同速率网络环境下传输音频和视频的方法

技术领域

本发明涉及传输音频和视频的方法，特别是在不同速率网络环境下传输音频和视频的方法。

背景技术

移动通信设备与终端，例如手机、PDA(个人数据助理)、笔记本电脑、UMPC(超移动个人电脑)、PMP(便携式媒体播放器)等，一般都是在传输速率变化的网络环境中进行数据通信。上述传输速率的变化一般体现为两个方面：

1、网络基础设施(例如手机基站)的覆盖范围不同。例如，在3G(第三代)无线通信网络中，3G信号(例如WCDMA)能提供更为快速的数据传输速率(例如384kbps)，但该信号仅仅覆盖城市中心等有限区域。在其他较为偏远的区域，例如郊区，有可能仅被2.5G信号(例如GPRS)所覆盖，数据传输速率较低(例如48kbps)。当移动终端从3G信号覆盖的区域移动至只有2.5G信号覆盖的区域时，正在进行中的数据通信的传输速率将被迫下降。

2、射频通信的信号质量受空间、移动、干扰等因素的影响。例如，同样在3G信号的覆盖下，移动终端在某地点接收的信号质量好，在某地点接收的质量差；或者，当移动终端在快速移动的环境下(例如火车上)，接收的信号质量差。当移动终端接收的信号质量由好转差时，正在进行中的数据通信的传输速率将被迫下降，3G信号也有可能降级为2.5G信号。

在目前的多媒体音、视频通信中，一般将音、视频的内容源编码为不同的源码率(例如128kbps)，例如，较高码率的清晰版和较低码率的普通版。在多媒体内容播放前，用户选择某个版本进行播放或通信，在通信过程中，不同版本之间，不允许切换。上述通信方式的缺点为：

1、用户通常不能准确得知移动终端所处的网络环境的优劣和实际的数据传输速率，从而不能正确地选择内容源的版本。实际的数据传输速率一般不能简单地从信号的强弱，或被何种信号覆盖(3G或2.5G)而得知。例如，被3G信号覆盖时，由于干扰，导致接收的信号质量差，传输速率甚至有可能低于被2.5G信号覆盖时的典型速率。

2、用户选定某版本的内容开始播放或通信后，在通信过程中，数据的传输不能适应网络环境的变化。例如，用户选择高质量、高码率的版本开始通信后，如果网络环境恶化，数据传输速率将降低，用户获得的多媒体内容的质量将显著下降，播放将出现停顿、卡壳等现象。反之，如果用户处于保守考虑，选择较低质量、低码率的版本，当网络环境可支持高数据传输速率时，用户则未能充分利用网络的高带宽而享受到更好的多媒体质量。

发明内容

有鉴于此，本发明的目的在于提供在不同速率网络环境下传输音频和视频的方法，当音频和视频在变化的网络环境中传输时，本发明的方法能自动检测实际的数据传输速率，使音频和视频的编码码率适应变化的网络环境与实际的数据传输速率，从而使用户在变化的网络环境下，享受到最佳的多媒体质量。

本发明是通过以下技术方案实现的：

一种在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端和数据接收端，所述数据发送端至少包括编码器、数据缓冲和第一控制逻辑，数据发送端根据数据缓冲的缓冲充满程度，通过第一控制逻辑控制编码器，动态选择内容源的源码率。

进一步地，多媒体通信开始时，发送端根据射频信号的接收状态，初步选择内容源的源码率。

进一步地，所述缓冲充满程度用缓冲数据实时播放的时间表示。

进一步地，所述编码器包括音频编码器和视频编码器，所述数据缓冲包括音频数据缓冲和视频数据缓冲。

进一步地，所述第一控制逻辑是：缓冲充满程度f和预先设定的域值f1，f2，......fn进行比较，对内容源的源码率V1，V2，......Vn进行选择，如缓冲充满程度f≥fn，选择源码率V1；如fn-1≤f＜fn，选择源码率V2；如f＜f1，选择源码率Vn，其中，f1＜f2＜......＜fn，V1＜V2＜......＜Vn，n是自然数。

进一步地，所述内容源是通过编码器实时编码的。

进一步地，所述内容源的源码率可通过改变视频的空间分辨率、视频的时间分辨率、画面编码质量或音频的编码速率进行调整。

本发明的另一技术方案如下：

一种在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端、中转服务器和数据接收端，所述数据发送端至少包括编码器、第一数据缓冲和第一控制逻辑，所述中转服务器至少包括第二数据缓冲和第二控制逻辑，

数据发送端根据第一数据缓冲的缓冲充满程度，通过第一控制逻辑控制编码器，动态选择内容源的第一源码率；

中转服务器根据第二数据缓冲的缓冲充满程度，通过第二控制逻辑动态选择内容源的第二源码率；

数据发送端选择所述第一源码率和第二源码率的较小值作为数据发送端的内容源的源码率。

进一步地，多媒体通信开始时，发送端根据射频信号的接收状态，初步选择内容源的源码率。

进一步地，所述缓冲充满程度用缓冲数据实时播放的时间表示。

进一步地，所述编码器包括音频编码器和视频编码器，所述第一数据缓冲包括音频数据缓冲和视频数据缓冲，所述第二数据缓冲包括音频数据缓冲和视频数据缓冲。

进一步地，所述第一控制逻辑和第二控制逻辑是：缓冲充满程度f和预先设定的域值f1，f2，......fn进行比较，对内容源的源码率V1，V2，......Vn进行选择，如缓冲充满程度f≥fn，选择源码率V1；如fn-1≤f＜fn，选择源码率V2；如f＜f1，选择源码率Vn，其中，f1＜f2＜......＜fn，V1＜V2＜......＜Vn，n是自然数。

进一步地，所述内容源是通过编码器实时编码的。

进一步地，所述内容源的源码率可通过改变视频的空间分辨率、视频的时间分辨率、画面编码质量或音频的编码速率进行调整。

进一步地，所述数据接收端以拖取的方式从所述中转服务器读取数据。

本发明的再一技术方案如下：

一种在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端和数据接收端，所述数据接收端至少包括版本选择器，所述数据接收端至少包括第三数据缓冲和第三控制逻辑，数据接收端根据第三数据缓冲的缓冲充满程度，通过第三控制逻辑选择内容源的源码率，控制数据发送端的版本选择器，动态选择内容源的版本。

进一步地，多媒体通信开始时，发送端根据射频信号的接收状态，初步选择内容源的源码率。

进一步地，所述缓冲充满程度用缓冲数据实时播放的时间表示。

进一步地，所述第三数据缓冲包括音频数据缓冲和视频数据缓冲。

进一步地，所述第三控制逻辑是：缓冲充满程度f和预先设定的域值f1，f2，......fn进行比较，对内容源的源码率V1，V2，......Vn进行选择，如缓冲充满程度f≥fn，选择源码率Vn；如fn-1≤f＜fn，选择源码率Vn-1；如f＜f1，选择源码率V1，其中，f1＜f2＜......＜fn，V1＜V2＜......＜Vn，n是自然数。

进一步地，所述内容源是预先制作的。

进一步地，所述内容源的不同版本在同步的时间点上准备关键数据帧，所述数据发送端在所述关键数据帧上，进行不同版本之间的切换。

进一步地，所述关键数据帧是视频编码中的帧内预测帧或者音频编码中的独立的一帧。

进一步地，所述数据接收端以拖取的方式从所述数据发送端读取数据。

本发明的有益效果在于：

当网络环境佳，数据传输速率高时，用户能最大程度地体验到最佳的视听效果；当网络环境恶化，数据传输速率降低时，用户能在较低的质量下视听内容源，而不至于受到播放停顿、卡壳的困扰；当网络环境恢复至最佳状态时，用户能迅速重新享受到最佳的多媒体质量。

用户不需选择内容源的版本，本发明的方法能作自适应选择。

内容源在不同质量的版本间切换是无缝和平缓的，用户不会感觉到突然的变化或停顿。

附图说明

图1是数据发送端与数据接收端直接通信的数据流向框图；

图2是数据发送端与数据接收端通过中转服务器通信的数据流向框图；

图3是预先制作内容源版本的数据发送端与数据接收端直接通信的数据流向框图。

具体实施方式

为适应变化的网络环境和变化的数据传输速度，内容源在编码时可编码为多种不同源码率的版本(V1，V2，......Vn表示不同的源码率，V1＜V2＜......＜Vn)。例如编码为高、中、低三种版本。上述不同源码率的版本可以是在传输前预先制作的(例如，视频点播服务中的一部电影)，也可以是实时的(例如，直播服务中的实况比赛；可视电话)。

多媒体通信开始时，发送端根据射频信号的接收状态(当然，上述状态不能完全准确地代表实际的数据传输速率)，初步选择内容源的源码率。例如，当射频模块接收3G WCDMA(Wideband CDMA，宽带分码多工存取)信号时，选择高质量的内容源版本；当接收EDGE(Enhanced Data Rate for GSMEvolution，增强型数据速率GSM演进)信号时，选择中质量的内容源版本；当接收GPRS(General Packet Radio Service，通用无线分组业务)信号时，选择低质量的内容源版本。

在多媒体通信中，将音、视频内容源编码后，一般将编码完成的数据先放入发送端的数据缓冲中，再将数据交由网络层传输。对于接收端，从网络层接收的数据先放入接收端的数据缓冲中，再播放。对于使用中转服务器的多媒体通信***，中转服务器上也包括数据缓冲。上述数据缓冲是先进先出(FIFO，First In First Out)存储器。

通信开始时，根据发送端或/和中转服务器或/和接收端的数据缓冲的充满程度f，比较内容源的源码率与发送端、接收端实际的传输速率，从而适当地调整或切换内容源的源码率，以保证内容源的源码率不高于实际的数据传输速率。数据缓冲的充满程度f用缓冲数据能实时播放的时间表示(例如，已缓冲3秒数据，表明该数据缓冲中的数据在耗尽前能实时播放3秒钟)。

对于发送端，当其数据缓冲在一定时间内保持过满时(超过预先设定的阈值)，说明源码率高于传输速率，数据不能及时输出。发送端则调整为更低的源码率以确保流畅的数据传输。反之，当发送端的数据缓冲在一定时间内保持过空时(低于预先设定的阈值)，说明源码率低于传输码率，数据能顺利输出，但传输带宽未充分利用。发送端则调整为更高的源码率以传输更高质量的内容源。

对于从内容源拖取数据的接收端，当其数据缓冲在一定时间内保持过空时(低于预先设定的阈值)，说明源码率高于传输速率，数据不能及时输入。发送端则调整为更低的源码率以确保流畅的数据传输。反之，当接收端的数据缓冲在一定时间内保持过满时(超过预先设定的阈值)，说明源码率低于传输速率，数据能顺利输入，但传输带宽未充分利用。发送端则调整为更高的源码率以传输更高质量的内容源。

通过上述的自适应调整，能实现内容源的源码率和传输速率的动态平衡，从而确保在变化的网络环境下获得最佳的多媒体质量。

在多媒体通信中，内容源的源码率的调整和切换是动态的，即在播放过程中，无需中断播放或重新初始化，即可无缝切换不同版本的内容源，而用户并不会感觉到音频和视频的突然的变化或停顿。

对于实时编码的内容源，编码器可以随时对源码率进行调整。例如，可以通过对视频的空间分辨率、视频的时间分辨率、画面编码质量进行调整，或对音频的编码速率进行调整，进而实现对源码率的调整。

对于传输前预先制作的内容源，内容源预先编码为不同质量、不同码率的版本。不同的版本在同步的时间点上需准备关键数据帧，例如，不同的版本同时在第10秒、20秒、30秒......的时间点上准备关键帧，发送端仅能在上述关键帧上，进行不同版本之间的切换。关键帧的编码是独立的，对前后的帧数据不存在依赖性。例如，可以为视频编码中的帧内预测帧(I帧)，或者音频编码中的独立的一帧。

发送端实时编码内容源时，根据其数据缓冲充满程度f，判断网络环境所能提供的实际的数据传输速率，从而实时调整内容源的源码率。缓冲充满程度f和预先设定的域值f1，f2，......fn(f1＜f2＜......＜fn)进行比较。控制逻辑如下：如f≥fn，说明数据缓冲过满，网络环境不佳，发送端的数据传输速率低，因此选择最小的V1源码率；类似地，如fn-1≤f＜fn，选择仅比V1源码率大的V2；以此类推，如f＜f1，说明数据缓冲过空，网络条件佳，发送端的数据传输速率高，应选择最大的Vn源码率。

请参阅图1，图1为数据发送端与数据接收端直接通信的数据流向框图。数据发送端包括处理音频数据的音频编码器、音频数据缓冲和处理视频数据的视频编码器、视频数据缓冲。数据发送端根据缓冲充满程度f，通过上述控制逻辑分别控制音频编码器和视频编码器。音频编码器和视频编码器分别根据音频数据缓冲和视频数据缓冲的缓冲充满程度选择合适的源码率。本发明的方法既适用于数据发送端和数据接收端的数据传输速率相同的状况，又适用于数据发送端和数据接收端的数据传输速率不同的状况。

请参阅图2，图2为数据发送端与数据接收端通过中转服务器通信的数据流向框图。数据发送端将音频数据和视频数据先输出至中转服务器的音频数据缓冲和视频数据缓冲。中转服务器也包括控制逻辑，其原理与数据发送端的控制逻辑的原理相同。中转服务器缓存数据，由数据接收端以拖取的方式从中转服务器上获取数据。数据发送端的数据缓冲的缓冲充满程度反映数据发送端的传输速率，而中转服务器的数据缓冲的缓冲充满程度反映数据接收端的传输速率，也即是取数据的能力。当数据发送端的控制逻辑选择源码率Vs，而中转服务器的控制逻辑选择源码率V’s时，中转服务器的选择通过控制信号传输至数据发送端，数据发送端则选择两者中更低的源码率min(Vs，V’s)，也即数据发送端、数据接收端中更低的传输速率。

请参阅图3，图3为预先制作内容源版本的数据发送端与数据接收端直接通信的数据流向框图。数据发送端是服务器，存有预先制作编码完成的不同质量、不同源码率的内容源版本1、内容源版本2、内容源版本3。数据接收端以拖的方式从数据发送端取数据，并输出至数据接收端的音频数据缓冲和视频数据缓冲，再进行音、视频的播放。数据接收端的数据缓冲的缓冲充满程度反映其传输速率相对于源码率的高低。数据接收端的控制逻辑和图1、图2的控制逻辑相反：缓冲充满程度f和预先设定的域值f1，f2，......fn(f1＜f2＜......＜fn)进行比较。如f≥fn，说明数据缓冲过满，数据接收端的数据传输速率高，因此选择最大的Vn源码率；类似地，如fn-1≤f＜fn，选择仅比Vn源码率低的Vn-1；以此类推，如f＜f1，说明数据缓冲过空，数据接收端的数据传输速率低，应选择最小的V1源码率。数据接收端根据选择的源码率控制数据发送端的版本选择器，从而选择最适合当前网络传输环境的内容源版本。

以上介绍的仅仅是基于本发明的较佳实施例，并不能以此来限定本发明的范围。任何对本发明实施步骤作本技术领域内熟知的等同改变或替换均不超出本发明的揭露以及保护范围。

Claims (24)

1.一种在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端和数据接收端，所述数据发送端至少包括编码器、数据缓冲和第一控制逻辑，其特征在于，数据发送端根据数据缓冲的缓冲充满程度，通过第一控制逻辑控制编码器，在多媒体通信过程中，动态选择内容源的源码率。

2.如权利要求1所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，多媒体通信开始时，发送端根据射频信号的接收状态，初步选择内容源的源码率。

3.如权利要求1所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述缓冲充满程度用缓冲数据实时播放的时间表示。

4.如权利要求1所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述编码器包括音频编码器和视频编码器，所述数据缓冲包括音频数据缓冲和视频数据缓冲。

5.如权利要求1所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述第一控制逻辑是：缓冲充满程度f和预先设定的域值f1，f2，......fn进行比较，对内容源的源码率V1，V2，......Vn进行选择，如缓冲充满程度f≥fn，选择源码率V1；如fn-1≤f＜fn，选择源码率V2；如f＜f1，选择源码率Vn，其中，f1＜f2＜......＜fn，V1＜V2＜......＜Vn，n是自然数。

6.如权利要求1所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述内容源是通过编码器实时编码的。

7.如权利要求6所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述内容源的源码率可通过改变视频的空间分辨率、视频的时间分辨率、画面编码质量或音频的编码速率进行调整。

8.一种在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端、中转服务器和数据接收端，所述数据发送端至少包括编码器、第一数据缓冲和第一控制逻辑，所述中转服务器至少包括第二数据缓冲和第二控制逻辑，其特征在于，

数据发送端根据第一数据缓冲的缓冲充满程度，通过第一控制逻辑控制编码器，在多媒体通信过程中，动态选择内容源的第一源码率；

中转服务器根据第二数据缓冲的缓冲充满程度，通过第二控制逻辑，在多媒体通信过程中，动态选择内容源的第二源码率；

数据发送端选择所述第一源码率和第二源码率的较小值作为数据发送端的内容源的源码率。

9.如权利要求8所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，多媒体通信开始时，发送端根据射频信号的接收状态，初步选择内容源的源码率。

10.如权利要求8所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述缓冲充满程度用缓冲数据实时播放的时间表示。

11.如权利要求8所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述编码器包括音频编码器和视频编码器，所述第一数据缓冲包括音频数据缓冲和视频数据缓冲，所述第二数据缓冲包括音频数据缓冲和视频数据缓冲。

12.如权利要求8所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述第一控制逻辑和第二控制逻辑是：缓冲充满程度f和预先设定的域值f1，f2，......fn进行比较，对内容源的源码率V1，V2，......Vn进行选择，如缓冲充满程度f≥fn，选择源码率V1；如fn-1≤f＜fn，选择源码率V2；如f＜f1，选择源码率Vn，其中，f1＜f2＜......＜fn，V1＜V2＜......＜Vn，n是自然数。

13.如权利要求8所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述内容源是通过编码器实时编码的。

14.如权利要求13所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述内容源的源码率可通过改变视频的空间分辨率、视频的时间分辨率、画面编码质量或音频的编码速率进行调整。

15.如权利要求8所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述数据接收端以拖取的方式从所述中转服务器读取数据。

16.一种在不同速率网络环境下传输音频和视频的方法，应用于多媒体通信***中，所述多媒体通信***至少包括数据发送端和数据接收端，所述数据发送端至少包括版本选择器，并预先准备多个不同质量和源码率的内容源的版本，所述数据接收端至少包括第三数据缓冲和第三控制逻辑，其特征在于，数据接收端根据第三数据缓冲的缓冲充满程度，通过第三控制逻辑选择内容源的源码率，控制数据发送端的版本选择器，在多媒体通信过程中，动态选择内容源的版本。

17.如权利要求16所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，多媒体通信开始时，发送端根据射频信号的接收状态，初步选择内容源的源码率。

18.如权利要求16所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述缓冲充满程度用缓冲数据实时播放的时间表示。

19.如权利要求16所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述第三数据缓冲包括音频数据缓冲和视频数据缓冲。

20.如权利要求16所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述第三控制逻辑是：缓冲充满程度f和预先设定的域值f1，f2，......fn进行比较，对内容源的源码率V1，V2，......Vn进行选择，如缓冲充满程度f≥fn，选择源码率Vn；如fn-1≤f＜fn，选择源码率Vn-1；如f＜f1，选择源码率V1，其中，f1＜f2＜......＜fn，V1＜V2＜......＜Vn，n是自然数。

21.如权利要求16所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述内容源是预先制作的。

22.如权利要求21所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述内容源的不同版本在同步的时间点上准备关键数据帧，所述数据发送端在所述关键数据帧上，进行不同版本之间的切换。

23.如权利要求22所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述关键数据帧是视频编码中的帧内预测帧或者音频编码中的独立的一帧。

24.如权利要求16所述的在不同速率网络环境下传输音频和视频的方法，其特征在于，所述数据接收端以拖取的方式从所述数据发送端读取数据。

Images