CN101232623A - 基于传输流的立体音视频数字编码传输方法和*** - Google Patents

Abstract

本发明涉及基于传输流的立体音视频流数据编码传输方法和***。其包括：a.拍摄获得双目音视频数据在同步控制下分别进行同步压缩复用；b.在同步控制下分别进行包封为传输流；c.将传输流同步控制下二次复用编码得到单一数据流；d.实时传输协议进行包封传输；e.接收反馈调整；f.在传输服务质量控制下实时传输协议解包封并反馈信息；g.解复用得到左右双目音视频数据；h.同步监控下音视频数据解压缩和解复用；i.显示装置实现立体播放。本发明支持MPEG－1/2/4、VC1、H263、H.264等音视频编码和括无线、有线、时分复用、分组传输等传输方法。本发明可以将本地音像远程立体再现，具有实现简单通用可靠的特点。

Description

基于传输流的立体音视频数字编码传输方法和***

技术领域：

本发明涉及一种立体音视频的数字编码传输方法和***，特别是基于传输流的立体音视频数字编码传输方法和***。

背景技术：

随着科学技术的进步，音频从模拟，单声道发展到数字化，环绕立体声；同时视频影像也从模拟、黑白、CRT小屏幕发展位数字化、彩色、平板大屏幕，进而更好的满足了人类视听享受的需要。

与传统的单目视频相比，立体视频(双目视频)增加了景物深度信息表征，能够增强视觉效果的真实感和逼真度。立体音视频技术可广泛应用于多媒体新闻发布、在线直播、网络广告、电子商务、视频点播、远程教育、远程医疗、网络电台、实时视频会议等信息服务等领域。

编码和传输技术是立体视频的两大关键技术。近年来音视频编码技术不断发展进步，出现了诸如MPEG-1/2/4，VC1，H.263以及H.264等等音视频编码标准。这些技术的出现使得音视频编辑，存储和传输的数字化成为现实。而网络技术和数字通信技术的发展，使得在单一网络平台上可实现语音、数据、图像等多种业务传输。可供多媒体交互式点播与组播的立体音视频应用***也随之出现。

正是由于这种技术的前景广阔，CN1561019公开了一种基于因特网的立体视频监视方法及***的技术方案。其方案包括：1)视频采集和处理、2)视频数据网络传输、3)由本地***对视频数据处理和显示。该***由双通道视频采集***的输出经因特网视频网络传输***连通本地双通道立体视觉显示***的输入所构成。

CN156101公开的方案基于时分显示的技术。利用人眼的视觉暂留特性，在同步信号的作用下，显示左目图像时，屏蔽右目，显示右目图像时，屏蔽左目，即左眼只能看到左眼的图像，右眼只能看到右眼的图像；如此周而复始，以快于视觉暂留的速度交替显示，从而得到立体影像。该技术的缺点是视频的闪烁感很强，对于运动图像显示不流畅，立体感差，人眼舒适度差，很容易疲劳。该方案缺少对网络阻塞和丢包问题的考虑，在实际的网络环境中效果难以满足要求。该方案的扩充和兼容性差，只支持MPEG-4编码标准，难以支持新发展的H.264，VC1等效率更高更好的编码准。该方案对多个立体音视频的支持性能比较差，从编码端到解码端的所有环节，均需建立多个音视频和其他数据流的实时对话(RTP Session)，因此在做流服务器(Streaming Server)的I/O时，需要管理多个输入输出，多个缓冲器(Buffer)的管理以及它们之间的同步，将极大地增加Streaming Server的处理能力要求，也带来了较大的算法复杂性，同时降低了***的稳定性和可靠性。而且该方案需要计算机等诸多软硬件的支持，技术相对复杂，成本较高。

发明内容：

本发明旨在解决上述技术问题，提供一种解决网络传输过程中立体音视频同步问题，网络拥塞丢包问题的方法及其***。

本发明提供一种基于传输流(Transport Stream)的立体音视频数字编码传输方法和***，其包括如下步骤：

a.采用立体摄像机或调整好角度的双摄像机在同步控制信号的作用下进行同步拍摄，所获得左右双目音视频数据在同步控制信号的作用下分别进行同步压缩复用；

b.将同步压缩后的左右双目音视频数据在同步控制信号的作用下分别进行包封为传输流，并在传输流中加注左右标识；

c.将包封后的左右双目传输流在同步信号的控制下，进行二次复用编码得到单一的双目数据流，实现左右双目音视频数据的显性同步；

d.将二次复用编码后的单一的双目数据流用实时传输协议进行包封，而后传输；

e.根据接收端的质量服务控制反馈进行压缩调整、同步调整和传输调整；

f.接收来自传输网包封后的单一的双目数据，在传输服务质量控制下进行实时传输协议解包封，同时反馈给发送端相应的信息；

g.解包封后的二次复用编码数据流进行解复用，所得的左右双目音视频数据传输流进一步解包封，解出相应的左右双目音视频数据，根据标识区分出左右双目的音视频数据；

h.在同步控制信号的监控下进行左右双目音视频数据的解压缩和解复用，比较左右双目音视频数据的时间差异，进行调整使之趋同；

i.解复用的双目音视频数据同时经由显示装置实现立体播放。

其中二次复用编码后的单一的双目数据流包封后通过网络传输或者经由信道编码调制***，利用数字广播(DVB)技术进行传送。

其中所述双目音频视频数据复用后编码在同一标准传输流中。

其中所述双目音视频数据中左目音视频数据和右目音视频数据分别经由标准传输流包内对齐捆绑后基于实时传输协议进行包封。

其中所述双目音视频数据中左目音视频数据和右目音视频数据分别基于双路节目复用多传输流进行包封，得到单路标准传输流，所述单路标准传输流合并成多路标准传输流，所述多路标准传输流基于实时传输协议进行包封。

其中所述的实时传输协议包封采用交叉组包方式装载所述的双目音视频数据。

其中所述包封数据在传输中采用向前纠错方法校验所传输的数据包，对于网络传输和DVB传输可以采用相同的纠错方法，也可以采用不同的纠错方法，例如两级纠错、相位映射。

其中所述向前纠错方法校验所传输的数据包时，仅当接收端返回的反馈信息显示所接收数据包少于预设包数时，发送端才发送校验包进行弥补。

本发明还提供一种基于传输流的立体音视频数据编码传输***，其包括以下子***：

①同步立体音视频拍摄、压缩和复用***；

②同步控制和质量服务传输控制***；

③同步立体音视频的解复用、解压缩和显示***；

其中：

所述的同步立体音视频拍摄、压缩和复用***中的拍摄采集***为立体摄像机或调整好角度的并由同步控制信号作用的双摄像机；其中的压缩***是由同步控制***控制的对双路拍摄同步差异进行调整的压缩编码并进行音视频同步复用的双路编码器；其中的复用***是由同步控制信号作用的双路标准传输流包封适配器和双目数据二次复用编码器；所述的同步控制***包括二次复用编码器和质量服务解包适配器；所述的同步立体音视频的解复用、解压缩和显示***中的解复用***是由双目数据质量服务传输；其中的解压缩***是由同步控制信号作用的双路音视频解码器；其中的显示***是分别对应于左右双目的独立的液晶显示屏或等离子显示屏。

其中所述的同步控制***和质量服务传输控制***的同步控制***就是在双目在接收和发送两端根据，拍摄，编码器或解码器的时间差异进行调整和控制的***，其中质量服务***就是解决时延，丢包或网络阻塞而采取的重传，前向纠错以及交织组包等方法的***。

附图说明：

图1：基于本发明的基于传输流的立体音视频数字编码传输方法和***的流程示意图；

图2：基于本发明的基于传输流的立体音视频数字编码传输方法和***的标准传输流(TS)分组头结构示意图；

图3：基于本发明的基于传输流的立体音视频数字编码传输方法和***的单路音视频标准传输流复用原理示意图；

图4：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码一种方法A；

图5：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码方法A的实现示意框图；

图6：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码另一种方法B；

图7：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码方法B复用后的码流格式；

图8：基于本发明的基于传输流的立体音视频数字编码传输方法和***的IP协议栈；

图9：基于本发明的基于传输流的立体音视频数字编码传输方法和***的RTP最大负载计算示意图；

图10：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码方法A封装过程示意图；

图11：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码方法A的不做交织两种包封方法；

图12：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码方法B封装过程示意图；

图13：基于本发明的基于传输流的立体音视频数字编码传输方法和***的二次复用编码方法B的不做交织两种包封方法；

图14：基于本发明的基于传输流的立体音视频数字编码传输方法和***二次复用编码方法B的交织一个实施例的传输协议示意图；

图15：基于本发明的基于传输流的立体音视频数字编码传输方法和***二次复用编码方法B的交织另一个实施例的传输协议示意图；

图16：基于本发明的基于传输流的立体音视频数字编码传输方法和***的前向纠错流程图。

具体实施方式：

参照附图，下述的非限制性实施例将对本发明的技术方案进行更详细的解释说明，以便本领域技术人员更好的了解本发明。

为了使接收端只要做简单的处理就能实现音视频的同步，本发明提出了一种基于传输流同步的方法。其基本流程如图1所示。

MPEG-2作为当今最成熟的数字视频解决方案，已经为芯片设计商、设备制造商和运营商所普遍接受、部署和运营。由于TS流具有较强的抵抗传输误码的能力，并且为了能够更好利用已有的设备和网络，可以采用基于TS流的同步方法。

TS包是固定长度的，其包长为188Bytes。一个TS包由4Bytes的连接头首部、可变长字节的自适应字头以及有效数据载荷组成(包头+净荷)，其分组头部结构见图2，其中PID为包识别符，OPCR为原始程序参考时钟。

TS流对于输入得音视频流的编码格式是没有限制的，可以支持MPEG1/2/4，VC1以及H.264等各种编解码标准，其基本方法是将非MPEG-2压缩标准压缩后的编码数据作为符合封装到TS流中去。其复用原理如图3所示。

本发明所提供的方案实际上是基于多路复用同步技术：是将音视频两种媒体流的数据复用到一个TS流，从而使它们在传输中自然保持着媒体间的相互关系，以达到媒体间同步的目的。接收方无需重新同步，实现简单。

音视频复用成TS流后传输使用唯一的端口。这种方法增加了可服务的数量，而且它消除了在客户端两个端口应用于分离的音频和视频流时的性能碰撞。提供音频和视频的显式的同步。减少了头部的总开销。使得音频或视频质量的改善。并且可以全面地减小接收器的缓冲区大小。

为解决左右双路视频同步问题，对两路音视频流进行对齐捆绑传输。

上述方案发送端采取了预防机制的同步控制策略，网络变化时丢包、抖动带来的对于左右通道视频帧对不一致的影响较前者小，接收端同步处理较容易。

对TS流复用的包封可以采用以下的方案：

左右双目TS流二次编码复用的一种方法A是如图4所示，先将左右两路音视频按两路节目复用为多节目传输流(MPTS流)，再进行包封，其和普通多节目的复用的区别就是左右两路音视频流是完全同步的，具体的实现可以参考图5。

MPTS直接作为RTP包的负荷进行包封，如图11所示，其包封过程如图10所示。

左右双目TS流二次编码复用的另一种方法B是如图6所示，先将左右两路音视频传输流按TS包间隔复用成图7所示单一的双目数据流，再进行包封，如图13所示，其包封过程如图12所示。

为了解决数据在网络传输中的丢包问题，采用下面的技术方案：

A.交织组包

当一个RTP包装载着一系列连续的音视频TS流包的时候，如果这个包丢失了，会造成接收端产生解码间隙。可以采用交叉组包的方式来减轻这一问题。这是花费很小的代价来实现增强丢包的鲁棒性。具体实现方法如图14，图15。

B.FEC纠错方法

立体音视频的传输对于于延时和同步的要求相当严格，因此不大可能通过简单的重传来解决丢包的问题。因此采用前向纠错(FEC)来解决网络上的丢包问题。传统的纠错码如校验码、RS码、汉明码等的使用可以为立体视频传输提供很好纠错质量。

FEC编解码技术是一种在发送端的数据中加入一定的冗余数据，经过保护操作，生成特定的校验包，将这些校验包与原始信息组成的数据包一同发送出去。接收端收到这些数据包和校验包后，通过包的重建来恢复原始信息所组成的数据包。

不同数量的音视频流包合起来产生一个FEC包，会导致在开销，延时和恢复能力之间的一个不同的折中方案。本文根据立体音视频流中关键数据不连续的特性，提出了一种和立体音视频流关键数据相关联的参数方案。

考虑到网络中发生的丢包绝大部分是单包的丢失。根据互联网络的传输质量和带宽考虑在两个含有重要数据包之间进行FEC运算，产生FEC包。如果开销比较大，增加带宽比较高的情况下可以在多个含有重要数据包之间进行FEC运算，产生FEC包。

通过上面的论述，本文针对立体音视频流在互联网络上的传输遇到的问题和困难提出相应的解决方法，下面我们详细阐述其传输协议。

采用TS流复用包封方式有以下优点：

1)音视频同时传送，减少独立数据流。

2)TS能提供有限容错能力，在网络状况较好时其出错可能性并非难以忍受。

3)硬件编/解码器能直接输出/输入TS分组，同时在面向传输的应用中这种形式较为通用。

MPEG-2TS over IP的协议栈如图8所示。

RTP包没有限制包的大小，但是如果数据包太大的话会导致在IP层的分片传输。为了避免底层的分片传输，可能会影响底层RSVP等协议的使用。为此我们对基于立体音视频流的包大小作以下分析：

考虑到以太网的最大帧结构是1500bytes，IP头长度是20bytes(不带选项)，UDP头是8bytes，RTP头是12bytes。为了不在下层协议分片，RTP的数据包最大长度为1460bytes。也就是说如果RTP的负载长度小于1460个字节，那么在UDP，IP和网络接口层都可以不必分片传输。上层的分片避免了下层的分片。RTP最大负载计算示意图如图9所示：

一个包所包含TS流数量越多，则其开销所占比例越小，对网络带宽的消耗越小。由此可以计算出每个RTP包中所包含TS流包数最多可以达到7个。二次编码复用的一种方法A复用后的MPTS码流包封为RTP包时，每个RTP包内可以包含7个TS流包。

二次编码复用的一种方法B复用后的单一双目数据从双路视频同步的解决方法考虑RTP包中最多应该包含6个TS流包，每一路包含3个TS流包。

其传输协议：

图14所示左右两路TS流包间插交织协议；

图15所示另外一种左右两路TS流包间插交织协议。

TS的RTP封装方案，其封装过程如图12。

为了减少丢包对立体音视频的影响，还采用FEC方法。TS流的数据中各个字段在解码中的重要性是不同的，有些字段是对解码器十分重要，如果这些信息传输出错的话可能造成解码器不能解码或解码错误累积。

为了更好的保证服务质量，本文还对RTP作了一下改进，其原理如下：

1)发送端完成一组数量为n的立体音视频流的RTP包，同时应计算出校验包。首先不是向对端发送每组的所有的包，而是只发送数据包，发送完数据包后，接着发送请求，要对方返回一个反馈信息。若对端返回的信息表明数据包接收成功，则该组传输结束，服务器接着发送下一组数据包，校验包丢弃不发。

2)若1)对端返回的表明接收的包数小于n，则发送校验包弥补，然后发送请求。若对端返回的信息表明成功接收恢复出n个包，则该组传输结束。服务器接着发送下一分组；

3)若2)对端返回的信息表明接收恢复出的包数小于n，服务器继续发送所缺的校验包，不再要求客户的反馈。

总之，第一传输阶段只传数据包，另外两个传输阶段将补充需要的FEC分组。这三个阶段将相继启动以完成每一帧数据的传输，直到有下面的四种情况之一发生：

1)ACK指示本阶段所需传输的分组全部成功接收。

2)ACK指示分组丢失个数超过下一阶段的启动门限，也就是超过视频的延迟门限。

3)传输端完成第三个传输阶段。

如图16所示：

由于互联网络的可用带宽是动态变化的，对立体音视频流的传输影响很大，本申请提出了一种基于抛弃策略的自适应机制。

实时监测网络码流发送情况或者从接收端得到反馈信息，根据这些数据计算出合适的参数值采用基于主动抛弃的自适应速率控制方法。即在网络带宽不够时，通过在发送端主动抛弃部分TS包来降低码率，使其与实际的可用网络带宽匹配。这种主动抛弃与网络传输中的数据丢失的根本差别是后者是随机的，无法控制的。而前者则可以控制数据“丢失”的位置。那么当不得不丢失数据时，应该抛弃哪些数据？不同的分组由于包含的信息类型不同，其重要性也不一样。根据重要性的不同选择所需要丢弃的包。

以MPEG-2编码为例，如***信息(PSI，PCR)等最重要丢失了这些分组解码器将无法解码，

此外I帧数据要比B帧数据重要，因为丢失一个B帧的数据对它前后的帧都没有影响，而丢失一个I帧的数据则会影响它后面所有的P帧和B帧。所以应首先抛弃B帧数据，然后是离I帧较远的P帧，再次是离I帧较近的P帧，最后才是I帧数据。帧数据的“主动抛弃”过程由自适应调度与调节器控制，在“发送缓冲区”内完成。“发送缓冲区”分为两个部分，一部分是用于发送的FIFO，另一部分是用于暂时存储已发送分组的缓冲区。传输时“自适应调度与调节器”根据FIFO中的数据充盈程度及待发送的应用层分组的优先级从低到高分别决定抛弃B帧，P帧以至I帧的TS包。以使FIFO输出的码率与网络速率相匹配。当网络可用带宽逐渐增大以后FIFO中的数据量又会逐渐降下来，当FIFO充盈程度降至某一门限以下时，则停止相应帧的TS包抛弃，使FIFO输出的码率逐渐增加，保持与实际的网络速率匹配。

主动抛弃过程是在应用层打包之前完成的，因此接收端意识不到这一过程。

可对上述做出各种改变，而不偏离本发明的范围，本发明的目的是，包含在上面的描述中的和在附图中示出的所有物质应被理解为例示性的，而非限定性的。本发明的范围由所附权利要求书限定，且可对上述实施例做出不偏离本发明的范围的修改。

Claims (11)

1.一种基于传输流的立体音视频数字编码传输方法，其包括如下步骤：

a.采用立体摄像机或调整好角度的双摄像机在同步控制信号的作用下进行同步拍摄，所获得左右双目音视频数据在同步控制信号的作用下分别进行同步压缩复用；

b.将同步压缩后的左右双目音视频数据在同步控制信号的作用下分别进行包封为传输流，并在传输流中加注左右标识；

c.将包封后的左右双目传输流在同步信号的控制下，进行二次复用编码得到单一的双目数据流，实现左右双目音视频数据的显性同步；

d.将二次复用编码后的单一的双目数据流用实时传输协议进行包封，而后传输；

e.根据接收端的质量服务控制反馈进行压缩调整、同步调整和传输调整；

f.接收来自传输网包封后的单一的双目数据，在传输服务质量控制下进行实时传输协议解包封，同时反馈给发送端相应的信息；

g.解包封后的二次复用编码数据流进行解复用，所得的左右双目音视频数据传输流进一步解包封，解出相应的左右双目音视频数据，根据标识区分出左右双目的音视频数据；

h.在同步控制信号的监控下进行左右双目音视频数据的解压缩和解复用，比较左右双目音视频数据的时间差异，进行调整使之趋同；

i.解复用的双目音视频数据同时经由显示装置实现立体播放。

2.如权利要求1所述的基于传输流的立体音视频数字编码的传输方法，其中二次复用编码后的单一的双目数据流包封后通过网络传输。

3.如权利要求1所述的基于传输流的立体音视频数字编码传输方法，其中二次复用编码后的单一的双目数据流包封后经由信道编码调制***，利用数字广播技术进行传送。

4.如权利要求1所述的基于传输流的立体音视频数字编码传输方法，其中所述的传输流为标准传输流，其中所述双目音频视频数据复用后编码在同一标准传输流中。

5.如权利要求1所述的基于传输流的立体音视频数字编码传输方法，其中所述双目音视频数据中左目音视频数据和右目音视频数据分别经由标准传输流包内对齐捆绑后基于实时传输协议进行包封。

6.如权利要求1所述的基于传输流的立体音视频数字编码传输方法，其中所述双目音视频数据中左目音视频数据和右目音视频数据分别基于双路节目复用多传输流进行包封，得到单路标准传输流，所述单路标准传输流合并成多路标准传输流，所述多路标准传输流基于实时传输协议进行包封。

7.如权利要求5或6所述的基于传输流的立体音视频数字编码传输方法，其中所述的实时传输协议包封采用交叉组包方式装载所述的双目音视频数据。

8.如权利要求5或6所述的基于传输流的立体音视频数字编码传输方法，其中所述包封数据在传输中采用向前纠错方法校验所传输的数据包，对于网络传输和DVB传输可以采用相同的纠错方法，也可以采用不同的纠错方法。

9.如权利要求8所述的基于传输流的立体音视频数字编码传输方法，其中所述向前纠错方法校验所传输的数据包时，仅当接收端返回的反馈信息显示所接收数据包少于预设包数时，发送端才发送校验包进行弥补。

10.一种基于传输流的立体音视频数字编码的编码传输***，其包括以下子***：

①同步立体音视频拍摄、压缩和复用***；

②同步控制和质量服务传输控制***；

③同步立体音视频的解复用、解压缩和显示***；

其中：

所述的同步立体音视频拍摄、压缩和复用***中的拍摄采集***为立体摄像机或调整好角度的并由同步控制信号作用的双摄像机；其中的压缩***是由同步控制***控制的对双路拍摄同步差异进行调整的压缩编码并进行音视频同步复用的双路编码器；其中的复用***是由同步控制信号作用的双路标准传输流包封适配器和双目数据二次复用编码器；

所述的同步控制***包括二次复用编码器和质量服务解包适配器；

所述的同步立体音视频的解复用、解压缩和显示***中的解复用***是由双目数据质量服务传输；其中的解压缩***是由同步控制信号作用的双路音视频解码器；其中的显示***是分别对应于左右双目的独立的液晶显示屏或等离子显示屏。

11.如权利要求10所述的基于传输流的立体音视频数字编码的编码传输***，其中所述的同步控制***和质量服务传输控制***的同步控制***就是在双目在接收和发送两端根据，拍摄，编码器或解码器的时间差异进行调整和控制的***，其中质量服务***就是解决时延，丢包或网络阻塞而采取的重传，前向纠错以及交织组包等方法的***。

Images