CN103987083B - 一种视频流的无比率编码解码方法及装置 - Google Patents

Abstract

一种视频流的无比率编码解码方法及装置，所述方法的步骤包括：发射端对待编码视频流执行离散余弦变换及量化分级；执行F‑spinal无比率编码，所述F‑spinal无比率编码基于脊柱码，并结合OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；当发射端完成一轮传输数据后，接收端向发射端反馈一反映各子信道的解码完成状况的字符信息；发射端根据发射端的反馈对不同信道状况的子信道进行数据传输调度。本发明可以满足发射端对于不同信道状况的子信道进行不同的数据包传输调度，从而在基本不影响视频传输质量的前提下，提高传输效率；可减少无线路由器在多人同时上传/下载视频流时的调度代价。

Description

一种视频流的无比率编码解码方法及装置

技术领域

本发明涉及数据传输技术领域，尤其涉及一种视频流的无比率编码解码方法及装置。

背景技术

目前，移动视频传输正在成为无线通信的主要网络负载。根据思科(Cisco)视频报表，点播视频的网络流量负载将在2015年增至现在的三倍。 然而，因为无线信道状况极其不稳定，移动视频流的质量很不理想。这个问题吸引了大量的研究兴趣，其目的是提高移动视频传输的性能。当下最前沿的文献提出了改善移动视频传输的几种新技术。这些方案的基本思想是通过解决高度数据冗余，实现较为优质的视频传输效果。

如今，MU-MIMO（多用户多输入多输出）***可以支持多用户同时上传/下载视频。然而，几乎没有现有技术可以实现在MU-MIMO的WLAN （无线局域网络）实现较为理想的视频传输性能。主要的原因是由于高度的数据冗余可导致数据包冲突和丢包的概率增加，以至于限制了传输性能。

在日常生活中，用户经常会遇到如下两种很差的无线视频体验。一是在某些体育盛会（如：世界杯），很多人一起看相同的视频节目，从而导致了很多人的视频流会卡在某些画面，使得多人同时的视频流下载用户体验极差。二是当用户在上传拍摄的有趣事件的同时，其他在附近的人也会同时上传几乎相同的内容的视频流。这使得多人同时的视频流上传用户体验极差。 几乎没有现有的办法可以解决这两个经常发生在人们日常生活中的问题。这促使技术人员去设计出基于MU-MIMO的、更为高效的、可多人同时上传/下载的视频传输方案。另外，现在大多数的移动设备可以拍摄高清晰度（HD ）视频，以及许多近期发布的专业相机都支持Wi-Fi。这种高清视频流的无线传输会带来更重的无线网络负载，更使得实现这样一个有效的方案显得迫在眉睫。

当下的多人同时视频上传/下载的MU-MIMO的无线传输的性能难以改善，其困难主要为如下两点：1）经常改变无线信道状况；2）共享带宽。视频编解码器是专门设计为在一个相对固定的比特率工作，这个固定的比特率是根据当前信道条件的估算。然而，根据所测量的信道条件来调节比特率这种方法是不实际的。关键原因是，由于无线链路变化频繁，无法得到的瞬时信道质量的信息。此外，由于共享带宽，多人同时上载/下载高清视频与高度的数据冗余会带来更重的工作量，并导致冲突或丢包的概率很高。简而言之，在不断波动的信道条件下，如何高效的实现多人同时视频上传/下载是主要的困难。

针对无线视频收发，技术人员提出了通过接收器的反馈来进行信道和视频数据压缩率的切换。具体而言，当发送器无法正确接收到周期性的接收器反馈时，发射器会切换无线传输的频带，以及视频压缩比例，从而利用其他频段和合适的视频压缩比来完成较为优质的视频流传输。但是，这种方法需要经常改变传输的无线频段，这种频繁切换频段的方法在很多情况下是无法适用的（比如周围频段被其他设备占用）。再者，在多用户同时上传/下载视频时，改变频段会带来很大的额外控制代价（如发射器要接收和协调各个接收器所能利用的其他频段，然后还要进行频段分析来确定最终需要切换的频段范围）。

发明内容

为了克服上述所指的现有技术中的不足之处，本发明提供一种视频流的无比率编码解码方法及装置，以对多人同时上传/下载的视频流数据进行合理的编码传输，在基本不影响视频传输质量的前提下，提高传输效率。

本发明是通过以下技术方案实现的：

一种视频流的无比率编码解码方法，其步骤包括：

S1、发射端对待编码视频流执行离散余弦变换及量化分级；

S2、执行F-spinal无比率编码，所述F-spinal无比率编码基于脊柱码，并结合OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；

S3、当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

S4、发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度。

优选地，所述步骤S3中的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

优选地，所述步骤S3中的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

优选地，所述步骤S4中，发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度包括：为已经完成当前一轮传输数据的解码的子信道分配新的区块数据；使未完成当前一轮传输数据的解码的子信道继续传输原分配的区块数据。

本发明还公开了一种视频流的无比率编码解码装置，包括：

编码模块，用于发射端对待编码视频流执行离散余弦变换及量化分级，执行F-spinal无比率编码，所述F-spinal无比率编码基于脊柱码，并结合OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；

解码反馈模块，用于当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

信道调度模块，用于发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度。

优选地，所述接收端向发射端反馈的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

优选地，所述接收端向发射端反馈的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

优选地，所述信道调度模块用于发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度包括：用于为已经完成当前一轮传输数据的解码的子信道分配新的区块数据；用于使未完成当前一轮传输数据的解码继续传输原分配的区块数据。

与现有技术相比，本发明利用正交频分复用技术(OFDM)的频率分集(frequencydiversity)和无比率编码(rateless codes)，并提出了微反馈机制（Micro-ACK），可以满足发射端对于不同信道状况的子信道进行不同的数据包传输调度，从而在基本不影响视频传输质量的前提下，提高传输效率；可用来支持多人同时视频上传/下载的跨层无线传输设计，减少无线路由器在多人同时上传/下载视频流时的调度代价（如：数据包冲突，丢包等），从而提高了多人上传/下载的视频流传输效率。

附图说明

附图1为本发明一种实施例的视频流的无比率编码解码方法的实现流程示意图；

附图2为利用传统脊柱码（spinal code）的数据传输示意图；

附图3为利用本发明的F-spinal无比率编码的数据传输示意图；

附图4为应用本发明实施的基于多用户输入输出的无线视频传输的实现流程示意图；

附图5为应用本发明实施的基于多用户输入输出的无线视频传输的接收端解码流程示意图；

附图6为本发明一种实施例的视频流的无比率编码解码装置的架构示意图。

图中，A为第一子信道，B为第二子信道，C为第三子信道。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述。

一种视频流的无比率编码解码方法，可应用于多用户输入输出的无线视频传输，如附图1所示，其步骤包括：

S101、发射端对待编码视频流执行离散余弦变换；

S102、发射端对待编码视频流执行量化分级；

S103、执行F-spinal无比率编码，所述F-spinal无比率编码基于脊柱码，并结合OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；

S104、当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

S105、发射端根据接收端的反馈在F-spinal无比率编码过程中对不同信道状况的子信道进行数据传输调度。

进一步地，所述F-spinal无比率编码为基于脊柱码与频率分集的结合改进得到，在OFDM调制方式下利用频率分集改善了无比率编码传输冗余性。为了应对频繁变化的信道条件，本发明采用无比率码，以确保发射端以一个相对固定的比特率发送视频流。然而，当下最好的无比率码（即脊柱码spinal codes），并不能直接应用在当下无线OFDM （正交频分复用）***中，这是因为脊柱码无法利用频率分集，从而无法根据不同子载波状况来调节传输的效率。根据实验观察，由于频率选择性衰落，接收端上每个子载波的解码能力各不相同。因此，需要通过利用频率分集实现更高的信道容量，可以通过修改脊柱码，提出改进的细粒度脊柱码(F-spinal)。

本发明的视频流的无比率编码具体分为离散余弦变换（Discrete CosineTransform），量化分级（Quantization）以及本发明提出的F-spinal无比率编码三个步骤。前两个步骤是标准的MPEG4视频编码格式操作，因此不再赘述。在此将传统MPEG4视频编码格式的第三步，即压缩（Compression），用本发明的F-spinal无比率编码替代。而F-spinal无比率编码是基于脊柱码（spinal code）改进而来，两者的区别如附图2、3所示。见附图2，传统的spinal code并没有考虑OFDM的频率分集特性，它直接将视频帧一个区块的数据流并行传输在所有OFDM子信道上，每一子信道的信道条件有所不同，如第二子信道的解码率低，第三子信道的解码率高。这样的话，在这个区块数据被完全成功解码之前，所有子信道都在持续传输。在这个过程中，信道条件较好的有较高解码率的子信道（如第三子信道）则会不停的传输已经成功解码的冗余信息，传输的为重复信息，因此信道的整体利用率较低。基于OFDM特有的频率分集特点，在此提出的改进版的F-spinal采用子信道独立编码传输。如附图3所示，其具体做法就是将每个区块数据放在某个特定的子信道上传输，这样每个子信道上传输的内容就是相对独立的，即每个子信道解码不需要依靠其他子信道的解码信息。这样信道条件好，信道条件较好的有较高解码率的子信道（如第三子信道）完成解码后，就可以在这种子信道上传输新的区块数据，可以规避在高解码率的子信道上传重复信息,提高信道的整体利用率。

相比于传统无比率编码不需要发射端知道信道状况，本发明的F-spinal则需要接收端反馈哪些子信道已经成功完成当前数据传输，可以发射新的区块数据，哪些子信道未完成当前数据传输。鉴于此，本实施例提出了微反馈机制（Micro-ACK）。具体做法就是，在发射端每完成一轮信息传输后，接收端会反馈给发射端一个字符（symbol）信息，而不是发送一个传统较大的acknowledge包反馈。这个字符由N个bit组成，N表示当前传输所占用的子信道个数。其中每个bit采用BPSK的调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。通过这个极为轻量级的信道条件反馈，可以满足发射端对于不同信道状况的子信道进行不同的数据包传输调度，比如为已经完成当前一轮传输数据的解码的子信道分配新的区块数据，让高解码率的子信道传输新的区块数据；使未完成当前一轮传输数据的解码的低解码率的子信道继续传输原分配的区块数据。

附图4还公开了一种利用本发明的视频流的无比率编码解码方法实现的基于多用户输入输出的无线视频传输方法，其步骤包括：

S401、获取同时上传或者同时下载的若干股视频流数据；

S402、对视频流数据进行空间域相似性压缩；

S403、在OFDM调制方式下对视频流数据进行基于F-spinal的无比率编码；

S404、执行信道信源匹配；

S405、通过无线信道发送视频流数据；

S406、接收端反馈信道条件至发射端，反馈至无比率编码和信道信源匹配过程中。

其中，所述无线视频传输方法主要包含三部分，即空间域相似度压缩、基于F-spinal的无比率编码、信源信道匹配。

该无线视频传输方法是一种基于多用户多输入多输出(MU-MIMO)技术的高效无线视频传输设计，其目的是提高多用户同时上传/下载视频传输质量和效率，利用了局部范围内（比如局域网内）用户视频流相似度和正交频分复用技术(OFDM)的频率分集(FrequencyDiversity)，对无线视频流数据进行了合理的压缩和无比率编码。从而在保证视频流质量的前提下，降低了传输的冗余性，进而减少了无线路由器在多人同时上传/下载视频流时的调度代价，从而提高了多人上传/下载的视频流传输效率。

由于在同一局部区域内，同时段用户所下载或上传的视频流具有很高的相似度，因此，为了更进一步提高效率，利用数据冗余，除了关注视频传输过程，本发明也对客户行为进行了分析和关注，对多人同时上传/下载的视频流进行空间域相似度压缩，通过充分利用空间域的相似度，进一步压缩数据。

在步骤S402中，对多股同时上传/下载的视频流进行相似度匹配，若该多股视频流相似度达到一预设阀值，则可采用空间域压缩。以多人同时上传视频流为例，在首次进行空间域压缩前，路由端（即无线路由器）首先根据在某一较短的时间段内同时上传的视频流的相似度进行判定。所述相似度分析是对若干股视频流的同一时间点的图像帧进行相似度分析，判定过程是通过计算多股视频流同一时间的图像帧相似度。优选地，采用计算平均绝对差（Mean Absolute Difference）进行图像帧的相似度分析。优选地，所述预设阀值设置为50%～70%，较佳地，可设置为60%。当该若干股视频流的相似度大于等于60%，则满足压缩条件，接收端广播反馈回一帧共同分享的基准帧（I-frame）；各发射端接收后，以此帧图像为基准，生成基于此帧的图像组GOP（group of picture）的后续帧（包含P帧、B帧等）；在该图像组GOP传输过程中，所有上传用户都是基于共同分享的该基准帧来发送上传变换帧图像（包含P帧、B帧等）。之后无线路由器通过分析后续GOP中I-frame的相似度来判定是否继续反馈公共基准帧，若相似度小于预设阈值，则可终止空间域压缩。比如，如果后续分析的GOP中I-frame的相似度大于60%，则依旧反馈公共基准帧，然后进行空间域压缩；反之，即相似度小于60%时，则不反馈公共基准帧，也不进行空间域压缩。

进一步地，只通过根据频率分集的无比率码并不能保证优质的无线视频传输性能。这是因为在无比率编码中，所有数据比特会被赋予同样的重要性级别，然而，一个视频帧的每个区块（chunk）的所包含的视频信息分布并不是均匀的，鉴于此，不能把每个区块以同等重要性来发射。因此在步骤S404中的信源和信道匹配过程，该信源信道匹配设计是基于这样一个事实：子通道的状态和信源每个区块所携带的视频信息都是非均匀分布的。如果用更可靠的子信道来传输信息含量高的区块，使用信道条件较差的子信道来传输信息含量低的区块，则可以利用频率分集来实现不等错误保护UEP（ unequal errorprotection）。传统的方法利用高数据冗余来实现UEP，本发明则是利用信源信道的相互匹配达到同样的目的，无需额外的冗余信息传输，而是利用F-spinal编码获得的微反馈（Micro-ACK）信息，来估计信道状况。具体做法是，根据连续的m轮传输得到的Micro–ACK信息，将每个子信道的m个bit的值叠加，然后由高到低排序（因为1代表成功解码，0代表未成功解码。所以一段时间内，1越多代表子信道条件越好的几率越大），这样完成了信道条件由好到差的估计。而对于图像帧的区块对还原画面的重要性分析，则通过计算均方误差MeanSquared Error（MSE）和利用F-spinal编码所计算的DCT 系数来衡量。MSE表示该区块对这个图像组GOP的影响，DCT系数表示该区块对当前画面帧的影响。具体做法就是将要同时传输的每个图像帧区块的MSE和DCT系数相乘，得到结果从高到底排序，越高代表该区块越重要，这样就完成了图像帧区块的重要性分析。然后用好的子信道传输重要的区块信息，从而完成了信源信道匹配过程，若不重要的图像帧区块，在信道条件差的子信道多轮传输仍无法正确解码，则选择舍弃该部分信息，进行后续传输。

利用本发明的F-spinal无比率编码解码方法与相似性空间域压缩、信源信道匹配相结合，在信道条件较差的情况下，相比于传统方法（如：mpeg4）可以提高视频质量约为5dB 的峰值信噪比PSNR（Peak Signal-to-Noise Ratio）。由于使用了改进版脊柱码，可以在丢包率高达10%的情况下，仍可保持较为优质的用户视频画质（约32 dB PSNR）；在保障视频质量相对稳定的情况下，提高了视频流传输效率；相比于传统视频编码方式（如：mpeg4），可使得网络吞吐率可以高达140% (信噪比SNR小于20 dB)，平均性能为传统编码方式的120%。

如附图5所示，为接收端的数据处理流程图。其工作流程基本为附图4的无线视频传输方法的实现过程的一个逆过程。在此不再赘述。

本发明还公开了一种视频流的无比率编码解码装置，如附图6所示，包括：

编码模块61，用于发射端对待编码视频流执行离散余弦变换及量化分级，执行F-spinal无比率编码，所述F-spinal无比率编码基于OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；

解码反馈模块62，用于当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

信道调度模块63，用于发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度。

所述F-spinal无比率编码为基于脊柱码与频率分集的结合改进得到。

优选地，所述接收端向发射端反馈的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

优选地，所述接收端向发射端反馈的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

优选地，所述信道调度模块63用于发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度包括：用于为已经完成当前一轮传输数据的解码的子信道分配新的区块数据；用于使未完成当前一轮传输数据的解码继续传输原分配的区块数据。

以上内容是结合具体的优选方式对本发明所作的进一步详细说明，不应认定本发明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。

Claims (8)

1.一种视频流的无比率编码解码方法，其步骤包括：

S1、发射端对待编码视频流执行离散余弦变换及量化分级；

S2、执行F-spinal无比率编码，所述F-spinal无比率编码基于脊柱码，并结合OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；

S3、当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

S4、发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度。

2.根据权利要求1所述的视频流的无比率编码解码方法，其特征在于：所述步骤S3中的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

3.根据权利要求2所述的视频流的无比率编码解码方法，其特征在于：所述步骤S3中的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

4.根据权利要求1所述的视频流的无比率编码解码方法，其特征在于，所述步骤S4中，发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度包括：

为已经完成当前一轮传输数据的解码的子信道分配新的区块数据；

使未完成当前一轮传输数据的解码的子信道继续传输原分配的区块数据。

5.一种视频流的无比率编码解码装置，包括：

编码模块，用于发射端对待编码视频流执行离散余弦变换及量化分级，执行F-spinal无比率编码，所述F-spinal无比率编码基于OFDM调制方式下的频率分集特征，将视频帧的每一区块数据指定于一子信道独立编码传输；

解码反馈模块，用于当发射端完成一轮传输数据后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

信道调度模块，用于发射端根据接收的反馈对不同信道状况的子信道进行数据传输调度。

6.根据权利要求5所述的视频流的无比率编码解码装置，其特征在于：所述接收端向发射端反馈的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

7.根据权利要求6所述的视频流的无比率编码解码装置，其特征在于：所述接收端向发射端反馈的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

8.根据权利要求5所述的视频流的无比率编码解码装置，其特征在于，所述信道调度模块用于发射端根据接收端的反馈对不同信道状况的子信道进行数据传输调度包括：

用于为已经完成当前一轮传输数据的解码的子信道分配新的区块数据；

用于使未完成当前一轮传输数据的解码的子信道继续传输原分配的区块数据。