CN101056414A - 一种视频数据流信源信道联合译码方法 - Google Patents

Abstract

本发明提供一种视频数据流信源信道联合译码方法，采用LDPC译码器对视频通信数据流进行信道译码，然后通过视频解码器解码信道译码结果获得视频图像，LDPC译码器和视频解码器联合迭代解码，详细过程为，(1)首先由在视频解码器对信道译码结果进行解码，解码过程中利用视频协议语法、语义分析语法单元，检测是否有误码，当检测出误码时，给出视频流出错范围，并转换为相应出错的信息节点的概率似然比值；(2)将相应出错的信息节点的概率似然比值代入LDPC译码器，进行LDPC译码器内部迭代译码；(3)对新得到的信道译码结果重复由步骤(1)开始进行下一轮联合迭代解码，直到信道译码结果的语法单元符合视频协议。

Description

一种视频数据流信源信道联合译码方法

技术领域

本发明属于无线视频通信技术领域，特别涉及视频数据流信源信道联合译码方法。

背景技术

视频业务是第三代***移动通信平台之上最重要的业务之一。在视频通信中，最具挑战性的无疑是在无线网络中实现视频的实时传输，这必须克服视频数据量大、时延抖动、传输带宽波动、突发误码丢包、多径衰落和多址接收等等问题。高度压缩后的视频码流对传输时产生的误码非常敏感，一旦发生了误码不仅影响该误码数据的恢复，还会影响与之相关的其它数据的恢复，造成“误码扩散”(Error Propagation)，使恢复出来的信号面目全非，严重影响视频通信的质量，提高通信***的比特纠错能力是解决问题的关键。

目前通信***基本上都是在香农定理的指导下，把通信***分为信源编码和信道编码分别进行设计，主要目的是：把全局优化分解为若干局部优化。信源编码的优化原则是压缩效率和还原质量，而信道编码的优化原则是纠错能力和编码代价。而在无线视频通信***的设计上，香农编码定理的局部优化原理出现了局限性，它对信源和信道的进行理想假设：信源满足稳恒性、渐近等同分割性、各态经历性，信道具有平稳、独立随机分布等特性。但是对于视频通信来说，信源的数据重要性是不同的，出现的概率统计也不相同，对于信道误码的容忍程度不同。而且香农定理是一个存在性定理，实现可靠通信需要很长的信道编码长度，并不适用于优化无线视频通信***。可见现有技术难以提供有效技术手段来提高视频通信***的比特纠错能力，这种能力在本领域也被称为视频通信***对信道误码的鲁棒性。

发明内容

本发明目的在于解决现有技术不足，提供一种能够提高视频通信***比特纠错能力的视频数据流解码方法。为实现上述目的，本发明采用LDPC译码器和视频解码器联合迭代解码，联合迭代解码的详细过程为，

(1)首先由在视频解码器对信道译码结果进行解码过程中，利用视频协议语法、语义分析语法单元，检测是否有误码，当检测出误码时，给出视频流出错范围，并转换为相应出错的信息节点的概率似然比值；

(2)将相应出错的信息节点的概率似然比值代入LDPC译码器，进行LDPC译码器内部迭代译码；

(3)对新得到的信道译码结果重复由步骤(1)开始进行下一轮联合迭代解码，直到信道译码结果的语法单元符合视频协议。

而且，视频解码器解码获得视频图像后，通过分析宏块图像判断图像解码是否正确，当图像解码错误时返回进行LDPC译码器和视频解码器联合迭代解码，直到图像解码正确时停止迭代。

而且，步骤(1)中检测出没有误码时，更进一步确认信道译码结果正确，调高相应信息比特的概率似然比值。

而且，视频解码器采用MPEG4视频协议。

本发明的技术方案利用视频解码器对比特流的分析信息参与LDPC码的迭代解码过程，形成信源信道双解码器联合迭代译码。这种方案通过视频解码器的高层语法信息提高信道的纠错能力，改进视频解码器对视频码流的解码过程，能够防止误码扩散，提高视频通信对信道误码的鲁棒性，保证无线视频通信质量。

附图说明

图1是本发明视频数据信息比特与LDPC信道编码层次关系图。

图2是本发明视频流联合迭代解码过程示意图。

图3是本发明的视频解码器检验错误示意图

具体实施方式

参见附图2，本发明提供的视频数据流解码方法技术方案为：采用LDPC译码器对视频数据流进行信道译码，然后采用视频解码器解码信道译码结果获得视频图像，联合迭代解码的过程为，LDPC译码器和视频解码器联合迭代解码，联合迭代解码的详细过程为，

(1)首先由在视频解码器对信道译码结果进行解码过程中，利用视频协议语法、语义分析语法单元，检测是否有误码，当检测出误码时，给出视频流出错范围，并转换为相应出错的信息节点的概率似然比值；

(2)将相应出错的信息节点的概率似然比值代入LDPC译码器，进行LDPC译码器内部迭代译码；

(3)对新得到的信道译码结果重复由步骤(1)开始进行下一轮联合迭代解码，直到信道译码结果的语法单元符合视频协议。

根据本发明提供的技术方案，视频数据流编解码的基本过程是：视频数据流发送前先经过视频编码、LDPC编码处理，然后通过调制器发射，经信道传输后由解调器接受，然后经联合迭代解码纠正误码，之后再由视频解码输出视频图像。

本发明的关键改进在于行LDPC译码器和视频解码器联合迭代解码，采用这种方案基于以下考虑：

实用的变长码一般都是前缀码，即任何一个码字都不是另外一个码字的前缀。传统的变长码译码器正是利用此规则进行译码，在依次读入输入比特的同时判断读入的若干比特是否恰好与某个码字匹配，如果匹配就将对应的符号输出。前缀译码运算非常简单，存储量需求也很小，因此得到了广泛的应用。然而，在有误码的情况下，如果前缀译码器读入的某个比特出错，就可能会造成编解码器之间失去同步，这时不仅当前符号会译错，后面的若干个符号也会被译错，误码扩散造成的结果有时是灾难性的。同时由于视频通信数据的各个部分对噪声影响敏感程度不一样，部分数据对噪声非常敏感。因此本发明考虑利用来自信源的先验信息及信道译码器的软输出，来进行软信源译码。采用基于序列估计的算法来处理变长码译码，这种方法的好处不仅在于译码性能相对简单的前缀译码可以有所改善，而且能够接受软输入的比特序列与信道译码器之间实现联合迭代译码，从而大大改进译码器的性能。因此本发明的信道编码选择了实用的LDPC码。

考虑信道编码和信源编码的机理，可以这样认为：视频编码器根据视频标准将图像序列压缩转换为比特序列，视频解码器通过分析比特序列解码获得连续视频图像。因此可以看出视频解码器对视频码流的认识是通过视频信息比特与信息比特之间的关系得到的，而信道译码器对比特正确的认识是通过信息比特和纠错比特之间的关系的得到的。两者是对同一码流的不同认识，两者的认识会有差别，通过迭代可以消除这种差别达到同一认识结果，提高认识的可靠性。因此利用视频解码器的高层语法信息进行迭代译码将有希望更进一步提高信道的纠错能力，突破目前非规则LDPC码的性能极限。

因此，本发明提出利用LDPC译码器和视频解码器的信息交换，实现联合迭代解码，以此来改进解码结果。每次迭代，经过视频解码器调整的概率似然比值代入LDPC译码器，并且每次迭代都利用了上次迭代得到的结果。在若干次迭代之后，LDPC译码器和视频解码器就在所有的比特的判定上一致了，最终提高了通信***的纠错能力。

本发明提供的上述基础方案是基于对比特的判别决定是否联合迭代解码，进一步的方案是基于：视频解码器解码获得视频图像后，通过分析宏块图像判断图像解码是否正确，当图像解码错误时返回进行LDPC译码器和视频解码器联合迭代解码，直到图像解码正确时停止迭代。增加由图像的评价决定是否联合迭代解码的判断，是为了能够基于宏块图像进行判别，提供了另一种发现误码的途径，有利于进一步提高通信***的纠错能力。

由于解码器检测差错的位置往往不是发生差错的准确位置，因此解码器在检测到差错后，需要采取重同步策略来重新获得与编码器的同步。当前的视频编码标准H.26x和MPEG-x均采取重同步策略之一就是将每一帧图像分成若干个块组(GOB或Slice)，解码器可利用GOB的起始码作为重同步码。但这种重同步策略，重同步码间的距离不相等，对于图像运动剧烈的部分，码字间隔较大，一旦发生错误，解码器恢复同步的时间较长，受影响的数据较多，不利于解码器进一步的差错恢复处理。MPEG(即Moving Picture Experts Group运动图像专家小组)是个国际标准，即所谓ISO11172。在MPEG-4协议中定义了一种新的基于视频包(Video Packet)的重同步策略，使MPEG-4视频流中的重同步码字的间隔基本保持相等。该策略是编码器将每帧图像分割为若干视频包，视频包由完整的宏块组成，其长度由预先设定的阈值决定，编码器通过在每个视频包头处***重同步码字实现重同步。因此，本发明视频解码器采用MPEG4视频协议。具体实施时也可采用MPEG1、MPEG2协议。

以下对本发明提供的视频数据流解码方法具体说明以便实施：

参见图1，LDPC码是一种特殊的线性分组码，它的校验矩阵H是稀疏矩阵，用Tanner图表示时，上边有M个节点C₁，C₂……C_M，每个校验节点表示码字的一个校验集，称为校验节点；图的中间有N个节点V₁，V₂……V_N，每个节点表示码字的一个信息比特位，称为变量节点；图的下边有W个节点I₁，I₂……I_W(图中W取4)，每个节点表示视频压缩码流的一个语法符号。与校验矩阵中“1”元素相对应的校验节点和变量节点之间存在连接边，本发明将一条边两端的节点称为相邻节点。每个节点相连的边数称为该节点的度数。与MPEG4视频协议相对应的节点I₁，I₂……I_W和变量节点V₁，V₂……V_N之间存在连接边，反映出多对一的映射关系，代表信息比特通过一定的顺序组成视频的语法元素。对于规则LDPC码，其校验矩阵中每一行和每一列中“1”的个数是相同的；对非规则码，变量节点和校验节点的度数是不固定的，它们是根据一定的分布进行选择的。可以按以下定义变量节点和校验节点的度数分布：

$\mathrm{\μ}\left(\mathrm{\χ}\right)=\underset{i=2}{\overset{d_v}{\mathrm{\Σ}}}{\mathrm{\μ}}_i{\mathrm{\χ}}^{i-1},v\left(x\right)=\underset{j=2}{\overset{d_c}{\mathrm{\Σ}}}{v}_j{\mathrm{\χ}}^{j-1}$

μ(χ)表示度数为i的变量节点在总节点中所占的比例，υ(χ)表示度数为j的校验节点在总节点中所占的比例，其中d_v是最大变量节点的次数，d_c是最大的校验节点的次数。

LDPC译码器进行内部译码。置信传播算法是基于图模型进行局部消息传递和更新的概率推理算法。

在图1中举例示意了出现某视频图像存在内容错误的情况，视频图像内容错误相应的比特错误存在于节点I₂，I₃，然后据此判断视频流出错范围(图中用虚线表示)，相应出错的信息节点为节点V₅，V₆……V_N-3，V_N-2。并且调整相应出错的信息节点的概率似然比值。以上属于根据视频解码结果进行调整的过程，调整得到的概率似然比值带入LDPC译码器进行再次内部迭代译码。

LDPC译码器进行信道译码的过程属于现有技术，包括以下步骤，

步骤a：初始化：

$\mathrm{LLR}\left(p_i\right)=\frac{2}{{\mathrm{\σ}}^2}{R}_i,1\≤i\≤N$

假定信道为加性高斯白噪声信道，其中σ²为信道噪声的标准差，q_ij为从变量节点i发送到校验节点j的外部信息，r_ij为从校验节点j发送到变量节点i的外部消息。R_i为信道接收的解调后的信息，p_i是相应的变量节点i的初始化的对数概率似然比，初始化，LLR(r_ij)＝0。

步骤b：LDPC译码，包括两个步骤：

从变量节点发送信息到校验节点。

$\left(q_{\mathrm{ij}}\right)=\underset{j^{\′}\≠1}{\underset{j^{\′}\∈\mathrm{Col}\left[i\right]}{\mathrm{\Σ}}}\mathrm{LLR}\left(r_{\mathrm{ij}}\right)+\mathrm{LLR}\left(p_i\right)$

其中Col[i]指在校验矩阵中第i列中非零的元素。

从校验节点到变量节点

$\mathrm{LLR}\left(r_{\mathrm{ij}}\right)={\mathrm{\Φ}}^{-1}\left(\underset{j^{\′}\≠i}{\underset{i^{\′}\∈\mathrm{Row}\left[j\right]}{\mathrm{\Π}}}\mathrm{\Φ}(\mathrm{LLR}\left(q_{i^{\′}j}\right)\right)$

其中Row[j]指在校验矩阵中第i行中非零的元素。定义

$\mathrm{\Φ}\left(\mathrm{\χ}\right)=\tanh (-\frac{1}{2}x)=\frac{e^x-1}{e^x+1}$

步骤c：信道译码输出定义为

$\mathrm{LLR}\left(q_i\right)=\underset{j^{\′}\∈\mathrm{Col}\left[i\right]}{\mathrm{\Σ}}\mathrm{LLR}\left(r_{\mathrm{ij}}\right)+\mathrm{LLR}\left(p_i\right)$

然后进行硬判据输出：

${\hat{u}}_i=\left\{\begin{array}{ccc}1& \mathrm{if}& \mathrm{LLR}\left(q_i\right)>0\\ 0& \mathrm{if}& \mathrm{LLR}\left(q_i\right)<0\end{array}\right.$

此处硬判据输出即信道译码结果。其中q_i定义为信息节点i的迭代输出的最终概率似然比。

视频解码器参与迭代的过程由本发明首创，实施例中检验错误的详细过程参见图3：

首先检验所有的语法单元是否符合MEPG4视频协议标准。对于一些包含视频参数信息的编码视频头信息：序列头、图像组头、图像头，可以根据视频语法和语义直接分析。例如MPEG4协议的头信息：视频对象头、视频对象平面头、用户数据头。分析相应的视频参数内容，监视是否发现错误，即存在误码。由信道译码结果解码成图像的过程中，对于包含了视频内容信息的DCT系数和运动矢量部分，需要进一步进行解码。在解码过程中，首先分析这些变长编码的语法单位是否符合视频协议中的变长编码表，如果出现不符情况，则存在误码，需进行纠正。在上述检验过程中，如果发现误码则记录相应错误的信息比特，并转换为相应信息比特的概率似然比值，并代回LDPC译码器进行相应修改。如果不存在误码，可以更进一步确认LDPC译码正确，调高相应信息比特的概率似然比值，改动的系数设为w，然后把整个信息比特序列的概率似然比值代回LDPC译码器，这样LDPC译码器迭代的收敛性会更好。

然后，为了能够基于宏块图像进行判别，需要恢复出相应的宏块图像，通过分析宏块图像之间的连续性、宏块边缘连续性、宏块的平均灰度的连续性等等标准，判断图像解码是否正确。这种分析过程可以通过软件实行，本发明称为解码图像评价器。如果图像解码不正确，需要通过分析确定相应出错的信息比特，相应的概率似然比值需要进行调整，并代回LDPC译码器进行相应修改，即再次进行LDPC译码器和视频解码器联合迭代解码。由于通过图像的参数进行纠错判断，判断的可靠性要小于通过视频语法进行判断的结果，所以相应的调整数值比语法纠错的调整要小，改动的系数设为v，v＜w。

MPEG4视频协议标准包括多种参考模式，本实施例提供了I帧和P帧的图像评价过程：针对I帧，检测视频参数内容后，检查同步标记且解码视频包头，然后解码MCBPC(宏块类型和色度编码模式)获得宏块的参数信息，分析MCBPC，监视是否发现错误；接着解码6个块信息，分析变长编码，监视是否发现错误；最后是基于宏块图像进行判别，重建解码后图像内容，验证图像内容，监视是否发现错误。发现错误后均记录相应错误的信息比特，转换为相应信息比特的概率似然比值，并代回LDPC译码器进行相应修改。P帧中包含了运动特性，因此在解码6个块信息同时需解码运动矢量，分析运动矢量值，监视是否发现错误。在实时通信中一般不会用到B帧，B帧的评价方法应该与P帧一致，不予赘述。

联合迭代解码作为一种迭代算法，需要设计迭代条件：

根据视频解码器对信道解码的判断信息和解码图像评价器的判断结果，决策是否需要进行迭代解码；如果需要迭代就把经过视频解码器调整过的概率似然比值，代入LDPC译码器进行新的内部迭代译码，实现一次联合迭代译码；如果不需要迭代解码，信道的联合迭代译码器(即LDPC译码器和视频解码器的结合)就进行硬判据，把译码结果发送到上层协议栈，完成信道的译码过程。联合迭代解码过程中的具体算法实现可以采用DSP(数字信号处理)技术。

Claims (5)

1.一种视频数据流信源信道联合译码方法，首先采用LDPC译码器对视频通信数据流进行信道译码，然后通过视频解码器解码信道译码结果获得视频图像，其特征在于：LDPC译码器和视频解码器联合迭代解码，联合迭代解码的详细过程为，

(1)首先由在视频解码器对信道译码结果进行解码过程中，利用视频协议语法、语义分析语法单元，检测是否有误码，当检测出误码时，给出视频流出错范围，并转换为相应出错的信息节点的概率似然比值；

(2)将相应出错的信息节点的概率似然比值代入LDPC译码器，进行LDPC译码器内部迭代译码；

(3)对新得到的信道译码结果重复由步骤(1)开始进行下一轮联合迭代解码，直到信道译码结果的语法单元符合视频协议。

2.如权利要求1所述视频数据流解码方法，其特征在于：视频解码器解码获得视频图像后，通过分析宏块图像判断图像解码是否正确，当图像解码错误时返回进行LDPC译码器和视频解码器联合迭代解码，直到图像解码正确时停止迭代。

3.如权利要求1或2所述视频数据流解码方法，其特征在于：步骤(1)中检测出没有误码时，更进一步确认信道译码结果正确，调高相应信息比特的概率似然比值。

4.如权利要求1或2所述视频数据流解码方法，其特征在于：视频解码器采用MPEG4视频协议标准。

5.如权利要求3述视频数据流解码方法，其特征在于：视频解码器采用MPEG4视频协议标准。

Images