CN103873866A - 多视点立体视频在丢包网络中的GGoP级失真递归方法 - Google Patents

Abstract

一种多视点立体视频在丢包网络中的GGoP级失真递归方法，包括如下步骤：用H.264／MVC对多视点视频序列编码，s为视点编号，t为帧编号；仿真不同丢包率下失真的测量值D_c(s，t)，统计视点间预测、帧内编码和运动补偿时域掩盖的宏块比例V、Q、U；由第(s，t)帧第i像素在编码器和解码器处重建的像素值和得到D_TEC(s，t)和D_VEC(s,t)，用最小二乘法计算传输参数λ_a、λ_b以及μ_a、μ_b；以B为平均丢包率迭代出每个视点的平均传输失真D_c-test(s，t)；由D_c-test(s，t)计算GGoP级的平均失真D_c，GGoP；预测多视点视频传播的失真PSNR和MSE。本发明能够在保持较低运算复杂度的前提下预测整个GGoP的失真及误差传播情况，较好地模拟实际GGoP失真水平，仿真结果与实际情况相符，并与主观评价保持高度一致。

Description

多视点立体视频在丢包网络中的GGoP级失真递归方法

技术领域

本发明涉及一种立体视频的传输。特别是涉及一种多视点立体视频在丢包网络中的GGoP级失真递归方法。 

背景技术

帧间编码模式为视频编码带来了高压缩率，但同时也导致一个GOP中图像帧间的高依赖性。一旦某一个帧因信道出错而丢失，不仅该帧在重建时会出现失真，其后续的帧也将因帧间的参考不匹配而出现失真，即失真将在后续帧间传播。 

而对于多视点立体视频来说，各视点图像数据之间有强相似性，不仅同一视点相邻帧之间存在时域相关性，同一时刻相邻视点对应帧之间还存在空域相关性，因此在多视点视频编码中，还采用了视点间的预测。多视点视频的这种编码方式虽然极大地降低了原始信号的时域和空域冗余度，但同时也降低了编码码流对抗网络传输错误的鲁棒性。在丢包网络中，其误差将向两个方向传播，传播模式由一维变为二维，因而对错误更加敏感。 

目前已有的失真计算方法，如Sabir等人给出的MPEG-4编码的视频流通过具有误差弹性工具的有噪的衰落的信道时的误差模型。误差弹性工具指的是数据分区和分包，即视频被编码到不同的区和层。2008年Zhang等提出了一种递归的GoP级的传输失真模型，该模型建立在全帧丢失的误差传播行为模式上的。另外，还有一些学者将丢包的突发性纳入考虑，利用给出的Gilbert信道丢包模型，建立了一个更加精确的失真估计模型，以估计视频帧级和视频序列级的失真情况。尽管这些失真计算方法都能比较精确地对预期的失真情况作出估计，但它们只能应用到基于块的运动补偿预测框架的单视点视频编码器上或具有过高的复杂度，不适用于多视点立体视频的传输，同时也没有考虑到立体视觉的特殊性。在立体视频的研究中，针对具有视点间刷新等误差弹性工具的立体视频编码，X.Xiang等人提出了一种优化码率-失真模型，Tan等人为立体视频建立了一种端到端的速率-失真模型并得到了最佳编码器比特率和UEP速率。然而，这些文献计算的是只有左视点和右视点的传输失真。 

迄今为止，在国内外公开发表的论文和文献中尚未见开展有关多视点视频传输失真在GGoP级的算法 

发明内容

本发明所要解决的技术问题是，提供一种能够在保持较低运算复杂度的前提下预测整个GGoP的失真及误差传播情况的多视点立体视频在丢包网络中的GGoP级失真递归方法。 

本发明所采用的技术方案是：一种多视点立体视频在丢包网络中的GGoP级失真递归方法，包括如下步骤： 

1)采用H.264／MVC对多视点视频序列进行编码，用s表示视点编号，t为同一视点内帧的编号； 

2)首先通过仿真在不同丢包率的条件下获得对应失真的测量值D_c(s，t)；D_c(s，t)定义为仿真中实际测量到的失真，即视频传输前后同一视点同一帧的像素差值；在编码端统计出来视点间预测的宏块比例V和帧内模式编码的宏块比例Q，以及宏块中采用运动补偿时域掩盖方式的百分比U； 

3)测量出第(s,t)帧第i像素的像素值F_i(s，t)分别在编码器和解码器处重建的第(s，t)帧第i像素的像素值

和

4)计算出视点内相邻帧的均方差D_TEC(s，t)和相邻视点的相同帧的均方差D_VEC(s，t)； 

5)由以下公式采用最小二乘法计算出λ_a和λ_b的值， 

${\mathrm{\λ}}_a,{\mathrm{\λ}}_b=\underset{{\mathrm{\λ}}_a,{\mathrm{\λ}}_b}{\arg \min }\underset{(s,t)\∈\mathrm{Recieved}}{\mathrm{\Σ}}{(D_c(s,t)-D_R(s,t))}^2$

D_R(s,t)=(1-Q)[V·λ_b·D_c(s，t-1)+(1-V)·λ_a·D_c(s-1，t)] 

其中，(s，t)为解码端接收到的帧， 

特别的，第0视点的帧，不包括第一个I帧，都采用了视点内帧间预测的预测模式，此时V=1，而除了第0视点的所有视点第一帧的宏块都采用了视点间帧间预测，此时V=0； 

6)由最小二乘法计算得出μ_a和μ_b的值， 

${\mathrm{\μ}}_a,{\mathrm{\μ}}_b=\underset{{\mathrm{\μ}}_a,{\mathrm{\μ}}_b}{\arg \min }\underset{(s,t)\∈\mathrm{Lost}}{\mathrm{\Σ}}{(D_c(s,t)-D_L(s,t))}^2$

D_L(s，t)=U·(D_TEC(s，t)+μ_b·D_c(s，t-1)) 

+(1-U)·(D_VEC(s，t)+μ_a·D_c(s-1，t)) 

=[U·D_TEC(s，t)+(1-U)·D_VEC(s，t)] 

+[U·μ_b·D_c(s，t-1)+(1-U)·μ_a·D_c(s-1，t)] 

其中，(s，t)为解码端丢失的帧， 

对于第0视点的视频序列中任意一个丢失的P帧，令U=1；对于除了第0视点的每个视点的第一帧，如果发生丢帧，令U=0； 

7)令B为平均丢包率，然后迭代出每个视点的平均传输失真值，即D_c-test(s,t)的值，D_c-test(s,t)=(1-B)·D_R(s，t)+B·D_L(s，t) 

=α·D_c(s-1，t)+β·D_c(s，t-1)+γ 

其中 

$\left\{\begin{array}{c}\mathrm{\α}=(1-B)(1-Q)\·V\·{\mathrm{\λ}}_b+B\·U\·{\mathrm{\μ}}_b\\ \mathrm{\β}=(1-B)(1-Q)(1-V)\·{\mathrm{\λ}}_a+B\·(1-U)\·{\mathrm{\μ}}_a\\ \mathrm{\γ}=B[U\·D_{\mathrm{TEC}}(s,t)+(1-U)\·D_{\mathrm{VEC}}(s,t)]\end{array}\right.$

在上式中，α和β代表误差传播系数，表示在相邻帧中由信道引起的失真的相关性； 

8)计算整个GGoP级，即S个视点和每个视点T帧的平均失真； 

9)最后根据不同的帧的V、Q、U值预测多视点视频传播的失真，即峰值信噪比PSNR和MSE的值。 

步骤(4)所述的视点内相邻帧的均方差D_TEC(s,t)和相邻视点的相同帧的均方差D_VEC(s，t)是分别通过下式得到： 

$D_{\mathrm{TEC}}(s,t)=E\left\{{[{\hat{F}}_i(s,t)-{\hat{F}}_i(s,t-1)]}^2\right\};D_{\mathrm{VEC}}(s,t)=E\left\{{[{\hat{F}}_i(s,t)-{\hat{F}}_i(s-1,t)]}^2\right\}.$

步骤(8)所述的GGoP的平均失真被定义为D_c，GGoP，D_c，GGoP综合GGoP中各个帧的失真估计得到，如下式所示： 

$\begin{array}{c}{D}_{\mathrm{GGoP},c}=\frac{1}{S\·T}\underset{s=0}{\overset{S}{\mathrm{\Σ}}}\underset{t=0}{\overset{T}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(s,t)\\ =\frac{1}{S\·T}[\underset{s=0}{\overset{S}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(s,0)+\underset{t=0}{\overset{T}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(0,t)+\underset{s=1}{\overset{S}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(s,t)]\end{array}.$

步骤(9)中 

MSE是参考图像和重建图像之间的均方误差，代表重建图像的失真值，公式如下： 

$\mathrm{MSE}=\frac{\stackrel{M-1}{\underset{x=0}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[f(x,y)-f_0(x,y)]}^2}{\mathrm{MN}},$

其中f(x，y)为重建图像的像素值，f₀(x，y)为参考图像的像素值，传输失真预测中的f(x，y)-f₀(x，y)即D_c，GGoP的值； 

峰值信噪比的单位用分贝表示，公式如下： 

$\mathrm{PSNR}={10\log }_{10}\frac{{(2^n-1)}^2}{\mathrm{MSE}}$

其中(2ⁿ-1)²为像素幅度峰值的平方，n为表示每个像素的比特数，M和N为水平和垂直像素数。 

本发明的多视点立体视频在丢包网络中的GGoP级失真递归方法，能够在保持较低运算复杂度的前提下预测整个GGoP的失真及误差传播情况，能够较好地模拟实际GGoP失真水平，仿真结果与实际情况相符，并与主观评价保持高度一致性。 

附图说明

图1是不同的丢包率下GGoP中所有P帧的平均失真 

其中，(a)是Ballroom序列的平均PSNR，(b)是Exit序列的平均PSNR，(c)是Vassar序列的平均PSNR，(d)是Lotus序列的平均PSNR； 

图2是主观评价值与模型预测值的关系图。 

具体实施方式

下面结合实施例和附图对本发明的多视点立体视频在丢包网络中的GGoP级失真递归方法做出详细说明。 

本发明的多视点立体视频在丢包网络中的GGoP级失真递归方法，包括如下步骤： 

1)采用H.264／MVC对多视点视频序列进行编码，用s表示视点编号，t为同一视点内帧 的编号； 

2)首先通过仿真在不同丢包率的条件下获得对应失真的测量值D_c(s，t)；D_c(s，t)定义为仿真中实际测量到的失真，即视频传输前后同一视点同一帧的像素差值；在编码端统计出来视点间预测的宏块比例V和帧内模式编码的宏块比例Q，以及宏块中采用运动补偿时域掩盖方式的百分比U； 

3)测量出第(s,t)帧第i像素的像素值F_i(s，t)分别在编码器和解码器处重建的第(s，t)帧第i像素的像素值

和

4)计算出视点内相邻帧的均方差D_TEC(s，t)和相邻视点的相同帧的均方差D_VEC(s,t)，其是分别通过下式得到： 

$D_{\mathrm{TEC}}(s,t)=E\left\{{[{\hat{F}}_i(s,t)-{\hat{F}}_i(s,t-1)]}^2\right\};D_{\mathrm{VEC}}(s,t)=E\left\{{[{\hat{F}}_i(s,t)-{\hat{F}}_i(s-1,t)]}^2\right\}.$

5)由以下公式采用最小二乘法计算出λ_a和λ_b的值， 

${\mathrm{\λ}}_a,{\mathrm{\λ}}_b=\underset{{\mathrm{\λ}}_a,{\mathrm{\λ}}_b}{\arg \min }\underset{(s,t)\∈\mathrm{Recieved}}{\mathrm{\Σ}}{(D_c(s,t)-D_R(s,t))}^2$

D_R(s,t)=(1-Q)[V·λ_b·D_c(s，t-1)+(1-V)·λ_a·D_c(s-1，t)] 

其中，(s,t)为解码端接收到的帧， 

特别的，第0视点的帧，不包括第一个I帧，都采用了视点内帧间预测的预测模式，此时V=1，而除了第0视点的所有视点第一帧的宏块都采用了视点间帧间预测，此时V=0； 

6)由最小二乘法计算得出μ_a和μ_b的值， 

${\mathrm{\μ}}_a,{\mathrm{\μ}}_b=\underset{{\mathrm{\μ}}_a,{\mathrm{\μ}}_b}{\arg \min }\underset{(s,t)\∈\mathrm{Lost}}{\mathrm{\Σ}}{(D_c(s,t)-D_L(s,t))}^2$

D_L(s,t)=U·(D_TEC(s，t)+μ_b·D_c(s，t-1)) 

+(1-U)·(D_VEC(s,t)+μ_a·D_c(s-1，t)) 

=[U·D_TEC(s,t)+(1-U)·D_VEC(s，t)] 

+[U·μ_b·D_c(s，t-1)+(1-U)·μ_a·D_c(s-1，t)] 

其中，(s,t)为解码端丢失的帧， 

特别的，对于第0视点的视频序列中任意一个丢失的P帧，令U=1；对于除了第0视点的每个视点的第一帧，如果发生丢帧，令U=0； 

7)令B为平均丢包率，然后迭代出每个视点的平均传输失真值，即D_c-test(s，t)的值，D_c-test(s，t)=(1-B)·D_R(s，t)+B·D_L(s，t) 

=α·D_c(s-1，t)+β·D_c(s，t-1)+γ 

其中 

$\left\{\begin{array}{c}\mathrm{\α}=(1-B)(1-Q)\·V\·{\mathrm{\λ}}_b+B\·U\·{\mathrm{\μ}}_b\\ \mathrm{\β}=(1-B)(1-Q)(1-V)\·{\mathrm{\λ}}_a+B\·(1-U)\·{\mathrm{\μ}}_a\\ \mathrm{\γ}=B[U\·D_{\mathrm{TEC}}(s,t)+(1-U)\·D_{\mathrm{VEC}}(s,t)]\end{array}\right.$

在上式中，α和β代表误差传播系数，表示在相邻帧中由信道引起的失真的相关性； 

8)计算整个GGoP级，即S个视点和每个视点T帧的平均失真，所述的GGoP的平均失真被定义为D_c，GGoP，D_c，GGoP综合GGoP中各个帧的失真估计得到，如下式所示： 

$\begin{array}{c}{D}_{c,\mathrm{GGoP}}=\frac{1}{S\·T}\underset{s=0}{\overset{S}{\mathrm{\Σ}}}\underset{t=0}{\overset{T}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(s,t)\\ =\frac{1}{S\·T}[\underset{s=0}{\overset{S}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(s,0)+\underset{t=0}{\overset{T}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(0,t)+\underset{s=1}{\overset{S}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{D}_{c-\mathrm{test}}(s,t)]\end{array}.$

9)最后根据不同的帧的V、Q、U值预测多视点视频传播的失真，即峰值信噪比PSNR和MSE的值，其中 

MSE是参考图像和重建图像之间的均方误差，代表重建图像的失真值，公式如下： 

$\mathrm{MSE}=\frac{\stackrel{M-1}{\underset{x=0}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{[f(x,y)-f_0(x,y)]}^2}{\mathrm{MN}},$

其中f(x，y)为重建图像的像素值，f₀(x，y)为参考图像的像素值，传输失真预测中的f(x，y)-f₀(x，y)即D_c，GGoP的值； 

峰值信噪比的单位用分贝表示，公式如下： 

$\mathrm{PSNR}={10\log }_{10}\frac{{(2^n-1)}^2}{\mathrm{MSE}}$

其中(2ⁿ-1)²为像素幅度峰值的平方，n为表示每个像素的比特数，M和N为水平和垂直像素数。 

下面对本发明的多视点立体视频在丢包网络中的GGoP级失真递归方法进行验证。通过仿真实验比对和主观实验结果来证实算法的有效性。实验结果以均方差(MSE)和峰值信噪比(PSNR)的形式表示。 

本实施例采用四个不同的多视点视频测试序列来评价失真预测算法性能，这四个测试序列包括：一个高速运动序列“Ballroom”、两个中速运动序列“Vassar”和“Exit”、一个低速运动视频“Lotus”。在实验中，分别取它们的量化步长(QP)为32、32、25、41。 

在实验中，每个多视点视频序列中都只有一个I帧，并且假设这个I帧没有出错。同时，认为每个P帧只对应一个片组(slice)，每个片组对应一个单独的包，而每个包得长度都不大于以太网最大传输单元(MTU)。选取丢包率分别为2％，5％，8％，10％。在实验中GGoP的平均失真D_c，GGoP的计算中使用了所有帧的错误掩盖误差的平均值D_TEC，avg和D_VEC，avg。 

实验使用H.264／MVC参考软件(JMVM8.0)进行编码。每个P帧中，视点间预测的宏块比例V和帧内模式编码的宏块比例Q都可以在编码端统计出来。 

一、GGoP平均失真预测的实验结果 

在不同的丢包率下计算GGoP中所有P帧的平均失真D_c，GGoP。图1描绘了多个四个多视点视频测试序列在不同丢包率下整个GGoP的平均PSNR。 

二、主观实验 

四个实验序列中，只有“Lotus”序列的相邻视点具有合适视差。选择具有正常视力的十个观察者参加主观实验，其中半数参与者是具有立体信息领域研究经验的专业人员，另一半无研究经验。首先，在一台19寸LCD显示器逐个显示多视点立体视频的各个视点，10个观察者依次观察各个视点，并依照ITU-R Recommendation BT.500-11的主观质量评价标准给出视频质量的评价并打分。同时，用所提出的失真算法估计每个测试序列整体GGoP的平均传输失真。表一给出了丢包率为2％、5％、8％和10％的情况下视频质量主观评分的平均值和算法预测值。 

表一测试序列“Ballroom”、“Vassar”和“Exit”主观评价结果与模型预测结果的比较 

另一方面，使用多视点自有立体显示器显示“Lotus”立体视频，观看距离为2.5米。让参与者分别从图像质量、立体感和舒适度方面打分。表二和图2给出了丢包率范围从2％到20％情况下，“Lotus”序列的算法预测结果(PSNR)与ITU-R Recommendation BT.500-11的主观质量评价标准的主观评价平均分(MOS)。 

表二测试序列“Lotus”主观评价结果与模型预测结果的比较 

Claims (4)

1.一种多视点立体视频在丢包网络中的GGoP级失真递归方法，其特征在于，包括如下步骤： 

1)采用H.264／MVC对多视点视频序列进行编码，用s表示视点编号，t为同一视点内帧的编号； 

2)首先通过仿真在不同丢包率的条件下获得对应失真的测量值D_c(s，t)；D_c(s,t)定义为仿真中实际测量到的失真，即视频传输前后同一视点同一帧的像素差值；在编码端统计出来视点间预测的宏块比例V和帧内模式编码的宏块比例Q，以及宏块中采用运动补偿时域掩盖方式的百分比U； 

3)测量出第(s,t)帧第i像素的像素值F_i(s，t)分别在编码器和解码器处重建的第(s,t)帧第i像素的像素值和

4)计算出视点内相邻帧的均方差D_TEC(s，t)和相邻视点的相同帧的均方差D_VEC(s，t)； 

5)由以下公式采用最小二乘法计算出λ_a和λ_b的值， 

D_R(s,t)=(1-Q)[V·λ_b·D_c(s，t-1)+(1-V)·λ_a·D_c(s-1，t)] 

其中，(s，t)为解码端接收到的帧， 

特别的，第0视点的帧，不包括第一个I帧，都采用了视点内帧间预测的预测模式，此时V=1，而除了第0视点的所有视点第一帧的宏块都采用了视点间帧间预测，此时V=0； 

6)由最小二乘法计算得出μ_a和μ_b的值， 

D_L(s，t)=U·(D_TEC(s,t)+μ_b·D_c(s，t-1)) 

+(1-U)·(D_VEC(s，t)+μ_a·D_c(s-1，t)) 

=[U·D_TEC(s,t)+(1-U)·D_VEC(s,t)] 

+[U·μ_b·D_c(s，t-1)+(1-U)·μ_a·D_c(s-1，t)] 

其中，(s，t)为解码端丢失的帧， 

对于第0视点的视频序列中任意一个丢失的P帧，令U=1；对于除了第0视点的每个视点的第一帧，如果发生丢帧，令U=0； 

7)令B为平均丢包率，然后迭代出每个视点的平均传输失真值，即D_c-test(s,t)的值，D_c-test(s,t)=(1-B)·D_R(s，t)+B·D_L(s，t) 

=α·D_c(s-1，t)+β·D_c(s，t-1)+γ 

其中 

在上式中，α和β代表误差传播系数，表示在相邻帧中由信道引起的失真的相关性； 

8)计算整个GGoP级，即S个视点和每个视点T帧的平均失真； 

9)最后根据不同的帧的V、Q、U值预测多视点视频传播的失真，即峰值信噪比PSNR和MSE的值。 

2.根据权利要求1所述的面向包交换网络的多视点视频传输失真预测方法，其特征在于，步骤(4)所述的视点内相邻帧的均方差D_TEC(s，t)和相邻视点的相同帧的均方差D_VEC(s，t)是分别通过下式得到： 

3.根据权利要求1所述的面向包交换网络的多视点视频传输失真预测方法，其特征在于，步骤(8)所述的GGoP的平均失真被定义为D_c，GGoP，D_c，GGoP综合GGoP中各个帧的失真估计得到，如下式所示： 

。

4.根据权利要求1所述的面向包交换网络的多视点视频传输失真预测方法，其特征在于，步骤(9)中 

MSE是参考图像和重建图像之间的均方误差，代表重建图像的失真值，公式如下： 

其中f(x，y)为重建图像的像素值，f₀(x，y)为参考图像的像素值，传输失真预测中的f(x，y)-f₀(x，y)即D_c，GGoP的值； 

峰值信噪比的单位用分贝表示，公式如下： 

其中(2ⁿ-1)²为像素幅度峰值的平方，n为表示每个像素的比特数，M和N为水平和垂直像素数。 

Images