CN106888374A - 一种三维视频编码方法、装置及视频处理设备 - Google Patents

Abstract

本发明涉及三维视频编码技术领域，公开了一种三维视频编码方法、装置及视频处理设备。本发明通过获取左边视点和右边视点的原始图像以及与其对应的重建图像；根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值；通过所述质量差值，获取三维视频图像的视频质量值；根据所述视频质量值，调整码率控制模型；通过所述调整后的码率控制模型进行编码处理，输出三维码流，使得三维视频图像可以根据左边视点和右边视点质量的差异，调整码率控制模型，从而提高三维视频图像编码的质量，提高三维画面显示质量，满足用户的需求。

Description

一种三维视频编码方法、装置及视频处理设备

技术领域

本发明涉及视频处理领域，特别涉及一种三维视频编码技术。

背景技术

现有技术中，三维视频通常拥有两个不同的视点序列；所述两个不同的视屏点序列分别用于左眼场景和右眼场景。现有的视频评测方法通常是先分别评估两个视点的视频质量，然后再将所述两个视点的视频质量评估的平均值作为最终的结果。

所述平均值作为最终的结果的图像评估质量方法不能准确地反映实际显示的三维视频图像质量。其原因为这种评估未能考虑两个视点的质量值的平衡。例如，两个三维视频序列具有相同的平均质量；其中，第一序列的两个视点，一个具有很好的图像质量的视点，而另外一个为较差的图像质量的视点；第二序列具有两个相似质量的视点。虽然平均质量方法显示两个序列具有相同的质量，但是实际显示的三维画面后，所述第二序列显示的三维画面显示质量更好。因为第一序列引入两个不平衡的视点，使得最终显示的三维整体画面质量不能满足用户的需求。

发明内容

本发明的目的在于提供一种三维视频编码方法、装置及视频处理设备，使得三维视频图像可以根据左边视点和右边视点质量的差异，调整码率控制模型，从而提高三维视频图像编码的质量，提高三维画面显示质量，满足用户的需求。

为解决上述技术问题，本发明的实施方式提供了一种三维视频编码方法，该方法包括：获取左边视点和右边视点的原始图像以及与其对应的重建图像；

根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值；

通过所述质量差值，获取三维视频图像的视频质量值；

根据所述视频质量值，调整码率控制模型；

通过所述调整后的码率控制模型进行编码处理，输出三维码流。

本发明的实施方式还提供了一种三维视频编码装置，包括：

图像获取单元，用于获取左边视点和右边视点的原始图像以及与其对应的重建图像；

差值获取单元，用于根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值；

视频质量获取单元，用于通过所述质量差值，获取三维视频图像的视频质量值；

调整单元，用于根据所述视频质量值，调整码率控制模型；

编码处理单元，用于通过所述调整后的码率控制模型进行编码处理，输出三维码流。

本发明的实施方式还提供了一种视频处理设备，包括：如上所述三维视频编码装置。

本发明实施方式相对于现有技术而言，通过获取左边视点图像质量值和右边视点图像质量值的质量差值，使得三维视频图像的视频质量值能够更加客观反映三维视频图像的视频质量值，提高三维视频图像的视频质量值的评价质量；进而再通过所述三维视频图像的视频质量值实时调整码率控制模型，从而使得三维视频图像的编码质量提高。

另外，所述根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值步骤具体包括：

获取左边视点和右边视点的原始图像以及与其对应的重建图像；

根据所述视频点的原始图像以及与其对应的重建图像，获取左边视点的图像质量值和右边视点的图像质量值；

根据所述图像质量值，获取左边视点和右边视点的图像质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值。

本发明实施方式相对于现有技术而言，本发明通过左边视点的图像质量值和右边视点的图像质量值，获取左边视点和右边视点的图像质量值之差的绝对值；所述图像质量值之差的绝对值为本发明技术方案中用于调整三维视频图像的视频质量值的重要参数，通过所述绝对值可以使得三维视频图像的视频质量更加客观反映三维视频显示质量。

另外，该方法还包括：

获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整，用于调整所述质量差值在所述三维视频图像的视频质量值中的比重。

本发明实施方式相对于现有技术而言，本发明技术方案通过动态调整所述质量差值的加权系数，使得三维视频图像的视频质量值中增加左边视点和右边视点的质量值之差的绝对值可以根据实际视频图像质量动态调整，进一步提高三维视频图像的视频质量值的评价质量，进而使得三维视频图像的视频质量更加客观反映三维视频显示质量。

附图说明

图1是本发明第一实施例提供的一种三维视频编码方法流程图；

图2是本发明第二实施例提供的一种基于采用峰值信噪比算法的三维视频编码方法流程图；

图3是本发明第三实施例提供的一种基于结构相似度算法的三维视频编码方法流程图；

图4是本发明第四实施例提供的一种三维视频编码装置结构示意图；

图5是本发明第一实施例提供的一种三维视频编码方法中函数wfunc()的人类的视觉观感和PSNR值之间的关系曲线图；

图6是本发明第一实施例提供的一种三维视频编码方法中码率控制流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种三维视频编码方法。具体流程如图1所示。该方法包括：

101：获取左边视频点和右边视频点的原始图像以及与其对应的重建图像；

102：根据所述左边视频点和右边视频点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值；该步骤质量差值的具体实现过程为：根据所述视频点的原始图像以及与其对应的重建图像，获取左边视频点和右边视频点的图像质量值；根据所述图像质量值，获取所述左边视频点和右边视频点的质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值；

103：通过所述质量差值，获取三维视频图像的视频质量值；该步骤具体实现过程还包括获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整，用于调整所述质量差值在所述三维视频图像的视频质量值中的比重；

104：根据所述视频质量值，调整码率控制模型；

105：通过所述调整后的码率控制模型进行编码处理，输出三维码流。

本发明实施方式相对于现有技术而言，通过获取左边视点图像质量值和右边视点图像质量值的质量差值，使得三维视频图像的视频质量值能够更加客观反映三维视频图像的视频质量值，提高三维视频图像的视频质量值的评价质量；进而再通过所述三维视频图像的视频质量值实时调整码率控制模型，从而使得三维视频图像的编码质量提高。其中，所述加权系数根据所述左边视点和右边视点的图像质量值动态调整，还可以调整所述质量差值在所述三维视频图像的视频质量值中的比重。

基于以上实施例，本发明的第二实施方式涉及一种基于采用峰值信噪比算法的三维视频编码方法，如图2所示，该编码方法采用2-pass编码技术，具体实现流程如下：

S1：获取左边视频点和右边视频点的原始图像以及与其对应的重建图像；

S2：根据所述视频点的原始图像以及与其对应的重建图像，获取左边视频点和右边视频点的图像质量值；

S3：根据所述图像质量值，获取所述左边视频点和右边视频点的质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值；

S4：获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整；具体的讲，就是通过两个视点的实际图像质量动态地调整所述加权系数，量化表达视点间“质量差“对三维图像整体质量带来的影响；

S5：通过所述质量差值及加权系数，获取三维视频图像的视频质量值；设三维视频图像的视频质量值P；

P＝PSNR_average-W*PSNR_differ

P表示基于采用峰值信噪比算法的三维视频图像的视频质量值,PSNR_average表示左边视点和右边视点的图像质量值的平均值，PSNR_differ表示左边视点和右边视点的质量差值，W表示所述质量差值的加权系数。

当所述三维视频图像包括：左边视点和右边视点时；

所述左边视点和右边视点的图像质量值的平均值如下：

所述PSNR_average表示左右两边视点的图像质量值的平均值；所述PSNR_left表示左边视点的图像质量值，所述PSNR_right表示右边视点的图像质量值；

所述左边视点和右边视点的质量值之差的绝对值PSNR_differ如下：

PSNR_differ＝|PSNR_left-PSNR_right|

其中，所述左边视点的图像质量值PSNR_left与所述右边视点的图像质量值PSNR_right的计算公式如下：

其中，x_i,j值和y_i,j值是所述重建图像和原始图像中的位置(i,j)的像素值；w表示图像宽度，h表示图像高度；

所述质量差值的加权系数W如下：

其中，wfunc()由人类的视觉观感和psnr值之间的关系曲线所确定，所述psnr值即为所述PSNR_left和所述PSNR_right。所述曲线有许多解，如图5所示为其中一种，其由大量的实验结果所得，具体的函数参见如下：

如上wfunc(psnr)和图5所示，如果两个视点(即左边视点和右边视点)的psnr值在[28,36]之间时，“视点质量差”即PSNR_differ会给三维视频图像的视频质量带来最大的影响；而当两个视点的psnr值在[-∞,16]之间和[60,+∞]之间，即单视点本身质量“很差”或“很好”时，“视点质量差”即PSNR_differ给三维视频图像的视频质量带来最小的影响。

S6：根据所述视频质量值，调整码率控制模型；

S7：通过所述调整后的码率控制模型进行编码处理，输出三维码流。

需要说明的是，以上所述码率控制模型在视频编码中的码率控制如图6所示。所述码率控制流程为：首先为编码单元进行目标比特分配，即根据视频内容、缓冲区状态和信道带宽为编码单元分配恰当的目标比特数；进而为编码单元独立确定量化参数QP实现分配的目标比特。

视频编码中拥有独立量化参数的最小单元通常是宏块，即码率控制可以为每个宏块确定不同的量化参数。因此，实际的码率控制算法可以作用于不同的编码单元等级，如图像组(GOP)级，图像(Frame)级，片(Slice)级，宏块(Macroblock)级等，这主要取决于与目标速率的匹配精度需求和码率控制算法复杂度限制。每个层级的比特分配都需要利用率失真优化技术为每个编码单元分配目标比特数。

还需要说明的是，在完成第一次编码后，编码器采用本发明技术方案中提供的视点间质量差来评估重建图像，得出的评价结果反馈给编码器，重新调整编码器的码率控制模型，从而能够更为合理地分配码率，以期实现更好的三维视频图像质量。

还需要说明的是，而对于非实时的视频编码，如文件，还可以采用2-pass编码的技术，即第一次编码对生成的码流和重建图像进行分析，而第二次编码时可以根据前面的分析信息来优化率失真模型再进行编码，这样可以有效提高编码的质量。

基于以上实施例，本发明还提供一种基于结构相似度算法的三维视频编码方法，如图3所示，该方法包括：

S1：获取左边视点和右边视点的原始图像以及与其对应的重建图像；

S2：根据所述视频点的原始图像以及与其对应的重建图像，获取左边视点的图像质量值和右边视点的图像质量值；

S3：根据所述图像质量值，获取左边视点和右边视点的图像质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值；

S4：获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整，用于调整所述质量差值在所述三维视频图像的视频质量值中的比重。

S5：通过所述质量差值及加权系数，获取三维视频图像的视频质量值；设三维视频图像的视频质量值S；

S＝SSIM_average-W*SSIM_differ

S表示基于结构相似度算法的三维视频图像的视频质量值,SSIM_average表示左边视点和右边视点的图像质量值的平均结构相似度指数，SSIM_differ表示左边视点和右边视点的质量差值，W表示所述质量差值的加权系数。

S6：根据所述视频质量值，调整码率控制模型；

S7：通过所述调整后的码率控制模型进行编码处理，输出三维码流。

基于以上实施例，本发明还提供一种三维视频编码装置，如图4所示，该装置包括：

图像获取单元401，用于获取左边视点和右边视点的原始图像以及与其对应的重建图像；

差值获取单元402，用于根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值；

视频质量获取单元403，用于通过所述质量差值，获取三维视频图像的视频质量值；

调整单元404，用于根据所述视频质量值，调整码率控制模型；

编码处理单元405，用于通过所述调整后的码率控制模型进行编码处理，输出三维码流。

另外，所述差值获取单元402具体用于获取左边视点和右边视点的图像质量值，并根据所述图像质量值，获取左边视点和右边视点的质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值。

需要说明的是，该装置还包括：

系数获取单元，用于获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整。

另外，本发明实施例还提供一种视频处理设备，包括如上所述的三维视频编码装置。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种三维视频编码方法，其特征在于，包括：

获取左边视点和右边视点的原始图像以及与其对应的重建图像；

根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取所述左边视点和右边视点的质量差值；

通过所述质量差值，获取三维视频图像的视频质量值；

根据所述视频质量值，调整码率控制模型；

通过所述调整后的码率控制模型进行编码处理，输出三维码流。

2.根据权利要求1所述的三维视频编码方法，其特征在于，所述根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值步骤具体包括：

根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点的图像质量值和右边视点的图像质量值；

根据所述图像质量值，获取所述左边视点和右边视点的图像质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值。

3.根据权利要求2所述的三维视频编码方法，其特征在于，该方法还包括：

获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整，用于调整所述质量差值在所述三维视频图像的视频质量值中的比重。

4.根据权利要求3所述的三维视频编码方法，其特征在于，所述通过所述质量差值，获取三维视频图像的视频质量值的步骤中，通过如下公式获取所述三维视频图像的视频质量值：

P＝PSNR_average-W*PSNR_differ

P表示基于采用峰值信噪比算法的三维视频图像的视频质量值,PSNR_average表示左边视点和右边视点的图像质量值的平均值，PSNR_differ表示左边视点和右边视点的质量差值，W表示所述质量差值的加权系数。

5.根据权利要求4所述的三维视频编码方法，其特征在于，所述左边视点和右边视点的图像质量值的平均值如下：

${\mathrm{PSNR}}_{average}=\frac{{\mathrm{PSNR}}_{left}+{\mathrm{PSNR}}_{right}}{2}$

所述PSNR_average表示左右两边视点的图像质量值的平均值；所述PSNR_left表示左边视点的图像质量值，所述PSNR_right表示右边视点的图像质量值；

所述左边视点和右边视点的质量值之差的绝对值PSNR_differ如下：

PSNR_differ＝|PSNR_left-PSNR_right|

其中，所述左边视点的图像质量值PSNR_left与所述右边视点的图像质量值PSNR_right的计算公式如下：

${\mathrm{PSNR}}_n=10*{\log }_{10}\frac{{\mathrm{MaxErr}}^2*w*h}{\underset{i=0,j=0}{\overset{w,h}{\Σ}}{(x_{i,j}-y_{i,j})}^2}$

其中，x_i,j值和y_i,j值是所述重建图像和原始图像中的位置(i,j)的像素值；w表示图像宽度，h表示图像高度；

所述质量差值的加权系数W如下：

$W=\frac{wfunc\left({\mathrm{PSNR}}_{left}\right)+wfunc\left({\mathrm{PSNR}}_{right}\right)}{2}$

其中，wfunc()表示由人类的视觉观感和PSNR值之间的关系曲线所确定的质量差值的加权函数。

6.根据权利要求3所述的三维视频编码方法，其特征在于，所述通过所述质量差值，获取三维视频图像的视频质量值的步骤中，通过如下公式获取所述三维视频图像的视频质量值：

S＝SSIM_average-W*SSIM_differ

S表示基于结构相似度算法的三维视频图像的视频质量值,SSIM_average表示左边视点和右边视点的图像质量值的平均结构相似度指数，SSIM_differ表示左边视点和右边视点的质量差值，W表示所述质量差值的加权系数。

7.一种三维视频编码装置，其特征在于，包括：

图像获取单元，用于获取左边视点和右边视点的原始图像以及与其对应的重建图像；

差值获取单元，用于根据所述左边视点和右边视点的原始图像以及与其对应的重建图像，获取左边视点和右边视点的质量差值；

视频质量获取单元，用于通过所述质量差值，获取三维视频图像的视频质量值；

调整单元，用于根据所述视频质量值，调整码率控制模型；

编码处理单元，用于通过所述调整后的码率控制模型进行编码处理，输出三维码流。

8.根据权利要求7所述的三维视频编码装置，其特征在于，所述差值获取单元具体用于获取左边视点和右边视点的图像质量值，并根据所述图像质量值，获取左边视点和右边视点的质量值之差的绝对值；所述质量值之差的绝对值为所述质量差值。

9.根据权利要求8所述的三维视频编码装置，其特征在于，该装置还包括：

系数获取单元，用于获取所述质量差值的加权系数；所述加权系数根据所述左边视点和右边视点的图像质量值动态调整。

10.一种视频处理设备，其特征在于，包括：如权利要求7至9中任意一项所述的三维视频编码装置。