CN109743575A - 一种基于朴素贝叶斯的dvc-hevc视频转码方法 - Google Patents

Abstract

本发明提供了一种基于朴素贝叶斯的DVC‑HEVC转码方法及其转码器，主要涉及针对转码器中HEVC编码过程复杂度较高的编码单元划分进行快速决策。利用DVC解码端可获得的预测残差、运动矢量以及纹理丰富度，采用机器学习的方法建立了一种基于朴素贝叶斯的分类器模型，避免了HEVC中复杂度极高的的遍历迭代率失真优化过程，对CU划分模式进行快速决策，从而降低其编码端的计算复杂度。实验结果表明，本发明在编码效率和峰值信噪比(PSNR)损失都很小的情况下，与传统的级联转码方法相比，大大降低了编码时间。

Description

一种基于朴素贝叶斯的DVC-HEVC视频转码方法

技术领域

本发明涉及图像通信领域中的视频转码技术问题，尤其是涉及一种基于朴素贝叶斯的分布式视频编码到HEVC标准之间的视频转码技术。

背景技术

随着数字通信、集成电路等技术的飞速发展，移动终端设备之间的视频通信得到了广泛应用，同时催生了如无线监控视频、远程现场指挥等多种新型视频通信服务。然而，针对诸如山区灾害或军事应用等特定环境，其设备普遍具有功耗、存储容量等方面受限的特点。传统视频编码标准(如H.26X系列)采用预测加变换的混合编码框架，具有编码端复杂而解码端简单的特点。相比于H.264/AVC，新一代视频编码标准(High Efficiency VideoCoding,HEVC) 基于相同的视频编码框架[1]，采取了多种优化处理，如基于四叉树的编码块划分结构、不同角度的帧内预测模式、基于自适应搜索的运动矢量预测技术等等，在保证相同视频质量的前提下提高一倍左右的压缩率。分布式视频编码(Distributed VideoCoding，DVC)与传统编码方式不同，它采用独立编码联合解码的方式，将复杂度从编码端转移至解码端。因此，DVC 与传统编码方式的转码为移动终端设备之间的低功耗视频通信提供了一种极为有效的实现思路。

转码过程的本质为先解码再编码，承担了两个高复杂度的处理过程，计算量极其庞大，严重影响视频传输***的实际工作效率。因此，为避免过高的通信延迟，如何在保证视频质量基本不变的前提下，降低转码过程的计算复杂度尤为重要。目前学术界对于DVC向传统视频标准转码开展了大量工作，并且多数已经取得了较为良好的进展。AlbertoCorrales-García 等根据H.264编码时宏块的分块尺寸大小与DVC解码端边信息的残差分布具有较高相似性这一特点，实现了模式选择算法的加速。J.L.Martinez等利用DVC解码时产生的运动矢量减少 H.264编码时运动估计过程中的计算复杂度。荣松等基于云计算的优势，提出了一种基于云转码的低复杂度端到端的视频通信***。上述方法都能在一定程度上加速DVC-H.264转码过程，但是关于DVC-HEVC转码的研究仍处于初步阶段。

发明内容

本发明的目的是加快DVC-HEVC转码器中HEVC编码过程。本发明针对HEVC中复杂度较高的编码单元(Coding Unit,CU)划分过程，分析DVC解码过程中产生的相关特征信息结合机器学习的方法建立CU快速划分模型，提出了一种基于朴素贝叶斯的DVC-HEVC视频转码方法。相比传统的级联转码方案，本发明的方法在编码效率和峰值信噪比损失都很小的情况下，能较大幅度地降低转码器中HEVC编码的计算复杂度。

本发明的基本思想是利用视频内容的自身特性与编码单元的划分往往存在着相关联系，通过分析其联系，利用DVC解码端可获得的预测残差、运动矢量以及该帧的纹理丰富度，基于机器学习的方法建立了一种基于朴素贝叶斯的分类器模型，避免了HEVC中复杂度极高的的遍历迭代率失真优化过程，对CU划分模式进行快速决策，从而降低其编码端的计算复杂度。

HEVC定义了一套全新的图像分割模式，包含编码单元、预测单元、变换单元，以此来更加灵活高效的根据视频内容特性选择编码模式，因而视频序列的自身相关特性与HEVC编码中CU划分模式有很大的相关性。通常，对于视频内容具有较为丰富细节特性的区域，一般划分为较小的编码单元，以此来提升编码质量，减少失真，反之则划分为较大的单元，可以降低编码复杂度，提高编码效率。此外，对于相邻视频帧之间运动变换较为剧烈的区域，表现为运动矢量与残差值较大，该类区域通常划分为较小的单元，避免编码过程引起过高的失真。因此，上述分析的相关特征信息都可作为CU划分模式的依据，同时这些特征信息都可在DVC解码过程中获取。

朴素贝叶斯分类是机器学习领域中的经典算法，是一种有监督的分类学习方法，具有属性条件独立性假设。设有N种可能的类别标记，即y＝{C₁,C₂,...,C_N}，对每个具有n个特征的样本x＝{f₁,f₂,...,f_n}，选择能使后验概率P(Cx)最大的类别作为最优分类类别。属性条件独立性假设在实际情况中通常无法满足，但朴素贝叶斯分类仍表现出高精度和高效率，与其它算法相比，它具有算法简单、分类错误率小等特点。本发明将预测残差信息、纹理丰富度及运动矢量信息作为模型的输入特征，基于朴素贝叶斯分类算法进行分类训练得到最佳分类模型函数，利用分类模型即可对CU进行快速划分决策。

在DVC-HEVC转码器设计中，提高转码实时性的关键步骤是如何高效利用DVC解码过程中产生的相关信息加速HEVC编码过程。本发明利用DVC解码过程中可获得的预测残差信息、纹理丰富度及运动矢量信息作为CU划分模型的输入参数，设置训练帧数K，对WZ 帧的前K帧的特征信息采用朴素贝叶斯分类算法得到最佳分类器模型，其后的WZ帧则利用该分类模型进行快速CU分块。通过本发明的方法，可以跳过HEVC编码模块中计算复杂度较高的逐层率失真优化过程，从而达到降低HEVC编码复杂度的目的。

具体主要包括以下过程步骤：

(1)DVC码流解码后的得到重建帧序列，将重建序列中的非关键帧划分训练帧以及测试帧；

(2)对训练帧进行HEVC编码，同时提取其CU划分结果作为模型训练时的监督信息，结合DVC解码过程中获得的预测残差、纹理丰富度及运动矢量作为输入特征，分别建立 64×64、32×32、16×16训练集，得到各个尺寸的CU划分模型；

(3)将测试帧序列的特征信息输入(2)中各个尺寸的分类模型，得到CU是否继续向下划分的结果；

HEVC中的CU遍历递归划分占计算复杂度的90％以上，因此本发明改进的是整个DVC-HEVC转码器中HEVC视频编码中计算复杂度最高的地方。本发明最关键的步骤是根据DVC解码过程中可获得的预测残差、纹理丰富度及运动矢量特征信息，基于朴素贝叶斯分类算法，建立最佳分类器模型，使得测试帧可以通过特征信息快速进行CU划分模式的选择。因此，在计算复杂度方面，本发明方法着眼于DVC-HEVC转码器中HEVC视频编码中计算复杂度改进的最关键之处。

附图说明

图1为本发明基于朴素贝叶斯的DVC-HEVC视频转码方法***框图；

图2为本发明基于朴素贝叶斯的DVC-HEVC视频转码测试帧的CU快速划分方法的流程图；

图3～6为本发明方法与传统级联算法的率失真曲线图，其中，图3为BasketballDrill的率失真曲线；图4为BQMall的率失真曲线；图5为Johnny的率失真曲线；图6为FourPeople 的率失真曲线。

具体实施方式

下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

结合图1与图2，基于朴素贝叶斯的DVC-HEVC视频转码方法，包括以下步骤：

(1)对DVC码流进行解码，得到重建帧序列。将重建帧序列中的非关键帧进行帧分组，分为训练帧以及测试帧，本文设置训练帧数为；

(2)对训练帧进行HEVC编码，同时提取其CU划分结果作为模型训练时的监督信息，结合DVC解码过程中获得的预测残差、纹理丰富度及运动矢量作为输入特征，分别建立 64×64、32×32、16×16训练集，得到各个尺寸的CU划分模型；

(3)将测试帧图像划分成LCU(64×64)，进行特征提取，建立测试集，作为分类模型的输入。首先输入64×64的分类模型中，若向下划分的后验概率P(C_S|x)大于向下划分的后验概率P(C_N|x)，则进入步骤(4)，否则，进入步骤(7)；

(4)将LCU继续划分成32×32的块，提取其特征，输入32×32的分类模型中，若向下划分的后验概率P(C_Sx)大于向下划分的后验概率P(C_N|x)，则进入步骤(5)，否则，进入步骤(7)；

(5)继续划分成16×16的块，提取其特征，输入16×16的分类模型中，若向下划分的后验概率P(C_Sx)大于向下划分的后验概率P(C_N|x)，则进入步骤(6)，否则，进入步骤(7)；

(6)继续划分成8×8的CU块；

(7)将当前CU尺寸确定为最终CU分块模式，CU划分完成并进入PU模式的选择，继续下一步编码过程。

具体地，所述步骤(1)中，结合转码流程可知，当前HEVC编码帧是经过DVC解码后WZ帧的重建帧。由于在DVC编码时对关键帧帧采用的HEVC编码，因此，在转码时不需要再对关键帧进行编码。

所述步骤(2)中，本文选择了基于朴素贝叶斯分类算法，训练模型中共有两个类别，分别为C_N及C_S，判断当前CU深度是否继续向下划分，其中C_S代表当前CU继续向下“划分”，C_N代表当前CU“不划分”。

所述步骤(3)至(5)中，基于属性条件独立性假设，后验概率可描述如下：

其中n为特征数目，x_i为x在第i个特征上的取值。P(C)是先验概率，通过训练集中各类样本出现的频率进行估计。P(x|C)是条件概率，也称为“似然”。P(x)对所有类别值都相同。因此朴素贝叶斯分类器可表达如下。

为证明本发明算法的有效性，我们对其进行了实验验证，其结果如图3～6所示。图3～6 为本发明的基于朴素贝叶斯分类的DVC-HEVC视频转码方法与传统的级联转码算法的率失真曲线对比结果，比较的具体过程如下：

(1)对视频序列进行DVC编解码，视频序列选择标准的HEVC测试视频，它们的名称、分辨率分别为：BasketballDrill(832×480)、FourPeople(1280×720)，帧率为30帧/ 秒。其中，量化步长(QP)值分别取22、26、30、34。

(2)同时打开两个方法的程序并设置好相同的配置文件，HEVC编码参数版本选择HM16.5，量化步长(QP)值分别取22、26、30、34。本发明将与传统的级联转码算法进行比较。本文选择三种视频编码性能：峰值信噪比(PSNR)、比特率以及编码时间(其中PSNR 体现视频的客观视频质量，视频编码时间体现编码的计算复杂度)进行比较分析，为了更加直观表现本文所提转码加速情况，采用以下三个指标对性能差距进行评价：

ΔPSNR＝PSNR_本文-PSNR_级联

其中，ΔPSNR表示本发明的方法与传统级联转码算法峰值信噪比的差值，ΔBR表示本发明的方法与传统级联转码算法比特率差值的百分率，ΔT表示本发明的方法与传统级联转码算法时间差值的百分率。

(3)输入2个相同的步骤1中得到的DVC重建视频序列；

(4)分别对其进行视频编码；

(5)利用传统级联转码算法对视频序列在HEVC方式下进行视频编码；

(6)利用本发明方法对视频序列在HEVC方式下进行视频编码；

(7)两个程序分别输出视频编码后的视频序列以及各自的比特率、PSNR值以及总的视频编码时间，上述三个指标的结果如表1所示，统计显示本发明方法与传统级联转码方法在比特率方面平均变化了1.413％，在PSNR方面平均降低了0.046dB，在编码计算复杂度方面降低了44.142％。实验验证结果表明，本发明方法与传统的级联转码算法相比，在视频压缩率(由比特率下降程度来体现)和视频质量(由PSNR值得下降程度来体现)损失很小的前提下，较大程度地降低了视频编码的计算复杂度(由编码时间下降程度来体现，如表1所示)。

表1本发明算法与传统级联转码算法的比较

Claims (3)

1.一种基于朴素贝叶斯的DVC-HEVC视频转码方法，其特征在于主要包括以下过程步骤：

(1)DVC码流解码后的得到重建帧序列，将重建序列中的非关键帧划分训练帧以及测试帧；

(2)对训练帧进行HEVC编码，同时提取其CU划分结果作为模型训练时的监督信息，结合DVC解码过程中获得的预测残差、纹理丰富度及运动矢量作为输入特征，分别建立64×64、32×32、16×16训练集，得到各个尺寸的CU划分模型；

(3)将测试帧序列的特征信息输入(2)中各个尺寸的分类模型，得到CU是否继续向下划分的结果。

2.如权利要求1所述的基于朴素贝叶斯的DVC-HEVC视频转码方法,其特征在于在步骤(1)中转码时不需要再对关键帧进行转码。

3.如权利要求1所述的基于朴素贝叶斯的DVC-HEVC视频转码方法,其特征在于在步骤(3)中所述的根据预测残差、纹理丰富度及运动矢量作为输入特征三种特征值，建立基于朴素贝叶斯分类的最佳分类器模型，使得测试帧快速进行CU划分模式的选择，而跳过了原算法中复杂的逐层率失真优化过程，基于属性条件独立性假设，后验概率可描述如下：

其中n为特征数目，x_i为x在第i个特征上的取值。P(C)是先验概率，通过训练集中各类样本出现的频率进行估计。P(x|C)是条件概率，也称为“似然”。P(x)对所有类别值都相同。因此朴素贝叶斯分类器可表达如下。

基于朴素贝斯分类模型，得到各个尺寸的CU划分模型，提取各单元特征信息，利用式(2)进行决策，若向下划分的后验概率P(C_S|x)大于向下划分的后验概率P(C_N|x)，代表继续向下“划分”，反之则代表“不划分”。