CN108900838A - 一种基于hdr-vdp-2失真准则的率失真优化方法 - Google Patents

Abstract

本发明涉及一种基于HDR‑VDP‑2度量失真的率失真优化方法，并根据修正后的λ‑QP关系更正拉格朗日乘子λ，以进一步优化HDR视频编码过程中编码参数的选取策略，提高HEVC Main 10编码HDR视频的性能。首先，设计了一种基于HDR‑VDP‑2的失真计算方法并应用于HEVC的编码树单元结构，并建立了基于HDR‑VDP‑2失真准则的率失真代价函数模型；接着，为了确定率失真代价函数中的拉格朗日乘子λ，本发明采用固定的拉格朗日乘子λ进行编码，并利用多QP优化技术统计最优QP值，从而修正λ‑QP函数关系；最后，基于修正λ‑QP之间的关系确定当前编码视频帧的拉格朗日乘子λ，并将提出的率失真代价函数模型应用于HEVC Main 10编码器。同时，本发明能够保留编码重建视频更多纹理细节信息，能够提升HEVC编码HDR视频性能。

Description

一种基于HDR-VDP-2失真准则的率失真优化方法

技术领域

本发明涉及HDR视频编码技术领域，尤其是涉及一种基于HDR-VDP-2失真准则的率失真优化方法。

背景技术

在现实场景中，真实照度值的分布范围非常广：阳光直射的情况下，场景亮度可达到10⁵cd/m²，而阴暗处亮度值可能只有10^-3cd/m²。高动态范围(High Dynamic Range,HDR)图像与普通低动态(Low Dynamic Range，LDR)图像相比，HDR图像动态范围更大，HDR图像所能表现的层次更加丰富，从而达到更加逼近现实的光影效果。然而，目前最新的视频编码标准HEVC(High Efficiency Video Coding)是针对LDR视频设计的，随着位深以及动态范围的增加，这也对HDR视频编码提出了新的挑战，因此HDR视频编码成为了目前HDR视频编码传输急需解决的关键技术。

现有的HDR视频编码方法可以归为两类：向后兼容的HDR视频编码、基于感知转换函数的非向后兼容HDR视频编码。向后兼容的HDR视频编码能够兼容现有的8位LDR视频编码传输和显示设备，在解码端可以直接解码基本层的码流，用于截取HDR色调映射操作(Tone-mapping Operator,TMO)后的LDR内容。同样也可以通过解码全部码流信息，通过基本层的LDR内容和增强层的残差信息解码显示HDR内容。虽然这种编码方式可以兼容传输传统的LDR视频，但是分级的方式增大了编码码率同时也对传输带宽提出了更高的要求。

另一类是基于感知转换函数的非向后兼容的编码方式：利用基于人类视觉***(Human Visual System,HVS)感知模型的感知转换函数(Perceptual TransformationFunction,PTF)，将浮点型的HDR数据转换到编码传输所需的整型数据存储格式，最后利用10位或更高位深的视频编码器进行压缩。PTF的目的是为了使用尽量少的编码位深，来表示HDR图像内容。Miller等人基于对比度敏感函数(Contrast Sensitivity Function,CSF)建立了感知量化(Perceptual Quantizer,PQ)模型，兼容已有的REC.709标准的基础上使光电转换函数平滑，在限定位深限制内最大限度保持HDR内容信息和感知质量。Jung等人基于CSF模型得到10比特的自适应亮度调节方法，并改进LDR的FEJND模型，用于优化HDR视频编码器中的拉格朗日乘子。Zhang等人基于HDR的亮度掩蔽特性优化LDR图像亮度掩蔽模型，以获取HDR图像的亮度掩蔽函数并感知调节量化参数去除感知冗余。

虽然相关的研究都在一定程度上提高了编码效率，但是并没有解决高性能视频编码(High EfficiencyVideo Coding,HEVC)中传统率失真度量无法良好反应HDR图像的编码失真程度的问题。

发明内容

本发明所要解决的技术问题是提供一种能够提高HDR视频编码的率失真性能，并且优化HDR视频编码过程中编码参数选取策略的基于HDR-VDP-2失真准则的率失真优化方法。

本发明所采用的技术方案是，一种基于HDR-VDP-2失真准则的率失真优化方法，包括以下步骤：

(1)、对基于HDR-VDP-2失真准则的当前编码单元(CodingUnit,CU)进行失真计算：首先对当前编码重建后的CU计算其HDR-VDP-2的评价指标P_map，并采用对P_map求取1范数的方式衡量当前CU的图像块的失真程度D_HDR，即D_HDR＝||P_map||₁；其中P_map中对应当前CU中的每个像素点都有一个概率值，该值越大表示该像素点可察觉失真差异的可能性越大，那么该像素点失真程度也越大，P_map表示为：

其中Ψ为可操作金字塔重构，β为其指数常数值为3.5；

(2)、确定当前编码单元CU所在视频帧的拉格朗日乘子λ：将率失真代价函数重新定义为J＝D_HDR+λ·R，其中R表示当前CU编码所需的编码比特率，λ为当前编码视频帧所采用的拉格朗日乘子；然后，获取λ与量化参数(Quantization Parameter,QP)之间的函数关系，通过转化得到的函数关系可以表示为接下来，分别求取dR/dQP和dD_HDR/dQP的函数模型；再然后，通过数据统计来获得QP和λ的分布情况，并用函数关系来拟合以及评估QP和λ的函数关系，从而确定出λ-QP函数中相关参数的取值；最后，当编码器采用固定QP值量化时，根据修正后的λ-QP函数确定当前编码视频帧所采用的拉格朗日乘子λ，其中拉格朗日乘子λ用于平衡码率R和失真D_HDR；

(3)、计算率失真代价函数：当前CU所在视频帧的拉格朗日乘子λ确定后，通过HEVCMain 10编码器进行HDR视频编码；首先，定义当前编码重建后的CU的率失真代价函数J＝D_HDR+λ·R；然后，针对当前CU的亮度分量进行编码，对不同的预测模式、CU的不同深度划分以及其他编码参数选取过程均按照重新定义的率失真代价函数来进行计算率失真代价值，并选取率失真代价值最小的编码参数作为最终编码的编码参数，而对于当前CU的色度分量计算率失真代价值时仍按照HEVC Main 10编码器的率失真代价计算方式进行计算。

本发明的有益效果体现在这三个方面：

第一、本发明方法为了将基于HDR-VDP-2的失真评价准则更为便捷快速地应用到HEVC中计算CU的失真，采用了与失真计算图像块大小相同的概率矩阵P_map，并求取1范数的方式衡量当前CU图像块的失真程度，提出了一种基于HDR-VDP-2的率失真代价计算方法。

第二、本发明方法根据统计数据推导出λ-QP关系模型并修正拉格朗日乘子λ，以进一步优化HDR视频编码过程中编码参数的选取策略，能够保留编码重建视频更多纹理细节信息，从而提高了HDR视频编码的率失真性能。

第三、本发明方法是针对HEVC Main 10编码器基础上提出的HDR视频编码率失真优化方法，因此在实际编码HDR视频时可以充分利用现有10位视频编码传输软硬件基础设施。

作为优先，上述步骤(2)中，确定当前编码单元CU所在视频帧的拉格朗日乘子λ的具体步骤为：

a、将率失真代价函数重新定义为J＝D_HDR+λ·R，其中R表示当前CU编码所需的编码比特率，λ为当前编码视频帧所采用的拉格朗日乘子；

b、最小化率失真代价函数，将率失真代价计算公式J＝D_HDR+λ·R等式两边分别对码率R求导，并令其等于0，将其转化为λ与QP之间的函数关系，即

c、然后，分别求取dR/dQP和dD_HDR/dQP函数模型；

d、在HEVC中获取到量化步长Q和QP两者的关系为：R(Q)＝τ·2^(QP-4)α/6，其中τ和α是与信源信号相关的常数；

e、失真程度D_HDR与QP之间存在统计关系ln(D_HDR)＝a·QP+b，统计CU的平均失真D_HDR和QP的分布情况并确定统计关系中a和b的取值分别取0.2443和-4.42，并得到拉格朗日乘子λ与QP的函数模型其中，Φ＝(6×2^2α/3)/(ln2×τα)、γ＝2^-α/6，模型中Φ和γ这两个参数是与信源信号相关的常数；

f、固定λ并采用多QP优化的方式编码视频，并统计在固定λ值下CU所对应的出现频次最高的QP作为最优QP，并用函数模型拟合并评估最优QP和λ的函数关系，从而确定参数Φ和γ的取值；

g、最后，当编码器采用固定QP值量化时，根据修正后的λ-QP函数和QP值计算当前编码视频帧所采用的拉格朗日乘子λ。

根据统计数据推导出λ-QP关系模型并修正拉格朗日乘子λ，可以优化HDR视频编码过程中编码参数的选取策略，并提高了HDR视频编码的率失真性能。

附图说明

图1为本发明方法的总流程框图；

图2为本发明方法与其他方法对Market3序列第1帧图像编码重建图像以及局部放大图比较。

具体实施方式

以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。

本发明涉及一种基于HDR-VDP-2失真准则的率失真优化方法，包括以下步骤：

(1)、对基于HDR-visible difference predictor-2(HDR-VDP-2)失真准则的当前编码单元(CodingUnit,CU)进行失真计算：首先对当前编码重建后的CU计算其HDR-VDP-2的评价指标P_map，并采用对P_map求取1范数的方式衡量当前CU的图像块的失真程度D_HDR，即D_HDR＝||P_map||₁；其中Pmap中对应当前CU中的每个像素点都有一个概率值，该值越大表示该像素点可察觉失真差异的可能性越大，那么该像素点失真程度也越大，P_map表示为：

其中Ψ为可操作金字塔重构，β为其指数常数值为3.5；

(2)、确定当前编码单元CU所在视频帧的拉格朗日乘子λ：

a、将率失真代价函数重新定义为J＝D_HDR+λ·R，其中R表示当前CU编码所需的编码比特率，λ为当前编码视频帧所采用的拉格朗日乘子；

b、最小化率失真代价函数，将率失真代价计算公式J＝D_HDR+λ·R等式两边分别对码率R求导，并令其等于0，将其转化为λ与QP之间的函数关系，即

c、然后，分别求取dR/dQP和dD_HDR/dQP函数模型；

d、在HEVC中获取到量化步长Q和QP两者的关系为：R(Q)＝τ·2^(QP-4)α/6，其中τ和α是与信源信号相关的常数；

e、失真程度D_HDR与QP之间存在统计关系ln(D_HDR)＝a·QP+b，统计CU的平均失真D_HDR和QP的分布情况并确定统计关系中a和b的取值分别取0.2443和-4.42，并得到拉格朗日乘子λ与QP的函数模型其中，Φ＝(6×2^2α/3)/(ln2×τα)、γ＝2^-α/6，模型中Φ和γ这两个参数是与信源信号相关的常数；

f、固定λ并采用多QP优化的方式编码视频，并统计在固定λ值下CU所对应的出现频次最高的QP作为最优QP，并用函数模型拟合并评估最优QP和λ的函数关系，从而确定参数Φ和γ的取值；

g、最后，当编码器采用固定QP值量化时，根据修正后的λ-QP函数和QP值计算当前编码视频帧所采用的拉格朗日乘子λ。

(4)、计算率失真代价函数：当前CU所在视频帧的拉格朗日乘子λ确定后，通过HEVCMain 10编码器进行HDR视频编码；首先，定义当前编码重建后的CU的率失真代价函数J＝D_HDR+λ·R；然后，针对当前CU的亮度分量进行编码，对不同的预测模式、CU的不同深度划分以及其他编码参数选取过程均按照重新定义的率失真代价函数来进行计算率失真代价值，并选取率失真代价值最小的编码参数作为最终编码的编码参数，而对于当前CU的色度分量计算率失真代价值时仍按照HEVC Main 10编码器的率失真代价计算方式进行计算。

为进一步说明上述发明方法的可行性和有效性，进行如下实验。

实验采用Market3,BalloonFestival,Hurdles和Sunrise测试序列，分辨率为1920×1080，并以OpenEXR格式进行保存。编码之前将序列转化为采样格式4:2:0的YCbCr格式文件，FireEater和SunRise的帧率为25fps，Market,Hurdles的帧率为50fps。

为了测试所提出模型的合理性，在HEVC的参考测试平台HM 16.9Main10Profile全帧内(All Intra,AI)配置上进行测试。实验采用的固定的QP设置为{22,27,32,37}，并与HEVC Main 10的HDR视频编码方案比较码率的变化百分比，其最终编码效果使用BD-rate来衡量算法的率失真性能，其中BD-rate的含义为在同等视频质量分值下编码码率变化的百分比。并计算最终编码视频帧的HDR-VDP-2质量评估分值以衡量视频客观质量，其中HDR-VDP-2的预测分值Q_MOS越大反应图像质量越好。

表1各个测试序列采用本发明方法进行编码的BD-rate增益(％)

本发明方法与参考测试平台HM 16.9Main10比较其BD-rate增益，并使用HDR-VDP-2评估最终的编码失真程度。表1列出了本发明方法在不同测试序列下的BD-rate结果，从实验数据可以看出，本发明方法与HM 16.9相比在相同编码码率下具有更高的Q_MOS值，并且BD-rate结果优于对比算法。由于Q_MOS值表示的是评估的主观感知质量，所提出的方法在同等码率下提高了视频编码质量，整体编码性能优于原始测试平台HM 16.9。在同等HDR-VDP-2客观质量情况下，码率变化百分比从-1.27％到-19.01％范围变化，平均编码增益提高了7.78％。其中BalloonFestival序列在同等HDR-VDP-2质量下，编码增益达到了19.01％，其他序列编码效果也有了不同程度的提升。

Claims (2)

1.一种基于HDR-VDP-2失真准则的率失真优化方法，其特征在于：包括以下步骤：

(1)、对基于HDR-VDP-2失真准则的当前CU进行失真计算：首先对当前编码重建后的CU计算其HDR-VDP-2的评价指标P_map，并采用对P_map求取1范数的方式衡量当前CU的图像块的失真程度D_HDR，即D_HDR＝||P_map||₁；其中P_map中对应当前CU中的每个像素点都有一个概率值，该值越大表示该像素点可察觉失真差异的可能性越大，那么该像素点失真程度也越大，P_map表示为：其中Ψ为可操作金字塔重构，β为其指数常数值为3.5；

(2)、确定当前CU所在视频帧的拉格朗日乘子λ：将率失真代价函数重新定义为J＝D_HDR+λ·R，其中R表示当前CU编码所需的编码比特率，λ为当前编码视频帧所采用的拉格朗日乘子；然后，获取λ与QP之间的函数关系，通过转化后得到的函数关系表示为接下来，分别求取dR/dQP和dD_HDR/dQP的函数模型；再然后，通过数据统计来获得QP和λ的分布情况，并用函数关系来拟合并评估QP和λ的函数关系，从而确定出λ-QP函数中相关参数的取值；最后，当编码器采用固定QP值量化时，根据修正后的λ-QP函数确定当前编码视频帧所采用的拉格朗日乘子λ，该拉格朗日乘子λ用于平衡码率R和失真D_HDR；

(3)、计算率失真代价函数：当前CU所在视频帧的拉格朗日乘子λ确定后，通过HEVCMain 10编码器进行HDR视频编码；首先，定义当前编码重建后的CU的率失真代价函数J＝D_HDR+λ·R；然后，针对当前CU的亮度分量进行编码，对不同的预测模式、CU的不同深度划分以及其他编码参数选取过程均按照重新定义的率失真代价函数来进行计算率失真代价值，并选取率失真代价值最小的编码参数作为最终编码的编码参数，而对于当前CU的色度分量计算率失真代价值时仍按照HEVC Main 10编码器的率失真代价计算方式进行计算。

2.根据权利要求1所述的一种基于HDR-VDP-2失真准则的率失真优化方法，其特征在于：上述步骤(2)中，确定当前编码单元CU所在视频帧的拉格朗日乘子λ的具体步骤为：

a、将率失真代价函数重新定义为J＝D_HDR+λ·R，其中R表示当前CU编码所需的编码比特率，λ为当前编码视频帧所采用的拉格朗日乘子；

b、最小化率失真代价函数，将率失真代价计算公式J＝D_HDR+λ·R等式两边分别对码率R求导，并令其等于0，将其转化为λ与QP之间的函数关系，即

c、然后，分别求取dR/dQP和dD_HDR/dQP函数模型；

d、在HEVC中获取到量化步长Q和QP两者的关系为：R(Q)＝τ·2^(QP-4)α/6，其中τ和α是与信源信号相关的常数；

e、失真程度D_HDR与QP之间存在统计关系ln(D_HDR)＝a·QP+b，统计CU的平均失真D_HDR和QP的分布情况并确定统计关系中a和b的取值分别取0.2443和-4.42，并得到拉格朗日乘子λ与QP的函数模型其中，Φ＝(6×2^2α/3)/(ln2×τα)、γ＝2^-α/6，模型中Φ和γ这两个参数是与信源信号相关的常数；

f、固定λ并采用多QP优化的方式编码视频，并统计在固定λ值下CU所对应的出现频次最高的QP作为最优QP，并用函数模型拟合并评估最优QP和λ的函数关系，从而确定参数Φ和γ的取值；

g、最后，当编码器采用固定QP值量化时，根据修正后的λ-QP函数和QP值计算当前编码视频帧所采用的拉格朗日乘子λ。