CN102724525A - 一种基于中心凹恰可觉察失真模型的深度视频编码方法 - Google Patents

Abstract

本发明公开了一种基于中心凹恰可觉察失真模型的深度视频编码方法，其首先计算对左右视点彩***和左右视点深度视频进行中间虚拟视点绘制得到的中间虚拟视点视频中的每帧中的每个像素的全局恰可觉察失真，然后根据全局恰可觉察失真获取几何偏移的中间虚拟视点视频，接着根据几何偏移获取左视点深度视频的最大可容忍失真视频，再根据最大可容忍失真视频获取左视点深度视频的每帧中的每个宏块的可增加编码量化参数，该方法在能够维持虚拟视点视觉感知质量的前提下，有效节约了深度视频的编码码率，同时大大提高了深度视频序列的压缩编码效率，节省的码流可达到11.00~23.34%。

Description

一种基于中心凹恰可觉察失真模型的深度视频编码方法

技术领域

本发明涉及一种视频信号的处理方法，尤其是涉及一种基于中心凹恰可觉察失真模型的深度视频编码方法。

背景技术

目前，3DTV与FTV广泛使用多视点彩色加深度视频(Multi-view Video plus Depth，MVD)进行场景描述。MVD包括多个视点的彩色和对应的深度信息，通过编码、传输、解码后在显示端进行虚拟视点绘制。在MVD中，尽管多视点彩***的编码已经得到广泛的研究，其中较为适用的编码平台有JMVM(Joint Multiview Video Model)和JMVC(Joint Multiview Video Coding)，但是有关深度视频编码的研究较少。深度视频代表相机距离3D空间中对象的相对距离，在计算机视觉和计算机图像领域广泛用于描述3D信息。另外，值得注意的是，深度视频并不是直接用于显示，目前大多数基于图像的绘制方法都是利用深度图并结合立体或者多视点彩***进行虚拟视点绘制。与彩***仅仅关心本身的压缩效率不同，深度视频编码的主要目标是在压缩深度视频的同时保证虚拟视点绘制质量，因此针对深度视频的压缩必须考虑在不同码率下绘制视点的质量。

与单通道视频信号仅仅传输一个通道的彩***不同，MVD不仅需要传输多个通道的彩***，还需要传输对应的深度视频，因此必须对MVD视频信息进行有效的压缩。通常，MVD使用变换、量化、运动估计、运动补偿、熵编码、帧内和帧间预测等去除空间、时间以及视点间的冗余，在此过程中量化是引入视频误差的主要因素之一。在彩***编码中，量化误差导致每个像素亮度或者色度成分的失真，将直接影响视频质量；而深度视频的量化误差间接地影响绘制的视频质量，即量化误差在绘制阶段的像素内插时导致几何失真，而几何失真转化为绘制视点的亮度或者色度误差。同时，MVD在用户端进行显示，无论是真实视点还是虚拟视点的场景，最直接的感受者通常是人眼，因此为了在不影响虚拟视点绘制质量的前提下提高深度视频的压缩效率，需要进一步理解并运用人眼视觉***(Human Visual System,HVS)的感知特性，根据深度视频失真对虚拟视点绘制的影响，设计高效的深度视频压缩方案。

在深度视频压缩方面，Lai等人利用相机内参和全局视频特性，分析深度视频压缩失真对虚拟视点绘制质量的影响，确定深度视频失真和绘制视点几何失真之间的关系。对于HVS感知方面，Safrenek分析HVS在空域中对亮度的感知特性，根据人眼对亮度对比度比绝对亮度的敏感度更大建立空域背景亮度恰可觉察失真模型(Just NoticeableDistortion,JND)，对二维图像的编码具有重要的指导作用。Eckert分析得到在图像的空间域中边界区域更能引起人眼的注意，因此边界区域所能容忍的失真比平滑或者纹理区域更少，基于此建立空间域纹理JND模型，在一定程度上节约编码二维图像的比特。Chou考虑视频中相邻帧之间较大的亮度差异导致较大的时域掩蔽效应，建立时域JND模型，在视频编码中具有指导下性意义。最近，Chen等人在已有的空域和时域JND的基础上，利用HVS视觉敏感度在整个场景并不是恒定不变的特性，即HVS中心凹特性，建立中心凹恰可觉察失真(Foveated Just Noticeable Distortion，FJND)模型。FJND模型更充分地利用了视频中的感知冗余，提高了视频压缩的效率，但是以上所建立的JND模型和FJND模型针对的是平面图像或者单通道视频,且分辨率大部分限制在CIF格式，没有考虑深度视频失真对绘制视频质量的影响和分辨率等因素，并不能很好地应用到MVD压缩中。

发明内容

本发明所要解决的技术问题是提供一种基于中心凹恰可觉察失真模型的深度视频编码方法，其在维持虚拟视点视觉感知质量的前提下，能够有效节约深度视频的编码码率。

本发明解决上述技术问题所采用的技术方案为：一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于包括以下步骤：

①将待编码的深度视频的左视点视频记为D_L(m,n,k)，将与待编码的深度视频的左视点视频D_L(m,n,k)对应的彩***的左视点视频记为C_L(m,n,k)，将待编码的深度视频的右视点视频记为D_R(m,n,k)，将与待编码的深度视频的右视点视频D_R(m,n,k)对应的彩***的右视点视频记为C_R(m,n,k)，其中，m表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的水平分辨率，n表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的垂直分辨率，m×n表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的分辨率，k表示D_L(m,n,k)中包含的深度视频帧、C_L(m,n,k)中包含的彩***帧、D_R(m,n,k)中包含的深度视频帧和C_R(m,n,k)中包含的彩***帧的帧数；

②在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数对D_L(m,n,k)进行编码，采用C_L(m,n,k)的初始编码量化参数对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；然后对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，得到绘制后的中间虚拟视点视频，记为V(m,n,k)，其中，V(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，V(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，得到全局恰可觉察失真的中间虚拟视点视频，记为G_JND(m,n,k)，其中，G_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，G_JND(m,n,k)中包含的中间虚拟视点视频的帧数为k；

④根据G_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，定量得到G_JND(m,n,k)的几何偏移的中间虚拟视点视频，记为ΔP(m,n,k)，其中，ΔP(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，ΔP(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

⑤根据ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，定性得到D_L(m,n,k)的最大可容忍失真视频，记为ΔD_L(m,n,k)，其中，ΔD_L(m,n,k)中的最大可容忍失真视频帧的分辨率为m×n，ΔD_L(m,n,k)中包含的最大可容忍失真视频帧的帧数为k；

⑥首先根据ΔD_L(m,n,k)将D_L(m,n,k)中的所有深度视频帧的宏块分成四类，并分别确定四类宏块的可增加编码量化参数的具体值，然后确定D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数的具体值，再在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，对D_L(m,n,k)和C_L(m,n,k)以及D_R(m,n,k)和C_R(m,n,k)进行编码。

所述的步骤③的具体过程为：

③-1、计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真，得到空域恰可觉察失真的中间虚拟视点视频，记为S_JND(m,n,k)，其中，S_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，S_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③-2、计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的时域恰可觉察失真，得到时域恰可觉察失真的中间虚拟视点视频，记为T_JND(m,n,k)，其中，T_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，T_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③-3、将S_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真与T_JND(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的时域恰可觉察失真相乘，得到时空恰可觉察失真的中间虚拟视点视频，记为ST_JND(m,n,k)，其中，ST_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，ST_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③-4、计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的中心凹恰可觉察失真的加权系数；

③-5、将ST_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的时空恰可觉察失真与V(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的中心凹恰可觉察失真的加权系数相乘，得到全局恰可觉察失真的中间虚拟视点视频G_JND(m,n,k)。

所述的步骤④的具体过程为：提取出G_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，并直接将等于提取出的全局恰可觉察失真的数值赋值给G_JND(m,n,k)的几何偏移的中间虚拟视点视频ΔP(m,n,k)中的对应的中间虚拟视点视频帧中对应的像素，定量得到G_JND(m,n,k)的几何偏移的中间虚拟视点视频序列ΔP(m,n,k)。

所述的步骤⑤的具体过程为：采用深度视频失真和几何失真之间的线性关系 $\mathrm{\ΔP}=a\×{\mathrm{\δ}}_x\×\frac{{\mathrm{\ΔD}}_{\mathrm{depth}}(x,y)}{255}\×(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}}),$ 定性得到D_L(m,n,k)的最大可容忍失真视频ΔD_L(m,n,k)，其中，ΔP表示ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，a表示水平方向上以像素为单位的相机焦距，δ_x表示水平方向上两个相机之间的基线距离，x表示D_L(m,n,k)中的每帧深度视频帧中的像素的横坐标，y表示D_L(m,n,k)中的每帧深度视频帧中的像素的纵坐标，ΔD_depth(x,y)表示D_L(m,n,k)中的每帧深度视频帧中坐标位置为(x,y)的像素的最大可容忍失真，1≤x≤m,1≤y≤n，Z_near表示D_L(m,n,k)中的每帧深度视频帧中距离相机最近距离的像素的像素值，Z_far表示D_L(m,n,k)中的每帧深度视频帧中距离相机最远距离的像素的像素值。

所述的步骤⑥的具体过程为：

⑥-1、根据ΔD_L(m,n,k)将D_L(m,n,k)中的所有深度视频帧的宏块分成四类，并确定第一类宏块的编码量化参数为第二类宏块的编码量化参数为

第三类宏块的编码量化参数为

第四类宏块的编码量化参数为

其中，

表示对D_L(m,n,k)进行编码的初始编码量化参数，ΔQP₁表示第一类宏块的可增加编码量化参数，ΔQP₂表示第二类宏块的可增加编码量化参数，ΔQP₃表示第三类宏块的可增加编码量化参数，ΔQP₄表示第四类宏块的可增加编码量化参数，0≤ΔQP₁<ΔQP₂≤ΔQP₃≤ΔQP₄≤12；

⑥-2、确定D_L(m,n,k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP₁、第二类宏块的可增加编码量化参数ΔQP₂、第三类宏块的可增加编码量化参数ΔQP₃和第四类宏块的可增加编码量化参数ΔQP₄的具体值；

⑥-3、确定D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的具体值；

⑥-4、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₁的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第一类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₂的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第二类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₃的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第三类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₄的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第四类宏块进行编码；采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码；采用D_R(m,n,k)的初始编码量化参数

与ΔQP₅的具体值的和对D_R(m,n,k)进行编码；采用C_R(m,n,k)的初始编码量化参数

与ΔQP₅的具体值的和对C_R(m,n,k)进行编码。

所述的步骤⑥-1中宏块分类的具体过程为：

a1、将ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧分割成K×L个互不重叠的宏块，将D_L(m,n,k)中的每帧深度视频帧分割成K×L个互不重叠的宏块，其中，K=m/16，L=n/16；

b1、计算ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局平均值，记为A，

再根据A计算ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局方差，记为V，

其中，0≤i≤K-1，0≤j≤L-1，ΔD_ij表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中坐标位置为(i,j)的宏块的最大可容忍失真的平均值，

a表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的横坐标，表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的纵坐标，ΔD_ij，ab表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中坐标位置为(i,j)的宏块中坐标位置为(a,b)的像素的最大可容忍失真；

c1、将D_L(m,n,k)中当前正在处理的深度视频帧定义为当前深度视频帧；

d1、利用canny算子提取当前深度视频帧中的边缘宏块；

e1、将当前深度视频帧中当前正在处理的坐标位置为(i,j)的宏块定义为当前宏块；

f1、计算ΔD_L(m,n,k)中与当前深度视频帧对应的最大可容忍失真视频帧中与当前宏块对应的宏块的最大可容忍失真的方差，记为V_ij，

g1、判断当前宏块是否为边缘宏块，如果是，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤h1，其中，

表示对D_L(m,n,k)进行编码的初始编码量化参数，ΔQP₁表示第一类宏块的可增加编码量化参数；

h1、判断ΔD_ij≤A且V_ij>V是否成立，如果成立，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤i1；

i1、判断ΔD_ij≤A且V_ij≤V是否成立，如果成立，则将当前宏块归入第二类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤j1，其中，ΔQP₂表示第二类宏块的可增加编码量化参数；

j1、判断ΔD_ij>A且V_ij>V是否成立，如果成立，则将当前宏块归入第三类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤k1，其中，ΔQP₃表示第三类宏块的可增加编码量化参数；

k1、判断ΔD_ij>A且V_ij≤V是否成立，如果成立，则将当前宏块归入第四类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，其中，ΔQP₄表示第四类宏块的可增加编码量化参数；

l1、令i′=i+1,i＝i′，令j′=j+1,j=j′，将当前深度视频帧中下一个待处理的宏块作为当前宏块，然后返回步骤f1继续执行，直至当前深度视频帧中的所有宏块处理完毕，其中，i′和j′的初始值均为0，在i′=i+1,i＝i′和j′=j+1,j=j′中符号“=”为赋值符号；

m1、将D_L(m,n,k)中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤d1继续执行，直至D_L(m,n,k)中的所有深度视频帧处理完毕。

所述的步骤⑥-2的具体过程为：

a2、将D_L(m,n,k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP₁的具体值确定为0；

b2-1、将2作为D_L(m,n,k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的候选参考值；

b2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₂的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第二类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第三类宏块和第四类宏块进行编码；

b2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数对C_R(m,n,k)进行编码；

b2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

b2-5、将4和8分别作为D_L(m,n,k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的候选参考值，并按照步骤b2-2至步骤b2-4的操作过程，获得对应的虚拟视点绘制质量；

b2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP₂的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的具体值；

c2-1、将5作为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的候选参考值；

c2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₃的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第三类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第二类宏块和第四类宏块进行编码；

c2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；

c2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

c2-5、将8和12分别作为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的候选参考值，并按照步骤c2-2至步骤c2-4的操作过程，获得对应的虚拟视点绘制质量；

c2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP₃的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的具体值；

d2-1、将8作为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的候选参考值；

d2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数与ΔQP₄的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第四类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第二类宏块和第三类宏块进行编码；

d2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；

d2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

d2-5、将9、10、11和12分别作为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的候选参考值，并按照步骤d2-2至步骤d2-4的操作过程，获得对应的虚拟视点绘制质量；

d2-6、比较上述获得的五个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP₄的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的具体值。

所述的步骤⑥-3的具体过程为：

a3、将4+s的值作为D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的候选参考值，其中，s的初始值为0；

b3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)进行编码，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

与ΔQP₅的候选参考值的和对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

与ΔQP₅的候选参考值的和对C_R(m,n,k)进行编码；

c3、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

d3、令s′=s+1,s=s′，然后返回步骤a3继续执行，直至s的值大于12为止，获得对应的虚拟视点绘制质量，其中，s′的初始值为0；

e3、比较上述获得的十三个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP₅的候选参考值确定为D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的具体值。

与现有技术相比，本发明的优点在于：

1）通过对左右视点彩***和左右视点深度视频进行中间虚拟视点绘制得到中间虚拟视点视频中的每帧中的每个像素的全局恰可觉察失真，从而保证中间虚拟视点视频中每一个像素都具有不被人眼观察到变化的失真像素值。

2）根据全局恰可觉察失真获取几何偏移的中间虚拟视点视频，由于在虚拟视点绘制过程中，左右视点深度视频是必不可少的组成部分，而且深度视频中的每帧中的每个像素的几何偏移值和中间虚拟视点视频中的每帧中的每个像素的全局恰可觉察失真值之间是相等的关系，因此根据中间虚拟视点视频中的每帧中的每个像素的全局恰可觉察失真可以确定深度视频中的每帧中的每个像素的几何偏移，以便实施深度视频编码的过程。

3）利用几何偏移定性地求取深度视频的左视点视频的最大可容忍失真视频，便于控制左视点深度视频，以探索左视点深度视频对中间虚拟视点绘制视频的影响。

4）利用每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局方差以及每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局方差将左视点深度视频的每帧中的宏块分成4类，分类过程充分考虑了左视点视频中的每帧中的每个宏块在整帧中的全局特性，具有普遍性和适用性，可实现性强。

5）采取不同的编码量化参数对左右视点彩***和左右视频深度视频进行编码，在有效地节约编码码率的同时，还保证了中间虚拟视点视频的主观质量。

6）本发明方法在能够维持虚拟视点视觉感知质量的前提下，有效节约了深度视频的编码码率，同时大大提高了深度视频序列的压缩编码效率，节省的码率可达到11.00~23.34%。

附图说明

图1a为“Book Arrival”测试视频序列中的第5视点和第7视点绘制后的中间虚拟视点视频序列中的第1帧中间虚拟视点视频帧；

图1b为图1a的时空恰可觉察失真的中间虚拟视点视频帧；

图1c为图1a的全局恰可觉察失真的中间虚拟视点视频帧；

图2为图1c的几何偏移的中间虚拟视点视频帧；

图3为“BookArrival”测试视频序列中的第5视点的最大可容忍失真视频序列中的第1帧；

图4为“Book Arrival”测试视频序列中的第5视点的第1帧中的宏块分类结果示意图；

图5a为“Book Arrival”测试视频序列中的第5视点的49帧每一帧ΔQP₂数值分别设置为2、4、8，ΔQP₃的数值分别设置为5、8、12时绘制的第6虚拟视点序列中49帧的平均客观质量示意图；

图5b为“Book Arrival”测试视频序列中的第5视点的49帧每一帧ΔQP₄的数值从8不断增大至12时绘制的第6虚拟视点序列中49帧的平均客观质量示意图；

图6为“Book Arrival”测试视频序列中的第7视点彩色和深度视频49帧每一帧随着ΔQP₅不断增大虚拟视点绘制质量的变化情况；

图7a为“Book Arrival”测试序列的第0视点第33帧原始帧；

图7b为“Book Arrival”测试序列的第0视点第33帧原始帧的局部放大图；

图7c为利用第5视点和第7视点的彩***和对应深度视频采用JMVC编码之后绘制后得到的虚拟视点第6视点第33帧的局部放大图；

图7d为利用原始的第5视点和第7视点的彩***和对应的深度视频采用本发明方法编码之后绘制得到的虚拟视点第6视点第33帧的局部放大图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

由于多视点视频信号最终是通过人眼进行感知，因此为了在维持虚拟视点视觉感知质量的前提下有效地节约深度视频编码码率，本发明提出了一种基于中心凹恰可觉察失真模型的深度视频编码方法，其利用深度视频失真和绘制视点几何失真之间的关系，在已有的中心凹恰可觉察失真(Foveated Just Noticeable Distortion,FJND)模型的基础上从虚拟视点绘制质量的角度出发对MVD进行编码，以减少深度视频的编码码率。

本发明的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其包括以下步骤：

①将待编码的深度视频的左视点视频记为D_L(m,n,k)，将与待编码的深度视频的左视点视频D_L(m,n,k)对应的彩***的左视点视频记为C_L(m,n,k)，将待编码的深度视频的右视点视频记为D_R(m,n,k)，将与待编码的深度视频的右视点视频D_R(m,n,k)对应的彩***的右视点视频记为C_R(m,n,k)，其中，m表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的水平分辨率，n表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的垂直分辨率，m×n表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的分辨率，k表示D_L(m,n,k)中包含的深度视频帧、C_L(m,n,k)中包含的彩***帧、D_R(m,n,k)中包含的深度视频帧和C_R(m,n,k)中包含的彩***帧的帧数。

②在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)进行编码，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；然后利用现有技术对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，得到绘制后的中间虚拟视点视频，记为V(m,n,k)，其中，V(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，V(m,n,k)中包含的中间虚拟视点视频帧的帧数为k。

③依次计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，得到全局恰可觉察失真的中间虚拟视点视频，记为G_JND(m,n,k)，其中，G_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，G_JND(m,n,k)中包含的中间虚拟视点视频的帧数为k。

在此具体实施例中，步骤③的具体过程为：

③-1、依次计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真，得到空域恰可觉察失真的中间虚拟视点视频，记为S_JND(m,n,k)，其中，S_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，S_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k。

③-2、依次计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的时域恰可觉察失真，得到时域恰可觉察失真的中间虚拟视点视频，记为T_JND(m,n,k)，其中，T_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，T_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k。

③-3、将S_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真与T_JND(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的时域恰可觉察失真相乘，得到时空恰可觉察失真的中间虚拟视点视频，记为ST_JND(m,n,k)，其中，ST_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，ST_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k。

③-4、采用现有技术依次计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的中心凹恰可觉察失真的加权系数，得到中心凹恰可觉察失真的中间虚拟视点视频，记为F_JND(m,n,k)，其中，ST_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，F_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k。

③-5、将ST_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的时空恰可觉察失真与V(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的中心凹恰可觉察失真的加权系数相乘，得到全局恰可觉察失真的中间虚拟视点视频G_JND(m,n,k)。

图1a给出了“Book Arrival”测试视频序列中的第5视点和第7视点绘制后的中间虚拟视点视频序列中的第1帧中间虚拟视点视频帧；图1b给出了图1a的时空域恰可觉察失真的中间虚拟视点视频帧，为了显示的需要，将空域恰可觉察失真的中间虚拟视点视频帧中的每个像素值扩大了10倍；图1c给出了图1a的全局恰可觉察失真的中间虚拟视点视频帧，为了显示的需要，将全局恰可觉察失真的中间虚拟视点视频帧中的每个像素值扩大了10倍。

④根据G_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，定量得到G_JND(m,n,k)的几何偏移的中间虚拟视点视频，记为ΔP(m,n,k)，其中，ΔP(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，ΔP(m,n,k)中包含的中间虚拟视点视频帧的帧数为k。

在此具体实施例中，步骤④的具体过程为：依次提取出G_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，并直接将等于提取出的全局恰可觉察失真的数值赋值给G_JND(m,n,k)的几何偏移的中间虚拟视点视频ΔP(m,n,k)中的对应的中间虚拟视点视频帧中对应的像素，即：使得ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移等于G_JND(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的全局恰可觉察失真，定量得到G_JND(m,n,k)的几何偏移的中间虚拟视点视频序列ΔP(m,n,k)。

图2给出了图1c的几何偏移的中间虚拟视点视频帧，为了显示的需要，将几何偏移的中间虚拟视点视频帧中的每个像素值扩大了4倍。

⑤根据ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，定性得到D_L(m,n,k)的最大可容忍失真视频，记为ΔD_L(m,n,k)，其中，ΔD_L(m,n,k)中的最大可容忍失真视频帧的分辨率为m×n，ΔD_L(m,n,k)中包含的最大可容忍失真视频帧的帧数为k。

在此具体实施例中，步骤⑤的具体过程为：采用深度视频失真和几何失真之间的线性关系 $\mathrm{\&Delta;P}=a\&times;{\mathrm{\&delta;}}_x\&times;\frac{{\mathrm{\&Delta;D}}_{\mathrm{depth}}(x,y)}{255}\&times;(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}}),$ 定性得到D_L(m,n,k)的最大可容忍失真视频ΔD_L(m,n,k)，其中，ΔP表示ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，a表示水平方向上以像素为单位的相机焦距，δ_x表示水平方向上两个相机之间的基线距离，x表示D_L(m,n,k)中的每帧深度视频帧中的像素的横坐标，y表示D_L(m,n,k)中的每帧深度视频帧中的像素的纵坐标，ΔD_depth(x,y)表示D_L(m,n,k)中的每帧深度视频帧中坐标位置为(x,y)的像素的最大可容忍失真，1≤x≤m,1≤y≤n，Z_near表示D_L(m,n,k)中的每帧深度视频帧中距离相机最近距离的像素的像素值，Z_far表示D_L(m,n,k)中的每帧深度视频帧中距离相机最远距离的像素的像素值。

图3给出了“Book Arrival”测试视频序列中的第5视点的最大可容忍失真视频序列中的第1帧，为了显示的需要，将最大可容忍失真视频序列中的第1帧中的每个像素值扩大了4倍。

⑥首先根据ΔD_L(m,n,k)将D_L(m,n,k)中的所有深度视频帧的宏块分成四类，并分别确定四类宏块的可增加编码量化参数的具体值，然后确定D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数的具体值，再在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，对D_L(m,n,k)和C_L(m,n,k)以及D_R(m,n,k)和C_R(m,n,k)进行编码。

在此具体实施例中，步骤⑥的具体过程为：

⑥-1、根据ΔD_L(m,n,k)将D_L(m,n,k)中的所有深度视频帧的宏块分成四类，并确定第一类宏块的编码量化参数为

第二类宏块的编码量化参数为

第三类宏块的编码量化参数为

第四类宏块的编码量化参数为

其中，表示对D_L(m,n,k)进行编码的初始编码量化参数，ΔQP₁表示第一类宏块的可增加编码量化参数，ΔQP₂表示第二类宏块的可增加编码量化参数，ΔQP₃表示第三类宏块的可增加编码量化参数，ΔQP₄表示第四类宏块的可增加编码量化参数，0≤ΔQP₁<ΔQP₂≤ΔQP₃≤ΔQP₄≤12。

在此，宏块分类的具体过程为：

a1、将ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧分割成K×L个互不重叠的宏块，将D_L(m,n,k)中的每帧深度视频帧分割成K×L个互不重叠的宏块，其中，K=m/16，L=n/16。

b1、计算ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局平均值，记为A，再根据A计算ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局方差，记为V，

其中，0≤i≤K-1，0≤j≤L-1，ΔD_ij表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中坐标位置为(i,j)的宏块的最大可容忍失真的平均值，

a表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的横坐标，表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的纵坐标，ΔD_ij，ab表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中坐标位置为(i,j)的宏块中坐标位置为(a,b)的像素的最大可容忍失真。

c1、将D_L(m,n,k)中当前正在处理的深度视频帧定义为当前深度视频帧。

d1、利用canny算子提取当前深度视频帧中的边缘宏块。

e1、将当前深度视频帧中当前正在处理的坐标位置为(i,j)的宏块定义为当前宏块。

f1、计算ΔD_L(m,n,k)中与当前深度视频帧对应的最大可容忍失真视频帧中与当前宏块对应的宏块的最大可容忍失真的方差，记为V_ij，

g1、判断当前宏块是否为边缘宏块，如果是，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤h1，其中，

表示对D_L(m,n,k)进行编码的初始编码量化参数，ΔQP₁表示第一类宏块的可增加编码量化参数。

h1、判断ΔD_ij≤A且V_ij>V是否成立，如果成立，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤i1。

i1、判断ΔD_ij≤A且V_ij≤V是否成立，如果成立，则将当前宏块归入第二类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤j1，其中，ΔQP₂表示第二类宏块的可增加编码量化参数。

j1、判断ΔD_ij>A且V_ij>V是否成立，如果成立，则将当前宏块归入第三类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤k1，其中，ΔQP₃表示第三类宏块的可增加编码量化参数。

k1、判断ΔD_ij>A且V_ij≤V是否成立，如果成立，则将当前宏块归入第四类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，其中，ΔQP₄表示第四类宏块的可增加编码量化参数。

l1、令i′=i+1,i＝i′，令j′=j+1,j=j′，将当前深度视频帧中下一个待处理的宏块作为当前宏块，然后返回步骤f1继续执行，直至当前深度视频帧中的所有宏块处理完毕，其中，i′和j′的初始值均为0，在i′=i+1,i＝i′和j′=j+1,j=j′中符号“=”为赋值符号。

m1、将D_L(m,n,k)中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤d1继续执行，直至D_L(m,n,k)中的所有深度视频帧处理完毕。

图4给出了“BookArrival”测试视频序列中的第5视点的第1帧的宏块分类结果，图4中白色区域表示人眼最不容易觉察失真区域，在编码时可以采用较大的编码量化参数QP；随着区域颜色由白色变成黑色，人眼越容易觉察视频的失真，编码时所采用的编码量化参数QP会随之下降。

⑥-2、确定D_L(m,n,k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP₁、第二类宏块的可增加编码量化参数ΔQP₂、第三类宏块的可增加编码量化参数ΔQP₃和第四类宏块的可增加编码量化参数ΔQP₄的具体值。

在此，步骤⑥-2的具体过程为：

a2、将D_L(m,n,k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP₁的具体值确定为0。

b2-1、将2作为D_L(m,n,k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的候选参考值。

b2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₂的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第二类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第三类宏块和第四类宏块进行编码。

b2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码。

b2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量。

b2-5、将4和8分别作为D_L(m,n,k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的候选参考值，并按照步骤b2-2至步骤b2-4的操作过程，获得对应的虚拟视点绘制质量。

b2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP₂的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的具体值，通过多次实验得出当ΔQP₂的候选参考值为4时获得的虚拟视点绘制质量最佳，即ΔQP₂的具体值取为4。

c2-1、将5作为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的候选参考值。

c2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₃的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第三类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第二类宏块和第四类宏块进行编码。

c2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码。

c2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量。

c2-5、将8和12分别作为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的候选参考值，并按照步骤c2-2至步骤c2-4的操作过程，获得对应的虚拟视点绘制质量。

c2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP₃的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的具体值，通过多次实验得出当ΔQP₃的候选参考值为8时获得的虚拟视点绘制质量最佳，即ΔQP₃的具体值取为8。

d2-1、将8作为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的候选参考值。

d2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₄的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第四类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第二类宏块和第三类宏块进行编码。

d2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码。

d2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量。

d2-5、将9、10、11和12分别作为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的候选参考值，并按照步骤d2-2至步骤d2-4的操作过程，获得对应的虚拟视点绘制质量。

d2-6、比较上述获得的五个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP₄的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的具体值，即：比较上述依次获得的五个虚拟视点绘制质量中前后两者之差的大小，找出差值最大对应的两个虚拟视点绘制质量中的前一个虚拟视点绘制质量，并将找出的虚拟视点绘制质量对应的ΔQP₄的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的具体值，通过多次实验得出当ΔQP₄的候选参考值为11时获得的虚拟视点绘制质量保持不影响人眼观看效果的水平，即ΔQP₄的具体值取为11。

图5a给出了“Book Arrival”测试视频序列中的第5视点的49帧的每一帧ΔQP₂数值分别设置为2、4、8，ΔQP₃的数值分别设置为5、8、12时绘制的第6虚拟视点序列中49帧的平均客观质量，从图5a中可以看出当ΔQP₂的具体值为4、ΔQP₃的具体值为8时对应的虚拟视点绘制质量最佳；图5b给出了“Book Arrival”测试视频序列中的第5视点的49帧每一帧ΔQP₄的数值从8不断增大至12时绘制的第6虚拟视点序列中49帧的平均客观质量。表1给出了“Book Arrival”测试视频序列中的第5视点的49帧每一帧的边缘区域在Basis QP(基本编码量化参数)下，非边缘区域的ΔQP₄的数值。从图5b以及表1中可以看出当ΔQP₄的平均值为11时绘制的虚拟视点质量不影响人眼观看效果的水平。

表1“Book Arrival”测试视频序列中的第5视点的49帧每一帧的边缘区域在Basis QP下，

非边缘区域的ΔQP₄的数值

⑥-3、确定D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的具体值。

在此，步骤⑥-3的具体过程为：

a3、将4+s的值作为D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的候选参考值，其中，s的初始值为0。

b3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)进行编码，采用C_L(m,n,k)的初始编码量化参数对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

与ΔQP₅的候选参考值的和对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

与ΔQP₅的候选参考值的和对C_R(m,n,k)进行编码。

c3、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量。

d3、令s′=s+1,s=s′，然后返回步骤a3继续执行，直至s的值大于12为止，获得对应的虚拟视点绘制质量，其中，s′的初始值为0。

e3、比较上述获得的十三个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP₅的候选参考值确定为D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的具体值，通过多次实验得出当ΔQP₅的候选参考值为5时获得的虚拟视点绘制质量保持不影响人眼观看效果的水平，即ΔQP₅的具体值取为5。

图6给出了“Book Arrival”测试视频序列中的第7视点彩色和深度视频49帧每一帧随着ΔQP₅不断增大虚拟视点绘制质量的变化情况，从图6中可以看出随着ΔQP₅不断增大，绘制虚拟的第6视点的客观质量会缓慢的下降，ΔQP₅增大到某个拐点时，绘制虚拟视点的质量会急剧下降，势必影响人眼的观看效果；表2给出了“Book Arrival”测试视频序列中的第7视点视频49帧每一帧在不同的编码Basis QP下，ΔQP₅的数值；从图6以及表2中可以看出当ΔQP₅的平均值为5时绘制的虚拟视点质量不影响人眼观看效果的水平。

表2“Book Arrival”测试视频序列中的第7视点视频49帧每一帧在不同的编码Basis QP下，ΔQP₅的数值

⑥-4、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数与ΔQP₁的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第一类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₂的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第二类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₃的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第三类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₄的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第四类宏块进行编码；采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码；采用D_R(m,n,k)的初始编码量化参数

与ΔQP₅的具体值的和对D_R(m,n,k)进行编码；采用C_R(m,n,k)的初始编码量化参数

与ΔQP₅的具体值的和对C_R(m,n,k)进行编码。

在虚拟视点图像绘制的主观质量方面，本发明方法对虚拟视点图像的质量具有更好的提高。图7a给出了“Book Arrival”测试序列的第0视点第33帧原始帧；图7b给出了“Book Arrival”测试序列的第0视点第33帧原始帧的局部放大图；图7c给出了利用第5视点和第7视点的彩***和对应深度视频采用JMVC编码之后绘制后得到的虚拟视点第6视点第33帧的局部放大图；图7d给出了利用原始的第5视点和第7视点的彩***和对应的深度视频采用本发明方法编码之后绘制得到的虚拟视点第6视点第33帧的局部放大图。从图7b、图7c、图7d中可以看出，在右边人物的黑色衣袖处，图7c在主观上看出更接近于图7b，在边界处具有较好的连续性，与原始视频图7b相似度更大，保护了视频场景中的边缘区域，更符合人眼的感知特性。

在深度视频序列压缩效率方面，本发明方法能节约11.00~23.34%的码率，表3列出了“Book Arrival”和“Leave Laptop”测试序列采用JMVC方法以及本发明方法在相同条件下（Basis QP=22、27、32、37）编码的码率对比。由于本发明方法主要是分区域对深度视频序列采取可增大的编码量化参数进行编码，因此能够节省深度视频编码码率11.00~23.34%。

表3“Book Arrival”和“Leave Laptop”测试序列采用JMVC方法以及本发明方法在相同条件下（Basis QP=22、27、32、37）编码的码率对比

Claims (8)

1.一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于包括以下步骤：

①将待编码的深度视频的左视点视频记为D_L(m,n,k)，将与待编码的深度视频的左视点视频D_L(m,n,k)对应的彩***的左视点视频记为C_L(m,n,k)，将待编码的深度视频的右视点视频记为D_R(m,n,k)，将与待编码的深度视频的右视点视频D_R(m,n,k)对应的彩***的右视点视频记为C_R(m,n,k)，其中，m表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的水平分辨率，n表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的垂直分辨率，m×n表示D_L(m,n,k)中的深度视频帧、C_L(m,n,k)中的彩***帧、D_R(m,n,k)中的深度视频帧和C_R(m,n,k)中的彩***帧的分辨率，k表示D_L(m,n,k)中包含的深度视频帧、C_L(m,n,k)中包含的彩***帧、D_R(m,n,k)中包含的深度视频帧和C_R(m,n,k)中包含的彩***帧的帧数；

②在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数对D_L(m,n,k)进行编码，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；然后对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，得到绘制后的中间虚拟视点视频，记为V(m,n,k)，其中，V(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，V(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，得到全局恰可觉察失真的中间虚拟视点视频，记为G_JND(m,n,k)，其中，G_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，G_JND(m,n,k)中包含的中间虚拟视点视频的帧数为k；

④根据G_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，定量得到G_JND(m,n,k)的几何偏移的中间虚拟视点视频，记为ΔP(m,n,k)，其中，ΔP(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，ΔP(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

⑤根据ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，定性得到D_L(m,n,k)的最大可容忍失真视频，记为ΔD_L(m,n,k)，其中，ΔD_L(m,n,k)中的最大可容忍失真视频帧的分辨率为m×n，ΔD_L(m,n,k)中包含的最大可容忍失真视频帧的帧数为k；

⑥首先根据ΔD_L(m,n,k)将D_L(m,n,k)中的所有深度视频帧的宏块分成四类，并分别确定四类宏块的可增加编码量化参数的具体值，然后确定D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数的具体值，再在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，对D_L(m,n,k)和C_L(m,n,k)以及D_R(m,n,k)和C_R(m,n,k)进行编码。

2.根据权利要求1所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤③的具体过程为：

③-1、计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真，得到空域恰可觉察失真的中间虚拟视点视频，记为S_JND(m,n,k)，其中，S_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，S_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③-2、计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的时域恰可觉察失真，得到时域恰可觉察失真的中间虚拟视点视频，记为T_JND(m,n,k)，其中，T_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，T_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③-3、将S_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的空域恰可觉察失真与T_JND(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的时域恰可觉察失真相乘，得到时空恰可觉察失真的中间虚拟视点视频，记为ST_JND(m,n,k)，其中，ST_JND(m,n,k)中的中间虚拟视点视频帧的分辨率为m×n，ST_JND(m,n,k)中包含的中间虚拟视点视频帧的帧数为k；

③-4、计算V(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的中心凹恰可觉察失真的加权系数；

③-5、将ST_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的时空恰可觉察失真与V(m,n,k)中的对应的中间虚拟视点视频帧中的对应的像素的中心凹恰可觉察失真的加权系数相乘，得到全局恰可觉察失真的中间虚拟视点视频G_JND(m,n,k)。

3.根据权利要求1或2所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤④的具体过程为：提取出G_JND(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的全局恰可觉察失真，并直接将等于提取出的全局恰可觉察失真的数值赋值给G_JND(m,n,k)的几何偏移的中间虚拟视点视频ΔP(m,n,k)中的对应的中间虚拟视点视频帧中对应的像素，定量得到G_JND(m,n,k)的几何偏移的中间虚拟视点视频序列ΔP(m,n,k)。

4.根据权利要求3所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑤的具体过程为：采用深度视频失真和几何失真之间的线性关系 $\mathrm{\&Delta;P}=a\&times;{\mathrm{\&delta;}}_x\&times;\frac{{\mathrm{\&Delta;D}}_{\mathrm{depth}}(x,y)}{255}\&times;(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}}),$ 定性得到D_L(m,n,k)的最大可容忍失真视频ΔD_L(m,n,k)，其中，ΔP表示ΔP(m,n,k)中的每帧中间虚拟视点视频帧中的每个像素的几何偏移，a表示水平方向上以像素为单位的相机焦距，δ_x表示水平方向上两个相机之间的基线距离，x表示D_L(m,n,k)中的每帧深度视频帧中的像素的横坐标，y表示D_L(m,n,k)中的每帧深度视频帧中的像素的纵坐标，ΔD_depth(x,y)表示D_L(m,n,k)中的每帧深度视频帧中坐标位置为(x,y)的像素的最大可容忍失真，1≤x≤m,1≤y≤n，Z_near表示D_L(m,n,k)中的每帧深度视频帧中距离相机最近距离的像素的像素值，Z_far表示D_L(m,n,k)中的每帧深度视频帧中距离相机最远距离的像素的像素值。

5.根据权利要求4所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑥的具体过程为：

⑥-1、根据ΔD_L(m,n,k)将D_L(m,n,k)中的所有深度视频帧的宏块分成四类，并确定第一类宏块的编码量化参数为第二类宏块的编码量化参数为

第三类宏块的编码量化参数为

第四类宏块的编码量化参数为

其中，

表示对D_L(m,n,k)进行编码的初始编码量化参数，ΔQP₁表示第一类宏块的可增加编码量化参数，ΔQP₂表示第二类宏块的可增加编码量化参数，ΔQP₃表示第三类宏块的可增加编码量化参数，ΔQP₄表示第四类宏块的可增加编码量化参数，0≤ΔQP₁<ΔQP₂≤ΔQP₃≤ΔQP₄≤12；

⑥-2、确定D_L(m,n,k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP₁、第二类宏块的可增加编码量化参数ΔQP₂、第三类宏块的可增加编码量化参数ΔQP₃和第四类宏块的可增加编码量化参数ΔQP₄的具体值；

⑥-3、确定D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的具体值；

⑥-4、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₁的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第一类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₂的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第二类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₃的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第三类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₄的具体值的和对D_L(m,n,k)中的所有深度视频帧中的第四类宏块进行编码；采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码；采用D_R(m,n,k)的初始编码量化参数与ΔQP₅的具体值的和对D_R(m,n,k)进行编码；采用C_R(m,n,k)的初始编码量化参数

与ΔQP₅的具体值的和对C_R(m,n,k)进行编码。

6.根据权利要求5所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑥-1中宏块分类的具体过程为：

a1、将ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧分割成K×L个互不重叠的宏块，将D_L(m,n,k)中的每帧深度视频帧分割成K×L个互不重叠的宏块，其中，K=m/16，L=n/16；

b1、计算ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局平均值，记为A，

再根据A计算ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的所有宏块的最大可容忍失真的全局方差，记为V，其中，0≤i≤K-1，0≤j≤L-1，ΔD_ij表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中坐标位置为(i,j)的宏块的最大可容忍失真的平均值，

a表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的横坐标，表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中的每个宏块中的像素的纵坐标，ΔD_ij，ab表示ΔD_L(m,n,k)中的每帧最大可容忍失真视频帧中坐标位置为(i,j)的宏块中坐标位置为(a,b)的像素的最大可容忍失真；

c1、将D_L(m,n,k)中当前正在处理的深度视频帧定义为当前深度视频帧；

d1、利用canny算子提取当前深度视频帧中的边缘宏块；

e1、将当前深度视频帧中当前正在处理的坐标位置为(i,j)的宏块定义为当前宏块；

f1、计算ΔD_L(m,n,k)中与当前深度视频帧对应的最大可容忍失真视频帧中与当前宏块对应的宏块的最大可容忍失真的方差，记为V_ij，

g1、判断当前宏块是否为边缘宏块，如果是，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤h1，其中，表示对D_L(m,n,k)进行编码的初始编码量化参数，ΔQP₁表示第一类宏块的可增加编码量化参数；

h1、判断ΔD_ij≤A且V_ij>V是否成立，如果成立，则将当前宏块归入第一类宏块集合中，并确定当前宏块的编码量化参数为然后执行步骤l1，否则，执行步骤i1；

i1、判断ΔD_ij≤A且V_ij≤V是否成立，如果成立，则将当前宏块归入第二类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤j1，其中，ΔQP₂表示第二类宏块的可增加编码量化参数；

j1、判断ΔD_ij>A且V_ij>V是否成立，如果成立，则将当前宏块归入第三类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，否则，执行步骤k1，其中，ΔQP₃表示第三类宏块的可增加编码量化参数；

k1、判断ΔD_ij>A且V_ij≤V是否成立，如果成立，则将当前宏块归入第四类宏块集合中，并确定当前宏块的编码量化参数为

然后执行步骤l1，其中，ΔQP₄表示第四类宏块的可增加编码量化参数；

l1、令i′=i+1,i＝i′，令j′=j+1,j=j′，将当前深度视频帧中下一个待处理的宏块作为当前宏块，然后返回步骤f1继续执行，直至当前深度视频帧中的所有宏块处理完毕，其中，i′和j′的初始值均为0，在i′=i+1,i＝i′和j′=j+1,j=j′中符号“=”为赋值符号；

m1、将D_L(m，n，k)中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤d1继续执行，直至D_L(m，n，k)中的所有深度视频帧处理完毕。

7.根据权利要求5所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑥-2的具体过程为：

a2、将D_L(m，n，k)中的所有深度视频帧中的第一类宏块的可增加编码量化参数ΔQP₁的具体值确定为0；

b2-1、将2作为D_L(m，n，k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的候选参考值；

b2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m，n，k)的初始编码量化参数

与ΔQP₂的候选参考值的和对D_L(m，n，k)中的所有深度视频帧中的第二类宏块进行编码，采用D_L(m，n，k)的初始编码量化参数

对D_L(m，n，k)中的所有深度视频帧中的第一类宏块、第三类宏块和第四类宏块进行编码；

b2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m，n，k)的初始编码量化参数

对C_L(m，n，k)进行编码，采用D_R(m，n，k)的初始编码量化参数

对D_R(m，n，k)进行编码，采用C_R(m，n，k)的初始编码量化参数

对C_R(m，n，k)进行编码；

b2-4、对D_L(m，n，k)、C_L(m，n，k)、D_R(m，n，k)和C_R(m，n，k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

b2-5、将4和8分别作为D_L(m，n，k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的候选参考值，并按照步骤b2-2至步骤b2-4的操作过程，获得对应的虚拟视点绘制质量；

b2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP₂的候选参考值确定为D_L(m，n，k)中的所有深度视频帧中的第二类宏块的可增加编码量化参数ΔQP₂的具体值；

c2-1、将5作为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的候选参考值；

c2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₃的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第三类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第二类宏块和第四类宏块进行编码；

c2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；

c2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

c2-5、将8和12分别作为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的候选参考值，并按照步骤c2-2至步骤c2-4的操作过程，获得对应的虚拟视点绘制质量；

c2-6、比较上述获得的三个虚拟视点绘制质量的值的大小，找出最大值的虚拟视点绘制质量，并将最大值的虚拟视点绘制质量对应的ΔQP₃的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第三类宏块的可增加编码量化参数ΔQP₃的具体值；

d2-1、将8作为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的候选参考值；

d2-2、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

与ΔQP₄的候选参考值的和对D_L(m,n,k)中的所有深度视频帧中的第四类宏块进行编码，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)中的所有深度视频帧中的第一类宏块、第二类宏块和第三类宏块进行编码；

d2-3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数

对C_R(m,n,k)进行编码；

d2-4、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

d2-5、将9、10、11和12分别作为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的候选参考值，并按照步骤d2-2至步骤d2-4的操作过程，获得对应的虚拟视点绘制质量；

d2-6、比较上述获得的五个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP₄的候选参考值确定为D_L(m,n,k)中的所有深度视频帧中的第四类宏块的可增加编码量化参数ΔQP₄的具体值。

8.根据权利要求5所述的一种基于中心凹恰可觉察失真模型的深度视频编码方法，其特征在于所述的步骤⑥-3的具体过程为：

a3、将4+s的值作为D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的候选参考值，其中，s的初始值为0；

b3、在多视点视频编码校验模型JMVC上，利用HBP预测编码结构，采用D_L(m,n,k)的初始编码量化参数

对D_L(m,n,k)进行编码，采用C_L(m,n,k)的初始编码量化参数

对C_L(m,n,k)进行编码，采用D_R(m,n,k)的初始编码量化参数

与ΔQP₅的候选参考值的和对D_R(m,n,k)进行编码，采用C_R(m,n,k)的初始编码量化参数与ΔQP₅的候选参考值的和对C_R(m,n,k)进行编码；

c3、对D_L(m,n,k)、C_L(m,n,k)、D_R(m,n,k)和C_R(m,n,k)经编码后的视频进行中间虚拟视点绘制，并求取虚拟视点绘制质量；

d3、令s′=s+1,s=s′，然后返回步骤a3继续执行，直至s的值大于12为止，获得对应的虚拟视点绘制质量，其中，s′的初始值为0；

e3、比较上述获得的十三个虚拟视点绘制质量的值的大小，当其中一个虚拟视点绘制质量的值急剧下降时，将该虚拟视点绘制质量对应的ΔQP₅的候选参考值确定为D_R(m,n,k)中的所有深度视频帧中的所有宏块和C_R(m,n,k)中的所有彩***帧中的所有宏块的可增加编码量化参数ΔQP₅的具体值。

Images