CN102065296A - 一种三维立体视频编码方法 - Google Patents

Abstract

本发明公开了一种三维立体视频编码方法，其通过建立彩***与深度视频的码率分配模型，分别获得对立体彩***和立体深度视频编码的目标码率和初始编码量化参数，然后根据目标码率和初始编码量化参数分别对立体彩***和立体深度视频进行编码，在用户端利用解码得到的立体彩***数据和立体深度视频数据，采用基于深度图像的绘制得到虚拟视点图像，本发明方法在保证立体图像的整体质量的前提下，大大提高了虚拟绘制图像质量。

Description

一种三维立体视频编码方法

技术领域

本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维立体视频编码方法。

背景技术

进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频***的强烈需求。现行的二维视频***在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频***由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有广泛的应用前景。三维视频***的立体技术是利用人眼的双目视差原理，通过对双目成像的左右视点图像的感知，形成双目视差，使大脑获得深度感知，形成深度感和逼真感。通常，三维视频***如图1所示，其主要包括采集、视频编码、视频传输、视频解码和3D(三维)显示等模块。

多视点视频加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息，采用基于深度图像的绘制(Depth Image Based Rendering，DIBR)技术来合成三维场景的虚拟视点图像。针对深度视频图像编码，目前已有基于小波分解(waveletdecomposition)的方法、基于平板分解(platelet decomposition)的方法对深度视频图像进行编码，也可以直接采用立体/多视点视频编码技术对深度视频序列进行编码。

然而，现有的立体/多视点视频编码的研究更多地考虑如何提升编码效率，而对MVD数据的编码应当有别于现有的视频编码方法，这是因为：一方面，由于深度编码失真会对虚拟视点绘制产生影响，如何在彩***与深度视频之间进行合理的码率分配，以保证获得最优的编码性能和绘制质量是一个亟需解决的问题；另一方面，由于绘制的虚拟视点图像没有原始视点图像作为参考，如何通过最佳的曲线逼近来实现码率分配模型，以及如何通过码率分配模型对目标码率进行分配，如何在编码过程中对目标码率进行控制，以提高方法的有效性和鲁棒性，都是对MVD数据的编码过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种能够合理地分配彩***与深度视频的编码码率，有效地提高虚拟视点图像质量的三维立体视频编码方法。

本发明解决上述技术问题所采用的技术方案为：一种三维立体视频编码方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩***和原始左视点深度视频，原始左视点彩***主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩***和原始右视点深度视频，原始右视点彩***主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

②由于原始左视点彩***的编码失真和原始左视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，故建立原始左视点彩***与原始左视点深度视频的码率分配模型，以保证获得最优的编码性能和绘制质量；

③根据原始左视点彩***与原始左视点深度视频的码率分配模型，获取原始左视点彩***与原始左视点深度视频的最佳码率比重，记为α^opt，并假定原始右视点彩***与原始右视点深度视频的最佳码率比重和原始左视点彩***与原始左视点深度视频的最佳码率比重一致；

④根据设定的立体视频编码预测结构，对原始左视点彩***的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为

和

根据设定的立体视频编码预测结构，对原始右视点彩***的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为

和

⑤根据

和

分别计算原始左视点彩***与原始右视点彩***的码率比重及原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重，分别记为γ和η，

⑥根据α^opt和γ，分别计算对原始左视点彩***进行编码的目标码率和对原始右视点深度视频进行编码的目标码率，分别记为和

假定仅对原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y进行编码，则根据α^opt、γ和η，计算对原始右视点彩***进行编码的目标码率，记为

假定将应当分配给原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频，则根据α^opt、γ和η，计算对原始左视点深度视频进行编码的目标码率，记为

其中，R_c2表示对原始左视点彩***、原始右视点彩***、原始左视点深度视频和原始右视点深度视频进行编码的总码率；

⑦根据对原始左视点彩***进行编码的目标码率

获取在目标码率

下对原始左视点彩***进行编码的初始编码量化参数，记为

根据对原始右视点彩***进行编码的目标码率获取在目标码率

下对原始右视点彩***进行编码的初始编码量化参数，记为

根据对原始左视点深度视频进行编码的目标码率

获取在目标码率

下原始左视点深度视频的初始编码量化参数，记为

根据对原始右视点深度视频进行编码的目标码率

获取在目标码率

下原始右视点深度视频的初始编码量化参数，记为

⑧根据设定的立体视频编码预测结构，采用在目标码率

下对原始左视点彩***进行编码的初始编码量化参数

对原始左视点彩***的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点彩***码流；采用在目标码率

下对原始右视点彩***进行编码的初始编码量化参数

仅对原始右视点彩***的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码，得到右视点彩***码流；

⑨根据设定的立体视频编码预测结构，采用在目标码率

下对原始左视点深度视频进行编码的初始编码量化参数对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码，得到左视点深度视频码流；采用在目标码率

下对原始右视点深度视频进行编码的初始编码量化参数

对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到右视点深度视频码流；

⑩根据设定的立体视频编码预测结构，逐帧输出左视点彩***码流、右视点彩***码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流，然后服务端通过网络将最终的编码码流传输给用户端；

用户端分别对服务端发送来的左视点彩***码流、右视点彩***码流、左视点深度视频码流和右视点深度视频码流进行解码，得到左视点的彩***数据、右视点的彩***数据、左视点的深度视频数据和右视点的深度视频数据信息；然后利用解码得到的左视点的彩***数据、右视点的彩***数据和左视点的深度视频数据，通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V；

根据解码得到的左视点的彩***数据中各个时刻的左视点彩色图像、重构得到的各个时刻的右视点彩色图像以及解码得到的左视点的深度视频数据中各个时刻的左视点深度图像、解码得到的右视点的深度视频数据中各个时刻的右视点深度图像，采用基于深度图像的绘制得到虚拟视点图像。

所述的步骤②的具体过程为：

②-1、通过最小化概率密度函数获取对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合，记为

其中，

表示最小化概率密度函数，Q表示对原始左视点彩***和原始左视点深度视频进行编码的所有的码率组合的集合，(R_t，R_d)∈Q，R_t+R_d≤R_c1，R_c1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率，R_t表示对原始左视点彩***进行编码的码率，R_d表示对原始左视点深度视频进行编码的码率，D_t(R_t)表示以码率R_t对原始左视点彩***进行编码的编码失真，D_v(R_t，R_d)表示对以码率R_t对原始左视点彩***进行编码得到的解码左视点彩***和以码率R_d对对应的原始左视点深度视频进行编码得到的解码左视点深度视频进行虚拟视点图像绘制的绘制失真；

②-2、假定S_v表示由原始左视点彩色图像和对应的原始左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t对原始左视点彩色图像进行编码得到的解码左视点彩色图像和以码率R_d对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像和以码率R_d对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)近似表示为：

其中，表示求

的数学期望值，

表示求

的数学期望值，

表示求

的数学期望值；

②-3、将

与左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的关系以线性方程近似表示为：

其中，ΔP_r表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的偏移量的大小，

表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的平均几何偏移量，ω_r表示左视点对虚拟视点的加权参数，0≤ω_r≤1，ψ_r表示通过统计得到的线性方程的斜率，斜率值的大小与图像内容有关；

②-4、对于水平相机阵列，平均几何偏移量

与以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)满足线性关系：

再根据与

将

与以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)的关系以线性方程近似表示为：其中，f表示水平相机阵列中各相机的水平焦距，δ_x表示左视点与虚拟视点之间的基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值，

②-5、将

与以码率R_t对原始左视点彩***进行编码的编码失真D_t(R_t)的关系以线性方程近似表示为：

②-6、以以码率R_t对原始左视点彩***进行编码的编码失真D_t(R_t)和以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)建立原始左视点彩***与原始左视点深度视频的码率分配模型，码率分配模型中对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合

所述的步骤③中获取原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt的具体过程为：

③-1、以原始左视点彩***与原始左视点深度视频的码率比重α来表示原始左视点彩***与原始左视点深度视频的码率比重集合Ω，Ω＝{α|α＝0.2，0.3，0.4，0.5，0.6，0.7，0.8}，α∈Ω；

③-2、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取一个码率比重，记为α′，α′∈Ω，根据任取的码率比重α′计算对原始左视点彩***进行编码的码率和对原始左视点深度视频进行编码的码率，分别记为R′_t和R′_d，

其中，R_c1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率；

③-3、记以码率R′_t对原始左视点彩***进行编码的编码失真为D_t(R′_t)，记以码率R′_d对原始左视点深度视频进行编码的编码失真为D_d(R′_d)，根据D_t(R′_t)和D_d(R′_d)计算以(R′_t，R′_d)对原始左视点彩***和原始左视点深度视频进行编码的码率分配代价，记为COST′，COST′＝k₁×D_d(R′_d)+(1+ω_r ²)×D_t(R′_t)，其中，

ω_r表示左视点对虚拟视点的加权参数，0≤ω_r≤1，ψ_r表示通过统计得到的线性方程的斜率，斜率值的大小与图像内容有关，f表示水平相机阵列中各相机的水平焦距，δ_x表示左视点与虚拟视点之间的基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值；

③-4、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取n个值不等于α′且各不相同的码率比重，分别记任取的n个码率比重为α″₁，…，α″_i，…，α″_n；然后从任取的n个码率比重中的第1个码率比重α″₁开始，重复执行步骤③-2至③-3，直至获得以任取的n个码率比重中的各个码率比重对原始左视点彩***和原始左视点深度视频进行编码对应的码率分配代价，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤6，1≤i≤n，α″₁表示任取的n个码率比重中的第1个码率比重，α″_i表示任取的n个码率比重中的第i个码率比重，α″_n表示任取的n个码率比重中的第n个码率比重，COST″₁表示α″₁对应的码率分配代价，COST″_i表示α″_i对应的码率分配代价，COST″_n表示α″_n对应的码率分配代价；

③-5、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的码率分配代价，记为COST_min，再将COST_min对应的码率比重作为原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt。

所述的步骤⑦的具体过程为：

⑦-1、任取一个不大于30的编码量化参数作为原始左视点彩***的编码量化参数，记为QP_t0，采用该编码量化参数QP_t0对原始左视点彩色图像进行编码，得到以该编码量化参数QP_t0对原始左视点彩***进行编码的平均码率，记为R_t0；

⑦-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩***进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩***进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，其中，1≤i≤N，QP_ti＝QP_t0+i；

⑦-3、根据由QP_t0和QP_t1，…，QP_ti，…，QP_tN组成的编码量化参数集合{QP_tj|0≤j≤N}及采用编码量化参数集合{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩***进行编码的平均码率集合{R_tj|0≤j≤N}，通过线性拟合方法建立对原始左视点彩***进行编码的初始编码量化步长Q_t，step与对原始左视点彩***进行编码的平均码率集合{R_tj|0≤j≤N}中的任意一个码率Rt的关系模型，记为

其中，

QP_t表示初始编码量化参数集合{QP_tj|0≤j≤N}中的任意一个初始编码量化参数，K_t和C_t均为线性参数；

⑦-4、根据对原始左视点彩***进行编码的目标码率

计算在目标码率

下对原始左视点彩***进行编码的初始编码量化参数

⑦-5、根据对原始右视点彩***进行编码的目标码率

计算在目标码率

下对原始右视点彩***进行编码的初始编码量化参数

⑦-6、任取一个不大于30的编码量化参数作为原始左视点深度视频的编码量化参数，记为QP_d0，采用该编码量化参数QP_d0对原始左视点深度视频进行编码，得到以该编码量化参数QP_d0对原始左视点深度视频进行编码的平均码率，记为R_d0；

⑦-7、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，其中，1≤i≤N，QP_di＝QP_d0+i；

⑦-8、根据由QP_d0和QP_d1，…，QP_di，…，QP_dN组成的编码量化参数集合{QP_dj|0≤j≤N}及采用编码量化参数集合{QP_dj|0≤j≤N}中的各个编码量化参数分别对原始左视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}，通过线性拟合方法建立对原始左视点深度视频进行编码的初始编码量化步长Q_d，step与对原始左视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}中的任意一个码率R_d的关系模型，记为其中，QP_d表示初始编码量化参数集合{QP_dj|0≤j≤N}中的任意一个初始编码量化参数，K_d和C_d为线性参数；

⑦-9、根据对原始左视点深度视频进行编码的目标码率

计算在目标码率

下对原始左视点深度视频进行编码的初始编码量化参数

⑦-10、根据对原始右视点深度视频进行编码的目标码率

计算在目标码率

下对原始右视点深度视频进行编码的初始编码量化参数

所述的步骤

中通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V的具体过程为：

定义解码得到的右视点的彩***数据中当前正在处理的右视点彩色图像为当前右视点彩色图像，利用与当前右视点彩色图像同一时刻的左视点深度图像提供的深度信息，然后采用三维图像变换方法逐像素点计算与当前右视点彩色图像同一时刻的左视点彩色图像中的各个像素点在当前右视点彩色图像中的坐标位置；

判断当前右视点彩色图像中的像素s与同一时刻的左视点彩色图像中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前右视点彩色图像中的像素s的第一色度分量U(s)的最小成本J(U)和第二色度分量V(s)的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，

其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，w_sr为加权参数，

Y(s)为像素s的亮度分量，Y(r)为像素r的亮度分量，N(s)为以像素s为中心的3×3邻域窗口，σ_s为像素s的亮度分量Y(s)在邻域窗口N(s)内的标准差；

将解码得到的右视点的彩***数据中下一个待处理的右视点彩色图像作为当前右视点彩色图像，返回执行步骤

重构当前右视点彩色图像的第一色度分量和第二色度分量，直至解码得到的右视点的彩***数据中的所有右视点彩色图像的第一色度分量和第二色度分量重构完毕。

与现有技术相比，本发明的优点在于：

1)本发明方法根据深度图像的编码失真和彩色图像的编码失真建立深度图像与彩色图像的码率分配模型，避免了复杂的虚拟视点绘制操作，大大提高了模型的有效性。

2)本发明方法在总码率限制条件下，通过抛弃右视点彩色图像的第一色度分量和第二色度分量，并将节省的码率分配给左视点深度图像，能最大限度地提高虚拟视点图像的质量。

3)本发明方法通过建立彩***与深度视频的码率分配模型，分别获得对立体彩***和立体深度视频编码的目标码率和初始编码量化参数，然后根据目标码率和初始编码量化参数分别对立体彩***和立体深度视频进行编码，在用户端利用解码得到的立体彩***数据和立体深度视频数据，采用基于深度图像的绘制得到虚拟视点图像，这一编码流程有别于传统的立体视频编码方法，在保证立体图像的整体质量的前提下，大大提高了虚拟绘制图像质量。

附图说明

图1为典型的三维视频***的组成示意图；

图2a为“Ballet”三维视频测试序列的第4个参考视点的一幅彩色图像；

图2b为“Ballet”三维视频测试序列的第6个参考视点的一幅彩色图像；

图2c为“Breakdancers”三维视频测试序列的第4个参考视点的一幅彩色图像；

图2d为“Breakdancers”三维视频测试序列集的第6个参考视点的一幅彩色图像；

图3a为图2a所示的彩色图像对应的深度图像；

图3b为图2b所示的彩色图像对应的深度图像；

图3c为图2c所示的彩色图像对应的深度图像；

图3d为图2d所示的彩色图像对应的深度图像；

图4为“Ballet”三维视频测试序列的码率比重与码率分配代价的曲线图；

图5为“Breakdancers”三维视频测试序列的码率比重与码率分配代价的曲线图；

图6为“Ballet”和“Breakdancers”三维视频测试序列的原始左视点彩***的初始量化步长与码率的拟合曲线图；

图7为“Ballet”和“Breakdancers”三维视频测试序列的原始左视点深度视频的初始量化步长与码率的拟合曲线图；

图8为“Ballet”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图9为“Breakdancers”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图10为“Ballet”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图11为“Breakdancers”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；

图12a为“Ballet”三维视频测试序列的第5个参考视点的原始彩色图像；

图12b为“Ballet”三维视频测试序列的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像；

图12c为“Ballet”三维视频测试序列的第5个参考视点采用本发明方法得到的虚拟视点彩色图像；

图13a为“Breakdancers”三维视频测试序列的第5个参考视点的原始彩色图像；

图13b为“Breakdancers”三维视频测试序列的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像；

图13c为“Breakdancers”三维视频测试序列的第5个参考视点采用本发明方法得到的虚拟视点彩色图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种三维立体视频编码方法，其主要包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩***和原始左视点深度视频，原始左视点彩***主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩***和原始右视点深度视频，原始右视点彩***主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；将介于左视点与右视点之间的视点作为虚拟视点。

在本实施中，采用美国微软公司提供的三维视频测试序列“Ballet”和“Breakdancers”作为原始三维立体视频，这两个三维视频测试序列均包括8个参考视点的8幅彩色图像和对应的8幅深度图像，各幅彩色图像和各幅深度图像的分辨率均为1024×768，将第4个参考视点作为原始三维立体视频的左视点，将第6个参考视点作为原始三维立体视频的右视点，将第5个视点作为原始三维立体视频的虚拟视点。图2a和图2b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像；图2c和图2d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像；图3a和图3b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像所对应的深度图像；图3c和图3d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像所对应的深度图像。

②由于深度是用来表征场景几何的负载信息，因此深度信息的编码质量会对后期虚拟视点图像的绘制产生影响，并且由于人眼感知是对彩***图像进行的，因此彩***图像的编码质量也会直接对后期虚拟视点图像的绘制质量产生影响。由于原始左视点彩***的编码失真和原始左视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，因此本发明建立原始左视点彩***与原始左视点深度视频的码率分配模型，以保证获得最优的编码性能和绘制质量。

在此具体实施例中，建立原始左视点彩***与原始左视点深度视频的码率分配模型的具体过程为：

②-1、在对原始左视点彩***和原始左视点深度视频进行编码的总码率限制的条件下，通过最小化概率密度函数获取对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合，记为

其中，表示最小化概率密度函数，Q表示对原始左视点彩***和原始左视点深度视频进行编码的所有的码率组合的集合，(R_t，R_d)∈Q，R_t+R_d≤R_c1，R_c1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率，R_t表示对原始左视点彩***进行编码的码率，R_d表示对原始左视点深度视频进行编码的码率，D_t(R_t)表示以码率R_t对原始左视点彩***进行编码的编码失真，D_v(R_t，R_d)表示对以码率R_t对原始左视点彩***进行编码得到的解码左视点彩***和以码率R_d对对应的原始左视点深度视频进行编码得到的解码左视点深度视频进行虚拟视点图像绘制的绘制失真；

②-2、假定S_v表示由原始左视点彩色图像和对应的原始左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t对原始左视点彩色图像进行编码得到的解码左视点彩色图像和以码率R_d对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像和以码率R_d对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，假定不考虑空洞填补等因素对虚拟视点图像绘制的影响，则将D_v(R_t，R_d)近似表示为：

其中，

表示求

的数学期望值，

表示求

的数学期望值，

表示求

的数学期望值；

②-3、由于深度图的编码失真会导致虚拟视点图像在对应像素点位置上发生几何偏移，因此本发明将

与左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的关系以线性方程近似表示为：

其中，ΔP_r表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的偏移量的大小，表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的平均几何偏移量，ω_r表示左视点对虚拟视点的加权参数，0≤ω_r≤1，ψ_r表示通过统计得到的线性方程(即线性方程

的斜率，斜率值的大小与图像内容有关；

②-4、对于水平相机阵列，平均几何偏移量

与以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)满足线性关系：

再根据

与

将与以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)的关系以线性方程近似表示为：

其中，f表示水平相机阵列中各相机的水平焦距，δ_x表示左视点与虚拟视点之间的基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值，

②-5、由于彩色图像的编码失真会直接传递到虚拟视点图像的对应像素点位置上，因此本发明将

与以码率R_t对原始左视点彩***进行编码的编码失真D_t(R_t)的关系以线性方程近似表示为：

②-6、以以码率R_t对原始左视点彩***进行编码的编码失真D_t(R_t)和以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)建立原始左视点彩***与原始左视点深度视频的码率分配模型，码率分配模型中对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合

③根据原始左视点彩***与原始左视点深度视频的码率分配模型，获取原始左视点彩***与原始左视点深度视频的最佳码率比重，记为α^opt，并且由于原始右视点彩***与原始左视点彩***的相似度非常高，原始右视点深度视频与原始左视点深度视频的相似度非常高，因此假定原始右视点彩***与原始右视点深度视频的最佳码率比重和原始左视点彩***与原始左视点深度视频的最佳码率比重一致。

在此具体实施例中，获取原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt的具体过程为：

③-1、以原始左视点彩***与原始左视点深度视频的码率比重α来表示原始左视点彩***与原始左视点深度视频的码率比重集合Ω，Ω＝{α|α＝0.2，0.3，0.4，0.5，0.6，0.7，0.8}，α∈Ω；

③-2、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取一个码率比重，记为α′，α′∈Ω，根据任取的码率比重α′计算对原始左视点彩***进行编码的码率和对原始左视点深度视频进行编码的码率，分别记为R′_t和R′_d，

其中，R_c1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率；

③-3、记以码率R′_t对原始左视点彩***进行编码的编码失真为D_t(R′_t)，记以码率R_d′对原始左视点深度视频进行编码的编码失真为D_d(R′_d)，根据D_t(R′_t)和D_d(R′_d)计算以(R′_t，R′_d)对原始左视点彩***和原始左视点深度视频进行编码的码率分配代价，记为COST′，COST′＝k₁×D_d(R′_d)+(1+ω_r ²)×D_t(R′_t)，其中，

ω_r表示左视点对虚拟视点的加权参数，0≤ω_r≤1，ψ_r表示通过统计得到的线性方程(即线性方程COST′＝k₁×D_d(R′_d)+(1+ω_r ²)×D_t(R′_t)，

的斜率，斜率值的大小与图像内容有关，f表示水平相机阵列中各相机的水平焦距，δ_x表示左视点与虚拟视点之间的基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值；

③-4、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取n个值不等于α′且各不相同的码率比重，分别记任取的n个码率比重为α″₁，…，α″_i，…，α_n″；然后从任取的n个码率比重中的第1个码率比重α″₁开始，重复执行步骤③-2至③-3，直至获得以任取的n个码率比重中的各个码率比重对原始左视点彩***和原始左视点深度视频进行编码对应的码率分配代价，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤6，1≤i≤n，α″₁表示任取的n个码率比重中的第1个码率比重，α″_i表示任取的n个码率比重中的第i个码率比重，α″_n表示任取的n个码率比重中的第n个码率比重，COST″₁表示α″₁对应的码率分配代价，COST″_i表示α″_i对应的码率分配代价，COST″_n表示α″_n对应的码率分配代价；

③-5、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的码率分配代价，记为COST_min，再将COST_min对应的码率比重作为原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt。

在本实施例中，为了说明原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt与对原始左视点彩***和原始左视点深度视频进行编码的总码率R_c1的关系，采用不同的总码率R_c1来获得原始左视点彩***与原始左视点深度视频的最佳码率比重，R_c1∈{1500kbps，2000kbps，2500kbps，3000kbps}，图4给出了“Ballet”在不同总码率R_c1条件下码率比重与码率分配代价的曲线图，图5给出了“Breakdancers”在不同总码率R_c1条件下码率比重与码率分配代价的曲线图，对比不同总码率R_c1条件下码率比重与码率分配代价的曲线，可以看出不同总码率R_cl的最小码率分配代价对应的码率比重差别并不是很大，因此在本实施例中对不同的总码率R_c1采用相同的最佳码率比重α^opt。

④根据设定的立体视频编码预测结构，对原始左视点彩***的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为

和

根据设定的立体视频编码预测结构，对原始右视点彩***的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为

和

⑤根据

和

分别计算原始左视点彩***与原始右视点彩***的码率比重及原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重，分别记为γ和η，

⑥根据α^opt和γ，分别计算对原始左视点彩***进行编码的目标码率和对原始右视点深度视频进行编码的目标码率，分别记为

和

假定仅对原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y进行编码而无需对原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量和第二色度分量预先分配码率，则根据α^opt、γ和η，计算对原始右视点彩***进行编码的目标码率，记为

假定将应当分配给原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频，则根据α^opt、γ和η，计算对原始左视点深度视频进行编码的目标码率，记为

其中，R_c2表示对原始左视点彩***、原始右视点彩***、原始左视点深度视频和原始右视点深度视频进行编码的总码率。

⑦根据对原始左视点彩***进行编码的目标码率

获取在目标码率

下对原始左视点彩***进行编码的初始编码量化参数，记为根据对原始右视点彩***进行编码的目标码率获取在目标码率

下对原始右视点彩***进行编码的初始编码量化参数，记为

根据对原始左视点深度视频进行编码的目标码率

获取在目标码率

下原始左视点深度视频的初始编码量化参数，记为

根据对原始右视点深度视频进行编码的目标码率

获取在目标码率

下原始右视点深度视频的初始编码量化参数，记为

在此具体实施例中，步骤⑦的具体过程为：

⑦-1、任取一个不大于30的编码量化参数作为原始左视点彩***的编码量化参数，记为QP_t0，采用该编码量化参数QP_t0对原始左视点彩色图像进行编码，得到以该编码量化参数QP_t0对原始左视点彩***进行编码的平均码率，记为R_t0；

⑦-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩***进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩***进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，其中，1≤i≤N，QP_ti＝QP_t0+i，在本实施例中，N＝9；

⑦-3、根据由QP_t0和QP_t1，…，QP_ti，…，QP_tN组成的编码量化参数集合{QP_tj|0≤j≤N}及采用编码量化参数集合{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩***进行编码的平均码率集合{R_tj|0≤j≤N}，通过线性拟合方法建立对原始左视点彩***进行编码的初始编码量化步长Q_t，step与对原始左视点彩***进行编码的平均码率集合{R_tj|0≤j≤N}中的任意一个码率R_t的关系模型，记为

其中，

QP_t表示初始编码量化参数集合{QP_tj|0≤j≤N}中的任意一个初始编码量化参数，K_t和C_t均为线性参数；

⑦-4、根据对原始左视点彩***进行编码的目标码率

计算在目标码率

下对原始左视点彩***进行编码的初始编码量化参数

⑦-5、根据对原始右视点彩***进行编码的目标码率计算在目标码率

下对原始右视点彩***进行编码的初始编码量化参数

⑦-6、任取一个不大于30的编码量化参数作为原始左视点深度视频的编码量化参数，记为QP_d0，采用该编码量化参数QP_d0对原始左视点深度视频进行编码，得到以该编码量化参数QP_d0对原始左视点深度视频进行编码的平均码率，记为R_d0；

⑦-7、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，其中，1≤i≤N，QP_di＝QP_d0+i，在本实施例中，N＝9；

⑦-8、根据由QP_d0和QP_d1，…，QP_di，…，QP_dN组成的编码量化参数集合{QP_dj|0≤j≤N}及采用编码量化参数集合{QP_dj|0≤j≤N}中的各个编码量化参数分别对原始左视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}，通过线性拟合方法建立对原始左视点深度视频进行编码的初始编码量化步长Q_d，step与对原始左视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}中的任意一个码率R_d的关系模型，记为

其中，

QP_d表示初始编码量化参数集合{QP_dj|0≤j≤N}中的任意一个初始编码量化参数，K_d和C_d为线性参数；

⑦-9、根据对原始左视点深度视频进行编码的目标码率

计算在目标码率

下对原始左视点深度视频进行编码的初始编码量化参数

⑦-10、根据对原始右视点深度视频进行编码的目标码率

计算在目标码率

下对原始右视点深度视频进行编码的初始编码量化参数

图6给出了对“Ballet”和“Breakdancers”的原始左视点彩***进行线性拟合的曲线示意图，图7给出了对“Ballet”和“Breakdancers”的原始左视点深度视频进行线性拟合的曲线示意图，对比原始的码率分布，可以看出线性关系模型能很好地反映初始编码量化步长与码率的关系。

⑧根据设定的立体视频编码预测结构，采用在目标码率

下对原始左视点彩***进行编码的初始编码量化参数

对原始左视点彩***的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点彩***码流；采用在目标码率

下对原始右视点彩***进行编码的初始编码量化参数仅对原始右视点彩***的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码，得到右视点彩***码流。

⑨根据设定的立体视频编码预测结构，采用在目标码率

下对原始左视点深度视频进行编码的初始编码量化参数

对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码，得到左视点深度视频码流；采用在目标码率

下对原始右视点深度视频进行编码的初始编码量化参数

对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到右视点深度视频码流。

⑩根据设定的立体视频编码预测结构，逐帧输出左视点彩***码流、右视点彩***码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流，然后服务端通过网络将最终的编码码流传输给用户端。

用户端分别对服务端发送来的左视点彩***码流、右视点彩***码流、左视点深度视频码流和右视点深度视频码流进行解码，得到左视点的彩***数据、右视点的彩***数据、左视点的深度视频数据和右视点的深度视频数据信息；然后利用解码得到的左视点的彩***数据、右视点的彩***数据和左视点的深度视频数据，通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V。

在此具体实施例中，通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V的具体过程为：

定义解码得到的右视点的彩***数据中当前正在处理的右视点彩色图像为当前右视点彩色图像，利用与当前右视点彩色图像同一时刻的左视点深度图像提供的深度信息，然后采用三维图像变换方法逐像素点计算与当前右视点彩色图像同一时刻的左视点彩色图像中的各个像素点在当前右视点彩色图像中的坐标位置；

判断当前右视点彩色图像中的像素s与同一时刻的左视点彩色图像中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前右视点彩色图像中的像素s的第一色度分量U(s)的最小成本J(U)和第二色度分量V(s)的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，

其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，w_sr为加权参数，

Y(s)为像素s的亮度分量，Y(r)为像素r的亮度分量，N(s)为以像素s为中心的3×3邻域窗口，σ_s为像素s的亮度分量Y(s)在邻域窗口N(s)内的标准差；

将解码得到的右视点的彩***数据中下一个待处理的右视点彩色图像作为当前右视点彩色图像，返回执行步骤

重构当前右视点彩色图像的第一色度分量和第二色度分量，直至解码得到的右视点的彩***数据中的所有右视点彩色图像的第一色度分量和第二色度分量重构完毕。

根据解码得到的左视点的彩***数据中各个时刻的左视点彩色图像、重构得到的各个时刻的右视点彩色图像以及解码得到的左视点的深度视频数据中各个时刻的左视点深度图像、解码得到的右视点的深度视频数据中各个时刻的右视点深度图像，采用基于深度图像的绘制得到虚拟视点图像。

在本实施例中，立体视频编码预测结构采用公知的HBP编码预测结构。

以下就利用本发明方法对“Ballet”、“Breakdancers”三维立体视频测试序列的编码性能和虚拟视点绘制性能进行比较。

将采用本发明方法的编码性能，与采用原始固定码率比重方法的编码性能进行比较，固定码率比重为0.2，设定帧组的尺寸为15，也即时域上需要编码的帧数为15，采用四组不同的总码率R_c2进行编码实验，R_c2∈{6000kbps，2600kbps，1200kbps，600kbps}。图8给出了“Ballet”经本发明方法编码与经原始固定码率比重方法编码的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图，图9给出了“Breakdancers”经本发明方法编码与经原始固定码率比重方法编码的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图，由于本发明方法抛弃了右视点彩色图像的第一色度分量和第二色度分量的码率，因此在总码率固定的条件下，可以为右视点彩色图像的亮度分量Y分配较多的码率来提高率失真性能，足以说明本发明方法是有效可行的。

将采用本发明方法的虚拟视点绘制性能，与采用原始固定码率比重方法虚拟视点绘制性能进行比较，图10给出了“Ballet”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩***图像的亮度分量Y的率失真性能曲线比较示意图，图11给出了“Breakdancers”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩***图像的亮度分量Y的率失真性能曲线比较示意图，由于采用两种方法进行编码的总码率是固定的，因此其编码率失真性能也是比较相似的，从图10和图11可以看出，采用本发明方法处理后，大大提高了虚拟视点图像的绘制性能，说明本发明方法中建立的码率分配模型是有效的。

将采用本发明与采用原始固定码率比重方法得到的虚拟视点图像进行比较。图12a给出了“Ballet”三维视频测试集的第5个参考视点的原始彩色图像，图12b给出了“Ballet”三维视频测试集的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像，图12c给出了“Ballet”三维视频测试集的第5个参考视点采用本发明方法得到的虚拟视点彩色图像，图13a给出了“Breakdancers”三维视频测试集的第5个参考视点的原始彩色图像，图13b给出了“Breakdancers”三维视频测试集的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像，图13c给出了“Breakdancers”三维视频测试集的第5个参考视点采用本发明方法得到的虚拟视点彩色图像，从图12a至图13c可以看出，采用本发明方法得到的虚拟视点图像，能够保持更好的对象轮廓信息，从而降低了由于深度图像的失真引起的映射过程中产生的背景对前景的覆盖。

Claims (5)

1.一种三维立体视频编码方法，其特征在于包括以下步骤：

①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩***和原始左视点深度视频，原始左视点彩***主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩***和原始右视点深度视频，原始右视点彩***主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；

将介于左视点与右视点之间的视点作为虚拟视点；

②建立原始左视点彩***与原始左视点深度视频的码率分配模型，以保证获得最优的编码性能和绘制质量；

③根据原始左视点彩***与原始左视点深度视频的码率分配模型，获取原始左视点彩***与原始左视点深度视频的最佳码率比重，记为α^opt，并假定原始右视点彩***与原始右视点深度视频的最佳码率比重和原始左视点彩***与原始左视点深度视频的最佳码率比重一致；

④根据设定的立体视频编码预测结构，对原始左视点彩***的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为

和

根据设定的立体视频编码预测结构，对原始右视点彩***的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，统计得到对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率，分别记为

和

⑤根据

和分别计算原始左视点彩***与原始右视点彩***的码率比重及原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重，分别记为γ和η，

⑥根据α^opt和γ，分别计算对原始左视点彩***进行编码的目标码率和对原始右视点深度视频进行编码的目标码率，分别记为

和

假定仅对原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y进行编码，则根据α^opt、γ和η，计算对原始右视点彩***进行编码的目标码率，记为

假定将应当分配给原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频，则根据α^opt、γ和η，计算对原始左视点深度视频进行编码的目标码率，记为

其中，R_c2表示对原始左视点彩***、原始右视点彩***、原始左视点深度视频和原始右视点深度视频进行编码的总码率；

⑦根据对原始左视点彩***进行编码的目标码率获取在目标码率下对原始左视点彩***进行编码的初始编码量化参数，记为

根据对原始右视点彩***进行编码的目标码率

获取在目标码率

下对原始右视点彩***进行编码的初始编码量化参数，记为

根据对原始左视点深度视频进行编码的目标码率获取在目标码率

下原始左视点深度视频的初始编码量化参数，记为根据对原始右视点深度视频进行编码的目标码率获取在目标码率

下原始右视点深度视频的初始编码量化参数，记为

⑧根据设定的立体视频编码预测结构，采用在目标码率

下对原始左视点彩***进行编码的初始编码量化参数

对原始左视点彩***的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码，得到左视点彩***码流；采用在目标码率

下对原始右视点彩***进行编码的初始编码量化参数

仅对原始右视点彩***的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码，得到右视点彩***码流；

⑨根据设定的立体视频编码预测结构，采用在目标码率下对原始左视点深度视频进行编码的初始编码量化参数

对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码，得到左视点深度视频码流；采用在目标码率

下对原始右视点深度视频进行编码的初始编码量化参数

对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到右视点深度视频码流；

⑩根据设定的立体视频编码预测结构，逐帧输出左视点彩***码流、右视点彩***码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流，然后服务端通过网络将最终的编码码流传输给用户端；

用户端分别对服务端发送来的左视点彩***码流、右视点彩***码流、左视点深度视频码流和右视点深度视频码流进行解码，得到左视点的彩***数据、右视点的彩***数据、左视点的深度视频数据和右视点的深度视频数据信息；然后利用解码得到的左视点的彩***数据、右视点的彩***数据和左视点的深度视频数据，通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V；

根据解码得到的左视点的彩***数据中各个时刻的左视点彩色图像、重构得到的各个时刻的右视点彩色图像以及解码得到的左视点的深度视频数据中各个时刻的左视点深度图像、解码得到的右视点的深度视频数据中各个时刻的右视点深度图像，采用基于深度图像的绘制得到虚拟视点图像。

2.根据权利要求1所述的一种三维立体视频编码方法，其特征在于所述的步骤②的具体过程为：

②-1、通过最小化概率密度函数获取对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合，记为

其中，表示最小化概率密度函数，Q表示对原始左视点彩***和原始左视点深度视频进行编码的所有的码率组合的集合，(R_t，R_d)∈Q，R_t+R_d≤R_c1，R_c1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率，R_t表示对原始左视点彩***进行编码的码率，R_d表示对原始左视点深度视频进行编码的码率，D_t(R_t)表示以码率R_t对原始左视点彩***进行编码的编码失真，D_v(R_t，R_d)表示对以码率R_t对原始左视点彩***进行编码得到的解码左视点彩***和以码率R_d对对应的原始左视点深度视频进行编码得到的解码左视点深度视频进行虚拟视点图像绘制的绘制失真；

②-2、假定S_v表示由原始左视点彩色图像和对应的原始左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由以码率R_t对原始左视点彩色图像进行编码得到的解码左视点彩色图像和以码率R_d对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，

表示由原始左视点彩色图像和以码率R_d对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像，则将D_v(R_t，R_d)近似表示为：

其中，

表示求的数学期望值，

表示求

的数学期望值，

表示求

的数学期望值；

②-3、将

与左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的关系以线性方程近似表示为：

其中，ΔP_r表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的偏移量的大小，

表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的平均几何偏移量，ω_r表示左视点对虚拟视点的加权参数，0≤ω_r≤1，ψ_r表示通过统计得到的线性方程的斜率，斜率值的大小与图像内容有关；

②-4、对于水平相机阵列，平均几何偏移量

与以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)满足线性关系：

再根据

与

将

与以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)的关系以线性方程近似表示为：

其中，f表示水平相机阵列中各相机的水平焦距，δ_x表示左视点与虚拟视点之间的基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值，

②-5、将

与以码率R_t对原始左视点彩***进行编码的编码失真D_t(R_t)的关系以线性方程近似表示为：

②-6、以以码率R_t对原始左视点彩***进行编码的编码失真D_t(R_t)和以码率R_d对原始左视点深度视频进行编码的编码失真D_d(R_d)建立原始左视点彩***与原始左视点深度视频的码率分配模型，码率分配模型中对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合

3.根据权利要求1或2所述的一种三维立体视频编码方法，其特征在于所述的步骤③中获取原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt的具体过程为：

③-1、以原始左视点彩***与原始左视点深度视频的码率比重α来表示原始左视点彩***与原始左视点深度视频的码率比重集合Ω，Ω＝{α|α＝0.2，0.3，0.4，0.5，0.6，0.7，0.8}，α∈Ω；

③-2、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取一个码率比重，记为α′，α′∈Ω，根据任取的码率比重α′计算对原始左视点彩***进行编码的码率和对原始左视点深度视频进行编码的码率，分别记为R′_t和R′_d，

其中，R_c1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率；

③-3、记以码率R′_t对原始左视点彩***进行编码的编码失真为D_t(R′_t)，记以码率R′_d对原始左视点深度视频进行编码的编码失真为D_d(R′_d)，根据D_t(R′_t)和D_d(R′_d)计算以(R′_t，R′_d)对原始左视点彩***和原始左视点深度视频进行编码的码率分配代价，记为COST′，COST′＝k₁×D_d(R′_d)+(1+ω_r ²)×D_t(R′_t)，其中，

ω_r表示左视点对虚拟视点的加权参数，0≤ω_r≤1，ψ_r表示通过统计得到的线性方程的斜率，斜率值的大小与图像内容有关，f表示水平相机阵列中各相机的水平焦距，δ_x表示左视点与虚拟视点之间的基线距离，Z_near表示最小的场景深度值，Z_far表示最大的场景深度值；

③-4、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取n个值不等于α′且各不相同的码率比重，分别记任取的n个码率比重为α″₁，…，α″_i，…，α″_n；然后从任取的n个码率比重中的第1个码率比重α″₁开始，重复执行步骤③-2至③-3，直至获得以任取的n个码率比重中的各个码率比重对原始左视点彩***和原始左视点深度视频进行编码对应的码率分配代价，分别记为COST″₁，…，COST″_i，…，COST″_n，其中，2≤n≤6，1≤i≤n，α″₁表示任取的n个码率比重中的第1个码率比重，α″_i表示任取的n个码率比重中的第i个码率比重，α″_n表示任取的n个码率比重中的第n个码率比重，COST″₁表示α″₁对应的码率分配代价，COST″_i表示α″_i对应的码率分配代价，COST″_n表示α″_n对应的码率分配代价；

③-5、从COST′和{COST″₁，…，COST″_i，…，COST″_n}中找出值最小的码率分配代价，记为COST_min，再将COST_min对应的码率比重作为原始左视点彩***与原始左视点深度视频的最佳码率比重α^opt。

4.根据权利要求3所述的一种三维立体视频编码方法，其特征在于所述的步骤⑦的具体过程为：

⑦-1、任取一个不大于30的编码量化参数作为原始左视点彩***的编码量化参数，记为QP_t0，采用该编码量化参数QP_t0对原始左视点彩色图像进行编码，得到以该编码量化参数QP_t0对原始左视点彩***进行编码的平均码率，记为R_t0；

⑦-2、选取N个大于QP_t0且各不相同的编码量化参数，分别记为QP_t1，…，QP_ti，…，QP_tN，采用该N个不同的编码量化参数QP_t1，…，QP_ti，…，QP_tN分别对原始左视点彩***进行编码，分别得到以该N个不同的编码量化参数对原始左视点彩***进行编码的平均码率，对应的分别记为R_t1，…，R_ti，…，R_tN，其中，1≤i≤N，QP_ti＝QP_t0+i；

⑦-3、根据由QP_t0和QP_t1，…，QP_ti，…，QP_tN组成的编码量化参数集合{QP_tj|0≤j≤N}及采用编码量化参数集合{QP_tj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩***进行编码的平均码率集合{R_ti|0≤j≤N}，通过线性拟合方法建立对原始左视点彩***进行编码的初始编码量化步长Q_t，step与对原始左视点彩***进行编码的平均码率集合{R_tj|0≤j≤N}中的任意一个码率R_t的关系模型，记为

其中，

QP_t表示初始编码量化参数集合{QP_tj|0≤j≤N}中的任意一个初始编码量化参数，K_t和C_t均为线性参数；

⑦-4、根据对原始左视点彩***进行编码的目标码率

计算在目标码率

下对原始左视点彩***进行编码的初始编码量化参数

⑦-5、根据对原始右视点彩***进行编码的目标码率

计算在目标码率下对原始右视点彩***进行编码的初始编码量化参数

⑦-6、任取一个不大于30的编码量化参数作为原始左视点深度视频的编码量化参数，记为QP_d0，采用该编码量化参数QP_d0对原始左视点深度视频进行编码，得到以该编码量化参数QP_d0对原始左视点深度视频进行编码的平均码率，记为R_d0；

⑦-7、选取N个大于QP_d0且各不相同的编码量化参数，分别记为QP_d1，…，QP_di，…，QP_dN，采用该N个不同的编码量化参数QP_d1，…，QP_di，…，QP_dN分别对原始左视点深度视频进行编码，分别得到以该N个不同的编码量化参数对原始左视点深度视频进行编码的平均码率，对应的分别记为R_d1，…，R_di，…，R_dN，其中，1≤i≤N，QP_di＝QP_d0+i；

⑦-8、根据由QP_d0和QP_d1，…，QP_di，…，QP_dN组成的编码量化参数集合{QP_dj|0≤j≤N}及采用编码量化参数集合{QP_dj|0≤j≤N}中的各个编码量化参数分别对原始左视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}，通过线性拟合方法建立对原始左视点深度视频进行编码的初始编码量化步长Q_d，setp与对原始左视点深度视频进行编码的平均码率集合{R_dj|0≤j≤N}中的任意一个码率R_d的关系模型，记为

其中，

QP_d表示初始编码量化参数集合{QP_dj|0≤j≤N}中的任意一个初始编码量化参数，K_d和C_d为线性参数；

⑦-9、根据对原始左视点深度视频进行编码的目标码率

计算在目标码率

下对原始左视点深度视频进行编码的初始编码量化参数

⑦-10、根据对原始右视点深度视频进行编码的目标码率

计算在目标码率

下对原始右视点深度视频进行编码的初始编码量化参数

5.根据权利要求1所述的一种三维立体视频编码方法，其特征在于所述的步骤

中通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V的具体过程为：

定义解码得到的右视点的彩***数据中当前正在处理的右视点彩色图像为当前右视点彩色图像，利用与当前右视点彩色图像同一时刻的左视点深度图像提供的深度信息，然后采用三维图像变换方法逐像素点计算与当前右视点彩色图像同一时刻的左视点彩色图像中的各个像素点在当前右视点彩色图像中的坐标位置；

判断当前右视点彩色图像中的像素s与同一时刻的左视点彩色图像中与像素s相对应的像素r的亮度分量是否相同，如果像素s与像素r的亮度分量相同，则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同，否则，假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系，U(s)＝aY(s)+b，V(s)＝cY(s)+d，通过计算当前右视点彩色图像中的像素s的第一色度分量U(s)的最小成本J(U)和第二色度分量V(s)的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s)，

其中，U(r)为像素r的第一色度分量，V(r)为像素r的第二色度分量，a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数，w_sr为加权参数，

Y(s)为像素s的亮度分量，Y(r)为像素r的亮度分量，N(s)为以像素s为中心的3×3邻域窗口，σ_s为像素s的亮度分量Y(s)在邻域窗口N(s)内的标准差；

将解码得到的右视点的彩***数据中下一个待处理的右视点彩色图像作为当前右视点彩色图像，返回执行步骤

重构当前右视点彩色图像的第一色度分量和第二色度分量，直至解码得到的右视点的彩***数据中的所有右视点彩色图像的第一色度分量和第二色度分量重构完毕。

Images