CN102065296A - 一种三维立体视频编码方法 - Google Patents
一种三维立体视频编码方法 Download PDFInfo
- Publication number
- CN102065296A CN102065296A CN 201110000937 CN201110000937A CN102065296A CN 102065296 A CN102065296 A CN 102065296A CN 201110000937 CN201110000937 CN 201110000937 CN 201110000937 A CN201110000937 A CN 201110000937A CN 102065296 A CN102065296 A CN 102065296A
- Authority
- CN
- China
- Prior art keywords
- video
- original
- left viewpoint
- viewpoint
- original left
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种三维立体视频编码方法,其通过建立彩***与深度视频的码率分配模型,分别获得对立体彩***和立体深度视频编码的目标码率和初始编码量化参数,然后根据目标码率和初始编码量化参数分别对立体彩***和立体深度视频进行编码,在用户端利用解码得到的立体彩***数据和立体深度视频数据,采用基于深度图像的绘制得到虚拟视点图像,本发明方法在保证立体图像的整体质量的前提下,大大提高了虚拟绘制图像质量。
Description
技术领域
本发明涉及一种视频信号的编码压缩方法,尤其是涉及一种三维立体视频编码方法。
背景技术
进入本世纪以来,随着数字2D(二维)视频技术日趋成熟,以及计算机、通信及网络技术的快速发展,引发了人们对新一代视频***的强烈需求。现行的二维视频***在表现自然场景时,难以满足用户的立体感和视点交互等的需求。三维视频***由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎,在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有广泛的应用前景。三维视频***的立体技术是利用人眼的双目视差原理,通过对双目成像的左右视点图像的感知,形成双目视差,使大脑获得深度感知,形成深度感和逼真感。通常,三维视频***如图1所示,其主要包括采集、视频编码、视频传输、视频解码和3D(三维)显示等模块。
多视点视频加深度(multi-view video plus depth,MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息,通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息,采用基于深度图像的绘制(Depth Image Based Rendering,DIBR)技术来合成三维场景的虚拟视点图像。针对深度视频图像编码,目前已有基于小波分解(waveletdecomposition)的方法、基于平板分解(platelet decomposition)的方法对深度视频图像进行编码,也可以直接采用立体/多视点视频编码技术对深度视频序列进行编码。
然而,现有的立体/多视点视频编码的研究更多地考虑如何提升编码效率,而对MVD数据的编码应当有别于现有的视频编码方法,这是因为:一方面,由于深度编码失真会对虚拟视点绘制产生影响,如何在彩***与深度视频之间进行合理的码率分配,以保证获得最优的编码性能和绘制质量是一个亟需解决的问题;另一方面,由于绘制的虚拟视点图像没有原始视点图像作为参考,如何通过最佳的曲线逼近来实现码率分配模型,以及如何通过码率分配模型对目标码率进行分配,如何在编码过程中对目标码率进行控制,以提高方法的有效性和鲁棒性,都是对MVD数据的编码过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够合理地分配彩***与深度视频的编码码率,有效地提高虚拟视点图像质量的三维立体视频编码方法。
本发明解决上述技术问题所采用的技术方案为:一种三维立体视频编码方法,其特征在于包括以下步骤:
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频,在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频,原始左视点三维视频包括原始左视点彩***和原始左视点深度视频,原始左视点彩***主要由若干个帧组的原始左视点彩色图像组成,原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成,原始右视点三维视频包括原始右视点彩***和原始右视点深度视频,原始右视点彩***主要由若干个帧组的原始右视点彩色图像组成,原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成,其中,YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V;
将介于左视点与右视点之间的视点作为虚拟视点;
②由于原始左视点彩***的编码失真和原始左视点深度视频的编码失真都会对虚拟视点图像绘制产生影响,故建立原始左视点彩***与原始左视点深度视频的码率分配模型,以保证获得最优的编码性能和绘制质量;
③根据原始左视点彩***与原始左视点深度视频的码率分配模型,获取原始左视点彩***与原始左视点深度视频的最佳码率比重,记为αopt,并假定原始右视点彩***与原始右视点深度视频的最佳码率比重和原始左视点彩***与原始左视点深度视频的最佳码率比重一致;
④根据设定的立体视频编码预测结构,对原始左视点彩***的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,统计得到对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率,分别记为和
根据设定的立体视频编码预测结构,对原始右视点彩***的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,统计得到对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率,分别记为和
⑤根据和分别计算原始左视点彩***与原始右视点彩***的码率比重及原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重,分别记为γ和η,
⑥根据αopt和γ,分别计算对原始左视点彩***进行编码的目标码率和对原始右视点深度视频进行编码的目标码率,分别记为和 假定仅对原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y进行编码,则根据αopt、γ和η,计算对原始右视点彩***进行编码的目标码率,记为 假定将应当分配给原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频,则根据αopt、γ和η,计算对原始左视点深度视频进行编码的目标码率,记为 其中,Rc2表示对原始左视点彩***、原始右视点彩***、原始左视点深度视频和原始右视点深度视频进行编码的总码率;
⑦根据对原始左视点彩***进行编码的目标码率获取在目标码率下对原始左视点彩***进行编码的初始编码量化参数,记为根据对原始右视点彩***进行编码的目标码率获取在目标码率下对原始右视点彩***进行编码的初始编码量化参数,记为根据对原始左视点深度视频进行编码的目标码率获取在目标码率下原始左视点深度视频的初始编码量化参数,记为根据对原始右视点深度视频进行编码的目标码率获取在目标码率下原始右视点深度视频的初始编码量化参数,记为
⑧根据设定的立体视频编码预测结构,采用在目标码率下对原始左视点彩***进行编码的初始编码量化参数对原始左视点彩***的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,得到左视点彩***码流;采用在目标码率下对原始右视点彩***进行编码的初始编码量化参数仅对原始右视点彩***的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码,得到右视点彩***码流;
⑨根据设定的立体视频编码预测结构,采用在目标码率下对原始左视点深度视频进行编码的初始编码量化参数对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码,得到左视点深度视频码流;采用在目标码率下对原始右视点深度视频进行编码的初始编码量化参数对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码,得到右视点深度视频码流;
⑩根据设定的立体视频编码预测结构,逐帧输出左视点彩***码流、右视点彩***码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流,然后服务端通过网络将最终的编码码流传输给用户端;
用户端分别对服务端发送来的左视点彩***码流、右视点彩***码流、左视点深度视频码流和右视点深度视频码流进行解码,得到左视点的彩***数据、右视点的彩***数据、左视点的深度视频数据和右视点的深度视频数据信息;然后利用解码得到的左视点的彩***数据、右视点的彩***数据和左视点的深度视频数据,通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V;
根据解码得到的左视点的彩***数据中各个时刻的左视点彩色图像、重构得到的各个时刻的右视点彩色图像以及解码得到的左视点的深度视频数据中各个时刻的左视点深度图像、解码得到的右视点的深度视频数据中各个时刻的右视点深度图像,采用基于深度图像的绘制得到虚拟视点图像。
所述的步骤②的具体过程为:
②-1、通过最小化概率密度函数获取对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合,记为其中,表示最小化概率密度函数,Q表示对原始左视点彩***和原始左视点深度视频进行编码的所有的码率组合的集合,(Rt,Rd)∈Q,Rt+Rd≤Rc1,Rc1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率,Rt表示对原始左视点彩***进行编码的码率,Rd表示对原始左视点深度视频进行编码的码率,Dt(Rt)表示以码率Rt对原始左视点彩***进行编码的编码失真,Dv(Rt,Rd)表示对以码率Rt对原始左视点彩***进行编码得到的解码左视点彩***和以码率Rd对对应的原始左视点深度视频进行编码得到的解码左视点深度视频进行虚拟视点图像绘制的绘制失真;
②-2、假定Sv表示由原始左视点彩色图像和对应的原始左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,表示由以码率Rt对原始左视点彩色图像进行编码得到的解码左视点彩色图像和以码率Rd对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,表示由原始左视点彩色图像和以码率Rd对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,则将Dv(Rt,Rd)近似表示为:其中,表示求的数学期望值,表示求的数学期望值,表示求的数学期望值;
②-3、将与左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的关系以线性方程近似表示为:其中,ΔPr表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的偏移量的大小,表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的平均几何偏移量,ωr表示左视点对虚拟视点的加权参数,0≤ωr≤1,ψr表示通过统计得到的线性方程的斜率,斜率值的大小与图像内容有关;
②-4、对于水平相机阵列,平均几何偏移量与以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)满足线性关系:再根据与将与以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)的关系以线性方程近似表示为:其中,f表示水平相机阵列中各相机的水平焦距,δx表示左视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,
②-6、以以码率Rt对原始左视点彩***进行编码的编码失真Dt(Rt)和以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)建立原始左视点彩***与原始左视点深度视频的码率分配模型,码率分配模型中对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合
所述的步骤③中获取原始左视点彩***与原始左视点深度视频的最佳码率比重αopt的具体过程为:
③-1、以原始左视点彩***与原始左视点深度视频的码率比重α来表示原始左视点彩***与原始左视点深度视频的码率比重集合Ω,Ω={α|α=0.2,0.3,0.4,0.5,0.6,0.7,0.8},α∈Ω;
③-2、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取一个码率比重,记为α′,α′∈Ω,根据任取的码率比重α′计算对原始左视点彩***进行编码的码率和对原始左视点深度视频进行编码的码率,分别记为R′t和R′d, 其中,Rc1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率;
③-3、记以码率R′t对原始左视点彩***进行编码的编码失真为Dt(R′t),记以码率R′d对原始左视点深度视频进行编码的编码失真为Dd(R′d),根据Dt(R′t)和Dd(R′d)计算以(R′t,R′d)对原始左视点彩***和原始左视点深度视频进行编码的码率分配代价,记为COST′,COST′=k1×Dd(R′d)+(1+ωr 2)×Dt(R′t),其中,ωr表示左视点对虚拟视点的加权参数,0≤ωr≤1,ψr表示通过统计得到的线性方程的斜率,斜率值的大小与图像内容有关,f表示水平相机阵列中各相机的水平焦距,δx表示左视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值;
③-4、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取n个值不等于α′且各不相同的码率比重,分别记任取的n个码率比重为α″1,…,α″i,…,α″n;然后从任取的n个码率比重中的第1个码率比重α″1开始,重复执行步骤③-2至③-3,直至获得以任取的n个码率比重中的各个码率比重对原始左视点彩***和原始左视点深度视频进行编码对应的码率分配代价,分别记为COST″1,…,COST″i,…,COST″n,其中,2≤n≤6,1≤i≤n,α″1表示任取的n个码率比重中的第1个码率比重,α″i表示任取的n个码率比重中的第i个码率比重,α″n表示任取的n个码率比重中的第n个码率比重,COST″1表示α″1对应的码率分配代价,COST″i表示α″i对应的码率分配代价,COST″n表示α″n对应的码率分配代价;
③-5、从COST′和{COST″1,…,COST″i,…,COST″n}中找出值最小的码率分配代价,记为COSTmin,再将COSTmin对应的码率比重作为原始左视点彩***与原始左视点深度视频的最佳码率比重αopt。
所述的步骤⑦的具体过程为:
⑦-1、任取一个不大于30的编码量化参数作为原始左视点彩***的编码量化参数,记为QPt0,采用该编码量化参数QPt0对原始左视点彩色图像进行编码,得到以该编码量化参数QPt0对原始左视点彩***进行编码的平均码率,记为Rt0;
⑦-2、选取N个大于QPt0且各不相同的编码量化参数,分别记为QPt1,…,QPti,…,QPtN,采用该N个不同的编码量化参数QPt1,…,QPti,…,QPtN分别对原始左视点彩***进行编码,分别得到以该N个不同的编码量化参数对原始左视点彩***进行编码的平均码率,对应的分别记为Rt1,…,Rti,…,RtN,其中,1≤i≤N,QPti=QPt0+i;
⑦-3、根据由QPt0和QPt1,…,QPti,…,QPtN组成的编码量化参数集合{QPtj|0≤j≤N}及采用编码量化参数集合{QPtj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩***进行编码的平均码率集合{Rtj|0≤j≤N},通过线性拟合方法建立对原始左视点彩***进行编码的初始编码量化步长Qt,step与对原始左视点彩***进行编码的平均码率集合{Rtj|0≤j≤N}中的任意一个码率Rt的关系模型,记为其中,QPt表示初始编码量化参数集合{QPtj|0≤j≤N}中的任意一个初始编码量化参数,Kt和Ct均为线性参数;
⑦-6、任取一个不大于30的编码量化参数作为原始左视点深度视频的编码量化参数,记为QPd0,采用该编码量化参数QPd0对原始左视点深度视频进行编码,得到以该编码量化参数QPd0对原始左视点深度视频进行编码的平均码率,记为Rd0;
⑦-7、选取N个大于QPd0且各不相同的编码量化参数,分别记为QPd1,…,QPdi,…,QPdN,采用该N个不同的编码量化参数QPd1,…,QPdi,…,QPdN分别对原始左视点深度视频进行编码,分别得到以该N个不同的编码量化参数对原始左视点深度视频进行编码的平均码率,对应的分别记为Rd1,…,Rdi,…,RdN,其中,1≤i≤N,QPdi=QPd0+i;
⑦-8、根据由QPd0和QPd1,…,QPdi,…,QPdN组成的编码量化参数集合{QPdj|0≤j≤N}及采用编码量化参数集合{QPdj|0≤j≤N}中的各个编码量化参数分别对原始左视点深度视频进行编码的平均码率集合{Rdj|0≤j≤N},通过线性拟合方法建立对原始左视点深度视频进行编码的初始编码量化步长Qd,step与对原始左视点深度视频进行编码的平均码率集合{Rdj|0≤j≤N}中的任意一个码率Rd的关系模型,记为其中,QPd表示初始编码量化参数集合{QPdj|0≤j≤N}中的任意一个初始编码量化参数,Kd和Cd为线性参数;
定义解码得到的右视点的彩***数据中当前正在处理的右视点彩色图像为当前右视点彩色图像,利用与当前右视点彩色图像同一时刻的左视点深度图像提供的深度信息,然后采用三维图像变换方法逐像素点计算与当前右视点彩色图像同一时刻的左视点彩色图像中的各个像素点在当前右视点彩色图像中的坐标位置;
判断当前右视点彩色图像中的像素s与同一时刻的左视点彩色图像中与像素s相对应的像素r的亮度分量是否相同,如果像素s与像素r的亮度分量相同,则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同,否则,假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系,U(s)=aY(s)+b,V(s)=cY(s)+d,通过计算当前右视点彩色图像中的像素s的第一色度分量U(s)的最小成本J(U)和第二色度分量V(s)的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s), 其中,U(r)为像素r的第一色度分量,V(r)为像素r的第二色度分量,a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数,wsr为加权参数,Y(s)为像素s的亮度分量,Y(r)为像素r的亮度分量,N(s)为以像素s为中心的3×3邻域窗口,σs为像素s的亮度分量Y(s)在邻域窗口N(s)内的标准差;
将解码得到的右视点的彩***数据中下一个待处理的右视点彩色图像作为当前右视点彩色图像,返回执行步骤重构当前右视点彩色图像的第一色度分量和第二色度分量,直至解码得到的右视点的彩***数据中的所有右视点彩色图像的第一色度分量和第二色度分量重构完毕。
与现有技术相比,本发明的优点在于:
1)本发明方法根据深度图像的编码失真和彩色图像的编码失真建立深度图像与彩色图像的码率分配模型,避免了复杂的虚拟视点绘制操作,大大提高了模型的有效性。
2)本发明方法在总码率限制条件下,通过抛弃右视点彩色图像的第一色度分量和第二色度分量,并将节省的码率分配给左视点深度图像,能最大限度地提高虚拟视点图像的质量。
3)本发明方法通过建立彩***与深度视频的码率分配模型,分别获得对立体彩***和立体深度视频编码的目标码率和初始编码量化参数,然后根据目标码率和初始编码量化参数分别对立体彩***和立体深度视频进行编码,在用户端利用解码得到的立体彩***数据和立体深度视频数据,采用基于深度图像的绘制得到虚拟视点图像,这一编码流程有别于传统的立体视频编码方法,在保证立体图像的整体质量的前提下,大大提高了虚拟绘制图像质量。
附图说明
图1为典型的三维视频***的组成示意图;
图2a为“Ballet”三维视频测试序列的第4个参考视点的一幅彩色图像;
图2b为“Ballet”三维视频测试序列的第6个参考视点的一幅彩色图像;
图2c为“Breakdancers”三维视频测试序列的第4个参考视点的一幅彩色图像;
图2d为“Breakdancers”三维视频测试序列集的第6个参考视点的一幅彩色图像;
图3a为图2a所示的彩色图像对应的深度图像;
图3b为图2b所示的彩色图像对应的深度图像;
图3c为图2c所示的彩色图像对应的深度图像;
图3d为图2d所示的彩色图像对应的深度图像;
图4为“Ballet”三维视频测试序列的码率比重与码率分配代价的曲线图;
图5为“Breakdancers”三维视频测试序列的码率比重与码率分配代价的曲线图;
图6为“Ballet”和“Breakdancers”三维视频测试序列的原始左视点彩***的初始量化步长与码率的拟合曲线图;
图7为“Ballet”和“Breakdancers”三维视频测试序列的原始左视点深度视频的初始量化步长与码率的拟合曲线图;
图8为“Ballet”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图;
图9为“Breakdancers”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图;
图10为“Ballet”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图;
图11为“Breakdancers”三维视频测试序列采用本发明方法与采用原始固定码率比重方法的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图;
图12a为“Ballet”三维视频测试序列的第5个参考视点的原始彩色图像;
图12b为“Ballet”三维视频测试序列的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像;
图12c为“Ballet”三维视频测试序列的第5个参考视点采用本发明方法得到的虚拟视点彩色图像;
图13a为“Breakdancers”三维视频测试序列的第5个参考视点的原始彩色图像;
图13b为“Breakdancers”三维视频测试序列的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像;
图13c为“Breakdancers”三维视频测试序列的第5个参考视点采用本发明方法得到的虚拟视点彩色图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种三维立体视频编码方法,其主要包括以下步骤:
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频,在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频,原始左视点三维视频包括原始左视点彩***和原始左视点深度视频,原始左视点彩***主要由若干个帧组的原始左视点彩色图像组成,原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成,原始右视点三维视频包括原始右视点彩***和原始右视点深度视频,原始右视点彩***主要由若干个帧组的原始右视点彩色图像组成,原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成,其中,YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V;将介于左视点与右视点之间的视点作为虚拟视点。
在本实施中,采用美国微软公司提供的三维视频测试序列“Ballet”和“Breakdancers”作为原始三维立体视频,这两个三维视频测试序列均包括8个参考视点的8幅彩色图像和对应的8幅深度图像,各幅彩色图像和各幅深度图像的分辨率均为1024×768,将第4个参考视点作为原始三维立体视频的左视点,将第6个参考视点作为原始三维立体视频的右视点,将第5个视点作为原始三维立体视频的虚拟视点。图2a和图2b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像;图2c和图2d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像;图3a和图3b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像所对应的深度图像;图3c和图3d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像所对应的深度图像。
②由于深度是用来表征场景几何的负载信息,因此深度信息的编码质量会对后期虚拟视点图像的绘制产生影响,并且由于人眼感知是对彩***图像进行的,因此彩***图像的编码质量也会直接对后期虚拟视点图像的绘制质量产生影响。由于原始左视点彩***的编码失真和原始左视点深度视频的编码失真都会对虚拟视点图像绘制产生影响,因此本发明建立原始左视点彩***与原始左视点深度视频的码率分配模型,以保证获得最优的编码性能和绘制质量。
在此具体实施例中,建立原始左视点彩***与原始左视点深度视频的码率分配模型的具体过程为:
②-1、在对原始左视点彩***和原始左视点深度视频进行编码的总码率限制的条件下,通过最小化概率密度函数获取对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合,记为其中,表示最小化概率密度函数,Q表示对原始左视点彩***和原始左视点深度视频进行编码的所有的码率组合的集合,(Rt,Rd)∈Q,Rt+Rd≤Rc1,Rc1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率,Rt表示对原始左视点彩***进行编码的码率,Rd表示对原始左视点深度视频进行编码的码率,Dt(Rt)表示以码率Rt对原始左视点彩***进行编码的编码失真,Dv(Rt,Rd)表示对以码率Rt对原始左视点彩***进行编码得到的解码左视点彩***和以码率Rd对对应的原始左视点深度视频进行编码得到的解码左视点深度视频进行虚拟视点图像绘制的绘制失真;
②-2、假定Sv表示由原始左视点彩色图像和对应的原始左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,表示由以码率Rt对原始左视点彩色图像进行编码得到的解码左视点彩色图像和以码率Rd对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,表示由原始左视点彩色图像和以码率Rd对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,假定不考虑空洞填补等因素对虚拟视点图像绘制的影响,则将Dv(Rt,Rd)近似表示为:
②-3、由于深度图的编码失真会导致虚拟视点图像在对应像素点位置上发生几何偏移,因此本发明将与左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的关系以线性方程近似表示为:其中,ΔPr表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的偏移量的大小,表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的平均几何偏移量,ωr表示左视点对虚拟视点的加权参数,0≤ωr≤1,ψr表示通过统计得到的线性方程(即线性方程的斜率,斜率值的大小与图像内容有关;
再根据与将与以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)的关系以线性方程近似表示为:其中,f表示水平相机阵列中各相机的水平焦距,δx表示左视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,
②-6、以以码率Rt对原始左视点彩***进行编码的编码失真Dt(Rt)和以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)建立原始左视点彩***与原始左视点深度视频的码率分配模型,码率分配模型中对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合
③根据原始左视点彩***与原始左视点深度视频的码率分配模型,获取原始左视点彩***与原始左视点深度视频的最佳码率比重,记为αopt,并且由于原始右视点彩***与原始左视点彩***的相似度非常高,原始右视点深度视频与原始左视点深度视频的相似度非常高,因此假定原始右视点彩***与原始右视点深度视频的最佳码率比重和原始左视点彩***与原始左视点深度视频的最佳码率比重一致。
在此具体实施例中,获取原始左视点彩***与原始左视点深度视频的最佳码率比重αopt的具体过程为:
③-1、以原始左视点彩***与原始左视点深度视频的码率比重α来表示原始左视点彩***与原始左视点深度视频的码率比重集合Ω,Ω={α|α=0.2,0.3,0.4,0.5,0.6,0.7,0.8},α∈Ω;
③-2、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取一个码率比重,记为α′,α′∈Ω,根据任取的码率比重α′计算对原始左视点彩***进行编码的码率和对原始左视点深度视频进行编码的码率,分别记为R′t和R′d, 其中,Rc1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率;
③-3、记以码率R′t对原始左视点彩***进行编码的编码失真为Dt(R′t),记以码率Rd′对原始左视点深度视频进行编码的编码失真为Dd(R′d),根据Dt(R′t)和Dd(R′d)计算以(R′t,R′d)对原始左视点彩***和原始左视点深度视频进行编码的码率分配代价,记为COST′,COST′=k1×Dd(R′d)+(1+ωr 2)×Dt(R′t),其中,ωr表示左视点对虚拟视点的加权参数,0≤ωr≤1,ψr表示通过统计得到的线性方程(即线性方程COST′=k1×Dd(R′d)+(1+ωr 2)×Dt(R′t),的斜率,斜率值的大小与图像内容有关,f表示水平相机阵列中各相机的水平焦距,δx表示左视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值;
③-4、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取n个值不等于α′且各不相同的码率比重,分别记任取的n个码率比重为α″1,…,α″i,…,αn″;然后从任取的n个码率比重中的第1个码率比重α″1开始,重复执行步骤③-2至③-3,直至获得以任取的n个码率比重中的各个码率比重对原始左视点彩***和原始左视点深度视频进行编码对应的码率分配代价,分别记为COST″1,…,COST″i,…,COST″n,其中,2≤n≤6,1≤i≤n,α″1表示任取的n个码率比重中的第1个码率比重,α″i表示任取的n个码率比重中的第i个码率比重,α″n表示任取的n个码率比重中的第n个码率比重,COST″1表示α″1对应的码率分配代价,COST″i表示α″i对应的码率分配代价,COST″n表示α″n对应的码率分配代价;
③-5、从COST′和{COST″1,…,COST″i,…,COST″n}中找出值最小的码率分配代价,记为COSTmin,再将COSTmin对应的码率比重作为原始左视点彩***与原始左视点深度视频的最佳码率比重αopt。
在本实施例中,为了说明原始左视点彩***与原始左视点深度视频的最佳码率比重αopt与对原始左视点彩***和原始左视点深度视频进行编码的总码率Rc1的关系,采用不同的总码率Rc1来获得原始左视点彩***与原始左视点深度视频的最佳码率比重,Rc1∈{1500kbps,2000kbps,2500kbps,3000kbps},图4给出了“Ballet”在不同总码率Rc1条件下码率比重与码率分配代价的曲线图,图5给出了“Breakdancers”在不同总码率Rc1条件下码率比重与码率分配代价的曲线图,对比不同总码率Rc1条件下码率比重与码率分配代价的曲线,可以看出不同总码率Rcl的最小码率分配代价对应的码率比重差别并不是很大,因此在本实施例中对不同的总码率Rc1采用相同的最佳码率比重αopt。
④根据设定的立体视频编码预测结构,对原始左视点彩***的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,统计得到对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率,分别记为和
根据设定的立体视频编码预测结构,对原始右视点彩***的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,统计得到对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率,分别记为和
⑤根据和分别计算原始左视点彩***与原始右视点彩***的码率比重及原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重,分别记为γ和η,
⑥根据αopt和γ,分别计算对原始左视点彩***进行编码的目标码率和对原始右视点深度视频进行编码的目标码率,分别记为和 假定仅对原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y进行编码而无需对原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量和第二色度分量预先分配码率,则根据αopt、γ和η,计算对原始右视点彩***进行编码的目标码率,记为 假定将应当分配给原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频,则根据αopt、γ和η,计算对原始左视点深度视频进行编码的目标码率,记为 其中,Rc2表示对原始左视点彩***、原始右视点彩***、原始左视点深度视频和原始右视点深度视频进行编码的总码率。
⑦根据对原始左视点彩***进行编码的目标码率获取在目标码率下对原始左视点彩***进行编码的初始编码量化参数,记为根据对原始右视点彩***进行编码的目标码率获取在目标码率下对原始右视点彩***进行编码的初始编码量化参数,记为根据对原始左视点深度视频进行编码的目标码率获取在目标码率下原始左视点深度视频的初始编码量化参数,记为根据对原始右视点深度视频进行编码的目标码率获取在目标码率下原始右视点深度视频的初始编码量化参数,记为
在此具体实施例中,步骤⑦的具体过程为:
⑦-1、任取一个不大于30的编码量化参数作为原始左视点彩***的编码量化参数,记为QPt0,采用该编码量化参数QPt0对原始左视点彩色图像进行编码,得到以该编码量化参数QPt0对原始左视点彩***进行编码的平均码率,记为Rt0;
⑦-2、选取N个大于QPt0且各不相同的编码量化参数,分别记为QPt1,…,QPti,…,QPtN,采用该N个不同的编码量化参数QPt1,…,QPti,…,QPtN分别对原始左视点彩***进行编码,分别得到以该N个不同的编码量化参数对原始左视点彩***进行编码的平均码率,对应的分别记为Rt1,…,Rti,…,RtN,其中,1≤i≤N,QPti=QPt0+i,在本实施例中,N=9;
⑦-3、根据由QPt0和QPt1,…,QPti,…,QPtN组成的编码量化参数集合{QPtj|0≤j≤N}及采用编码量化参数集合{QPtj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩***进行编码的平均码率集合{Rtj|0≤j≤N},通过线性拟合方法建立对原始左视点彩***进行编码的初始编码量化步长Qt,step与对原始左视点彩***进行编码的平均码率集合{Rtj|0≤j≤N}中的任意一个码率Rt的关系模型,记为其中,QPt表示初始编码量化参数集合{QPtj|0≤j≤N}中的任意一个初始编码量化参数,Kt和Ct均为线性参数;
⑦-6、任取一个不大于30的编码量化参数作为原始左视点深度视频的编码量化参数,记为QPd0,采用该编码量化参数QPd0对原始左视点深度视频进行编码,得到以该编码量化参数QPd0对原始左视点深度视频进行编码的平均码率,记为Rd0;
⑦-7、选取N个大于QPd0且各不相同的编码量化参数,分别记为QPd1,…,QPdi,…,QPdN,采用该N个不同的编码量化参数QPd1,…,QPdi,…,QPdN分别对原始左视点深度视频进行编码,分别得到以该N个不同的编码量化参数对原始左视点深度视频进行编码的平均码率,对应的分别记为Rd1,…,Rdi,…,RdN,其中,1≤i≤N,QPdi=QPd0+i,在本实施例中,N=9;
⑦-8、根据由QPd0和QPd1,…,QPdi,…,QPdN组成的编码量化参数集合{QPdj|0≤j≤N}及采用编码量化参数集合{QPdj|0≤j≤N}中的各个编码量化参数分别对原始左视点深度视频进行编码的平均码率集合{Rdj|0≤j≤N},通过线性拟合方法建立对原始左视点深度视频进行编码的初始编码量化步长Qd,step与对原始左视点深度视频进行编码的平均码率集合{Rdj|0≤j≤N}中的任意一个码率Rd的关系模型,记为其中,QPd表示初始编码量化参数集合{QPdj|0≤j≤N}中的任意一个初始编码量化参数,Kd和Cd为线性参数;
图6给出了对“Ballet”和“Breakdancers”的原始左视点彩***进行线性拟合的曲线示意图,图7给出了对“Ballet”和“Breakdancers”的原始左视点深度视频进行线性拟合的曲线示意图,对比原始的码率分布,可以看出线性关系模型能很好地反映初始编码量化步长与码率的关系。
⑧根据设定的立体视频编码预测结构,采用在目标码率下对原始左视点彩***进行编码的初始编码量化参数对原始左视点彩***的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,得到左视点彩***码流;采用在目标码率下对原始右视点彩***进行编码的初始编码量化参数仅对原始右视点彩***的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码,得到右视点彩***码流。
⑨根据设定的立体视频编码预测结构,采用在目标码率下对原始左视点深度视频进行编码的初始编码量化参数对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码,得到左视点深度视频码流;采用在目标码率下对原始右视点深度视频进行编码的初始编码量化参数对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码,得到右视点深度视频码流。
⑩根据设定的立体视频编码预测结构,逐帧输出左视点彩***码流、右视点彩***码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流,然后服务端通过网络将最终的编码码流传输给用户端。
用户端分别对服务端发送来的左视点彩***码流、右视点彩***码流、左视点深度视频码流和右视点深度视频码流进行解码,得到左视点的彩***数据、右视点的彩***数据、左视点的深度视频数据和右视点的深度视频数据信息;然后利用解码得到的左视点的彩***数据、右视点的彩***数据和左视点的深度视频数据,通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V。
在此具体实施例中,通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V的具体过程为:
定义解码得到的右视点的彩***数据中当前正在处理的右视点彩色图像为当前右视点彩色图像,利用与当前右视点彩色图像同一时刻的左视点深度图像提供的深度信息,然后采用三维图像变换方法逐像素点计算与当前右视点彩色图像同一时刻的左视点彩色图像中的各个像素点在当前右视点彩色图像中的坐标位置;
判断当前右视点彩色图像中的像素s与同一时刻的左视点彩色图像中与像素s相对应的像素r的亮度分量是否相同,如果像素s与像素r的亮度分量相同,则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同,否则,假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系,U(s)=aY(s)+b,V(s)=cY(s)+d,通过计算当前右视点彩色图像中的像素s的第一色度分量U(s)的最小成本J(U)和第二色度分量V(s)的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s), 其中,U(r)为像素r的第一色度分量,V(r)为像素r的第二色度分量,a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数,wsr为加权参数,Y(s)为像素s的亮度分量,Y(r)为像素r的亮度分量,N(s)为以像素s为中心的3×3邻域窗口,σs为像素s的亮度分量Y(s)在邻域窗口N(s)内的标准差;
将解码得到的右视点的彩***数据中下一个待处理的右视点彩色图像作为当前右视点彩色图像,返回执行步骤重构当前右视点彩色图像的第一色度分量和第二色度分量,直至解码得到的右视点的彩***数据中的所有右视点彩色图像的第一色度分量和第二色度分量重构完毕。
根据解码得到的左视点的彩***数据中各个时刻的左视点彩色图像、重构得到的各个时刻的右视点彩色图像以及解码得到的左视点的深度视频数据中各个时刻的左视点深度图像、解码得到的右视点的深度视频数据中各个时刻的右视点深度图像,采用基于深度图像的绘制得到虚拟视点图像。
在本实施例中,立体视频编码预测结构采用公知的HBP编码预测结构。
以下就利用本发明方法对“Ballet”、“Breakdancers”三维立体视频测试序列的编码性能和虚拟视点绘制性能进行比较。
将采用本发明方法的编码性能,与采用原始固定码率比重方法的编码性能进行比较,固定码率比重为0.2,设定帧组的尺寸为15,也即时域上需要编码的帧数为15,采用四组不同的总码率Rc2进行编码实验,Rc2∈{6000kbps,2600kbps,1200kbps,600kbps}。图8给出了“Ballet”经本发明方法编码与经原始固定码率比重方法编码的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图,图9给出了“Breakdancers”经本发明方法编码与经原始固定码率比重方法编码的右视点彩色图像的亮度分量Y的率失真性能曲线比较示意图,由于本发明方法抛弃了右视点彩色图像的第一色度分量和第二色度分量的码率,因此在总码率固定的条件下,可以为右视点彩色图像的亮度分量Y分配较多的码率来提高率失真性能,足以说明本发明方法是有效可行的。
将采用本发明方法的虚拟视点绘制性能,与采用原始固定码率比重方法虚拟视点绘制性能进行比较,图10给出了“Ballet”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩***图像的亮度分量Y的率失真性能曲线比较示意图,图11给出了“Breakdancers”经本发明方法绘制与经原始固定码率比重方法绘制的虚拟视点彩***图像的亮度分量Y的率失真性能曲线比较示意图,由于采用两种方法进行编码的总码率是固定的,因此其编码率失真性能也是比较相似的,从图10和图11可以看出,采用本发明方法处理后,大大提高了虚拟视点图像的绘制性能,说明本发明方法中建立的码率分配模型是有效的。
将采用本发明与采用原始固定码率比重方法得到的虚拟视点图像进行比较。图12a给出了“Ballet”三维视频测试集的第5个参考视点的原始彩色图像,图12b给出了“Ballet”三维视频测试集的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像,图12c给出了“Ballet”三维视频测试集的第5个参考视点采用本发明方法得到的虚拟视点彩色图像,图13a给出了“Breakdancers”三维视频测试集的第5个参考视点的原始彩色图像,图13b给出了“Breakdancers”三维视频测试集的第5个参考视点采用原始固定码率比重方法得到的虚拟视点彩色图像,图13c给出了“Breakdancers”三维视频测试集的第5个参考视点采用本发明方法得到的虚拟视点彩色图像,从图12a至图13c可以看出,采用本发明方法得到的虚拟视点图像,能够保持更好的对象轮廓信息,从而降低了由于深度图像的失真引起的映射过程中产生的背景对前景的覆盖。
Claims (5)
1.一种三维立体视频编码方法,其特征在于包括以下步骤:
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频,在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频,原始左视点三维视频包括原始左视点彩***和原始左视点深度视频,原始左视点彩***主要由若干个帧组的原始左视点彩色图像组成,原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成,原始右视点三维视频包括原始右视点彩***和原始右视点深度视频,原始右视点彩***主要由若干个帧组的原始右视点彩色图像组成,原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成,其中,YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V;
将介于左视点与右视点之间的视点作为虚拟视点;
②建立原始左视点彩***与原始左视点深度视频的码率分配模型,以保证获得最优的编码性能和绘制质量;
③根据原始左视点彩***与原始左视点深度视频的码率分配模型,获取原始左视点彩***与原始左视点深度视频的最佳码率比重,记为αopt,并假定原始右视点彩***与原始右视点深度视频的最佳码率比重和原始左视点彩***与原始左视点深度视频的最佳码率比重一致;
④根据设定的立体视频编码预测结构,对原始左视点彩***的第1个帧组和第2个帧组的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,统计得到对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的亮度分量Y进行编码的平均码率及对原始左视点彩***的第1个帧组和第2个帧组的所有原始左视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率,分别记为和
根据设定的立体视频编码预测结构,对原始右视点彩***的第1个帧组和第2个帧组的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,统计得到对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的亮度分量Y进行编码的平均码率及对原始右视点彩***的第1个帧组和第2个帧组的所有原始右视点彩色图像的第一色度分量U和第二色度分量V进行编码的平均码率,分别记为和
⑤根据和分别计算原始左视点彩***与原始右视点彩***的码率比重及原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V与原始左视点彩***的所有帧组的原始左视点彩色图像和原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y的码率比重,分别记为γ和η,
⑥根据αopt和γ,分别计算对原始左视点彩***进行编码的目标码率和对原始右视点深度视频进行编码的目标码率,分别记为和 假定仅对原始右视点彩***的所有帧组的原始右视点彩色图像的亮度分量Y进行编码,则根据αopt、γ和η,计算对原始右视点彩***进行编码的目标码率,记为 假定将应当分配给原始右视点彩***的所有帧组的原始右视点彩色图像的第一色度分量U、第二色度分量V的码率都分配给原始左视点深度视频,则根据αopt、γ和η,计算对原始左视点深度视频进行编码的目标码率,记为 其中,Rc2表示对原始左视点彩***、原始右视点彩***、原始左视点深度视频和原始右视点深度视频进行编码的总码率;
⑦根据对原始左视点彩***进行编码的目标码率获取在目标码率下对原始左视点彩***进行编码的初始编码量化参数,记为根据对原始右视点彩***进行编码的目标码率获取在目标码率下对原始右视点彩***进行编码的初始编码量化参数,记为根据对原始左视点深度视频进行编码的目标码率获取在目标码率下原始左视点深度视频的初始编码量化参数,记为根据对原始右视点深度视频进行编码的目标码率获取在目标码率下原始右视点深度视频的初始编码量化参数,记为
⑧根据设定的立体视频编码预测结构,采用在目标码率下对原始左视点彩***进行编码的初始编码量化参数对原始左视点彩***的各个帧组中的各个原始左视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V分别进行编码,得到左视点彩***码流;采用在目标码率下对原始右视点彩***进行编码的初始编码量化参数仅对原始右视点彩***的各个帧组中的各个原始右视点彩色图像的亮度分量Y进行编码,得到右视点彩***码流;
⑨根据设定的立体视频编码预测结构,采用在目标码率下对原始左视点深度视频进行编码的初始编码量化参数对原始左视点深度视频的各个帧组中的各个原始左视点深度图像进行编码,得到左视点深度视频码流;采用在目标码率下对原始右视点深度视频进行编码的初始编码量化参数对原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码,得到右视点深度视频码流;
⑩根据设定的立体视频编码预测结构,逐帧输出左视点彩***码流、右视点彩***码流及左视点深度视频码流、右视点深度视频码流得到最终的编码码流,然后服务端通过网络将最终的编码码流传输给用户端;
用户端分别对服务端发送来的左视点彩***码流、右视点彩***码流、左视点深度视频码流和右视点深度视频码流进行解码,得到左视点的彩***数据、右视点的彩***数据、左视点的深度视频数据和右视点的深度视频数据信息;然后利用解码得到的左视点的彩***数据、右视点的彩***数据和左视点的深度视频数据,通过色度重构操作重构获取解码得到的右视点的彩***数据中各个时刻的右视点彩色图像的第一色度分量U和第二色度分量V;
2.根据权利要求1所述的一种三维立体视频编码方法,其特征在于所述的步骤②的具体过程为:
②-1、通过最小化概率密度函数获取对原始左视点彩***和原始左视点深度视频进行编码的最佳码率组合,记为 其中,表示最小化概率密度函数,Q表示对原始左视点彩***和原始左视点深度视频进行编码的所有的码率组合的集合,(Rt,Rd)∈Q,Rt+Rd≤Rc1,Rc1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率,Rt表示对原始左视点彩***进行编码的码率,Rd表示对原始左视点深度视频进行编码的码率,Dt(Rt)表示以码率Rt对原始左视点彩***进行编码的编码失真,Dv(Rt,Rd)表示对以码率Rt对原始左视点彩***进行编码得到的解码左视点彩***和以码率Rd对对应的原始左视点深度视频进行编码得到的解码左视点深度视频进行虚拟视点图像绘制的绘制失真;
②-2、假定Sv表示由原始左视点彩色图像和对应的原始左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,表示由以码率Rt对原始左视点彩色图像进行编码得到的解码左视点彩色图像和以码率Rd对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,表示由原始左视点彩色图像和以码率Rd对对应的原始左视点深度图像进行编码得到的解码左视点深度图像进行虚拟视点图像绘制得到的虚拟视点图像,则将Dv(Rt,Rd)近似表示为:其中,表示求的数学期望值,表示求的数学期望值,表示求的数学期望值;
②-3、将与左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的关系以线性方程近似表示为:其中,ΔPr表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的偏移量的大小,表示左视点深度视频的编码失真引起的虚拟视点图像在对应像素点位置上发生的几何偏移的平均几何偏移量,ωr表示左视点对虚拟视点的加权参数,0≤ωr≤1,ψr表示通过统计得到的线性方程的斜率,斜率值的大小与图像内容有关;
②-4、对于水平相机阵列,平均几何偏移量与以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)满足线性关系:再根据与将与以码率Rd对原始左视点深度视频进行编码的编码失真Dd(Rd)的关系以线性方程近似表示为:其中,f表示水平相机阵列中各相机的水平焦距,δx表示左视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,
3.根据权利要求1或2所述的一种三维立体视频编码方法,其特征在于所述的步骤③中获取原始左视点彩***与原始左视点深度视频的最佳码率比重αopt的具体过程为:
③-1、以原始左视点彩***与原始左视点深度视频的码率比重α来表示原始左视点彩***与原始左视点深度视频的码率比重集合Ω,Ω={α|α=0.2,0.3,0.4,0.5,0.6,0.7,0.8},α∈Ω;
③-2、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取一个码率比重,记为α′,α′∈Ω,根据任取的码率比重α′计算对原始左视点彩***进行编码的码率和对原始左视点深度视频进行编码的码率,分别记为R′t和R′d, 其中,Rc1表示对原始左视点彩***和原始左视点深度视频进行编码的总码率;
③-3、记以码率R′t对原始左视点彩***进行编码的编码失真为Dt(R′t),记以码率R′d对原始左视点深度视频进行编码的编码失真为Dd(R′d),根据Dt(R′t)和Dd(R′d)计算以(R′t,R′d)对原始左视点彩***和原始左视点深度视频进行编码的码率分配代价,记为COST′,COST′=k1×Dd(R′d)+(1+ωr 2)×Dt(R′t),其中,ωr表示左视点对虚拟视点的加权参数,0≤ωr≤1,ψr表示通过统计得到的线性方程的斜率,斜率值的大小与图像内容有关,f表示水平相机阵列中各相机的水平焦距,δx表示左视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值;
③-4、从原始左视点彩***与原始左视点深度视频的码率比重集合Ω中任取n个值不等于α′且各不相同的码率比重,分别记任取的n个码率比重为α″1,…,α″i,…,α″n;然后从任取的n个码率比重中的第1个码率比重α″1开始,重复执行步骤③-2至③-3,直至获得以任取的n个码率比重中的各个码率比重对原始左视点彩***和原始左视点深度视频进行编码对应的码率分配代价,分别记为COST″1,…,COST″i,…,COST″n,其中,2≤n≤6,1≤i≤n,α″1表示任取的n个码率比重中的第1个码率比重,α″i表示任取的n个码率比重中的第i个码率比重,α″n表示任取的n个码率比重中的第n个码率比重,COST″1表示α″1对应的码率分配代价,COST″i表示α″i对应的码率分配代价,COST″n表示α″n对应的码率分配代价;
③-5、从COST′和{COST″1,…,COST″i,…,COST″n}中找出值最小的码率分配代价,记为COSTmin,再将COSTmin对应的码率比重作为原始左视点彩***与原始左视点深度视频的最佳码率比重αopt。
4.根据权利要求3所述的一种三维立体视频编码方法,其特征在于所述的步骤⑦的具体过程为:
⑦-1、任取一个不大于30的编码量化参数作为原始左视点彩***的编码量化参数,记为QPt0,采用该编码量化参数QPt0对原始左视点彩色图像进行编码,得到以该编码量化参数QPt0对原始左视点彩***进行编码的平均码率,记为Rt0;
⑦-2、选取N个大于QPt0且各不相同的编码量化参数,分别记为QPt1,…,QPti,…,QPtN,采用该N个不同的编码量化参数QPt1,…,QPti,…,QPtN分别对原始左视点彩***进行编码,分别得到以该N个不同的编码量化参数对原始左视点彩***进行编码的平均码率,对应的分别记为Rt1,…,Rti,…,RtN,其中,1≤i≤N,QPti=QPt0+i;
⑦-3、根据由QPt0和QPt1,…,QPti,…,QPtN组成的编码量化参数集合{QPtj|0≤j≤N}及采用编码量化参数集合{QPtj|0≤j≤N}中的各个编码量化参数分别对原始左视点彩***进行编码的平均码率集合{Rti|0≤j≤N},通过线性拟合方法建立对原始左视点彩***进行编码的初始编码量化步长Qt,step与对原始左视点彩***进行编码的平均码率集合{Rtj|0≤j≤N}中的任意一个码率Rt的关系模型,记为其中,QPt表示初始编码量化参数集合{QPtj|0≤j≤N}中的任意一个初始编码量化参数,Kt和Ct均为线性参数;
⑦-6、任取一个不大于30的编码量化参数作为原始左视点深度视频的编码量化参数,记为QPd0,采用该编码量化参数QPd0对原始左视点深度视频进行编码,得到以该编码量化参数QPd0对原始左视点深度视频进行编码的平均码率,记为Rd0;
⑦-7、选取N个大于QPd0且各不相同的编码量化参数,分别记为QPd1,…,QPdi,…,QPdN,采用该N个不同的编码量化参数QPd1,…,QPdi,…,QPdN分别对原始左视点深度视频进行编码,分别得到以该N个不同的编码量化参数对原始左视点深度视频进行编码的平均码率,对应的分别记为Rd1,…,Rdi,…,RdN,其中,1≤i≤N,QPdi=QPd0+i;
⑦-8、根据由QPd0和QPd1,…,QPdi,…,QPdN组成的编码量化参数集合{QPdj|0≤j≤N}及采用编码量化参数集合{QPdj|0≤j≤N}中的各个编码量化参数分别对原始左视点深度视频进行编码的平均码率集合{Rdj|0≤j≤N},通过线性拟合方法建立对原始左视点深度视频进行编码的初始编码量化步长Qd,setp与对原始左视点深度视频进行编码的平均码率集合{Rdj|0≤j≤N}中的任意一个码率Rd的关系模型,记为其中,QPd表示初始编码量化参数集合{QPdj|0≤j≤N}中的任意一个初始编码量化参数,Kd和Cd为线性参数;
定义解码得到的右视点的彩***数据中当前正在处理的右视点彩色图像为当前右视点彩色图像,利用与当前右视点彩色图像同一时刻的左视点深度图像提供的深度信息,然后采用三维图像变换方法逐像素点计算与当前右视点彩色图像同一时刻的左视点彩色图像中的各个像素点在当前右视点彩色图像中的坐标位置;
判断当前右视点彩色图像中的像素s与同一时刻的左视点彩色图像中与像素s相对应的像素r的亮度分量是否相同,如果像素s与像素r的亮度分量相同,则确定像素s的第一色度分量U(s)和第二色度分量V(s)分别与像素r的第一色度分量U(r)和第二色度分量V(r)相同,否则,假定像素s的第一色度分量U(s)和第二色度分量V(s)与亮度分量Y(s)分别存在线性关系,U(s)=aY(s)+b,V(s)=cY(s)+d,通过计算当前右视点彩色图像中的像素s的第一色度分量U(s)的最小成本J(U)和第二色度分量V(s)的最小成本J(V)得到像素s的第一色度分量U(s)和第二色度分量V(s), 其中,U(r)为像素r的第一色度分量,V(r)为像素r的第二色度分量,a、b和c、d分别为像素s的第一色度分量U(s)和第二色度分量V(s)的线性系数,wsr为加权参数,Y(s)为像素s的亮度分量,Y(r)为像素r的亮度分量,N(s)为以像素s为中心的3×3邻域窗口,σs为像素s的亮度分量Y(s)在邻域窗口N(s)内的标准差;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110000937 CN102065296B (zh) | 2011-01-06 | 2011-01-06 | 一种三维立体视频编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110000937 CN102065296B (zh) | 2011-01-06 | 2011-01-06 | 一种三维立体视频编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102065296A true CN102065296A (zh) | 2011-05-18 |
CN102065296B CN102065296B (zh) | 2012-09-05 |
Family
ID=44000363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110000937 Expired - Fee Related CN102065296B (zh) | 2011-01-06 | 2011-01-06 | 一种三维立体视频编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102065296B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158710A (zh) * | 2011-05-27 | 2011-08-17 | 山东大学 | 一种面向虚拟视图质量的深度图编码率失真判断方法 |
CN102355582A (zh) * | 2011-09-23 | 2012-02-15 | 宁波大学 | 一种三维立体视频编码的率失真模型优化方法 |
CN102438167A (zh) * | 2011-10-21 | 2012-05-02 | 宁波大学 | 一种基于深度图像绘制的立体视频编码方法 |
CN102523468A (zh) * | 2011-12-16 | 2012-06-27 | 宁波大学 | 一种三维立体视频编码的最佳码率比重确立方法 |
CN102685531A (zh) * | 2012-04-24 | 2012-09-19 | 宁波大学 | 一种三维视频编码的深度和彩色码率分配方法 |
CN102750926A (zh) * | 2011-11-21 | 2012-10-24 | 新奥特(北京)视频技术有限公司 | 一种uv示波器彩色显示的方法和*** |
CN103456033A (zh) * | 2012-06-04 | 2013-12-18 | 三星电子株式会社 | 用于三维(3d)图像的图像处理设备和方法 |
CN104506453A (zh) * | 2014-12-24 | 2015-04-08 | 中国科学院声学研究所 | 一种面向用户体验质量的码率分配方法 |
CN105474643A (zh) * | 2013-07-19 | 2016-04-06 | 联发科技(新加坡)私人有限公司 | 3d视频编码中简化的视图合成预测的方法 |
CN102750926B (zh) * | 2011-11-21 | 2016-12-14 | 新奥特(北京)视频技术有限公司 | 一种uv示波器彩色显示的方法和*** |
CN106303547A (zh) * | 2015-06-08 | 2017-01-04 | 中国科学院深圳先进技术研究院 | 三维视频编码方法和装置 |
CN112425177A (zh) * | 2018-07-12 | 2021-02-26 | 交互数字Vc控股公司 | 用于体积视频传输的方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036368A (ja) * | 2005-07-22 | 2007-02-08 | Ricoh Co Ltd | 符号化処理装置及び方法 |
CN101841726A (zh) * | 2010-05-24 | 2010-09-22 | 宁波大学 | 一种立体视频非对称编码方法 |
CN101883283A (zh) * | 2010-06-18 | 2010-11-10 | 北京航空航天大学 | 一种基于saqd域的立体视频码率控制方法 |
-
2011
- 2011-01-06 CN CN 201110000937 patent/CN102065296B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036368A (ja) * | 2005-07-22 | 2007-02-08 | Ricoh Co Ltd | 符号化処理装置及び方法 |
CN101841726A (zh) * | 2010-05-24 | 2010-09-22 | 宁波大学 | 一种立体视频非对称编码方法 |
CN101883283A (zh) * | 2010-06-18 | 2010-11-10 | 北京航空航天大学 | 一种基于saqd域的立体视频码率控制方法 |
Non-Patent Citations (2)
Title |
---|
《IEEE Transactions on Consumer Electronics》 20101130 Feng Shao et al. Stereoscopic Video Coding with Asymmetric Luminance and Chrominance Qualities 2460-2468 1-5 第56卷, 第4期 * |
《Proc. SPIE 7073, 70730W (2008);》 20080811 B. Kamolrat et al. Rate controlling for color and depth based 3D video coding 全文 1-5 第7073卷, * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102158710B (zh) * | 2011-05-27 | 2012-12-26 | 山东大学 | 一种面向虚拟视图质量的深度图编码率失真判断方法 |
CN102158710A (zh) * | 2011-05-27 | 2011-08-17 | 山东大学 | 一种面向虚拟视图质量的深度图编码率失真判断方法 |
CN102355582A (zh) * | 2011-09-23 | 2012-02-15 | 宁波大学 | 一种三维立体视频编码的率失真模型优化方法 |
CN102355582B (zh) * | 2011-09-23 | 2013-06-05 | 宁波大学 | 一种三维立体视频编码的率失真模型优化方法 |
CN102438167A (zh) * | 2011-10-21 | 2012-05-02 | 宁波大学 | 一种基于深度图像绘制的立体视频编码方法 |
CN102438167B (zh) * | 2011-10-21 | 2014-03-12 | 宁波大学 | 一种基于深度图像绘制的立体视频编码方法 |
CN102750926A (zh) * | 2011-11-21 | 2012-10-24 | 新奥特(北京)视频技术有限公司 | 一种uv示波器彩色显示的方法和*** |
CN102750926B (zh) * | 2011-11-21 | 2016-12-14 | 新奥特(北京)视频技术有限公司 | 一种uv示波器彩色显示的方法和*** |
CN102523468B (zh) * | 2011-12-16 | 2014-02-05 | 宁波大学 | 一种三维立体视频编码的最佳码率比重确立方法 |
CN102523468A (zh) * | 2011-12-16 | 2012-06-27 | 宁波大学 | 一种三维立体视频编码的最佳码率比重确立方法 |
CN102685531B (zh) * | 2012-04-24 | 2014-04-16 | 宁波大学 | 一种三维视频编码的深度和彩色码率分配方法 |
CN102685531A (zh) * | 2012-04-24 | 2012-09-19 | 宁波大学 | 一种三维视频编码的深度和彩色码率分配方法 |
CN103456033A (zh) * | 2012-06-04 | 2013-12-18 | 三星电子株式会社 | 用于三维(3d)图像的图像处理设备和方法 |
CN103456033B (zh) * | 2012-06-04 | 2018-09-28 | 三星电子株式会社 | 用于三维(3d)图像的图像处理设备和方法 |
CN105474643A (zh) * | 2013-07-19 | 2016-04-06 | 联发科技(新加坡)私人有限公司 | 3d视频编码中简化的视图合成预测的方法 |
CN104506453B (zh) * | 2014-12-24 | 2017-11-21 | 中国科学院声学研究所 | 一种面向用户体验质量的码率分配方法 |
CN104506453A (zh) * | 2014-12-24 | 2015-04-08 | 中国科学院声学研究所 | 一种面向用户体验质量的码率分配方法 |
CN106303547A (zh) * | 2015-06-08 | 2017-01-04 | 中国科学院深圳先进技术研究院 | 三维视频编码方法和装置 |
CN106303547B (zh) * | 2015-06-08 | 2019-01-01 | 中国科学院深圳先进技术研究院 | 三维视频编码方法和装置 |
CN112425177A (zh) * | 2018-07-12 | 2021-02-26 | 交互数字Vc控股公司 | 用于体积视频传输的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102065296B (zh) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102065296A (zh) | 一种三维立体视频编码方法 | |
US8488870B2 (en) | Multi-resolution, multi-window disparity estimation in 3D video processing | |
CN101374242B (zh) | 一种应用于3dtv与ftv***的深度图编码压缩方法 | |
CN103828359A (zh) | 使用织锦编码的多视图图像的表现和代码化 | |
CN104754359B (zh) | 一种二维自由视点视频的深度图编码失真预测方法 | |
CN101937578A (zh) | 一种虚拟视点彩色图像绘制方法 | |
CN103002306A (zh) | 一种深度图像编码方法 | |
CN102325259A (zh) | 多视点视频中虚拟视点合成方法及装置 | |
CN103402097B (zh) | 一种自由视点视频深度图编码方法及其失真预测方法 | |
CN104756489A (zh) | 一种虚拟视点合成方法及*** | |
CN103067705B (zh) | 一种多视点深度视频预处理方法 | |
CN102438167B (zh) | 一种基于深度图像绘制的立体视频编码方法 | |
CN108347611A (zh) | 用于经纬图的编码块级拉格朗日乘子的优化方法 | |
CN103873876A (zh) | 基于显著性的多视点彩色加深度视频编码方法 | |
CN106210722A (zh) | 基于hevc的分层深度视频残差层数据的编码方法 | |
CN103780895A (zh) | 一种立体视频质量评价方法 | |
CN102413332A (zh) | 基于时域增强的视点合成预测多视点视频编码方法 | |
CN113853796A (zh) | 用于体积视频编码和解码的方法、装置和计算机程序产品 | |
CN102710949A (zh) | 一种基于视觉感知的立体视频编码方法 | |
CN104853175A (zh) | 一种新的合成虚拟视点客观质量评价方法 | |
CN104244008B (zh) | 一种深度视频编码方法 | |
CN101695140A (zh) | 一种基于对象的立体/自由视点电视的虚拟图像绘制方法 | |
CN103702120B (zh) | 一种合成视点主观失真估计方法 | |
CN102523468B (zh) | 一种三维立体视频编码的最佳码率比重确立方法 | |
CN105915886B (zh) | 一种基于视频压缩域的深度图推理算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120905 Termination date: 20190106 |