CN104244008B - 一种深度视频编码方法 - Google Patents
一种深度视频编码方法 Download PDFInfo
- Publication number
- CN104244008B CN104244008B CN201410464387.6A CN201410464387A CN104244008B CN 104244008 B CN104244008 B CN 104244008B CN 201410464387 A CN201410464387 A CN 201410464387A CN 104244008 B CN104244008 B CN 104244008B
- Authority
- CN
- China
- Prior art keywords
- sub
- pixel
- block
- value
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种深度视频编码方法,其根据深度失真对虚拟视点图像绘制的影响,得到原始深度视频图像的最大可容忍失真分布图像,然后计算对原始深度视频图像进行宏块层编码的编码量化参数,接着计算对原始深度视频图像进行宏块层编码的率失真代价函数,最后采用HBP编码预测结构并根据已确立的编码量化参数和率失真代价函数对原始深度视频图像进行编码,优点是本发明方法在保证虚拟视点图像绘制性能的基础上,充分地消除了深度视频的视觉冗余信息,大大提高了深度视频图像的编码效率,并大大降低了深度视频图像的编码复杂度。
Description
技术领域
本发明涉及一种视频信号的编码压缩方法,尤其是涉及一种深度视频编码方法。
背景技术
进入本世纪以来,随着数字2D(二维)视频技术日趋成熟,以及计算机、通信及网络技术的快速发展,引发了人们对新一代视频***的强烈需求。现行的二维视频***在表现自然场景时,难以满足用户的立体感和视点交互等的需求。三维视频***由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎,因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与单通道视频相比,三维视频由于包含了深度视频信息,其数据量要远远大于传统二维视频的数据量,因此在不影响三维视频主观质量的前提下,尽可能地降低三维视频的数据量以提高编码效率是一个亟需解决的问题。
然而,直接采用彩***编码方法对深度视频编码,会存在如下的问题:1)深度视频编码会对后续的虚拟视点绘制产生影响,其不同区域具有不同的深度敏感保真度(depthsensitivity fidelity),而传统的视频编码器并没有考虑这个因素;2)根据深度视频的数据特性,其纹理较为简单,包含较多的平坦区域,这样不同的区域根据其重要性应当分配不同的计算负载,而传统的视频编码器给所有的区域分配相同的计算负载。因此,如何更好地利用深度视频图像的深度敏感保真度,以保证获得最优编码效率、计算复杂度和绘制质量,是一个亟需解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够充分地消除深度视频的视觉冗余信息,并能够有效地降低深度视频编码复杂度的深度视频编码方法。
本发明解决上述技术问题所采用的技术方案为:一种深度视频编码方法,其特征在于包括以下步骤:
①将三维视频中t时刻的原始彩***图像和t时刻的原始深度视频图像对应记为{It,i(x,y)}和{Dt(x,y)},其中,i=1,2,3分别表示YUV颜色空间的三个分量,YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V,(x,y)表示{It,i(x,y)}和{Dt(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{It,i(x,y)}和{Dt(x,y)}的宽度,H表示{It,i(x,y)}和{Dt(x,y)}的高度,It,i(x,y)表示{It,i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的值,Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的深度值;
②根据{It,i(x,y)}中的每个像素点的第1个分量的值,获取{Dt(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值;然后根据{Dt(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值,提取出{Dt(x,y)}的最大可容忍失真分布图像,记为{St(x,y)},其中,St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值;
③对{Dt(x,y)}和{St(x,y)}分别进行分子块处理,然后根据{St(x,y)}中的所有像素点的最大可容忍失真值的均值及{St(x,y)}中的每个子块中的所有像素点的最大可容忍失真值的均值,获取对{Dt(x,y)}中的每个子块进行编码的编码量化参数和宏块模式选择的率失真代价函数;
④采用HBP编码预测结构,并根据已确立的编码量化参数和宏块模式选择的率失真代价函数,对{Dt(x,y)}中的每个子块进行编码,完成{Dt(x,y)}的编码过程。
所述的步骤②的具体过程为:
②-1、将{Dt(x,y)}中当前待处理的像素点定义为当前像素点;
②-2、将当前像素点的坐标位置记为(x1,y1),如果1≤x1≤W且y1=1,则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1),如果1≤x1≤W且1<y1≤H,则在{It,i(x,y)}中位于坐标位置为(x1,y1)的像素点的水平左侧的所有像素点中,找出第1个分量的值与坐标位置为(x1,y1)的像素点的第1个分量的值相等的所有像素点,再计算找出的每个像素点的横坐标与坐标位置为(x1,y1)的像素点的横坐标x1的横坐标差值,最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1);同样,如果1≤x1≤W且y1=H,则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值,记为δr(x1,y1),如果1≤x1≤W且1≤y1<H,则在{It,i(x,y)}中位于坐标位置为(x1,y1)的像素点的水平右侧的所有像素点中,找出第1个分量的值与坐标位置为(x1,y1)的像素点的第1个分量的值相等的所有像素点,再计算找出的每个像素点的横坐标与坐标位置为(x1,y1)的像素点的横坐标x1的横坐标差值,最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值,记为δr(x1,y1);其中,1≤x1≤W,1≤y1≤H;
②-3、根据δl(x1,y1)和δr(x1,y1),确定当前像素点的最大可容忍失真值,记为St(x1,y1),St(x1,y1)=min(|δl(x1,y1)|,|δr(x1,y1)|),其中,min()为取最小值函数,符号“||”为取绝对值符号;
②-4、将{Dt(x,y)}中下一个待处理的像素点作为当前像素点,然后返回步骤②-2继续执行,直至{Dt(x,y)}中的所有像素点处理完毕,得到{Dt(x,y)}的最大可容忍失真分布图像,记为{St(x,y)},其中,St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值。
所述的步骤③的具体过程为:
③-1、计算{St(x,y)}中的所有像素点的最大可容忍失真值的均值,记为然后将{Dt(x,y)}和{St(x,y)}分别划分成个互不重叠的尺寸大小为16×16的子块,将{Dt(x,y)}中当前待处理的第k个子块定义为当前第一子块,记为{ft D(x2,y2)},将{St(x,y)}中当前待处理的第k个子块定义为当前第二子块,记为{ft S(x2,y2)},其中,(x2,y2)表示{ft D(x2,y2)}和{ft S(x2,y2)}中的像素点的坐标位置,1≤x2≤16,1≤y2≤16,ft D(x2,y2)表示当前第一子块{ft D(x2,y2)}中坐标位置为(x2,y2)的像素点的深度值,ft S(x2,y2)表示当前第二子块{ft S(x2,y2)}中坐标位置为(x2,y2)的像素点的最大可容忍失真值;
③-2、计算当前第二子块{ft S(x2,y2)}中的所有像素点的最大可容忍失真值的均值,记为Mt;
③-3、获取对当前第一子块ft D(x2,y2)进行编码的编码量化参数,记为QPt,其中,round()为四舍五入函数,QPbase为对{Dt(x,y)}进行编码的基本量化步长,exp()表示以自然基数e为底的指数函数,a、b和c为控制参数;
③-4、获取对当前第一子块ft D(x2,y2)进行编码的宏块模式选择的率失真代价函数,记为Jk,Jk=Dd+λV,k×DV+λR,k×Rd,其中,Dd表示以QPt对当前第一子块ft D(x2,y2)进行编码的编码失真,ΔD(x2,y2)表示以QPt对当前第一子块ft D(x2,y2)进行编码时当前第一子块ft D(x2,y2)中坐标位置为(x2,y2)的像素点的编码失真,Dv表示对以QPt对当前第一子块ft D(x2,y2)进行编码得到的解码第一子块进行虚拟视点图像绘制的绘制失真, f表示水平相机阵列中各相机的水平焦距,L表示{It,i(x,y)}所在的视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,表示当前第一子块ft D(x2,y2)中坐标位置为(x2,y2)的像素点的梯度值,Rd表示以QPt对当前第一子块ft D(x2,y2)进行编码的码率,符号“||”为取绝对值符号,λV,k和λR,k为拉格朗日参数,μ为调节参数,λR,k=(1+λV,k×α2×β)×λmode,β表示当前第一子块ft D(x2,y2)中的所有像素点的梯度的平方之和,,λmode表示拉格朗日参数,
③-5、令k'=k+1,k=k',将{Dt(x,y)}中的下一个待处理的子块作为当前第一子块,将{St(x,y)}中的下一个待处理的子块作为当前第二子块,然后返回步骤③-2继续执行,直至{Dt(x,y)}和{St(x,y)}中的所有子块均处理完毕,其中,k'的初始值为0,k'=k+1和k=k'中的“=”为赋值符号。
与现有技术相比,本发明的优点在于:
1)本发明方法根据原始深度视频图像的最大可容忍失真分布图像,获取对深度视频图像中的每个子块进行编码的编码量化参数(对最大可容忍失真值较小的子块采用较小的量化步长进行编码,对最大可容忍失真值较大的子块采用较大的量化步长进行编码),这样在保证虚拟视点图像绘制性能的基础上,充分地消除了深度视频的视觉冗余信息,大大提高了深度视频图像的编码效率。
2)本发明方法根据原始深度视频图像的最大可容忍失真分布图像修改原始深度视频图像进行宏块层编码的率失真代价函数,对最大可容忍失真值较小的区域,在率失真代价函数中增加绘制失真这一项,而最大可容忍失真值较大的区域,则在率失真代价函数中去掉绘制失真这一项,这样在保证虚拟视点图像绘制性能的基础上,大大降低了深度视频的编码复杂度。
附图说明
图1为本发明方法的流程框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种深度视频编码方法,其流程框图如图1所示,其包括以下步骤:
①将三维视频中t时刻的原始彩***图像和t时刻的原始深度视频图像对应记为{It,i(x,y)}和{Dt(x,y)},其中,i=1,2,3分别表示YUV颜色空间的三个分量,YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V,(x,y)表示{It,i(x,y)}和{Dt(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{It,i(x,y)}和{Dt(x,y)}的宽度,H表示{It,i(x,y)}和{Dt(x,y)}的高度,It,i(x,y)表示{It,i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的值,Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的深度值。
②根据{It,i(x,y)}中的每个像素点的第1个分量的值,获取{Dt(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值;然后根据{Dt(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值,提取出{Dt(x,y)}的最大可容忍失真分布图像,记为{St(x,y)},其中,St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值。
在此具体实施例中,步骤②的具体过程为:
②-1、将{Dt(x,y)}中当前待处理的像素点定义为当前像素点。
②-2、将当前像素点的坐标位置记为(x1,y1),如果1≤x1≤W且y1=1,则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1),如果1≤x1≤W且1<y1≤H,则在{It,i(x,y)}中位于坐标位置为(x1,y1)的像素点的水平左侧的所有像素点中,找出第1个分量的值与坐标位置为(x1,y1)的像素点的第1个分量的值相等的所有像素点,再计算找出的每个像素点的横坐标与坐标位置为(x1,y1)的像素点的横坐标x1的横坐标差值,最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1);同样,如果1≤x1≤W且y1=H,则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值,记为δr(x1,y1),如果1≤x1≤W且1≤y1<H,则在{It,i(x,y)}中位于坐标位置为(x1,y1)的像素点的水平右侧的所有像素点中,找出第1个分量的值与坐标位置为(x1,y1)的像素点的第1个分量的值相等的所有像素点,再计算找出的每个像素点的横坐标与坐标位置为(x1,y1)的像素点的横坐标x1的横坐标差值,最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值,记为δr(x1,y1);其中,1≤x1≤W,1≤y1≤H。
②-3、根据δl(x1,y1)和δr(x1,y1),确定当前像素点的最大可容忍失真值,记为St(x1,y1),St(x1,y1)=min(|δl(x1,y1)|,|δr(x1,y1)|),其中,min()为取最小值函数,符号“||”为取绝对值符号。
②-4、将{Dt(x,y)}中下一个待处理的像素点作为当前像素点,然后返回步骤②-2继续执行,直至{Dt(x,y)}中的所有像素点处理完毕,得到{Dt(x,y)}的最大可容忍失真分布图像,记为{St(x,y)},其中,St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值。
③对{Dt(x,y)}和{St(x,y)}分别进行分子块处理,然后根据{St(x,y)}中的所有像素点的最大可容忍失真值的均值及{St(x,y)}中的每个子块中的所有像素点的最大可容忍失真值的均值,获取对{Dt(x,y)}中的每个子块进行编码的编码量化参数和宏块模式选择的率失真代价函数。
在此具体实施例中,步骤③的具体过程为:
③-1、计算{St(x,y)}中的所有像素点的最大可容忍失真值的均值,记为然后将{Dt(x,y)}和{St(x,y)}分别划分成个互不重叠的尺寸大小为16×16的子块,将{Dt(x,y)}中当前待处理的第k个子块定义为当前第一子块,记为{ft D(x2,y2)},将{St(x,y)}中当前待处理的第k个子块定义为当前第二子块,记为{ft S(x2,y2)},其中,(x2,y2)表示{ft D(x2,y2)}和{ft S(x2,y2)}中的像素点的坐标位置,1≤x2≤16,1≤y2≤16,ft D(x2,y2)表示当前第一子块{ft D(x2,y2)}中坐标位置为(x2,y2)的像素点的深度值,ft S(x2,y2)表示当前第二子块{ft S(x2,y2)}中坐标位置为(x2,y2)的像素点的最大可容忍失真值。
③-2、计算当前第二子块{ft S(x2,y2)}中的所有像素点的最大可容忍失真值的均值,记为Mt。
③-3、获取对当前第一子块ft D(x2,y2)进行编码的编码量化参数,记为QPt,其中,round()为四舍五入函数,QPbase为对{Dt(x,y)}进行编码的基本量化步长,exp()表示以自然基数e为底的指数函数,e=2.71828183,a、b和c为控制参数,在本实施例中取a=0.7、b=0.6和c=4。
③-4、获取对当前第一子块ft D(x2,y2)进行编码的宏块模式选择的率失真代价函数,记为Jk,Jk=Dd+λV,k×DV+λR,k×Rd,其中,Dd表示以QPt对当前第一子块ft D(x2,y2)进行编码的编码失真,ΔD(x2,y2)表示以QPt对当前第一子块ft D(x2,y2)进行编码时当前第一子块ft D(x2,y2)中坐标位置为(x2,y2)的像素点的编码失真,Dv表示对以QPt对当前第一子块ft D(x2,y2)进行编码得到的解码第一子块进行虚拟视点图像绘制的绘制失真, f表示水平相机阵列中各相机的水平焦距,L表示{It,i(x,y)}所在的视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,f、L、Znear和Zfar的值根据具体的测试序列确定,表示当前第一子块ft D(x2,y2)中坐标位置为(x2,y2)的像素点的梯度值,Rd表示以QPt对当前第一子块ft D(x2,y2)进行编码的码率,符号“||”为取绝对值符号,λV,k和λR,k为拉格朗日参数,μ为调节参数,在本实施例中取μ=0.5,λR,k=(1+λV,k×α2×β)×λmode,β表示当前第一子块ft D(x2,y2)中的所有像素点的梯度的平方之和,λmode表示拉格朗日参数,
由于Dd会对后续的虚拟视点图像绘制产生影响,因此本发明方法根据Dd和{It,i(x,y)}估计得到Dv,最优宏块模式选择可用方程表示为:这样参数λR,k的计算公式为: 表示对Dd进行求导操作,直接表示为: 表示对Dd进行求导操作,近似表示为:
而则再根据估计得到的和参数λR,k可表示为:λR,k=(1+λV,k×α2×β)×λmode。
③-5、令k'=k+1,k=k',将{Dt(x,y)}中的下一个待处理的子块作为当前第一子块,将{St(x,y)}中的下一个待处理的子块作为当前第二子块,然后返回步骤③-2继续执行,直至{Dt(x,y)}和{St(x,y)}中的所有子块均处理完毕,其中,k'的初始值为0,k'=k+1和k=k'中的“=”为赋值符号。
④采用公知的HBP编码预测结构,并根据已确立的编码量化参数和宏块模式选择的率失真代价函数,对{Dt(x,y)}中的每个子块进行编码,完成{Dt(x,y)}的编码过程。
以下就利用本发明方法与现有的深度视频编码方法分别对“Balloons”、“BookArrival”、“GT Fly”、“Kendo”、“Newspaper”、“Poznan Street”和“Undo Dance”三维视频测试序列中的深度视频进行编码的编码复杂度进行比较。
在本实施例中,“Balloons”三维立体视频测试序列的f、Znear和Zfar分别为2241.25607、448.251214和11206.280350、“Book Arrival”三维立体视频测试序列的f、Znear和Zfar分别为1399.466666666666、23.175928和54.077165、“GT Fly”三维立体视频测试序列的f、Znear和Zfar分别为70625、662000和2519.92835,“Kendo”三维立体视频测试序列的f、Znear和Zfar分别为448.251214、11206.280350和2241.25607,“Newspaper”三维立体视频测试序列的f、Znear和Zfar分别为2929.4940521927465、-2715.181648和-9050.605493,“Poznan Street”三维立体视频测试序列的f、Znear和Zfar分别为1732.875727、-34.506386和-2760.510889,“Undo Dance”三维立体视频测试序列的f、Znear和Zfar分别为2302.852541609168、2289和213500。
在现有的深度视频编码方法中,对原始深度视频图像进行宏块层编码的率失真代价函数为Jk=Dd+DV+λmode×Rd,DV通过对每个宏块都进行虚拟视点图像绘制来计算得到,其计算复杂度较高。表1给出了利用本发明方法与现有的深度视频编码方法分别对上述7个三维视频测试序列中的深度视频进行编码的编码复杂度比较,从表1中所列的数据可以看出,采用本发明方法编码的编码复杂度与采用现有的深度视频编码方法编码的编码复杂度相比,最低平均能降低10.98%左右,最高平均能降低26.07%左右,足以说明本发明方法是有效可行的。
表1利用本发明方法与现有的深度视频编码方法进行深度视频编码的编码复杂度比较
Claims (2)
1.一种深度视频编码方法,其特征在于包括以下步骤:
①将三维视频中t时刻的原始彩***图像和t时刻的原始深度视频图像对应记为{It,i(x,y)}和{Dt(x,y)},其中,i=1,2,3分别表示YUV颜色空间的三个分量,YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V,(x,y)表示{It,i(x,y)}和{Dt(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{It,i(x,y)}和{Dt(x,y)}的宽度,H表示{It,i(x,y)}和{Dt(x,y)}的高度,It,i(x,y)表示{It,i(x,y)}中坐标位置为(x,y)的像素点的第i个分量的值,Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的深度值;
②根据{It,i(x,y)}中的每个像素点的第1个分量的值,获取{Dt(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值;然后根据{Dt(x,y)}中的每个像素点的左方向最大可容忍失真值和右方向最大可容忍失真值,提取出{Dt(x,y)}的最大可容忍失真分布图像,记为{St(x,y)},其中,St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值;
所述的步骤②的具体过程为:
②-1、将{Dt(x,y)}中当前待处理的像素点定义为当前像素点;
②-2、将当前像素点的坐标位置记为(x1,y1),如果1≤x1≤W且y1=1,则直接将当前像素点的横坐标作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1),如果1≤x1≤W且1<y1≤H,则在{It,i(x,y)}中位于坐标位置为(x1,y1)的像素点的水平左侧的所有像素点中,找出第1个分量的值与坐标位置为(x1,y1)的像素点的第1个分量的值相等的所有像素点,再计算找出的每个像素点的横坐标与坐标位置为(x1,y1)的像素点的横坐标x1的横坐标差值,最后将所有横坐标差值中值最小的横坐标差值作为当前像素点的左方向最大可容忍失真值,记为δl(x1,y1);同样,如果1≤x1≤W且y1=H,则直接将当前像素点的横坐标作为当前像素点的右方向最大可容忍失真值,记为δr(x1,y1),如果1≤x1≤W且1≤y1<H,则在{It,i(x,y)}中位于坐标位置为(x1,y1)的像素点的水平右侧的所有像素点中,找出第1个分量的值与坐标位置为(x1,y1)的像素点的第1个分量的值相等的所有像素点,再计算找出的每个像素点的横坐标与坐标位置为(x1,y1)的像素点的横坐标x1的横坐标差值,最后将所有横坐标差值中值最大的横坐标差值作为当前像素点的右方向最大可容忍失真值,记为δr(x1,y1);其中,1≤x1≤W,1≤y1≤H;
②-3、根据δl(x1,y1)和δr(x1,y1),确定当前像素点的最大可容忍失真值,记为St(x1,y1),St(x1,y1)=min(|δl(x1,y1)|,|δr(x1,y1)|),其中,min()为取最小值函数,符号“||”为取绝对值符号;
②-4、将{Dt(x,y)}中下一个待处理的像素点作为当前像素点,然后返回步骤②-2继续执行,直至{Dt(x,y)}中的所有像素点处理完毕,得到{Dt(x,y)}的最大可容忍失真分布图像,记为{St(x,y)},其中,St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的最大可容忍失真值;
③对{Dt(x,y)}和{St(x,y)}分别进行分子块处理,然后根据{St(x,y)}中的所有像素点的最大可容忍失真值的均值及{St(x,y)}中的每个子块中的所有像素点的最大可容忍失真值的均值,获取对{Dt(x,y)}中的每个子块进行编码的编码量化参数和宏块模式选择的率失真代价函数;
④采用HBP编码预测结构,并根据已确立的编码量化参数和宏块模式选择的率失真代价函数,对{Dt(x,y)}中的每个子块进行编码,完成{Dt(x,y)}的编码过程。
2.根据权利要求1所述的一种深度视频编码方法,其特征在于所述的步骤③的具体过程为:
③-1、计算{St(x,y)}中的所有像素点的最大可容忍失真值的均值,记为然后将{Dt(x,y)}和{St(x,y)}分别划分成个互不重叠的尺寸大小为16×16的子块,将{Dt(x,y)}中当前待处理的第k个子块定义为当前第一子块,记为{ft D(x2,y2)},将{St(x,y)}中当前待处理的第k个子块定义为当前第二子块,记为{ft S(x2,y2)},其中,(x2,y2)表示{ft D(x2,y2)}和{ft S(x2,y2)}中的像素点的坐标位置,1≤x2≤16,1≤y2≤16,ft D(x2,y2)表示当前第一子块{ft D(x2,y2)}中坐标位置为(x2,y2)的像素点的深度值,ft S(x2,y2)表示当前第二子块{ft S(x2,y2)}中坐标位置为(x2,y2)的像素点的最大可容忍失真值;
③-2、计算当前第二子块{ft S(x2,y2)}中的所有像素点的最大可容忍失真值的均值,记为Mt;
③-3、获取对当前第一子块ft D(x2,y2)进行编码的编码量化参数,记为QPt,其中,round()为四舍五入函数,QPbase为对{Dt(x,y)}进行编码的基本量化步长,exp()表示以自然基数e为底的指数函数,a、b和c为控制参数;
③-4、获取对当前第一子块ft D(x2,y2)进行编码的宏块模式选择的率失真代价函数,记为Jk,Jk=Dd+λV,k×DV+λR,k×Rd,其中,Dd表示以QPt对当前第一子块ft D(x2,y2)进行编码的编码失真,ΔD(x2,y2)表示以QPt对当前第一子块ft D(x2,y2)进行编码时当前第一子块ft D(x2,y2)中坐标位置为(x2,y2)的像素点的编码失真,Dv表示对以QPt对当前第一子块ft D(x2,y2)进行编码得到的解码第一子块进行虚拟视点图像绘制的绘制失真, f表示水平相机阵列中各相机的水平焦距,L表示{It,i(x,y)}所在的视点与虚拟视点之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,表示当前第一子块ft D(x2,y2)中坐标位置为(x2,y2)的像素点的梯度值,Rd表示以QPt对当前第一子块ft D(x2,y2)进行编码的码率,符号“||”为取绝对值符号,λV,k和λR,k为拉格朗日参数,μ为调节参数,λR,k=(1+λV,k×α2×β)×λmode,β表示当前第一子块ft D(x2,y2)中的所有像素点的梯度的平方之和,λmode表示拉格朗日参数,
③-5、令k'=k+1,k=k',将{Dt(x,y)}中的下一个待处理的子块作为当前第一子块,将{St(x,y)}中的下一个待处理的子块作为当前第二子块,然后返回步骤③-2继续执行,直至{Dt(x,y)}和{St(x,y)}中的所有子块均处理完毕,其中,k'的初始值为0,k'=k+1和k=k'中的“=”为赋值符号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410464387.6A CN104244008B (zh) | 2014-09-12 | 2014-09-12 | 一种深度视频编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410464387.6A CN104244008B (zh) | 2014-09-12 | 2014-09-12 | 一种深度视频编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104244008A CN104244008A (zh) | 2014-12-24 |
CN104244008B true CN104244008B (zh) | 2017-05-03 |
Family
ID=52231223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410464387.6A Active CN104244008B (zh) | 2014-09-12 | 2014-09-12 | 一种深度视频编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104244008B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106303547B (zh) * | 2015-06-08 | 2019-01-01 | 中国科学院深圳先进技术研究院 | 三维视频编码方法和装置 |
CN106791772B (zh) * | 2016-12-28 | 2018-12-11 | 曲阜师范大学 | 基于绘制的最大可容忍深度失真计算方法 |
CN113497943B (zh) * | 2021-08-09 | 2024-06-11 | 杭州小影创新科技股份有限公司 | 一种深度信息的量化和编码方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100947447B1 (ko) * | 2008-05-26 | 2010-03-11 | 한국전자통신연구원 | 다시점 동영상 부호화에서 고속 모드 결정 방법 및 장치 |
CN102271254A (zh) * | 2011-07-22 | 2011-12-07 | 宁波大学 | 一种深度图像的预处理方法 |
CN102724525A (zh) * | 2012-06-01 | 2012-10-10 | 宁波大学 | 一种基于中心凹恰可觉察失真模型的深度视频编码方法 |
CN103002306A (zh) * | 2012-11-27 | 2013-03-27 | 宁波大学 | 一种深度图像编码方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4987322B2 (ja) * | 2006-02-28 | 2012-07-25 | 株式会社東芝 | 動画像復号装置及び動画像復号方法 |
-
2014
- 2014-09-12 CN CN201410464387.6A patent/CN104244008B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100947447B1 (ko) * | 2008-05-26 | 2010-03-11 | 한국전자통신연구원 | 다시점 동영상 부호화에서 고속 모드 결정 방법 및 장치 |
CN102271254A (zh) * | 2011-07-22 | 2011-12-07 | 宁波大学 | 一种深度图像的预处理方法 |
CN102724525A (zh) * | 2012-06-01 | 2012-10-10 | 宁波大学 | 一种基于中心凹恰可觉察失真模型的深度视频编码方法 |
CN103002306A (zh) * | 2012-11-27 | 2013-03-27 | 宁波大学 | 一种深度图像编码方法 |
Non-Patent Citations (1)
Title |
---|
面向三维视频***的深度图压缩方法研究;朱波等;《宁波大学学报(理工版)》;20090930;第22卷(第03期);第317-320页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104244008A (zh) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lei et al. | Depth coding based on depth-texture motion and structure similarities | |
CN108347611B (zh) | 用于经纬图的编码块级拉格朗日乘子的优化方法 | |
CN107864380B (zh) | 基于dct的3d-hevc快速帧内预测决策方法 | |
CN108513131B (zh) | 一种自由视点视频深度图感兴趣区域编码方法 | |
KR20130079580A (ko) | 사용자 선호도들에 기초하여 3d 비디오 렌더링을 조정하기 위한 3d 비디오 제어 시스템 | |
CN104768019B (zh) | 一种面向多纹理多深度视频的相邻视差矢量获取方法 | |
CN106507116B (zh) | 一种基于3d显著性信息和视点合成预测的3d-hevc编码方法 | |
JP2013509104A (ja) | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 | |
CN102065296B (zh) | 一种三维立体视频编码方法 | |
CN104202612B (zh) | 基于四叉树约束的编码单元的划分方法及视频编码方法 | |
CN104756489A (zh) | 一种虚拟视点合成方法及*** | |
CN109587503B (zh) | 一种基于边缘检测的3d-hevc深度图帧内编码模式快速决策方法 | |
CN106375766A (zh) | 一种光场图像压缩方法 | |
CN102438167B (zh) | 一种基于深度图像绘制的立体视频编码方法 | |
CN103002306A (zh) | 一种深度图像编码方法 | |
CN104244008B (zh) | 一种深度视频编码方法 | |
CN108156440A (zh) | 一种基于分块dct变换的三维视频深度图非编码传输方法 | |
CN104159095A (zh) | 一种多视点纹理视频和深度图编码的码率控制方法 | |
CN105898331A (zh) | 一种深度视频编码的比特分配和码率控制方法 | |
CN111385585B (zh) | 一种基于机器学习的3d-hevc深度图编码单元划分方法 | |
CN101695140B (zh) | 一种基于对象的立体/自由视点电视的虚拟图像绘制方法 | |
CN108810511B (zh) | 一种基于视点一致性的多视点压缩深度视频增强方法 | |
CN105007494B (zh) | 一种3d视频深度图像的帧内楔形分割模式选择方法 | |
CN103702120B (zh) | 一种合成视点主观失真估计方法 | |
CN103813149B (zh) | 一种编解码***的图像与视频重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20191219 Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee after: Huzhou You Yan Intellectual Property Service Co., Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
TR01 | Transfer of patent right |