CN101365142B - 基于图像旋转的深度图像编码方法 - Google Patents
基于图像旋转的深度图像编码方法 Download PDFInfo
- Publication number
- CN101365142B CN101365142B CN 200810161597 CN200810161597A CN101365142B CN 101365142 B CN101365142 B CN 101365142B CN 200810161597 CN200810161597 CN 200810161597 CN 200810161597 A CN200810161597 A CN 200810161597A CN 101365142 B CN101365142 B CN 101365142B
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- viewpoint
- right viewpoint
- picture element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于图像旋转的深度图像编码方法。它包括如下步骤:1)根据左视点到右视点的旋转矩阵,把左视点深度图像旋转到右视点,得到预测图像;2)归一化右视点深度图像和预测图像之间的差值,得到差值图像;3)运用视频编码技术,采用量化参数对差值图像进行编码。本发明与直接编码右视点深度图像相比,编码差值图像所需要的码率更小。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性,提高了压缩效率。
Description
技术领域
本发明涉及数字图像处理技术,特别地,涉及一种基于图像旋转的深度图像编码方法。
背景技术
随着数字视频技术的快速发展和广泛应用,人们对视频质量和形式的要求越来越高,传统的二维平面视频已满足不了人们对场景真实和自然地再现的需求,因此能够提供立体感和交互操作功能的立体/多视点视频技术越来越受到业界的重视。立体/多视点视频与单目视频相比,增加了景物深度信息表征,在立体电视、自由视点电视、具有临场感的可视会议、右现实等领域具有广泛应用前景(见侯春萍,杨蕾,宋晓炜,戴居丰.立体电视技术综述.信号处理.2007.23-5)。
立体电视***用户端的设计应该满足复杂度低、功能实现简单、制造成本低的要求。由于用户端的计算能力、存储能力有限,在用户端应该选择低计算量、低存储容量的自由视点图像绘制算法。欧洲的先进立体电视***技术(ATTEST)计划提出了基于深度相机的立体场景生成方法,并以此为基础设计了立体电视***。在该立体电视***中,编码端将压缩后的深度图像传送给用户端,用户端用接收到的图像信息进行自由视点图像绘制。
深度图像编码是立体电视***中的关键技术之一。本发明首先将左视角深度图像旋转到右视角得到预测图像,然后计算右视点深度图像和预测图像之间的差值,最后编码差值图像。与直接编码右视点深度图像相比,编码差值图像所需要的码率更小。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性,提高了压缩效率。
发明内容
本发明的目的是提供一种基于图像旋转的深度图像编码方法。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性,提高了压缩效率。
包括如下步骤:
1)根据左视点到右视点的旋转矩阵,把左视点深度图像旋转到右视点,得到预测图像;
2)归一化右视点深度图像和预测图像之间的差值,得到差值图像;
3)运用视频编码技术,采用较大的量化参数对差值图像进行编码。
所述的根据左视点到右视点的旋转矩阵,把左视点深度图像旋转到右视点,得到预测图像步骤:
a)把预测图像中每个象素点的亮度值设置为0
b)根据下列式子,计算从左视点到右视点的旋转矩阵:
L_to_R_PP=L_A×L_E×R_E-1×R_A-1;
其中,L_A和L_E分别是左视点相机的内参和外参,R_A和R_E分别是右视点相机的内参和外参,L_to_R_PP是从左视点到右视点的旋转矩阵。
c)根据下列式子,计算左视点深度图像中每个象素的深度值:
L_Zc(x,y)=(255×MaxZ×MinZ)/(D_L(x,y,)×(MaxZ-MinZ)+255×MinZ);
其中,D_L(x,y)是左视点深度图像中图像坐标(x,y)处象素点的亮度值,MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度,L_Zc(x,y)是左视点深度图像中图像坐标(x,y)处象素点的深度值。
如果深度图像中象素点的亮度为0,表示该象素点距离世界坐标系中原点的距离为MaxZ;如果深度图像中象素点的亮度为255,表示该象素点距离世界坐标系中原点的距离为MinZ。
d)根据下列式子,计算左视点深度图像中每个象素点旋转到右视点后的图像坐标,得到从左视点到右视点的横坐标映射函数和纵坐标映射函数:
L_to_R_x(x,y)=clipX(L_to_R_Xc/L_to_R_Zc);
L_to_R_y(x,y)=clipY(L_to_R_Yc/L_to_R_Zc);
clipX(x)=min(Width-1,max(0,x));clipY(x)=min(Hight-1,max(0,y));
其中,x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标,clipX(x)和clipY(y)分别是x方向和y方向的修剪函数,Width和Hight分别为深度图像的宽度和高度,L_to_R_PP是从左视点到右视点的旋转矩阵,L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数;
e)根据下列式子,计算预测图像:
D_Rot(L_to_R_x(x,y),L_to_R_y(x,y))=D_L(x,y);
其中,D_L是左视点深度图像,D_L(x,y)是左视点深度图像中图像坐标(x, y)处象素点的亮度值,L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数,D_Rot是旋转图像,D_Rot(x,y)是旋转图像中图像坐标(x,y)处象素点的亮度值,D_R_L是预测图像,D_R_L(x,y)是预测图像中图像坐标(x,y)处象素点的亮度值。
所述的归一化右视点深度图像和预测图像之间的差值,得到差值图像步骤:
f)计算右视点深度图像和预测图像之间的差值:
Diff(x,y)=D_R(x,y)-D_R_L(x,y);
其中,D_R是右视点深度图像,D_R(x,y)是右视点深度图像中图像坐标(x,y)处象素点的亮度值,D_R_L是预测图像,D_R_L(x,y)是预测图像中图像坐标(x,y)处象素点的亮度值,Diff(x,y)是图像坐标(x,y)处右视点深度图像和预测图像之间的差值。
g)归一化右视点深度图像和预测图像之间的差值,得到差值图像:
DiffMap(x,y)=(Diff(x,y)+255)/2;
其中,Diff(x,y)是图像坐标(x,y)处右视点深度图像和预测图像之间的差值,DiffMap是差值图像,DiffMap(x,y)是差值图像中图像坐标(x,y)处象素点的亮度值。
所述的运用视频编码技术,采用较大的量化参数对差值图像进行编码步骤:
h)根据左视角深度图像的量化参数,设置差值图像的量化参数:
QP_Diff=QP_Left+5;
其中,QP_Left是用户设定的左视角深度图像的量化参数,QP_Diff插值图像的量化参数;
i)对残差图像中的每个宏块,首先进行帧内预测或者帧间预测,然后插值图像的量化参数,对预测残差进行量化。宏块的量化参数越小,量化时所采用的量化步长越小,量化误差越小。
本发明首先将左视角深度图像旋转到右视角得到预测图像,然后计算右视点深度图像和预测图像之间的差值,最后编码差值图像。与直接编码右视点深度图像相比,编码差值图像所需要的码率更小。本发明充分利用了左视点深度图像和右视点深度图像之间的相关性,提高了压缩效率。
附图说明
图1是基于图像旋转的深度图像编码方法结构示意图;
图2是左视点深度图像;
图3是右视点深度图像;
图4是预测图像;
图5是编码后的深度图像。
具体实施方式
图1给出了本发明的结构示意图。本发明的目的是提供一种基于图像旋转的深度图像编码方法。它包括如下步骤:
步骤1,根据左视点到右视点的旋转矩阵,把左视点深度图像旋转到右视点,得到预测图像步骤:
a)把预测图像中每个象素点的亮度值设置为0
b)根据下列式子,计算从左视点到右视点的旋转矩阵:
L_to_R_PP=L_A×L_E×R_E-1×R_A-1;
其中,L_A和L_E分别是左视点相机的内参和外参,R_A和R_E分别是右视点相机的内参和外参,L_to_R_PP是从左视点到右视点的旋转矩阵。
c)根据下列式子,计算左视点深度图像中每个象素的深度值:
L_Zc(x,y)=(255×MaxZ×MinZ)/(D_L(x,y,)×(MaxZ-MinZ)+255×MinZ);
其中,D_L(x,y)是左视点深度图像中图像坐标(x,y)处象素点的亮度值,MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度,L_Zc(x,y)是左视点深度图像中图像坐标(x,y)处象素点的深度值。
如果深度图像中象素点的亮度为0,表示该象素点距离世界坐标系中原点的距离为MaxZ;如果深度图像中象素点的亮度为255,表示该象素点距离世界坐标系中原点的距离为MinZ。
d)根据下列式子,计算左视点深度图像中每个象素点旋转到右视点后的图像坐标,得到从左视点到右视点的横坐标映射函数和纵坐标映射函数:
L_to_R_x(x,y)=clipX(L_to_R_Xc/L_to_R_Zc);
L_to_R_y(x,y)=clipY(L_to_R_Yc/L_to_R_Zc);
clipX(x)=mm(Width-1,max(0,x));clipY(x)=mm(Hight-1,max(0,y));
其中,x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标,clipX(x)和clipY(y)分别是x方向和y方向的修剪函数,Width和Hight分别为深度图像的宽度和高度,L_to_R_PP是从左视点到右视点的旋转矩阵,L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数;
e)根据下列式子,计算预测图像:
D_Rot(L_to_R_x(x,y),L_to_R_y(x,y))=D_L(x,y);
其中,D_L是左视点深度图像,D_L(x,y)是左视点深度图像中图像坐标(x,y)处象素点的亮度值,L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数,D_Rot是旋转图像,D_Rot(x,y)是旋转图像中图像坐标(x,y)处象素点的亮度值,D_R_L是预测图像,D_R_L(x,y)是预测图像中图像坐标(x,y)处象素点的亮度值。
左视点深度图像如图2所示。右视点深度图像如图3所示。预测图像如图4所示。
步骤2,归一化右视点深度图像和预测图像之间的差值,得到差值图像步骤:
f)计算右视点深度图像和预测图像之间的差值:
Diff(x,y)=D_R(x,y)-D_R_L(x,y);
其中,D_R是右视点深度图像,D_R(x,y)是右视点深度图像中图像坐标(x,y)处象素点的亮度值,D_R_L是预测图像,D_R_L(x,y)是预测图像中图像坐标(x,y)处象素点的亮度值,Diff(x,y)是图像坐标(x,y)处右视点深度图像和预测图像之间的差值。
g)归一化右视点深度图像和预测图像之间的差值,得到差值图像:
DiffMap(x,y)=(Diff(x,y)+255)/2;
其中,Diff(x,y)是图像坐标(x,y)处右视点深度图像和预测图像之间的差值,DiffMap是差值图像,DiffMap(x,y)是差值图像中图像坐标(x,y)处象素点的亮度值。
步骤3,运用视频编码技术,采用较大的量化参数对差值图像进行编码步骤:
h)根据左视角深度图像的量化参数,设置差值图像的量化参数:
QP_Diff=QP_Left+5;
其中,QP_Left是用户设定的左视角深度图像的量化参数,QP_Diff插值图像的量化参数;
i)对残差图像中的每个宏块,首先进行帧内预测或者帧间预测,然后插值图像的量化参数,对预测残差进行量化。宏块的量化参数越小,量化时所采用的量化步长越小,量化误差越小。
编码后的深度图像如图5所示。
Claims (3)
1.一种基于图像旋转的深度图像编码方法,其特征在于包括如下步骤:
1)根据左视点到右视点的旋转矩阵,把左视点深度图像旋转到右视点,得到预测图像;
2)归一化右视点深度图像和预测图像之间的差值,得到差值图像;
3)运用视频编码技术,采用量化参数对差值图像进行编码;
所述的根据左视点到右视点的旋转矩阵,把左视点深度图像旋转到右视点,得到预测图像步骤:
a)把预测图像中每个象素点的亮度值设置为0;
b)根据下列式子,计算从左视点到右视点的旋转矩阵:
L_to_R_PP=L_A×L_E×R_E-1×R_A-1;
其中,L_A和L_E分别是左视点相机的内参和外参,R_A和R_E分别是右视点相机的内参和外参,R_E-1和R_A-1分别是R_E和R_A的逆,L_to_R_PP是从左视点到右视点的旋转矩阵;
c)根据下列式子,计算左视点深度图像中每个象素的深度值:
L_Zc(x,y)=(255×MaxZ×MinZ)/(D_L(x,y,)×(MaxZ-MinZ)+255×MinZ);
其中,D_L(x,y)是左视点深度图像中图像坐标(x,y)处象素点的亮度值,MinZ和MaxZ分别是该深度图像所能表示的最大深度和最小深度,L_Zc(x,y)是左视点深度图像中图像坐标(x,y)处象素点的深度值;
如果深度图像中象素点的亮度为0,表示该象素点距离世界坐标系中原点的距离为MaxZ;如果深度图像中象素点的亮度为255,表示该象素点距离世界坐标系中原点的距离为MinZ;
d)根据下列式子,计算左视点深度图像中每个象素点旋转到右视点后的图像坐标,得到从左视点到右视点的横坐标映射函数和纵坐标映射函数:
L_to_R_x(x,y)=clipX(L_to_R_Xc/L_to_R_Zc);
L_to_R_y(x,y)=clipY(L_to_R_Yc/L_to_R_Zc);
clipX(x)=min(Width-1,max(0,x));clipY(y)=min(Hight-1,max(0,y));
其中,x和y分别是左视点深度图像中当前象素点的横坐标和纵坐标,clipX(x)和clipY(y)分别是x方向和y方向的修剪函数,Width和Hight分别为深度图像的宽度和高度,L_to_R_PP是从左视点到右视点的旋转矩阵,L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数;
e)根据下列式子,计算预测图像:
D_Rot(L_to_R_x(x,y),L_to_R_y(x,y))=D_L(x,y);
其中,D_L是左视点深度图像,D_L(x,y)是左视点深度图像中图像坐标(x,y)处象素点的亮度值,L_to_R_x(x,y)和L_to_R_y(x,y)分别是从左视点到右视点的横坐标映射函数和纵坐标映射函数,D_Rot是旋转图像,D_Rot(x,y)是旋转图像中图像坐标(x,y)处象素点的亮度值,D_R_L是预测图像,D_R_L(x,y)是预测图像中图像坐标(x,y)处象素点的亮度值。
2.根据权利要求1所述的一种基于图像旋转的深度图像编码方法,其特征在于所述的归一化右视点深度图像和预测图像之间的差值,得到差值图像步骤:
f)计算右视点深度图像和预测图像之间的差值:
Diff(x,y)=D_R(x,y)-D_R_L(x,y);
其中,D_R是右视点深度图像,D_R(x,y)是右视点深度图像中图像坐标(x,y)处象素点的亮度值,D_R_L是预测图像,D_R_L(x,y)是预测图像中图像坐标(x,y)处象素点的亮度值,Diff(x,y)是图像坐标(x,y)处右视点深度图像和预测图像之间的差值。
g)归一化右视点深度图像和预测图像之间的差值,得到差值图像:
DiffMap(x,y)=(Diff(x,y)+255)/2;
其中,Diff(x,y)是图像坐标(x,y)处右视点深度图像和预测图像之间的差值,DiffMap是差值图像,DiffMap(x,y)是差值图像中图像坐标(x,y)处象素点的亮度值。
3.根据权利要求1所述的一种基于图像旋转的深度图像编码方法,其特征在于所述的运用视频编码技术,采用量化参数对差值图像进行编码步骤:
h)根据左视角深度图像的量化参数,设置差值图像的量化参数:
QP_Diff=QP_Left+5;
其中,QB_Left是用户设定的左视角深度图像的量化参数,QP_Diff插值图像的量化参数;
i)对残差图像中的每个宏块,首先进行帧内预测或者帧间预测,然后插值图像的量化参数,对预测残差进行量化,宏块的量化参数越小,量化时所采用的量化步长越小,量化误差越小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810161597 CN101365142B (zh) | 2008-09-23 | 2008-09-23 | 基于图像旋转的深度图像编码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200810161597 CN101365142B (zh) | 2008-09-23 | 2008-09-23 | 基于图像旋转的深度图像编码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101365142A CN101365142A (zh) | 2009-02-11 |
CN101365142B true CN101365142B (zh) | 2011-07-20 |
Family
ID=40391231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200810161597 Expired - Fee Related CN101365142B (zh) | 2008-09-23 | 2008-09-23 | 基于图像旋转的深度图像编码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101365142B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101037624B1 (ko) * | 2009-06-19 | 2011-05-30 | (주)실리콘화일 | 메모리를 사용하지 않고 구현되는 이미지 회전 방법 및 장치 |
JP5875236B2 (ja) | 2011-03-09 | 2016-03-02 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
WO2015006884A1 (en) * | 2013-07-19 | 2015-01-22 | Qualcomm Incorporated | 3d video coding with partition-based depth inter coding |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1946195A (zh) * | 2006-10-26 | 2007-04-11 | 上海交通大学 | 立体视觉***的场景深度恢复和三维重建方法 |
-
2008
- 2008-09-23 CN CN 200810161597 patent/CN101365142B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1946195A (zh) * | 2006-10-26 | 2007-04-11 | 上海交通大学 | 立体视觉***的场景深度恢复和三维重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101365142A (zh) | 2009-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103155572B (zh) | 用于基于用户偏好调节3d视频渲染的3d视频控制*** | |
US8284237B2 (en) | Rendering multiview content in a 3D video system | |
Oh et al. | Depth coding using a boundary reconstruction filter for 3-D video systems | |
Zhu et al. | View-dependent dynamic point cloud compression | |
CN101420609B (zh) | 视频编码、解码方法及视频编码器、解码器 | |
Lei et al. | Depth coding based on depth-texture motion and structure similarities | |
US20090103616A1 (en) | Method and device for generating depth image using reference image, method for encoding/decoding depth image, encoder or decoder for the same, and recording medium recording image generated using the method | |
CN101330631A (zh) | 一种立体电视***中深度图像的编码方法 | |
Perra et al. | JPEG 2000 compression of unfocused light field images based on lenslet array slicing | |
CN100591143C (zh) | 一种立体电视***中虚拟视点图像绘制的方法 | |
WO2009091563A1 (en) | Depth-image-based rendering | |
Morvan et al. | System architecture for free-viewpoint video and 3D-TV | |
Graziosi et al. | Depth assisted compression of full parallax light fields | |
Pece et al. | Adapting standard video codecs for depth streaming. | |
US20150237323A1 (en) | 3d video representation using information embedding | |
Kim et al. | Three-dimensional natural video system based on layered representation of depth maps | |
CN114503553A (zh) | 基于视频的点云压缩模型到世界信令信息 | |
CN113853796A (zh) | 用于体积视频编码和解码的方法、装置和计算机程序产品 | |
CN101365142B (zh) | 基于图像旋转的深度图像编码方法 | |
Van Duong et al. | Focal stack based light field coding for refocusing applications | |
Wang et al. | Hiding depth information in compressed 2D image/video using reversible watermarking | |
Jung et al. | Disparity-map-based rendering for mobile 3D TVs | |
CN101365141B (zh) | 一种深度图像和纹理图像码流分配的方法 | |
Lai et al. | An efficient depth image-based rendering with depth reliability maps for view synthesis | |
Liu et al. | Compression-induced rendering distortion analysis for texture/depth rate allocation in 3D video compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110720 Termination date: 20120923 |