CN102368824B - 视频立体转换方法 - Google Patents

视频立体转换方法 Download PDF

Info

Publication number
CN102368824B
CN102368824B CN2011102762754A CN201110276275A CN102368824B CN 102368824 B CN102368824 B CN 102368824B CN 2011102762754 A CN2011102762754 A CN 2011102762754A CN 201110276275 A CN201110276275 A CN 201110276275A CN 102368824 B CN102368824 B CN 102368824B
Authority
CN
China
Prior art keywords
viewpoint
input video
key frame
depth map
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011102762754A
Other languages
English (en)
Other versions
CN102368824A (zh
Inventor
戴琼海
杨铀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2011102762754A priority Critical patent/CN102368824B/zh
Publication of CN102368824A publication Critical patent/CN102368824A/zh
Application granted granted Critical
Publication of CN102368824B publication Critical patent/CN102368824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提出一种视频立体转换方法,包括以下步骤:获取输入视频的视点数n及裸眼立体显示所需的视点数N,其中,n<N;获取输入视频的每个视点的关键帧并计算其场景深度以获得输入视频的每个视点的关键帧的深度图;根据输入视频的每个视点的相邻两个关键帧及其对应的深度图,获取相邻两个关键帧之间的非关键帧的深度图,并重复该步骤获得输入视频的每个视点的所有非关键帧的深度图;根据输入视频的图像和输入视频的每个视点的深度图,绘制N-n视点的图像,并与输入视频的图像构成N视点图像;对N视点图像进行像素排列以获得适于裸眼立体显示设备的N视点图像。本发明的方法可快捷地将单视点平面、双目立体等视频实现裸眼3D立体显示,节约制作周期及成本。

Description

视频立体转换方法
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种视频立体转换方法。
背景技术
随着3D立体显示技术的不断发展,立体电影、电视、移动设备等立体产品迅速普及,大众对立体视频的需求也越来越多。现有技术中的立体视频通过双目方式进行显示,观看过程中需要通过主动快门式、偏振式、红蓝式眼镜等将双目图像分别发送至人的左右两眼,从而形成立体视觉感知。这种方式需要用户佩戴眼镜,观看不便。
针对现有技术中需要佩戴眼镜观看3D视频的缺陷,现有技术采用裸眼3D立体显示设备显示。裸眼3D立体显示技术能够让用户无需佩戴辅助设备即可观看到视频所具有的立体效果,是未来家庭、广告、展示等场合中用于立体观看较为理想的方式。现有技术存在的问题是,在裸眼3D立体显示设备上进行立体显示,需要根据该显示设备所提供的观看视点数量N,向该设备同时输入等量视点N的视频信号源,导致裸眼3D立体显示设备的视频源获取困难。
现有技术中,采用开发具有N个视点的视频采集设备进行同步采集的方法为裸眼立体显示设备提供视频源,这种方法存在的问题是,一方面制作成本高、周期长,对采集设备及辅助控制设备的要求高,另一方面现有的大量视频资料,例如单视点平面节目源、双目立体节目源等在裸眼3D立体显示设备上难以显示。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一。
为达到上述目的,本发明提出一种视频立体转换方法,包括以下步骤:S1:获取输入视频的视点数n;S2:获取裸眼立体显示所需的视点数N,其中,n<N;S3:获取所述输入视频的每个视点的关键帧,计算所述输入视频的每个视点的关键帧的场景深度,获得所述输入视频的每个视点的关键帧的深度图;S4:根据所述输入视频的每个视点的相邻两个关键帧和所述相邻两个关键帧的深度图,获得所述相邻两个关键帧之间的非关键帧的深度图;S5:重复步骤S4,获得所述输入视频的每个视点的所有非关键帧的深度图;S6:根据所述输入视频的图像和所述输入视频的每个视点的深度图,绘制N-n视点的图像,并与所述输入视频的图像构成N视点图像;S7:对所述N视点图像进行像素排列以获得适于预定裸眼立体显示设备的N视点图像。
在本发明的一个实施例中,所述步骤S1进一步包括:S11:判断所述输入视频的文件个数;S12:如果所述输入视频的文件个数不为1,则所述输入视频的视点数n为所述文件个数;S13:如果所述输入视频的文件个数为1,则进一步判断所述文件的分段点数,所述输入视频的视点数n为所述文件的分段点数。
在本发明的一个实施例中,所述步骤S3进一步包括:如果所述输入视频的视点数n=1,则获取所述视点的关键帧,计算所述视点的关键帧的场景深度以获得所述视点的关键帧的深度图;如果所述输入视频的视点数n=2,则获取所述输入视频的每个视点的关键帧,并计算所述输入视频的视差,并根据所述视差与场景深度的转换关系,获得所述输入视频的每个视点的关键帧的深度图。
在本发明的一个实施例中,所述步骤S4进一步包括:S41:根据所述每个视点的相邻两个关键帧Kn和Kn+1,以及关键帧Kn对应的深度图DKn和关键帧Kn+1对应的深度图DKn+1,获得所述关键帧Kn和Kn+1之间的非关键帧Fi(i=1,2,...,t),其中t为非关键帧的个数;S42:计算Kn与F1之间、F1与F2之间、...、Ft-1与Ft之间的光流图,并以所述光流图为基准将DKn在非关键帧Fi(i=1,2,...,t)中进行像素拷贝,获得非关键帧Fi(i=1,2,...,t)的第一深度图
Figure BDA0000091995520000021
(i=1,2,...,t);S43:对所述第一深度图
Figure BDA0000091995520000022
(i=1,2,...,t)进行中值滤波获得第三深度图
Figure BDA0000091995520000023
(i=1,2,...,t);S44:计算Kn+1与Ft之间、Ft与Ft-1之间、...、F2与F1之间的光流图,并以所述光流图为基准将DKn+1在非关键帧Fi(i=t,t-1,t-2,...,1)中进行像素拷贝,获得非关键帧Fi(i=1,2,...,t)的第二深度图
Figure BDA0000091995520000024
(i=1,2,...,t);S45:对所述第二深度图(i=1,2,...,t)进行中值滤波获得第四深度图
Figure BDA0000091995520000026
(i=1,2,...,t);S46:计算所述第三深度图
Figure BDA0000091995520000027
(i=1,2,...,t)和所述第四深度图
Figure BDA0000091995520000028
(i=1,2,...,t)中的对应像素点的求均值,获得非关键帧的深度图DFi(i=1,2,...,t)。
在本发明的一个实施例中,所述步骤S6进一步包括:如果所述输入视频的视点数n=1,则获取所述视点的图像及其深度图,并按照预定期望视点位置进行像素点绘制;如果所述输入视频的视点数n=2,则获取所述每个视点的图像及其深度图,并获得所述每个视点位置与预定的期望视点位置的距离DL和DR以及所述每个视点位置的距离D,所述期望视点位置点的像素值按照以下公式计算,
Pixel=Pixel(L)*DR/D+Pixel(R)*DL/D,其中,Pixel(L)为与所述预定的期望视点位置距离DR对应视点的像素值,Pixel(R)为与所述预定的期望视点位置距离DL对应视点的像素值。
在本发明的一个实施例中,还包括:如果所述预定的期望视点位置的个数大于1,则根据所述预定的期望视点位置重复执行像素点绘制。
在本发明的一个实施例中,所述步骤S6还包括:如果所述输入视频的视点数n>1,根据所述视频n视点的图像及所述视频的视差图,绘制N-n视点的图像,与所述n视点的图像构成所述裸眼立体显示的N视点图像。
根据本发明实施例的视频立体转换方法,至少具有以下有益效果:
(1)实现输入视频的适用于裸眼立体显示设备的多目视频转换,取得良好的裸眼立体观看效果。
(2)节约了裸眼3D立体显示技术的制作成本高,同时缩短制作周期。
(3)可方便地将现有的大量视频资料在裸眼3D立体显示设备上进行显示。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的视频立体转换方法流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
图1为本发明实施例的视频立体转换方法流程图。如图1所示,根据本发明实施例的视频立体转换方法,包括以下步骤:
步骤S101:获取输入视频的视点数n。
其中,输入视频可包括单视点平面视频和双目立体视频。
具体地,可首先判断输入视频的文件个数。如果输入视频的文件个数不为1,则输入视频的视点数n为文件个数;如果输入视频的文件个数为1,则进一步判断文件的分段点数,输入视频的视点数n为文件的分段点数。
步骤S102:获取裸眼立体显示所需的视点数N,其中,n<N。
其中,根据裸眼立体显示设备获取裸眼立体显示所需的视点数N。
步骤S103:获取输入视频的每个视点的关键帧,计算输入视频的每个视点的关键帧的场景深度,获得输入视频的每个视点的关键帧的深度图。
具体地,在本发明的一个实施例中,可通过如下的方法获得输入视频的每个视点的关键帧的深度图。
首先获取输入视频的每个视点的关键帧。
其中,获取输入视频的每个视点的关键帧的方法可参考专利ZL200810225050.4所述的方法,同时也可选择其他的选取算法,例如基于镜头边缘获取关键帧的方法、基于运动分析获取关键帧的方法、基于图像信息获取关键帧的方法和基于视频聚类获取关键帧的方法。
然后,根据输入视频的每个视点的关键帧计算其场景深度,获得输入视频的每个视点的关键帧的深度图。
具体地,如果输入视频的视点数n=1,则根据获取到的视点关键帧,计算关键帧的场景深度以获得视点的关键帧的深度图,例如,可利用专利ZL200710117654.2所述的方法获得视点的关键帧的深度图,也可选择其他的方法。
如果输入视频的视点数n=2,则根据获取到的每个视点的关键帧,计算输入视频的视差,再根据视差与场景深度的转换关系,获得输入视频的每个视点的关键帧的深度图。
其中,关键帧的视差计算可采用典型的立体匹配方法,也可选择其他的方法。
视差与场景深度均可用于描述场景的三维信息,视差与场景深度可相互转换的。
步骤S104:根据输入视频的每个视点的相邻两个关键帧和相邻两个关键帧的深度图,获取相邻两个关键帧之间的非关键帧的深度图。
具体地,首先根据每个视点的相邻两个关键帧Kn和Kn+1,以及关键帧Kn对应的深度图DKn和关键帧Kn+1对应的深度图DKn+1,获取关键帧Kn和Kn+1之间的非关键帧Fi(i=1,2,...,t),其中t为非关键帧的个数。
计算Kn与F1之间、F1与F2之间、...、Ft-1与Ft之间的光流图,并以光流图为基准将DKn在非关键帧Fi(i=1,2,...,t)中进行像素拷贝,获取非关键帧Fi(i=1,2,...,t)的第一深度图
Figure BDA0000091995520000041
(i=1,2,...,t)。
对第一深度图(i=1,2,...,t)进行中值滤波获取第三深度图
Figure BDA0000091995520000043
(i=1,2,...,t)。
计算Kn+1与Ft之间、Ft与Ft-1之间、...、F2与F1之间的光流图,并以光流图为基准将DKn+1在非关键帧Fi(i=t,t-1,t-2,...,1)中进行像素拷贝,获取非关键帧Fi(i=1,2,...,t)的第二深度图
Figure BDA0000091995520000044
(i=1,2,...,t)。
对第二深度图
Figure BDA0000091995520000045
(i=1,2,...,t)进行中值滤波获取第四深度图
Figure BDA0000091995520000046
(i=1,2,...,t)。
其中,第三深度图
Figure BDA0000091995520000047
(i=1,2,...,t)和第四深度图
Figure BDA0000091995520000048
(i=1,2,...,t)的中值滤波方法相同。
计算第三深度图
Figure BDA0000091995520000049
(i=1,2,...,t)和第四深度图
Figure BDA00000919955200000410
(i=1,2,...,t)中的对应像素点的求均值,获取非关键帧的深度图DFi(i=1,2,...,t)。
步骤S105:重复步骤S104,获得输入视频的每个视点的所有非关键帧的深度图。
具体地,根据步骤S104所述的方法,计算输入视频所有两个相邻的关键帧之间的非关键帧的深度图,由此获得输入视频的每个视点的所有非关键帧的深度图。
步骤S106:根据输入视频的图像和输入视频的每个视点的深度图,绘制N-n视点的图像,并与输入视频的图像构成N视点图像。
具体地,如果输入视频的视点数n=1,则获取视点的图像及其对应的深度图,并按照预定期望视点位置进行像素点绘制。
如果视频的视点数n=2,则获取每个视点的图像及其对应的深度图,获得每个视点位置与预定的期望视点位置的距离DL和DR以及每个视点位置的距离D,期望视点位置点的像素值按照以下公式计算,
Pixel=Pixel(L)*DR/D+Pixel(R)*DL/D,其中,Pixel(L)为与预定的期望视点位置距离DR对应视点的像素值,Pixel(R)为与预定的期望视点位置距离DL对应视点的像素值。
其中,如果预定期望视点位置的个数大于1,则根据预定的期望视点位置重复执行像素点绘制。
另外,如果输入视频的视点数n>1,根据视频n视点的图像及视频的视差图,也可绘制N-n视点的图像,与n视点的图像构成裸眼立体显示的N视点图像。绘制方法与基于深度图的绘制方法相同。
步骤S107:对N视点图像进行像素排列以获得适于预定裸眼立体显示设备的N视点图像。
具体地,对N视点图像进行像素排列方法可采用专利CN200910088902.4所述的方法,也可采用其他方法。
根据本发明实施例的方法,至少具有以下有益效果:
(1)实现输入视频的适用于裸眼立体显示设备的多目视频转换,取得良好的裸眼立体观看效果。
(2)节约了裸眼3D立体显示技术的制作成本高,同时缩短制作周期。
(3)可方便地将现有的大量视频资料在裸眼3D立体显示设备上进行显示。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种视频立体转换方法,其特征在于,包括以下步骤:
S1:获取输入视频的视点数n;
S2:获取裸眼立体显示所需的视点数N,其中,n<N;
S3:获取所述输入视频的每个视点的关键帧,计算所述输入视频的每个视点的关键帧的场景深度,获得所述输入视频的每个视点的关键帧的深度图,具体包括:如果所述输入视频的视点数n=1,则获取所述视点的关键帧,计算所述视点的关键帧的场景深度以获得所述视点的关键帧的深度图;
如果所述输入视频的视点数n=2,则获取所述输入视频的每个视点的关键帧,并计算所述输入视频的视差,并根据所述视差与场景深度的转换关系,获得所述输入视频的每个视点的关键帧的深度图;
S4:根据所述输入视频的每个视点的相邻两个关键帧和所述相邻两个关键帧的深度图,获得所述相邻两个关键帧之间的非关键帧的深度图;
S5:重复步骤S4,获得所述输入视频的每个视点的所有非关键帧的深度图;
S6:根据所述输入视频的图像和所述输入视频的每个视点的深度图,绘制N-n视点的图像,并与所述输入视频的图像构成N视点图像;
S7:对所述N视点图像进行像素排列以获得适于预定裸眼立体显示设备的N视点图像。
2.根据权利要求1所述的视频立体转换方法,其特征在于,所述步骤S1进一步包括:
S11:判断所述输入视频的文件个数;
S12:如果所述输入视频的文件个数不为1,则所述输入视频的视点数n为所述文件个数;
S13:如果所述输入视频的文件个数为1,则进一步判断所述文件的分段点数,所述输入视频的视点数n为所述文件的分段点数。
3.根据权利要求1所述的视频立体转换方法,其特征在于,所述步骤S4进一步包括:
S41:根据所述每个视点的相邻两个关键帧Kn和Kn+1,以及关键帧Kn对应的深度图DKn和关键帧Kn+1对应的深度图DKn+1,获得所述关键帧Kn和Kn+1之间的非关键帧Fi(i=1,2,...,t),其中t为非关键帧的个数;
S42:计算Kn与F1之间、F1与F2之间、…、Ft-1与Ft之间的光流图,并以所述光流图为基准将DKn在非关键帧Fi(i=1,2,...,t)中进行像素拷贝,获得非关键帧Fi(i=1,2,...,t)的第一深度图DFi (1)(i=1,2,...,t);
S43:对所述第一深度图DFi (1)(i=1,2,...,t)进行中值滤波获得第三深度图DFi (10)(i=1,2,...,t);
S44:计算Kn+1与Ft之间、Ft与Ft-1之间、…、F2与F1之间的光流图,并以所述光流图为基准将DKn+1在非关键帧Fi(i=t,t-1,t-2,...,1)中进行像素拷贝,获得非关键帧Fi(i=1,2,...,t)的第二深度图DFi (2)(i=1,2,...,t);
S45:对所述第二深度图DFi (2)(i=1,2,...,t)进行中值滤波获得第四深度图DFi (20)(i=1,2,...,t);
S46:计算所述第三深度图DFi (10)(i=1,2,...,t)和所述第四深度图DFi (20)(i=1,2,...,t)中的对应像素点的求均值,获得非关键帧的深度图DFi(i=1,2,...,t)。
4.根据权利要求1所述的视频立体转换方法,其特征在于,所述步骤S6进一步包括:
如果所述输入视频的视点数n=1,则获取所述视点的图像及其深度图,并按照预定期望视点位置进行像素点绘制;
如果所述输入视频的视点数n=2,则获取所述每个视点的图像及其深度图,并获得所述每个视点位置与预定的期望视点位置的距离DL和DR以及所述每个视点位置的距离D,所述期望视点位置点的像素值按照以下公式计算,
Pixel=Pixel(L)*DR/D+Pixel(R)*DL/D,
其中,Pixel(L)为与所述预定的期望视点位置距离DR对应视点的像素值,Pixel(R)为与所述预定的期望视点位置距离DL对应视点的像素值。
5.根据权利要求4所述的视频立体转换方法,其特征在于,还包括:
如果所述预定的期望视点位置的个数大于1,则根据所述预定的期望视点位置重复执行像素点绘制。
6.根据权利要求1所述的视频立体转换方法,其特征在于,所述步骤S6还包括:
如果所述输入视频的视点数n>1,根据所述视频n视点的图像及所述视频的视差图,绘制N-n视点的图像,与所述n视点的图像构成所述裸眼立体显示的N视点图像。
CN2011102762754A 2011-09-16 2011-09-16 视频立体转换方法 Active CN102368824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011102762754A CN102368824B (zh) 2011-09-16 2011-09-16 视频立体转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011102762754A CN102368824B (zh) 2011-09-16 2011-09-16 视频立体转换方法

Publications (2)

Publication Number Publication Date
CN102368824A CN102368824A (zh) 2012-03-07
CN102368824B true CN102368824B (zh) 2013-11-20

Family

ID=45761373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102762754A Active CN102368824B (zh) 2011-09-16 2011-09-16 视频立体转换方法

Country Status (1)

Country Link
CN (1) CN102368824B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177467A (zh) * 2013-03-27 2013-06-26 四川长虹电器股份有限公司 一种利用Direct3D技术创作裸眼3D字幕的方法
CN105100773B (zh) * 2015-07-20 2017-07-28 清华大学 立体视频制作方法、立体视图制作方法和制作***
CN110198411B (zh) * 2019-05-31 2021-11-02 努比亚技术有限公司 一种视频拍摄过程中的景深控制方法、设备及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100739730B1 (ko) * 2005-09-03 2007-07-13 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
CN100539710C (zh) * 2007-06-21 2009-09-09 清华大学 基于光流场的平面视频转立体视频的方法
CN101398855B (zh) * 2008-10-24 2010-08-11 清华大学 一种视频关键帧提取方法和***
CN101400001B (zh) * 2008-11-03 2010-06-02 清华大学 一种视频帧深度图的生成方法及***
CN101499085B (zh) * 2008-12-16 2012-07-04 北京大学 快速提取关键帧的方法和装置
CN101610424B (zh) * 2009-07-13 2011-12-21 清华大学 一种合成立体图像的方法及装置
CN101765022B (zh) * 2010-01-22 2011-08-24 浙江大学 一种基于光流与图像分割的深度表示方法

Also Published As

Publication number Publication date
CN102368824A (zh) 2012-03-07

Similar Documents

Publication Publication Date Title
CN102710956B (zh) 一种裸眼立体追踪显示方法及装置
CN107396087B (zh) 裸眼三维显示装置及其控制方法
CN102789058B (zh) 立体图像生成装置和立体图像生成方法
US20120293489A1 (en) Nonlinear depth remapping system and method thereof
US20120044330A1 (en) Stereoscopic video display apparatus and stereoscopic video display method
CN105072431A (zh) 一种基于人眼跟踪的裸眼3d播放方法及***
Ryu et al. Stereoscopic image quality metric based on binocular perception model
CN102404592B (zh) 图像处理设备和方法以及立体图像显示设备
US20110181593A1 (en) Image processing apparatus, 3d display apparatus, and image processing method
CN101513077A (zh) 用于经编码的立体图像/视频数据的文件格式
US8421850B2 (en) Image processing apparatus, image processing method and image display apparatus
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
US9686526B2 (en) Objective 3D video quality assessment model
CN101873509A (zh) 消除深度图序列背景和边缘抖动的方法
Kim et al. Depth adjustment for stereoscopic image using visual fatigue prediction and depth-based view synthesis
CN102223564A (zh) 2d/3d可切换、景深可调显示模组
CN102368824B (zh) 视频立体转换方法
CN103686162A (zh) 一种3d显示串扰的测试方法及装置
CN109525830A (zh) 一种立体视频采集***
CN107493465B (zh) 一种虚拟多视点视频生成方法
WO2008030011A1 (en) File format for encoded stereoscopic image/video data
CN102116937B (zh) 用于显示三维图像的装置和方法
CN105191300B (zh) 图像处理方法以及图像处理装置
CN102111637A (zh) 生成立体视频深度图的方法及装置
CN103617608A (zh) 通过双目图像获得深度图的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant