CN102026012A - 平面视频立体化转换深度图生成方法和装置 - Google Patents

平面视频立体化转换深度图生成方法和装置 Download PDF

Info

Publication number
CN102026012A
CN102026012A CN 201010568235 CN201010568235A CN102026012A CN 102026012 A CN102026012 A CN 102026012A CN 201010568235 CN201010568235 CN 201010568235 CN 201010568235 A CN201010568235 A CN 201010568235A CN 102026012 A CN102026012 A CN 102026012A
Authority
CN
China
Prior art keywords
depth
value
gray
video image
plane video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010568235
Other languages
English (en)
Other versions
CN102026012B (zh
Inventor
戴琼海
张晶
陈�峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2010105682352A priority Critical patent/CN102026012B/zh
Publication of CN102026012A publication Critical patent/CN102026012A/zh
Application granted granted Critical
Publication of CN102026012B publication Critical patent/CN102026012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种平面视频立体化转换深度图生成方法和装置,其中,该方法包括以下步骤:判断图像是否为有效数据;如果图像为有效数据,对有效数据进行灰度转换以得到灰度值;根据灰度值应用灰度线索计算图像的初始深度值;根据零视差点模板计算图像零视差点的深度值;根据初始深度值和所述零视差点的深度值,计算图像的最终深度图;对最终深度图进行高斯滤波以得到图像的平滑深度图。该方法解决了现有技术存在的处理速度慢,实时性差,可兼容性差的不足的缺点,使深度图生成速度大幅提升,同时该装置体积小、成本低且兼容性强,并能满足多种显示设备实时显示的需求,使大量平面片源转化为立体片源,从而解决立体片源匮乏的现状。

Description

平面视频立体化转换深度图生成方法和装置
技术领域
本发明涉及计算机视觉领域,特别涉及一种基于可编程器件的平面视频立体化转换深度图生成方法和装置。
背景技术
立体视频能给观众带来逼真的观看体验,通过使观看者双眼看到有视差的图像,从而产生立体效果,让观看者有身临其境的奇妙感受。近年来,立体视频已经被越来越多的观众所熟悉,并被观众们所喜爱。一些制作精良的电影借助立体视频的相关技术取得了巨大的成功,制造了令观众难忘的美好场景。可以说,立体视频以其独特的观看体验,让观众由置身于视频场景之中的感受,被广大观看者一致认可,成为了今后视频发展的主要方向。
立体视频的相关技术都在迅速发展中,包括立体视频片源制作,立体视频显示技术等,但是发展速度参差不齐。其中立体视频显示技术已经趋于成熟,目前在市场上已经有需要佩戴红绿、偏振或主动快门式眼镜的双目立体显示屏、以及裸视的多目立体显示屏,都能带来尚佳的立体观看效果。但是立体视频的片源制作技术亟待发展,立体片源的匮乏是当前立体视频技术发展中面临的主要瓶颈问题。一部立体电影的制作需要耗费大量的人力、资金、时间,因此,当前急需快速便捷的立体视频制作方法。
平面视频转立体视频技术可以将大量的平面片源转化为立体片源,目前的方法与装置转化速度都较慢,无法满足用户实时转化高清立体视频的需求。而平面视频转立体视频技术中,最关键的一步是基于平面视频的深度图绘制。所谓深度图绘制,就是通过获取当前场景的深度图,从而根据显示设备输出需求得到该场景的多角度视图,完成立体图像的生成过程。
可编程器件以其体积小,成本低,运算速度快,并行度高,可兼容性强的特点,在图像视频处理方面展现出了出色性能。可编程器件能够根据用户需求进行逻辑单元的组织,比电脑软件对视频的处理更为高效,处理过程不需要人工介入,可以满足高清视频的实时处理需求。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。
本发明是针对现有技术和方法存在的处理速度慢,实时性差,可兼容性差等缺点而提出的一种平面视频立体化转换深度图生成方法和装置,该方法是基于单幅平面图像的全自动深度图生成方法,处理过程无需人工参与,而该装置可以满足多种视频源作为输入,为多种模式的立体显示设备提供实时深度信息,可兼容性强。
为达到上述目的,本发明一方提出一种平面视频立体化转换深度图生成方法,该方法包括以下步骤:判断平面视频图像是否为有效RGB数据和YUV数据格式的数据;如果判断所述平面视频图像为有效RGB数据和YUV数据格式的数据,则对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到所述平面视频图像中每个像素点的灰度值;根据所述灰度值应用灰度线索计算所述平面视频图像的初始深度值;根据零视差点模板计算所述平面视频图像零视差点的深度值;根据所述初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图;和对所述最终深度图进行高斯滤波以得到所述平面视频图像的平滑深度图。
在本发明的一个实施例中,所述对有效RGB数据和YUV数据格式的数据进行灰度转换以得到每个像素的灰度值,其中,所述灰度转换公式为:
16Gray=(4+1)R+(8+1)G+2B=>((G+R)+(4R+2B))+8G=16Gray,和
Gray=Y;
其中,Gray为所述每个像素的灰度值;R,G,B分别为RGB数据格式下所述平面视频图像输入的三通道分量值;Y为YUV数据格式下所述平面视频图像输入的三通道分量值之一。
在本发明的一个实施例中,所述根据灰度值和灰度线索计算所述平面视频图像的初始深度值,进一步包括:根据所述灰度线索绘制虚拟深度图并搜索最小灰度路径,且将所述平面视频图像首行像素点初始深度值设置为0,并根据以下公式计算其它行像素点的初始深度值:
Depthj=Depthj-1+tscale*min(|Grayj-Grayj-1|,d),
其中,Depthj为当前像素点的初始深度值,Depthj-1为当前像素点上一行且同列像素点的初始深度值,tscale为比例因子,min(|Grayj-Grayj-1|,d)为取|Grayj-Grayj-1|,d中的最小值,Grayj为当前像素点的灰度值,Grayj-1为当前像素点上一行且同列像素点的灰度值,d为最大灰度约束。
在本发明的一个实施例中,所述根据零视差点模板计算所述平面视频图像零视差点的深度值,进一步包括:根据所述零视差点模板获取所述零视差点的位置,其中,零视差点模板为:
y_Zero=2*h*(i-w/2)2/w2+h/4,
其中,y_Zero为所述平面视频图像当前列的零视差点所在行号值,i为所述平面视频图像当前所在列号值,h和w分别为所述平面视频图像的高度和宽度,其中,所述零视差点的位置对应的所述初始深度值为所述零视差点的深度值。
在本发明的一个实施例中,所述根据初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图,其中,所述最终深度图计算公式为:
Depthfinal=Depthj-Depthzero
其中,Depthfinal为当前像素点的最终深度值,Depthj为当前像素点的初始深度值,Depthzero为当前像素点对应列的所述零视差点的深度值。
在本发明的一个实施例中,所述高斯滤波为一维行滤波。
另外,本发明的另一方面还提出了一种平面视频立体化转换深度图生成装置,包括:控制模块,所述控制模块用于判断平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,如果所述平面视频图像为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到每个像素点的灰度值,并且计算得到所述像素点的行号和列号;计算模块,所述计算模块用于根据所述像素点的灰度值、行号和列号计算得到所述平面视频图像的最终深度值;和滤波模块,所述滤波模块用于对所述最终深度值进行一维行滤波,以得到所述平面视频图像的平滑深度图。
在本发明的一个实施例中,所述控制模块包括判断模块和获取模块,其中,所述判断模块用于根据所述平面视频图像的同步信号、行同步信号或数据有效信号,以判断所述平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,所述获取模块用于对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到每个像素点的灰度值,并且计算得到所述像素点的行号和列号。
在本发明的一个实施例中,所述计算模块进一步包括初始深度值计算模块、零视差点深度值计算模块和最终深度图计算模块,其中,所述初始深度值计算模块用于根据所述灰度值应用灰度线索计算所述平面视频图像的初始深度值,所述零视差点深度值计算模块用于根据零视差点模板计算所述平面视频图像零视差点的深度值,所述最终深度图计算模块用于根据所述初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图。
通过本发明提出的平面视频立体化转换深度图生成方法和装置,能够使平面视频的每一帧图像的深度图生成速度大幅提升,同时,该装置体积小、成本低且兼容性强,并能满足多种显示设备实时显示的需求,使大量平面片源转化为立体片源,从而极大的解决了立体图像源匮乏的现状。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的平面视频立体化转换深度图生成方法的流程图;
图2为本发明实施例的平面视频立体化转换深度图生成方法的步骤图;以及
图3为本发明实施例的平面视频立体化转换深度图生成装置的结构图。
具体实施方式
下面详细描述本发明全部的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明实施例提出的平面视频立体化转换深度图生成方法能够解决现有技术和方法存在的处理速度慢,实时性差等缺点,该方法是基于单幅平面图像的全自动深度图生成方法,有着转换速度快,准确率高的特点。
为此,本发明实施例提出了一种平面视频立体化转换深度图生成方法,以下结合附图对本发明实施例的方法的流程做详细描述。
如图1所示,为本发明实施例的平面视频立体化转换深度图生成方法的流程图。结合图2,为本发明实施例的平面视频立体化转换深度图生成方法的步骤图。
步骤S101,判断平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据。
具体地,在本发明的实施例中,由于平面视频图像数据信号在不同分辨率下输入,数据有效时钟周期不同,所以需要根据不同分辨率需求进行配置,对相应的有效视频数据进行处理。在基于可编程器件的实现中(在本发明的实施例中,可编程器件由平面视频立体化转换深度图生成装置进行描述),通过对平面视频图像数据行同步信号和帧同步信号的时钟周期计数,实现对有效视频数据的判断,判断是否为红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,当判断平面视频图像数据为红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据后,进一步对红绿蓝颜色分量RGB或亮度和色差分量YUV格式的数据做相应的处理。
步骤S102,如果判断所述平面视频图像为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,则对所述有效的红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到所述平面视频图像中每个像素点的灰度值。
具体地,在本发明的实施例中,对于输入的平面视频图像数据的有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,根据以下公式进行灰度转换:
16Gray=(4+1)R+(8+1)G+2B=>((G+R)+(4R+2B))+8G=16Gray,和
Gray=Y;
其中,在上述公式中,各个字母分别表示为:Gray为所述平面视频图像数据中每个像素点的灰度值;R,G,B分别为平面视频图像数据为RGB数据格式时的平面视频图像输入的三通道分量值,Y为平面视频图像数据为YUV数据格式下的平面视频图像输入的三通道分量值之一,而U,V分别为为YUV数据格式下的平面视频图像输入的另外两通道分量值。
在本发明的具体实例中,公式16Gray=(4+1)R+(8+1)G+2B=>((G+R)+(4R+2B))+8G=16Gray是由公式Gray=0.299*R+0.587*G+0.114*B和硬件计算特点演绎而得到的。
结合图2,在具体实施例中,如对输入的平面视频图像数据进行分析,得到有效视频数据,并且对有效视频数据进行灰度转换201,从而得到输入的平面视频图像数据在灰度转换后的灰度值和灰度转换图像。
步骤S103,根据所述灰度值应用灰度线索计算所述平面视频图像的初始深度值。
具体地,在本发明的具体实施例中,利用平面视频图像的每一幅图像的灰度线索,搜索对应灰度图的最小灰度路径,为了使生成的灰度图可以较好的辨析不同灰度下的物体,由于搜索的是最小路径,所以有较强的容错性,这样,对于平面视频图像每一幅图像对应的灰度图中存在的噪声有一定的抑制作用,减少了平面视频图像的每一幅图像的误差,提高了图像的真实度。
更为具体地,计算平面视频图像的初始深度值的具体步骤如:首先对整幅图像首行深度值(Depth)置0,然后对于其余行每个像素点的深度值,采用如下初始深度图计算公式:
Depthj=Depthj-1+tscale*min(|Grayj-Grayj-1|,d),
其中,该公式的字母分别表示为:Depthj为当前像素点的初始深度值,Depthj-1为当前像素上一行同列像素的初始深度值,tscale为比例因子,比例因子经验值0.01,min(|Grayj-Grayj-1|,d)表示取|Grayj-Grayj-1|,d中的最小值,Grayj为当前像素的灰度值,Grayj-1为当前像素上一行同列像素的灰度值,d为最大灰度约束,灰度约束经验值20。
结合图2,在本发明的具体实施例中,通过对平面视频图像采用上述计算公式,计算初始深度202,从而得到平面视频图像的每个像素点的初始深度值和该平面视频图像的初始深度图。
步骤S104,根据零视差点模板计算所述平面视频图像零视差点的深度值。
具体地,为了使虚拟深度图和大多数自然场景拟合度提升,首先应当对通过灰度最小路径得到的如步骤S103中的初始深度图设置零视差点。然后根据大多数自然场景,选用二次函数型零视差点模板,即假定零视差点在图像中呈二次函数分布,而经过使用零视差点模板处理的零视差点的初始深度图更加平滑,更加真实。
更为具体地,利用零视差点模板,获取零视差点位置。
在本发明的实施例中,零视差点模板如下:
y_Zero=2*h*(i-w/2)2/w2+h/4,
其中,y_Zero为当前列零视差点所在行号,i为当前所在列号,h为平面视频图像的高度,w为平面视频图像的宽度。
接着通过上述公式计算得到每列的零视差点位置,然后通过对得到的零视差点的位置的像素点,采用步骤S103中的方法得到对应的位置的初始深度值,该对应位置的初始深度值就是平面视频图像零视差点的深度值。
结合图2,在本发明的具体实施例中,通过上述公式计算零视差点的深度203,从而得到本实施例的平面视频图像的零视差点的深度值。
步骤S105,根据所述初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图。
具体地,在最终深度图的计算中,首先需要将零视差点处的深度值置为零,并且保持其余品面视频图像的每一帧图像深度值的相对值不变,然后,对该图像的初始深度值与该图像的零视差点的深度值做减法运算,而得到的减法结果为该平面视频图像的最终深度值:
Depthfinal=Depthj-Depthzero
其中,在上述公式中,Depthfinal表示当前像素的最终深度值,Depthj表示当前像素的初始深度值,Depthzero表示当前像素对应列的零视差点的深度值。
结合图2,在本发明的具体实施例中,根据上述公式对平面视频图像的初始深度图和零视差点的深度值进行做差计算,做差结果就是该图像的最终深度图204,从而,得到本发明实施例的平面视频图像的最终深度图。
步骤S106,对所述最终深度图进行高斯滤波以得到所述平面视频图像的平滑深度图。
具体地,通过步骤S105中计算得到的图像最终深度值,由于是基于上一行像素灰度及深度信息的处理,行内变化较大,因此需对该深度图的深度值进行一维高斯滤波,使行内深度平滑,即可达到使单幅视频图像深度图平滑,噪声小的平滑深度图。
结合图2,在本发明的具体实施例中,对步骤S105中得到的最终深度图进行高斯滤波,从而得到本发明实施例的平面视频图像的平滑深度图。
在本发明的实施例中,还提出了一种平面视频立体化转换深度图生成装置。如图3所示,为本发明实施例的平面视频立体化转换深度图生成装置的结构图。
该平面视频立体化转换深度图生成装置300包括控制模块310、计算模块320和滤波模块330。其中,控制模块310的作用为首先判断平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,然后,如果判断所述平面视频图像为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,则对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到每个像素点的灰度值,并且计算得到所述像素点的行号和列号;计算模块320的作用为根据所述像素点的灰度值、行号和列号计算得到所述平面视频图像的最终深度值。所述滤波模块330的作用为对所述最终深度值进行一维行滤波,以得到所述平面视频图像的平滑深度图。
具体地,对于控制模块310,进一步包括判断模块311和获取模块312。其中,判断模块311的用途为根据所述平面视频图像的同步信号、行同步信号或数据有效信号,从而判断所述平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据;获取模块312用途为对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据进行灰度转换以得到每个像素点的灰度值,并且计算得到所述像素点的行号和列号,其中,所述灰度转换公式为:
16Gray=(4+1)R+(8+1)G+2B=>((G+R)+(4R+2B))+8G=16Gray,和
Gray=Y;
其中,Gray为所述每个像素的灰度值;R,G,B分别为RGB数据格式下所述平面视频图像输入的三通道分量值;Y为YUV数据格式下所述平面视频图像输入的三通道分量值之一。
对于计算模块320而言,进一步包括初始深度值计算模块321、零视差点深度值计算模块322和最终深度图计算模块323。其中,初始深度值计算模块321用于根据所述灰度值应用灰度线索计算所述平面视频图像的初始深度值;零视差点深度值计算模块322用于根据零视差点模板计算所述平面视频图像零视差点的深度值;最终深度图计算模块323用于根据所述初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图。
更为具体地,上述初始深度图的计算方法为:根据所述灰度线索绘制虚拟深度图并搜索最小灰度路径,且对所述平面视频图像首行像素点初始深度值置0,并根据以下公式计算其它行像素点的初始深度值:
Depthj=Depthj-1+tscale*min(|Grayj-Grayj-1|,d),
其中,Depthj为当前像素点的初始深度值,Depthj-1为当前像素点上一行且同列像素点的初始深度值,tscale为比例因子,min(|Grayj-Grayj-1|,d)为取|Grayj-Grayj-1|,d中的最小值,Grayj为当前像素点的灰度值,Grayj-1为当前像素点上一行且同列像素点的灰度值,d为最大灰度约束。
上述零视差点的深度值计算方法中采用零视差点模板方式进行计算,而在本发明的具体实施例中,零视差点模板为:
y_Zero=2*h*(i-w/2)2/w2+h/4,
其中,y_Zero为所述平面视频图像当前列的零视差点所在行号值,i为所述平面视频图像当前所在列号值,h和w分别为所述平面视频图像的高度和宽度,其中,所述零视差点的位置对应的所述初始深度值为所零视差点的深度值。
上述计算最终深度图的方法采用深度图计算公式,该计算公式如下所述:
Depthfinal=Depthj-Depthzero
其中,Depthfinal为当前像素点的最终深度值,Depthj为当前像素点的初始深度值,Depthzero为当前像素点对应列的所述零视差点的深度值。
最后对最终深度图进行高斯滤波,从而形成本发明实施例的最终的平滑深度图。
通过本发明提出的平面视频立体化转换深度图生成方法和装置,能够使平面视频的每一帧图像的深度图生成速度大幅提升。同时,该装置体积小、成本低且兼容性强,并能满足多种显示设备实时显示的需求,使大量平面片源转化为立体片源,从而极大的解决了立体图像源匮乏的现状。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (12)

1.一种平面视频立体化转换深度图生成方法,其特征在于,包括以下步骤:
判断平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据;
如果判断所述平面视频图像为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,则对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到所述平面视频图像中每个像素点的灰度值;
根据所述灰度值应用灰度线索计算所述平面视频图像的初始深度值;
根据零视差点模板计算所述平面视频图像零视差点的深度值;
根据所述初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图;和
对所述最终深度图进行高斯滤波以得到所述平面视频图像的平滑深度图。
2.如权利要求1所述的平面视频立体化转换深度图生成方法,其特征在于,所述对有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到每个像素的灰度值,其中,所述灰度转换公式为:
16Gray=(4+1)R+(8+1)G+2B=>((G+R)+(4R+2B))+8G=16Gray,和
Gray=Y;
其中,Gray为所述每个像素的灰度值;R,G,B分别为RGB数据格式下所述平面视频图像输入的三通道分量值;Y为YUV数据格式下所述平面视频图像输入的三通道分量值之一。
3.如权利要求1所述的平面视频立体化转换深度图生成方法,其特征在于,所述根据灰度值和灰度线索计算所述平面视频图像的初始深度值,进一步包括:
根据所述灰度线索绘制虚拟深度图并搜索最小灰度路径,且将所述平面视频图像首行像素点初始深度值设置为0,并根据以下公式计算其它行像素点的初始深度值:
Depthj=Depthj-1+tscale*min(|Grayj-Grayj-1|,d),
其中,Depthj为当前像素点的初始深度值,Depthj-1为当前像素点上一行且同列像素点的初始深度值,tscale为比例因子,min(|Grayj-Grayj-1|,d)为取|Grayj-Grayj-1|,d中的最小值,Grayj为当前像素点的灰度值,Grayj-1为当前像素点上一行且同列像素点的灰度值,d为最大灰度约束。
4.如权利要求1所述的平面视频立体化转换深度图生成方法,其特征在于,所述根据零视差点模板计算所述平面视频图像零视差点的深度值,进一步包括:
根据所述零视差点模板获取所述零视差点的位置,其中,零视差点模板为:
y_Zero=2*h*(i-w/2)2/w2+h/4,
其中,y_Zero为所述平面视频图像当前列的零视差点所在行号值,i为所述平面视频图像当前所在列号值,h和w分别为所述平面视频图像的高度和宽度,其中,所述零视差点的位置对应的所述初始深度值为所述零视差点的深度值。
5.如权利要求1所述的平面视频立体化转换深度图生成方法,其特征在于,所述根据初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图,其中,所述最终深度图计算公式为:
Depthfinal=Depthj-Depthzero
其中,Depthfinal为当前像素点的最终深度值,Depthj为当前像素点的初始深度值,Depthzero为当前像素点对应列的所述零视差点的深度值。
6.如权利要求1所述的平面视频立体化转换深度图生成方法,其特征在于,所述高斯滤波为一维行滤波。
7.一种平面视频立体化转换深度图生成装置,其特征在于,包括:
控制模块,所述控制模块用于判断平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,如果所述平面视频图像为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到每个像素点的灰度值,并且计算得到所述像素点的行号和列号;
计算模块,所述计算模块用于根据所述像素点的灰度值、行号和列号计算得到所述平面视频图像的最终深度值;和
滤波模块,所述滤波模块用于对所述最终深度值进行一维行滤波,以得到所述平面视频图像的平滑深度图。
8.如权利要求7所述的平面视频立体化转换深度图生成装置,其特征在于,所述控制模块包括判断模块和获取模块,其中,所述判断模块用于根据所述平面视频图像的同步信号、行同步信号或数据有效信号,以判断所述平面视频图像是否为有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据,所述获取模块用于对所述有效红绿蓝颜色分量RGB或亮度和色差分量YUV数据格式的数据进行灰度转换以得到每个像素点的灰度值,并且计算得到所述像素点的行号和列号,其中,所述灰度转换公式为:
16Gray=(4+1)R+(8+1)G+2B=>((G+R)+(4R+2B))+8G=16Gray,和
Gray=Y;
其中,Gray为所述每个像素的灰度值;R,G,B分别为RGB数据格式下所述平面视频图像输入的三通道分量值;Y为YUV数据格式下所述平面视频图像输入的三通道分量值之一。
9.如权利要求7所述的平面视频立体化转换深度图生成装置,其特征在于,所述计算模块进一步包括初始深度值计算模块、零视差点深度值计算模块和最终深度图计算模块,其中,所述初始深度值计算模块用于根据所述灰度值应用灰度线索计算所述平面视频图像的初始深度值,所述零视差点深度值计算模块用于根据零视差点模板计算所述平面视频图像零视差点的深度值,所述最终深度图计算模块用于根据所述初始深度值和所述零视差点的深度值,计算所述平面视频图像的最终深度图。
10.如权利要求9所述的平面视频立体化转换深度图生成装置,其特征在于,所述根据灰度值和灰度线索计算所述平面视频图像的初始深度值,进一步包括:
根据所述灰度线索绘制虚拟深度图并搜索最小灰度路径,且对所述平面视频图像首行像素点初始深度值置0,并根据以下公式计算其它行像素点的初始深度值:
Depthj=Depthj-1+tscale*min(|Grayj-Grayj-1|,d),
其中,Depthj为当前像素点的初始深度值,Depthj-1为当前像素点上一行且同列像素点的初始深度值,tscale为比例因子,min(|Grayj-Grayj-1|,d)为取|Grayj-Grayj-1|,d中的最小值,Grayj为当前像素点的灰度值,Grayj-1为当前像素点上一行且同列像素点的灰度值,d为最大灰度约束。
11.如权利要求9所述的平面视频立体化转换深度图生成装置,其特征在于,所述零视差点模板为:
y_Zero=2*h*(i-w/2)2/w2+h/4,
其中,y_Zero为所述平面视频图像当前列的零视差点所在行号值,i为所述平面视频图像当前所在列号值,h和w分别为所述平面视频图像的高度和宽度,其中,所述零视差点的位置对应的所述初始深度值为所述零视差点的深度值。
12.如权利要求9所述的平面视频立体化转换深度图生成装置,其特征在于,所述最终深度图计算公式为:
Depthfinal=Depthj-Depthzero
其中,Depthfinal为当前像素点的最终深度值,Depthj为当前像素点的初始深度值,Depthzero为当前像素点对应列的所述零视差点的深度值。
CN2010105682352A 2010-11-26 2010-11-26 平面视频立体化转换深度图生成方法和装置 Active CN102026012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105682352A CN102026012B (zh) 2010-11-26 2010-11-26 平面视频立体化转换深度图生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105682352A CN102026012B (zh) 2010-11-26 2010-11-26 平面视频立体化转换深度图生成方法和装置

Publications (2)

Publication Number Publication Date
CN102026012A true CN102026012A (zh) 2011-04-20
CN102026012B CN102026012B (zh) 2012-11-14

Family

ID=43866775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105682352A Active CN102026012B (zh) 2010-11-26 2010-11-26 平面视频立体化转换深度图生成方法和装置

Country Status (1)

Country Link
CN (1) CN102026012B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427540A (zh) * 2011-09-28 2012-04-25 深圳超多维光电子有限公司 一种立体图像滤波方法及相应的图像处理装置、终端设备
CN102724528A (zh) * 2012-05-18 2012-10-10 清华大学 一种深度图生成装置
CN103220542A (zh) * 2012-01-18 2013-07-24 三星电子株式会社 用于产生视差值的图像处理方法和设备
CN103780897A (zh) * 2014-02-25 2014-05-07 重庆卓美华视光电有限公司 两视点图像的深度图获取方法及装置
CN103945211A (zh) * 2014-03-13 2014-07-23 华中科技大学 一种通过单视角彩色图像序列生成深度图序列的方法
CN113436304A (zh) * 2021-06-22 2021-09-24 青岛小鸟看看科技有限公司 图像渲染方法、装置及头戴式显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
CN101516040A (zh) * 2008-02-20 2009-08-26 深圳华为通信技术有限公司 视频匹配方法、装置及***
CN101593349A (zh) * 2009-06-26 2009-12-02 福州华映视讯有限公司 将二维影像转换为三维影像的方法
CN101605270A (zh) * 2009-07-16 2009-12-16 清华大学 生成深度图的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024614A1 (en) * 2005-07-26 2007-02-01 Tam Wa J Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
CN101516040A (zh) * 2008-02-20 2009-08-26 深圳华为通信技术有限公司 视频匹配方法、装置及***
CN101593349A (zh) * 2009-06-26 2009-12-02 福州华映视讯有限公司 将二维影像转换为三维影像的方法
CN101605270A (zh) * 2009-07-16 2009-12-16 清华大学 生成深度图的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Electronic Devices, Systems and Applications (ICEDSA), 2010 Intl Conf on,11-14 April 2010》 20100414 Depth map generation based on depth from focus Yi-Che Chen 等 , 2 *
《Signal Processing (ICSP), 2010 IEEE 10th International Conference on,24-28 Oct. 2010,Beijing 》 20101028 Lai-Man Po 等 Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation , 2 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427540A (zh) * 2011-09-28 2012-04-25 深圳超多维光电子有限公司 一种立体图像滤波方法及相应的图像处理装置、终端设备
CN102427540B (zh) * 2011-09-28 2014-04-09 深圳超多维光电子有限公司 一种立体图像滤波方法及相应的图像处理装置、终端设备
CN103220542A (zh) * 2012-01-18 2013-07-24 三星电子株式会社 用于产生视差值的图像处理方法和设备
CN102724528A (zh) * 2012-05-18 2012-10-10 清华大学 一种深度图生成装置
CN102724528B (zh) * 2012-05-18 2015-01-14 清华大学 一种深度图生成装置
CN103780897A (zh) * 2014-02-25 2014-05-07 重庆卓美华视光电有限公司 两视点图像的深度图获取方法及装置
CN103780897B (zh) * 2014-02-25 2016-05-11 重庆卓美华视光电有限公司 两视点图像的深度图获取方法及装置
CN103945211A (zh) * 2014-03-13 2014-07-23 华中科技大学 一种通过单视角彩色图像序列生成深度图序列的方法
CN113436304A (zh) * 2021-06-22 2021-09-24 青岛小鸟看看科技有限公司 图像渲染方法、装置及头戴式显示设备

Also Published As

Publication number Publication date
CN102026012B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
CN109360235B (zh) 一种基于光场数据的混合深度估计方法
Tam et al. 3D-TV content generation: 2D-to-3D conversion
CN102741879B (zh) 由单眼图像产生深度图的方法及其***
KR101625830B1 (ko) 깊이 맵을 생성하기 위한 방법 및 디바이스
US8963998B2 (en) Full reference system for predicting subjective quality of three-dimensional video
US20080080852A1 (en) Single lens auto focus system for stereo image generation and method thereof
CN105704479B (zh) 3d显示***用的测量人眼瞳距的方法及***和显示设备
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
CN100565589C (zh) 用于深度感知的装置和方法
EP2323416A2 (en) Stereoscopic editing for video production, post-production and display adaptation
TR201810139T4 (tr) Çoklu görünümler için etkili görüntü alıcısı.
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
CN103238337B (zh) 立体图像获取***及方法
CN105049838B (zh) 一种用于压缩立体视频质量的客观评价方法
CN108833877B (zh) 图像处理方法及装置、计算机装置及可读存储介质
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
WO2012117706A1 (ja) 映像処理装置、映像処理方法、プログラム
TWI462569B (zh) 三維影像攝相機及其相關控制方法
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
CN104052990B (zh) 一种基于融合深度线索的全自动二维转三维方法和装置
JP2009211561A (ja) 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
CN110149508A (zh) 一种基于一维集成成像***的阵列图生成及填补方法
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant