WO2013023325A1 - 基于图像运动信息的2d转3d方法 - Google Patents

基于图像运动信息的2d转3d方法 Download PDF

Info

Publication number
WO2013023325A1
WO2013023325A1 PCT/CN2011/001377 CN2011001377W WO2013023325A1 WO 2013023325 A1 WO2013023325 A1 WO 2013023325A1 CN 2011001377 W CN2011001377 W CN 2011001377W WO 2013023325 A1 WO2013023325 A1 WO 2013023325A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
value
pixel
input
Prior art date
Application number
PCT/CN2011/001377
Other languages
English (en)
French (fr)
Inventor
冯涛
张彦丁
杨东
Original Assignee
北京世纪高蓝科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京世纪高蓝科技有限公司 filed Critical 北京世纪高蓝科技有限公司
Priority to EP11870997.1A priority Critical patent/EP2629531A4/en
Priority to CN201180028889.9A priority patent/CN103053165B/zh
Priority to PCT/CN2011/001377 priority patent/WO2013023325A1/zh
Priority to US13/818,101 priority patent/US20130235155A1/en
Priority to JP2013540213A priority patent/JP2014504468A/ja
Publication of WO2013023325A1 publication Critical patent/WO2013023325A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264—Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Definitions

  • the present invention relates to the field of 2D to 3D technology, and in particular, to a 2D to 3D method based on image motion information.
  • 3D TV Three Dimensions
  • 3D applications are becoming more and more popular in people's lives, but despite the constant 3D filming, 3D sources are still unable to meet the current market needs.
  • Automatic conversion of 2D (Dimensions, 2D) sources to 3D becomes a new market need.
  • the conversion between 2D and 3D is to generate a second view video based on 2D view content.
  • the process includes two aspects of processing: one for depth estimation to obtain depth map (image); the other is based on depth map Depth Image Based Rendering (DIBR).
  • the depth map stores depth information in 8-bit grayscale values (0 grayscale represents the farthest value, and 255 grayscale represents the most recent value).
  • many algorithms have appeared in the field of 2D to 3D, and the more common ones are Based on the motion estimation based 2D to 3D algorithm, the method obtains the depth map of the input image by motion estimation.
  • the existing motion estimation based 2D to 3D algorithm is obtained.
  • the depth map is sparse, and the object can not be distinguished by different objects, which affects the image quality obtained by DIBR. Therefore, the popularization of the method is limited.
  • the technical problem to be solved by the present invention is: How to improve the quality of the image generated by the 2D to 3D method based on image motion information.
  • the present invention provides a 2D to 3D method based on motion estimation, the method comprising the steps of:
  • the motion estimation method is used to obtain the depth value of each pixel of the 2D image
  • step S4 The left eye image and the right eye image of step S4 are combined and output to obtain a 3D image.
  • step S1 further includes:
  • S1.2 calculates the depth value of each pixel according to the motion vector obtained in step S1.1.
  • the method of motion estimation is a diamond search algorithm.
  • step S2 further includes:
  • I ( x, y ) is the luminance value of the pixel at the (x, y ) position, and its value ranges from [0, 255]; SCALE is the scaling factor of the luminance value; width is the input 2D image The width value, height is the height value of the input 2D image; DEPTH SCALE is the depth value scaling factor,
  • step S2.1 further includes:
  • step S2.12 is performed
  • D(x,y)' min(D(xl,y)'+
  • SCALE 0.1.
  • DEPTH-SCALE 120.
  • step S3 further includes:
  • x1 and xr are the positions of the corresponding input 2D image xc positions in the left eye image and the right eye image
  • f is the focal length of the eye
  • tx is the distance between the eyes
  • Z is the distance of the pixel point from the human eye.
  • Dzero is the position of the zero plane, which has a value range of [0, 255];
  • Dzero 255.
  • the obtained depth map is continuous and dense, and the quality of the reconstructed image and the 3D visual effect are improved.
  • Figure 1/2 is a flow chart of a 2D to 3D method based on image motion information according to an embodiment of the present invention
  • Figure 2/2 is a schematic diagram of a visual model of a dual camera.
  • the 2D to 3D method based on image motion information includes the following steps: 51. Obtaining a depth value of each pixel of the input 2D image based on a motion estimation method;
  • step S4 The left eye image and the right eye image of step S4 are combined and output to obtain a 3D image.
  • step S1 further includes:
  • S1.1 Calculates the motion vector of each pixel based on the motion estimation method.
  • the motion estimation method adopts the diamond search algorithm, first searches for large diamonds, then searches for small diamonds, and finally moves to integer pixel precision.
  • Vector of course, other search algorithms are equally applicable here, not as a limitation on the method of the invention;
  • S1.2 calculates the depth value of each pixel according to the motion vector obtained in step S1.1.
  • y is the row of the pixel
  • X is the column of the pixel
  • D ( x, y ) is the depth value of the pixel at the unknown (x, y )
  • MV X and MV y are the horizontal and vertical movements of the pixel, respectively.
  • the input 2D image can be input before the motion search in step S1.1 is performed.
  • Performing a denoising process which is well known to those skilled in the art, does not perform motion vector discontinuity due to motion search. If the directly calculated depth map is sparse, the actual depth map should be dense. Therefore, the present invention accumulates the depth values calculated by the motion vectors based on the luminance information of each pixel.
  • step S2 further includes:
  • D(x,y)' min(D(xl,y) , +
  • D(x,y)' min(D(xl,y)'+
  • step S2.14 returns to step S2.ll if y ⁇ height, otherwise, outputs D(x, y) ' obtained in step S2.12 or S2.13.
  • height is the height value of the input 2D image;
  • the horizontal direction should keep the continuity of the depth value as much as possible, and avoid the excessive noise caused by the motion search. Therefore, the present invention does not use the horizontal gradient value for the scaling motion to obtain the depth value.
  • step S3 left The eye image is taken as an example, that is, the left eye image is reconstructed based on DIBR according to the depth map obtained in step S2 in step S3.
  • Equation (9) and (10) are the geometric relationships of the same pixel points in the corresponding Cl, Cr, and Cc in Fig. 2.
  • the xl or xr values of the corresponding input 2D image xc are calculated according to formulas (9) and (10). Then, the pixel value at (xc, y) is copied to the corresponding (xl, y) or (xr, y) (copy to (xl, y) in this embodiment).
  • step S3 further includes:
  • x1 and xr are the positions of the corresponding input 2D image xc positions in the left eye image and the right eye image
  • f is the focal length of the eye
  • tx is the distance between the eyes
  • Z is the distance of the pixel point from the human eye.
  • Dzero is the position of the zero plane, which has a value range of [0, 255];
  • the horizontal direction of the input 2D image is first scaled to improve the pixel precision during projection.
  • the image is stretched four times in the horizontal direction, and the X value of the 1/4 pixel accuracy corresponding to x1 per line is calculated based on the above human visual relationship. If the value of X corresponding to xl exceeds the image range, the pixel value of the xl position is obtained according to the interpolation; if multiple xl correspond to the same x, then D(x, y) is taken as the largest xl, and the other xl position values are passed. Interpolation is obtained; if X corresponding to xl is unique, the pixel value at position xl is the pixel value of the X position of the input 2D image.
  • the image reconstructed image obtained by the 2D-to-3D method based on the image motion information of the present invention has high quality and good 3D visual effect, and is important for promoting the automatic conversion of the 2D source to the 3D market.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于图像运动信息的2D转3D方法，涉及2D转3D技术领域。该方法包括步骤：S1.基于运动估计的方法得到输入的2D图像各像素的深度值；S2.根据各像素的亮度值，对各像素的深度值进行累加，得到输入的2D图像的深度图；S3.根据步骤S2得到的深度图，进行基于深度图的图像重构左眼和/或右眼图像；S4.将步骤S4的左眼图像和右眼图像合成并输出得到3D图像。在本发明的方法中，由于对运动估计得到的深度值进行了累加处理，得到的深度图连续且稠密，提高了重构图像的质量以及3D视觉效果。

Description

基于图像运动信息的 2D转 3D方法 技术领域
本发明涉及 2D转 3D技术领域， 尤其涉及一种基于图像运动信息的 2D转 3D方法。
背景技术
三维（Three Dimensions, 3D )电视席卷而来成为全球电视产业新的发展 方向， 各大电视生厂商都推出了自己的 3D电视。 3D应用在人们的生活中变得 越来越流行， 但是虽然不断有 3D电影拍摄， 3D片源仍不能满足目前的巿场需 要。 将二维（Two Dimensions, 2D )片源自动的转换为 3D成为新的巿场需要。
2D与 3D之间的转换即为生成基于 2D视图内容的第二视图视频，该过程包括两 个方面的处理： 一个为深度估计以得到深度图（depth map/image ); 另一个为 基于深度图的图像重构 （Depth Image Based Rendering, DIBR )。 深度图以 8 位灰度值存储了深度信息（0灰度表示最远值， 255灰度表示最近值）， 在过去 的多年中， 2D转 3D这一领域出现了很多算法，较常用的为基于运动估计的 2D 转 3D算法， 该方法通过运动估计的方法得到输入图像的深度图， 但是， 由于 深度图需要相当的稠密度及精确度， 而现有的基于运动估计的 2D转 3D算法得 到的深度图较为稀疏， 在物体分解出不能区分出不同物体， 从而影响 DIBR得 到的图像质量， 因此， 限制了该方法的推广使用。
发明内容
(一） 要解决的技术问题
本发明要解决的技术问题是： 如何提高基于图像运动信息的 2D转 3D方法 生成图像的质量。
(二）技术方案
为解决上述问题， 本发明提供了一种基于运动估计的 2D转 3D方法， 该方 法包括步骤：
51. 基于运动估计的方法得到^入的 2D图像各像素的深度值；
52. 根据各像素的亮度值， 对所述各像素的深度值进行累加， 得到所述 输入的 2D图像的深度图；
53. 根据步骤 S2得到的深度图， 基于深度图的图像重构， 重构左眼和 /或 右眼图像；
54. 将步骤 S4的左眼图像和右眼图像合成并输出得到 3D图像。
优选地， 步骤 S1进一步包括：
S1.1 基于运动估计的方法计算各像素的运动矢量；
S1.2根据步驟 S1.1得到的运动矢量分别计算各像素的深度值。
为:
Figure imgf000004_0001
优选地， 所述运动估计的方法为菱形搜索算法。
优选地， 步骤 S2进一步包括：
S2.1 从所述输入的 2D图像的第一行开始， 对各像素的深度值进行累加 得到每一个像素的深度累加值 D(x，y)' :
S2.2 按照以下公式， 将所述深度累加值归一化到 [0, 255]之间， 得到归 一化的深度值 D(x，y)" :
D(x,y)" =
Figure imgf000004_0002
其中， I ( x,y )为（x，y )位置处的像素的亮度值， 其取值范围为 [0， 255]; SCALE为亮度值的缩放因子； width为所述输入的 2D图像的宽度值， height 为所述输入的 2D图像的高度值； DEPTH SCALE为深度值缩放因子，
sum
sum
sidth*height
sum= D(x,y)' |
x=o,y=o
优选地， 步骤 S2.1进一步包括：
S2.l l若 y为 0， 则 D(x，y)' = 0 , 否则， 执行步骤 S2.12;
S2.12若 y为奇数， 且 X为 0, 贝 lj D(X，y)' = D(x,y-l)'+D(X，y)， 若 x不为 0，
D(x,y)' = min(D(x-l)y)'+|l(x+l,y)-l(x-l,y)|*SCALE,D(x)y-l),) + D(x,y)*(l+|l(x,y-l)-l(x,y+l)|*SCALE 否则执行步骤 S2.13; S2.13 若 x=width-l， 贝 lj D(x,y)' = D(x，y-l)'+D(x，y)， 否则：
D(x,y)' = min(D(x-l,y)'+|l(x+l,y)-I(x-l,y)|*SCALE,D(x,y-l),) + D(x,y)*(l+|l(x,y-l)-l(x,y+l)|*SCALE
S2.14 若 < 1^§ , 则返回步骤 S2.l l， 否则， 输出步骤 S2.12或 S2.13 得到的 D(x,y)'。
优选地， SCALE=0.1。
优选地， DEPTH一 SCALE=120。
优选地， 步驟 S3进一步包括：
S3.1 按照下式重构左眼或右眼图像：
xl=xc+——
2 z
tx f
xr = xc
2 z
l/Z=Dz (x,y)"-Dzero
其中， xl、 xr分别为左眼图像及右眼图像中对应输入的 2D图像 xc位置 的位置， f为眼睛的焦距， tx为两眼之间的距离， Z为像素点离人眼的距离， Dzero为零平面的位置， 其取值范围为 [0，255]；
S3.2 将（xc，y ) 处的像素值拷贝到对应的 （xl,y )或 （xr,y ) 处。
优选地， Dzero=255。
(三）有益效果
在本发明的方法中， 由于对运动估计得到的深度值进行了累加处理， 得 到的深度图连续且稠密， 提高了重构图像的质量以及 3D视觉效果。
附图说明
图 1/2是依照本发明一种实施方式的基于图像运动信息的 2D转 3D方法 流程图；
图 2/2是一种双摄像机的视觉模型示意图。
具体实施方式
本发明提出的基于图像运动信息的 2D转 3D方法，结合附图及实施例详 细说明如下。
如图 1/2所示， 依照本发明一种实施方式的基于图像运动信息的 2D转 3D方法包括步骤： 51. 基于运动估计的方法得到输入的 2D图像各像素的深度值；
52. 根据各像素的亮度值， 对各像素的深度值进行累加， 得到输入的 2D 图像的深度图；
53. 根据步骤 S2得到的深度图，进行基于深度图的图像重构左眼和 /或右 眼图像；
54. 将步骤 S4的左眼图像和右眼图像合成并输出得到 3D图像。
在本实施方式的方法中， 步骤 S1进一步包括：
S1.1 基于运动估计的方法计算各像素的运动矢量， 其中， 运动估计的方 法采用菱形搜索算法， 先进行大的菱形的搜索， 再进行小的菱形的搜索， 最 后的到整数像素精度的运动矢量， 当然， 其他的搜索算法在这里同样适用， 不作为对本发明方法的限制；
S1.2根据步骤 S1.1得到的运动矢量分别计算各像素的深度值。
其中， 深度值的计算公式为：
Figure imgf000006_0001
y为像素所在行， X为像素所在列， D ( x，y )为未知 （x，y )处的像素的 深度值， MVX以及 MVy分别为所述像素水平方向以及竖直方向的运动矢量， C为常量， 本实施方式中 C=l。
为了提高步骤 SI.1中搜索的精度， 减少噪声（特别是某些片源中添加的 椒盐噪声）对运动搜索精度的影响， 在进行步骤 S1.1的运动搜索之前， 可对 输入的 2D 图像进行去噪处理， 此为本领域的技术人员所公知的， 在此不做 由于运动搜索得到的运动矢量不连续， 如果直接计算得到的深度图很稀 疏， 而实际的深度图应该是稠密的， 所以本发明根据各像素的亮度信息对运 动矢量计算得到的深度值进行累加。
在本实施方式中， 步骤 S2进一步包括：
S2.1 从输入的 2D图像的第一行开始， 对各像素的深度值进行累加得到 每一个像素的深度累加值 D(x，y)'， 该步骤进一步包括：
S2.l l若 y为 0， 则 D(x,y)' = 0， 否则， 执行步骤 S2.12; S2.12 若 y为奇数， 且 x为 0, j¾j D(x，y) ' = D(X，y-l)'+ D(x，y) , 若 x不为 0, 则：
D(x,y)' = min(D(x-l,y),+|l(x+l,y)-l(x-l,y)|*SCALE,D(x,y-l)1) + D(x,y)*(l+|l(x,y-l)-I(x,y+l)|*SCALE 否则执行步骤 S2.13;
S2.13 若 x=width-l， 则 D(x,y) ' = D(x,y-l)'+D(x，y)， 否则：
D(x,y)' = min(D(x-l，y)'+|l(x+l,y)— I(x-l,y)|*SCALE,D(x,y-l)')+D(x,y)*(l+|l(x，y-l)-I(x，y+l)|*SCALE
S2.14若 y < height， 则返回步骤 S2.ll， 否则， 输出步骤 S2.12或 S2.13 得到的 D(x，y) '。
S2.2 按照以下公式， 将深度累加值归一化到 [0, 255]之间， 得到归一化 的深度值 D(x，y) "， 从而得到连续稠密的深度图：
D(x,y)" = ( 6 )
Figure imgf000007_0001
其中， I ( x，y )为（x，y )位置处的像素的亮度值， 其取值范围为 [0， 255]; SCALE为亮度值的缩放因子，本实施方式中 SCALE=0.1; width为输入的 2D 图像的宽度值， height为输入的 2D图像的高度值； DEPTH— SCALE为深度值 缩放因子， 本实施方式中， DEPTH一 SCALE=120;
, sum ( π
sum- \ Ί、 )
sidth*height
sum= D(x,y) ' ( 8 )；
x=o, =o
S2.3 对步骤 S2.2得到的归一化深度值 D(x，y)"进行非对称高斯滤波，得到 最终的深度值 Dz (x，y)"， 该非对称高斯滤波处理为本领域所述熟知的技术， 在 此不做赘述。
由于将在图像水平方向进行投影变换， 所以水平方向应尽量保持深度值 的连续性， 避免运动搜索带来的噪声过大影响， 所以本发明未将水平梯度值 用于缩放运动得到深度值。
由于人眼的视觉特性， 有 70%的人视觉感知依重于右眼， 20%的人依重 于左眼。 为了减少计算量， 本发明在使用 DIBR重构图像时仅重构用户不倚 重的那只眼， 不失一般性， 这里默认为左眼。 且这种情况下虽然重构帧的质 量较差， 但不影响 3D的视觉效杲。 因此， 本实施方式中在歩骤 S3中， 以左 眼图像为例， 即， 在步骤 S3中根据步骤 S2得到的深度图， 基于 DIBR重构 左眼图像。
如图 2/2所示， 其中， Cc为输入的 2D图像， C1为重构的左眼图像， Cr 为重构的右眼图像。 f为眼睛的焦距， tx为基线距离， 即两眼之间的距离， Z 为观测的像素点离人眼的距离， 按照公式（11 )进行计算。 Dzero为零平面的 位置， 取值 [0， 255]， 在本实施方式中可取 255。 公式（9 )、 ( 10 )为图 2中对 应 Cl、 Cr、 Cc中同一像素点投影的几何关系， 根据公式 （9 )、 ( 10 )计算得 到对应输入的 2D图像 xc位置的 xl或 xr值， 然后将（xc，y )处的像素值拷贝 到对应的 （xl,y )或 （xr，y )处（本实施方式中拷贝到 （xl,y ) )。
即步骤 S3进一步包括：
S3.1 按照下式重构左眼或右眼图像：
( 9 )
2 z
xr = xc-—— ( 10 )
2 ζ
l/Z=Dz (x,y) "-Dzero ( 11 )
其中， xl、 xr分别为左眼图像及右眼图像中对应输入的 2D图像 xc位置 的位置， f为眼睛的焦距， tx为两眼之间的距离， Z为像素点离人眼的距离， Dzero为零平面的位置， 其取值范围为 [0,255];
S3.2 将（xc，y ) 处的像素值拷贝到对应的 （xl，y )或 （xr，y ) 处。
为了减少重构图像的锯齿效应， 先将输入的 2D 图像的水平方向进行缩 放， 以提高投影时的像素精度。 在本实施方式中， 在水平方向将图像拉伸到 原来的 4倍， 根据以上的人眼视觉关系计算得到每行 xl对应的 1/4像素精度 的 X值。若 xl对应的 X的值超出了图像范围， 则根据插值得到 xl位置的像素 值； 若多个 xl对应相同的 x， 则取 D(x,y) "最大的 xl, 其它的 xl位置值通过插 值得到； 若 xl对应的 X唯一， 则 xl位置的像素值为输入的 2D图像 X位置的 像素值。
以上实施方式仅用于说明本发明， 而并非对本发明的限制， 有关技术领 域的普通技术人员， 在不脱离本发明的精神和范围的情况下， 还可以做出各 种变化和变型， 因此所有等同的技术方案也属于本发明的范畴， 本发明的专 利保护范围应由权利要求限定。
工业实用性
使用本发明的基于图像运动信息的 2D转 3D方法得到的图像重构图像质 量高， 3D视觉效果好， 对推动 2D片源自动的转换为 3D的巿场发展具有重 要意义。

Claims

Figure imgf000010_0001
1、 一种基于图像运动信息的 2D转 3D方法， 其特征在于， 该方法包括 步骤：
51. 基于运动估计的方法得到输入的 2D图像各像素的深度值；
52. 根据各像素的亮度值， 对所述各像素的深度值进行累加， 得到所述 输入的 2D图像的深度图；
53. 根据步骤 S2 得到的深度图， 基于深度图的图像重构， 重构左眼和 / 或右眼图像；
54. 将步骤 S4的左眼图像和右眼图像合成并输出得到 3D图像。
2、 如权利要求 1所述的基于图像运动信息的 2D转 3D方法， 其特征在 于， 步骤 S1进一步包括：
S1.1 基于运动估计的方法计算各像素的运动矢量；
S1.2根据步骤 S1.1得到的运动矢量分别计算各像素的深度值。
3、 如权利要求 2所述的基于图像运动信息的 2D转 3D方法， 其特征在 于， 所述运动估计的方法为菱形搜索算法。
4、 如权利要求 3所述的基于图像运动信息的 2D转 3D方法， 其特征在 于， 步骤 S2进一步包括：
S2.1 从所述输入的 2D图像的第一行开始， 对各像素的深度值进行累加 得到每一个像素的深度累加值 D(x，y)' :
S2.2 按照以下公式， 将所述深度累加值归一化到 [0， 255]之间， 得到归 一化的深度值 D(X,y)" :
D(x,y)" = min 255, max 0, D(X,y) *DEPTH一 SCALE
V sum' 乂
其中， I ( x，y )为 ( x，y )位置处的像素的亮度值， 其取值范围为 [0， 255]; SCALE为亮度值的缩放因子； width为所述输入的 2D图像的宽度值， height 为所述输入的 2D图像的高度值； DEPTH SCALE为深度值缩放因子，
, sum
sum- sidth*height °¥ (Xij ) w (χ'ιχ) ^ ^m^m ^ 射 es '簟 丫鼙 祟 ¥z
Figure imgf000011_0001
n
ox W az^ ^ ¾ ^、ιχ
Figure imgf000011_0002
Z OX = JX
J xi z Z
+OX=IX
■W ^W^^M^f ^ res
°0n=3TV3S~HIdHa '
°IO=3TV3S Ί αε
Figure imgf000011_0003
、9 。擦# erz:s zvzs ' ^ 'nxs ^H^ 'V^ H>^ ^ PVZS
： ^ '(χ'χ)α+.(ι-χ'χ)α=,( χ)α「ιΜ 'i-ipp! =x errs TV3S*|(i+'x)i-(i 'x)i|+i)*( x)a+(,(i 'x)a'3TV3S*|( 'i-x)i-( 'i+x)i|+.( i-x)a)u!ui=,( x)a
'(χ'χ)α+,(ι-'χ)α=,(χ'χ)α
Figure imgf000011_0004
zvzs
Figure imgf000011_0005
： ^^一 ίΠΉ¾ '
'· ,(^' )a ^ =ums ..£lOO/llOZN3/XDd
PCT/CN2011/001377 2011-08-18 2011-08-18 基于图像运动信息的2d转3d方法 WO2013023325A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP11870997.1A EP2629531A4 (en) 2011-08-18 2011-08-18 METHOD FOR CONVERTING 2D IMAGES IN 3D BASED ON MOTION IMAGE INFORMATION
CN201180028889.9A CN103053165B (zh) 2011-08-18 2011-08-18 基于图像运动信息的2d转3d方法
PCT/CN2011/001377 WO2013023325A1 (zh) 2011-08-18 2011-08-18 基于图像运动信息的2d转3d方法
US13/818,101 US20130235155A1 (en) 2011-08-18 2011-08-18 Method of converting 2d into 3d based on image motion information
JP2013540213A JP2014504468A (ja) 2011-08-18 2011-08-18 画像運動情報に基づく２ｄから３ｄへの変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001377 WO2013023325A1 (zh) 2011-08-18 2011-08-18 基于图像运动信息的2d转3d方法

Publications (1)

Publication Number Publication Date
WO2013023325A1 true WO2013023325A1 (zh) 2013-02-21

Family

ID=47714669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2011/001377 WO2013023325A1 (zh) 2011-08-18 2011-08-18 基于图像运动信息的2d转3d方法

Country Status (5)

Country Link
US (1) US20130235155A1 (zh)
EP (1) EP2629531A4 (zh)
JP (1) JP2014504468A (zh)
CN (1) CN103053165B (zh)
WO (1) WO2013023325A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103533329A (zh) * 2013-10-09 2014-01-22 上海大学 一种2d转3d的视频自动评估方法
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
CN104243950A (zh) * 2013-06-06 2014-12-24 索尼公司 用于将2维内容实时转换为3维内容的方法和设备
CN109274951A (zh) * 2017-07-13 2019-01-25 富泰华工业（深圳）有限公司 深度计算方法及其装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
KR20130033125A (ko) * 2011-09-26 2013-04-03 삼성전자주식회사 컨텐츠변환장치 및 컨텐츠변환방법
CN104113745A (zh) 2013-04-17 2014-10-22 咏传电子科技（上海）有限公司 显示装置及其影像显示方法
CN105989326B (zh) * 2015-01-29 2020-03-03 北京三星通信技术研究有限公司 人眼三维位置信息的确定方法和装置
CN111369612B (zh) * 2018-12-25 2023-11-24 北京欣奕华科技有限公司 一种三维点云图像生成方法及设备
TWI784428B (zh) * 2021-03-03 2022-11-21 宏碁股份有限公司 立體影像產生方法與使用該方法的電子裝置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103513A (ja) * 1999-09-27 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
CN101271578A (zh) * 2008-04-10 2008-09-24 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
CN101631256A (zh) * 2009-08-13 2010-01-20 浙江大学 用于三维电视***中2d视频到3d视频的转换方法
EP2268047A2 (en) * 2009-06-16 2010-12-29 Samsung Electronics Co., Ltd. Conversion device and method converting a two dimensional image to a three dimensional image
CN102075780A (zh) * 2011-02-25 2011-05-25 福建华映显示科技有限公司 立体影像产生装置及其方法
US20110141237A1 (en) * 2009-12-15 2011-06-16 Himax Technologies Limited Depth map generation for a video conversion system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JP2001016609A (ja) * 1999-06-05 2001-01-19 Soft Foo Deii:Kk Ｍｐｅｇデータを用いた立体映像生成装置及び方法
EP1719079B1 (en) * 2004-02-17 2008-01-02 Koninklijke Philips Electronics N.V. Creating a depth map
JP2007300169A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 動きベクトル検出器
US9418433B2 (en) * 2007-07-03 2016-08-16 Koninklijke Philips N.V. Computing a depth map
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
KR20100040236A (ko) * 2008-10-09 2010-04-19 삼성전자주식회사 시각적 관심에 기반한 2차원 영상의 3차원 영상 변환기 및 변환 방법
JP5428454B2 (ja) * 2009-03-30 2014-02-26 凸版印刷株式会社 画像生成方法
TWI564843B (zh) * 2009-07-01 2017-01-01 晨星半導體股份有限公司 移動估測方法及移動估測裝置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103513A (ja) * 1999-09-27 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
CN101271578A (zh) * 2008-04-10 2008-09-24 清华大学 一种平面视频转立体视频技术中的深度序列生成方法
EP2268047A2 (en) * 2009-06-16 2010-12-29 Samsung Electronics Co., Ltd. Conversion device and method converting a two dimensional image to a three dimensional image
CN101631256A (zh) * 2009-08-13 2010-01-20 浙江大学 用于三维电视***中2d视频到3d视频的转换方法
US20110141237A1 (en) * 2009-12-15 2011-06-16 Himax Technologies Limited Depth map generation for a video conversion system
CN102075780A (zh) * 2011-02-25 2011-05-25 福建华映显示科技有限公司 立体影像产生装置及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2629531A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243950A (zh) * 2013-06-06 2014-12-24 索尼公司 用于将2维内容实时转换为3维内容的方法和设备
CN104243950B (zh) * 2013-06-06 2016-08-24 索尼公司 用于将2维内容实时转换为3维内容的方法和设备
CN103533329A (zh) * 2013-10-09 2014-01-22 上海大学 一种2d转3d的视频自动评估方法
CN103826032A (zh) * 2013-11-05 2014-05-28 四川长虹电器股份有限公司 深度图后期处理方法
CN103826032B (zh) * 2013-11-05 2017-03-15 四川长虹电器股份有限公司 深度图后期处理方法
CN109274951A (zh) * 2017-07-13 2019-01-25 富泰华工业（深圳）有限公司 深度计算方法及其装置
CN109274951B (zh) * 2017-07-13 2020-11-10 富泰华工业（深圳）有限公司 深度计算方法及其装置

Also Published As

Publication number Publication date
EP2629531A1 (en) 2013-08-21
US20130235155A1 (en) 2013-09-12
JP2014504468A (ja) 2014-02-20
CN103053165B (zh) 2015-02-11
CN103053165A (zh) 2013-04-17
EP2629531A4 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
WO2013023325A1 (zh) 基于图像运动信息的2d转3d方法
Martin-Brualla et al. Lookingood: Enhancing performance capture with real-time neural re-rendering
Liu et al. Joint geodesic upsampling of depth images
CN111194550B (zh) 处理3d视频内容
CN111105432B (zh) 基于深度学习的无监督端到端的驾驶环境感知方法
US20110304708A1 (en) System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image
CN109963048B (zh) 降噪方法、降噪装置及降噪电路***
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US9973694B1 (en) Image stitching to form a three dimensional panoramic image
WO2011138472A1 (es) Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d
Berdnikov et al. Real-time depth map occlusion filling and scene background restoration for projected-pattern-based depth cameras
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、***
JP5893166B2 (ja) ３ｄモデル・モーフィングのための方法および装置
Yang et al. Global auto-regressive depth recovery via iterative non-local filtering
Yuan et al. Temporal upsampling of depth maps using a hybrid camera
TWI608447B (zh) 立體影像深度圖產生裝置及方法
WO2016078162A1 (zh) 一种基于hevc的3d视频快速编码方法
CN102819662B (zh) 一种视频流体高度的计算方法
CN107610070B (zh) 基于三摄像采集的自由立体匹配方法
Bae et al. 5d light field synthesis from a monocular video
CN103198464B (zh) 一种基于单个参考视频的人脸视频光影迁移生成方法
Kowalczuk et al. Real-time temporal stereo matching using iterative adaptive support weights
TWI439119B (zh) 視訊影像的深度資訊處理系統與其相關處理方法
US9336596B2 (en) System and methods to efficiently measure stereoscopic disparity and to generate related mismatch images
EP2966867A1 (en) Methods and devices for encoding and decoding a sequence of frames representing a 3D scene, and corresponding computer program products and computer-readable medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180028889.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 13818101

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11870997

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011870997

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013540213

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE