CN102469323B - 一种2d图像转3d图像的方法 - Google Patents

Abstract

本发明适用于3D显示领域，提供一种2D图像转3D图像的方法。该方法包括：步骤A.判断图像上部是否有天花板特性，如果有则进行步骤B，否则进行步骤C；步骤B.进行弧面法2D图像转3D图像；步骤C.进行斜面法2D图像转3D图像。该方法根据图像上部是否有天花板特性，进行相应的2D图像转3D图像，能增强3D图像在垂直方向上的效果。

Description

一种2D图像转3D图像的方法

技术领域

本发明属于3D显示领域，尤其涉及一种2D图像转3D图像的方法。

背景技术

目前，3D显示技术迎来了新一轮的热潮。显示装置从2D显示向3D显示转换已是大势所趋；此外，3D显示领域蕴藏着丰富的利益，也促使各大厂商纷纷推出自己的3D显示装置。

3D显示装置快速发展，必然需要大量的3D内容。然而，当前3D内容的制作技术还不成熟，制作成本较高，市面上能观看的3D内容很少；而2D内容因积攒多年而内容丰富，把现有的2D内容转成3D内容，不但能解决3D内容紧缺的问题，带来可观的经济利益，更能推动3D技术的协同发展。

因此，有必要提供一种2D图像转3D图像的方法，以解决目前3D内容不足的问题。

发明内容

本发明的目的在于提供一种2D图像转3D图像的方法，旨在解决现有技术中存在的3D内容不足的问题。

本发明是这样实现的，一种2D图像转3D图像的方法，包括：步骤A.判断图像上部是否有天花板特性，如果有则进行步骤B，否则进行步骤C；步骤B.进行弧面法2D图像转3D图像；步骤C.进行斜面法2D图像转3D图像。

该方法的步骤A中，天花板特性是图像上部有1～3条线段，线段长度大于某个预设值，且其中至少有一条线段是倾斜的。

该方法的步骤A具体包括如下步骤：步骤A1.彩色图转灰度图；步骤A2.截取图像上部；步骤A3.对截取的图像边缘检测；步骤A4.对截取图像进行霍夫变换；步骤A5.确定霍夫变换图的前三个最大值；步骤A6.判断最大值大于预设值n且θ不为0度90度和180度，如果满足条件，则进行步骤B，否则进行步骤C。其中，步骤A2中，截取的图像上部最多是图像顶部1/3的部分。

该方法的步骤B中，弧面法进行2D转3D，其左视图在左，右视图在右，3D效果都为凹陷，景深感从图像下部分到图像下部按照由近及远再及近。

该方法的步骤B中，从高到低将图像划分为4块为例，从图像最低到1/4高处视差由小线性变大；从1/4到1/2高度处，视差继续变大；从1/2到3/4高度处，视差由大变小；从3/4到最高处，视差继续由大变小。

该方法的步骤B具体包括：步骤B1.将图像划分为多块；步骤B2.利用不同的斜率求各区块中各行的视差，并利用视差获得每块的右视图；步骤B3.将各块拼接成右视图。其中，步骤B1中，图像被划为4个区块，划分方式是沿垂直方向上等分的，按照从上到下的顺序，最上面的区块为区块1，往下依次为区块2，区块3，区块4；步骤B2中，以原始图像为左视图，将每个区块形成对应的右视图的区块；区块1的视差由下到上由小呈线性变大，设下端的视差为dis_min，上端的视差为dis_mid，子块的高度为H，则视差的斜率：

k₁＝(dis_mid-dis_min)/H

设每行的高度为h，区块1每行的视差：

d₁＝k₁*h+dis_init

其中，dis_init为dis_min，dis_min取5，dis_mid取15。

该方法中，区块2的视差由下到上由小变大，最小为dis_mid，最大为dis_max，子块的高度为H，视差的斜率：

k₂＝(dis_max-dis_mid)/H

其中dis_init为dis_mid；

此外，区块3的视差斜率：

k₃＝-k₂

区块4的视差斜率：

k₄＝-k₁。

该方法的步骤C中，转出的3D内容都为正视差，左视图在左，右视图在右，3D效果都为凹陷，景深感从下到上由近及远，整体表现成一个斜面。

步骤C中具体包括：步骤C1，计算计算各行的视差；C2.利用各行的视差，形成右视图；C3，将左视图和右视图叠加输出。

其中，步骤C1中，视差随着高度的增加而加大，最小视差为dis_min，最大视差为dis_max，视差的斜率：

k＝(dis_max-dis_min)/H

H为图像的高度，设每行的高度为h，每行的视差：d＝k*h+dis_min。

该方法判断图像上部是否具有天花板特性，作为进行2D图像转3D图像的依据，由于充分考虑了图像在垂直方向上的状态，所以能转换出垂直方向上效果良好3D效果。

附图说明

图1是凹陷的3D效果形成原理图；

图2是以像素为单位的视差跟景物到屏幕间的距离关系示意图；

图3是景深与视差的关系示意图；

图4是2D图像转3D图像方法的流程图；

图5是判断图像上部是否有天花板特性的流程图；

图6是截取灰度图顶部1/4高度区域组成新的灰度图；

图7是霍夫变换示意图；

图8是弧面法2D图像转3D图像的视差示意图；

图9是弧面法2D图像转3D图像的流程图；

图10是区块划分示意图；

图11是垂直方向上左右视图之间的视差示意图；

图12是图像块拼接后的示意图；

图13是斜面法2D图像转3D图像的流程图；

图14是右视图和左视图叠加到一起的视差示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的2D图像转3D图像的方法，针对3D图像在垂直方向上3D效果进行加强。一般而言，图像或视频的一帧在垂直方向上的景物分布有三种类型，第一种是：图像从上到下到观察者的距离由远及近；第二种是：图像从上到下没有明显的层次感；第三种是：图像的上部和下部到观察者的距离近，中间部分下到观察者的距离较远。对于第一种情况和第二种情况，2D转3D时，3D效果可做成从上到下由远及近的斜面，此种情况的2D转3D称为：斜面法2D转3D；第三种情况多发生在图像所表现主体的上方有物体遮挡，如：室内和走廊的情况，上方有天花板的遮挡；室外的情况，则有树木等高空物体的遮挡。对这种情况，需要做成的3D效果做成从上到下先近后远再近，在垂直方向上整体表现为向里凹的一个弧面，此种情况的2D转3D称为：弧面法2D转3D。

为了便于理解本发明，下面讨论景深与视差的关系。景深即景物到屏的距离，视差即同一景物在左右视图上水平位置的像素差。根据3D成像的原理，当左视图在左，右视图在右，即视差为正视差时，景物凹陷于屏幕，景深为正景深；反之，则景物凸出于屏幕，景深为负景深。本发明的弧面法2D转3D和斜面法2D转3D转出的3D效果都凹陷于屏幕，景深都为正景深，下面将讲述正景深和正视差的关系，负景深与负视差的关系同理。凹陷的3D效果形成原理如图1所示，D为景物到屏幕的距离，f为屏幕到观众的距离，d为左右视图的视差，L为左右眼间的距离。根据三角形相似原理可知，

$\frac{D}{D+f}=\frac{d}{L}---\left(1\right)$

由式(1)可推导出视差与景深的关系：

$d=\frac{L*D}{D+f}---\left(2\right)$

观众到屏幕的观看距离f一般建议为3m，人两眼间的距离一般取70mm，即0.07m，式(2)可改写成式(3)：

$d=\frac{0.07*D}{3+D}---\left(3\right)$

其中视差d的单位为米，下面将把d的单位换算为像素。设一台n寸（0.0254*n米），分辨率为1080P（水平分辨率为1920），比例模式为16:9（宽长比为16:9）的电视，水平方向上的宽w(单位为米)满足:

$w^2+{(9w/16)}^2={(0.0254*n)}^2==>w=\sqrt{\frac{{16}^2}{9^2+{16}^2}*0.0254*n}=0.022n---\left(4\right)$

每个像素的物理分辨率为：

$k=\frac{w}{1920}=\frac{0.022*n}{1920}---\left(5\right)$

则以像素为单位的视差d_p可由式（6）计算得：

$d_p=\frac{d}{k}=\frac{0.07*D/(D+3)}{k}=\frac{0.07*D*1920}{(D+3)*0.022*n}=\frac{6109.1*D}{n*(D+3)}---\left(6\right)$

设D在0.1～10范围内以0.1的步进取100个点，n取55即55寸的电视，以像素为单位的视差d_p跟D间的关系可由图2来表示，类似于对数曲线。

3D电视的视差d_p一般在40个像素内取值，在此范围内景深与视差的关系如图3所示，接近于线性关系。

根据上述基本原理，2D图像转3D图像方法的流程如图4所示，首先，输入2D图像，这里输入的2D图像是2D内容中的每帧图像或者部分帧图像。输入2D图像之后，进入本发明的具体流程：

A.判断图像上部是否有天花板特性；

查看图像上部是否有天花板的遮挡，如果有则进入步骤B；如果没有则进入步骤C。步骤A的具体实现方法请参阅图5，图5是判断图像上部是否有天花板特性的流程图，具体判断过程如下：

由于室内或走廊里图像主体的遮挡主要来自天花板，图像中的天花板一般由1～3条线段围成的部分组成，天花板特征即图像上部具有1～3条线段。如果能检测出图像上部有1～3条线段，线段足够长（大于某个预设值），且其中至少有一条线段是倾斜的，则可认为此图像的上部有天花板，该预设值根据图片大小而定。

2D图像输入后，执行步骤A1.彩色图转灰度图；

根据式(7)，将彩色图像转为灰度图，设此彩色图像为RGB颜色空间的彩色图像，R为红色分量，G为绿色分量，B为蓝色分量，由式(1)计算出的灰度图；

Gray＝0.3*R+0.59*G+0.11*B    (7)

然后执行步骤A2.截取图像上部；

截取图像上部分，这里的上部最多是图像顶部1/3的部分；本实施例以1/4为例进行说明。截取灰度图顶部1/4高度区域组成新的灰度图用于后面的判断，如图6(a)所示；

接着执行步骤A3.对截取的图像边缘检测；

用canny算子检测步骤A2截取图像的边缘，检测出的边缘如图6(b)图所示；

然后，执行步骤A4.对截取图像进行霍夫变换（Hough Transform）；

对步骤A3检测出的边缘图进行霍夫变换。霍夫变换是一种线描述方法，它可以将笛卡儿坐标的空间的线变换为极坐标空间中的点，其具体变换过程如图7所示。

图7(a)是笛卡儿坐标中的一条直线，如果用ρ代表直线距原点的法线距离，θ为该法线与x轴的夹角，则可用如下参数方程来表示该直线。这一直线的霍夫变换为：

ρ＝xcosθ+ysinθ    (8)

在极坐标中便是图7(b)所示的点(ρ，θ)在极坐标里，横坐标为直线的法向角θ，纵坐标为笛卡儿坐标原点到直线的法向距离ρ。在笛卡儿坐标系中通过公共点的一簇直线，如图7(c)所示，映射到极坐标中便是一个点集，这些点集构成一条曲线，其实这是正弦曲线图7(d)。因此，笛卡儿坐标空间中的一个点对应于极坐标中就是一条正弦曲线，(x,y)域中一条直线上的n个点对应于变换域中经过一个公共点的n条曲线。霍夫变换可通过下列方式实现：在(x,y)域中每一离散数据点变换为(ρ，θ)域中的曲线。将θ和ρ分成许多小段，每一个θ小段和每个ρ小段构成一个小单元。对应于每一个小单元可设一累加器（可定义一个二维数组Accumulator）。在(x,y)域中可能落在直线上的每一点对应于变换域中一条曲线ρ＝x_iCOSθ+y_isinθ。分别使θ等于

便可求出相应的ρ值，并分别计算落在各个小单元的次数，待全部的(x,y)域内数据点变换完后，可对小单元进行检测，这样，落入次数最多的单元（也就是求二维数组Accumulator元素的最大值），说明此点为较多曲线的公共点，而这些曲线对应的(x,y)平面上的点可以认为是共线的。检测出(x,y)平面上n点后，将曲线交点坐标(ρ₀，θ₀)代入ρ₀＝xcosθ₀+ysinθ₀，便可得到逼近n点的直线方程，如图7（e）和图7（f）所示。

图6（b）中的边缘图经霍夫变换后的图如图6(c)所示；霍夫变换后的图为极坐标表现形式，横坐标为在笛卡尔坐标下一个点跟原点的连线跟X轴的夹角θ，纵坐标为笛卡尔坐标下点到原点的距离ρ，图像数据为边缘图被霍夫变换到此夹角和距离所表示的点的点数的统计值；

步骤A5.确定霍夫变换图的前三个最大值；

遍历霍夫变换后的图像，找出前三个最大统计值；

步骤A6.判断最大值大于预设值n且θ不为0度90度和180度；

判断其值是否大于预设值n（经验值n取50），且夹角θ不为0、90和180度。如果满足上面两个条件，则认为图像上部有天花板遮挡，进入步骤B，否则进入步骤C。

B.进行弧面法2D图像转3D图像；

通过此步骤进行2D图像转3D图像后，转出的3D图像都为正视差，即左视图在左，右视图在右，3D效果都为凹陷，景深从图像下部分到图像下部由近及远再及近。由图3所示的景深与视差的关系图可知，在30个像素视差范围内视差与景深的关系类似于直线，可由两条直线组成的折线来模拟，视差的示意图如图8所示，从高到低将图像划分为4块为例，横轴代表图像的高度，纵轴代表正视差的大小，从图像最低到1/4高处视差由小线性变大，斜率最大；从1/4到1/2高度处，视差继续变大，但斜率较小；从1/2到3/4高度处，视差由大变小，斜率的绝对值较小；从3/4到最高处，视差继续由大变小，斜率的绝对值较大。

为实现这样的效果，进行弧面法2D图像转3D图像的流程图如图9所示，

上部有天花板特征的2D图像输入后，按一下步骤进行处理：

步骤B1.将图像划分为多块；

本实施方式中，以4个区块为例进行说明。图像被划为4个区块，划分方式是沿垂直方向上等分的，设图像的长为n宽为m，则每区块的宽为m长为n/4，区块划分示意图如图10所示，按照从上到下的顺序，对区块定义如下：最上面的区块为区块1，往下依次为区块2，区块3，区块4；

步骤B2.利用不同的斜率求各区块中各行的视差，并利用视差获得每块的右视图；

这里，以输入的2D图像为左眼图像，以处理后的2D图像为右眼图像，基于此，对每个区块进行处理。对上述划分的每个块求取其每行的视差，进而求出区块相应的右视图。下面将就各区块中各行视差的求取和右视图的生产做详细的介绍：

区块1各行视差的求取和右视图的生成：如图11所示，区块1的视差由下到上由小呈线性变大，设下端的视差为dis_min，上端的视差为dis_mid，子块的高度为H(H=m/4)，则视差的斜率可由式（9）求得：

k₁＝(dis_mid-dis_min)/H    （9）

设每行的高度为h，区块1每行的视差d可由式（10）求得：

d₁＝k₁*h+dis_init

（10）

其中，dis_init为dis_min。经实验，为了好的景深效果又不产生明显的重影，dis_min可取5，dis_mid可取15，对1080P图像，H=m/4=1080/4=270。根据式(2)求得的视差值，就可计算出右视图相应行的像素值。因为k是一个远小于1的值，所以，式(2)求得的视差值是一个浮点数，可表示为d=t+f，t代表其整数部分，f代表其小数部分。此区块的3D效果要求为凹陷，视差为正视差，即左视图在左，右视图在右，垂直方向上左右视图之间的视差如图12所示，h行的右视图可由下列方式求得：前t个像素插黑，之后的像素值可由式（11）求得：

I′_k＝f*I_k-t+(1-f)I_k-t+1    （11）

I’_k为右视图h行上的第k个点的像素值，k>t，f为视差d的小数部分，I_k-t为左视图h行上第k-t个点的像素值，I_k-t+1为I_k-t之后一个点的像素值。到此可求出区块1对应的右视图。

其他区块各行视差的求取和右视图的生成过程如下：其他各区块相应右视图的生成跟区块1的方法类似，只是各个区块视差的求取有细微的差别。区块2的视差由下到上由小变大，最小为dis_mid，最大为dis_max，经验值为20，子块的高度为H，视差的斜率如式(12)所示：

k₂＝(dis_max-dis_mid)/H    （12）

视差的求取如式(10)所示，其中dis_init为dis_mid。

区块3的视差由下到上由大变小，最大为dis_max，最小为dis_mid，子块的高度为H，视差的斜率如式(12)所示：

k₃＝-k₂    （13）

视差的求取如式(10)所示，其中dis_init为dis_max。

区块4的视差由下到上由大变小，最大为dis_mid，最小为dis_min，子块的高度为H，视差的斜率如式(12)所示：

k₄＝-k₁    （14）

视差的求取如式(10)所示，其中dis_init为dis_max。到此通过弧面法生成将右视图的各区块；接下来，

步骤B3.将各块拼接成右视图；

将生成的各块拼接成右视图，其各块的次序不变，只将形成的各块连接起来。

生成的右视图和作为左视图的原始视图一并经显示装置输出，观察者就可以观看到3D效果，由于在生成各块的时候，考虑到垂直方向的视差，这样垂直方向的3D效果良好。拼接后的示意图如图12所示，图12（a）是原始的左视图；图12（b）是形成的右视图；图12（C）是叠加后的效果图。

步骤C.进行斜面法2D图像转3D图像；

判断图像上部没有天花板特征时，采用斜面法进行2D图像转3D图像，其具体流程请结合图13，图13是斜面法2D图像转3D图像的流程图。

通过步骤C进行2D图像转3D图像后，转出的3D内容都为正视差，即左视图在左，右视图在右，3D效果都为凹陷，景深感从下到上由近及远，整体表现成一个斜面。为了与步骤B采取一致，这里以输入的原始图像为左眼图像，下面是获取右眼图像的方法：

步骤C1，计算计算各行的视差；

视差随着高度的增加而加大，最小视差为dis_min，最大视差为dis_max，视差的斜率可由式（15）求得：

k＝(dis_max-dis_min)/H    （15）

H为图像的高度。设每行的高度为h，每行的视差d可由式（16）求得：

d＝k*h+dis_min    （16）；

C2.利用各行的视差，形成右视图；

利用各行的视差，将每行向右移动d个像素，d即每行对应的视差，移动之后，每行的左侧插黑；

C3，将左视图和右视图叠加输出；

将获取的左视图和右视图进行叠加后输出。

到此就完成了满足图像中心向里凹要求的相应右视图的生成，生成的右视图和左视图叠加到一起的视差示意图如图14所示，图14（a）是原始的图像，这里作为左视图；图14（b）是形成的右视图；图14（c）是左右视图叠加后的视图。

该方法通过判断图像上部是否具有天花板特性，作为进行2D图像转3D图像的依据，由于充分考虑了图像在垂直方向上的状态，所以能转换出垂直方向上效果良好3D效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种2D图像转3D图像的方法，包括：

步骤A.判断图像上部是否有天花板特性，如果有则进行步骤B，否则进行步骤C；所述天花板特性是图像上部有1～3条线段，线段长度大于某个预设值，且其中至少有一条线段是倾斜的；

步骤B.进行弧面法2D图像转3D图像，

其中，步骤B具体包括：步骤B1.将图像划分为多块；步骤B2.利用不同的斜率求各区块中各行的视差，并利用视差获得每块的右视图；步骤B3.将各块拼接成右视图；

步骤C.进行斜面法2D图像转3D图像，

其中，步骤C中具体包括：步骤C1，计算各行的视差；步骤C2.利用各行的视差，形成右视图；步骤C3，将左视图和右视图叠加输出。

2.根据权利要求1所述的2D图像转3D图像的方法，其特征在于，步骤A具体包括如下步骤：

步骤A1.彩色图转灰度图；

步骤A2.截取图像上部；

步骤A3.对截取的图像边缘检测；

步骤A4.对截取图像进行霍夫变换；

步骤A5.确定霍夫变换图的前三个最大值；

步骤A6.判断最大值大于预设值n且θ不为0度90度和180度，如果满足条件，则进行步骤B，否则进行步骤C。

3.根据权利要求2所述的2D图像转3D图像的方法，其特征在于，步骤A2中，截取的图像上部最多是图像顶部1/3的部分。

4.根据权利要求1所述的2D图像转3D图像的方法，其特征在于，步骤B中，弧面法进行2D转3D，其左视图在左，右视图在右，3D效果都为凹陷，景深感从图像下部分到图像下部按照由近及远再及近。

5.根据权利要求4所述的2D图像转3D图像的方法，其特征在于，步骤B中，从高到低将图像划分为4块为例，从图像最低到1/4高处视差由小线性变大；从1/4到1/2高度处，视差继续变大；从1/2到3/4高度处，视差由大变小；从3/4到最高处，视差继续由大变小。

6.根据权利要求1所述的2D图像转3D图像的方法，其特征在于，步骤B1中，图像被划为4个区块，划分方式是沿垂直方向上等分的，按照从上到下的顺序，最上面的区块为区块1，往下依次为区块2，区块3，区块4。

7.根据权利要求6所述的2D图像转3D图像的方法，其特征在于，步骤B2中，以原始图像为左视图，将每个区块形成对应的右视图的区块；区块1的视差由下到上由小呈线性变大，设下端的视差为dis_min，上端的视差为dis_mid，子块的高度为H，则视差的斜率：

k₁＝(dis_mid-dis_min)/H

设每行的高度为h，区块1每行的视差：

d₁＝k₁*h+dis_init

其中，dis_init为dis_min。

8.根据权利要求7所述的2D图像转3D图像的方法，其特征在于，dis_min取5，dis_mid取15。

9.根据权利要求7所述的2D图像转3D图像的方法，其特征在于，区块2的视差由下到上由小变大，最小为dis_mid，最大为dis_max，子块的高度为H，视差的斜率：

k₂＝(dis_max-dis_mid)/H

其中dis_init为dis_mid；

区块3的视差斜率：

k₃＝-k₂

区块4的视差斜率：

k₄＝-k₁。

10.根据权利要求1所述的2D图像转3D图像的方法，其特征在于，步骤C中，转出的3D内容都为正视差，左视图在左，右视图在右，3D效果都为凹陷，景深感从下到上由近及远，整体表现成一个斜面。

11.根据权利要求1所述的2D图像转3D图像的方法，其特征在于，步骤C1中，视差随着高度的增加而加大，最小视差为dis_min，最大视差为dis_max，视差的斜率：

k＝(dis_max-dis_min)/H

H为图像的高度，设每行的高度为h，每行的视差：d＝k*h+dis_min。

Images