CN102209248B

CN102209248B - 视差图像生成装置和方法

Info

Publication number: CN102209248B
Application number: CN201010567069.4A
Authority: CN
Inventors: 三岛直; 三田雄志; 下山贤一; 平井隆介; 马场雅裕
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-03-31
Filing date: 2010-11-30
Publication date: 2014-12-10
Anticipated expiration: 2030-11-30
Also published as: JP2011215949A; US8665319B2; US20110242280A1; CN102209248A; JP5227993B2

Abstract

本发明提供一种视差图像生成装置和方法。根据一个实施方式，视差图像生成装置利用第一图像生成与其具有视差的视差图像。该装置包括以下单元。第一推定单元(101(1)～101(N))通过使用第一方法推定指示第一图像中的第一深度的分布的分布信息项。所述分布信息项落入要再现的深度范围内。第一合成单元(103)合成所述分布信息项以生成第一深度信息。第二计算单元(200)计算指示所述第一图像中的对象的相对起伏的第二深度信息。第三合成单元(300)通过使用不同于所述第一方法的方法来合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。生成单元(400)根据所述第三深度信息和所述第一图像生成视差图像。

Description

视差图像生成装置和方法

技术领域

这里所述的实施方式一般地涉及一种视差图像生成装置和方法。

背景技术

已知根据二维图像(静止图像、运动图像等)推定图像内的深度并且根据指示所推定的深度的信息来生成视差图像的技术。

例如，JP-A 2005-151534(公开)公开了如下方法：根据图像中的高频分量将与多个图像的深度(即，可感知的深度)信息项对应的模型相混合，并且将作为图像的颜色信号的红色信号添加到所得到的深度模型，从而得到最终的深度(即，可感知的深度)信息。另外，C.-C.Cheng，C.-T.Li，Y.-M.Tsai和L.-G.Chen的“AQuality-Scalable Depth-Aware Video Processing System”SID2009中公开了如下的方法：通过使用3种方法进行推定而取得整个图像的深度(即，可感知的深度)信息项，对所取得的3个深度信息项进行加权平均，以生成最终的深度信息。

发明内容

一般地，根据一个实施方式，视差图像生成装置利用第一图像生成与其具有视差的视差图像。该视差图像生成装置包括以下单元。第一推定单元通过使用第一方法推定指示第一图像中的第一深度的分布的分布信息项。所述分布信息项落入要再现的深度范围内。第一合成单元合成所述分布信息项以生成第一深度信息。第二计算单元计算指示所述第一图像中的对象的相对起伏的第二深度信息。第三合成单元通过使用不同于所述第一方法的方法来合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。生成单元根据所述第三深度信息和所述第一图像生成视差图像。

附图说明

图1A和1B是分别示出根据第一实施方式的视差图像生成装置的框图。

图2是用于说明第一实施方式的视差图像生成装置的操作的流程图。

图3A是示出对应于分布信息的深度模型的例子的图。

图3B是示出对应于起伏信息的深度模型的例子的图。

图4是用于说明根据深度信息计算视差向量的方法的图。

图5是用于说明根据视差向量计算视差图像的方法的图。

图6A和6B是示出深度信息项的例子的曲线图。

图7A和7B是示出第一和第二深度信息项的例子的曲线图。

图8是示出第三深度信息的例子的曲线图。

图9是示出用于将深度信息转换成视差信息的模型的例子的框图。

具体实施方式

以下参照附图对实施方式进行详细说明。在实施方式中，相同的附图标记表示相同的要素，并且省略重复的说明。

(第一实施方式)

第一实施方式涉及一种利用图像从第一二维图像(包括静止图像和运动图像)来生成至少一个与其具有视差的视差图像的装置。尽管在下述实施方式中对生成两个视差图像的方法进行了说明，但本实施方式不限于此。例如，当对裸眼实现立体视觉时，可以生成在数量上对应于观察点的视差图像。

图1A是示出第一实施方式的视差图像生成装置的框图。如图所示，视差图像生成装置包括第一深度计算单元100、第二深度计算单元200、合成单元300和生成单元400。以下的“深度”、“起伏”等是指可感知的深度、起伏等。

第一深度计算单元100包括N(≥2)个或更多的推定单元101(1)～101(N)和合成单元103。

推定单元101(1)～101(N)利用不同方法推定由前侧平面和后侧平面限定的三维再现范围中的深度分布，再现范围中的深度对应于第一图像中的深度。然后，推定单元输出指示所推定的分布的数据项。

合成单元103合成数据项以生成第一深度信息。

第二深度计算单元200计算第二深度信息，该第二深度信息指示第一图像中的对象区域内的相对起伏。对象区域是包括对象的第一图像的区域。

分布信息指示整个图像的深度再现范围内的绝对深度，而起伏信息指示对象中的相对深度。即，基于分布信息再现的深度范围是再现范围的任何部分，而基于起伏信息再现的深度范围比再现范围要窄。

合成单元300合成第一和第二深度信息项以生成第三深度信息。合成单元300利用不同于合成单元103的方法合成深度信息。后面将对此作详细说明。

生成单元400根据第三深度信息和第一图像生成视差图像。可以使用任何已知的技术来根据深度信息生成视差图像。

图1B示出第一实施方式的视差图像生成装置的变形。该变形与图1A所示的第一实施方式的不同在于，第二深度计算单元200包括M(≥2)个或更多的推定单元201(1)～201(M)和合成单元203。

推定单元201(m)(1≤m≤M)检测第一图像中的目标对象，推定与所检测的对象的类型相对应的起伏，并且输出指示所推定的起伏的起伏信息。另外，推定单元201(1)～201(M)可以通过M种不同的方法来检测相同的对象，而通过相同的推定方法取得与检测结果相关的起伏信息项。可替代地，推定单元201(1)～201(M)可以通过相同的方法检测相同的对象，而通过M种不同的方法取得与检测结果有关的起伏信息项。

合成单元203合成从推定单元201(1)～201(M)输出的起伏信息项。

以下对第一实施方式的视差图像生成装置的操作进行说明，为了便于说明，以图1B的结构为例。

图2示出第一实施方式的视差图像生成装置的操作。这里假定通过下述步骤生成的视差图像所实现的三维空间中的深度的再现范围为0≤z≤Z，其中，z表示深度信息，z＝0指示再现范围的可感知的前侧位置(可感知的最浅的位置)，而z＝Z指示再现范围的可感知的最后侧位置(可感知的最深的位置)。可感知的前侧位置和可感知的(最)后侧位置以下分别简称为“前侧位置”和“(最)后侧位置”。

推定单元101(1)～101(N)通过利用不同的方法进行推定，取得与三维再现范围中的第一图像内的深度分布对应的各个深度分布信息项(S21(1)～(N))。在步骤S21(n)中，推定单元101(n)通过推定取得深度分布信息(1≤n≤N)。为了通过推定取得深度分布信息，可以应用准备预设的深度模型并且根据第一图像适当地使用的方法。

图3A示出深度分布信息的模型。在图3A中，x轴和y轴指示图像中的位置，白色区域指示最后侧区域(该最后侧区域限定了再现范围的后侧平面)，而较黑的区域指示更靠近前侧平面(即，可感知的前侧平面)的区域。可替代地，可以应用如下方法：检测第一图像与将要在不同于第一图像的显示时刻的时刻显示的第二图像之间的运动，根据所检测的运动推定深度分布。另外可替代地，可以应用根据特定的像素值图案推定深度分布的方法。即，步骤21(n)可以应用能够取得涉及整个第一图像的深度分布信息的任何类型的推定方法。在第n个步骤S21(n)(1≤n≤N)中获得的分布信息中的、像素位置(x，y)处的深度Z_n如下所述定义。注意，0≤Z_n(x，y)≤Z。

合成单元103合成由推定单元101(1)～101(N)取得的多个分布信息项，形成第一深度信息(S22)。在该深度信息合成步骤中，合成N个深度信息项来生成一个第一深度信息项。在计算机图形中，当合成两个深度时，选择并合成更靠近相机的深度。这是基于光线追踪思想，即基于进入眼睛的光是未被中断的光的原则。同样，在该步骤中，选择并合成更靠近前侧平面的深度。由于较浅的深度指示更靠近前侧平面的位置，因此通过如下选择最小值来取得第一深度信息：

zc(x，y)＝min{z₁(x，y)，...，z_N(x，y)}

其中，zc(x，y)表示像素位置(x，y)处的第一深度信息，min{a，b，c...}表示从{a，b，c...}选择最小值的操作。可替代地，可以通过对N个深度信息项进行平均来得到第一深度信息，但这对于光线追踪不是优选的。

推定单元201(1)～201(M)检测第一图像内的目标对象，并且通过推定来取得与所检测的对象的类型相对应的起伏信息(S23(1)～S23(M))。在步骤S23(m)中，推定单元201(m)推定起伏(1≤m≤M)。更具体地说，每个推定单元201检测第一图像内的目标对象，并且根据对象的类型向所检测的对象的区域分配预设的起伏模型，从而计算第二深度信息。在第一实施方式中，对如下方法进行说明：检测存在于第一图像内的脸部的位置和尺寸，向所检测的位置分配预设的相对深度模型。由此可以在对象区域中设定适当的起伏。

图3B示出模型的例子。在该情况下，模型由人的脸部和上身形成。在图3B中，x轴和y轴指示图像中的位置，白色区域指示最后侧区域，较黑的区域指示更靠近前侧平面的区域。不仅是脸部，还可以检测其它对象，并且分配与其对应的深度模型。要检测的对象不限于脸部，还可以是人的整个身体、动物、车辆等。在第一实施方式中，对车辆与脸部的检测进行说明。

与像素位置(x，y)对应的、通过步骤S23(m)中的推定而取得的起伏信息如下定义：假定-Z_r≤r_m(x，y)≤Z_r，其中，r_m(x，y)指示没有起伏的状态，-Z_r指示对象区域中的相对向前突起的状态，Z_r指示对象区域中的相对向后突起的状态。可以根据所检测的对象的尺寸来确定Z_r。例如，如果对象较大，则相对深度显得较大，从而将Z_r设定得较大。相反，如果对象较小，则将Z_r设定得较小。另外，可以根据与对象的位置对应的第一深度信息来确定Z_r。这种情况下，如果第一深度信息指示前侧位置，则将Z_r设定得较大，而如果第一深度信息指示后侧位置，则将Z_r设定得较小。

合成单元203合成由推定单元201(1)～201(M)生成的起伏信息，生成第二深度信息(S24)。在计算机图形中，为了合成两个深度，选择并合成更靠近相机的深度。这是基于光线追踪思想，即基于进入眼睛的光是未被中断的光的原则。在步骤S24中，像步骤S22那样，选择并合成更靠近前侧平面的深度。由于在深度信息中，较低的值指示更靠近前侧平面的位置，因此可以通过如下选择最小值来取得第二深度信息：

rc(x，y)＝min{r₁(x，y)，...，r_M(x，y)}

其中，rc(x，y)表示像素位置(x，y)处的第二深度信息。可替代地，可以通过对M个起伏信息项进行平均来得到第二深度信息，但这对于光线追踪不是优选的。

进一步可替代地，可以根据第一深度信息来合成起伏信息项。假定提供起伏信息项的对象的重心处的第一深度信息项为重心深度信息项，则可以选择得到与最靠近前侧平面的位置对应的重心深度信息的起伏信息，作为对象(例如人和车辆)彼此重合的区域中包括的位置处得到的起伏信息。

合成单元300合成第一和第二深度信息项以生成第三深度信息(S24)。为了进行合成，合成单元300利用不同于合成单元103和203的方法。

为了通过将对象区域中的相对起伏信息附加到指示第一图像内的绝对深度分布的第一深度信息上来表达深度信息，将第一和第二深度信息项相加来生成第三深度信息。

zf(x，y)＝zc(x，y)+rc(x，y)

其中，zf(x，y)表示像素位置(x，y)处的第三深度信息。另外，也可以进行相乘来代替相加(zf(x，y)＝zc(x，y)·rc(x，y))。

第一和第二深度信息项的合成结果可能会脱离三维空间中的期望的深度再现范围0≤z≤Z。为了避免这种情况，优选对第三深度信息进行调整，使其不脱离期望的深度再现范围。

生成单元400根据第三深度信息和第一图像生成视差图像(S25)。首先，根据第三深度信息计算视差向量。后面将对生成视差图像的方法的例子作详细说明。

图4是说明根据深度信息计算视差向量的方法的图。可以利用将左眼、右眼和对象彼此连接的三角形与将左视差、右视差和对象彼此连接的三角形之间的相似性来计算视差向量。最终的深度信息由zf指示，视差向量的大小由d[cm]指示。同样，双眼之间的距离、到屏幕的距离、屏幕与真实空间中的前侧位置之间的距离、真实空间中的深度分别由b[cm]、z_s[cm]、z₀[cm]和L_z[cm]指示。

从像素尺寸到真实空间的尺寸[cm]的变换以下述方式进行。

d_pixel＝(屏幕分辨率[像素]/屏幕尺寸[cm])·d[cm]

这里假定深度信息zf指示0～Z的范围(可以使用0～1的范围)，0指示前侧位置，Z指示最后侧位置。但是，这些值是暂定的值，必须被转换为真实距离。利用真实空间距离L_z将深度信息变换成真实空间的距离。该变换通过下述变换公式进行：

γ＝L_z/z_max[cm]

其中，z_max＝Z。这种情况下，屏幕与对象之间的距离z′由下式给出：

z′＝γzf-z₀

根据三角形之间的相似性，下述关系成立：

d∶b＝(z′)∶(z_s+z′) (1)

d(z_s+z′)＝bz′ (2)

z＝{(b-d)z₀+d z_s}/{γ(b-d)} (3)

上述深度变换模型与视差向量成反比。但是，可以应用例如利用正比关系来近似反比关系的一部分的函数模型。

上述用于立体视觉的参数b、z_s、z₀和L_z可以根据要提供的立体视觉而任意确定。例如，根据屏幕的实际位置来确定z_s，如果突出的程度增加，则将z₀设定得较大。另外，可以根据L_z来确定深度。

一旦确定了用于立体视觉的参数，则可以按照由下述公式给出的深度视差向量变换模型，根据深度信息来计算视差向量，下述公式是通过修改上述公式(1)～(3)而得到的(d的单位为[cm])：

d∶b＝(z′)∶(z_s+z′)

d＝b{z′/(z_s+z′)}

图5是用于说明根据所计算的视差向量来生成视差图像的方法的图。假定第一图像是从位于右眼和左眼之间的观察点得到的，则可以根据通过使视差向量d分别乘以-1/2和1/2而得到的视差向量d_L和d_R，生成左视差图像和右视差图像。

d_L＝(-1/2)d

d_R＝(1/2)d

可以通过按照d_L来移动第一图像的像素值I_t(x，y)而生成左视差图像。同样，可以通过按照d_R来移动第一图像的像素值I_t(x，y)而生成右视差图像。但是，可能会出现仅仅通过移动像素值无法分配像素值的区域(以下称为孔)。对这样的孔，例如分配周边像素值。尽管对生成两个视差图像的情况进行了说明，但在多个视差图像的情况下，只要执行类似的处理即可。

以下将对在第一实施方式的视差图像生成装置中应用的第三深度信息进行说明。

例如假定房间和其中的人的图像为第一图像。这种情况下，例如通过对模型分配房间的深度或者取得运动向量，推定多个深度分布，并合成所推定的分布以生成第一深度信息。另外，通过检测第一图像中的人来进行推定，取得起伏信息(第二深度信息)。这样得到的第一和第二深度信息必须进行合成。但是，起伏信息的再现范围远远窄于整个图像的深度分布信息的再现范围。因此，如果通过与取得第一和/或第二深度信息同样的方法来合成第一和第二深度信息项，则不能在图像中保持深度分布的立体效果的同时，充分地表现对象(人)的起伏。

在图6～图8中，横轴指示像素位置，纵轴指示深度信息。

图6A和6B示出深度信息的例子。图6A示出深度信息的测试图案。在图6A和6B中，“0”指示最后侧位置，“10”指示前侧位置。在该深度信息与上述深度信息之间，前侧位置和最后侧位置之间的大小关系相反。分布信息1和分布信息2指示由推定单元101(n)生成的例子，起伏信息1和起伏信息2指示由推定单元201(m)生成的例子。

图6B示出分布信息项1和2与起伏信息项1和2的平均信息、以及通过选择图6A的测试图案中的各个位置处的最大值并将它们合成而得到的信息。在平均信息中，由分布信息项指示的深度动态范围被压缩，因此起伏信息被隐藏。相反，在最大值信息中，尽管保持了整个房间的深度动态范围，但脸部的深度分布被完全隐藏。这是因为，整个图像上的绝对深度分布信息和对象(脸部)上的相对起伏信息被一起合成。用语“绝对”是指相对于深度再现范围0≤z≤Z的绝对深度，而用语“相对”是指在整个图像中包括的局部对象区域中的相对深度。相对深度信息的再现范围不同于绝对深度信息的再现范围。即，绝对深度信息的值的技术含义不同于相对深度信息的值。因此，如果利用相同的方法来合成绝对深度信息和相对深度信息，则所得到的合成值不能充分地反映图像的细节。

图7A示出通过合成图6A所示的分布信息项1和2而得到的第一深度信息。图7B示出通过根据图6A所示的分布信息项1和2进行合成而得到的第二深度信息。在两种合成中，应用了选择相同水平位置处的最靠近前侧平面的深度的信息的方法。

图8示出通过合成图7A和图7B所示的第一和第二深度信息项而得到的第三深度信息。实际上，第一和第二深度信息项被相加。

通过利用与取得第一和第二深度信息项的方法不同的方法来合成第一和第二深度信息项，可以生成如下的视差图像，在该视差图像中，在保持从图像中的深度分布得到的立体效果的同时，充分地表现包括在图像中的对象的起伏。

(第二实施方式)

图9示出根据第二实施方式的视差图像生成装置。第二实施方式的视差图像生成装置与图1B所示的视差图像生成装置的不同在于，具有调整深度信息的功能。

调整单元102(n)调整由推定单元101(n)生成的各个分布信息项。例如，当推定单元101(1)输出0≤z≤Z的范围内的深度信息并且推定单元101(2)输出100≤z≤Z的范围内的深度信息时，需要将输出范围调整为相同范围。为此，调整单元102(n)例如通过(例如在Z处)固定一个点(以下称为固定点)并且加宽或缩窄深度范围，将不同的深度范围调整为特定范围。另外，如果特定的推定单元101(n)具有低可靠度，则将其深度范围缩窄至后侧，以减少低可靠度的深度信息的影响。

调整单元202(m)调整由推定单元201(m)生成的各个第二深度信息项。调整单元202(m)可以应用与调整单元102(n)相同的调整方法。如果固定点设定在0处，则可以有效地应用相对起伏信息的特性。

以上说明了特定的实施方式，但这些实施方式仅以例子的方式提出，而并不用于限制本发明的范围。实际上，这里所述的新颖实施方式能够以各种其它形式具体实施，而且，在不脱离本发明的精神的情况下，可以对这里所述的实施方式的形式进行各种省略、替换和改变。所附的权利要求及其等同方案意在覆盖落入本发明的范围和精神内的上述形式或变形。

Claims

1.一种视差图像生成装置，利用第一图像生成与其具有视差的视差图像，其特征在于，包括：

第一计算单元，包括第一推定单元和第一合成单元，所述第一推定单元构成为推定指示第一图像中的第一深度的分布的分布信息项，所述分布信息项落入要再现的第一深度范围内，所述第一合成单元构成为通过使用第一合成方法合成所述分布信息项以生成第一深度信息；

第二计算单元，构成为推定指示所述第一图像中的一个以上对象的相对起伏的起伏信息项，并且通过使用第一合成方法合成所述起伏信息项以生成第二深度信息，其中所述起伏信息项落入要再现的第二深度范围内，所述第二深度范围实质上比所述第一深度范围窄，所述第一合成方法选择具有所述起伏信息项中的最小值的起伏信息项作为所述第一深度信息；

第三合成单元，构成为通过使用不同于所述第一合成方法的第二方法来合成所述第一深度信息和所述第二深度信息，以生成第三深度信息；和

生成单元，构成为根据所述第三深度信息和所述第一图像来生成视差图像。

2.根据权利要求1所述的视差图像生成装置，其特征在于，

所述第一合成单元从所述分布信息项中选择与所述第一图像在前侧平面上的第一位置对应的第二深度中的、最靠近所述前侧平面的深度，所述深度范围由所述前侧平面和后侧平面限定。

3.根据权利要求2所述的视差图像生成装置，其特征在于，

所述第一合成单元和所述第三合成单元分别在生成第一深度信息和第三深度信息之前调整深度信息。

4.根据权利要求2所述的视差图像生成装置，其特征在于，

所述第三合成单元将对应于所述第一位置并且由所述第一深度信息指示的第三深度与对应于所述第一位置并且由所述第二深度信息指示的第四深度相加，生成所述第三深度信息。

5.根据权利要求2所述的视差图像生成装置，其特征在于，

所述第三合成单元将对应于所述第一位置并且由所述第一深度信息指示的第三深度与对应于所述第一位置并且由所述第二深度信息指示的第四深度相乘，生成所述第三深度信息。

6.根据权利要求1所述的视差图像生成装置，其特征在于，

所述第二计算单元包括：

第二推定单元，构成为检测所述第一图像中的多种类型的对象，并且通过推定来生成与所检测的类型的对象对应的起伏信息项；和

第二合成单元，构成为合成所述起伏信息项。

7.根据权利要求1所述的视差图像生成装置，其特征在于，

所述第一推定单元构成为根据所述第一图像和将要在不同于所述第一图像的显示时刻的时刻显示的第二图像之间的运动，通过推定来生成所述分布信息项。

8.根据权利要求1所述的视差图像生成装置，其特征在于，

所述第一推定单元确定所述第一图像中的图案的类型，并且根据确定结果来生成所述分布信息项。

9.一种视差图像生成装置，利用第一图像生成与其具有视差的视差图像，其特征在于，包括：

第二计算单元，构成为推定指示所述第一图像中的一个以上对象的相对起伏的起伏信息项，并且通过使用第一合成方法合成所述起伏信息项以生成第二深度信息，其中所述起伏信息项落入要再现的第二深度范围内，所述第二深度范围实质上比所述第一深度范围窄，所述第一合成方法选择具有所述起伏信息项中的最小值的起伏信息项作为所述第一深度信息；和

第三合成单元，构成为通过使用不同于所述第一合成方法的第二方法来合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。