CN102075780B - 立体影像产生装置及其方法 - Google Patents

Abstract

本发明涉及一种立体影像产生装置及其方法。立体影像产生方法，包括下列步骤。接收二维画面。取得二维画面的亮度图及Cr色度图。结合亮度图及Cr色度图作为亮度参考图。结合亮度参考图及背景深度图以产生画面深度图。依据二维画面及画面深度图产生左眼画面及右眼画面。输出左眼画面及右眼画面的其中之一，而左眼画面及右眼画面的其中另一延迟一画面期间后输出。本发明有利于提升视觉的立体感。

Description

立体影像产生装置及其方法

【技术领域】

本发明是关于一种影像产生装置及其方法，且特别是关于一种立体影像产生装置及其方法。

【背景技术】

随着科技的进步与发达，人们对于物质生活以及精神层面的享受一向都只有增加而从未减少。以精神层面而言，在这科技日新月异的年代，人们希望能够藉由立体显示器来实现天马行空的想像力，以达到身临其境的效果；因此，如何使立体显示器呈现立体的图像或影像，便成为现今立体显示器技术亟欲达到的目标。 

立体显示技术可大致分成使用者需戴特殊设计眼镜观看的戴眼镜式（stereoscopic）以及直接裸眼观看的裸眼式（naked eye）。就目前的立体显示技术而言，主要是利用观察者的左眼与右眼分别看到不同视差的左眼影像与右眼影像，而使观察者感受到立体的视觉效果。一般来说，利用两台照相机可分别取得左眼影像与右眼影像。或者，直接利用立体照相机来同时取得左眼影像与右眼影像，其中这种立体照相机是由两台照相机所构成。

此外，若能够得到二维画面的深度资讯，则二维画面中每一物件相对的平移量便可透过计算取得，据此可将二维画面生成对应的左眼画面及右眼画面。在现在，大部分的二维影像转立体影像的方法中，都无法轻易的将原有的二维影像直接转换成立体影像。美国专利公开号US 20060232666专利提出一种多视点影像生成的方法，其利用前一张及目前画面的运动向量、亮度或颜色值为依据做边缘侦测，再利用边缘侦测来产生画面深度图。但是，在物件边缘往往不易准确侦测而容易侦测错误，进而容易生成错误的画面深度图，以致于影响到立体影像的品质。

【发明内容】

本发明提供一种立体影像产生装置及其方法，其可将二维画面转换为左眼画面及右眼画面，而右眼画面与前一张二维画面的左眼画面搭配以产生立体影像，以提升视觉的立体感，并且加强影像的肤色部分。

本发明提出一种立体影像产生装置，其特征在于：包括亮度撷取单元、Cr色度撷取单元、第一加法器、亮度调整单元、背景深度产生单元、第二加法器、影像产生单元及延迟单元。亮度撷取单元接收二维画面，且输出二维画面的亮度图。Cr色度撷取单元接收二维画面，且输出二维画面的Cr色度图。第一加法器耦接亮度撷取单元及Cr色度撷取单元，用以结合亮度图及Cr色度图并输出亮度参考图。亮度调整单元耦接第一加法器，用以调整亮度参考图的亮度值范围。背景深度产生单元，用以产生背景深度图。第二加法器耦接亮度调整单元及背景深度产生单元，用以结合调整后的亮度参考图及背景深度图并输出画面深度图。影像产生单元耦接第二加法器并接收二维画面，以依据二维画面及画面深度图产生左眼画面及右眼画面。延迟单元耦接影像产生单元，用以将左眼画面及右眼画面其中之一延迟一画面期间。

在本发明一实施例中，上述调整后的亮度参考图的亮度值范围与背景深度图的亮度值范围的总和为二维画面的亮度值范围。

在本发明一实施例中，上述调整后的亮度参考图的亮度值范围小于二维画面的亮度值范围的一半。

在本发明一实施例中，立体影像产生装置更包括一缓冲单元，耦接影像产生单元并接收二维画面，用以缓冲二维画面。

在本发明一实施例中，上述背景深度产生单元包括列计数器及亮度值查找单元。列计数器接收二维画面，以计数二维画面的列数并输出计数结果。亮度值查找单元耦接列计数器，并依据计数结果查找一查找表，以依据二维画面的列数输出对应的亮度值而形成背影深度图。

在本发明一实施例中，上述影像产生单元依据一深度影像绘图法（depth-image-based rendering，DIBR）产生左眼画面及右眼画面。

本发明亦提出一种立体影像产生方法，包括下列步骤。接收二维画面。取得二维画面的亮度图及Cr色度图。结合亮度图及Cr色度图作为亮度参考图。结合亮度参考图及背景深度图以产生画面深度图。依据二维画面及画面深度图产生左眼画面及右眼画面。输出左眼画及右眼画面其中之一，而左眼画面及右眼画面其中另一延迟一画面期间后输出。

在本发明一实施例中，上述亮度参考图的亮度值范围与背景深度图的亮度值范围的总和为二维画面的亮度值范围。

在本发明一实施例中，上述二维画面的亮度值范围小于等于二维画面的亮度值范围的一半。

在本发明一实施例中，上述背影深度图的亮度值为由上往下逐列递增。

在本发明一实施例中，上述左眼画面及右眼画面为利用深度影像绘图法产生。

基于上述，本发明实施例的立体影像产生装置及其方法，其取得二维画面的亮度图及Cr色度图以产生亮度参考图，再将亮度参考图与背景深度图结合生成画面深度图，依据画面深度图及二维画面可产生左眼画面及右眼画面，其中左眼画面或右眼画面的其中之一会对应的与前一张二维画面的右眼画面或左眼画面作为立体影像的左眼画面及右眼画面。藉此，可产生立体影像的左眼画面及右眼画面，并且可提升视觉的立体感。

为让本发明上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

【附图说明】

图1为依据本发明一实施例的立体影像产生装置的***示意图。

图2A至图2I为本发明一实施例的二维画面、亮度图、Cr色度图、亮度参考图、调整后的亮度参考图、背影深度图、画面深度图、左眼画面及右眼画面的示意图。

图3为依据本发明一实施例的立体影像产生方法的流程图。

【主要元件符号说明】

100：立体影像产生装置

110：亮度撷取单元

120：Cr色度撷取单元

130、160：加法器

140：亮度调整单元

150：背影深度产生单元

151：列计数器

153：亮度值查找单元

170：影像产生单元

180：延迟单元

190：缓冲单元

FR：二维画面

LF、LF’：左眼画面

PB：亮度图

PCr：Cr色度图

PBD：背景深度图

PBR、PBR’：亮度参考图

PFD：画面深度图

RF：右眼画面

S310、S320、S330、S340、S350、S360：步骤

【具体实施方式】

一般来说，由于大部分人都是右手使用摄影机，因此大部分的使用者利用摄影机对一个物件的拍摄习惯都是沿着物件由左到右拍摄。换言之，等同于在极短的时间内拍摄完第一个画面之后向右移动并接着拍摄第二个画面。在此情形下，相对于第二个画面，上述第一个画面等同于以左方视角方向看去，因此第一个画面可以当作是左眼所看到的画面。同样地，而上述第二个画面等同于以右方视角方向看去，因此第二个画面可以当作是右眼所看到的画面。

依据上述，本发明会依据所拍摄到的每一张二维画面产生对应的左眼画面及右眼画面，并且每一张左眼画面会与对应下一张二维画面的右眼画面分别作为立体影像的左眼画面及右眼画面，以提升视觉的立体感。并且，本发明会撷取二维画面的Cr色度图，以强化二维画面的肤色部分，进而强化物件判断的准确度。

图1为依据本发明一实施例的立体影像产生装置的***示意图。图2A至图2J为本发明一实施例的二维画面、亮度图、Cr色度图、亮度参考图、调整后的亮度参考图、背影深度图、画面深度图、左眼画面及右眼画面的示意图。请参照图1，在本实施例中，立体影像产生装置100包括亮度撷取单元110、Cr色度撷取单元120、加法器130、160、亮度调整单元140、背影深度产生单元150、影像产生单元170、延迟单元180及缓冲单元190。

亮度撷取单元110接收二维画面FR，并撷取二维画面FR的亮度分布以输出二维画面FR的亮度图PB，其中二维画面FR如图2A所示，亮度图PB如图2B所示。进一步来说，亮度撷取单元110可在取得每一画素的红色子画素、绿色子画素及蓝色子画素的亮度值（即灰阶值）后取平均值以作为每一画素的亮度值。据此，当二维画面FR为彩色画面，则亮度图PB会为灰阶画面（即不具有色彩的画面）。

Cr色度撷取单元120同样接收二维画面FR，并撷取二维画面FR的Cr色度分布以输出输出二维画面FR的Cr色度图PCr，其中Cr色度图PCr如图2C所示，而Cr色度图PCr会保留二维画面FR的中肤色部份，亦即Cr色度图PCr会突显二维画面FR的肤色的部分。进一步来说，亮度撷取单元110可在取得每一画素的红色子画素、绿色子画素及蓝色子画素的亮度值（即灰阶值）后，可利用下列公式计算每一画素的亮度值。

Cr=0.5×R-0.419×G-0.081×B

其中，上述公式中的Cr为每一画素的色度值，R为每一红色子画素的亮度值，G为每一绿色子画素的亮度值，B为每一蓝色子画素的亮度值。

加法器130耦接亮度撷取单元110及Cr色度撷取单元120，用以结合亮度图PB及Cr色度图PCr并输出亮度参考图PBR，其中亮度参考图PBR如图2D所示，并且亮度参考图PBR中的肤色部份会呈现高亮度，使得物件（在此以人体为例）会变得更明显。进一步来说，加法器130会将每一个画素所对应的亮度值及色度值相加，在所有画素的亮度值与色度值相加后则形成亮度参考图PBR。由于Cr色度图PCr会突显肤色的部分，因此亮度参考图PBR中的肤色部份亦会被突显出来（在此为呈现高亮度状态）。

亮度调整单元140耦接加法器130，用以调整亮度参考图PBR的亮度值范围后输出调整后的亮度参考图PBR’，其中而亮度参考图PBR’如图2E所示。背景深度产生单元150用以产生背景深度图PBD，其中背景深度图PBD如图2F所示。一般而言，画面的背景的上方会离人眼较远，而画面的背景的下方会离人眼较近，在此以低亮度值（例如亮度值0）表示远距离，以高亮度值（例如亮度值192）表示近距离，而画面的亮度值会由上方至下方递增，因此背影深度图PBD的亮度值为由上往下逐列递增。加法器160耦接亮度调整单元140及背景深度产生单元150，用以结合亮度参考图PBR’及背景深度图PBD并输出一画面深度图PFD，其中画面深度图PFD如图2G所示。

在本实施例中，亮度参考图PBR’的亮度值范围被调整为二维画面FR的亮度值范围。假设二维画面FR的亮度值范围为0~255，亮度参考图PBR’的亮度值范围会为0~64，亦即1/4的二维画面FR的亮度值范围。此时，亮度值的调整方式可以亮度参考图PBR的每一画素的亮度值除以4即可得到亮度参考图PBR’。并且，背影深度图PBD的亮度值范围设定为0~192，亦即3/4的二维画面FR的亮度值范围，以便加法器160将背影深度图PBD与亮度参考图PBR’结合所输出的画面深度图PFD的每一画素的亮度值不会超过上限，进而避免画面深度图PFD中物件因亮度值超过上限而模糊。

在其他实施例中，亮度参考图PBR’的亮度值范围与背影深度图PBD的亮度值范围的总和会等于二维画面FR的亮度值范围，并且画面深度图PFD会以背影深度图PBD为主，因此亮度参考图PBR’的亮度值范围会小于等于二维画面FR的亮度值范围。

缓冲单元190耦接影像产生单元170并接收二维画面FR，用以缓冲二维画面FR，以使影像产生单元170接收画面深度图PFD及二维画面FR的时间相似或相同。影像产生单元170耦接加法器160及缓冲单元190以接收二维画面FR及画面深度图PFD，影像产生单元170依据二维画面FR及画面深度图PFD产生左眼画面LF及右眼画面RF，其中影像产生单元170可依据深度影像绘图法（depth-image-based rendering，DIBR）产生左眼画面LF及右眼画面RF，并且左眼画面LF及右眼画面RF分别如图2H及图2I所示。

在本实施例中，图2H及图2I为移动前景（即人物）来生成左眼画面LF及右眼画面RF，亦即背景不动，图2H的人物会偏右，图2I的人物会偏左。但在其他实施例中，左眼画面LF及右眼画面RF可以移动背景来生成左眼画面LF及右眼画面RF，亦即前景（即人物）不会，左眼画面LF的背景会左移，右眼画面RF的背景会右移。

延迟单元180耦接影像产生单元170，用以将左眼画面LF延迟一个画面期间后输出，而右眼画面RF会直接输出。据此，右眼画面RF会与对应前一张二维画面FR的左眼画面LF’配对以作为立体影像的左眼画面及右眼画面。

进一步来说，在本实施例中，背景深度产生单元150包括列计数器151及亮度值查找单元153。列计数器151接收二维画面FR，以计数二维画面FR的列数并输出计数结果CR。亮度值查找单元153耦接列计数器151，并依据计数结果CR查找一查找表，以依据二维画面FR的列数输出对应的亮度值以形成背影深度图PBD。在显示器中，画面的写入方式会由上至下，因此二维画面FR的列数会由上方往下计数。当计数结果CR表示二维画面FR的列数逐渐增加时，则亮度值查找单元153输出的亮度值亦会依据计数结果CR而增加，以致于可形成亮度值为由上往下逐列递增的背影深度图PBD。

此外，在上述实施例中，是将左眼画面LF延迟一个画面期间后输出，以使右眼画面RF会与对应前一张二维画面FR的左眼画面LF’配对以作为立体影像的左眼画面及右眼画面。但在其他实施例中，可将右眼画面RF延迟一个画面期间后输出，以使左眼画面LF会与对应前一张二维画面FR的右眼画面配对以作为立体影像的左眼画面及右眼画面。换言之，在其他实施例中，延迟单元180用以将右眼画面RF延迟一个画面期间后输出，而左眼画面LF会直接输出。据此，左眼画面LF会与对应前一张二维画面FR的右眼画面配对以作为立体影像的左眼画面及右眼画面。

依据上述，可汇整一立体影像产生方法以应用于立体影像产生装置100。图3为依据本发明一实施例的立体影像产生方法的流程图。请参照图3，在本实施例中，会先接收二维画面（步骤S310），并且取得二维画面的亮度图及Cr色度图（步骤S320）。接着，结合亮度图及Cr色度图作为亮度参考图（步骤S330）。然后，结合亮度参考图及背景深度图以产生画面深度图（步骤S340），再依据二维画面及画面深度图产生左眼画面及右眼画面（步骤S350）。最后，输出左眼画面及右眼画面的其中之一，而左眼画面及右眼画面的其中另一延迟一画面期间后输出。其中，上述步骤的细节可参照上述立体影像产生装置100的说明，在此则不再赘述。

综上所述，本发明实施例的立体影像产生装置及其方法，其取得二维画面的亮度图及Cr色度图以产生亮度参考图，再将亮度参考图与背景深度图结合生成画面深度图，依据画面深度图及二维画面可产生左眼画面及右眼画面，其中左眼画面或右眼画面会对应的与前一张二维画面的右眼画面或左眼画面作为立体影像的左眼画面及右眼画面。藉此，可产生立体影像的左眼画面及右眼画面，并且可提升视觉的立体感。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明精神和范围内，当可作些许更动与润饰，故本发明保护范围当视后附申请专利范围所界定者为准。

Claims (11)

1.一种立体影像产生装置，其特征在于，包括：

一亮度撷取单元，接收一二维画面，且输出该二维画面的一亮度图；

一Cr色度撷取单元，接收该二维画面，且输出该二维画面的一Cr色度图；

一第一加法器，耦接该亮度撷取单元及该Cr色度撷取单元，用以结合该亮度图及该Cr色度图并输出一亮度参考图；

一亮度调整单元，耦接该第一加法器，用以调整该亮度参考图的亮度值范围；

一背景深度产生单元，用以产生一背景深度图；

一第二加法器，耦接该亮度调整单元及该背景深度产生单元，用以结合调整后的该亮度参考图及该背景深度图并输出一画面深度图；

一影像产生单元，耦接该第二加法器并接收该二维画面，以依据该二维画面及该画面深度图产生一左眼画面及一右眼画面；以及

一延迟单元，耦接该影像产生单元，用以将该左眼画面及该右眼画面其中之一延迟一画面期间；

其中该背景深度产生单元包括：

一列计数器，接收该二维画面，以计数该二维画面的列数并输出一计数结果；以及一亮度值查找单元，耦接该列计数器，并依据该计数结果查找一查找表，以依据该二维画面的列数输出对应的亮度值而形成该背景深度图。

2.根据权利要求1所述的立体影像产生装置，其特征在于：其中调整后的该亮度参考图的亮度值范围与该背景深度图的亮度值范围的总和为该二维画面的亮度值范围。

3.根据权利要求1所述的立体影像产生装置，其特征在于：其中调整后的该亮度参考图的亮度值范围小于该二维画面的亮度值范围的一半。

4.根据权利要求1所述的立体影像产生装置，其特征在于：更包括一缓冲单元，耦接该影像产生单元并接收该二维画面，用以缓冲该二维画面。

5.根据权利要求1所述的立体影像产生装置，其特征在于：其中该背景深度图的亮度值为由上往下逐列递增。

6.根据权利要求1所述的立体影像产生装置，其特征在于：其中该影像产生单元依据一深度影像绘图法（depth-image-based rendering，DIBR）产生该左眼画面及该右眼画面。

7.一种立体影像产生方法，其特征在于，包括：

接收一二维画面；

取得该二维画面的一亮度图及一Cr色度图；

结合该亮度图及该Cr色度图作为一亮度参考图；

结合该亮度参考图及一背景深度图以产生一画面深度图；

依据该二维画面及该画面深度图产生一左眼画面及一右眼画面；以及

输出该左眼画面及该右眼画面的其中之一，而该左眼画面该右眼画面的其中另一延迟一画面期间后输出；

其中通过背景深度产生单元形成背景深度，包括：

通过一列计数器接收该二维画面，以计数该二维画面的列数并输出一计数结果；以及

通过一亮度值查找单元耦接该列计数器，并依据该计数结果查找一查找表，以依据该二维画面的列数输出对应的亮度值而形成该背景深度图。

8.根据权利要求7所述的立体影像产生方法，其特征在于，其中该亮度参考图的亮度值范围与该背景深度图的亮度值范围的总和为该二维画面的亮度值范围。

9.根据权利要求8所述的立体影像产生方法，其特征在于，其中该二维画面的亮度值范围小于等于该二维画面的亮度值范围的一半。

10.根据权利要求7所述的立体影像产生方法，其特征在于，其中该背景深度图的亮度值为由上往下逐列递增。

11.根据权利要求7所述的立体影像产生方法，其特征在于，其中该左眼画面及该右眼画面为利用一深度影像绘图法（depth-image-based rendering，DIBR）产生。

Images