CN102404583A - 三维影像的深度加强***及方法 - Google Patents

三维影像的深度加强***及方法 Download PDF

Info

Publication number
CN102404583A
CN102404583A CN201010281097XA CN201010281097A CN102404583A CN 102404583 A CN102404583 A CN 102404583A CN 201010281097X A CN201010281097X A CN 201010281097XA CN 201010281097 A CN201010281097 A CN 201010281097A CN 102404583 A CN102404583 A CN 102404583A
Authority
CN
China
Prior art keywords
depth
degree
image
map
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010281097XA
Other languages
English (en)
Inventor
钮圣君
黄铃琇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Himax Media Solutions Inc
Original Assignee
Himax Media Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Media Solutions Inc filed Critical Himax Media Solutions Inc
Priority to CN201010281097XA priority Critical patent/CN102404583A/zh
Publication of CN102404583A publication Critical patent/CN102404583A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

一种三维影像的深度加强***及方法。该三维影像的深度加强***包括一深度产生器和一深度加强器。该深度产生器产生相关于一影像的至少一深度图。该深度加强器藉由伸展深度图所相关的一深度直方图，以加强深度图，其中深度直方图为影像像素的深度层级的分布。

Description

三维影像的深度加强***及方法
技术领域
本发明涉及数字影像处理，特别是涉及一种三维(3D)影像的深度加强***及方法。
背景技术
当三维物体藉由照相机或摄影机而投影映射至二维影像平面时，会失去许多的信息，特别是三维深度信息。三维成像***可藉由录制三维视觉信息或创造深度幻觉而传达三维信息给观者。虽然三维成像技术已有一世纪以上的历史，然而由于近来高解析度及低价格显示器(例如液晶显示器)的发展，使得三维显示器变得更为实际及普遍。
图1A显示传统三维成像***的方块图，其中，深度产生器10根据二维输入影像而产生深度信息。该深度信息经由深度影像成像器(depth-image-based rendering，DIBR)12的处理而产生左(L)影像14A及右(R)影像14B，其经显示而让观者观看。图1B显示另一种传统三维成像***的方块图，其中，三维记录器(例如蓝光数字影音光盘)16或电视广播信号记录左影像18A及右影像18B，其可使用图1D所例示方法加以编码，例如肩并肩编码(side-by-side)、上下编码(top-bottom、over-under或above-below)、线交错编码(line-by-line或line interlace)或棋盘式编码(checkerboard)。图1C显示又一种传统三维成像***的方块图，其中，三维记录器16或电视广播信号记录深度图(depth map)20以及左影像18A和右影像18B其中之一，此一般称为二维+深度型态。深度影像成像器(DIBR)12根据深度图20及左影像18A以产生右影像18B，其经显示而让观者观看。
传统三维成像***具有一些缺点，例如有限的深度范围。因此，经常使得观者无法分辨原本应具有不同深度的不同物件。
鉴于传统三维成像***无法有效显示三维影像或视讯，因此亟需提出一种新颖的三维成像***及方法，其具有改良的深度特性。
发明内容
鉴于上述现有技术的缺陷，本发明实施例的目的之一在于提出一种三维影像的深度加强***及方法，用以提高三维影像或视讯的品质，使得观者得以感知更多的深度层级。
根据本发明实施例，深度产生器产生相关于一影像的至少一深度图。深度加强器藉由伸展该深度图所相关的一深度直方图，以加强深度图，其中该深度直方图为影像像素的深度层级的分布。
根据本发明另一实施例，接收相关于一影像的至少一深度图，且分割深度图使成为多个分割的深度图。接着，根据这些分割深度图，以产生多个区域深度直方图。最后，改变影像的深度特征，以分别加强该些分割的深度图。
附图说明
图1A显示传统三维成像***的方块图。
图1B显示另一种传统三维成像***的方块图。
图1C显示又一种传统三维成像***的方块图。
图1D显示三维记录器或广播信号的三维格式。
图2显示本发明实施例的三维影像的深度加强***的方块图。
图3显示本发明实施例的三维影像的深度加强方法的流程图。
图4A例示原始深度图的深度直方图。
图4B显示进行深度直方图伸展后的加强深度直方图。
图5显示对深度直方图的深度层级施以S曲线转换。
图6显示本发明另一实施例的三维影像的深度加强方法的流程图。
图7例示根据分割的深度图以产生多个相应的区域深度直方图。
附图符号说明
10    深度产生器
12    深度影像成像器(DIBR)
14A   左影像
14B   右影像
16     三维记录器(电视广播信号)
18A    左影像
18B    右影像
18A’  左影像
18B’  右影像
21A    左影像
21B    右影像
22     深度产生器
23     深度加强器
24     深度影像成像(DIBR)单元
25A    加强左影像
25B    加强右影像
31-34  步骤
61-64B 步骤
具体实施方式
图2显示本发明实施例的三维影像的深度加强***的方块图。图3显示本发明实施例的三维影像的深度加强方法的流程图。三维影像又称为立体(stereoscopic)影像。
于步骤31，接收可显示于三维成像***的左(L)影像21A及右(R)影像21B。接着，以深度产生器22产生至少一深度图(步骤32)。例如，深度产生器22产生左深度图及右深度图，其分别对应至原始左影像及右影像。于另一例子中，深度产生器22产生单一深度图。于深度图中，每一像素或区块具有相应的深度值。例如，靠近观者物件的深度值比远离观者物件的深度值来得大。因此，于深度图影像中，靠近观者物件的亮度会比远离观者物件的亮度来得大。在另一实施例中，可由深度产生器(例如图1A的10)来提供，或者由三维成像***的三维记录器(例如图1C的16)来提供。
接下来，于步骤33，以深度加强器23对深度产生器22所产生的一个或多个深度图进行加强，以更改或改进影像的深度特性。在本实施例中，对深度产生器22所产生的深度图进行深度直方图(histogram)的伸展(stretching)。深度直方图为像素的深度层级的分布(其通常绘制为图表)，其中，每一深度层级具有相应的像素计数值。当直方图被绘制为图表时，则水平轴代表深度层级，而垂直轴则代表相应的像素数目。图4A例示原始深度图的深度直方图，而图4B显示进行深度直方图伸展后的加强深度直方图。于此例子中，原始深度图所对应的影像，其像素的深度层级皆小于100；然而，加强深度图所对应的加强影像，其像素的深度层级则伸展于整个深度层级范围。
在一实施例中，前述深度直方图伸展(depth histogram stretching)的执行是对每一深度层级施以一增益。在另一实施例中，深度直方图伸展的执行是对深度直方图的深度层级施以特征曲线(例如伽玛(Gamma)曲线)的转换或映射。图5显示对深度直方图的深度层级施以S曲线转换。如图所示，S曲线的最大斜率通过最大像素数目的深度层级。一般来说，深度直方图伸展的执行可对深度直方图的每一深度层级施以加、减、乘或除一数值，用以均衡(equalize)每一深度层级。
接着，于步骤34，来自深度加强器23的加强深度图被馈至深度影像成像(DIBR)单元24，其根据加强深度图及原始左影像及右影像，用以产生(或合成)加强左(L’)影像25A及加强右(R’)影像25B。所产生的加强左影像及加强右影像则可由三维成像***所显示。深度影像成像(DIBR)单元24的实施可使用传统技术，例如Christoph Fehn所揭示的”A 3D-TVApproach Using Depth-Image-Based Rendering(DIBR)”。
图6显示本发明另一实施例的三维影像的深度加强方法的流程图。于步骤61，自深度产生器22(图2)接收深度图。接着，于步骤62，决定接下来的深度加强究竟是要全域地执行抑或区域地执行。
如果为全域地执行深度加强，则根据整个深度图以产生全域深度直方图(步骤63A)。接着，于步骤64A，对全域深度直方图的深度层级进行加强，例如使用图5所例示的S曲线转换(或映射)。
如果为区域地执行深度加强，则根据分割的深度图以产生多个区域深度直方图(步骤63B)。图7例示根据分割的深度图以产生多个相应的区域深度直方图。在此例子中，整个深度图被分割为2x2或4个分割的深度图。接着，于步骤64B，对各个区域深度直方图的深度层级分别进行加强，例如使用S曲线对区域深度直方图进行转换(或映射)。每一区域深度直方图可施以不同的转换，而一些区域深度直方图也可不进行转换。
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求的范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在本申请的权利要求内。

Claims (13)

1.一种三维影像的深度加强***，包含：
一深度产生器，用以产生相关于一影像的至少一深度图；以及
一深度加强器，其藉由伸展该深度图相关的一深度直方图，以加强该深度图，其中该深度直方图为该影像的像素的深度层级的分布。
2.如权利要求1所述三维影像的深度加强***，其中该深度直方图的深度层级被施以特征曲线的转换。
3.如权利要求1所述三维影像的深度加强***，其中该深度直方图的每一深度层级被施以加、减、乘或除一数值，用以均衡每一该深度层级。
4.如权利要求1所述三维影像的深度加强***，其中该深度产生器根据一左影像以产生一左深度图，且根据一右影像以产生一右深度图。
5.如权利要求1所述三维影像的深度加强***，还包含一深度影像成像单元，其接收该加强深度图，藉以产生一加强左影像及一加强右影像。
6.一种三维影像的深度加强方法，包含：
接收相关于一影像的至少一深度图；
产生相关于该深度图的一深度直方图，其中该深度直方图为该影像的像素的深度层级的分布；以及
藉由伸展该深度直方图，以加强该深度图。
7.如权利要求6所述三维影像的深度加强方法，其中该深度直方图的伸展步骤包含：
对该深度直方图的每一深度层级施以一增益。
8.如权利要求7所述三维影像的深度加强方法，其中该深度直方图的伸展步骤包含：
对该深度直方图的深度层级施以特征曲线的转换。
9.如权利要求7所述三维影像的深度加强方法，其中该深度直方图的伸展步骤包含：
对该深度直方图的每一深度层级施以加、减、乘或除一数值，用以均衡每一该深度层级。
10.如权利要求7所述三维影像的深度加强方法，其中该至少一深度图包含对应于一左影像的一左深度图，及对应于一右影像的一右深度图。
11.如权利要求7所述三维影像的深度加强方法，还包含：
接收该加强深度图，藉以产生一加强左影像及一加强右影像。
12.一种三维影像的深度加强方法，包含：
接收相关于一影像的至少一深度图；
分割该深度图使成为多个分割的深度图；
根据该些分割深度图，以产生多个区域深度直方图；以及
改变该影像的深度特征，以分别加强该分割的深度图；
其中每一该区域深度直方图为该相应分割深度图的该影像像素的深度层级的分布。
13.如权利要求12所述三维影像的深度加强方法，其中该分割深度图的加强步骤包含：
伸展该区域深度直方图。
CN201010281097XA 2010-09-09 2010-09-09 三维影像的深度加强***及方法 Pending CN102404583A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010281097XA CN102404583A (zh) 2010-09-09 2010-09-09 三维影像的深度加强***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010281097XA CN102404583A (zh) 2010-09-09 2010-09-09 三维影像的深度加强***及方法

Publications (1)

Publication Number Publication Date
CN102404583A true CN102404583A (zh) 2012-04-04

Family

ID=45886300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010281097XA Pending CN102404583A (zh) 2010-09-09 2010-09-09 三维影像的深度加强***及方法

Country Status (1)

Country Link
CN (1) CN102404583A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685523A (zh) * 2011-03-18 2012-09-19 联发科技股份有限公司 深度信息产生器、深度信息产生方法及深度调整装置
CN106982365A (zh) * 2016-10-26 2017-07-25 李应樵 一种基于离散概率分布自适应立体深度调整的方法
US9760793B2 (en) 2013-10-30 2017-09-12 Htc Corporation Apparatus and computer-implemented method for generating a three-dimensional scene and non-transitory tangible computer readable medium thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247530A (zh) * 2007-02-16 2008-08-20 三星电子株式会社 增强图像的立体效果的三维图像显示设备和方法
CN101682794A (zh) * 2007-05-11 2010-03-24 皇家飞利浦电子股份有限公司 用于处理深度相关信息的方法、装置和***
CN101751661A (zh) * 2008-12-01 2010-06-23 奇景光电股份有限公司 深度相关的影像加强***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247530A (zh) * 2007-02-16 2008-08-20 三星电子株式会社 增强图像的立体效果的三维图像显示设备和方法
CN101682794A (zh) * 2007-05-11 2010-03-24 皇家飞利浦电子股份有限公司 用于处理深度相关信息的方法、装置和***
CN101751661A (zh) * 2008-12-01 2010-06-23 奇景光电股份有限公司 深度相关的影像加强***及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685523A (zh) * 2011-03-18 2012-09-19 联发科技股份有限公司 深度信息产生器、深度信息产生方法及深度调整装置
US9760793B2 (en) 2013-10-30 2017-09-12 Htc Corporation Apparatus and computer-implemented method for generating a three-dimensional scene and non-transitory tangible computer readable medium thereof
CN106982365A (zh) * 2016-10-26 2017-07-25 李应樵 一种基于离散概率分布自适应立体深度调整的方法
CN106982365B (zh) * 2016-10-26 2019-03-26 万云数码媒体有限公司 一种基于离散概率分布自适应立体深度调整的方法

Similar Documents

Publication Publication Date Title
KR101690297B1 (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
CN1942902B (zh) 用于2.5维图像再现的重影虚像的削减
JP5011316B2 (ja) 出力画像のレンダリング
US8311318B2 (en) System for generating images of multi-views
CN100565589C (zh) 用于深度感知的装置和方法
JP5150255B2 (ja) ビューモードの検出
US20060050383A1 (en) Three-dimentional video providing method and three dimentional video display device
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP2014056466A (ja) 画像処理装置及び方法
US20110211043A1 (en) Method and system for encoding a 3d image signal, encoded 3d image signal, method and system for decoding a 3d image signal
CN102474644A (zh) 立体图像显示***、视差转换装置、视差转换方法以及程序
US20150042770A1 (en) Display processor for 3d display
KR20110113923A (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
US20120008852A1 (en) System and method of enhancing depth of a 3d image
CN103369331A (zh) 图像空洞的填补方法和装置及视频图像的处理方法和装置
US10122987B2 (en) 3D system including additional 2D to 3D conversion
US10277879B2 (en) 3D system including rendering with eye displacement
CN102340678A (zh) 一种景深可调的立体显示装置及其景深调整方法
CN103369336A (zh) 一种设备和方法
CN102404583A (zh) 三维影像的深度加强***及方法
US20180109775A1 (en) Method and apparatus for fabricating a stereoscopic image
Ruijters et al. IGLANCE: transmission to medical high definition autostereoscopic displays
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
CN102612837A (zh) 由2d视图产生部分视图和/或立体原图以便立体重现的方法和装置
US20170142400A1 (en) 3d system including rendering with shifted compensation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120404