CN102497564B - 多视角立体影像产生方法及其装置 - Google Patents
多视角立体影像产生方法及其装置 Download PDFInfo
- Publication number
- CN102497564B CN102497564B CN 201110396737 CN201110396737A CN102497564B CN 102497564 B CN102497564 B CN 102497564B CN 201110396737 CN201110396737 CN 201110396737 CN 201110396737 A CN201110396737 A CN 201110396737A CN 102497564 B CN102497564 B CN 102497564B
- Authority
- CN
- China
- Prior art keywords
- image
- visual angle
- bidimensional
- bidimensional image
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims description 113
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- NHDHVHZZCFYRSB-UHFFFAOYSA-N pyriproxyfen Chemical compound C=1C=CC=NC=1OC(C)COC(C=C1)=CC=C1OC1=CC=CC=C1 NHDHVHZZCFYRSB-UHFFFAOYSA-N 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明有关于一种多视角立体影像产生方法，包括下列步骤：提供第一二维影像与对应于第一二维影像的第一深度图，其中第一二维影像具有第一视角；依据第一二维影像与第一深度图来产生第二二维影像，其中第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角；依据第二二维影像来产生对应的第二深度图；以及依据第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角。此外，一种采用此方法的多视角立体影像产生装置亦被提出。本发明使得产生的多视角立体影像不会有严重失真。
Description
技术领域
本发明是有关于多视角立体影像的技术领域，且特别是有关于一种多视角立体影像产生方法及采用此方法的多视角立体影像产生装置。
背景技术
近年来，影像处理的技术不断进步，代表着人类持续地追求更真实的视觉感受。而除了一般的影像与色彩的处理技术增进之外，多视角立体影像的处理更进一步增加了立体空间的视觉感受。
目前的多视角立体影像技术是利用一张二维影像与一张深度图(depth map)来产生多张具有其它视角的二维影像。然而，这种技术会造成严重的影像失真问题，以图1来说明之。
图1所示即为现有多视角立体影像产生技术的示意图。请参照图1，深度影像绘图单元(depth image based rendering，DIBR)100接收一张第一视角的二维影像view3与对应于此二维影像view3的一张深度图DM3，并依据此二者来产生四张具有其它视角的二维影像，分别以view1、view2、view4与view5来标示。而在产生出来的这四个二维影像中，二维影像view2与view4这二者的视角皆与二维影像view3的视角相邻，而二维影像view1与view5这二者的视角则分别与二维影像view2与view4的视角相邻。
由于上述的二维影像view2将二维影像view3中的像素重新投影，使得二维影像view3向左位移预设位移量Δshift而得，因此二维影像view2会因为遮蔽效应与视角的不同而产生影像缺口(holes)。同样的，二维影像view4将二维影像view3中的像素重新投影，使得二维影像view3向右位移预设位移量Δshift而得，因此二维影像view4也会因为遮蔽效应与视角的不同而产生影像缺口(holes)。
而由于上述的二维影像view1将二维影像view3中的像素重新投影，使得二维影像view3向左位移二倍的预设位移量Δshift而得，因此二维影像view1会因为遮蔽效应与视角的不同而产生二倍大的影像缺口(holes)。同理，由于上述的二维影像view5将二维影像view3中的像素重新投影，使得二维影像view3向右位移二倍的预设位移量Δshift而得，因此二维影像view5也会因为遮蔽效应与视角的不同而产生二倍大的影像缺口(holes)。如此一来，便造成了多视角立体影像的严重失真问题。
由上述的说明可知，当产生的二维影像的视角越多时，多视角立体影像失真的情形就会越严重。
发明内容
本发明提供一种多视角立体影像产生方法，依照此方法所产生的多视角立体影像不会有严重失真的问题。
本发明提供一种多视角立体影像产生装置，其采用上述的多视角立体影像产生方法。
本发明提出一种多视角立体影像产生方法，其包括下列步骤：提供第一二维影像与对应于第一二维影像的第一深度图，其中第一二维影像具有第一视角；依据第一二维影像与第一深度图来产生第二二维影像，其中第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角；依据第二二维影像来产生对应的第二深度图；以及依据第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角。
本发明另提出一种多视角立体影像产生装置，其包括有：第一深度影像绘图单元、第一深度图产生单元以及第二深度影像绘图单元。上述的第一深度影像绘图单元用以接收第一二维影像与对应于第一二维影像的第一深度图，并依据第一二维影像与第一深度图来产生第二二维影像，其中第一二维影像具有第一视角，第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角。上述的第一深度图产生单元用以接收第二二维影像，并据以产生对应的第二深度图。而上述的第二深度影像绘图单元用以接收上述的第二二维影像与第二深度图，并依据第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角。
本发明解决上述问题的方式，乃是先依据一张二维影像与对应于此二维影像的一张深度图来产生具有相邻视角的二维影像，并依据产生出来的二维影像来产生对应的深度图，然后再依据产生出来的二维影像及这些二维影像对应的深度图来进一步产生具有相邻视角的二维影像。由于每一新产生的二维影像是由具有相邻视角的二维影像与其对应的深度图来产生，因此每一新产生的二维影像的位移量都只有一倍的预设位移量，而不会有数倍(例如是二倍)的预设位移量发生。因此，依照本发明的方法而产生的多视角立体影像不会有严重的影像失真问题。
为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
图1所示即为现有多视角立体影像产生技术的示意图；
图2为依照本发明一实施例的多视角立体影像产生装置的示意图；
图3为依照本发明一实施例的视角立体影像产生方法的流程图；
图4为依照本发明另一实施例的多视角立体影像产生装置的示意图；
图5为依照本发明另一实施例的多视角立体影像产生装置的示意图。
其中，附图标记：
20：多视角立体影像产生装置
100、200、220、240：深度影像绘图单元
210、230、410、510：深度图产生单元
view1、view2、view3、view4、view5、view3-1、view3-2：二维影像
DM2、DM3、DM4、DM3-1、DM3-2：深度图
Δshift：预设位移量
S31、S32、S33、S34：步骤
具体实施方式
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图2为依照本发明一实施例的多视角立体影像产生装置的示意图。请参照图2，此多视角立体影像产生装置20包括有深度影像绘图单元200、深度图产生单元210、深度影像绘图单元220、深度图产生单元230以及深度影像绘图单元240。深度影像绘图单元200用以接收具有第一视角的二维影像view3与对应于此二维影像view3的深度图DM3，并依据这二者来产生二维影像view2与view4。上述的二维影像view3、view2与view4各自具有一视角，且二维影像view2与view4这二者的视角皆与二维影像view3的视角为相邻的视角，但二维影像view2与view4这二者的视角并非是相邻的视角。
深度图产生单元210用以接收具有第二视角的二维影像view2，并据以产生对应于二维影像view2的深度图DM2。此外，深度图产生单元210还会将二维影像view2与深度图DM2传送给深度影像绘图单元220。深度影像绘图单元220用以接收二维影像view2与深度图DM2，并依据此二者来产生具有第三视角的二维影像view1。此二维影像view1亦具有一视角，且二维影像view1的视角与二维影像view2的视角亦为相邻的视角。类似地，深度图产生单元230用以接收具有第四视角的二维影像view4，并据以产生对应于二维影像view4的深度图DM4。此外，深度图产生单元230还会将二维影像view4与深度图DM4传送给深度影像绘图单元240。深度影像绘图单元240用以接收二维影像view4与深度图DM4，并依据此二者来产生具有第五视角的二维影像view5。此二维影像view5亦具有一视角，且二维影像view5的视角与二维影像view4的视角亦为相邻的视角。
藉由上述说明可以知道，由于每一新产生的二维影像是由具有相邻视角的二维影像与其对应的深度图来产生，因此每一新产生的二维影像的位移量都只有一倍的预设位移量Δshift，而不会有数倍(例如是二倍)的预设位移量Δshift发生。因此，依照本发明的方法而产生的多视角立体影像不会有严重的影像失真问题。
值得一提的是，在此例中，深度影像绘图单元200、220与240皆是采用深度影像绘图法(depth-image-based rendering，DIBR)来依据所接收到的二维影像与深度图来产生具有相邻视角的一张新的二维影像，然此并非用以限制本发明。此外，虽然上述例子以产生5个具有不同视角的二维影像为例，然此亦非用以限制本发明。举例来说，若仅需要3个具有不同视角的二维影像，则仅需采用深度影像绘图单元200、深度图产生单元210与深度影像绘图单元220来依据二维影像view3衍生出二维影像view2与view1，或者是仅采用深度影像绘图单元200、深度图产生单元230与深度影像绘图单元240来依据二维影像view3衍生出二维影像view4与view5即可。当然，若是需要6个具有不同视角的二维影像，甚至是更多个具有不同视角的二维影像，则可增设新的深度图产生单元与深度影像绘图单元来依据二维影像view1与view5至少其中之一来衍生出其它具有不同视角的二维影像。
通过上述各实施的说明，本领域具有通常知识者当可归纳出上述多视角立体影像产生装置的一些基本操作步骤，一如图3所示。图3为依照本发明一实施例的多视角立体影像产生方法的流程图。请参照图3，此多视角立体影像产生方法包括下列步骤：首先，提供第一二维影像与对应于第一二维影像的第一深度图，其中第一二维影像具有第一视角(如步骤S31所示)。接着，依据上述第一二维影像与第一深度图来产生第二二维影像，其中第二二维影像具有第二视角，且第二视角与第一视角为相邻的视角(如步骤S32所示)。然后，依据上述第二二维影像来产生对应的第二深度图(如步骤S33所示)。再来，依据上述第二二维影像与第二深度图来产生第三二维影像，其中第三二维影像具有第三视角，且第三视角与第二视角为相邻的视角(如步骤S34所示)。
仅管在上述例子中，深度影像绘图单元200直接接收具有第一视角的二维影像view3与对应于此二维影像view3的深度图DM3来实现，然本领域具有通常知识者当知在图2的深度影像绘图单元200之前，亦可配置一个深度图产生单元，一如图4所标示的深度图产生单元410。在图4中，标示与图2的标示相同者表示为相同对象。而图4所示的深度图产生单元410，可用以接收具有第一视角的二维影像view3，并据以产生对应于此二维影像view3的深度图DM3。接着，此深度图产生单元410就会将二维影像view3与深度图DM3传送给深度影像绘图单元200。
当然，本领域具有通常知识者亦当知在图2的深度影像绘图单元200之前，亦可透过一个深度图产生单元来接收二个具有不同视角的二维影像(可视为接收一立体影像)，一如图5所标示的深度图产生单元510。在图5中，标示与图2的标示相同者表示为相同对象。而图5所示的多视角立体影像产生装置与图2所示的多视角立体影像产生装置20的不同之处，在于深度图产生单元510用以接收具有第一视角的二维影像view3-1与具有第二视角的二维影像view3-2，并据以产生对应于二维影像view3-1的深度图DM3-1，或者是据以产生对应于二维影像view3-2的深度图DM3-2。接着，此深度图产生单元510就会将二维影像view3-1与深度图DM3-1，或者是将二维影像view3-2与深度图DM3-2传送给深度影像绘图单元200。
综上所述，本发明解决上述问题的方式，乃是先依据一张二维影像与对应于此二维影像的一张深度图来产生具有相邻视角的二维影像，并依据产生出来的二维影像来产生对应的深度图，然后再依据产生出来的二维影像及这些二维影像对应的深度图来进一步产生具有相邻视角的二维影像。由于每一新产生的二维影像是由具有相邻视角的二维影像与其对应的深度图来产生，因此每一新产生的二维影像的位移量都只有一倍的预设位移量，而不会有数倍(例如是二倍)的预设位移量发生。因此，依照本发明的方法而产生的多视角立体影像不会有严重的影像失真问题。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。
Claims (6)
1.一种多视角立体影像产生方法，其特征在于，包括：
提供一第一二维影像与对应于该第一二维影像的一第一深度图，其中该第一二维影像具有一第一视角；
依据该第一二维影像与该第一深度图来产生一第二二维影像，其中该第二二维影像具有一第二视角，且该第二视角与该第一视角为相邻的视角；
依据该第二二维影像来产生对应的一第二深度图；
依据该第二二维影像与该第二深度图来产生一第三二维影像，其中该第三二维影像具有一第三视角，且该第三视角与该第二视角为相邻的视角；
以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第二二维影像，并以该深度影像绘图法来依据该第二二维影像与该第二深度图来产生该第三二维影像。
2.根据权利要求1所述的多视角立体影像产生方法，其特征在于，还包括依据该第一二维影像与该第一深度图来产生一第四二维影像，其中该第四二维影像具有一第四视角，且该第四视角与该第一视角亦为相邻的视角；
以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第四二维影像。
3.根据权利要求2所述的多视角立体影像产生方法，其特征在于，还包括依据该第四二维影像来产生对应的一第三深度图，并依据该第四二维影像与该第三深度图来产生一第五二维影像，其中该第五二维影像具有一第五视角，且该第五视角与该第四视角为相邻的视角；
以一深度影像绘图法来依据该第四二维影像与该第三深度图来产生该第五二维影像。
4.一种多视角立体影像产生装置，其特征在于，包括：
一第一深度影像绘图单元，用以接收一第一二维影像与对应于该第一二维影像的一第一深度图，并依据该第一二维影像与该第一深度图来产生一第二二维影像，其中该第一二维影像具有一第一视角，该第二二维影像具有一第二视角，且该第二视角与该第一视角为相邻的视角；
一第一深度图产生单元，用以接收该第二二维影像，并据以产生对应的一第二深度图；以及
一第二深度影像绘图单元，用以接收该第二二维影像与该第二深度图，并依据该第二二维影像与该第二深度图来产生一第三二维影像，其中该第三二维影像具有一第三视角，且该第三视角与该第二视角为相邻的视角；
该第一深度影像绘图单元以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第二二维影像，而该第二深度影像绘图单元以该深度影像绘图法来依据该第二二维影像与该第二深度图来产生该第三二维影像。
5.根据权利要求4所述的多视角立体影像产生装置，其特征在于，该第一深度影像绘图单元还依据该第一二维影像与该第一深度图来产生一第四二维影像，其中该第四二维影像具有一第四视角，且该第四视角与该第一视角亦为相邻的视角；
该第一深度影像绘图单元以一深度影像绘图法来依据该第一二维影像与该第一深度图来产生该第四二维影像。
6.根据权利要求5所述的多视角立体影像产生装置，其特征在于，还包括：
一第二深度图产生单元，用以依据该第四二维影像来产生对应的一第三深度图；以及
一第三深度影像绘图单元，用以依据该第四二维影像与该第三深度图来产生一第五二维影像，其中该第五二维影像具有一第五视角，且该第五视角与该第四视角为相邻的视角；
该第三深度影像绘图单元以一深度影像绘图法来依据该第四二维影像与该第三深度图来产生该第五二维影像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW100140184A TWI456526B (zh) | 2011-11-03 | 2011-11-03 | 多視角立體影像產生方法及採用此方法之多視角立體影像產生裝置 |
| TW100140184 | 2011-11-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102497564A CN102497564A (zh) | 2012-06-13 |
| CN102497564B true CN102497564B (zh) | 2013-11-06 |
Family
ID=46189345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110396737 Expired - Fee Related CN102497564B (zh) | 2011-11-03 | 2011-11-29 | 多视角立体影像产生方法及其装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN102497564B (zh) |
| TW (1) | TWI456526B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI516091B (zh) * | 2012-10-09 | 2016-01-01 | 友達光電股份有限公司 | 多視角三維顯示器及其多視角三維圖像資料的產生方法 |
| TWI574547B (zh) | 2015-11-18 | 2017-03-11 | 緯創資通股份有限公司 | 立體影像的無線傳輸系統、方法及其裝置 |
| TWI567693B (zh) * | 2016-05-17 | 2017-01-21 | 緯創資通股份有限公司 | 產生深度資訊的方法及其系統 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271583A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种基于深度图的快速图像绘制方法 |
| CN101312540A (zh) * | 2008-07-03 | 2008-11-26 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW475332B (en) * | 2000-01-27 | 2002-02-01 | Adi Corp | Method for generating three-dimensional image and the device thereof |
| US6999110B2 (en) * | 2000-08-30 | 2006-02-14 | Japan Science And Technology Corporation | Three-dimensional image display system |
| US6975756B1 (en) * | 2002-03-12 | 2005-12-13 | Hewlett-Packard Development Company, L.P. | Image-based photo hulls |
| TWI276836B (en) * | 2005-05-13 | 2007-03-21 | Kuo-Yen Lai | Stereo image generator |
| TWI284748B (en) * | 2006-04-18 | 2007-08-01 | Li-Hung Chen | A method for producing an active, real and three-dimensional image |
| TWI398158B (zh) * | 2009-12-01 | 2013-06-01 | Ind Tech Res Inst | 產生立體影像之影像深度的方法 |
-
2011
- 2011-11-03 TW TW100140184A patent/TWI456526B/zh not_active IP Right Cessation
- 2011-11-29 CN CN 201110396737 patent/CN102497564B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271583A (zh) * | 2008-04-28 | 2008-09-24 | 清华大学 | 一种基于深度图的快速图像绘制方法 |
| CN101312540A (zh) * | 2008-07-03 | 2008-11-26 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于DIBR的虚拟视点合成算法;陈思利，李鹏程;《成都电子机械高等专科学校学报》;20100331;第13卷(第1期);全文 * |
| 基于深度图像的视点绘制新方法;郁理，郭立，袁红星;《中国科学院研究生院学报》;20100930;第27卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI456526B (zh) | 2014-10-11 |
| TW201320002A (zh) | 2013-05-16 |
| CN102497564A (zh) | 2012-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8446461B2 (en) | Three-dimensional (3D) display method and system | |
| CN102905145B (zh) | 立体影像***、影像产生方法、影像调整装置及其方法 | |
| WO2014197104A3 (en) | Image-based 3d panorama | |
| TWI556624B (zh) | 影像顯示方法以及影像顯示裝置 | |
| MX2020009791A (es) | Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr). | |
| CN102939764A (zh) | 图像处理器、图像显示装置和图像拍摄装置 | |
| CN102404592B (zh) | 图像处理设备和方法以及立体图像显示设备 | |
| CN102497564B (zh) | 多视角立体影像产生方法及其装置 | |
| CN102868893A (zh) | 一种裸眼3d图像的形成方法、装置及3d显示*** | |
| CN102630027B (zh) | 裸眼3d显示方法和装置 | |
| US20130321409A1 (en) | Method and system for rendering a stereoscopic view | |
| CN104144337B (zh) | 一种多视点立体显示器的图像显示方法及装置 | |
| CN102316354A (zh) | 显像技术中可平行处理的多视角图像合成方法 | |
| Park et al. | Real time rectification using differentially encoded lookup table | |
| WO2007017834A3 (en) | Disparity value generator | |
| CN102521876B (zh) | 一种实现3d用户界面立体效果的方法及*** | |
| CN101626517A (zh) | 视差图像实时合成立体图像的方法 | |
| TWI531213B (zh) | 應用於裸視３ｄ顯示之影像轉換方法與模組 | |
| CN102843571B (zh) | 多视角立体显示器影像合成方法 | |
| CN105578171A (zh) | 一种图像信号处理方法及装置 | |
| Liu et al. | Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications | |
| CN102231841A (zh) | 基于双视点立体数据裸眼立体显示电视及实现方法 | |
| US9888222B2 (en) | Method and device for generating stereoscopic video pair | |
| CN102404583A (zh) | 三维影像的深度加强***及方法 | |
| CN102780900A (zh) | 一种多人多视角立体显示器影像显示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131106 Termination date: 20201129 |