CN103210423A - 立体图像处理装置及其相关方法 - Google Patents

立体图像处理装置及其相关方法 Download PDF

Info

Publication number
CN103210423A
CN103210423A CN2011800515587A CN201180051558A CN103210423A CN 103210423 A CN103210423 A CN 103210423A CN 2011800515587 A CN2011800515587 A CN 2011800515587A CN 201180051558 A CN201180051558 A CN 201180051558A CN 103210423 A CN103210423 A CN 103210423A
Authority
CN
China
Prior art keywords
picture
stereo
eye image
stereoscopic image
set value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800515587A
Other languages
English (en)
Inventor
李国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Singapore Pte Ltd
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN103210423A publication Critical patent/CN103210423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种立体图像的处理方法,该立体图像处理方法包含如下步骤:接收立体图像;根据偏移信息移动接收的立体图像;并且根据偏移信息缩放移动后的立体图像以产生结果立体图像。

Description

立体图像处理装置及其相关方法
技术领域
本发明涉及一种立体图像缩放技术,特别涉及一种根据相应的偏移进行立体图像缩放的***及其相关方法。
背景技术
由于数字技术的发展,视频图像三维处理技术得到更加广泛的应用。由于人类的两只眼睛在水平方向依照预定距离分开,通过左眼和右眼分别看到的二维图像彼此不同并由此产生视差(parallax)。人脑结合左眼图像和右眼图像来产生看起来逼真的三维立体图像。具体地说,通过用于移动左眼图像和右眼图像的偏移值可以产生立体感知,并且偏移值可以依据左眼图像或右眼图像中物体的深度而改变。举例来说,当物体距离使用者较远时,左眼图像或右眼图像的偏移值(例如,视差)可能非常小;当物体距离使用者较近时,左眼图像或右眼图像的偏移值(例如,视差)可能非常大。
图1为传统立体图像处理方法的示意图。当立体图像(例如,左眼图像110和右眼图像120)中的物体从时刻1到时刻4期间朝使用者移动(例如,接近使用者)时,立体图像的偏移值应该增大。当物体从时刻4到时刻7期间远离使用者时,立体图像的偏移值应该减小。然而,如图1所示,对于现有技术来说,立体图像或物体的尺寸保持不变,因此,这是不容易让使用者感觉对象是真实的。
发明内容
在下述实施方式中,参照附图来详细说明。
依据本发明一实施方式,提供一种立体图像处理方法。该方法包含如下步骤:接收立体图像;根据偏移信息移动接收的该立体图像;根据该偏移信息缩放移动后的立体图像以产生结果立体图像。
依据本发明另一实施方式,提供一种立体图像处理装置。该立体图像处理装置包含:显示控制单元接收立体图像;偏移处理单元根据偏移信息移动接收的立体图像;以及缩放单元连接于偏移处理单元,根据偏移信息缩放移动后的立体图像以产生结果立体图像。
依据本发明又一实施方式,提供一种具有可执行程序存储于其中的非暂态计算机可读介质,其特征在于,该程序指示处理器执行如下步骤:接收立体图像;根据相关的偏移信息移动接收的立体图像;并根据该偏移信息缩放移动后的立体图像以产生结果立体图像。
附图说明
参照附图阅读随后的详细描述和实施方式来更充分地理解本发明,其中:
图1为现有立体图像处理方法的示意图。
图2为依据本发明实施方式的立体图像处理装置的方框图。
图3为蓝光光盘规格中的偏移元数据结构的示意图。
图4为使用偏移值的平面移动概念图像的示意图。
图5为依据本发明实施方式的在移动后立体图像中的移动物体的示意图。
图6为依据本发明实施方式的立体图像处理方法的流程图。
具体实施方式
以下描述为本发明实施的较佳实施方式。以下实施方式仅用来举例阐释本发明之技术特征,并非用来限制本发明的保护范围。本发明保护范围由权利要求所确定为准。
图2为依据本发明实施方式的立体图像(stereoscopic image)处理装置200的方框图。立体图像处理装置200包含显示控制单元(display control unit)210、偏移处理单元(offset processing unit)220以及缩放单元(scaling unit)230。其中显示控制单元210能够接收左眼图像211和右眼图像212(即,立体图像);偏移处理单元220能够根据偏移信息(offset information)(即,偏移值及/或偏移方向)分别移动左眼图像211和右眼图像212,其中偏移信息与接收到的立体图像相对应,并且偏移信息存储于蓝光光碟(Blu-ray)中的视频文件中或由使用者预先设置;缩放单元230耦接于偏移处理单元220,根据左眼图像211和右眼图像212的相应偏移信息缩放移动后的左眼图像和移动后的右眼图像(即,移动后的立体图像)以产生结果立体图像(resulting stereoscopicimage)(即,缩放后的立体图像)。缩放单元230将进一步在显示器100上显示结果立体图像,即交替显示缩放后的左眼或右眼图像。移动左眼图像或右眼图像的细节将会在以下段落中描述。在另一个实施方式中,缩放单元230的显示功能可以并入连接于缩放单元230的输出控制单元中(未绘示于图2中)。相应地,输出控制单元可以于显示器100上显示结果立体图像(即,交替显示缩放后左眼或右眼图像)
图3为蓝光光盘规格中的偏移元数据(offset metadata)结构的示意图。具体来说,偏移元数据为偏移序列的清单,偏移序列的清单用于蓝光光盘规格中的演示图形平面(thePresentation Graphics(PG)plane)、交互式图形平面(Interactive Graphics(IG)plane)及蓝光三维图形平面(BD-J Graphics Plane)。当演示图形或文本字幕及/或交互式图形或蓝光三维图形在立体输出模式(stereoscopic output mode)中出现时,偏移元数据用来为平面设置偏移信息。在一个实施方式中,偏移处理单元220针对左眼图像或右眼图像分别应用偏移信息,其中偏移信息包含指示参考偏移距离的偏移值(以plane_offset_value表示)和指示偏移方向的偏移方向标志(以plane_offset_direction_flag表示)。图4为使用偏移值的平面移动概念图像的示意图。如图4所示,当使用者观看可能出现在显示器上的物体420(即,在图形平面410中的物体420)时,在混合前,左眼图像430可以通过偏移处理单元220设定正偏移值而水平右移,并且右眼图像440可以通过偏移处理单元220设定正偏移值而水平左移。反之,左眼图像430可以通过偏移处理单元220设定负偏移值而水平右移,并且右眼图像440可以通过偏移处理单元220设定负偏移值而水平左移。具体的,偏移值代表移动距离的数量(即,采用像素的方式),并且偏移方向标志代表相关图形平面水平移动的方向(即,偏移值的符号数)。当偏移值plane_offset_value为零时,在混合前,图形平面410不会水平移动。
如果在立体图像中的物体不断接近使用者,左眼图像或右眼图像的相应偏移值会据此调整,以相应改善的立体观看效果。缩放单元230可以根据相应的偏移值缩放(例如,放大或缩小)物体。图5为依据本发明实施方式的在移动后立体图像中的移动物体的示意图。在时刻1到时刻4的期间,移动后立体图像中的物体(即,移动后左眼图像520和移动后右眼图像530)越来越接近使用者。在时刻4到时刻7的期间,物体远离使用者。如图5所示,在时刻1到时刻4的期间,移动后立体图像通过缩放单元230逐渐放大。在时刻4到时刻7的期间,移动后立体图像通过缩放单元230逐渐缩小。具体的,移动后的立体图像中的物体在时刻1时在相对使用者最远的位置,并且相应的移动后的立体图像的偏移值可能很小。因此,由于在时刻1时偏移值可能太小而被忽略,所以移动后左眼图像520和右眼图像530可能完全重叠。在时刻4时,移动后的立体图像中的物体在相对使用者最近的位置,并且移动后的立体图像的相应的偏移值可变大。缩放单元230将根据相应的偏移值缩放移动后的立体图像。缩放后,结果立体图像(例如,结果左眼图像和结果右眼图像)可以通过缩放单元230显示于显示器100上。需要注意的是,缩放单元230能够对移动后的立体图像中的物体或移动后的立体图像自身进行缩放。
在本发明的另一个实施方式中,参见图2和图5,缩放单元230可以根据相应的偏移值和使用者和显示器100之间的距离进一步缩放立体图像。因此,使用者感觉本申请实现的立体图像中的物体比现有技术实现的立体图像中的物体更加逼真。
在本发明的又一实施方式中,立体图像处理装置200可以通过偏移值来实现处理所有的图形数据。举例来说,在蓝光光盘规格中的蓝光三维图形、交互式图形(IG,例如用于功能表的交互式图形)、演示图形(PG,例如用于字幕的演示图形)或者其他使用偏移值的三维应用都可以应用立体图像处理装置200,并不以本发明为限。
图6为依据本发明实施方式的立体图像处理方法的流程图。参见图2和图6,在步骤S610中,显示控制单元210可以接收立体图像(即,左眼图像211和右眼图像212)。在步骤S620中,偏移处理单元220可以根据偏移信息移动接收的立体图像,其中该偏移信息与接收到的立体图像相对应。在步骤S630中,缩放单元230可以根据偏移信息缩放移动后的立体图像(即,移动后的左眼图像及/或移动后的右眼图像)来产生结果立体图像(即,缩放后的左眼图像及/或右眼图像)。在步骤S640中,缩放单元230可以进一步在显示器100上显示结果立体图像,例如交替显示缩放后左眼或右眼图像。需要注意的是,步骤S610、S620和S630可以顺序或者同时执行,例如在垂直同步脉冲(vertical syncpulse)中执行。
本发明立体图像处理方法及其某些方面或某些部分可以采取有形介质中程序代码的形式,例如软盘(floppy diskette)、只读光盘驱动器(CD-ROM)、硬盘驱动器(hard drive)或其他机器可读(例如,计算机可读)存储媒体(machine-readable storage medium)或计算机程序产品,而不以其外部形状或形式为限制。其中,当程序代码载入机器并被该机器执行时(例如,计算机),该机器便成为实现本发明方法的装置。
本发明虽以较佳实施方式揭露如上,然而本发明并非限定于本发明揭露的实施方式。相反,对于本领域技术人员来说,在不脱离本发明之精神和范围内,当可做些许的变化与修饰,因此本发明权利要求应当根据最宽的解释以使其涵盖所有的上述变化与修饰。

Claims (21)

1.一种立体图像处理方法,其特征在于,包含:
接收立体图像;
根据偏移信息移动接收的立体图像;以及
根据该偏移信息缩放移动后的立体图像以产生结果立体图像。
2.根据权利要求1所述的立体图像处理方法,其特征在于,该偏移信息为偏移值或偏移方向。
3.根据权利要求1所述的立体图像处理方法,其特征在于,该立体图像为演示图形平面、交互式图形平面、蓝光三维图形平面的其中之一或其组合。
4.根据权利要求2所述的立体图像处理方法,其特征在于,该立体图像包含左眼图像和右眼图像,并且该偏移值代表分别水平移动该左眼图像和该右眼图像的像素数。
5.根据权利要求4所述的立体图像处理方法,其特征在于,该偏移方向代表分别水平移动该左眼图像和该右眼图像的方向。
6.根据权利要求2所述的立体图像处理方法,其特征在于,当该偏移值增加时,该立体图像放大,当该偏移值减小时,该立体图像缩小。
7.根据权利要求1所述的立体图像处理方法,其特征在于,另包含:在显示器上显示该结果立体图像,其中根据相应的偏移信息和该显示器与使用者之间的距离来缩放该立体图像。
8.一种立体图像处理装置,其特征在于,包含
显示控制单元,用于接收立体图像;
偏移处理单元,根据相关偏移信息移动接收的立体图像;以及
缩放单元,连接于该偏移处理单元,根据该偏移信息缩放移动后的立体图像以产生结果立体图像。
9.根据权利要求8所述的立体图像处理装置,其特征在于,该偏移信息为偏移值或偏移方向。
10.根据权利要求8所述的立体图像处理装置,其特征在于,该立体图像为演示图形平面、交互式图形平面、蓝光三维图形平面的其中之一或其组合。
11.根据权利要求9所述的立体图像处理装置,其特征在于,该立体图像包含左眼图像和右眼图像,并且偏移值代表分别水平移动该左眼图像和该右眼图像的像素数。
12.根据权利要求11所述的立体图像处理装置,其特征在于该偏移方向代表水平移动该左眼图像和该右眼图像的方向。
13.根据权利要求12所述的立体图像处理装置,其特征在于,当该偏移值增加时,该缩放单元放大该立体图像,当该偏移值减小时,该缩放单元缩小该立体图像。
14.根据权利要求8所述的立体图像处理装置,其特征在于,该缩放单元进一步在显示器上显示该结果立体图像,并且根据该偏移信息和该显示器与使用者之间的距离来缩放该立体图像。
15.一种具有可执行程序存储于其中的非暂态计算机可读介质,其特征在于,该程序指示处理器执行如下步骤:
接收立体图像;
根据相关的偏移信息移动接收的立体图像;
并根据该偏移信息缩放移动后的立体图像以产生结果立体图像。
16.根据权利要求15所述的非暂态计算机可读介质,其特征在于,该偏移信息为偏移值或偏移方向。
17.根据权利要求15所述的非暂态计算机可读介质,其特征在于,该立体图像为演示图形平面、交互式图形平面、蓝光三维图形平面的其中之一或其组合。
18.根据权利要求17所述的非暂态计算机可读介质,其特征在于,该立体图像包含左眼图像和右眼图像,并且该偏移值代表水平移动该左眼图像和该右眼图像的像素数。
19.根据权利要求18所述的非暂态计算机可读介质,其特征在于,该偏移方向代表水平移动该左眼图像和该右眼图像的方向。
20.根据权利要求16所述的非暂态计算机可读介质,其特征在于,当该偏移值增加时,该立体图像放大,当该偏移值减小时,该立体图像缩小。
21.根据权利要求15所述的非暂态计算机可读介质,其特征在于,该处理器进一步执行如下步骤:
在显示器上显示该结果立体图像,其中该立体图像根据该偏移信息和该显示器与使用者之间的距离来缩放。
CN2011800515587A 2011-11-15 2011-11-15 立体图像处理装置及其相关方法 Pending CN103210423A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/082230 WO2013071489A1 (en) 2011-11-15 2011-11-15 Stereoscopic image processing apparatus and method thereof

Publications (1)

Publication Number Publication Date
CN103210423A true CN103210423A (zh) 2013-07-17

Family

ID=48428931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800515587A Pending CN103210423A (zh) 2011-11-15 2011-11-15 立体图像处理装置及其相关方法

Country Status (3)

Country Link
US (1) US20130307930A1 (zh)
CN (1) CN103210423A (zh)
WO (1) WO2013071489A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514651B2 (ja) 2016-02-15 2019-05-15 ルネサスエレクトロニクス株式会社 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム
CN110162251B (zh) * 2019-05-17 2021-06-18 网易(杭州)网络有限公司 图像缩放方法及装置、存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1460857A1 (en) * 2003-03-17 2004-09-22 Deutsche Thomson-Brandt Gmbh Method and device for compensating ghost images in time sequential stereoscopic images
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法
CN102027749A (zh) * 2008-11-18 2011-04-20 松下电器产业株式会社 考虑特殊再现的再现装置、集成电路、再现方法
CN102187681A (zh) * 2009-08-31 2011-09-14 索尼公司 立体图像显示***、视差转换装置、视差转换方法及程序
CN102210156A (zh) * 2008-11-18 2011-10-05 松下电器产业株式会社 进行立体视再生的再生装置、再生方法、程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0806183D0 (en) * 2008-04-04 2008-05-14 Picsel Res Ltd Presentation of objects in 3D displays
US8213708B2 (en) * 2010-03-22 2012-07-03 Eastman Kodak Company Adjusting perspective for objects in stereoscopic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1460857A1 (en) * 2003-03-17 2004-09-22 Deutsche Thomson-Brandt Gmbh Method and device for compensating ghost images in time sequential stereoscopic images
CN102027749A (zh) * 2008-11-18 2011-04-20 松下电器产业株式会社 考虑特殊再现的再现装置、集成电路、再现方法
CN102210156A (zh) * 2008-11-18 2011-10-05 松下电器产业株式会社 进行立体视再生的再生装置、再生方法、程序
CN102187681A (zh) * 2009-08-31 2011-09-14 索尼公司 立体图像显示***、视差转换装置、视差转换方法及程序
CN101729918A (zh) * 2009-10-30 2010-06-09 无锡景象数字技术有限公司 一种实现双目立体图像校正和显示优化的方法

Also Published As

Publication number Publication date
WO2013071489A1 (en) 2013-05-23
US20130307930A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
KR101275542B1 (ko) 3차원 화상표시장치 및 3차원 화상표시방법
TW201043000A (en) Method and device for overlaying 3D graphics over 3D video
EP2242262A3 (en) Data structure, recording medium, playback apparatus and method, and program
US8817020B2 (en) Image processing apparatus and image processing method thereof
RU2012101829A (ru) Вставка трехмерных объектов в стереоскопическое изображение на относительную глубину
US20090315981A1 (en) Image processing method and apparatus
GB201110661D0 (en) Apparatus and method for displaying images
JP2013013056A (ja) 裸眼立体視用映像データ生成方法
EP2509330A2 (en) Display control apparatus and method, and program
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
US9628770B2 (en) System and method for stereoscopic 3-D rendering
CN103210423A (zh) 立体图像处理装置及其相关方法
JP2012186652A (ja) 電子機器、画像処理方法及び画像処理プログラム
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
JP2012080294A (ja) 電子機器、映像処理方法、及びプログラム
KR101754976B1 (ko) 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
GB2499749A (en) Method and system for disparity adjustment during stereoscopic zoom
CN113382222B (zh) 一种在用户移动过程中基于全息沙盘的展示方法
JP5323222B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2011176822A (ja) 画像処理装置、立体表示装置及び画像処理方法
CN102231841A (zh) 基于双视点立体数据裸眼立体显示电视及实现方法
KR20110090205A (ko) 3차원 영상 디스플레이 장치 및 방법
JP2013191950A (ja) 立体画像データ生成システム、立体画像データ表示システム、および、立体画像データ表示方法
KR102242923B1 (ko) 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130717