CN104168469A - 立体影像预览装置以及立体影像预览方法 - Google Patents
立体影像预览装置以及立体影像预览方法 Download PDFInfo
- Publication number
- CN104168469A CN104168469A CN201410201020.5A CN201410201020A CN104168469A CN 104168469 A CN104168469 A CN 104168469A CN 201410201020 A CN201410201020 A CN 201410201020A CN 104168469 A CN104168469 A CN 104168469A
- Authority
- CN
- China
- Prior art keywords
- stereopsis
- image
- output
- input
- capturing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000013459 approach Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000007704 transition Effects 0.000 abstract description 4
- 206010052143 Ocular discomfort Diseases 0.000 abstract 1
- 238000009434 installation Methods 0.000 description 11
- 230000002452 interceptive effect Effects 0.000 description 9
- 239000011521 glass Substances 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 208000003464 asthenopia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 208000029444 double vision Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000015096 spirit Nutrition 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开一种立体影像预览装置和立体影像预览方法。立体影像预览装置包括：自动立体显示器；输入接口，用来接收至少一输入立体影像，所述输入立体影像包括从影像捕捉装置所捕捉的左视影像以及右视影像；运动检测电路，用来评估所述影像捕捉装置的运动状态；以及视觉转换电路，用来基于所述输入立体影像来产生输出立体影像，以及将所述输出立体影像输出至所述自动立体显示器以供立体预览，其中所述视觉转换电路参考所评估的所述运动状态来对所述输入立体影像进行调整来产生所述输出立体影像。本发明所公开的立体影像预览装置和立体影像预览方法，可以让使用者在该立体相机运动时得到较佳的视觉感受。
Description
技术领域
本发明所揭露的实施例相关于影像的显示，尤指一种参考影像捕捉装置(image capture device)的运动状态来产生立体影像至自动立体显示器以供立体影像预览的装置和相关方法。
背景技术
随着科技的发展，使用者开始追求超越高画质影像的立体影像，而立体影像捕捉装置和立体显示器提供了使用者更贴近真实的体验。当今的立体影像显示器有两种主流机制，其一为使用视频输出装置搭配眼镜(例如红蓝立体眼镜(anaglyph glasses)、偏光眼镜(polarization glasses)或是快门式眼镜(shutterglasses))；其二为直接使用视频输出装置而不需要另外搭配眼镜。无论使用上述何种机制，立体影像显示器的主要理论都在于使左眼和右眼看见不同的影像，再由大脑将两张不同的影像组合成立体影像。
自动立体显示器(auto-stereoscopic display)为一种不需搭配立体眼镜的立体显示器，在量产上具有高收益率。因此，自动立体显示器被广泛地采用在移动装置上并成为主流。不过，自动立体显示器也具有某些缺点，例如严重的交互干扰(crosstalk)以及视觉辐辏-调节冲突(vergence-accommodation conflict)。另外，在最有效点(sweet spot)内使用者的双眼可感受到清晰的左视和右视影像。然而，当移动装置通过自动立体显示器提供立体预览影像时，使用者可能会连续的移动移动装置来选择所欲拍摄的场景，导致其双眼无法持续地维持在立体预览影像的最有效点因而产生不适感。
发明内容
有鉴于此，本发明提出一种立体影像预览装置和立体影像预览方法。
依据本发明的第一实施例，提出一种立体影像预览装置，包括：自动立体显示器；输入接口，用来接收至少一输入立体影像，所述输入立体影像包括从影像捕捉装置所捕捉的左视影像以及右视影像；运动检测电路，用来评估所述影像捕捉装置的运动状态；以及视觉转换电路，用来基于所述输入立体影像来产生输出立体影像，以及将所述输出立体影像输出至所述自动立体显示器以供立体预览，其中所述视觉转换电路参考所评估的所述运动状态来对所述输入立体影像进行调整来产生所述输出立体影像。
依据本发明的第二实施例，提出一种立体影像预览方法，包括：接收至少一输入立体影像，所述输入立体影像包括从影像捕捉装置所捕捉的左视影像以及右视影像；评估所述影像捕捉装置的运动状态；以及基于所述输入立体影像来产生输出立体影像，以及将所述输出立体影像输出至自动立体显示器以供立体预览，其中，参考所评估的所述运动状态来对所述输入立体影像进行调整来产生所述输出立体影像。
本发明在配备立体相机以及自动立体显示器的移动装置上，提供新颖的图像使用者接口供立体预览。更具体地说，本发明基于该立体相机的运动状态提出自适应性立体预览，可以在照相模式和视频捕捉模式下在自动立体显示器上显示3D图像，进而让使用者在该立体相机运动时得到较佳的视觉感受。
附图说明
图1为本发明一实施例的电子装置的框图。
图2为当使用者移动电子装置时该电子装置所形成的轨迹图。
图3为本发明一实施例的输入立体影像的视差分布的直方图。
图4为为本发明一第一实施例的立体影象预览方法的流程图。
图5为本发明一第二实施例的立体影像预览方法的流程图。
具体实施方式
在权利要求书及说明书中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同样的组件。本权利要求书及说明书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在权利要求书及说明书中所提及的「包括」为开放式的用语，故应解释成「包括但不限定于」。另外，「耦接」一词在此包括任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表所述第一装置可直接电连接于所述第二装置，或通过其他装置或连接手段间接地电连接至所述第二装置。
本发明的主要精神在于利用肉眼的自然特性以降低自动立体显示器本身的特性所产生的交互干扰以及视觉辐辏-调节冲突(vergence-accommodationconflict)，和降低立体相机的晃动所造成的视觉疲劳。举例来说，可以采用零视差、低对比和平滑图像以避免/减轻上述问题。使用者在使用立体相机时，可以在照相模式和视频捕捉模式下得到较佳且较友善的立体预览互动。关于所提出的自适应立体预览机制的细节将说明如下。
图1为本发明一实施例的电子装置的区块图。电子装置100可以是移动装置，例如智能手机、功能手机或是平板电脑。电子装置100包括影像捕捉装置(例如立体相机)101以及立体影像预览装置102。当电子装置100的相机模式或是视频录制模式被启动时，影像捕捉装置101会被用来产生至少一输入立体影像IMG_IN，每一输入立体影像都包括左视影像IL以及右视影像IR。立体影像预览装置102被用来在该照相模式或是该视频录制模式下提供立体预览，其中该照相模式用于捕捉单张静态立体影像(still stereo image)，而该视频录制模式用于记录包括多张立体影像的立体视频序列(stereo video sequence)。在此实施例中，立体影像预览装置102包括输入接口(input interface)104、运动检测电路(motion detection circuit)106、视觉转换电路(visual transition circuit)108以及自动立体显示器(auto-stereoscopic display)110。
输入接口104耦接于前级的影像捕捉装置101以及后级的运动检测电路106和视觉转换电路108之间，用来接收影像捕捉装置101所产生的每一输入立体影像IMG_IN。因此，运动检测电路106和视觉转换电路108便可通过输入接口104来存取影像捕捉装置101的输出。举例来说，但不以此为限，输入接口104可以是移动行业处理器接口(Mobile Industry Processor Interface,MIPI)所规范的相机串行接口(Camera Serial Interface,CSI)。
运动检测电路106用来评估影像捕捉装置101的运动状态MS。在一示范性设计中，运动检测电路106包括运动分析单元112。运动分析单元112用来通过输入接口104以接收影像捕捉装置101的输出，然后针对影像捕捉装置101的输出执行运动分析操作以评估运动状态MS。换句话说，当执行该运动分析操作时，运动分析单元112会采用基于影像处理的演算法(image processing basedalgorithm)来分析影像捕捉装置101输出的影像内容。请参考图2，图2为当使用者移动电子装置时该电子装置所形成的轨迹图。在影像捕捉装置101为内建于电子装置100的立体相机的情况下，该立体相机会沿着电子装置100所形成的运动轨迹202来移动。因此，运动分析单元112可将轨迹202看成该相机的运动，并据以判断是否满足观看距离条件(例如当该立体相机在移动时，该观看距离为20～30公分的范围区间内)以及满足观看角度条件(例如当该立体相机在移动时，该观看角度仍垂直于显示屏幕，即自动立体显示器110的屏幕)。当运动分析单元112检测到该相机运动满足该观看距离条件以及该观看角度条件时，由于使用者的头部随着显示屏幕移动，故使用者会感受到该立体相机仍处于静止状态。在这种情况下，运动分析单元112所评估的运动状态MS会指示影像捕捉装置(例如立体相机)101相对于使用者为静止状态。不过，当运动分析单元112检测到该相机运动不满足该观看距离条件以及该观看角度条件中的至少一者时，运动分析单元112所评估的运动状态MS会指示影像捕捉装置101(例如立体相机)相对于使用者不处于静止状态。
在另一示范性设计中，运动检测电路106包括上述运动分析单元112以及选配的运动传感器(motion sensor)114。运动传感器114用来产生传感器输出S_OUT至运动分析单元112。因此，运动分析单元112所执行的该运动分析操作会参考传感器输出S_OUT。更具体地说，由于相对运动的关系，运动中的影像捕捉装置101所捕捉的静态物件可能会被误判为运动中的物体。因此，传感器输出S_OUT会提供可供运动分析单元112使用的运动信息，来分辨运动中的影像捕捉装置101所捕捉的画面中的物体为静态或是动态。通过运动传感器114的帮助，运动分析单元112便能够更精确地产生该相机运动的评估结果。
视觉转换电路108用来基于输入立体影像IMG_IN来产生输出立体影像IMG_OUT，以及将输出立体影像IMG_OUT输出至自动立体显示器110以供立体预览。视觉转换电路108会在产生输出立体影像IMG_OUT时参考所评估的运动状态MS来对输入立体影像IMG_IN进行调整。在本发明的较佳实施例中，对输入立体影像IMG_IN所做的调整为视差(disparity)调整，可以避免/减轻自动立体显示器110所造成的交互干扰以及视觉辐辏-调节冲突，和相机晃动所造成的视觉疲劳。在此实施例中，具有视差调整能力的视觉转换电路108包括视差分析单元116、影像合成控制单元118以及影像合成单元120。视差分析单元116用来估计输入立体影像IMG_IN的左视影像IL和右视影像IR的视差分布(disparity distribution)DD。视差分析单元116可使用任何已知方法来执行该视差分析。
举例来说，视差分析单元116可以采用立体影像匹配演算法(stereomatching algorithm)、特征点萃取及匹配演算法(feature point extraction andmatching algorithm)以及基于区域的运动估计演算法(region-based motionestimation algorithm)来实现视差分布DD的统计分析。请参考图3，图3为本发明一实施例的输入立体影像IMG_IN的视差分布DD的直方图。如图3所示，由左视影像IL以及右视影像IR所得到的视差值位于D1和D2所界定的视差范围之中，其中D2为最大视差值，D1为最小负视差值。当零视差像素显示在自动立体显示器110时，使用者可以看到该像素正好位于自动立体显示器110的屏幕上。当负视差像素显示在自动立体显示器110时，使用者可以看到该像素位于自动立体显示器110的屏幕之前(即较接近使用者)。当正视差像素显示在自动立体显示器110时，使用者可以看到该像素位于自动立体显示器110的屏幕之后(即较远离使用者)。因此，当输入立体影像IMG_IN显示在自动立体显示器110上时，输入立体影像IMG_IN的视差分布DD会决定使用者的深度感受。
一般来说，当辐辏位于自动立体显示器110的屏幕上时，使用者会感到最舒适。即自动立体显示器110显示零视差影像(zero-disparity image pair)。而当自动立体显示器110显示非零视差影像时，则使用者的感受可参考舒适区来决定。该舒适区依据3D显示屏幕的规格来决定。举例来说，自动立体显示器110为3D显示屏幕，具有3D辐辏角度θ＝typ(2D)±1°(3D)，其中typ(2D)为典型的2D辐辏角度，可以表示为B代表右眼和左眼之间的距离，d代表屏幕和使用者眼睛之间的距离。当该影像的该视差分布在该舒适区内时，使用者可感受到具有非零视差的该影像在自动立体显示器110的3D辐辏角度θ之内。这样一来，使用者便能够获得舒适的3D感受。另外，当该影像欲表现低对比(lower-contrast)3D影像或是平滑(smoothed)3D影像时，使用者的双眼对交互干扰较不敏感。基于这些人类的视觉特性，本发明提出使用影像合成控制单元118以及影像合成单元120来显著地降低交互干扰、视觉辐辏-调节冲突和视觉疲劳。
影像合成控制单元118用来依据运动状态MS以及视差分布DD来设定至少一影像合成参数α。而影像合成单元120则是用来依据左视影像IL、右视影像IR以及至少一影像合成参数α来产生至少一合成影像，其中输出立体影像IMG_OUT包括该至少一合成影像。
在一示范性设计中，左视影像IL和右视影像IR其中之一保持不变，另一个则会被由左视影像IL和右视影像IR所产生的合成影像所取代。举例来说，输出立体影像IMG_OUT包括左视影像IL和合成影像I'(α)(当作右视影像)。上述单视影像合成机制(one-view synthesis scheme)可以使用以下方程式来进行视图内插(view interpolation)。
I'(α)＝I'((1-α)uL+αuR,(1-α)vL+αvR)＝(1-α)IL(uL,vL)+αIR(uR,vR) (1)
在上述方程式(1)中，左视影像IL中座标为(uL,vL)的像素IL(uL,vL)，以及右视影像IR中座标为(uR,vR)的像素IR(uR,vR)为相对应的点，并可通过混合而形成合成影像I'中具有座标为((1-α)uL+αuR,(1-α)vL+αvR)的像素I'((1-α)uL+αuR,(1-α)vL+αvR)。
另外，该单视影像合成机制可以使用以下方程式来进行光度视图内插(photometric view interpolation)。
I'(α)＝(1-α)IL+αIR (2)
在上述方程式(2)中，左视影像IL中座标为(x,y)的像素IL(x,y)，以及右视影像IR中相同座标为(x,y)的像素IR(x,y)会通过混合而形成合成影像I'中具有座标为(x,y)的像素I'(x,y)。
在上述方程式中(1)和(2)中，0≤α≤1且α∈R，其中R是指实数(Realnumber)。通过依据视差分布DD以及运动状态MS来设定影像合成参数α，以适应性地调整输出立体影像IMG_OUT的视差分布。更具体地说，当设定影像合成参数α为较小值时，输出立体影像IMG_OUT会更接近零视差影像以降低交互干扰以及视觉辐辏-调节冲突；而当设定影像合成参数α为较大值时，输出立体影像IMG_OUT会更接近输入立体影像IMG_IN以提升3D感。在此实施例中，当所评估的运动状态MS指出影像捕捉装置101相对于使用者为静止时，影像合成控制单元118会调整至少一影像合成参数α来使输出立体影像IMG_OUT接近输入立体影像IMG_IN；当所评估的运动状态MS指出影像捕捉装置101相对于使用者不为静止时，影像合成控制单元118会调整至少一影像合成参数α来使输出立体影像IMG_OUT接近零视差影像或是具有符合自动立体显示器110规范的舒适区的视差分布。
在另一示范性设计中，左视影像IL和右视影像IR都被由左视影像IL和右视影像IR所产生的合成影像所取代。举例来说，输出立体影像IMG_OUT包括一合成影像I'(1-α)(当作左视影像)以及另一合成影像I'(α)(当作右视影像)。
双视影像合成机制(two-view synthesis scheme)可以使用以下方程式来进行视图内插。
I'(α)＝I'((1-α)uL+αuR,(1-α)vL+αvR)＝(1-α)IL(uL,vL)+αIR(uR,vR) (3)
I″(1-α)＝I'((1-α)uL+αuR,(1-α)vL+αvR)＝αIL(uL,vL)+(1-α)IR(uR,vR) (4)
另外，该双视影像合成机制可以使用以下方程式来进行光度视图内插。
I'(α)＝(1-α)IL+αIR (5)
I″(1-α)＝αIL+(1-α)IR (6)
在方程式(3)～(6)中，0≤α≤0.5且α∈R。通过依据视差分布DD以及运动状态MS来设定影像合成参数α，以适应性地调整输出立体影像IMG_OUT的视差分布。当设定影像合成参数α接近0.5时，输出立体影像IMG_OUT的I'(α)与I″(α)会更接近零视差立体影像，在立体显示器上能有效地降低交互干扰以及视觉辐辏-调节冲突；而当设定影像合成参数α为接近0的数值时，输出立体影像IMG_OUT会更接近输入立体影像IMG_IN以提升3D深度感。同上例，在此实施例中，当所评估之的运动状态MS指出影像捕捉装置101相对于使用者为静止时，影像合成控制单元118会调整参数α使输出的双合成立体影像IMG_OUT接近输入立体影像IMG_IN；当所评估的运动状态MS指出影像捕捉装置101相对于使用者不为静止时，影像合成控制单元118会调整合成参数α来使输出的双合成立体影像IMG_OUT接近零视差影像或是具有符合自动立体显示器110规范的舒适区的视差分布。
图4为本发明一第一实施例的立体预览方法的流程图。倘若大体上可达到相同的结果，并不一定需要按照图4所示的流程中的步骤顺序来进行，且图4所示的步骤不一定要连续进行，即其他步骤可***其中。此外，图4中的某些步骤可根据不同实施例或设计需求而省略。当具有影像捕捉装置101的电子装置100进入相机模式时，图4的方法可以应用在立体影像预览装置102，细节描述如下。
步骤402：接收至少一输入立体影像，该至少一输入立体影像包括从影像捕捉装置(例如立体相机)所产生的左视影像以及右视影像。进入步骤404以及406。
步骤404：估计该至少一输入立体影像的视差分布。进入步骤408。
步骤406：评估该影像捕捉装置的运动状态。
步骤408：检查所评估的该运动状态是否指出该影像捕捉装置相对于使用者为静止。若是，进入步骤410；否则进入步骤412。
步骤410：设定至少一影像合成参数的视觉转换为接近该输入立体影像，以得到较强的3D感。进入步骤414。
步骤412：设定至少一影像合成参数的视觉转换为接近零视差影像，以降低交互干扰、视觉辐辏-调节冲突以及视觉疲劳。
步骤414：产生输出立体影像至自动立体显示器以供立体预览。该输出立体影像可视实际需求而具有一个合成影像或是两个合成影像。
应注意的是，若是当立体预览显示在该自动立体显示器时，由使用者按压实体/虚拟快门按钮并触发捕捉事件，对应该捕捉事件的立体影像会被储存为捕捉立体影像输出以供相机模式下使用。换句话说，在该立体预览显示出来之前，该捕捉事件不会被触发。本领域的技术人员在阅读过以上段落之后，应能立即了解图4中的每一步骤，在此便省略更进一步的细节。
图5为本发明一第二实施例的立体预览方法的流程图。倘若大体上可达到相同的结果，并不一定需要按照图5所示的流程中的步骤顺序来进行，且图5所示的步骤不一定要连续进行，即其他步骤可***其中。此外，图5中的某些步骤可根据不同实施例或设计需求而省略。当具有影像捕捉装置101的电子装置100进入视频录制模式时，图5的方法可以应用在立体影像预览装置102，图4和图5中的立体预览的主要差别在于图5的立体预览方法还包括步骤502以及步骤504，细节描述如下。
步骤502：接收捕捉事件。
步骤504：开始对该影像捕捉装置的输出进行视频录制。
应注意的是，在使用者按压实体/虚拟快门按钮并触发捕捉事件后，每一输出立体影像IMG_OUT的立体预览会被显示在该自动立体显示器上，且每一输入立体影像IMG_IN的视频录制操作会同时被启动。输出立体影像IMG_OUT并不一定和输入立体影像IMG_IN相同。换句话说，在该立体预览显示出来之前，该捕捉事件不会被触发，当调整视差分布后的输出立体影像IMG_OUT提供给立体预览时，原始视差分布的输入立体影像IMG_IN会被录制下来。本领域的技术人员在阅读过以上段落之后，应能立即了解图5中的每一步骤，在此便省略更进一步的细节。
总结来说，本发明在配备立体相机以及自动立体显示器的移动装置上，提供新颖的图像使用者接口以供立体预览。更具体地说，本发明基于该立体相机的运动状态提出自适应性立体预览，可以在照相模式和视频捕捉模式下在自动立体显示器上显示3D图像，进而让使用者在该立体相机运动时得到较佳的视觉感受。
以上所述仅为本发明的较佳实施方式，凡依本发明权利要求所做的均等变化和修饰，均应属本发明的涵盖范围。
Claims (18)
1.一种立体影像预览装置，其特征在于，包括：
自动立体显示器；
输入接口，用来接收至少一输入立体影像，所述输入立体影像包括从影像捕捉装置所捕捉的左视影像以及右视影像；
运动检测电路，用来评估所述影像捕捉装置的运动状态；以及
视觉转换电路，用来基于所述输入立体影像来产生输出立体影像，以及将所述输出立体影像输出至所述自动立体显示器以供立体预览，其中所述视觉转换电路参考所评估的所述运动状态来对所述输入立体影像进行调整来产生所述输出立体影像。
2.如权利要求1所述的立体影像预览装置，其特征在于，在照相模式下或在视频捕捉模式下显示所述立体预览。
3.如权利要求1所述的立体影像预览装置，其特征在于，所述运动检测电路包括：
运动分析单元，用来接收所述影像捕捉装置的输出，以及针对所述影像捕捉装置的所述输出执行运动分析操作来评估所述运动状态。
4.如权利要求3所述的立体影像预览装置，其特征在于，所述运动检测电路还包括：
运动传感器，用来产生传感器输出至所述运动分析单元；
其中所述运动分析单元参考所述传感器输出来进行所述运动分析操作。
5.如权利要求1所述的立体影像预览装置，其特征在于，所述调整为视差调整。
6.如权利要求5所述的立体影像预览装置，其特征在于，所述视觉转换电路包括：
视差分析单元，用来估计所述左视影像以及所述右视影像的视差分布；
影像合成控制单元，用来依据所评估的所述运动状态以及所估计的所述视差分布来设定至少一影像合成参数；以及
影像合成单元，用来依据所述左视影像、所述右视影像以及所述至少一影像合成参数来产生至少一合成影像，其中所述输出立体影像包括所述至少一合成影像。
7.如权利要求6所述的立体影像预览装置，其特征在于，所述至少一合成影像包括所述输出立体影像的合成左视影像以及合成右视影像。
8.如权利要求6所述的立体影像预览装置，其特征在于，当所评估的所述运动状态指出所述影像捕捉装置相对于使用者为静止时，所述影像合成控制单元会调整所述至少一影像合成参数来使所述输出立体影像接近所述输入立体影像。
9.如权利要求6所述的立体影像预览装置，其特征在于，当所评估的所述运动状态指出所述影像捕捉装置相对于使用者为非静止时，所述影像合成控制单元会调整所述至少一影像合成参数来使所述输出立体影像接近零视差影像或是具有符合所述自动立体显示器规范的舒适区的视差分布。
10.一种立体影像预览方法，其特征在于，包括：
接收至少一输入立体影像，所述输入立体影像包括从影像捕捉装置所捕捉的左视影像以及右视影像；
评估所述影像捕捉装置的运动状态；以及
基于所述输入立体影像来产生输出立体影像，以及将所述输出立体影像输出至自动立体显示器以供立体预览，其中，参考所评估的所述运动状态来对所述输入立体影像进行调整来产生所述输出立体影像。
11.如权利要求10所述的立体影像预览方法，其特征在于，在照相模式下或在视频捕捉模式下显示所述立体预览。
12.如权利要求10所述的立体影像预览方法，其特征在于，评估所述影像捕捉装置的所述运动状态的步骤包括：
接收所述影像捕捉装置的输出；以及
针对所述影像捕捉装置的所述输出执行运动分析操作来评估所述运动状态。
13.如权利要求12所述的立体影像预览方法，其特征在于，评估所述影像捕捉装置的所述运动状态的步骤还包括：
从运动传感器接收传感器输出；
其中所述运动分析操作是参考所述传感器输出来进行。
14.如权利要求10所述的立体影像预览方法，其特征在于，所述调整为视差调整。
15.如权利要求14所述的立体影像预览方法，其特征在于，基于所述输入立体影像来产生所述输出立体影像的步骤包括：
估计所述左视影像以及所述右视影像的视差分布；
依据所评估的所述运动状态以及所估计的所述视差分布来设定至少一影像合成参数；以及
依据所述左视影像、所述右视影像以及所述至少一影像合成参数来产生至少一合成影像，其中所述输出立体影像包括所述至少一合成影像。
16.如权利要求15所述的立体影像预览方法，其特征在于，所述至少一合成影像包括所述输出立体影像的合成左视影像以及合成右视影像。
17.如权利要求15所述的立体影像预览方法，其特征在于，当所评估的所述运动状态指出所述影像捕捉装置相对于使用者为静止时，调整所述至少一影像合成参数来使所述输出立体影像接近所述输入立体影像。
18.如权利要求15所述的立体影像预览方法，其特征在于，当所评估的所述运动状态指出所述影像捕捉装置相对于使用者为非静止时，调整所述至少一影像合成参数来使所述输出立体影像接近零视差影像或是具有符合所述自动立体显示器规范的舒适区的视差分布。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361824060P | 2013-05-16 | 2013-05-16 | |
| US61/824,060 | 2013-05-16 | ||
| US14/272,491 | 2014-05-07 | ||
| US14/272,491 US9838672B2 (en) | 2013-05-16 | 2014-05-07 | Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104168469A true CN104168469A (zh) | 2014-11-26 |
| CN104168469B CN104168469B (zh) | 2017-01-04 |
Family
ID=51895468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410201020.5A Expired - Fee Related CN104168469B (zh) | 2013-05-16 | 2014-05-13 | 立体影像预览装置以及立体影像预览方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9838672B2 (zh) |
| CN (1) | CN104168469B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105120251A (zh) * | 2015-08-19 | 2015-12-02 | 京东方科技集团股份有限公司 | 一种3d场景展示方法及装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101966152B1 (ko) * | 2014-08-07 | 2019-04-05 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
| GB2538997A (en) * | 2015-06-03 | 2016-12-07 | Nokia Technologies Oy | A method, an apparatus, a computer program for video coding |
| US20180309971A1 (en) * | 2017-04-19 | 2018-10-25 | 2Sens Ltd. | System device and methods for grading discomfort effects of three dimensional (3d) content |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102547324A (zh) * | 2010-09-22 | 2012-07-04 | 株式会社尼康 | 图像显示装置及摄像装置 |
| CN102915557A (zh) * | 2011-06-27 | 2013-02-06 | 株式会社东芝 | 图像处理***、终端装置以及方法 |
| CN102986233A (zh) * | 2010-07-14 | 2013-03-20 | 夏普株式会社 | 图像摄像装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5225847B2 (ja) | 2006-09-08 | 2013-07-03 | パナソニック株式会社 | 情報処理端末、音楽情報生成方法、およびプログラム |
| CN102835116B (zh) * | 2010-04-01 | 2015-03-25 | 诺基亚公司 | 用于选择立体成像视点对的方法和装置 |
| EP2434764A1 (en) | 2010-09-23 | 2012-03-28 | Thomson Licensing | Adaptation of 3D video content |
| WO2012070010A1 (en) * | 2010-11-24 | 2012-05-31 | Stergen High-Tech Ltd. | Improved method and system for creating three-dimensional viewable video from a single video stream |
| US9148645B2 (en) | 2011-05-14 | 2015-09-29 | Dolby Laboratories Licensing Corporation | Crosstalk cancellation in 3D displays |
| US9654762B2 (en) * | 2012-10-01 | 2017-05-16 | Samsung Electronics Co., Ltd. | Apparatus and method for stereoscopic video with motion sensors |
| TWI508524B (zh) * | 2012-10-26 | 2015-11-11 | Quanta Comp Inc | 裸視立體顯示裝置之自動調校方法及系統 |
-
2014
- 2014-05-07 US US14/272,491 patent/US9838672B2/en active Active
- 2014-05-13 CN CN201410201020.5A patent/CN104168469B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102986233A (zh) * | 2010-07-14 | 2013-03-20 | 夏普株式会社 | 图像摄像装置 |
| CN102547324A (zh) * | 2010-09-22 | 2012-07-04 | 株式会社尼康 | 图像显示装置及摄像装置 |
| CN102915557A (zh) * | 2011-06-27 | 2013-02-06 | 株式会社东芝 | 图像处理***、终端装置以及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105120251A (zh) * | 2015-08-19 | 2015-12-02 | 京东方科技集团股份有限公司 | 一种3d场景展示方法及装置 |
| US10045007B2 (en) | 2015-08-19 | 2018-08-07 | Boe Technolgoy Group Co., Ltd. | Method and apparatus for presenting 3D scene |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140340491A1 (en) | 2014-11-20 |
| CN104168469B (zh) | 2017-01-04 |
| US9838672B2 (en) | 2017-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| US9094675B2 (en) | Processing image data from multiple cameras for motion pictures | |
| KR101240789B1 (ko) | 비디오 변환시스템에 있어서의 뎁스맵 생성 | |
| US9031356B2 (en) | Applying perceptually correct 3D film noise | |
| US8922629B2 (en) | Image processing apparatus, image processing method, and program | |
| KR101602904B1 (ko) | 신호에 포함된 시차 정보를 처리하는 방법 | |
| CN102685523B (zh) | 深度信息产生器、深度信息产生方法及深度调整装置 | |
| CN102932662B (zh) | 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法 | |
| US20120176366A1 (en) | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene | |
| CN105894567B (zh) | 放缩三维场景中的用户控制的虚拟对象的像素深度值 | |
| CN105723705B (zh) | 用于自动立体多视图显示器的图像的生成 | |
| CN103609105A (zh) | 用于生成用于显示器的信号的方法和设备 | |
| Daly et al. | Perceptual issues in stereoscopic signal processing | |
| WO2012037685A1 (en) | Generating 3d stereoscopic content from monoscopic video content | |
| US10127714B1 (en) | Spherical three-dimensional video rendering for virtual reality | |
| CN104737535A (zh) | 对3d图像中的图像叠加的深度调整 | |
| CN104168469A (zh) | 立体影像预览装置以及立体影像预览方法 | |
| KR101754976B1 (ko) | 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치 | |
| Chang et al. | Priority depth fusion for the 2D to 3D conversion system | |
| Tseng et al. | Automatically optimizing stereo camera system based on 3D cinematography principles | |
| Mangiat et al. | Disparity remapping for handheld 3D video communications | |
| CN102780900B (zh) | 一种多人多视角立体显示器影像显示方法 | |
| CN102611901A (zh) | 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置 | |
| TW201327470A (zh) | 調整立體影像之景深的方法以及顯示立體影像的方法與相關裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220217 Address after: ottawa Patentee after: Xueshan Technology Co.,Ltd. Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No. Patentee before: MEDIATEK Inc. |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170104 |