CN102957924B - 三维影像获取方法与装置及三维影像显示装置 - Google Patents

Abstract

本发明提出一种三维影像获取方法与装置及三维影像显示装置。此三维影像获取方法适用于一影像获取装置，包括下列步骤。首先，利用影像获取装置，连续平移以获取多数个影像。接着，估测这些影像中每两相邻影像之间的一像差。然后，储存这些影像与此像差。

Description

三维影像获取方法与装置及三维影像显示装置

技术领域

本发明涉及一种三维影像获取方法与装置及三维影像显示装置，且尤其涉及一种可调整像差的三维影像获取方法与装置及三维影像显示装置。

背景技术

随着科技的日益进步，三维影像是继高清(high definition，HD)影像后的最新发展趋势。各种三维影像相关产业快速地崛起，除了三维影像显示装置(例如电视)与三维影像接收装置(例如三维眼镜)之外，适于消费者使用的三维影像获取装置也相继推出。

当人类双眼以微小相异的角度，观看同一个物体时，双眼会看到微小相异的两张影像，双眼所看到的些微差异，称之为双眼像差(Binoculardisparity)或视网膜像差(Retinal disparity)。大脑会把这两张些微差异的影像融合成具有层次和景深的单一物像，进而令人类产生三维空间的立体感。但人类双眼水平分开距离(又称双瞳距离)大约是50-75mm，因人而异，因此对三维影像的感受亦不相同。

因此，三维影像获取装置必须获取分别提供给人类左眼及右眼观赏的影像。现有做法大多是利用不同的获取装置以不同的角度拍摄多张影像，再进行后制合成，或是在获取装置本体上配置两个独立的镜头，并将镜头之间的距离设置为约等于人类两眼间平均距离，藉此仿真人类的左右眼以拍摄三维影像。但上述装置的硬件成本昂贵且一般消费者不易操作。

发明内容

有鉴于此，本发明提供一种三维影像获取方法与装置，可使用具有单一镜头的获取装置进行拍摄，并且可依使用者设定输出具不同像差的左右眼影像。

本发明提供一种三维影像显示装置，可接收具有像差信息的多数个影像，并且可依使用者设定选择具不同像差的左右眼影像来呈现立体画面。

本发明提出一种三维影像获取方法，适用于一影像获取装置，此方法包括下列步骤。首先，利用影像获取装置，连续平移以获取多数个影像。接着，估测这些影像中每两相邻影像之间的一像差。然后，储存这些影像与所有像差。

在本发明的一实施例中，三维影像获取方法还包括下列步骤。首先，取得一第一像差。接着，根据第一像差与这些像差，自这些影像取得一第一左眼影像与一第一右眼影像，其中，第一左眼影像与第一右眼影像相差第一像差。然后，根据第一左眼影像与第一右眼影像，呈现一第一立体画面。

在本发明的一实施例中，在呈现该第一立体画面的步骤之后还包括下列步骤。透过一使用者接口，接收一第二像差。接着，根据第二像差与这些像差，自这些影像取得一第二左眼影像与一第二右眼影像，其中第二左眼影像与第二右眼影像相差第二像差。然后，根据第二左眼影像与第二右眼影像，呈现一第二立体画面。

在本发明的一实施例中，估测这些影像中每两相邻影像之间的像差的步骤，包括下列步骤。首先，分别将这些影像规划为多数个区块。接着，计算每两相邻影像之间各区块的区块移动向量。然后，分析这些区块移动向量，藉以产生每两相邻影像之间的一全域移动向量。之后，根据这些全域移动向量，藉以估测像差。

在本发明的一实施例中，三维影像获取方法还包括下列步骤。根据这些全域移动向量修正这些影像，使修正后的这些影像的垂直高度为一致。

在本发明的一实施例中，利用此影像获取装置，连续平移获取这些影像的步骤，包括下列步骤。首先，触发此影像获取装置以进行影像获取。接着，利用一位移检测模块检测并取得此影像获取装置的一位移信息。然后，根据此位移信息，判断此影像获取装置是否在一水平方向上移动。若检测此影像获取装置并非在此水平方向上移动时，则提示使用者修正此影像获取装置的移动。

在本发明的一实施例中，三维影像获取方法还包括下列步骤。根据此位移信息修正这些影像，使修正后的这些影像的视角方向皆为平行。

在本发明的一实施例中，利用此影像获取装置，连续平移获取该些影像的步骤，包括下列步骤。首先，触发此影像获取装置以进行影像获取。当这些像差的总和达一门坎值时，此影像获取装置停止影像获取。

本发明另提出一种三维影像获取装置，其包括一影像获取模块、一处理单元以及一储存单元。其中，影像获取模块连续平移以获取多数个影像。处理单元耦接至此影像获取模块，当此影像获取模块沿此方向连续获取这些影像时，处理单元估测这些影像中每两相邻影像之间的一像差。储存单元耦接至此影像获取模块与此处理单元，用以储存这些影像与这些像差。

本发明又提出一种三维影像显示装置，适于接收连续平移所获取的多数个影像与这些影像中每两相邻影像之间的一像差，此三维影像显示装置包括一储存单元、一处理单元以及一显示模块。其中，储存单元储存一第一像差。处理单元耦接至此储存单元，根据第一像差与这些像差，自这些影像取得一左眼影像与一右眼影像。显示模块耦接至处理单元，根据此左眼影像与此右眼影像，呈现一立体画面。

基于上述，本发明所提供的三维影像获取方法与装置以及三维影像显示装置，可使用具有单一镜头的三维影像获取装置进行拍摄，藉由储存影像之间的像差信息，可输出具不同像差的左右眼影像，据此，可让使用者依其观感、喜好选择最适合的左右眼影像来呈现立体画面。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明的一实施例所显示的三维影像获取装置的方框图。

图2是依照本发明的一实施例所显示的一种三维影像获取方法的流程图。

图3是依照本发明的一实施例所显示的一种平移轨迹与相对获取影像的示意图。

图4是依照本发明的另一实施例所显示的一种三维影像获取方法的流程图。

图5是依照本发明的另一实施例所显示的三维影像获取装置的方框图。

图6是依照本发明的又一实施例所显示的一种三维影像获取方法的流程图。

图7是依照本发明的一实施例所显示的影像校正的示意图，(a)为校正前影像，(b)为校正后影像。

图8是依照本发明的一实施例所显示的校正后影像I’1～I’5与其相对应的像差GMV的示意图。

图9是依照本发明的又一实施例所显示的调整像差的示意图(a)增加像差，(b)减少像差。

图10是图1的三维影像获取装置连接至三维影像显示装置的方框图。

附图标记：

100、500：三维影像获取装置

110：影像获取模块

120：处理单元

130：储存单元

310、320：平移轨迹

540：位移检测模块

550：显示模块

910、920：箭头方向

I1～I6：影像

I’1～I’5：校正后影像

VD、VD1～VD4：视角方向：

GMV：像差

SAGMV1：第一累积像差

SAGMV2：第二累积像差

S210～S230：三维影像获取方法的步骤

S410～S460：三维影像获取方法的步骤

S610～S680：三维影像获取方法的步骤

具体实施方式

图1是依照本发明的一实施例所显示的三维影像获取装置的方框图。请参照图1，本实施例的三维影像获取装置100例如是数字相机、具有影像获取功能的手机或智能型手机等。三维影像获取装置100包括影像获取模块110、处理单元120以及储存单元130。处理单元120耦接至影像获取模块110与储存单元130。处理单元120可用以计算影像获取模块110所拍摄的影像的像差，并进行影像处理。经影像处理后的影像与像差等相关信息则可储存于储存单元130。其功能分述如下：

影像获取模块110包括镜头或感光组件等。镜头例如是标准镜头、广角镜头、望远镜头及变焦镜头等。感光组件例如是电荷耦合组件(Charge Coupled Device，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)组件或其它组件等。

处理单元120可由软件、硬件或其组合实作而得，在此不加以限制。软件例如是应用软件或驱动程序等。硬件例如是中央处理单元(CentralProcessing Unit，CPU)，或是其它可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字讯号处理器(Digital Signal Processor，DSP)等装置。

储存单元130可为任意型式的固定式或可移动式随机存取内存(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、记忆卡或其它类似装置。

图2是依照本发明的一实施例所显示的一种三维影像获取方法的流程图。请参照图2，本实施例的方法适用于图1的三维影像获取装置100，以下即搭配图1中的各项组件说明本实施例三维影像获取方法的流程步骤：

首先，如步骤S210所述，利用三维影像获取装置100，连续平移以获取多数个影像，连续平移方向可为水平方向。例如，由左至右平移或由右至左平移。如图3所示，图3是依照本发明的一实施例所显示的一种平移轨迹与相对获取影像的示意图。接着，在步骤S220中，当影像获取模块110沿平移轨迹310连续获取多个影像I1～I6时，处理单元120估测影像I1～I6中每两相邻影像之间的一像差。接续步骤S230，储存单元130储存影像I1～I6并且储存每两相邻影像之间的像差。

值得一提的是，三维影像获取装置100会估测影像间的像差，并将影像与像差储存于储存单元130中。因此，当要产生立体画面时，可根据像差来选择储存单元130中的两张影像作为左眼影像与右眼影像。之后，便可利用所选择的左眼影像与右眼影像来产生立体画面。亦即，本实施例能够利用单一的三维影像获取装置100以及单一的镜头来获取出可用来呈现立体画面的影像，并不需要如现有技术为了呈现立体画面而需要使用二个以上影像获取装置或单一影像获取装置却需配备两个镜头分别拍摄左眼与右眼影像。

以下另举一实施例来对本发明进行说明，图4是依照本发明的另一实施例所显示的一种三维影像获取方法的流程图。图5是依照本发明的另一实施例所显示的三维影像获取装置的方框图。在本实施例中，三维影像获取装置500除了包括影像获取模块110、处理单元120以及储存单元130之外，还包括位移检测模块540以及显示模块550。其中，位移检测模块540及显示模块550分别耦接至处理单元120。位移检测模块540可透过处理单元120将位移信息储存至储存单元130。显示模块550亦可透过处理单元120至储存单元130存取影像以进行播放。

显示模块550例如是液晶(Liquid Crystal Display，LCD)显示面板、发光二极管(Light-Emitting Diode，LED)显示面板，亦可为具触控接收功能的显示模块，用以显示三维影像获取装置500所获取的影像。

位移检测模块540例如是重力传感器(G-sensor)或陀螺仪(Gyroscope)，而可检测三维影像获取装置500的位移信息，并且将此位移信息提供给处理单元120。

以下请同时参照图3、图4与图5，首先，如步骤S410所述，利用三维影像获取装置500，连续平移以获取多数个影像I1～I6时(如图3所示)。接着进行步骤S420，处理单元120估测影像I1～I6中每两相邻影像之间的一影像像差。

详细而言，步骤S420可包括S422～S428等4个子步骤。首先进行步骤S422，处理单元120可先分别将影像I1～I6规划为多数个区块。举例而言，可将每一影像分成M×N个区块，其中M，N为大于1的正整数。接着进行步骤S424，处理单元120做区块移动向量估测。例如，可使用特征比对法(Feature detection)来找出每一区块在相邻影像间可能的移动位置。

做完各区块的区块移动向量的分析之后，便可进行步骤S426，处理单元120做全域移动向量估测，以产生每两相邻影像之间的一全域移动向量。举例来说，可先对多数个区块移动向量取众数，也以进行统计。统计完成后，再从中选择出现最多次的区块移动向量作为全域移动向量，或是将所有的区块移动向量做平均而得到全域移动向量等等。

之后还可进行步骤S428，处理单元120对目前所能取得的全域移动向量进行一平滑化处理，并将经过平滑化后的全域移动向量作为影像像差。藉此，可减少移动向量估测所产生的误差影响。

接续步骤S430，储存单元130储存影像I1～I6并且储存每两相邻影像之间的影像像差。在本实施例中，这些影像可根据H.264压缩标准、动态影像专家群组(Motion Picture Experts Group，MPEG)压缩标准或联合影像专家小组(Joint Photographic Experts Group，JPEG)等压缩标准来进行压缩，且影像像差可储存于对应的格式中。

接下来步骤S440～S460，处理单元120自储存单元130中取得一第一像差，第一像差可为三维影像获取装置500的默认值，或可为使用者事先所预定。处理单元120根据第一像差与所有影像的像差，自储存单元130所储存的影像中取得相差此第一像差的第一左眼影像与第一右眼影像。最后，根据第一左眼影像与第一右眼影像来呈现第一立体画面。

图6是依照本发明的又一实施例所显示的一种三维影像获取方法的流程图。本实施例的方法适用于图5的三维影像获取装置500，以下请合并参照图3、图5与图6。

首先，如步骤S610所述，利用三维影像获取装置500连续平移以获取多数个影像。假设本实施例的三维影像获取装置500为一数字相机，通常是由使用者手持数字相机进行拍摄，因此三维影像获取装置500会先接收触发讯号而开始进行影像获取，例如接收使用者的一按键触发。由于使用者手持数字相机进行连续平移的拍摄，容易产生手震或晃动情况，导致所获取的影像会有偏斜、视角非平行等问题(如图3所示)，因此，可利用位移检测模块540检测并取得三维影像获取装置500的位移信息，并且根据此位移信息，判断此三维影像获取装置500是否在一水平方向上移动。若检测此三维影像获取装置500并非在此水平方向上移动时，则可利用显示模块550显示一提示画面，藉此提醒使用者修正移动方向。举例来说，可在提示画面中显示一朝上或朝下的箭头，以提示使用者要往哪个方向进行修正。

接着，如步骤S620所述，处理单元120估测这些影像中每两相邻影像之间的区块移动向量、全域移动向量，并根据全域移动向量估计而得像差。须特别说明的是，处理单元120还可利用全域移动向量来修正影像在垂直方向的高度差h(如图3所示)，使修正后的影像皆位于同一垂直高度。藉此，可让修正后的影像较接近连续平移的拍摄结果，也就是说，三维影像获取装置500连续平移的方向为平移轨迹320。

取得像差之后，处理单元120便可判断像差是否超过一第一像差(步骤S630)，若是，三维影像获取装置500便可自动停止获取影像。接下来，三维影像获取装置500对所获取的影像进行校正(步骤S640)。处理单元120可利用由位移检测模块540所得的位移信息，对影像进行校正，使校正后的每一影像的视角方向皆互相平行。在另一未显示的实施例中，也可利用转换矩阵(例如是3×3转换矩阵)来对影像进行转换，使转换后的影像的视角方向皆互相平行。图7是依照本发明的一实施例所显示的影像校正的示意图，(a)为校正前影像，(b)为校正后影像。如图7所示，校正前影像的视角方向VD1、VD2非平行，而校正后的视角方向VD3、VD3为平行。

紧接着储存单元130便可储存所有校正后影像与相对应的像差(步骤S650)。图8是依照本发明的一实施例所显示的校正后影像I’1～I’5与其相对应的像差GMV的示意图。请参照图8，校正后影像I’1～I’5皆位于同一垂直高度且视角方向皆互相平行。

接着显示模块550便依据第一左眼影像与第一右眼影像来呈现第一立体画面(步骤S660)。由于立体画面的观赏结果因人而异，因此，若第一像差为三维影像获取装置500的默认值，则本发明还提供可由使用者自行设定像差，三维影像获取装置500再根据使用者所设定的像差计算并得到适于使用者观看的左右眼影像。

因此，在呈现第一立体画面的步骤之后，三维影像获取装置500还可透过显示模块550显示一使用者接口，用以提示观赏者是否需调整像差设定值(步骤S670)。若是，则三维影像获取装置500可接收观赏者所设定的第二像差，且根据第二像差与储存单元130所储存的像差，自储存单元130所储存的影像中取得第二左眼影像与第二右眼影像，最后，显示模块550依据第二左眼影像与第二右眼影像来呈现第二立体画面(步骤S680)。

图9是依照本发明的又一实施例所显示的调整像差的示意图(a)增加像差，(b)减少像差。请参照图9，若校正后影像I’1与校正后影像I’4分别为第一左眼影像与第一右眼影像，若使用者希望增加左眼影像与右眼影像之间的像差，除了直接输入确切的第二像差之外，在本实施例中，使用者亦可设定增加左右眼影像的像差指令，则三维影像获取装置便会根据箭头方向910来选择影像(例如影像I’5)作为另一左眼影像或右眼影像。相反地，若使用者希望降低左眼影像与右眼影像之间的像差，则三维影像获取装置便会根据箭头方向920来选择影像(例如影像I’3)作为另一左眼影像或右眼影像。

从再一观点来看，本发明提供一种三维影像显示装置，图10是图1的三维影像获取装置连接至三维影像显示装置的方框图。请合并参照图1与图10，图1的三维影像获取装置100例如可透过一连接单元(未显示)连接至三维影像显示装置1000。连接单元可为一输入输出接口，例如通用串行总线(Universal Serial Bus，USB)接口；连接单元亦可为一天线或收发器(transceiver)等。因此，三维影像获取装置100可透过连接单元而经由有线信道或无线信道将影像与像差等数据传送给三维影像显示装置1000。

本实施例的三维影像显示装置1000例如是电视、计算机等，其包括储存单元1010、处理单元1020以及显示模块1030。其中，储存单元1010储存第一像差。处理单元1020耦接至此储存单元1010，根据第一像差与这些影像像差，自这些影像取得左眼影像与右眼影像。显示模块1030耦接至处理单元1020，根据此左眼影像与此右眼影像，呈现一立体画面。至于本实施例的其它细部流程在前述的相关实施例中都有详尽的说明，此处不多赘述。

综上所述，本发明所提供的三维影像获取方法与装置以及三维影像显示装置，可使用具有单一镜头的三维影像获取装置进行平移拍摄，藉由储存影像之间的像差信息，而可输出具不同像差的左右眼影像，据此，可让使用者依其观感、喜好选择最适合的左右眼影像来呈现立体画面。使用者除了容易操作之外，也不须花费昂贵的价钱购买不同的获取装置来拍摄不同角度的影像，制造商亦可节省成本。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，在内，当可作些许更动与润饰，而不脱离本发明的精神和范围。

Claims (10)

1.一种三维影像获取方法，适用于一影像获取装置，包括：

利用该影像获取装置，连续平移获取多数个影像；

估测该些影像中每两相邻影像之间的一像差；以及

储存该些影像与该些像差，

其中所述的三维影像获取方法还包括：

取得一第一像差；

根据该第一像差与该些像差，自该些影像取得一第一左眼影像与一第一右眼影像，其中该第一左眼影像与该第一右眼影像相差该第一像差；以及

根据该第一左眼影像与该第一右眼影像，呈现一第一立体画面，其中在呈现该第一立体画面的步骤之后，还包括：

透过一使用者接口，接收一第二像差；

根据该第二像差与该些像差，自该些影像取得一第二左眼影像与一第二右眼影像，其中该第二左眼影像与该第二右眼影像相差该第二像差；以及

根据该第二左眼影像与该第二右眼影像，呈现一第二立体画面。

2.根据权利要求1所述的三维影像获取方法，其中估测该些影像中每两相邻影像之间的该像差的步骤包括：

分别将该些影像规划为多数个区块；

计算每两相邻影像之间各该区块的区块移动向量；以及

分析该些区块移动向量，藉以产生每两相邻影像之间的一全域移动向量；

根据该些全域移动向量，估测该像差。

3.根据权利要求2所述的三维影像获取方法，其中还包括：

根据该些全域移动向量修正该些影像，使修正后的该些影像的垂直高度一致。

4.根据权利要求1所述的三维影像获取方法，其中利用该影像获取装置，连续平移获取该些影像的步骤，包括：

触发该影像获取装置进行影像获取；

利用一位移检测模块检测取得该影像获取装置的一位移信息；

根据该位移信息，判断该影像获取装置是否在一水平方向上移动；以及

若检测该影像获取装置并非在该水平方向上移动时，提示使用者修正该影像获取装置的移动。

5.根据权利要求4所述的三维影像获取方法，其中还包括：

根据该位移信息修正该些影像，使修正后的该些影像的视角方向皆为平行。

6.根据权利要求1所述的三维影像获取方法，其中利用该影像获取装置，连续平移获取多数个影像的步骤，包括：

触发该影像获取装置进行影像获取；以及

当该些像差的总和达一门坎值时，使该影像获取装置停止影像获取。

7.一种三维影像获取装置，包括：

一影像获取模块，连续平移以获取多数个影像；

一处理单元，耦接至该影像获取模块，当该影像获取模块连续平移以获取该些影像，该处理单元估测该些影像中每两相邻影像之间的一像差；以及

一储存单元，耦接至该影像获取模块与该处理单元，储存该些影像与该些像差，

其中：

该储存单元储存一第一像差，而该处理单元根据该第一像差与该些像差，自该些影像取得一第一左眼影像与一第一右眼影像，其中该第一左眼影像与该第一右眼影像相差该第一像差，

其中所述的三维影像获取装置还包括：

一显示模块，耦接至该处理单元，该显示模块根据该第一左眼影像与该第一右眼影像，呈现一第一立体画面，

其中：

该显示模块显示一使用者接口，以藉由该使用者接口接收一第二像差，该处理单元根据该第二像差与该些像差，自该些影像取得一第二左眼影像与一第二右眼影像，且该显示模块根据该第二左眼影像与该第二右眼影像呈现一第二立体画面。

8.根据权利要求7所述的三维影像获取装置，其中还包括：

一位移检测模块，耦接至该影像获取模块与该处理单元，取得该影像获取模块的一位移信息，该处理单元根据该位移信息，判断该影像获取装置是否在一水平方向上移动，若该影像获取装置并非在该水平方向上移动，该显示模块显示一提示画面，以提示使用者修正该影像获取装置的移动。

9.根据权利要求7所述的三维影像获取装置，其中：

若该处理单元计算该些像差的总和达一门坎值时，该影像获取模块停止影像获取。

10.一种三维影像显示装置，适于接收连续平移所获取的多数个影像与该些影像中每两相邻影像之间的一像差，该三维影像显示装置包括：

一储存单元，储存一第一像差；

一处理单元，耦接至该储存单元，根据该第一像差与该些像差，自该些影像取得一左眼影像与一右眼影像；以及

一显示模块，耦接至该处理单元，根据该左眼影像与该右眼影像，呈现一立体画面，

其中：

该显示模块显示一使用者接口，以藉由该使用者接口接收一第二像差，该处理单元根据该第二像差与该些像差，自该些影像取得一第二左眼影像与一第二右眼影像，该显示模块根据该第二左眼影像与该第二右眼影像，呈现一第二立体画面。