TWI449408B - 三維影像擷取方法與裝置及三維影像顯示裝置 - Google Patents

Description

三維影像擷取方法與裝置及三維影像顯示裝置

本發明是有關於一種三維影像擷取方法與裝置及三維影像顯示裝置，且特別是有關於一種可調整像差的三維影像擷取方法與裝置及三維影像顯示裝置。

隨著科技的日益進步，三維影像是繼高畫質(high definition，HD)影像後的最新發展趨勢。各種三維影像相關產業快速地崛起，除了三維影像顯示裝置(例如電視)與三維影像接收裝置(例如三維眼鏡)之外，適於消費者使用的三維影像擷取裝置也相繼推出。

當人類雙眼以微小相異之角度，觀看同一個物體時，雙眼會看到微小相異的兩張影像，雙眼所看到的些微差異，稱之為雙眼像差(Binocular disparity)或視網膜像差(Retinal disparity)。大腦會把這兩張些微差異的影像融合成具有層次和景深的單一物像，進而令人類產生三維空間的立體感。但人類雙眼水平分開距離(又稱雙瞳距離)大約是50-75 mm，因人而異，因此對三維影像的感受亦不相同。

因此，三維影像擷取裝置必須擷取分別提供給人類左眼及右眼觀賞的影像。現有做法大多是利用不同的擷取裝置以不同的角度拍攝多張影像，再進行後製合成，或是在擷取裝置本體上配置兩個獨立的鏡頭，並將鏡頭之間的距離設置為約等於人類兩眼間平均距離，藉此模擬人類的左右眼以拍攝三維影像。但上述裝置之硬體成本昂貴且一般消費者不易操作。

有鑑於此，本發明提供一種三維影像擷取方法與裝置，可使用具有單一鏡頭的擷取裝置進行拍攝，並且可依使用者設定輸出具不同像差的左右眼影像。

本發明提供一種三維影像顯示裝置，可接收具有像差資訊的多數個影像，並且可依使用者設定選擇具不同像差的左右眼影像來呈現立體畫面。

本發明提出一種三維影像擷取方法，適用於一影像擷取裝置，此方法包括下列步驟。首先，利用影像擷取裝置，連續平移以擷取多數個影像。接著，估測這些影像中每兩相鄰影像之間的一像差。然後，儲存這些影像與所有像差。

在本發明之一實施例中，三維影像擷取方法更包括下列步驟。首先，取得一第一像差。接著，根據第一像差與這些像差，自這些影像取得一第一左眼影像與一第一右眼影像，其中，第一左眼影像與第一右眼影像相差第一像差。然後，根據第一左眼影像與第一右眼影像，呈現一第一立體畫面。

在本發明之一實施例中，在呈現該第一立體畫面的步驟之後更包括下列步驟。透過一使用者介面，接收一第二像差。接著，根據第二像差與這些像差，自這些影像取得一第二左眼影像與一第二右眼影像，其中第二左眼影像與第二右眼影像相差第二像差。然後，根據第二左眼影像與第二右眼影像，呈現一第二立體畫面。

在本發明之一實施例中，估測這些影像中每兩相鄰影像之間的像差的步驟，包括下列步驟。首先，分別將這些影像規劃為多數個區塊。接著，計算每兩相鄰影像之間各區塊之區塊移動向量。然後，分析這些區塊移動向量，藉以產生每兩相鄰影像之間的一全域移動向量。之後，根據這些全域移動向量，藉以估測像差。

在本發明之一實施例中，三維影像擷取方法更包括下列步驟。根據這些全域移動向量修正這些影像，使修正後的這些影像的垂直高度為一致。

在本發明之一實施例中，利用此影像擷取裝置，連續平移擷取這些影像的步驟，包括下列步驟。首先，觸發此影像擷取裝置以進行影像擷取。接著，利用一位移偵測模組偵測並取得此影像擷取裝置的一位移資訊。然後，根據此位移資訊，判斷此影像擷取裝置是否在一水平方向上移動。若偵測此影像擷取裝置並非在此水平方向上移動時，則提示使用者修正此影像擷取裝置的移動。

在本發明之一實施例中，三維影像擷取方法更包括下列步驟。根據此位移資訊修正這些影像，使修正後的這些影像之視角方向皆為平行。

在本發明之一實施例中，利用此影像擷取裝置，連續平移擷取該些影像的步驟，包括下列步驟。首先，觸發此影像擷取裝置以進行影像擷取。當這些像差的總和達一門檻值時，此影像擷取裝置停止影像擷取。

本發明另提出一種三維影像擷取裝置，其包括一影像擷取模組、一處理單元以及一儲存單元。其中，影像擷取模組連續平移以擷取多數個影像。處理單元耦接至此影像擷取模組，當此影像擷取模組沿此方向連續擷取這些影像時，處理單元估測這些影像中每兩相鄰影像之間的一像差。儲存單元耦接至此影像擷取模組與此處理單元，用以儲存這些影像與這些像差。

本發明又提出一種三維影像顯示裝置，適於接收連續平移所擷取的多數個影像與這些影像中每兩相鄰影像之間的一像差，此三維影像顯示裝置包括一儲存單元、一處理單元以及一顯示模組。其中，儲存單元儲存一第一像差。處理單元耦接至此儲存單元，根據第一像差與這些像差，自這些影像取得一左眼影像與一右眼影像。顯示模組耦接至處理單元，根據此左眼影像與此右眼影像，呈現一立體畫面。

基於上述，本發明所提供之三維影像擷取方法與裝置以及三維影像顯示裝置，可使用具有單一鏡頭的三維影像擷取裝置進行拍攝，藉由儲存影像之間的像差資訊，可輸出具不同像差的左右眼影像，據此，可讓使用者依其觀感、喜好選擇最適合的左右眼影像來呈現立體畫面。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明之一實施例所繪示之三維影像擷取裝置的方塊圖。請參照圖1，本實施例的三維影像擷取裝置100例如是數位相機、具有影像擷取功能的手機或智慧型手機等。三維影像擷取裝置100包括影像擷取模組110、處理單元120以及儲存單元130。處理單元120耦接至影像擷取模組110與儲存單元130。處理單元120可用以計算影像擷取模組110所拍攝的影像的像差，並進行影像處理。經影像處理後的影像與像差等相關資訊則可儲存於儲存單元130。其功能分述如下：

影像擷取模組110包括鏡頭或感光元件等。鏡頭例如是標準鏡頭、廣角鏡頭、望遠鏡頭及變焦鏡頭等。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件等。

處理單元120可由軟體、硬體或其組合實作而得，在此不加以限制。軟體例如是應用軟體或驅動程式等。硬體例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)等裝置。

儲存單元130可為任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、記憶卡或其他類似裝置。

圖2是依照本發明之一實施例所繪示之一種三維影像擷取方法的流程圖。請參照圖2，本實施例的方法適用於圖1的三維影像擷取裝置100，以下即搭配圖1中的各項元件說明本實施例三維影像擷取方法的流程步驟：

首先，如步驟S210所述，利用三維影像擷取裝置100，連續平移以擷取多數個影像，連續平移方向可為水平方向。例如，由左至右平移或由右至左平移。如圖3所示，圖3是依照本發明之一實施例所繪示之一種平移軌跡與相對擷取影像的示意圖。接著，在步驟S220中，當影像擷取模組110沿平移軌跡310連續擷取多個影像I1~I6時，處理單元120估測影像I1~I6中每兩相鄰影像之間的一像差。接續步驟S230，儲存單元130儲存影像I1~I6並且儲存每兩相鄰影像之間的像差。

值得一提的是，三維影像擷取裝置100會估測影像間的像差，並將影像與像差儲存於儲存單元130中。因此，當要產生立體畫面時，可根據像差來選擇儲存單元130中的兩張影像作為左眼影像與右眼影像。之後，便可利用所選擇的左眼影像與右眼影像來產生立體畫面。亦即，本實施例能夠利用單一的三維影像擷取裝置100以及單一的鏡頭來擷取出可用來呈現立體畫面之影像，並不需要如習知技術為了呈現立體畫面而需要使用二個以上影像擷取裝置或單一影像擷取裝置卻需配備兩個鏡頭分別拍攝左眼與右眼影像。

以下另舉一實施例來對本發明進行說明，圖4是依照本發明之另一實施例所繪示之一種三維影像擷取方法的流程圖。圖5是依照本發明之另一實施例所繪示之三維影像擷取裝置的方塊圖。在本實施例中，三維影像擷取裝置500除了包括影像擷取模組110、處理單元120以及儲存單元130之外，還包括位移偵測模組540以及顯示模組550。其中，位移偵測模組540及顯示模組550分別耦接至處理單元120。位移偵測模組540可透過處理單元120將位移資訊儲存至儲存單元130。顯示模組550亦可透過處理單元120至儲存單元130存取影像以進行播放。

顯示模組550例如是液晶(Liquid Crystal Display，LCD)顯示面板、發光二極體(Light-Emitting Diode，LED)顯示面板，亦可為具觸控接收功能的顯示模組，用以顯示三維影像擷取裝置500所擷取的影像。

位移偵測模組540例如是重力感測器(G-sensor)或陀螺儀(Gyroscope)，而可偵測三維影像擷取裝置500的位移資訊，並且將此位移資訊提供給處理單元120。

以下請同時參照圖3、圖4與圖5，首先，如步驟S410所述，利用三維影像擷取裝置500，連續平移以擷取多數個影像I1~I6時(如圖3所示)。接著進行步驟S420，處理單元120估測影像I1~I6中每兩相鄰影像之間的一影像像差。

詳細而言，步驟S420可包括S422~S428等4個子步驟。首先進行步驟S422，處理單元120可先分別將影像I1~I6規劃為多數個區塊。舉例而言，可將每一影像分成M×N個區塊，其中M，N為大於1的正整數。接著進行步驟S424，處理單元120做區塊移動向量估測。例如，可使用特徵比對法(Feature detection)來找出每一區塊在相鄰影像間可能的移動位置。

做完各區塊之區塊移動向量的分析之後，便可進行步驟S426，處理單元120做全域移動向量估測，以產生每兩相鄰影像之間的一全域移動向量。舉例來說，可先對多數個區塊移動向量取眾數，也以進行統計。統計完成後，再從中選擇出現最多次的區塊移動向量作為全域移動向量，或是將所有的區塊移動向量做平均而得到全域移動向量等等。

之後還可進行步驟S428，處理單元120對目前所能取得的全域移動向量進行一平滑化處理，並將經過平滑化後的全域移動向量作為影像像差。藉此，可減少移動向量估測所產生的誤差影響。

接續步驟S430，儲存單元130儲存影像I1~I6並且儲存每兩相鄰影像之間的影像像差。在本實施例中，這些影像可根據H.264壓縮標準、動態影像專家群組(Motion Picture Experts Group，MPEG)壓縮標準或聯合影像專家小組(Joint Photographic Experts Group，JPEG)等壓縮標準來進行壓縮，且影像像差可儲存於對應的格式中。

接下來步驟S440~S460，處理單元120自儲存單元130中取得一第一像差，第一像差可為三維影像擷取裝置500的預設值，或可為使用者事先所預定。處理單元120根據第一像差與所有影像之像差，自儲存單元130所儲存的影像中取得相差此第一像差之第一左眼影像與第一右眼影像。最後，根據第一左眼影像與第一右眼影像來呈現第一立體畫面。

圖6是依照本發明之又一實施例所繪示之一種三維影像擷取方法的流程圖。本實施例之方法適用於圖5之三維影像擷取裝置500，以下請合併參照圖3、圖5與圖6。

首先，如步驟S610所述，利用三維影像擷取裝置500連續平移以擷取多數個影像。假設本實施例之三維影像擷取裝置500為一數位相機，通常是由使用者手持數位相機進行拍攝，因此三維影像擷取裝置500會先接收觸發訊號而開始進行影像擷取，例如接收使用者的一按鍵觸發。由於使用者手持數位相機進行連續平移的拍攝，容易產生手震或晃動情況，導致所擷取的影像會有偏斜、視角非平行等問題(如圖3所示)，因此，可利用位移偵測模組540偵測並取得三維影像擷取裝置500的位移資訊，並且根據此位移資訊，判斷此三維影像擷取裝置500是否在一水平方向上移動。若偵測此三維影像擷取裝置500並非在此水平方向上移動時，則可利用顯示模組550顯示一提示畫面，藉此提醒使用者修正移動方向。舉例來說，可在提示畫面中顯示一朝上或朝下的箭頭，以提示使用者要往哪個方向進行修正。

接著，如步驟S620所述，處理單元120估測這些影像中每兩相鄰影像之間的區塊移動向量、全域移動向量，並根據全域移動向量估計而得像差。須特別說明的是，處理單元120更可利用全域移動向量來修正影像在垂直方向的高度差h(如圖3所示)，使修正後的影像皆位於同一垂直高度。藉此，可讓修正後的影像較接近連續平移的拍攝結果，也就是說，三維影像擷取裝置500連續平移之方向為平移軌跡320。

取得像差之後，處理單元120便可判斷像差是否超過一第一像差(步驟S630)，若是，三維影像擷取裝置500便可自動停止擷取影像。接下來，三維影像擷取裝置500對所擷取的影像進行校正(步驟S640)。處理單元120可利用由位移偵測模組540所得的位移資訊，對影像進行校正，使校正後的每一影像之視角方向皆互相平行。在另一未繪示的實施例中，也可利用轉換矩陣(例如是3×3轉換矩陣)來對影像進行轉換，使轉換後的影像之視角方向皆互相平行。圖7是依照本發明之一實施例所繪示之影像校正的示意圖，(a)為校正前影像，(b)為校正後影像。如圖7所示，校正前影像之視角方向VD1、VD2非平行，而校正後之視角方向VD3、VD3為平行。

緊接著儲存單元130便可儲存所有校正後影像與相對應之像差(步驟S650)。圖8是依照本發明之一實施例所繪示之校正後影像I’1~I’5與其相對應的像差GMV的示意圖。請參照圖8，校正後影像I’1~I’5皆位於同一垂直高度且視角方向皆互相平行。

接著顯示模組550便依據第一左眼影像與第一右眼影像來呈現第一立體畫面(步驟S660)。由於立體畫面的觀賞結果因人而異，因此，若第一像差係為三維影像擷取裝置500的預設值，則本發明更提供可由使用者自行設定像差，三維影像擷取裝置500再根據使用者所設定的像差計算並得到適於使用者觀看的左右眼影像。

因此，在呈現第一立體畫面的步驟之後，三維影像擷取裝置500更可透過顯示模組550顯示一使用者介面，用以提示觀賞者是否需調整像差設定值(步驟S670)。若是，則三維影像擷取裝置500可接收觀賞者所設定的第二像差，且根據第二像差與儲存單元130所儲存的像差，自儲存單元130所儲存的影像中取得第二左眼影像與第二右眼影像，最後，顯示模組550依據第二左眼影像與第二右眼影像來呈現第二立體畫面(步驟S680)。

圖9是依照本發明之又一實施例所繪示之調整像差的示意圖(a)增加像差，(b)減少像差。請參照圖9，若校正後影像I’1與校正後影像I’4分別為第一左眼影像與第一右眼影像，若使用者希望增加左眼影像與右眼影像之間的像差，除了直接輸入確切的第二像差之外，在本實施例中，使用者亦可設定增加左右眼影像的像差指令，則三維影像擷取裝置便會根據箭頭方向910來選擇影像(例如影像I’5)作為另一左眼影像或右眼影像。相反地，若使用者希望降低左眼影像與右眼影像之間的像差，則三維影像擷取裝置便會根據箭頭方向920來選擇影像(例如影像I’3)作為另一左眼影像或右眼影像。

從再一觀點來看，本發明提供一種三維影像顯示裝置，圖10是圖1之三維影像擷取裝置連接至三維影像顯示裝置的方塊圖。請合併參照圖1與圖10，圖1之三維影像擷取裝置100例如可透過一連接單元(未繪示)連接至三維影像顯示裝置1000。連接單元可為一輸入輸出介面，例如通用序列匯流排(Universal Serial Bus，USB)介面；連接單元亦可為一天線或收發器(transceiver)等。因此，三維影像擷取裝置100可透過連接單元而經由有線通道或無線通道將影像與像差等資料傳送給三維影像顯示裝置1000。

本實施例之三維影像顯示裝置1000例如是電視、電腦等，其包括儲存單元1010、處理單元1020以及顯示模組1030。其中，儲存單元1010儲存第一像差。處理單元1020耦接至此儲存單元1010，根據第一像差與這些影像像差，自這些影像取得左眼影像與右眼影像。顯示模組1030耦接至處理單元1020，根據此左眼影像與此右眼影像，呈現一立體畫面。至於本實施例之其他細部流程在前述的相關實施例中都有詳盡的說明，此處不多贅述。

綜上所述，本發明所提供之三維影像擷取方法與裝置以及三維影像顯示裝置，可使用具有單一鏡頭的三維影像擷取裝置進行平移拍攝，藉由儲存影像之間的像差資訊，而可輸出具不同像差的左右眼影像，據此，可讓使用者依其觀感、喜好選擇最適合的左右眼影像來呈現立體畫面。使用者除了容易操作之外，也不須花費昂貴的價錢購買不同的擷取裝置來拍攝不同角度的影像，製造商亦可節省成本。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、500．．．三維影像擷取裝置

110．．．影像擷取模組

120．．．處理單元

130．．．儲存單元

310、320．．．平移軌跡

540．．．位移偵測模組

550．．．顯示模組

910、920．．．箭頭方向

I1~I6．．．影像

I’1~I’5．．．校正後影像

VD、VD1~VD4．．．視角方向：

GMV．．．像差

SAGMV1．．．第一累積像差

SAGMV2．．．第二累積像差

S210~S230．．．三維影像擷取方法之步驟

S410~S460．．．三維影像擷取方法之步驟

S610~S680．．．三維影像擷取方法之步驟

圖1是依照本發明之一實施例所繪示之三維影像擷取裝置的方塊圖。

圖2是依照本發明之一實施例所繪示之一種三維影像擷取方法的流程圖。

圖3是依照本發明之一實施例所繪示之一種平移軌跡與相對擷取影像的示意圖。

圖4是依照本發明之另一實施例所繪示之一種三維影像擷取方法的流程圖。

圖5是依照本發明之另一實施例所繪示之三維影像擷取裝置的方塊圖。

圖6是依照本發明之又一實施例所繪示之一種三維影像擷取方法的流程圖。

圖7是依照本發明之一實施例所繪示之影像校正的示意圖，(a)為校正前影像，(b)為校正後影像。

圖8是依照本發明之一實施例所繪示之校正後影像I’1~I’5與其相對應的像差GMV的示意圖。

圖9是依照本發明之又一實施例所繪示之調整像差的示意圖(a)增加像差，(b)減少像差。

圖10是圖1之三維影像擷取裝置連接至三維影像顯示裝置的方塊圖。

S210~S230．．．三維影像擷取方法之步驟

Claims (13)

1. 一種三維影像擷取方法，適用於一影像擷取裝置，包括：利用該影像擷取裝置，連續平移擷取多數個影像；估測該些影像中每兩相鄰影像之間的一像差；儲存該些影像與該些像差；取得一第一像差；根據該第一像差與該些像差，自該些影像中選擇兩張該些影像來作為一第一左眼影像與一第一右眼影像，其中該第一左眼影像與該第一右眼影像相差該第一像差；以及根據該第一左眼影像與該第一右眼影像，呈現一第一立體畫面。
2. 如申請專利範圍第1項所述之三維影像擷取方法，在呈現該第一立體畫面的步驟之後，更包括：透過一使用者介面，接收一第二像差；根據該第二像差與該些像差，自該些影像取得一第二左眼影像與一第二右眼影像，其中該第二左眼影像與該第二右眼影像相差該第二像差；以及根據該第二左眼影像與該第二右眼影像，呈現一第二立體畫面。
3. 如申請專利範圍第1項所述之三維影像擷取方法，其中估測該些影像中每兩相鄰影像之間的該像差的步驟包括：分別將該些影像規劃為多數個區塊； 計算每兩相鄰影像之間各該區塊之區塊移動向量；以及分析該些區塊移動向量，藉以產生每兩相鄰影像之間的一全域移動向量；根據該些全域移動向量，估測該像差。
4. 如申請專利範圍第3項所述之三維影像擷取方法，更包括：根據該些全域移動向量修正該些影像，使修正後的該些影像的垂直高度一致。
5. 如申請專利範圍第1項所述之三維影像擷取方法，其中利用該影像擷取裝置，連續平移擷取該些影像的步驟，包括：觸發該影像擷取裝置進行影像擷取；利用一位移偵測模組偵測取得該影像擷取裝置的一位移資訊；根據該位移資訊，判斷該影像擷取裝置是否在一水平方向上移動；以及若偵測該影像擷取裝置並非在該水平方向上移動時，提示使用者修正該影像擷取裝置的移動。
6. 如申請專利範圍第5項所述之三維影像擷取方法，更包括：根據該位移資訊修正該些影像，使修正後的該些影像之視角方向皆為平行。
7. 如申請專利範圍第1項所述之三維影像擷取方 法，其中利用該影像擷取裝置，連續平移擷取多數個影像的步驟，包括：觸發該影像擷取裝置進行影像擷取；以及當該些像差的總和達一門檻值時，使該影像擷取裝置停止影像擷取。
8. 一種三維影像擷取裝置，包括：一影像擷取模組，連續平移以擷取多數個影像；一處理單元，耦接至該影像擷取模組，當該影像擷取模組連續平移以擷取該些影像，該處理單元估測該些影像中每兩相鄰影像之間的一像差；一儲存單元，耦接至該影像擷取模組與該處理單元，儲存該些影像與該些像差，其中該儲存單元儲存一第一像差，而該處理單元根據該第一像差與該些像差，自該些影像中選擇兩張該些影像來作為一第一左眼影像與一第一右眼影像，其中該第一左眼影像與該第一右眼影像相差該第一像差；以及一顯示模組，耦接至該處理單元，該顯示模組根據該第一左眼影像與該第一右眼影像，呈現一第一立體畫面。
9. 如申請專利範圍第8項所述之三維影像擷取裝置，其中：該顯示模組顯示一使用者介面，以藉由該使用者介面接收一第二像差，該處理單元根據該第二像差與該些像差，自該些影像取得一第二左眼影像與一第二右眼影像，且該顯示模組根據該第二左眼影像與該第二右眼影像呈現 一第二立體畫面。
10. 如申請專利範圍第8項所述之三維影像擷取裝置，更包括：一位移偵測模組，耦接至該影像擷取模組與該處理單元，取得該影像擷取模組的一位移資訊，該處理單元根據該位移資訊，判斷該影像擷取裝置是否在一水平方向上移動，若該影像擷取裝置並非在該水平方向上移動，該顯示模組顯示一提示畫面，以提示使用者修正該影像擷取裝置的移動。
11. 如申請專利範圍第8項所述之三維影像擷取裝置，其中：若該處理單元計算該些像差的總和達一門檻值時，該影像擷取模組停止影像擷取。
12. 一種三維影像顯示裝置，適於接收連續平移所擷取的多數個影像與該些影像中每兩相鄰影像之間的一像差，該三維影像顯示裝置包括：一儲存單元，儲存一第一像差；一處理單元，耦接至該儲存單元，根據該第一像差與該些像差，自該些影像中選擇兩張該些影像來作為一左眼影像與一右眼影像；以及一顯示模組，耦接至該處理單元，根據該左眼影像與該右眼影像，呈現一立體畫面。
13. 如申請專利範圍第12項所述之三維影像顯示裝 置，其中：該顯示模組顯示一使用者介面，以藉由該使用者介面接收一第二像差，該處理單元根據該第二像差與該些像差，自該些影像取得一第二左眼影像與一第二右眼影像，該顯示模組根據該第二左眼影像與該第二右眼影像，呈現一第二立體畫面。