TWI486052B - 立體影像處理裝置以及立體影像處理方法 - Google Patents

Description

立體影像處理裝置以及立體影像處理方法

本發明係關於一種立體影像處理裝置以及立體影像處理方法，尤指一種利用對左眼平面影像以及右眼平面影像進行水平位移來產生立體影像之立體影像處理裝置以及立體影像處理方法。

3D立體顯示技術為近年來逐漸普及的技術，尤其為娛樂產業相當熱門的話題。人類之所以能夠看到立體的景物，是因為人類的雙眼所看到的景物為各自獨立；左眼只能看到左眼範圍內的景物，而右眼只能看到右眼範圍內的景物。由於人類的雙眼是橫向並排，且雙眼之間存在一間隔距離，因此左眼所看到的影像與右眼所看到的影像會有些微的差異，而此差異即為「視差(Disparity)」。大腦會解讀雙眼的視差並藉以判斷物體遠近，以產生立體視覺。因此3D影像的原理，就是要以人工方式來重現視差，亦即讓左右兩眼分別看到不同的影像，藉以模擬出立體影像。

如果影像來源是使用者自己拍攝的影像時，例如從左眼拍攝一左眼平面影像以及從右眼拍攝一右眼平面影像，因為拍攝所用的鏡頭焦段、對焦距離等不同的因素，會影響要在畫面上顯示3D效果，因此，如何充分對左眼平面影像以及右眼平面影像進行位移以產生較佳的立體影像，實為此一領域的重要課題之一。

因此，本發明的目的之一在於提供一種立體影像處理裝置以及立體影像處理方法，依據成像原理來對左眼平面影像以及右眼平面影像進行位移以產生立體影像。

本發明之實施例揭露了一種立體影像處理裝置，包含有：一物件偵測單元，用來偵測一物件在一第一影像之一第一位置以及該物件在一第二影像之一第二位置；一視差判斷單元，耦接該物件偵測單元，用來依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及在該第二影像之間之一視差判斷結果；一位移計算單元，耦接該視差判斷單元，用來依據該視差判斷結果計算該第一影像之一第一移動距離以及該第二影像之一第二移動距離；以及一位移單元，耦接該位移計算單元，用來分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。

本發明之實施例另揭露了一種立體影像處理方法，包含有下列步驟：偵測一物件在一第一影像之一第一位置以及該物件在一第二影像之一第二位置；依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及在該第二影像之間之一視差判斷結果；依據該視差判斷結果計算該第一影像之一第一移動距離以及該第二影像之一第二移動距離；以及分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。

在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。

請參考第1圖，第1圖為本發明一種立體影像處理裝置100之一實施例的示意圖。如第1圖所示，立體影像處理裝置100包含有(但不侷限於)一物件偵測單元110、一視差判斷單元120、一位移計算單元130、以及一位移單元140。物件偵測單元110用來偵測一物件OB在一第一影像IM1之一第一位置L以及物件OB在一第二影像IM2之一第二位置R，請注意，在本實施例中，該第一、第二影像係分別以一左眼平面影像以及一右眼平面影像為例，但本發明並不限於此。視差判斷單元120耦接物件偵測單元110，用來依據第一影像IM1之第一位置L以及第二影像IM2之第二位置R來計算物件OB在第一影像IM1以及在第二影像IM2之間之一視差判斷結果DR，位移計算單元130耦接視差判斷單元120，用來依據視差判斷結果DR計算第一影像IM1之一第一移動距離D1以及第二影像IM2之一第二移動距離D2，位移單元140耦接位移計算單元130，用來分別依據第一移動距離D1以及第二移動距離D2對第一影像IM1以及第二影像IM2進行位移以產生一位移後之第一影像AIM1以及一位移後之第二影像AIM2，值得注意的是，位移單元140係用來分別根據該第一、第二移動距離D1、D2對第一影像IM1以及第二影像IM2進行水平位移的調整以產生位移後之第一影像AIM1以及位移後之第二影像AIM2。

另外，位移計算單元130係依據該視差判斷結果以及一特定規則來計算該第一、第二移動距離D1、D2，舉例來說，該特定規則可以是物件OB之一視角θ之最小角度係為0度之規則，或者該特定規則可以是物件OB之影像深度係成像於一螢幕上之規則，例如位移計算單元130可以利用將該第一、第二位置L、R之位置疊合來計算第一影像IM1之第一移動距離D1以及第二影像IM2之該第二移動距離D2。

請參考第2圖，第2圖為本發明物件之一視角之最小角度係為0度之規則的示意圖。如第2圖所示，視角θ即兩眼視線對物件OB之交叉角度，從觀測者到物件OB之間的距離依遠近的不同，兩眼 視線的視角θ也跟著改變。例如，物件OB1與兩眼之間的距離較靠近，視角θ 1較大，反之，物件OB2與兩眼之間的距離較遠，則視角θ 2較小，隨著物件OB與兩眼之間的距離越遠，視角θ也越來越小，假設物件OB與兩眼之間的距離為無窮遠時，視角θ為0度，也就是說，若視角θ小於0度，則會看到二張影像，不會有形成立體影像。

請參考第3圖，第3圖為本發明影像深度係成像於一螢幕上之規則的示意圖。第3圖包含有3a以及3b兩個子圖。如第3a圖所示，第3a圖為包含有第一影像IM1以及第二影像IM2，物件OB1在第一影像IM1以及第二影像IM2之第一、第二位置分別為L1以及R1；物件OB2在第一影像IM1以及第二影像IM2之第一、第二位置分別為L2以及R2；以及物件OB3在第一影像IM1以及第二影像IM2之第一、第二位置分別為L3以及R3。假設第一影像IM1以及第二影像IM2重疊時，物件OB2在之第一、第二位置分別為L2以及R2之位置也重疊，因此，觀賞者在觀看物件OB2時，兩眼焦點視線的交叉點會恰巧落在第一、第二位置L2、R2之重疊位置上，則物件OB2之影像將會呈現在螢幕350上(如第3b圖所示)，而觀賞者在觀看物件OB1時，兩眼焦點視線在螢幕前沒有任何交叉情況，亦即兩眼平視遠方景物；另外，觀賞者在觀看物件OB3時，兩眼焦點視線在螢幕前有交叉的情況，物件OB3之影像將會呈現在螢幕350前的焦點上。

接下來，舉個例子來說明立體影像處理裝置100如何運作來產生第一、第二影像IM1、IM2之移動距離。請參考第4圖，第4圖為本發明立體影像處理裝置100對第一、第二影像IM1、IM2進行水平位移的調整以產生該位移後之第一、第二影像之一實施例的示意圖。第4圖包含有4a、4b以及4c三個子圖。第4a圖包含有第一影像IM1以及第二影像IM2，首先，如第4a圖所示，物件偵測單元110會偵測物件OB1在第一影像IM1以及第二影像IM2之第一、第二位置分別為L1以及R1，以及偵測物件OB2在第一影像IM1以及第二影像IM2之第一、第二位置分別為L2以及R2，接著，視差判斷單元120依據物件OB1在第一影像IM1以及第二影像IM2之第一、第二位置分別為L1以及R1以及物件OB2在第一影像IM1以及第二影像IM2之第一、第二位置分別為L2以及R2來計算視差判斷結果DR，在此實施例中，視差判斷結果DR會認為物件OB1比物件OB2距離兩眼的位置更遠，且視角θ沒有小於0度，因此，可以選擇讓物件OB2成像於螢幕附近，物件OB1成像於螢幕後方，接著，位移計算單元130將第一影像IM1以及第二影像IM2重疊(如第4b圖所示)，以及將第一位置L2、第二位置R2之間的中心座標視為影像中心M，便可算出第一移動距離D1以及第二移動距離D2分別為右移d/2以及左移d/2，之後，位移單元140便對第一影像IM1右移d/2以及對第二影像IM2左移d/2來產生一位移後之第一影像AIM1以及一位移後之第二影像AIM2(如第4c圖所示)，請注意，位移單元140在產生位移後之第一影像AIM1以及位移後之第二影像AIM2時，也可以利用一黑框來修補該位移後之第一影像AIM1 以及該位移後之第二影像AIM2(如第4c圖所示)。另外，如果物件OB在第一影像IM1以及第二影像IM2有垂直方向的偏移，位移單元140也可在產生位移後之第一影像AIM1以及位移後之第二影像AIM2時，順便調整垂直方向的偏移。

請注意，上述選擇讓物件OB2成像於螢幕附近，只是舉例來說明本發明，並非本發明之限制條件，在本發明另一實施例中，也可選擇讓物件OB1成像於螢幕附近，如此一來，OB2會成像於螢幕與兩眼之間。另外，將第一位置L2、第二位置R2的中心座標視為影像中心M，也僅是舉例來說明本發明，並非本發明之限制條件，在本發明另一實施例中，也可選擇將第一位置L2的座標視為影像中心M，或將第二位置R2的中心座標視為影像中心M，如此只需水平移動其中一影像即可。

請注意，上述視差判斷結果DR如果認為物件OB1或物件OB2有視角θ小於0度之情形，位移計算單元130便會先計算第一影像IM1之第一移動距離D1以及第二影像IM2之第二移動距離D2來使得物件OB1以及物件OB2來形成立體影像，也就是說，上述物件OB之一視角之最小角度係為0度之規則以及影像深度係成像於一螢幕上之規則可以單獨作為位移計算單元130的判斷規則，也可同時作為位移計算單元130的判斷規則，如此一來，可能會判斷出不同的位移量，因此，位移計算單元130最後也可依據該特定規則所設定的權重或採用投票等方式，來決定第一、第二影像IM1、IM2之最後的移動距離，但此並非本發明之限制條件。

請參考第5圖，第5圖為本發明一種立體影像處理裝置之一第一操作範例的流程圖，第5圖包含(但不侷限於)以下的步驟(請注意，假若可獲得實質上相同的結果，則這些步驟並不一定要遵照第5圖所示的執行次序來執行)：

步驟S500：開始。

步驟S510：偵測一物件在一第一影像之一第一位置以及該物件在一第二影像之一第二位置。

步驟S520：依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及在該第二影像之間之一視差判斷結果。

步驟S530：依據該視差判斷結果計算該第一影像之一第一移動距離以及該第二影像之一第二移動距離。

步驟S540：分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。

請搭配第5圖所示之各步驟以及第1圖所示之各元件即可各元件如何運作，為簡潔起見，故於此不再贅述。

請參考第6圖，第6圖為本發明一種立體影像處理裝置之一第二操作範例的流程圖，第6圖包含(但不侷限於)以下的步驟(請注意，假若可獲得實質上相同的結果，則這些步驟並不一定要遵照第6圖所示的執行次序來執行)：

步驟S600：開始。

步驟S610：依據該物件之顏色或邊緣來偵測該物件在該第一影像之該第一位置以及該物件在該第二影像之該第二位置。

步驟S620：依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及該第二影像之間之一視差判斷結果。

步驟S630：依據該視差判斷結果以及該物件之一視角之最小角度係為0度之規則來計算該第一、第二移動距離。

步驟S640：分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。

請搭配第6圖所示之各步驟以及第1圖所示之各元件以及第2圖之特定規則即可各元件如何運作，為簡潔起見，故於此不再贅述。

請參考第7圖，第7圖為本發明一種立體影像處理裝置之一第三操作範例的流程圖，第7圖包含(但不侷限於)以下的步驟(請注意，假若可獲得實質上相同的結果，則這些步驟並不一定要遵照第7圖所示的執行次序來執行)：

步驟S700：開始。

步驟S710：依據該物件之顏色或邊緣來偵測該物件在該第一影像之該第一位置以及該物件在該第二影像之該第二位置。

步驟S720：依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及該第二影像之間之一視差判斷結果。

步驟S730：依據該視差判斷結果以及利用將該第一位置以及該第二位置之位置疊合來計算該第一影像之該第一移動距離以及該第二影像之該第二移動距離。

步驟S740：分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。

請搭配第7圖所示之各步驟以及第1圖所示之各元件以及第3圖之特定規則即可各元件如何運作，為簡潔起見，故於此不再贅述。

上述各流程之步驟僅為本發明所舉可行的實施例，並非限制本發明的限制條件，且在不違背本發明之精神的情況下，該些方法可另包含其他的中間步驟或者可將幾個步驟合併成單一步驟，以做適當之變化。

由上可知，本發明提供一種立體影像處理裝置以及立體影像處 理方法，依據該視差判斷結果以及一特定規則來計算該第一、第二移動距離來對左眼平面影像以及右眼平面影像進行位移來產生立體影像，因此，只需使用普通的相機，從左眼以及右眼各拍一張平面影像，就可以利用本發明來產生立體影像。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧立體影像處理裝置

110‧‧‧物件偵測單元

120‧‧‧視差判斷單元

130‧‧‧位移計算單元

140‧‧‧位移單元

350‧‧‧螢幕

第1圖為本發明一種立體影像處理裝置之一實施例的示意圖。

第2圖為本發明物件之一視角之最小角度係為0度之規則的示意圖。

第3圖為本發明影像深度係成像於一螢幕上之規則的示意圖。

第4圖為本發明立體影像處理裝置對第一、第二影像進行水平位移的調整以產生該位移後之第一、第二影像之一實施例的示意圖。

第5圖為本發明一種立體影像處理裝置之一第一操作範例的流程圖。

第6圖為本發明一種立體影像處理裝置之一第二操作範例的流程圖。

第7圖為本發明一種立體影像處理裝置之一第三操作範例的流程圖。

100．．．立體影像處理裝置

110．．．物件偵測單元

120．．．視差判斷單元

130．．．位移計算單元

140．．．位移單元

Claims (14)

1. 一種立體影像處理裝置，包含有：一物件偵測單元，用來偵測一物件在一第一影像之一第一位置以及該物件在一第二影像之一第二位置；一視差判斷單元，耦接該物件偵測單元，用來依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及在該第二影像之間之一視差判斷結果；一位移計算單元，耦接該視差判斷單元，用來依據該視差判斷結果計算該第一影像之一第一移動距離以及該第二影像之一第二移動距離，其中該位移計算單元係依據該視差判斷結果以及一特定規則來計算該第一、第二移動距離，該特定規則包含該物件之一視角之最小角度係為0度之規則；以及一位移單元，耦接該位移計算單元，用來分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。
2. 如申請專利範圍第1項所述之立體影像處理裝置，其中該物件偵測單元依據該物件之顏色或邊緣來偵測該物件在該第一影像之該第一位置以及該物件在該第二影像之該第二位置。
3. 如申請專利範圍第1項所述之立體影像處理裝置，其中該特定規則另包含該物件之影像深度係成像於一螢幕上之規則。
4. 如申請專利範圍第3項所述之立體影像處理裝置，其中該位移計算單元利用將該第一位置以及該第二位置之位置疊合來計算該第一影像之該第一移動距離以及該第二影像之該第二移動距離。
5. 如申請專利範圍第1項所述之立體影像處理裝置，其中該位移單元係用來分別根據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行水平位移的調整以產生該位移後之第一影像以及該位移後之第二影像。
6. 如申請專利範圍第1項所述之立體影像處理裝置，其中該位移單元在產生該位移後之第一影像以及該位移後之第二影像時，利用一黑框來修補該位移後之第一影像以及該位移後之第二影像。
7. 如申請專利範圍第1項所述之立體影像處理裝置，其中該位移單元另在產生該位移後之第一影像以及該位移後之第二影像時，調整垂直方向的偏移。
8. 一種立體影像處理方法，包含有：偵測一物件在一第一影像之一第一位置以及該物件在一第二影像之一第二位置；依據該第一影像之該第一位置以及該第二影像之該第二位置來計算該物件在該第一影像以及在該第二影像之間之一視差判斷結果； 依據該視差判斷結果計算該第一影像之一第一移動距離以及該第二影像之一第二移動距離，包含有：依據該視差判斷結果以及一特定規則來計算該第一、第二移動距離，以及該特定規則包含該物件之一視角之最小角度係為0度之規則；以及分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像。
9. 如申請專利範圍第8項所述之立體影像處理方法，其中偵測一物件在一第一影像之一第一位置以及該物件在一第二影像之一第二位置之步驟包含有：依據該物件之顏色或邊緣來偵測該物件在該第一影像之該第一位置以及該物件在該第二影像之該第二位置。
10. 如申請專利範圍第8項所述之立體影像處理方法，其中該特定規則另包含該物件之影像深度係成像於一螢幕上之規則。
11. 如申請專利範圍第10項所述之立體影像處理方法，其中分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像之步驟包含有：利用將該第一位置以及該第二位置之位置疊合來計算該第一影 像之該第一移動距離以及該第二影像之該第二移動距離。
12. 如申請專利範圍第8項所述之立體影像處理方法，其中分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像之步驟包含有：分別根據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行水平位移的調整以產生該位移後之第一影像以及該位移後之第二影像。
13. 如申請專利範圍第8項所述之立體影像處理方法，其中分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像之步驟包含有：在產生該位移後之第一影像以及該位移後之第二影像時，利用一黑框來修補該位移後之第一影像以及該位移後之第二影像。
14. 如申請專利範圍第8項所述之立體影像處理方法，其中分別依據該第一移動距離以及該第二移動距離對該第一影像以及該第二影像進行位移以產生一位移後之第一影像以及一位移後之第二影像之步驟包含有：在產生該位移後之第一影像以及該位移後之第二影像時，調整垂直方向的偏移。