TWI497444B

TWI497444B - 二維影像至三維影像的影像轉換方法及影像轉換裝置

Info

Publication number: TWI497444B
Application number: TW102143253A
Authority: TW
Inventors: Effendi; Fu Chan Tsai; Chia Pu Ho
Original assignee: Au Optronics Corp
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2015-08-21
Also published as: CN103888752B; CN103888752A; TW201520974A

Description

二維影像至三維影像的影像轉換方法及影像轉換裝置

本發明是有關於一種影像轉換方法及裝置，尤其是有關於一種二維影像至三維影像的影像轉換方法及影像轉換裝置。

隨著擬真影像的需求日益增加，三維影像的資料建置需求也日益增加。若要將新的資料建置成三維影像，可以直接使用新穎的拍攝技巧來進行資料建置的處理。但若要將舊有的資料建置成三維影像，就必須重新設計、安排資料之後再進行三維影像拍攝，而舊有的資料也就沒有繼續存在的價值了。這種翻新資料的方式，不僅使得製作成本高漲，同時也浪費了當初建置舊有資料時所花費的人力與物力。

為了降低成本並減少人力、物力的浪費，市場上已經積極的開發將二維影像資料轉換為三維影像資料的技術，並且有了一定程度的進展。

在現有技術將二維至三維影像轉換過程中，不可避免的會有「破洞」(hole)的產生。當破洞產生時，一般的做法都是直接切除這一塊邊緣區域的影像，再藉由視覺暫留等視覺上的物理特性來補償被切除的影像所造成的影響。

然而，直接切除部分影像並藉由視覺上的物理特性進行補償的這類做法，可能導致其他的問題產生。例如，轉換後的三維影像的畫面將小於原來二維影像的畫面；又例如，使用者在觀賞三維影像的時候，由於其中一眼能看到完整的影像而另一眼只能看到被切除後的影像，所以邊緣區域影像亮度會產生衰減的現象，這種現象明顯降低了顯示的品質；再例如，在多視角(multi-view)的應用環境中，用來替代被切除之部分影像的黑色區域將會特別明顯，這也會嚴重影響顯示的結果。

有鑑於在使用習知技術時所造成的上述困擾，本發明希望藉由新穎的方式處理邊緣區域的破洞，達到改善舊有技術因為影像轉換時出現的破洞所造成的影像品質下滑現象的目的。

本發明所提供的二維影像至三維影像的影像轉換方法包括：取得零像差處的深度值以做為零像差深度值，另判斷所要轉換的影像像素是否位於二維影像的邊緣區域內。假若所要轉換的影像像素位於邊緣區域內，則取得此影像像素的所對應深度值以做為原始影像深度值，並取得影像像素與影像之邊緣間的距離以做為邊緣距離值。在取得邊緣距離值之後，就利用邊緣距離值來決定第一比重值與第二比重值的數值大小。接下來則以先前取得的零像差深度值與第一比重值的乘積，加上由原始影像深度值與第二比重值相乘而得的乘積，得到一個轉換後深度值，並以所得到的轉換後深度值做為在三維顯示時的這一個影像像素的深度值。

本發明還提出一種二維影像至三維影像的影像轉換裝置，包括：深度影像處理單元以及三維影像產生單元。其中，深度影像處理單元用以接收與二維影像相對應的多個原始影像深度值，而每一個原始影像深度值對應至二維影像中的一個影像像素；三維影像產生單元則接收二維影像以及由邊緣深度值計算元件所輸出的轉換後深度值，以藉此產生對應的三維影像。更詳細地說，深度影像處理單元包括邊緣區域設定元件以及邊緣深度值計算元件。邊緣區域設定元件用以接收前述的原始影像深度值，並根據預定範圍長度值以確定對應至二維影像之邊緣區域內的影像像素。邊緣深度值計算元件用以對每一個原始影像深度值提供相應的一個轉換後深度值。其中，與位於二維影像之邊緣區域以外的影像像素所相對應的任一個原始影像深度值，被直接提供做為相對應的轉換後深度值；而與位於二維影像之邊緣區域以內的任一個影像像素的原始影像深度值所對應的轉換後深度值，則是以零像差處所對應的零像差深度值乘上第一比重值所得的乘積進一步與原始影像深度值乘上第二比重值後的乘積相加而得。所述的第一比重值與第二比重值係根據此原始影像深度值所對應的影像像素與二維影像之邊緣間的邊緣距離值進行調整。

本發明因在邊緣區域採用與其他區域不同的二維至三維影像轉換處理方式，因此可以有效的填補在邊緣區域所產生的破洞現象，進而改善原有技術因邊緣破洞所造成的影像品質下降的缺陷。

10‧‧‧二維影像至三維影像的影像轉換裝置

100‧‧‧深度影像處理單元

102‧‧‧邊緣區域設定元件

104‧‧‧邊緣深度值計算元件

106‧‧‧輸入介面

108‧‧‧零像差深度值設定元件

120‧‧‧儲存元件

150‧‧‧三維影像產生單元

IN‧‧‧輸入端

OUT‧‧‧輸出端

d₁ ~d₄ 、d_x ‧‧‧預定範圍長度值

e₁ ~e₄ ‧‧‧邊界

f₁ (d_x )、f₂ (d_x )‧‧‧函式

P₁ 、P₂ ‧‧‧影像像素(像素)

w₁ ‧‧‧第一比重值

w₂ ‧‧‧第二比重值

S500~S530‧‧‧本發明一實施例之二維影像至三維影像的影像轉換方法的步驟

S602、S604‧‧‧本發明一實施例之用於判斷影像像素是否位於邊緣區域內的步驟

圖1為根據本發明一實施例之二維影像至三維影像的影像轉換裝置的電路方塊圖。

圖2為根據本發明一實施例之影像區域劃分示意圖。

圖3為根據本發明另一實施例之深度影像處理單元的內部電路方塊圖。

圖4A為根據本發明一實施例之第一比重值與第二比重值之變化曲線圖。

圖4B為根據本發明另一實施例之第一比重值與第二比重值之變化曲線圖。

圖5為根據本發明一實施例之二維影像至三維影像的影像轉換方法的流程圖。

圖6為根據本發明一實施例之用於判斷影像像素是否位於邊緣區域內的流程圖。

請參照圖1，其為根據本發明一實施例之二維影像至三維影像的影像轉換裝置的電路方塊圖。如圖1所示，二維影像至三維影像的影像轉換裝置10包括了一個深度影像處理單元100以及一個三維影像產生單元150。深度影像處理單元100進一步包括了一個邊緣區域設定元件102以及一個邊緣深度值計算元件104，且深度影像處理單元100從輸入端IN接收即將要進行轉換的二維影像的影像資料，而三維影像產生單元150則由輸出端OUT輸出要於顯示面板顯示的三維影像的影像資料。其中，顯示面板包含自發光顯示面板(例如：有機電激發光顯示面板或其它合適的顯示面板)、非自發光顯示面板(例如：液晶顯示面板或其它合適的顯示面板)或其它合適的顯示面板。

深度影像處理單元100從輸入端IN所接收的二維影像包括了許多的影像像素，而二維影像的影像資料則包括了與這些影像像素相對應的原始影像深度值。由於一般的二維影像資料或許不會包含有預備運用於三維影像顯示的原始影像深度值，因此在深度影像處理單元100所要處理的對象是影像深度值的前提下，可以預先採用深度圖像產生器(Depth Map Generator)對二維影像進行圖像分析，並藉此產生深度影像處理單元100所需的原始影像深度值。或者，從另一個角度來看，深度圖像產生器也可以被內含在深度影像處理單元100之中，進一步使深度影像處理單元100可以直接適用在處理一般的二維影像資料的應用上。

在獲得原始影像深度值之後，深度影像處理單元100會將這些原始影像深度值傳送給邊緣區域設定元件102。邊緣區域設定元件102接收這些原始影像深度值，並根據設定好的預定範圍長度值來確定有哪一部份的影像像素位於原本二維影像的邊緣區域內。請一併參照圖2，其為根據本發明一實施例之影像區域劃分示意圖。如圖2所示，依照需要，可以在一個影像的一個方向上或多個方向上劃設邊緣區域。例如，以與影像左側邊緣相距d₁ 的邊界e₁ 為劃分線，在邊界e₁ 以左的那一塊區域就是前述的二維影像的邊緣區域，而d₁ 就相當於前述的預定範圍長度值。以此來看，像素P₁ 就落於二維影像的邊緣區域之內，而像素P₂ 就落於二維影像的邊緣區域之外，或者換個說法，像素P₂ 就落於二維影像的中央區域之內。

對於要將影像往右平移(shift)以製造立體效果的影像處理需求來說，左側的邊緣區域設定就可以滿足對於左側的破洞現象所進行的填補操作的需求。類似的，若要將影像往左平移以製造立體效果，那麼以與影像右側邊緣相距d₂ 的邊界e₂ 為劃分線、在邊界e₂ 以右的那一塊區域就是符合需求的邊緣區域，而此時的d₂ 就相當於前述的預定範圍長度值；若要將影像往下平移以製造立體效果，那麼以與影像上側邊緣相距d₃ 的邊界e₃ 為劃分線、在邊界e₃ 以上的那一塊區域就是符合需求的邊緣區域，而此時的d₃ 就相當於前述的預定範圍長度值；若要將影像往上平移以製造立體效果，那麼以與影像下側邊緣相距d₄ 的邊界e₄ 為劃分線、在邊界e₄ 以下的那一塊區域就是符合需求的邊緣區域，而此時的d₄ 就相當於前述的預定範圍長度值。

以向右平移影像以製造立體效果的例子來看，邊緣區域設定元件102可以採用任何可能的方式先取得預定範圍長度值d₁ 。舉例來說，預定範圍長度值d₁ 可能是一個在產品出廠之初就已經被設定好的一個固定數值，而邊緣區域設定元件102只要到儲存預定範圍長度值d₁ 的元件中取得資料即可；或者，請一併參照圖3，在邊緣區域設定元件102中可以加入一個輸入介面106，以讓使用者在需要決定預定範圍長度值的時候能夠有即時輸入的使用介面。

請參照圖1與圖2，在獲得預定範圍長度值d₁ 之後，邊緣區域設定元件102就可以進行判斷影像像素是否位於原本二維影像之邊緣區域內的操作。舉例來說，由於影像像素P₁ 位於二維影像之左側邊緣區域內，因此當邊緣區域設定元件102處理到影像像素P₁ 的時候，就會將影像像素P₁ 歸類為位於邊緣區域內的影像像素；相對的，由於影像像素P₂ 不在二維影像之左側邊緣區域內，因此當邊緣區域設定元件102處理到影像像素P₂ 的時候，就會將影像像素P₂ 歸類為位於邊緣區域之外的影像像素。

邊緣區域設定元件102的分類結果會被傳送到邊緣深度計算元件104，隨之一併被傳送到邊緣深度計算元件104的還可以包括與這些影像像素相對應的原始影像深度值。當然，各原始影像深度值可以儲存在特定的元件中，並在需要的時候進行存取，如圖3所示者即是。請合併參照圖3，從輸入端IN所接收的各原始影像深度值可以同時被傳送到邊緣區域設定元件102並儲存在儲存元件120之中；或者，原始影像深度值僅被儲存在儲存元件120之中，並在邊緣深度值計算元件104需要取得或更改原始影像深度值的時候由邊緣深度值計算元件104對儲存元件120進行存取操作。

無論是採圖1或圖3的方式來存取原始影像深度值，邊緣深度值計算元件104都會對每一個原始影像深度值提供一個在顯示三維影像時所使用的、相對應的轉換後深度值。當所處理的影像像素處於邊緣區域以外的時候，例如影像像素P₂ ，邊緣深度值計算元件104就會將影像像素P₂ 原本對應的原始影像深度值直接輸出為影像像素P₂ 的轉換後深度值。這個轉換後深度值可以如圖1所示般直接被邊緣深度值計算元件104提供給三維影像產生單元150；或者，在如圖3所示的電路架構中，轉換後深度值會先被儲存在儲存元件120之中，再於三維影像產生單元150需要資料的時候由三維影像產生單元150到儲存元件120中取得。在另一個實施例中，邊緣深度值計算元件104在圖3所示的電路架構下也可以將轉換後深度值直接提供給三維影像產生單元150。

而當所處理的影像像素處於邊緣區域之內的時候，例如影像像素P₁ ，則邊緣深度值計算元件104就依照下式(1)來計算影像像素P₁ 的轉換後深度值：Z_output =(w₁ {f₁ (d_x )}×Z_ZD )+(w₂ {f₂ (d_x )}×Z_original ) (1)

其中，標號Z_ZD 是零像差深度值，標號Z_original 是前述各影像像素所對應的原始影像深度值，標號Z_output 則是前述的轉換後深度值。此外，w₁ {f₁ (d_x )}是以函式f₁ (d_x )為變數的函式，而f₁ (d_x )則是以邊緣距離值(也就是預定範圍長度值)d_x 為變數的函式，函式w₁ {f₁ (d_x )}的值，也就是圖4A與4B中所示的w₁ ，後續被稱為第一比重值；類似的，w₂ {f₂ (d_x )}是以函式f₂ (d_x )為變數的函式，而f₂ (d_x )同樣是以邊緣距離值d_x 為變數的函式，函式w₂ {f₂ (d_x )}的值，也就是圖4A與4B中所示的w₂ ，後續被稱為第二比重值。函式f₁ (d_x )與f₂ (d_x )可以是線性或非線性的函式，分別如圖4A與圖4B所示。

更清楚地說，當邊緣深度值計算元件104處理到類似影像像素P₁ 這一類位於邊緣區域以內的影像像素的時候，邊緣深度值計算元件104就會先取得零像差深度值Z_ZD 、影像像素P₁ 所對應的原始影像深度值Z_original 以及影像像素P₁ 所處位置的第一比重值與第二比重值。在得到這些相關資料之後，邊緣深度值計算元件104就會以前述式(1)來計算影像像素P₁ 在三維顯示時的轉換後深度值。而從圖4A與圖4B來看，在這兩個實施例中，第一比重值會隨著邊緣距離值d_x 的增加而下降，第二比重值隨著邊緣距離值d_x 的增加而上升，而且當邊緣距離值d_x 為0的時候，計算所得的轉換後深度值Z_output 會與零像差深度值Z_ZD 相同。必須理解的是，實際設計時所採用的函式w₁ {f₁ (d_x )}與w₂ {f₂ (d_x )}不需要受限於圖4A與圖4B所揭露的內容。例如，函式f₁ (d_x )與f₂ (d_x )可以是非連續的函式。

在前述式(1)中，大部分的參數都已經有對應的資料來源，唯有零像差深度值Z_ZD 尚未設定。每個影像像素其相對應的零像差深度值Z_ZD 實質上為相同，因此Z_ZD 為一定值。以目前的規格來看，所謂的零像差處意指具有此零像差深度值的影像像素在三維顯示時，會讓使用者之左右視角感受此影像像素位在顯示面板所在的同一位置上，換句話說，若改動零像差深度值，則會使三維影像的位置產生變化。因此，在本發明的一個實施例中，若為了影像的穩定，零像差深度值Z_ZD 可以是在製造生產影像轉換裝置10、深度影像處理單元100或者邊緣深度計算元件104的時候就預先設定好的；而在另一個實施例中，請參照圖3，為了使影像的位置具有彈性，在深度影像處理單元100之中還另外包括一個零像差深度值設定元件108以設定零像差深度值Z_ZD ，如此，則整個二維至三維影像的轉換結果將能視需求而隨時調整。

為了使此領域之一般技術人員能輕易理解本案的技術精神，以上的內容是將各功能配合實體元件進行解說。然，實際上設計時並不一定需要將功能綁定在上述的各實體元件內。因此，從另一個角度來看，本發明提供了以下的二維影像至三維影像的影像轉換方法，並將參照圖5與圖6來進行說明。

請參照圖5，其為根據本發明一實施例之二維影像至三維影像的影像轉換方法的流程圖。在本實施例中，首先會取得零像差深度值(步驟S500)，並且要取得即將進行轉換的影像像素的資料(步驟S502)。在取得影像像素的資料之後，就必須判斷所要轉換的影像像素是否位於二維影像的邊緣區域內(步驟S504)，並以此來決定後續如何進行影像資料的轉換。

一旦在步驟S504中判斷出所要轉換的影像像素的確位於邊緣區域之內，則流程進入步驟S506以取得此影像像素的原始影像深度值以及前述的邊緣距離值等資料，並在取得邊緣距離值之後根據邊緣距離值來決定前述的第一與第二比重值(步驟S508)。在決定了第一與第二比重值之後，流程進入步驟S510以利用前述式(1)來計算與目前進行轉換的影像像素相對應的轉換後深度值Z_output 。相對的，假如在步驟S504中判斷出所要轉換的影像像素的確位於邊緣區域之外，則流程會進入步驟S520以取得此影像像素的原始影像深度值，並在接下來的步驟S522之中直接以所取得的原始影像深度值做為轉換後深度值。

藉由步驟S510或S522所獲得的轉換後深度值會被輸出以便後續顯示三維影像時所用(步驟S512)。至此，二維影像中的一個影像像素的二維至三維的轉換大致告一段落，因此接下來在步驟S530中會進一步判斷是否已經完成整個二維影像轉換成三維影像的操作。若步驟S503的判斷為是，則流程結束；相對的，若步驟S503的判斷為否，則流程回到步驟S502以繼續下一個影像像素的轉換操作。

除此之外，上述的步驟先後順序及詳細操作內容並非不可變動的，此領域的一般技術人員在不變動最後結果的狀況下可以依據實際需求而進行變動設計。舉例來說，步驟S506與S520中關於取得原始影像深度值的部分，可以提前到步驟S500或步驟S502之前執行；此外，步驟S500和步驟S502順序可以調換；又如步驟S512輸出轉換後深度值的時候，可以以如圖1所示的方式將轉換後深度值直接輸出至三維影像產生單元150，也可以以如圖3所示的方式將其輸出至儲存元件120。再舉例來說，請同時參照圖5與圖6，在圖5的步驟S504中判斷所要轉換的影像像素是否位於影像的邊緣區域內的時候，可以利用圖6所示的流程圖來進行。如圖6所示，在步驟S502取得所將轉換的影像像素而要利用步驟S504來判斷此影像像素是否位於影像的邊緣區域內的時候，具體可以先以步驟S602來取得圖2中所示的預定範圍長度值，之後再於步驟S604中根據影像像素與特定邊緣之間的距離是否小於預設範圍長度值來判斷影像像素是否位於影像的邊緣區域內。若步驟S604的判斷為是，則表示影像像素位於影像的邊緣區域內，因此流程將進入步驟S506；相對的，若步驟S604的判斷為否，則表示影像像素位於影像的邊緣區域外，因此流程將進入步驟S520。

此外，雖然上述技術是以零像差處的深度值為計算轉換後深度值的參數，但由於零像差深度值可以由使用者自行決定，因此實際上也可以不限定是以零像差的深度值來進行計算，而可以改用任意像差的深度值來做為計算參數。

藉由上述的技術，由於在影像轉換時，在影像邊界處的影像像素會被強制轉換為事先決定好的深度值(例如，在之前的實施例中就是零像差深度值)，而在鄰近影像邊界處的邊緣區域內的像素則會依照與邊界的距離而進行規律性的變化，因此在二維影像至三維影像的轉換過程中於邊緣區域所產生的破洞現象將能從上述方式進行規律的補償，進而讓使用者得到更好的影像觀賞品質。