TWI522964B - 立體影像的調整方法與影像處理裝置 - Google Patents

Description

立體影像的調整方法與影像處理裝置

本發明是有關於一種調整方法，且特別是有關於一種的立體影像的調整方法與使用此方法的影像處理裝置。

立體影像(stereo images)是由兩個以上不同視角的影像所組成。一個立體影像顯示器會讓人的左眼看到一個視角的影像，並且讓右眼看到另一個視角的影像，藉此大腦會合成出一個三維的影像。然而，不同視角的影像是顯示在平面的螢幕上，因此人眼是聚焦在螢幕上，而大腦是合成出在螢幕之前或之後的三維影像。這樣的情況可能會使觀賞者有不舒服或頭暈的情形。當立體影像中的一物件被顯示在螢幕邊緣時，此物件的一部份可能會被螢幕邊緣”遮蔽”。當人眼看到被螢幕邊緣遮蔽的部份時，會直覺地認為被遮蔽的部份是成像在螢幕之後。然而，若未被螢幕遮蔽的部份是成像在螢幕之前，則使用者會有不適的感覺。此情況被稱為立體視窗違背(stereoscopic window violation)。

請參照圖1，若左眼110會看到影像120，而右眼看到影像122，則使用者會感覺物體130是成像在螢幕140之前。然而， 物體150被螢幕140所遮蔽了。使用者會難以合成出被遮蔽的物體150，而有不適的感覺。

因此，如何避免立體視窗違背，為此領域技術人員所關心的議題。

本發明的實施例提供一種立體影像的調整方法與使用此調整方法的影像處理裝置，其可以避免立體視窗違背。

本發明一實施例提出一種立體影像的調整方法，用於一影像處理裝置。此立體影像是用以顯示在一個螢幕上。調整方法包括：取得立體影像的多個景深值，其中多個第一景深值是對應於上述螢幕的邊緣區域；判斷第一景深值的其中之一是否為負視差；以及若第一景深值的其中之一為負視差，調整上述的景深值使第一景深值不為負視差。

在一實施例中，上述的立體影像包括第一影像與第二影像。上述取得立體影像的景深值的步驟包括：取得第一影像的多個第一特徵點，並且取得第二影像的多個第二特徵點；以及配對第一特徵點與第二特徵點以計算出上述的景深值。

在一實施例中，上述判斷第一景深值的其中之一是否為負視差的步驟包括：取得第一景深值中的一個最小景深值；以及判斷此最小景深值是否為負視差。

在一實施例中，上述調整景深值使第一景深值不為負視差的 步驟包括：將最小景深值加上一偏移值以產生第二景深值，其中第二景深值不為負視差；以及將除了最小景深值以外的景深值加上偏移值。

在一實施例中，上述的第二景深值為零視差。

以另外一個角度來說，本發明一實施例提出一種影像處理裝置，包括記憶體與處理器。記憶體儲存了多個指令。處理器用以執行這些指令以執行多個步驟：取得立體影像的多個景深值，其中多個第一景深值是對應於一個螢幕的邊緣區域；判斷第一景深值的其中之一是否為負視差；以及若第一景深值的其中之一為負視差，調整上述的景深值使第一景深值不為負視差。

基於上述，本發明實施例提出的調整方法與影像處理裝置，可以藉由調整景深值來避免立體視窗違背。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

110‧‧‧左眼

112‧‧‧右眼

120、122、310、320‧‧‧影像

130、150、340、430‧‧‧物體

140、410‧‧‧螢幕

200‧‧‧影像處理裝置

210‧‧‧處理器

220‧‧‧記憶體

311、321‧‧‧特徵點

330‧‧‧景深圖

331‧‧‧位置

350‧‧‧區域

420‧‧‧觀賞者

S602、S604、S606‧‧‧立體影像的調整方法的步驟

圖1是繪示立體視窗違反的示意圖。

圖2是根據一實施例繪示影像處理裝置的部份方塊圖。

圖3是根據一範例實施例取得景深圖的示意圖。

圖4A與圖4B是根據一實施例繪示調整景深圖的示意圖。

圖5是根據一實施例繪示顯示立體影像的示意圖。

圖6是根據一實施例繪示立體影像的調整方法的流程圖。

圖2是根據一實施例繪示影像處理裝置的部份方塊圖。

請參照圖2，影像處理裝置200包括處理器210與記憶體220。影像處理裝置200可被實作為電腦、伺服器、分散式系統、電視、智慧型手機、平板電腦、任何形式的嵌入式系統或電子裝置，本發明並不在此限。在一範例實施例中，影像處理裝置200還可包括螢幕、有線或無線的通訊介面、或電源供應器，本發明也不在此限。

處理器210是用以執行多個指令。例如，處理器210為中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)或數位訊號處理器(Digital Signal Processor，DSP)。

記憶體220中儲存有多個指令，而處理器210會執行這些指令。例如，記憶體220為動態隨機存取記憶體(dynamic random access memory,DRAM)、靜態隨機存取記憶體(static random access memory,SRAM)、快閃記憶體(flash memory)、或其他的記憶體。

圖3是根據一範例實施例取得景深圖的示意圖。

請參照圖3，處理器210會取得一個立體影像並且取得此立體影像的多個景深值。例如，此立體影像包括了影像310與影像320。處理器210會取得影像310中的多個特徵點與以及影像320中的多個特徵點，並且會配對影像310與影像320中的特徵點以產生多個景深值。而這些景深值會組成景深圖330。例如，處理器210會計算特徵點311與特徵點321之間的差異值(disparity)，藉此計算出位置331上的景深值。處理器210可以使用任意一種立體配對(stereo matching)的 演算法來計算出景深圖330上的景深值，本發明並不限制使用何種立體配對演算法。在另一範例實施例中，景深圖330可以是由其他電子元件或電子裝置計算出，並且景深圖330會被傳送給處理器210。例如，處理器210會取得景深圖330，以及影像310與影像320中的其中之一，並且使用一種景深影像為基準的顯示演算法(depth-image-based rendering algorithm,DIBR algorithm)來顯示三維影像，本發明並不在此限。

根據景深值的大小，一個物體會被成像在螢幕的前面或是後面。若一個物體被成像在一個螢幕前面，則此物體對應的景深值為負視差(negative parallax)。相反的，若一個物體被成像在一個螢幕後面，則此物體對應的景深值為正視差(positive parallax)。在此範例實施例中，負的景深值為負視差，而正的景深值為正視差。然而，在其他範例實施例中，處理器210也可以將正的景深值作為負視差，本發明並不在此限。

在區域350內的景深值(亦稱為第一景深值)是對應於一個螢幕的邊緣區域。處理器210會判斷區域350中是否有景深值為負視差。若區域350中有景深值為負視差，則處理器210會調整景深圖330中所有的景深值，使得區域350內的景深值不為負視差。在此實施例中區域350的寬度為一個像素。然而，區域350的寬度也可以是更多像素，本發明並不在此限。在此假設區域350內屬於物體340的景深值為負視差，即觀賞者會認為物體340是成像在一個螢幕之前。

圖4A與圖4B是根據一實施例繪示調整景深圖的示意圖。

請參照圖4A，觀賞者420會認為物體340是成像在螢幕410之前，而認為物體430是成像在螢幕410之後。值得注意的是，螢幕410並沒有顯示物體430的內容，但觀賞者420在觀賞影像片時會認為有一物體430。例如，在上一個立體畫面時，觀賞者420是看到物體340與物體430都在螢幕410後面。而在接下來的畫面，物體340”跳”出了螢幕410，但物體430卻被遮蔽了。因此，觀賞者420會有不適的感覺。在此實施例中，處理器210會調整所有的景深值，使得對應於螢幕410邊緣區域的景深值不為負視差(如圖4B所示)。在調整景深值過後，雖然物體340仍然有一部份在螢幕410之前，但觀賞者420並不會有不適的感覺。

請參照回圖3，舉例來說，處理器210會從區域350的景深值中取得其數值最小的一個最小景深值，並且判斷此最小景深值是否為負視差(例如，判斷此最小景深值是否小於零)。在此假設此最小景深值為-50。處理器210會將此最小景深值加上一個偏移值以產生另一個景深值(亦稱第二景深值)，使得第二景深值不為負視差。例如，偏移值為50，因此第二景深值為0。也就是說，第二景深值為零視差(zero parallax)，而對應第二景深值的物體會被成像在一個螢幕之上。此外，處理器210會將除了最小景深值以外的景深值都加上此偏移值，藉此將立體影像中的所有物體都”往後移”。如此一來，區域350內的物體340並不會成像在螢幕之前。

在此實施例中，處理器210是將所有的景深值加上相同的偏移值。然而，在另一實施例中，處理器210也可以根據立體影像的內 容、亮度或是色彩而對不同的景深值加上不同的偏移值。另一方面，在上述的例子中，最小景深值在加上偏移值以後為0。然而，在其他實施例中，最小景深值加上偏移值也可為任意的正數(即，正視差)，本發明並不在此限。

圖5是根據一實施例繪示顯示立體影像的示意圖。

請參照圖5，圖5的上半部繪示了調整景深值前，顯示立體影像的示意圖，而圖5的下半部繪示了調整景深值後，顯示立體影像的示意圖。處理器210會根據調整以後的景深值適當地改變影像310與影像320顯示在螢幕410上的位置。由圖5可發現，在調整完景深值以後，影像310與影像320之間的差異(disparity)變小，使得不會有立體視窗違反的情形。

圖6是根據一實施例繪示立體影像的調整方法的流程圖。

請參照圖6，在步驟S602中，取得立體影像的多個景深值，其中多個第一景深值是對應於螢幕的邊緣區域。

在步驟S604中，判斷第一景深值的其中之一是否為負視差。若步驟S604的結果為否，則結束此流程。若步驟S604的結果為是，則進行步驟S606。

在步驟S606中，調整上述的景深值，使第一景深值不為負視差。

圖6各步驟可被實作為一或多個模組，並且由一個處理器來執行這些模組。或者，圖6各步驟也可被實作為一或多個電路。本發明並不限制用軟體或硬體的方式來實作立體影像的調整方法。另一方 面，圖6中各步驟已詳細說明如上，在此便不再贅述。

綜上所述，本發明實施例提出的調整方法與影像處理裝置，可以在邊緣區域對應的景深值為負視差時調整景深值，使得不會出現立體視窗違反的情形。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S602、S604、S606‧‧‧立體影像的調整方法的步驟

Claims (6)

1. 一種立體影像的調整方法，用於一影像處理裝置，其中該立體影像是用以顯示在一螢幕上，該調整方法包括：取得該立體影像的多個景深值；判斷對應於一螢幕的一邊緣區域的多個第一景深值中的一最小景深值是否為負視差；以及若該最小景深值為負視差，取一偏移值使得該最小景深值加上該偏移值得到的景深值不為負視差，並將該立體影像的每一該些景深值都加上該偏移值。
2. 如申請專利範圍第1項所述之調整方法，其中該立體影像包括一第一影像與一第二影像，並且所述取得該立體影像的該些景深值的步驟包括：取得該第一影像的多個第一特徵點，並且取得該第二影像的多個第二特徵點；以及配對該些第一特徵點與該些第二特徵點以計算出該些景深值。
3. 如申請專利範圍第1項所述之調整方法，其中該第二景深值為零視差。
4. 一種影像處理裝置，包括：一記憶體，儲存多個指令；以及一處理器，耦接至該記憶體，用以執行該些指令以執行多個步驟：取得一立體影像的多個景深值；判斷對應於一螢幕的一邊緣區域的多個第一景深值中的一最 小景深值是否為負視差；以及若該最小景深值為負視差，取一偏移值使得該最小景深值加上該偏移值得到的景深值不為負視差，並將該立體影像的每一該些景深值都加上該偏移值。
5. 如申請專利範圍第4項所述之影像處理裝置，其中該立體影像包括一第一影像與一第二影像，並且所述取得該立體影像的該些景深值的步驟包括：取得該第一影像的多個第一特徵點，並且取得該第二影像的多個第二特徵點；以及配對該些第一特徵點與該些第二特徵點以計算出該些景深值。
6. 如申請專利範圍第4項所述之影像處理裝置，其中該第二景深值為零視差。