TWI573433B - 優化深度資訊的方法與裝置 - Google Patents

Description

優化深度資訊的方法與裝置

本發明是有關於一種處理影像的方法及裝置，且特別是有關於一種優化深度資訊的方法與裝置。

隨著影像處理技術的蓬勃發展，立體視覺技術(Stereo Vision)以逐漸且廣泛地應用於各種領域。立體視覺廣義來說可包括兩個階段，前期階段包括利用深度攝影機、立體攝影機或是利用相關之三維立體影像演算法等方式來產生深度資訊，而後其階段為利用深度資訊來產生不同視角的影像。由此可知，為了產生視覺體驗較佳的立體影像，準確的深度資訊是非常重要的。

對於具有雙鏡頭的立體成像系統來說，立體成像系統的雙鏡頭可拍攝同一區域不同角度的影像，而結合左、右鏡頭所拍攝影像間的像差資訊以及預知的鏡頭間距，則可估測出影像中各個物件的深度資訊。一般來說，深度資訊往往可用一深度圖(depth map)來表示，並利用紀錄於深度圖上的深度值來表示二維影像中不同物件或像素點的深度。其中，基於區域關聯性 (local-correlation)以及像素匹配(pixel-wise matching)的深度產生演算法已普遍見於具有雙鏡頭的立體成像系統中。

然而，基於區域關聯所產生的深度圖可能發生邊緣模糊的情形，而像素匹配的方式也會導致龐大的計算量並且相當耗費記憶體。也就是說，不同的深度資訊產生演算法會具備不同的精確度與計算量。因此，如何在可允許的計算量與複雜度下產生精確的深度資訊，並提高根據此深度資訊所產生之三維影像之品質，實乃本領域技術人員所努力的方向之一。

有鑑於此，本發明提供一種優化深度資訊的方法與裝置，可降低深度資訊的雜訊並提高深度資訊的精準度，從而使立體成像系統所產生的立體影像具備較佳的視覺體驗。

本發明提出一種優化深度資訊的方法，適用於一電子裝置。左影像與右影像透過立體成像系統的拍攝而產生，所述方法包括下列步驟。將左影像與右影像其中之一劃分成多個相關區塊，以獲取至少一區塊分佈圖。獲取待修復深度圖，並依據多個主深度值與相機參數將待修復深度圖區分成多個深度平面，其中待修復深度圖紀錄這些主深度值且具有多個破洞。利用區塊分佈圖而分別對各深度平面中的破洞產生多個優化深度值，並將這些優化深度值填補至各深度平面而獲取結合各深度平面的優化深度圖。

在本發明的一實施例中，上述的獲取待修復深度圖，並依據主深度值與相機參數將待修復深度圖區分成多個深度平面的步驟包括下列步驟。依據主深度值與相機參數決定各主深度值的物距資訊。依照各主深度值的物距資訊，將待修復深度圖劃分成對應至相互相異的多個景深範圍的深度平面，且深度平面包括至少一相似物距區域。

在本發明的一實施例中，上述的將左影像與右影像其中之一劃分成相關區塊，以獲取區塊分佈圖的步驟包括下列步驟。決定各深度平面的切割精細度，並依據切割精細度將關聯於待修復深度圖的左影像與右影像其中之一劃分成多個相關區塊，以獲取分別對應至各個深度平面的區塊分佈圖。

在本發明的一實施例中，上述的深度平面分別對應至相互相異的多個景深範圍，而這些深度平面的切割精細度基於各深度平面所對應的景深範圍而定。

在本發明的一實施例中，上述的被劃分成多個相關區塊的左影像或右影像具有多個第一像素，而依據切割精細度將關聯於待修復深度圖的左影像與右影像其中之一劃分成這些相關區塊的步驟包括下列步驟。比對第一像素中相互相鄰的一第一相鄰像素與一第二相鄰像素而獲取像素值差。依據此像素值差是否小於差異門檻值而決定是否連結第一相鄰像素與第二相鄰像素，從而將各第一像素區分至對應的相關區塊，其中區塊分佈圖的切割精細度依據差異門檻值而定。

在本發明的一實施例中，上述的依據切割精細度將關聯 於待修復深度圖的左影像與右影像其中之一劃分成這些相關區塊的步驟更包括下列步驟。依據尺寸門檻值來限定各相關區塊的區塊尺寸而獲取區塊分佈圖。各相關區塊的區塊尺寸不大於此尺寸門檻值，而區塊分佈圖的切割精細度依據此尺寸門檻值而定。

在本發明的一實施例中，上述的利用區塊分佈圖而分別 對各深度平面中的破洞產生多個優化深度值，並將這些優化深度值填補至各深度平面而獲取結合各深度平面之優化深度圖的步驟包括下列步驟。將各深度平面的至少一相似物距區域依據各自對應的區塊分佈圖而分割成多個第一深度區塊，並依據各第一深度區塊中的破洞的數目而獲取第一有效密度值。依據此第一有效密度值而決定是否計算各第一深度區塊的第一深度統計值，並將第一深度統計值作為優化深度值之一而填補部份的破洞。

在本發明的一實施例中，上述的依據第一有效密度值而 決定是否計算各第一深度區塊的第一深度統計值的步驟包括下列步驟。依據各第一深度區塊的第一有效密度值而獲取各第一深度區塊的處理順序。依據此處理順序是否為高優先順序而決定是否填補各第一深度區塊中的破洞。

在本發明的一實施例中，在上述的獲取待修復深度圖的 步驟之前，所述方法更包括下列步驟。對左影像與右影像進行三維深度估測，以獲取關聯於左影像與右影像之一且對應至多個第一像素的主深度圖。此主深度圖紀錄分別對應至這些第一像素的 主深度值。利用區塊分佈圖來判斷第一像素所對應之主深度值是否符合可信賴條件，並將主深度值中不符合可信賴條件的多個無效深度值從主深度圖中移除，從而產生包括多個破洞的待修復深度圖。

在本發明的一實施例中，在上述利用區塊分佈圖來判斷第一像素所對應之主深度值是否符合可信賴條件，並將主深度值中不符合可信賴條件的無效深度值從主深度圖中移除，從而產生包括破洞的待修復深度圖的步驟包括下列步驟。依據區塊分佈圖將主深度圖分成多個深度區塊，並分別對各深度區塊內的主深度值進行統計運算而獲取統計結果。依據統計結果判斷主深度值是否為無效深度值中的多個第一無效深度值，並將第一無效深度值從主深度圖中移除，從而產生待修復深度圖上的破洞。

從另一觀點來看，本發明提出一種優化深度資訊的裝置，且此裝置透過立體成像系統的拍攝而獲取左影像與右影像。此裝置包括記錄多個模組的儲存單元以及一或多個處理單元。上述處理單元耦接儲存單元，存取並執行儲存單元中記錄的模組。這些模組包括區塊分佈圖獲取模組、深度平面分割模組以及補洞模組。區塊分佈圖獲取模組將左影像與右影像其中之一劃分成多個相關區塊，以獲取至少一區塊分佈圖。深度平面分割模組獲取待修復深度圖，並依據多個主深度值與相機參數將待修復深度圖區分成多個深度平面。此待修復深度圖紀錄這些主深度值且具有多個破洞。補洞模組利用區塊分佈圖而分別對各深度平面中的破 洞產生多個優化深度值，並將這些優化深度值填補至各深度平面而獲取結合各個深度平面的優化深度圖。

基於上述，在本發明之產生深度資訊的實施例中，先依據各深度值所對應的物距資訊將具有破洞的待修復深度圖區分成多個深度平面，再藉由不同尺寸的區塊分割方式對各個深度平面進行補洞處理。據此，本發明可藉由各深度平面所對應的景深範圍來進一步決定區塊分割圖的切割精細度，從而依據物距資訊而適應性的利用不同的區塊分割方式來產生優化深度值。藉此，本發明可依據破洞周圍的資訊來產生更貼近真實狀況的優化深度值，以產生雜訊含量低且準確度高的深度圖。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

10、20‧‧‧影像處理裝置

14、24‧‧‧儲存單元

142、242‧‧‧深度估測模組

144、244‧‧‧區塊分佈圖獲取模組

146、246‧‧‧無效深度移除模組

148、248‧‧‧補洞模組

249‧‧‧深度平面分割模組

16、26‧‧‧處理單元

Img_1、Img_14‧‧‧影像

P1~P5‧‧‧像素

Z1~Z4、dz_a、dz_b、Z_c、Z_d‧‧‧相關區塊

dz_1、dz_2‧‧‧深度區塊

m_1、m_2‧‧‧區塊分佈圖

m_f1、m_f2‧‧‧區塊分佈圖

Img_R‧‧‧右影像

Img_L‧‧‧左影像

dm_1‧‧‧主深度圖

dm_2‧‧‧輔深度圖

dm_3、dm_14‧‧‧待修復深度圖

dm_4、dm_15‧‧‧優化深度圖

d1~d3‧‧‧無效深度值

h1~h4‧‧‧破洞

dz_4‧‧‧主深度值

R1‧‧‧限定範圍

m_f‧‧‧第一區塊分佈圖群組

m_c‧‧‧第二區塊分佈圖群組

m_f1、m_f2‧‧‧第一區塊分佈圖

m_c1、m_c2‧‧‧第二區塊分佈圖

14a、14b、14c‧‧‧被攝物件

14a_zone、14b_zone、14c_zone‧‧‧相似物距區域

d_p1、d_p2、d_p3、dp_m1、dp_mn‧‧‧深度平面

14_1、14_m‧‧‧區塊分佈圖群組

14_11、14_12、14_1n、14_m1、14_m2、14_mn‧‧‧區塊分佈圖

S201~S204‧‧‧一實施例所述的產生深度資訊的方法的各步驟

S501~S506‧‧‧一實施例所述的產生待修復深度圖的各步驟

S901~S909‧‧‧一實施例所述的產生優化深度圖的各步驟

S1201~S1206‧‧‧一實施例所述的優化深度資訊的方法的各步驟

圖1為依照本發明一實施例所繪示之產生深度資訊的裝置的方塊圖。

圖2為依照本發明一實施例所繪示之產生深度資訊的方法的流程圖。

圖3A為劃分左影像或右影像的範例示意圖。

圖3B為區塊分佈圖的局部範例示意圖。

圖4為依照本發明一實施例所繪示之產生深度資訊的方法的 運作示意圖。

圖5為依照本發明一實施例所繪示的產生待修復深度圖的流程圖。

圖6為依照本發明一實施例所繪示的依據統計結果移除無效深度值的範例示意圖。

圖7為依照本發明一實施例所繪示的依據密度移除無效深度值的範例示意圖。

圖8為依照本發明一實施例所繪示之對待修復深度圖進行補洞的運作示意圖。

圖9A與圖9B為依照本發明一實施例所繪示的產生優化深度圖的流程圖。

圖10為依照圖8的實施例所示之區塊分佈圖的範例示意圖。

圖11為依照本發明一實施例所繪示之優化深度資訊的裝置的方塊圖。

圖12是依照本發明一實施例所繪示之優化深度資訊的方法的流程圖。

圖13為依照本發明一實施例所繪示之深度平面的範例示意圖。

圖14為依照本發明一實施例所繪示之對待修復深度圖進行補洞的運作示意圖。

圖1是依照本發明一實施例所繪示之產生深度資訊的裝 置的方塊圖。請參照圖1，本實施例的影像處理裝置10例如是行動電話、平板電腦、桌上型電腦、筆記型電腦或包含立體成像系統(未繪示)的立體像機，在此不設限。也就是說，影像處理裝置10可以是包括立體成像系統的影像擷取裝置。另外，影像處理裝置10也可以是與具有立體成像系統的影像擷取裝置相互耦接的其他電子裝置，本發明對此不設限。影像處理裝置10包括儲存單元14以及一個或多個處理單元(本實施例僅以處理單元16為例做說明，但不限於此)，其功能分述如下。

儲存單元14例如是隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體，用以儲存資料與多個模組。上述模組包括深度估測模組142、區塊分佈圖獲取模組144、無效深度移除模組146以及補洞模組148，這些模組例如是電腦程式，其可載入處理單元16，從而執行產生深度資訊的功能。換言之，處理單元16耦接儲存單元14並用以執行這些模組，從而控制影像處理裝置10執行產生深度資訊的功能。處理單元16可以例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他具備運算能力的硬體裝置。

圖2是依照本發明一實施例所繪示之產生深度資訊的方 法的流程圖。請參照圖2，本實施例的方法適用於圖1的影像處理 裝置10，以下即搭配影像處理裝置10中的各項元件說明本實施例之產生深度資訊的方法的詳細步驟。

首先，深度估測模組142取得由立體成像系統拍攝的左影像及右影像，並對左影像與右影像進行三維深度估測，以獲取關聯於左影像與右影像其中之一且對應至多個第一像素的主深度圖(步驟S201)。此主深度圖紀錄分別對應至這些第一像素的多個主深度值。進一步來說，於一實施例中，立體成像系統包括兩個影像感測模組，此兩個影像感測模組依照其鏡頭設置位置可區分為左影像感測模組與右影像感測模組。基此，當使用者按下快門鍵或下達拍攝命令時，左影像感測模組與右影像感測模組可針對同一場景拍攝不同角度的影像(左影像與右影像)。

詳細來說，左影像包括多個左像素，而右影像包括多個右像素。深度估測模組142可計算左影像及右影像上相互對應之左像素與右像素的像差。其中，上述像差為相互對應之左像素與右像素在左影像及右影像上的位移。基此，深度估測模組142可依據左鏡頭及右鏡頭拍攝左影像及右影像的焦距、左鏡頭及右鏡頭的鏡頭間距，以及相對應之左像素與右像素之間的像差，估測左影像上各個左像素的深度值與右影像上各個右像素的深度值。 也就是說，深度估測模組142可獲取以左影像為基底的左深度圖以及以右影像為基底的右深度圖。

需說明的是，本實施例之主深度圖可以是以左影像為基底的左深度圖，也可以是以右影像為基底的右深度圖，本發明對 此並不限制。也就是說，當主深度圖是以左影像為基底的左深度圖時，主深度圖上會紀錄分別對應至這些左像素的多個主深度值。當主深度圖是以右影像為基底的右深度圖時，右深度圖上會紀錄分別對應至這些右像素的多個主深度值。

回到圖2的流程，區塊分佈圖獲取模組144依據各第一 像素的像素資訊，將關聯於主深度圖的左影像或右影像劃分成多個相關區塊，以獲取包括這些相關區塊的一區塊分佈圖(步驟S202)。也就是說，當主深度圖為左深度圖時，區塊分佈圖獲取模組144依據各個左像素的像素資訊將左影像劃分成多個相關區塊，以獲取包括這些相關區塊的區塊分佈圖。另一方面，當主深度圖為右深度圖時，區塊分佈圖獲取模組144依據各個右像素的像素資訊將右影像劃分成多個相關區塊，以獲取包括這些相關區塊的區塊分佈圖。

於一實施例中，區塊分佈圖獲取模組144比對這些左像 素(右像素)中相互相鄰的第一相鄰像素與第二相鄰像素，以判斷第一相鄰像素與第二相鄰像素之間的像素值差是否小於一差異門檻值。於此，第一相鄰像素的像素值與第二相鄰像素的像素值相減會產生像素值差。若此像素值差小於差異門檻值，區塊分佈圖獲取模組144連結第一相鄰像素與第二相鄰像素而形成相關區塊中的第一相關區塊。此第一相關區塊至少包括第一相鄰像素與第二相鄰像素。

具體來說，當主深度圖為左深度圖時，區塊分佈圖獲取 模組144例如可計算各個左像素的色彩參數而獲取各個左像素的像素值，以將這些像素值做為用以產生區塊分佈圖的像素資訊。舉例而言，區塊分佈圖獲取模組144可計算左像素的紅、綠、藍(RGB)色度分量，以獲取左像素於不同色度通道上的像素值。相似的，區塊分佈圖獲取模組144也可計算左像素的亮度(Y)及色度分量(Cb、Cr)，以獲取左像素於亮度通道或色度通道上的像素值。

藉此，區塊分佈圖獲取模組144透過比對相互相鄰的左像素的像素值而產生像素值差，並依據兩相鄰像素之間的像素值差而決定是否連結兩相鄰像素。倘若兩相鄰像素之間的像素值差小於差異門檻值，將被劃分至同一相關區塊。換言之，左影像依據各個左像素的色彩表現而被區分成各個相關區塊，且位於同一相關區塊內之左像素的色彩表現彼此相似。

舉例來說，圖3A為劃分左影像或右影像的範例示意圖。請參照圖3A，假設影像Img_1包括像素P1~P5。於本範例中，區塊分佈圖獲取模組144先以像素P1作為基準點，並計算像素P1的像素值。接著，區塊分佈圖獲取模組144比對像素P1與周圍其他像素點的像素值。如圖3A所示，由於像素P1與像素P2之間的像素值差小於差異門檻值，因此區塊分佈圖獲取模組144將連結像素P1與像素P2。相似的，由於像素P1與像素P4之間的像素值差小於差異門檻值，因此區塊分佈圖獲取模組144將連結像素P1與像素P4。

再者，由於相鄰的像素P2與像素P3之間的像素值差小 於差異門檻值，因此區塊分佈圖獲取模組144連結像素P2與像素P3。相反地，由於相鄰的像素P3與像素P5之間的像素值差大於差異門檻值，因此區塊分佈圖獲取模組144並不會連結像素P3與像素P5，而像素P5也就不會被劃分至相關區塊z1內。總而言之，藉由比對相互相鄰的像素之間的像素值，區塊分佈圖獲取模組144可獲取以像素P1為中心基準點所形成的相關區塊z1，且相關區塊z1內的各個像素點的色彩表現與像素P1的色彩表現相似。

承上述，依據各個像素的所在位置以及其像素值，影像 Img_1將被劃分成多個相關區塊，而區塊分佈圖獲取模組144也可獲取包括這些相關區塊的區塊分佈圖。可以知道的是，各相關區塊所涵蓋的區塊尺寸將隨差異門檻值的上升而增加。此外，於一實施例中，區塊分佈圖獲取模組144還可依據尺寸門檻值來限定各相關區塊的區塊尺寸而獲取區塊分佈圖，其中各相關區塊的區塊尺寸不大於尺寸門檻值。且，各相關區塊所涵蓋的區塊尺寸將隨尺寸門檻值的上升而增加。總的來說，基於差異門檻值與尺寸門檻值的設定，區塊分佈圖獲取模組144可決定區塊分佈圖的切割精細度。

也就是說，在區塊分佈圖獲取模組144決定差異門檻值 的高低、中心基準點設定方式以及尺寸門檻值的大小之後，區塊分佈圖獲取模組144就可藉由將影像分割成多個相關區塊而獲取具有一特定切割精細度的一張區塊分佈圖。舉例而言，圖3B為區 塊分佈圖的局部範例示意圖。請參照圖3B，區塊分佈圖m_1包括多個相關區塊z2~z6，且各個相關區塊z2~z6的涵蓋區域的大小與形狀皆不相同。但本發明不以此為限。此技術領域中具有通常知識者當可依據實際需求來決定差異門檻值的高低、中心基準點設定方式以及尺寸門檻值的大小，此處不再贅述。

回到圖2的流程，無效深度移除模組146利用此區塊分 佈圖來判斷這些第一像素所對應之主深度值是否符合可信賴條件，並將這些主深度值中不符合可信賴條件的多個無效深度值從主深度圖中移除，從而產生包括多個破洞的待修復深度圖(步驟S203)。具體來說，無效深度移除模組146可利用區塊分佈圖來得知各個主深度值周圍的深度資訊，並藉由各個主深度值周圍的其他深度資訊來判斷各個主深度值是否符合可信賴條件，以將可視為無效深度值的主深度值從主深度圖中移除而生成待修復深度圖。

之後，補洞模組148利用此區塊分佈圖而分別對待修復 深度圖中的這些破洞產生多個優化深度值，並將這些優化深度值填補至待修復深度圖而產生優化深度圖(步驟S204)。詳細來說，區塊分佈圖是依據像素的相似程度與像素的位置關係而獲取，因此左影像或右影像上之同一個相關區塊內的像素具有一定的關聯性。因此，無效深度移除模組146可利用區塊分佈圖獲取模組144產生的區塊分佈圖將主深度圖劃分成多個深度區塊，而同一深度區塊內之主深度值應當也具備一定的關聯性。

基此，無效深度移除模組146與補洞模組148可基於同 一深度區塊內之主深度值具備一定的關聯性的特性，來判斷各主深度值是否為無效深度值並產生更佳的優化深度值來填補因為無效深度值被移除所產生的破洞。藉此，本實施例之影像處理裝置10可利用原始左影像或原始右影像所提供的影像內容資訊對深度圖進行進一步的優化動作，而產生精確度更高的優化深度圖。

為了進一步清楚說明本發明，圖4為依照本發明一實施 例所繪示之產生深度資訊的方法的運作示意圖。請參照圖4，深度估測模組142接收立體成像系統所拍攝的左影像Img_L以及右影像Img_R。深度估測模組142對左影像Img_L以及右影像Img_R進行三維深度估測而獲取主深度圖dm_1以及輔深度圖dm_2。於本實施例中，主深度圖dm_1例如是以左影像Img_L為基底的左深度圖，輔深度圖dm_2例如是以右影像Img_R為基底的右深度圖。

基此，區塊分佈圖獲取模組144依據左影像Img_L的像 素資訊，將左影像Img_L劃分成多個相關區塊，以獲取包括這些相關區塊的區塊分佈圖m_2。無效深度移除模組146依據區塊分佈圖m_2與輔深度圖dm_2對主深度圖dm_1進行挖洞而產生包括多個破洞的待修復深度圖dm_3。補洞模組148利用區塊分佈圖m_2而分別對待修復深度圖dm_3中的破洞產生多個優化深度值，並將優化深度值填補至待修復深度圖dm_3而產生優化深度圖dm_4。

依據前述實施例可知，依據不同的差異門檻值、尺寸門檻值以及基準點設定方式，區塊分佈圖獲取模組144可獲取具有不同的區塊切割方式的區塊分佈圖m_2。區塊分佈圖獲取模組144產生區塊分佈圖m_2的詳細內容已經於前述實施例詳細說明，於此不再贅述。以下將分別列舉實施例，以詳細說明無效深度移除模組146以及補洞模組148如何利用區塊分佈圖m_2移除無效深度值以及產生優化深度值。圖5是依照本發明一實施例所繪示的產生待修復深度圖的流程圖，以下即搭配圖4來說明本實施例之產生待修復深度圖的詳細步驟。

請同時參照圖4與圖5，無效深度移除模組146依據區塊分佈圖m_2將主深度圖dm_1分成多個深度區塊，並分別對各深度區塊內的主深度值進行統計運算而獲取統計結果(步驟S501)。 統計運算例如是平均值運算、眾數運算或中值運算，本發明對此不限制。舉例而言，無效深度移除模組146可對各深度區塊內的主深度值進行平均值運算，並獲取各個深度區塊的深度平均值。 然，在其他可行的實施例中，此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的統計運算方法，以依據適當的統計結果判斷主深度值是否為有效深度值，此處便不再贅述。

接著，無效深度移除模組146依據統計結果判斷主深度 值是否為無效深度值中的多個第一無效深度值，並將第一無效深度值從主深度圖dm_1中移除，從而產生包括破洞中的多個第一破洞的待修復深度圖(步驟S502)。也就是說，無效深度移除模組 146可依據統計結果來判斷各深度區塊內的主深度值是否具有第一無效深度值，此第一無效深度值與同一區塊內的其他主深度值相差太大而可視為無效。基此，無效深度移除模組146將第一無效深度值從主深度圖dm_1中移除，而產生對應至第一無效深度值的第一破洞。

舉例來說，圖6為依照本發明一實施例所繪示的依據統計結果移除無效深度值的範例示意圖。請參照圖6，假設主深度圖dm_1可依據區塊分佈圖m_2的劃分而包括深度區塊dz_1以及深度區塊dz_2。於本範例中，無效深度移除模組146對深度區塊dz_1內的主深度值進行平均運算，而獲取深度區塊dz_1的深度平均值。於是，無效深度移除模組146可依據深度平均值來判斷深度區塊dz_1內的所有主深度值是否為中的第一無效深度值。於本範例中，由於深度區塊dz_1內的主深度值d1與深度區塊dz_1的深度平均值差異太大，因此主深度值d1被判定為第一無效深度值。

相似地，由於深度區塊dz_1內的主深度值d2~d3與深 度區塊dz_1的深度平均值差異太大，因此主深度值d2~d3也被判定為第一無效深度值。於是，無效深度移除模組146將被視為第一無效深度值的主深度值d1從主深度圖dm_1中移除，從而產生包括破洞h1的待修復深度圖dm_3。相似的，無效深度移除模組146將被視為第一無效深度值的主深度值d2~d3從主深度圖中dm_1移除，從而分別產生包括破洞h2~h3。

需說明的是，經過步驟S501與步驟S502的處理，待修 復深度圖dm_3已因為第一無效深度值的移除而產生多個破洞。基此，於本實施例中，無效深度移除模組146可透過尚未被移除之有效深度值周圍的無效深度值的密度或有效深度值的密度來判斷主深度值的可信賴程度。

於是，無效深度移除模組146分別以非為第一無效深度值之主深度值中的多個第一有效深度值為中心，計算一限定範圍內這些第一無效深度值的多個無效密度值(步驟S503)。此限定範圍的尺寸可視實際應用情況而定，本發明對此不限制。舉例來說，限定範圍的尺寸例如可為5x5像素或10x10像素等。

接著，無效深度移除模組146依據這些無效密度值是否大於密度門檻值分別判斷各第一有效深度值是否為無效深度值中的多個第二無效深度值(步驟S504)。具體來說，倘若一深度值周圍的有效深度值太少，其可信賴度也就相對下降。因此，無效深度移除模組146可依據有效深度值的分佈狀況來決定尚未被移除的第一有效深度值是否為第二無效深度值。之後，無效深度移除模組146將第二無效深度值從主深度圖dm_1中移除，從而產生包括破洞中的多個第二破洞的待修復深度圖dm_3(步驟S505)。其中，此技術領域中具有通常知識者當可依據實際需求來設計密度門檻值，本發明對此並不限定。

舉例來說，圖7為依照本發明一實施例所繪示的依據密度移除無效深度值的範例示意圖。請參照圖7，於本範例中，主深度圖dm_1包括主深度值dz_4，且主深度值dz_4為尚未被移除的 有效深度值。無效深度移除模組146以主深度值dz_4為中心而計算限定範圍R1內之無效深度值的數目，並依據無效深度值的數目計算出關聯於主深度值dz_4的一個無效密度值。於圖7所示的範例中，於5x5像素大小的限定範圍R1內，有17個無效深度值(以斜線打底表示)，代表關聯於主深度值dz_4的無效密度值相當高。 也就是說，主深度值dz_4的可信賴度非常低。因此，於圖7所示的範例中，無效深度移除模組146將被視為二無效深度值的主深度值dz_4從主深度圖dm_1中移除，從而產生包括破洞h4的待修復深度圖dm_3。

回到圖5的流程，無效深度移除模組146還比對主深度 圖dm_1與輔深度圖dm_2，將不符合相互對應之輔助深度值的主深度值從主深度圖dm_1中移除，從而產生包括破洞中的多個第三破洞的待修復深度圖dm_3(步驟S506)。具體來說，無效深度移除模組146藉由交叉比對左深度圖與右深度圖來判斷深度值的可信賴度。若主深度圖dm_1上的主深度值與相互對應之輔深度值不一致，此主深度值可視為無效深度值。

整體來說，於本實施例中，首先利用區塊分佈圖與統計 運算對主深度圖進行第一階段的無效值移除處理。接著，再利用有效深度值的密度來進行第二階段的無效值移除處理。最後，透過交叉比對主深度圖與輔深度圖來進行第三階段的無效值移除處理。經過上述三個階段的無效值移除處理，可將主深度圖上許多可信賴度低的無效深度值移除。在將無效深度值移除而產生包括 破洞的待修復深度圖之後，本發明同樣可藉由區塊分佈圖來產生較貼近真實情況的優化深度值，以進一步產生優化後的優化深度圖。以下將列舉一實施例來說明本發明之補洞模組進行補洞的詳細內容。

圖8為依照本發明一實施例所繪示之對待修復深度圖進行補洞的運作示意圖。請參照圖8，補洞模組148依據區塊分佈圖獲取模組144所產生的區塊分佈圖對待修復深度圖dm_3進行補洞，以產生優化深度圖dm_4。需特別說明的是，圖8所示的範例中，區塊分佈圖獲取模組144所產生的區塊分佈圖包括第一區塊分佈圖群組m_f與第二區塊分佈圖群組m_c，且第一區塊分佈圖群組m_f與第二區塊分佈圖群組m_c所對應的切割精細度並不相同。

簡單來說，基於圖2與圖3的說明可知，差異門檻值以及尺寸門檻值可決定區塊分佈圖的切割精細度。也就是說，區塊分佈圖獲取模組144可依據差異門檻值或尺寸門檻值的設定而產生切割精細度不同的第一區塊分佈圖群組m_f與第二區塊分佈圖群組m_c。其中，第一區塊分佈圖群組m_f包括多個第一區塊分佈圖，而第二區塊分佈圖群組m_c包括多個第二區塊分佈圖。

進一步來說，在第一區塊分佈圖群組m_f基於一組差異門檻值以及尺寸門檻值而具有固定的切割精細度之情況下，區塊分佈圖獲取模組144可依據不同的中心基準點設定方式而產生第一區塊分佈圖群組m_f內的多個第一區塊分佈圖。舉例而言，第 一區塊分佈圖群組m_f包括第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2。第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2對應至相同的切割精細度，但第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2具有不同的區塊分割方式。

相似的，在第二區塊分佈圖群組m_c基於一組差異門檻 值以及尺寸門檻值而具有固定的切割精細度之情況下，區塊分佈圖獲取模組144可依據不同的中心基準點設定方式而產生第二區塊分佈圖群組m_c內的多個第二區塊分佈圖。舉例而言，第二區塊分佈圖群組m_c包括第二區塊分佈圖m_c1以及第二區塊分佈圖m_c2。第二區塊分佈圖m_c1以及第二區塊分佈圖m_c2對應至相同的切割精細度，但第二區塊分佈圖m_c1以及第二區塊分佈圖m_c2具有不同的區塊分割方式。基此，於一實施例中，補洞模組148可依據對應至不同的切割精細度的區塊分佈圖對待修復深度圖dm_3進行補洞。另一方方面，補洞模組148也可依據具有不同的區塊分割方式的區塊分佈圖對待修復深度圖dm_3進行補洞。

圖9A與圖9B是依照本發明一實施例所繪示的產生優化 深度圖的流程圖，以下即搭配圖8、圖9A與圖9B來說明本實施例之產生優化深度圖的詳細步驟。需先說明的是，於本實施例中，補洞模組148針對待修復深度圖dm_3進行三階段的補洞程序。於第一階段的補洞程序中，補洞模組148利用切割方式較密的第一區塊分佈圖群組m_f來進行補洞。於第二階段的補洞程序中，補洞模組148利用切割方式較粗的第二區塊分佈圖群組m_c來進行 補洞。也就是說，於本範例實施例中，第一區塊分佈圖群組m_f的切割精細度相較於第二區塊分佈圖群組m_c的切割精細度更為密集。

最後，第三階段的補洞程序中，補洞模組148利用第三區塊分佈圖群組來進行補洞。值得一提的是，第三區塊分佈圖群組的切割精細度比第二區塊分佈圖群組的切割精細度更為密集。需特別說明的是，於一實施例中，可將第一分佈圖群組m_f直接作為第三階段的第三區塊分佈圖群組，但本發明並不限制於此。於另一實施例中，第三區塊分佈圖群組所對應的切割精細度也可以與第一區塊分佈圖群組m_f所對應的切割精細度不相同。

請同時參照圖8、圖9A與圖9B，補洞模組148依據第一區塊分佈圖m_f1將待修復深度圖dm_3分成多個第一深度區塊，並依據各第一深度區塊中的破洞的數目而獲取第一有效密度值(步驟S901)。可以知道的是，同一第一深度區塊內的深度值具備一定的關聯性，且同一第一深度區塊內的各個深度值應該相當接近。於是，補洞模組148依據第一有效密度值而決定是否計算各第一深度區塊的第一深度平均值，並將第一深度平均值作為優化深度值之一而填補部份的破洞(步驟S902)。也就是說，於本發明的實施例中，補洞模組148更依據第一深度區塊的有效密度值來判定各第一深度區塊是否存在足夠的有效深度值。在有效深度值足夠的情況下，補洞模組148可產生可信賴度高的優化深度值。

詳細來說，步驟S902可分成子步驟S9021~子步驟 S9023。首先，補洞模組148依據第一有效密度值是否大於有效門檻值而決定是否計算各第一深度區塊的第一深度平均值(子步驟S9021)。也就是說，補洞模組148先將可信賴度較低的第一深度區塊過濾掉。接著，補洞模組148依據各第一深度區塊的第一有效密度值而獲取各第一深度區塊的處理順序，以及依據處理順序是否為高優先順序而決定是否填補各第一深度區塊中的破洞(子步驟S9022)。

具體來說，補洞模組148可計算各個第一深度區塊的有 效密度值，並依據有效密度值的高低來排序各個第一深度區塊。 基此，補洞模組148可得知哪些第一深度區塊具有較高的可信賴度，以依據足夠的有效深度值產生優化深度值。舉例來說，補洞模組148依據有效密度值的高低排序各個第一深度區塊後，補洞模組148將依據一預設比例閥值而先取具有較高的有效深度值的第一深度區塊進行補洞。此預設比例閥值的範圍例如可落在10%~70%，但非以限定本發明。本領域具備通常知識者可視實際應用狀況而決定預設閥值，本發明對此並不限制。挑選好要針對哪些第一深度區塊進行補洞後，補洞模組148再針對已經挑選出來的第一深度區塊計算第一深度平均值，並將第一深度平均值作為優化深度值之一而填補部份的破洞(子步驟S9023)。

可以知道的是，於本實施例中，補洞模組148並非一次 性的將所有破洞補完，而是先針對可信賴度較高的區域進行補洞。因此，補洞模組148重複步驟S901與步驟S902，直至重複 步驟S901與步驟S902的次數到達預設次數(步驟S903)。此預設次數的範圍如可落在10次~100次，但非以限定本發明。本領域具備通常知識者可視實際應用狀況而決定預設次數，本發明對此並不限制。

需特別說明的是，在重複步驟S901與步驟S902的過程中，補洞模組148可依據第一區塊分佈圖群組m_f內具有不同的區塊切割方式的多個第一區塊分佈圖來進行補洞。舉例而言，補洞模組148可依序利用第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2對待修復深度圖dm_3進行補洞，其中第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2具有相同的切割精細度。

進行完第一階段的補洞後，補洞模組148將利用切割精細度較粗的第二區塊分佈圖群組m_c來進行補洞。舉例來說，圖10為依照圖8之實施例所繪示的分佈區塊圖的範例示意圖。請參照圖10，第一區塊分佈圖群組m_f的第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2依據其中心基準設定方式的不同而具有不同的切割方式，第一區塊分佈圖m_f1以及第一區塊分佈圖m_f2具有相同的切割精細度。換言之，相關區塊dz_a與相關區塊dz_b的區塊尺寸接近但其切割形狀不相同。

同樣的，第二區塊分佈圖群組m_c的第二區塊分佈圖m_c1以及第二區塊分佈圖m_c2依據其中心基準設定方式的不同而具有不同的切割方式，但第二塊分佈圖m_c1以及第二區塊分佈圖m_c2具有相同的切割精細度。其中，第一區塊分佈圖群組m_f 的切割精細度相較於第二區塊分佈圖群組m_c的切割精細度更為密集。如圖10所示，第一區塊分佈圖m_f1上相關區塊dz_a的區塊尺寸小於第二塊分佈圖m_c1上相關區塊Z_c的區塊尺寸。

回到圖9的流程，補洞模組148依據第二區塊分佈圖m_c1 將待修復深度圖dm_3分成多個第二深度區塊，並依據各第二深度區塊中的破洞的數目而獲取第二有效密度值(步驟S904)。相似的，補洞模組148依據第二有效密度值而決定是否計算各第二深度區塊的第二深度平均值，並將第二深度平均值作為優化深度值之一而填補部份的破洞(步驟S905)。需說明的是，利用切割精細度較粗的第二區塊分佈圖群組m_c可針對待修復深度圖dm_3中紋理不清或輪廓邊緣資訊薄弱的部份進行修補。

再者，步驟S905可分成子步驟S9051~子步驟S9052。 補洞模組148依據各第二深度區塊的第二有效密度值而獲取各第二深度區塊的處理順序，以及依據處理順序是否為高優先順序而決定是否填補各第二深度區塊中的破洞(步驟S9051)。補洞模組148計算第二深度平均值，並將第二深度平均值作為優化深度值之一而填補部份的破洞(步驟S9052)。補洞模組148重複步驟S904與步驟S905，直至重複步驟S904與步驟S905的次數到達預設次數(步驟S906)。補洞模組148利用第二區塊分佈圖群組m_c來進行補洞的詳細內容與補洞模組148利用第一區塊分佈圖群組m_f來進行補洞的詳細內容相似，本領域具備通常知識者可依據上述說明而據以推知，於此不再贅述。

進行完第二階段的補洞後，補洞模組148依據第三區塊分佈圖將待修復深度圖dm_3分成多個第三深度區塊，並依據各第三深度區塊中的破洞的數目而獲取第三有效密度值(步驟S907)。 補洞模組148依據第三有效密度值而決定是否計算各第三深度區塊的第三深度平均值，並將第三深度平均值作為優化深度值之一而填補部份的破洞(步驟S908)。

承上述，步驟S908可分成子步驟S9081~子步驟S9082。 補洞模組148依據各第三深度區塊的第三有效密度值而獲取各第三深度區塊的處理順序，以及依據處理順序是否為高優先順序而決定是否填補各第三深度區塊中的破洞(步驟S9081)。補洞模組148計算第三深度平均值，並將第三深度平均值作為優化深度值之一而填補部份的破洞(步驟S9082)。

補洞模組148重複步驟S907與步驟S908，直至重複步驟S907與步驟S908的次數到達預設次數(步驟S909)。補洞模組148利用第三區塊分佈圖群組來進行補洞的詳細內容與補洞模組148利用第一區塊分佈圖群組m_f來進行補洞的詳細內容相似，本領域具備通常知識者可依據上述說明而據以推知，於此不再贅述。基此，透過上述之三階段的補洞流程，補洞模組148依據切割精細度不同的區塊分佈圖來依序填補待修復深度圖dm_3上的破洞，以產生具備高精準度的優化深度圖。

值得一提的是，透過對左影像與右影像執行三位深度估測所產生的深度圖通常具有部份的未知區域，像是深度圖的左邊 緣或右邊緣可因為用以產生深度值的資訊不夠而產生未知區域。 這些未知區域的周圍沒有有效的深度值，再怎麼從鄰近區域抓值來填補也只會抓到錯誤的值。然而，由於本發明是藉由區塊分佈圖以及特定的補洞條件來進行補洞，因此可利用區塊分佈圖並針對可信賴度高的區域先進行補洞，以藉由從可信賴度高逐漸擴散的方式而產生良好的優化深度圖。基此，本發明之優化深度圖的方式對於這些未知區域具良好的優化效果。

需說明的是，於上述的實施例中，在補洞模組利用不同 的區塊分佈圖而依序產生優化深度值的過程中，補洞模組係連續利用多張區塊分佈圖來對整張待修復深度圖做運算。然而，於另一實施例中，補洞模組更可以先將待修復深度圖分割成多個深度平面，而區塊分佈圖獲取模組可針對各個深度平面產生切割精細度不同的區塊分佈圖。如此，補洞模組可適應性的依據各深度平面所對應的區塊分佈圖來對各個深度平面進行補洞的優化處理。 以下將列舉一實施例來說明本發明如何針對各深度平面利用不同的區塊分佈圖來進行補洞的詳細內容。

圖11為依照本發明一實施例所繪示之優化深度資訊的裝 置的方塊圖。請參照圖11，本實施例之影像處理裝置20與圖1所示之影像處理裝置10相似，例如是行動電話、平板電腦、桌上型電腦、筆記型電腦或包含立體成像系統(未繪示)的立體像機，在此不設限。影像處理裝置20包括儲存單元24以及一個或多個處理單元(本實施例僅以處理單元26為例做說明，但不限於此)。

儲存單元24用以儲存資料與多個模組。與圖1所示之實施例不同的是，儲存單元24除了儲存深度估測模組242、區塊分佈圖獲取模組244、無效深度移除模組246以及補洞模組248之外，儲存單元24更儲存有深度平面分割模組249，這些模組例如是電腦程式，其可載入處理單元26，從而執行優化深度資訊的功能。

圖12是依照本發明一實施例所繪示之優化深度資訊的方 法的流程圖。請參照圖12，本實施例的方法適用於圖11的影像處理裝置20，以下即搭配影像處理裝置20中的各項元件說明本實施例之優化深度資訊的方法的詳細步驟。

首先，深度估測模組242對左影像與右影像進行三維深 度估測，以獲取關聯於左影像與右影像之一且對應至多個第一像素的主深度圖(步驟S1201)。接著，區塊分佈圖獲取模組244依據各第一像素的像素資訊，將關聯於主深度圖的左影像或右影像劃分成多個相關區塊，以獲取包括相關區塊的區塊分佈圖(步驟S1202)。之後，無效深度移除模組246利用區塊分佈圖來判斷第一像素所對應之主深度值是否符合可信賴條件，並將主深度值中不符合可信賴條件的多個無效深度值從主深度圖中移除，從而產生包括多個破洞的待修復深度圖(步驟S1203)。

進一步來說，無效深度移除模組246依據區塊分佈圖將 主深度圖分成多個深度區塊，並分別對各深度區塊內的主深度值進行統計運算而獲取統計結果。無效深度移除模組246依據統計 結果判斷主深度值是否為無效深度值中的多個第一無效深度值，並將第一無效深度值從主深度圖中移除，從而產生待修復深度圖上的破洞。

上述步驟S1201~步驟S1203與圖2所示之步驟S201~ 步驟S203相同或相似，於此不再贅述。與前述實施例不同的是，在產生待修復深度圖之後，本實施例之深度平面分割模組249獲取待修復深度圖，並依據待修復深度圖上的多個主深度值與相機參數將待修復深度圖區分成多個深度平面(步驟S1204)。換句話說，本實施例之深度平面分割模組249可依據原始影像的物距資訊將待修復深度圖劃分成相異的深度平面，而每個深度平面對應至相異的景深範圍。可以知道的是，各個深度平面也會具有因無效深度值被移除而產生的破洞。

詳細來說，步驟S1204可分成子步驟S12041~子步驟 S12042。首先，深度平面分割模組249依據主深度圖或待修復父深度圖上的主深度值與相機參數決定各主深度值的物距資訊(子步驟S12041)。具體來說，深度平面分割模組249可依據立體成像系統拍攝左右影像時的焦距資訊以及雙鏡頭間距等相機參數來計算出各個主深度值所對應之真正的物距資訊。換句話說，依據拍攝影像時的鏡頭焦距以及雙鏡頭間距，深度平面分割模組249可透過各個主深度值得知各個第一像素所對應的物距資訊。於此，物距資訊代表的是鏡頭到被攝物件之間的距離。

之後，深度平面分割模組249依照各主深度值的物距資 訊，將待修復深度圖劃分成對應至相互相異的多個景深範圍的深度平面，而各深度平面包括至少一相似物距區域(子步驟S12042)。具體來說，依據鏡頭的焦距資訊，深度平面分割模組249可經計算而得知原始左影像或右影像上的景物與鏡頭之間的距離，且深度平面分割模組249可依據景物與鏡頭之間的距離來劃分待修復深度圖。簡單來說，第一像素具有對應的主深度值，而深度平面分割模組249可依據相機參數與主深度值獲取對應至各第一像素物的物距資訊。即，主深度值也具有對應的物距資訊。

基此，深度平面分割模組249可依據主深度值所對應的 物距資訊決定各主深度值應該劃分至哪一深度平面，從而將待修復深度圖劃分為對應至不同的景深範圍的深度平面。然，本發明對於深度平面的數目與其對應的景深範圍並不加以限制，本領域具備通常知識者可依據實際應用狀況而定。舉例來說，深度平面分割模組249可將待修復深度圖劃分成三個深度平面，分別是遠距深度平面、中距深度平面以及近距深度平面。表1則為各深度平面所對應之景深範圍的範例之一，但本發明並不以此為限。由此可知，待修復深度圖將被劃分成多個相似物距區域，且這些相似物距區域將依照其物距資訊將分類至對應的深度平面。

為了更進一步詳細說明本發明，圖13為依照本發明一實 施例所繪示之深度平面的範例示意圖。請參照圖13，假設影像Img_14包括被攝物件14a、14b、14c。相較之下，被攝物件14c與鏡頭之間的距離最近，被攝物件14a與鏡頭之間的距離最遠，而被攝物件14b介於被攝物件14c與被攝物件14a之間。於本範例中，深度平面分割模組249可獲取關聯於影像Img_14的待修復深圖，而深度平面分割模組249可依照各主深度值的物距資訊將待修復深度圖劃分成對應至三個景深範圍的三個深度平面d_p1、d_p2、d_p3。

如圖13所示，物距最近的被攝物件14c所對應的相似物 距區域14c_zone屬於深度平面d_p1。被攝物件14b所對應的相似物距區域14b_zone屬於深度平面d_p2，而物距最遠的被攝物件14a所對應的相似物距區域14a_zone屬於深度平面d_p3。依此類推，待修復深度圖將依據各主深度值所對應的物距資訊而被分割成多個深度平面。

承上述，在將待修復深度圖區分成多個深度平面後，區 塊分佈圖獲取模組244決定各深度平面所對應的切割精細度，並依據切割精細度將關聯於待修復深度圖的左影像與右影像其中之一劃分成相關區塊，以獲取分別對應至各深度平面的區塊分佈圖(子步驟S1205)。進一步來說，這些深度平面分別對應至相互相異的多個景深範圍，而各深度平面的切割精細度基於各深度平面所對應的景深範圍而定。

於一實施例中，區塊分佈圖獲取模組244針對景深範圍較遠的深度平面所決定的切割精細度較為精細。相反的，區塊分佈圖獲取模組244針對景深範圍較近的深度平面所決定的切割精細度較為粗糙。如此一來，本實施例可依據實際景物的物距資訊來適應性的選擇用以進行補洞的區塊分佈圖，從而產生更接近真實情況的優化深度值。

簡單來說，區塊分佈圖獲取模組244比對第一像素中相互相鄰的第一相鄰像素與第二相鄰像素而獲取像素值差。依據此像素值差是否小於差異門檻值而決定是否連結第一相鄰像素與第二相鄰像素，從而將各第一像素區分至對應的相關區塊，其中區塊分佈圖的切割精細度依據差異門檻值而定。此外，區塊分佈圖獲取模組244依據尺寸門檻值來限定各相關區塊的區塊尺寸而獲取區塊分佈圖。各相關區塊的區塊尺寸不大於此尺寸門檻值，而區塊分佈圖的切割精細度依據此尺寸門檻值而定。然，決定區塊分佈圖切割精細度與產生區塊分佈圖的詳細內容已於前述實施例詳細說明，於此不再多加贅述。

換言之，本發明可藉由切割精細度不同的區塊分佈圖來對不同的深度平面進行補洞。於一實施例中，景深範圍越遠的深度平面將利用切割精細度較細的區塊分佈圖來產生用以補洞的優化深度值，景深範圍越近的深度平面將利用切割精細度較粗的區塊分佈圖來產生用以補洞的優化深度值。之後，補洞模組248利用區塊分佈圖而分別對各深度平面中的破洞產生多個優化深度 值，並將優化深度值填補至各深度平面而獲取結合各深度平面的優化深度圖(子步驟S1206)。也就是說，補洞模組248可針對各個深度平面並利用具有相異的切割精密度的區塊分佈圖來分別進行補洞，並將完成補洞後的各個深度平面結合而獲取完整的優化深度圖。

圖14為依照本發明一實施例所繪示之對待修復深度圖進 行補洞的運作示意圖。請參照圖14，補洞模組248依據區塊分佈圖獲取模組244所產生的區塊分佈圖對待修復深度圖dm_14進行補洞，以產生優化深度圖dm_15。需特別說明的是，在利用區塊分佈圖進行補洞之前，深度平面分割模組249依據相機參數將待修復深度圖dm_14區分成對應至多個景深範圍的多個深度平面dp_m1~dp_mm。

另一方面，區塊分佈圖獲取模組244針對各個深度平面 dp_m1~dp_mm產生對應至不同切割精細度的區塊分佈圖群組14_1~14_m。簡單來說，基於圖2與圖3的說明可知，差異門檻值以及尺寸門檻值可決定區塊分佈圖的切割精細度。也就是說，區塊分佈圖獲取模組244可依據差異門檻值或尺寸門檻值的設定而產生切割精細度不同的區塊分佈圖群組14_1~14_m。其中，區塊分佈圖群組14_1包括切割精密度相互相似的區塊分佈圖14_11~14_1n，而區塊分佈圖群組14_m包括切割精密度相互相似的區塊分佈圖14_m1~14_mn。區塊分佈圖群組14_1~14_m的產生方式與圖8所示之實施例相似，於此不再贅述。

基此，於一實施例中，補洞模組248可依據對應至不同的切割精細度的區塊分佈圖群組14_1~14_m來對各個深度平面dp_m1~dp_mm進行補洞。舉例來說，補洞模組248將依據區塊分佈圖群組14_1內的多張區塊分佈圖來對深度平面dp_m1上的破洞產生優化深度值，並將計算出來的優化深度值填補至相對應的破洞。

然而，關於補洞模組利用區塊分佈圖來產生優化深度值 以及補洞的內容已於前述實施例詳細說明，於此不再多加贅述。 簡單來說，補洞模組248可將各深度平面上的相似物距區域依據各自對應的區塊分佈圖而分割成多個深度區塊，並依據各深度區塊中的破洞的數目而獲取有效密度值。之後，補洞模組248依據此有效密度值而決定是否計算各深度區塊的深度統計值，並將深度統計值作為優化深度值之一而填補部份的破洞。簡單來說，上述深度區塊所涵蓋的範圍決定補洞模組248將取破洞周圍的多少個鄰近深度值來計算出優化深度值。另外，補洞模組248也可依據各深度區塊的有效密度值而獲取各深度區塊的處理順序，再依據此處理順序是否為高優先順序而決定是否填補各深度區塊中的破洞。

綜上所述，在本發明之產生深度資訊的實施例中，可依 據原始的左影像或右影像所提供的原圖資訊來對深度圖進行優化深度圖的動作。除此之外，本發還明可依據物距資訊將待修復深度圖分割成多深度平面，並利用切割精細度相互相異的區塊分佈 圖個別對每一深度平面進行補洞處理。如此一來，本發明可更彈性地決定用以決定優化深度值的鄰近資訊量，並加入實際物距資訊而產生更貼近真實狀況的優化深度值。據此，依據破洞周圍資訊所產生之優化深度值將用以填補深度圖中的破洞，從而產生雜訊含量低且準確度高的深度圖。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S1201~S1206‧‧‧優化深度資訊的方法的步驟

Claims (20)

1. 一種優化深度資訊的方法，適用於一電子裝置，其中一左影像與一右影像透過一立體成像系統的拍攝而產生，所述方法包括：將該左影像與該右影像其中之一劃分成多個相關區塊，以獲取至少一區塊分佈圖；獲取一待修復深度圖，並依據多個主深度值與相機參數將該待修復深度圖區分成多個深度平面，其中該待修復深度圖紀錄所述主深度值且具有多個破洞；以及利用所述區塊分佈圖來分別對各所述深度平面中的所述破洞產生多個優化深度值，並將所述優化深度值填補至各所述深度平面而獲取結合各所述深度平面的一優化深度圖。
2. 如申請專利範圍第1項所述的優化深度資訊的方法，其中獲取該待修復深度圖，並依據所述主深度值與該相機參數將該修復深度圖區分成所述深度平面的步驟包括：依據所述主深度值與該相機參數決定各所述主深度值的一物距資訊；以及依照各所述主深度值的該物距資訊，將該待修復深度圖劃分成對應至相互相異的多個景深範圍的所述深度平面，且各所述深度平面包括至少一相似物距區域。
3. 如申請專利範圍第1項所述的優化深度資訊的方法，其中將該左影像與該右影像其中之一劃分成所述相關區塊，以獲取所 述區塊分佈圖的步驟包括：決定各所述深度平面的一切割精細度，並依據所述切割精細度將關聯於該待修復深度圖的該左影像與該右影像其中之一劃分成所述相關區塊，以獲取分別對應至各所述深度平面的所述區塊分佈圖。
4. 如申請專利範圍第3項所述的優化深度資訊的方法，其中所述深度平面分別對應至相互相異的多個景深範圍，而各所述深度平面的該切割精細度基於各所述深度平面所對應的所述景深範圍而定。
5. 如申請專利範圍第3項所述的優化深度資訊的方法，其中被劃分成所述相關區塊的該左影像或該右影像具有多個第一像素，而依據所述切割精細度將關聯於該待修復深度圖的該左影像與該右影像其中之一劃分成所述相關區塊的步驟包括：比對所述第一像素中相互相鄰的一第一相鄰像素與一第二相鄰像素而獲取一像素值差；以及依據該像素值差是否小於一差異門檻值而決定是否連結該第一相鄰像素與該第二相鄰像素，從而將各所述第一像素區分至對應的所述相關區塊，其中所述區塊分佈圖的該切割精細度依據該差異門檻值而定。
6. 如申請專利範圍第5項所述的優化深度資訊的方法，其中依據所述切割精細度將關聯於該待修復深度圖的該左影像與該右影像其中之一劃分成所述相關區塊的步驟更包括： 依據一尺寸門檻值來限定各所述相關區塊的區塊尺寸而獲取所述區塊分佈圖，其中各所述相關區塊的區塊尺寸不大於該尺寸門檻值，而所述區塊分佈圖的該切割精細度依據該尺寸門檻值而定。
7. 如申請專利範圍第3項所述的優化深度資訊的方法，其中利用所述區塊分佈圖來分別對各所述深度平面中的所述破洞產生所述優化深度值，並將所述優化深度值填補至各所述深度平面而獲取結合各所述深度平面的該優化深度圖的步驟包括：將各所述深度平面的至少一相似物距區域依據各自對應的所述區塊分佈圖而分割成多個第一深度區塊，並依據各所述第一深度區塊中的所述破洞的數目而獲取一第一有效密度值；以及依據該第一有效密度值而決定是否計算各所述第一深度區塊的一第一深度統計值，並將該第一深度統計值作為所述優化深度值之一而填補部份的所述破洞。
8. 如申請專利範圍第7項所述的優化深度資訊的方法，其中依據該第一有效密度值而決定是否計算各所述第一深度區塊的該第一深度統計值的步驟包括：依據各所述第一深度區塊的該第一有效密度值而獲取各所述第一深度區塊的一處理順序，以及依據該處理順序是否為一高優先順序而決定是否填補各所述第一深度區塊中的所述破洞。
9. 如申請專利範圍第1項所述的優化深度資訊的方法，在獲取該待修復深度圖的步驟之前，更包括： 對該左影像與該右影像進行一三維深度估測，以獲取關聯於該左影像與該右影像之一且對應至多個第一像素的一主深度圖，其中該主深度圖紀錄分別對應至所述第一像素的該些主深度值；以及利用所述區塊分佈圖來判斷所述第一像素所對應之所述主深度值是否符合一可信賴條件，並將所述主深度值中不符合該可信賴條件的多個無效深度值從該主深度圖中移除，從而產生包括所述破洞的該待修復深度圖。
10. 如申請專利範圍第9項所述的優化深度資訊的方法，其中利用所述區塊分佈圖來判斷所述第一像素所對應之所述主深度值是否符合該可信賴條件，並將所述主深度值中不符合該可信賴條件的所述無效深度值從該主深度圖中移除，從而產生包括所述破洞的該待修復深度圖的步驟包括：依據所述區塊分佈圖將該主深度圖分成多個深度區塊，並分別對各所述深度區塊內的所述主深度值進行一統計運算而獲取一統計結果；以及依據該統計結果判斷所述主深度值是否為所述無效深度值中的多個第一無效深度值，並將所述第一無效深度值從該主深度圖中移除，從而產生該待修復深度圖上的所述破洞。
11. 一種優化深度資訊的裝置，其中該裝置透過一立體成像系統的拍攝而獲取一左影像與一右影像，包括：一儲存單元，記錄多個模組；以及 一或多個處理單元，耦接該儲存單元，存取並執行儲存單元中記錄的所述模組，所述模組包括：一區塊分佈圖獲取模組，將該左影像與該右影像其中之一劃分成多個相關區塊，以獲取至少一區塊分佈圖；一深度平面分割模組，獲取一待修復深度圖，並依據多個主深度值與相機參數將該待修復深度圖區分成多個深度平面，其中該待修復深度圖紀錄所述主深度值且具有多個破洞；以及一補洞模組，利用所述區塊分佈圖而分別對各所述深度平面中的所述破洞產生多個優化深度值，並將所述優化深度值填補至各所述深度平面而獲取結合各所述深度平面的一優化深度圖。
12. 如申請專利範圍第11項所述的優化深度資訊的裝置，其中該深度平面分割模組依據所述主深度值與該相機參數決定各所述主深度值的一物距資訊，以及依照各所述主深度值的該物距資訊將該待修復深度圖劃分成對應至相互相異的多個景深範圍的所述深度平面，其中所述深度平面包括至少一相似物距區域。
13. 如申請專利範圍第11項所述的優化深度資訊的裝置，其中該區塊分佈圖獲取模組決定各所述深度平面的一切割精細度，並依據該切割精細度將關聯於該待修復深度圖的該左影像與該右影像其中之一劃分成所述相關區塊，以獲取對應至各所述深度平面的所述區塊分佈圖。
14. 如申請專利範圍第13項所述的優化深度資訊的裝置，其 中所述深度平面分別對應至相互相異的多個景深範圍，而各所述深度平面的該切割精細度基於各所述深度平面所對應的所述景深範圍而定。
15. 如申請專利範圍第13項所述的優化深度資訊的裝置，其中被劃分成所述相關區塊的該左影像或該右影像具有多個第一像素，且該區塊分佈圖獲取模組比對所述第一像素中相互相鄰的一第一相鄰像素與一第二相鄰像素而獲取一像素值差，並依據該像素值差是否小於一差異門檻值而決定是否連結該第一相鄰像素與該第二相鄰像素，從而將各所述第一像素區分至對應的所述相關區塊，其中所述區塊分佈圖的一切割精細度依據該差異門檻值而定。
16. 如申請專利範圍第15項所述的優化深度資訊的裝置，其中該區塊分佈圖獲取模組依據一尺寸門檻值來限定各所述相關區塊的區塊尺寸而獲取所述區塊分佈圖，其中各所述相關區塊的區塊尺寸不大於該尺寸門檻值，而所述區塊分佈圖的該切割精細度依據該尺寸門檻值而定。
17. 如申請專利範圍第13項所述的優化深度資訊的裝置，其中該補洞模組將各所述深度平面的至少一相似物距區域依據各自對應的所述區塊分佈圖而分割成多個第一深度區塊，並依據各所述第一深度區塊中的所述破洞的數目而獲取一第一有效密度值，以及依據該第一有效密度值而決定是否計算各所述第一深度區塊的一第一深度統計值，並將該第一深度統計值作為所述優化深度 值之一而填補部份的所述破洞。
18. 如申請專利範圍第17項所述的優化深度資訊的裝置，其中該補洞模組依據各所述第一深度區塊的該第一有效密度值而獲取各所述第一深度區塊的一處理順序，以及依據該處理順序是否為一高優先順序而決定是否填補各所述第一深度區塊中的所述破洞。
19. 如申請專利範圍第11項所述的優化深度資訊的裝置，所述模組更包括：一深度估測模組，對該左影像與該右影像進行一三維深度估測，以獲取關聯於該左影像與該右影像之一且對應至多個第一像素的一主深度圖，其中該主深度圖紀錄分別對應至所述第一像素的該些主深度值；以及一無效深度移除模組，利用所述區塊分佈圖來判斷所述第一像素所對應之所述主深度值是否符合一可信賴條件，並將所述主深度值中不符合該可信賴條件的多個無效深度值從該主深度圖中移除，從而產生包括所述破洞的該待修復深度圖。
20. 如申請專利範圍第19項所述的優化深度資訊的裝置，其中該無效深度移除模組依據所述區塊分佈圖將該主深度圖分成多個深度區塊，並分別對各所述深度區塊內的所述主深度值進行一統計運算而獲取一統計結果，依據該統計結果判斷所述主深度值是否為所述無效深度值中的多個第一無效深度值，並將所述第一無效深度值從該主深度圖中移除，從而產生該待修復深度圖上的所述破洞。