TWI567476B - 影像處理裝置與影像處理方法 - Google Patents

Description

影像處理裝置與影像處理方法

本發明是有關於一種影像處理裝置和影像處理方法，尤指一種可根據原始影像和輸入影像的深度圖資訊，融合原始影像的部分至輸入影像內的對應或預定景深中以產生混合影像的影像處理裝置和影像處理方法。

現今雙照相機模組廣泛應用在許多終端裝置中用以執行影像處理，像是雙照相機模組可應用在筆記型電腦或是智慧型手機上執行影像處理。而具有雙照相機模組的終端裝置可融合雙照相機模組所擷取的目標物件和輸入至終端裝置中的輸入影像以產生虛擬實境影像。然而終端裝置僅是將雙照相機模組所擷取的目標物件覆蓋在輸入影像，亦即終端裝置在融合雙照相機模組所擷取的目標物件至輸入影像時，終端裝置並不會根據雙照相機模組所擷取的目標物件所具有的深度資訊，融合雙照相機模組所擷取的目標物件至輸入影像內的對應景深中。因此，如何將雙照相機模組所擷取的目標物件真正地融合至輸入影像內的對應景深中是一項具有吸引力的主題。

本發明的一實施例提供一種影像處理裝置。該影像處理裝置包含一影像擷取器、一濾波器、一深度估計單元和一混合器。該影像擷取器是用以擷取包含至少一目標物件的一原始影像及產生對應該原始影像的第一深度圖。該濾波器是用以根據該第一深度圖，從該原始影像中選擇該至少一目標 物件和產生包含該至少一目標物件的暫時影像，其中該暫時影像具有該至少一目標物件的深度資訊。該深度估計單元是用以根據一輸入影像，產生對應該輸入影像的第二深度圖。該混合器是用以根據該至少一目標物件的深度資訊和該第二深度圖，將該暫時影像融合至該輸入影像內的一預定景深中，以產生包含該輸入影像和該至少一目標物件的混合影像。

本發明的另一實施例提供一種影像處理裝置。該影像處理裝置包含一影像擷取器、一濾波器、一深度估計單元、一影像強化器和一混合器。該影像擷取器是用以擷取包含至少一目標物件的一原始影像及產生對應該原始影像的第一深度圖。該濾波器是用以根據該第一深度圖，從該原始影像中選擇該至少一目標物件和產生包含該至少一目標物件的暫時影像，其中該暫時影像具有該至少一目標物件的深度資訊。該深度估計單元是用以根據一輸入影像，產生對應該輸入影像的第二深度圖。該影像強化器是用以比對該暫時影像內的至少一目標物件與該原始影像內的至少一目標物件，以強化該暫時影像內的至少一目標物件，並輸出該強化後的暫時影像。該混合器是用以該至少一目標物件的深度資訊和該第二深度圖，將該強化後的暫時影像融合至該輸入影像內的一預定景深中，以產生包含該輸入影像和該強化後的暫時影像內的至少一目標物件的混合影像。

本發明的另一實施例提供一種影像處理方法，其中應用於該影像處理方法的影像處理裝置包含一輸入介面、一影像擷取器、一濾波器、一深度估計單元、一混合器和一輸出介面。該影像處理方法包含該影像擷取器擷取包含至少一目標物件的一原始影像及產生對應該原始影像的第一深度圖；該濾波器根據該第一深度圖，從該原始影像中選擇該至少一目標物件和產生包含該至少一目標物件的暫時影像，其中該暫時影像具有該至少一目標物件的深度資訊；該深度估計單元根據一輸入影像，產生對應該輸入影像的第二 深度圖；及該混合器根據該至少一目標物件的深度資訊和該第二深度圖，將該暫時影像融合至該輸入影像內的一預定景深中，以產生包含該輸入影像和該至少一目標物件的混合影像。

本發明提供一種影像處理裝置和影像處理方法。該影像處理裝置和該影像處理方法利用一影像擷取器擷取包含至少一目標物件的一原始影像以及產生對應該原始影像的第一深度圖，利用一濾波器產生包含該至少一目標物件的暫時影像，利用一深度估計單元根據一輸入影像，產生對應該輸入影像的第二深度圖，以及利用一混合器根據一深度測試方法、該至少一目標物件的深度資訊和該第二深度圖產生包含該輸入影像和該至少一目標物件的混合影像。因此，相較於現有技術，因為本發明可融合該至少一目標物件至該輸入影像內的對應或預定景深中以產生包含該輸入影像和至少一目標物件的混合影像，所以本發明可擴大該影像處理裝置的應用領域，進而增添該影像處理裝置的使用者的生活樂趣。

80‧‧‧盒子

90‧‧‧外殼

100、1300‧‧‧影像處理裝置

102‧‧‧影像擷取器

104‧‧‧濾波器

105‧‧‧影像強化器

106‧‧‧深度估計單元

108‧‧‧輸入介面

110‧‧‧輸出介面

112‧‧‧混合器

114‧‧‧目標物件

116‧‧‧山巒

1022、1024‧‧‧影像感測器

1026‧‧‧立體照相機

BI‧‧‧混合影像

FD‧‧‧第一深度圖

INI‧‧‧輸入影像

OI‧‧‧原始影像

SD‧‧‧第二深度圖

TEI‧‧‧暫時影像

1400-1414、1500-1516‧‧‧步驟

第1圖是本發明第一實施例說明一種影像處理裝置100的示意圖。

第2圖是說明原始影像的示意圖。

第3圖是說明第一深度圖的示意圖。

第4圖是說明暫時影像的示意圖。

第5圖是說明二維視訊畫面的示意圖。

第6圖是說明左右的三維影像格式的視訊畫面的示意圖。

第7圖是說明上下的三維影像格式的視訊畫面的示意圖。

第8圖是說明二維影像加上深度資訊的三維影像格式的視訊畫面的示意圖。

第9圖是說明第二深度圖的示意圖。

第10圖是說明混合影像的示意圖。

第11圖是說明影像處理裝置的外觀的示意圖。

第12圖是說明影像處理裝置的外殼的示意圖。

第13圖是本發明第二實施例說明影像處理裝置的示意圖。

第14圖是本發明第三實施例說明一種影像處理方法的流程圖。

第15圖是本發明第四實施例說明一種影像處理方法的流程圖。

請參照第1圖，第1圖是本發明第一實施例說明一種影像處理裝置100的示意圖。如第1圖所示，影像處理裝置100包含一影像擷取器102、一濾波器104、一深度估計單元106、一輸入介面108，一輸出介面110和一混合器112。影像擷取器102是用以擷取包含一目標物件114的一原始影像OI(如第2圖所示)及產生對應原始影像OI的第一深度圖FD(如第3圖所示)，其中原始影像OI內的山巒116和目標物件114具有不同的深度資訊。如第1圖所示，影像擷取器102包含一具有二個影像感測器1022、1024的立體照相機1026，其中立體照相機1026的二個影像感測器1022、1024是用以分別擷取對應於原始影像OI的一第一影像和一第二影像。但本發明並不受限於立體照相機1026包含二個影像感測器1022、1024，亦即立體照相機1026可包含二個以上影像感測器。影像擷取器102根據由立體照相機1026所產生的第一影像和第二影像，產生第一深度圖FD，其中為了產生第一深度圖FD，影像擷取器102可對該第一影像和該第二影像中的每一畫面的每一掃描線嵌入一同步信號。例如，該第一影像包含一第一畫面以及該第二影像包含一第二畫面，以及影像擷取器102可對該第一畫面和該第二畫面的每一掃描線嵌入一同步信號。在本發明的一實施例中，該第一畫面和該第二畫面中的每一畫面包含720條掃描線，其中該第一畫面的第一掃描線對應於該第二畫面的第一掃描線，以及影像擷取器102可嵌入同一同步信號至該第一畫面的第一掃描 線和該第二畫面的第一掃描線。如此，影像擷取器102即可根據該第一畫面的第一掃描線和該第二畫面的第一掃描線，計算出對應於該第一畫面的第一掃描線和該第二畫面的第一掃描線的深度圖資訊。另外，該同步信號的頻率是根據該第一畫面和該第二畫面的掃描線數目(或該第一畫面和該第二畫面的解析度)而變。另外，在本發明的另一實施例中，原始影像OI可包含一組原始畫面的視訊資料流，以及第一深度圖FD包含複數個對應該組原始畫面的深度圖資訊。例如，該組原始畫面包含對應該第一影像的第一組畫面和對應該第二影像的第二組畫面，以及第一深度圖FD包含複數個深度圖資訊，其中該複數個深度圖資訊是由影像擷取器102根據該第一組畫面和該第二組畫面所產生，且該複數個深度圖資訊對應於該組原始畫面。另外，本發明並不受限於原始影像OI僅包含目標物件114，亦即原始影像OI可包含超過一以上的目標物件。

如第1圖所示，濾波器104耦接於影像擷取器102，用以根據對應原始影像OI的第一深度圖FD(包含目標物件114的深度資訊)，從原始影像OI中選擇目標物件114和產生包含目標物件114的暫時影像TEI(如第4圖所示)，其中暫時影像TEI具有目標物件114的深度資訊。在本發明的另一實施例中，濾波器104是用以移除原始影像OI內目標物件114之外其他物件以產生包含目標物件114的暫時影像TEI。

如第1圖所示，輸入介面108是用以接收一輸入影像INI，其中輸入介面108可以是一高解析多媒體介面(High-Definition Multimedia Interface,HDMI)、一通用序列匯流排(Universal Serial Bus,USB)介面、一雷電(thunderbolt)介面、一無線通訊介面或其他用以接收輸入影像INI的介面。另外，輸入影像INI可為一二維視訊畫面(如第5圖所示)、一左右的三維影像格式的視訊畫面(如第6圖所示)、一上下的三維影像格式的視訊畫面(如第7圖 所示)或一二維影像加上深度資訊的三維影像格式的視訊畫面(如第8圖所示)，其中當輸入影像INI是二維影像加上深度資訊的三維影像格式的視訊畫面時，因為輸入影像INI具有已萃取好的相對應深度資訊，所以深度估計單元106並非必須。另外，在本發明的另一實施例中，輸入影像INI可以是一視訊資料流或一具有一組畫面的電影。

如第1圖所示，深度估計單元106耦接於輸入介面108，用以根據輸入影像INI，產生對應輸入影像INI的第二深度圖SD(如第9圖所示)。混合器112耦接於深度估計單元106和濾波器104，用以根據目標物件114的深度資訊和第二深度圖SD，將暫時影像TEI融合至輸入影像INI內的一預定景深中，以產生包含輸入影像INI和目標物件114的混合影像BI(如第10圖所示)，而非受限傳統僅能將暫時影像TEI固定置放於輸入影像INI的最前景深處或最後景深處。該預定景深可以是依據第一深度圖FD與第二深度圖SD進行決定，也可是介於第二深度圖SD中最大景深值與最小景深值間之一個數值。於本發明的一實施例中，混合器112耦接於深度估計單元106和濾波器104，用以根據一深度測試(Z-test)方法、目標物件114的深度資訊和第二深度圖SD，融合暫時影像TEI與輸入影像INI以產生包含輸入影像INI和目標物件114的混合影像BI(如第10圖所示)。混合器112可根據該深度測試方法、目標物件114的深度資訊和第二深度圖SD，產生混合影像BI，所以混合器112可融合目標物件114至輸入影像INI內的對應或預定景深中，而非僅能置放於輸入影像INI的最前景深處或最後景深處。

如第1圖所示，輸出介面110是用以從混合器112接收混合影像BI，以及輸出混合影像BI至一外部顯示器。輸出介面110可以是一高解析多媒體介面、一通用序列匯流排介面、一雷電介面、一無線通訊介面或其他可用以輸出混合影像BI至該外部顯示器的介面。

另外，請參照第11圖，第11圖是說明包含一盒子80的影像處理裝置100的外觀的示意圖。如第11圖所示，輸入介面108和輸出介面110分別被設置在盒子80內的兩邊以接收輸入影像INI和輸出混合影像BI；影像擷取器102是設置在盒子80上，以及影像擷取器102的視角是可被自動地或手動地調整以擷取包含目標物件114的原始影像OI。另外，影像處理裝置100可另包含一外殼90(如第12圖所示)，外殼90是用以包覆影像擷取器102與盒子80，亦即外殼90是用以包覆如第1圖所示的影像處理裝置100的影像擷取器102、濾波器104、混合器112、輸入介面108、深度估計單元106及輸出介面110。

請參照第13圖，第13圖是本發明第二實施例說明一影像處理裝置1300的示意圖。如第13圖所示，影像處理裝置1300和影像處理裝置100之間的差別在於影像處理裝置1300另包含一影像強化器105。如第13圖所示，影像強化器105是耦接於濾波器104與混合器112之間，且影像強化器105是用以比對暫時影像TEI內的目標物件114與原始影像OI內的目標物件114，以強化暫時影像TEI內的目標物件114，並輸出該強化後的暫時影像至混合器112，其中該強化後的暫時影像內的目標物件114較暫時影像TEI內的目標物件114清晰。在混合器112接收該強化後的暫時影像與輸入影像INI後，混合器112可結合該強化後的暫時影像與輸入影像INI以產生包含輸入影像INI和該強化後的暫時影像內的目標物件114的混合影像。另外，影像強化器105內包含一緩衝器，該緩衝器是用以儲存原始影像OI與暫時影像TEI。另外，影像處理裝置1300的其餘操作原理都和影像處理裝置100相同，在此不再贅述。

請參照第1-10圖和第14圖，第14圖是本發明第三實施例說明一 種影像處理方法的流程圖。第14圖的影像處理方法是利用第1圖的影像處理裝置100說明，詳細步驟如下：步驟1400：開始；步驟1402：影像擷取器102擷取包含目標物件114的原始影像OI及產生對應原始影像OI的第一深度圖FD；步驟1404：濾波器104根據第一深度圖FD，從原始影像OI中選擇目標物件114和產生包含目標物件114的暫時影像TEI，進行步驟1410；步驟1406：輸入介面108接收輸入影像INI；步驟1408：深度估計單元106根據輸入影像INI，產生對應輸入影像INI的第二深度圖SD；步驟1410：混合器112根據該深度測試方法、目標物件114的深度資訊和第二深度圖SD，融合暫時影像TEI與輸入影像INI以產生包含輸入影像INI和目標物件114的混合影像BI；步驟1412：輸出介面110從混合器112接收混合影像BI，以及輸出混合影像BI至該外部顯示器；步驟1414：結束。

在步驟1402中，如第2圖所示，影像擷取器102所擷取的原始影像OI內的山巒116和目標物件114具有不同的深度資訊。另外，本發明並不受限於原始影像OI僅包含目標物件114，亦即原始影像OI可包含超過一以上的目標物件。

在步驟1404中，如第4圖所示，濾波器104可根據對應原始影像OI的第一深度圖FD(包含目標物件114的深度資訊)，從原始影像OI中選擇 目標物件114和產生包含目標物件114的暫時影像TEI，其中暫時影像TEI具有目標物件114的深度資訊。另外，在本發明的另一實施例中，濾波器104是用以移除原始影像OI內目標物件114之外其他物件以產生包含目標物件114的暫時影像TEI。

在步驟1406中，輸入影像INI可為一二維視訊畫面(如第5圖所示)、一左右的三維影像格式的視訊畫面(如第6圖所示)、一上下的三維影像格式的視訊畫面(如第7圖所示)或一二維影像加上深度資訊的三維影像格式的視訊畫面(如第8圖所示)，其中當輸入影像INI是二維影像加上深度資訊的三維影像格式的視訊畫面時，因為輸入影像INI具有已萃取好的相對應深度資訊，所以深度估計單元106並非必須。另外，在本發明的另一實施例中，輸入影像INI可以是一視訊資料流或一具有一組畫面的電影。

在步驟1408中，深度估計單元106可根據輸入影像INI，產生對應輸入影像INI的第二深度圖SD(如第9圖所示)。在步驟1410中，在深度估計單元106產生第二深度圖SD和濾波器104產生包含目標物件114的暫時影像TEI後，混合器112即可根據該深度測試方法、目標物件114的深度資訊和第二深度圖SD，融合暫時影像TEI與輸入影像INI以產生包含輸入影像INI和目標物件114的混合影像BI(如第10圖所示)。因為混合器112是根據該深度測試方法、目標物件114的深度資訊和第二深度圖SD，產生混合影像BI，所以混合器112可融合目標物件114至輸入影像INI內的對應景深中。

請參照第13圖和第15圖，第15圖是本發明第四實施例說明一種影像處理方法的流程圖。第15圖的影像處理方法是利用第13圖的影像處理裝置1300說明，詳細步驟如下： 步驟1500：開始； 步驟1502：影像擷取器102擷取包含目標物件114的原始影像OI及產生對應原始影像OI的第一深度圖FD； 步驟1504：濾波器104根據第一深度圖FD，從原始影像OI中選擇目標物件114和產生包含目標物件114的暫時影像TEI； 步驟1506：影像強化器105比對暫時影像TEI內的目標物件114與原始影像OI內的目標物件114，以強化暫時影像TEI內的目標物件114，並輸出該強化後的暫時影像，進行步驟1512； 步驟1508：輸入介面108接收輸入影像INI； 步驟1510：深度估計單元106根據輸入影像INI，產生對應輸入影像INI的第二深度圖SD； 步驟1512：混合器112根據該深度測試方法、目標物件114的深度資訊和第二深度圖SD，融合該強化後的暫時影像與輸入影像INI以產生包含輸入影像INI和該強化後的暫時影像內的目標物件114的混合影像； 步驟1514：輸出介面110從混合器112接收該混合影像，以及輸出該混合影像至該外部顯示器；步驟1516：結束。

第15圖的實施例和第14圖的實施例的差別在於在步驟1506中，影像強化器105可用以比對暫時影像TEI內的目標物件114與原始影像OI內的目標物件114，以強化暫時影像TEI內的目標物件114，並輸出該強化後的暫時影像至混合器112，其中該強化後的暫時影像內的目標物件114較暫時影像TEI內的目標物件114清晰；在步驟1512中，在混合器112接收該強化後的暫時影像與輸入影像INI後，混合器112可結合該強化後的暫時影像與輸入影像INI以產生包含輸入影像INI和該強化後的暫時影像內的目標物件114的混合影像。另外，第15圖的實施例的其餘操作原理都和第14圖的實 施例相同，在此不再贅述。

綜上所述，本發明所提供的影像處理裝置和影像處理方法是利用該影像擷取器擷取包含至少一目標物件的一原始影像以及產生對應該原始影像的第一深度圖，利用該濾波器產生包含該至少一目標物件的暫時影像，利用該深度估計單元根據一輸入影像，產生對應該輸入影像的第二深度圖，以及利用該混合器根據該深度測試方法、該至少一目標物件的深度資訊和該第二深度圖產生包含該輸入影像和該至少一目標物件的混合影像。因此，相較於現有技術，因為本發明可融合該至少一目標物件至該輸入影像內的對應或預定景深中以產生包含該輸入影像和至少一目標物件的混合影像，所以本發明可擴大該影像處理裝置的應用領域，進而增添該影像處理裝置的使用者的生活樂趣。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧影像處理裝置

102‧‧‧影像擷取器

104‧‧‧濾波器

106‧‧‧深度估計單元

108‧‧‧輸入介面

110‧‧‧輸出介面

112‧‧‧混合器

1022、1024‧‧‧影像感測器

1026‧‧‧立體照相機

INI‧‧‧輸入影像

Claims (18)

1. 一種影像處理裝置，包含：一影像擷取器，用以擷取包含至少一目標物件的一原始影像及產生對應該原始影像的第一深度圖；一濾波器，用以根據該第一深度圖，從該原始影像中選擇該至少一目標物件和產生包含該至少一目標物件的暫時影像，其中該暫時影像具有該至少一目標物件的深度資訊；一深度估計單元，用以根據一輸入影像，產生對應該輸入影像的第二深度圖；及一混合器，用以根據該至少一目標物件的深度資訊和該第二深度圖，將該暫時影像融合至該輸入影像內的一預定景深中，以產生包含該輸入影像和該至少一目標物件的混合影像。
2. 如請求項1所述的影像處理裝置，另包含：一輸入介面，用以接收該輸入影像。
3. 如請求項2所述的影像處理裝置，其中該輸入介面是一高解析多媒體介面(High-Definition Multimedia Interface,HDMI)、一通用序列匯流排(Universal Serial Bus,USB)介面、一雷電(thunderbolt)介面或一無線通訊介面。
4. 如請求項1所述的影像處理裝置，另包含：一輸出介面，用以從該混合器接收該混合影像，以及輸出該混合影像至一外部顯示器。
5. 如請求項4所述的影像處理裝置，其中該輸出介面是一高解析多媒體介 面、一通用序列匯流排介面、一雷電介面或一無線通訊介面。
6. 如請求項1所述的影像處理裝置，其中該影像擷取器包含具有二影像感測器的立體照相機，以及該二影像感測器是用以分別產生對應該原始影像的一第一影像和一第二影像。
7. 如請求項6所述的影像處理裝置，其中該影像擷取器是根據由該立體照相機所產生的該第一影像和該第二影像，產生對應該原始影像的第一深度圖。
8. 如請求項7所述的影像處理裝置，其中該第一影像包含一第一畫面和該第二影像包含一第二畫面，以及該影像擷取器對該第一畫面和該第二畫面嵌入一同步信號。
9. 如請求項8所述的影像處理裝置，其中該同步信號的頻率是根據該第一畫面和該第二畫面的掃描線的數目而變。
10. 如請求項7所述的影像處理裝置，其中該原始影像包含一組原始畫面，該組原始畫面包含對應該第一影像的第一組畫面，以及對應該第二影像的第二組畫面，其中該第一深度圖包含複數個深度圖資訊，且該複數個深度圖資訊是由該影像擷取器根據該第一組畫面和該第二組畫面所產生。
11. 如請求項10所述的影像處理裝置，其中該複數個深度圖資訊是對應該組原始畫面。
12. 如請求項1所述的影像處理裝置，其中該混合器更根據一深度測試法，將該暫時影像融合至該輸入影像內的該預定景深中，以產生該混合影像。
13. 一種影像處理裝置，包含：一影像擷取器，用以擷取包含至少一目標物件的一原始影像及產生對應該原始影像的第一深度圖；一濾波器，用以根據該第一深度圖，從該原始影像中選擇該至少一目標物件和產生包含該至少一目標物件的暫時影像，其中該暫時影像具有該至少一目標物件的深度資訊；一深度估計單元，用以根據一輸入影像，產生對應該輸入影像的第二深度圖；一影像強化器，用以比對該暫時影像內的至少一目標物件與該原始影像內的至少一目標物件，以強化該暫時影像內的至少一目標物件，並輸出該強化後的暫時影像；及一混合器，用以根據該至少一目標物件的深度資訊和該第二深度圖，將該強化後的暫時影像融合至該輸入影像內的一預定景深中，以產生包含該輸入影像和該強化後的暫時影像內的至少一目標物件的混合影像。
14. 如請求項13所述的影像處理裝置，其中該影像強化器包含一緩衝器，且該緩衝器是用以儲存該原始影像與該暫時影像。
15. 一種影像處理方法，其中應用於該影像處理方法的影像處理裝置包含一輸入介面、一影像擷取器、一濾波器、一深度估計單元、一混合器和一輸出介面，該影像處理方法包含：該影像擷取器擷取包含至少一目標物件的一原始影像及產生對應該原始影像的第一深度圖；該濾波器根據該第一深度圖，從該原始影像中選擇該至少一目標物件和 產生包含該至少一目標物件的暫時影像，其中該暫時影像具有該至少一目標物件的深度資訊；該深度估計單元根據一輸入影像，產生對應該輸入影像的第二深度圖；及該混合器根據該至少一目標物件的深度資訊和該第二深度圖，將該暫時影像融合至該輸入影像內的一預定景深中，以產生包含該輸入影像和該至少一目標物件的混合影像。
16. 如請求項15所述的影像處理方法，另包含：該輸入介面接收該輸入影像。
17. 如請求項15所述的影像處理方法，另包含：該輸出介面從該混合器接收該混合影像，以及輸出該混合影像至一外部顯示器。
18. 如請求項15所述的影像處理方法，其中該混合器更根據一深度測試法，將該暫時影像融合至該輸入影像內的該預定景深中，以產生該混合影像。