TW202044197A

TW202044197A - 前景及背景影像判斷方法

Info

Publication number: TW202044197A
Application number: TW108126871A
Authority: TW
Inventors: 魏谷竹; 方弘吉
Original assignee: 多方科技股份有限公司
Priority date: 2019-05-29
Filing date: 2019-07-30
Publication date: 2020-12-01
Also published as: US11328431B2; US20200380698A1; CN112017214A; TWI716049B

Abstract

一種前景及背景影像判斷方法包含產生N個母影像中關注區域內的N個子區域影像的特徵數據、根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組、根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值，以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組，其中M以及N皆表示正整數。利用本發明所提供的方法，即使有前景物件停止移動並停留在影像裝置的視野範圍，仍可正確地判斷出前景影像及背景影像，帶給使用者更大的方便。

Description

前景及背景影像判斷方法

本發明有關於一種前景及背景影像判斷方法，尤其是有關於一種可於前景物件停止移動時，仍可正確判斷出影像是前景影像的方法。

在影像裝置所產生的一影像序列中，移動進入至影像裝置的視野範圍內的物件被視為前景物件。當影像存在有前景物件時，影像屬於前景影像；當影像中沒有前景物件時，影像屬於背景影像。

在先前技術中，前景及背景影像判斷方法可分為註冊背景的判斷方法，以及自適應背景的判斷方法。註冊背景的判斷方法包含預先選擇特定影像為註冊背景、以及根據一影像與註冊背景的特徵數據之間的差距，判斷該影像屬於前景影像或背景影像。然而，需要預先選擇影像作為註冊背景對使用者較為不便，舉例而言，當影像裝置監控室外環境時，由於室外場景經常有光影變化或是場景內的物件可能會改變，而造成使用者難以選出適當的影像作為註冊背景，或者是使用者需要經常更新註冊背景。當影像裝置監控室內環境時，室內場景也會有燈源開關造成註冊背景影像不適用的情形。

自適應背景的判斷方法是根據影像序列中的影像的特徵數據，將各影像分類於各數據區段、當一數據區段內具有最多的影像數量時，判斷分類於該數據區段的影像屬於背景影像。以下用亮度值作為特徵數據來舉例，以更進一步地說明自適應背景的判斷方法。請參照圖1，圖1為當一黑色物件從右至左移動進入白底背景時，影像裝置所擷取的影像VF₁ ~VF₃₀ 的示意圖。在影像VF₁ ~VF₁₀ 中，影像皆為白底背景，屬於背景影像。在影像VF₁₁ ~VF₁₅ ，黑色物件移動進入影像。在影像VF₁₆ 中，黑色物件已經完全進入至影像裝置的視野範圍中。在影像VF₁₇ ~VF₃₀ 中，黑色物件停止移動。請參照圖2，圖2為影像VF₁ ~VF₃₀ 的特徵數據的統計表，以及將影像VF₁ ~VF₃₀ 分類至各數據區段後，各數據區段的影像數量的統計表。在圖2中，設定特定數據為亮度值且亮度值的範圍為0~255，0代表最暗，255代表最亮，並且依據亮度值的大小來等分數據區段SEC₁ ~SEC₈ 。因此，數據區段SEC₁ 對應於亮度值0~31的範圍，數據區段SEC₂ 對應於亮度值32~63的範圍，依此類推，可得到數據區段SEC₈ 對應於亮度值224~255的範圍。影像VF₁ ~VF₁₀ 皆為白底背景，其亮度值為255，因此影像VF₁ ~VF₁₀ 分類至數據區段SEC₈ 。在影像VF₁₁ ~VF₁₅ 中，黑色物件正在移動進入影像裝置的視野範圍中，影像VF₁₁ 、VF₁₂ 、VF₁₃ 、VF₁₄ 、VF₁₅ 的亮度值分別為213、191、170、149、128，因此，影像VF₁₁ 、VF₁₂ 、VF₁₃ 、VF₁₄ 、VF₁₅ 分別分類到數據區段SEC₇ 、SEC₆ 、SEC₆ 、SEC₅ 、SEC₅ 。在影像VF₁₆ 中，黑色物件已經完全進入影像裝置的視野範圍內，其亮度值為120，因此分類到數據區段SEC₄ 。在影像VF₁₇ ~ VF₃₀ 中，黑色物件停止移動。因此，影像VF₁₆ ~ VF₃₀ 亮度值皆為120，且對應的數據區段為SEC₄ 。由上述說明可知，分類至數據區段SEC₄ ~SEC₈ 的影像的數量分別為15、2、2、1、10。利用先前技術的自適應背景的判斷方法，由於分類至數據區段SEC₄ 的影像的數量最多，因此會判斷屬於數據區段SEC₄ 的影像是背景影像。然而，屬於數據區段SEC₄ 的影像VF₁₆ ~ VF₃₀ 中具有前景物件，因此影像VF₁₆ ~ VF₃₀ 其實是前景影像。換句話說，當前景物件停止移動並停留在影像裝置的視野範圍時，先前技術的自適應背景的判斷方法會誤判，造成使用者極大的不便。

本發明提供一種前景及背景影像判斷方法。該方法包含產生N個母影像中一關注區域內的N個子區域影像的特徵數據、根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組、根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值，以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組，其中M以及N皆表示正整數。

請參照圖3以及圖4，圖3為本發明的前景及背景影像判斷方法300的一實施例的流程圖，圖4為可應用本發明的方法300的影像裝置400的結構示意圖。影像裝置400包含影像感測器420、影像處理器410，以及影像壓縮電路430。影像感測器420收光以於時段T₁ ~T_N 分別產生母影像VF₁ ~VF_N 。在母影像VF₁ ~VF_N 中，部分的區域範圍被選擇作為關注區域(ROI, Region of Interest)ROI₁ ~ROI_B ，其中N以及B皆代表正整數。請參照圖5，圖5為母影像以及關注區域內的子區域影像的示意圖。在圖5中，以母影像VF_X 為例，關注區域ROI₁ 內的影像為子區域影像VF_{X_1} ，關注區域ROI_A 內的影像為子區域影像VF_{X_A} ，關注區域ROI_B 內的影像為子區域影像VF_{X_B} ，其他可依此類推。關注區域ROI₁ ~ROI_B 的範圍沒有特別限制，可以交錯或重疊，甚至是一關注區域也可以是囊括整個母影像的範圍。影像處理器410利用方法300判斷母影像VF₁ ~VF_N 中的關注區域內的子區域影像為前景影像或背景影像，並據以產生前景背景訊號S_FB 。此外，影像處理器410後處理母影像VF₁ ~VF_N ，以產生後處理影像IMG₁ ~IMG_N 。影像壓縮電路430根據前景背景訊號S_FB 調整各關注區域的碼率後，壓縮後處理影像IMG₁ ~IMG_N ，以產生輸出訊號S_OUT 。其中輸出訊號S_OUT 舉例而言可以是H.264、H.265或MJPEG格式壓縮的視訊，或是以JPEG格式壓縮的照片。當前景背景訊號S_FB 表示後處理影像中的關注區域ROI_A 內的影像為背景影像時，影像壓縮處理電路430可用更低的碼率來壓縮關注區域ROI_A 的範圍內的影像。以下以關注區域ROI_A 作為舉例來說明，方法300的步驟說明如下：

步驟310：產生母影像VF₁ ~VF_N 中關注區域ROI_A 內的子區域影像VF_{1_A} ~VF_{N_A} 的特徵數據；

步驟320：根據子區域影像VF_{1_A} ~VF_{N_A} 的特徵數據，將子區域影像VF_{1_A} ~VF_{N_A} 分類至影像群組GP₁ ~GP_M 中的的影像群組；

步驟330：根據子區域影像VF_{1_A} ~VF_{N_A} 內移動區域，得到影像群組GP₁ ~GP_M 的移動程度值；

步驟340：根據影像群組GP₁ ~GP_M 的移動程度值以及各影像群組內的影像的數量，分類各影像群組屬於背景影像群組或前景影像群組。

在步驟310中，母影像VF₁ ~VF_N 中的關注區域ROI_A 內的影像為分別為子區域影像VF_{1_A} ~VF_{N_A} 。影像處理器410根據子區域影像VF_{1_A} ~VF_{N_A} 的像素數據，產生子區域影像VF_{1_A} ~VF_{N_A} 對應的特徵數據。特徵數據可為亮度平均值、色座標平均值，或是亮度分佈數據，但不以此為限。以下以N等於30且特徵數據為亮度平均值作為舉例來更進一步地說明。請參照圖6，圖6為關注區域ROI_A 的子區域影像VF_{1_A} ~VF_{N_A} 的示意圖。圖6類似於圖1，在關注區域ROI_A 所對應的視野範圍內有一黑色物件從右至左移動進入白底背景，因此圖6中子區域影像VF_{1_A} ~VF_{30_A} 類似於圖1中的影像VF₁ ~VF₃₀ 。影像處理器410根據關注區域ROI_A 的子區域影像VF_{1_A} ~VF_{30_A} 的像素數據，產生對應於關注區域ROI_A 的子區域影像VF_{1_A} ~VF_{30_A} 的亮度平均值。其中亮度平均值範圍為0~255，0代表最暗，255代表最亮。子區域影像VF_{1_A} ~VF_{10_A} 皆為白底背景，因此子區域影像VF_{1_A} ~VF_10~A 的亮度平均值為255。在子區域影像VF_{11_A} ~VF_{15_A} 中，黑色物件逐漸移動進入關注區域ROI_A 內，因此子區域影像VF_{11_A} ~VF_{15_A} 的亮度平均值分別為213、191、170、149、128。在子區域影像VF_{16_A} ~VF_{30_A} 中，由於黑色物件已經完全進入關注區域ROI_A 的範圍之內，因此子區域影像VF_{16_A} ~VF_{30_A} 的亮度平均值皆為120。

請參照圖7，圖7為子區域影像VF_{1_A} ~VF_{30_A} 的亮度平均值的統計表，以及子區域影像VF_{1_A} ~VF_{30_A} 分類至影像群組GP₁ ~GP_M 後，各影像群組GP₁ ~GP_M 的影像數量以及移動程度值的統計表。設定M等於8，將亮度平均值0~255切分為8個數據區段SEC₁ ~SEC₈ ，且影像群組GP₁ ~GP₈ 分別對應於數據區段SEC₁ ~SEC₈ 。數據區段SEC₁ 對應於亮度值0~31的範圍，數據區段SEC₂ 對應於亮度值32~63的範圍，依此類推，可得到數據區段SEC₃ ~SEC₈ 對應的亮度值的範圍。在步驟320中，影像處理器410根據子區域影像VF_{1_A} ~VF_{30_A} 的特徵數據，分別將子區域影像VF_{1_A} ~VF_{30_A} 分類至影像群組GP₁ ~GP₈ 中的其各自對應的影像群組。更明確地說，子區域影像VF_{1_A} ~VF_10~A 的亮度平均值為255，在數據區段SEC₈ 所對應的亮度值範圍內，因此子區域影像VF_{1_A} ~VF_{10_A} 被分類至影像群組GP₈ 。依此類推，子區域影像VF_{11_A} 、VF_{12_A} 、VF_{13_A} 、VF_{14_A} VF_{15_A} 被分類至影像群組GP₇ 、GP₆ 、GP₆ 、GP₅ 、GP₅ ，且子區域影像VF_{16_A} ~VF_{30_A} 被分類至影像群組GP₄ 。

在步驟320中，假設特徵數據是Lab色座標，則影像處理器410可根據子區域影像VF_{1_A} ~VF_{30_A} 的特徵數據分別與數據區段GP₁ ~GP₈ 的代表性特徵數據之間的歐式距離，將子區域影像VF_{1_A} ~VF_{30_A} 分類至影像群組GP₁ ~GP₈ 中的影像群組。舉例而言，可選擇8個特定色座標點分別為數據區段SEC₁ ~SEC₈ 的代表性特徵數據。如此，影像處理器410即可計算子區域影像VF_{1_A} ~VF_{30_A} 的色座標平均值和數據區段SEC₁ ~SEC₈ 的代表性特徵數據之間的歐式距離。當一子區域影像和一數據區段的代表性特徵數據之間的歐式距離最短時，分類該子區域影像至對應於該數據區段的影像群組。

在步驟330中，影像處理器410根據子區域影像VF_{1_A} ~VF_{30_A} 內移動區域，更新影像群組GP₁ ~GP₈ 的移動程度值。更詳細地說，影像處理器410比較母影像VF₁ 以及母影像VF₂ ，得到子區域影像VF_{2_A} 的移動區域；影像處理器410比較母影像VF₂ 以及母影像VF₃ ，以得到子區域影像VF_{3_A} 的移動區域，其他可依此類推，故不再贅述。請參照圖8及圖9，圖8為子區域影像VF_{1_A} ~VF_{30_A} 的移動區域的示意圖，圖9為子區域影像VF_{1_A} ~VF_{30_A} 的移動區塊數量以及影像群組GP₁ ~GP₈ 的影像數量以及移動程度值的統計表。在圖8中，以虛線將子區域影像VF_{1_A} ~VF_{30_A} 等分為12個區塊，且斜線區域表示子區域影像VF_{2_A} ~VF_{30_A} 中的移動區域。影像處理器410根據圖8中子區域影像VF_{1_A} ~VF_{30_A} 中有被移動區域覆蓋的區塊，得到圖9中對應於子區域影像VF_{1_A} ~VF_{30_A} 內的移動區塊的數量的統計表。各子區域影像中移動區塊的數量可作為子區域影像的移動程度值。更詳細地說，當影像處理器410接收子區域影像VF_{1_A} ~VF_{10_A} 時，由於子區域影像VF_{1_A} ~VF_{10_A} 屬於影像群組GP₈ ，且子區域影像VF_{1_A} ~VF_{10_A} 的移動區塊的數量為0，因此影像處理器410將影像群組GP₈ 的移動程度值加上子區域影像VF_{1_A} ~VF_{10_A} 的移動程度值，以更新影像群組GP₈ 的移動程度值為0。當影像處理器410接收子區域影像VF_{11_A} 時，將影像群組GP₇ 的移動程度值加上子區域影像VF_{11_A} 的移動程度值，以更新影像群組GP₇ 的移動程度值為3。當影像處理器410接收子區域影像VF_{12_A} 時，將影像群組GP₆ 的移動程度值加上子區域影像VF_{12_A} 的移動程度值，以更新影像群組GP₆ 的移動程度值為6。當影像處理器410接收子區域影像VF_{13_A} 時，將影像群組GP₆ 的移動程度值加上子區域影像VF_{13_A} 的移動程度值，以更新影像群組GP₆ 的移動程度值為12。其他可依此類推而得到圖9中影像群組GP₁ ~GP₈ 的移動程度值的統計表。

針對子區域影像的移動程度值，除了上述說明的計算方式外，本發明提供其他實施例如下。請參考圖10，圖10為本發明的影像裝置的另一實施例1000的結構示意圖。影像裝置1000包含影像感測器1020、影像處理器1010，以及影像壓縮電路1030。影像裝置1000與影像裝置400的差異在於影像壓縮電路1030比較母影像VF₁ ~VF₃₀ 中的相鄰的母影像，以產生移動向量訊號S_MV 。移動向量訊號S_MV 包含母影像中各區塊的移動向量的資訊，其中區塊可為H.264的宏區塊或者是H.265的最大編碼單元(Largest coding unit, LCU)。在本實施例中，影像處理器1010根據移動向量訊號S_MV ，可得到子區域影像V_{1_A} ~V_{30_A} 的複數個區塊的非靜止移動向量個數，而子區域影像V_{1_A} ~V_{30_A} 的複數個區塊的非靜止移動向量個數可作為子區域影像V_{1_A} ~V_{30_A} 的移動程度值。

在另一實施例中，子區域影像的移動程度值則是根據影像處理器1010偵測的物件的資訊所得到。更進一步地說，影像處理器1010根據移動向量訊號S_MV ，偵測母影像中的物件，以得到母影像中的物件資訊。舉例而言，請參照圖11及圖12，圖11及圖12為用來說明影像處理器1010根據移動向量訊號S_MV ，得到物件資訊的示意圖。影像處理器1010比較圖11中的母影像VF₁₁ 以及VF₁₀ ，以得到如圖12中以箭頭表示的移動向量。在圖12中，母影像VF₁₁ 被虛線切分為複數個區塊，而母影像VF₁₁ 中的區塊中箭頭指向母影像VF₁₀ 中鄰近範圍內最相似的區塊。請參照圖13，圖13為影像處理器1010所偵測的物件的示意圖。影像處理器1010根據移動向量訊號S_MV 得到圖12中各區塊的移動向量的資訊。影像處理器1010將母影像VF₁₁ 中具有足夠大的移動向量的區塊群組化之後，可偵測出圖13中斜線區域所表示的物件。更進一步地說，當群組化的移動區塊所佔的區域大小大於一移動閥值時，影像處理器1010判斷該群組化的區塊是物件；當群組化的移動區塊所佔的區域大小小於該移動閥值時，影像處理器1010判斷該群組化的區塊是雜訊，而不是移動物件。由上述說明可知，影像處理器1010比較母影像VF₁ ~VF₃₀ 中的相鄰的母影像中各區塊的移動向量並且將具有足夠大的移動向量的區塊群組化之後，即可偵測得到母影像VF₁ ~VF₃₀ 中物件的大小以及移動的資訊。如此一來，影像處理器1010根據母影像VF₁₁ 於關注區域ROI_A 內的物件的大小以及移動的資訊，即可得到關注區域ROI_A 於時段T₁₁ 內屬於有物件移動的區塊的數量，以作為子區域影像VF_{11_A} 的移動程度值。

在步驟340中，影像處理器410根據影像群組GP₁ ~GP_M 的移動程度值以及各影像群組內的影像的數量，分類各影像群組屬於背景影像群組或前景影像群組。請參照圖9，圖9為影像群組GP₁ ~GP₈ 的影像數量以及移動程度值的統計表。當一影像群組為背景影像群組時，該影像群組有較多的影像數量，且其移動程度值會較小。當一影像群組不是背景影像群組時，即可判斷該影像群組為前景影像群組。更進一步地說，影像處理器410比較影像群組GP₁ ~GP₈ 的影像數量與一數量閥值，以及比較影像群組GP₁ ~GP₈ 的移動程度值與一移動閥值，當一影像群組的影像數量大於該數量閥值時，且該影像群組的移動程度值小於該移動閥值時，影像處理器410判斷該影像群組為背景影像群組。舉例而言，在圖9中，設定數量閥值為8以及移動閥值等於5，可得到影像群組GP₈ 為背景影像群組，其他影像群組GP₁ ~GP₇ 則為前景影像群組。此外，當一影像屬於背景影像群組時，該影像為背景影像；當該影像屬於前景影像群組時，該影像為前景影像。因此子區域影像VF_{1_A} ~VF_{10_A} 為背景影像，其他子區域影像VF_{11_A} ~VF_{30_A} 則為前景影像。由上述說明可知，即使有前景物件停止移動並停留在影像裝置的視野範圍，藉由本發明所提供的方法300仍可正確地判斷出子區域影像VF_{1_A} ~VF_{10_A} 為背景影像，以及子區域影像VF_{11_A} ~VF_{30_A} 為前景影像及，帶給使用者更大的方便。

此外，在方法300中，影像處理器410可選擇是以最新接收到連續的N個母影像，來判斷最新的子區域影像為前景影像或背景影像。舉例而言，當影像處理器410接收母影像V_N 時，影像處理器410是以最新接收到連續的N個母影像VF₁ ~VF_N ，來判斷最新的子區域影像VF_{N_A} 為前景影像或背景影像。當影像處理器410接收母影像V_(N+1) 時，影像處理器410是以最新接收到連續的N個母影像VF₂ ~ V_(N+1) ，來判斷最新的子區域影像V_{(N+1)_A} 為前景影像或背景影像。舉例而言，請參照圖14，圖14為假設黑色物件沒有移動且母影像V_(N+1) 的畫面與母影像V_N 相同的情況下，影像群組GP₁ ~GP₈ 的影像數量以及移動程度值的統計表。在圖14中，以N等於30為例，當影像處理器410接收母影像V₃₁ 時，影像處理器410產生子區域影像V_{31_A} 的特徵數據。影像處理器410根據子區域影像V_{31_A} 的特徵數據，將子區域影像V_{31_A} 分類至影像群組GP₁ ~GP₈ 中的對應的影像群組。由於子區域影像V_{31_A} 的亮度值等於子區域影像V_{30_A} 的亮度值，因此影像處理器410將子區域影像V_{31_A} 分類至影像群組GP₄ ，且將影像群組GP₄ 的移動程度值加上子區域影像V_{31_A} 的移動程度值0。此外，由於影像處理器410是以最新接收到連續的N個母影像來判斷前景影像或背景影像，因此影像處理器410將子區域影像VF_{1_A} 從影像群組中移除。如此，影像處理器410將子區域影像VF_{1_A} 所屬的影像群組GP₈ 的移動程度值減去子區域影像VF_{1_A} 的移動程度值，並且將影像群組GP₈ 的影像數量減1。此時，由於影像群組GP₄ 屬於前景影像群組，因此子區域影像V_{31_A} 為前景影像。在一實施例中，當子區域影像V_{31_A} 屬於前景影像群組時，影像壓縮電路430壓縮根據子區域影像V_{31_A} 所產生的已處理過的影像IMG_{31_A} ，以產生輸出訊號S_OUT2 。其中輸出訊號S_OUT2 為包含有前景物件的照片或視訊，可通知使用者確認前景物件。在另一實施例中，影像壓縮電路430根據各關注區域ROI₁ ~ROI_B 內的子區域影像屬於背景影像群組或前景影像群組的資訊，產生輸出訊號S_OUT2 ，如此，當一顯示裝置接收到輸出訊號S_OUT 以及S_OUT2 時，該顯示裝置解壓縮輸出訊號S_OUT 以得到後處理影像，並且可根據輸出訊號S_OUT2 中的各子區域影像屬於背景影像群組或前景影像群組的資訊，以決定顯示後處理影像的方式。舉例而言，顯示裝置局部放大顯示具有最多前景影像的範圍，或者是在顯示的影像上標示具有前景影像的區域。在另一實施例中，影像壓縮電路430根據母影像VF₃₁ 於關注區域ROI_A 內的子區域影像VF_{31_A} 屬於背景影像群組或前景影像群組，調整壓縮母影像VF₃₁ 時，於關注區域ROI_A 的碼率，並據以產生輸出訊號S_OUT 。更進一步地說，當影像壓縮電路430壓縮母影像時，影像壓縮電路430可根據各關注區域ROI₁ ~ROI_B 內的子區域影像屬於背景影像群組或前景影像群組，以調整各關注區域ROI₁ ~ROI_B 內的碼率，並據以產生輸出訊號S_OUT 。

此外，為了避免將環境的光影變化、燈源開關誤判為前景物件，在方法300中，當影像處理器410接收母影像VF_(N+1) 時，影像處理器410可根據母影像VF_N 以及VF_(N+1) 之間的差異大於一影像差異閥值，決定忽略母影像VF_(N+1) 及其子區域影像VF_{(N+1)_1} ~ VF_{(N+1)_B} ，以維持影像群組GP₁ ~GP₈ 的移動程度值以影像的數量不變。舉例而言，影像處理器410計算母影像VF₃₁ 以及VF₃₀ 各像素數據之間的絕對差值，當累加各像素的絕對差值大於該影像差異閥值時，影像處理器410決定忽略母影像VF₃₁ 以及其中的子區域影像VF_{31_1} ~ VF_{31_B} ，以維持影像群組GP₁ ~GP₈ 的移動程度值以及影像數量不變。另外，由於當物件正在移動進入至關注區域ROI_A 時，子區域影像的特徵數據以及移動程度值會比較不穩定，較容易造成誤判，因此當影像處理器410接收母影像VF_(N+1) 且偵測到母影像VF_(N+1) 於關注區域ROI_A 的邊界有移動的區塊時，影像處理器410可忽略子區域影像VF_{(N+1)_A} ，以維持影像群組GP₁ ~GP₈ 的移動程度值以影像的數量不變。如此可更進一步地降低誤判率。

此外，本發明也可與目標物件偵測方法整合，藉由本發明的方法可提高各種目標前景物件偵測的正確率。舉例而言，影像處理器410或1010藉由不同的目標物件偵測方法可偵測關注區域的子區域影像中不同的物件類別，如行人偵測、車輛偵測等，以得到各子區域影像的目標物件特徵值。以下以目標物件為行人的實施例作更進一步地說明。

請參照圖15以及圖16，圖15為假設關注區域ROI_C 於時段T₁ ~T₃₀ 中有一靜止的人形立牌時的子區域影像VF_{1_C} ~VF_{30_C} ，圖16為子區域影像VF_{1_C} ~VF_{30_C} 分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。假設行人偵測方法針對每張子區域影像中的人形立牌所計算得到的行人特徵值是1，因此影像群組GP₆ 累計子區域影像VF_{1_C} ~VF_{30_C} 的行人特徵值是30。傳統的行人偵測方法比較行人特徵值30以及一目標物件閥值，以判斷關注區域ROI_C 是否有前景行人，假設目標物件閥值為5，則此時傳統的行人偵測方法會因靜止的人形立牌誤判關注區域ROI_C 中分類於影像群組GP₄ 的子區域影像VF_{1_C} ~VF_{30_C} 皆有行人，也就是說，傳統的行人偵測方法會誤判子區域影像VF_{1_C} ~VF_{30_C} 皆有目標前景物件。相較於傳統的行人偵測方法，本發明所提供的方法除了一影像群組的行人特徵值之外，會同時比較該影像群組的移動程度值與移動閥值。當該影像群組的行人特徵值大於目標物件閥值且該影像群組的移動程度值大於移動閥值時，本發明所提供的方法判斷分類至該影像群組的子區域影像中有目標前景物件；當該影像群組的行人特徵值大於目標物件閥值且該影像群組的移動程度值小於或等於移動閥值時，本發明所提供的方法判斷分類至該影像群組的子區域影像中無目標前景物件。由於人形立牌於時段T₁ ~T₃₀ 中皆靜止不動，因此影像群組GP₆ 的移動程度值是0。設定移動閥值等於5，由於影像群組G₆ 的移動程度值0小於移動閥值5，因此本發明所提供的方法判斷所有的影像群組皆沒有行人。由上述說明可知，傳統的行人偵測方法對於畫面中靜止的人形立牌容易產生誤判，然而，由於本發明的方法考慮了移動程度值的資訊，因此本發明的方法可以真正分出在影像中行走的行人。

此外，請參照圖17以及圖18，圖17為假設關注區域ROI_D 於時段T₁ ~T₃₀ 中有一行人移動進入白底背景時的子區域影像VF_{1_D} ~VF_{30_D} ，圖18為子區域影像VF_{1_D} ~VF_{30_D} 分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。由圖17可看出，在時段T₁ ~T₁₀ 所對應的子區域影像VF_{1_D} ~VF_{10_D} 中，行人在關注區域ROI_D 的範圍之外，此時，子區域影像VF_{1_D} ~VF_{10_D} 皆為白底背景，因此影像群組GP₈ 的移動程度值以及行人特徵值皆為0。在時段T₁₁ ~T₁₂ 所對應的子區域影像VF_{11_D} ~VF_{12_D} 中，行人正在移動中，且有少部分開始進入關注區域ROI_D 的範圍，但是不具備足夠的行人特徵，因此影像群組GP₇ 的移動程度值為3且的行人特徵值為0。在時段T₁₃ ~T₁₆ 所對應的子區域影像VF_{13_D} ~VF_{15_D} 中，行人已完全關注區域ROI_D 的範圍之內，但行人仍在移動，在時段T₁₆ ~T₃₀ 所對應的子區域影像VF_{16_D} ~VF_{30_D} 中，行人完全在關注區域ROI_D 的範圍之內且停止不動，因此影像群組GP₆ 的移動程度值為12且行人特徵值為18。設定移動閥值等於5，由於影像群組G₆ 的移動程度值12大於移動閥值5，且行人特徵值18大於目標物件閥值5，因此本發明所提供的方法判斷影像群組G₆ 為具有目標前景物件的影像群組。也就是說，即使目標前景物件移動進入關注範圍後靜止不動，本發明所提供的方法可正確地判斷關注區域ROI_D 的各子區域影像是否有前景行人。

值得注意的是，當本發明所提供的方法正確地判斷各關注區域內的子區域影像是否有前景物件時，可根據此資訊作更進一步地利用。舉例而言，因為使用者往往更關注畫面中動的人，因此影像壓縮電路430的碼率也可以根據關注區域內是否有前景行人調整，當一關注區域內的子區域影像分類至具有前景行人的影像群組時，針對母影像的壓縮處理，會增加該關注區域的碼率；當該關注區域內的子區域影像分類至不具有前景行人的影像群組時，會減少該關注區域的碼率。此外，上面實施例中的物件偵測並不限於一種，本發明的方法可同時運行多種目標物件偵測，只要把目標物件偵測的種類擴充即可。同時運行多種的目標物件偵測可以讓使用者對於母影像中各個關注區域可以有不同的關注的目標物件種類，或者使用者可以在串流中動態切換關注的目標物件種類而使此系統會自適應調整分配串流的碼率至使用所關注的目標物件種類的部分，帶給使用者極大的便利。

綜上所述，本發明提供一種前景及背景影像判斷方法。該方法包含產生N個母影像中一關注區域內的N個子區域影像的特徵數據、根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組、根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值，以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組。藉由本發明所提供的方法，即使有前景物件停止移動並停留在影像裝置的視野範圍，仍可正確地判斷出前景影像及背景影像，帶給使用者更大的方便。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

300:方法 310~340:步驟 400、1000:影像裝置 410、1010:影像處理器 420、1020:影像感測器 430、1030:影像壓縮電路 GP₁~GP₈:影像群組 IMG₁~IMG_N:後處理影像 S_FB:前景及背景訊號 S_OUT:輸出訊號 S_MV:移動向量訊號 SEC₁~SEC₈:數據區段 VF₁~ VF₃₀、VF_N、VF_X:母影像 VF_{1_A}~VF_{31_A}、VF_{N_A}、VF_{X_A}、VF_{X_B}、VF_{X_C}、VF_{1_C}~VF_{30_C}、VF_{1_D}~VF_{30_D}:子區域影像

圖1為當一黑色物件從右至左移動進入白底背景時，影像裝置所擷取的影像的示意圖。圖2為影像的特徵數據的統計表，以及將影像分類至各數據區段後各數據區段的影像數量的統計表。圖3為本發明的前景及背景影像判斷方法的一實施例的流程圖。圖4為可應用本發明的前景及背景影像判斷方法的影像裝置的一實施例的結構示意圖。圖5為母影像以及關注區域內的子區域影像的示意圖。圖6為說明關注區域內的子區域影像的示意圖。圖7為各影像群組的影像的數量以及移動程度值的統計表。圖8為子區域影像的移動區域的示意圖。圖9為子區域影像的移動區塊數量以及影像群組的影像的數量以及移動程度值的統計表。圖10為可應用本發明的前景及背景影像判斷方法的影像裝置的另一實施例的結構示意圖。圖11及圖12為用來說明影像處理器根據移動向量訊號，得到物件資訊的示意圖。圖13為影像處理器所偵測的物件的示意圖。圖14為影像群組的影像數量以及移動程度值的統計表。圖15為假設一關注區域中有一靜止的人形立牌時的子區域影像。圖16為圖15的子區域影像分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。圖17為假設一關注區域中有一行人移動進入白底背景時的子區域影像。圖18為圖17的子區域影像分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。

300:方法

310^~340:步驟

Claims

一種判斷前景及背景影像的方法，包含：產生N個母影像中一關注區域內的N個子區域影像的特徵數據；根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組；根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值；以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組；其中M以及N皆表示正整數。
如申請專利範圍第1項所述的方法，其中分類至背景影像群組的子區域影像為背景影像，且分類至前景影像群組的子區域影像為前景影像。
如申請專利範圍第1項所述的方法，其中該M個影像群組分別對應於M個數據區段。
如申請專利範圍第3項所述的方法，其中根據該N個子區域影像的特徵數據，將該N個子區域影像分類至該M個影像群組中的影像群組包含：根據該N個子區域影像的特徵數據分別與該M個數據區段的代表性特徵數據之間的歐式距離，將該N個子區域影像分類至該M個影像群組中的影像群組。
如申請專利範圍第1項所述的方法，其中產生該N個母影像中該關注區域內的N個子區域影像的特徵數據包含：根據該N個子區域影像的複數個像素數據，產生該N個子區域影像的亮度平均值、色座標平均值，或是亮度分佈數據。
如申請專利範圍第1項所述的方法，另包含：根據該N個子區域影像的複數個區塊的移動向量，得到該N個子區域影像中移動的區塊的數量，以作為該N個子區域影像的移動程度值。
如申請專利範圍第6項所述的方法，另包含：比較該N個母影像中的相鄰的母影像，以得到該N個子區域影像的該複數個區塊的移動向量。
如申請專利範圍第1項所述的方法，另包含：當接收一第(N+1)母影像時，產生該第(N+1)母影像的該關注區域內的一第(N+1)子區域影像的特徵數據；根據該第(N+1)子區域影像的特徵數據，將該第(N+1)子區域影像分類至該M個影像群組中的一第一影像群組；以及將該第一影像群組的移動程度值加上該第(N+1)子區域影像的移動程度值。
如申請專利範圍第8項所述的方法，另包含：將該N個子區域影像中的一第一子區域影像所屬的影像群組的移動程度值減去該第一子區域影像的移動程度值。
如申請專利範圍第1項所述的方法，其中根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組包含：比較該M個影像群組的影像數量與一數量閥值，以及比較該M個影像群組的移動程度值與一移動閥值，以判斷各影像群組屬於背景影像群組或前景影像群組。
如申請專利範圍第1項所述的方法，另包含：根據該N個母影像中的一第一母影像的複數個區塊的移動向量以及一第二母影像的複數個區塊的移動向量，產生該第一母影像中的物件資訊；以及根據該第一母影像於該關注區域內的物件的大小以及移動的資訊，得到該N個子區域影像中的一第一子區域影像的移動程度值。
如申請專利範圍第11項所述的方法，其中根據該第一母影像於該關注區域內的物件的大小以及移動的資訊，得到該N個子區域影像中的該第一子區域影像的移動程度值包含：根據該第一母影像中的物件於該關注區域內所佔的移動的區塊的數量，得到該第一關注區域於一第一時段內屬於有物件移動的區塊的數量，以作為該第一子區域影像的移動程度值。
如申請專利範圍第1項所述的方法，另包含：當接收一第(N+1)母影像時，根據該N個母影像中的一第N母影像以及該第(N+1)母影像的差異，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變。
如申請專利範圍第13項所述的方法，其中當接收該第(N+1)母影像時，根據該N個母影像中的該第N母影像以及該第(N+1)母影像的差異，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變包含：當該N個母影像中的該第N母影像以及該第(N+1)母影像的特徵數據的差異大於一影像差異閥值，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變。
如申請專利範圍第1項所述的方法，另包含：當接收一第(N+1)母影像且該第(N+1)母影像的該關注區域的邊緣有移動的區塊時，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變。
如申請專利範圍第1項所述的方法，另包含：當接收一第(N+1)母影像時，根據該第(N+1)母影像於該關注區域內的子區域影像屬於背景影像群組或前景影像群組，調整壓縮該第(N+1)母影像時的一碼率；以及根據該碼率，壓縮該第(N+1)母影像，以產生一第一輸出訊號。
如申請專利範圍第1項所述的方法，另包含：當一第(N+1)母影像於該關注區域內的子區域影像屬於前景影像群組時，壓縮該第(N+1)母影像於該關注區域內的子區域影像，產生一第二輸出訊號。
如申請專利範圍第1項所述的方法，另包含：根據一第(N+1)母影像於該關注區域內的子區域影像屬於前景影像群組的資訊，產生一第二輸出訊號。
如申請專利範圍第1項所述的方法，另包含：在該N個母影像的該關注區域的子區域影像中，偵測目標物件，以得到各子區域影像的目標物件特徵值；根據各子區域影像的目標物件特徵值，得到各影像群組的目標物件特徵值；以及根據各影像群組的移動程度值以及目標物件特徵值，得到各影像群組中屬於具有目標前景物件的影像群組。
如申請專利範圍第19項所述的方法，其中根據各影像群組的移動程度值以及目標物件特徵值，得到各影像群組中屬於具有目標前景物件的影像群組包含：當該M個影像群組中的一第一影像群組的目標物件特徵值大於一目標物件閥值，且該第一影像群組的移動程度值大於移動閥值時，判斷該第一影像群組為屬於具有目標前景物件的影像群組。
如申請專利範圍第19項所述的方法，另包含：當該關注區域內子區域影像分類至具有目標前景物件的影像群組時，增加壓縮該關注區域的碼率。