TWI569212B - 影像辨識方法 - Google Patents

Description

影像辨識方法

本揭露係關於一種影像辨識方法，特別是一種低複雜度的影像辨識方法。

監視裝置被廣泛的用於各種有安全考量的環境中，傳統的監視裝置僅僅將所擷取到的影像傳送至所謂的安控中心，由警衛或專業人士判斷所擷取到的影像中是否有異常。因為人類的判斷能力的限制，這樣的作法往往需要每九至十六個監視裝置就配置一個對應的警衛或專業人士，其人力成本的花費頗高。

近年來，由於影像辨識技術的成長，有智慧型的監視裝置，藉由影像辨識來判斷畫面中是否有人出現，當有人出現在畫面中才發出對應的警示，因此一個專業人士或警衛可以對應相較於前述傳統技術更多的監視裝置。然而，由於影像辨識需要就每個影像串流進行大量的運算，因此如果影像辨識是在監視裝置(攝影機)端運作的話，對應的每個監視裝置必須連接到市電以獲得足夠的電能，即使退一步來說，是將所擷取的影像串流傳送至中央控制系統來進行影像辨識，則每個監視裝置必須連接網路或任何訊號傳輸線，並時刻地傳輸影像串流，一樣需要耗費相當的電能而必須連接到市電。

如果監視系統有功耗的考量，或是監視系統必須設置在不易佈設電力網路的地方，則必須提出一種低功耗的智慧型監視裝置。

本揭露提供一種監視裝置，藉由判斷影像中一個監視區塊中的色彩參數的長期平均值與短期平均值，來判斷此監視區塊中是否有異常狀態。

依據本揭露的影像辨識方法，包含：取得第一監視影像中第一選定區塊中多個像素於過去M個影像中的像素值分布作為第一區間像素值分佈。取得第一選定區塊中所述多個像素於過去N個影像中的像素值分布作為第二區間像素值分佈，N與M為正整數，且N<M。依據第一區間像素值分佈與第二區間像素值分佈，取得關於第一選定區塊的第一變動參數。當第一變動參數大於第一門檻值時，產生第一辨識信號。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本揭露之精神與原理，並且提供本揭露之專利申請範圍更進一步之解釋。

1000‧‧‧監視裝置

1100‧‧‧攝影機

1200‧‧‧處理器

1300‧‧‧儲存媒介

1400‧‧‧信號收發器

2000‧‧‧控制中心

A~C‧‧‧區塊

S110~S190‧‧‧步驟

S810~S830‧‧‧步驟

圖1係用以實施本揭露方法的影像辨識裝置示意圖。

圖2係依據本揭露一實施例的影像辨識方法流程圖。

圖3係依據本揭露一實施例中步驟S110的方法流程圖。

圖4為本揭露一實施例中的監視影像。

圖5為本揭露一實施例中的監視影像。

圖6為本揭露一實施例中的監視影像。

圖7為本揭露一實施例中的監視影像。

圖8係依據本揭露一實施例的第一門檻值調整方法流程圖。

以下在實施方式中詳細敘述本揭露之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本揭露之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本揭露相關之目的及優點。以下之實施例係進一步詳細說明本揭露之觀點，但非以任何觀點限制本揭露之範疇。

請參照圖1，其係用以實施本揭露方法的影像辨識裝置示意圖。所述影像辨識裝置1000具有攝影機1100、處理器1200、儲存媒介1300與信號收發器1400。其中處理器1200電性連接攝影機1100、儲存媒介1300與信號收發器1400。且所述各部件均由電池(未繪示)提供電能而運作。信號收發器1400有線或無線地與控制中心2000通訊。

於一實施例中，攝影機1100擷取的影像透過處理器1200而儲存在儲存媒介1300中，而處理器1200進一部由儲存媒介1300中取得所儲存的連續多幅影像，以進行後述的影像辨識，並且依據影像辨識的結果，選擇性地致能信號收發器1400以與控制中心2000通訊。而於另一實施例中，處理器1200也可以直接處理攝影機1100所取得的影像，並把處理得到的資料與結果暫時或永久的儲存在儲存媒介1300中。於此，儲存媒介1300應具有非揮發記憶體。

當攝影機1100已經取得多張影像，或者儲存媒介1300中已經儲存有多張影像時，處理器1200的運作方式請參照圖2，其係依據本揭露一實施例的影像辨識方法流程圖。如圖2所示，依據本實施例的影像辨識方法包含有下列步驟：如步驟S110所示，取得第一監視影像中第一選定區塊中多個像素於過去M個影像中的像素值分布作為第一區間像素值分佈。如步驟S120所示，取得第一選定區塊中所述多個像素於過去N個影像中的像素值分布作為第二區間像素值分佈，N與M為正整數，且N<M。如步驟S130所示，依據第一區間像素值分佈與第二區間像素值分佈，取得關於第一選定區塊的第一變動參數。如步驟S140所示，當第一變動參數大於第一門檻值時，產生第一辨識信號。

請參照圖3，其係依據本揭露一實施例中步驟S110的方法流程圖。如圖3所示，步驟S110中包含下列步驟：如步驟S111所示，提供K個像素值區間，K為大於一的正整數。如步驟S112所示，對M個影像中的第一選定區塊分別計算至少一像素平均值，以得到M組像素平均 值。如步驟S113所示，依據K個像素值區間與M組像素平均值，產生第一區間像素值分佈。

其中，步驟S111所述的K個像素值區間，以灰階的色彩系統舉例來說，一般而言每個像素的灰階值從0至255。一種區分K個像素值區間的方法是將灰階值的範圍平均劃分。以K等於8為例，則灰階值0至31為第一像素值區間、灰階值32至63為第二像素值區間，依此類推，灰階值224至255為第八個像素值區間。於另一實施例中，灰階值的範圍不會被平均劃分，舉例來說，如果已知影像辨識的時間是在清晨或下午，則灰階值過高(高於191)與灰階值過低(低於64)的部份可以不列入統計，而將灰階值64至灰階值191區分為八等分。

如果以紅藍綠三原色的色彩系統為例，每個像素的紅色值、藍色值與綠色值都從0至255。因此也可以用上述灰階值的方式分割。此外，還有其他的色彩空間，例如CMYK、CIE1931。每個像素所對應的顏色在所述色彩空間的座標值都可以利用習知的方式從紅藍綠三原色的系統轉換得到，轉換方法於此不再贅述。以CIE1931色彩空間為例，每個像素的紅藍綠三色總和呈現的色彩，會在CIE1931色彩空間中對應一個二維笛卡兒坐標系的第一座標值(X)與第二座標值(Y)。並且可以依據前述的方式，將第一座標值與第二座標值進行劃分。

而於步驟S112，具體來說，假設第一監視影像為黑白灰階影像，因此每個像素的資料僅有一個通道(灰階值)。處理器1200對於每一張影像中的第一選定區塊都計算其灰階值的平均值。而步驟S113就是統計過去M個影像中，分別有多少張影像的灰階值的平均值落在每個區間內。依照同樣的方式，也可以得到步驟S120中的第二區間像素值分佈。其中，於一實施例中，這個分佈會進行正規化的處理，換句話說，就是除以總影像數，如此得到的數字就是第一選定區塊的灰階值的平均值落在每個區間的機率分佈。

接著，於一實施例中，步驟S130中依據第一區間像素值分佈與第二區間像素值分佈，取得關於第一選定區塊的第一變動參數的方式大致如下。請參照上表一與圖4、圖5，其中圖4與圖5分別為本揭露一實施例中的監視影像。而表一中係以M為128、N為16、監視影像為灰階影像、第一選定區塊為區塊A來求得的結果。其中監視影像為野外的一個倉庫前方廣場，當監視影像從圖4變成圖5，表示有人進入畫面，則區塊A 的像素分佈會變動。而由於M值較大，因此第一區間像素值分佈幾乎不會變動(變動緩慢)。由於N值較小，因此第二區間像素值分佈會快速地從表二第三列的分佈變成第四列的分佈。於一實施例中，第一變動參數D的計算方式如下：或是

其中p_2,1為第二區間像素值分佈中第一個像素值區間(灰階值0至31)的數字，也就是在過去N張(16張)影像中，第一選定區塊的灰階平均值介於0至31的機率(出現次數/16)，而p_1,1為第一區間像素值分佈中第一個像素值區間(灰階值0至31)的數字，也就是在過去M張(128張)影像中，第一選定區塊的灰階平均值介於0至31的機率(出現次數/128)。而於步驟S140中，當第一變動參數D大於一個第一門檻值(例如為1/8)，則處理器1200產生第一辨識信號，這可以代表著區塊A可能有物體進入。

設若監視影像是紅藍綠色彩系統，則第一變動參數D的計算方式可以如下：

其中D_R、D_G、D_B分別為第一紅色變動參數、第一綠色變動參數與第一藍色變動參數。其餘的變數以D_R所對應的式子為例，p_2,R,1為第二區間像素值分佈中第一個像素值區間(紅色亮度值0至31)的數字，也就是在過去N張影像中，第一選定區塊的紅色像素的像素值平均介於0至31的機率，而p_1,R,1為第一區間像素值分佈中第一個像素值區間(紅色亮度值0至31)的數字，也就是在過去M張影像中，第一選定區塊的紅色像素的像素值平均介於0至31的機率。於一實施例中，當第一紅色變動參數、第一綠色變動參數與第一藍色變動參數的總和大於第一門檻值時，處理器 1200產生第一辨識信號。於另一實施例中，由所屬領域具通常知識者自由設計，三個變動參數有任一、任二或是全部大於對應的第一紅色門檻值、第一綠色門檻值與第一藍色門檻值，則處理器1200產生第一辨識信號，這可以代表著區塊A可能有物體進入。

於另一實施例中，當監視影像的時間對應於午夜或正午，表示每個像素的灰階值普遍偏低或偏高，因此其動態範圍會較小。以午夜為例，區塊A中的灰階值可能都在0到127之間。然而一旦有人進入，則可能會有燈光照到地面或是倉庫的牆壁，因此灰階值的上限會提高到150甚至更高，從而動態範圍會變大。因此，也可以用動態範圍來當作第一區間像素值分佈及第二區間像素值分佈。類似地，當有人進入區塊A的時候區塊A中各像素的灰階值的中位數、離散係數都會有相應的變化，因此也可以拿來以類似於步驟S111至步驟S113的方式來第一區間像素值分佈及第二區間像素值分佈。換句話說，於前述各實施例中，只要第二區間像素值分佈與第一區間像素值分佈的差異(絕對值)超過了第一門檻值，則處理器1200產生第一辨識信號，這可以代表著區塊A可能有物體進入。

而於另一實施例中，請回到圖2，所述方法還可以包含下列步驟：如步驟S150所示，取得第一監視影像中第二選定區塊中多個像素於過去M個影像中的像素值分布作為第三區間像素值分佈。如步驟S160所示，取得第二選定區塊中所述多個像素於過去N個影像中的像素值分布作為第四區間像素值分佈。如步驟S170所示，依據第三區間像素值分佈與第四區間像素值分佈，取得關於第二選定區塊的第二變動參數。如步驟S180所示，當第二變動參數大於第二門檻值時，產生第二辨識信號。如步驟S190所示，依據第一辨識信號與第二辨識產生影像辨識結果。

以圖4至圖7為例，一旦有人、車或動物進入監視影像的範圍內，通常並不會停留於一個區塊不動，而是在多個區塊之間移動。舉例來說，當有人經過倉庫前，則首先如圖4、而後圖5最後圖6。則處理器 1200依據前述的方法會偵測到區塊A、區塊B與區塊C有影像變動(物體進入)。因此在一段時間內(例如5秒內)會對應區塊A發出第一辨識信號，而後對應區塊B發出第二辨識信號。則處理器1200就兩個辨識信號可以判斷有物體進入監視影像的範圍內，產生影像辨識結果：例如為有人侵入。這樣的影像辨識結果可以由處理器1200控制信號收發器1400傳送到控制中心2000。進一步可以把產生影像辨識結果前一段時間(例如30秒)的監視影像一併傳送給控制中心2000。於另一實施例中，人進入監視影像所對應的區域後，不見得會持續移動，舉例來說，監視影像可能從圖4的狀態變成圖5的狀態後就持續一段時間不變。因此，處理器1200產生第一辨識信號的同時，把監視影像透過信號收發器1400將影像傳送到控制中心2000以進行進一步的影像辨識。或是處理器1200在產生第一辨識信號的同時，開始對監視影像進行影像辨識，以辨別是否有非預期物體(人)，有的話就產生影像辨識結果。

於再一實施例中，設若有一個與圖4至圖7的監視影像的監視裝置相關的另一個監視裝置。舉例來說，另一個監視裝置(第二監視裝置)設置在通往倉庫的道路上。則如果在一段時間內(一分鐘)兩個監視裝置都有發出辨識信號到控制中心2000，則控制中心2000可據以判斷可能有人進入或接近倉庫，從而產生影像辨識結果。

而關於設置第一門檻值的理由在於，當監視裝置1000設置的地點在室外時，會因為時間變動、日照變動與風等環境因素而有光影變化。因此須適當的設置第一門檻值以避免誤判斷。於此，本揭露提出一種第一門檻值的調整方法以試用於本揭露所提出的影像辨識方法。所述方法請參照圖8，其係依據本揭露一實施例的第一門檻值調整方法流程圖。如步驟S810所示，判斷在過去的一段預設時間區間(例如為五分鐘)內，產生第一辨識信號的比例。當在過去一段預設時間區間中，都沒有產生第一辨識信號。則表示第一門檻值太高，影像辨識方法的敏感度太低，因此如步 驟S820所示，調低第一門檻值。當過去一段預設時間區間內，產生第一辨識信號的次數或比例高於第一比例(例如高於10次或是高於每分鐘3次)，則表示第一門檻值太低，導致影像辨識方法敏感度太高，因此如步驟S830所示，調高第一門檻值。此外，第一門檻值也可以依據時間(日間或夜間)或監視影像的亮度(灰階)平均值來決定。舉例來說，時間是白天的時候，不論是用灰階(黑白)的監視影像或是彩色的監視影像，色彩及/或灰階的變化相較於晚上的時候會更大，因此白天的時候或是影像的亮度平均值較高的時候，選擇較高的第一門檻值。晚上的時候或是影像的亮度平均值較低的時候，選擇較低的第一門檻值。

由於本揭露的影像辨識方法，於多數的狀況下僅需進行畫素的亮度或各色的灰階計算與統計，其可以用簡單僅具加法的電路實現。相較於以往需要進行影像辨識的監視控制方法而言，其計算量大幅下降，也就是說本揭露的影像辨識方法於進行辨識時所需消耗的功率較習知的影像辨識方法所需消耗的功率低，且計算複雜度低使得完成辨識所需要花費的時間較習知的方法更短。

本揭露前述舉例用的時間長度、次數、及任何數量，均僅用於舉例說明。前述提到的攝影機為任何具有影像擷取能力的裝置，儲存媒介可具有非揮發性記憶體(硬碟)與揮發性記憶體(隨機存取記憶體)，信號收發器可以是符合有線的通訊、光通訊或無線通訊協定的信號收發裝置，而處理器可以是中央處理單元(central processing unit,CPU)、現場可程式邏輯閘陣列(field-programmable gate array,FPGA)、或其他具有運算能力的電路裝置。所舉的例子可以由所屬領域具有通常知識者依據本揭露的精神而調整與任意組合，並不以本揭露的實施例為限。

雖然本揭露以前述之實施例揭露如上，然其並非用以限定本揭露。在不脫離本揭露之精神和範圍內，所為之更動與潤飾，均屬本揭露之專利保護範圍。關於本揭露所界定之保護範圍請參考所附之申請專利範 圍。

S110~S190‧‧‧步驟

Claims (14)

1. 一種影像辨識方法，包含：取得一第一監視影像中一第一選定區塊中多個像素於過去M個影像中的像素值分布作為一第一區間像素值分佈；取得該第一選定區塊中該些像素於過去N個影像中的像素值分布作為一第二區間像素值分佈，N與M為正整數，且N＜M；依據該第一區間像素值分佈與該第二區間像素值分佈，取得關於該第一選定區塊的一第一變動參數；以及當該第一變動參數大於一第一門檻值時，產生一第一辨識信號。
2. 如請求項1所述的方法，更包含：取得該第一監視影像中一第二選定區塊中多個像素於該M個影像中的像素值分布作為一第三區間像素值分佈；取得該第二選定區塊中該些像素於該N個影像中的像素值分布作為一第四區間像素值分佈；依據該第三區間像素值分佈與該第四區間像素值分佈，取得關於該第二選定區塊的一第二變動參數；當該第二變動參數大於一第二門檻值時，產生一第二辨識信號；以及依據該第一辨識信號與該第二辨識信號，選擇性地產生一影像辨識結果。
3. 如請求項1所述的方法，其中於取得該第一監視影像中該第一選定區塊中該些像素於該M個影像中的像素值分布作為該第一區間像素值分佈的步驟中包含：提供K個像素值區間，K為大於一的正整數；對該M個影像中的該第一選定區塊分別計算至少一像素平均值，以得到M組像素平均值；以及依據該K個像素值區間與該M組像素平均值，產生該第一區間像素值分佈。
4. 如請求項3所述的方法，其中於取得該第一監視影像中該第一選定區塊中該些像素於該N個影像中的像素值分布作為該第二區間像素值分佈的步驟中包含：對該N個影像中的該第一選定區塊分別計算至少一像素平均值，以得到N組像素平均值；以及依據該K個像素值區間與該N組像素平均值，產生該第二區間像素值分佈。
5. 如請求項4所述的方法，其中於取得該第一變動參數的步驟中包含：對該K個像素區間中的第i個像素區間，計算該N組像素平均值於該第i個像素區間的正規化數量與該M組像素平均值於該第i個像素區間的正規化數量的差值的平方值作為第i個像素變異值，其中i為不大於K的正整數；以及計算該K個像素變異值，產生該第一變動參數。
6. 如請求項1所述的方法，其中該第一區間像素值分佈係依據該第一選定區塊中該些像素於該M個影像中的像素值中位數求得，且該第二區間像素值分佈係依據該第一選定區塊中該些像素於該N個影像中的像素值中位數求得。
7. 如請求項1所述的方法，其中該第一區間像素值分佈係依據該第一選定區塊中該些像素於該M個影像中的像素值的離散係數求得，且該第二區間像素值分佈係依據該第一選定區塊中該些像素於該N個影像中的像素值的離散係數求得。
8. 如請求項1所述的方法，其中該第一區間像素值分佈係依據該第一選定區塊中該些像素於該M個影像中的像素值的動態範圍求得，且該第二區間像素值分佈係依據該第一選定區塊中該些像素於該N個影像中的像素值的動態範圍求得。
9. 如請求項1所述的方法，更包含：取得一第二監視影像中一第二選定區塊中多個像素於過去X個影像中的像素值分布作為一第三區間像素值分佈；取得該第二選定區塊中該些像素於過去Y個影像中的像素值分布作為一第四區間像素值分佈，X與Y為正整數，且Y＜X；依據該第三區間像素值分佈與該第四區間像素值分佈，取得關於該第二選定區塊的一第二變動參數；當該第二變動參數大於一第二門檻值時，產生一第二辨識信號；以及依據該第一辨識信號與該第二辨識信號，選擇性地產生一影像辨識結果。
10. 如請求項1所述的方法，其中該第一門檻值係依據時間而決定。
11. 如請求項1所述的方法，其中當該第一變動參數於一預設時間區間中，均小於該第一門檻值，則調降該第一門檻值。
12. 如請求項1所述的方法，其中當該第一變動參數於一預設時間區間中，大於該第一門檻值的比例大於一第一比例，則調升該第一門檻值。
13. 如請求項1所述的方法，更包含依據該第一辨識信號，對該第一選定區塊進行影像辨識，判斷是否有一非預期物體，以產生一影像辨識結果。
14. 如請求項1所述的方法，更包含依據該第一辨識信號，與一控制中心進行通訊連接，以將該第一監視影像傳送至該控制中心。