201140470 六、發明說明： 【發明所屬之技術領域】 [0001] 本發明涉及一種監控系統與方法，尤其涉及一種物件及 其關鍵人監控系統與方法。 【先前技術】 [0002] 對於監控設備所捕獲的影像，智慧型監控系統可根據使 用者的需求對影像内容進行分析，透過偵測、追蹤及辨 識影像中的物件而自動判斷使用者所關心的物件是否遭 遇威脅，並以此有效減少事件或威脅所帶來的傷害。鑒 於此，機場、車站大廳等開放、杧碌且雜亂的環境裏， 需要一套能自動且有效監控環境中出現的可疑物件（包 括人）、事件或關鍵人的系統，該關鍵人包括移除物的 人（即移除者）和進入監控區域的物件的持有者。然而 ，現有監控系統在面臨下述問題時還無法準確地對監控 區域中的物件及其關鍵人進行判定：監控區域為忙碌、 擁擠、背景雜亂的環境，因監控設備拍攝角度或鏡頭縮 放造成所拍攝物體的外形改變或監控區域内的光線變化 等。 【發明内容】 [0003] 鑒於以上内容，有必要提供一種物件及其關鍵人監控系 統及方法，可在忙碌、擁擠、雜亂的背景下，因拍攝角 度、縮放造成物件外形改變或光線變化情況下，同時且 有效地監控與判定監控區域内被移除的物件、進入物及 該移除物的移除者和進入物的持有者。 一種物件及其關鍵人監控系統，運行於影像伺服器中， 099115231 表單編號A0101 第4頁/共34頁 0992026964-0 [0004] 201140470 該系統包括：前景物件偵測單元，用於利用雙層背景模 型偵測監控設備所捕獲的影像中的前景物件，該雙層背 景楔型包括現有背景模型和暫存背景模漤；物件及區域 判疋單兀’用於當該偵測的前景物件在大於或等於—個 設定時間_後仍被判定為前景物件時，在該前景物件 的畫素被移入暫存背景模型時標記所述畫素為感興趣畫 素，從暫存背景模型中搜尋與所述感興趣畫素鄰近的區 域中與所述感興趣畫素的畫素值相同的畫素點作為感興
趣晝素，由此得到—個畫素點集合b，當集合b的面積大 於-個設定範圍時，L背景則中擷取與集合b對應 的畫素點，並由此得到畫素點集合a;所述物件及區域; 定單元，還用於利用特徵點演算法分別對集合a*b實施 運算，找出各畫素點集合中的特徵點及其指述向量然 後利用種子區域增長演算法將現有f景模射的特徵點 作為種子實施影像切割得到區塊A,及將暫存背景模型中 與區塊A相對應位置上的的特徵點作為種子實施影像切割 付到區塊B，物件辨靡單元，用於比對區灿與區塊a的面 積以判疋監控區域内是否有進人物或移除物，有進入物 時辨識進人物，有移除物時判定該移除物的移除時間是 否在指定_肋，轉純警W ;及_人辨識單 -用於揭取所判（的進人物或移除物的特徵點描述向 量，並從發生報警指示的時間關始，以㈣單位往回 .檢索，搜尋關鍵影像，從關鍵影像中尋找所述進入物或 移除物的訊息’記錄該訊息，並透過將所述訊息與資料 庫中記錄的影像進行比對，辨識該進人物的持有者或移 除物的移除者。 099115231 表單編號A0I01 第5頁/共34頁 0992026964-0 201140470 [0005] 一種物件及其關鍵人監控方法，包括如下步驟：利用雙 層背景模型偵測監控設備所捕獲影像中的前景物件，該 雙層背景模型包括現有背景模型和暫存背景模型；若偵 測出的前景物件在大於或等於一個設定時間間隔後仍被 判定為前景物件，則在該前景物件對應晝素被移入暫存 背景模型時標記該對應晝素為感興趣畫素；從暫存背景 模型中搜尋與所述感興趣晝素鄰近的區域，找出與所述 感興趣畫素的畫素值相同的晝素點，並將其判定為感興 趣晝素，由此得到晝素點集合b ;當晝素點集合b的面積 大於一個設定範圍時，從現有背景模型中擷取與所述感 興趣畫素對應的晝素點得到畫素點集合a，找出各集合中 的特徵點及其描述向量，將集合a中的特徵點作為種子實 施影像切割得到區塊A，及將集合b中與區塊A相對應位置 上的特徵點作為種子實施影像切割得到區塊B ;比對區塊 B與區塊A的面積以判定監控區域内是否有進入物或移除 物，有進入物時辨識進入物，有移除物時判定該移除物 的移除時間是否在指定時間段内，並發出報警指示；擷 取所判定的進入物或移除物的特徵點描述向量，並從發 生報警指示的時間點開始，以幀為單位往回檢索，搜尋 關鍵影像；從關鍵影像中尋找所述進入物或移除物的訊 息並記錄該訊息；及透過將所述訊息與資料庫中記錄的 影像進行比對，辨識該進入物的持有者或移除物的移除 者。 [0006] 相較於習知技術，所述物件及其關鍵人監控系統與方法 ，利用彩色晝素建立背景模型，以此判斷前、背景物件 099115231 表單編號A0101 第6頁/共34頁 0992026964-0 201140470 [0007] Ο [0008]Ο [0009] [0010] 099115231 ，較一般只採用灰階畫素的監控系統及方法，具有更佳 的判斷力，其不僅能在忙碌、擁擠、雜亂的背景下或因 拍攝角度、縮放造成物件外形改變或光線變化時，辨璣 監控區域内被移除的物件和進入物，還可偵測移除物的 移除者和進入物的持有纟，以$到更完整的監控目的。 【實施方式】 如圖1所示，係本發明物件及其關鍵人監控系統較佳實施 例之運行觀®。_件及其_人監㈣㈣安裝並 運行於影像飼服器1中。該影像飼服器1透過網路與至少 -個監控設備2和-個資料庫3相連。本實施例中，所述 監控設備2可以為網路攝像機或其他類型具有監控功能的 電子設備。所述資料庫3用於儲存預先訓練過的多種物體 (包括人）的特徵點描述向量模型，及記錄監控設備冰 捕獲的連續影像。 圖斤丁係本發明物件及其關鍵人監鸟系統Μ較佳實 施例之功能單元圖。於該圖中’影像飼服器】内除了運行 有物件及其關鍵人監控系統1G外，還包括儲存設備2〇、 處理器30和顯示設備4〇。 其中’儲存設備_於麟料物件監控_1{)的電腦 化程式碼，及儲存由監控設備2所拍攝的彩色影像。在其 他實施例中，該儲存設備2〇可以為影像飼服器】外接的記 憶體。 處=器3〇執行所述物件及其關鍵人監控系觸的電腦化 、=、、P對现控設備2所捕獲的影像進行前景物件谓測 表單編像内的感興趣物件及區域進行判定、判定監 第 7 頁/共 34 頁 0992026964-0 201140470 控區域内有移除物或進入物後辨識該進入物或移除物的 關鍵人。 [0011] 顯示設備40用於顯示所述監控設備2所拍攝的彩色影像， 及處理器30執行物件及其關鍵人監控系統10時所對應的 各個畫面，如背景區域與前景物件的影像切割畫面，如 圖9所示的示意圖。 [0012] 所述物件及其關鍵人監控系統10包括：前景物件偵測單 元100、物件及區域判定單元102、物件辨識單元104和 關鍵人辨識單元106，該物件及其關鍵人監控系統10的功 能可透過圖3至圖9進行具體描述。 [0013] 所述前景物件偵測單元100包括圖3所示的模型建立模組 1 000、畫素分離模組1 002、儲存模組1 004、暫存背景模 型監控模組1 006和背景模型更新模組1 008。該前景物件 偵測單元100用於利用雙層背景模型偵測監控設備2所捕 獲的影像中的前景物件，具體方法將在圖5中進行詳細描 述。其中，所述雙層背景模型包括現有背景模型和暫存 背景模型，該現有背景模型是指偵測當前影像之前一幅 影像所生成的背景模型。 [0014] 所述物件及區域判定單元102，用於當所述前景物件在大 於或等於一個設定時間間隔後仍被判定為前景物件時， 若組成該前景物件的畫素被移入暫存背景模型則會自動 標記所述畫素為感興趣晝素。物件及區域判定單元102從 暫存背景模型中搜尋與所述感興趣晝素鄰近的區域中是 否存在與這些感興趣畫素相同的畫素點，並將該搜尋到 099115231 表單編號A0101 第8頁/共34頁 0992026964-0 201140470 [0015] Ο [⑻ 16] 〇 [0017] 的畫素點同樣視為感興趣晝素，由此得到一個晝素點集 σ b本實施例中，所述相同的畫素點是指晝素值與所述 感興趣畫素的畫素值相同的畫素點。 田集ab的面積大於—個設定範圍時，如集合匕大於^畫 素點x50里素點時’所述物件及區域判定單元還用於 從現有背景模型中擷取與集合b對應的 晝素點，並由此得 m點集其中’所述設定範圍可由用戶自行確定 :】如田用戶僅想對體積較大的物體進行偵測時，可 將s亥設定範園^署+ ,^ 。成一個較大的值，以便於後續從影像 篩選出較為關心的物體進行監控。 八^物件及區域判定單元lQ2'，還用於利用特徵點演算法 J對集合a和b實施運算’找出各晝素點集合中的特徵 其為述向量°本實施例中，所述特徵點演算法為尺 &不變特徵轉換（scale_invariant feature trans_ rm ’ SIFT)演算法或其他可躲侧與描述影像中的 局性特徵的演算法（如SURF演算法）。其中，利用 IFT廣算法所提取的特徵點是基於物體上的一些局部外 觀的興趣點’與影像的大小和旋轉無關。如圖9 (b2)中 的黑色小圓點是在集合b中找出的特徵點，圖9 (a2)中 的黑色小圓點是在集合3中找出的特徵點。 隨後，物件及區域判定單元1〇2利用種子區域增長演算法 將集合a中的特徵點作為種子實施影像切割得到區塊A， 圖9 (a3)所不，及將集合b中與區塊A相對應位置上的 特徵點作為種子實施影像切割得到區塊β，如圖9 ( 所示。 ^ 099115231 表單鵠號Α0101 第9頁/共34頁 °992〇26964-〇 201140470 [0018] 物件辨識單元104用於判斷區塊B的面積是大於還是小於 區塊A的面積，當區塊B的面積小於區塊A的面積時，物件 辨識單元104判定該監控區域内有進入物，及當區塊B的 面積大於區塊A的面積時，物件辨識單元104判定該監控 區域内有移除物。 [0019] 該物件辨識單元104還用於對所判定的進入物進行大小、 顏色和進入時間過濾，並利用一般機器學習演算法如類 神經網路（Neural Networks)、支援向.量機（Support Vector Machine) 等 ，將過濾後的進入物的特徵 點及其描述向量與資料庫3中儲存的各物體的特徵點描述 向量模型進行比對，以辨識該進入物，及判斷所述移除 物是否在指定時間段内被移除。 [0020] 其中，所述過濾具體是指將感興趣晝素組成的多個物體 進行過濾，使得最終判定的物體的大小、顏色和進入監 控區域的時間都符合用戶的要求，如過濾後的物體需有 汽車大小、忽略都市計程車的顏色及進入監控區域的時 間需在無人防守的時間段内。 [0021] 所述關鍵人辨識單元106，用於擷取所判定的進入物或移 除物的特徵點描述向量，並從物件辨識單元104發生報警 指示的時間點開始，以幀為單位往回檢索，搜尋關鍵影 像，從關鍵影像中尋找所述進入物或移除物的訊息，記 錄該訊息，並透過將所述訊息與資料庫3中記錄的影像進 行比對，辨識該進入物和移除物的關鍵人，即辨識進入 物的持有者和移除物的移除者。 099115231 表單編號A0101 第10頁/共34頁 0992026964-0 201140470 [0022] 舉例而言’若監控設備2捕獲到有一個人提著箱子進入監 控區域’然後放下箱子走出監控區域，則關鍵人辨識單 元1〇6為了辨識該提著箱子的人（也就是進入物的持有者 )’會從物件辨識單元1 〇4發生報警指示的時間點開始， 以幀為單位往回檢索關鍵影像，該關鍵影像為連續影像 ，包括：從提著箱子的人放下箱子的影像往前推，直到 該人提著箱子走進監控區域的一刹那所捕獲的影像。 [0023] 右監控設備2捕獲到有一個人從監控區域内提起_個箱子 〇 走出監控區域，則關鍵人辨識單元刚為了辨識該提走箱 子的人（也就是移除者），會從物件辨識單元104發生報 警指示的時間點開始’以㈣單位往回檢索關鍵影像， 該關鍵影像為連_像，包括：從歸者提著箱子走出 監控區域的-刹那所捕獲的影像往前推，直到該移除者 從監控區域提起箱子時所捕獲的影像。 剛㈣4所示，係树3杨件及其_人監控方法較佳實施 例之作業流程圖。 〇 剛步賴〇〇，《鱗_單元⑽彻雙層㈣模型 監控設備2所捕獲的影像t的前景物件，具體描述如圖5、 所述。該雙層背景模型包括财背景模型和暫存背景模 型。 闕*驟㈣2，物件及區_ W2對感興趣書素進行判 定後，物件辨識單元叫判定影像中是否有進入—物或移除 物，辨識進入物後或當移除物被移除的時間在指定時間 段内時’發出報警指示。具體方法如圖8所述。 099115231 表單編號A0101 第11 共34頁 0992026964-0 201140470 [0027] 步驟S404，關鍵人辨識單元106擷取所判定的進入物或移 除物的特徵點描述向量，並從發生報警指示的時間點開 始，以幀為單位往回檢索，搜尋關鍵影像。 [0028] 步驟S406，關鍵人辨識單元106從搜尋到的關鍵影像中尋 找所述進入物或移除物的訊息並記錄該訊息。 [0029] 步驟S408，該關鍵人辨識單元106透過將所述訊息與資料 庫3中記錄的影像進行比對，辨識該進入物的持有者或移 除物的移除者。 [0030] 如圖5所示，係圖4步驟S400中前景物件偵測之具體流程 圖。該流程僅以N幅彩色影像中的某兩幅影像的前景物件 偵測為例進行說明，其他影像中的前景物件偵測均依照 該偵測方法進行。 [0031] 步驟S500，透過模型建立模組1 000設定一個空背景模型 ，接收N幅彩色影像中的第一幅影像，也就是說，該空背 景模型用於儲存第一幅影像。本實施例中，第2幅〜第N幅 以及第N幅之後的影像的前景偵測無需再重新設立空背景 模型。 [0032] 步驟S502，依次將該N幅影像中的一幅影像作為當前影像 ，以偵測該影像之前一幅影像所生成的背景模型為現有 背景模型。 [0033] 步驟S504，晝素分離模組1 002將該當前影像中的各畫素 與現有背景模型中的畫素進行比對，以確定相應畫素間 的晝素值之差和亮度差值。本實施例中，第二幅影像是 以存入空背景模型中的第一幅影像為現有背景模型；當 099115231 表單編號A0101 第12頁/共34頁 0992026964-0 201140470 該第二幅影像處理完後，再取出第三幅影像進行處理， 該第三幅影像是以由偵測第一幅、第二幅影像所生成的 背景模型為現有背景模型，以此類推，直到將所有的影 像處理完畢。例如，如圖6所示，第N幅影像是以偵測第 卜第N-1幅影像所取得的背景模型A0為現有背景模型，第 N + 1幅影像以背景模型A為現有背景模型。 [0034] 步驟S506，晝素分離模組1 002判斷上述確定的晝素值之 差和亮度差值是否均小於或等於預先設定的門檻值。 Q [0035] 若所述畫素與現有背景模型中的相應畫素間的晝素值之 差和亮度差值均小於或等於預先設定的門檻值時，於步 驟S508，畫素分離模組1 002判定該畫素為背景畫素，儲 存模組1004將該畫素加入現有背景模型中，從而生成了 新背景模型，然後進入步驟S518，其中，由所有背景畫 素組成的物件本實施例稱之為背景物件。例如，假設監 控區域無外界物體（如人或車）涉入，僅光線有輕微變 化，而由該變化的光線不會導致當前影像中的畫素較現 Q 有背景模型有太大變化時，畫素分離模組1 002仍會繼續 將當前影像中的畫素判定為背景畫素，儲存模組1004將 該畫素加入現有背景模型中生成新背景模型。 [0036] 反之，若所述畫素與現有背景模型中的相應畫素間的晝 素值之差和亮度差值均大於所述預先設定的門檻值，於 步驟S510，畫素分離模組1 002判定該畫素為前景畫素， 由所有前景畫素組成的物件本實施例稱之為前景物件。 如圖6和圖7所示，若由上述第1〜第N-1幅彩色影像組成的 背景模型為A0，該背景模型A0由監控區域内停留的樹、 099115231 表單編號 A0101 第 13 頁/共 34 頁 0992026964-0 201140470 馬路組成，在第N幅影像中，若有車輛進入監控區域，則 經過步驟S 5 0 6的偵測過程可判定組成車輛的晝素為前景 物件。 [0037] 步驟S512，儲存模組1 004將步驟S510中的前景物件的畫 素及現有背景模型進行暫存，得到所述暫存背景模型B。 [0038] 步驟S514，暫存背景模型監控模組1 006即時監控所述暫 存背景模型B中的晝素的晝素值和亮度值在預設時間間隔 内是否有變化。若在該預設時間間隔内所述暫存背景模 型B中的晝素的畫素值和亮度值有變化，假設變化後的暫 存背景模型為B‘，則暫存背景模型監控模組1 006重複執 行步驟S514，判斷該暫存背景模型B‘在預設的時間間隔 内是否有變化。反之，若在該預設時間間隔内所述暫存 背景模型B (或暫存背景模型B‘）中的晝素的畫素值和亮 度值沒有變化，則流程進入步驟S51 6。 [0039] 步驟S516，背景模型更新模組1 008以所述暫存背景模型 B或B‘更新所述現有背景模型，從而生成了新背景模型， 例如，如圖7所示，背景模型更新模組1 008以暫存背景模 型B更新所述現有背景模型得到新背景模型（如背景模型 A)。針對所述第N幅之後的影像，如圖6中的第N+1幅影 像，在晝素分離模組1 002偵測到前景物件且該前景物件 被暫存到暫存背景模型B‘後，若暫存背景模型監控模組 1 006監控到所述暫存背景模型B‘在所述預設時間間隔内 沒有變化，則背景模型更新模組1 008會以該暫存背景模 型B‘更新所述背景模型A得到背景模型A‘，以此類推，背 景模型會不斷的得到更新，此背景即時更新的方法可以 099115231 表單編號A0101 第14頁/共34頁 0992026964-0 201140470 [0040] Ο [0041] [0042]
避免影像晃動、光線變化、週期性物體的干擾，更精確 地偵測出影像中的前景物件，以達到對監控區域有效監 控等目的。另外，利用該方法還可將在監控區域内停留 一段時間的物件自動視為背景。 步驟S518，晝素分離模組1 002透過核對所接收的彩色影 像判斷是否還有影像未被偵測，也就是說，晝素分離模 組1 002判斷是否還有彩色影像的前景物件和背景物件對 應的畫素未進行分離。若判斷結果為否，則直接結束流 程。若判斷結果為是，則返回步驟S504以未偵測的影像 為當前影像，以偵測該影像之前的影像所生成的背景模 型為現有背景模型，依次執行步驟S504至步驟S516。 如圖8所示，係圖4步驟S402中進入物和移除物判定之具 體流程圖。 步驟S800，若圖5中偵測到的前景物件在大於或等於一個 設定時間間隔後仍被判定為前景物件，物件及區域判定 單元102在該前景物件的畫素被移入暫存背景模型時會將 所述畫素標記為感興趣畫素，物件及區域判定單元102從 暫存背景模型中搜尋與所述畫素鄰近的區域，找出與所 述畫素的畫素值相同的畫素點，並將其判定為感興趣畫 素，由此得到一個畫素點集合b (如組成圖9 (bl)的畫 素點集合）。 步驟S802，當所述畫素點集合b的面積大於一個設定範圍 時，物件及區域判定單元102從現有背景模型中擷取與所 述晝素點集合b對應的畫素點，並由此得到畫素點集合a 099115231 表單編號A0101 第15頁/共34頁 0992026964-0 [0043] 201140470 (如組成圖9 (al)中五角星的晝素點集合）。 [0044] 步驟S804，物件及區域判定單元102利用特徵點演算法分 別對畫素點集合a和b實施運算，找出各畫素點集合中的 特徵點（如圖9 (a2) 、（b2)中的黑色小圓點）及其描 述向量，然後利用種子區域增長演算法將集合a中的特徵 點作為種子實施影像切割得到區塊A (如圖9 (a3)中的 黑色部分），並將集合b中與區塊A相對應位置上的特徵 點作為種子實施影像切割得到區塊B (如圖9 (b3)中的 黑色部分）。 [0045] 步驟S806，物件辨識單元104判斷該區塊B的面積是大於 區塊A的面積還是小於區塊A的面積。若區塊B的面積是大 於區塊A的面積，則流程進入步驟S808，若區塊B的面積 是小於區塊A的面積，則流程進入步驟S814。本實施例中 ，若區塊B的面積是等於區塊A的面積，表明監控區域内 既沒有進入物也沒有移除物。 [0046] 步驟S808，物件辨識單元104判定該監控區域内有物件被 移除，即該監控區域内有移除物。 [0047] 步驟S810，物件辨識單元104判斷該移除物是否在指定時 間段内被移除，若判斷結果為該移除物是在指定時間段 内被移除，則流程進入步驟S81 2。若判斷結果為該移除 物不是在指定時間段内被移除，則結束流程。 [0048] 步驟S81 2，物件辨識單元104發出報警提示安全人員此監 控區域有威脅，然後流程結束。 [0049] 步驟S814，物件辨識單元104判定該監控區域内有物件進 099115231 表單編號 A0101 第 16 頁/共 34 頁 0992026964-0 201140470 入
即該監控區域内有進入物。 步驟S816，物件辨識單元1〇4 進入時間進行過渡後辨識該過濟=進入物的大小、顏色和 進入步驟S812。具體而言^"的進入物’然後流程 入物U個）的大小、顏色^辨識單元1Q4外所迷進 + 色和進入時間是否在用戶机里 :要求範圍内’並對符合要求的進入物進行辨識： 用一般機器學習咖ner Wc^ks)或支援向量機（ uPP〇rt vector machine) 將該過濾後的進人物㈣徵點及聽削量與資料庫 儲存的各物體的特徵點描述向量模型進行比對以辨識 該進入物為何種物體。 ° 最後所應說明的是，以上實施例僅用以說明本發明的技 術方案而非限制，儘管參照以上較佳實施例!對本發明進 行了詳細說明，本領域的普通技術人員應當理解，可以 對本發明的技術方案進行修改或等同替換，而不脫離本 發明技術方案的精神和範圍》 【圖式簡單說明】 [0052]圖1係本發明物件及其關鍵人監控系統較佳實施例之運行 環境圖。 [0050] [0051] [0053]圖2係本發明物件及其關鍵人監控系統較佳實施例之功能 單元圖。 [_] 圖3係圖2中前景物件偵測單元之功能模組圖。 [0055] 圖4係本發明物件及其關鍵人監控方法較佳實施例之作業 流程圖。 099115231 表單編號A0101 第17頁/共34頁 0992026964-0 201140470 [0056] 圖5係圖4步驟S400中的前景物件偵測之具體流程圖。 [0057] [0058] [0059] [0060] [0061] [0062] [0063] [0064] [0065] [0066] [0067] [0068] [0069] [0070] [0071] [0072] 099115231 圖6和圖7係圖5中偵測到的前景物件及背景模型變化示意 圖。 圖8係圖4步驟S402中進入物和移除物判定之具體流程圖 0 圖9係本發明有進入物時的特徵點偵測和影像切割示意圖 〇 【主要元件符號說明】 影像伺服器：1 監控設備·’ 2 資料庫：3 物件及其關鍵人監控系統：10 儲存設備：20 處理器：3 0 顯示設備：40 前景物件偵測單元：100 物件及區域判定單元：102 物件辨識單元：104 關鍵人辨識單元：106 模型建立模組：1000 畫素分離模組：1002 表單編號A0101 第18頁/共34頁 0992026964-0 201140470 [0073] 儲存模組：1004 [0074] 暫存背景模型監控模組：1006 [0075] 背景模型更新模組：1008 Ο ❹ 099115231 表單編號A0101 第19頁/共34頁 0992026964-0