TWI749113B - 在視訊監控系統中產生警示之方法、系統及電腦程式產品 - Google Patents

在視訊監控系統中產生警示之方法、系統及電腦程式產品 Download PDF

Info

Publication number
TWI749113B
TWI749113B TW106141512A TW106141512A TWI749113B TW I749113 B TWI749113 B TW I749113B TW 106141512 A TW106141512 A TW 106141512A TW 106141512 A TW106141512 A TW 106141512A TW I749113 B TWI749113 B TW I749113B
Authority
TW
Taiwan
Prior art keywords
action
actions
processor
video stream
target object
Prior art date
Application number
TW106141512A
Other languages
English (en)
Other versions
TW201826141A (zh
Inventor
尼可拉斯 丹尼歐森
賽門 莫林
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201826141A publication Critical patent/TW201826141A/zh
Application granted granted Critical
Publication of TWI749113B publication Critical patent/TWI749113B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本發明揭示一種在一監控系統中產生一警示信號之方法。本方法包括作為第一步驟之在一視訊串流中偵測一目標個體，選擇該目標個體，並追蹤該目標個體。在此等步驟之後，該方法包括：回應於該所偵測物件被識別為一目標人而對該視訊串流中之複數個影像圖框內之該所偵測個體之動作進行分類，且若該物件之該經分類動作被分類為一預定義警示產生動作，則產生一警示信號。

Description

在視訊監控系統中產生警示之方法、系統及電腦程式產品
本發明係關於一種用於追蹤物件之方法，且特定言之係關於一種在視訊監控系統中產生警示之方法。
在視訊監控及視訊分析之領域內，動作辨識係發展之一區域。動作辨識之目的係實現由一受監控場景中之物件執行之動作(通常為人體動作)之自動偵測。一實例可為，雖然一周邊感測器可在一個體或物件進入一特定區域時產生一警示，但是動作辨識可在該相同個體呈現一敵意姿勢時產生一警示。藉由改良的影像處理技術、深度學習等而促進發展，從而實現較短時間中之更高級處理。
存在用於動作辨識的若干已知技術，且該等技術可被劃分為空間技術及時間技術，其中空間技術例如包含對一靜態影像(或一單一影像圖框)中之姿勢進行分類之各種方式，而時間技術通常涉及對一連串事件之評估(例如對一系列影像圖框中之姿勢之評估)。類神經網路可用於執行動作辨識，然而最新技術亦包含支援向量機等。用於動作識別之技術並非本申請案之關注點，然而在詳細描述中將給出更多實例。
在一現代監控情況中，通常情況是將大量資訊收集至一控制中心， 其中一或多個操作者現場檢視資訊。資訊通常包含若干現場視訊串流。通常，存在實現隨後資訊之檢視之一記錄功能，但能夠對發生於受監控場景之一者中之非期望的動作即刻反應而非僅能夠回顧分析有好處。理論上將可能追蹤並分析由視訊攝影機捕捉之任何事物。現實中，處理效能中之人為因素及當前限制使得此一方法(即由若干視訊攝影機捕捉之所有資訊的現場評估)變得不切實際。
本發明目的在於提供一種改良的操作者支援，特定言之用於複雜的監控情況。
鑑於上文，因此本發明之一目的係藉由提供一種在一視訊監控系統中產生警示之改良的方法而消除或減輕上述問題。
根據一第一概念，提供在一監控系統(運動視訊攝影機)中產生一警示信號之方法，其包括：在一視訊串流中偵測一目標個體，選擇該目標個體，追蹤該目標個體，回應該所偵測物件被識別為一目標人而對該視訊串流中之複數個影像圖框內之該所偵測個體之動作進行分類，且若該物件之該經分類動作被分類為一預定義警示產生動作，則產生一警示信號。
一個體之識別可基於該技術領域之任何現有技術。通常，一輸出包含可與一所儲存外觀模型比較之一外觀模型(諸如外觀向量或特徵向量)。
根據此第一態樣之本發明解決最佳化追蹤程序，且特定言之產生警示之需求。從一監控角度來看，能夠回溯個體之動作，以便整理出特定一連串事件有好處，且因而視訊監控在其應用內已是一非常有用工具。視訊監控亦有效地聚焦於特定個體以便例如當場抓住執行一禁止動作之某人。該監控系統可為一運動視訊攝影機。
在本申請案中，詞「禁止」通篇用於描述一警示產生動作。此係簡單地因為最明顯的使用情況涉及偵測將被視為禁止之動作。然而，此不排除由於另一原因而將被視為受關注之動作，且一更廣泛術語將簡單地為「警示產生」，其繼而將使文字閱讀起來有一點麻煩。所以，為了簡單起見，我們堅持使用「禁止」，並賦予它「我們將作出反應的動作，在無反應的情況下不應發生的動作」之意義。
本發明可如何促進一操作者的工作並增加一監控系統之效率係顯而易見的。
在一或多個實施例中，較佳對影像圖框之一子集執行動作辨識，例如包含目標個體而非整個影像圖框之一裁切。以此方式，明顯減少運算負擔，特定言之針對含有大量個體之一視圖。此當然暗示將忽視場景中之一些個體(將僅主動監控已被選擇並追蹤之個體)。
將一受監控個體與一資料庫之內容比較係起始一追蹤序列之一直接方式，而不管手動或自動執行識別及/或比較。
系統可輸出一個體化特徵向量或外觀向量，供後續參考。
在一或多個實施例中，藉由一辨識演算法而執行一目標人之識別，藉此可使該識別自動化以使一操作者受益。在此實施例中，操作者可被警示或可不被警示已識別一個體及已起始追蹤。在警示操作者之一實施例中，可提示操作者是否應停止追蹤。
與其進行手動或自動比較之資料庫可包括先前識別的個體，且在當前上下文中，識別暗指藉由姓名識別，或僅在他們的身份仍未知，但他們已成為一些先前控制或監控之標的之意義上識別。資料庫可包括經識別個體之影像及/或表示經識別個體的特徵向量。
另外，或替代地，資料庫可包括與一特定監控情況或位置相關之多組經識別屬性。屬性之實例可為「攜帶一包」、「眼睛不可見」/「遮面」等，即在一日常情況中可能並不可疑，但取決於上下文，可能值得注意之屬性。
根據一組實施例，可在包括一組「禁止」動作之一資料庫中選擇預定義警示產生動作。此實施例具有若干級之複雜度。在第一級中，可能僅存在可能被識別之特定數目之動作，且在此等動作中一部分被視為禁止。此外，針對一特定監控情況，一組動作將被視為禁止，而另一監控情況中，另一組動作中將被視為禁止。在一倉庫中，相較於在一體育場或一火車站中，此等組動作將係不同的。
此外，一旦識別一個體，一預設組之動作基於監控情況(「在此區域中將禁止以下動作」)可產生警示，而在其他或相關實施例中，可基於一特定個體，例如針對一已知扒手(「針對此人以下動作將被禁止並產生警示」)而決定該組動作。此將在詳細描述中進一步闡述。
在一更進一步細化的實施例中，警示產生動作之選擇可與個體及/或一特定區域相關。警示產生動作之選擇可與一特定個體相關。實例包含操作者或系統辨識一個體之前已執行禁止動作，且在此一情況中，可針對重複禁止動作的事件對個體進行追蹤。至少在已產生一警示之前，此實施例可在無操作者之互動的情況下執行。此外，警示產生動作之選擇可與一特定區域相關聯，且作為一實例，選擇可包含：在一些區域中，最常見禁止動作可為奔跑及搶劫，而在其他區域中，其可為「展現攻擊跡象」、「形成一群組之個體」等。此係減小有關目標動作辨識之運算負擔之又另一方式。
在一或若干實施例中，在選擇一目標個體之後提示警示產生動作之選擇。藉由此等實施例而實現若干替代方案。一個實例可為在一操作者識別一人(例如藉由點擊此人)時呈現選擇窗。在選擇窗中，操作者可選擇將被視為對該特定人禁止之若干動作。可用選擇可對應於可被辨識之所有可用動作，或可用選擇亦可限於與特定個體相關之動作之一子組，例如已知個體之前已執行之禁止動作。若一個體被自動識別，則一選擇窗格可經配置以在個體被識別時出現，且操作者可忽略窗格或使一選擇被啟動。一選擇窗格僅係呈現一查詢之許多可能方式之間之一實例。
在任何實施例中，至少部分藉由攝影機中之一影像處理演算法執行動作識別。亦可藉由攝影機中之一影像處理演算法而完整地執行動作識別。
在一或多個實施例中，一動作候選者辨識器經組態以將一第一動作辨識演算法應用至物件影像圖框，且藉此偵測一動作候選者之存在；一視訊提取器經組態以藉由提取與來自該視訊序列之複數個影像圖框相關之視訊資料而產生一動作視訊序列之動作影像圖框，其中從其提取該視訊資料之複數個影像圖框之一或多者包括所關注之物件；及一網路介面經組態以將該動作視訊序列傳遞至伺服器。伺服器包括一動作驗證器，該動作驗證器經組態以將一第二動作辨識演算法應用至動作視訊序列，且藉此驗證或拒絕動作候選者係一動作。此在本申請人之一共同待審申請案中進一步揭示，如本申請案之另一部分中詳細描述。
在一或多個實施例中，可使用一基於攝影機之影像分析(影像處理演算法)而執行動作分類，而在其他或相關實施例中，藉由如上所述之一遠端裝置支援或執行動作分類。
該方法可進一步包括從該監控系統之一第一裝置至一第二裝置之一交遞，包含一外觀向量至視訊攝影機之一網路之通信。
在一或若干實施例中，目標物件之一外觀向量被記錄至一資料庫，作為一新條目或一更新。
動作辨識可基於一空間/情境辨識方法，或一時間辨識方法。
在本發明之一第二態樣中，提供一種系統，其包括一數位網路攝影機，該數位網路攝影機具有一影像處理電路、一物件識別器、一物件追蹤器、一警示產生器，其中該影像處理電路、該物件識別器、該物件追蹤器、該警示產生器可形成該數位網路攝影機之部分或包括於一基於伺服器的解決方案(一伺服器或伺服器之一網路)中，且該系統進一步包括一使用者介面，其中該系統經組態以執行根據本發明中揭示之一或任一實施例之方法。
根據本發明之又另一態樣，提供一種電腦程式產品，其包括具有指令之一電腦可讀儲存媒體，該等指令適於在由具有處理能力之一裝置執行時執行根據上文或下文描述之方法。
應注意，除非另有明確說明，否則本發明係關於特徵之全部可能組合。
自下文給出之詳細描述將明白本發明之適用性之一進一步範疇。然而，應理解，詳細描述及特定實例雖然指示本發明之較佳實施例，但僅係以圖解說明方式給出，此係因為熟習此項技術者將自此詳細描述明白在本發明之範疇內之各種改變及修改。因此，應理解，本發明並不限於所描述之裝置之特定組件部分或所描述之方法之步驟，此係因為此裝置及方法可改變。亦理解，本文中所使用之術語係僅出於描述特定實施例之目的且並 不意指限制性。必須注意，如說明書及隨附技術方案中所使用，除非上下文另有明確規定，否則冠詞「一」、「一個」、「該」及「該等」旨在意謂存在該等元件之一或多者。因此，例如，提及「一感測器」或「該感測器」可包含若干感測器等。此外，詞「包括」並不排除其他元件或步驟。
100:方法
102:偵測
104:第二步驟
106:追蹤
108:分類
110:動作
112:警示
114:辨識系統
116:資料庫
118:屬性
120:「藉由偵測而追蹤」
122:「基於追蹤之運動」
124:儲存
126:廣播
128:空間或情境資訊
130:使用
132:兩階段程序
134:伺服器
140:系統
142:數位網路攝影機
144:外殼
146:透鏡/透鏡配置
148:電路
150:影像感測器
152:影像處理單元
154:物件識別器
156:動作候選者辨識器
158:網路介面
160:中央處理單元(CPU)
162:數位資料儲存媒體(記憶體)
164:編碼單元
166:伺服器
168:使用者介面
參考附圖，透過本發明之較佳實施例之以下闡釋性及非限制性詳細描述將更佳地理解本發明之上述以及額外目的、特徵及優點，其中相同元件符號將用於類似元件，其中：圖1係繪示本發明之一第一實施例之一流程圖，圖2係繪示用於如圖1之實施例中所揭示之本發明之一序列之若干可能實施例之一部分流程圖，圖3係繪示用於如圖1之實施例中所揭示之本發明之一步驟之若干可能實施例之一部分流程圖，圖4係繪示用於如圖1之實施例中所揭示之本發明之一序列之若干可能實施例之一部分流程圖，圖5係經組態以用於根據一發明方法之實施例之一者或任一者執行該發明方法之一系統之一示意圖，及圖6係一電腦程式產品之一示意圖，其包括具有指令之一電腦可讀儲存媒體，該等指令適於在由具有處理能力之一裝置執行時根據發明方法之實施例之一者或任一者執行該發明方法。
在一實際情況中，一單一操作者可負責同時監視若干攝影機視圖。在一商店中，通常，監控攝影機可覆蓋入口、收銀台及商店內之若干位 置。若標定一可疑個體，則此將暗示降低其他視圖之察知，此係因為操作者將具有有關目標個體之一更大察知。
根據本發明，操作者可在選擇一目標人來追蹤(即，識別為待追蹤之一物件)時作出一主動選擇。因此，操作者之注意力可轉向別處，且若進行禁止動作之一者，則系統將產生一警示信號，藉此可通知操作者進行情況的全面檢視。
圖1根據發明方法之一第一實施例100繪示該發明方法。藉由在一場景中偵測102一目標個體之一步驟而起始方法100。事實上，個體仍待標定，但為了簡單起見，使用術語「目標個體」，而非「可能可在一後續階段標定的一個體」。在實踐中，通常此步驟之前係由一物件偵測演算法或運動偵測演算法執行之一自動化步驟，該物件偵測演算法或運動偵測演算法辨識一個體已進入成像場景，且個體定位於一特定區域中，通常導致個體(或其他移動物件)藉由一矩形強調顯示。在第二步驟104中，操作者將選擇目標個體。若個體已用一矩形或以任何其他方式標記，則選擇可能藉由使用一標記器在視圖中點擊有關個體附近而進行。
當選擇執行時，可憑藉經由任何適合的介面之通信而自動地或依使用者請求起始目標個體之追蹤106。此外，可藉由目標個體進行之一組動作被分類108為禁止(如本描述之上下文中定義)。此將參考其他實施例更詳細論述，但可能已陳述，可以許多不同方式(手動及自動)執行將動作分類為「禁止」。
從此刻開始，一旦偵測到目標個體執行包含於該組禁止動作中之一動作110，則系統將產生一警示112。警示可用於若干目的，例如其僅可產生一標記，以供後續檢視，或一旦偵測到動作，則其可產生至一操作者 之一立即通知。若識別未包含於禁止動作之列表中之一動作，則系統僅將返回至追蹤及動作辨識，而不產生任何警示。
此等係本發明之任何實施例之主要構建組塊，但構建組塊之任一者可經進一步細化，以便提供對執行方法之系統之一操作者或使用者有利之更詳盡解決方案。將在下文中描述此等詳述之一些，且熟習此項技術者應意識到，除非在邏輯上不可能，否則可自由地組合細化構建區塊，以形成方法之替代實施例。
偵測並選擇一個體，圖2
可以許多不同方式偵測一個體，且選擇個體之步驟可與偵測緊密相關。在一個實施例中，僅藉由由操作者選擇而偵測並標定個體，在其之後不存在進一步邏輯。可藉由含有特別關注之個體之一資料庫116支援操作者。資料庫可與或可不與執行方法之系統整合。亦可藉由呈現個體之一可能身份之一辨識系統114支援操作者。若實際上將始終選擇一特定個體(例如進入一商店之一已知扒手)，則偵測並選擇之整個步驟可或多或少自動執行，而發送或不發送一警示給操作者告知追蹤已起始。
根據其他或經組合替代方案，不基於個體外觀而基於屬性118識別個體。屬性可為物理的(諸如人是否攜帶一包、推動一手推車、攜帶一不適宜工具等)。總之，方法之此部分可為非常簡單的，但其亦可為詳盡的，且僅受可用技術限制。
將動作分類為對個體禁止
再者，此步驟可或多或少係詳盡的，且存在許多不同可能替代方案。在一項實施例中，預設禁止動作，意謂無論特定目標個體如何，相同組之動作將被視為禁止。繼而，此可具有一進一步替代方案，其中選擇取 決於一特定區域而非一特定個體。
在其他實施例中，該組禁止動作係由操作者定義，且在又其他或相關實施例中，該組禁止動作完全或部分由經識別個體定義。後者不暗示，經識別個體執行選擇，而針對一特定個體，可完全或部分預設一定製組之動作。不管如何推斷該組之禁止動作，在一或多個實施例中，一操作者可能能夠藉由添加或移除動作來微調該組。
該組禁止動作可與一位置相關聯，意謂僅在一特定區域中禁止一特定動作，使得僅在於該特定區域內執行動作的情況下，產生一警示。
有關動作亦可與一類物件(例如其可區分一兒童及一成人、一員工及一非員工)相關，且可相應地調整該組之警示產生動作。有關動作可與一個體物件相關，例如此人不應被允許在此區域中攜帶一包等。
追蹤一個體，圖3
追蹤個體之步驟可以任何現有方式進行。若使用一單一攝影機且個體從未離開場景，則追蹤非常直接，且可根據「藉由偵測而追蹤」120或「基於運動之追蹤」122技術之一者，或藉由另一或經組合現有或新穎技術而執行，以確保在一單一或若干場景內追蹤(諸如藉由重新識別之追蹤)相同個體。
本發明在涉及若干監控攝影機之系統中具有明顯的優點，此係因為此係操作者可自額外支援受益之一典型情況。在此一情況中，可藉由儲存124於可用於所有攝影機(或至少相關者)之一位置處，或廣播126至系統之其他攝影機而使一外觀模型可用於系統內之所有攝影機。
動作辨識及警示產生
動作辨識係本發明之一促成因素而非一主要問題，但仍可提及一些 替代方案。已在本申請案之背景部分中提及一些，且結論係可使用用於動作辨識之任何方法。然而，存在可與視訊監控之領域相關之兩個特徵。一者係應即時執行動作辨識，此係因為一即時警示係受歡迎的，且另一者係可能存在攝影機上可用之處理效能的限制。針對直接動作辨識技術(諸如基於空間或情境資訊128之技術)，此等特徵極少導致任何問題。然而，對於必須處理大量資料之最新技術，其可能產生問題(例如處理效能不足)。後者之實例係使用130影像之一時間解析序列之技術。
Georgia Gkioxari、Ross Girshick及Jitendra Malik在「Contextual Action Recognition with R*CNN」；arXiv：1505.01197中揭示一情境動作辨識演算法之一實例。例如，在CN102855462、CN103106394中，且由Karen Simonyan及Andrew Zisserman在「Two-Stream Convolutional Networks for Action Recognition in Videos」；arXiv：1406.2199中描述動作辨識演算法(情境及/或空間動作辨識演算法及時間動作辨識演算法兩者)之進一步實例。
不管所使用的技術，可較佳僅對影像之最小可能部分(暗指包含目標個體之一切出(一裁切))執行動作辨識。在一些實施例中，僅包含可能活躍於禁止種類之一動作之個體之部分(一甚至更小裁切)將係足夠的，而在又其他實施例中，出於能夠作出一情境評估(一略大裁切)之目的可較佳包含環境之部分。
在其他實施例中，動作辨識經執行為兩階段程序132。在第一階段中，作出一初始辨識，暗指基於低複雜度之一動作辨識技術(諸如僅評估目標個體之一當前姿勢之一技術)。在第二階段中，使用一更複雜技術(諸如使用時間解析資訊之一技術)進行一確認。此實現一快速「即時」警 示，隨後進行一確認。例如，在更複雜的技術在運算上要求高的情況下，執行動作辨識所需之資訊(例如影像圖框或影像圖框之裁切)可被傳遞至具有優於攝影機的運算能力之一伺服器134。由本申請人/受讓人在一共同待審申請案(2016年11月14日申請之歐洲專利申請案EP16198671.1)中揭示此技術，該申請案以引用的方式併入。特定言之，參考與相關聯描述一起申請之所提及申請案之圖2。
警示產生可以若干不同方式執行，包含當前用於警示產生之技術以及產生警示之新穎方式(諸如將一信號發送至一VMS從而警示操作者，響起一警報，執行任何預設動作)。
圖5係經組態以根據一發明方法之實施例之一者或任一者而執行該發明方法之一系統140之一示意圖。系統包括一或多個網路攝影機，其或多或少係所需要的。
數位網路攝影機142經配置以擷取描繪一場景之一視訊序列。數位網路攝影機142包括一外殼144、一透鏡146及電路148。數位網路攝影機142經配置以擷取並處理，且在一些實施例中，亦儲存一視訊序列。電路148包括一影像感測器150、一影像處理單元152、一物件識別器154、一動作候選者辨識器156及一網路介面158。電路148可進一步包括一中央處理單元(CPU)160、一數位資料儲存媒體(記憶體)162及一編碼單元164之一或多者。影像處理單元152、物件識別器154、動作候選者辨識器156及編碼單元164之任一者可經實施為一專用硬體電路及/或軟體模組。在經軟體實施之情況中，軟體可在CPU 160上運行。CPU 160可為用於執行數位資料處理之任何適合的CPU。亦應注意，任何專用硬體電路可部分包括運行於一專用處理器或CPU 160上之軟體部分。數位網路攝影機包括一追蹤器 (未展示)，該追蹤器係由已描述之組件執行之一功能。
記憶體162可為任何種類之揮發性或非揮發性記憶體。此外，記憶體162可包括複數個記憶體單元。複數個記憶體單元之至少一者可用作在處理例如視訊序列之內容時緩衝資料之一緩衝記憶體。
數位網路攝影機142經配置以經由網路介面158連接至由一伺服器166表示之一數位網路。至數位網路之連接可為有線或無線的。因此，網路介面158可為適於10/100/1000Mbps資料流量之一網路埠(諸如一乙太網路埠)，即經配置以接收一模組連接器(例如，一RJ45連接器)之一模組埠。通常，此一RJ45連接器埠經配置以接收一網路電纜(諸如一雙絞線電纜(例如，cat 5、cat 5e或cat 6))。替代地，網路埠之I/O構件可為使用移動網際網路通信標準(例如，1G、2G、2.5G、2.75G、3G、3.5G、3.75G、3.9G、4G、5G)或使用WiFi之一無線I/O構件。
攝影機組件(即透鏡配置146及影像感測器150)可經配置以擷取原始影像，其中各原始影像可被描述為不同波長且源自不同物件及物件之部分之光。接著，將此等原始影像自類比格式轉換至數位格式並傳遞至影像處理單元152中。根據此實施例，數位網路攝影機142係經配置以擷取可見光影像之一攝影機。替代地或組合地，數位網路攝影機142之影像感測器150可經配置以擷取熱影像或其他類型之影像。
物件識別器154經組態以在由攝影機142擷取之視訊序列中偵測所關注物件。所關注物件出於本發明之目的可為例如一人，但其亦可為一車輛、一動物等。
物件識別器154經進一步組態以在視訊序列之一或多個影像圖框中識別所關注物件。
系統進一步包括一使用者介面168，一使用者可經由該使用者介面168發送命令並執行與攝影機之電路之其他通信。如所提及，一單一系統可包括所揭示類型之若干攝影機，全部皆連接至一數位網路，較佳連接至相同數位網路。使用者介面168可直接或經由伺服器166連接至攝影機142。
注意，在其他或經組合實施例中，智慧可與攝影機分離地定位(諸如於伺服器166上)，暗指攝影機基本上僅用於收集一視訊串流並將其轉發(未處理或有限處理)至另一網路連接裝置之目的。
因此，系統經組態以根據本發明之一或任一實施例執行方法。
圖6係一電腦程式產品之一示意圖，其包括具有指令之一電腦可讀儲存媒體，該等指令適於在由具有處理能力之一裝置執行時根據發明方法之實施例之一者或任一者執行該發明方法。
100:方法
102:偵測
104:第二步驟
106:追蹤
108:分類
110:動作
112:警示

Claims (12)

  1. 一種在一監控(surveillance)系統中產生一警示(alert)信號之方法，該方法包括：在一視訊串流中偵測一物件，選擇該物件作為一目標物件，在選擇該目標物件之後，提示(prompt)在儲存於一資料庫之一組禁止動作(a set of prohibited actions)之間選擇一預定義警示產生動作，其中該選擇與該經追蹤物件及/或一特定區域相關，追蹤該目標物件，切出該視訊串流之各影像圖框之一部分，其中各影像圖框之該部分包含該目標物件，藉由分析該等切出部分而辨識由該經追蹤物件進行之動作，對該等所辨識動作進行分類，及若該經追蹤物件之該等動作之一或多者被分類為該預定義警示產生動作，則產生一警示信號。
  2. 如請求項1之方法，其中藉由一物件偵測演算法或運動偵測演算法而執行偵測一視訊串流中之一物件之行為。
  3. 如請求項1之方法，其中藉由將該物件之一外觀模型與多個物件之外觀模型之一資料庫比較而執行選擇該物件作為該目標物件之行為。
  4. 如請求項1之方法，其中藉由一辨識演算法而執行選擇該物件作為該目標物件之該行為。
  5. 如請求項1之方法，其中辨識動作之行為經執行為一兩階段程序，在一第一階段中，在擷取該視訊串流之一攝影機處執行一第一動作辨識，以用於偵測一動作候選者，且在一第二階段中，包括觸發該動作候選者之該物件之視訊資料被發送至一遠端伺服器，以用於驗證或拒絕該動作候選者作為一真實動作。
  6. 如請求項1之方法，其進一步包括自該監控系統之一第一裝置至一第二裝置之一交遞，包括交遞描述該經追蹤物件之一外觀模型。
  7. 如請求項3之方法，其中該目標物件之一外觀模型被記錄至該資料庫，作為一新條目或作為一更新。
  8. 如請求項1之方法，其中辨識動作之該行為係基於一空間/情境辨識方法、一時間辨識方法或該兩者之一組合。
  9. 一種用於產生一警示信號之系統，該系統包括：一數位網路攝影機，其中該數位網路攝影機包含一影像處理電路，該影像處理電路經組態以擷取一視訊串流，一第一處理器，該第一處理器經組態以：在該視訊串流中偵測一物件， 選擇該物件作為一目標物件，在選擇該目標物件之該選擇之後，提示(prompt)在儲存於一資料庫之一組禁止動作(a set of prohibited actions)之間選擇一預定義警示產生動作，其中該選擇與該經追蹤物件及/或一特定區域相關，追蹤該目標物件，其中該目標物件包含在該視訊串流之各影像圖框之一切出部分中，藉由分析該等切出部分辨識由該經追蹤物件進行之動作及對經辨識之該等動作分類，一第二處理器，若該經追蹤物件之該等動作之一或多者經分類為該預定義警示產生動作，該第二處理器經組態以產生一警示信號，及一使用者介面，該使用者介面經組態以自一使用者接收命令及與該數位網路攝影機、該第一處理器及該第二處理器通信。
  10. 如請求項9之系統，其中該第二處理器形成該數位網路攝影機之部分。
  11. 如請求項9之系統，其中該第二處理器包括於一伺服器中。
  12. 一種電腦程式產品，其包括具有指令之一電腦可讀儲存媒體，該等指令適於在由具有處理能力之一裝置執行時執行如請求項1之方法。
TW106141512A 2016-12-21 2017-11-29 在視訊監控系統中產生警示之方法、系統及電腦程式產品 TWI749113B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??16205866.3 2016-12-21
EP16205866.3 2016-12-21
EP16205866.3A EP3340104B1 (en) 2016-12-21 2016-12-21 A method for generating alerts in a video surveillance system

Publications (2)

Publication Number Publication Date
TW201826141A TW201826141A (zh) 2018-07-16
TWI749113B true TWI749113B (zh) 2021-12-11

Family

ID=57755012

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106141512A TWI749113B (zh) 2016-12-21 2017-11-29 在視訊監控系統中產生警示之方法、系統及電腦程式產品

Country Status (6)

Country Link
US (1) US10510234B2 (zh)
EP (1) EP3340104B1 (zh)
JP (1) JP7229662B2 (zh)
KR (1) KR102553883B1 (zh)
CN (1) CN108230594B (zh)
TW (1) TWI749113B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271847B (zh) 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
EP3629226B1 (en) * 2018-09-26 2020-11-25 Axis AB Method for converting alerts
KR101942808B1 (ko) 2018-11-13 2019-01-29 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
KR102543873B1 (ko) * 2018-11-26 2023-06-14 에버씬 리미티드 프로세스 정형화를 위한 시스템 및 방법
KR102127276B1 (ko) 2018-12-11 2020-06-26 주식회사 인텔리빅스 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
KR102194499B1 (ko) 2019-01-18 2020-12-23 주식회사 인텔리빅스 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
CN109831648A (zh) * 2019-01-24 2019-05-31 广州市天河区保安服务公司 防盗远程监控方法、装置、设备及存储介质
RU196355U1 (ru) * 2019-06-26 2020-02-26 Леся Николаевна Анищенко Устройство для автоматизированного распознавания поведения с целью выявления агрессии
KR102421043B1 (ko) 2020-02-13 2022-07-14 주식회사 인텔리빅스 영상처리장치 및 그 장치의 구동방법
CN111310665A (zh) * 2020-02-18 2020-06-19 深圳市商汤科技有限公司 违规事件检测方法及装置、电子设备和存储介质
KR102201096B1 (ko) 2020-06-11 2021-01-11 주식회사 인텔리빅스 실시간 cctv 영상분석장치 및 그 장치의 구동방법
CN111932824A (zh) * 2020-08-07 2020-11-13 深圳技术大学 弱势群体人员的识别控制***
CN112183252A (zh) * 2020-09-15 2021-01-05 珠海格力电器股份有限公司 视频的动作识别方法、装置、计算机设备和存储介质
US20220083781A1 (en) * 2020-09-17 2022-03-17 Nec Laboratories America, Inc. Rule enabled compositional reasoning system
CN112423021B (zh) 2020-11-18 2022-12-06 北京有竹居网络技术有限公司 视频的处理方法、装置、可读介质和电子设备
KR102259377B1 (ko) 2020-12-14 2021-05-31 김경환 인쇄용 롤러 거치장치
CN114694197A (zh) * 2020-12-29 2022-07-01 中兴通讯股份有限公司 行车预警方法、电子设备和计算机可读存储介质
CN118318236A (zh) * 2021-12-01 2024-07-09 拉莫特特拉维夫大学有限公司 用于识别在视频中的人的***和方法
CN115394026A (zh) * 2022-07-15 2022-11-25 安徽电信规划设计有限责任公司 一种基于5g技术的智能监控方法及***
CN115780938A (zh) * 2022-12-05 2023-03-14 北京天科合达半导体股份有限公司 一种线切割机的切割线监测方法及装置
DE102023101110A1 (de) * 2023-01-18 2024-07-18 Matthias Krebs Sensorsystem und Verfahren zum Betrieb eines Sensorsystems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
TW200619961A (en) * 2004-02-04 2006-06-16 Perseus Wireless Inc Method and system for providing information to remote clients
TW200905575A (en) * 2007-04-24 2009-02-01 Objectvideo Inc Method for finding paths in video
CN101622652A (zh) * 2007-02-08 2010-01-06 行为识别***公司 行为识别***
TWM406237U (en) * 2010-12-17 2011-06-21 Utechzone Co Ltd Intersection traffic pre-warning system

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US7058205B2 (en) 2001-12-07 2006-06-06 Xerox Corporation Robust, on-line, view-based appearance models for visual motion analysis and visual tracking
GB2429515B (en) * 2005-08-11 2008-06-25 Rolls Royce Plc Cooling method and apparatus
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US20090036331A1 (en) * 2007-08-03 2009-02-05 Smith Ian D Hydraulic fluid compositions
WO2009025140A1 (ja) 2007-08-21 2009-02-26 Nec Corporation 行動監視システム、及び、行動監視方法
JP2010056720A (ja) 2008-08-27 2010-03-11 Panasonic Corp ネットワークカメラおよびネットワークカメラシステム
JP4709889B2 (ja) * 2008-11-20 2011-06-29 パナソニック株式会社 移動物体監視装置
FR2944629B1 (fr) * 2009-04-17 2017-01-20 Univ De Tech De Troyes Systeme et procede de localisation de cible par un reseau de cameras
MY176067A (en) 2009-08-24 2020-07-24 Mimos Berhad System and method to determine suspicious behavior
US8478048B2 (en) * 2010-07-08 2013-07-02 International Business Machines Corporation Optimization of human activity determination from video
CN102457712A (zh) 2010-10-28 2012-05-16 鸿富锦精密工业（深圳）有限公司 可疑目标识别及追踪***及方法
CN102752574B (zh) 2011-04-18 2015-01-28 中兴通讯股份有限公司 一种视频监控***及方法
AU2011201953B2 (en) * 2011-04-29 2013-09-19 Canon Kabushiki Kaisha Fault tolerant background modelling
US9117147B2 (en) * 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
CN102855462A (zh) 2011-07-01 2013-01-02 富士通株式会社 确定人体动作周期及识别人体动作的方法和装置
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
KR101394270B1 (ko) * 2012-11-14 2014-05-13 한국과학기술연구원 영상 감지 시스템 및 방법
CN102968802A (zh) * 2012-11-28 2013-03-13 无锡港湾网络科技有限公司 一种基于视频监控的运动目标分析跟踪方法及***
CN103106394A (zh) 2012-12-24 2013-05-15 厦门大学深圳研究院 一种视频监控中的人体行为识别方法
JP6474107B2 (ja) * 2013-06-28 2019-02-27 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
KR101378071B1 (ko) * 2013-08-20 2014-03-28 (주)금성보안 양식장 및 인공어초 도난 방지 감시 시스템 및 방법
KR101484263B1 (ko) * 2013-10-24 2015-01-16 주식회사 에스원 폭력 감지 시스템 및 폭력 감지 방법
CN105794191B (zh) 2013-12-17 2019-04-09 夏普株式会社 识别数据传输装置及方法和识别数据记录装置及方法
KR101485022B1 (ko) * 2014-10-20 2015-01-21 에코아이넷 주식회사 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
EP3016382B1 (en) * 2014-10-27 2016-11-30 Axis AB Monitoring methods and devices
CN104363414A (zh) * 2014-10-31 2015-02-18 无锡悟莘科技有限公司 一种智能视频的分析方法
IL236752B (en) * 2015-01-15 2019-10-31 Eran Jedwab Integrated security method and system
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
CN104915655A (zh) * 2015-06-15 2015-09-16 西安电子科技大学 一种多路监控视频的管理方法与设备
US9818043B2 (en) * 2015-06-24 2017-11-14 Microsoft Technology Licensing, Llc Real-time, model-based object detection and pose estimation
US20170098172A1 (en) * 2015-10-06 2017-04-06 Evolv Technologies, Inc. Training Artificial Intelligence
US10297026B1 (en) * 2016-11-29 2019-05-21 Amazon Technologies, Inc. Tracking of a dynamic container in a video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200619961A (en) * 2004-02-04 2006-06-16 Perseus Wireless Inc Method and system for providing information to remote clients
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
CN101622652A (zh) * 2007-02-08 2010-01-06 行为识别***公司 行为识别***
TW200905575A (en) * 2007-04-24 2009-02-01 Objectvideo Inc Method for finding paths in video
TWM406237U (en) * 2010-12-17 2011-06-21 Utechzone Co Ltd Intersection traffic pre-warning system

Also Published As

Publication number Publication date
JP2018139403A (ja) 2018-09-06
CN108230594B (zh) 2021-06-29
KR20180072561A (ko) 2018-06-29
CN108230594A (zh) 2018-06-29
KR102553883B1 (ko) 2023-07-11
EP3340104B1 (en) 2023-11-29
EP3340104A1 (en) 2018-06-27
EP3340104C0 (en) 2023-11-29
US20180174412A1 (en) 2018-06-21
US10510234B2 (en) 2019-12-17
TW201826141A (zh) 2018-07-16
JP7229662B2 (ja) 2023-02-28

Similar Documents

Publication Publication Date Title
TWI749113B (zh) 在視訊監控系統中產生警示之方法、系統及電腦程式產品
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、***及存储装置
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和***
WO2020168960A1 (zh) 一种视频分析方法及装置
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、***及装置
CN110933955B (zh) 基于对来自摄像机图像的对象的检测的警报事件的改进生成
IL261696A (en) System and method for training a classified object through computational learning
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
US20210365343A1 (en) Artificial Intelligence (AI)-Based Cloud Computing Safety Monitoring System
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
CN107122743B (zh) 安防监控方法、装置和电子设备
US20220189210A1 (en) Occlusion-Aware Prediction of Human Behavior
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
CN110852306A (zh) 一种基于人工智能的安全监控***
CN112562159B (zh) 一种门禁控制方法、装置、计算机设备和存储介质
KR20210062256A (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
Elbasi Reliable abnormal event detection from IoT surveillance systems
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
US12033347B2 (en) Image processing system for extending a range for image analytics
CN112818929A (zh) 一种人员斗殴检测方法、装置、电子设备及存储介质
Pawar et al. A novel approach to detect crimes and assist law enforcement agency using deep learning with cctvs and drones
Nandhini et al. IoT Based Smart Home Security System with Face Recognition and Weapon Detection Using Computer Vision
Saxena et al. Robust Home Alone Security System Using PIR Sensor and Face Recognition
Chaudhry et al. IP Camera Based Video Surveillance Using Object’s Boundary Specification