TW202345105A - 用於判定在給定時間週期之至少預定部分在一場景中是否存在可移動物件之裝置及方法 - Google Patents

用於判定在給定時間週期之至少預定部分在一場景中是否存在可移動物件之裝置及方法 Download PDF

Info

Publication number
TW202345105A
TW202345105A TW112113204A TW112113204A TW202345105A TW 202345105 A TW202345105 A TW 202345105A TW 112113204 A TW112113204 A TW 112113204A TW 112113204 A TW112113204 A TW 112113204A TW 202345105 A TW202345105 A TW 202345105A
Authority
TW
Taiwan
Prior art keywords
feature vector
indicator
feature
value
cluster
Prior art date
Application number
TW112113204A
Other languages
English (en)
Inventor
尼可拉斯 丹尼歐森
艾克索 凱斯基坎加斯
哈肯 阿爾多
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202345105A publication Critical patent/TW202345105A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭示一種裝置、非暫時性電腦可讀儲存媒體及方法。在一給定時間週期期間捕獲之一第一序列影像幀中接收可移動物件之複數個特徵向量。自經訓練以提取不同影像幀中之相同可移動物件之類似特徵向量之一機器學習模組接收該複數個特徵向量。將具有一初始值之一指示符分配給為該第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或分配給為在該第一影像幀之前之一第二序列影像幀中之可移動物件提取之特徵向量中識別之一特徵向量簇。該指示符之該值指示該第一特徵向量或該特徵向量簇是否係保持有效的。對於該第一影像幀之後且在自該第一影像幀開始之該給定時間週期內捕獲之各影像幀，迭代地藉由以下迭代地更新該指示符：對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該第一特徵向量之間的一類似性，或基於該特徵向量與該特徵向量簇之間的一類似性，更新該指示符之該值。在該指示符之該值指示該第一特徵向量或該特徵向量簇在完成該迭代更新時係保持有效之條件下，判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件。

Description

用於判定在給定時間週期之至少預定部分在一場景中是否存在可移動物件之裝置及方法
本發明係關於分析一捕獲場景中之可移動物件隨時間之位置，且明確言之係關於判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件。
自動影像分析之一項任務係識別在一給定時間週期內一可移動物件(諸如一人、車輛、袋包等)何時位於由一相機捕獲之一場景中。此任務有時指稱遊蕩偵測且可用於偵測可移動物件何時位於捕獲場景中之某處比根據捕獲場景中之一典型行為所預期之時間更長，以便觸發一警報、對捕獲場景之影像資料之進一步分析及/或進一步動作。例如，一袋包在一段時間內位於一機場處之一捕獲場景中，一人在一段時間內位於包含一自動櫃員機(ATM)之一捕獲場景中等等，可構成需要進一步分析及/或進一步動作之一情況。已使用不同方法來完成該任務。例如，一種方法使用對一場景中之可移動物件之跟蹤及量測該物件在場景中被跟蹤之時間及判定在一給定時間週期期間被跟蹤物件在場景中之位置是否長於一給定時間週期。然而，在此一方法中，對可移動物件之跟蹤可暫時中斷。例如，可移動物件可暫時遮擋，或可移動物件可暫時離開(或自其移除)場景且接著返回至(或重新引入)場景。一旦在中斷之後識別並再次跟蹤可移動物件，在中斷之前對可移動物件之跟蹤與中斷之後對可移動物件之跟蹤之間可不存在任何關聯。為了克服此問題，可使用重新識別演算法來識別場景中之一物件先前是否已經識別。然而，此重新識別引入其他問題。例如，在其中許多可移動物件進入(引入)及離開(自其移除)場景之情景下，一可移動物件隨時間經錯誤地重新識別之一風險很高。
本發明之一目的係促進增強判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件。
根據一第一態樣，提供一種用於判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件之方法。該方法包括接收在該給定時間週期期間捕獲之一第一序列影像幀中之可移動物件之複數個特徵向量，其中該等特徵向量自經訓練以提取不同影像幀中之相同可移動物件之類似特徵向量之一機器學習模組接收。該方法進一步包括將具有一初始值之一指示符分配給為該第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或分配給為在該第一影像幀之前之該給定時間週期之前捕獲之一第二序列影像幀中之可移動物件提取之特徵向量中識別之一特徵向量簇。基於該指示符之一值，可判定該第一向量或該特徵向量簇是否分別係保持有效的。該方法進一步包括，對於該第一序列影像幀中之該第一影像幀之後且在自該第一影像幀開始之該給定時間週期內捕獲之各影像幀，藉由以下迭代地更新該指示符：對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：分別基於該特徵向量與該第一特徵向量之間的一類似性，或基於該特徵向量與該特徵向量簇之間的一類似性，更新該指示符之該值。該方法進一步包括，在該指示符之該值分別指示該第一特徵向量或該特徵向量簇在完成該迭代更新時係保持有效之條件下，判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件。
本發明利用一認識，即一特徵向量與該第一特徵向量之間的該類似性或一特徵向量與該特徵向量簇之間的該類似性將為該特徵向量與該第一特徵向量關聯至相同可移動物件或該特徵向量及該特徵向量簇之該等特徵向量分別關聯至相同可移動物件之可能性之一度量。此係歸因於自經訓練以在不同影像幀中提取相同可移動物件之類似特徵向量之一機器學習模組接收之該特徵向量。由於類似性經判定且在該給定時間週期內針對各幀更新該指示符之該值，所以各更新將僅貢獻該指示符之該值之總迭代更新之一部分。其中一特徵向量與該第一特徵向量或該特徵向量簇類似之情況，即使其不與相同可移動物件相關聯，亦會變得相對不常見。因此，此等情況將僅在很小程度上有助於該指示符之該值之總迭代更新。
第一態樣之方法比例如基於跟蹤或重新識別之方法更穩健，因為第一態樣之方法受單一例項之影響更小，在單一例項中，一特徵向量與該第一特徵向量或該特徵向量簇類似，即使其不與相同可移動物件相關聯。此等例項將僅有助於該指示符之該值之總迭代更新之一部分。此外，藉由該機器學習模組之該訓練，此等例項可變得相對不常見。
一「可移動物件」意謂可移動或可經移動之一物件，例如一人、一車輛、一袋包或一箱子。
「在一給定時間週期之至少一預定部分在一捕獲場景中之一可移動物件」意謂該可移動物件可離開(自其移除)該捕獲場景且一次或多次重新進入(重新引入)該捕獲場景，但在該給定時間週期內，其在該給定時間週期之至少該預定部分位於該捕獲場景中。該預定部分可為大於零且小於或等於該給定時間週期之任何部分。此外，該可移動物件不需要位於該場景中之相同位置，而可在該場景中四處移動。
關於一特定時間點之「該指示符之該值指示該第一特徵向量或該特徵向量簇分別係 保持有效的」意謂該指示符之該值係如此使得，若該方法在該特定時間點已結束，則可得出結論，在該給定時間週期之至少該預定部分存在位於該捕獲場景中之一可移動物件。例如，被認為係保持有效之條件可基於該指示符大於一臨限值。
應注意，由於判定在一給定時間週期之至少一預定部分該可移動物件位於一捕獲場景中係基於該等影像幀中之特徵向量與該第一特徵向量或該特徵向量簇之該類似性，且此類似性係基於該機器學習模組，因此僅可在一定置信度下進行該判定。
根據第一態樣之方法可進一步包括在判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件時觸發一警報。
在一實施例中，該指示符經分配給該第一特徵向量，該初始值大於一第一臨限值，且大於該第一臨限值之該指示符之一值指示該第一特徵向量係保持有效的，而等於或小於該第一臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的。此外，該指示符藉由以下迭代更新：i)將該指示符之該值減少一第一量；及ii)對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該第一特徵向量之間的一類似性來判定一第二量，且將該指示符之該值增加該第二量。對第一序列影像幀中之該第一影像幀之後之各影像幀執行該迭代更新且在自該第一影像幀開始之該給定時間週期內捕獲。
該等特徵向量可自經訓練以最小化在不同影像幀中為相同可移動物件提取之特徵向量之間的距離之一機器學習模組接收，且其中該第二量基於該另一特徵向量與該第一特徵向量之間的一距離來判定。該特徵向量與該第一特徵向量之間的距離越小，該第二量可接著經判定為越大。
替代地，若該特徵向量與該第一特徵向量之間的該距離小於一臨限值距離，則該第二量可經判定為一固定非零量，且若該特徵向量與該第一特徵向量之間的該距離等於或大於該臨限值距離，則該第二量經判定為零。
在一實施例中，該指示符經分配給該特徵向量簇且該初始值大於一第二臨限值，其中指示每單位時間經判定為屬於該特徵向量簇之特徵向量之數目大於該第二臨限值之該指示符之一值指示該特徵向量簇係保持有效的，且指示每單位時間經判定為屬於該特徵向量簇之特徵向量之該數目等於或小於該第二臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的。此外，該指示符藉由以下迭代更新：i)將該指示符之該值減少一第三量，及ii)對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該特徵向量簇之間的該類似性來判定該特徵向量是否屬於該特徵向量簇，且若該特徵向量屬於該特徵向量簇，則將該指示符之該值增加一第四量。對該第一序列影像幀中之該第一影像幀之後之各影像幀執行該迭代更新且在自該第一影像幀開始之該給定時間週期內捕獲。
該等特徵向量可自經訓練以提取特徵向量之一機器學習模組接收，該等特徵向量根據一簇演算法使不同影像幀中之相同可移動物件位於一相同簇中之概率最大化，且其中該特徵向量根據該簇演算法判定為屬於該特徵向量簇。
該等特徵向量自經訓練以在不同影像幀中提取相同可移動物件之特徵向量之一機器學習模組接收，該等不同影像幀具有短於針對其他可移動物件提取之特徵向量之距離之相互距離，且其中該指示符之該值分別基於該特徵向量與該第一特徵向量之間的一距離或基於該特徵向量與該特徵向量簇之間的一距離來更新。
該機器學習模組可包括一神經網路。
根據一第二態樣，提供一種非暫時性電腦可讀儲存媒體，其上儲存有指令，該等指令當由具有一處理器及一接收器之一裝置執行時用於實施根據第一態樣之方法或根據第一態樣之方法。
根據一第三態樣，提供一種用於判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件的裝置。該裝置包括經組態以執行一接收功能、一分配功能、一更新功能及一判定功能之電路系統。該接收功能經組態以接收在該給定時間週期期間捕獲之一第一序列影像幀中之可移動物件之複數個特徵向量，其中該等特徵向量自經訓練以提取不同影像幀中之相同可移動物件之類似特徵向量之一機器學習模組接收。該分配功能經組態以將具有一初始值之一指示符分配給為該第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或分配給為在該第一影像幀之前之該給定時間週期之前捕獲之一第二序列影像幀中之可移動物件提取之特徵向量中識別之一特徵向量簇。該更新功能經組態以對於該第一序列影像幀中之該第一影像幀之後且在自該第一影像幀開始之該給定時間週期內捕獲之各影像幀，藉由以下迭代地更新該指示符：對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：分別基於該特徵向量與該第一特徵向量之間的一類似性，或基於該特徵向量與該特徵向量簇之間的一類似性，更新該指示符之該值。該判定功能經組態以在該指示符之該值分別指示該第一特徵向量或該特徵向量簇在完成該迭代更新時係保持有效之條件下，判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件。
在該分配功能中，該指示符可經分配給該第一特徵向量且該初始值大於一第一臨限值，其中大於該第一臨限值之該指示符之一值指示該第一特徵向量係保持有效的，且等於或小於該第一臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的。在該更新功能中，該指示符可接著藉由以下迭代更新：將該指示符之該值減少一第一量，且對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該第一特徵向量之間的一類似性來判定一第二量，且將該指示符之該值增加該第二量。
替代地，在該分配功能中，該指示符可經分配給該特徵向量簇且該初始值大於一第二臨限值，其中指示每單位時間經判定為屬於該特徵向量簇之特徵向量之數目大於該第二臨限值之該指示符之一值指示該特徵向量簇係保持有效的，且指示每單位時間經判定為屬於該特徵向量簇之特徵向量之該數目等於或小於該第二臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的。在該更新功能中，該指示符可接著藉由以下迭代更新：將該指示符之該值減少一第三量，且對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該特徵向量簇之間的該類似性來判定該特徵向量是否屬於該特徵向量簇，且若該特徵向量屬於該特徵向量簇，則將該指示符之該值增加一第四量。
將自下文給出之詳細描述明白本發明之進一步應用範疇。然而，應理解，詳細描述及具體實例儘管指示本發明之較佳實施例，但僅以圖解說明之方式給出，因為熟習此項技術者將自此詳細描述明白本發明之範疇內之各種變化及修改。
因此，應理解，本發明不限於所描述之裝置之特定組成部分或所描述之方法之動作，因為此裝置及方法可變化。亦應理解，本文中所使用之術語僅係為了描述特定實施例，而非為了限制。必須注意，如在說明書及隨附申請專利範圍中所使用，冠詞「一」、「一個」、「該」及「該」意欲表示存在元件之一或多者，除非上下文另有明確指示。此外，字詞「包括」、「包含」、「含有」及類似措辭不排除其他元件或步驟。
現將參考附圖在下文中描述本發明，附圖中繪示本發明之當前較佳實施例。然而，本發明可以許多不同形式實施，且不應被解釋為限於本文中所闡述之實施例。
本發明適用於可移動物件進入(引入)及離開(自其移除)一序列影像幀中隨時間捕獲之一場景之情景。序列影像幀可形成一視訊之一部分。例如，當藉由一監視攝像機在一序列影像幀中捕獲一場景時，出現此一情景。已使用使用任何種類之物件偵測之一物件偵測模組來偵測可移動物件。本發明之一目的係判定一可移動物件(諸如一人、車輛、袋包等等)保持在一捕獲場景中或重複地移入及移出捕獲場景，使得可移動物件在多於一給定時間週期之一預定部分位於捕獲場景中。此有時被稱為遊蕩偵測，但經擴展至亦覆蓋除人之外之其他可移動物件且亦覆蓋在給定時間週期內一或多次暫時移出捕獲場景之可移動物件。例如，捕獲場景可為一捕獲場景，其中可移動物件在移出捕獲場景且在一相當長時間週期內不返回之前，預期僅通過一次及/或僅停留一預期時間週期。此等場景可為在一機場之一場景、包含一ATM之一場景。
在下文中，將參考圖1討論用於判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件之一方法100之實施例。
預定部分可為大於零且小於或等於給定時間週期之任何部分。預定部分及給定時間週期可基於捕獲場景中之可移動物件之典型運動模式來設置。例如，可設置預定部分及給定時間週期，使得位於捕獲場景中之一可移動物件在給定時間週期之至少預定部分構成與一預期運動模式之一偏差及/或構成應進一步分析之一運動模式。例如，自一監視觀點來看，此可構成非所要或可疑之一運動模式。
將預定部分設置為大於零且小於給定時間週期適合於識別一可移動物件在離開(自其移除)捕獲場景以在給定時間週期之剩餘時間內不返回(經重新引入)捕獲場景之前，何時保持給定時間週期之至少預定部分。將預定部分設置為大於零且小於給定時間週期亦適用於識別一可移動物件何時兩次或更多次進入(引入)及離開(自其移除)捕獲場景，使得可移動物件總共位於給定時間週期之至少預定部分。
將預定部分設置為等於給定時間週期僅適用於識別一可移動物件何時在整個給定時間週期內保持在捕獲場景中。
方法100包括接收S110在給定時間週期期間捕獲之一第一序列影像幀中之可移動物件之複數個特徵向量。自經訓練以在不同影像幀中提取相同可移動物件之類似特徵向量之一機器學習模組接收特徵向量。
第一序列影像幀可為在給定時間週期期間捕獲之所有影像幀，但亦可為在給定時間週期期間捕獲之所有影像幀之一子集。若第一序列影像幀係在給定時間週期期間捕獲之所有影像幀之一子集，則其可(例如)係每隔一個影像幀、每隔三個影像幀等等。若其係所有影像幀之一子集，則其應較佳地由在給定時間週期內均勻分佈之影像幀組成。
特徵向量之性質將取決於接收其等之機器學習模組之類型。例如，機器學習模組可包括一支援向量機(SVM)、一神經網路或其他類型之機器學習。例如，參閱Z.Ming等人之「Deep learning-based person re-identification methods:A survey and outlook of recent works」，四川大學電腦學院，Chendu 610065，Chine，2022(https://arxiv . org/abs/2110.04764)。作為來自一機器學習模組之特徵向量之替代，亦將使用手工製作之特徵，諸如色彩長條圖或其類似者。然而，後者將可能導致不太準確之判定。
在一些實施例中，對於第一序列影像幀之各影像幀中之各可移動物件，僅提取一個特徵向量。替代地，可為第一序列影像幀之各影像幀中之各可移動物件提取一個以上特徵向量。例如，若提取一個以上特徵向量，則此等特徵向量可與可移動物件之不同部分相關。在此替代中，可對特徵向量之一或多者執行該方法。例如，若在影像幀中為一人之一面部提取一單獨特徵向量，且為該人之其他部分提取一或多個其他特徵向量，則可僅對與該面部相關之特徵向量或對一或多個其他特徵向量之一些或全部執行該方法。
方法100進一步包括將具有一初始值之一指示符分配給S120為第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或將該指示符分配給S120為在給定時間週期之前，即在第一影像幀之前捕獲之一第二序列影像幀中之可移動物件提取之一特徵向量簇。
當將指示符分配給特徵向量簇時，方法之前或隱含地包含接收為第二序列影像幀中之可移動物件提取之特徵向量，且在為第二序列影像幀中之可移動物件提取之特徵向量中識別特徵向量簇。
第二序列影像幀可為在第一序列影像幀之前捕獲之任何序列影像幀，但較佳地係緊接在第一序列影像幀開始之前結束之一序列。
第二序列影像幀可為在第一序列影像幀開始之前之一另一給定時間週期期間捕獲之所有影像幀，但亦可為在另一給定時間週期期間捕獲之所有影像幀之一子集。若第二序列影像幀係在另一給定時間週期期間捕獲之所有影像幀之一子集，則其可(例如)為每隔一個影像幀、每隔三個影像幀等等。若其係所有影像幀之一子集，則其應較佳地由在另一給定時間週期內均勻分佈之影像幀組成。
可使用任何合適簇演算法，諸如k-means、擴張最大化(EM)、凝聚簇等等，在為第二序列影像幀中之可移動物件提取之特徵向量中識別特徵向量簇。可定義特徵向量簇，使得特徵向量簇之特徵向量很可能針對相同可移動物件提取。此可例如基於特徵向量簇之特徵向量之類似性。
方法100進一步包括，對於第一序列影像幀中之第一影像幀之後且在自第一影像幀開始之給定時間週期內捕獲之各影像幀，迭代地更新S130指示符。在各迭代中，對影像幀中可移動物件之複數個特徵向量之各特徵向量執行一更新。更新包括分別基於特徵向量與第一特徵向量之間的一類似性，或基於特徵向量與特徵向量簇之間的一類似性來更新指示符之值。
基於特徵向量與第一特徵向量之間的一類似性或基於特徵向量與特徵向量簇之間的一類似性來更新指示符之值，意謂在迭代更新中，一更高類似性將導致對值之總更新之一更大貢獻。
僅使用各影像幀中之各特徵向量與第一特徵向量之間的一類似性，或需要各影像幀中之各特徵向量與特徵向量簇之間的類似性來更新指示符之值。不需要提供任何進一步分析，即是否在不同影像幀中為相同可移動物件提取不同特徵向量，或是否在不同影像幀中為相同可移動物件提取特徵向量簇之所有特徵向量。因此，為不同於第一特徵向量之一可移動物件提取之一影像幀中之一特徵向量可對指示符之值之更新提供一些貢獻。然而，由於機器學習模組經訓練以在不同影像幀中為相同可移動物件提取類似特徵向量，所以為相同可移動物件提取之特徵向量作為第一特徵向量將比為一不同可移動物件提取之特徵向量具有比第一特徵向量更高之一貢獻。
特徵向量與特徵向量簇之間的類似性之相同度量可用於更新，正如在為第一影像幀之前之給定時間週期之前捕獲之第二序列影像幀中之可移動物件提取之特徵向量中識別特徵向量簇時所使用。
若由機器學習模組為一可移動物件提取之一特徵向量包含大量維度(例如256)，諸如例如若機器學習模組包含一神經網路，則在判定特徵向量與第一特徵向量之間的類似性之前，或在判定特徵向量與特徵向量簇之間的類似性之前，可減少維度之數目。例如，可藉由將特徵向量投影至主成分分析(PCA)空間來降低一特徵向量之維度。維度之降低可在自機器學習模組接收特徵向量之後執行或可在接收特徵向量之前執行。在前一種情況下，方法包含減少複數個特徵向量之各特徵向量之維度之一進一步動作。在後一種情況下，當自機器學習模組接收時，複數個特徵向量之各特徵向量之維度之數目已減少。
方法100進一步包括，在條件C140中，指示符之值指示在完成迭代更新時第一特徵向量或特徵向量簇分別係保持有效的，判定S150在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件。
關於一特定時間點之「指示符之值指示第一特徵向量或特徵向量簇分別係保持有效的」意謂指示符之值係如此，若方法在特定時間點已結束，則可得出結論，在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件。
判定S150在給定時間週期期間之至少預定部分在捕獲場景中存在一可移動物件可進一步以C140為條件，即指示符之值指示第一向量或特徵向量簇在指示符之迭代更新程序中分別係保持有效的。
方法100可進一步包括在判定在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件時觸發S160一警報。
若指示符之值分別指示第一特徵向量或特徵向量簇在完成迭代更新時不存在，此意謂基於分配給第一特徵向量或特徵向量簇之指示符，不能說在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件。此情況通常不會導致在方法中執行任何特定進一步動作。明確言之，由於在給定時間週期通常存在對應於第一特徵向量之若干其他特徵向量或對應於經監測特徵向量簇之若干其他特徵向量簇，且為其分配及迭代更新各自指示符，不能說至少在給定時間週期之預定部分在捕獲場景中不存在可移動物件，因為此等若干其他特徵向量或若干其他特徵向量簇之一者可與至少在給定時間週期之預定部分在捕獲場景中之一另一可移動物件相關。
方法100可針對第一特徵向量或針對特徵向量簇來執行。然而，方法100亦可並行地針對第一特徵向量或關於特徵向量簇來執行。
可自經訓練以在不同影像幀中提取相同可移動物件之特徵向量之一機器學習模組接收S110特徵向量，該等不同影像幀具有比針對其他可移動物件提取之特徵向量之距離更短之相互距離。接著，可分別基於特徵向量與第一特徵向量之間的一距離，或基於特徵向量與特徵向量簇之間的一距離來更新指示符之值。
針對為第一序列影像幀之第一影像幀中之一可移動物件提取之第一特徵向量，或針對在為第二序列影像幀中之可移動物件提取之特徵向量中識別之特徵向量簇，描述方法100。接著，可針對為第一序列影像幀之第一影像幀中之可移動物件提取之各向量，或針對在為第二序列影像幀中之可移動物件提取之特徵向量中識別之各特徵向量簇，執行方法100。此外，可對第一影像幀之後之各影像幀中為可移動物件提取之各向量執行方法100。可以規則間隔，例如對應於第二序列影像幀之一時間間隔，在為可移動物件提取之特徵向量中識別特徵向量簇。
在下文中，將參考圖1及圖2討論與本發明之一方法之實施例相關之迭代更新指示符之動作之子步驟。
對於其中指示符經分配S120給第一特徵向量之實施例，指示符之初始值可經設置為大於一第一臨限值之一值。大於第一臨限值之指示符之一值指示第一特徵向量係保持有效的，而等於或小於第一臨限值之指示符之一值指示第一特徵向量並非係保持有效的。
關於圖2，在第一序列影像幀中之第一影像幀之後且在自第一影像幀開始之給定時間週期內捕獲之幀之數目係 n且因此對各影像幀 i= 1→ n執行指示符之迭代更新S130。此外，對於各幀 j之經提取特徵向量之數目係 m i ，因此，對於各影像幀 i，對該影像幀 i之各經提取特徵向量 j= 1→ m i 執行更新。
自第一序列影像幀中之第一影像幀之後之第一影像幀 i= 1 S1305開始，將指示符之值減少S1310一第一量。對於所有影像幀 i= 1→n之所有迭代，第一量通常係相同的。因此，對於所有影像幀 i= 1→n之迭代，指示符之值將減少 n第一量。自第一影像幀 i= 1之一第一經提取特徵向量 j= 1 S1315開始，基於特徵向量 j= 1與第一特徵向量之間的一類似性來判定S1320一第二量。接著，將指示符之值增加S1325第二量。特徵向量索引 j遞增 j= j+1 S1330且只要向量索引 j不大於影像幀之特徵向量之數目m i ， i= 1 j＞ m i S1335，則重複判定S1320一第二量、增加S1325及遞增特徵向量索引 jS1330之動作。接著，影像幀索引 i遞增 i= i+ 1 S1340。接著，對於剩餘影像幀 i= 2→ n，以與對於第一影像幀 i= 1類似之一方式執行迭代更新。
在完成迭代更新時，判定S150在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件係以指示符之值大於第一臨限值為條件，即第一特徵向量係保持有效的。
較佳地設置第一量、第二量及第一臨限值，使得若與第一特徵向量相關聯之可移動物件在給定時間週期之至少預定部分位於捕獲場景中，則在圖2之迭代更新之後，指示符之值應大於第一臨限值，且使得，若與第一特徵向量相關聯之可移動物件在給定時間週期之至少預定部分沒有位於捕獲場景中，則在圖2之迭代更新之後，指示符之值應小於或等於第一臨限值。可藉由評估方法正確判定與第一特徵向量相關聯之可移動物件是否在給定時間週期之至少預定部分位於捕獲場景中之能力之一迭代程序來設置值。值將取決於可移動物件之類型及用於提取可移動物件之特徵向量之機器學習模組之類型。值亦將取決於第一序列影像幀中之影像幀之數目，其繼而取決於給定時間週期之長度。值亦將取決於預定部分。
可自經訓練以最小化在不同影像幀中為相同可移動物件提取之特徵向量之間的距離之一機器學習模組接收S110特徵向量。接著，可基於特徵向量與第一特徵向量之間的一距離來判定S1320第二量。接著，特徵向量與第一特徵向量之間的距離越小，第二量可經判定S1320為越大。
替代地，若特徵向量與第一特徵向量之間的距離小於一臨限值距離，則第二量可經判定S1320為一固定非零量，且若特徵向量與第一特徵向量之間的距離等於或大於臨限值距離，則第二量經判定S1320為零。藉此，至第一特徵向量之一距離比臨限值距離長之任何特徵向量將對指示符之值之更新沒有貢獻。
針對為第一序列影像幀之第一影像幀中之一可移動物件提取之第一特徵向量來描述方法100。接著，可對為第一序列影像幀之第一影像幀中之可移動物件提取之各向量執行方法100。此外，可對第一影像幀之後之各影像幀中為可移動物件提取之各向量執行方法100。因此，可對各影像幀中之各經提取特徵向量執行方法且因此各經提取特徵向量將具有分配給其之一指示符。一旦與一經提取特徵向量相關之給定時間週期已到期，則判定其經分配指示符是否指示特徵向量係保持有效的。若此係該情況，則判定在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件。若否，則特徵向量不指示在給定時間週期之預定部分以上，在捕獲場景中存在一可移動物件。在相對於特徵向量之給定時間週期之後，方法結束且不再相對於特徵向量執行與後續影像幀中提取之特徵向量之進一步比較且可丟棄分配給特徵向量之指示符。藉由對各影像幀中之各經提取特徵向量執行方法，達成一穩健性。若分配給在一第一影像幀中提取且與一可移動物件相關之一第一特徵向量之一指示符沒有指示第一特徵向量在自第一影像幀起之給定時間週期之後保持有效，則在第一影像幀之後之一第二影像幀中提取且與相同可移動物件相關之一第二特徵向量可具有一經分配指示符，該指示符指示第二特徵向量在自第二影像幀起之給定時間週期之後保持有效。
在下文中，將參考圖1及圖3討論與本發明之方法之替代實施例相關之迭代更新指示符之動作之子步驟。
對於其中將指示符分配S120給特徵向量簇之實施例，指示符之初始值可經設置為大於一第二臨限值之一值。指示每單位時間經判定為屬於特徵向量簇之特徵向量之數目大於第二臨限值之指示符之一值指示特徵向量簇係保持有效的，且指示每單位時間經判定為屬於特徵向量簇之特徵向量之數目等於或小於第二臨限值之指示符之一值指示第一特徵向量並非係保持有效的。
關於圖3，在第一序列影像幀中之第一影像幀之後且在自第一影像幀開始之給定時間週期內捕獲之幀之數目係 n且因此對各影像幀 i= 1→ n執行指示符之迭代更新S130。此外，對於各幀 j之經提取特徵向量之數目係 m i ，因此，對於各影像幀 i，對該影像幀 i之各經提取特徵向量 j= 1→ m i 執行更新。
自第一序列影像幀中之第一影像幀之後之第一影像幀 i= 1 S13505開始，將指示符之值減少S1355一第三量。對於所有影像幀 i= 1→n之所有迭代，第三量通常係相同的。因此，對於所有影像幀 i= 1→n之迭代，指示符之值將減少 n第一量。自第一影像幀 i= 1之一第一經提取特徵向量 j= 1 S1360開始，基於特徵向量與特徵向量簇之間的類似性來判定S1365特徵向量是否屬於特徵向量簇，且若特徵向量屬於特徵向量簇，則指示符之值增加S1370一第四量。特徵向量索引 j遞增 j= j+1 S1375且只要向量索引 j不大於影像幀之特徵向量之數目m i ， i= 1 j＞ m i S1380，則重複判定S1365特徵向量 j是否屬於特徵向量簇之動作、增加S1370及遞增特徵向量索引 jS1375。接著，影像幀索引 i遞增 i= i+ 1 S1385。接著，對於剩餘影像幀 i= 2→ n，以與對於第一影像幀 i= 1類似之一方式執行迭代更新。
在完成迭代更新時，判定S150在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件係以指示符之值大於第二臨限值為條件，即特徵向量簇係保持有效的。
較佳地設置第三量、第四量及第二臨限值，使得若與特徵向量簇相關聯之可移動物件在給定時間週期之至少預定部分位於捕獲場景中，則在圖3之迭代更新之後，指示符之值應大於第二臨限值，且使得，若與特徵向量簇相關聯之可移動物件在給定時間週期之至少預定部分沒有位於捕獲場景中，則在圖2之迭代更新之後，指示符之值應小於或等於第二臨限值。可藉由評估方法正確判定與第一特徵向量相關聯之可移動物件是否在給定時間週期之至少預定部分位於捕獲場景中之能力之一迭代程序來設置值。值將取決於可移動物件之類型及用於提取可移動物件之特徵向量之機器學習模組之類型。值亦將取決於第一序列影像幀中之影像幀之數目，其繼而取決於給定時間週期之長度。值亦將取決於預定部分。
針對在為第二序列影像幀中之可移動物件提取之特徵向量中識別之特徵向量簇來描述方法100。可對在為第二序列影像幀中之可移動物件提取之特徵向量中識別之各特徵向量簇執行方法100。可以規則時間間隔，例如對應於第二序列影像幀之一時間間隔，在為可移動物件提取之特徵向量中識別特徵向量簇。接著，可對在以規則時間間隔為可移動物件提取之特徵向量中識別之各特徵向量簇執行方法100。簇識別應使得各特徵向量簇可對應於一個可移動物件。藉由有規律地識別特徵向量簇，可對進入場景之新可移動物件執行方法。在與各簇相關之給定時間週期之後，方法結束且不再對簇執行與後續影像幀中之經提取特徵向量之進一步比較且可丟棄分配給簇之指示符。
可自經訓練以提取特徵向量之一機器學習模組接收S110特徵向量，該等特徵向量根據一簇演算法最大化不同影像幀中之相同可移動物件位於一相同簇中之概率。接著，可根據簇演算法判定S1370特徵向量屬於特徵向量簇。
例如，具有雜訊之應用之基於密度之空間簇(DBSCAN)可用作例如在Ester,M.等人之「A density-based algorithm for discovering clusters in large spatial databases with noise」中揭示之簇演算法，第二屆知識發現及資料採擷國際會議錄(KDD-96).AAAI出版社.第226至231頁.CiteSerX 10 . 1 . 1 . 121 . 9220.ISBN 1-57735-004-9。
替代地，可自經訓練以最小化在不同影像幀中為相同可移動物件提取之特徵向量之間的距離之一機器學習模組接收S110特徵向量。代替地具有一固定第四量，可基於特徵向量與簇之間的一距離來判定第四量。接著，特徵向量與簇之間的距離越小，第四量可接著經判定為越大且經添加至指示符，而沒有特徵向量屬於簇之任何條件。
圖4展示與本發明之裝置200之實施例相關之一示意圖，用於判定在一給定時間週期之至少一預定部分在捕獲場景中是否存在一可移動物件。裝置200包括電路系統210。電路系統210經組態以執行裝置200之功能。電路系統210可包含一處理器212，諸如一中央處理單元(CPU)、微控制器或微處理器。處理器212經組態以執行程式碼。程式碼可(例如) 經組態以執行裝置200之功能。
裝置200可進一步包括一記憶體230。記憶體230可為一緩衝器、一快閃記憶體、一硬碟機、一可移除媒體、一揮發性記憶體、一非揮發性記憶體、一隨機存取記憶體(RAM)或其他合適裝置之一或多者。在一典型配置中，記憶體230可包含用於長期資料儲存之一非揮發性記憶體及用作電路系統210之裝置記憶體之一揮發性記憶體。記憶體230可通過一資料匯流排與電路系統210交換資料。記憶體230與電路系統210之間亦可存在隨附控制線及一位址匯流排。
裝置200之功能可以儲存於裝置200之一非暫時性電腦可讀媒體(例如記憶體230)上且由電路系統210執行(例如使用處理器212)之可執行邏輯常式(例如，代碼行、軟體程式等等)之形式體現。此外，裝置200之功能可為一獨立軟體應用或形成執行與裝置200相關之額外任務之一軟體應用之一部分。所描述之功能可被認為係一處理單元(例如電路系統210之處理器212)經組態以執行之一方法。此外，儘管所描述之功能可在軟體中實施，但此功能亦可經由專用硬體或韌體，或硬體、韌體及/或軟體之一些組合來執行。
電路系統210經組態以執行一接收功能231、一分配功能232、一更新功能233及一判定功能234。
接收功能231經組態以接收在給定時間週期期間捕獲之一第一序列影像幀中之可移動物件之複數個特徵向量，其中特徵向量自經訓練以提取不同影像幀中之相同可移動物件之類似特徵向量之一機器學習模組接收。
分配功能232經組態以將具有一初始值之一指示符分配給為第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或分配給在第一影像幀之前之給定時間週期之前捕獲之一第二序列影像幀中之可移動物件提取之特徵向量中識別之一特徵向量簇。
更新功能233經組態以對於第一序列影像幀中之第一影像幀之後且在自第一影像幀開始之給定時間週期內捕獲之各影像幀，藉由以下迭代地更新指示符：對於影像幀中之可移動物件之複數個特徵向量之各特徵向量：分別基於特徵向量與第一特徵向量之間的一類似性或基於特徵向量與特徵向量簇之間的一類似性來更新指示符之值。
判定功能234經組態以，在指示符之值分別指示第一特徵向量或特徵向量簇在完成由更新功能233迭代更新時係保持有效之條件下，判定在給定時間週期之至少預定部分在捕獲場景中存在一可移動物件。
裝置200可在一個以上實體位置實現，使得功能之一或多者在一個實體位置實施且一或多個其他功能在另一實體位置實施。替代地，裝置200之所有功能可在一單一實體位置作為一單一裝置實施。單一裝置可(例如)為一監視攝像機。
在分配功能232中，可將指示符分配給第一特徵向量且初始值大於一第一臨限值，其中大於第一臨限值之指示符之一值指示第一特徵向量係保持有效的，且等於或小於第一臨限值之指示符之一值指示第一特徵向量並非係保持有效的。在更新功能233中，接著可藉由以下迭代地更新指示符：將指示符之值減少一第一量，且對於影像幀中之可移動物件之複數個特徵向量之各特徵向量：基於特徵向量與第一特徵向量之間的一類似性來判定一第二量，且將指示符之值增加第二量。對於進一步細節及可行調適，參考圖2及其描述。
替代地，在分配功能232中，指示符可經分配給特徵向量簇且初始值為零，其中指示每單位時間經判定為屬於特徵向量簇之特徵向量之數目大於一第二臨限值之指示符之值指示特徵向量簇係保持有效的，且指示每單位時間經判定為屬於特徵向量簇之特徵向量之數目等於或小於第二臨限值之指示符之值指示第一特徵向量並非係保持有效的。在更新功能233中，可藉由以下迭代地更新指示符：對於影像幀中可移動物件之複數個特徵向量之各特徵向量：基於特徵向量與特徵向量簇之間的類似性來判定特徵向量是否屬於特徵向量簇，且若特徵向量屬於特徵向量簇，則將指示符之值增加一第四量。對於進一步細節及可行調適，參考圖3及其描述。
由電路系統210執行之功能可進一步調適為關於圖1、圖2及圖3描述之方法之實施例之對應步驟。
熟習此項技術者將識別，本發明不限於上文所描述之實施例。相反，在隨附申請專利範圍之範疇內，許多修改及變化係可行的。藉由研究附圖、揭示內容及隨附申請專利範圍，熟習技術者在實踐主張發明時可理解及實現此等修改及變化。
100:方法 200:裝置 210:電路系統 212:處理器 230:記憶體 231:接收功能 232:分配功能 233:更新功能 234:判定功能 C140:步驟 S105:步驟 S110:步驟 S120:步驟 S130:步驟 S150:步驟 S155:步驟 S160:步驟 S1305:步驟 S1310:步驟 S1315:步驟 S1320:步驟 S1325:步驟 S1330:步驟 S1335:步驟 S1340:步驟 S1345:步驟 S1350:步驟 S1355:步驟 S1360:步驟 S1365:步驟 S1370:步驟 S1375:步驟 S1380:步驟 S1385:步驟 S1390:步驟
現將參考附圖更詳細地描述本發明之上述及其他態樣。附圖不應被認為係限制性，而係用於解釋及理解。
圖1展示與本發明之一方法之實施例相關之一流程圖。
圖2展示包含與本發明之一方法之實施例相關之迭代更新指示符之動作之子步驟之一流程圖。
圖3展示包含與本發明之一方法之替代實施例相關之迭代更新指示符之動作之子步驟之一流程圖。
圖4展示與本發明之一裝置之實施例相關之一示意圖。
100:方法
C140:步驟
S105:步驟
S110:步驟
S120:步驟
S130:步驟
S150:步驟
S155:步驟
S160:步驟

Claims (14)

  1. 一種電腦實施方法，其用於判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件，該方法包括： 接收在該給定時間週期期間捕獲之一第一序列影像幀中之可移動物件之複數個特徵向量，其中該複數個特徵向量自經訓練以提取不同影像幀中之相同可移動物件之類似特徵向量之一機器學習模組接收； 將具有一初始值之一指示符分配給為該第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或分配給為在該第一影像幀之前之該給定時間週期之前捕獲之一第二序列影像幀中之可移動物件提取之特徵向量中識別之一特徵向量簇； 對於該第一序列影像幀中之該第一影像幀之後且在自該第一影像幀開始之該給定時間週期內捕獲之各影像幀，藉由以下迭代地更新該指示符： 對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：分別基於該特徵向量與該第一特徵向量之間的一類似性，或基於該特徵向量與該特徵向量簇之間的一類似性，更新該指示符之該值；及 在該指示符之該值分別指示該第一特徵向量或該特徵向量簇在完成該迭代更新時係保持有效之條件下，判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件。
  2. 如請求項1之電腦實施方法，其進一步包括： 在判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件時觸發一警報。
  3. 如請求項1之電腦實施方法，其中該指示符經分配給該第一特徵向量且該初始值大於一第一臨限值，其中大於該第一臨限值之該指示符之一值指示該第一特徵向量係保持有效的，且等於或小於該臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的，且 其中該指示符藉由以下迭代更新： 將該指示符之該值減少一第一量；及 對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該第一特徵向量之間的一類似性來判定一第二量，且將該指示符之該值增加該第二量。
  4. 如請求項3之電腦實施方法，其中該等特徵向量自經訓練以最小化在不同影像幀中為相同可移動物件提取之特徵向量之間的距離之一機器學習模組接收，且其中該第二量基於該另一特徵向量與該第一特徵向量之間的一距離來判定。
  5. 如請求項4之電腦實施方法，其中該特徵向量與該第一特徵向量之間的距離越小，該第二量經判定為越大。
  6. 如請求項4之電腦實施方法，其中若該特徵向量與該第一特徵向量之間的該距離小於一臨限值距離，則該第二量經判定為一固定非零量，且若該特徵向量與該第一特徵向量之間的該距離等於或大於該臨限值距離，則該第二量經判定為零。
  7. 如請求項1之電腦實施方法，其中該指示符經分配給該特徵向量簇且該初始值大於一第二臨限值，其中指示每單位時間經判定為屬於該特徵向量簇之特徵向量之數目大於該第二臨限值之該指示符之一值指示該特徵向量簇係保持有效的，且指示每單位時間經判定為屬於該特徵向量簇之特徵向量之該數目等於或小於該第二臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的，且 其中該指示符藉由以下迭代更新： 將該指示符之該值減少一第三量；及 對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該特徵向量簇之間的該類似性來判定該特徵向量是否屬於該特徵向量簇，且若該特徵向量屬於該特徵向量簇，則將該指示符之該值增加一第四量。
  8. 如請求項7之電腦實施方法，其中該等特徵向量自經訓練以提取特徵向量之一機器學習模組接收，該等特徵向量根據一簇演算法使不同影像幀中之相同可移動物件位於一相同簇中之概率最大化，且其中該特徵向量根據該簇演算法判定為屬於該特徵向量簇。
  9. 如請求項1之電腦實施方法，其中該等特徵向量自經訓練以在不同影像幀中提取相同可移動物件之特徵向量之一機器學習模組接收，該等不同影像幀具有短於針對其他可移動物件提取之特徵向量之距離之相互距離，且其中該指示符之該值分別基於該特徵向量與該第一特徵向量之間的一距離或基於該特徵向量與該特徵向量簇之間的一距離來更新。
  10. 如請求項1之電腦實施方法，其中該機器學習模組包括一神經網路。
  11. 一種非暫時性電腦可讀儲存媒體，其上儲存有指令，該等指令當由具有一處理器及一接收器之一裝置執行時用於實施如請求項1之方法。
  12. 一種用於判定在一給定時間週期之至少一預定部分在一捕獲場景中是否存在一可移動物件的裝置，該裝置包括經組態以執行以下之電路系統： 一接收功能，其經組態以接收在該給定時間週期期間捕獲之一第一序列影像幀中之可移動物件之複數個特徵向量，其中該複數個特徵向量自經訓練以提取不同影像幀中之相同可移動物件之類似特徵向量之一機器學習模組接收； 一分配功能，其經組態以將具有一初始值之一指示符分配給為該第一序列影像幀之一第一影像幀中之一可移動物件提取之一第一特徵向量，或分配給為在該第一影像幀之前之該給定時間週期之前捕獲之一第二序列影像幀中之可移動物件提取之特徵向量中識別之一特徵向量簇； 一更新功能，其經組態以對於該第一序列影像幀中之該第一影像幀之後且在自該第一影像幀開始之該給定時間週期內捕獲之各影像幀，藉由以下迭代地更新該指示符： 對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：分別基於該特徵向量與該第一特徵向量之間的一類似性，或基於該特徵向量與該特徵向量簇之間的一類似性，更新該指示符之該值；及 一判定功能，其經組態以在該指示符之該值分別指示該第一特徵向量或該特徵向量簇在完成該迭代更新時係保持有效之條件下，判定在該給定時間週期之至少該預定部分在該捕獲場景中存在一可移動物件。
  13. 如請求項12之裝置，其中，在該分配功能中，該指示符經分配給該第一特徵向量且該初始值大於一臨限值，其中大於該臨限值之該指示符之一值指示該第一特徵向量係保持有效的，且等於或小於該臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的，且 其中，在該更新功能中，該指示符藉由以下迭代更新： 將該指示符之該值減少一第一量；及 對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該第一特徵向量之間的一類似性來判定一第二量，且將該指示符之該值增加該第二量。
  14. 如請求項12之裝置，其中，在該分配功能中，該指示符經分配給該特徵向量簇且該初始值大於一第二臨限值，其中指示每單位時間經判定為屬於該特徵向量簇之特徵向量之數目大於該第二臨限值之該指示符之一值指示該特徵向量簇係保持有效的，且指示每單位時間經判定為屬於該特徵向量簇之特徵向量之該數目等於或小於該第二臨限值之該指示符之一值指示該第一特徵向量並非係保持有效的，且 其中，在該更新功能中，該指示符藉由以下迭代更新： 將該指示符之該值減少一第三量；及 對於該影像幀中可移動物件之該複數個特徵向量之各特徵向量：基於該特徵向量與該特徵向量簇之間的該類似性來判定該特徵向量是否屬於該特徵向量簇，且若該特徵向量屬於該特徵向量簇，則將該指示符之該值增加一第四量。
TW112113204A 2022-05-05 2023-04-10 用於判定在給定時間週期之至少預定部分在一場景中是否存在可移動物件之裝置及方法 TW202345105A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22171780.4A EP4273812B1 (en) 2022-05-05 2022-05-05 Device and method for loitering detection
EP22171780.4 2022-05-05

Publications (1)

Publication Number Publication Date
TW202345105A true TW202345105A (zh) 2023-11-16

Family

ID=81580465

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112113204A TW202345105A (zh) 2022-05-05 2023-04-10 用於判定在給定時間週期之至少預定部分在一場景中是否存在可移動物件之裝置及方法

Country Status (6)

Country Link
US (1) US20230360235A1 (zh)
EP (1) EP4273812B1 (zh)
JP (1) JP2023165641A (zh)
KR (1) KR20230156255A (zh)
CN (1) CN117011695A (zh)
TW (1) TW202345105A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349275B2 (en) * 2012-03-15 2016-05-24 Behavorial Recognition Systems, Inc. Alert volume normalization in a video surveillance system
WO2021225472A2 (en) * 2020-05-06 2021-11-11 Huawei Technologies Co., Ltd. Joint objects image signal processing in temporal domain

Also Published As

Publication number Publication date
CN117011695A (zh) 2023-11-07
EP4273812C0 (en) 2024-04-10
US20230360235A1 (en) 2023-11-09
JP2023165641A (ja) 2023-11-16
EP4273812B1 (en) 2024-04-10
KR20230156255A (ko) 2023-11-14
EP4273812A1 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
CN110443833B (zh) 对象跟踪方法和设备
US9824296B2 (en) Event detection apparatus and event detection method
JP6941123B2 (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
US10353954B2 (en) Information processing apparatus, method of controlling the same, and storage medium
CN110620905A (zh) 视频监控方法、装置、计算机设备和存储介质
WO2018121287A1 (zh) 目标再识别方法和装置
US9953240B2 (en) Image processing system, image processing method, and recording medium for detecting a static object
JP2013182621A (ja) 分類器の学習方法及び装置、並びに処理装置
US10762133B2 (en) Information processing apparatus, method of controlling the same, and storage medium
CN109902619B (zh) 图像闭环检测方法及***
JP4858612B2 (ja) 物体認識システム、物体認識方法および物体認識用プログラム
CN111414868B (zh) 时序动作片段的确定方法、动作检测方法及装置
CN109492702B (zh) 基于排序度量函数的行人重识别方法、***、装置
JP2011186780A (ja) 情報処理装置、情報処理方法、およびプログラム
Yuan et al. Late stopping: Avoiding confidently learning from mislabeled examples
TW202345105A (zh) 用於判定在給定時間週期之至少預定部分在一場景中是否存在可移動物件之裝置及方法
Segura et al. The labeling distribution matrix (LDM): a tool for estimating machine learning algorithm capacity
Chen et al. Low-rank representation with contextual regularization for moving object detection in big surveillance video data
JP4573857B2 (ja) 逐次更新型非定常検出装置、逐次更新型非定常検出方法、逐次更新型非定常検出プログラムおよびそのプログラムを記録した記録媒体
KR20180082680A (ko) 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치
Shehnaz et al. An object recognition algorithm with structure-guided saliency detection and SVM classifier
Chen et al. Active inference for retrieval in camera networks
Mathews et al. “Am I your sibling?” Inferring kinship cues from facial image pairs
JP7511540B2 (ja) 対象物検知装置、対象物検知方法及び対象物検知プログラム
Huang et al. Crowd pedestrian detection using expectation maximization with weighted local features