JP2023165641A - 所与の期間の少なくとも所定の部分のシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置及び方法 - Google Patents
所与の期間の少なくとも所定の部分のシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置及び方法 Download PDFInfo
- Publication number
- JP2023165641A JP2023165641A JP2023072883A JP2023072883A JP2023165641A JP 2023165641 A JP2023165641 A JP 2023165641A JP 2023072883 A JP2023072883 A JP 2023072883A JP 2023072883 A JP2023072883 A JP 2023072883A JP 2023165641 A JP2023165641 A JP 2023165641A
- Authority
- JP
- Japan
- Prior art keywords
- feature vector
- feature vectors
- indicator
- feature
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 239000013598 vector Substances 0.000 claims abstract description 437
- 230000006870 function Effects 0.000 claims description 40
- 238000010801 machine learning Methods 0.000 claims description 32
- 230000003247 decreasing effect Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
【課題】所与の期間の所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定する方法及び装置を提供する。【解決手段】方法は、第1のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルを受信し、初期値を有するインジケータを、第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル又は第1の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てて、特徴ベクトルと第1の特徴ベクトルとの間の類似性又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づきインジケータの値を更新し、インジケータの値に基づき、キャプチャされたシーン内に位置する可動オブジェクトがあると判定する。【選択図】図1
Description
本発明は、キャプチャされたシーン内の可動オブジェクトの位置を経時的に分析することに関し、詳細には、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定することに関する。
人、車両、バッグなどの可動オブジェクトが、所与の期間にわたってカメラによってキャプチャされたシーン内に位置するときを識別することは、自動画像分析のタスクである。このタスクは、徘徊検出と呼ばれることもあり、アラーム、キャプチャされたシーンの画像データのさらなる分析、及び/又はさらなる動作をトリガするために、キャプチャされたシーン内の典型的な挙動から予想されるよりも長いキャプチャされたシーン内のどこかに可動オブジェクトが位置するときを検出するために使用され得る。例えば、バッグが所定の期間の間空港のキャプチャされたシーンに位置していること、人が所定の期間の間、現金自動預け払い機(ATM)を含むキャプチャされたシーンに位置していることなどは、さらなる分析及び/又はさらなる動作を必要とする状況を構成し得る。タスクに対応するために様々な手法が使用されている。例えば、1つの手法は、シーン内の可動オブジェクトの追跡を使用し、オブジェクトがシーン内で追跡される時間を測定し、追跡されたオブジェクトが所与の期間中に所与の期間よりも長くシーン内に位置するかどうかを判定する。しかしながら、そのような手法では、可動オブジェクトの追跡は一時的に中断され得る。例えば、可動オブジェクトは、一時的に隠されてもよく、又は可動オブジェクトは、一時的にシーンを離れ(又はシーンから除去され)、その後、シーンに戻る(又はシーンに再導入される)ことができる。可動オブジェクトが識別され、中断後に再び追跡されると、中断前の可動オブジェクトの追跡と中断後の可動オブジェクトの追跡との間に関連性が存在しない可能性がある。この問題を克服するために、再識別アルゴリズムを使用して、オブジェクトがシーン内で以前識別されているかどうかを識別することができる。しかしながら、そのような再識別は他の問題をもたらす。例えば、多くの可動オブジェクトがシーンに入る(導入される)及びシーンから出る(取り除かれる)シナリオでは、可動オブジェクトが誤って再識別されるリスクが経時的に高くなる。
本発明の目的は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかの判定を向上させることを容易にすることである。
第1の態様によれば、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するための方法が提供される。本方法は、所与の期間中にキャプチャされた画像フレームの第1のシーケンス内の可動オブジェクトの複数の特徴ベクトルを受信することを含み、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトの同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される。本方法は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル、又は第1の画像フレームに先行する所与の期間の前にキャプチャされた第2のシーケンスの画像フレーム内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに初期値を有するインジケータを割り当てることをさらに含む。第1のベクトル又は特徴ベクトルのクラスターがそれぞれ生きているか否かは、インジケータの値に基づいて判定可能である。本方法は、画像フレームの第1のシーケンス内の第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、画像フレーム内の可動オブジェクトの複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第1の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することによって、インジケータを反復的に更新することをさらに含む。本方法は、インジケータの値が、反復更新が完了すると第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定することをさらに含む。
本開示は、特徴ベクトルと第1の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性が、特徴ベクトルが第1の特徴ベクトルと同じ可動オブジェクトに関連付けられている可能性、又は特徴ベクトルのクラスターの1つ又は複数の特徴ベクトルが同じ可動オブジェクトにそれぞれ関連付けられている可能性の尺度であるという認識を利用する。これは、特徴ベクトルが、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信されるためである。類似性が判定され、インジケータの値が所与の期間中にフレームごとに更新されるので、各更新は、インジケータの値の全反復更新の一部にのみ寄与する。特徴ベクトルが同じ可動オブジェクトに関連付けられていない場合であっても、特徴ベクトルが第1の特徴ベクトル又は特徴ベクトルのクラスターに類似している場合は、比較的まれにすることができる。したがって、これらの場合は、インジケータの値の全反復更新にわずかしか寄与しない。
第1の態様の方法は、特徴ベクトルが同じ可動オブジェクトに関連付けられていなくても、特徴ベクトルが第1の特徴ベクトル又は特徴ベクトルのクラスターに類似している場合、単一のインスタンスの影響を受けにくいため、例えば追跡又は再識別に基づく方法よりも堅牢である。これらのインスタンスは、インジケータの値の全反復更新の一部にのみ寄与する。さらに、これらのインスタンスは、機械学習モジュールの訓練によって比較的まれにすることができる。
「可動オブジェクト」とは、人、車両、バッグ、又は箱など、移動することができる、又は移動することができる物体を意味する。
「所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクト」とは、移動可能な物体が、キャプチャされたシーンを離れ(そこから除去され)、1回又は複数回ただし所与の期間にわたって、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置するキャプチャされたシーンに再び入る(再び導入される)ことができることができることを意味する。所定の部分は、0より大きく所与の期間以下の任意の部分であり得る。さらに、可動オブジェクトは、シーン内の同じ場所に位置する必要はなく、シーン内を動き回ることができる。
特定の時点に関連して「インジケータの値は、第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示す」とは、インジケータの値が、方法がその特定の時点で終了した場合に、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると結論付けられるような値であることを意味する。例えば、生きていると見なされるための条件は、インジケータが閾値よりも大きいことに基づくことができる。
可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置すると判定することは、画像フレーム内の特徴ベクトル及び特徴ベクトルの第1の特徴ベクトル又はクラスターの類似性に基づいており、この類似性は機械学習モジュールに基づいているため、判定は特定の信頼度に対してのみ行うことができることに留意されたい。
第1の態様による方法は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するとアラームをトリガすることをさらに含むことができる。
一実施形態では、インジケータは第1の特徴ベクトルに割り当てられ、初期値は第1の閾値よりも大きく、第1の閾値よりも大きいインジケータの値は第1の特徴ベクトルが生きていることを示し、第1の閾値以下のインジケータの値は第1の特徴ベクトルが生きていないことを示す。さらに、インジケータは、i)インジケータの値を第1の量だけ減少させることと、ii)画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第1の特徴ベクトルとの間の類似度に基づいて第2の量を判定することと、インジケータの値を第2の量だけ増加させることとによって反復的に更新される。反復更新は、画像フレームの第1のシーケンス内の第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされた各画像フレームに対して実行される。
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信することができ、第2の量は、さらなる特徴ベクトルと第1の特徴ベクトルとの間の距離に基づいて判定される。次いで、第2の量は、特徴ベクトルと第1の特徴ベクトルとの間の距離が小さいほど大きくなると判定することができる。
代替で、第2の量は、特徴ベクトルと第1の特徴ベクトルとの間の距離が閾値距離よりも小さい場合、固定されたゼロでない量であると判定され、特徴ベクトルと第1の特徴ベクトルとの間の距離が閾値距離以上である場合、ゼロであると判定されてもよい。
一実施形態では、インジケータは特徴ベクトルのクラスターに割り当てられ、初期値は第2の閾値よりも大きく、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値よりも大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値以下であることを示すインジケータの値は、第1の特徴ベクトルが生きていないことを示す。さらに、インジケータは、i)インジケータの値を第3の量だけ減少させることと、ii)画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうかを判定し、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値を第4の量だけ増加させることとによって反復的に更新される。反復更新は、画像フレームの第1のシーケンス内の第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされた各画像フレームに対して実行される。
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトがクラスターアルゴリズムに従って同じクラスター内に位置する確率を最大化する特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができ、特徴ベクトルは、クラスターアルゴリズムに従って特徴ベクトルのクラスターに属すると判定される。
特徴ベクトルは、他の可動オブジェクトについて抽出された特徴ベクトルまでの距離よりも短い相互の距離を有する種々の画像フレーム内の同じ可動オブジェクトについての特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができ、インジケータの値は、特徴ベクトルと第1の特徴ベクトルとの間の距離、又は特徴ベクトルと特徴ベクトルのクラスターとの間の距離にそれぞれ基づいて更新される。
機械学習モジュールは、ニューラルネットワークを備えることができる。
第2の態様によれば、処理及び受信機を有する装置によって実行されたときに、第1の態様による方法を実施するための命令又は第1の態様による方法を格納した非一時的コンピュータ可読記憶媒体が提供される。
第3の態様によれば、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するための方法が提供される。装置は、受信機能、割り当て機能、更新機能、及び判定機能を実行するように構成された回路を備える。受信機能は、所与の期間中にキャプチャされた画像フレームの第1のシーケンス内の可動オブジェクトについての複数の特徴ベクトルを受信するように構成され、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについての同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される。割り当て機能は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル、又は第1の画像フレームに先行する所与の期間の前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに、初期値を有するインジケータを割り当てるように構成される。更新機能は、画像フレームの第1のシーケンス内の第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第1の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することによって、インジケータを反復的に更新するように構成される。判定機能は、インジケータの値が、反復更新が完了すると第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成される。
割り当て機能において、インジケータは、第1の特徴ベクトルに割り当てられてもよく、初期値は、第1の閾値よりも大きく、第1の閾値よりも大きいインジケータの値は、第1の特徴ベクトルが生きていることを示し、第1の閾値以下のインジケータの値は、第1の特徴ベクトルが生きていないことを示す。更新機能では、次いで、インジケータは、インジケータの値を第1の量だけ減少させることと、画像フレーム内の可動オブジェクトの複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第1の特徴ベクトルとの間の類似度に基づいて第2の量を判定することと、インジケータの値を第2の量だけ増加させることとによって反復的に更新され得る。
代替で、割り当て機能において、インジケータは、特徴ベクトルのクラスターに割り当てられてもよく、初期値は、第2の閾値よりも大きく、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値よりも大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値以下であることを示すインジケータの値は、第1の特徴ベクトルが生きていないことを示す。更新機能では、次いで、インジケータの値を第3の量だけ減少させることと、画像フレーム内の可動オブジェクトについての複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと特徴ベクトルのクラスターとの間の類似度に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうかを判定することと、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値を第4の量だけ増加させることとによって、インジケータを反復的に更新することができる。
本発明のさらなる適用範囲は、以下に与えられる詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の様々な変更及び修正がこの詳細な説明から当業者に明らかになるので、詳細な説明及び特定の例は、本発明の好ましい実施形態を示しているが、単なる例示として与えられていることを理解されたい。
したがって、本発明は、記載された装置の特定の構成部品又は記載された方法の動作に限定されず、そのような装置及び方法は変化し得ることを理解されたい。本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書及び添付の特許請求の範囲で使用される場合、冠詞「1つの(a)」、「1つの(an)」、「その(the)」、及び「前記(said)」は、文脈が明らかにそうでないことを指示しない限り、1つ又は複数の要素があることを意味することを意図していることに留意されたい。さらに、「備える(comprising)」、「含む(including)」、「含有する(containing)」、及び同様の表現は、他の要素又はステップを排除するものではない。
本発明の上記及び他の態様は、添付の図面を参照してより詳細に説明される。図面は限定的であると見なされるべきではなく、説明及び理解のために使用される。
本発明の現在好ましい実施形態が示されている添付の図面を参照して、本発明を以下に説明する。しかしながら、本発明は、多くの異なる形態で具体化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。
本発明は、画像フレームのシーケンス内の経時的にキャプチャされたシーンに可動オブジェクトが入る(導入される)及び離れる(除去される)シナリオに適用可能である。画像フレームのシーケンスは、ビデオの一部を形成することができる。そのようなシナリオは、例えば、監視カメラによって画像フレームのシーケンス内でシーンがキャプチャされるときに発生する。可動オブジェクトは、任意の種類のオブジェクト検出を使用するオブジェクト検出モジュールを使用して検出されている。本発明の目的は、人、車両、バッグなどの可動オブジェクトが、キャプチャされたシーン内に残っているか、又は、可動オブジェクトが所与の期間の所定の部分より多くキャプチャされたシーン内に位置するように、捕捉されたシーンの内外に繰り返し移動するかを判定することである。これは、徘徊検出と呼ばれることもあるが、人以外の他の可動オブジェクトもカバーするように拡張され、また、所与の期間にわたって1回又は複数回、キャプチャされたシーンから一時的に移動するように可動オブジェクトもカバーするように拡張される。キャプチャされたシーンは、例えば、キャプチャされたシーンから移動して相当な期間の間戻ってこない前に、可動オブジェクトが1回だけ通過し、及び/又は予想される期間の間だけ留まると予想されるキャプチャされたシーンであってもよい。そのようなシーンは、空港のシーン、ATMを含むシーンであり得る。
以下では、図1を参照して、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定する方法100の実施形態について説明する。
所定の部分は、0より大きく所与の期間以下の任意の部分であり得る。所定の部分及び所与の期間は、キャプチャされたシーン内の可動オブジェクトの典型的な移動パターンに基づいて設定することができる。例えば、所定の部分及び所与の期間は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトが、予想される移動パターンからの偏差を構成する、及び/又はさらに分析されるべき移動パターンを構成するように設定され得る。例えば、これは、監視の観点から望ましくない又は疑わしい移動パターンを構成し得る。
所定の部分を0よりも大きく所与の期間よりも短く設定することは、キャプチャされたシーンを離れる(除去される)前に所与の期間の少なくとも所定の部分に可動オブジェクトが残って所与の期間の残りの期間中にキャプチャされたシーンに戻らない(再導入されない)ときを識別するのに適している。所定部分を0よりも大きく所与の期間よりも短く設定することは、可動オブジェクトが、合計で所与の期間の少なくとも所定の部分に位置するように、可動オブジェクトが、2回以上キャプチャされたシーンに入り(導入される)、離れる(除去される)ときを識別するのにも適している。
所定部分を所与の期間に等しく設定することは、可動オブジェクトが所与の期間のすべてにおいて、キャプチャされたシーン内に残っているときを識別するためにのみ適している。
方法100は、所与の期間中にキャプチャされた画像フレームの第1のシーケンス内の可動オブジェクトについて複数の特徴ベクトルを受信することS110を含む。これは、特徴ベクトルが、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信されるためである。
画像フレームの第1のシーケンスは、所与の期間中にキャプチャされたすべての画像フレームであってもよいが、所与の期間中にキャプチャされたすべての画像フレームのサブセットであってもよい。画像フレームの第1のシーケンスが所与の期間中にキャプチャされたすべての画像フレームのサブセットである場合、それは例えば、2つおきの画像フレーム、3つおきの画像フレームなどであり得る。これがすべての画像フレームのサブセットである場合、所与の期間にわたって均一に分布した画像フレームからなることが好ましい。
特徴ベクトルの特性は、それらを受信する機械学習モジュールの種類に依存する。例えば、機械学習モジュールは、サポートベクターマシン(SVM)、ニューラルネットワーク、又は他の種類の機械学習を含むことができる。例えば、Z.Mingらによる「Deep learning-based person re-identification methods:A survey and outlook of recent works」、College of Computer Science、Sichuan University、Chendu 610065、Chine、2022(https://arxiv.org/abs/2110.04764)を参照されたい。機械学習モジュールからの特徴ベクトルの代わりに、色ヒストグラムなどのハンドクラフトの特徴を使用することも可能である。しかしながら、後者は、あまり正確でない判定をもたらす可能性がある。
いくつかの実施形態では、画像フレームの第1のシーケンスの各画像フレーム内の各可動オブジェクトについて1つの特徴ベクトルのみが抽出される。代替で、画像フレームの第1のシーケンスの各画像フレーム内の各可動オブジェクトについて、2つ以上の特徴ベクトルを抽出することができる。例えば、2つ以上の特徴ベクトルが抽出される場合、これらは可動オブジェクトの異なる部分に関連し得る。この代替案では、本方法は、特徴ベクトルのうちの1つ又は複数に対して実行されてもよい。例えば、人の顔について別個の特徴ベクトルが抽出され、画像フレーム内の人の他の部分について1つ又は複数の他の特徴ベクトルが抽出される場合、本方法は、顔に関連する特徴ベクトルのみに対して、又は1つ又は複数の他の特徴ベクトルの一部又はすべてに対して実行され得る。
方法100は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトルに初期値を有するインジケータを割り当てることS120、又は所与の期間の前、すなわち第1の画像フレームの前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルのクラスターにインジケータを割り当てることS120をさらに含む。
インジケータが特徴ベクトルのクラスターに割り当てられると、本方法は、画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルを受信することと、画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中の特徴ベクトルのクラスターを識別することと、によって先行されるか、又は暗黙的に含む。
画像フレームの第2のシーケンスは、画像フレームの第1のシーケンスの前にキャプチャされた画像フレームの任意のシーケンスであってもよいが、好ましくは、画像フレームの第1のシーケンスの開始直前に終了するシーケンスである。
画像フレームの第2のシーケンスは、画像フレームの第1のシーケンスの開始前のさらなる所与の期間中にキャプチャされたすべての画像フレームであってもよいが、さらなる所与の期間中にキャプチャされたすべての画像フレームのサブセットであってもよい。画像フレームの第2のシーケンスがさらなる所与の期間中にキャプチャされたすべての画像フレームのサブセットである場合、それは、例えば、第2の画像フレームごと、第3の画像フレームごとなどであり得る。これがすべての画像フレームのサブセットである場合、さらなる所与の期間にわたって均一に分布した画像フレームからなることが好ましい。
特徴ベクトルのクラスターは、k平均、期待値最大化(EM)、凝集クラスターリングなどの任意の適切なクラスターアルゴリズムを使用して、画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別することができる。特徴ベクトルのクラスターは、特徴ベクトルのクラスターの特徴ベクトルが同じ可動オブジェクトについて抽出される可能性が高いように定義されてもよい。これは、例えば、特徴ベクトルのクラスターの特徴ベクトルの類似性に基づくことができる。
方法100は、画像フレームの第1のシーケンス内の第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、インジケータを反復的に更新することS130をさらに含む。各反復では、画像フレーム内の可動オブジェクトの複数の特徴ベクトルの各特徴ベクトルに対して更新が実行される。更新は、特徴ベクトルと第1の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することを含む。
特徴ベクトルと第1の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいてインジケータの値が更新されることによって、より高い類似性は、反復更新における値の全更新に対するより大きな寄与をもたらすことを意味する。
インジケータの値の更新には、各画像フレーム内の各特徴ベクトルと第1の特徴ベクトルとの間の類似性のみが使用されるか、又は各画像フレーム内の各特徴ベクトルと特徴ベクトルのクラスターとの間の類似性が要求される。種々の画像フレーム内の同じ可動オブジェクトについて異なる特徴ベクトルが抽出されるかどうか、又は種々の画像フレーム内の同じ可動オブジェクトについて特徴ベクトルのクラスターのすべての特徴ベクトルが抽出されるかどうかをさらに解析する必要はない。したがって、第1の特徴ベクトルとは異なる可動オブジェクトについて抽出される画像フレーム内の特徴ベクトルは、インジケータの値の更新にいくらかの寄与を与えることができる。しかしながら、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールとして、第1の特徴ベクトルと同じ可動オブジェクトについて抽出された特徴ベクトルは、第1の特徴ベクトルとは異なる可動オブジェクトについて抽出された特徴ベクトルよりも高い寄与を有する。
特徴ベクトルと特徴ベクトルのクラスターとの間の類似性の同じ尺度は、第1の画像フレームに先行する所与の期間の前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中の特徴ベクトルのクラスターを識別するときに使用されたように更新に使用することができる。
機械学習モジュールによって可動オブジェクトについて抽出された特徴ベクトルが多数の次元(例えば256)を含む場合、例えば機械学習モジュールがニューラルネットワークを含む場合、特徴ベクトルと第1の特徴ベクトルとの間の類似性を判定する前に、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性を判定する前に、次元の数を減らすことができる。例えば、特徴ベクトルの次元は、特徴ベクトルを主成分分析(PCA)空間に投影することによって削減され得る。次元の削減は、特徴ベクトルが機械学習モジュールから受信された後に実行されてもよく、又は受信される前に実行されてもよい。前者の場合、本方法は、複数の特徴ベクトルの各特徴ベクトルの次元を削減するさらなる動作を含む。後者の場合、複数の特徴ベクトルの各特徴ベクトルの次元数は、機械学習モジュールから受信したときに既に削減されている。
方法100は、インジケータの値が、反復更新が完了すると第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示すという条件C140に基づいて、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定することS150をさらに含む。
特定の時点に関連して「インジケータの値は、第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていることを示す」とは、インジケータの値が、方法がその特定の時点で終了した場合に、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると結論付けられるような値であることを意味する。
所与の期間中の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定することS150は、さらに、インジケータの値が、第1のベクトル又は特徴ベクトルのクラスターがそれぞれ、インジケータの反復更新を通して生きていることを示すことを条件とするC140ことができる。
方法100は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するとアラームをトリガすることS160をさらに含むことができる。
インジケータの値が、反復更新が完了すると第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていないことを示す場合、これは、第1の特徴ベクトル又は特徴ベクトルのクラスターに割り当てられたインジケータに基づいて、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるとは言えないことを意味する。この状況は、通常、その方法で実行される任意の特定のさらなる動作にはつながらない。具体的には、典型的には、所与の期間中に監視されている第1の特徴ベクトルに対応するいくつかの他の特徴ベクトル、又は特徴ベクトルのクラスターに対応する特徴ベクトルのいくつかの他のクラスターがあり、それぞれのインジケータが割り当てられ、反復的に更新されるため、これらのいくつかの他の特徴ベクトル又は特徴ベクトルのいくつかの他のクラスターのうちの1つは、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する他の可動オブジェクトに関連し得るため、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがないとは言えない。
方法100は、第1の特徴ベクトル又は特徴ベクトルのクラスターのいずれかに対して実行されてもよい。しかしながら、方法100はまた、第1の特徴ベクトルに対して、又は特徴ベクトルのクラスターに対して並列に実行されてもよい。
特徴ベクトルは、他の可動オブジェクトについて抽出された特徴ベクトルまでの距離よりも短い相互距離を有する種々の画像フレーム内の同じ可動オブジェクトについて特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができるS110。次いで、インジケータの値は、特徴ベクトルと第1の特徴ベクトルとの間の距離、又は特徴ベクトルと特徴ベクトルのクラスターとの間の距離にそれぞれ基づいて更新され得る。
方法100は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル、又は画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターについて説明されている。次いで、方法100は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して、又は画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルの各クラスターに対して実行され得る。さらに、方法100は、第1の画像フレームに続く各画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して実行することができる。特徴ベクトルのクラスターは、一定の間隔、例えば画像フレームの第2のシーケンスに対応する間隔で、可動オブジェクトについて抽出された特徴ベクトルの中で識別することができる。
以下では、図1及び図2を参照して、本開示の方法の実施形態に関連してインジケータを反復的に更新する動作のサブステップについて説明する。
インジケータが第1の特徴ベクトルに割り当てられるS120実施形態の場合、インジケータの初期値は、第1の閾値よりも大きい値に設定されてもよい。第1の閾値より大きいインジケータの値は、第1の特徴ベクトルが生きていることを示し、第1の閾値以下のインジケータの値は、第1の特徴ベクトルが生きていないことを示す。
図2に関連して、画像フレームの第1のシーケンスにおける第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされたフレームの数はnであり、したがって、インジケータの反復更新S130は、各画像フレームi=1→nに対して実行される。さらに、各フレームjについて抽出された特徴ベクトルの数はmi個であり、したがって、各画像フレームiについて、その画像フレームiのそれぞれの抽出された特徴ベクトルj=1→miに対して更新が実行される。
画像フレームの第1のシーケンス内の第1の画像フレームに続く第1の画像フレームi=1 S1305から開始して、インジケータの値は第1の量だけ減少するS1310。第1の量は、通常、すべての画像フレームi=1→nに対するすべての反復について同じである。したがって、すべての画像フレームi=1→nにわたる反復について、インジケータの値は、n・第1の量だけ減少する。第1の画像フレームi=1について第1の抽出された特徴ベクトルj=1 S1315から開始して、特徴ベクトルj=1と第1の特徴ベクトルとの間の類似性に基づいて第2の量が判定されるS1320。次いで、インジケータの値が第2の量だけ増加されるS1325。特徴ベクトルのインデックスjは、j=j+1 S1330で増分され、ベクトルのインデックスjが画像フレームi=1 j>mi S1335に対して特徴ベクトルの数mi以下である限り、第2の量を判定するS1320、増加させるS1325、及び特徴ベクトルのインデックスj S1330を増分する動作が繰り返される。次に、画像フレームのインデックスiが増分されるi=i+1 S1340。次いで、反復更新が、第1の画像フレームi=1の場合と同様の方法で、残りの画像フレームi=2→nに対して実行される。
所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判断することS150は、反復更新が完了すると、インジケータの値が第1の閾値よりも大きいこと、すなわち第1の特徴ベクトルが生きていることを条件とする。
第1の量、第2の量、及び第1の閾値は、好ましくは、第1の特徴ベクトルに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する場合、図2の反復更新後、インジケータの値が第1の閾値よりも大きくなければならず、第1の特徴ベクトルに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置しない場合、図2の反復更新後、インジケータの値が第1の閾値以下でなければならないように設定される。値は、第1の特徴ベクトルに関連付けられた可動オブジェクトが、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置するかどうかを正確に判定する方法能力の評価を伴う反復プロセスによって設定され得る。値は、可動オブジェクトの種類、及び可動オブジェクトの特徴ベクトルを抽出するために使用される機械学習モジュールの種類に依存する。値はまた、所与の期間の長さに依存する、画像フレームの第1のシーケンス内の画像フレームの数に依存する。値はまた、所定の部分に依存する。
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信することができるS110。次いで、第2の量は、特徴ベクトルと第1の特徴ベクトルとの間の距離に基づいて判定され得るS1320。次いで、第2の量は、特徴ベクトルと第1の特徴ベクトルとの間の距離が小さいほど大きくなると判定することができるS1320。
代替で、第2の量は、特徴ベクトルと第1の特徴ベクトルとの間の距離が閾値距離よりも小さい場合、固定されたゼロでない量であると判定されS1320、特徴ベクトルと第1の特徴ベクトルとの間の距離が閾値距離以上である場合、ゼロであると判定されてもよいS1320。これにより、第1の特徴ベクトルまでの距離が閾値距離よりも長いいずれの特徴ベクトルも、インジケータの値の更新に寄与しない。
方法100は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトルについて説明されている。次いで、方法100は、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して実行することができる。さらに、方法100は、第1の画像フレームに続く各画像フレーム内の可動オブジェクトについて抽出された各ベクトルに対して実行することができる。したがって、本方法は、各画像フレーム内の各抽出された特徴ベクトルに対して実行することができ、したがって、抽出された各特徴ベクトルは、それに割り当てられたインジケータを有する。抽出された特徴ベクトルに関して所与の期間が満了すると、その割り当てられたインジケータが特徴ベクトルが生きていることを示すかどうか判定される。この場合、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定される。そうでない場合、その特徴ベクトルは、所与の期間の所定の部分より多くキャプチャされたシーン内に位置する可動オブジェクトがあることを示さない。特徴ベクトルに関連する所与の期間の後、方法は終了し、その特徴ベクトルに関連して後続の画像フレーム内の抽出された特徴ベクトルとのさらなる比較は実行されず、その特徴ベクトルに割り当てられたインジケータは破棄することができる。各画像フレーム内の各抽出された特徴ベクトルに対して方法を実行することによって、頑健性が達成される。第1の画像フレーム内で抽出され、可動オブジェクトに関連する第1の特徴ベクトルに割り当てられたインジケータが、第1の画像フレームから所与の期間後に第1の特徴ベクトルが生きていることを示さない場合、第1の画像フレームに続く第2の画像フレーム内で抽出され、同じ可動オブジェクトに関連する第2の特徴ベクトルは、第2の画像フレームから所与の期間後に第2の特徴ベクトルが生きていることを示す割り当てられたインジケータを有することができる。
以下では、図1及び図3を参照して、本開示の方法の代替的な実施形態に関連してインジケータを反復的に更新する動作のサブステップについて説明する。
インジケータが特徴ベクトルのクラスターに割り当てられるS120実施形態の場合、インジケータの初期値は、第2の閾値よりも大きい値に設定することができる。時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値より大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値以下であることを示すインジケータの値は、第1の特徴ベクトルが生きていないことを示す。
図3に関連して、画像フレームの第1のシーケンスにおける第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされたフレームの数はnであり、したがって、インジケータの反復更新S130は、各画像フレームに対して実行されるi=1→n。さらに、各フレームjについて抽出された特徴ベクトルの数はmi個であり、したがって、各画像フレームiについて、その画像フレームiのそれぞれの抽出された特徴ベクトルj=1→miに対して更新が実行される。
画像フレームの第1のシーケンス内の第1の画像フレームに続く第1の画像フレームi=1 S13505で開始して、インジケータの値は第3の量だけ減少するS1355。第3の量は、通常、すべての画像フレームi=1→nに対するすべての反復について同じである。したがって、すべての画像フレームi=1→nにわたる反復について、インジケータの値は、n・第1の量だけ減少する。第1の画像フレームi=1について第1の抽出された特徴ベクトルj=1 S1360で開始して、特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうか判定されS1365、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値は第4の量だけ増加するS1370。特徴ベクトルインデックスjは、j=j+1 S1375で増分され、ベクトルインデックスjが画像フレームi=1 j>mi S1380に対して特徴ベクトルの数mi以下である限り、特徴ベクトルjが特徴ベクトルのクラスターに属するかどうかを判定するS1365、増分するS1370、特徴ベクトルインデックスj S1375を増分する動作が繰り返される。次に、画像フレームのインデックスiが増分されるi=i+1 S1385。次いで、反復更新が、第1の画像フレームi=1の場合と同様の方法で、残りの画像フレームi=2→nに対して実行される。
所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判断することS150は、反復更新が完了すると、インジケータの値が第2の閾値よりも大きいこと、すなわち特徴ベクトルのクラスターが生きていることを条件とする。
第3の量、第4の量、及び第2の閾値は、特徴ベクトルのクラスターに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する場合、図3の反復更新後のインジケータの値が第2の閾値よりも大きくなるように、及びクラスター特徴ベクトルに関連付けられた可動オブジェクトが所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置しない場合、図2の反復更新後のインジケータの値が第2の閾値以下になるように設定されることが好ましい。値は、第1の特徴ベクトルに関連付けられた可動オブジェクトが、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置するかどうかを正確に判定する方法能力の評価を伴う反復プロセスによって設定され得る。値は、可動オブジェクトの種類、及び可動オブジェクトの特徴ベクトルを抽出するために使用される機械学習モジュールの種類に依存する。値はまた、所与の期間の長さに依存する、画像フレームの第1のシーケンス内の画像フレームの数に依存する。値はまた、所定の部分に依存する。
方法100は、画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターについて説明されている。方法100は、画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルの各クラスターに対して実行することができる。特徴ベクトルのクラスターは、一定の間隔、例えば画像フレームの第2のシーケンスに対応する間隔で、可動オブジェクトについて抽出された特徴ベクトルの中で識別することができる。次いで、方法100は、一定の間隔で可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルの各クラスターに対して実行され得る。クラスターの識別は、特徴ベクトルの各クラスターが1つの可動オブジェクトに対応する可能性が高いようにすべきである。特徴ベクトルのクラスターを定期的に識別することによって、本方法は、シーンに入る新しい可動オブジェクトに対して実行することができる。各クラスターに関連する所与の期間の後、方法は終了し、後続の画像フレーム内の抽出された特徴ベクトルとのさらなる比較はそのクラスターに対して実行されず、そのクラスターに割り当てられたインジケータは破棄することができる。
特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトがクラスターアルゴリズムに従って同じクラスター内に位置する確率を最大化する特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができるS110。次いで、特徴ベクトルは、クラスターアルゴリズムに従って特徴ベクトルのクラスターに属すると判定され得るS1370。
例えば、ノイズを伴うアプリケーションの密度ベースの空間クラスターリング(DBSCAN)は、例えばEster,M.らが開示しているように、クラスターアルゴリズムとして使用することができる。「A density-based algorithm for discovering clusters in large spatial databases with noise」Proceedings of the Second International Conference on Knowledge Discovery and Data Mining(KDD-96).AAAI Press.pp.226-231.CiteSeerX 10.1.1.121.9220.ISBN 1-57735-004-9.
代替で、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信することができるS110。固定された第4の量を有する代わりに、第4の量は、特徴ベクトルとクラスターとの間の距離に基づいて判定されてもよい。次いで、第4の量は、特徴ベクトルとクラスターとの間の距離が小さいほど大きくなるように判定され、特徴ベクトルがクラスターに属するという条件なしにインジケータに追加され得る。
図4は、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうか判定するための本開示の装置200の実施形態に関する概略図を示す。装置200は回路210を備える。回路210は、装置200の機能を実行するように構成される。回路210は、中央処理装置(CPU)、マイクロコントローラ、又はマイクロプロセッサなどのプロセッサ212を含むことができる。プロセッサ212は、プログラムコードを実行するように構成される。プログラムコードは、例えば、装置200の機能を実行するように構成されてもよい。
装置200は、メモリ230をさらに備えることができる。メモリ230は、バッファ、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ(RAM)、又は別の適切な装置のうちの1つ又は複数とすることができる。典型的な配置では、メモリ230は、長期データ記憶用の不揮発性メモリと、回路210用のデバイスメモリとして機能する揮発性メモリとを含むことができる。メモリ230は、データバス上で回路210とデータを交換することができる。メモリ230と回路210との間に付随する制御線及びアドレスバスも存在してもよい。
装置200の機能は、装置200の非一時的コンピュータ可読媒体(例えば、メモリ230)に格納され、回路210(例えば、プロセッサ212を使用して)によって実行される実行可能論理ルーチン(例えば、コード行、ソフトウェアプログラムなど)の形態で具現化されてもよい。さらに、装置200の機能は、スタンドアロンのソフトウェアアプリケーションであってもよく、又は装置200に関連する追加のタスクを実行するソフトウェアアプリケーションの一部を形成してもよい。記載された機能は、処理ユニット、例えば回路210のプロセッサ212が実行するように構成された方法と考えることができる。また、記載された機能はソフトウェアで実施されてもよいが、そのような機能は、専用のハードウェア若しくはファームウェア、又はハードウェア、ファームウェア及び/若しくはソフトウェアの何らかの組み合わせを介して実行されてもよい。
回路210は、受信機能231、割り当て機能232、更新機能233、及び判定機能234を実行するように構成される。
受信機能231は、所与の期間中にキャプチャされた画像フレームの第1のシーケンス内の可動オブジェクトについて複数の特徴ベクトルを受信するように構成され、特徴ベクトルは、種々の画像フレーム内の同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される。
割り当て機能232は、初期値を有するインジケータを、画像フレームの第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル、又は第1の画像フレームに先行する所与の期間の前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てるように構成される。
更新機能233は、画像フレームの第1のシーケンス内の第1の画像フレームに続く、第1の画像フレームから所与の期間内にキャプチャされた各画像フレームについて、画像フレーム内の可動オブジェクトに対する複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第1の特徴ベクトルとの間の類似性、又は特徴ベクトルと特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいてインジケータの値を更新することによって、インジケータを反復的に更新するように構成される。
判定機能234は、インジケータの値が、更新機能233による反復更新が完了すると第1の特徴ベクトル又は特徴ベクトルのクラスターがそれぞれ生きていると示すことを条件として、所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成される。
装置200は、機能のうちの1つ又は複数の物理的位置で実施され、1つ又は複数の他の機能が別の物理的位置で実施されるように、1つ又は複数の物理的位置で実現されてもよい。代替で、装置200の機能のすべては、単一の物理的位置にある単一の装置として実施されてもよい。単一の装置は、例えば監視カメラであってもよい。
割り当て機能232では、インジケータは、第1の特徴ベクトルに割り当てられてもよく、初期値は、第1の閾値よりも大きく、第1の閾値よりも大きいインジケータの値は、第1の特徴ベクトルが生きていることを示し、第1の閾値以下のインジケータの値は、第1の特徴ベクトルが生きていないことを示す。更新機能233では、次いで、インジケータの値を第1の量だけ減少させ、画像フレーム内の可動オブジェクトに対して複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと第1の特徴ベクトルとの間の類似性に基づいて第2の量を判定し、インジケータの値を第2の量だけ増加させることによって、インジケータを反復的に更新することができる。さらなる詳細及び可能な適合については、図2及びそれを参照する説明を参照する。
代替で、割り当て機能232では、特徴ベクトルのクラスターにインジケータを割り当てることができ、初期値は0であり、単位時間当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値より大きいことを示すインジケータの値は、特徴ベクトルのクラスターが生きていることを示し、単位時間当たりの特徴ベクトルのクラスターに属すると判定された特徴ベクトルの数が第2の閾値以下であることを示すインジケータの値は、第1の特徴ベクトルが生きていないことを示す。次いで、更新機能233では、インジケータは、画像フレーム内の可動オブジェクトに対する複数の特徴ベクトルの各特徴ベクトルについて、特徴ベクトルと特徴ベクトルのクラスターとの間の類似性に基づいて特徴ベクトルが特徴ベクトルのクラスターに属するかどうかを判定し、特徴ベクトルが特徴ベクトルのクラスターに属する場合、インジケータの値を第4の量だけ増加させることによって反復的に更新することができる。さらなる詳細及び可能な適合については、図3及びそれを参照する説明を参照する。
回路210によって実行される機能は、図1、図2、及び図3に関連して説明された方法の実施形態の対応するステップとしてさらに適合され得る。
当業者であれば、本発明が上記の実施形態に限定されないことを理解する。むしろ、添付の特許請求の範囲内で多くの修正及び変形が可能である。そのような修正及び変形は、図面、開示、及び添付の特許請求の範囲の研究から、特許請求される発明を実施する当業者によって理解及び達成され得る。
Claims (14)
- 所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するためのコンピュータ実施方法であって、
前記所与の期間中にキャプチャされた画像フレームの第1のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルであって、前記複数の特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される、複数の特徴ベクトルを受信することと、
初期値を有するインジケータを、画像フレームの前記第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル、又は前記第1の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てることと、
画像フレームの前記第1のシーケンス内の前記第1の画像フレームに続いて、前記第1の画像フレームから前記所与の期間内にキャプチャされた各画像フレームについて、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第1の特徴ベクトルとの間の類似性、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいて前記インジケータの前記値を更新することと、
前記インジケータの前記値が、前記反復更新が完了すると前記第1の特徴ベクトル又は前記特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定することと
により前記インジケータを反復して更新することと
を含む、コンピュータ実施方法。 - 前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定するとアラームをトリガすること
をさらに含む、請求項1に記載のコンピュータ実施方法。 - 前記インジケータが前記第1の特徴ベクトルに割り当てられ、前記初期値が第1の閾値よりも大きく、前記第1の閾値よりも大きい前記インジケータの値が、前記第1の特徴ベクトルが生きていることを示し、前記閾値以下である前記インジケータの値が、前記第1の特徴ベクトルが生きていないことを示し、
前記インジケータが、
前記インジケータの前記値を第1の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第1の特徴ベクトルとの間の類似性に基づいて第2の量を判定することと、前記インジケータの前記値を前記第2の量だけ増加させることと
によって反復的に更新される、請求項1又は2に記載のコンピュータ実施方法。 - 前記特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて抽出された特徴ベクトル間の距離を最小化するように訓練された機械学習モジュールから受信され、前記第2の量が、前記さらなる特徴ベクトルと前記第1の特徴ベクトルとの間の距離に基づいて判定される、請求項3に記載のコンピュータ実施方法。
- 前記第2の量が、前記特徴ベクトルと前記第1の特徴ベクトルとの間の前記距離が小さいほど大きくなるように判定される、請求項4に記載のコンピュータ実施方法。
- 前記第2の量が、前記特徴ベクトルと前記第1の特徴ベクトルとの間の前記距離が閾値距離よりも小さい場合に固定されたゼロでない量であると判定され、前記特徴ベクトルと前記第1の特徴ベクトルとの間の前記距離が前記閾値距離以上である場合にゼロであると判定される、請求項4に記載のコンピュータ実施方法。
- 前記インジケータが前記特徴ベクトルのクラスターに割り当てられ、前記初期値が第2の閾値よりも大きく、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第2の閾値よりも大きいことを示す前記インジケータの値が、前記特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第2の閾値以下であることを示す前記インジケータの値が、前記第1の特徴ベクトルが生きていないことを示し、
前記インジケータが、
前記インジケータの前記値を第3の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性に基づいて前記特徴ベクトルが前記特徴ベクトルのクラスターに属するかどうかを判定することと、前記特徴ベクトルが前記特徴ベクトルのクラスターに属する場合、前記インジケータの前記値を第4の量だけ増加させることと
によって反復的に更新される、請求項1又は2に記載のコンピュータ実施方法。 - 前記特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトがクラスターアルゴリズムに従って同じクラスター内に位置する確率を最大化する特徴ベクトルを抽出するように訓練された機械学習モジュールから受信され、前記特徴ベクトルが、前記クラスターアルゴリズムに従って前記特徴ベクトルのクラスターに属すると判定される、請求項7に記載のコンピュータ実施方法。
- 前記特徴ベクトルが、他の可動オブジェクトについて抽出された特徴ベクトルまでの距離よりも短い相互の距離を有する種々の画像フレーム内の前記同じ可動オブジェクトについて特徴ベクトルを抽出するように訓練された機械学習モジュールから受信することができ、前記インジケータの前記値が、前記特徴ベクトルと前記第1の特徴ベクトルとの間の距離、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の距離にそれぞれ基づいて更新される、請求項1から3及び7のいずれか一項に記載のコンピュータ実施方法。
- 前記機械学習モジュールがニューラルネットワークを備える、請求項1から9のいずれか一項に記載のコンピュータ実施方法。
- プロセッサ及び受信機を有する装置によって実行されたときに、請求項1から10のいずれか一項に記載の方法を実施するための命令を格納した非一時的コンピュータ可読記憶媒体。
- 所与の期間の少なくとも所定の部分のキャプチャされたシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置であって、前記装置が、
前記所与の期間中にキャプチャされた画像フレームの第1のシーケンス内の可動オブジェクトに対する複数の特徴ベクトルであって、前記複数の特徴ベクトルが、種々の画像フレーム内の前記同じ可動オブジェクトについて同様の特徴ベクトルを抽出するように訓練された機械学習モジュールから受信される、複数の特徴ベクトルを受信するように構成された受信機能と、
初期値を有するインジケータを、画像フレームの前記第1のシーケンスの第1の画像フレーム内の可動オブジェクトについて抽出された第1の特徴ベクトル、又は前記第1の画像フレームに先行する前記所与の期間の前にキャプチャされた画像フレームの第2のシーケンス内の可動オブジェクトについて抽出された特徴ベクトルの中で識別された特徴ベクトルのクラスターに割り当てるように構成された割り当て機能と、
更新機能であって、画像フレームの前記第1のシーケンス内の前記第1の画像フレームに続いて、前記第1の画像フレームから前記所与の期間内にキャプチャされた各画像フレームについて、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第1の特徴ベクトルとの間の類似性、又は前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性にそれぞれ基づいて前記インジケータの前記値を更新すること
によって前記インジケータを反復的に更新するように構成された更新機能と、
前記インジケータの前記値が、前記反復更新が完了すると前記第1の特徴ベクトル又は前記特徴ベクトルのクラスターがそれぞれ生きていることを示すことを条件として、前記所与の期間の少なくとも前記所定の部分の前記キャプチャされたシーン内に位置する可動オブジェクトがあると判定するように構成された判定機能と
を実行するように構成された回路を備える、装置。 - 前記割り当て機能では、前記インジケータが前記第1の特徴ベクトルに割り当てられ、前記初期値が閾値より大きく、前記閾値より大きい前記インジケータの値が、前記第1の特徴ベクトルが生きていることを示し、前記閾値以下である前記インジケータの値が、前記第1の特徴ベクトルが生きていないことを示し、
前記更新機能では、前記インジケータが、
前記インジケータの前記値を第1の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記第1の特徴ベクトルとの間の類似性に基づいて第2の量を判定することと、前記インジケータの前記値を前記第2の量だけ増加させることと
によって反復的に更新される、請求項12に記載の装置。 - 前記割り当て機能では、前記インジケータが前記特徴ベクトルのクラスターに割り当てられ、前記初期値が第2の閾値よりも大きく、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第2の閾値よりも大きいことを示す前記インジケータの値が、前記特徴ベクトルのクラスターが生きていることを示し、時間単位当たりの前記特徴ベクトルのクラスターに属すると判定された前記特徴ベクトルの数が前記第2の閾値以下であることを示す前記インジケータの値が、前記第1の特徴ベクトルが生きていないことを示し、
前記更新機能では、前記インジケータが、
前記インジケータの前記値を第3の量だけ減少させることと、
前記画像フレーム内の可動オブジェクトに対する前記複数の特徴ベクトルの各特徴ベクトルについて、前記特徴ベクトルと前記特徴ベクトルのクラスターとの間の類似性に基づいて前記特徴ベクトルが前記特徴ベクトルのクラスターに属するかどうかを判定することと、前記特徴ベクトルが前記特徴ベクトルのクラスターに属する場合、前記インジケータの前記値を第4の量だけ増加させることと
によって反復的に更新される、請求項12に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22171780 | 2022-05-05 | ||
EP22171780.4A EP4273812B1 (en) | 2022-05-05 | 2022-05-05 | Device and method for loitering detection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023165641A true JP2023165641A (ja) | 2023-11-16 |
Family
ID=81580465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023072883A Pending JP2023165641A (ja) | 2022-05-05 | 2023-04-27 | 所与の期間の少なくとも所定の部分のシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230360235A1 (ja) |
EP (1) | EP4273812B1 (ja) |
JP (1) | JP2023165641A (ja) |
KR (1) | KR20230156255A (ja) |
CN (1) | CN117011695A (ja) |
TW (1) | TW202345105A (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9349275B2 (en) * | 2012-03-15 | 2016-05-24 | Behavorial Recognition Systems, Inc. | Alert volume normalization in a video surveillance system |
WO2021225472A2 (en) * | 2020-05-06 | 2021-11-11 | Huawei Technologies Co., Ltd. | Joint objects image signal processing in temporal domain |
-
2022
- 2022-05-05 EP EP22171780.4A patent/EP4273812B1/en active Active
-
2023
- 2023-03-21 KR KR1020230036619A patent/KR20230156255A/ko unknown
- 2023-04-10 TW TW112113204A patent/TW202345105A/zh unknown
- 2023-04-25 CN CN202310454705.XA patent/CN117011695A/zh active Pending
- 2023-04-26 US US18/307,503 patent/US20230360235A1/en active Pending
- 2023-04-27 JP JP2023072883A patent/JP2023165641A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117011695A (zh) | 2023-11-07 |
EP4273812C0 (en) | 2024-04-10 |
US20230360235A1 (en) | 2023-11-09 |
EP4273812B1 (en) | 2024-04-10 |
TW202345105A (zh) | 2023-11-16 |
KR20230156255A (ko) | 2023-11-14 |
EP4273812A1 (en) | 2023-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9824296B2 (en) | Event detection apparatus and event detection method | |
Herrero et al. | Background subtraction techniques: Systematic evaluation and comparative analysis | |
US9158988B2 (en) | Method for detecting a plurality of instances of an object | |
US9147169B2 (en) | Method and device for learning of a classifier, and processing apparatus | |
KR101557376B1 (ko) | 사람 계수 방법 및 그를 위한 장치 | |
US10489916B2 (en) | Method and apparatus for updating a background model | |
CN111949827B (zh) | 视频抄袭检测方法、装置、设备和介质 | |
US10353954B2 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
Kittler et al. | Domain anomaly detection in machine perception: A system architecture and taxonomy | |
KR101970619B1 (ko) | 비정상 상황 검출 방법 및 이를 수행하기 위한 시스템 | |
US9953240B2 (en) | Image processing system, image processing method, and recording medium for detecting a static object | |
US10762133B2 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
JP6981555B2 (ja) | 群集推定手法の性能モデリング方法、システム、及びプログラム | |
Orru et al. | Detecting anomalies from video-sequences: a novel descriptor | |
JP2015219648A5 (ja) | ||
JP2023165641A (ja) | 所与の期間の少なくとも所定の部分のシーン内に位置する可動オブジェクトがあるかどうかを判定するための装置及び方法 | |
CN115761842A (zh) | 一种人脸底库自动更新方法、装置 | |
Reddy et al. | MRF-based background initialisation for improved foreground detection in cluttered surveillance videos | |
KR20180082680A (ko) | 분류기를 학습시키는 방법 및 이를 이용한 예측 분류 장치 | |
CN109063761B (zh) | 扩散器脱落检测方法、装置及电子设备 | |
CN112766139A (zh) | 目标识别方法及装置、存储介质及电子设备 | |
JP7511540B2 (ja) | 対象物検知装置、対象物検知方法及び対象物検知プログラム | |
US20230289624A1 (en) | Storage medium, information processing device, and information processing method | |
Zin et al. | A new background subtraction method using bivariate Poisson process | |
CN109543736B (zh) | 一种特征对比方法及装置 |