JP5496566B2 - Suspicious behavior detection method and suspicious behavior detection device - Google Patents
Suspicious behavior detection method and suspicious behavior detection device Download PDFInfo
- Publication number
- JP5496566B2 JP5496566B2 JP2009178422A JP2009178422A JP5496566B2 JP 5496566 B2 JP5496566 B2 JP 5496566B2 JP 2009178422 A JP2009178422 A JP 2009178422A JP 2009178422 A JP2009178422 A JP 2009178422A JP 5496566 B2 JP5496566 B2 JP 5496566B2
- Authority
- JP
- Japan
- Prior art keywords
- search block
- determination
- person
- suspicious
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 58
- 238000000034 method Methods 0.000 claims description 121
- 230000008569 process Effects 0.000 claims description 93
- 230000009471 action Effects 0.000 claims description 84
- 238000012545 processing Methods 0.000 claims description 50
- 230000002354 daily effect Effects 0.000 claims description 44
- 238000007619 statistical method Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 4
- 230000003203 everyday effect Effects 0.000 claims description 4
- 230000008685 targeting Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 description 137
- 230000006870 function Effects 0.000 description 32
- 238000012544 monitoring process Methods 0.000 description 20
- 230000005484 gravity Effects 0.000 description 15
- 238000009795 derivation Methods 0.000 description 14
- 206010000117 Abnormal behaviour Diseases 0.000 description 13
- 230000001186 cumulative effect Effects 0.000 description 11
- 238000012952 Resampling Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 9
- 230000008034 disappearance Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000012850 discrimination method Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、カメラ画像に基づいて監視エリア内での不審行動を検知する不審行動検知方法および不審行動検知装置に関する。 The present invention relates to a suspicious behavior detection method and a suspicious behavior detection device that detect suspicious behavior in a monitoring area based on a camera image.
この種の監視システムとしては、監視対象の日常動作を調べて定義しておき、その日常動作からの逸脱により異常動作を検出するものがある。たとえば、エレベータ内では、通常は静止しているが、稀に体操する人もありその体操は手や足を周期的に動かす周期性動作となるという前提から、日常逸脱動作であり、かつ周期性動作でなければ、異常動作であると判定するシステムがある（特許文献１参照）。また、歩く、屈むなど人の汎用的振る舞いを解析し、この汎用的振る舞いに関する時系列データに基づいて、特定の専用的振る舞いか否かを識別（たとえば、歩く動作から→屈む動作に変化し、その後、屈む動作がＮ秒間以上継続すると病気と判定)する画像監視システムがある（特許文献２参照）。 As this type of monitoring system, there is a system that examines and defines a daily operation to be monitored and detects an abnormal operation by deviation from the daily operation. For example, in an elevator, it is normally stationary, but there are rarely people who exercise, and that exercise is a periodic movement that moves the hands and feet periodically. If there is no operation, there is a system that determines that the operation is abnormal (see Patent Document 1). Also, it analyzes the general behavior of people such as walking and bending, and based on the time-series data about this general behavior, identifies whether or not a specific dedicated behavior (for example, changing from walking to → bending, After that, there is an image monitoring system that determines that the patient is sick if the bending action continues for N seconds or longer (see Patent Document 2).
一方、異常行動のパターン（場所と動作）を定義付けておき、該定義した行動に類似する行動を異常行動として検出する監視システムがある。たとえば、危険領域（歩道や駅のプラットフォーム端部など）におけるふらつき歩行や千鳥足歩行などの動作を異常歩行として検出する歩行監視システムがある（特許文献３参照）。また、監視対象物を監視要素（人体部分等の動作、外観的識別、視認行為回数）単位で解析し、監視対象物に対する監視項目を、細分化した監視要素毎に所定の判定ルールに基づいて判定し、その総合的な判断により警報を出力するシステムがある（たとえば、特許文献４参照。）。 On the other hand, there is a monitoring system that defines abnormal behavior patterns (locations and actions) and detects behaviors similar to the defined behaviors as abnormal behaviors. For example, there is a walking monitoring system that detects movements such as staggering walking and staggered walking in a dangerous area (such as a sidewalk or a platform end of a station) as abnormal walking (see Patent Document 3). In addition, the monitoring object is analyzed in units of monitoring elements (operations of human body parts, appearance identification, number of visual recognition actions), and monitoring items for the monitoring objects are determined based on predetermined determination rules for each subdivided monitoring element. There is a system that determines and outputs an alarm based on the comprehensive determination (see, for example, Patent Document 4).
日常行動から逸脱した動作を異常行動として検出するシステムでは、検知を所望する異常行動の行動パターンが日常行動パターンと類似している場合には、検知漏れが発生し易くなる。たとえば、駐車場のような監視エリアでは、人・車両等複数種類のオブジェクトが存在し、監視対象の出入りや動作の自由度が高く、起こり得る日常行動パターンはバリエーションに富み、個人差もある。このため、日常行動の範囲に異常行動と類似した行動も含まれてしまい、日常行動に類似した異常行動（犯罪行為等）が検知漏れになり易い。 In a system that detects an operation deviating from daily behavior as an abnormal behavior, if the behavior pattern of the abnormal behavior desired to be detected is similar to the daily behavior pattern, a detection failure is likely to occur. For example, in a monitoring area such as a parking lot, there are a plurality of types of objects such as people and vehicles, the degree of freedom of entering and exiting the monitoring target, and the actions are high, and possible daily behavior patterns are varied and there are individual differences. For this reason, behaviors similar to abnormal behaviors are included in the range of daily behaviors, and abnormal behaviors (such as criminal acts) similar to daily behaviors are likely to be missed.
一方、車上荒らしなどの犯罪行為は、頻繁に発生するものではないから、得られる監視映像のサンプル数はごく少量に過ぎない。また、犯罪行為に関する行動パターンは複雑でバリエーションに富み、個人差もある。このため、定義した異常行動パターンに類似する行動を異常行動として検出する方式の監視システムでは、監視カメラが実際の犯罪行為を捉えたとしても、その画像から抽出した行動と犯罪行為サンプルデータとを比較した場合の外れ度合いが大きくなり、検知漏れが発生しやすい。 On the other hand, criminal acts such as vandalism do not occur frequently, so the number of surveillance video samples obtained is only a small amount. In addition, behavioral patterns related to criminal acts are complex and varied, with individual differences. For this reason, in a surveillance system that detects behavior similar to the defined abnormal behavior pattern as abnormal behavior, even if the surveillance camera captures the actual criminal behavior, the behavior extracted from the image and criminal behavior sample data are used. The degree of detachment when compared is increased, and detection omission is likely to occur.
なお、監視員の映像監視を支援するシステムにおいては、日常行動を異常行動として誤検知する場合が稀にあったとしても、異常行動を漏れなく検知することが望まれる。 It should be noted that in a system that supports the video surveillance of a monitor, it is desirable to detect abnormal behavior without omission even if there is a rare case where daily behavior is erroneously detected as abnormal behavior.
本発明は、上記の問題を解決しようとするものであり、発生する場所・時間・動作による不審（異常）行動の定義が困難な広域エリアにおいて、多様で複雑な行動パターンの監視対象においても不審行動の検知漏れを防止することのできる不審行動検知方法および不審行動検知装置を提供することを目的としている。 The present invention is intended to solve the above-mentioned problems, and is suspicious even in a wide area where it is difficult to define suspicious (abnormal) behavior depending on the place, time, and action that occurs, even in the monitoring targets of various complex behavior patterns. It is an object of the present invention to provide a suspicious behavior detection method and a suspicious behavior detection device that can prevent omission of behavior detection.
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。 The gist of the present invention for achieving the object lies in the inventions of the following items.
［１］処理部が、カメラから入力される画像内の人物を追尾し、前記追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かの第１判定と、前記人物の行動が不審な特異行動か否かの第２判定とを行い、前記第１判定と前記第２判定の判定結果に基づいて前記人物の不審行動を検知する不審行動検知方法であって、
追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを、日常行動を行う複数人分についてデータベースに登録すると共に、特異行動を行う人物の特徴量時系列データより発見される知識ベース推論関数を推論関数記憶部に登録しておき、
前記カメラから入力される画像内の人物の追尾において、該人物の特徴量時系列データを収集し、
前記第１判定を、判定対象の人物に関する特徴量時系列データと、前記データベースに登録されている以前に追尾された日常行動を行う複数人分の特徴量時系列データとに基づく統計的手法によって行い、
前記第２判定を、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に登録されている知識ベース推論関数を適用して行う
ことを特徴とする不審行動検知方法。
[1] A processing unit tracks a person in an image input from a camera, first determination as to whether or not the action of the tracked person is an extraordinary action deviating from a daily action pattern, A suspicious behavior detection method that performs a second determination as to whether or not the behavior is a suspicious unique behavior, and detects the suspicious behavior of the person based on the determination results of the first determination and the second determination ,
Register feature time series data, which is time series of feature data indicating the feature information of the person being tracked, in the database for multiple people performing daily actions, and at the time of feature quantities of persons performing specific actions Register the knowledge-based reasoning function found from the series data in the reasoning function storage unit,
In the tracking of a person in an image input from the camera, the feature amount time series data of the person is collected,
The first determination is performed by a statistical method based on feature amount time-series data relating to a determination target person and feature amount time-series data for a plurality of persons who perform daily activities that have been tracked before registered in the database. Done
The suspicious behavior detection method , wherein the second determination is performed by applying a knowledge-based inference function registered in the inference function storage unit to feature amount time-series data relating to a determination target person .
上記［１］および後述する［５］の発明では、追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かの第１判定と、人物の行動が不審な特異行動か否かの第２判定の双方の判定結果に基づいて人物の不審行動を検知するので、一方の判定のみで不審行動を検知する場合に比べて、信頼性の高い検知が可能になる。 In the invention of [1] above and [5] described later, the first determination as to whether or not the behavior of the tracked person is an extraordinary action deviating from the daily action pattern, and whether or not the action of the person is a suspicious unique action Since the suspicious behavior of the person is detected based on both determination results of the second determination, detection with higher reliability is possible compared to the case where the suspicious behavior is detected only by one determination.
また、日常行動については多数の特徴量時系列データを収集できるので、第１判定では、これらに基づく統計的手法によって、非日常行動か否かの判定を行う。一方、犯罪行為などの異常行動はサンプルされる特徴量時系列データの数が少ないので、第２判定では、その少ない特徴量時系列データから導出される知識ベース推論関数を適用して、特異行動か否かを判定する。 In addition, since many feature amount time-series data can be collected for daily behavior, in the first determination, it is determined whether or not the behavior is extraordinary by a statistical method based on them. On the other hand, since abnormal behavior such as criminal acts has a small number of feature time series data sampled, in the second determination, a knowledge-based reasoning function derived from the small feature amount time series data is applied to perform unique behavior. It is determined whether or not.
［２］判定対象の人物に対する前記第１判定の判定結果が非日常行動であること、もしくは、前記人物に対する前記第２判定の判定結果が特異行動であることの少なくとも一方が真であれば、前記人物について不審行動の検知ありと判定すると共に、前記第１判定の判定結果が日常行動である場合にのみ、前記第２判定を行う
ことを特徴とする［１］に記載の不審行動検知方法。
[ 2 ] If at least one of the determination result of the first determination for the person to be determined is an extraordinary action or the determination result of the second determination for the person is a specific action is true, The suspicious behavior detection method according to [1] , wherein the suspicious behavior is detected for the person and the second determination is performed only when the determination result of the first determination is a daily behavior. .
上記［２］および後述する［６］の発明では、非日常行動もしくは特異行動と判定した場合はその人物について不審行動の検知ありとするので、不審行動の検知漏れを低減することができる。
［３］前記第１判定の判定結果が非日常行動でありかつ前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
前記第１判定の判定結果が非日常行動で前記第２判定の判定結果が不審な特異行動でない場合、および、前記第１判定の判定結果が日常行動で前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
ことを特徴とする［１］に記載の不審行動検知方法。
［４］［１］乃至［３］いずれか１項に記載の不審行動検知方法において、カメラから入力される画像内の人物の追尾を、処理対象の画像内のオブジェクトを検出して追尾する以下のオブジェクト追尾方法によって行なう、
前記処理対象の画像内のオブジェクトを検出するステップと、
新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、
探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、
探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、
追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、
前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、
各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、
を繰り返し行い
前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。
In the invention of [ 2 ] and [ 6 ] to be described later, since it is determined that the person has suspicious behavior when it is determined to be an extraordinary behavior or a peculiar behavior, the detection failure of the suspicious behavior can be reduced.
[3] When the determination result of the first determination is an unusual action and the determination result of the second determination is a suspicious specific action, the suspicious level is set to the first level,
When the determination result of the first determination is unusual behavior and the determination result of the second determination is not suspicious unique behavior, and when the determination result of the first determination is everyday behavior and the determination result of the second determination is suspicious In the case of unusual behavior, the suspicious level is set to a second level lower than the first level.
[1] The suspicious behavior detection method according to [1].
[4] In the suspicious behavior detection method according to any one of [1] to [3], tracking of a person in an image input from a camera is performed by detecting an object in the processing target image. The object tracking method of
Detecting an object in the image to be processed;
When a new tracking target object is detected, a plurality of search blocks having a predetermined size for the tracking target are generated in the area of the object, and each search block has a feature of the object in the search block existing area. Storing information in association with each other;
For each search block, the object and the object to be tracked by the search block based on the comparison between the feature information of the object existing in the search block existence area and the feature information stored in association with the search block Calculating the fitness with
A determination is made as to whether or not an object existing in the search block existence area is a tracking target object of the search block based on the fitness of the search block, and if the determination result is true, the search block Determining a tracking target object as a tracking success object;
For each tracking success object, probabilistically replacing a search block with a low fitness with a search block with a high fitness between a plurality of search blocks targeting the object,
Updating the feature information stored in association with the search block for the search block whose tracking target is the tracking target;
Moving each search block based on a combined motion of the object to be tracked in the search block and a random motion;
Repeat
The process of probabilistically replacing a search block having a low fitness with a search block with a high fitness between a plurality of search blocks of the same object as the tracking target is the sum of the fitness of all search blocks having the object as a tracking target. A roulette is generated with the ratio of the fitness of each search block to the appearance probability of the search block, a random number lottery based on the roulette is performed for each search block whose tracking target is the object, and the search block is selected by the lottery This is done by replacing the search block corresponding to the result.
［５］カメラから入力される画像内の人物を追尾する追尾部と、
前記追尾部で追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かを判定する第１判定部と、
前記人物の行動が不審な特異行動か否かを判定する第２判定部と、
前記第１判定部と前記第２判定部の判定結果に基づいて前記人物の不審行動を検知する不審判定部と、
追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データが日常行動を行う複数人分について登録されたデータベースと、
特異行動を行う人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データより発見される知識ベース推論関数が登録された推論関数記憶部と、
を有し、
前記追尾部は、追尾対象の人物について、その人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを収集し、
前記第１判定部は、判定対象の人物に関する特徴量時系列データと前記データベースに登録されている特徴量時系列データとに基づく統計的手法によって、前記人物の行動が非日常行動であるか否かを判定し、
前記第２判定部は、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に記憶されている知識ベース推論関数を適用して、前記人物の行動が不審な特異行動か否かを判定する
ことを特徴とする不審行動検知装置。
[5] A tracking unit that tracks a person in an image input from the camera;
A first determination unit that determines whether the behavior of the person tracked by the tracking unit is an extraordinary behavior deviating from the daily behavior pattern;
A second determination unit that determines whether the action of the person is a suspicious unique action;
A suspicious determination unit that detects the suspicious behavior of the person based on the determination results of the first determination unit and the second determination unit;
A database in which feature amount time series data obtained by chronologically storing feature amount data indicating the feature information of the person being tracked is registered for a plurality of people who perform daily actions,
A reasoning function storage unit in which a knowledge-based reasoning function found from feature amount time-series data in which feature amount data indicating the feature information of a person performing a specific action is time-sequentially registered;
Have
The tracking unit collects feature amount time-series data of time-series feature amount data indicating the feature information of the person for the tracking target person,
The first determination unit determines whether or not the action of the person is an extraordinary action by a statistical method based on the feature amount time-series data related to the determination target person and the feature amount time-series data registered in the database. Determine whether
The second determination unit applies the knowledge-based inference function stored in the inference function storage unit to the feature amount time-series data related to the determination target person to determine whether or not the person's action is a suspicious unique action A suspicious behavior detecting device characterized by determining
［６］前記不審判定部は、判定対象の人物に対する前記第１判定部の判定結果が非日常行動であること、もしくは、前記人物に対する前記第２判定部の判定結果が特異行動であることの少なくとも一方が真であれば、前記人物について不審行動の検知ありと判定すると共に、前記第１判定部の判定結果が日常行動である場合にのみ、前記第２判定部で判定を行う
ことを特徴とする［５］に記載の不審行動検知装置。
［７］前記不審判定部は、
前記第１判定部の判定結果が非日常行動でありかつ前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
前記第１判定部の判定結果が非日常行動で前記第２判定部の判定結果が不審な特異行動でない場合、および、前記第１判定部の判定結果が日常行動で前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
ことを特徴とする［５］または［６］に記載の不審行動検知装置。
［８］［５］乃至［７］のいずれか１項に記載の不審行動検知装置において、前記追尾部は、人物の追尾を、処理対象の画像内のオブジェクトを検出して追尾する以下のオブジェクト追尾方法によって行なう、
前記処理対象の画像内のオブジェクトを検出するステップと、
新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、
探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、
探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、
追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、
前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、
各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、
を繰り返し行い
前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。
[6] The suspicious determination unit may determine that the determination result of the first determination unit with respect to the determination target person is an extraordinary action, or that the determination result of the second determination unit with respect to the person is a specific action. If at least one is true, the person is determined to have detected suspicious behavior, and the determination by the second determination unit is performed only when the determination result of the first determination unit is a daily action. The suspicious behavior detection device according to [5].
[7] The suspicious determination unit
If the determination result of the first determination unit is an unusual behavior and the determination result of the second determination unit is a suspicious unique behavior, the suspicious level is the first level,
When the determination result of the first determination unit is an unusual action and the determination result of the second determination part is not a suspicious unique action, and the determination result of the first determination part is an everyday action and the determination of the second determination part When the result is a suspicious unique action, the suspicious level is set to a second level lower than the first level. The suspicious behavior detecting device according to [5] or [6].
[8] In the suspicious behavior detection apparatus according to any one of [5] to [7], the tracking unit detects the object in the image to be processed and tracks the following object: By tracking method,
Detecting an object in the image to be processed;
When a new tracking target object is detected, a plurality of search blocks having a predetermined size for the tracking target are generated in the area of the object, and each search block has a feature of the object in the search block existing area. Storing information in association with each other;
For each search block, the object and the object to be tracked by the search block based on the comparison between the feature information of the object existing in the search block existence area and the feature information stored in association with the search block Calculating the fitness with
A determination is made as to whether or not an object existing in the search block existence area is a tracking target object of the search block based on the fitness of the search block, and if the determination result is true, the search block Determining a tracking target object as a tracking success object;
For each tracking success object, probabilistically replacing a search block with a low fitness with a search block with a high fitness between a plurality of search blocks targeting the object,
Updating the feature information stored in association with the search block for the search block whose tracking target is the tracking target;
Moving each search block based on a combined motion of the object to be tracked in the search block and a random motion;
The process of probabilistically replacing a search block having a low fitness with a search block with a high fitness between the search blocks having the same object as the tracking target is the adaptation of all search blocks that have the object as the tracking target. Generating a roulette having the search block appearance probability as a ratio of the fitness of each search block to the sum of degrees, and performing random number lottery based on the roulette for each search block whose tracking target is the object; Is replaced with a search block corresponding to the outcome of the lottery result.
本発明に係る不審行動検知方法、不審行動検知装置によれば、発生する場所・時間・動作による不審（異常）行動の定義が困難な広域エリアにおいて多様で複雑な行動パターンの監視対象においても、不審行動の検知漏れを防止することができる。 According to the suspicious behavior detection method and the suspicious behavior detection device according to the present invention, even in the monitoring target of various complex behavior patterns in a wide area where it is difficult to define the suspicious (abnormal) behavior due to the location, time, and action that occurs, It is possible to prevent omission of detection of suspicious behavior.
以下、図面に基づき本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態に係る不審行動検知装置１０の概略構成を示している。本実施の形態の不審行動検知装置１０は、複数の物体や人物が存在する広いエリア内で行動する不審人物を検知する監視カメラシステムである。本実施の形態では、広い駐車場内で不審人物の監視を行う監視カメラシステムを例に説明する。すなわち、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合にその行動を解析して不審行動か否かを判定し、不審行動を検知した場合は監視員に対して注意喚起する等の機能を果たす。カメラは広い範囲を撮影しており、その撮影領域内を通過する人の「見え方」は様々に変化し得る。 FIG. 1 shows a schematic configuration of a suspicious behavior detection apparatus 10 according to an embodiment of the present invention. The suspicious behavior detection apparatus 10 of the present embodiment is a surveillance camera system that detects a suspicious person who acts in a wide area where a plurality of objects and persons exist. In this embodiment, a surveillance camera system that monitors a suspicious person in a large parking lot will be described as an example. That is, if the moving object detected from within the camera image is a person or a vehicle, if it is determined that it is a person, the behavior is analyzed to determine whether it is a suspicious action, and when a suspicious action is detected Performs functions such as alerting observers. The camera captures a wide range, and the “view” of a person passing through the imaging area can change variously.
不審行動検知装置１０は、監視対象エリアを撮影して画像を取り込むためのカメラ部１１と、カメラ部１１によって取り込まれた画像を解析して物体を検出し、その物体の追尾・探索および物体の種類の判別、人の行動解析などの処理を行う処理部１２と、処理部１２の処理結果を出力する出力部１４と、当該不審行動検知装置１０に対する各種の設定や動作に関する指示の入力を受ける入力部１３と、物体の種類の判別や人の行動を解析する際の参照データが蓄積されたデータベース部１５とを備えて構成される。カメラ部１１、出力部１４、入力部１３、データベース部１５はそれぞれ処理部１２に接続されている。以後、画像データにおいて認識された物体はオブジェクトと呼ぶ。 The suspicious behavior detection apparatus 10 detects a target object by analyzing the image captured by the camera unit 11 and capturing the image by capturing the monitoring target area, tracking the object, and searching for the object. The processing unit 12 that performs processing such as type discrimination and human behavior analysis, the output unit 14 that outputs the processing result of the processing unit 12, and inputs of various settings and instructions regarding the suspicious behavior detection device 10 are received. The input unit 13 is configured to include a database unit 15 in which reference data for discriminating object types and analyzing human behavior is stored. The camera unit 11, the output unit 14, the input unit 13, and the database unit 15 are each connected to the processing unit 12. Hereinafter, an object recognized in the image data is referred to as an object.
カメラ部１１は動画を撮影する。カメラ部１１は、フレーム毎の画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで動画を撮影する機能を果たす。処理部１２は、ＣＰＵ（Central Processing Unit）と、このＣＰＵが実行するプログラムやデータが記憶されたＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）などを主要部として構成される。 The camera unit 11 captures a moving image. The camera unit 11 functions to capture a moving image by capturing several tens of frames of images per frame (a still image for one screen) per second. The processing unit 12 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) in which programs and data executed by the CPU are stored, a RAM (Random Access Memory), and the like as main parts.
処理部１２は、カメラ部１１から入力される画像内のオブジェクトを追尾・探索する追尾部２１と、記憶部２２と、追尾部２１によるオブジェクトの追尾中に、そのオブジェクトの特徴を抽出し、該特徴を示す特徴量データを記憶部２２に記憶することを繰り返し行う蓄積制御部２３と、記憶部２２に記憶されている所定時間長以上分のオブジェクトの特徴量データに基づいてオブジェクトの種類を判別する人・車両判別部２４と、人と判別されたオブジェクトの特徴量データに基づいてその人の行動を解析する行動解析部２５の機能を備えている。 The processing unit 12 extracts a feature of the object during tracking of the object by the tracking unit 21, the storage unit 22, and the tracking unit 21 that tracks and searches for an object in the image input from the camera unit 11, The accumulation control unit 23 that repeatedly stores the feature amount data indicating the feature in the storage unit 22, and the type of the object is determined based on the feature amount data of the object for a predetermined time length or longer stored in the storage unit 22 And a behavior analysis unit 25 that analyzes the behavior of the person based on the feature amount data of the object that has been identified as a person.
特徴量データは、たとえば、オブジェクトの形状、大きさ、動き、縦横比等である。特徴量データは時系列に記憶部２２に記憶される。蓄積制御部２３は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶部２２に記憶させる。ここでは、フレーム毎に行う。なお、時系列にされた特徴量データを特徴量時系列データとする。 The feature amount data is, for example, the shape, size, movement, aspect ratio, etc. of the object. The feature amount data is stored in the storage unit 22 in time series. The accumulation control unit 23 stores the feature data in the storage unit 22 at predetermined time intervals during tracking of the object. Here, it is performed for each frame. Note that the time-series feature amount data is referred to as feature amount time-series data.
追尾部２１は、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾する機能を備えている。 The tracking unit 21 has a function of tracking the same object as the same object before and after the occurrence of a phenomenon such as the intersection of the tracking target objects or the temporary hiding of the tracking target object behind the obstacle. I have.
人・車両判別部２４は、追尾対象のオブジェクトが人か車両かを判別する機能を果たす。人・車両の判別は公知の任意の手法により行えばよい。 The person / vehicle discrimination unit 24 has a function of discriminating whether the tracking target object is a person or a vehicle. What is necessary is just to perform discrimination | determination of a person and a vehicle by well-known arbitrary methods.
行動解析部２５は、人の行動が非日常行動である度合い（非日常度）を導出する非日常度導出部２５ａ（第１判定部）と、人の行動が特異行動（異常行動）である度合い（特異度）を導出する特異度導出部２５ｂ（第２判定部）と、非日常度および特異度に基づいてその人の行動が不審行動か否かを判定する不審判定部２５ｃとしての機能を果たす。 The behavior analysis unit 25 includes an extraordinary degree deriving unit 25a (first determination unit) for deriving a degree (unusual degree) that a human action is an extraordinary action, and the human action is a specific action (abnormal behavior). Specificity deriving unit 25b (second determination unit) for deriving the degree (specificity), and function as suspicious determination unit 25c for determining whether or not the person's behavior is suspicious behavior based on the extraordinary degree and specificity Fulfill.
データベース部１５は、人に関する形状等の特徴データが蓄積された人特徴ＤＢ部１５ａと、車両に関する形状等の特徴データが蓄積された車両特徴ＤＢ部１５ｂと、人の日常行動に関する特徴量時系列データ等が蓄積された日常行動特徴量時系列ＤＢ部１５ｃと、人の特異行動に関する特徴量時系列データ等が蓄積された特異行動特徴量時系列ＤＢ部１５ｄとを備えて構成される。たとえば、車上荒らしや車両盗難などの犯罪行為が検知対象の特異行動(不審行動)とされる。 The database unit 15 includes a human feature DB unit 15a in which feature data such as a shape related to a person is stored, a vehicle feature DB unit 15b in which feature data such as a shape related to a vehicle is stored, and a feature amount time series related to daily activities of a person. The daily behavior feature amount time series DB unit 15c in which data and the like are accumulated, and the unique behavior feature amount time series DB unit 15d in which feature amount time series data and the like relating to human specific behavior are accumulated are configured. For example, criminal acts such as vandalism and vehicle theft are regarded as specific actions (suspicious actions) to be detected.
人・車両判別部２４は、人特徴ＤＢ部１５ａに蓄積されているデータを参照比較してオブジェクトが人か否かの判別を行い、車両特徴ＤＢ部１５ｂに蓄積されているデータを参照比較してオブジェクトが車両か否かの判別を行う。非日常度導出部２５ａは、人と判別されたオブジェクトの動き等と日常行動特徴量時系列ＤＢ部１５ｃに蓄積されているデータとから統計的手法により、その人の行動の非日常度を導出する。特異度導出部２５ｂは、人と判別されたオブジェクトの動き等に対して、特異行動特徴量時系列ＤＢ部１５ｄに蓄積されているデータより発見される知識ベース推論関数を適用して、その人の行動の特異度を導出する。 The person / vehicle discriminating unit 24 compares the data stored in the human feature DB unit 15a with reference to determine whether the object is a person, and compares the data stored in the vehicle feature DB unit 15b with reference comparison. To determine whether the object is a vehicle. The extraordinary degree deriving unit 25a derives the extraordinary degree of the behavior of the person using a statistical method from the movement of the object determined to be a person and the data accumulated in the daily behavior feature time series DB unit 15c. To do. The specificity deriving unit 25b applies the knowledge-based reasoning function found from the data accumulated in the unique action feature time series DB unit 15d to the movement of the object determined to be a person, and the person Deriving the specificity of behavior.
出力部１４は、処理結果のデータ信号を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部１３は、各種の設定や動作に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。 The output unit 14 includes an interface circuit for outputting a processing result data signal to the outside, various setting screens and operation screens, a display device for visually displaying processing results, and the like. The input unit 13 includes various operation switches in addition to an interface circuit for inputting signals relating to various settings and instructions regarding operations.
次に、不審行動検知装置１０の動作を説明する。 Next, the operation of the suspicious behavior detection device 10 will be described.
図２は、不審行動検知装置１０が行う動作の流れを示している。なお、追尾部２１、記憶部２２、蓄積制御部２３、人・車両判別部２４に関する動作の詳細例は後述する。ここでは、カメラ部１１から入力された画像を解析してオブジェクトの追尾が行われ、それら各オブジェクトが人であるか車両であるかが判別されているものとし、行動解析部２５の動作を主として説明する。 FIG. 2 shows a flow of operations performed by the suspicious behavior detection apparatus 10. Detailed examples of operations related to the tracking unit 21, the storage unit 22, the accumulation control unit 23, and the person / vehicle determination unit 24 will be described later. Here, it is assumed that the object tracking is performed by analyzing the image input from the camera unit 11 and it is determined whether each object is a person or a vehicle, and the operation of the behavior analysis unit 25 is mainly performed. explain.
なお、追尾中の各オブジェクトについて、図３に示すオブジェクトデータテーブル３０が作成される。オブジェクトデータテーブル３０は、新たなオブジェクトが検出される毎に作成され、そのオブジェクトが消滅するまで１フレームの画像を処理する毎に更新される。 An object data table 30 shown in FIG. 3 is created for each object being tracked. The object data table 30 is created every time a new object is detected, and is updated every time one frame of image is processed until the object disappears.
オブジェクトデータテーブル３０には、オブジェクトＩＤ（obj_id）と、オブジェクト種類（obj_typeobj_id）と、オブジェクト状態（obj_stateobj_id）と、オブジェクト不審判定フラグ（suspicious_flagobj_id）と、オブジェクト存在継続時間（obj_timeobj_id）と、オブジェクト領域左端位置（obj_lxobj_id）と、オブジェクト領域右端位置（obj_rxobj_id）と、オブジェクト領域上端位置（obj_tyobj_id）と、オブジェクト領域下端位置（obj_bｙobj_id）と、オブジェクト領域重心位置（水平方向）（obj_gxobj_id）と、オブジェクト領域重心位置（垂直方向）（obj_gyobj_id）と、オブジェクトの大きさ（obj_sizeobj_id）と、オブジェクトの縦横比（obj_aspectobj_id）と、オブジェクトの動きベクトル（水平方向）（obj_dxobj_id）と、オブジェクトの動きベクトル（垂直方向）（obj_dyobj_id）と、オブジェクト-最近傍車両間距離（obj_car_distobj_id）とが登録される。 The object data table 30 includes an object ID (obj_id), an object type (obj_type obj_id ), an object state (obj_state obj_id ), an object suspicious determination flag (suspicious_flag obj_id ), an object existence duration (obj_time obj_id ), Object area left edge position (obj_lx obj_id ), object area right edge position (obj_rx obj_id ), object area top edge position (obj_ty obj_id ), object area bottom edge position (obj_by obj_id ), object area gravity center position (horizontal direction) (obj_gx obj_id ), object area centroid position (vertical direction) (obj_gy obj_id ), object size (obj_size obj_id ), object aspect ratio (obj_aspect obj_id ), and object motion vector (horizontal direction) (obj_dx obj_id ) And the motion vector of the object (vertical And direction) (obj_dy obj_id), Object - nearest vehicle distance and (obj_car_dist obj_id) is registered.
オブジェクトＩＤ（obj_id）は、当該オブジェクトに固有に割り当てられた識別子である。オブジェクト種類（obj_typeobj_id）は、当該オブジェクトが人と判別済みのオブジェクト（以下、人オブジェクトとも呼ぶ。）であるか車両と判別済みのオブジェクト（以下、車両オブジェクトとも呼ぶ。）であるか未判別のオブジェクトであるかを示す。オブジェクト状態（obj_stateobj_id）は、当該オブジェクトの状態が、追尾中（ACTIVE）か一時的な消失中（LOST）かなどを示す。オブジェクト不審判定フラグ（suspicious_flagobj_id）は、当該オブジェクトが人の場合にセットされ、不審者（不審行動を行った人）と判定された人オブジェクトか否かを示す。オブジェクト-最近傍車両間距離（obj_car_distobj_id）は、当該オブジェクトが人の場合にセットされ、最も近い車両までの距離を示す。 The object ID (obj_id) is an identifier uniquely assigned to the object. Whether the object type (obj_type obj_id ) is an object that has been determined to be a person (hereinafter also referred to as a human object) or an object that has been determined to be a vehicle (hereinafter also referred to as a vehicle object) is not determined. Indicates whether it is an object. The object state (obj_state obj_id ) indicates whether the state of the object is being tracked (ACTIVE) or temporarily lost (LOST). The object suspicious determination flag (suspicious_flag obj_id ) is set when the object is a person, and indicates whether the object is a human object determined as a suspicious person (person who has performed suspicious behavior). The distance between the object and the nearest vehicle (obj_car_dist obj_id ) is set when the object is a person, and indicates a distance to the nearest vehicle.
図２に戻って説明を続ける。処理部１２は、フレーム時刻ｔを０に初期化した（ステップＳ１）後、追尾中のオブジェクトの中に人と判別されたオブジェクト（人オブジェクト）が存在するか否かを確認する（ステップＳ２）。追尾中の人オブジェクト（追尾人物）が存在しなければ（ステップＳ３；Ｎｏ）、フレーム時刻ｔを＋１して（ステップＳ２２）、ステップＳ２に移行して処理を継続する。なお、処理部１２は、ステップＳ２〜Ｓ２２の処理を、カメラ部１１から１フレームの画像（もしくは所定の複数フレーム）を取り込む毎に実行する。 Returning to FIG. 2, the description will be continued. After initializing the frame time t to 0 (step S1), the processing unit 12 checks whether or not an object (person object) that is determined to be a person exists in the tracked object (step S2). . If there is no tracking person object (tracking person) (step S3; No), the frame time t is incremented by 1 (step S22), the process proceeds to step S2, and the process is continued. Note that the processing unit 12 executes the processes in steps S2 to S22 every time one frame image (or a predetermined plurality of frames) is captured from the camera unit 11.
追尾中の人オブジェクト（追尾人物）が存在すれば（ステップＳ３；Ｙｅｓ）、消滅した人オブジェクト（消滅人物）が存在するか否かを確認する（ステップＳ４）。消滅した人オブジェクトが存在しない場合は（ステップＳ４；Ｎｏ）、ステップＳ９へ移行する。消滅した人オブジェクトが存在する場合は（ステップＳ４；Ｙｅｓ）、消滅したすべての人オブジェクトのオブジェクトデータテーブル３０をクリアして（ステップＳ５〜Ｓ８）、ステップＳ９へ移行する。 If there is a tracking human object (tracking person) (step S3; Yes), it is checked whether there is a disappearing human object (disappearing person) (step S4). If there is no disappeared person object (step S4; No), the process proceeds to step S9. If there is a disappeared person object (step S4; Yes), the object data table 30 of all the disappeared person objects is cleared (steps S5 to S8), and the process proceeds to step S9.
ステップＳ９では、処理対象の人オブジェクトの番号を示す変数ｉを０にクリアし、追尾している人オブジェクトのそれぞれについてステップＳ１０〜Ｓ２１の処理を行う。すなわち、オブジェクト不審判定フラグ（suspicious_flagobj_id(i)）がＯＮ状態（ＯＮは不審者を示す）か否かを調べ（ステップＳ１０）、ＯＮでなければ(ステップＳ１０；Ｎｏ)、当該人オブジェクトに関する特徴量時系列データを更新する（ステップＳ１１）。ここでは、フレーム毎のオブジェクトデータテーブル３０の内容（全部もしくは一部（上下左右の端位置、重心位置、動きベクトル、大きさ、縦横比、オブジェクト-最近傍車両間距離など））が、その人オブジェクトの特徴量データとされ、時系列にして（特徴量時系列データとして）記憶部２２に保存される。 In step S9, the variable i indicating the number of the human object to be processed is cleared to 0, and the processes of steps S10 to S21 are performed for each of the tracking human objects. That is, it is checked whether or not the object suspicious determination flag (suspicious_flag obj_id (i) ) is in an ON state (ON indicates a suspicious person) (step S10). The quantity time-series data is updated (step S11). Here, the contents of the object data table 30 for each frame (all or a part (top / bottom / left / right end position, center of gravity position, motion vector, size, aspect ratio, object-nearest vehicle distance, etc.)) The feature amount data of the object is stored in the storage unit 22 in time series (as feature amount time series data).
次に、特徴量時系列データがＴ１時間分以上蓄積されているか否かを調べ（ステップＳ１２）、蓄積量がＴ１時間分に満たない場合は（ステップＳ１２；Ｎｏ）、ステップＳ１５へ移行する。Ｔ１時間分以上蓄積されている場合は（ステップＳ１２；Ｙｅｓ）、Ｔ１時間分以上蓄積された特徴量時系列データに基づいて、当該人オブジェクトの行動に関する非日常度を導出する行動非日常度導出処理を行う（ステップＳ１３）。 Next, it is checked whether or not the feature amount time-series data is accumulated for T 1 hour or more (step S12). If the accumulated amount is less than T 1 hour (step S12; No), the process proceeds to step S15. To do. When accumulated for T 1 hour or longer (step S12; Yes), based on the feature amount time-series data accumulated for T 1 hour or longer, behavioral extraordinary for deriving the extraordinary degree related to the behavior of the human object Degree derivation processing is performed (step S13).
求めた非日常度が予め定めた閾値Ｔｈ１以上の場合は（ステップＳ１４；Ｙｅｓ）、この人オブジェクトは不審行動を行っていると判断し、オブジェクト不審判定フラグ（suspicious_flagobj_id(i)）をＯＮにし(ステップＳ１８)、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。なお、非日常度に基づく判定を第１判定とする。求めた非日常度が予め定めた閾値Ｔｈ１未満の場合は（ステップＳ１４；Ｎｏ）ステップＳ１５へ移行する。 If the calculated extraordinary degree is equal to or greater than a predetermined threshold Th 1 (step S14; Yes), it is determined that the human object is performing suspicious behavior, and the object suspicious determination flag (suspicious_flag obj_id (i) ) is turned on. (Step S18), an alarm is displayed (step S19), and the process proceeds to step S20. Note that the determination based on the extraordinary degree is the first determination. If the calculated extraordinary degree is less than the predetermined threshold Th 1 (step S14; No), the process proceeds to step S15.
ステップＳ１５では、特徴量時系列データがＴ２時間分以上蓄積されているか否かを調べ、蓄積量がＴ２時間分に満たない場合は（ステップＳ１５；Ｎｏ）、ステップＳ２０へ移行する。Ｔ２時間分以上蓄積されている場合は（ステップＳ１５；Ｙｅｓ）、Ｔ２時間分以上蓄積された特徴量時系列データに基づいて、当該人オブジェクトの行動に関する特異度を導出する行動特異度導出処理を行う（ステップＳ１６）。 In step S15, the feature amount time series data is checked whether it is accumulated over two hours T, if the accumulation amount is less than 2 hours T (step S15; No), the process proceeds to step S20. When accumulated for T 2 hours or more (step S15; Yes), behavior specificity derivation for deriving specificity regarding the behavior of the human object based on the feature time series data accumulated for T 2 hours or more. Processing is performed (step S16).
求めた特異度が予め定めた閾値Ｔｈ２以上の場合は（ステップＳ１７；Ｙｅｓ）、この人オブジェクトは不審行動を行っていると判断し、オブジェクト不審判定フラグ（suspicious_flagobj_id(i)）をＯＮにし(ステップＳ１８)、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。なお、特異度に基づく判定を第２判定とする。 If the determined specificity is equal to or greater than a predetermined threshold Th 2 (step S17; Yes), it is determined that this person object is performing suspicious behavior, and the object suspicious determination flag (suspicious_flag obj_id (i) ) is turned ON. (Step S18), an alarm is displayed (Step S19), and the process proceeds to Step S20. The determination based on the specificity is the second determination.
オブジェクト不審判定フラグ（suspicious_flagobj_id(i)）が既にＯＮになっている場合は（ステップＳ１０；Ｙｅｓ）、アラーム表示を行って(ステップＳ１９)、ステップＳ２０へ移行する。 When the object suspicious determination flag (suspicious_flag obj_id (i) ) is already ON (step S10; Yes), an alarm is displayed (step S19), and the process proceeds to step S20.
ステップＳ２０では、変数ｉを＋１し、加算後の変数ｉが追尾中の全人オブジェクトの数に等しいか否かを調べ（ステップＳ２１）、等しくない場合は（ステップＳ２１；Ｎｏ）、ステップＳ１０に戻り、次の人オブジェクトについての処理を行う。等しい場合は（ステップＳ２１；Ｙｅｓ）、フレーム時刻ｔを＋１し（ステップＳ２２）、ステップＳ２に戻って次フレーム画像に対する処理を行う。 In step S20, the variable i is incremented by 1 and it is checked whether or not the variable i after addition is equal to the number of all-person objects being tracked (step S21). If they are not equal (step S21; No), the process proceeds to step S10. Return and process the next person object. If equal (step S21; Yes), the frame time t is incremented by 1 (step S22), and the process returns to step S2 to process the next frame image.
図４は、行動非日常度導出処理（図２のステップＳ１３）の概要を、図５は、行動非日常度導出処理の概念の一例を示している。図４では、非日常度導出部２５ａは、日常行動特徴量時系列ＤＢ部１５ｃに保存されている多数の日常行動に関する特徴量時系列データについて所定の統計処理を行って代表となる日常行動パターンを導出し、これとＴ１時間分以上の時系列区間ｊにおける特徴量時系列データが示す行動パターンとを比較し、代表となる日常行動パターン（ベクトル（行列））からの外れ度合いを、非日常度として導出する、といった処理を行う。 FIG. 4 shows an outline of the behavior unusual degree derivation process (step S13 in FIG. 2), and FIG. 5 shows an example of the concept of the behavior unusual degree derivation process. In FIG. 4, the extraordinary degree deriving unit 25a performs a predetermined statistical process on feature amount time-series data relating to a large number of daily behaviors stored in the daily behavior feature amount time-series DB unit 15c, and represents a typical daily behavior pattern. Is compared with the action pattern indicated by the feature time series data in the time series section j for T 1 hour or more, and the degree of deviation from the representative daily action pattern (vector (matrix)) is Derivation as dailyness is performed.
図５は、非日常度導出部２５ａが行う統計的手法の一例として、日常行動特徴量時系列ＤＢ部１５ｃに保存されている多数の日常行動に関する特徴量時系列データに基づいて、日常行動パターンデータ分布をクラスタ分析し、それらクラスタの中心と人オブジェクトに関する時系列区間ｊにおける特徴量時系列データが示す行動パターン（時系列区間jに関する特徴量時系列ベクトル(行列)xj）との距離を非日常度ＮＤｊとして求める例を示している。これは非日常度の導出方法の一例であり、これに限定されるものではない。 FIG. 5 shows an example of a statistical method performed by the extraordinary degree deriving unit 25a, based on feature amount time-series data relating to a large number of daily behaviors stored in the daily behavior feature amount time-series DB unit 15c. Cluster analysis of the data distribution, and the distance between the center of the cluster and the action pattern (feature time series vector (matrix) x j for time series interval j) indicated by the feature time series data in time series interval j for the human object An example of obtaining the extraordinary degree ND j is shown. This is an example of a method for deriving the extraordinary degree, and the present invention is not limited to this.
図６は、特徴量時系列データの蓄積状態を例示している。特徴量時系列データの記憶領域Ｆは、現在時刻から最大でＬmax時間前までの特徴量データを時系列に保存するようになっている。なお、Ｌmax＞Ｔ１、Ｔ２とする。記憶領域Ｆは、たとえば、記憶部２２に設けられる。同図（ａ）は、非日常度の導出に必要なＴ１時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆは詰まっておらず、空き領域がある。同図（ｂ）は、特異度の導出に必要なＴ２時間長の特徴量時系列データが蓄積された状態を示している。記憶領域Ｆはまだ詰まっておらず、空き領域がある。同図（ｃ）は、記憶領域Ｆに特徴量時系列データが詰まった状態を示している。以後は、１つずつ左へシフトされて最も古いデータが廃棄され、右端の空いた領域に最新のデータが記憶される。すなわち、ＦＩＦＯ（First in First out）形式で記憶内容の更新が行われる。この例では、Ｔ２＞Ｔ１としたが、Ｔ１＞Ｔ２でも、Ｔ１＝Ｔ２でもかまわない。Ｔ１、Ｔ２は、それぞれ着目する対象行動パターン（短時間の動作や仕草、長時間の継続動作、等）に応じて、柔軟に対応可能である。 FIG. 6 illustrates the accumulation state of feature amount time-series data. The feature amount time series data storage area F stores feature amount data up to Lmax time before the current time in time series. Note that Lmax> T 1 and T 2 . The storage area F is provided in the storage unit 22, for example. FIG (a) shows a state where the feature time-series data of the time T 1 length necessary for derivation of the extraordinary degree is accumulated. The storage area F is not clogged and has a free area. FIG (b) shows a state in which time-series data, wherein the amount of T 2 hours length necessary for derivation of specificity has been accumulated. The storage area F is not yet filled and there is a free area. FIG. 5C shows a state where the storage area F is filled with feature amount time-series data. Thereafter, the data is shifted one by one to the left, the oldest data is discarded, and the latest data is stored in a free area at the right end. That is, the stored contents are updated in a FIFO (First in First Out) format. In this example, T 2 > T 1 , but T 1 > T 2 or T 1 = T 2 may be used. T 1, T 2 is the target behavior pattern (short behavior or gestures, prolonged continuous operation, etc.) of interest, respectively in accordance with a flexibly adaptable.
図７は、非日常度導出部２５ａに入力する、時間長Ｔ１分の特徴量時系列データを、図６の記憶領域Ｆから取り出す際の、取り出し方を例示している。同図（ａ）は、時間長Ｔ１の時系列区間毎に区切って入力する場合を、同図（ｂ）は、時間長Ｔ１の時系列区間（ウィンドウ）をスライドさせて入力する場合を示している。 FIG. 7 exemplifies how to extract feature amount time-series data of time length T 1 input to the extraordinary degree deriving unit 25a from the storage area F of FIG. FIG. 4A shows a case where the time length T 1 is divided into time series sections and input, and FIG. 4B shows a case where the time length T 1 time series section (window) is slid and input. Show.
図８は、行動非日常度導出処理（図２のステップＳ１３）の流れを示している。ｊ＝０（ステップＳ４１）、非日常度の最大値ＮＤｍａｘ＝０(ステップＳ４２)にそれぞれ初期化する。続いて記憶領域Ｆから時系列区間ｊの特徴量時系列データを読み出して非日常度導出部２５ａに入力して非日常度ＮＤｊを求め（ステップＳ４３）、その非日常度ＮＤｊが非日常度の最大値ＮＤｍａｘより大きい場合は（ステップＳ４４；Ｙｅｓ）、今回求めた非日常度ＮＤｊで非日常度の最大値ＮＤｍａｘを更新する（ステップＳ４５）。ステップＳ４３からＳ４５の処理を、図７に示すように時系列区間ｊをシフトさせ(ステップＳ４６)ながら繰り返し行い（ステップＳ４７；Ｎｏ）、全特徴量時系列区間について上記処理が完了したら（ステップＳ４７；Ｙｅｓ）、非日常度の最大値ＮＤｍａｘを出力値として処理を終了する。 FIG. 8 shows the flow of behavior extraordinary degree derivation processing (step S13 in FIG. 2). j = 0 (step S41) and the maximum unusual value ND max = 0 (step S42), respectively. Subsequently, the feature amount time-series data of the time-series section j is read from the storage area F and input to the extraordinary degree derivation unit 25a to obtain the extraordinary degree ND j (step S43), and the extraordinary degree ND j is extraordinary. If it is larger than the maximum degree value ND max (step S44; Yes), the extraordinary degree maximum value ND max is updated with the extraordinary degree ND j obtained this time (step S45). The processing from step S43 to S45 is repeated while shifting the time series section j as shown in FIG. 7 (step S46) (step S47; No), and when the above processing is completed for all feature quantity time series sections (step S47). ; Yes), the maximum value ND max of the extraordinary degree is set as an output value, and the process is terminated.
図９は、行動特異度導出処理（図２のステップＳ１６）の詳細を示している。行動特異度導出処理では、特異行動特徴量時系列ＤＢ部１５ｄに保存されている、異常行動を行う人物に関する特徴量時系列データより発見される知識ベース推論関数を任意数（ここではＳ個）定義して登録しておき、これらを判定対象の人物の行動に適用して、行動の特異度（不審行動である度合い）を導出する。知識ベース推論関数は、たとえば、特異行動特徴量時系列ＤＢ部１５ｄに記憶される、もしくは他の記憶領域（たとえば、処理部１２側の記憶部２２）に記憶される。 FIG. 9 shows details of the action specificity deriving process (step S16 in FIG. 2). In the behavior specificity degree derivation process, an arbitrary number (in this case, S) of knowledge base inference functions discovered from the feature amount time series data related to the person who performs abnormal behavior stored in the unique behavior feature amount time series DB unit 15d. These are defined and registered, and these are applied to the behavior of the person to be determined to derive the specificity of the behavior (the degree of suspicious behavior). The knowledge base inference function is stored in, for example, the unique action feature amount time series DB unit 15d or stored in another storage area (for example, the storage unit 22 on the processing unit 12 side).
この例では、図１０に示すように、人物と駐車車両間距離、駐車車両周辺屈み込み、駐車車両覗き込み、駐車車両周辺における激しい動きなどを、着目する行動の指標（推論関数引数）として定めておき、それぞれの指標の値を、判定対象の人オブジェクトに関する特徴量時系列データから求める。 In this example, as shown in FIG. 10, the distance between a person and a parked vehicle, the parked vehicle periphery bending, the parked vehicle peep, the intense movement around the parked vehicle, etc. are defined as the index of action to be focused on (inference function argument). In addition, the value of each index is obtained from the feature amount time-series data regarding the human object to be determined.
そして、これらの指標の値をＳ個の知識ベース推論関数にそれぞれ代入し、知識ベース推論関数毎の特異度を求め、その中の最大値を、当該人オブジェクトの行動の特異度として導出している。 Then, the values of these indexes are substituted into S knowledge base reasoning functions, respectively, to determine the specificity for each knowledge base reasoning function, and the maximum value among them is derived as the action specificity of the human object. Yes.
詳細には、図９に示すように、時系列区間を示す変数ｊを０に初期化し（ステップＳ５１）、特異度の最大値ＡＢｍａｘを０に初期化する（ステップＳ５２）。続いて、特異度ＡＢｊを０に初期化し（ステップＳ５３）、変数ｉに１をセットする（ステップＳ５４）。そして、ｉ番目の知識ベース推論関数に関する引数(指標値)を判定対象の人オブジェクトに関する特徴量時系列データから求めて入力する（ステップＳ５５）。これらの指標値をi番目の知識ベース推論関数に代入して、i番目の知識ベース推論関数による特異度ＡＢｉ ｊを求める（ステップＳ５６）。 Specifically, as shown in FIG. 9, the variable j indicating the time series interval is initialized to 0 (step S51), and the maximum value AB max of specificity is initialized to 0 (step S52). Subsequently, the specificity AB j is initialized to 0 (step S53), and 1 is set to the variable i (step S54). Then, an argument (index value) relating to the i-th knowledge base inference function is obtained from the feature amount time series data relating to the determination target human object and input (step S55). By assigning these index values to the i-th knowledge base inference function, the specificity AB i j by the i-th knowledge base inference function is obtained (step S56).
この特異度ＡＢｉ ｊと特異度ＡＢｊとを大小比較し(ステップＳ５７)、特異度ＡＢｉ ｊ＞特異度ＡＢｊであれば（ステップＳ５７；Ｙｅｓ）、ＡＢｊを特異度ＡＢｉ ｊにより更新し（ステップＳ５８）、特異度ＡＢｉ ｊ＞特異度ＡＢｊでなければ（ステップＳ５７；Ｎｏ）特異度ＡＢｊはそのままとする。続いてｉを＋１し（ステップＳ５９）、ｉ＞Ｓでなければ（ステップＳ６０；Ｎｏ）、ステップＳ５５に戻って処理を継続する。 The specificity AB i j and the specificity AB j are compared in magnitude (step S57). If specificity AB i j > specificity AB j (step S57; Yes), AB j is determined by the specificity AB i j. Update (step S58), if specificity AB i j > specificity AB j is not satisfied (step S57; No), specificity AB j is left as it is. Subsequently, i is incremented by 1 (step S59). If i> S is not satisfied (step S60; No), the process returns to step S55 and the process is continued.
ｉ＞Ｓになれば（ステップＳ６０；Ｙｅｓ）、特異度ＡＢｊと最大特異度ＡＢｍａｘとを大小比較し(ステップＳ６１)、特異度ＡＢｊ＞特異度ＡＢｍａｘであれば（ステップＳ６１；Ｙｅｓ）、特異度ＡＢｍａｘを特異度ＡＢｊにより更新し（ステップＳ６２）、特異度ＡＢｊ＞特異度ＡＢｍａｘでなければ（ステップＳ６１；Ｎｏ）特異度ＡＢｍａｘはそのままとする。続いてｊを＋１（これは、たとえば、時系列区間を図７に示すよう１つシフトさせることに相当する）する（ステップＳ６３）。そして、全特徴量時系列区間について確認（ステップＳ５３〜Ｓ６２の処理）が完了していなければ（ステップＳ６４；Ｎｏ）、ステップＳ５３に戻って処理を継続し、完了している場合は(ステップＳ６４；Ｙｅｓ）、特異度の最大値ＡＢｍａｘを出力値として処理を終了する。 If i> S (step S60; Yes), the specificity AB j is compared with the maximum specificity AB max (step S61), and if specificity AB j > specificity AB max (step S61; Yes). ), The specificity AB max is updated with the specificity AB j (step S62). If the specificity AB j is not greater than the specificity AB max (step S61; No), the specificity AB max is left as it is. Subsequently, j is incremented by +1 (this corresponds to, for example, shifting the time series section by one as shown in FIG. 7) (step S63). If the confirmation (steps S53 to S62) for all the feature amount time series sections has not been completed (step S64; No), the process returns to step S53 to continue the processing. If the processing has been completed (step S64). Yes), the maximum value AB max of specificity is set as an output value, and the process is terminated.
図１１は、Ｓ個の知識ベース推論関数５１と、これらＳ個の各知識ベース推論関数で求めた特異度の最大値を特異度ＡＢｊとすることを示す数式５２を示している。 FIG. 11 shows S knowledge base reasoning functions 51 and a formula 52 indicating that the maximum value of the specificity obtained by each of these S knowledge base reasoning functions is the specificity AB j .
図１２は、非日常度ＮＤと特異度ＡＢとから不審行動か否かを判定する際の流れを示す二分木図５４を示している。非日常度ＮＤが閾値Ｔｈ１以上であれば特異度ＡＢに係らず不審行動であると判定し、非日常度ＮＤが閾値Ｔｈ１未満の場合は特異度ＡＢが閾値Ｔｈ２以上であれば不審行動であると判定し、非日常度ＮＤが閾値Ｔｈ１未満かつ特異度ＡＢが閾値Ｔｈ２未満の場合は正常と判定する。なお、図２に示す流れ図でもこの二分木図５４に従った処理となっている。 FIG. 12 shows a binary tree diagram 54 showing the flow when determining whether or not the behavior is suspicious from the extraordinary degree ND and the specificity AB. If the extraordinary degree ND is equal to or greater than the threshold Th 1 , it is determined that the behavior is suspicious regardless of the specificity AB, and if the unusual degree ND is less than the threshold Th 1 , the suspicious is determined if the specificity AB is equal to or greater than the threshold Th 2. It is determined to be normal, and when the extraordinary degree ND is less than the threshold Th 1 and the specificity AB is less than the threshold Th 2 , it is determined to be normal. In the flowchart shown in FIG. 2, the processing is in accordance with the binary tree diagram 54.
図２、図１２に示すように２段階で判定する方式では、「非日常度」が閾値以上であれば、「特異度」に関する処理を一切省略することができるため、全体として処理速度が向上するという利点がある。また、図２、図１２では、最初に「非日常度」に着目し、続いて「特異度」による不審行動検知処理を行うようにしているが、最初に「特異度」に着目し、続いて「非日常度」による不審行動検知処理を行うようにしてもよい。 As shown in FIG. 2 and FIG. 12, in the method of determining in two steps, if “unusuality” is equal to or greater than a threshold value, processing regarding “specificity” can be omitted at all, so that the overall processing speed is improved. There is an advantage of doing. In FIG. 2 and FIG. 12, attention is first focused on “unusuality”, and then suspicious behavior detection processing based on “specificity” is performed. Thus, the suspicious behavior detection process based on the “unusual level” may be performed.
なお、図２に代えて図１３に示す流れで処理を行ってもかまわない。図１３において図２と同一処理については同一のステップ番号を付してあり、それらの説明は省略する。図１３では、非日常度が閾値Ｔｈ１以上または特異度が閾値Ｔｈ２以上の場合は（ステップＳ１７Ｂ；Ｙｅｓ）、不審行動と判定する（ステップＳ１８）ようになっている。図１４は、図１３に対応した判定論理表５５を示している。非日常度が閾値Ｔｈ１以上と特異度が閾値Ｔｈ２以上のうちの少なくとも一方の条件が満足される場合はすべて不審行動であると判定する論理和判定となっている。 Note that the processing may be performed according to the flow shown in FIG. 13 instead of FIG. In FIG. 13, the same processes as those in FIG. 2 are denoted by the same step numbers, and description thereof is omitted. In FIG. 13, when the extraordinary degree is greater than or equal to the threshold Th 1 or the specificity is greater than or equal to the threshold Th 2 (step S17B; Yes), it is determined that the action is suspicious (step S18). FIG. 14 shows a decision logic table 55 corresponding to FIG. When at least one of the conditions of the extraordinary degree is equal to or greater than the threshold Th 1 and the specificity is equal to or greater than the threshold Th 2 is satisfied, the logical sum is determined to be suspicious behavior.
図１３、図１４に示すように論理和判定方式では、例えば、「非日常度」、「特異度」ともに閾値以上であればアラームレベル：高、どちらか一方のみが閾値であればアラームレベル：中、というようにユーザ（監視員）が所望するアラームレベル設定、およびアラームレベルに応じた注意喚起が可能となる。 As shown in FIGS. 13 and 14, in the logical sum determination method, for example, if both “unusual degree” and “specificity” are equal to or higher than the threshold value, the alarm level is high, and if only one is the threshold value, the alarm level is: Thus, alarm level setting desired by the user (monitor) and alerting according to the alarm level can be made.
このように、多数のデータ（特徴量時系列データ）を採取可能な日常行動については、日常行動特徴量時系列ＤＢ部１５ｃに蓄積された日常行動のデータに対して統計的手法を適用して代表的な日常行動パターンを導出し、この代表的な日常行動パターンからの外れ具合として非日常度を求めるので、採取された多数の日常行動データに基づく客観的な判定により、非日常度を求めることができる。 As described above, with regard to daily behavior that can collect a large amount of data (feature amount time series data), statistical methods are applied to the daily behavior data accumulated in the daily behavior feature amount time series DB unit 15c. Since a typical daily behavior pattern is derived and the extraordinary degree is obtained as a deviation from the typical daily behavior pattern, the extraordinary degree is obtained by objective judgment based on a large number of collected daily behavior data. be able to.
また、犯罪行為などの不審行動に関して採取されるデータ（特徴量時系列データ）は少ないので統計的手法では適切な判定は難しいが、採取された不審行動のデータから求めた知識ベース推論関数を使用して特異度を導出するので、不審行動に関する少ないデータからでもより高い信頼性で行動の特異度を導出することができる。 Also, since there is little data (features time-series data) collected for suspicious behavior such as criminal acts, it is difficult to make an appropriate judgment using statistical methods, but the knowledge-based reasoning function obtained from the collected suspicious behavior data is used. Thus, the specificity can be derived with higher reliability even from a small amount of data regarding suspicious behavior.
そして、非日常度が閾値Ｔｈ１以上の場合と特異度が閾値Ｔｈ２以上の場合とを不審行動であると判定するので、非日常度と特異度のいずれか一方の条件のみを使用する場合に比べて、不審行動の検知漏れを低減することができる。 And, since it is determined that the extraordinary degree is greater than or equal to the threshold Th 1 and the specificity is greater than or equal to the threshold Th 2 as suspicious behavior, only one of the conditions of extraordinary degree and specificity is used. Compared to the above, it is possible to reduce detection failure of suspicious behavior.
次に、追尾部２１、記憶部２２、蓄積制御部２３によるオブジェクトの追尾方法について説明する。 Next, an object tracking method by the tracking unit 21, the storage unit 22, and the accumulation control unit 23 will be described.
この追尾方法では、追尾対象のオブジェクト同士の交差や追尾対象のオブジェクトの障害物の背後への一時的な隠れといった現象が発生した場合でも、その前後で同一オブジェクトを同一のオブジェクトとして追尾することができるようになっている。なお、以下に示す追尾方法は、一例であり、追尾方法はこれに限定されるものではない。 In this tracking method, even if a phenomenon such as the intersection of the tracking target objects or the temporary hiding of the tracking target object behind the obstacle occurs, the same object can be tracked as the same object before and after that. It can be done. Note that the following tracking method is an example, and the tracking method is not limited to this.
図１５は、不審行動検知装置１０の追尾部２１が追尾するオブジェクトの状態遷移を表している。オブジェクトの状態は、未検出であるUNDETECTEDと、UNDETECTEDの状態で検出されたオブジェクトが追尾対象たり得るオブジェクトか否かを判定中のPENDING、追尾対象のオブジェクトと認定されかつ追尾成功中のACTIVE、追尾対象のオブジェクトであるが追尾失敗中（消失中あるいは探索中）のLOST、の４状態で管理される。 FIG. 15 illustrates a state transition of an object tracked by the tracking unit 21 of the suspicious behavior detection apparatus 10. The object status is undetected UNDETECTED, PENDING determining whether the object detected in the UNDETECTED state is an object that can be tracked, ACTIVE being tracked and successfully tracked, and tracking It is managed in four states: LOST, which is the target object, but tracking has failed (disappearing or searching).
オブジェクト未検出の間はUNDETECTED状態が継続する（図中のＥ１）。UNDETECTED状態でオブジェクトが検出されるとPENDING状態に移行する（Ｅ２）。PENDING状態ではその継続時間を計時しており（Ｅ４）、PENDING状態で所定時間（PENDING_TIME）が経過するとそのオブジェクトはACTIVE状態に遷移する（Ｅ５）。PENDING状態からACTIVE状態に遷移する前に画像から消滅したオブジェクトはUNDETECTED状態に遷移し（Ｅ３）、追尾対象から外される。 While the object is not detected, the UNDETECTED state continues (E1 in the figure). When an object is detected in the UNDETECTED state, the state shifts to the PENDING state (E2). In the PENDING state, the duration is counted (E4), and when a predetermined time (PENDING_TIME) elapses in the PENDING state, the object transitions to the ACTIVE state (E5). An object that disappears from the image before transitioning from the PENDING state to the ACTIVE state transitions to the UNDETECTED state (E3), and is excluded from the tracking target.
ACTIVE状態ではその継続時間を計時している（Ｅ６）。ACTIVE状態のオブジェクトの追尾に失敗（当該オブジェクトが消失）するとそのオブジェクトはLOST状態に遷移し、ACTIVE状態の継続時間はリセットされる（Ｅ７）。LOST状態でもその継続時間を計時しており（Ｅ９）、継続時間が所定時間（LOST_TIME）経過すると、該オブジェクトは追尾対象から外されUNDETECTED状態になる（Ｅ１０）。LOST状態になってから所定時間（LOST_TIME）内に探索ブロックによる探索によって見出（検出）されたオブジェクトはACTIVE状態に戻る（Ｅ８）。 In the ACTIVE state, the duration is counted (E6). If tracking of an object in the ACTIVE state fails (the object disappears), the object transitions to the LOST state, and the duration of the ACTIVE state is reset (E7). Even in the LOST state, the duration is measured (E9), and when the predetermined duration (LOST_TIME) elapses, the object is removed from the tracking target and becomes the UNDETECTED state (E10). An object found (detected) by the search by the search block within a predetermined time (LOST_TIME) after entering the LOST state returns to the ACTIVE state (E8).
図１６は、不審行動検知装置１０の処理部１２が行うオブジェクトの追尾判別処理の各処理フェーズを示している。図１７は追尾判別処理の流れを示している。追尾判別処理では、オブジェクトの追尾と各オブジェクトが車両か人かの判別とを行う。図１６に示すように、追尾判別処理は、オブジェクト検出フェーズＰ１と、オブジェクト追尾・探索フェーズＰ２と、人・車両判別フェーズＰ３と、人オブジェクト抽出フェーズＰ４で構成される。オブジェクト検出フェーズＰ１は図１７の流れ図のステップＳ１０２〜Ｓ１０４が対応し、オブジェクト追尾・探索フェーズＰ２はステップＳ１０５〜Ｓ１１０が対応し、人・車両判別フェーズＰ３はステップＳ１１１が対応し、人オブジェクト抽出フェーズＰ４はステップＳ１１２、Ｓ１１３が対応する。なお、図１７の破線で示す処理ＳＡにおいて、図２もしくは図１３のステップＳ２からＳ２１の処理を行うようにすれば、追尾と不審行動の検知とが１フレーム毎に行われるようになる。 FIG. 16 shows each processing phase of the object tracking determination process performed by the processing unit 12 of the suspicious behavior detection apparatus 10. FIG. 17 shows the flow of the tracking determination process. In the tracking determination process, object tracking and whether each object is a vehicle or a person are determined. As shown in FIG. 16, the tracking determination process includes an object detection phase P1, an object tracking / search phase P2, a person / vehicle determination phase P3, and a human object extraction phase P4. The object detection phase P1 corresponds to steps S102 to S104 in the flowchart of FIG. 17, the object tracking / search phase P2 corresponds to steps S105 to S110, the person / vehicle discrimination phase P3 corresponds to step S111, and the human object extraction phase P4 corresponds to steps S112 and S113. Note that in the process SA indicated by the broken line in FIG. 17, if the processes of steps S2 to S21 in FIG. 2 or FIG. 13 are performed, the tracking and the detection of the suspicious behavior are performed for each frame.
＜オブジェクト検出フェーズＰ１＞
最初に、フレーム時刻ｔを０に初期化した後（図１７；ステップＳ１０１）、カメラ部１１によって取り込まれた処理対象の画像内からオブジェクト候補領域を検出する（ステップＳ１０２）。オブジェクト候補領域の検出は、フレーム間の差分処理、二値化処理など公知の手法により行う。
<Object detection phase P1>
First, after initializing the frame time t to 0 (FIG. 17; step S101), an object candidate area is detected from the processing target image captured by the camera unit 11 (step S102). The object candidate area is detected by a known method such as a difference process between frames or a binarization process.
次に、処理対象の画像内においてオブジェクト候補領域が１つ以上検出されたかどうかを確認する（ステップＳ１０３）。１つ以上のオブジェクト候補領域が検出された場合は（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０５へ移行する。オブジェクト候補領域が１つも検出されなかった場合は（ステップＳ１０３；Ｎｏ）、状態がLOSTのオブジェクト（以後、これをLOSTオブジェクトと呼ぶ。）が存在するか否かを確認する（ステップＳ１０４）。LOSTオブジェクトは、過去に追尾対象として検出されたオブジェクトが消失（追尾失敗）し、消失状態の継続時間が所定時間（LOST_TIME）未満のオブジェクトであり、後述する探索ブロックによって探索中のオブジェクトである。 Next, it is confirmed whether or not one or more object candidate areas have been detected in the processing target image (step S103). When one or more object candidate areas are detected (step S103; Yes), the process proceeds to step S105. If no object candidate area is detected (step S103; No), it is confirmed whether or not there is an object whose state is LOST (hereinafter referred to as a LOST object) (step S104). The LOST object is an object in which an object detected as a tracking target in the past disappears (tracking failure), and the duration of the disappearance state is less than a predetermined time (LOST_TIME), and is an object being searched by a search block described later.
LOSTオブジェクトが存在しない場合は（ステップＳ１０４；Ｎｏ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。このように、オブジェクト検出フェーズＰ１は、オブジェクト候補領域が１つ以上存在するか否かを確認し、存在しない場合はオブジェクト候補領域が検出されるのを待つ状態である。 If the LOST object does not exist (step S104; No), the frame time t = t + 1 is set (step S114), the process returns to step S102, and the same process is performed on the next frame image captured by the camera unit 11. As described above, the object detection phase P1 is a state in which it is confirmed whether or not one or more object candidate areas exist, and when there is no object candidate area, the detection of the object candidate area is awaited.
＜オブジェクト追尾・探索フェーズＰ２＞
ステップＳ１０５では、オブジェクト検出フェーズＰ１にて検出されたオブジェクト候補領域に対する追尾・探索処理を行う。オブジェクト追尾・探索処理では、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付けを行う追尾処理と、隠れや交差により消失したオブジェクトを探索する探索処理とが行われる。追尾処理は動きベクトルなど公知の手法により行う。
<Object Tracking / Search Phase P2>
In step S105, a tracking / search process is performed on the object candidate area detected in the object detection phase P1. In the object tracking / search process, a tracking process for associating an object in the image at the previous time with an object in the image at the current time and a search process for searching for an object that disappears due to hiding or crossing are performed. The tracking process is performed by a known method such as a motion vector.
消失したオブジェクトを探索するための探索処理は、新規に検出した追尾対象のオブジェクトに対して、その重心周辺に複数の探索ブロックを発生させ、その後は各探索ブロックを追尾対象のオブジェクトに追従させて移動させ、オブジェクト領域内の局所領域（ここでは、探索ブロック単位の領域）に着目して追尾を行う。探索ブロックは、オブジェクトを追尾・探索する際の単位領域である。消失したオブジェクトの探索が所定時間（LOST_TIME）内に成功しなかった場合は、探索しているオブジェクトは消滅したものとみなしてUNDETECTEDの状態にし、追尾対象から外す。オブジェクト追尾・探索処理の詳細は後述する。 The search process for searching for the lost object is to generate a plurality of search blocks around the center of gravity of the newly detected tracking target object, and then cause each search block to follow the tracking target object. The tracking is performed by focusing on the local area (here, the area of the search block unit) in the object area. The search block is a unit area for tracking and searching for an object. If the search for the lost object is not successful within a predetermined time (LOST_TIME), the searched object is regarded as having been lost and is set to the UNDETECTED state, and is excluded from the tracking target. Details of the object tracking / search process will be described later.
オブジェクト追尾・探索処理にて追尾・探索に成功したオブジェクト（ACTIVE状態のオブジェクト）については、形状、動き、テクスチャ等の特徴情報を抽出（算出）する（ステップＳ１０６）。形状や動きなどオブジェクトの特徴情報の抽出は公知の任意の手法で行えばよい。抽出したオブジェクトの特徴情報を示す特徴量データは順次、記憶部２２に蓄積し、時系列データとして更新あるいは新規に生成する（ステップＳ１０７）。オブジェクト毎の時系列に蓄積された特徴量データは、そのオブジェクトが人か車両かの判別に利用される。 For objects that have been successfully tracked / searched in the object tracking / search process (objects in the active state), feature information such as shape, motion, texture, etc. is extracted (calculated) (step S106). Extraction of object feature information such as shape and movement may be performed by any known method. The feature amount data indicating the extracted feature information of the object is sequentially accumulated in the storage unit 22, and updated or newly generated as time series data (step S107). The feature amount data accumulated in time series for each object is used to determine whether the object is a person or a vehicle.
その後、追尾対象のオブジェクトが既に車両と判別済みのオブジェクトであれば（ステップＳ１０８；Ｙｅｓ）、フレーム時刻ｔ＝ｔ＋１として（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像について同様の処理を行う。追尾対象のオブジェクトが既に人と判別されており、かつそのオブジェクトが画像内に存在している（追尾・探索に成功している）場合は（ステップＳ１０９；Ｙｅｓ）、ステップＳ１１３の人オブジェクト抽出処理へ移行する。 Thereafter, if the object to be tracked is an object that has already been identified as a vehicle (step S108; Yes), the frame time t = t + 1 is set (step S114), the process returns to step S102, and the next frame captured by the camera unit 11 is obtained. Similar processing is performed on the image. When the object to be tracked is already determined to be a person and the object exists in the image (tracking / searching has succeeded) (step S109; Yes), the human object extraction process in step S113 Migrate to
追尾しているオブジェクトが車両、人のいずれにも判別されていない場合は（ステップＳ１０９；Ｎｏ）、追尾オブジェクトに関して、図１５の状態遷移に従って各オブジェクトの状態（ステータス）の更新と、オブジェクト継続時間obj_timeのインクリメント更新を行い（ステップＳ１１０）、人・車両判別処理（ステップＳ１１１）に移行する。 If neither the vehicle nor the person is identified as the object being tracked (step S109; No), the state (status) of each object is updated according to the state transition of FIG. obj_time is incremented and updated (step S110), and the process proceeds to a person / vehicle discrimination process (step S111).
＜人・車両判別フェーズＰ３＞
人・車両判別処理では、オブジェクト追尾・探索フェーズＰ２により蓄積記憶された追尾対象のオブジェクトの時系列の特徴量データ（特徴量時系列データ）をもとに、追尾対象オブジェクトが人であるか、車両であるかの判別を行う（ステップＳ１１１）。人・車両判別処理は適宜の公知の手法により行う。
<Person / vehicle discrimination phase P3>
In the person / vehicle discrimination process, based on the time-series feature amount data (feature amount time-series data) of the tracking target object accumulated and stored in the object tracking / search phase P2, whether the tracking target object is a person, It is determined whether the vehicle is a vehicle (step S111). The person / vehicle discrimination process is performed by an appropriate known method.
＜人オブジェクト抽出フェーズＰ４＞
追尾対象のオブジェクトが人であると判別した場合は（ステップＳ１１２；Ｙｅｓ）、人オブジェクト抽出処理（ステップＳ１１３）に移行し、人と判別できなかった場合は（ステップＳ１１２；Ｎｏ）、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻り、カメラ部１１によって取り込まれる次のフレームの画像に対して同様の処理を行う。
<Human object extraction phase P4>
If it is determined that the object to be tracked is a person (step S112; Yes), the process proceeds to a human object extraction process (step S113). If the object is not determined to be a person (step S112; No), the frame time t (Step S114), the process returns to step S102, and the same processing is performed on the next frame image captured by the camera unit 11.
人オブジェクト抽出処理では、監視員にその人物の所在位置を分かりやすい形式で伝え、監視注意を促す（ステップＳ１１３）。たとえば、カメラ部１１からの画像を出力部１４のディスプレイ装置に表示する際に、検出した人物の箇所を赤枠で囲って表示する等を行う。その後、フレーム時刻ｔをインクリメント更新し（ステップＳ１１４）、ステップＳ１０２に戻って処理を継続する。抽出された人オブジェクトに対して、不審行動検知（図２もしくは図１３のステップＳ２からＳ２１の処理）が行われる。 In the human object extraction process, the location of the person is communicated to the monitoring person in an easy-to-understand format, and monitoring attention is urged (step S113). For example, when an image from the camera unit 11 is displayed on the display device of the output unit 14, the detected person's location is displayed in a red frame. Thereafter, the frame time t is incremented and updated (step S114), and the process returns to step S102 and continues. Suspicious behavior detection (the processing of steps S2 to S21 in FIG. 2 or FIG. 13) is performed on the extracted human object.
次に、図１７のステップＳ１０５のオブジェクト追尾・探索処理の詳細を説明する。 Next, details of the object tracking / searching process in step S105 of FIG. 17 will be described.
オブジェクト追尾・探索処理では、公知の手法によりオブジェクトの追尾と、追尾に失敗（消失）したオブジェクト（LOSTオブジェクト）の探索が行われる。探索は、消失した追尾対象のオブジェクトを追尾するように移動する複数の探索ブロックによって行われる。 In the object tracking / search process, tracking of an object and searching for an object (LOST object) that has failed (disappeared) in tracking are performed by a known method. The search is performed by a plurality of search blocks that move so as to track the disappeared tracking target object.
図１８は、探索ブロックによる探索の概略を示している。新規に検出された追尾対象のオブジェクトＡ（図１８の例では人物Ａ）に対して、そのオブジェクトＡを追尾対象とする所定サイズの探索ブロックＤを複数発生させると共にこれらの各探索ブロックＤにその追尾対象のオブジェクトＡの特徴情報を対応付けて記憶する（ｔ１）。図１８では、斜線を施した各矩形領域が探索ブロックＤである。なお、追尾対象の各オブジェクトにはそのオブジェクトを一意に特定する識別情報として固有のオブジェクトＩＤを割り当ててあり、各探索ブロックにその追尾対象のオブジェクトのオブジェクトＩＤを登録することで、追尾対象のオブジェクトと探索ブロックとを関連付けする。 FIG. 18 shows an outline of the search by the search block. For a newly detected object A to be tracked (person A in the example of FIG. 18), a plurality of search blocks D having a predetermined size for which the object A is tracked are generated and each of these search blocks D is The characteristic information of the tracking target object A is associated and stored (t1). In FIG. 18, each rectangular area shaded is a search block D. Each object to be tracked is assigned a unique object ID as identification information for uniquely identifying the object, and the object ID of the object to be tracked is registered by registering the object ID of the object to be tracked in each search block. Is associated with the search block.
その後は、前時刻のフレームの画像と現在時刻のフレームの画像とのマッチング等の既存の手法によりオブジェクトの追尾を行うと共に、各探索ブロックＤをその追尾対象のオブジェクトを追尾するように（オブジェクトの動きベクトルに追従するように）移動させる（図１８；ｔ２）。 After that, the object is tracked by an existing method such as matching of the image of the frame at the previous time and the image of the frame at the current time, and each search block D is tracked to the object to be tracked (the object's object). Move so as to follow the motion vector (FIG. 18; t2).
交差や隠れによってオブジェクトの追尾に失敗した場合（消失した場合）は（図１８；ｔ３）、そのオブジェクトを追尾対象とする探索ブロックＤの移動を所定の移動ルールに従って継続させる。たとえば、ランダムに移動させる、あるいは消失前のオブジェクトの動きにランダムな動きを合成した動きで移動を継続させる。図１８では、時刻ｔ３においてオブジェクトＡが障害物６１の背後に隠れており、各探索ブロックＤは、現在時刻までのオブジェクトＡの動きとランダムな動きとを合成した動きで移動している。オブジェクトＡの消失前の動きの影響は次第に少なくなりランダムな動きが支配的になり、探索ブロックは次第に広い範囲に分散するように移動する（ｔ４）。なお、図１８では、時刻ｔ３における各探索ブロックに「ｔ３」の文字を、時刻ｔ４における各探索ブロックに「ｔ４」の文字を付してある。 If tracking of an object fails (disappears) due to crossing or hiding (FIG. 18; t3), the movement of the search block D whose tracking target is the object is continued according to a predetermined movement rule. For example, the movement is continued at random, or the movement is continued by combining the movement of the object before disappearance with the random movement. In FIG. 18, the object A is hidden behind the obstacle 61 at time t3, and each search block D moves with a motion that combines the motion of the object A up to the current time and a random motion. The influence of the motion before the disappearance of the object A gradually decreases, and the random motion becomes dominant, and the search block gradually moves so as to be spread over a wide range (t4). In FIG. 18, the character “t3” is attached to each search block at time t3, and the character “t4” is attached to each search block at time t4.
このように、消失したオブジェクトを探索するように継続的に移動させている探索ブロックの位置（存在領域）にオブジェクトが存在する場合は、そのオブジェクトの特徴情報と各探索ブロックに対応付けて記憶されている追尾対象のオブジェクトの特徴情報とを比較し、該比較結果に基づいて、その探索ブロックの位置に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを判断する。追尾対象のオブジェクトであればそのオブジェクトに当該探索ブロックに登録されている追尾対象のオブジェクトのオブジェクトＩＤを割り当てる。これにより、消失の前後で同一オブジェクトを同一オブジェクトとして追尾するようになる。 As described above, when an object exists at the position (existing region) of the search block continuously moved so as to search for the lost object, the feature information of the object is stored in association with each search block. The feature information of the tracking target object is compared, and based on the comparison result, it is determined whether or not the object existing at the position of the search block is the tracking target object of the search block. If the object is a tracking target object, the object ID of the tracking target object registered in the search block is assigned to the object. Thereby, the same object is tracked as the same object before and after disappearance.
図１８の例では時刻ｔ４に探索ブロックＤ１によってオブジェクトＡが見出（検出）される。追尾対象のオブジェクトが消失した後は、各探索ブロックはランダムな動きが支配的となって移動し拡散しているので、仮にオブジェクトＡが破線で示したＡ’の位置に現れた場合は、その位置に移動していた探索ブロックＤ２によって発見されることになる。こうして、交差や障害物の背後への一時的な隠れが発生してもその前後で同一のオブジェクトを同一オブジェクトとして（同じオブジェクトＩＤで）追尾するようになっている。 In the example of FIG. 18, the object A is found (detected) by the search block D1 at time t4. After the object to be tracked disappears, each search block moves and spreads with the random movement dominant, so if the object A appears at the position A ′ indicated by the broken line, It will be discovered by the search block D2 which has moved to the position. In this way, even if an intersection or a temporary hiding behind an obstacle occurs, the same object is tracked as the same object (with the same object ID) before and after that.
本実施の形態では、図１９に示すように、処理対象の画像（１フレーム分の画像）を複数の小領域（分割ブロックＢｋ）に分割し、オブジェクトを分割ブロック単位で捉える。これにより、追尾に係る計算量が軽減される。ここでは、各分割ブロックＢｋが矩形となるように処理対象の画像を格子状の境界線で分割している。 In the present embodiment, as shown in FIG. 19, an image to be processed (image for one frame) is divided into a plurality of small regions (divided blocks Bk), and an object is captured in units of divided blocks. Thereby, the amount of calculation related to tracking is reduced. Here, the image to be processed is divided by a grid-like boundary line so that each divided block Bk is rectangular.
図１９の例では、オブジェクトＡは、斜線を施した３３個の矩形の分割ブロックＢｋに分けられる。オブジェクトＡの追尾・探索は分割ブロックＢｋ単位に行われる。これら３３個の分割ブロックＢｋの集合体としてオブジェクトＡは認識され、オブジェクトＡ全体としての形状や重心位置、動きなどの特徴情報が把握される。ここでは、分割ブロックＢｋの中に占めるオブジェクトの面積が所定の占有率以上（たとえば、５０パーセント以上）の場合に、その分割ブロックをオブジェクトの存在する分割ブロックとみなしている。 In the example of FIG. 19, the object A is divided into 33 rectangular divided blocks Bk that are shaded. Tracking / searching of the object A is performed for each divided block Bk. The object A is recognized as an aggregate of the 33 divided blocks Bk, and the feature information such as the shape, the center of gravity position, and the movement of the object A as a whole is grasped. Here, when the area of the object occupying the divided block Bk is equal to or greater than a predetermined occupancy ratio (for example, 50% or more), the divided block is regarded as a divided block where the object exists.
図２０は、オブジェクト追尾・探索処理（図１７；ステップＳ１０５）の流れを示している。オブジェクト追尾（図２０；ステップＳ１２１）では、新規に検出されたオブジェクトについてオブジェクトＩＤを割り当てると共に図３に示すようなオブジェクトデータテーブル３０を生成する。 FIG. 20 shows the flow of the object tracking / search process (FIG. 17; step S105). In object tracking (FIG. 20; step S121), an object ID is assigned to a newly detected object and an object data table 30 as shown in FIG. 3 is generated.
過去時刻において検出済みで既にオブジェクトＩＤが割り当てられているオブジェクトについては、動きベクトルなど公知の手法により、前時刻の画像内のオブジェクトと現在時刻の画像内のオブジェクトとの対応付け等の手法により追尾する。 For objects that have been detected at the past time and have already been assigned an object ID, tracking is performed by a method such as associating an object in the previous time image with an object in the current time image by a known method such as a motion vector. To do.
次に、新たに追尾対象となったオブジェクトについて探索ブロックを発生させる探索ブロック発生処理を行う（ステップＳ１２２）。探索ブロック発生処理の詳細は図２１に示してある。処理対象の画像内に存在する、状態（ステータス）がACTIVEであって（ステップＳ１４２；Ｙｅｓ）当該オブジェクトを追尾対象とする探索ブロックが０個のオブジェクト（ステップＳ１４３；Ｙｅｓ）について、そのオブジェクト領域の重心周辺に複数の探索ブロックを発生させる（ステップＳ１４４〜Ｓ１５５）。 Next, search block generation processing for generating a search block for the object that is newly tracked is performed (step S122). Details of the search block generation process are shown in FIG. A state (status) that is present in the processing target image is ACTIVE (step S142; Yes), and there is no search block for which the object is a tracking target (step S143; Yes). A plurality of search blocks are generated around the center of gravity (steps S144 to S155).
探索ブロックは、追尾対象のオブジェクトを追尾・探索する際の単位領域であり、探索ブロックを単位として、その探索ブロックの存在領域に存在するオブジェクトがその探索ブロックが追尾対象としているオブジェクトか否かが判断される。探索ブロックは、追尾対象のオブジェクトが存在する分割ブロック毎に所定（BLOCKFACTOR）個ずつ発生させる。すなわち、追尾対象のオブジェクトのサイズに応じた数の探索ブロックを発生させる。BLOCKFACTOR個は１個以上で任意に設定変更可能な数であり、分割ブロックの領域サイズと探索ブロックの領域サイズとの比率等に基づいて適宜の個数に設定すればよい。たとえば、BLOCKFACTOR個は２〜５個に設定される。図２２は、探索ブロックの原点（px0,py0）と中心位置(px,py)との関係を示している。探索ブロックはBLOCK_SIZE×BLOCK_SIZEの画素領域となっている（図２２の例では５×５画素の領域）。ここでは、探索ブロックを矩形としたが、探索ブロックの形状はこれに限定されず、円など他の形状であってもかまわない。 A search block is a unit area for tracking / searching an object to be tracked. Whether or not an object existing in the search block's existing area is the object to be tracked by the search block, with the search block as a unit. To be judged. A predetermined number (BLOCKFACTOR) of search blocks is generated for each divided block in which an object to be tracked exists. That is, the number of search blocks corresponding to the size of the tracking target object is generated. The number of BLOCKFACTOR is one or more and is a number that can be arbitrarily changed, and may be set to an appropriate number based on the ratio of the area size of the divided block and the area size of the search block. For example, the number of BLOCKFACTOR is set to 2 to 5. FIG. 22 shows the relationship between the origin (px0, py0) and the center position (px, py) of the search block. The search block is a pixel area of BLOCK_SIZE × BLOCK_SIZE (5 × 5 pixel area in the example of FIG. 22). Here, although the search block is rectangular, the shape of the search block is not limited to this, and may be another shape such as a circle.
また、発生させた探索ブロック毎に図２３に示すような探索ブロックデータテーブル７０を生成する。探索ブロックデータテーブル７０には、対応する探索ブロックの属性を示す情報が登録される。発生時に初期値として以下の値等を探索ブロックデータテーブル７０に登録する。 Further, a search block data table 70 as shown in FIG. 23 is generated for each generated search block. In the search block data table 70, information indicating the attribute of the corresponding search block is registered. The following values are registered in the search block data table 70 as initial values when they occur.
・オブジェクトＩＤ：obj_id → 追尾対象のオブジェクトＩＤ
・探索ブロックの状態（ステータス）：stateobj_id n_block → ON
・探索ブロックの位置（ｘ座標）：bxobj_id n_block → x
・探索ブロックの位置（ｙ座標）：byobj_id n_block → y
・探索ブロックの動きベクトル(水平方向)：dxobj_id n_block → dx(gxobj_id,
gyobj_id)
・探索ブロックの動きベクトル(垂直方向)：dyobj_id n_block → dy(gxobj_id,
gyobj_id)
・探索ブロックの適合度：corobj_id n_block → 1.0
また、探索ブロックの存在領域内の各画素のＨＳＶ値（ＨＳＶ色空間で表現した画素値）から図２４に示すようなＨＳＶ色空間累積ヒストグラムを生成する。この累積ヒストグラムは、探索ブロック領域を画素単位で走査して導出する。画素値ｉの場合、ｊ≧ｉであれば、
histH,S,V(t, j)obj_id n_block = histH,S,V(t, j)obj_id n_block + 1
とする。すなわち、画素値の取り得る値を所定数の階級に区分し、当該画素の画素値がｉであれば、ｉが属する階級以上の各階級の累積値をそれぞれ「１」加算する。この処理を探索ブロック内の全画素に対して行う。
-Object ID: obj_id → Object ID to be tracked
Search block state (status): state obj_id n_block → ON
Search block position (x coordinate): bx obj_id n_block → x
-Search block position (y coordinate): by obj_id n_block → y
・ Search block motion vector (horizontal direction): dx obj_id n_block → dx (gx obj_id ,
gy obj_id )
Search block motion vector (vertical direction): dy obj_id n_block → dy (gx obj_id ,
gy obj_id )
・Fitness of search block: cor obj_id n_block → 1.0
Also, an HSV color space cumulative histogram as shown in FIG. 24 is generated from the HSV values (pixel values expressed in the HSV color space) of each pixel in the search block existence region. This cumulative histogram is derived by scanning the search block area in units of pixels. For pixel value i, if j ≧ i,
hist H, S, V (t, j) obj_id n_block = hist H, S, V (t, j) obj_id n_block + 1
And That is, the possible values of the pixel value are divided into a predetermined number of classes, and if the pixel value of the pixel is i, “1” is added to each of the accumulated values of the classes to which i belongs. This process is performed for all the pixels in the search block.
なお、ＨＳＶ色空間は色相(Hue)、彩度(Saturation・Chroma)、明度(Brightness・Lightness・Value)の三つの成分からなる色空間であり、ＨＳＶ色空間累積ヒストグラムは、Ｈ（色相)成分、Ｓ（彩度）成分、Ｖ（明度）成分のそれぞれについて生成される。これらのＨＳＶ色空間累積ヒストグラムに係る各値は、探索ブロックの位置（存在領域）におけるオブジェクト（画像）の特徴情報としてその探索ブロックに対応付けて記憶される。 The HSV color space is a color space composed of three components: hue, saturation (saturation / chroma), and brightness (brightness / lightness / value), and the HSV color space cumulative histogram is the H (hue) component. , S (saturation) component and V (lightness) component. Each value related to the HSV color space cumulative histogram is stored in association with the search block as feature information of the object (image) at the position (existing region) of the search block.
次に、全探索ブロックに関する適合度を更新する（図２０：ステップＳ１２３、詳細は図２５に示す）。適合度を更新する処理では、探索ブロックの状態（ステータス）がＯＮとなっている（図２５；ステップＳ１６３；Ｙｅｓ）すべての探索ブロックに関して、適合度の更新（図２５；ステップＳ１６４〜Ｓ１６７）を行う。適合度は、探索ブロックの位置（存在領域）に存在するオブジェクトと当該探索ブロックの追尾対象のオブジェクトとの一致度を示す指標である。適合度は、探索ブロックの存在領域に存在するオブジェクトの特徴情報（色など画像としての特徴情報と重心位置に係る特徴情報）とその探索ブロックに対応付けて記憶されているオブジェクトの特徴情報（当該探索ブロックの前時刻の位置に存在していたオブジェクトの特徴情報）との比較に基づいて算出する。本実施の形態では、ＨＳＶ色空間累積ヒストグラムを用いた場合について記述する。具体的には、探索ブロックの存在領域におけるＨＳＶ色空間累積ヒストグラムの時間差分と、当該探索ブロックが追尾対象とするオブジェクトの重心位置と該探索ブロックの中心との距離に基づく距離係数との積により導出する。適合度は１〜０の範囲をとる。具体的には以下の式の通りである。
図２６は、探索ブロックの中心とその追尾対象のオブジェクトの重心との距離と適合度との関係を例示したものである。探索ブロックＤ１、Ｄ２は、追尾対象のオブジェクト上にないので、オブジェクト重心との距離が大きく（距離係数（dist_factor）→小）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も低い（total_diff→小）ので、適合度は低くなる（０に近づく）。探索ブロックＤ３、Ｄ４は追尾対象のオブジェクト上にあるので、オブジェクト重心との距離が小さく（距離係数（dist_factor）→大）、かつオブジェクト（画像）の特徴情報の一致度（ＨＳＶ色空間累積ヒストグラムの一致度）も高い（total_diff→大）ので、適合度は高くなる（１に近づく）。 FIG. 26 illustrates the relationship between the distance between the center of the search block and the center of gravity of the object to be tracked and the degree of fitness. Since the search blocks D1 and D2 are not on the tracking target object, the distance from the object center of gravity is large (distance factor (dist_factor) → small), and the degree of coincidence of the object (image) feature information (HSV color space cumulative histogram) ) Is low (total_diff → small), so the fitness is low (approaching 0). Since the search blocks D3 and D4 are on the object to be tracked, the distance from the object center of gravity is small (distance factor (dist_factor) → large), and the degree of coincidence of object (image) feature information (HSV color space cumulative histogram) Since the degree of matching is also high (total_diff → large), the degree of matching is high (close to 1).
次に、分割ブロック領域ＩＤ割り当て処理を行う（図２０：ステップＳ１２４、詳細は図２７に示す）。当該処理では、分割ブロック領域内に何らかのオブジェクトが存在しかつ１個以上の探索ブロックが存在している分割ブロックＢｋに対して、それらの探索ブロックの中で最も優位な（最高適合度を有する）探索ブロックに登録されている追尾対象のオブジェクトＩＤを割り当てることでその分割ブロックＢｋに該オブジェクトＩＤを付与し、該オブジェクトＩＤのオブジェクトをACTIVE状態にする、ことを行う。元々ACTIVE状態であったオブジェクトはACTIVE状態が継続される。 Next, divided block region ID assignment processing is performed (FIG. 20: step S124, details are shown in FIG. 27). In this process, the divided block Bk in which some object exists in the divided block area and one or more search blocks exist has the highest priority (having the highest fitness) among those search blocks. By assigning the tracking target object ID registered in the search block, the object ID is assigned to the divided block Bk, and the object of the object ID is set to the ACTIVE state. The object that was originally in the ACTIVE state continues to be in the ACTIVE state.
上記処理により、LOSTオブジェクトを追尾対象とする探索ブロックに登録されているオブジェクトＩＤがいずれかの分割ブロックＢｋに割り当てられた場合、LOST状態であったその追尾対象のオブジェクトが見出された（検出された）ことになる。なお、追尾対象のオブジェクトであるがいずれの分割ブロックＢｋにもオブジェクトＩＤが付与されなかったオブジェクトは、図１７のオブジェクト状態更新処理（Ｓ１１０）においてLOSTオブジェクトと判定されて状態が保持あるいは更新される。 When the object ID registered in the search block whose tracking target is the LOST object is assigned to any one of the divided blocks Bk by the above processing, the tracking target object in the LOST state is found (detection) Was). Note that an object that is a tracking target object but has not been assigned an object ID to any of the divided blocks Bk is determined to be a LOST object in the object state update process (S110) of FIG. 17, and the state is maintained or updated. .
次に、探索ブロック消去処理を行う（図２０：ステップＳ１２５、詳細は図２８に示す）。オブジェクトの状態（ステータス）がUNDETECTEDである場合、あるいは状態がLOSTでありかつオブジェクトの継続時間obj_timeがLOST_TIME以上である（LOST状態がLOST_TIME以上継続した）場合に、当該オブジェクトに属する（当該オブジェクトを追尾対象とする）すべての探索ブロックを削除する。削除は、当該オブジェクトに属するすべての探索ブロックデータテーブルをクリアすることで行う。 Next, search block erasure processing is performed (FIG. 20: step S125, details are shown in FIG. 28). If the object state is UNDETECTED, or if the state is LOST and the object duration obj_time is longer than LOST_TIME (LOST state lasts longer than LOST_TIME), it belongs to the object (track the object) Delete all search blocks. Deletion is performed by clearing all search block data tables belonging to the object.
次に、探索ブロックリサンプリング処理を行う（図２０：ステップＳ１２８、詳細は図２９に示す）。探索ブロックリサンプリング処理は、ACTIVE状態のオブジェクトに属するすべての探索ブロックについて行われる（図２０；ステップＳ１２７；Ｙｅｓ）。探索ブロックリサンプリング処理では、追尾対象のオブジェクトが同一の複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えることが行われる。 Next, search block resampling processing is performed (FIG. 20: step S128, details are shown in FIG. 29). The search block resampling process is performed for all search blocks belonging to the object in the ACTIVE state (FIG. 20; step S127; Yes). In the search block resampling process, a search block with a low fitness is replaced with a search block with a high fitness between a plurality of search blocks with the same tracking target object.
ここでは、同一オブジェクト（たとえば、オブジェクトＡ）を追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、該オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換える。すなわち、当該オブジェクトを追尾対象とする全探索ブロックの個数と同じ回数の乱数抽選を前記ルーレットに基づいて行い、抽選毎にその当たりとなった出目に対応する探索ブロックに置き換えることによって、適合度の低い探索ブロックを適合度の高い探索ブロックに置き換わりやすいようにしている。 Here, a roulette is generated in which the ratio of the fitness of each search block to the sum of the fitness of all search blocks that track the same object (for example, object A) is the appearance probability of the search block, A random number lottery based on the roulette is performed for each search block whose object is to be tracked, and the search block is replaced with a search block corresponding to the result of the lottery result. That is, the randomness lottery is performed the same number of times as the number of all search blocks for which the object is tracked based on the roulette, and replaced by the search block corresponding to the winning point for each lottery, The search block having a low match is easily replaced with a search block having a high fitness.
より詳細には、処理対象の画像内に存在するオブジェクトの中で、状態（ステータス）がACTIVEであるオブジェクト毎に以下の処理を行う。まず、注目しているACTIVEオブジェクトobj_idに関して、そのオブジェクトに属する探索ブロックn_blockの適合度cor obj_id n_blockを基に、下記の通りルーレットを生成する。 More specifically, the following processing is performed for each object whose state (status) is ACTIVE among the objects existing in the processing target image. First, for the ACTIVE object obj_id of interest, a roulette is generated as follows based on the fitness cor obj_id n_block of the search block n_block belonging to the object.
探索ブロックn_blockの状態(ステータス)stateobj_id n_blockがONであるならば、
rouletteobj_id n_block = rouletteobj_id n_block-1 + cor obj_id n_block
探索ブロックn_blockの状態(ステータス)stateobj_id n_blockがOFFであるならば、
rouletteobj_id n_block = rouletteobj_id n_block-1
次に、注目しているACTIVEオブジェクトobj_idに属する探索ブロック毎に乱数データを生成し、その乱数データをもとにその探索ブロックに関するルーレットの出目を決定した後、当該探索ブロックをその出目に対応する探索ブロックに置き換える。
Search block n_block state (status) If state obj_id n_block is ON,
roulette obj_id n_block = roulette obj_id n_block-1 + cor obj_id n_block
Search block n_block state (status) If state obj_id n_block is OFF,
roulette obj_id n_block = roulette obj_id n_block-1
Next, after generating random number data for each search block belonging to the active object obj_id of interest, and determining the roulette output for the search block based on the random number data, Replace with the corresponding search block.
図３０は、任意のオブジェクトについて生成したルーレットの一例を示している。このオブジェクトを追尾対象とする探索ブロックは全部でＭ個存在する。探索ブロック１からＭまでの全探索ブロックの適合度の合計を３６０度としたルーレット上に、個々の探索ブロックの出目をその適合度の比率に応じた占有角度で配置してある。たとえば、探索ブロック１の出目の占有角度は、（（探索ブロック１の適合度）／（全探索ブロックの適合度の合計））×３６０度となる。 FIG. 30 shows an example of a roulette generated for an arbitrary object. There are a total of M search blocks that use this object as a tracking target. On the roulette where the total fitness of all search blocks from search blocks 1 to M is 360 degrees, the output of each search block is arranged at an occupation angle corresponding to the ratio of the fitness. For example, the occupancy angle of the search block 1 is ((the suitability of search block 1) / (the sum of the suitability of all search blocks)) × 360 degrees.
適合度の高い探索ブロックは出目の占有角度も大きいので、その分、乱数抽選で当たりになる確率は高い。一方、適合度の低い探索ブロックは出目の占有角度は小さく、当たりになる確率も低い。したがって、適合度の低い探索ブロックが適合度の高い探索ブロックに置き換えられ易くなる。 Since the search block with a high degree of matching has a large occupancy angle, the probability of winning in the random number lottery is high. On the other hand, a search block with a low degree of fitness has a small occupancy angle and a low probability of winning. Therefore, a search block with a low fitness is easily replaced with a search block with a high fitness.
ここで、探索ブロックを置き換えるとは、探索ブロックデータテーブル７０の内容を、探索ブロックＩＤを除く項目について、ルーレットの出目に対応する探索ブロックデータテーブルで更新することである。 Here, to replace the search block is to update the contents of the search block data table 70 with the search block data table corresponding to the roulette for items other than the search block ID.
先に説明したように、探索ブロックの適合度はその探索ブロックが追尾対象のオブジェクト上に存在する場合は高く、追尾対象のオブジェクトから外れた位置にある場合は低くなる。したがって、図３１（ａ）に示すように、ACTIVEオブジェクトについて探索ブロックの置き換え（探索ブロックリサンプリング）を行うと、追尾対象のオブジェクトＡ上にある探索ブロックＤ５〜Ｄ７とオブジェクトＡ上にない探索ブロックＤ１〜Ｄ４との間で適合度に大きな差が生じる。したがって、探索ブロックリサンプリングにより生成されるルーレットは図３１（ｂ）のように（Ｄ１〜Ｄ４については占有角度が小さく、Ｄ５〜Ｄ７は占有角度が大きく）なる。 As described above, the suitability of a search block is high when the search block exists on the tracking target object, and is low when the search block is located away from the tracking target object. Therefore, as shown in FIG. 31A, when search block replacement (search block resampling) is performed for the ACTIVE object, search blocks D5 to D7 on the tracking target object A and search blocks not on the object A There is a large difference in fitness between D1 and D4. Therefore, the roulette generated by the search block resampling is as shown in FIG. 31B (the occupied angle is small for D1 to D4 and the occupied angle is large for D5 to D7).
このルーレットを使用して探索ブロック個数回分（ここでは７回）の乱数抽選を行った場合、その結果は、たとえば図３１（ｃ）に示すようになり、適合度の低い探索ブロックが適合度の高い探索ブロックに確率的に置き換えられる。図３１（ｄ）に示すように、追尾対象のオブジェクト上になかった探索ブロックの多くが追尾対象のオブジェクト上の探索ブロックに置き換えられ、探索ブロックが追尾対象のオブジェクト上に集約されやすくなる。 When random number lottery for the number of search blocks (in this case, seven times) is performed using this roulette, the result is as shown in FIG. 31 (c), for example. Probabilistically replaced with a high search block. As shown in FIG. 31D, many of the search blocks that were not on the tracking target object are replaced with search blocks on the tracking target object, and the search blocks are easily aggregated on the tracking target object.
次に、探索ブロック更新処理を行う（図２０：ステップＳ１２９、詳細は図３２に示す）。探索ブロック更新処理は、各探索ブロックの移動と各探索ブロックに対応付けて記憶してある追尾対象のオブジェクトに関する特徴情報の更新とを行う。画像内に存在する（ステータスがON状態である）すべての探索ブロックについて、その位置情報、動きベクトルの情報が更新される（ステップＳ２４８、Ｓ２４９）。さらに状態（ステータス）がACTIVEであるオブジェクトに属する（当該オブジェクトを追尾対象とする）探索ブロックであり、かつ追尾対象のオブジェクトのＩＤと当該探索ブロックの存在位置の分割ブロックに付与されているオブジェクトのＩＤとが一致する探索ブロックについては、ＨＳＶ色空間累積ヒストグラムについても更新する（ステップＳ２４７）。 Next, search block update processing is performed (FIG. 20: step S129, details are shown in FIG. 32). In the search block update process, the movement of each search block and the update of the feature information regarding the tracking target object stored in association with each search block are performed. The position information and motion vector information are updated for all search blocks existing in the image (status is ON) (steps S248 and S249). Further, a search block belonging to an object whose status (status) is ACTIVE (with the object as a tracking target), and an object assigned to the divided block of the tracking target object ID and the position where the search block exists For the search block whose ID matches, the HSV color space cumulative histogram is also updated (step S247).
位置情報の更新は以下の通りである。
動きベクトル情報の更新は以下の通りであり、前時刻の探索ブロックの動きベクトルと現在の探索ブロック存在位置の分割ブロックにおける動きベクトルの線形荷重和となっている。
上記のようにしてオブジェクトの追尾・探索を行うことにより、図１８に示すように追尾対象のオブジェクトが障害物６１に一時的に隠れた場合でも、障害物６１に隠れる前後で同一オブジェクトを同一オブジェクトとして、すなわち、障害物６１に隠れる前後の同一オブジェクトに対して同一のオブジェクトＩＤを割り当てて、追尾することができる。 By tracking and searching for an object as described above, even if the object to be tracked is temporarily hidden by the obstacle 61 as shown in FIG. That is, the same object ID can be assigned to the same object before and after being hidden by the obstacle 61 for tracking.
同様に追尾対象のオブジェクト同士が交差した場合にも、交差の前後で同一のオブジェクトに対して同一のオブジェクトＩＤを付与して追尾することができる（図３３（ａ）〜（ｄ））。交差領域においては、適合度の高い探索ブロックに優位性がある。図３３（ｂ）では、オブジェクトＡがオブジェクトＢの背後を通過するので前面側のオブジェクトＢを追尾している探索ブロックが優位となる。同図（ｃ）に示すように、交差状態からオブジェクトＡとＢが互いに離れる際には、オブジェクトＡに属する探索ブロックはオブジェクトＡに追従し、オブジェクトＢに属する探索ブロックはオブジェクトＢを追従するように移動する（同図（ｄ））。 Similarly, even when tracking target objects intersect, tracking can be performed by assigning the same object ID to the same object before and after the intersection (FIGS. 33A to 33D). In the intersection area, a search block having a high degree of matching has an advantage. In FIG. 33B, since the object A passes behind the object B, the search block tracking the object B on the front side is dominant. As shown in FIG. 5C, when the objects A and B are separated from each other from the intersection state, the search block belonging to the object A follows the object A, and the search block belonging to the object B follows the object B. (Fig. 4D).
このように、本実施の形態に係るオブジェクト追尾・探索方法では、新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトの重心付近に複数の探索ブロックを生成しかつ各探索ブロックにその探索ブロックの存在領域における追尾対象オブジェクトの特徴情報を対応付けて記憶し、その後は、探索ブロックを追尾対象のオブジェクトに追従するように移動させると共に探索ブロックに記憶している追尾対象のオブジェクトの特徴情報の更新を行い、追尾に失敗した（消失した）後はランダムな動きが支配的となるように探索ブロックの移動を継続させ、探索ブロックという局所領域を単位に適合度を判断して消失した追尾対象のオブジェクトを探索することで、交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾する。 As described above, in the object tracking / search method according to the present embodiment, when a new object to be tracked is detected, a plurality of search blocks are generated near the center of gravity of the object, and each search block has its search block. Is stored in association with the feature information of the tracking target object in the existing region, and after that, the search block is moved so as to follow the tracking target object and the feature information of the tracking target object stored in the search block is stored. After updating and tracking fails (disappears), the search block continues to move so that random motion becomes dominant, and the tracking target that disappears by determining the fitness based on the local area called the search block By searching for the same object, the same object as the same object before and after crossing and hiding To tail.
なお、追尾しているオブジェクトから図１７のステップＳ１０６で抽出した形状、動き等のオブジェクトの特徴量データは、図６に示すようなＦＩＦＯ（First in First out）形式で記憶領域Ｆに特徴量時系列データとして保存される（図１７、ステップＳ１０７）。記憶された特徴量時系列データは、図１７の人・車両判別処理（ステップＳ１１１）で各追尾対象オブジェクトが人か車両かを判別する際に使用される。 Note that the feature quantity data of the object such as shape and movement extracted from the tracked object in step S106 in FIG. 17 is stored in the storage area F in the FIFO (First in First Out) format as shown in FIG. It is stored as series data (FIG. 17, step S107). The stored feature amount time-series data is used when determining whether each tracking target object is a person or a vehicle in the person / vehicle determination process (step S111) in FIG.
次に、人・車両判別処理（図１７のＳ１１１）について詳細に説明する。図３４は、人・車両判別処理の流れを示している。人・車両判別処理は追尾対象のオブジェクト毎に行われる。まず、追尾対象のオブジェクトの状態がACTIVE（追尾成功中）であるかどうかを確認し、ACTIVEでない場合は（ステップＳ３０１；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。 Next, the person / vehicle discrimination process (S111 in FIG. 17) will be described in detail. FIG. 34 shows the flow of the person / vehicle discrimination process. The person / vehicle discrimination process is performed for each object to be tracked. First, it is confirmed whether or not the state of the object to be tracked is ACTIVE (tracking is in progress). If the object is not ACTIVE (step S301; No), the person / vehicle discrimination process for the object to be tracked is terminated.
ACTIVEの場合は（ステップＳ３０１；Ｙｅｓ）、その追尾対象のオブジェクトに係る特徴量データが記憶領域Ｆに時系列に記憶されている時間長（Ｌ時間長とする）が、所定時間長（Ｔ時間長とする）以上か否かを確認する（ステップＳ３０２）。Ｔ時間長は記憶部２２に記憶可能なＬmax時間長以下の任意の時間長に設定することができる。たとえば、ＴはＬmaxの２分の１に設定される。 In the case of ACTIVE (step S301; Yes), the time length (L time length) in which the feature amount data related to the tracking target object is stored in time series in the storage area F is a predetermined time length (T time). It is confirmed whether or not it is longer (step S302). The T time length can be set to an arbitrary time length equal to or less than the Lmax time length that can be stored in the storage unit 22. For example, T is set to one half of Lmax.
Ｌ時間長がＴ時間長未満の場合は（ステップＳ３０２；Ｎｏ）、その追尾対象のオブジェクトに対する人・車両判別処理を終了する。 If the L time length is less than the T time length (step S302; No), the person / vehicle discrimination process for the tracking target object is terminated.
Ｌ時間長がＴ時間長以上の場合は（ステップＳ３０２；Ｙｅｓ）、記憶されているＬ時間長分の特徴量時系列データを人・車両判別部２４に入力し（ステップＳ３０３）、人・車両判別部２４において、人・車両の判別を行う。 If the L time length is equal to or longer than the T time length (step S302; Yes), the stored feature amount time-series data for the L time length is input to the person / vehicle determination unit 24 (step S303). In the determination unit 24, a person / vehicle is determined.
このように、オブジェクトを追尾し、追尾中にそのオブジェクトの特徴情報を示す特徴量データを時系列にある程度の時間長分サンプリングして蓄積記憶し、所定期間以上に渡る（Ｔ時間長以上の）特徴量時系列データに基づいてそのオブジェクトが人であるか車両であるかを判別するので、オブジェクトを検出した直後に人・車両を判別する場合に比べて、高い信頼性で人・車両を判別することができる。すなわち、人は動きの自由度が高くその「見え方」が様々となるので、ある時刻の画像のみに基づく判断では誤りが生じ易いが、本実施の形態の不審行動検知装置１０では所定期間のオブジェクト追尾中に時系列に収集した複数時刻分の特徴量データに基づいて判別するので、高い信頼性で人・車両を判別することができる。 In this way, the object is tracked, and the feature amount data indicating the feature information of the object is sampled and stored for a certain time length in time series during tracking, and the data is stored for a predetermined period or longer (T time length or longer). Since it is determined whether the object is a person or a vehicle based on the feature amount time series data, the person / vehicle can be identified with higher reliability compared to the case where the person / vehicle is detected immediately after the object is detected. can do. That is, since a person has a high degree of freedom of movement and the “appearance” varies, an error is likely to occur in a determination based only on an image at a certain time, but the suspicious behavior detection device 10 of the present embodiment has a predetermined period. Since the determination is made based on the feature data for a plurality of times collected in time series during the object tracking, it is possible to determine the person / vehicle with high reliability.
また交差や隠れがあっても同一オブジェクトを同一オブジェクトとして追尾できるので、追尾中に交差や隠れがあってもその前後をつなげて同一オブジェクトの時系列の特徴量データを収集することができる。 In addition, since the same object can be tracked as the same object even if there is a crossing or hiding, even if there is a crossing or hiding during tracking, the time series feature amount data of the same object can be collected.
また、特徴量データが所定時間長（Ｔ時間長）未満の場合には追尾対象オブジェクトの種類（人・車両）を判別しないので、サンプリング時間長の短い特徴量データによって誤判別されることが防止され、判別の信頼性が確保される。 Further, since the type (person / vehicle) of the tracking target object is not discriminated when the feature amount data is less than the predetermined time length (T time length), it is prevented from being erroneously discriminated by the feature amount data having a short sampling time length. Thus, the reliability of determination is ensured.
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。 The embodiment of the present invention has been described with reference to the drawings. However, the specific configuration is not limited to that shown in the embodiment, and there are changes and additions within the scope of the present invention. Are also included in the present invention.
実施の形態では、日常行動特徴量時系列ＤＢ部１５ｃは、監視動作中に逐次、記憶内容を更新したり、データを追加記憶したりした構成でもよいし、予め十分な量のデータを蓄積した構成でもよい。また、統計的手法により代表となる日常行動パターンを導出する処理は、監視動作中に行われてもよいが、予め日常行動特徴量時系列ＤＢ部１５ｃの記憶内容に基づいて導出して記憶しておき、監視動作中はその記憶されている代表の日常行動パターンを使用するように構成されてもよい。 In the embodiment, the daily behavior feature amount time series DB unit 15c may be configured to sequentially update the storage contents or additionally store the data during the monitoring operation, or accumulate a sufficient amount of data in advance. It may be configured. The process of deriving a representative daily behavior pattern by a statistical method may be performed during the monitoring operation, but is derived and stored in advance based on the storage content of the daily behavior feature time series DB unit 15c. The stored daily representative behavior pattern may be used during the monitoring operation.
実施の形態では、検知漏れを防止するために、図１２の二分木図５４や図１４の判定論理表５５を使用したが、たとえば、確実性の高い不審行動を検出する場合には、非日常度が閾値Ｔｈ１以上かつ特異度が閾値Ｔｈ２以上の場合のみを不審行動として検出するようにされてもよい。 In the embodiment, the binary tree diagram 54 of FIG. 12 and the decision logic table 55 of FIG. 14 are used to prevent detection omissions. However, for example, when detecting suspicious behavior with high certainty, Only when the degree is greater than or equal to the threshold Th 1 and the specificity is greater than or equal to the threshold Th 2 may be detected as suspicious behavior.
特徴量時系列データは、形、大きさなど実施の形態で例示した項目に限定されるものではなく、判別対象の物体の種類や、人の各種動きの特徴量を示すデータであれば任意に設定できる。 The feature amount time-series data is not limited to the items exemplified in the embodiment such as the shape and size, and may be any data as long as it indicates the type of object to be determined and the feature amount of various human movements. Can be set.
また、実施の形態ではオブジェクトの追尾方法として、消失したオブジェクトを探索ブロックによって追尾・探索する方法を例示したが、これに限定されるものではなく任意の方法で追尾すればよい。交差や隠れの前後で同一オブジェクトを同一オブジェクトとして追尾可能な方法が好ましいが、このような機能のない追尾方法でもかまわない。 In the embodiment, as the object tracking method, a method of tracking / searching a lost object using a search block is exemplified. However, the present invention is not limited to this, and tracking may be performed by any method. A method capable of tracking the same object as the same object before and after crossing or hiding is preferable, but a tracking method without such a function may be used.
実施の形態に示した追尾・探索では、分割ブロック単位にオブジェクトを追尾・探索するようにしたが、オブジェクト単位に追尾を行っても構わない。また実施の形態では、追尾対象のオブジェクトの動きとランダムな動き（乱数に基づく位置変更…数４）との合成によって探索ブロックを移動させることと、ACTIVEオブジェクトに属する探索ブロックを対象にした探索ブロックリサンプリング処理（適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理）との組み合わせにより、追尾に成功している間は探索ブロックを追尾対象のオブジェクトを追尾するように移動させ、消失中はランダムな動きが支配的となるように探索ブロックを移動させたが、探索ブロックの移動方法は実施の形態に例示した方法に限定されない。すなわち、追尾成功中は追尾対象のオブジェクトを追尾し、消失中はランダムな動きが支配的となるという移動ルールで移動すればよく、たとえば、追尾成功中はランダム要素なしに追尾対象の動きベクトルに従って移動させ、消失中は慣性的な動きを排除しランダムな動きのみで移動させるように構成されてもかまわない。 In the tracking / search shown in the embodiment, the object is tracked / searched in divided block units, but tracking may be performed in object units. In the embodiment, the search block is moved by synthesizing the movement of the object to be tracked and the random movement (position change based on the random number, Equation 4), and the search block targeted for the search block belonging to the ACTIVE object Combined with resampling (probabilistic replacement of search block with low fitness with search block with high fitness), the search block moves to track the tracking target object while tracking is successful The search block is moved so that the random motion becomes dominant during the disappearance, but the method of moving the search block is not limited to the method exemplified in the embodiment. That is, the tracking target object may be tracked during tracking success, and it may be moved according to the movement rule that random motion becomes dominant during disappearance.For example, according to the tracking target motion vector without random elements during tracking success. It may be configured to move and move only with random movement while eliminating the inertial movement during disappearance.
消失中の移動のルールは、消失直前のオブジェクトの動きにランダムな動きを加えることが好ましく、さらには時間の経過と共にランダムな動きがより支配的になるとよい。 As the rule of movement during disappearance, it is preferable to add a random motion to the motion of the object immediately before the disappearance, and it is preferable that the random motion becomes more dominant as time passes.
実施の形態では、ＨＳＶ色空間累積ヒストグラムの時間差分とオブジェクトと探索ブロックとの間の距離による距離係数とに基づいて各探索ブロックの適合度を決定するようにしたが、他の基準で適合度を定めてもよい。適合度は、画像としての一致度と、オブジェクトと探索ブロックとの位置関係とを要素として決定されることが好ましい。 In the embodiment, the fitness of each search block is determined based on the time difference of the HSV color space cumulative histogram and the distance coefficient based on the distance between the object and the search block. May be determined. The degree of matching is preferably determined using the degree of coincidence as an image and the positional relationship between the object and the search block as elements.
実施の形態では人・車両判別方法として、オブジェクトの「見え方」変動を考慮し、所定時間長オブジェクトを追尾した後に(追尾対象のオブジェクトに関して所定時間長以上の特徴量時系列データが蓄積された後に)、その特徴量時系列データをもとに、オブジェクトが人であるか車両であるかの判別を行っている。信頼性の高い人・車両判別方法が好ましいが、このような人・車両判別方法でなくても良い。 In the embodiment, as a person / vehicle discrimination method, after considering an object's “appearance” variation and tracking an object of a predetermined time length (feature amount time series data of a predetermined time length or more is accumulated for the object to be tracked) Later, based on the feature amount time-series data, it is determined whether the object is a person or a vehicle. A highly reliable person / vehicle discrimination method is preferable, but such a person / vehicle discrimination method is not necessary.
実施の形態では、人、車両を判別する場合を例に説明したが、判別対象の物体の種類はこれらに限定されるものではない。 In the embodiment, the case where the person and the vehicle are discriminated is described as an example, but the type of the object to be discriminated is not limited to these.
１０…不審行動検知装置
１１…カメラ部
１２…処理部
１３…入力部
１４…出力部
１５…データベース部
１５ａ…人特徴ＤＢ部
１５ｂ…車両特徴ＤＢ部
１５ｃ…日常行動特徴量時系列ＤＢ部
１５ｄ…特異行動特徴量時系列ＤＢ部
２１…追尾部
２２…記憶部
２３…蓄積制御部
２４…人・車両判別部
２５…行動解析部
２５ａ…非日常度導出部
２５ｂ…特異度導出部
２５ｃ…不審判定部
３０…オブジェクトデータテーブル
５１…知識ベース推論関数
５２…特異度(知識ベース推論関数最大値)
５４…二分木図
５５…判定論理表
６１…障害物
７０…探索ブロックデータテーブル
Ｆ…記憶領域
Ｐ１…オブジェクト検出フェーズ
Ｐ２…オブジェクト追尾・探索フェーズ
Ｐ３…人・車両判別フェーズ
Ｐ４…人オブジェクト抽出フェーズ
DESCRIPTION OF SYMBOLS 10 ... Suspicious behavior detection apparatus 11 ... Camera part 12 ... Processing part 13 ... Input part 14 ... Output part 15 ... Database part 15a ... Human feature DB part 15b ... Vehicle feature DB part 15c ... Daily action feature amount time series DB part 15d ... Peculiar behavior feature amount time series DB unit 21 ... tracking unit 22 ... storage unit 23 ... accumulation control unit 24 ... person / vehicle discriminating unit 25 ... behavior analysis unit 25a ... unusual degree deriving unit 25b ... specificity deriving unit 25c ... suspicious judgment Part 30 ... Object data table 51 ... Knowledge base reasoning function 52 ... Singularity (knowledge base reasoning function maximum value)
54 ... Binary tree diagram 55 ... Decision logic table 61 ... Obstacle 70 ... Search block data table F ... Storage area P1 ... Object detection phase P2 ... Object tracking / search phase P3 ... Human / vehicle discrimination phase P4 ... Human object extraction phase
Claims (8)
追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを、日常行動を行う複数人分についてデータベースに登録すると共に、特異行動を行う人物の特徴量時系列データより発見される知識ベース推論関数を推論関数記憶部に登録しておき、
前記カメラから入力される画像内の人物の追尾において、該人物の特徴量時系列データを収集し、
前記第１判定を、判定対象の人物に関する特徴量時系列データと、前記データベースに登録されている以前に追尾された日常行動を行う複数人分の特徴量時系列データとに基づく統計的手法によって行い、
前記第２判定を、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に登録されている知識ベース推論関数を適用して行う
ことを特徴とする不審行動検知方法。 A processing unit tracks a person in an image input from a camera, and first determination as to whether or not the action of the tracked person is an extraordinary action deviating from the daily action pattern, and the action of the person is suspicious. A suspicious behavior detection method for performing a second determination as to whether or not the singular behavior is present, and detecting the suspicious behavior of the person based on the determination results of the first determination and the second determination ,
Register feature time series data, which is time series of feature data indicating the feature information of the person being tracked, in the database for multiple people performing daily actions, and at the time of feature quantities of persons performing specific actions Register the knowledge-based reasoning function found from the series data in the reasoning function storage unit,
In the tracking of a person in an image input from the camera, the feature amount time series data of the person is collected,
The first determination is performed by a statistical method based on feature amount time-series data relating to a determination target person and feature amount time-series data for a plurality of persons who perform daily activities that have been tracked before registered in the database. Done
The suspicious behavior detection method , wherein the second determination is performed by applying a knowledge-based inference function registered in the inference function storage unit to feature amount time-series data relating to a determination target person .
ことを特徴とする請求項１に記載の不審行動検知方法。 If at least one of the determination result of the first determination for the person to be determined is an extraordinary action or the determination result of the second determination for the person is a peculiar action is true, the person The suspicious behavior detection method according to claim 1 , wherein the second determination is performed only when the suspicious behavior is detected and the determination result of the first determination is a daily behavior .
前記第１判定の判定結果が非日常行動で前記第２判定の判定結果が不審な特異行動でない場合、および、前記第１判定の判定結果が日常行動で前記第２判定の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする When the determination result of the first determination is unusual behavior and the determination result of the second determination is not suspicious unique behavior, and when the determination result of the first determination is everyday behavior and the determination result of the second determination is suspicious In the case of unusual behavior, the suspicious level is set to a second level lower than the first level.
ことを特徴とする請求項１に記載の不審行動検知方法。 The suspicious behavior detection method according to claim 1.
前記処理対象の画像内のオブジェクトを検出するステップと、 Detecting an object in the image to be processed;
新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、 When a new tracking target object is detected, a plurality of search blocks having a predetermined size for the tracking target are generated in the area of the object, and each search block has a feature of the object in the search block existing area. Storing information in association with each other;
探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、 For each search block, the object and the object to be tracked by the search block based on the comparison between the feature information of the object existing in the search block existence area and the feature information stored in association with the search block Calculating the fitness with
探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、 A determination is made as to whether or not an object existing in the search block existence area is a tracking target object of the search block based on the fitness of the search block, and if the determination result is true, the search block Determining a tracking target object as a tracking success object;
追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、 For each tracking success object, probabilistically replacing a search block with a low fitness with a search block with a high fitness between a plurality of search blocks targeting the object,
前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、 Updating the feature information stored in association with the search block for the search block whose tracking target is the tracking target;
各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、 Moving each search block based on a combined motion of the object to be tracked in the search block and a random motion;
を繰り返し行い Repeat
前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。 The process of probabilistically replacing a search block having a low fitness with a search block with a high fitness between a plurality of search blocks of the same object as the tracking target is the sum of the fitness of all search blocks having the object as a tracking target. A roulette with the ratio of the fitness of each search block to the appearance probability of the search block is generated, a random number lottery based on the roulette is performed for each search block whose tracking target is the object, and the search block is selected by the lottery This is done by replacing the search block corresponding to the result.
前記追尾部で追尾した人物の行動が日常行動パターンから外れた非日常行動であるか否かを判定する第１判定部と、
前記人物の行動が不審な特異行動か否かを判定する第２判定部と、
前記第１判定部と前記第２判定部の判定結果に基づいて前記人物の不審行動を検知する不審判定部と、
追尾している人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データが日常行動を行う複数人分について登録されたデータベースと、
特異行動を行う人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データより発見される知識ベース推論関数が登録された推論関数記憶部と、
を有し、
前記追尾部は、追尾対象の人物について、その人物の刻々の特徴情報を示す特徴量データを時系列にした特徴量時系列データを収集し、
前記第１判定部は、判定対象の人物に関する特徴量時系列データと前記データベースに登録されている特徴量時系列データとに基づく統計的手法によって、前記人物の行動が非日常行動であるか否かを判定し、
前記第２判定部は、判定対象の人物に関する特徴量時系列データに、前記推論関数記憶部に記憶されている知識ベース推論関数を適用して、前記人物の行動が不審な特異行動か否かを判定する
ことを特徴とする不審行動検知装置。 A tracking unit for tracking a person in an image input from the camera;
A first determination unit that determines whether the behavior of the person tracked by the tracking unit is an extraordinary behavior deviating from the daily behavior pattern;
A second determination unit that determines whether the action of the person is a suspicious unique action;
A suspicious determination unit that detects the suspicious behavior of the person based on the determination results of the first determination unit and the second determination unit;
A database in which feature amount time series data obtained by chronologically storing feature amount data indicating the feature information of the person being tracked is registered for a plurality of people who perform daily actions,
A reasoning function storage unit in which a knowledge-based reasoning function found from feature amount time-series data in which feature amount data indicating the feature information of a person performing a specific action is time-sequentially registered;
Have
The tracking unit collects feature amount time-series data of time-series feature amount data indicating the feature information of the person for the tracking target person,
The first determination unit determines whether or not the action of the person is an extraordinary action by a statistical method based on the feature amount time-series data related to the determination target person and the feature amount time-series data registered in the database. Determine whether
The second determination unit applies the knowledge-based inference function stored in the inference function storage unit to the feature amount time-series data related to the determination target person to determine whether or not the person's action is a suspicious unique action A suspicious behavior detecting device characterized by determining
ことを特徴とする請求項５に記載の不審行動検知装置。 In the suspicious determination unit, at least one of the determination result of the first determination unit with respect to the determination target person being an unusual action or the determination result of the second determination unit with respect to the person being a specific action is If true, it is determined that suspicious behavior is detected for the person, and the determination by the second determination unit is performed only when the determination result of the first determination unit is daily activity. Item 6. The suspicious behavior detection device according to Item 5.
前記第１判定部の判定結果が非日常行動でありかつ前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを第１レベルとし、
前記第１判定部の判定結果が非日常行動で前記第２判定部の判定結果が不審な特異行動でない場合、および、前記第１判定部の判定結果が日常行動で前記第２判定部の判定結果が不審な特異行動の場合は不審のレベルを前記第１レベルより低い第２レベルとする
ことを特徴とする請求項５または６に記載の不審行動検知装置。 The suspicious determination unit
If the determination result of the first determination unit is an unusual behavior and the determination result of the second determination unit is a suspicious unique behavior, the suspicious level is the first level,
When the determination result of the first determination unit is an unusual action and the determination result of the second determination part is not a suspicious unique action, and the determination result of the first determination part is an everyday action and the determination of the second determination part The suspicious behavior detection device according to claim 5 or 6, wherein when the result is suspicious unique behavior, the suspicious level is set to a second level lower than the first level.
前記処理対象の画像内のオブジェクトを検出するステップと、 Detecting an object in the image to be processed;
新規に追尾対象のオブジェクトを検出した場合に、そのオブジェクトを追尾対象とする所定サイズの探索ブロックを前記オブジェクトの領域内に複数発生させると共に各探索ブロックに当該探索ブロックの存在領域における前記オブジェクトの特徴情報を対応付けて記憶するステップと、 When a new tracking target object is detected, a plurality of search blocks having a predetermined size for the tracking target are generated in the area of the object, and each search block has a feature of the object in the search block existing area. Storing information in association with each other;
探索ブロック毎に、その探索ブロックの存在領域に存在するオブジェクトの特徴情報と前記探索ブロックに対応付けて記憶されている前記特徴情報との比較に基づいて前記オブジェクトと前記探索ブロックの追尾対象のオブジェクトとの適合度を演算するステップと、 For each search block, the object and the object to be tracked by the search block based on the comparison between the feature information of the object existing in the search block existence area and the feature information stored in association with the search block Calculating the fitness with
探索ブロックの存在領域に存在するオブジェクトがその探索ブロックの追尾対象のオブジェクトであるか否かを該探索ブロックに係る前記適合度に基づいて判断し、該判断結果が真の場合に前記探索ブロックの追尾対象のオブジェクトを追尾成功オブジェクトと判断するステップと、 A determination is made as to whether or not an object existing in the search block existence area is a tracking target object of the search block based on the fitness of the search block, and if the determination result is true, the search block Determining a tracking target object as a tracking success object;
追尾成功オブジェクト毎に、そのオブジェクトを追尾対象とする複数の探索ブロック間で、適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換えるステップと、 For each tracking success object, probabilistically replacing a search block with a low fitness with a search block with a high fitness between a plurality of search blocks targeting the object,
前記追尾成功オブジェクトを追尾対象とする探索ブロックについて、その探索ブロックに対応付けて記憶されている前記特徴情報を更新するステップと、 Updating the feature information stored in association with the search block for the search block whose tracking target is the tracking target;
各探索ブロックを、その探索ブロックの追尾対象のオブジェクトの動きとランダムな動きとを合成した動きに基づいて移動させるステップと、 Moving each search block based on a combined motion of the object to be tracked in the search block and a random motion;
を繰り返し行い Repeat
前記追尾対象が同一オブジェクトの複数の探索ブロック間で適合度の低い探索ブロックを適合度の高い探索ブロックに確率的に置き換える処理は、前記オブジェクトを追尾対象とするすべての探索ブロックの適合度の和に対する個々の探索ブロックの適合度の比率をその探索ブロックの出現確率とするルーレットを生成し、前記オブジェクトを追尾対象とする探索ブロック毎に前記ルーレットに基づく乱数抽選を行い、その探索ブロックをその抽選結果の出目に対応する探索ブロックに置き換えることによって行う。 The process of probabilistically replacing a search block having a low fitness with a search block with a high fitness between a plurality of search blocks of the same object as the tracking target is the sum of the fitness of all search blocks having the object as a tracking target. A roulette with the ratio of the fitness of each search block to the appearance probability of the search block is generated, a random number lottery based on the roulette is performed for each search block whose tracking target is the object, and the search block is selected by the lottery This is done by replacing the search block corresponding to the result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009178422A JP5496566B2 (en) | 2009-07-30 | 2009-07-30 | Suspicious behavior detection method and suspicious behavior detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009178422A JP5496566B2 (en) | 2009-07-30 | 2009-07-30 | Suspicious behavior detection method and suspicious behavior detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011035571A JP2011035571A (en) | 2011-02-17 |
| JP5496566B2 true JP5496566B2 (en) | 2014-05-21 |
Family
ID=43764223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009178422A Active JP5496566B2 (en) | 2009-07-30 | 2009-07-30 | Suspicious behavior detection method and suspicious behavior detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5496566B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5738028B2 (en) * | 2011-03-25 | 2015-06-17 | セコム株式会社 | Video processing device |
| US8639040B2 (en) * | 2011-08-10 | 2014-01-28 | Alcatel Lucent | Method and apparatus for comparing videos |
| KR102222324B1 (en) * | 2018-03-26 | 2021-03-03 | 한국전자통신연구원 | Apparatus and method for detecting drunken person based on video analysis |
| JP7371624B2 (en) | 2018-06-26 | 2023-10-31 | コニカミノルタ株式会社 | Programs that run on computers, information processing devices, and methods that run on computers |
| JP7415611B2 (en) | 2020-01-30 | 2024-01-17 | 富士通株式会社 | Calculation program, calculation method and calculation device |
| CN112035507B (en) * | 2020-08-06 | 2024-04-12 | 杭州安恒信息技术股份有限公司 | Abnormal inquiry personnel early warning method and device, electronic equipment and readable storage medium |
| KR102337779B1 (en) * | 2021-05-11 | 2021-12-09 | 배광진 | Method of preventing the leakage of the information based on behavior and system performing the same |
| CN116503814B (en) * | 2023-05-24 | 2023-10-24 | 北京安录国际技术有限公司 | Personnel tracking method and system for analysis |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11184701A (en) * | 1997-12-22 | 1999-07-09 | Omron Corp | Device for adjusting knowledge of inference system and method therefor and recording medium |
| JP2003087771A (en) * | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | Monitoring system and monitoring method |
| JP4592383B2 (en) * | 2004-10-25 | 2010-12-01 | 三菱電機株式会社 | Suspicious person notification system |
| JP2007089105A (en) * | 2005-09-20 | 2007-04-05 | Ara Software:Kk | Walk monitoring system |
| JP4369961B2 (en) * | 2007-03-23 | 2009-11-25 | 株式会社日立製作所 | Abnormality detection device and abnormality detection program |
-
2009
- 2009-07-30 JP JP2009178422A patent/JP5496566B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011035571A (en) | 2011-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5496566B2 (en) | Suspicious behavior detection method and suspicious behavior detection device | |
| JP5358851B2 (en) | Suspicious behavior detection method and suspicious behavior detection device | |
| Owens et al. | Application of the self-organising map to trajectory classification | |
| US8588466B2 (en) | Object area detection system, device, method, and program for detecting an object | |
| KR101788269B1 (en) | Method and apparatus for sensing innormal situation | |
| WO2014050518A1 (en) | Information processing device, information processing method, and information processing program | |
| JP5717553B2 (en) | Suspicious person detection method and apparatus, abnormal event detection method and apparatus | |
| JP4884331B2 (en) | Moving object tracking device | |
| JP4874150B2 (en) | Moving object tracking device | |
| JP5208893B2 (en) | Moving object tracking device | |
| EP2659456A2 (en) | Scene activity analysis using statistical and semantic feature learnt from object trajectory data | |
| JP2006079272A (en) | Abnormal behavior detection apparatus and abnormal behavior detection method | |
| JP2007272488A (en) | Image processor, monitor camera and image monitoring system | |
| JP5253102B2 (en) | Object discrimination method and object discrimination device | |
| JP4613230B2 (en) | Moving object monitoring device | |
| JP4969291B2 (en) | Moving object tracking device | |
| WO2019220589A1 (en) | Video analysis device, video analysis method, and program | |
| Gunale et al. | Fall detection using k-nearest neighbor classification for patient monitoring | |
| CN113920585A (en) | Behavior recognition method and device, equipment and storage medium | |
| JP5253101B2 (en) | Object tracking method and image processing apparatus | |
| JP5008118B2 (en) | Suspicious person discrimination system and profile distribution system | |
| CN114373142A (en) | Pedestrian falling detection method based on deep learning | |
| JP3871051B2 (en) | Image processing device for monitoring | |
| KR102147678B1 (en) | Image merging stream reasoning surveilance method | |
| Deepak et al. | Human recognition for surveillance systems using bounding box |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5496566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |