JP5550974B2 - Suspicious person detection device - Google Patents

Description

本発明は、監視画像から人物像を追跡し、当該人物像の行動パターン等から不審者であるか否かを検知する不審者検知装置に関する。   The present invention relates to a suspicious person detection device that tracks a person image from a monitoring image and detects whether or not the person image is a suspicious person from a behavior pattern of the person image.

従来、不審者検知装置は、特定領域を撮影する監視カメラと、当該監視カメラで撮影した画像を経時的に解析する画像解析部と、当該画像解析部による解析結果に基づいて不審行動を検知することにより、ＡＴＭ等における不審者を検知する用途に利用されている。例えば、特許文献１には、ＡＴＭ周辺領域における人物像の移動軌跡や人数等を解析することにより、ＡＴＭへのいたずらや他の利用者の覗き見等といった不審な行動を示す不審者を検知する不審者検知装置が提案されている。   Conventionally, a suspicious person detection device detects a suspicious behavior based on a monitoring camera that captures a specific region, an image analysis unit that analyzes an image captured by the monitoring camera over time, and an analysis result of the image analysis unit. Therefore, it is used for detecting a suspicious person in an ATM or the like. For example, Patent Literature 1 detects a suspicious person who exhibits suspicious behavior such as mischief to an ATM or peeping of another user by analyzing a movement trajectory or the number of persons in a peripheral area of the ATM. Suspicious person detection devices have been proposed.

特開２００９−０７５８０２JP2009-075802

しかしながら、従来の不審者検知装置は、開店中の店舗や通常業務を行っている事務所では、複数の従業員や顧客が部屋の中を自由に動き回わることになる。このような状況においては、従業員や顧客の通常行われる行動と、強盗等により脅されたときのような非常時における行動とを判別することが困難である。このため、従業員や顧客の通常時の行動を非常時の行動と誤って判定し非常通報をしてしまうことが多発する恐れがある。同様に、オープンなスペースである街角等においても、不特定多数の人々が自由に往来するため、ストーカー等の不審者と通常の往来者とを区別することが難しかった。   However, the conventional suspicious person detection device allows a plurality of employees and customers to freely move around in a room in an open store or an office that conducts normal business. In such a situation, it is difficult to discriminate between behaviors normally performed by employees and customers and behaviors in an emergency such as when threatened by burglary or the like. For this reason, it may occur frequently that an employee or customer's normal behavior is mistakenly determined as an emergency behavior and an emergency call is made. Similarly, even on street corners and the like that are open spaces, it is difficult to distinguish suspicious persons such as stalkers from ordinary visitors because unspecified number of people freely come and go.

ところで、押込強盗時等の非常時においては、賊は従業員を刃物等で脅迫しつつ金庫の解錠を強要するため、従業員と一定の位置関係を保つ傾向がある。同じように、ストーカーも、尾行対象者と一定の位置関係を保ちつつ行動する傾向がある。   By the way, in the event of an emergency such as intrusion robbery, bandits tend to maintain a certain positional relationship with the employee because they threaten the employee with a blade and force the unlocking of the safe. Similarly, stalkers tend to act while maintaining a certain positional relationship with the tailing target person.

そこで本発明は、上記のような不審者と利用者との特殊な位置関係に着目し、複数人が監視領域に存在していたとしてもその中から位置関係が略一定となる人物等を検出することにより、誤報の発生を抑えて高い精度で押込強盗等の不審者を検知することを目的としたものである。   Therefore, the present invention pays attention to the special positional relationship between the suspicious person and the user as described above, and detects a person or the like whose positional relationship is substantially constant even if there are multiple persons in the monitoring area. By doing so, it is intended to detect a suspicious person such as an intrusion robbery with high accuracy while suppressing the occurrence of false alarms.

かかる課題を解決するために、本発明は、所定領域内の画像を順次取得する撮像部と、画像から検出した人物像ごとに画像上にて追跡し各人物像の位置情報を順次出力する追跡部と、不審者の存在を検知する検知部と、不審者の存在を検知すると警報出力する出力部とを有する不審者検知装置において、検知部は、追跡部にて複数の人物像を検出しているならば、複数の人物像のうち第一の人物像と他の第二の人物像との相対的な位置関係である相対位置を算出する相対位置算出手段と、前記相対位置が所定時間にわたって略一定であるとき不審者が存在しているとする判定手段とを有することを特徴とする不審者検知装置を提供する。   In order to solve such a problem, the present invention provides an imaging unit that sequentially acquires images in a predetermined area, and tracking that sequentially tracks each person image detected from the image and sequentially outputs position information of each person image. In the suspicious person detection device, the detection part detects a plurality of human images in the tracking part. If so, relative position calculating means for calculating a relative position that is a relative positional relationship between the first person image and the other second person image among the plurality of person images, and the relative position is a predetermined time. And a suspicious person detecting device characterized in that a suspicious person is present when it is substantially constant.

上記構成により、本発明は、撮像部により取得した画像に基づいて検出及び追跡された複数の人物像について、各人物像間の相対位置が所定時間にわたって略一定となっていると、不審者が存在しているとして警告出力することができる。これにより、例えば、賊と凶器等により脅されている従業員とが一定距離を保ちつつ行動している押込強盗や、対象者を一定距離を保ちながらこっそり尾行しているストーカー等を検知することができる。   With the above configuration, according to the present invention, for a plurality of human images detected and tracked based on an image acquired by the imaging unit, if the relative position between the human images is substantially constant over a predetermined time, A warning can be output as it exists. This detects, for example, intruder robbery in which a bandit and an employee threatened by a weapon are acting at a certain distance, or a stalker that is secretly following the person at a certain distance Can do.

また、本発明の好ましい態様は、所定領域が重要物を保管する保管庫を含んでおり、予め画像上で設定された保管庫を操作可能な領域である至近領域が保存されている領域記憶部を更に有し、前記判定手段は、前記第一の人物像が前記領域記憶部の前記至近領域内に存在しているとき不審者が存在しているとする。
かかる構成により、撮像部により取得した画像に基づいて検出及び追跡された複数の人物像について、各人物像間の相対位置が所定時間にわたって略一定となっており、少なくともそのうちの一人が保管庫近辺の所定領域に存在する場合は、不審者が存在しているとして警告出力することができる。これにより、例えば、凶器等により脅している従業員と一定距離を保ちつつ金庫等の保管庫へ移動し、当該従業員に対して保管庫を解錠させるよう強要している押込強盗を検知することができる。 In a preferred aspect of the present invention, the predetermined area includes a storage area for storing important objects, and an area storage unit in which a close area that is an area in which the storage area set in advance on the image can be operated is stored. Further, it is assumed that the determination means includes a suspicious person when the first person image exists in the close area of the area storage unit.
With this configuration, for a plurality of human images detected and tracked based on images acquired by the imaging unit, the relative positions between the human images are substantially constant over a predetermined time, and at least one of them is in the vicinity of the storage Can be output as a warning that there is a suspicious person. This detects, for example, a push-robber who is forced to move to a safe such as a safe while keeping a certain distance from an employee threatened by a weapon, etc., and unlocking the safe. be able to.

また、本発明の好ましい態様は、判定手段は、第一の人物像および第二の人物像の画像上の位置が、所定時間にわたって略一定であるとき不審者が存在しているとする。
かかる構成により、撮像部により取得した画像に基づいて検出及び追跡された複数の人物像について、各人物像間の相対位置が所定時間にわたって略一定となっており、それらの人物像が画像上で所定時間略一定であるとき、不審者が存在しているとして警告出力することができる。これにより、例えば、従業員との距離を一定に保ちつつ凶器等により、金庫を開放させるべく従業員を脅している状況や、従業員と一定距離を保ちつつ、当該従業員をロープなどにより拘束している状況などを検出できるので、押込強盗を検知することができる。 Further, in a preferred aspect of the present invention, it is assumed that the determination means has a suspicious person when the positions of the first person image and the second person image on the image are substantially constant over a predetermined time.
With this configuration, for a plurality of human images detected and tracked based on the image acquired by the imaging unit, the relative positions between the human images are substantially constant over a predetermined time, and the human images are displayed on the image. When it is approximately constant for a predetermined time, a warning can be output that there is a suspicious person. As a result, for example, a situation where the employee is threatened to open the safe with a weapon, etc. while keeping the distance to the employee constant, or the employee is restrained by a rope while keeping a certain distance from the employee. It is possible to detect the intrusion robbery because it is possible to detect the situation that the user is doing.

また、本発明の好ましい態様は、追跡部にて追跡している前記人物像と関連付けて当該人物像の顔画像を取得し、当該顔画像中の顔部位が検出できないことにより、当該顔部位が隠蔽されているか否かを判定する顔隠蔽判定部を更に有し、顔隠蔽判定部にて前記第二の人物像の顔部位が隠蔽されていると判定されたならば不審者が存在していると判定する。
かかる構成により、撮像部により取得した画像に基づいて検出及び追跡された複数の人物像について、各人物像間の相対位置が所定時間にわたって略一定となっており、そのうち一方の人物像について顔部位が隠蔽されているとき、不審者が存在しているとして警告出力することができる。一般的に、他の人物と一定距離を保ちつつ行動し、更に顔を隠蔽している人物は、凶器等により脅している押込強盗である疑いが強いと判定できる。したがって、押込強盗を高い精度で検知できる。 In a preferred aspect of the present invention, a face image of the person image is acquired in association with the person image tracked by the tracking unit, and the face part in the face image cannot be detected. A face concealment determining unit that determines whether or not it is concealed, and if the face concealment determining unit determines that the face part of the second person image is concealed, there is a suspicious person; It is determined that
With this configuration, for a plurality of human images detected and tracked based on an image acquired by the imaging unit, the relative position between the human images is substantially constant over a predetermined time, and one of the human images is a facial part. Can be output as a warning that there is a suspicious person. In general, it can be determined that a person who acts while keeping a certain distance from other persons and further conceals his face is strongly suspected of being a burglar who is threatened by a weapon. Therefore, intrusion robbery can be detected with high accuracy.

また、本発明の好ましい態様は、追跡部にて追跡している人物像と関連付けて当該人物像の顔画像を取得し、当該顔画像と予め登録された顔画像とを比較することにより、当該人物像が前記保管庫を解錠する資格を有する人物であるか否かを認証する認証部を更に有し、認証部にて第一の人物像を認証でき、第二の人物像を認証できないならば不審者が存在していると判定する。
かかる構成により、撮像部により取得した画像に基づいて検出及び追跡された複数の人物像について、各人物像間の相対位置が所定時間にわたって略一定となっており、そのうち一方の人物像が保管庫近辺に存在して解錠資格を有する人物であると認証でき、もう一方の人物像が認証できないとき、不審者が存在しているとして警告出力することができる。一般的に、金庫等の保管庫の解錠操作は、規則等により解錠資格を有しない者の前で行わない運用となっている場合が多い。したがって、解錠資格を有して保管庫近辺に存在する人物と一定距離を保ちつつ行動している解錠資格を有さない人物は、解錠を強要している押込強盗や、暗証番号を盗み見している内部犯行者である疑いが強いため、これらの不審人物を高い精度で検知できる。 In a preferred aspect of the present invention, a face image of the person image is acquired in association with the person image tracked by the tracking unit, and the face image is compared with a face image registered in advance. An authentication unit that authenticates whether the person image is a person who is qualified to unlock the storage, the authentication unit can authenticate the first person image, and cannot authenticate the second person image Then, it is determined that there is a suspicious person.
With this configuration, for a plurality of human images detected and tracked based on images acquired by the imaging unit, the relative positions between the human images are substantially constant over a predetermined time, and one of the human images is stored in the storage. When it is possible to authenticate that the person exists in the vicinity and has the qualification for unlocking, and when the other person image cannot be authenticated, a warning can be output that there is a suspicious person. In general, the unlocking operation of a storage such as a safe is often not performed in front of a person who does not have the qualification for unlocking according to rules or the like. Therefore, a person who does not have the unlocking qualification who acts while keeping a certain distance from the person who has the unlocking qualification and who is in the vicinity of the vault will be required to enter the intrusion robbery and the security code forcing the unlocking. Since there is a strong suspicion of being a criminal insider, these suspicious persons can be detected with high accuracy.

また、本発明の好ましい態様は、センサーにより監視領域内への侵入者を検出して異常を外部の装置に通報する警備装置に接続され、予め設定された所定時刻から当該警備装置からの警備開始信号を受信するまでの時間帯にのみ、不審者が存在しているか否かを判定する。
かかる構成により、例えば、営業時間の終了から警備装置により警備が開始されるまでの間の事務所内における従業員が少なくなる時間帯にのみ、不審者の検知を行うことができる。これにより、従業員の移動による誤報を低減することができ、運用負荷を低減することができる。また、押込強盗が発生しやすい時間帯にのみ集中的に監視することができるため効率的な監視運用を行うことができる。 Moreover, the preferable aspect of this invention is connected to the security apparatus which detects the intruder into the monitoring area | region with a sensor, and notifies abnormality to an external apparatus, and starts the security from the said security apparatus from the preset predetermined time. It is determined whether or not there is a suspicious person only during the time period until the signal is received.
With such a configuration, for example, a suspicious person can be detected only during a time period in which the number of employees in the office decreases from the end of business hours to when the security device starts security. As a result, misinformation due to the movement of employees can be reduced, and the operational load can be reduced. Moreover, since it can monitor intensively only in the time zone where an intrusion robbery is likely to occur, an efficient monitoring operation can be performed.

上記のように、本発明の不審者検知装置は、押込強盗等の不審者を高い精度で検知できる。   As described above, the suspicious person detection device of the present invention can detect a suspicious person such as an intruder robbery with high accuracy.

実施例に係る不審者検知装置の構成と配置イメージを模式的に示した図The figure which showed typically the structure and arrangement | positioning image of a suspicious person detection apparatus which concern on an Example. 管理装置の構成を示すブロック図Block diagram showing the configuration of the management device 制御部の処理を示すブロック図Block diagram showing the processing of the control unit 顔判定情報を示す図The figure which shows face determination information 移動軌跡情報を示す図Diagram showing movement trajectory information 移動属性情報を示す図Diagram showing movement attribute information 不審者判定情報を示す図Figure showing suspicious person judgment information 制御部における処理を示すフローチャートFlow chart showing processing in the control unit 移動属性情報の算出処理を示すフローチャートFlowchart showing movement attribute information calculation processing 相対距離演算処理を示すフローチャートFlow chart showing relative distance calculation processing 不審者異常と判定される典型的なケースを示す図A diagram showing a typical case that is determined to be a suspicious person abnormality

以下、本発明の一実施形態として、重要監視物である金庫が設置された金庫室を監視空間とし、監視空間の撮像画像から不審者である押込強盗の存在を検知する場合の実施例について、図面を参照して説明する。   Hereinafter, as an embodiment of the present invention, a safe room in which a safe that is an important monitoring object is set as a monitoring space, and an example in the case of detecting the presence of a burglar who is a suspicious person from a captured image of the monitoring space, This will be described with reference to the drawings.

図１は、不審者検知装置１の全体構成および配置について模式的に示した図である。不審者検知装置１は、管理装置２、人物追跡カメラ３、顔検出カメラ４によって構成される。   FIG. 1 is a diagram schematically showing the overall configuration and arrangement of the suspicious person detection device 1. The suspicious person detection device 1 includes a management device 2, a person tracking camera 3, and a face detection camera 4.

管理装置２は、金庫室を備えた建物内の事務室や警備室等に設置され、管理装置２に接続された人物追跡カメラ３及び顔検出カメラ４から送信された画像に基づいて不審者検知処理を行う。また、管理装置２は、不審者の検知時に、事務室等に所在する管理者や警備員等に音声や画像表示によって警報出力することにより、不審者の存在を報知する。さらに、管理装置２は、警備装置８に接続され、不審者の検知時に警備装置８に異常信号を送信する。   The management device 2 is installed in an office room or a security room in a building equipped with a safe room, and detects suspicious persons based on images transmitted from the person tracking camera 3 and the face detection camera 4 connected to the management device 2. Process. Moreover, the management apparatus 2 alert | reports presence of a suspicious person by outputting a warning by an audio | voice or an image display to the administrator, security guard, etc. who are located in an office etc. at the time of detection of a suspicious person. Further, the management device 2 is connected to the security device 8 and transmits an abnormal signal to the security device 8 when a suspicious person is detected.

人物追跡カメラ３は、金庫１０前面の真上の天井部に金庫室を俯瞰して設置され、監視空間を所定時間おきに撮影し、監視画像を管理装置２に順次送信する。監視画像が撮像される時間間隔は例えば１／５秒である。以下、この時間間隔で刻まれる時間の単位を時刻と称する。
監視画像として撮像される範囲には、一点鎖線で図示された領域１１，１２が含まれる。これらの領域は、管理装置２にて監視画像上の一部領域として予め設定され、管理装置２による不審者検知処理において参照される。なお、領域１１は、金庫１０の利用者が金庫１０の錠に対して操作可能な操作領域である。具体的には、操作領域１１は金庫１０を中心とする半径１．５ｍ相当の領域に設定される。また、領域１２は、押込強盗に係る賊の不審行動を判定する際に利用する重点監視領域である。具体的には、重点監視領域１２は金庫１０を中心とする半径５ｍ相当の領域に設定される。重点監視領域１２は、操作領域１１を内包するよう設定される。好適には、重点監視領域１２は出入口を含まないように設定される。 The person tracking camera 3 is installed on a ceiling portion directly above the front face of the safe 10 with a bird's eye view of the safe room. The person tracking camera 3 photographs the monitoring space every predetermined time and sequentially transmits the monitoring images to the management device 2. The time interval at which the monitoring image is captured is 1/5 second, for example. Hereinafter, the unit of time recorded at this time interval is referred to as time.
The range imaged as the monitoring image includes regions 11 and 12 illustrated by a one-dot chain line. These areas are set in advance as partial areas on the monitoring image by the management apparatus 2 and are referred to in the suspicious person detection process by the management apparatus 2. The area 11 is an operation area in which the user of the safe 10 can operate the lock of the safe 10. Specifically, the operation area 11 is set to an area corresponding to a radius of 1.5 m with the safe 10 as the center. The region 12 is a priority monitoring region used when determining a suspicious behavior of a bandit involved in intrusion robbery. Specifically, the priority monitoring area 12 is set to an area corresponding to a radius of 5 m with the safe 10 as the center. The priority monitoring area 12 is set so as to include the operation area 11. Preferably, the priority monitoring area 12 is set so as not to include an entrance / exit.

顔検出カメラ４は、金庫１０背後の壁面に設置され、金庫１０に正対する人物を正面から所定時間おきに撮像して正面画像を取得し、管理装置２に送信する。   The face detection camera 4 is installed on the wall behind the safe 10, captures a person facing the safe 10 from the front at predetermined time intervals, acquires a front image, and transmits it to the management device 2.

なお、管理装置２と接続されている警備装置８は、金庫室を備えた建物内の事務室や警備室等に設置されている。警備装置８は、管理装置２からの異常信号を受信すると、公衆電話回線などの広域通信ネットワークを介して警備センタ装置９に当該異常を送信し、遠隔地にある警備センタに常駐する警備員に対して異常の発生を報知する。また、警備装置８は、赤外線センサー、マグネットセンサー等のセンサー（図示せず）と接続され、警備中において当該センサーにより侵入者を検知した場合、警備センタ装置９に異常信号を送信することにより、警備センタに常駐する警備員に対して異常の発生を通知する。また、警備装置８は、警備の開始時及び終了時に警備開始信号及び警備終了信号を管理装置２へ送信する。   The security device 8 connected to the management device 2 is installed in an office room, a security room, or the like in a building equipped with a safe room. When the security device 8 receives the abnormality signal from the management device 2, the security device 8 transmits the abnormality to the security center device 9 via a wide area communication network such as a public telephone line, and sends the abnormality to the security guard resident in the remote security center. Inform the occurrence of abnormality. Further, the security device 8 is connected to a sensor (not shown) such as an infrared sensor or a magnet sensor, and when an intruder is detected by the sensor during security, by transmitting an abnormal signal to the security center device 9, Notify the security staff residing at the security center of the occurrence of an abnormality. The security device 8 transmits a security start signal and a security end signal to the management device 2 at the start and end of security.

図２は、管理装置２の構成を示している。管理装置２は、コンピュータ機能を有しており、記憶部２１、制御部２２、入力部２３、出力部２４及び通信部２５を備えている。   FIG. 2 shows the configuration of the management device 2. The management device 2 has a computer function and includes a storage unit 21, a control unit 22, an input unit 23, an output unit 24, and a communication unit 25.

通信部２５は、ＬＡＮやＵＳＢ等の通信インタフェースであり、人物追跡カメラ３、顔検出カメラ４及び警備装置８と双方向通信を行う。   The communication unit 25 is a communication interface such as LAN or USB, and performs bidirectional communication with the person tracking camera 3, the face detection camera 4, and the security device 8.

入力部２３は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。管理者等は、入力部２３を用いて、管理装置２に対して様々な設定情報や操作情報等を入力することができる。   The input unit 23 is an information input device such as a keyboard, a mouse, a touch panel, or a portable storage medium reading device. An administrator or the like can input various setting information, operation information, and the like to the management apparatus 2 using the input unit 23.

出力部２４は、制御部２２による処理結果を外部機器等に出力するためのインタフェースである。出力部２４は、例えばスピーカやブザー等の音響出力機器と接続され、制御部２２からの指示により、当該音響出力機器に対して警告音の鳴動を実行させる異常信号を出力する。また、出力部２４は、例えばディスプレイ等の表示出力機器と接続され、制御部２２からの指示により、当該表示出力機器に対して警告メッセージを表示出力する。管理者等は、警告出力として出力部２４からの表示出力や音声出力を確認することにより、監視領域内に不審者が存在することを検知することができる。なお、管理者等は、表示出力を確認することにより、不審者検知装置１の設定情報、監視領域における監視画像や正面画像等を確認することもできる。
また、出力部２４は、外部の警備装置８に対して異常信号を送信する通信インタフェースを含んでもよい。これにより、制御部２２の処理によって異常が検知された場合に、管理装置２は、異常の検知を知らせる信号を外部の監視センタなどに通知することができる。なお、この場合、出力部２４は、通信部２５と共通のインタフェース装置であってもよい。 The output unit 24 is an interface for outputting the processing result by the control unit 22 to an external device or the like. The output unit 24 is connected to a sound output device such as a speaker or a buzzer, for example, and outputs an abnormal signal that causes the sound output device to sound a warning sound in response to an instruction from the control unit 22. The output unit 24 is connected to a display output device such as a display, and displays and outputs a warning message to the display output device according to an instruction from the control unit 22. The administrator or the like can detect the presence of a suspicious person in the monitoring area by confirming the display output or the audio output from the output unit 24 as a warning output. The administrator or the like can also confirm the setting information of the suspicious person detection device 1, the monitoring image in the monitoring region, the front image, and the like by confirming the display output.
The output unit 24 may include a communication interface that transmits an abnormality signal to the external security device 8. Thereby, when abnormality is detected by the process of the control part 22, the management apparatus 2 can notify the signal which notifies the detection of abnormality to an external monitoring center. In this case, the output unit 24 may be an interface device common to the communication unit 25.

記憶部２１は、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ＨＤＤ(Hard Disk Drive)等の情報記憶装置である。記憶部２１は、各種プログラムや各種データを記憶し、制御部２２との間でこれらの情報を入出力する。各種データには、領域情報２１０、認証情報２１１、顔判定情報２１２、移動軌跡情報２１３、移動属性情報２１４、不審者判定情報２１５及び記録画像情報２１６が含まれる。   The storage unit 21 is an information storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive). The storage unit 21 stores various programs and various data, and inputs / outputs such information to / from the control unit 22. Various data includes area information 210, authentication information 211, face determination information 212, movement trajectory information 213, movement attribute information 214, suspicious person determination information 215, and recorded image information 216.

領域情報２１０は、監視画像の座標系で表現された操作領域１１及び重点監視領域１２の情報である。例えば、操作領域１１及び重点監視領域１２を金庫１０を中心とした円として規定される場合、領域情報２１０には、各領域と対応する円の中心座標と半径のデータが記憶される。   The area information 210 is information on the operation area 11 and the priority monitoring area 12 expressed in the coordinate system of the monitoring image. For example, when the operation area 11 and the priority monitoring area 12 are defined as a circle centered on the safe 10, the area information 210 stores the center coordinate and radius data of the circle corresponding to each area.

認証情報２１１は、予め金庫１０の解錠が許可されている１又は複数の人物（以下、権限者という）それぞれについて、例えば顔の特徴を表す特徴量など、権限者を他の人物と区別して特定するための情報である。   The authentication information 211 distinguishes an authorized person from other persons, such as a feature amount representing a facial feature, for each of one or more persons (hereinafter referred to as authorized persons) who are permitted to unlock the safe 10 in advance. This is information for identification.

顔判定情報２１２は、顔検出カメラ４にて取得した正面画像を解析し、当該正面画像に含まれる人物像の顔領域が含まれていた場合、当該顔領域内の画像（以下、顔画像という）について顔隠蔽されているか否か、及び権限者として認証されているか否かを時系列に保存した情報である。顔判定情報２１２の具体例としては、図４に示されるように、正面画像が取得された時刻と、正面画像内に顔領域が含まれていた場合に当該顔画像に付与される一意の識別子である顔ＩＤと、当該顔画像が隠蔽されているか否かを示す顔隠蔽状態と、当該顔画像が権限者として認証されているか否かを示す認証結果と、を対応付けるテーブルとして制御部２２により記憶部２１に保存される。   The face determination information 212 analyzes the front image acquired by the face detection camera 4, and if a face area of a human image included in the front image is included, an image in the face area (hereinafter referred to as a face image). ) Is stored in chronological order as to whether or not the face is concealed and whether or not it is authenticated as an authorized person. As a specific example of the face determination information 212, as shown in FIG. 4, the time when the front image was acquired, and a unique identifier given to the face image when a face area is included in the front image The face concealment state indicating whether or not the face image is concealed, and the authentication result indicating whether or not the face image is authenticated as an authorized person is used by the control unit 22 as a table for associating the face ID It is stored in the storage unit 21.

移動軌跡情報２１３は、人物追跡カメラ３にて取得した監視画像を解析し、当該監視画像に含まれる人物像の監視画像上における座標を時系列に保存することにより、当該人物像の移動軌跡を追跡できるよう生成された情報である。移動軌跡情報２１３の具体例としては、図５に示されるように、監視画像が取得された時刻と、当該監視画像内に人物像が含まれていた場合に当該人物像に付与される一意の識別子である像ＩＤと、当該人物像の重心の監視画像上における座標と、当該人物像と同じ（又は略一致する）時刻において顔検出カメラ４にて取得された正面画像内の顔画像について関連付けられた顔判定情報２１２の顔ＩＤと、を対応付けるテーブルとして制御部２２により記憶部２１に保存される。なお、像ＩＤは、後述するように、制御部２２にて過去時刻における監視画像内の人物像と現在時刻における人物像との関連を解析され、過去時刻における人物像と現在時刻における人物像とが同一であると判定されれば共通する像ＩＤが付与され、過去時刻における人物像と現在時刻における人物像とが同一でないと判定されれば新規の像ＩＤが付与される。   The movement trajectory information 213 analyzes the monitoring image acquired by the person tracking camera 3 and saves the coordinates of the human image included in the monitoring image on the monitoring image in time series, thereby determining the movement trajectory of the human image. Information generated for tracking. As a specific example of the movement trajectory information 213, as shown in FIG. 5, the time at which the monitoring image is acquired and a unique image given to the person image when the monitoring image includes the person image. The image ID as an identifier, the coordinates of the center of gravity of the person image on the monitoring image, and the face image in the front image acquired by the face detection camera 4 at the same time (or approximately the same time) as the person image The control unit 22 stores the face ID of the obtained face determination information 212 in the storage unit 21 as a table for associating the face ID. As will be described later, the image ID is analyzed by the control unit 22 between the person image in the monitoring image at the past time and the person image at the current time, and the person image at the past time and the person image at the current time are analyzed. Are determined to be the same, a common image ID is assigned, and if it is determined that the person image at the past time and the person image at the current time are not the same, a new image ID is assigned.

移動属性情報２１４は、人物追跡カメラ３にて取得した監視画像を解析し、当該監視画像に含まれる各人物像に対して付与された属性の情報である。移動属性情報２１４の具体例としては、図６に示されるように、監視画像が取得された時刻と、当該時刻に存在する人物像の像ＩＤと、各人物像について相対位置を算出する対象となる他の人物像（以下、相対位置算出対象という）の像ＩＤと、当該人物像と相対位置算出対象との間における相対位置が略一定となっている時間（以下、相対位置維持時間という）と、各人物像の所在する監視画像における領域（以下、所在領域という）と、各人物像の画像上の位置にて停止している時間（以下、継続停止時間という）と、を対応付けるテーブルとして制御部２２により記憶部２１に保存される。   The movement attribute information 214 is attribute information given to each person image included in the monitoring image by analyzing the monitoring image acquired by the person tracking camera 3. As a specific example of the movement attribute information 214, as shown in FIG. 6, the time at which the monitoring image is acquired, the image ID of the person image existing at the time, and the target for calculating the relative position for each person image. And the time during which the relative position between the person image and the relative position calculation target is substantially constant (hereinafter referred to as the relative position maintaining time). And a table (hereinafter referred to as a location area) in a monitoring image where each person image is located, and a time during which the person image is stopped at a position on the image (hereinafter referred to as a continuous stop time) The data is stored in the storage unit 21 by the control unit 22.

不審者判定情報２１５は、不審者を検知する際に参照する判定条件情報である。不審者判定情報２１５の具体例としては、図７に示されるように、不審者異常の種類と、相対位置維持時間、所在領域、継続停止時間、顔隠蔽状態及び認証結果からなる当該不審者異常の判定条件との組み合わせとして表せる。不審者判定情報２１５は、本実施例に係る不審者検知装置１を設置する環境に合わせて、予め管理者等により入力部２３から設定される。   The suspicious person determination information 215 is determination condition information referred to when detecting a suspicious person. As a specific example of the suspicious person determination information 215, as shown in FIG. 7, the suspicious person abnormality including the type of the suspicious person abnormality, the relative position maintenance time, the location area, the continuous stop time, the face concealment state, and the authentication result. It can be expressed as a combination with the judgment condition. The suspicious person determination information 215 is set in advance by the administrator or the like from the input unit 23 according to the environment in which the suspicious person detection device 1 according to the present embodiment is installed.

記録画像情報２１６は、人物追跡カメラ３にて取得した監視画像と、顔検出カメラ４にて取得した正面画像とを時系列に保存した画像情報である。   The recorded image information 216 is image information in which the monitoring image acquired by the person tracking camera 3 and the front image acquired by the face detection camera 4 are stored in time series.

制御部２２は、例えばＣＰＵやＤＳＰ等の演算装置であって、記憶部２１に記憶されるプログラムに従って各種の情報処理を実行する。本実施例では、制御部２２は、人物追跡カメラ３によって取得した監視画像及び顔検出カメラ４によって取得した正面画像を解析して、異常を検知した場合に当該異常の内容に応じた信号を出力部２４に出力する処理を行う。また、入力部２３からの設定情報や操作情報等の入力情報を記憶部２１に保存する処理を行う。   The control unit 22 is an arithmetic device such as a CPU or a DSP, for example, and executes various types of information processing according to programs stored in the storage unit 21. In this embodiment, the control unit 22 analyzes the monitoring image acquired by the person tracking camera 3 and the front image acquired by the face detection camera 4 and outputs a signal corresponding to the content of the abnormality when an abnormality is detected. Processing to output to the unit 24 is performed. In addition, processing for saving input information such as setting information and operation information from the input unit 23 in the storage unit 21 is performed.

以下、本実施例において制御部２２が実行する処理の具体例について説明する。
制御部２２は、機能的に、図３に示すように、顔領域検出手段２２０と、顔隠蔽判定手段２２１と、認証手段２２２と、人物像抽出手段２２３と、追跡手段２２４と、移動属性算出手段２２５と、不審者判定手段２２６と、を含んで構成される。これらの機能は、制御部２２が記憶部２１に格納されたプログラムを実行することにより実現される。 Hereinafter, a specific example of processing executed by the control unit 22 in the present embodiment will be described.
As shown in FIG. 3, the control unit 22 functionally includes a face area detection unit 220, a face concealment determination unit 221, an authentication unit 222, a person image extraction unit 223, a tracking unit 224, and a movement attribute calculation. Means 225 and suspicious person judgment means 226 are included. These functions are realized when the control unit 22 executes a program stored in the storage unit 21.

顔領域検出手段２２０は、顔検出カメラ４によって所定時間おきに撮像された正面画像から背景差分法によって人物などの動きのある画像領域を抽出し、その画像領域の中から人物像の顔を示す顔領域を検出する。すなわち、予め人が誰もいない状態を撮像して得られる正面画像を背景画像として記憶部２１に記憶しておき、当該背景画像と正面画像とを比較して人物などの動きのある画像領域を抽出する。そして、動きのある当該画像領域のうち、所定の条件を満足する形状や所定値以上の大きさを有する画像領域を、人物像の顔領域として検出する。ここで、正面画像の中から顔領域を検出する方法としては、例えば特開２００５−９２２６２号公報に記載された方法を用いることができる。
正面画像の中から１又は複数の顔領域を検出した場合、顔領域検出手段２２０は、それぞれの顔画像に対して一意の顔ＩＤを付与する。そして、当該顔画像、顔ＩＤ及び顔画像に関する情報（正面画像内における顔画像の位置情報やサイズ情報等）を、顔画像が検出された時刻に対応付けて記憶部２１に保存する。 The face area detection unit 220 extracts a moving image area such as a person from the front image captured by the face detection camera 4 every predetermined time by the background subtraction method, and shows the face of the person image from the image area. Detect face area. That is, a front image obtained by imaging a state where no one is present in advance is stored in the storage unit 21 as a background image, and the background image and the front image are compared with each other so that an image area with movement of a person or the like Extract. Then, an image area having a shape that satisfies a predetermined condition or a size greater than or equal to a predetermined value is detected as a face area of a human image among the moving image areas. Here, as a method for detecting a face region from a front image, for example, a method described in Japanese Patent Laid-Open No. 2005-92262 can be used.
When one or more face areas are detected from the front image, the face area detection unit 220 assigns a unique face ID to each face image. Then, information related to the face image, face ID, and face image (position information and size information of the face image in the front image) is stored in the storage unit 21 in association with the time when the face image is detected.

顔隠蔽判定手段２２１は、顔領域検出手段２２０にて検出した顔画像を解析し、当該顔画像について目出し帽、サングラス、マスク等により顔部位を隠蔽しているか否かを判定する顔隠蔽判定処理を行う。顔隠蔽判定処理では、顔隠蔽判定手段２２１は、顔画像の画像特徴に基づき顔らしさの度合いを算出し、また、顔画像と目出し帽等で隠蔽されている場合の画像との類似度を算出する。そして、これらの顔らしさの度合いや類似度に基づいて顔部位が隠蔽されているか否かを判定する。この顔隠蔽しているか否かの判定方法としては、例えば特開２００５−９２２６２号公報に記載された方法を用いることができる。
顔領域検出手段２２０にて検出した顔画像について隠蔽されているか否かを判定した場合、顔隠蔽判定手段２２１は、記憶部２１の顔判定情報２１２に、当該顔画像が検出された時刻における顔ＩＤに対応付けて、顔隠蔽の有無を保存する。 The face concealment determining unit 221 analyzes the face image detected by the face region detecting unit 220 and determines whether or not the face part is concealed with a balaclava cap, sunglasses, mask, etc. Process. In the face concealment determination process, the face concealment determination unit 221 calculates the degree of face-likeness based on the image characteristics of the face image, and calculates the similarity between the face image and the image when concealed with a balaclava or the like. calculate. Then, it is determined whether or not the facial part is concealed based on the degree of face likeness and the similarity. As a method for determining whether or not the face is concealed, for example, a method described in JP-A-2005-92262 can be used.
When it is determined whether or not the face image detected by the face area detection unit 220 is concealed, the face concealment determination unit 221 includes the face at the time when the face image is detected in the face determination information 212 of the storage unit 21. The presence / absence of face concealment is stored in association with the ID.

認証手段２２２は、顔領域検出手段２２０にて検出した顔画像に基づいて、正面画像に撮像された人物が権限者であるか否かを認証する認証処理を行う。認証処理では、認証手段２２２は、顔領域検出手段２２０にて検出した顔画像を解析して得られる解析結果と、記憶部２１に記憶された認証情報２１１とを照合することにより、当該人物像が権限者であるか否か判定する。この顔画像と認証情報２１１との照合方法としては、例えば特開２００７−２９９１８６号公報に記載された方法を用いることができる。
認証手段２２２は、顔領域検出手段２２０にて検出した顔画像について認証した場合、記憶部２１の顔判定情報２１２に、当該顔画像の顔ＩＤに対応付けて、認証結果を保存する。 Based on the face image detected by the face area detection unit 220, the authentication unit 222 performs an authentication process for authenticating whether or not the person captured in the front image is an authorized person. In the authentication process, the authentication unit 222 collates the analysis result obtained by analyzing the face image detected by the face area detection unit 220 with the authentication information 211 stored in the storage unit 21, thereby It is determined whether or not is an authorized person. As a method for collating the face image with the authentication information 211, for example, a method described in Japanese Patent Application Laid-Open No. 2007-299186 can be used.
When the authentication unit 222 authenticates the face image detected by the face area detection unit 220, the authentication unit 222 stores the authentication result in the face determination information 212 of the storage unit 21 in association with the face ID of the face image.

人物像抽出手段２２３は、人物追跡カメラ３によって所定時間おきに撮像された監視画像のそれぞれについて、当該監視画像の中から、１又は複数の人物像を抽出する。具体的には、例えば人物像抽出手段２２３は、予め人が誰もいない状態の監視空間を撮像して得られた監視画像を背景画像として記憶部２１に記憶しておき、当該背景画像と監視画像とを比較して差分画素を抽出する。そして、互いに隣接する差分画素を含んで構成される差分画素群のうち、所定の条件を満足する形状や所定値以上の大きさを有する差分画素群を、人を表す人物像として抽出する。また、人物像抽出手段２２３は、上記方法のほか、エッジ検出などの各種の画像処理を組み合わせて人物像を抽出してもよい。人物像抽出手段２２３によって抽出された人物像に関する情報（例えば人物像の位置や色ヒストグラム等の画像特徴に関する量）は、記憶部２１に記憶され、後述する追跡手段２２４による人物像の追跡処理に用いられる。   The person image extraction unit 223 extracts one or a plurality of person images from the monitoring images for each of the monitoring images captured every predetermined time by the person tracking camera 3. Specifically, for example, the person image extraction unit 223 stores a monitoring image obtained by capturing an image of a monitoring space in a state where no one is present in the storage unit 21 as a background image, and monitors the background image and the monitoring image. A difference pixel is extracted by comparing with an image. Then, among the difference pixel group configured to include the difference pixels adjacent to each other, a difference pixel group having a shape satisfying a predetermined condition and a size greater than or equal to a predetermined value is extracted as a human image representing a person. In addition to the above method, the person image extraction means 223 may extract a person image by combining various image processes such as edge detection. Information relating to the person image extracted by the person image extracting means 223 (for example, the amount relating to the image feature such as the position of the person image and the color histogram) is stored in the storage unit 21 for tracking the person image by the tracking means 224 described later. Used.

追跡手段２２４は、人物追跡カメラ３が所定時間おきに取得した各監視画像について、人物像抽出手段２２３が人物像を抽出するごとに、人物像の追跡処理を行う。人物像の追跡処理では、追跡手段２２４は、新たに撮像された監視画像から人物像抽出手段２２３によって抽出された各人物像を、過去時刻において抽出されて記憶部２１に記憶されている人物像と比較することによって、当該人物像に対応する人物の監視空間内における移動経路を記憶部２１の移動軌跡情報２１３に保存する。具体的には、追跡手段２２４は、新たな監視画像から抽出された各人物像に関する情報（例えば人物像の位置や画像特徴に関する量）を、前回撮像され記憶部２１に保存されている監視画像から抽出された人物像に関する情報と比較することによって、同じ人物を表す人物像同士を関連付ける。そして、同一人物を表す人物像として互いに関連付けられた人物像について同一の像ＩＤを付与し、時系列に従って撮像された各監視画像上の座標を、像ＩＤと対応付けて記憶部２１の移動軌跡情報２１３に保存する。   The tracking unit 224 performs a person image tracking process for each monitoring image acquired by the person tracking camera 3 every predetermined time each time the person image extraction unit 223 extracts a person image. In the person image tracking process, the tracking unit 224 extracts each person image extracted by the person image extracting unit 223 from the newly captured monitoring image at the past time and stored in the storage unit 21. And the movement path of the person corresponding to the person image in the monitoring space is stored in the movement trajectory information 213 of the storage unit 21. Specifically, the tracking unit 224 captures information related to each person image extracted from the new monitor image (for example, the amount related to the position of the person image and the image feature) and is stored in the storage unit 21 last time. The person images representing the same person are associated with each other by comparing with the information about the person image extracted from. Then, the same image ID is assigned to the person images associated with each other as the person image representing the same person, and the coordinates on each monitoring image captured in time series are associated with the image ID and the movement locus of the storage unit 21. Save the information 213.

また、追跡手段２２４は、人物像抽出手段２２３にて抽出された人物像と顔領域検出手段２２０にて検出された顔画像とを関連付ける人物像特定処理を行う。人物像特定処理では、追跡手段２２４は、記憶部２１にある顔画像に関する情報（正面画像内における顔画像の位置情報やサイズ情報等）に基づいて、監視画像内において当該顔画像に対応する人物像が存在すると推定される範囲を算出し、人物像抽出手段２２３によって抽出された人物像の中から当該推定範囲内に含まれる所定条件に合致した人物像を特定する。この監視画像内の人物像と正面画像内の顔画像と関連付ける人物像特定処理の方法としては、例えば特開２００９−２２３４２９号公報に記載された方法を用いることができる。
人物像特定処理を行うと、追跡手段２２４は、記憶部２１の移動軌跡情報２１３に対して像ＩＤごとに対応付けられた顔画像の顔ＩＤを保存する。こうして、顔判定情報２１２と移動軌跡情報２１３とを関連付けることができ、追跡している人物像毎に顔隠蔽の有無と認証結果について把握することができる。 The tracking unit 224 performs a person image specifying process that associates the person image extracted by the person image extraction unit 223 with the face image detected by the face area detection unit 220. In the person image specifying process, the tracking unit 224 uses the information related to the face image in the storage unit 21 (position information, size information, etc. of the face image in the front image) to correspond to the person corresponding to the face image in the monitoring image. A range in which the image is estimated to be present is calculated, and a human image that matches a predetermined condition included in the estimated range is specified from the human images extracted by the human image extraction unit 223. For example, a method described in Japanese Patent Application Laid-Open No. 2009-223429 can be used as a method of person image specifying processing that associates the person image in the monitoring image with the face image in the front image.
When the person image specifying process is performed, the tracking unit 224 stores the face ID of the face image associated with each movement ID information 213 in the storage unit 21 for each image ID. In this way, the face determination information 212 and the movement trajectory information 213 can be associated, and the presence / absence of face concealment and the authentication result can be grasped for each person image being tracked.

移動属性算出手段２２５は、追跡手段２２４にて追跡された人物像毎に、他の人物像（相対位置算出対象）との間の相対位置を算出し、当該相対位置が略一定となっている時間（相対位置維持時間）を計測する。計測した相対位置維持時間は、記憶部２１の移動属性情報２１４に、相対位置維持時間を測定した時刻における相対位置を算出した人物像の像ＩＤと相対位置算出対象の像ＩＤとの組み合わせに対応付けて保存される。なお、相対位置を算出し、相対位置維持時間を計測する処理の具体例については、後述する。   The movement attribute calculation unit 225 calculates a relative position between each person image tracked by the tracking unit 224 and another person image (relative position calculation target), and the relative position is substantially constant. Measure time (relative position maintenance time). The measured relative position maintenance time corresponds to the combination of the image ID of the person image whose relative position is calculated at the time when the relative position maintenance time is measured and the image ID of the relative position calculation target in the movement attribute information 214 of the storage unit 21. Saved with. A specific example of the process of calculating the relative position and measuring the relative position maintaining time will be described later.

また、移動属性算出手段２２５は、記憶部２１の領域情報２１０と人物像の位置（座標）に基づいて、追跡手段２２４にて追跡された人物像毎に所在領域を判定する。すなわち、人物像の重心が操作領域１１の内側に所在するならば所在領域を「操作領域」と、人物像の重心が操作領域１１の外側で重点監視領域１２の内側に所在するならば所在領域を「重点監視領域」と、人物像の重心が重点監視領域１２の外側に所在するならば所在領域「外」と判定する。移動属性算出手段２２５は、記憶部２１の移動属性情報２１４に、判定した人物像の所在領域を、所在領域を求めた時刻における当該人物像の像ＩＤに対応付けて保存する。   Further, the movement attribute calculation means 225 determines the location area for each person image tracked by the tracking means 224 based on the area information 210 of the storage unit 21 and the position (coordinates) of the person image. That is, if the center of gravity of the person image is located inside the operation area 11, the location area is “operation area”, and if the center of gravity of the person image is outside the operation area 11 and inside the priority monitoring area 12, If the center of gravity of the person image is located outside the focus monitoring region 12, the location region is determined to be “outside”. The movement attribute calculation means 225 stores the determined area of the person image in the movement attribute information 214 of the storage unit 21 in association with the image ID of the person image at the time when the area was obtained.

また、移動属性算出手段２２５は、追跡手段２２４にて追跡された人物像毎に、当該人物像の継続停止時間を算出する。継続停止時間は、人物像が監視画像上の位置において略一定となっている状態が継続した時間である。なお、人物像が監視画像上の位置において略一定となっているか否かについては、現在時刻における人物像の座標と一つ過去時刻における人物像の座標とに基づいて、過去時刻から現在時刻までの移動距離を算出することにより判定される。追跡手段２２４にて追跡された人物像毎に継続停止時間を算出すると、移動属性算出手段２２５は、記憶部２１の移動属性情報２１４に、継続停止時間を算出した時刻における像ＩＤに対応付けて保存する。   Further, the movement attribute calculation unit 225 calculates the duration stop time of the person image for each person image tracked by the tracking unit 224. The continuous stop time is a time during which the state where the person image is substantially constant at the position on the monitoring image is continued. Whether or not the person image is substantially constant at the position on the monitoring image is determined based on the coordinates of the person image at the current time and the coordinates of the person image at one past time from the past time to the current time. It is determined by calculating the movement distance of. When the continuous stop time is calculated for each person image tracked by the tracking unit 224, the movement attribute calculation unit 225 associates the movement attribute information 214 of the storage unit 21 with the image ID at the time when the continuous stop time is calculated. save.

不審者判定手段２２６は、記憶部２１の移動属性情報２１４と顔判定情報２１２とに基づいて、不審者判定情報２１５に定めた条件に合致しているか否かを判定することにより、押込強盗等の不審者が存在しているか否かを判定する。そして、不審者が存在していると判定した場合、不審者判定手段２２６は、出力部２４に対して警告出力を行わせる。なお、不審者判定手段２２６における判定処理の具体例については、後述する。   The suspicious person determination means 226 determines whether or not the condition set in the suspicious person determination information 215 is met based on the movement attribute information 214 and the face determination information 212 in the storage unit 21, thereby pushing in the burglar or the like. It is determined whether or not there is a suspicious person. When it is determined that there is a suspicious person, the suspicious person determination unit 226 causes the output unit 24 to output a warning. A specific example of the determination process in the suspicious person determination unit 226 will be described later.

以下、本実施例に係る管理装置２の制御部２２が実行する処理の流れの一例について、図８〜図１０のフローチャートに基づいて説明する。
図８は、制御部２２における不審者検知処理を示すフローチャートである。 Hereinafter, an example of a flow of processing executed by the control unit 22 of the management device 2 according to the present embodiment will be described based on the flowcharts of FIGS.
FIG. 8 is a flowchart showing suspicious person detection processing in the control unit 22.

動作に先立ち、管理者等により管理装置２の入力部２３を用いて領域情報２１０の設定等の各種初期設定が行なわれている。また、金庫室が無人であることを確認した管理者が管理装置２を起動すると、制御部２２の人物像抽出手段２２３及び顔領域検出手段２２０は、起動後の所定時間に撮像された監視画像及び正面画像を用いてそれぞれの背景画像を生成し、記憶部２１に記憶させる。上記の初期化が終わると人物追跡カメラ３及び顔検出カメラ４から新たな監視画像及び正面画像が入力されるたびにステップＳ１０〜Ｓ３２の不審者検知処理が繰り返される。   Prior to the operation, various initial settings such as setting of the area information 210 are performed by the administrator or the like using the input unit 23 of the management apparatus 2. When the administrator who has confirmed that the vault is unattended starts up the management apparatus 2, the person image extraction unit 223 and the face area detection unit 220 of the control unit 22 monitor images captured at a predetermined time after the startup. Each background image is generated using the front image and stored in the storage unit 21. When the initialization is completed, the suspicious person detection process in steps S10 to S32 is repeated each time a new monitoring image and front image are input from the person tracking camera 3 and the face detection camera 4.

なお、管理装置２は、管理者等により予め設定された時間や警備装置８からの警備開始信号／警備終了信号の受信に基づいて、不審者検知処理の開始や終了を制御してもよい。例えば、管理者により予め営業終了時刻が設定され、当該営業終了時刻から警備装置８による警備が開始されるまでの時間帯にのみ、不審者検知処理を行ってもよい。これにより、営業時間の終了により事務所内における従業員が少なくなる時間帯にのみ、不審者の検知処理を行うことになるため、従業員の移動による誤報を低減することができ、運用負荷を低減することができる。また、押込強盗が発生しやすい時間帯にのみ集中的に監視することができるため効率的な監視運用を行うことができる。   The management device 2 may control the start and end of the suspicious person detection process based on the time set in advance by the administrator or the like and the reception of the security start signal / security end signal from the security device 8. For example, the suspicious person detection process may be performed only during a time period in which the business end time is set in advance by the administrator and the security device 8 starts security from the business end time. As a result, suspicious persons are detected only during times when the number of employees in the office decreases due to the end of business hours, reducing false alarms due to employee movement and reducing operational burden. can do. Moreover, since it can monitor intensively only in the time zone where an intrusion robbery is likely to occur, an efficient monitoring operation can be performed.

図８に示すように、まず制御部２２は、人物追跡カメラ３が取得した新たな監視画像と、顔検出カメラ４が取得した新たな正面画像とを取得し、記憶部２１の記録画像情報２１６に時刻と対応付けて保存する（Ｓ１０）。そして、制御部２２の人物像抽出手段２２３は、Ｓ１０で取得した監視画像を背景画像と比較して、人物像の抽出を行う（Ｓ１２）。さらに、制御部２２は、Ｓ１２の処理で１以上の人物像が抽出されたか否か判定する（Ｓ１４）。人物像が抽出されなかった場合（Ｓ１４−Ｎｏ）、Ｓ１０で取得した監視画像及び正面画像を新たな背景画像として記憶部２１に記憶して（Ｓ１６）、Ｓ１０に戻って次の監視画像及び正面画像に対する処理を行う。ここで、人物像が抽出されなかった場合に背景画像を更新するのは、時間の経過によって背景画像に変化が生じる場合に対応するためである。   As shown in FIG. 8, first, the control unit 22 acquires a new monitoring image acquired by the person tracking camera 3 and a new front image acquired by the face detection camera 4, and recorded image information 216 in the storage unit 21. Is stored in association with the time (S10). Then, the person image extraction unit 223 of the control unit 22 extracts the person image by comparing the monitoring image acquired in S10 with the background image (S12). Further, the control unit 22 determines whether or not one or more person images have been extracted in the process of S12 (S14). When the person image is not extracted (S14-No), the monitoring image and the front image acquired in S10 are stored in the storage unit 21 as a new background image (S16), and the process returns to S10 to return to the next monitoring image and the front image. Process the image. Here, the reason why the background image is updated when the person image is not extracted is to cope with the case where the background image changes with time.

一方、Ｓ１４において１以上の人物像が抽出されたと判定された場合（Ｓ１４−Ｙｅｓ）、制御部２２の顔領域検出手段２２０は、Ｓ１０で取得した正面画像を背景画像と比較して人物などの動きのある画像領域を抽出し、その画像領域の中から顔領域を検出する（Ｓ１８）。   On the other hand, when it is determined in S14 that one or more person images have been extracted (S14-Yes), the face area detection unit 220 of the control unit 22 compares the front image acquired in S10 with the background image such as a person. A moving image area is extracted, and a face area is detected from the image area (S18).

そして、制御部２２は、Ｓ１８の処理で１以上の顔領域が検出されたか否か判定する（Ｓ２０）。顔領域が検出されたと判定された場合（Ｓ２０−Ｙｅｓ）、各々の顔画像に対して、顔隠蔽判定手段２２１により前述した顔隠蔽判定処理が行われ、認証手段２２２により前述した認証処理が行われる（Ｓ２２）。   Then, the control unit 22 determines whether one or more face areas have been detected in the process of S18 (S20). If it is determined that a face area has been detected (S20-Yes), the face concealment determination unit 221 performs the face concealment determination process described above on each face image, and the authentication unit 222 performs the authentication process described above. (S22).

Ｓ２０において顔領域が検出されないと判定された場合（Ｓ２０−Ｎｏ）、制御部２２の追跡手段２２４は、前述した人物像の追跡処理を行う（Ｓ２４）。また、Ｓ２０にて顔画像が検出されたと判定され（Ｓ２０−Ｙｅｓ）、当該顔画像についてＳ２２にて顔隠蔽判定処理と認証処理が行われた場合、制御部２２の追跡手段２２４は、前述した人物像の追跡処理及と人物像特定処理を行う（Ｓ２４）。   When it is determined in S20 that the face area is not detected (S20-No), the tracking unit 224 of the control unit 22 performs the person image tracking process described above (S24). If it is determined in S20 that a face image has been detected (S20-Yes) and the face concealment determination process and the authentication process are performed in S22 for the face image, the tracking unit 224 of the control unit 22 described above. A person image tracking process and a person image specifying process are performed (S24).

続いて、制御部２２の移動属性算出手段２２５は、Ｓ１２にて抽出された人物像のそれぞれについて、移動属性情報２１４を算出する処理を行う（Ｓ２６）。この移動属性情報２１４の算出処理の詳細については、後述する。   Subsequently, the movement attribute calculation unit 225 of the control unit 22 performs a process of calculating the movement attribute information 214 for each of the person images extracted in S12 (S26). Details of the calculation processing of the movement attribute information 214 will be described later.

続いて、制御部２２の不審者判定手段２２６は、不審者の判定処理を行う。すなわち、Ｓ２６にて算出された移動属性情報２１４とＳ２２にて算出されＳ２４にて人物像に関連付けられた顔判定情報２１２とを、不審者判定情報２１５の判定条件に合致しているか否かを判定することにより、不審者異常が発生したか否かを判定する。   Subsequently, the suspicious person determination unit 226 of the control unit 22 performs a suspicious person determination process. That is, whether or not the movement attribute information 214 calculated in S26 and the face determination information 212 calculated in S22 and associated with the person image in S24 meet the determination condition of the suspicious person determination information 215. By determining, it is determined whether or not a suspicious person abnormality has occurred.

例えば、追跡手段２２４にて追跡されている複数の人物像について、特定の人物像間の相対位置維持時間が、予め設定されている閾値時間（以下、第一の閾値という）と比較し、当該第一の閾値以上であれば「第一の不審者異常」であると判定する。第一の不審者異常は、従業員を凶器等により脅して一定距離を保ちつつ行動している押込強盗が存在している疑いがあることを示す異常状態である。   For example, for a plurality of person images tracked by the tracking unit 224, the relative position maintenance time between specific person images is compared with a preset threshold time (hereinafter referred to as a first threshold), If it is greater than or equal to the first threshold, it is determined that the “first suspicious person abnormality”. The first suspicious person abnormality is an abnormal state that indicates that there is a suspicion of an intrusion robber who acts while keeping a certain distance by threatening an employee with a weapon or the like.

また、第一の不審者異常であると判定されている人物像のうち、少なくとも一方の人物像の所在領域が操作領域１１であるならば「第二の不審者異常」であると判定する。第二の不審者異常は、従業員を凶器等により脅して一定距離を保ちつつ金庫等の保管庫へ移動し、当該従業員に対して保管庫を解錠させるよう強要している押込強盗が存在している疑いがあることを示す異常状態である。   In addition, if the location area of at least one of the person images determined to be abnormal for the first suspicious person is the operation area 11, it is determined to be “second suspicious person abnormality”. The second suspicious person abnormality is an intruder robbery that threatens employees with weapons and moves to a safe such as a safe keeping a certain distance, and forces the employee to unlock the safe. This is an abnormal condition indicating that there is a suspicion of existence.

また、第二の不審者異常であると判定されている人物像の継続停止時間が、予め設定されている閾値時間（以下、第二の閾値という）と比較し、当該第二の閾値以上であれば「第三の不審者異常」であると判定する。第三の不審者異常は、従業員を凶器等により脅して一定距離を保ちつつ、当該従業員に対して保管庫の解錠操作を強要し、貴重品等を取り出させようとしている押込強盗が存在している疑いがあることを示す異常状態である。   In addition, the continuous stop time of the person image determined to be the second suspicious person abnormality is compared with a preset threshold time (hereinafter referred to as a second threshold), and is greater than or equal to the second threshold. If there is, it is determined as “third suspicious person abnormality”. The third suspicious person anomaly is a burglary intrusion where the employee is threatened with a weapon and kept at a certain distance, and the employee is forced to unlock the vault and take out valuables. This is an abnormal condition indicating that there is a suspicion of existence.

また、第二の不審者異常であると判定されている人物像の少なくとも一方の顔隠蔽状態が「顔隠蔽有」であれば、「第四の不審者異常」であると判定する。第四の不審者異常は、従業員を凶器等により脅して一定距離を保ちつつ行動している顔を隠蔽した押込強盗が存在している疑いがあることを示す異常状態である。   Further, if the face concealment state of at least one of the human images determined to be the second suspicious person abnormality is “face concealment present”, it is determined to be “fourth suspicious person abnormality”. The fourth suspicious person abnormality is an abnormal state that indicates that there is a suspicion of a burglar robbery that hides a face acting while threatening an employee with a weapon or the like while keeping a certain distance.

また、第二の不審者異常であると判定されている各人物像についての認証結果を参照し、操作領域１１に所在する人物像が権限者（認証ＯＫ）であり、もう一方の人物像が権限者以外（認証ＮＧ）であれば、「第五の不審者異常」であると判定する。第五の不審者異常は、金庫１０を解錠仕様とする権限者と一定距離を保ちつつ解錠を強要している押込強盗や、暗証番号を盗み見している内部犯行者が存在する疑いがあることを示す異常状態である。   Further, referring to the authentication result for each person image determined to be the second suspicious person abnormality, the person image located in the operation area 11 is the authorized person (authentication OK), and the other person image is If it is not an authorized person (authentication NG), it is determined as “fifth suspicious person abnormality”. There is a suspicion that the fifth suspicious person abnormality is an intruder who is compelling to unlock while keeping a certain distance from the authorized person who uses the safe 10 as an unlocking specification, or an internal criminal who is stealing the password. This is an abnormal condition that indicates that there is a problem.

また、第一の不審者異常であると判定されている人物像の継続停止時間が、第二の閾値以上であれば「第六の不審者異常」であると判定する。第六の不審者異常は、従業員を凶器等により脅して一定距離を保ちつつ、当該従業員をロープなどにより拘束していたり、当該従業員から暗証番号等を聞き出そうとしている押込強盗が存在している疑いがあることを示す異常状態である。   Further, if the duration of the continuation stoppage of the person image determined to be abnormal for the first suspicious person is equal to or longer than the second threshold, it is determined to be “sixth suspicious person abnormality”. The sixth suspicious person anomaly is that an intruder robbery who threatens an employee with a weapon and keeps a certain distance, restrains the employee with a rope, etc., or seeks a personal identification number from the employee. This is an abnormal condition indicating that there is a suspicion of existence.

続いて、制御部２２は、Ｓ２８の処理で不審者異常が判定されたか否かを判定する（Ｓ３０）。Ｓ２８にて不審者異常が判定されない場合（Ｓ３０−Ｎｏ）、Ｓ１０に戻って次の監視画像及び正面画像に対する処理を行う。一方、Ｓ２８にて不審者異常が判定され場合（Ｓ３０−Ｙｅｓ）、制御部２２の不審者判定手段２２６は、出力部２４に対して不審者異常の種類の情報を含む警告信号を出力する。   Subsequently, the control unit 22 determines whether or not a suspicious person abnormality is determined in the process of S28 (S30). When a suspicious person abnormality is not determined in S28 (S30-No), it returns to S10 and processes the next monitoring image and the front image. On the other hand, when a suspicious person abnormality is determined in S <b> 28 (S <b> 30 -Yes), the suspicious person determination unit 226 of the control unit 22 outputs a warning signal including information on the type of suspicious person abnormality to the output unit 24.

出力部２４は、制御部２２の不審者判定手段２２６から警告信号を受信すると、警告出力処理を行う（Ｓ３２）。
警告出力処理では、出力部２４は、不審者判定手段２２６からの警告信号に含まれる不審者異常の種類に応じた警告出力を行う。例えば、出力部２４に接続されたスピーカから不審者異常の種類に対応する警告音を鳴動させると共に、出力部２４に接続されたディスプレイに当該不審者異常の種類を警告メッセージとして出力する。管理者等は、これらの警告音や警告メッセージを確認することにより、監視領域内に不審者が存在することを検知することができる。また、出力部２４は、通信部２５を介して警備装置８に当該不審者異常を通知する。これにより、管理装置２は、警備装置８を介して警備センタ装置９に不審者異常を通知することができ、外部の監視センタで常駐監視している警備員に対して異常を通知することができる。 When the output unit 24 receives a warning signal from the suspicious person determination unit 226 of the control unit 22, the output unit 24 performs a warning output process (S32).
In the warning output process, the output unit 24 outputs a warning corresponding to the type of suspicious person abnormality included in the warning signal from the suspicious person determination means 226. For example, a warning sound corresponding to the type of suspicious person abnormality is sounded from a speaker connected to the output unit 24, and the type of suspicious person abnormality is output as a warning message to a display connected to the output unit 24. The administrator or the like can detect the presence of a suspicious person in the monitoring area by checking these warning sounds and warning messages. Further, the output unit 24 notifies the security device 8 of the suspicious person abnormality via the communication unit 25. Thereby, the management apparatus 2 can notify the suspicious person abnormality to the security center apparatus 9 via the security apparatus 8, and can notify the abnormality to the security guard who is resident and monitored in the external monitoring center. it can.

Ｓ３２で警告出力処理が行われると、制御部２２は、Ｓ１０に戻って新たな監視画像及び正面画像に対する処理が繰り返される。   When the warning output process is performed in S32, the control unit 22 returns to S10 and repeats the process for the new monitoring image and the front image.

次に、上述した図８のフローにおけるＳ２６の移動属性情報の算出処理の具体例について、図９のフローチャートに基づいて説明する。   Next, a specific example of the movement attribute information calculation process of S26 in the flow of FIG. 8 described above will be described based on the flowchart of FIG.

図９に示すように、まず制御部２２の移動属性算出手段２２５は、追跡手段２２４にて追跡している人物像（以下、追跡対象という）の全てについて、移動属性情報２１４の各属性値を算出したか否かを判定する（Ｓ２６０）。   As shown in FIG. 9, the movement attribute calculation unit 225 of the control unit 22 first sets the attribute values of the movement attribute information 214 for all of the person images tracked by the tracking unit 224 (hereinafter referred to as tracking targets). It is determined whether it has been calculated (S260).

全ての追跡対象について、移動属性情報２１４の各属性値を算出した場合（Ｓ２６０−Ｙｅｓ）、移動属性情報の算出処理を終了し、Ｓ２８へ進む。全ての追跡対象について、移動属性情報２１４の各属性値を算出していない場合（Ｓ２６０−Ｎｏ）、未処理の追跡対象の中から一つの追跡対象を選択し、当該追跡対象を移動属性情報２１４の各属性値の算出処理対象（以下、着目対象という）として、記憶部２１に一時的に保存する（Ｓ２６２）。   When each attribute value of the movement attribute information 214 is calculated for all the tracking targets (S260-Yes), the movement attribute information calculation process is terminated, and the process proceeds to S28. When the attribute values of the movement attribute information 214 are not calculated for all the tracking objects (S260-No), one tracking object is selected from the unprocessed tracking objects, and the tracking object is selected as the movement attribute information 214. Are temporarily stored in the storage unit 21 as a calculation processing target of each attribute value (hereinafter referred to as a target of attention) (S262).

続いて、移動属性算出手段２２５は、着目対象と他の追跡対象との相対位置を算出し、当該相対位置が略一定となっている時間を示す相対位置維持時間を算出する相対位置演算処理を行う（Ｓ２６４）。この相対位置演算処理の詳細については、後述する。   Subsequently, the movement attribute calculation unit 225 calculates a relative position between the target object and another tracking object, and performs a relative position calculation process for calculating a relative position maintaining time indicating a time during which the relative position is substantially constant. This is performed (S264). Details of the relative position calculation process will be described later.

続いて、移動属性算出手段２２５は、着目対象の所在領域を求める所在領域算出処理を行う（Ｓ２６６）。所在領域算出処理では、移動属性算出手段２２５は、領域情報２１０を参照し、着目対象の座標から着目対象がどの領域に存在しているかを算出する。そして、算出した所在領域を、移動属性情報２１４に、算出した時刻における当該着目対象の像ＩＤに対応付けて保存する。   Subsequently, the movement attribute calculation unit 225 performs a location area calculation process for obtaining a location area of interest (S266). In the location area calculation process, the movement attribute calculation unit 225 refers to the area information 210 and calculates in which area the target object exists from the coordinates of the target object. Then, the calculated location area is stored in the movement attribute information 214 in association with the image ID of the target object at the calculated time.

続いて、移動属性算出手段２２５は、着目対象について継続停止時間の算出処理を行う（Ｓ２６８）。継続停止時間の算出処理では、追跡手段２２４にて着目対象に関連付けられた一つ過去時刻における人物像からの移動距離を求める。そして、当該移動距離が予め定めた閾値以下である場合に、当該人物像は停止していると判定する。そして、停止していると判定された着目対象について、初めて停止が判定された時刻からの経過時刻を算出し、移動属性情報２１４の継続停止時間に、算出した時刻における当該着目対象の像ＩＤに対応付けて保存する。   Subsequently, the movement attribute calculation means 225 performs a continuous stop time calculation process for the target of interest (S268). In the continuous stop time calculation process, the tracking unit 224 obtains the movement distance from the person image at one past time associated with the target object. And when the said moving distance is below a predetermined threshold value, it determines with the said person image having stopped. Then, for the target of interest determined to be stopped, the elapsed time from the time when the first stop was determined is calculated, and the image ID of the target of interest at the calculated time is calculated as the continuous stop time of the movement attribute information 214. Save in association.

Ｓ２６８で継続停止時間の算出処理が行われると、移動属性算出手段２２５は、Ｓ２６０に戻って次の着目対象に対する処理が繰り返される。   When the calculation process of the continuous stop time is performed in S268, the movement attribute calculation unit 225 returns to S260 and repeats the process for the next target object.

次に、上述した図１０のフローにおけるＳ２６４の相対距離演算処理の具体例について、図１０のフローチャートに基づいて説明する。   Next, a specific example of the relative distance calculation process of S264 in the flow of FIG. 10 described above will be described based on the flowchart of FIG.

図１０に示すように、まず制御部２２の移動属性算出手段２２５は、着目対象以外の全ての追跡対象について、相対位置演算処理を行ったか否かを判定する（Ｓ２６４１）。着目対象以外の全ての追跡対象について、相対位置演算処理を行った場合（Ｓ２６４１−Ｙｅｓ）、相対距離演算処理を終了し、Ｓ２６６へ進む。着目対照以外の全ての相対位置算出対象について、相対位置演算処理を行っていない場合（Ｓ２６４１−Ｎｏ）、未処理の追跡対象の中から一つの追跡対象を選択し、当該追跡対象を着目対象との相対位置を算出する対象（相対位置算出対象）として記憶部２１に一時的に保存する（Ｓ２６４２）。   As shown in FIG. 10, first, the movement attribute calculation unit 225 of the control unit 22 determines whether or not the relative position calculation processing has been performed for all tracking targets other than the target of interest (S2641). When the relative position calculation process is performed for all the tracking targets other than the target object (S2641-Yes), the relative distance calculation process is terminated, and the process proceeds to S266. When the relative position calculation processing is not performed for all the relative position calculation targets other than the target control (S2641-No), one tracking target is selected from the unprocessed tracking targets, and the tracking target is set as the target target. Is temporarily stored in the storage unit 21 as an object for calculating the relative position (relative position calculation object) (S2642).

続いて、移動属性算出手段２２５は、着目対象と相対位置算出対象との相対位置を算出する（Ｓ２６４３）。ここで、着目対象と相対位置算出対象との相対位置は、同じ時刻における着目対象と相対位置算出対象との画像上の距離であり、着目対象の座標と相対位置算出対象の座標とに基づいて算出される。相対位置を算出すると、移動属性算出手段２２５は、当該相対位置を記憶部２１に時刻に対応付けて保存する。   Subsequently, the movement attribute calculation unit 225 calculates the relative position between the target object and the relative position calculation object (S2643). Here, the relative position between the target object and the relative position calculation target is a distance on the image between the target target and the relative position calculation target at the same time, and is based on the coordinates of the target target and the coordinates of the relative position calculation target. Calculated. When the relative position is calculated, the movement attribute calculation unit 225 stores the relative position in the storage unit 21 in association with the time.

続いて、移動属性算出手段２２５は、着目対象と相対位置算出対象との一つ過去時刻の相対位置を記憶部２１から読み出し、当該一つ過去時刻における相対位置と現在時刻における相対位置とを比較することにより、相対位置が変化したか否かを判定する（Ｓ２６４４）。すなわち、一つ過去時刻における相対位置と現在の時刻における相対位置との差の絶対値を求め、当該差の絶対値が予め定めた閾値以下である場合に、相対位置が変化していないと判定する。一方、当該差の絶対値が予め定めた閾値よりも大きい場合、相対位置が変化したと判定する。   Subsequently, the movement attribute calculation unit 225 reads the relative position at one past time of the target object and the relative position calculation target from the storage unit 21, and compares the relative position at the one past time with the relative position at the current time. Thus, it is determined whether or not the relative position has changed (S2644). That is, the absolute value of the difference between the relative position at one past time and the relative position at the current time is obtained, and it is determined that the relative position has not changed when the absolute value of the difference is equal to or less than a predetermined threshold value. To do. On the other hand, when the absolute value of the difference is larger than a predetermined threshold, it is determined that the relative position has changed.

Ｓ２６４４にて、相対位置が変化したと判定した場合（Ｓ２６４４−Ｙｅｓ）、相対位置維持時間のリセット処理が行われる（Ｓ２６４６）。相対位置維持時間のリセット処理では、移動属性算出手段２２５は、移動属性情報２１４に対して着目対象と相対位置算出対象とに対応付けて、相対位置維持時間を“０”として保存する（Ｓ２６４６）。   When it is determined in S2644 that the relative position has changed (S2644-Yes), a relative position maintenance time reset process is performed (S2646). In the relative position maintenance time reset process, the movement attribute calculation unit 225 stores the relative position maintenance time as “0” in association with the target of interest and the relative position calculation target in the movement attribute information 214 (S2646). .

一方、Ｓ２６４４にて、相対位置が変化していないと判定した場合（Ｓ２６４４−Ｎｏ）、相対位置維持時間の加算処理が行われる（Ｓ２６４５）。相対位置維持時間の加算処理では、移動属性算出手段２２５は、着目対象と相対位置算出対象の組合せに対応する一つ過去時刻の相対位置維持時間を読み出す。そして、当該一つ過去時刻の相対位置維持時間に“１”を加算した値を、現在時刻の相対位置維持時間として移動属性情報２１４に保存する。   On the other hand, if it is determined in S2644 that the relative position has not changed (S2644-No), a relative position maintaining time addition process is performed (S2645). In the relative position maintenance time addition process, the movement attribute calculation unit 225 reads the relative position maintenance time of one past time corresponding to the combination of the target object and the relative position calculation object. Then, the value obtained by adding “1” to the relative position maintenance time at the one past time is stored in the movement attribute information 214 as the relative position maintenance time at the current time.

Ｓ２６４５にて相対位置維持時間の加算処理が行われた場合、又はＳ２６４６にて相対位置維持時間のリセット処理が行われた場合、移動属性算出手段２２５は、Ｓ２６４１に戻って次の相対位置算出対象に対する処理が繰り返される。   When the relative position maintenance time addition process is performed in S2645, or when the relative position maintenance time reset process is performed in S2646, the movement attribute calculation unit 225 returns to S2641 and performs the next relative position calculation target. The process for is repeated.

次に、本実施例に係る不審者検知装置１の具体的動作を不審者異常と判定される例を用いて説明する。図１２は制御部２２の不審者判定手段２２６により不審者異常と判定される典型的なケースを示した図である。   Next, the specific operation of the suspicious person detection device 1 according to the present embodiment will be described using an example in which it is determined that the suspicious person is abnormal. FIG. 12 is a diagram illustrating a typical case where the suspicious person determination unit 226 of the control unit 22 determines that the suspicious person is abnormal.

図１２（ａ）は、時刻ｔから時刻ｔ＋３における監視画像１００を時系列で並べた図である。本ケースにおいて、図１２（ａ）中における人物像Ａは、押込強盗によって脅されている従業員（権限者）の人物像である。また、人物像Ｂは、従業員である人物像Ａをナイフ等の凶器で脅しながら金庫１０まで移動させている顔隠蔽した押込強盗の人物像である。また、人物像Ｃは、見渡しの良い位置にて周囲を警戒している人物像Ｂと共に押し入った押込強盗の人物像であることを想定している。   FIG. 12A is a diagram in which the monitoring images 100 from time t to time t + 3 are arranged in time series. In this case, a person image A in FIG. 12A is a person image of an employee (authorized person) who is threatened by an intrusion robbery. The person image B is a person image of an intrusion robber who conceals his face and moves the person image A as an employee to the safe 10 while threatening with a weapon such as a knife. In addition, it is assumed that the person image C is a person image of an intrusion robbery that is pushed in together with a person image B who is guarding the surroundings at a position with a good view.

図１２（ｂ）は、時刻ｔから時刻ｔ＋３における軌跡画像１１０を時系列で並べた図である。軌跡画像１１０は、監視画像１００の画像上の位置と合致するように描画された画像に対して、領域情報２１０の重点監視領域１２と操作領域１１とを重ね合わせて描画され、さらに移動軌跡情報２１３に記憶されている像ＩＤごとの現在時刻までの移動軌跡をプロットされた画像である。   FIG. 12B is a diagram in which the trajectory images 110 from time t to time t + 3 are arranged in time series. The trajectory image 110 is drawn by superimposing the priority monitoring area 12 and the operation area 11 of the area information 210 on the image drawn so as to match the position on the image of the monitoring image 100, and further, the movement trajectory information. 213 is an image in which the movement trajectory up to the current time for each image ID stored in 213 is plotted.

なお、本ケースでは、管理者等により予め第一の閾値を“３”時刻間隔と、第二の閾値を“３”時刻間隔と設定されていることとする。   In this case, it is assumed that the first threshold is set to “3” time interval and the second threshold is set to “3” time interval in advance by the administrator or the like.

まず、時刻ｔの時刻の状態について説明する。時刻ｔでは、Ｓ１０にて新たに取得された監視画像１００から、Ｓ１２にて人物像抽出手段２２３により人物像Ａ、Ｂ及びＣが抽出される。なお、この段階では、人物像Ａ、Ｂ及びＣにあたる人物は、顔検出カメラ４の顔検出範囲外にいることとする。そのため、Ｓ１８にて各人物像の顔領域が検出されず、Ｓ２２における顔隠蔽判定処理と認証処理が行われない。続いて、人物像Ａ、Ｂ及びＣは、Ｓ２４の追跡処理にて過去時刻における人物像Ａ、Ｂ及びＣと関連付けられる。続いて、Ｓ２６６にて人物像ＡとＢの所在領域が「重点監視領域」であると判定される。この時刻の段階では、人物像Ａ、Ｂ及びＣのいずれもが、不審者判定情報２１５のいずれの種類の不審者異常の判定条件にも合致しないため、Ｓ２８にて不審者異常であると判定されない。   First, the state at time t will be described. At time t, person images A, B, and C are extracted by the person image extraction means 223 from the monitoring image 100 newly acquired at S10 at S12. At this stage, it is assumed that the persons corresponding to the person images A, B, and C are outside the face detection range of the face detection camera 4. Therefore, the face area of each person image is not detected in S18, and the face concealment determination process and the authentication process in S22 are not performed. Subsequently, the person images A, B, and C are associated with the person images A, B, and C at the past time in the tracking process of S24. Subsequently, in S266, it is determined that the area where the person images A and B are located is the “critical monitoring area”. At this stage of the time, since none of the person images A, B, and C matches the judgment condition for any kind of suspicious person abnormality in the suspicious person judgment information 215, it is judged that the suspicious person is abnormal in S28. Not.

次に、時刻ｔ＋１の時刻の状態について説明する。時刻ｔ＋１では、Ｓ１０にて新たに取得された監視画像１００から、Ｓ１２にて人物像抽出手段２２３により人物像Ａ、Ｂ及びＣが抽出される。この段階では、人物像Ａ、Ｂ及びＣにあたる人物は、顔検出カメラ４の顔検出範囲外にいることとする。そのため、Ｓ１８にて各人物像の顔領域が検出されず、Ｓ２２における顔隠蔽判定処理と認証処理が行われない。   Next, the state at time t + 1 will be described. At time t + 1, the person images A, B, and C are extracted by the person image extraction unit 223 from the monitoring image 100 newly acquired at S10 at S12. At this stage, it is assumed that the persons corresponding to the person images A, B, and C are outside the face detection range of the face detection camera 4. Therefore, the face area of each person image is not detected in S18, and the face concealment determination process and the authentication process in S22 are not performed.

続いて、人物像Ａ、Ｂ及びＣは、Ｓ２４の追跡処理にて過去時刻における人物像Ａ、Ｂ及びＣと関連付けられる。続いて、Ｓ２６４４にて人物像Ａと人物像Ｂとの相対位置が一つ過去時刻における相対位置と略一定であると判定され、Ｓ２６４５にて人物像Ａと人物像Ｂとの間の相対位置維持時間の加算処理がなされる。これにより、人物像Ａと人物像Ｂとの間の相対位置維持時間は“１”となる。続いて、Ｓ２６６にて人物像ＡとＢの所在領域が「重点監視領域」であると判定される。続いて、Ｓ２６８にて人物像Ｃが停止していると判定され、継続停止時間は“１”となる。この時刻の段階では、人物像Ａ、Ｂ及びＣのいずれもが、不審者判定情報２１５のいずれの種類の不審者異常の判定条件にも合致しないため、Ｓ２８にて不審者異常であると判定されない。   Subsequently, the person images A, B, and C are associated with the person images A, B, and C at the past time in the tracking process of S24. Subsequently, at S2644, it is determined that the relative position between the person image A and the person image B is substantially constant with the relative position at the past time, and at S2645, the relative position between the person image A and the person image B is determined. A maintenance time addition process is performed. Thereby, the relative position maintaining time between the person image A and the person image B is “1”. Subsequently, in S266, it is determined that the area where the person images A and B are located is the “critical monitoring area”. Subsequently, in S268, it is determined that the person image C is stopped, and the continuous stop time is “1”. At this stage of the time, since none of the person images A, B, and C matches the judgment condition for any kind of suspicious person abnormality in the suspicious person judgment information 215, it is judged that the suspicious person is abnormal in S28. Not.

次に、時刻ｔ＋２の時刻の状態について説明する。時刻ｔ＋２では、Ｓ１０にて新たに取得された監視画像１００から、Ｓ１２にて人物像抽出手段２２３により人物像Ａ、Ｂ及びＣが抽出される。この段階では、人物像Ａ及び人物像Ｂにあたる人物は、顔検出カメラ４の顔検出範囲内に所在していることとする。そのため、Ｓ１８にて人物像Ａ及び人物像Ｂにあたる人物の顔領域が検出され、各顔画像に対してＳ２２にて顔隠蔽判定処理と認証処理が行われる。人物像Ａにあたる人物は権限者であるため認証処理にて「認証ＯＫ」と判定され、人物像Ｂにあたる人物は顔隠蔽しているため顔隠蔽判定処理にて「顔隠蔽有」と判定される。   Next, the time state at time t + 2 will be described. At time t + 2, the person images A, B, and C are extracted by the person image extraction unit 223 from the monitoring image 100 newly acquired at S10 at S12. At this stage, it is assumed that the person corresponding to the person image A and the person image B is located within the face detection range of the face detection camera 4. Therefore, the face area of the person corresponding to the person image A and the person image B is detected in S18, and the face concealment determination process and the authentication process are performed for each face image in S22. Since the person corresponding to the person image A is an authorized person, it is determined as “authentication OK” in the authentication process, and since the person corresponding to the person image B is concealing the face, it is determined as “face concealment present” in the face concealment determination process. .

続いて、人物像Ａ、Ｂ及びＣは、Ｓ２４の追跡処理にて過去時刻における人物像Ａ、Ｂ及びＣと関連付けられる。また、Ｓ２４の人物像特定処理にて、Ｓ２２にて行われた顔隠蔽判定処理と認証処理の結果を、人物像に関連付けられる。続いて、Ｓ２６４４にて人物像Ａと人物像Ｂとの相対位置が一つ過去時刻における相対位置と略一定であると判定され、Ｓ２６４５にて人物像Ａと人物像Ｂとの間の相対位置維持時間の加算処理がなされる。これにより、人物像Ａと人物像Ｂとの間の相対位置維持時間は“２”となる。続いて、Ｓ２６６にて人物像Ａの所在領域が「操作領域」、人物像Ｂの所在領域が「重点監視領域」であると判定される。続いて、Ｓ２６８にて人物像Ｃが停止していると判定され、継続停止時間は“２”となる。この時刻の段階では、人物像Ａ、Ｂ及びＣのいずれもが、不審者判定情報２１５のいずれの種類の不審者異常の判定条件にも合致しないため、Ｓ２８にて不審者異常であると判定されない。   Subsequently, the person images A, B, and C are associated with the person images A, B, and C at the past time in the tracking process of S24. In the human image specifying process in S24, the result of the face concealment determination process and the authentication process performed in S22 is associated with the human image. Subsequently, at S2644, it is determined that the relative position between the person image A and the person image B is substantially constant with the relative position at the past time, and at S2645, the relative position between the person image A and the person image B is determined. A maintenance time addition process is performed. As a result, the relative position maintaining time between the person image A and the person image B is “2”. Subsequently, in S266, it is determined that the location area of the person image A is the “operation area” and the location area of the person image B is the “priority monitoring area”. Subsequently, in S268, it is determined that the person image C is stopped, and the continuous stop time is “2”. At this stage of the time, since none of the person images A, B, and C matches the judgment condition for any kind of suspicious person abnormality in the suspicious person judgment information 215, it is judged that the suspicious person is abnormal in S28. Not.

次に、時刻ｔ＋３の時刻の状態について説明する。時刻ｔ＋３では、Ｓ１０にて新たに取得された監視画像１００から、Ｓ１２にて人物像抽出手段２２３により人物像Ａ、Ｂ及びＣが抽出される。この時刻の段階では、時刻ｔ＋２における人物像Ａ、Ｂ及びＣの位置関係から変化がない。そのため、この時刻の段階においても、人物像Ａにあたる人物は認証処理にて「認証ＯＫ」と判定され、人物像Ｂにあたる人物は顔隠蔽判定処理にて「顔隠蔽有」と判定される。   Next, the state at time t + 3 will be described. At time t + 3, person images A, B, and C are extracted by the person image extraction unit 223 from the monitoring image 100 newly acquired at S10 at S12. At this time stage, there is no change from the positional relationship of the person images A, B, and C at time t + 2. Therefore, even at this time, the person corresponding to the person image A is determined as “authentication OK” in the authentication process, and the person corresponding to the person image B is determined as “face concealment present” in the face concealment determination process.

また、Ｓ２６４４にて人物像Ａと人物像Ｂとの相対位置が一つ過去時刻における相対位置と略一定であると判定され、Ｓ２６４５にて人物像Ａと人物像Ｂとの間の相対位置維持時間の加算処理がなされる。これにより、人物像Ａと人物像Ｂとの間の相対位置維持時間は“３”となる。続いて、Ｓ２６６にて人物像Ａの所在領域が「操作領域」、人物像Ｂの所在領域が「重点監視領域」であると判定される。続いて、Ｓ２６８にて人物像Ａ及びＢの継続停止時間は“１”となり、人物像Ｃの継続停止時間は“３”となる。   In S2644, it is determined that the relative position between the person image A and the person image B is substantially constant with the relative position at the past time, and the relative position between the person image A and the person image B is maintained in S2645. Time addition processing is performed. As a result, the relative position maintaining time between the person image A and the person image B is “3”. Subsequently, in S266, it is determined that the location area of the person image A is the “operation area” and the location area of the person image B is the “priority monitoring area”. Subsequently, in S268, the continuous stop time of the person images A and B is “1”, and the continuous stop time of the person image C is “3”.

この時刻の段階では、人物像Ａと人物像Ｂとの間の相対位置維持時間が第一の閾値以上となるため、「第一の不審者異常」であると判断される。また、人物像Ａの所在領域が操作領域１１であるため、「第二の不審者異常」であるとも判断される。また、人物像Ｂにあたる人物は、顔隠蔽有と判定されているため「第四の不審者異常」であるとも判断される。また、操作領域にいる人物像Ａは認証処理により権限者であると判定され、人物像Ｂは権限者以外であると判定されているため、「第五の不審者異常」であるとも判断される。   At this stage of the time, the relative position maintaining time between the person image A and the person image B is equal to or longer than the first threshold value, so that it is determined as “first suspicious person abnormality”. Further, since the location area of the person image A is the operation area 11, it is determined that it is “second suspicious person abnormality”. Further, since the person corresponding to the person image B is determined to have face concealment, it is also determined that the person is “fourth suspicious person abnormality”. Further, since the person image A in the operation area is determined to be an authorized person by the authentication process, and the person image B is determined to be other than the authorized person, it is also determined to be “fifth suspicious person abnormality”. The

以上に本発明の実施の形態について説明した。
本実施の形態では、不審者検知装置１が、本発明の不審者検知装置として機能している。また、人物追跡カメラ３が、本発明の撮像部として機能している。また、追跡手段２２４が、本発明の追跡部として機能している。また、制御部２２が、本発明の検知部として機能している。また、移動属性算出手段２２５が、本発明の相対位置算出手段として機能している。また、不審者判定手段２２６が、本発明の判定手段として機能している。また、顔領域検出手段２２０、顔隠蔽判定手段２２１および追跡手段２２４が、本発明の顔隠蔽判定部として機能している。また、顔領域検出手段２２０、認証手段２２２および追跡手段２２４が、本発明の認証部として機能している。また、警備装置８が、本発明の警備装置として機能している。 The embodiment of the present invention has been described above.
In the present embodiment, the suspicious person detection device 1 functions as the suspicious person detection device of the present invention. In addition, the person tracking camera 3 functions as an imaging unit of the present invention. The tracking unit 224 functions as a tracking unit of the present invention. Further, the control unit 22 functions as a detection unit of the present invention. Further, the movement attribute calculation unit 225 functions as a relative position calculation unit of the present invention. Further, the suspicious person determination means 226 functions as the determination means of the present invention. Further, the face area detection unit 220, the face concealment determination unit 221 and the tracking unit 224 function as the face concealment determination unit of the present invention. Further, the face area detection unit 220, the authentication unit 222, and the tracking unit 224 function as an authentication unit of the present invention. The security device 8 functions as the security device of the present invention.

本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。   The present invention is not limited to the above embodiments, and may be implemented in various different embodiments within the scope of the technical idea described in the claims. Moreover, the effect described in the Example is not limited to this.

上記実施例では、図７に示した不審者判定情報２１５の判定条件に基づいて不審者異常を判定したが、これに限らず、様々な条件を組み合わせることにより多種多様の不審者異常を判定しても良い。例えば、第二の不審者異常であると判定されている各人物像について、操作領域１１に所在する人物像が権限者（認証ＯＫ）であり、もう一方の人物像が権限者以外（認証ＮＧ）であり、かつ、顔隠蔽有であれば、「第七の不審者異常」であると判定してもよい。これにより、権限者の近くに所在する者が、従業員ではなく、押込強盗の疑いがより強いと判断することができる。   In the above embodiment, the suspicious person abnormality is determined based on the determination condition of the suspicious person determination information 215 shown in FIG. 7, but not limited to this, various kinds of suspicious person abnormality are determined by combining various conditions. May be. For example, for each person image determined to have a second suspicious person abnormality, the person image located in the operation area 11 is an authorized person (authentication OK), and the other person image is other than an authorized person (authentication NG). ) And with face concealment, it may be determined as “seventh suspicious person abnormality”. Thereby, it can be determined that the person located near the authorized person is not an employee but has a stronger suspicion of intrusion robbery.

また、押込強盗が従業員をロープ等で縛り上げて、身体的な自由を奪おうとしている状態を検出したい場合は、人物像抽出手段２２３に二人の人物像の手部分の動きが一方の人物を拘束するような動きであることを検出し、検出結果を不審者判定手段２２６に出力する機能を更に持たせてもよい。そして、不審者判定手段は、人物像抽出手段２２３からの人物を拘束するような動きを検出すると、不審者異常の発生と判定する。   In addition, when it is desired to detect a state in which the intruder robbery ties up an employee with a rope or the like and is trying to take away physical freedom, the movement of the hand part of the two person images is detected by the person image extraction means 223. It is also possible to further provide a function of detecting the movement that restrains the movement and outputting the detection result to the suspicious person determination means 226. When the suspicious person determination unit detects a movement that restrains the person from the person image extraction unit 223, the suspicious person determination unit determines that a suspicious person abnormality has occurred.

上記実施例では、管理装置２は、不審者異常の判定時に、警備装置８を介して警備センタ装置９に当該異常を通知しているが、これに限らず、不審者異常時における監視画像１００、正面画像及び軌跡画像１１０等を警備センタに送信しても良い。これにより、警備センタに常駐する警備員は、これらの画像を確認することにより、より正確に異常状態を認識することができる。   In the above embodiment, the management device 2 notifies the security center device 9 of the abnormality via the security device 8 when determining the abnormality of the suspicious person. The front image and the trajectory image 110 may be transmitted to the security center. Thereby, the security guard residing at the security center can recognize the abnormal state more accurately by checking these images.

上記実施例では、顔隠蔽判定手段２２１及び認証手段２２２は、顔領域検出手段２２０にて検出された各時刻における全ての顔画像に対して、顔隠蔽判定処理及び認証処理を行っているが、これに限定されるものではない。すなわち、上記実施例に、顔領域検出手段２２０にて検出された顔画像を追跡する顔画像追跡処理を追加することにより、過去時刻において一度、顔隠蔽判定処理または認証処理がなされたならば、後の時刻においては、顔画像追跡処理により同一の顔画像と判断された顔画像に対しては、これらの認証処理を省略することができるようにしてもよい。これにより、全ての時刻における顔画像に対して顔隠蔽判定処理及び認証処理を行う必要がなくなり、計算量を軽減することができる。   In the above embodiment, the face concealment determination unit 221 and the authentication unit 222 perform the face concealment determination process and the authentication process on all face images detected at the respective times detected by the face area detection unit 220. It is not limited to this. That is, by adding a face image tracking process for tracking the face image detected by the face area detection unit 220 to the above embodiment, once the face concealment determination process or the authentication process is performed once in the past time, At a later time, these authentication processes may be omitted for face images determined to be the same face image by the face image tracking process. Thereby, it is not necessary to perform face concealment determination processing and authentication processing on face images at all times, and the amount of calculation can be reduced.

１・・・不審者検知装置
２・・・管理装置
３・・・人物追跡カメラ
４・・・顔検出カメラ
８・・・警備装置
９・・・警備センタ装置
１０・・・金庫
１１・・・操作領域
１２・・・重点監視領域
２１・・・記憶部
２２・・・制御部
２３・・・入力部
２４・・・出力部
２５・・・通信部
２１０・・・領域情報
２１１・・・認証情報
２１２・・・顔判定情報
２１３・・・移動軌跡情報
２１４・・・移動属性情報
２１５・・・不審者判定情報
２１６・・・記録画像情報
２２０・・・顔領域検出手段
２２１・・・顔隠蔽判定手段
２２２・・・認証手段
２２３・・・人物像抽出手段
２２４・・・追跡手段
２２５・・・移動属性算出手段
２２６・・・不審者判定手段
１００・・・監視画像
１１０・・・軌跡画像
Ａ、Ｂ、Ｃ・・・人物像


DESCRIPTION OF SYMBOLS 1 ... Suspicious person detection apparatus 2 ... Management apparatus 3 ... Person tracking camera 4 ... Face detection camera 8 ... Security apparatus 9 ... Security center apparatus 10 ... Safe 11 ... Operation area 12 ... Important point monitoring area 21 ... Storage part 22 ... Control part 23 ... Input part 24 ... Output part 25 ... Communication part 210 ... Area information 211 ... Authentication Information 212 ... Face determination information 213 ... Movement trajectory information 214 ... Movement attribute information 215 ... Suspicious person determination information 216 ... Recorded image information 220 ... Face area detection means 221 ... Face Concealment determination means 222 ... authentication means 223 ... person image extraction means 224 ... tracking means 225 ... movement attribute calculation means 226 ... suspicious person determination means 100 ... monitoring image 110 ... trajectory Image A, B, C ... human figure

Claims (5)

所定領域内の画像を順次取得する撮像部と、前記画像から検出した人物像ごとに画像上にて追跡し各人物像の位置情報を順次出力する追跡部と、不審者の存在を検知する検知部と、不審者の存在を検知すると警報出力する出力部とを有する不審者検知装置において、
前記所定領域は、重要物を保管する保管庫を含んでおり、
予め画像上で設定された前記保管庫を操作可能な領域である至近領域が保存されている領域記憶部を更に有し、
前記検知部は、
前記追跡部にて複数の人物像を検出している場合、当該複数の人物像のうち第一の人物像と他の第二の人物像との相対的な位置関係である相対位置を算出する相対位置算出手段と、
前記相対位置が所定時間にわたって略一定であり、該第一の人物像が前記領域記憶部の前記至近領域内に存在しているとき不審者が存在している判定とする判定手段とを有することを特徴とする不審者検知装置。 An imaging unit that sequentially acquires images in a predetermined area, a tracking unit that tracks each person image detected from the image on the image and sequentially outputs position information of each person image, and detection that detects the presence of a suspicious person And a suspicious person detection device having an output part that outputs a warning when the presence of a suspicious person is detected,
The predetermined area includes a storage for storing important items,
It further has an area storage unit in which a close area that is an area in which the storage set in advance on the image can be operated is stored,
The detector is
When a plurality of human images are detected by the tracking unit, a relative position that is a relative positional relationship between the first human image and the other second human image among the plurality of human images is calculated. A relative position calculating means;
Ri substantially constant der the relative position for a predetermined time, and a determination means for the determination of said first portrait is the Rutoki suspicious person is present in the near region of the area storage unit is present The suspicious person detection device characterized by the above. 前記判定手段は、前記第一の人物像および前記第二の人物像の画像上の位置が、所定時間にわたって略一定であるとき不審者が存在しているとする請求項１に記載の不審者検知装置。 Said determination means, a position on the first figures and the second person image picture, suspicious person according to claim 1, suspicious person when it substantially constant over a predetermined time period is present Detection device. 前記追跡部にて追跡している前記人物像と関連付けて当該人物像の顔画像を取得し、当該顔画像中の顔部位が検出できないことにより、当該顔部位が隠蔽されているか否かを判定する顔隠蔽判定部を更に有し、
前記判定手段は、前記顔隠蔽判定部にて前記第二の人物像の顔部位が隠蔽されていると判定された場合、不審者が存在しているとする請求項１または請求項２に記載の不審者検知装置。 A face image of the person image is acquired in association with the person image tracked by the tracking unit, and it is determined whether or not the face part is concealed because the face part in the face image cannot be detected. A face concealment determination unit that
Said determining means, when said face portion of said second person image by the face hiding determining unit is determined to be concealed, according to claim 1 or claim 2, a suspicious person is present Suspicious person detection device. 前記追跡部にて追跡している前記人物像と関連付けて当該人物像の顔画像を取得し、当該顔画像と予め登録された顔画像とを比較することにより、当該人物像が前記保管庫を解錠する資格を有する人物であるか否かを認証する認証部を更に有し、
前記判定手段は、前記認証部にて前記第一の人物像を認証でき、前記第二の人物像を認証できない場合、不審者が存在しているとする請求項１から請求項３の何れか１項に記載の不審者検知装置。 The face image of the person image is obtained in association with the person image tracked by the tracking unit, and the person image is stored in the storage by comparing the face image with a pre-registered face image. An authentication unit for authenticating whether or not the person is qualified to unlock;
The determination means, the can authenticate the first person image in the authentication unit, when it is not possible to authenticate the second figures, any one of claims 1 to 3, suspicious person is present The suspicious person detection device according to item 1. 前記判定手段は、センサーにより監視領域内への侵入者を検出して異常を外部の装置に通報する警備装置に接続され、予め設定された所定時刻から当該警備装置からの警備開始信号を受信するまでの時間帯にのみ、不審者が存在しているか否かを検知する請求項１から請求項４の何れか１項に記載の不審者検知装置。 The determination means is connected to a security device that detects an intruder into the monitoring area by a sensor and reports an abnormality to an external device, and receives a security start signal from the security device from a predetermined time set in advance. The suspicious person detection device according to any one of claims 1 to 4 , wherein it is detected whether or not a suspicious person exists only during the time period until.

Images