JP2004187116A - 行動監視システムおよびプログラム - Google Patents

Abstract

【課題】人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、行動様式が矛盾している人物が何時頃どの辺に居たかを管理できるようにする。
【解決手段】行動監視システムを構成する固定カメラ管理システム１は、施設内の人物を撮影した撮影画像を解析することによって人物の順逆の行動を監視し、順アクションを起した時の時刻情報および当該人物の居場所を示す位置情報を監視テーブル１３内に記録する。更に、固定カメラ管理システム１は、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の時刻情報および位置情報を行動監視情報として取得する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視する監視装置としては、例えば、以下に示す技術が知られている。すなわち、撮影画像の表示画面上でカーソル操作で不審者の位置をポイントすると、不審者を囲むカーソルエリアが表示されると共に、不審者の移動に伴ってカーソルエリアも移動するようにした旨の技術が知られている（特許文献１参照）。また、撮影画像内の人物像からその形状特徴と動き特徴を特定し、予め蓄積した不審者に関する情報と比較して、不審者を特定する旨の技術が知られている（特許文献２参照）。
【０００３】
【特許文献１】
特開２００１−１１１９８７号公報
【特許文献２】
特開平１１−３３９１３９号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１の技術にあっては、撮影画像の表示画面上でカーソルを操作して不審者の位置をポイント指定するようにしている為、専用係員を配備しておかなくてはならず、しかも、人的作業では不審者を見落とす等のおそれもある。また、上述の特許文献２の技術にあっては、不審者に関する情報を予め登録しておく必要がある為、未登録者の場合には、不審者を発見することができないという問題が残る。
【０００５】
ところで、人物はその行動様式として、相対関係にある一対の行動をとるのが一般的である。例えば、施設内に入場すれば、必ず、退場するのが通常である為に、“入場”と“退場”とは、相対関係（順逆関係）にある一対の行動様式であると言える。同様に、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行（行く／進む）”と“逆方向通行（帰る／戻る）”等においても、相対関係にある一対の行動様式であると言える。
このように“順”と“逆”の関係にある一対の行動様式のうち、“順”の行動を行なった後に、“逆”の行動を行なわなかった場合、例えば、施設内に入場したにもかかわらず、その人物が退場しなかった場合には、施設内に潜んでいるか、正規な出入口以外から退場した場合が考えられる為、挙動不審な人物である可能性が高くなる。同様に、２階に上がった後に下りて来ない場合にも、２階に潜んでいる等の可能性が高くなる。
【０００６】
第１の発明の課題は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、行動様式が矛盾している人物が何時頃どの辺に居たかを管理できるようにすることである。
第２の発明の課題は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、行動様式が矛盾している人物を要注意人物として引き続き追尾監視できるようにすることである。
【０００７】
【課題を解決するための手段】
請求項１記載の発明（第１の発明）は、人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムであって、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションとして検出する検出手段と、この検出手段によって順アクションを行なったことが検出された際に、この順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する監視手段と、この監視手段によって逆アクションを制限時間内に起さなかったことが検出された場合にその人物を特定し、その人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得する取得手段とを具備するものである。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項９記載の発明）。
【０００８】
したがって、請求項１、９記載の発明は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行”と“逆方向通行”等のように相対関係にある行動様式をとらず、行動様式が矛盾している人物、例えば、挙動不審な人物等が何時頃どの辺に居たかを管理することができ、不審者等の発見・管理を容易に行うことが可能となる。
【０００９】
なお、請求項１記載の発明は次のようなものであってもよい。
前記取得手段によって取得した行動監視情報を警備システムへ通報する通報手段を設けた（請求項２記載の発明）。
したがって、請求項２記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、逆アクションを制限時間内に起さなかった際に、その行動監視情報を警備システムへ通報するようにしたから、素早い警備手配が可能となると共に、不正等を事前に回避することも可能となる。
【００１０】
前記順アクションを行った人物が制限時間内に逆アクションを行ったことが検出された場合には、そのアクション監視を解除する（請求項３記載の発明）。したがって、請求項３記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、順アクションを行った人物が制限時間内に逆アクションを行った場合には、そのアクション監視を対象外としたから、行動様式が矛盾している人物のみに絞った集中監視が可能となり、その監視を効率良く行うことが可能となる。
【００１１】
前記順アクションを行った人物が制限時間内に逆アクションを起さない場合でも、逆アクションに相当する他のアクションを制限時間内に行った場合には、そのアクション監視を解除する（請求項４記載の発明）。
したがって、請求項４記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、順アクションを行った人物が逆アクションに相当する他のアクションを制限時間内に行った場合には、そのアクション監視を対象外とするようにしたから、相対関係にある順逆の行動を固定化せず、柔軟な対応が可能となり、実情に即したものとなる。例えば、所定の出入口に設置されているカメラからの撮影画像に基づいて“入室”と“退室”を監視する場合、他の出入口から退場した場合には、逆アクションに相当する他のアクションとみなすことができる等、柔軟な対応が可能となる。
【００１２】
複数の行動様式毎にその順逆の行動を監視する場合に、前記制限時間は、各行動様式毎に予め決められている設定時間である（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、各行動様式毎に制限時間を設定するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”等の行動様式毎に異なる制限時間を設定することができ、実情に即した監視が可能となる。
【００１３】
請求項６記載の発明（第２の発明）は、人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムであって、人物の行動様式として相対関係にある順逆の行動を順アクションおよび逆アクションとして検出する検出手段と、この検出手段によって順アクションを行なったことが検出された際に、この順アクションを起した時の情報を取得して記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する監視手段と、この監視手段によって逆アクションを制限時間内に起さなかったことが検出された場合に、その人物を要注意人物として追跡撮影する追跡撮影手段とを具備するものである。
更に、コンピュータに対して、上述した請求項６記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。
【００１４】
したがって、請求項１、１０記載の発明は、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物を要注意人物として追跡撮影するようにしたから、相対関係にある行動様式をとらず、行動様式が矛盾している人物を要注意人物として引き続き追尾監視することができ、要注意人物の発見とその行動監視を行うことが可能となる。
【００１５】
前記追跡撮影手段は、複数台のカメラ装置を備え、その何れかのカメラによって要注意人物を追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続する（請求項７記載の発明）。
したがって、請求項７記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、複数台のカメラのうち、その人物が何れかのカメラによって追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続するようにしたから、要注意人物を見逃すことなく追跡監視することができる。
【００１６】
前記追跡撮影手段によって要注意人物を追跡監視している監視中において、前記制限時間よりも長い警戒制限時間を越えた場合には、その人物を警戒人物として特定すると共に、現在の追尾位置とその人物に関する情報を警備システムへ通報する（請求項８記載の発明）。
したがって、請求項８記載の発明によれば、請求項６記載の発明と同様の効果を有する他に、警戒制限時間を越えた場合には、その人物を警戒人物として特定し、現在の追尾位置とその人物に関する情報を警備システムへ通報するようにしたから、要注意人物から警戒人物への特定が可能となる他、素早い警備手配が可能となる。
【００１７】
【発明の実施の形態】
以下、図１〜図１２を参照してこの発明の一実施形態を説明する。
図１は、この実施形態における行動監視システムの全体構成を示したブロック図である。
この行動監視システムは、会社、工場等の施設内に構築された構内通信システム（ＬＡＮシステム）であり、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視するもので、複数のサブシステムである固定カメラ管理システム１、追尾カメラ管理システム２、警備システム３が構内通信網４を介して接続された構成となっている。
【００１８】
固定カメラ管理システム１は、予め撮影範囲が固定的に決められている固定カメラ群１１を管理するデータ処理装置を中核とする管理システムであり、後述するアクションテーブル１２、監視テーブル１３、監視対象用の人物画像ファイル１４を有している。追尾カメラ管理システム２は、人物を追尾して撮影可能な追尾カメラ群２１を管理するデータ処理装置を中核とする管理システムであり、後述する追尾カメラ管理テーブル２２、追尾対象用の人物画像ファイル２３を有している。警備システム３は、警備室に構築されている管理システムである。
【００１９】
図２は、施設内に設置されているカメラの配置状態を概念的に示した図である。
施設内に設置されている各種のカメラは、その用途に応じて固定カメラ群１１と追尾カメラ群２１に分類され、図中、Ａ１とＡ２、Ｂ１とＢ２、Ｃ１とＣ２、Ｄ１とＤ２は、固定カメラ群１１を示し、Ｋ１、Ｋ２、Ｋ３、Ｋ４は、追尾カメラ群２１を示している。ここで、固定カメラ群Ａ１、Ａ２、‥‥、Ｄ１、Ｄ２は、施設や室内の出入口に設置されたもので、施設／室内の入口から入場する人物をその略正面方向から撮影する入場者用の固定カメラＡ１、Ｂ１、Ｃ１、Ｄ１と、施設／室内の出口から退場する人物をその略正面方向から撮影する退場者用の固定カメラＡ２、Ｂ２、Ｃ２、Ｄ２とを有している。
【００２０】
追尾カメラ群Ｋ１、‥‥Ｋ４は、施設内や室内に設置されたもので、特定の人物（後述する要注意人物）を追跡撮影する為に、そのカメラ本体を可動させる首振り機構を有している。なお、この最大首振り角度が特定人物を追尾可能な最大追尾可能範囲となっている。ここで、何れかの追尾カメラによって人物を追跡撮影している場合に、追尾カメラ管理システム２は、その人物がそのカメラの最大追尾可能範囲を越えたことを検出した際に、その人物の移動方向に存在し、かつ追尾可能な他の追尾カメラに切り換えて当該人物を引き続き追跡撮影するようにしている。
【００２１】
図３は、固定カメラ管理システム１側に設けられているアクションテーブル１２の内容を示した図である。
このアクションテーブル１２は、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションに関する情報を固定的に記憶管理するもので、複数種の行動様式毎に、その順アクション、逆アクションに関する情報として、「順アクションカメラ（モニタ番号）」、「逆アクションカメラ（モニタ番号）」、「相殺アクションカメラ（モニタ番号）」、「第１制限時間」、「第２制限時間」が設定されている。すなわち、例えば、順逆の行動様式が施設への入退場の場合には、入場（順アクション）を監視する固定カメラ（順アクション監視用のカメラ）Ａ１と、施設からの退場（逆アクション）を監視する固定カメラ（逆アクション監視用のカメラ）Ａ２とのカメラ識別情報（モニタ番号Ａ１、Ａ２）とが対応付けて設定されている他、「第１制限時間」、「第２制限時間」が設定されている。
【００２２】
「第１制限時間」は、順アクション（入場）した人物が予め決められている時間内に逆アクション（退場）したかを監視する為に予め任意に設定された設定時間であり、この「第１制限時間」内にその逆アクションを行った場合に、固定カメラ管理システム１は、その人物を監視対象から解除して対象外とするが、「第１制限時間」を越えても逆アクションを行わない場合には、その人物を要注意人物として特定して監視対象のままとするようにしている。
「第２制限時間」は、上述のように要注意人物として特定された人物がその後も逆アクションを行わない場合に、その人物を警戒人物として特定する為に予め任意に設定された設定時間であり、上述の「第１制限時間」よりも長い警戒制限時間である。この「第２制限時間」を越えも逆アクションを行わない人物を警戒人物として特定した際に、固定カメラ管理システム１は、当該人物の現在位置とその人物に関する情報を警備システム３へ通報するようにしている。
【００２３】
また、例えば、順逆の行動様式が１箇所の出入口から室内へ出入する場合には、その出入口からの入室（順アクション）を監視する固定カメラ（順アクション監視用のカメラ）Ｂ１と、退室（逆アクション）を監視する固定カメラ（逆アクション監視用のカメラ）Ｂ２とのカメラ識別情報（モニタ番号Ｂ１、Ｂ２）とが対応付けて設定されている他、「相殺アクションカメラ（モニタ番号）」、「第１制限時間」、「第２制限時間」が設定されている。
ここで、図２で示したように、部屋の出入口が２ヵ所存在する場合には、入室時に利用した出入口とは異なる他の出入口から退室することもあり得る。このような場合、順アクションの“Ｂ１”に対する逆アクションの“Ｂ２”との相対関係は成立しないが、この逆アクションの“Ｂ２”に相当する他のアクションの“Ｃ２”、つまり、異なる他の出入口からの退室アクションが「相殺アクションカメラ（モニタ番号）」として設定されている。「第１制限時間」、「第２制限時間」は、上述の場合と同様、「第１制限時間」は、要注意人物として特定する為の制限時間、「第２制限時間」は、警戒人物として特定する為の制限時間である。
【００２４】
図４は、固定カメラ管理システム１側に設けられている監視テーブル１３の内容を示した図である。
この監視テーブル１３は、何れかの固定カメラＡ１〜Ｄ１からの撮影画像を解析することによって人物の順アクションが検知される毎に、その人物の順アクションを監視する為の監視レコードを記憶管理するもので、各監視レコードは、「人物ＩＤ」、「要注意フラグ」、「順アクション」、「アクション時刻」、「位置」、「第１制限時刻」、「第２制限時刻」の各項目を有する構成となっている。
【００２５】
固定カメラ管理システム１は、順アクションを行った人物がその「第１制限時間」が経過する前に、この順アクション対応の逆アクションを行った場合には、この順アクションを監視対象外とする為に、その監視レコードを監視テーブル１３から削除するようにしている為、順アクションを行った後にその「第１制限時間」が経過する前である場合および順アクションを行った後にその「第１制限時間」が経過しても対応する逆アクションを行わなかった場合には、その監視レコードはそのまま保持される。
「人物ＩＤ」は、施設への新規入場時において、その入場者を識別する為に自動生成された一連番号である。「要注意フラグ」は、上述のようにして要注意として特定された人物に対して付加されたフラグであり、図中、〇印はフラグオンを示している。
【００２６】
「順アクション」は、順アクション対応の固定カメラを示す「モニタ番号」であり、「アクション時刻」、「位置」は、順アクションを起した時に、その人物が何時頃どの辺に居たかを示す為の時刻情報、位置情報である。この場合、「位置」は、順アクション対応の固定カメラが設置されている設置位置と、この固定カメラで撮影された撮影画像内の写っている当該人物の位置を解析することによって得られた人物の居場所とを組み合わせた構成となっている。つまり、人物の現在位置は、カメラの設置位置によって特定することができるが、この実施形態においては、例えば、固定カメラの撮影画像を２×２のマトリックス状に分割し、各分割エリアのうち、どのエリアに人物が移っているかを示すエリア番号を人物の居場所を示す情報とすることによって人物の詳細位置を特定するようにしている。
【００２７】
「第１制限時刻」、「第２制限時刻」は、順アクションに対応して設定されているアクションテーブル１２内の「第１制限時間」、「第２制限時間」に、現在時刻（アクション時刻）を加算することによって得られた制限時刻であり、固定カメラ管理システム１は、「第１制限時刻」、「第２制限時刻」の経過を監視し、「第１制限時刻」と現在時刻とを比較することによって要注意人物を特定したり、更に、「第２制限時刻」と現在時刻とを比較することによって警戒人物を特定するようにしている。
【００２８】
図５は、固定カメラ管理システム１側に設けられている人物画像ファイル１４を説明する為の図である。
この人物画像ファイル１４は、１人物１ファイル形式で、その人物画像を監視対象として登録されたもので、各人物画像ファイル１４には「人物ＩＤ」が付加されている。各人物画像は、人物の顔を中心に撮影されたもので、人物画像ファイル１４として登録されている登録画像と、新規撮影された撮影画像との特徴比較を行う際には、撮影画像の中から特徴部分を抽出して特徴比較を行う。つまり、撮影画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ等を比較する他、眼鏡の有無、衣服、髪型、色を総合的に比較して人物特定を行うようにしている。
【００２９】
図６（Ａ）は、追尾カメラ管理システム２側に設けられている追尾カメラ管理テーブル２２の内容を示した図である。
この追尾カメラ管理テーブル２２は、人物を追跡撮影する為にその追尾対象の人物に関する情報と追尾カメラに関する情報とを対応付けて記憶管理するもので、「追尾カメラ番号」、「マーク人物ＩＤ」、「追尾可能エリア」の各項目を有する構成となっている。
「追尾カメラ番号」は、人物を追跡撮影する追尾カメラを識別する為の情報（Ｋ１、‥‥Ｋ４）であり、「追尾可能エリア」は、その首振り機構によって最大限追尾することができる追尾可能範囲を示し、追尾カメラ管理システム２は、人物がこの「追尾可能エリア」を越えた際に、追尾可能な他の追尾カメラに切り換えて追跡撮影を継続する。「マーク人物ＩＤ」は、追尾対象の人物を識別する為の情報であり、図６（Ｂ）に示す人物画像ファイル２３は、この「マーク人物ＩＤ」によってアクセスされる。人物画像ファイル２３は、１人物１ファイル形式で、その人物画像を追尾対象として登録されたもので、各人物画像ファイル２３には「人物ＩＤ」が付加されている。
【００３０】
図７は、固定カメラ管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図である。なお、追尾カメラ管理システム２を構成するデータ処理装置も同様の構成要素を有する構成となっている為、以下、固定カメラ管理システム１側のデータ処理装置について説明し、追尾カメラ管理システム２側のデータ処理装置ついては、その説明を省略する。
ＣＰＵ１０１は、記憶装置１０２内のオペレーティングシステムや各種アプリケーションソフトにしたがってこのデータ処理装置の全体動作を制御する中央演算処理装置である。記憶装置１０２は、プログラム記憶領域とデータ記憶領域とを有し、このプログラム記憶領域内には、オペレーティングシステムの他に、各種アプリケーションプログラムが格納され、磁気的、光学的、半導体メモリ等やその駆動系によって構成されている。
【００３１】
この記録装置１０２はハードディスク等の固定的なメモリの他、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在な記憶媒体を装着可能な構成であってもよい。この記憶装置１０２内のプログラムやデータは、必要に応じてＲＡＭ（例えば、スタティックＲＡＭ）１０３にロードされたり、ＲＡＭ１０３内のデータが記憶装置１０２にセーブされる。なお、ＲＡＭ１０３内には、プログラム実行領域と作業領域とを有している。更に、ＣＰＵ１０１は通信装置１０４を介して他の電子機器側のプログラム／データを直接アクセスして使用したり、通信装置１０４を介してダウンロード受信することもできる。一方、ＣＰＵ１０１にはその入出力周辺デバイスである入力装置１０５、表示装置１０６がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１０１はそれらの動作を制御する。
【００３２】
次に、この実施形態における行動監視システムの動作概念を図８〜図１２に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００３３】
図８〜図１０は、固定カメラ管理システム１の動作を示したフローチャートである。
先ず、固定カメラ管理システム１は、常時、モニタリングしている固定カメラ群１１からの各撮影画像を取得し（図８のステップＡ１）、何れかの撮影画像の中に人物が含まれており、人物が固定カメラ方向に向かって来るかの解析を行う（ステップＡ２）。この場合、カメラに対して正面に向いた人物像が次第に大きくなった否かを画像解析によって調べ、人物が所定の大きさになった際には、対象人物を有りと判別するが、例えば、横断する人物等を検出した場合には、対象人物無し判別する（ステップＡ３）。
【００３４】
いま、人物が固定カメラ方向に向かって来る場合に、そのカメラが順アクション監視用の固定カメラであるか、逆アクション監視用の固定カメラであるかを判別し（ステップＡ４）、順アクション監視用の固定カメラであれば、更に、施設入場用の固定カメラＡ１か否かを判別する（ステップＡ５）。ここで、施設入場用の固定カメラＡ１の方向に向かって来る入場者を検出した場合には、この撮影画像の中から人物画像を抽出すると共にその人物固有の「人物ＩＤ」を自動生成し、「人物ＩＤ」付きの抽出画像を人物画像ファイル１４として新規登録する（ステップＡ６）。
【００３５】
そして、この施設入場用の固定カメラの「モニタ番号（Ａ１）」に基づいてアクションテーブル１２をアクセスし、対応する「第１制限時間」、「第２制限時間」を取得し（ステップＡ７）、この「第１制限時間」、「第２制限時間」に現在時刻をそれぞれ加算することによって「第１制限時刻」、「第２制限時刻」を算出すると共に（ステップＡ８）、この固定カメラの設置位置とこのカメラの撮影画像の中から当該人物が写っているエリアを特定して人物の居場所を示す「位置」を求めた後に（ステップＡ９）、この「人物ＩＤ」、「モニタ番号（Ａ１）」、「位置」、「第１制限時刻」、「第２制限時刻」、「アクション時刻（現在時刻）」を含むレコードを新規生成して監視テーブル１３に新規登録する（ステップＡ１０）。
以下、施設への入場者を検知する毎に、上述の動作が繰り返される（ステップＡ１〜Ａ１０）。
【００３６】
また、固定カメラＡ１以外の順アクション監視用の固定カメラＢ１、Ｃ１、Ｄ１からの撮影画像の中にカメラ方向に向かって来る人物が有ることを検知した場合には（ステップＡ２〜Ａ５）、この撮影画像の中から人物画像を抽出すると共に、この抽出画像と登録画像（人物画像ファイル１４）との特徴比較を行って同一人物を特定する（ステップＡ１１）。これによって特定された登録画像から「人物ＩＤ」を取得した後に（ステップＡ１２）、この順アクションに応じた監視レコードを新規生成し、この生成レコードを監視テーブル１３に追加登録する処理を行う（ステップＡ１３）。
【００３７】
この生成・登録処理は、上述したステップＡ７〜Ａ１０に対応する処理を実行するもので、先ず、固定カメラの「モニタ番号」対応の「第１制限時間」、「第２制限時間」に基づいて「第１制限時刻」、「第２制限時刻」を算出すると共に、その人物の居場所を示す「位置」を求めた後に、「人物ＩＤ」、「順アクション」、「位置」、「第１制限時刻」、「第２制限時刻」、「アクション時刻」を含むレコードを新規生成して監視テーブル１３に追加登録する。
そして、この「人物ＩＤ」に基づいて監視テーブル１３を検索し、当該人物対応の他の監視レコードを指定し（ステップＡ１４）、何れかの監視レコード内に「要注意フラグ」がセットされているかをチェックする（ステップＡ１５）。この場合、「要注意フラグ」がオフされ、要注意人物でなければ、最初のステップＡ１に戻るが、「要注意フラグ」がオンされ、要注意人物であれば、図９のステップＡ１６に移り、その人物を追尾監視すべきことを追尾カメラ管理システム２へ通知すると共に、当該人物の「位置」、「人物ＩＤ」、「人物画像」を追尾カメラ管理システム２へ送信した後、最初の図８のステップＡ１に戻る。
【００３８】
一方、固定カメラ管理システム１は、固定カメラ群１１からの各撮影画像を解析した結果、人物が含まれていないことを検知した場合には（図８のステップＡ３）、監視テーブル１３の内容に基づいて要注意人物あるいは警戒人物を特定する為の処理に移る（図１０のステップＡ２５〜Ａ３０）。この場合、上述したように、固定カメラ管理システム１は、順アクションを行った人物がその「第１制限時間」が経過する前に、この順アクション対応の逆アクションを行った場合には、この順アクションを監視対象外とする為に、その監視レコードを監視テーブル１３から削除するようにしている為、順アクションを行った後にその「第１制限時間」が経過する前である場合および順アクションを行った後にその「第１制限時間」が経過しても対応する逆アクションを行わなかった場合には、その監視レコードはそのまま保持されている。
【００３９】
この状態において、固定カメラ管理システム１は、監視テーブル１３の先頭から順に読み出した監視レコード内の「第１制限時刻」と「現在時刻」とを比較することによって「第１制限時刻」を越えているかをチェックし（ステップＡ２５）、「第１制限時刻」を越えている監視レコードが有れば、言換えれば、順アクションを行った後にその「第１制限時間」が経過しても対応する逆アクションを行わなかった場合には（ステップＡ２６）、当該レコード内の「人物ＩＤ」で示される人物を要注意人物として特定して当該レコード内に「要注意フラグ」をセットする（ステップＡ２７）。
【００４０】
更に、固定カメラ管理システム１は、監視テーブル１３から「要注意フラグ」がセットされている監視レコードを順次読み出し、この監視レコード内の「第２制限時刻」と「現在時刻」とを比較することによって「第２制限時刻」を越えているかをチェックし（ステップＡ２８）、「第２制限時刻」を越えている監視レコードが有れば、言換えれば、上述のように要注意人物として特定された人物が順アクションを行った後にその「第２制限時間」が経過しても対応する逆アクションを行わなかった場合には（ステップＡ２９）、当該レコード内の「人物ＩＤ」で示される人物を警戒人物として特定して当該人物を追尾監視すべきことを追尾カメラ管理システム２へ通知すると共に、その人物の「人物ＩＤ」を追尾カメラ管理システム２へ送信する（ステップＡ３０）。
【００４１】
他方、順アクションを行った後に対応する逆アクションを行ったことを検知した場合には（図８のステップＡ４）、その撮影画像の中から人物画像を抽出した後（図９のステップＡ１７）、その人物は要注意人物かをチェックする（ステップＡ１８）。すなわち、監視テーブル１３から「要注意フラグ」がセットされている監視レコードを検索し、このレコード内から「人物ＩＤ」を取得すると共に、この「人物ＩＤ」に対応付けられている登録画像（要注意人物の人物画像ファイル１４）を取得し、この登録画像と上述の抽出画像とを比較することによって、逆アクションを行った人物は要注意人物に該当するかをチェックする。
いま、要注意人物であれば、その人物を追尾監視すべきことを追尾カメラ管理システム２へ通知すると共に、この逆アクションカメラの設置位置とその撮影画面から特定した当該人物の居場所とを含む「位置」と、「人物ＩＤ」、「人物画像」とを追尾カメラ管理システム２へ送信した後（ステップＡ１６）、最初の図８のステップＡ１に戻る。
【００４２】
また、逆アクションを行った人物が要注意人物でなければ、この逆アクション監視用のモニタ番号に基づいてアクションテーブル１２を検索して該当する順アクション監視用のモニタ番号を読み出すと共に、この順アクション監視用のモニタ番号に基づいて監視テーブル１３を検索し、該当する全ての監視レコードから「人物ＩＤ」を抽出する（ステップＡ１９）。例えば、逆アクション監視用のモニタ番号が「Ｂ２」の場合には、それに対応する順アクション監視用のモニタ番号「Ｂ１」に基づいて図４の監視テーブル１３を検索することによって、このモニタ番号「Ｂ１」に該当する「人物ＩＤ」として「００１」、「００２」、「０００３」、‥‥を抽出する。言換えれば、入室した全ての人物を特定する。
【００４３】
これによって抽出特定された「人物ＩＤ」対応の登録画像（人物画像ファイル１４）と、上述のステップＡ１７で抽出された人物画像との特徴比較を行い、同一人物の有無をチェックする（ステップＡ２０）。いま、人物ＩＤ「００２」で示される人物が部屋から退室した場合、すなわち、順アクションに対応する逆アクションを起した場合には、ステップＡ２１で同一人物有りが検出される為、ステップＡ２４に移り、当該監視レコードを監視テーブル１３から削除して監視対象外とする。
【００４４】
また、逆アクションが順アクションに対応するものではない場合、例えば、モニタ番号「Ｂ１」の順アクションに対応する逆アクションとしてモニタ番号「Ｂ２」の行動を起さずに、「Ｃ２」の逆アクションを起した場合、言換えれば、同一の出入口から入退室をせずに、別の出入口から退室した場合には、上述のステップＡ２１で同一人物無しが検出される。この場合、この逆アクション監視用のモニタ番号「Ｃ２」に基づいてアクションテーブル１２を検索して該当する相殺アクションのモニタ番号「Ｂ２」を指定し、この相殺アクションのモニタ番号「Ｂ２」に対応する順アクションモニタ番号「Ｂ１」を読み出し、この順アクション監視用のモニタ番号「Ｂ１」に基づいて図４の監視テーブル１３を検索することによって、このモニタ番号「Ｂ１」に該当する「人物ＩＤ」として「００１」、「００２」、「０００３」、‥‥を抽出する（ステップＡ２２）。これによって抽出された「人物ＩＤ」対応の登録画像（人物画像ファイル１４）と、上述のステップＡ１７で抽出した人物画像とを比較し、同一人物を選択する（ステップＡ２３）。そして、ステップＡ２４に移り、当該監視レコードを監視テーブル１３から削除して監視対象外とする。
【００４５】
図１１は、追尾カメラ管理システム２の動作を示したフローチャートであり、追尾カメラ管理システム２は、全ての追尾カメラからの撮影画像を取得してモニタリングしている。
先ず、追尾カメラ管理システム２は、固定カメラ管理システム１からの要求有無をチェックし（ステップＢ１）、何らかの要求を受取った場合には、その要求内容を調べ、それが追尾通知か警戒通知かをチェックする（ステップＢ２）。
ここで、上述したように固定カメラ管理システム１側において、追尾通知は、順アクション時あるいは逆アクション時にその人物が要注意人物として認定された場合に送信され、警戒通知は、警戒人物として認定された場合に送信される。
【００４６】
いま、追尾通知を受信した場合には（ステップＢ２でＹＨＳ）、固定カメラ管理システム１から送信されて来た「人物ＩＤ」、「人物画像」の他に、順アクションを行った時の時刻とその位置を示す「アクション時刻」と「位置」とを受信し（ステップＢ３）、この「位置」に含まれている固定カメラの設置位置を読み出し、この設置位置の近傍で、現在、非監視中（空）の監視カメラを選択する（ステップＢ４）。例えば、「Ｃ１」の順アクション時に追尾通知を受信した場合には、追尾カメラとして「Ｋ４」を選択し、「Ｂ２」の逆アクション時に追尾通知を受信した場合には、追尾カメラとして「Ｋ１」を選択する。そして、選択カメラのカメラ番号に対応に対応付けて、追尾カメラ管理テーブル２２内に当該「人物ＩＤ」を記録した後（ステップＢ５）、選択カメラに対して追尾対象の当該人物画像を送信すると共に（ステップＢ６）、追尾開始指示を与える（ステップＢ７）。
【００４７】
図１２は、追尾開始指示を受けた追尾カメラの動作を示したフローチャートである。
先ず、追尾カメラは、その撮影画像を解析することによってその中に追尾対象の人物画像が写っているかを調べ（ステップＣ１、Ｃ２）、所定時間が経過しても追尾対象の人物が現れなかった場合には、追尾カメラ管理システム２に対してモニタ外通知を行うが（ステップＣ６）、追尾対象の出現を検知した場合には、その人物をマーキングして追跡撮影を行う（ステップＣ３）。そして、この追跡撮影中にその人物が追尾可能エリアから外れた場合には（ステップＣ４）、人物の進行方向を示す情報と共にモニタ外通知を追尾カメラ管理システム２に対して送信する（ステップＣ５）。
【００４８】
ここで、追尾カメラ管理システム２は、追尾カメラからモニタ外通知を受信した場合には（図１１のステップＢ８）、その通知元カメラの追尾可能エリアと人物の進行方向を示す情報とを参照して、当該カメラの最終追尾位置を求め、この位置の近傍で、現在、非監視中の監視カメラ（空のカメラ）を切替選択し（ステップＢ９）、この選択カメラに対して追尾対象の当該人物画像を送信すると共に（ステップＢ６）、追尾開始の指示を与える（ステップＢ７）。
【００４９】
一方、固定カメラ管理システム１から警戒通知を受信した場合には（ステップＢ２）、その「人物ＩＤ」を受信すると共に（ステップＢ１０）、この「人物ＩＤ」に基づいて追尾カメラ管理テーブル２２をアクセスし、その警戒人物を追跡撮影している追尾カメラを特定すると共に、この追尾カメラからの撮影画像を解析することによって、警戒人物が居る位置を特定する（ステップＢ１１）。そして、当該警戒人物の人物画像とその人物位置とを警備システム３に対して送信する（ステップＢ１２）。
【００５０】
以上のように、この実施形態における行動監視システムは、固定カメラ管理システム１、追尾カメラ管理システム２等から成り、固定カメラ管理システム１は、施設内の人物を撮影した撮影画像を解析することによって人物の順逆の行動を監視し、順アクションを起した時の時刻情報および当該人物の居場所を示す位置情報を監視テーブル１３内に記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の時刻情報および位置情報を監視テーブル１３から取得するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行”と“逆方向通行”等のように相対関係にある行動様式をとらず、行動様式が矛盾している人物、例えば、挙動不審な人物等が何時頃どの辺に居たかを管理することができ、不審者等の発見・管理を容易に行うことが可能となる。
【００５１】
この場合、逆アクションを「第２制限時間」内に起さなかった際に、その行動監視情報を警備システム３へ通報するようにしたから、素早い警備手配が可能となると共に、不正等を事前に回避することも可能となる。
また、順アクションを行った人物が「第１制限時間」内に逆アクションを行った場合には、そのアクション監視を対象外としたから、行動様式が矛盾している人物のみに絞った集中監視が可能となり、その監視を効率良く行うことが可能となる。
【００５２】
更に、順アクションを行った人物が逆アクションに相当する相殺アクションを「第１制限時間」内に行った場合には、そのアクション監視を対象外とするようにしたから、相対関係にある順逆の行動を固定化せず、柔軟な対応が可能となり、実情に即したものとなる。
この場合、「第１制限時間」、「第２制限時間」は、施設への“入場”と“退場”、“入室”と“退室”等の行動様式毎に異なる時間を設定するようにしたから、実情に即した監視が可能となる。
【００５３】
固定カメラ管理システム１は、施設内の人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の時刻情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が「第１制限時間」内に逆アクションを行ったかを監視し、逆アクションを「第１制限時間」内に起さなかったことが検出された場合に、追尾カメラ管理システム２は、その人物を要注意人物として追跡撮影させるようにしたから、相対関係にある行動様式をとらず、行動様式が矛盾している人物を要注意人物として引き続き追尾監視することができ、要注意人物の発見とその行動監視を行うことが可能となる。
【００５４】
この場合、複数台の追尾カメラのうち、その人物が何れかの追尾カメラによって追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続するようにしたから、要注意人物を見逃すことなく追跡監視することができる。
また、「第２制限時間」を越えた場合には、その人物を警戒人物として特定し、現在の追尾位置とその人物に関する情報を警備システム３へ通報するようにしたから、要注意人物から警戒人物への特定が可能となる他、素早い警備手配が可能となる。
【００５５】
なお、上述した実施形態においては、相対関係にある順アクションと逆アクションとが“１対１”の場合を例示したが、例えば、２階に上がった後に３階に上がり、その後、３階から２階に降りた後に１階に戻る等のように、順アクションと逆アクションとは、“２対２”の関係にあってもよく、更に、“１対２”の関係、“２対１”の関係等であってもよく、順アクションと逆アクションとは、“対”になっている関係であれば、その内容は任意である。
【００５６】
また、固定カメラ管理システム１は、順アクションを起した後にその人物が逆アクションを「第１制限時間」内に起さなかったことを検出した場合に、その人物が順アクションを起した時の時刻情報および位置情報を監視テーブル１３から読み出して追尾カメラ管理システム２へ通知するようにしたが、警備システム３への通知も合わせて行うようにしてもよい。この場合、追尾カメラによる監視の他に、警備システム３側のモニタ画面によって警備員による直接的な監視も可能となる。
【００５７】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、人物を撮影した撮影画像を解析することによって人物の行動を監視する為に、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションとして検出する機能と、順アクションを行なったことが検出された際に、この順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する機能と、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５８】
また、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、人物を撮影した撮影画像を解析することによって人物の行動を監視する為に、人物の行動様式として相対関係にある順逆の行動を順アクションおよび逆アクションとして検出する機能と、順アクションを行なったことが検出された際に、この順アクションを起した時の情報を取得して記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する機能と、逆アクションを制限時間内に起さなかったことが検出された場合に、その人物を要注意人物として特定し、この人物を追跡撮影する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５９】
【発明の効果】
第１の発明（請求項１記載の発明）によれば、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得するようにしたから、例えば、施設への“入場”と“退場”、階段を“上る”と“下がる”、“入室”と“退室”、“順方向通行”と“逆方向通行”等のように相対関係にある行動様式をとらず、行動様式が矛盾している人物、例えば、挙動不審な人物等が何時頃どの辺に居たかを管理することができ、不審者等の発見・管理を容易に行うことが可能となる。
第２の発明（請求項６記載の発明）によれば、人物を撮影した撮影画像を解析することによって人物の行動を監視する場合に、人物の行動様式として相対関係にある順逆の行動を監視し、順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が制限時間内に逆アクションを行ったかを監視し、逆アクションを制限時間内に起さなかったことが検出された場合にその人物を要注意人物として追跡撮影するようにしたから、相対関係にある行動様式をとらず、行動様式が矛盾している人物を要注意人物として引き続き追尾監視することができ、要注意人物の発見とその行動監視を行うことが可能となる。
【図面の簡単な説明】
【図１】行動監視システムの全体構成を示したブロック図。
【図２】施設内に設置されているカメラの配置状態を概念的に示した図。
【図３】固定カメラ管理システム１側に設けられているアクションテーブル１２の内容を示した図。
【図４】固定カメラ管理システム１側に設けられている監視テーブル１３の内容を示した図。
【図５】
固定カメラ管理システム１側に設けられている人物画像ファイル１４を説明する為の図。
【図６】（Ａ）は、追尾カメラ管理システム２側に設けられている追尾カメラ管理テーブル２２の内容を示した図、（Ｂ）は、人物画像ファイル２３を説明する為の図。
【図７】固定カメラ管理システム１の中核を成すデータ処理装置の基本的構成要素を示したブロック図。
【図８】固定カメラ管理システム１の動作を示したフローチャート。
【図９】図８に続く、固定カメラ管理システム１の動作を示したフローチャート。
【図１０】図８に続く、固定カメラ管理システム１の動作を示したフローチャート。
【図１１】追尾カメラ管理システム２の動作を示したフローチャート。
【図１２】追尾開始指示を受けた追尾カメラの動作を示したフローチャート。
【符号の説明】
１ 固定カメラ管理システム
２ 追尾カメラ管理システム
３ 警備システム
１１ 固定カメラ群
１２ アクションテーブル
１３ 監視テーブル
１４ 監視対象の人物画像ファイル
２１ 追尾カメラ群
２２ 追尾カメラ管理テーブル
２３ 追尾対象の人物画像ファイル
１０１ ＣＰＵ
１０２ 記憶装置
１０４ 通信装置
１０５ 入力装置
１０６ 表示装置

Claims (10)

1. 人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムであって、
   人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションとして検出する検出手段と、
   この検出手段によって順アクションを行なったことが検出された際に、この順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する監視手段と、
   この監視手段によって逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得する取得手段と、
   を具備したことを特徴とする行動監視システム。
2. 前記取得手段によって取得した行動監視情報を警備システムへ通報する通報手段を設けた、
   ことを特徴とする請求項１記載の行動監視システム。
3. 前記順アクションを行った人物が制限時間内に逆アクションを行ったことが検出された場合には、そのアクション監視を解除する、
   ようにしたことを特徴とする請求項１記載の行動監視システム。
4. 前記順アクションを行った人物が制限時間内に逆アクションを起さない場合でも、逆アクションに相当する他のアクションを制限時間内に行った場合には、そのアクション監視を解除する、
   ようにしたことを特徴とする請求項１記載の行動監視システム。
5. 複数の行動様式毎にその順逆の行動を監視する場合に、前記制限時間は、各行動様式毎に予め決められている設定時間である、
   ことを特徴とする請求項１記載の行動監視システム。
6. 人物を撮影した撮影画像を解析することによって人物の行動を監視する行動監視システムであって、
   人物の行動様式として相対関係にある順逆の行動を順アクションおよび逆アクションとして検出する検出手段と、
   この検出手段によって順アクションを行なったことが検出された際に、この順アクションを起した時の情報を取得して記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する監視手段と、
   この監視手段によって逆アクションを制限時間内に起さなかったことが検出された場合に、その人物を要注意人物として追跡撮影する追跡撮影手段と、
   を具備したことを特徴とする行動監視システム。
7. 前記追跡撮影手段は、複数台のカメラ装置を備え、その何れかのカメラによって要注意人物を追跡撮影している場合に、その人物の移動に伴って当該カメラの追尾可能範囲を越えた際には、人物の移動方向に存在し、追尾可能な他のカメラに切り換えて当該人物の追跡撮影を継続する、
   ようにしたことを特徴とする請求項６記載の行動監視システム。
8. 前記追跡撮影手段によって要注意人物を追跡監視している監視中において、前記制限時間よりも長い警戒制限時間を越えた場合には、その人物を警戒人物として特定すると共に、現在の追尾位置とその人物に関する情報を警備システムへ通報する、
   ようにしたことを特徴とする請求項５記載の行動監視システム。
9. コンピュータに対して、
   人物を撮影した撮影画像を解析することによって人物の行動を監視する為に、人物の行動様式として相対関係にある順逆の行動を順アクション、逆アクションとして検出する機能と、
   順アクションを行なったことが検出された際に、この順アクションを起した時の計時情報および当該人物の居場所を示す位置情報を記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する機能と、
   逆アクションを制限時間内に起さなかったことが検出された場合に、その人物が順アクションを起した時の計時情報および位置情報を行動監視情報として取得する機能と、
   を実現させるためのプログラム。
10. コンピュータに対して、
    人物を撮影した撮影画像を解析することによって人物の行動を監視する為に、人物の行動様式として相対関係にある順逆の行動を順アクションおよび逆アクションとして検出する機能と、
    順アクションを行なったことが検出された際に、この順アクションを起した時の情報を取得して記録した後に、順アクションを行った人物が予め決められている制限時間内に逆アクションを行ったかを監視する機能と、
    逆アクションを制限時間内に起さなかったことが検出された場合に、その人物を要注意人物として特定し、この人物を追跡撮影する機能と、
    を実現させるためのプログラム。

Images