JP2002344946A

JP2002344946A - 監視装置

Info

Publication number: JP2002344946A
Application number: JP2001145960A
Authority: JP
Inventors: Takahiro Watanabe; 孝弘渡辺
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2001-05-16
Filing date: 2001-05-16
Publication date: 2002-11-29

Abstract

(57)【要約】【課題】監視画像に映った人物の特徴及び行動を識別す
るとともに、該特徴及び行動を分析して表示画面に表示
するとともに、前記分析の結果を編集加工可能な形態で
記録することができるようにする。【解決手段】監視画像に映った人物を検出し、追跡する
検出・追跡部１１と、該検出・追跡部１１の出力に基づ
いて前記人物の行動を特定する姿勢・行動認識部１２
と、該姿勢・行動認識部１２の出力に基づいて、編集加
工可能な形態で記録事項が記載された人物行動テーブル
を作成する行動記録作成部１３とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視装置に関する
ものである。

【０００２】

【従来の技術】従来、コンビニエンスストア、スーパー
マーケット等の商店、銀行、信用金庫等の金融機関、玄
関ホール、エレベータ等の建物内部のような施設に監視
カメラ等を設置し、撮影した画像をリアルタイムでモニ
ターしたり記録することによって、前記施設の様子を監
視する監視装置が提供されている。

【０００３】この場合、前記施設内の人物の様子を監視
することが重要であるが、監視カメラが撮影する監視画
像に人物が映っていないことが多い。そのため、人物が
映っておらず利用価値の低い監視画像をモニターしたり
記録するために時間がかかり、また、記録用の記憶手段
を必要とするので、監視のためのコストが高くなってし
まう。

【０００４】そこで、人物が映っていない監視画像をモ
ニターしたり記録する必要がないようにするため、監視
画像中に人物が映っているか否かを判定し、人物が映っ
ていると判定された監視画像だけを記録することによっ
て、利用価値が高いと思われる監視画像だけを記録して
モニターすることができる監視装置が提案されている
（特開平１０−３０２１７１号公報参照）。

【０００５】

【発明が解決しようとする課題】しかしながら、前記従
来の監視装置においては、監視画像中に人物が映ってい
るか否かを判断するだけで、その人物がどのような特徴
を有するのか、また、どのような動作をしているのかを
判断することができない。

【０００６】一般に、前記施設内の人物の様子を監視す
る場合、人物の特徴及び行動を識別することが重要であ
るが、前記従来の監視装置においては、人物の特徴及び
行動を識別することができない。そのため、例えば、コ
ンビニエンスストア等に設置された監視カメラの画像か
ら特定の場所（例えば、書籍部、飲料部等）で、特定の
動作（例えば、立ち読み、物品取出等）だけを行う人物
を検出したり、その様子を記録（録画を含む）をしたり
することができない。

【０００７】したがって、前記従来の監視装置において
人物の特徴及び行動を識別する時には、撮影され記録さ
れた監視画像をオペレータが子細にチェックする必要が
あった。そのため、多くの場所を長時間にわたり撮影し
た監視画像をチェックする場合には、多くのオペレータ
が長時間かけてチェックする必要があるので、監視のた
めのコストが高くなってしまう。

【０００８】本発明は、前記従来の監視装置の問題点を
解決して、監視画像に映った人物の特徴及び行動を識別
するとともに、該特徴及び行動を分析して表示画面に表
示するとともに、前記分析の結果を編集加工可能な形態
で記録することができる監視装置を提供することを目的
とする。

【０００９】

【課題を解決するための手段】そのために、本発明の監
視装置においては、監視画像に映った人物を検出し、追
跡する検出・追跡部と、該検出・追跡部の出力に基づい
て前記人物の行動を特定する姿勢・行動認識部と、該姿
勢・行動認識部の出力に基づいて、編集加工可能な形態
で記録事項が記載された人物行動テーブルを作成する行
動記録作成部とを有する。

【００１０】本発明の他の監視装置においては、さら
に、前記人物行動テーブルは、前記人物の顔貌、行動、
位置する場所及び時刻を含む。

【００１１】本発明の更に他の監視装置においては、さ
らに、前記人物行動テーブルは、表示画面に表示され、
前記記録事項には、関連する情報が表示されるようにリ
ンクが形成される。

【００１２】本発明の更に他の監視装置においては、さ
らに、前記監視装置は、前記姿勢・行動認識部の出力に
基づいて、表示画面に表示された前記人物の行動を注釈
として描画する注釈描画部を有する。

【００１３】本発明の更に他の監視装置においては、監
視画像に映った人物を検出し、追跡する検出・追跡部
と、該検出・追跡部の出力に基づいて前記人物の行動を
特定する姿勢・行動認識部と、該姿勢・行動認識部の出
力に基づいて、表示画面に表示された前記人物の行動を
注釈として描画する注釈描画部とを有する。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００１５】図１は本発明の第１の実施の形態における
監視装置の構成を示すブロック図である。

【００１６】図において、１０は監視場所を撮影するた
めの監視カメラ、１１は該監視カメラ１０によって撮影
された監視画像から人物を検出したり追跡したりするた
めの検出・追跡部、１２は前記監視画像と検出・追跡部
１１との結果から人物の姿勢及び行動を認識する姿勢・
行動認識部、１３は該姿勢・行動認識部１２の結果から
人物の行動記録を作成する行動記録作成部である。

【００１７】ここで、前記監視カメラ１０は、一般に、
工業用の監視カメラを使用するが、監視画像として動画
を撮影する機能を有するものであれば、放送局用の監視
カメラであっても、家庭用のビデオカメラであってもよ
く、いかなる形態のものであってもよい。また、前記監
視カメラ１０は、例えば、コンビニエンスストア、スー
パーマーケット、デパート、ホームセンタ、ショッピン
グセンタ等の商業施設、銀行、信用金庫等の金融機関、
鉄道の駅、鉄道車両、地下道、バス、飛行場等の交通機
関、劇場、テーマパーク、遊園地等の娯楽施設、ホテ
ル、旅館等の宿泊施設、食堂、レストラン等の飲食施
設、学校、官庁等の公共施設、個人住宅、集合住宅等の
住宅施設、一般の建造物における玄関ホール、エレベー
タ等の建物内部、工事現場、工場等の作業施設などに配
設されるが、その他いかなる施設や場所に配設されても
よい。そして、前記監視カメラ１０は単数であってもよ
いし、監視する範囲が広い場合などには、複数であって
もよい。

【００１８】なお、本実施の形態においては、前記監視
カメラ１０がコンビニエンスストアのような商店に配設
された例について説明する。

【００１９】また、前記検出・追跡部１１は、前記監視
カメラ１０から送信された監視画像を処理し、該監視画
像に映っている人物の検出・追跡処理を行う手段であ
る。前記検出・追跡部１１においては、前記人物につい
て監視画像から切り出した人物領域動画像、及び、前記
監視画像の人物領域の追跡結果から得られる軌跡情報が
出力される。

【００２０】さらに、前記姿勢・行動認識部１２は、前
記検出・追跡部１１から送信された人物領域動画像と軌
跡情報とから前記人物の姿勢及び行動の認識を行う手段
である。前記姿勢・行動認識部１２においては、前記軌
跡情報に基づいて前記人物が移動中であるか又は停止中
であるかを判定し、それぞれの状態に応じて前記人物の
姿勢及び行動の認識を行う。

【００２１】そして、前記行動記録作成部１３は、前記
姿勢・行動認識部１２から送信される前記人物の姿勢及
び行動の認識結果と人物領域動画像とから、人物行動テ
ーブルを作成する手段である。前記行動記録作成部１３
においては、人物領域動画像から人物の顔領域を検出
し、その動画像中で最も正面を向いている顔画像を選び
出して人物行動テーブル中に書き込んだり、編集加工可
能なテキストデータだけの人物行動テーブルを作成した
り、人物の顔画像の対応を行う顔画像テーブルを作成し
たりする。

【００２２】また、本実施の形態において前記監視装置
は、図示されない表示部を有する。該表示部は、ＣＲ
Ｔ、液晶ディスプレー、プラズマディスプレー等の表示
画面を備え、前記行動記録作成部１３において作成され
た人物行動テーブル、顔画像テーブル等を前記表示画面
に表示する。ここで、該表示画面は、通常、監視カメラ
１０によって撮影された画像が表示される表示画面であ
るが、別の表示画面であってもよい。なお、前記表示画
面は、テレビ受像器、パーソナルコンピュータ等の他の
装置の表示画面であってもよい。この場合は、前記表示
部は、画像信号を前記他の装置に送信して、人物行動テ
ーブル、顔画像テーブル等を表示させる。

【００２３】なお、前記表示画面に表示される画像は、
動画であっても静止画であってもよい。

【００２４】さらに、前記監視装置は、図示されない記
憶手段を有する。該記憶手段は、半導体メモリ、磁気デ
ィスク、磁気テープ、光ディスク、光磁気ディスク等か
ら成り、前記行動記録作成部１３の作成した人物行動テ
ーブル、顔画像テーブル等のデータ、前記監視カメラ１
０の撮影した画像等を格納する。なお、前記記憶手段
は、前記監視装置と別個に構成されたものであってもよ
い。例えば、前記監視カメラ１０の撮影した画像を格納
するための記憶手段として、一般に使用されているビデ
オテープレコーダを前記監視装置に接続して使用するこ
ともできる。

【００２５】次に、前記構成の監視装置の動作について
説明する。

【００２６】図２は本発明の第１の実施の形態における
監視装置の人物領域動画像の例を示す図、図３は本発明
の第１の実施の形態における人物領域射影ヒストグラム
の例を示す第１の図、図４は本発明の第１の実施の形態
における人物領域射影ヒストグラムの例を示す第２の
図、図５は本発明の第１の実施の形態における人物領域
射影ヒストグラムの例を示す第３の図、図６は本発明の
第１の実施の形態における人物行動テーブルの例を示す
第１の図、図７は本発明の第１の実施の形態における人
物行動テーブルの例を示す第２の図、図８は本発明の第
１の実施の形態における顔画像テーブルの例を示す図で
ある。

【００２７】まず、コンビニエンスストア内において監
視しようとする場所の画像が監視カメラ１０によって撮
影され、監視画像が検出・追跡部１１に送信される。す
ると、該検出・追跡部１１においては、前記監視画像を
処理し、監視画像に映っている人物の検出・追跡処理を
行う。

【００２８】ここで、前記検出・追跡処理は公知であ
り、本実施の形態においてはいかなる形態の検出・追跡
処理であってもよく、例えば、連続画像間でオプティカ
ルフロー等の動き情報を利用して移動物体を検出し、そ
の動きの特徴から人物の判定及び追跡を行う手法なども
利用することができる。ここでは、差分・二値化処理を
利用する検出・追跡処理について説明する。

【００２９】まず、人物が映っていない背景画像と入力
された入力画像とで差分・二値化処理を行って変化領域
を抽出する。そして、該変化領域の形状、大きさ、テク
スチャ等の特徴量を利用して、前記変化領域が人物か否
かを判定することによって、人物の検出を行う。続い
て、前記特徴量を利用した対応付けを行い、人物領域の
追跡を行う。

【００３０】そして、このような人物の検出・追跡処理
によって、前記検出・追跡部１１においては、図２に示
されるように、ある人物について入力画像から切り出し
た人物領域動画像、及び、前記入力画像の人物領域の追
跡結果とから得られる軌跡情報（例えば、監視画像中に
おける人物領域の重心の移動の軌跡等）を得ることがで
きる。前記人物領域動画像及び軌跡情報は出力されて姿
勢・行動認識部１２に送信される。

【００３１】すると、該姿勢・行動認識部１２において
は、検出・追跡部１１から送信される人物領域動画像と
軌跡情報とから、その人物の姿勢及び行動の認識を行
う。ここでは、まず、前記軌跡情報を利用して前記人物
が移動中であるか又は停止中であるかを判定し、それぞ
れの状態に応じて前記人物の姿勢及び行動の認識を行
う。

【００３２】まず、前記人物が移動中である場合、少な
くとも移動の開始位置及び終了位置、並びに、移動の開
始時刻及び終了時刻を必ず認識する。ここで、前記移動
の開始位置は、停止状態から変化した位置（停止中から
移動を開始した位置）、又は、監視画像中にその人物が
現れた画像中の位置を表すものである。

【００３３】また、前記移動の開始位置及び終了位置、
並びに、移動の開始時刻及び終了時刻の他にも、移動の
速度に基づいて該移動が歩行であるか又は走行であるか
を分類して認識したり、移動中の動作を認識したりする
ことができる。なお、前記歩行であるか又は走行である
かの分類については、歩行と走行との二つに分類するだ
けでなく、速さに応じて、例えば、歩行１、歩行２、
…、走行１、走行２、…等に細分することができる。ま
た、移動中の動作の認識については、後述される動作認
識手法等を利用する。

【００３４】次に、停止中である場合は、停止位置、停
止時間、姿勢、動作について認識処理を行う。まず、停
止位置は、前記移動の終了位置と一致するもので、画像
中の位置の情報を示すものである。また、姿勢について
の認識処理においては、主に「立ち姿勢」、「かがみ姿
勢」及び「座り姿勢」の三つの姿勢を認識して姿勢情報
とし、前記三つの姿勢に当てはまらない姿勢は「その他
の姿勢」として姿勢情報とする。ただし、該姿勢情報に
は、前記三つの姿勢以外にも必要に応じて「横たわり姿
勢」などを加えることもできる。

【００３５】ここで、姿勢の認識処理は、人物領域の形
状特徴を利用する。本実施の形態においては、人物領域
の外接矩（く）形縦横比、人物領域のＸ軸射影ヒストグ
ラム、人物領域のＹ軸射影ヒストグラムの三つの特徴を
用いる。

【００３６】一般に、「立ち姿勢」の人物を正面から捉
えた場合、該人物の人物領域に外接する矩形の縦と横と
の割合である外接矩形縦横比は図３（ａ）のように示さ
れ、人物領域の縦方向の射影であるＸ軸射影ヒストグラ
ムは図３（ｂ）のように示され、人物領域の横方向の射
影であるＹ軸射影ヒストグラムは図３（ｃ）のように示
される。

【００３７】また、「立ち姿勢」の人物を横から捉えた
場合、該人物の人物領域の外接矩形縦横比は図４（ａ）
のように示され、人物領域の縦方向の射影であるＸ軸射
影ヒストグラムは図４（ｂ）のように示され、人物領域
の横方向の射影であるＹ軸射影ヒストグラムは図４
（ｃ）のように示される。

【００３８】さらに、「かがみ姿勢」の人物を横から捉
えた場合、該人物の人物領域の外接矩形縦横比は図５
（ａ）のように示され、人物領域の縦方向の射影である
Ｘ軸射影ヒストグラムは図５（ｂ）のように示され、人
物領域の横方向の射影であるＹ軸射影ヒストグラムは図
５（ｃ）のように示される。

【００３９】このように、人物領域の外接矩形縦横比、
Ｘ軸射影ヒストグラム及びＹ軸射影ヒストグラムは、人
物の姿勢によって特徴が異なるので、前記人物領域の外
接矩形縦横比、Ｘ軸射影ヒストグラム及びＹ軸射影ヒス
トグラムの特徴に基づいて前記人物の姿勢を認識するこ
とができる。すなわち、あらかじめ、各姿勢に対応する
前記人物領域の外接矩形縦横比、Ｘ軸射影ヒストグラム
及びＹ軸射影ヒストグラムを姿勢認識用モデルとして記
憶手段に格納しておき、前記姿勢認識用モデルと比較す
ることによって、監視画像に映った人物の姿勢を認識す
ることができる。

【００４０】なお、図３及び４に示されるように、同じ
姿勢であっても向きによって前記人物領域の外接矩形縦
横比、Ｘ軸射影ヒストグラム及びＹ軸射影ヒストグラム
の形状が異なるので、前記姿勢認識用モデルは各向きご
とに用意する必要がある。また、向きごとの姿勢認識用
モデルに基づいて、前記人物の姿勢とともに向きも認識
することができるので、該向きも前記姿勢情報に加える
ことができる。

【００４１】次に、動作についての認識処理において
は、まず、前記姿勢の認識処理において得られた姿勢情
報と該姿勢情報を得るために利用した人物領域の形状特
徴とを利用して人物の上半身領域を検出する。そして、
該上半身領域について動作認識処理を行う。ここで、前
記動作認識処理としては、例えば、ジェスチャ固有空間
を用いて、あらかじめ登録した複数のテンプレート画像
と、入力された人物領域画像とを比較して相違度を求
め、該相違度に基づいて、腕などの部分の一致度を算出
する手法（特開平１０−３５４４号公報参照）を利用す
る。これにより、人物の上半身、特に腕の動作を認識す
ることができる。なお、このような手法によって認識さ
れなかった動作は、その他の動作として分類される。

【００４２】続いて、姿勢・行動認識部１２において
は、前記人物の姿勢及び前記人物のいる場所に基づい
て、前記人物の行動を特定する。すなわち、姿勢及び場
所によって絞り込むことで、認識された動作がどのよう
な行動を意味するのかを特定する。

【００４３】この場合、監視カメラ１０によって撮影さ
れる範囲はあらかじめ定められているので、該範囲と人
物の移動の開始位置及び終了位置とによって、人物が行
動をとっている場所を特定することができる。そして、
人物の姿勢及び行動の認識結果によって、前記人物の行
動を特定することができる。例えば、コンビニエンスス
トアのような商店の場合であれば、商店の入口から本や
雑誌を販売している書籍部まで歩行するという行動、前
記書籍部において立ち読みするという行動等を特定する
ことができる。

【００４４】このように、姿勢・行動認識部１２におい
ては、検出・追跡部１１から送信される人物領域動画像
と軌跡情報とから、監視画像に映る各人物の姿勢及び行
動の認識を行い、検出された各人物ごとに、「いつ」、
「どこで」、「何をしたか」という認識結果を得ること
ができる。そして、前記認識結果及び人物領域動画像は
出力され、行動記録作成部１３に送信される。

【００４５】続いて、該行動記録作成部１３において
は、姿勢・行動認識部１２から送信される各人物の姿勢
及び行動の認識結果と人物領域動画像とから、図６及び
７に示されるような人物行動テーブルを作成する。図６
及び７に示されるような人物行動テーブルは、検出され
た各人物ごとに、「いつ」、「どこで」、「何をした
か」をテキストデータによって記述するようになってお
り、場所や行動が変化する度に記録されるようになって
いる。

【００４６】この場合、前記姿勢・行動認識部１２の出
力から、人物が行動をとっている場所を記録することが
できる。そして、移動の開始時刻及び終了時刻によっ
て、前記人物が特定の場所にいた時刻や経過時間を記録
することができ、さらに前記人物の行動も記録すること
ができる。例えば、コンビニエンスストアのような商店
の場合であれば、図６に示されるように、人物００００
１が、商店の入口から本や雑誌を販売している書籍部ま
で移動したこと、それぞれの場所にいた時刻、経過時間
それぞれの場所での行動を記録することができる。

【００４７】ここで、前記場所、行動等のテーブルに含
まれる記録事項は、編集したり加工したりすることが可
能なテキストデータの形態で記録されるので、後で必要
に応じて編集したり加工したりすることによって、種々
の用途に利用することができる。例えば、キーワード検
索によって、所望の記録事項を容易に見つけ出したり、
所望の観点に基づいて記録事項を分類したり、統計デー
タを作成したりすることもできる。

【００４８】なお、前記記録事項を記録する形態は、テ
キストデータ以外であっても、編集加工可能なものであ
れば、いかなるものであってもよい。また、記録事項の
全てが必ずしも編集加工可能な形態で記録されていなく
てもよい。

【００４９】そして、行動記録作成部１３においては、
必要に応じて送られてくる人物領域動画像から人物の顔
領域を検出し、その動画像中で最も正面を向いている顔
画像を選び出し、前記人物の特徴を表す顔のデータ、す
なわち、顔貌として、図６に示されるように、人物行動
テーブル中に記録事項として記録する。なお、前記顔貌
も、図６に示されるように、画像データの形態で記録さ
れてもよいし、顔形や顔つきを丸顔、面長、切れ長の目
等のように言葉で表現されたテキストデータの形態で記
録されてもよい。

【００５０】さらに、前記人物行動テーブルを、図７に
示されるようなテキストデータの記録事項だけを含むの
テキストデータテーブルと、図８に示されるようなテキ
ストデータ以外の、例えば、画像データの記録事項だけ
を含む顔画像テーブルのような非テキストデータテーブ
ルとに分けて作成してもよい。この場合、図７及び８に
示されるように、人物の欄に記載された番号によって、
テキストデータテーブルの記録事項と非テキストデータ
テーブルの記録事項とを対応づけることができる。この
場合、それぞれのテーブルの内容を格納する記憶手段を
別個に選択することができ、監視装置の有するメモリ資
源を適切に利用することができる。また、それぞれのテ
ーブルの内容を個別の目的で利用することも容易とな
る。

【００５１】そして、前記行動記録作成部１３は、前記
人物行動テーブル、顔画像テーブル等を出力して、図示
されない表示部に送信すると、該表示部は、前記人物行
動テーブル、顔画像テーブル等を、図６〜８に示される
ような形態で、表示画面に表示させる。これにより、オ
ペレータは、監視画像に映ったそれぞれの人物の特徴及
び行動を自動的に識別することができ、ある特定の行動
をとった人物の検索やある場所に行った人数のカウント
などを容易に行うことができる。

【００５２】なお、前記表示部は前記人物行動テーブ
ル、顔画像テーブル等を自動的に表示させてもよいし、
オペレータの操作に応じて表示させるようにしてもよ
い。オペレータがモニターする表示画面が複数の場合
は、その中の一つの表示画面に常時表示させることもで
きる。

【００５３】さらに、表示される人物行動テーブル、顔
画像テーブル等の各項目には、リンクを形成して、前記
各項目に対応する詳細な情報が掲示されたページやデー
タへジャンプすることができるようにすることが望まし
い。この場合、表示画面上に表示された項目のそれぞれ
にカーソルやポインタを当ててクリックすることによっ
て、前記項目に対応する、より詳細な情報が表示された
り、前記項目に関連する監視画像が表示される。例え
ば、図６、７に示されるような人物行動テーブルの行動
にカーソルを当ててクリックすると、行動の種類が表示
されるようにしたり、書籍部にカーソルを当ててクリッ
クすると、書籍部に立ち寄ったすべての人物の顔画像が
表示されるようにしたり、人物の番号又は顔画像にカー
ソルを当ててクリックすると、該当する人物が映ってい
る画像が表示されるようにすることができる。

【００５４】また、特定の行動をとった人物の検索結果
と組み合わせて表示されるようにしてもよい。例えば、
「精算」という行動と「飲料部」という場所をＡＮＤ条
件によってキーワード検索した場合に、飲料部に立ち寄
り、かつ、レジで精算を行った人物の人物行動テーブル
が表示されるようにする。そして、該人物行動テーブル
中のある人物の「飲料部」にカーソルを当ててクリック
すると、前記人物の映った画像が表示されるようにする
こともできる。

【００５５】さらに、特定の人物の顔の画像を入力し
て、よく似た顔の人物を検索するようにすることもでき
る。この場合、例えば、入力された顔の画像から顔の特
徴である顔貌を識別するバイオメトリクス装置を使用し
て、特定の人物の顔貌を入力する。そして、該顔貌に基
づいて、記憶手段に格納されている人物行動テーブル、
顔画像テーブル等を検索して、よく似た顔貌の人物を抽
出して、該人物に関する記録事項が表示されるようにす
ることもできる。

【００５６】このように、本実施の形態においては、監
視装置は、監視画像に映ったそれぞれの人物を一人ずつ
検出して追跡する検出・追跡部１１、それぞれの人物の
姿勢及び行動の認識を行う姿勢・行動認識部１２、並び
に、それぞれの人物が、「いつ」、「どこで」、「何を
したか」をテキストデータの形態で記録する人物行動テ
ーブルを作成する行動記録作成部１３を有している。

【００５７】したがって、監視画像に映ったそれぞれの
人物の特徴及び行動を自動的に識別でき、特定の場所に
おいて特定の行動をとった人物を検索して、該人物の行
動をチェックしたり、特定の場所に行ったり特定の行動
をとった人物の人数のカウントなどを容易に行うことが
できる。

【００５８】また、前記人物行動テーブルに記録されて
いる顔貌からそれぞれの人物の年齢層、性別等を特定す
ることができるので、マーケティング情報を簡単に解析
・獲得することができる。さらに、ある特定の人物につ
いての来店記録などを作成することもできる。

【００５９】次に、本発明の第２の実施の形態について
説明する。なお、前記第１の実施の形態と同じ構造を有
するもの及び同じ動作については、その説明を省略す
る。

【００６０】図９は本発明の第２の実施の形態における
監視装置のブロック図である。

【００６１】本実施の形態において、前記監視装置は、
前記監視カメラ１０、検出・追跡部１１、姿勢・行動認
識部１２及び行動記録作成部１３に加えて、前記姿勢・
行動認識部１２において認識された人物の姿勢及び行動
を監視画像に注釈として描画する注釈描画部２１、図示
されない記憶手段に格納されている監視カメラ１０が撮
影した画像を再生するための録画再生装置２３、及び、
該録画再生装置２３の制御を行う録画再生装置制御部２
２を有する。

【００６２】ここで、該録画再生装置制御部２２は、制
御部２２ａ及び事象記憶部２２ｂを備え、前記姿勢・認
識部１２の結果を受けて録画再生装置２３の制御を行う
とともに、行動記録作成部１３において作成された人物
行動テーブルを利用して録画再生装置２３の再生制御を
行う。前記録画再生装置２３は、前記監視装置の有する
記憶手段に格納された監視カメラ１０の撮影した画像を
再生して、図示されない表示部の表示画面に表示させる
ためのものである。また、前記事象記憶部２２ｂは前記
監視装置の有する記憶手段の一部であり、前記監視カメ
ラ１０の撮影した画像の中で、利用価値が高い事象を格
納するための記憶手段である。

【００６３】次に、前記構成の監視装置の動作について
説明する。

【００６４】図１０は本発明の第２の実施の形態におけ
る監視装置の監視画像の例を示す図である。

【００６５】なお、監視カメラ１０、検出・追跡部１
１、姿勢・行動認識部１２、及び行動記録作成部１３の
動作については、前記第１の実施の形態と同様であるの
で説明を省略する。ただし、姿勢・行動認識部１２の出
力は、行動記録作成部１３だけでなく、注釈描画部２１
及び録画再生装置制御部２２にも送信される。

【００６６】まず、注釈描画部２１は、姿勢・行動認識
部１２において特定された行動を、図１０に示されるよ
うに、監視画像に注釈２５ａ、２５ｂとして描画する。
この場合、前記行動は、姿勢・行動認識部１２において
特定され、行動記録作成部１３によって、図６、７に示
されるような人物行動テーブルに記載された、「移
動」、「歩行」、「停止」、「立ち読み」等の行動であ
る。なお、前記注釈２５ａ、２５ｂは、監視画像に映さ
れた人物の近傍に描画することによって前記人物と対応
づけるようにしてもよいし、吹き出しによって前記人物
と対応づけるようにしてもよい。

【００６７】そして、このようにすることによって、図
示されない表示部の表示画面に表示された監視画像を理
解しやすいものにすることができる。オペレータは、前
記監視画像をチェックする際に、前記監視画像に映って
いる人物がどのような行動をとっているのかを、注釈２
５ａ、２５ｂによって、瞬時に理解することができる。
また、注釈２５ａ、２５ｂが描画された図１０に示され
るような監視画像は、録画再生装置２３に送信される。
なお、必要に応じて、前記注釈描画部２１を省略するこ
ともできる。

【００６８】次に、録画再生装置制御部２２における録
画制御について説明する。

【００６９】この場合、録画制御の目的は、利用価値が
高い画像であると指定した事象に対応した画像だけを録
画する、すなわち、記憶手段に格納することによって、
記憶手段のメモリ資源を有効に活用することである。こ
こで、前記事象は、例えば、商店の書籍部、飲料部等の
特定の場所に立ち寄ること、精算すること、人物の性
別、年齢層等である。

【００７０】そして、画像を格納したい事象をあらかじ
め事象記憶部２２ｂに格納しておくと、制御部２２ａ
は、姿勢・行動認識部１２から送信される認識結果が前
記事象記憶部２２ｂに格納されている事象と一致するか
否かを判断する。そして、一致していると判断した場
合、該認識結果に対応する監視画像を記憶手段に格納す
るするように録画制御を行う。

【００７１】また、再生制御において、前記制御部２２
ａは、再生したい事象をあらかじめ事象記憶部２２ｂに
格納しておくと、既に格納された監視画像と人物行動テ
ーブルとに基づいて、前記事象に対応する監視画像を指
定し、録画再生装置２３に送信する。すると、録画再生
装置２３においては、指定された監視画像を表示部の表
示画面に再生させる。

【００７２】このように、本実施の形態においては、監
視画像に映された人物の行動を示す注釈を前記監視画面
に描画するようになっている。したがって、監視画像に
映っている人物がどのような行動をとっているのかを容
易に理解することができる。

【００７３】また、特定の事象が発生した場合の画像だ
けを記憶手段に格納することができるので、利用価値が
高い画像だけを残すことができる。また、既に記憶手段
に格納された監視画像の中から特定の事象に対応する画
像だけを検索することができる。

【００７４】次に、本発明の第３の実施の形態について
説明する。なお、前記第１及び第２の実施の形態と同じ
構造を有するもの及び動作については、その説明を省略
する。

【００７５】図１１は本発明の第３の実施の形態におけ
る監視装置のブロック図である。

【００７６】この場合、前記第１の実施の形態における
監視カメラ１０は複数台の監視カメラ１０−１、１０−
２、…、１０−ｎによって構成され、検出・追跡部１１
に代えて、複数の画像に基づいて、画像に映った人物を
三次元的に検出して追跡することのできる検出・追跡部
３１が配設される。

【００７７】次に、前記構成の監視装置の動作について
説明する。

【００７８】まず、複数台の監視カメラ１０−１、１０
−２、…、１０−ｎによって異なる角度から撮影された
画像が検出・追跡部３１に送られ、該検出・追跡部３１
においては前記異なる角度から撮影された画像を利用し
て人物の検出及び追跡を行う（信学技報、ＰＲＭＵ９９
−１５０号（１９９７年１１月発行）「非同期多視点画
像を用いた複数人物追跡の安定化」（ＨｏｗａｒｄＹ
ａｎｇ他）参照）。

【００７９】そして、人物が検出された後は、姿勢・行
動認識部１２及び行動記録作成部１３において、前記第
１の実施の形態と同様の処理が行われる。

【００８０】このように、本実施の形態においては、複
数台の監視カメラ１０−１、１０−２、…、１０−ｎを
利用して監視画像中の人物を３次元的に捉えることによ
って、人物の検出及び追跡の精度を向上させることがで
きる。

【００８１】なお、前記第２の実施の形態において、監
視カメラ１０と検出・追跡部１１とを、前記第３の実施
の形態における監視カメラ１０−１、１０−２、…、１
０−ｎと検出・追跡部３１とに変更することもできる。

【００８２】なお、本発明は前記実施の形態に限定され
るものではなく、本発明の趣旨に基づいて種々変形させ
ることが可能であり、それらを本発明の範囲から排除す
るものではない。

【００８３】

【発明の効果】以上詳細に説明したように、本発明によ
れば、監視装置においては、監視画像に映った人物を検
出し、追跡する検出・追跡部と、該検出・追跡部の出力
に基づいて前記人物の行動を特定する姿勢・行動認識部
と、該姿勢・行動認識部の出力に基づいて、編集加工可
能な形態で記録事項が記載された人物行動テーブルを作
成する行動記録作成部とを有する。

【００８４】この場合、監視画像に映ったそれぞれの人
物の特徴及び行動を自動的に識別することができ、特定
の場所において特定の行動をとった人物を検索して、そ
の行動をチェックしたり、特定の場所に行ったり特定の
行動をとったりする人物の人数のカウントなどを容易に
行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における監視装置の
構成を示すブロック図である。

【図２】本発明の第１の実施の形態における監視装置の
人物領域動画像の例を示す図である。

【図３】本発明の第１の実施の形態における人物領域射
影ヒストグラムの例を示す第１の図である。

【図４】本発明の第１の実施の形態における人物領域射
影ヒストグラムの例を示す第２の図である。

【図５】本発明の第１の実施の形態における人物領域射
影ヒストグラムの例を示す第３の図である。

【図６】本発明の第１の実施の形態における人物行動テ
ーブルの例を示す第１の図である。

【図７】本発明の第１の実施の形態における人物行動テ
ーブルの例を示す第２の図である。

【図８】本発明の第１の実施の形態における顔画像テー
ブルの例を示す図である。

【図９】本発明の第２の実施の形態における監視装置の
ブロック図である。

【図１０】本発明の第２の実施の形態における監視装置
の監視画像の例を示す図である。

【図１１】本発明の第３の実施の形態における監視装置
のブロック図である。

【符号の説明】

１１、３１検出・追跡部１２姿勢・行動認識部１３行動記録作成部２１注釈描画部２５ａ、２５ｂ注釈

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA19 CA12 CB12 CC03 CE09 CH01 CH11 DA08 DA16 DB02 DC08 DC09 5C054 AA01 CC05 CG06 EA05 FA09 FC13 FE02 FE12 FE16 FF01 GA00 GD05 HA19 5C087 AA02 AA03 AA09 AA10 AA24 AA25 DD05 DD14 DD15 DD18 DD23 DD26 DD27 DD31 FF01 FF02 FF19 FF22 GG02 GG07 GG09 GG18 GG20 GG24 GG30 5L096 BA02 BA18 CA02 DA05 EA35 FA19 HA05 JA18 LA05

Claims

【特許請求の範囲】

【請求項１】（ａ）監視画像に映った人物を検出し、
追跡する検出・追跡部と、（ｂ）該検出・追跡部の出力
に基づいて前記人物の行動を特定する姿勢・行動認識部
と、（ｃ）該姿勢・行動認識部の出力に基づいて、編集
加工可能な形態で記録事項が記載された人物行動テーブ
ルを作成する行動記録作成部とを有することを特徴とす
る監視装置。
【請求項２】前記人物行動テーブルは、前記人物の顔
貌、行動、位置する場所及び時刻を含む請求項１に記載
の監視装置。
【請求項３】前記人物行動テーブルは、表示画面に表
示され、前記記録事項には、関連する情報が表示される
ようにリンクが形成される請求項１又は２に記載の監視
装置。
【請求項４】前記監視装置は、前記姿勢・行動認識部
の出力に基づいて、表示画面に表示された前記人物の行
動を注釈として描画する注釈描画部を有する請求項１〜
３のいずれか１項に記載の監視装置。
【請求項５】（ａ）監視画像に映った人物を検出し、
追跡する検出・追跡部と、（ｂ）該検出・追跡部の出力
に基づいて前記人物の行動を特定する姿勢・行動認識部
と、（ｃ）該姿勢・行動認識部の出力に基づいて、表示
画面に表示された前記人物の行動を注釈として描画する
注釈描画部とを有することを特徴とする監視装置。