JP3504245B2 - 画像監視装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】この発明は、店舗、ＡＴＭ設
置施設やオフィス等において、侵入者を監視するための
画像監視装置に関する。 【０００２】 【従来の技術】店舗、ＡＴＭ設置施設やオフィスにおい
て、侵入者を監視するといった分野では、画像伝送によ
る方法、監視画像伝送による監視、監視画像のＶＴＲ記
録、画像処理認識による監視、及びそれらを組合せた手
法が使用されてきた。以下、これら手法について説明す
る。監視画像伝送による監視は、監視環境にアナログＩ
ＴＶカメラを設置し、一般に離れた場所にある監視セン
タまでアナログ画像を伝送し、センタに配備された監視
員が常時監視画像をモニタするものである。 【０００３】この場合は一般に複数カメラからの画像を
伝送し、監視員はそれら画像表示を意識的に、又は一定
時間ごとに切替えて監視する。又画面の切替えの契機と
して、監視環境に設置された赤外線、超音波等の侵入セ
ンサからの侵入者検知信号を用いるものもある。又アナ
ログ画像のままではなく、ＪｐｅｇやＭｐｅｇによる圧
縮データに変換してから伝送するものがある。 【０００４】監視画像のＶＴＲ記録は、監視環境にアナ
ログＩＴＶカメラを設置し、離れた場所、又は監視環境
からは見えない場所に設置したＶＴＲ装置に一定間隔ご
とに画像を記録するものである。画像処理認識による監
視は、監視環境における画像の変化や画像中からの人物
候補領域の検出によって通報やＶＴＲの起動を行なうも
のである。 【０００５】 【発明が解決しようとする課題】上記したような従来技
術には以下に示す問題点がある。先ず監視画像伝送によ
る監視での問題は、処理の仕組みは単純であるが、アナ
ログ画像伝送を行なうために、専用伝送路の敷設、伝送
による信号劣化の保障としてのブースタの設置などの付
帯設備が必要となる。従ってこれら設備のためのコスト
が甚大であり、かつセンタにおいて監視員を常時配備し
ておく必要がある。 【０００６】一方、画像の圧縮データを伝送するシステ
ムでは上記に比べてデータが少ない、伝送による信号劣
化がない、などの理由からアナログ専用線ではなく一般
のデジタル回線を用いることが可能であるが、侵入イベ
ント以外の情報も多数伝送されるため、監視員の常時配
備の問題は解消されない。 【０００７】監視画像のＶＴＲ記録での問題を述べる
と、このシステムは基本的には、緊急通報とは別に侵入
者の映像を記録することで、後で状況推定や侵入者特定
のために利用するものであるが、一定間隔ごとの記録で
は実際に侵入イベントとして重要な映像を記録できない
場合がある。 【０００８】画像処理による監視での問題は、侵入者の
検出率が妥当であるならば、このシステムで侵入時のみ
に伝送や蓄積の処理が必要であるため、データ伝送、蓄
積のためのコストを全体的に低くすることが可能であ
る。又イベント発生時のみについて、伝送、蓄積された
画像を監視員が確認することで、常時配備の必要性が軽
減される。 【０００９】しかしイベントを検出した後で、伝送又は
蓄積された画像の性質が、監視員が確認するために良い
ものでは無い場合が多い。これは例えば、監視映像中の
人物領域に顔などの特徴的な部分がない、画像が小さす
ぎる、圧縮の影響で画質が劣化している等があげられ
る。本発明は、処理効率に優れた画像監視装置の提供を
目的とする。 【００１０】 【課題を解決するための手段】この発明の画像監視装置
は、監視領域の映像を撮像する撮像手段と、この撮像手
段により撮像された映像に所定の処理を施す処理手段
と、この処理手段により所定の処理が施された画像を受
取り、連続する２フレーム間の画像差分量を求め、その
総和が一定値以下の画像の場合、そのうちのいずれかの
みを残して他の画像を除去する除去手段と、この除去手
段により残された画像のみをｈｔｔｐプロトコルに変換
し伝送する伝送手段とを有している。 【００１１】 【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態について詳細に説明する。以下の説明で
は、本システムを用いて、ある監視領域において侵入者
の監視を行なう装置について示す。 【００１２】先ず、この実施の形態の全体構成と処理の
概要を説明する。本発明による人物監視システム（画像
監視装置）の全体構成を図１に示す。このシステムは、
人物抽出手段１、中間サーバ手段２、サーバ手段３とか
らなり、人物抽出手段１において入力動画像中から人物
候補領域を抽出し、中間サーバ手段２においてそのうち
見え方の最適なる画像を選択し、サーバ手段３において
画像検索用のキーの生成やｈｔｔｐ（ｈｙｐｅｒ ｔｅ
ｘｔ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ）でのユー
ザインタフェースを提供する。そして各手段１，２，３
は有線、又は無線のディジタル通信によって接続され
る。 【００１３】したがって、一つ又は複数の人物抽出手段
１によって検出された入力画像内の人物候補領域に対し
て、人物抽出手段１又は中間サーバ手段２において人物
特徴のチェックと見え方が最適なフレームの選択、およ
びカメラ（これは人物抽出手段１に相当）入力の選択を
行ない、サーバ手段３では、中間サーバ手段２から得ら
れた最適な人物画像系列を一時的に蓄積し、その後、そ
れら画像系列の伝送を行なう。このとき、例えば検出人
物系列について、その移動方向、色、動き方、参照人物
画像との類似度などの画像検索用キーを作成しておき、
ユーザからの要求にしたがって所望画像のみを伝送する
処理も行なう。 【００１４】以上で、人物抽出手段１と中間サーバ２、
中間サーバ手段２とサーバ手段３のそれぞれの間での伝
送路の状態、および対象人物の侵入イベント数などに応
じて適宜それぞれでの処理の分担範囲を変える。例えば
人物抽出手段１においては人物候補領域の抽出と確認を
行なうが、単位時間あたりのイベント数が多い場合に
は、人物候補の確認処理は比較的ラフなもののみを行な
い、後述する顔等の特徴部分による確認のように処理コ
ストの高いものは中間サーバ手段２に分担させる。 【００１５】以下に上記人物抽出手段１、中間サーバ手
段２、サーバ手段３の各構成と処理の説明を行なう。図
２は人物抽出手段１の構成に示す図である。カラー、又
はモノクロのテレビカメラとＡ／Ｄ変換器とからなる画
像入力手段４により数フレームごとに入力されたディジ
タル画像データを一度人物検出画像蓄積手段５に格納
し、これについて後述の様に、人物候補領域抽出手段６
によって侵入人物の概略領域を検出し、その概略領域内
部に人物としての特徴的な領域パターン（例えば顔、
手、足等）が存在するかどうかを人物領域確認手段７に
よって確認し、人物候補領域画像と確認結果を人物候補
通信手段８によってＥｔｈｅｒ ｎｅｔやＩＥＥＥ１３
９４上にＴｃｐ／ＩＰなどのプロトコルで中間サーバに
伝送する。上記で入力画像がカラーであった場合には、
その輝度成分のみを抽出して人物検出画像蓄積手段５に
蓄積する。 【００１６】又、この人物抽出手段１では一定時間内で
の上述の対象人物領域の抽出数、すなわち検知頻度を人
物抽出手段１内部の検知頻度計測手段９によって計測
し、これがあらかじめ設定してある閾値以上であった場
合には、本手段の処理に時間をかけるべきではないとし
て、一般的に処理コストのかかる人物領域確認手段７の
処理は行なわず、後述の中間サーバに処理の分担を依頼
する。 【００１７】以下に、この人物抽出手段１に特徴的な機
能として、人物候補領域抽出手段６と人物領域確認手段
７および人物候補通信手段８について述べる。人物候補
領域抽出手段６の処理としては、以下に示すようないく
つかの方法のいずれかを使用することができる。 【００１８】例えば、連続するサンプリング画像（フレ
ーム）について画素ごとの差分を行ない、ある一定閾値
で２値化した領域を抽出し、４連結、又は８連結の意味
で空間的に連結する領域について、その面積や外接矩形
サイズが人物候補として妥当なものを検出する方法であ
る。この処理の流れを図３のフローチャートに示す。こ
の際の２値化の閾値は、差分画像の輝度ごとの頻度分布
を解析し、その分散比を最大にする値として決定する手
法を使うことができる（大津、判別および最小二乗基準
に基づく自動しきい値選定法、信学論、Ｖｏｌ．Ｊ６３
−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６，１９８０参
照）。ここで、上記連結領域の解析を行なう前に、抽出
領域についての数回の膨張、収縮処理を行なって、ノイ
ズによる過抽出や“かすれ”の影響を減少させても良
い。この場合に抽出領域の第一次信頼度Ｃ１を例えば以
下のように算出しておく。 【００１９】 Ｃ１＝（Ｖf,Ｖft）／（｜Ｖf ｜｜Ｖft｜）， …（１） ただし、 Ｖ＝（Ｗ，Ｈ，Ｓ） Ｖt ＝（ ( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ） …（２） なるベクトルで、Ｗ，Ｈはそれぞれ抽出領域の外接矩形
の縦横サイズであり、Ｓは抽出領域面積である。又Ｔw
u，Ｔwlは外接矩形の縦サイズの、Ｔhu，Ｔhlは外接矩
形の横サイズの、Ｔsu，Ｔslは抽出面積のそれぞれ上限
値と下限値を示す閾値であり、０≦ Ｃf ≦１となる。 【００２０】この信頼度算出用のベクトルＶ，Ｖt につ
いては、円形度Ｒを加えて以下のようにしてもよい。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ)、 Ｖt ＝（( Ｔwu＋Ｔwl)/2, ( Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2 ）, Ｔr …（２′） Ｒ＝（抽出領域の周囲長）／Ｓ， ただしＴr は人物としてのＲの標準的値。 【００２１】又別手法として事後確率変換による手法を
用いても良い（中井、事後確率を用いた移動物体検出手
法、情処研報，９４−ＣＶ−９０，ｐｐ．１−８，１９
９４参照）。 【００２２】この事後確率変換による手法の処理の流れ
を図４のフローチャートに示す。事象θ０を背景、事象
θ１を侵入物とする。ある部分画像内の画素の輝度を観
測する前のθ０、θ１の事前確率がそれぞれｗ０，ｗ１
であるとき（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′
は事象θｋのもとでの画素輝度Ｉの条件付き確率をＰ
（Ｉ｜θｋ）とするときベイズの定理から ｗ１′＝｛ｗ１ｐ（Ｉ｜θ１）｝ ／｛ｐ（Ｉ｜θ０）（１−ｗ１）＋ｐ（Ｉ｜θ１）ｗ１｝ …（３） となり、このｗ１′がある閾値Ｔより大なるものを侵入
物に属する画素として抽出する。ここで、あらかじめ求
めた背景のみの画像の頻度分布ｈ（ｘ，ｙ，Ｉ）から、 であり、ｐ（Ｉ｜θ１）は一般にデータサンプルが無い
ため、 ｐ（Ｉ｜θ０）＝１／（Imax−Imin） …（５） と推定する。又上記は入力画像が更新されるたびにｗ１
＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０とし
てよい。 【００２３】人物候補領域を抽出するためには、入力画
像内の各画素ｉについて（２）式のｗ′ｉをもとめｗ′
ｉ＞Ｔなる画素で、８連結、又は４連結の意味で連結す
るもののうち、その面積や、外接矩形サイズが人物とし
て妥当なものを選択すればよい。この方法によると背景
領域に定常的に変動があっても、統計的に変動を吸収で
きる利点がある。 【００２４】上記で非背景（すなわち対象物）であるた
めの事後確率を画素ごとに求めているが、閾値との比較
による抽出（２値化）の前に、確率分布を４近傍や８近
傍について平滑化しても良い。これは対象物近傍につい
ての確率場の連続性を仮定し、ノイズによる過抽出やか
すれを減少させるためである。又さらなるノイズ除去の
ために上記２値化後に数回に渡って、膨張収縮処理を繰
り返しても良い。 【００２５】この場合にも抽出領域の信頼度Ｃ１を
（１）式に基づいて算出するが、前述の（２）式のＶ，
Ｖｔをここでは例えば以下のようにして算出しておく。 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, (Ｔsu＋Ｔsl)/2 , Ｔp） …（２″） 又は円形度も含めた場合には、 Ｖ＝（Ｗ，Ｈ，Ｓ，Ｒ，Ｐ） Ｖt ＝（( Ｔwu＋Ｔwl)/2, (Ｔhu＋Ｔhl)/2, ( Ｔsu＋Ｔsl)/2), Ｔr,Ｔp） …（２″′） ここにＰは抽出矩形内の事後確率の正規化総和であり、
以下のように求められる。 【００２６】 ただしＴｐは人物に対する上述のＰ値の標準値であり、
Ｒｅｃｔは抽出外接矩形領域を示す。 【００２７】次に図２に示した人物抽出手段１における
人物領域確認手段７について説明する。人物領域確認手
段７は、検知頻度計測手段９に前述した検知の頻度が設
定閾値を超えているかどうかを問い合わせる。もし検知
頻度が閾値Ｔｈ以下であった場合には、様々な人物の体
の部分の画像が複数収集され、その情報を統計的に圧縮
した辞書を用いたパターンマッチングを適用して、上記
のように抽出された人物候補領域内部の画素について、
特徴的部分が存在するかどうかを検出する。この様子を
図５に示す。 【００２８】このような方法として、ある一定サイズに
正規化した複数の特徴部分画像をある基準で複数のクラ
スに分割しておき、それに基づいて正準判別する方法が
ある。この方法による処理の流れを図６のフローチャー
トに示す。先ず、以下のようなステップをとる。 【００２９】（i）複数クラスの正規化画像群に対する
級内分散Ｂ、および級間分散Ｗの算出 （ii）（Ｂ＋βＳw ）Φ＝｛（１−β）Ｗ＋βＩ｝ΦΛ
なる固有値問題を解く ただし０＜β＜１、 Φ：固有ベクトルΦｉを列ベクトルとする固有ベクトル
行列、 Λ：固有値λｉを対角要素とする固有値行列 である。 【００３０】（iii ）各クラスタｉ内ベクトルを上述の
Φに射影し、その平均ＭｉとΦと場合によっては分散共
分散Ｖｉを辞書とする。 （vi）マッチング時には画面内を小領域ｊに分割し、そ
の小領域ごとの画像ベクトルを上記Φに射影したベクト
ルＶｊと各クラスｉとのユークリッド距離やマハラノビ
ス距離を求める。 【００３１】上記でクラス作成時に所望対象特徴画像以
外に、非対象物クラスとして、それと類似する他の画像
も使用すると所望領域以外の類似領域は抽出せず、所望
領域のみを抽出しやすくなる。例えば、所望対象特徴画
像として複数人物の正面向きの顔、非対象物クラスとし
て背景の顔類似パターンを用いるなどである。 【００３２】ここでは対象物クラスを、複数人物の顔領
域の画像から作成することとし、それらを顔の向きに応
じて数種類の別クラスに分割する。又非対象物クラスと
して、背景中の顔類似パターンをあらかじめ人手でピッ
クアップしておき、それらを用いる。 【００３３】そしてステップ（vi）のマッチング結果の
うち距離が小なるものからＮ番目までで、対象物クラス
に属するものの距離の総和が一定値Ｔｄ以下だった場合
人物領域とし確認されたものとする。この場合には第二
次信頼度Ｃ２を例えば以下のように算出しておく。 【００３４】 又以上の処理終了後に、上記人物候補領域抽出手段６に
ついて説明したように抽出された人物候補領域の外側で
上述のマッチングを行い、その距離が小なるものからＭ
番目までのものを非対象物クラスのデータとして保存す
る。 【００３５】次に図２に示した人物抽出手段１における
人物候補通信手段８について説明する。前述したように
検知頻度計測手段９によって、人物候補の検知頻度が一
定間隔Ｔｈと比較された結果が中間サーバに伝送される
と、中間サーバからはその結果に応じて以下のように人
物抽出手段１での処理分担指示メッセージが送られるた
め、人物抽出手段１での処理はそれに従う。 【００３６】（i）検知頻度≧Ｔｈのとき 人物抽出手段１での処理は前述の人物候補領域抽出手段
６の処理のみとなる。 （ii）検知頻度＜Ｔｈのとき 人物抽出手段１での処理は人物候補領域抽出手段６かつ
人物領域確認手段７の処理となる。 【００３７】ここで（i）の場合には、この人物候補通
信手段８の出力結果は、例えば、上記人物候補領域抽出
手段６が抽出した抽出領域（周囲の外接矩形）座標、抽
出時刻、抽出領域の信頼度Ｃ１であり、（ii）の場合に
は、人物候補通信手段８の出力結果は、例えば、上記
（i）の抽出領域（周囲の外接矩形）座標と時刻に加え
て、抽出領域の信頼度Ｃを以下のように算出して伝送し
てもよい。 【００３８】 Ｃ＝ｍｉｎ（Ｃ１，Ｃ２） …（８） 又（ii）の場合には、ステップ（vi）の結果から以下の
情報を抽出して伝送する。これは最適シーンのカメラを
選択するための情報で、人物候補領域内での上記マッチ
ング結果領域のうち、距離小なるものからＮ番目までの
マッチング距離、およびそれらの各々とマッチした辞書
カテゴリ名、各々の画面内での位置、および人物候補領
域外側で上述のマッチングを行い、その距離が小なるも
のからＭ番目までのものの非対象物クラスのデータとし
てマッチング距離、およびそれらの各々とマッチした辞
書カテゴリ名、各々の画面内での位置も伝送する。 【００３９】又さらに上述の伝送された対象抽出結果に
応じて、中間サーバ手段２から送られる画像伝送メッセ
ージにしたがって、後述のような所望の画像伝送動作を
行う。次に図１の中間サーバ手段２について説明する。
図７は中間サーバ手段２の構成を示す図である。この中
間サーバ手段２は人物抽出通信手段１０、人物抽出補助
手段１１、最適撮像選択手段１２、サーバ通信手段１３
および抽出人物画像蓄積手段１４からなる。以下には、
そのそれぞれの動作を示す。 【００４０】人物抽出通信手段１０は、各人物抽出手段
１での検知頻度に応じた人物抽出機能の負荷分担、およ
び同じく人物抽出手段１よりの認識確信度と中間サーバ
手段２の通信負荷とによる抽出画像伝送の制御を行い、
その結果として人物抽出手段手段１から送られてくる人
物抽出画像を受け取る。受信した人物抽出画像は抽出人
物画像蓄積手段１４に画面内での位置情報、信頼度、抽
出時刻とともに保存される。 【００４１】この通信処理は例えば以下のような手順で
実行される。この人物抽出通信手段１０の処理の流れを
図８のフローチャートに示す。 （i）人物抽出手段内部状態の取得と人物抽出方法の指
示 各人物抽出手段１から内部状態として、一時保存画像数
Ｎｓと検知頻度Ｈが閾値Ｔｈを超えているかどうかを取
得し、前記人物候補通信手段８の説明であった検知頻度
に応じて、人物抽出手段１内の処理を人物候補領域抽出
手段６のみの処理とするのか、人物領域確認手段７をも
行わせるのかを指示する。このようにすることによっ
て、人物候補の確認までを必要とするが、監視領域内へ
の人物の侵入頻度の高い場所においても検知もれを防ぐ
ことを可能とする。又、人物候補確認までを必要としな
いような環境においては、常に人物候補領域抽出手段６
のみの処理とさせることも可能である。 【００４２】なお上記で人物領域確認手段７の処理をも
中間サーバ手段２内部で行わせる場合には、前述の人物
領域確認手段７で述べたように、保存されていた人物候
補領域の外側でのマッチング結果（非対象物クラスデー
タ）の周囲座標も伝送する。 【００４３】（ii）認識確信度と通信負荷とに応じた画
像伝送制御 次に各人物抽出手段１から上記人物候補通信手段８で示
したように抽出領域、抽出時刻、抽出領域の信頼度Ｃkl
が送られるが、これと各人物抽出手段１での検知頻度Ｈ
ｋ、通信トラフィックとから例えば以下のような方式に
したがって画像伝送の制御すなわち伝送画像領域Ｒｋを
求める。ただし、ｋは人物抽出手段番号、ｌは一つの人
物抽出手段内での抽出領域番号で０≦ｌ≦Ｌとする。 【００４４】 ただし抽出領域をＲklとし、Ｔkl＞画面全体のときＴkl
＝画面全体とする。又、Ｕは集合の和を示す。 【００４５】 if ＳＨ≧Ｔk3 Ｒk ＝現抽出画像を伝送せずに一時保存，…（９″′） ここにＳＨは通信トラフィックをあらわす量であり、例
えば全人物抽出手段での検知頻度の総和を用いて以下の
ようにしてもよい。 又Ｃklは各抽出領域ごとの信頼度、Ｈkは各人物抽出手
段の検知頻度、Ｋは各人物抽出手段のアクセス数であ
る。さらに、前記（i）での非対象クラスの画像を伝送
する場合には、前述の検出結果の一時保存画像と同一の
扱いとする。 【００４６】次に図７の人物抽出補助手段１１について
説明する。図９は人物抽出補助手段１１の処理の流れを
示すフローチャートである。人物抽出補助手段１１は、
前述した図２の人物候補通信手段８の説明で（i）検出
頻度≧Ｔｈのときに、人物領域確認手段７とまったく同
一の処理を行う。又人物確認における非対象クラスに対
する辞書更新用データ数の前回辞書更新以降での総和が
伝送画像中から一定値（Ｎｓ×α）個以上収集できたと
きには、本発明による人物確認用の辞書の再構成を行
う。 【００４７】ここにＮｓ従来からの非対象サンプル数、
α０〜１の間の定数であり、再構成用サンプルとして
は、上述の新規サンプルＮｓ×α個の他に従来サンプル
の中からＮｓ×（１−α）個をランダムに選択して前記
（２）（ｂ）人物領域確認手段７の（ｉ）〜（iii ）ま
での処理によって新規辞書を作成する。 【００４８】次に図７の最適撮像選択手段１２について
説明する。図１０は本発明による最適撮像選択手段１２
の処理の流れを示すフローチャートである。図２の人物
候補通信手段８の説明中（ii）で述べたように、人物領
域確認手段７のステップ（vi）のマッチング結果として
人物候補領域内でのマッチング結果領域のうち、距離小
なるものからＮ番目までのマッチング距離、およびそれ
らの各々とマッチした辞書カテゴリ名、各々の画面内で
の位置が最適撮像選択手段１２に伝送されてくる。 【００４９】ここで最適性の定義として、上記マッチン
グ結果のうち位置の分布がまとまっており、かつマッチ
ング辞書カテゴリとして正面に近いものとの距離が小な
るものとする。これを表現する特徴量Ｆ（最適人物撮像
特徴量）としては、例えば以下のようなものを使用す
る。 【００５０】 ここにσは各マッチング結果領域の座標分布の標準偏差
であり、Ｄｉはｉ番目にマッチング距離が小さかった分
割ウィンドウと辞書との距離である。Ａ，Ｂ，Ｃｊは重
み定数で、特にＣｊは上述のｉ番目ウィンドウがマッチ
した辞書ｊの顔の向きに応じた重みであり、正面に近い
ほど大きく設定する。 【００５１】そして、この中間サーバ手段２に接続され
ている複数（ｋ＝０〜Ｋ個）の人物抽出手段１からの人
物抽出領域のうちで、互いに物理的な位置（実世界での
座標）がオーバラップするような各領域を同一物体と対
応付けし、それらについての上述Ｆ値のうちで最大の値
Ｆｋを有する人物抽出手段ｋからの映像を最適なものと
選択する。ここで物理的な位置は、あらかじめ計測して
おく撮像環境（人物抽出手段の撮像系の向き、俯角、ズ
ーム）と人物抽出時に検出された人物候補領域の座標と
から求める。 【００５２】なお、上記Ａ，Ｂ，Ｃｊの決定について
は、さまざまな手法が考えられるが、例えばあらかじめ
複数のサンプル画像において最適なものを教示してお
き、それらサンプルにおけるσｘ，σｙ，Ｄｉを用いて
最適と教示されたもののＦ値が他のものより大きいと仮
定して決定する。すなわち最適と教示されたものがサン
プルｋ′としたとき、 Σ（Ｆｋ｜ｋ＝ｋ′−Ｆｋ｜ｋ≠ｋ′） …（１２） 全サンプルを最大化するように学習を行なって、上記
Ａ，Ｂ，Ｃｊを決定する。図７のサーバ通信手段１３
は、最適撮像選択手段１２において最適人物画像系列が
準備された場合には、この系列画像をサーバに伝送す
る。 【００５３】最後に図１のサーバ手段３について説明す
る。サーバ手段３は上記サーバ通信手段１３から送信さ
れてくる最適画像系列を受け取り、ｈｔｔｐプロトコル
に準拠した形式に変換し伝送する。このとき、上記系列
内に冗長な画像が含まれており、かつ本サーバ手段３へ
の通信トラフィック量が多い場合には、本発明によるサ
ーバ手段３はそのうちのいずれかのみを残して、他は除
去して伝送する。 【００５４】ここで上述の冗長性としては、連続する最
適画像系列のフレーム同士での類似度の高いものという
意味で例えば、２フレーム間の画像差分量の総和が一定
閾値以下の場合や、２フレーム間での画像の相関値が別
の一定閾値以上の場合など一般的なものを使用できる。 【００５５】ここで、サーバへの通信トラフィック量と
しては、本サーバに対するｈｔｔｐアクセスでの一定時
間内パケット数Ｐｈと中間サーバ２との画像、および抽
出属性の伝送に用いられる一定時間内パケット数Ｐｍと
の総和として定義できる。なお上記において、中間サー
バ２から得られる最適画像系列には、位置や抽出時刻と
いった属性が含まれるが、本サーバ手段３内では、これ
に加えて、領域内での色空間での画素値の頻度分布、上
記位置と抽出時刻から求められる平均移動ベクトルを計
算して付与し検索用タグ情報とする。さらに上記最適人
物画像系列中の顔領域について、図２の人物領域確認手
段７の（vi）に述べた顔辞書との射影値ベクトルをも属
性値として付与しておくことで、検索対象人物の画像が
与えられると、その人物の顔を過去の監視画像中の最適
系列画像から検索して提示することが可能となる。 【００５６】 【発明の効果】本発明によれば、各処理ごとの機能分担
による応答性向上とコストの削減が図れる。即ち、人物
監視に最も基本的機能でかつリアルタイム処理を要する
人物抽出機能をテレビカメラ内蔵とし、それらテレビカ
メラからの抽出映像の最適性を評価する中間サーバ、お
よび検索タグ付けなど処理時間は要するがリアルタイム
性が必要でない処理を行なうサーバとに分担させ、それ
ぞれの間はデジタル化され要約された情報を伝送するこ
とで、伝送、蓄積の応答性とコストの削減が可能とな
る。 【００５７】又本発明によれば、人物特徴部分検出によ
る誤抽出可能性の低減と最適映像の検出が可能となる。
即ち、人物抽出機能において、人物候補領域抽出を行な
った後、その領域内に人物の特徴的部分（顔等）が写っ
ているかどうかを評価するため、誤って人物の侵入以外
のイベントを検出する頻度を低減させることが可能とな
る。又その際に抽出された人物特徴部分の画面内への出
現の仕方を用いて、その画像フレームが後の監視員によ
る確認に良いものなのかどうかを評価し、複数カメラの
複数フレームから最適な画像系列を選択可能となる。 【００５８】更に本発明によれば、冗長映像の除去と負
荷に応じた動的処理分担によるさらなる伝送、蓄積効率
の向上が図られる。即ち、上記で選択された見え方とし
て最適な画像のフレーム間での冗長性を評価して、冗長
フレームを除去することで、伝送、蓄積量を低減させ、
効率を向上することが可能である。又侵入者の検出頻度
や、伝送負荷に応じて各処理階層（カメラ、中間サー
バ、サーバ）での処理を自動的に再配置することによっ
て監視システム全体としての伝送、蓄積効率を向上させ
ることが可能となる。 【００５９】従って、従来よりコストを低減し、見逃し
のない人物監視が本発明により可能となる。

【図面の簡単な説明】 【図１】図１は本発明の実施例に係る全体構成図。 【図２】図２は本発明の実施例に係る人物抽出手段の構
成図。 【図３】図３は人物候補領域抽出手段の第１の方法を示
すフローチャート。 【図４】図４は人物候補領域抽出手段の第２の方法を示
すフローチャート。 【図５】図５は本発明による人物領域確認手段を説明す
るための図。 【図６】図６は本発明による人物領域確認手段での処理
を示すフローチャート。 【図７】図７は本発明による中間サーバ手段の構成を示
す図。 【図８】図８は本発明による中間サーバ手段における人
物抽出通信手段の処理を示すフローチャート。 【図９】図９は本発明による中間サーバ手段における人
物抽出補助手段の処理を示すフローチャート。 【図１０】図１０は本発明による中間サーバ手段におけ
る最適撮像選択手段の処理を示すフローチャート。 【符号の説明】 １…人物抽出手段、２…中間サーバ手段、３…サーバ手
段

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】 監視領域の映像を撮像する撮像手段と、 この撮像手段により撮像された映像に所定の処理を施す
   処理手段と、 この処理手段により所定の処理が施された画像を受取
   り、連続する２フレーム間の画像差分量を求め、その総
   和が一定値以下の画像の場合、そのうちのいずれかのみ
   を残して他の画像を除去する除去手段と、 この除去手段により残された画像のみをｈｔｔｐプロト
   コルに変換し伝送する伝送手段と、 を有することを特徴とする画像監視装置。