JP4764172B2 - 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム - Google Patents

Description

本発明は、撮影画像から移動体候補を抽出する画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラムに関する。さらに詳述すると、移動カメラで撮影した画像から移動体候補を抽出し、移動体の検出を高速かつ高精度で行う方法に関する。

侵入者の監視方法として、画像処理を用いた侵入者の検出方式が知られている。侵入者は、高速で移動する場合も想定されるため、高速で移動する侵入者を精度よくで検出することが必要となる。

ここで、人物の高速な動作認識を目的として、人物の動きに着目したMHI(Motion History Images:動き履歴画像)による動き検出方式に関する技術が提案されている（非特許文献１及び２）。

また、広域を自動監視する方法として、監視カメラをある方向に一定時間静止させながら背景差分やフレーム差分で移動体検知を繰返す方式や監視カメラの旋回する全方向の背景画像を作成しておき、監視カメラの旋回値をデジタル値として読み取る、あるいは監視員によるカメラの回転指示値を取り込み、当該方向で事前に作成しておいた背景画像との差分を取り、移動体を検出する方式も提案されている（非特許文献３）。

また、直前の画像と現在の画像を比較し、画像全体の動き変化からカメラの回転量を推定し、その移動量分だけ直前の画像を移動させ、最新画像との差分で得られる変化領域を移動体として求める方式が提案されている（非特許文献４）。
Davis, W.J.: Recognizing Movement using Motion Histograms, MIT Media Laboratory Perceptual Computing Section Technical Report, No. 487 (1998). Davis, W.J.: Hierarchical Motion History Images for Recognizing Human Motion, IEEE Workshop on Detection and Recognition of Events in Video, pp.39-46 (2001). Kang S., Paik J., Koschan A., Abidi M. A.: "Real-time video tracking using PTZ cameras," Proc. of SPIE 6th International. Conference on Quality Control by Artificial Vision, Vol. 5132, pp. 103-111, Gatlinburg, TN, May 2003. 高橋祐介,亀井俊男：パン・チルト・ズームを用いた移動物体追尾システム、第17回センシングフォーラム論文集,Vol.17, pp.55-60, 2000.

非特許文献１及び２の技術（以下、MHIという）による移動体候補の検出方式は、次のように行われる。MHIでは画像を数式１により更新する。ここで、Ψ(x、y)は予め設定された背景差分あるいはフレーム間差分などであり、座標(x、y)での差分値が閾値T以下の時に０を出力し、それ以外は１を出力する関数である。また、τは画像取得時のタイムスタンプを示し、特定の遅延時間δよりも前に取得した部分を０としている。

次に、MHIを255階調のグレースケール画像に変換する。その際、MHIに記録されているタイムスタンプを見て、現在の時刻に近い部分を濃く（輝度値：低）、遅延部分を淡く（輝度値：高）表す。さらにグレースケール画像に対し数式２により表されるソーベルフィルタ（ソーベル・オペレータ）を用いて、グレースケール画像の輝度値の勾配を数式３により求める。その縦横の勾配Fx,Fyから画素の動き方向を数式４により求める。尚、m=n=1である。また、ソーベルフィルタとは、大きさが決められた近傍領域を用いて、より正確にxy方向の偏微分を計算するための差分オペレータである。

次に、MHIでは、着目した画素の近傍領域で、グレースケール画像の最大値と最小値の差が上限閾値と下限閾値の間にある時のみ動き方向を算出している。さらに、MHIでは、グレ−スケール画像に対し人物の輪郭からAPI関数floodfillを用いて、着目した画素の輝度値よりも低い近傍の画素を統合する処理を繰返し、その後一定の閾値以上の領域を移動体候補として検出している。

しかしながら、MHIでは、フレーム間の動きの履歴のみに着目し、移動体候補の検出を行っている。このようにMHIでは、動きにのみ着目しているため、１フレームの処理に対し過去数フレームに遡って画像処理を行わなければ精度よく移動体候補の検出を行うことができなかった。これにより処理するデータ量が膨大になり、迅速な検出処理を行うことができなかった。

また、例えば電力所構内やダムの放水口等に複数の監視カメラを設置している場合等において、広範囲を監視する必要性があることから、監視員が監視カメラをパンあるいはチルトさせながら周囲を常時監視を行っている場合が多い。即ち、監視カメラは撮影方向を絶えず上下左右に移動しながら撮影を行っている場合が多い。このように、監視カメラをパンあるいはチルトしながら広域を自動監視している場合においても、侵入者等の移動体を検出し、検出を行った場合に監視員に注意喚起をすることができれば、複数の監視箇所をマルチ画面で監視している監視員の負荷を大幅に軽減することができる。

また、上記のような、監視カメラが定位置に固定された状態でパンあるいはチルトしながら撮影される場合に限られず、一般に市販されているようなビデオカメラ等を撮影する場合について考慮する。このようビデオカメラは、小型、軽量であり撮影者は自由に移動しながら、または車窓から風景等を撮影することができる。本明細書においては、定位置に固定された状態でフレームが移動する、即ちパンあるいはチルトしながら撮影を行う監視カメラ及び撮像者が手持ちで移動しながら撮影可能なカメラを移動カメラという。

しかしながら、MHIは固定カメラにより撮影されることを前提しており、カメラが移動する監視状態等に適用した場合には、背景と移動体の動き履歴並びに両者の履歴の重なりにより意図しない領域が検出されるという問題が存在した。このように監視カメラが移動した状態においては、従来の画像処理による侵入者の検出方式では、精度よく侵入者を検出することができなかった。

また、監視カメラをある方向に一定時間静止させながら背景差分やフレーム差分で移動体検知を繰返すのでは、監視カメラを一定時間静止させる必要があるため画像範囲外を通過する移動体を見逃す問題が発生する。また、非特許文献３に記載の技術では背景に物理的な変化や日照の変化が発生するたびに、旋回方向の全背景画像を更新する必要があるという問題があり、実用的な方式とはいえない。

また、非特許文献４に記載の技術では連続画像からカメラの回転量を推定するには、画像全体の移動量を局所相関処理などを繰返しながら求める必要がある。この局所相関演算には膨大な計算量が必要であり、実時間で処理を行うことが困難であるという問題があった。

そこで本発明は、監視カメラによる移動体の監視において、監視対象物の動き履歴に加えて監視対象物と周辺との画素の明度および色の値が周囲と異なる部分を抑制することにより従来技術に対してデータ処理の大幅な削減を図り、検出時間を短縮化することを可能とする画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラムを提供することを目的とする。

かかる目的を達成するため、請求項１記載の発明は、撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、各フレーム画像を分割した小領域のうち前記画素を含む小領域を検出する動き抑制処理と、各フレーム画像を分割して小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、動き抑制処理で検出された小領域の動きベクトルの絶対値の加算値が大きい順番に大領域を順位付けし、該順位付けがされた大領域に対して順位付けに従って優先的に、大領域内の中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち最小値を色差とすると共に該色差の大きい順に予め設定された数の大領域を移動体候補領域として検出する色抑制処理を行うようにしている。

したがって、移動体が周囲とは異なる動きをすることに着目して、フレーム間差分画像から周囲と同じ動きをしている画素よりも周囲と異なる動きをしている画素、即ち動きベクトルが周辺画素と異なる画素を検出することで、周辺画素に対して動きによる抑制をし、さらに移動体が周辺画素とは異なる明度または色の値を有することに着目して、明度または色の値が周辺領域に近似する大領域ではなく明度または色の値が周辺領域と異なる大領域を検出することで、周辺領域に対する抑制をするという２段階の抑制を行うことにより移動体候補領域の検出をしている。即ち、周囲と同じ動きや色部分の検出を抑制し、周囲と異なる部分を積極的に検出するようにしている。また、動きベクトルの絶対値の加算値が大きい順番に色抑制処理を行うこととしている。そして、大領域内に設定される中領域とその周辺の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせをヒストグラムを用いて比較し、ヒストグラムの差に基づいて移動体候補領域を予め設定された領域数分だけ検出している。

請求項２に記載の発明は、請求項１に記載の画像処理による移動体候補の検出方法において、画像は、撮像手段を移動させながら撮影された画像としている。また、請求項７に記載の発明は、請求項６に記載の画像処理による移動体検出装置において、画像は、撮像手段を移動させながら撮影された画像であるものとしている。したがって、撮像手段がパン、チルトされながら撮影される画像や撮影者が持ち歩きながら撮影した場合等の撮像手段そのものが水平および垂直移動しながら撮影された画像に対して、移動体候補の検出を行うことができる。

請求項３に記載の発明は、請求項１または２のいずれかに記載の画像処理による移動体候補の検出方法において、差分画像は、現フレームと前フレームとの２フレーム間の差分の２値画像としている。また、請求項８に記載の発明は、請求項６または７のいずれかに記載の画像処理による移動体候補の検出方法において、動き抑制手段における差分画像は、現フレームと前フレームとの２フレーム間の差分の２値画像であるものとしている。したがって、２フレーム間のみの画像から差分画像を得ることにより、計算量を減らすこととしている。

請求項４に記載の発明は、請求項３に記載の画像処理による移動体候補の検出方法において、動きベクトルは、２値画像の各座標における２フレーム間のエッジのx軸方向とy軸方向の動き変化を成分とするベクトルとしている。したがって、現在のフレームと直前のフレームとの２値画像のエッジの移動量をベクトルとして表している。

請求項５に記載の発明は、請求項１から４までのいずれかに記載の移動体候補の検出方法により検出された移動体候補領域に移動体が撮影されているか否かを判定する移動体判定処理を行うことにより、移動体の検出をおこなうようにしている。

また、請求項６に記載の移動体判定装置は、撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、各フレーム画像を分割した小領域のうち前記画素を含む小領域を検出する動き抑制手段と、各フレーム画像を分割して小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、動き抑制手段によって検出された小領域の動きベクトルの絶対値の加算値が大きい順番に大領域を順位付けし、該順位付けがされた大領域に対して順位付けに従って優先的に、大領域内の中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち最小値を色差とすると共に該色差の大きい順に予め設定された数の大領域を検出する色抑制手段と、大領域に予め記憶装置に記憶された移動体が撮影されているか否かを判定する移動体判定手段を備えるものである。

また、請求項９に記載の移動体検出プログラムは、撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、各フレーム画像を分割した小領域のうち当該画素を含む小領域を検出し、該小領域の座標位置を記憶する動き抑制手段と、各フレーム画像を分割して小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、検出された小領域の動きベクトルの絶対値の加算値が大きい順番に大領域を順位付けし、該順位付けがされた大領域に対して順位付けに従って優先的に、大領域内の中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち最小値を色差とすると共に該色差の大きい順に予め設定された数の大領域を検出し、該大領域の座標位置を記録する色抑制手段と、大領域に予め記憶装置に記憶された移動体が撮影されているか否かをパターン認識により判定する移動体判定手段としてコンピュータを機能させるものである。

したがって、移動体が周囲とは異なる動きをすることに着目して、フレーム間差分画像から周囲と同じ動きをしている画素よりも周囲と異なる動きをしている画素、即ち動きベクトルが周辺画素と異なる画素を検出することで、周辺画素に対して動きによる抑制をし、さらに移動体が周辺画素とは異なる明度または色の値を有することに着目して、明度または色の値が周辺領域に近似する大領域ではなく明度または色の値が周辺領域と異なる大領域を検出することで、周辺領域に対する抑制をするという２段階の抑制を行うことにより移動体候補領域の検出をしている。即ち、周囲と同じ動きや色部分の検出を抑制し、周囲と異なる部分を積極的に検出するようにしている。さらに当該移動体候補領域内に予め登録された移動体が撮影されているか否かの移動体判定処理を行っている。

以上説明したように、本発明にかかる移動体候補の検出方法によれば、動きの履歴を最小限のフレーム間差分を処理することにより求めることで、計算量を軽減することができる。このため、全体として移動体候補領域の検出を高速に実現することが可能となる。

また、動きベクトルの絶対値が大きい順番に色抑制処理を行うことで、計算量を減らすことができ、移動体候補の検出を迅速に行うことができる。その上、動きによる抑制だけでなく、明度または色の値による抑制の２段階の抑制を行うことにより、動きによる抑制のみを行う従来の技術に比べて、移動体候補を精度よく検出することができる。また、多フレーム間での差分変化を行った場合に生じる背景と移動体との移動履歴の重なりを防ぐことができるので、移動体候補領域を精度良く検出することが可能となる。

また、本発明にかかる移動体検出方法、移動体検出装置、移動体検出プログラムによれば、さらに当該移動体候補領域に移動体が撮影されているかの判定を行うことにより、移動体の検出を精度良く行うことができる。

また、移動体の候補領域が、精度良く検出された状態、即ち従来に比して移動体候補領域数が絞られた状態で移動体判定処理を行うことができる。このため、撮影画像内で移動体判定処理を行う領域を限定できるため移動体判定処理の計算量を軽減することができ、更に高速な移動体検出を行うことができる。

更に、請求項２に記載の移動体候補の検出方法、請求項７に記載の移動体検出装置によれば、移動カメラによって撮影される画像に対しても、移動体候補の検出を行うことができる。

更に、請求項３に記載の移動体候補の検出方法、請求項８に記載の移動体検出装置によれば、現在のフレームと直前のフレームの２フレームのみを処理の対象とすることで計算量を減らすことができ、移動体候補の検出を迅速に行うことができる。

更に、請求項４に記載の移動体候補の検出方法によれば、現在のフレームと直前のフレームの２フレームの処理のみで移動体の動きを検出することができるので計算量を減らすことができ、移動体候補の検出を迅速に行うことができる。

以下、本発明の構成を図面に示す実施の形態に基づいて詳細に説明する。本発明の移動体検出方法は、撮影画像の差分画像のうち周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、撮影画像を分割した小領域のうち当該画素を含む小領域を検出する動き抑制処理と、撮影画像を分割して小領域より大きい大領域を作成し、該大領域に含まれる小領域の動きベクトルの絶対値の大きさにしたがって、大領域内の画素の明度または色の値が周辺領域に対して異なる大領域を移動体候補領域として検出する色抑制処理と、当該移動体候補領域に予め記憶装置に記憶された移動体が存在するか否かをパターン認識により判定する移動体判定処理とを行うものである。本発明の移動体検出方法は、移動体の候補領域を動きによる絞り込みと色による絞り込みの２段階で行うものとしている。

本実施形態では、移動をしながら監視を行う移動カメラにより侵入者を検出する方法について説明する。しかし、監視対象は人物に限られるものではなく、車両、動物などであってもよい。例えば、監視対象が動物であれば、動物園における動物の行動監視などに用いることができるものである。特に、周囲とは異なる移動方向を示す移動体、周囲とは異なる色を持つ移動体、または人物のように形状を予め登録すことができる物体を高速に検出できるものである。

先ず本発明の移動体検出装置について説明する。図１に移動体検出装置の構成の一例を示す。移動体検出装置は、移動カメラ等の撮像手段１と、撮影画像が入力される入力インターフェース２と、撮影画像が表示される出力装置３と、キーボード、マウス等の入力装置４と、演算処理を行う中央処理演算装置（ＣＰＵ）５と、一時的な作業データ等が記録される主記憶装置６と、計数結果等が記録されるハードディスク等の補助記憶装置７を備えている。上記のハードウェア資源は例えばバス８を通じて電気的に接続されている。また、撮像手段１から入力される撮影画像は、撮像手段１から直接入力インターフェース２を介して入力されるようにしても、一旦記録媒体等に記録した上で入力されるようにしても良い。入力インターフェース２は、例えばビデオカメラから入力される映像やビデオテープに記録された映像をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして補助記憶装置６に記録する機能を有する。出力装置３は、例えばディスプレイであり、撮影画像やユーザインターフェース画面などが表示される。

また、補助記憶装置７には本発明の移動体検出プログラムが記録されており、当該プログラムがＣＰＵ５に読み込まれ実行されることによって、コンピュータが移動体検出装置として機能する。また、移動体検出装置のＣＰＵ５は、撮影画像の差分画像のうち周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、撮影画像を分割した小領域のうち画素を含む小領域を検出する動き抑制手段９と、撮影画像を分割して小領域より大きい大領域を作成し、小領域に含まれる動きベクトルの絶対値の大きさにしたがって、大領域内の画素の明度または色の値がが周辺領域に対して異なる大領域を検出する色抑制手段１０と、大領域に移動体が存在するか否かをパターン認識により判定する移動体判定手段１１とが読み込まれた移動体検出プログラムを実行する。尚、上記移動体検出装置の構成は一例であり、これに限られるものではない。例えば図示はしないが、移動体を検出した場合に警報等を発することができるブザーやランプ等を備えるようにしても良い。

以下に述べる処理において、データの一時記録、保管を伴う処理については、すべて移動体検出装置のＣＰＵ５が、ＣＰＵ５内のキャッシュメモリ、または主記憶装置６、または記憶装置のバッファ領域上で行うものである。また、以下、単に記憶装置とした場合は、ＣＰＵ５内のキャッシュメモリ、主記憶装置６、補助記憶装置７のいずれかをいうものとする。また、判定結果、移動体の検出画像等は、移動体検出装置の補助記憶装置７に限らず、インターネット、ＬＡＮ等を経由して外部の記憶装置に記録することとしても良い。また、閾値、パラメータは、予め記憶装置に記憶しておくものとする。尚、パラメータの設定画面を出力装置３に表示させて登録可能にしても良い。

次に、本発明の画像処理による移動体検出方法について説明する。本実施形態では、例えば図７に示すように、監視画像設定（Ｓ１）、動き抑制処理（Ｓ２）、色抑制処理（Ｓ３）、移動体判定処理（Ｓ４）と、移動体検出画像記録（Ｓ５）により、侵入者の検出を行うこととしている。

監視画像の設定（Ｓ１）は、移動カメラからの動画像を移動体検出装置に取り込むものである。尚、映像データの取得は、移動カメラで撮影されている映像データをリアルタイムでコンピュータに取り込むようにしても、または移動カメラにより撮影された映像を一旦ビデオテープ等に記録したうえで、コンピュータの補助記憶装置７に記憶させ、記憶された映像データに対して処理を行うようにしてもよい。さらに、リアルタイムでコンピュータに取り込んだ画像を同時に記憶装置に記憶させるようにしても良い。尚、以下に述べる画像処理は、ビデオカメラで撮影された映像データの各フレーム画像に対して行われるものである。尚、本実施形態では、フレームレートは例えば１０ｆｐｓ（枚／秒）とするが、これに限られるものではない。

次に、設定された監視画像に対して動き抑制処理（Ｓ２）を行う。動き抑制処理は、移動カメラで撮影した監視画像から、移動体の特徴である「動き」により移動体の候補領域の検出を行うものである。

本実施形態では、カメラは絶えず移動するものであるので、移動カメラにより撮影された監視画像内の被写体は見かけ上は、絶えず移動しているように見える。例えば監視画像内の１つの被写体（静止物）に着目した場合、この被写体は見かけ上、カメラの移動方向とは反対方向に移動していくように見える。一例を挙げれば、監視画像の中央に樹木が撮影されている場合、移動カメラを左方向にパンしながら撮影している場合、当該樹木は監視画像内では、見かけ上、右側へ移動する。このように、監視画像内の静止物体は、すべてカメラの移動方向とは反対方向に見かけ上は移動していくように見える。即ち本来、固定的な背景であっても相対的に移動する。しかしながら、被写体に移動体が存在していれば、カメラの移動方向やカメラの移動速度とは関係なく監視画像内を移動していく。

本実施形態では、このような周囲の動きと異なる動きをしている部分に着目して移動体候補として抽出を行うものとしている。したがって、例えば人物であっても、カメラがパン及びチルトをしながら撮影している間中、定位置に居て微動だにしない移動体は検出されない。このような移動体は、背景と判断されるからである。しかしながら、監視対象となるのは侵入者等、例えば危険領域への侵入者を対象とするので、当該侵入者が故意に動かないことはない。また、移動体と背景とが同じ方向に移動することもあるが、背景と移動体では動きベクトルの絶対値が異なるため検出することが可能である。

以下に、動き抑制処理について詳細に説明する。本実施形態では、動き抑制処理では、先ずフレーム間差分を得ることとしている。本実施形態では、例えば２フレーム間の輝度値の変化が、一定の閾値を超えたかどうかにより２値画像を作成する。さらに２フレームの２値画像を比較することにより、動きのある画素の検出を行うこととしている。これにより、多フレーム間での差分変化を行った場合に生じる背景と移動体との移動履歴の重なりを防ぎ、かつ計算量を減らすこととしている。尚、例えば時間的制約が緩やかな条件下であれば、必ずしも２フレームに限らず、フレーム数を増やして同様の処理を行うようにしても良い。また、ソーベルフィルタ等で得られるエッジ画像を用いることとしても良い。尚、処理対象とするフレーム数を増やせば、計算量は当然に増加する。

次に、動き抑制処理では、動きの検出を行う。本実施形態では、画素の輝度値に対して一定の閾値を設定するものとしているので、動き抑制処理において対象となる監視画像を予め255階調のグレースケール画像に変換しておくことが好ましい。計算量を減らして迅速な処理を行うことができるからである。しかしながら、例えば時間的制約が緩やかな条件下であれば、監視画像を必ずしもグレースケール画像に変換を行わなくとも良い。

本実施形態では、まず原画像I_tについて、時刻t（現フレーム）とt-1（前フレーム）の２フレーム間のフレーム間差分の２値画像Etを数式５により求めることとしている。尚、Ｔは閾値であって、予め任意に設定することが可能である。例えばＴ=50とした場合は、輝度値が５０以上異なる場合に該当する画素の値を１とする２値画像を作成するものである。

ここで、監視画像内の同一の座標において、輝度値が前フレームとの間で大きく変化した場合は、その座標において背景変化があったことを意味している。本実施形態では、移動カメラにより撮影された画像であるので、原則としては、すべての座標は、前フレームと同じ背景を示してはいない。しかしながら、連続するフレームの差分で設定した輝度値の閾値を超える変化は主として、静止している物体の縁や歩行者等の移動体で発生する。従って、まず、２値画像E_t(x,y)=1の部分に着目する。

次に、本実施形態では、現フレームと前フレームの２つの２値画像を比較して、動きのある領域を小領域として検出するものとしている。数式５により求められた２値画像E_t(x,y)=1の部分は、原画像It内の背景物体や移動体等の縁の移動量を線分幅で示しているといえる。即ち、２値画像E_tの座標の値が１である領域と、２値画像E_t-1の座標の値が１である領域は、背景物体や移動体の縁部分の画像内での位置変化を示しているといえる。図２（Ａ）、（Ｂ）に、２値画像E_t(x,y)=1の部分と前フレームでの2値画像E_t-1(x,y)=1の部分の２枚の２値画像を重ね合わせた図を示す。図２に示すように座標の値が１である領域について局所的に見ると、線分が連続して平行移動するように見えることがわかる。尚、図２中の矢印は移動体の移動方向を示すものである。

次に、本実施形態では、２値画像E_tと前フレームでの2値画像E_t-1のE_t側の境界部分を中心画素とするn(2n+1)画素の局所領域を設定し、局所領域ごとに含まれる２値画像E_t(x,y)=1の値を求めることとしている。本実施形態では、１画素飛びに２値画像E_tとE_t-1との隣接があるかを調べ、隣接しているE_tに、全体として(2n+1)×(2n+1)の画素の局所領域を設定することとしている（図３）が、これに限られるものではない。また、例えばn=5であるがこれに限られるものではない。尚、局所領域の設定は一例であってこれに限られるものではない。また、本実施形態では、中心画素を境界部分のうち２値画像E_t側に含むこととしているが、これに限られるものではない。局所領域を設定することとしているのは、一定の領域内においてどの程度、２値画像Et(x,y)=1の画素を含んでいるかを求めるものである。図３（Ａ）、（Ｂ）にn(2n+1)画素の局所領域N_i、P_iをE_tとE_t-1にまたがる部分に設定した図の一例を示す。尚、N_iは横方向の動き変化を求めるため、P_iは縦方向の動き変化を求めるために設定されるものである。また、１２は中心画素を示す。本実施形態では、数式６により局所領域N_iとP_iごとに含まれる２値画像E_tの値を計算するものとしている。

次に、N_iとP_iごとに含まれる２値画像Etの値の差を、局所領域の画素数n(2n+1)で割り、動き成分Γ_iを求めることとしている（数式７）。本実施形態では、例えば画像内の各座標(x,y)でのx軸方向とy軸方向の動き変化をそれぞれ数式８、数式９とし局所領域での動き成分としている。

さらに、本実施形態では座標(x,y)とその周辺画素と動きが異なる部分を検出するため、画像全体を小領域Φ_i(l₁×l₁画素:i=1,2,....,M×N/l₁ ²)に分割する。尚、M,Nは画像の縦横サイズであり、各小領域Φ_i内の動きベクトルの平均をA_i（数式１０）とする。尚、ｍは、小領域Φ内の画素数である。また、小領域Φ_iを中心とする近傍の領域での動きベクトルの平均の合計を数式１１により表す。尚、近傍は、例えば８近傍とするが、これに限られるものではなく４近傍、２４近傍などであっても良い。

ここで動きベクトルの平均A_iとその合計V_iが数式１２を満たす小領域Φ_i ^'とする。これにより、中心と周囲の動きが異なる小領域を抽出することとしている。尚、θは角度パラメータであって、任意に設定することが可能である。本実施形態では、例えばθ=10度とするがこれに限られるものではない。

数式１２により、中心と周辺が同じ方向に動いている部分ではなく、方向が異なる部分だけを小領域Φ_i ^'として検出する。小領域Φ_i ^'の座標位置を記憶装置に記憶して動き抑制処理は終了する。

以上述べた、動き抑制処理は一例であって、これに限られるものではない。フレーム間差分画像を用いて移動体候補を含んだ小領域を抽出することが可能であればよい。例えば小領域Φ_i ^'を抽出するためには、数式１２に限られるものではない。

このように、動き抑制処理（Ｓ２）では、現在処理しているフレームと直前のフレームの２フレームのみのフレーム間差分を用いて、動きのある座標を含む小領域を抽出し、移動体の候補領域としている。これにより、多数のフレームを用いて移動領域を検出する従来の技術に比べて、計算量を格段に減少し、高速な処理を可能としている。更に、本発明では、動き抑制処理に加えて、色抑制処理を行うことにより、動きによる抑制のみを行う従来技術に比して検出精度の向上を図るものである。尚、色抑制処理を行っても動き抑制処理での計算量の減少分によって、全体としては、従来技術に比べて高速な処理を実現することが可能となっている。

尚、例えば人物の歩く方向とカメラのパンで起きる背景の移動方向が同じ場合、周囲と人物が同一方向に動くため、周囲との移動方向方向が異なる部分を検出する数式１２は、最適に機能しないとも考え得る。しかしながら、人物が歩行する際には、全体としては同一方向への移動であっても、足、腕、頭、肩などの動きは、多様な方向への動きをするものであるので、このような動きを検出することにより人物を検出することが可能である。

次に、色抑制処理（Ｓ３）について説明する。色抑制処理は、動き抑制処理により検出された小領域Φ_i ^'に、さらに色による抑制に加えて移動体候補を決定するものである。本実施形態では、色とは文字通り画素の有する色の値、より具体的には、RGBの色空間をいうものとするがこれに限られるものではない。例えば、輝度値のみをもちいることとしても良い。例えば監視画像がモノクロ画像であれば輝度値のみを抑制に用いることで、処理量が軽減されるためより迅速な処理をすることができる。また、時間的制約が厳しい条件下において、またフレームレート数が多い画像に対して実施する場合等において有効となる。また、ＨＳＶ（色相、彩度、明度）のいずれかを用いても、その組合せを用いることとしても良い。また、色の値もRGBの色空間に限られるものではなく、CIEL*a*b*等の他の色空間を用いることとしても良い。

本実施形態では、先ず画像を大領域Ω_k(l₂×l₂画素）に分割することとしている。本実施形態では、l₂は、l₁より大きい、即ち大領域Ω_kは、小領域Φ_kより大きいものとする。例えば小領域Φ_i ^'を10×10画素、大領域Ω_kを50×50画素に設定することができる。この場合、一つの大領域に対する小領域数は25となる。

さらに、本実施形態では大領域Ω_kに含まれる動き抑制処理で抽出された小領域Φ’_iの動きベクトルの絶対値｜A’_i｜を加算し、その加算値B_kが大きい順番に大領域Ω_kの順位付けを行うものとしている（数式１３）。これは、動き抑制処理により抽出された小領域Φ’_iのうち、動きの大きな小領域を含む領域に対して、優先的に色抑制処理を実行するためである。

次に、数式１３により順位付けがされた大領域Ω_kに対して、予め設定したパラメータにしたがって上位t₁番目までの大領域Ω_kに対して、周囲と異なる色の値を持つ領域を優先的に移動体候補として検出することとしている。

図４に大領域Ω_kと中領域Λ_kの関係を示す。本実施形態では、大領域Ω_kに対し、大領域Ω_k内中心の中領域Λ_k(l₃×l₃画素)を設定するものとしている。尚、l₂>l₃とする。したがって、例えば小領域Φ_kを10×10画素、中領域Λ_kを30×30画素、大領域Ω_kを50×50画素に設定することができる。

本実施形態では、色の値R,G,Bのそれぞれが、0-255の値を有しているので、それぞれの値をヒストグラムにより比較し、その差の２乗誤差を求めることとしている。具体的には、順序付けた上位t1番目までの大領域Ωkに対し、大領域Ω_k内中心の中領域Λ_kとその周辺８近傍の中領域Λ_j(j=1...，8)とのRGBのヒストグラムの差F_k(j)を求め（数式１４）、そのうちの最小値を大領域Ω_kでの周辺との色差G_kとしている（数式１５）。尚、f_kは中領域Λ_kでRGBのヒストグラムを、f_jはΛ_kの周辺８近傍Λ_jでのRGBのヒストグラムを、Hはヒストグラムのビン数（区間数）を示すものである。

順序付けた上位t₁番目までの大領域Ω_kを、色差G_kが大きい順に並び替え、上位t₂番目までを移動体候補とする。尚、t₁≧t₂である。

ここでt₁及びt₂は、任意に設定可能なパラメータであり、予め記憶装置に記憶させておくものである。尚、色差G_kの算出に際しては、1つの大領域Ω_kあたり｛9l₃ ²+8H｝の繰返し計算が必要となるため、使用する計算機の能力に応じて処理領域数t₁を適宜選択すればよい。

以上述べたように、本発明の移動体候補の検出方法によれば、移動カメラにより撮影された画像に対し、動きと色による抑制を加えることにより、移動体の候補領域を迅速かつ高精度で抽出することができる。さらに抽出された移動体の候補領域に対して、画像判定技術を用いることにより、移動体の検出を行うことができる。

本実施形態では、例えば移動体判定処理として、OpenCVによる判定をおこなうものとしている。尚、OpenCV(Intel Open Source Vision Library)とは、Intelの研究所により提供されているコンピュータビジョン用のライブラリである。尚、移動体判定処理には、例えば公知の様々な画像判定処理を状況に応じて適宜選択しても良く、特に限られるものではない。例えば従来のテンプレートマッチング手法等や、OpenCVに代えてARToolkit等の判定手法を用いることとしても良い。

以下に、本実施形態でのOpenCVによる移動体判定処理について述べる。先ず、OpenCVで使われている機械学習の一方式であるAdaBoostについて説明する。尚、AdaBoostは分類の難しい学習サンプルを集中的に学習させ、すでに正しく分類した学習サンプルの重要性を下げる方法である。

AdaBoostは学習仮設の重み付けに、学習の収束性が理論的に補償された方法を用いている。AdaBoostは、基本学習アルゴリズムが任意の重み付けされた学習サンプルに対し学習誤差ε_tが１／２未満の学習仮設を常に探索することができれば、有限の学習仮設生成回数で学習誤差０の仮設を生成することができる。

AdaBoostの学習アルゴリズムを以下に示す。学習サンプルとして、検出対象となる移動体の画像とそれ以外の画像を集めた合計n個のサンプルを入力する（数式１６）。尚、y_i はx_i の２値ラベルであり、y_i=0,1のいずれかで検出対象の画像とそれ以外を示すものとする。

n個のサンプルに対応した重みの初期値を数式１７のように設定する。尚、mは、y_i=0の合計数、lは、y_i=1の合計数を示す。

次に以下の処理を予め設定された回数、ループ処理を行うものとしている。先ず重みの正規化処理を行い（数式１８）、各画像特徴jを使った分類h_jに対する学習誤差を以下の式により求める（数式１９）。

さらに、最もε_tの小さい分類h_tを選択し、重みの更新を行う（数式２０）。数式２０で、 e_iはx_iが正しく分類されたとき０であり、誤って分類されたとき１とする。またβは数式２１により更新する。

学習回数Tにより生成されたAdaBoostの学習結果は、サポートベクタマシン(SVM)と同じように境界からの最小マージンを生成している。尚、AdaBoostはハードマージン(Hard Margin)である。AdaBoostによる判定は、以上の処理の結果、前仮説h_tと重みα_tの積を合計し、その値が重みの合計の１／２以上であれば、検出対象物であると認識するものとしている（数式２２）。尚、重みα_tは数式２３で表される。

OpenCVによる人物検出や顔検出では、対象となる画像に対して、例えば図５に示すような種々のフィルタをかけ、その結果得られる画像特徴を使い、AdaBoostで判定を行っている。尚、白部分が-1、黒部分が1である。

また、本実施形態ではAdaBoostの判定には、カスケードと呼ばれる手法を用いることとしている。図６にカスケード処理の一例を示す。図６に示すように、カスケード処理ではフィルタを用いて、その中で最も誤り率が少ないAdaBoostの判定を「判定１」で行い、その次に誤り率の少ない判定を「判定２」で行うものとしている。このような判定をn回繰り返して、最終的に候補として残った部分を人物が写っている部分として確定している。即ち、カスケード方式では、一つの判定処理を通過するたびに見るべき場所を限定していくことになるので、全体の判定処理の高速化を可能としている。

尚、以上述べたOpenCVで提供されているAdaBoostによる判定処理は、一例であってこれに限られるものではない。例えば移動体判定処理として、例えば予めサポートベクタマシン(SVM)に学習用データとして記憶させた移動体の画像を判定処理に用いることとしても良い。これにより、精度の高い移動体判定処理を行うことを可能としている。尚、移動体の画像に加えて、移動体以外の画像（背景画像等）も学習用データとして同様に記憶させることにより、判定結果の精度を上げることができる。具体的には、移動体画像と移動体以外の２種類の画像集合を、例えばHaarウェブレット方式で変換した画像を用いてサポートベクタマシンで移動体テンプレートを事前に作成しておくことによる。尚、移動体テンプレートは、サポートベクタマシンで作成されたテンプレートに限られるものではなく、既存のテンプレートを予め記憶装置に記憶させておく、または、移動体検出装置とは別途、外部の記憶装置に記憶させておいても良い。

本実施形態では、例えば移動体判定処理の結果により、移動体の検出がされれば、侵入者が検出された画像として画像の記録を開始することとしている（Ｓ５）。尚、侵入者の画像の記録は、検出の有無にかかわらず、撮影中継続して記録しても良い。また、一定時間ごとに、監視画像の記憶領域を更新しながら、監視画像の記録をおこなってもよい。

また、移動体検出画像の記録は、移動体の記録を残すために行うものである。本発明においては、移動体の検出と同時に警報を出すことができるので、移動体検出画像の記録は必ずしも必要ではない。また、検出した画像を記録する際も、必ずしも本発明の移動体検出装置により行う必要はなく、例えばインターネット網を通じて他のハードウェアの記憶手段により記憶して通報をおこなうようにしてもよい。

さらに、侵入者の検出と同時に、警報を発する等の処理を行うようにしても良い。以上で、動画像の１フレーム画像に対する処理は終了し、監視画像の最終フレームまたは監視を中断する場合等を除いて、次フレームを同様に処理するものである。

本発明の移動体検出プログラムが行う処理を図７〜図１０のフローチャートに示す。本発明の移動体検出プログラムは、先ず撮影画像の取得を行い（Ｓ１）、次に動き抑制処理を行うものである。

図８に動き抑制処理のフローチャートを示す。動き抑制処理（Ｓ２）は、フレーム間差分を求め（Ｓ２０１）、動きの検出を行う（Ｓ２０２）。次に、周囲と異なる動き部分を小領域Φ_i ^'として検出し（Ｓ２０３）、小領域Φ_i ^'の座標位置を記憶装置に記録する（Ｓ２０４）ものである。以上で、動き抑制処理は終了し、色抑制処理を行う。

図９に色抑制処理（Ｓ３）のフローチャートを示す。色抑制処理は、撮影画像を大領域Ω_kに分割（Ｓ３０１）し、動き抑制処理で求めた動きの大きい順に大領域Ω_kを順位付ける（Ｓ３０２）。次に、各大領域Ω_kで周囲との色差G_kの最小値を求める（Ｓ３０３）。更に色差G_kの大きい順に並び替え（Ｓ３０４）、上位t₂までの大領域Ω_kの座標位置を記憶装置に記録（Ｓ３０５）する。以上で、色抑制処理は終了し、移動体判定処理を行う。

図１０に移動体判定処理（Ｓ４）のフローチャートを示す。移動体判定処理は、先ず学習サンプルの入力を行い（Ｓ４０１）、次に重みの設定をする（Ｓ４０２）、ループ処理を行う回数tを1に設定して（Ｓ４０３）、先ず重みの正規化を行う（Ｓ４０４）、更に、分類hjに対して、学習誤差を求める（Ｓ４０５）。その結果、最も学習誤差の小さい分類を選択して（Ｓ４０６）、重みの更新を行うものである（Ｓ４０７）。最後に処理回数を+1して（Ｓ４０８）、終了判定を行う（Ｓ４０９）。終了条件を満たせば（Ｓ４０９：Ｙｅｓ）、前仮説h_tと重みα_tの積を合計し、その値が重みの合計の1/2以上であれば、検出対象物であると認識している（Ｓ４１０）。以上で、移動体判定処理は終了する。

移動体判定処理の結果、移動体が検出された場合は、例えば監視画像を別途検出画像として補助記憶装置６に記録を開始する処理や、移動体検出装置に備えられた警報を発する処理を行うものである。原則として、処理は撮影画像の１フレーム毎に行われ、次フレームの処理に移るものである。以上で、本発明の移動体検出プログラムが行う処理は終了する。

以上述べたように、本発明は、精度の高い移動体検出が可能で、既存のソフトウェアに比べ高速な方式となっている。また、ソフトウェアで実現しているため、既存の画像監視システムに導入が容易である。本発明では、設備を増設せずに既設監視カメラを使い、更に特殊な専用計算機を準備せずに一般の計算機で高速に動作する計算量のかからない移動体検出処理を行うことができるので、新たな設備投資の投資を行うことなく、高精度かつ高速な侵入者監視を実現している。

尚、本発明は、例えば監視領域に入る人物が周囲の背景と異なる動きをし、周囲と異なる色を持ち、かつその形状が既知である前提で考案したものである。したがって、例えば背景と同色の衣服を着た人物は検出するのが困難な場合がある。しかしながら、このような人物は監視員が目視により監視画像を監視している場合であっても発見が困難であるといえる。

尚、上述した実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、本実施形態では、移動カメラについて説明したが、予めフレーム位置が固定された監視カメラにおいて本発明の移動体検出方法、装置及びプログラムを適用可能であることは勿論である。この場合には、更に高い精度での移動体の検出が可能である。また、パラメータの設定を変更することにより処理量を減らすことができるので、更に高速な処理を実現することができる。

また、例えば上述の実施形態ではカラー画像を原画像として各処理を行なったが、グレースケール画像を原画像として各処理を行なっても良い。色の値に代えて明度を用いることにより同様の処理を行うことができる。この場合、更に計算量を減らすことができるので高速処理の実現が可能である。

また、閾値などの各パラメータ、例えば標準偏差の閾値などは、撮影条件などに合わせて適宜調節してよい。また、例えば検出された移動体の数をカウントして補助記憶装置等に記憶させておいても良い。これにより、移動体の検出数の記録を残すことも可能である。

また、ここまで本発明の移動体検出方法を侵入者の検出に適用する場合について説明したが、本発明の移動体検出方法は、様々な用途に用いることが可能である。例えば現在、環境計測のための生物観測等においては観測者が野外でビデオカメラを持ち歩き、鳥類、動物などの観察対象を撮影し、録画した撮影画像から目視で対象動物を検出する作業を行っている。このような目視作業についても、本発明の移動体検出方法を用いることにより、自動化することが可能となり業務の効率化を図ることができるものである。

また、本実施形態では、まず動きによる抑制をし、次に色による抑制をするものとしているが、移動体候補の検出方法として、まずはじめに画素の明度または色の値が周辺画素に対して異なる領域を抽出し、抽出された該領域に対して動きによる抑制処理を行って移動体候補領域を抽出することも可能である。また、動きによる抑制処理と画素の明度または色の値による抑制処理による移動体候補領域の抽出処理を並列的に処理を行い、双方の処理で検出された領域を移動体候補領域とすることも可能である。その場合において、動きによる抑制により検出される領域と、画素の明度または色の値により検出される領域に対してどちらを重点的に移動対候補領域として採用するようにしてもよい。監視を行う環境、撮影対象により最適な方法を選択するようにしても良い。

（実施例１）
本発明と非特許文献１及び２に記載のMHIによる移動体検出の比較実験を示す。なお、本実施例においては、Intel Pentium4（登録商標） 2.24GHzのＣＰＵを搭載した計算機を利用した。また、画像のサイズは360×240画素で実験を行った。尚、本実施例（実施例１）においては、移動体判定処理は行わなかった結果を示す。

MHIでの移動体検出はOpenCVに含まれる動作解析と物体追跡プログラム（Motion Analysis and Object Tracking）で提供されているMHIによる移動物体検出用の関数を利用した。画像間の差分Ψは閾値T=50のフレーム間差分とし、検出領域サイズの下限閾値をS=50（縦横の長さ合計が50以上）とした。また、MHIを連続する３画像で計算し、動き計算の遅延上限閾値をU=0.1と下限閾値をD=0.05とした。その他は、OpenCVの中でMHI関数の引数例として提供されているパラメータ値を使用した。

本実験では、以下のようにパラメータの設定を行った。フレーム間差分の閾値T=50、動きを計算する小領域Φ_iのサイズl₁=10画素、数式１２での角度パラメータθ=10度とした。また、小領域Φ_iの抑制の計算を周囲24近傍とした。色抑制処理では、大領域Ωのサイズをl₂=50画素、Λのサイズをl₃=30画素とし、RGBヒストグラムのビン数をH=75とした。また、色処理の領域数（t₁=10）、最終的な移動体検出数を（t₂=5）とした。尚、本明細書中の実施例においては、特に他の記載がないかぎり上記のパラメータ値を用いた。

（固定カメラによる移動体検出）
先ず、歩行者を固定カメラで撮影した画像を用いて実験をおこなった。実験には歩行者画像のサンプルデータセットから連続する200画像を利用した。実験画像は固定カメラの前を右から左に人物が横切る約6.6秒のシーン（以下、シーン１という）である。実験結果を図１１に示す。図１１（Ａ）は、MHIの処理結果を示しており、移動体検出結果は円で示されている。また、円内の直線は領域の移動方向を示しており、これは図１２（Ａ）、図１３（Ａ）、図１８（Ａ）において同様とする。これに対し図１１（Ｂ）は、本発明の移動体検出プログラムによる移動体検出結果である。長方形の枠が移動体検出結果である。また、画像内の線及び点は動きの大きさと方向を示しており、これは図１２（Ｂ）、図１３（Ｂ）、図１５、図１６、図１７、図１８（Ｂ）において同様とする。シーン１については、MHIと本発明の移動体検出プログラムとも人物領域を96〜97パーセントの高い精度で検出することができた。

（等速移動カメラによる移動体検出）
次に、建屋入り口とシャッター付近を監視するために設置されている移動カメラを、右から左に等速（約2度／秒）にパンしながら歩行者を約9.1秒間撮影したシーン（シーン２）を使い、比較実験を行った。実験結果を図１２に示す。尚、歩行者は画面の左側下からシャッターに近づき画像の右斜め下へ移動した。図１２（Ａ）はMHIの処理結果であり、図１２（Ｂ）は本発明の移動体検出プログラムによる移動体検出結果を示す。約9.1秒のシーンに対し、MHIの処理では85パーセントの精度で人物領域を検出し、本発明の移動体検出プログラムは89パーセントの精度で人物領域を検出できた。また、図１２（Ａ）に示すように、MHIでは人物以外の背景部分を１画像当たり平均７箇所、最大で１７箇所検出しているのに対して、本発明の移動体検出プログラムでは歩行者近傍を中心に検出することに成功した。これは、判定処理を行う候補領域が１の正解に対して、いくつ存在しているのかを示すものである。即ち、移動体の判定に同じ手法を用いた場合においては、MHIでは候補領域の検出数の数が多い分、処理速度がかかることとなる。シーン２については、本発明の移動体検出プログラムが、MHIに比べ検出精度が高かった。

（ランダムに移動するカメラによる移動体検出）
更に、移動カメラを上下にランダムに動かしながら撮影した画像から、歩行者を検出する実験を行った。実験画像としては、歩行者が画像内を右から左へ通過する約7秒間に、カメラが下から上さらに途中から再度下へ向かうチルト中に撮影したシーン（シーン３）を用いた。実験結果を図１３に示す。図１３（Ａ）がMHIによる移動体検出結果であり、図１３（Ｂ）が本発明の移動体検出プログラムによる移動体検出結果である。シーン３についても、MHIによる結果は１画像当たり平均１１箇所、最大で２３箇所の検出対象ではない移動領域を１画像から検出しているのに対して、本発明は人物領域近辺などに集中して検出することに成功した。これにより、迅速かつ高精度な移動体判定処理を行うことができる。尚、本実験では歩行者部分の検出率は、MHIが約70パーセントであるのに対し、本発明の移動体検出プログラムでは約92パーセントであった。

（処理速度の比較）
表１に上記シーン１から３の処理にかかった時間を比較した結果を示す。尚、本発明の移動体検出プログラムについては、色抑制処理を実行する領域数をt₁=10、20とした2種類の処理時間を計測した。

例えば、シーン３にかかった処理時間は、MHIは5.2秒、本発明の移動体検出プログラムはt₁=10の時に4.1秒、t₁=20の時に6.0秒であった。このように移動体候補の検出処理にかかる処理速度そのものを短縮することに成功している。さらに、本発明の移動体検出プログラムは、MHIに比して、上述の例のように移動体候補そのものの検出精度がよい。即ち、現実の１の移動体に対しての候補領域の数が少ないので、人物判定処理に同じ処理を行えばさらに処理時間の差は大きくなり、処理の迅速化を図ることができる。

尚、MHIの処理速度は41〜51FPS程で、固定カメラ時に51FPSと処理速度が速いが、カメラが動くと41FPSまで速度が低下する。これに対し、本発明の移動体検出プログラムでは速度が安定しており、色処理の領域数t₁=10の時に51〜52FPS、t₁=20の時に35〜36FPSで処理を行うことができる。固定カメラ画像では変化領域が少ないため、MHIの処理が本発明の移動体検出プログラムとかわらないが、カメラが移動すると画像内の変化領域が増えるためMHIの処理速度が低下する。一方、本発明の移動体検出プログラムはカメラが固定している、または移動している状態に関係なく一定の処理速度である。

（処理速度と移動体検出率）
また、処理速度は計算機の能力に依存するため、計算処理速度と移動体検出率の関係について実験を行った。実験では、シーン３に本発明の移動体検出プログラムの処理速度を2FPSから30FPSまで擬似的に変化させて移動体検出を行った。図１４に処理速度と移動体検出率の解析結果を示す。図１４は色処理の領域数t₁=50、移動体検出数t₂=20としたときの人物検出率であり、動き抑制処理だけを行った場合の検出率と、動き抑制と色抑制を行った場合の検出率を示している。尚、3FPS以上の処理速度で、動きと色を使う人物検出が、動きだけの人物検出よりも高い検出率を示した。移動体検出例を図１５に示す。

（持ち歩きビデオカメラの実験結果）
撮影者がビデオカメラを手で持ち、適度に移動しながら屋外で子供を撮影した36.2秒の録画画像（シーン４）を使い、子供を検出する実験を行った。実験結果を図１８に示す。図１８（Ａ）がMHIによる移動体検出結果であり、図１８（Ｂ）が本発明の移動体検出プログラムによる移動体検出結果である。MHIによる移動体検出結果では、背景の樹木の動きを移動体として多く誤検出しているが、本発明の移動体検出プログラムでは誤検出が5パーセントの画像で発生しただけであった。MHIによる移動体検出は全画像の67パーセントで発生し、１画像当たり平均６箇所、最大で１９箇所の誤りを検出した。このように、固定された状態でパンまたはチルトされながら撮影された画像に限らず、撮影者が手で持ちながら撮影した、即ちカメラそのものが移動している状態で撮影された映像についても従来の手法に比べて精度良く移動体の検出を行うことができることがわかった。

（実施例２）
（移動体判定処理との組合わせ）
次に、移動体判定処理を行った場合の本発明の移動体検出プログラムによる移動体検出結果を図１６に示す。移動体判定にはOpenCVで提供されているAdaBoostを用いた人物の上判定処理を利用した。人物の正面と背面画像をAdaBoostで学習し、処理速度を上げるためカスケード処理で画像内の人物判定を行った。

画像全体に人物判定を行った際の処理時間と、本発明の移動体検出プログラムで探索範囲を５箇所に絞込み人物判定を行った処理時間の比較を表2に示す。

画像全体に人物判定を行った際の処理速度は約5.6FPSだが、本発明の移動体検出プログラムでは、処理速度が約23.3FPSであった。移動体判定処理を行わなかった場合（実施例１）では、例えば図１２に示すように人物以外も検出しているが、移動体判定処理を加えた場合（図１６）では人物だけを検出することに成功した。これにより、本発明の移動体検出プログラムは、画像全体をカスケード方式で探査するよりも高速であることがわかった。

また、図１７に移動カメラと人物が同一方向に移動している際の本発明の移動体検出プログラムが検出した移動体を示す。このように、カメラと人物の移動方向が同一方向であっても人物の検出を行うことが可能であることがわかった。

本実施例により、本発明の移動体検出プログラムは、周囲の背景と異なる動きと色を持つ部分を高速に検出し、パンまたはチルト中の監視カメラの画像からも移動体を検出できることがわかった。また、本発明の移動体検出プログラムを従来の移動体検出方式と比較実験し、より高速な処理速度と、より精度の高い移動体検出率が得られた。

移動体検出装置の構成の一例を示す図である。 （Ａ）２値画像E_tと前フレームでの2値画像E_t-1を重ね合わせた場合の一例を示す図である。（Ｂ）２値画像E_tと前フレームでの2値画像E_t-1を重ね合わせた場合の他の例を示す図である。 （Ａ）局所領域の設定の一例を示す図である。（Ｂ）局所領域の設定の他の例を示す図である。 大領域Ωと中領域Λの設定の一例を示す図である。 移動体判定処理に用いるフィルタの一例を示す図である。 カスケード処理の一例を示す図である。 本発明の移動体検出処理の一例を示すフローチャートである。 動き抑制処理の一例を示すフローチャートである。 色抑制処理の一例を示すフローチャートである。 移動体判定処理の一例を示すフローチャートである。 シーン１に対する移動体判定処理を行わない場合の（Ａ）MHIによる移動体検出結果、（Ｂ）本発明の移動体検出プログラムによる移動体検出結果の一例を示す画像である。 シーン２に対する移動体判定処理を行わない場合の（Ａ）MHIによる移動体検出結果、（Ｂ）本発明の移動体検出プログラムによる移動体検出結果の一例を示す画像である。 シーン３に対する移動体判定処理を行わない場合の（Ａ）MHIによる移動体検出結果、（Ｂ）本発明の移動体検出プログラムによる移動体検出結果の一例を示す画像である。 処理速度と移動体検出率の関係の一例を示すグラフである。 移動体判定処理を行った場合の本発明の移動体検出プログラムによる移動体検出結果の一例を示す画像である。 移動体判定処理を行った場合の本発明の移動体検出プログラムによる移動体検出結果の他の例を示す画像である。 移動カメラと人物が同方向に移動する場合の本発明の移動体検出プログラムによる移動体検出結果の一例を示す画像である。 シーン４に対する移動体判定処理を行わない場合の（Ａ）MHIによる移動体検出結果、（Ｂ）本発明の移動体検出プログラムによる移動体検出結果の一例を示す画像である。

符号の説明

１ 撮像手段
９ 動き抑制手段
１０ 色抑制手段
１１ 移動体判定手段

Claims (9)

1. 撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、前記各フレーム画像を分割した小領域のうち前記画素を含む小領域を検出する動き抑制処理と、前記各フレーム画像を分割して前記小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、前記動き抑制処理で検出された前記小領域の前記動きベクトルの絶対値の加算値が大きい順番に前記大領域を順位付けし、該順位付けがされた前記大領域に対して前記順位付けに従って優先的に、前記大領域内の前記中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち最小値を色差とすると共に該色差の大きい順に予め設定された数の前記大領域を移動体候補領域として検出する色抑制処理を行うことを特徴とする画像処理による移動体候補の検出方法。
2. 前記画像は、前記撮像手段を移動させながら撮影された画像であることを特徴とする請求項１に記載の画像処理による移動体候補の検出方法。
3. 前記差分画像は、現フレームと前フレームとの２フレーム間の差分の２値画像であることを特徴とする請求項１または２のいずれかに記載の画像処理による移動体候補の検出方法。
4. 前記動きベクトルは、前記２値画像の各座標における前記２フレーム間のエッジのx軸方向とy軸方向の動き変化を成分とするベクトルであることを特徴とする請求項３に記載の画像処理による移動体候補の検出方法。
5. 請求項１から４までのいずれかに記載の移動体候補の検出方法により検出された前記移動体候補領域に移動体が撮影されているか否かを判定する移動体判定処理を行うことにより、移動体の検出をおこなう移動体検出方法。
6. 撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、前記各フレーム画像を分割した小領域のうち前記画素を含む小領域を検出する動き抑制手段と、前記各フレーム画像を分割して前記小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、前記動き抑制手段によって検出された前記小領域の前記動きベクトルの絶対値の加算値が大きい順番に前記大領域を順位付けし、該順位付けがされた前記大領域に対して前記順位付けに従って優先的に、前記大領域内の前記中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち最小値を色差とすると共に該色差の大きい順に予め設定された数の前記大領域を検出する色抑制手段と、前記大領域に予め記憶装置に記憶された移動体が撮影されているか否かを判定する移動体判定手段を備えることを特徴とする移動体検出装置。
7. 前記画像は、前記撮像手段を移動させながら撮影された画像であることを特徴とする請求項６に記載の移動体検出装置。
8. 前記動き抑制手段における前記差分画像は、現フレームと前フレームとの２フレーム間の差分の２値画像であることを特徴とする請求項６または７のいずれかに記載の移動体検出装置。
9. 撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、前記各フレーム画像を分割した小領域のうち前記画素を含む小領域を検出し、該小領域の座標位置を記憶する動き抑制手段と、前記各フレーム画像を分割して前記小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、前記検出された前記小領域の前記動きベクトルの絶対値の加算値が大きい順番に前記大領域を順位付けし、該順位付けがされた前記大領域に対して前記順位付けに従って優先的に、前記大領域内の前記中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち最小値を色差とすると共に該色差の大きい順に予め設定された数の前記大領域を検出し、該大領域の座標位置を記録する色抑制手段と、前記大領域に予め記憶装置に記憶された移動体が撮影されているか否かをパターン認識により判定する移動体判定手段としてコンピュータを機能させることを特徴とする移動体検出プログラム。