JP3880759B2 - 移動物体検出方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば自動監視装置に関し、特に、移動する物体を動画像中の動きが生じた領域を検出することによって抽出する技術に用いて好適な、移動物体検出方法及び移動物体検出装置に関する。
【０００２】
【従来の技術】
近年、カメラ映像を用いて、駐車場における車両の入／退場等を自動的に検出するセキュリティシステムが、各施設に導入されている。この方法は、カメラにより撮影された動画像データから得られる各シーンにおいて移動する物体を抽出する方法である。また、動画像の中から移動する物体（移動物体）を抽出する方法として、背景差分法と呼ばれる方法が知られている。
【０００３】
この背景差分法とは、撮影された動画像（入力画像）と背景に相当する背景画像（背景画像）とを比較することによって、移動物体を検出する方法である。図２４は、背景差分法の説明図であり、入力画像２０３ａと、背景画像２０３ｂと、背景差分画像２０３ｃとが表示されている。ここで、入力画像２０３ａは、移動物体２０４と背景画像２０３ｂとからなり、この入力画像２０３ａから、背景画像２０３ｂが差し引かれると、背景差分画像２０３ｃが得られるようになっている。
【０００４】
具体的には、予め、背景画像２０３ｂが記録され、入力画像２０３ａの輝度値と、この入力画像２０３ａと同一点における背景画像２０３ｂの輝度値との差分が計算される。そして、この差分が特定のスレッショルド値以上になると、移動物体２０４の存在により生じた輝度変化と判断されて、移動物体２０４が検出されるのである。
【０００５】
ここで、輝度値とは、画像中の各画素毎の明るさを表す値である。この画素とは、画像の解像度に対応する画面の点であって、例えばパソコン等のピクセルと同様なものである。加えて、以下の説明においては、輝度値を単に輝度と称することがあり、また、移動する物体を移動物体と称したり、動画像を単に画像と称することがある。
【０００６】
さらに、この背景差分法は、移動物体を簡単に抽出することができるが、天候の変化や照明の点灯，消灯及び照度切り替え等の環境変化に弱く、誤検出が発生しやすい。図２５（ａ）〜（ｃ）は、それぞれ、背景差分法を用いた場合の環境変化による誤検出を説明するための図であり、各図において、横軸は、画面上の位置を表し、また、縦軸は、それらの位置での輝度値を表す。そして、この図２５（ａ）には、輝度分布曲線２０５ａ，２０５ｂがそれぞれ、示されている。ここで、輝度分布曲線２０５ａは、元の画像（画面）の輝度値を表すものであり、また、輝度分布曲線２０５ｂは、例えば照明の点灯によって、輝度分布曲線２０５ａが変化したものである。
【０００７】
そして、図２５（ｂ）に示す輝度分布曲線２０５ａが図２５（ａ）に示す輝度分布曲線２０５ｂから差し引かれると、図２５（ｃ）に示すように、入力画像と背景画像との輝度値の差に相当する輝度分布曲線２０５ｃが残るため、環境変化が移動物体として誤検出されてしまう。
このため、環境変化による誤検出を回避するために、輝度値の分布（輝度分布）の形状を比較する方法が用いられている。これは、画面を複数の画素からなるブロックに分割し、このブロック内の輝度分布の形状変化を測定することによって、物体の有無を検出する方法である。なお、以下の説明においては、このブロックを単位ブロック(unit block)と称することとする。また、この単位ブロックは、小領域と称されることもある。次に、その具体的な方法について、図２６（ａ），（ｂ）及び図２７（ａ），（ｂ）を用いて説明する。
【０００８】
図２６（ａ），（ｂ）は、それぞれ、環境変化による輝度変化を説明するための図である。この図２６（ａ）に示す入力画像２０３ａは、監視する領域（監視領域:monitoring area）であって、領域Ａと領域Ｂとの２領域を有する。ここで、領域Ａは、日が当たっていない領域を表し、また、領域Ｂは、日が当たっている領域を表している。
【０００９】
この環境変化による輝度変化は、監視領域（入力画像２０３ａに相当）内においては一定でない。例えば、領域Ａと領域Ｂとにおいて、輝度変化は一定ではない。ところが、局所的にみると、輝度変化は一定値とみなすことができる。例えば、図２６（ａ）に示す領域Ｂの白い丸で囲まれた領域の輝度変化については、図２６（ｂ）のようになる。この図２６（ｂ）に示す輝度分布曲線２０５ｄ，２０５ｅは、それぞれ、領域Ｂの白い丸における輝度変化を表し、輝度分布曲線２０５ｄは、日が当たっているときの輝度分布を表し、輝度分布曲線２０５ｅは、日が当たっていないときの領域輝度分布を表す。
【００１０】
一方、図２７（ａ），（ｂ）は、それぞれ、移動物体の周辺部における輝度変化を説明するための図である。この図２７（ａ）に示す入力画像２０３ａは、移動物体２０４を有する。そして、この移動物体２０４の稜線２１０における輝度分布は、図２７（ｂ）に示すように、輝度分布の形状そのものが背景画像とは異なっている。
【００１１】
従って、監視領域を小さな単位ブロックに分割して、その単位ブロック内の輝度値の分布形状を比較することによって、環境変化の影響を受けずに各単位ブロックの単位で物体の有無を検出できる。
このような検出が可能な比較方法は、例えば、次のような公知文献に提案されている（長屋等, "時間相関型背景判定法による移動物体検出",電子情報通信学会論文誌(D-II),Vol.J79-D-II,No.4,pp.568-576,1996以下、公知文献１と称する。波部等,"動的環境における頑健な背景差分の実現法",画像の認識・理解シンポジウム ＭＩＲＵ’９８、以下、公知文献２と称する）。
【００１２】
この公知文献１に記載された技術は、ブロック内の輝度値をベクトルの要素とみなし、背景画像と入力画像とのそれぞれの正規化されたベクトル間の距離を比較するものである。
また、公知文献２に記載された技術は、背景画像と入力画像とのブロック間の局所的な距離の分散によって比較するものである。なお、以下の説明において、物体が監視領域に進入したことを進入、物体が監視領域から出ていくことを退出と表記することがある。
【００１３】
さらに、特開平9-81753号公報（以下、公知文献３と称する）には、背景との十分な輝度・色度差がない等の原因により同一移動物体内で動領域の分断が生じても正しく同一物体と認識できる移動物体抽出装置が開示されている。この公知文献３には、移動物体どうしの遮断が起こった際にそれを検知し、遮断が解消した場合に迅速にこれを認識して遮断解消時点を特定し、また、検出動領域から対象物体の影等の部分を除去して正しい対象部分像を抽出する技術が開示されている。
【００１４】
そして、特開平5-174261号公報（以下、公知文献４と称する）には、差分画像に基づく移動体検出手段における影などの発生や照明の変化による誤検出の問題を解消した移動体検出装置が開示されている。
さらに、特開平8-249471号公報（以下、公知文献５と称する）には、移動物体の特徴量を検出し、評価判定することで、フレーム間差分処理を用いても移動物体の制止状態も含めた追跡を実現し、かつ、環境条件により決定されたパラメータが不十分であった場合に、即座に最適なパラメータに変更して正確な移動物体検出を実現する動画像処理装置が開示されている。
【００１５】
また、特開平8-167022号公報（以下、公知文献６と称する）には、移動物体の検出と追跡とが確実に行なえ、さらに、その処理速度の向上が図れる画像監視装置が開示されている。
加えて、さらに、特開平8-106534号公報（以下、公知文献７と称する）には、監視対象領域中の移動物体を精度よく検出し、検出した移動物体を識別できる移動物体検出装置が開示されている。
【００１６】
【発明が解決しようとする課題】
しかしながら、公知文献１，２に記載された物体の検出方法は、主に、物体が領域を仕切る稜線を検出することにより行なわれているため、背景の輝度分布の形状が平坦な領域に、輝度分布の形状が平坦な物体が入ってくる場合には、移動物体が存在する領域の内側からの動きが検出されない。具体例について、図２８から図３０を用いて説明する。
【００１７】
図２８（ａ）は、物体がない場合の入力画像の模式図であり、輝度分布曲線２１１の形状は、平坦である。また、図２８（ｂ）は、物体が存在する場合の入力画像の模式図であり、この図２８（ｂ）に示す物体は、例えば車両を表し、この入力画像は、領域２００ａ，２００ｂ，２００ｄを有する。そして、これらの領域２００ａ，２００ｄにおいては、それぞれ、図２８（ａ）に示す輝度分布曲線２１１に対して輝度分布の形状の変化が大きいため、この範囲においては、物体の動きが抽出されうる。
【００１８】
一方、領域２００ｂは、物体が存在する領域の内側の部分であって、この領域２００ｂの形状は、図２８（ａ）に示す輝度分布曲線２１１の平坦な形状と類似しているため、この領域２００ｂにおいては、物体の動きが検出されない。このため、実際の物体の大きさと検出される動きブロックの数とが必ずしも比例しないため、次のような課題が生じる。
【００１９】
図２９（ａ）は、大きな物体が１個進入した場合の入力画像の模式図であり、例えば車両が進入した場合に相当する。この図２９（ａ）では、物体の輝度分布曲線のうち中央部分の形状が平坦となっている。
図２９（ｂ）は、大きな物体が１個進入した場合の監視領域を上から見た図である。監視領域２３は、入力された動画像から切り取られた一部分である。図中の符号２１を付した小さな矩形（四角形）は、各単位ブロック毎に比較して輝度分布の形状の変化が検出された領域であって、動きブロックと呼ばれる。
【００２０】
一方、図３０（ａ）は、小さな物体が２個進入した場合の入力画像の模式図であり、例えば２人の人間が進入した場合に相当する。また、図３０（ｂ）は、小さな物体が２個進入した場合の監視領域２３を上から見た図である。この図３０（ｂ）では、移動する物体の大きさが図２９（ｂ）の例よりも小さいにも関わらず、物体の稜線が多いため、動きブロック２１が、図２９（ｂ）と同程度の数が発生するため、動きブロック２１の数で、両者を区別することができないという課題がある。
【００２１】
さらに、図３１は、単位ブロックと物体の稜線との配置図であり、この図３１に示す物体の稜線２０１は、各単位ブロック２０の矩形領域の端部に位置している。このため、単位ブロック２０内での輝度分布の変化が小さくなり、物体が検出されなかったり、物体検出が困難になるという課題がある。
また、図３２は、カメラの揺れが生じたときの入力画像の模式図であり、例えば屋外に設置された固定式のカメラ（図示省略）により撮影されたものである。この図３２に示す画像２０２ａは、正常の位置にて撮影されたものであるが、カメラの向きがずれると、ずれた方向からその物体が撮影されるので、画像２０２ｂのようになり、誤検出が生じる。
【００２２】
さらに、公知文献３〜７には、上述したような２種類の物体を区別して検出する技術や、カメラの揺れ等に基づく誤検出を防止する技術は記載されていない。本発明は、このような課題に鑑み創案されたもので、例えば監視用のカメラ等を用いて撮影された入力画像から動きの生じた領域を検出することによってその物体の動きを自動的に抽出する技術において、照明等の環境変化があるところでも物体の動きが物体の形状によらずに正確に検出され、また、その物体の動きが物体の稜線と単位ブロックの境界との位置関係によらずに検出され、さらに、カメラの揺れ等の環境変化があっても移動物体のみを安定して検出できるような、移動物体検出方法及び移動物体検出装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
このため、本発明の移動物体検出方法は、入力画像を複数の第１単位ブロックに分割する第１分割ステップと、背景画像を複数の第２単位ブロックに分割する第２分割ステップと、第１単位ブロックと第２単位ブロックとを各単位ブロック毎に比較して輝度分布の形状が異なる単位ブロックを動きブロックとして抽出する動きブロック抽出ステップと、動きブロック抽出ステップにて抽出された動きブロックを囲む動き領域を設定する動き領域抽出ステップと、動き領域抽出ステップにて抽出された動き領域に対して、入力画像の輝度値の分布と背景画像の輝度値の分布とを比較して検出対象となる物体を検出する輝度比較ステップとをそなえて構成されたことを特徴としている（請求項１）。
【００２４】
また、輝度比較ステップが、所定の輝度値を有する画素の出現頻度を計測する出現頻度計測ステップと、入力画像の輝度値の分布の中から、出現頻度の低いものを除去する除去ステップとをそなえて構成されてもよい（請求項２）。
そして、第１分割ステップが、第１単位ブロックと第１単位ブロックに隣接する隣接単位ブロックとが相互に重なり合うように構成されるとともに、第２分割ステップが、第２単位ブロックと第２単位ブロックに隣接する隣接単位ブロックとが相互に重なり合うように構成されてもよく（請求項３）、動き領域抽出ステップが、動き領域を動きブロックを囲む矩形にとるように構成されてもよい（請求項４）。
【００２５】
さらに、輝度比較ステップにおける比較の結果、入力画像の輝度値の分布と背景画像の輝度値の分布との差が大きい場合に、入力画像から監視のための監視領域を切り出す監視領域切り出しステップと、監視領域切り出しステップにて切り出された監視領域を複数のゾーンに分割するゾーン分割ステップと、ゾーン分割ステップにて得られた複数のゾーン毎に輝度値の分散を計算する分散計算ステップと、分散計算ステップにて得られた分散に基づき入力画像における物体の存在／不在の検出を行なう検出ステップとをそなえて構成されてもよい（請求項５）。
【００２６】
この検出ステップは、複数のゾーン毎に計算された分散の履歴情報を生成する履歴情報生成ステップと、履歴情報生成ステップにて生成された履歴情報に基づく過去の分散と、入力画像に基づく現在の分散とを比較することにより物体の存在／不在の検出を行なう比較ステップとをそなえて構成されてもよく（請求項６）、分散が第１閾値以上であるゾーンの数が所定数以上になると物体の存在を通知するとともに、分散が第２閾値以下であるゾーンの数が所定数以上になると物体の不在を通知するように構成されてもよく（請求項７）、分散の増加値が第３閾値以上のゾーンの数が所定数以上になると物体の存在を通知するとともに、分散の減少値が第４閾値以上のゾーンの数が所定数以上になると物体の不在を通知するように構成されてもよい（請求項８）。
【００２７】
また、この検出ステップは、分散の増加値と分散の減少値とを計算すべく、その計算の基準を過去の分散の平均値から生成するように構成することもでき（請求項９）、物体の進入を検出すべく分散が第１閾値以上になると物体の存在を通知するとともに、物体の退出を検出すべく分散の減少値が第４閾値以上になると物体の不在を通知するように構成されてもよく（請求項１０）、物体の進入を検出すべく分散の増加値が第３閾値以上になると物体の存在を通知するとともに、物体の退出を検出すべく分散が第２閾値以下になると物体の不在を通知するように構成されてもよい（請求項１１）。
【００２８】
加えて、検出ステップは、該監視領域を設定する場合には、想定している該物体の面積を膨張させることにより該監視領域を設定するようにしてもよい（請求項１２）。
さらに、ゾーン分割ステップが、監視領域切り出しステップにて切り出された監視領域を物体の進入方向と垂直な方向に分割して複数のゾーンを生成するとともに、検出ステップにおいて物体の存在が検出された場合に、入力画像から監視のための監視領域を切り出す監視領域切り出しステップと、監視領域切り出しステップにて切り出された監視領域を物体の進入方向と垂直な方向に分割して複数のゾーンを生成する第１ゾーン生成ステップと、第１ゾーン生成ステップにて生成された複数のゾーン毎に輝度値の分散を計算する分散計算ステップと、分散計算ステップにて得られた分散を所定値と比較することにより複数のゾーンのそれぞれについて物体が存在する有物体ゾーンであるか又は物体が存在しない無物体ゾーンであるかを識別するゾーン識別ステップと、ゾーン識別ステップにて識別された有物体ゾーンの発生方向に基づき物体の移動方向を認識する移動方向認識ステップとをそなえて構成されてもよい（請求項１３）。
【００２９】
そして、ゾーン識別ステップが、分散が所定値以上のときは複数のゾーンを有物体ゾーンと識別するとともに分散が所定値以下のときは複数のゾーンを無物体ゾーンと識別する第１識別態様を用いるように構成することもでき（請求項１４）、分散の変動の大きさが所定値以上のときは複数のゾーンを有物体ゾーンと識別するとともに分散の変動の大きさが所定値以下のときは複数のゾーンを無物体ゾーンと識別する第２識別態様を用いることもでき（請求項１５）、その所定値を、過去の輝度値の分散についての平均値から生成するように構成してもよい（請求項１６）。
【００３０】
加えて、移動方向認識ステップが、第１識別態様又は第２識別態様のいずれかを用いて、物体の移動方向を認識するように構成することもできる（請求項１７）。
また、本発明の関連技術としての移動物体検出装置は、入力画像を保持する入力画像保持部と、入力画像保持部に接続され背景画像を保持する背景画像保持部と、入力画像保持部と背景画像保持部とに接続され入力画像と背景画像との差分を計算する背景差分計算部と、入力画像保持部に接続され、入力画像を複数のゾーン毎のデータ情報に分割し、入力画像における物体を検出するとともに物体の移動方向を決定する移動方向決定部と、背景差分計算部と移動方向決定部とに接続され、物体の存在と移動方向とを判定する統合判断部とをそなえて構成されたことを特徴としている。
【００３１】
この背景差分計算部は、入力画像保持部と背景画像保持部とに接続され、入力画像に関する第１単位ブロックと背景画像に関する第２単位ブロックとを比較して輝度分布の形状の変化がある動きブロックを抽出するブロック背景差分計算部と、ブロック背景差分計算部に接続され、抽出された動きブロックを囲む動き領域を設定し、動き領域にて入力画像の輝度値の分布形状と背景画像の輝度値の分布形状との違いを比較して、入力画像における物体を検出する動き領域内背景差分計算部とをそなえて構成されてもよい。
【００３２】
さらに、移動方向決定部は、複数のゾーンの分割に関する分割情報を保持出力するゾーン情報保持部と、ゾーン情報保持部と入力画像保持部とに接続され、ゾーン情報保持部から出力された分割情報により、入力画像保持部に保持された入力画像を複数のゾーン毎のデータ情報に分割し、複数のゾーン毎に輝度値の分散を計算する分散計算部と、複数のゾーンのそれぞれにて計算された過去の分散の履歴情報を保持出力する分散履歴管理部と、分散計算部と分散履歴管理部とに接続され、分散計算部にて計算された分散と分散履歴管理部から出力される履歴情報とに基づき物体を検出するとともに物体の移動方向を決定する分散判断部とをそなえて構成されてもよい。
【００３３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（Ａ）本発明の第１実施形態の説明
図１は、本発明の第１実施形態に係る移動物体検出装置のブロック図である。この図１に示す移動物体検出装置１０は、入力されたディジタル動画像データから動きの生じた領域を検出して物体の動きを自動的に抽出するものであって、入力画像取り出し部１１と、入力画像保持部１２と、背景画像保持部１３と、背景差分計算部１４と、統合判断部１６とをそなえて構成されている。
【００３４】
また、カメラ５０は、監視用のカメラであって、例えば駐車場に設置され、その駐車場に進入する車両や、その駐車場から退出する車両等を撮影するものである。そして、カメラ５０により撮影された動画像（入力画像）は、ディジタルデータに変換されて、移動物体検出装置１０に入力されるようになっている。また、実線は、データの流れを表し、点線は、データの流れを表すとともにデータを参照していることを意味する。
【００３５】
この図１に示す入力画像取り出し部１１は、カメラ５０にて撮影された動画像から監視領域に相当する部分を切り取って、入力画像として保持出力するものである。さらに、入力画像保持部１２は、入力画像取り出し部１１から出力される入力画像を保持するものであり、また、背景画像保持部１３は、入力画像保持部１２に接続され背景画像を保持するものである。
【００３６】
さらに、背景差分計算部１４は、入力画像保持部１２と背景画像保持部１３とに接続され、入力画像と背景画像との差分を計算するものであって、ブロック背景差分計算部１４ａと、動き領域内背景差分計算部１４ｂとをそなえて構成されている。
このブロック背景差分計算部１４ａは、入力画像保持部１２と背景画像保持部１３とに接続され、入力画像に関する単位ブロック２０と背景画像に関する単位ブロック２０とを比較して輝度分布の形状の変化がある動きブロック２１を抽出するものである。また、入力画像用の動きブロック及び背景画像用の動きブロックの位置情報とは、例えば、動きブロックのｘ座標，ｙ座標を意味する。
【００３７】
ここで、以下の説明で必要な用語について、図４（ｂ）を用いて説明する。図４（ｂ）は、大きな物体が１個進入した場合の監視領域を示す図であり、網がけされた部分が、移動物体を表している。この図４（ｂ）に示す監視領域２３は、動画像から切り出された一部分である。そして、動きブロック２１は、物体の存在が抽出された単位ブロックを表し、この図４（ｂ）では１２個検出されている。さらに、動き領域２２は、この動きブロック２１を囲む領域を表す。
【００３８】
そして、ブロック背景差分計算部１４ａ（図１参照）は、入力画像と背景画像との同一地点において対応する単位ブロック２０がそれぞれ有する複数の画素について輝度の分布形状を比較する。また、その比較方法は、例えば次の２種類の方法等がある。
まず、第１の方法は、２個の単位ブロック２０がそれぞれ有する複数の画素の輝度値を、それぞれ、ベクトルの要素とし、これら２つのベクトルが成すベクトル角度を計算し、そのベクトル角度が所定値以上になった場合に、動きが生じたと認識する方法である。ベクトル角度は、内積演算により得ることができる。
【００３９】
そして、第２の方法は、２個の単位ブロック２０がそれぞれ有する複数の画素の輝度値を、２つのベクトルの要素とし、これら２つのベクトルを正規化してから、２つのベクトル間の距離を測定し、その距離が所定値以上になった場合に、動きが生じたと認識する方法である。なお、比較方法は、これら２種類に限定されるものではなく、その他の方法を用いてもよい。
【００４０】
次に、ブロック背景差分計算部１４ａによる物体の検出は、相互に重なりを有するような単位ブロック２０に対して行なわている。図２は、ブロックをずらして配置する方法の概念図である。この図２に示す領域１００は、例えば８個の単位ブロック２０からなり、また、領域１００ａは、単位ブロック２０が領域１００と異なる形状で配置されたものである。すなわち、この領域１００において、ある単位ブロック２０と単位ブロック２０に隣接する単位ブロック２０とが相互に重なり合うように配置されると、領域１００ａのようになる。
【００４１】
また、図３は、重ねられたブロックと物体の稜線との配置図であり、図２と同一の符号を有するものは、同一のものを表している。この図３に示す領域１００ａにおいては、稜線１０１ａが、常に、各単位ブロック２０の矩形領域の中央部分に位置するようになっているので、単位ブロック２０内での輝度分布の変化を正確に検出でき、また、物体の移動が正確に検出される。さらに、単位ブロック２０の境界線と物体の稜線とがどのような位置関係にあっても、物体の移動を捕捉できるようになる。
【００４２】
また、動き領域内背景差分計算部１４ｂ（図１参照）は、ブロック背景差分計算部１４ａに接続され、抽出された動きブロック２１を囲む動き領域２２を設定し、この動き領域２２にて入力画像の輝度値の分布形状と背景画像の輝度値の分布形状との違いを比較して、入力画像における物体を検出するものである。
この比較も、上記のブロック背景差分計算部１４ａにおける比較と同様であって、２個の単位ブロック２０がそれぞれ生成する２つのベクトルが成すベクトル角度により判定する方法や、ベクトル間距離により判定する方法等がある。
【００４３】
さらに、統合判断部１６は、背景差分計算部１４に接続され、物体の存在と移動方向とを判定するものである。
また、これらのもので、入力画像保持部１２と背景画像保持部１３とは、それぞれ、例えばＲＡＭ(Random Access Memory) 等のメモリによりその機能が実現される。そして、それ以外のものは、図示を省略するが、例えばＣＰＵ(Central Processing Unit)及びメモリ等からなるソフトウェア処理によって、その機能が実現される。
【００４４】
図４（ａ）は、大きな物体が１個進入した場合の入力画像の模式図であり、この図４（ａ）に示す網がけされた部分は、進入した大きな物体を横からみたものである。また、領域１００ｂ，１００ｃは、それぞれ、動きが検出される領域である。
そして、入力画像は複数の単位ブロック２０（第１単位ブロック）に分割され（第１分割ステップ）、背景画像は複数の単位ブロック２０（第２単位ブロック）に分割され（第２分割ステップ）、そして、第１単位ブロックと第２単位ブロックとを比較して輝度分布の形状が異なる単位ブロック２０が動きブロック２１として抽出される（動きブロック抽出ステップ）。
【００４５】
図４（ｂ）は、大きな物体が１個進入した場合の監視領域２３を示す図であり、複数の動きブロック２１が抽出されている。さらに、抽出された動きブロック２１を囲む動き領域２２が設定され（動き領域抽出ステップ）、この動き領域２２内にて、入力画像の輝度値の分布と背景画像の輝度値の分布とが比較されて物体が検出されるのである（輝度比較ステップ）。
【００４６】
次に、小さな物体が２個進入した場合において、監視領域２３における動きブロック２１の違いは、図５（ａ），（ｂ）のようになる。図５（ａ）は、小さな物体が２個進入した場合の模式図であり、図５（ｂ）は、小さな物体が２個進入した場合の監視領域２３を示す図である。
続いて、動き領域２２内での輝度分布の違いを、１個の大きな物体が進入する場合と、２個の小さな物体が進入する場合とを対比して説明する。
【００４７】
まず、物体の数が１個の場合の輝度分布について、図６（ａ），（ｂ）を用いて説明する。図６（ａ）は背景画像の輝度分布図であり、図６（ｂ）は大きな物体が１個進入したときの入力画像の輝度分布図である。これらの図６（ａ），（ｂ）に示す輝度分布図は、それぞれ、動き領域２２内での分布を示すものであって、これら入力画像輝度分布の形状と背景画像輝度分布の形状とは大きく異なっている。
【００４８】
さらに、物体の数が２個の場合の輝度分布について、図７（ａ），（ｂ）を用いて説明する。図７（ａ）は、背景画像の輝度分布図であり、図７（ｂ）は、小さな物体が２個進入したときの入力画像の輝度分布図である。この図７（ｂ）に示すように、入力画像は移動物体が存在する２箇所の位置にて分布のピークを生じるが、その他の領域では、図７（ａ）に示す背景画像輝度分布とほぼ同一の分布形状となっている。
【００４９】
このように、動き領域２２内の輝度分布について、背景画像と入力画像とが比較されることによって、大きな物体が１個進入したのかあるいは小さな物体が２個進入したのかが区別されるようになる。
次に、動き領域２２において、物体を出現頻度により正確に検出する方法を図８（ａ）〜（ｃ）を用いて説明する。
【００５０】
図８（ａ）は、小さな物体が２個進入したときの入力画像の輝度分布図であり、２箇所の位置にて高いピークが現れており、その他の位置では、概ね輝度値Ｃが現れている。また、この２箇所のピークにおける輝度値は、それぞれ、他の部分の輝度値と大きく離れている。
そして、図８（ｂ）は、小さな物体が２個進入したときの入力画像の輝度値のヒストグラムである。この図８（ｂ）の横軸は、輝度値（輝度）であって、縦軸は、出現頻度であり、所定の輝度値を有する画素がどの程度出現するかが表示されており、輝度値Ｃにて、ピークが生じている。すなわち、物体の検出に際しては、動き領域２２にて、所定の輝度値を有する画素の出現頻度が計測される（出現頻度計測ステップ）。
【００５１】
そして、図８（ｂ）の輝度ヒストグラム曲線を基に、入力画像の輝度分布の中から、出現頻度の低いものが除去されるようになっており（除去ステップ）、この曲線の両端側の画素が除去される。また、この除去する数は、全体の数％であって、例えば、輝度ヒストグラムから輝度値の上位と下位との５％の範囲にある画素が除去される。さらに、図８（ｃ）は、処理後の入力画像の輝度分布図であるが、ピーク部分が除去されたので、背景に似た平坦な分布形状が得られる。
【００５２】
従って、この処理後の分布形状と、背景画像（図７（ａ）参照）の分布形状とが類似するので、入力画像輝度分布の形状と背景画像輝度分布の形状との違いに基づいて、入力画像中の移動する物体を検出する際に、大きな物体が１個進入した場合と、小さな物体が２個進入した場合とを区別することが容易となる。なお、ピークにおける輝度値が、他の背景部分の輝度値と近い値であった場合でも、除去される数が全体の数％であるので、大きな影響はない。
【００５３】
このように、入力画像と背景画像との類似性を比較することによって、大きな物体が１個進入したときと、小さな物体が２個進入したときとの区別が容易になり、また、正確な物体検出ができる。
そして、このような構成によって、移動物体の検出が行なわれる。まず、カメラ５０（図１参照）にて、例えば駐車場に進入する車両や人間が撮影され、撮影された動画像は、移動物体検出装置１０内の入力画像取り出し部１１によって、監視領域２３の部分が切り取られ、入力画像保持部１２に入力画像として保持される。
【００５４】
続いて、ブロック背景差分計算部１４ａは、単位ブロック２０内の各画素をベクトルの要素として、各ベクトルの各要素から平均値を引いてから、入力画像と背景画像とのベクトル距離を計測し、そのベクトル距離が所定値以上になると、輝度値の変化があり動きが生じたことを認識する。また、ブロック背景差分計算部１４ａは、この動き領域２２に関する情報を、動き領域内背景差分計算部１４ｂに入力する。例えば、動き領域２２を矩形に設定する場合は、動きが検出された複数の動きブロック２１のｘ座標及びｙ座標がそれぞれ、動き領域内背景差分計算部１４ｂに入力される。
【００５５】
次に、動き領域内背景差分計算部１４ｂにて、ブロック背景差分計算部１４ａから入力されたｘ座標とｙ座標とによって、動き領域２２が特定され、この動き領域２２における入力画像と背景画像とが比較される。そして、入力画像の輝度ヒストグラムが作成され、その輝度ヒストグラムのうち、輝度値の高い画素と輝度値の低い画素との例えば５%が除去されてから、分布形状が比較される。そして、比較された結果が、統合判断部１６へ入力されて、物体の存在と移動方向とが統合的に判定されるのである。
【００５６】
このように、物体の面積の大小に基づいて、物体の有無の判断ができ、正確な移動物体の検出が行なえる。
また、このように、移動物体の面積や移動物体の位置について分解能の高い
検出が行なえる。
そして、このようにして、照明の点灯，消灯及び照度切り替え等の環境変化があるところでも、大きい物体と複数の小さい物体との区別が容易になる。
【００５７】
（Ｂ）本発明の第２実施形態の説明
本実施形態では、監視領域を複数のゾーンに分割し、各ゾーン毎に分散を計算して物体の検出と物体の移動方向の検出との２つの検出機能を実現するようになっている。このうち、物体の検出は、上記の第１実施形態では、入力画像と背景画像との差分を取ることにより行なわれていたが、本実施形態では、入力画像から輝度値の分散を計算することによって行なわれる。また、移動方向の検出が、新たに追加された機能である。なお、以下の説明において、分散を分散値の意味で使用することがある。
【００５８】
図９は、本発明の第２実施形態に係る移動物体検出装置のブロック図である。この図９に示す移動物体検出装置１０ａは、入力されたディジタル動画像データから動きの生じた領域を検出して物体の動きを検出するものであって、入力画像取り出し部１１と、入力画像保持部１２と、移動方向決定部１５と、統合判断部１６とをそなえて構成されている。また、この図９において、第１実施形態にて説明したものと同一の符号を有するものは、特に断らない限り、同一のもの又は同様の機能を有するものであるので、更なる説明を省略する。なお、図９において、実線は、データの流れを表し、点線は、データの流れを表すとともにデータを参照していることを意味する。
【００５９】
ここで、移動方向決定部１５は、入力画像保持部１２に接続され、入力画像を複数のゾーン毎のデータ情報に分割し、入力画像における物体を検出するとともに物体の移動方向を決定するものであって、ゾーン情報保持部１５ｂと、分散計算部１５ａと、分散履歴管理部１５ｄと、分散判断部１５ｃとをそなえて構成されている。
【００６０】
ここで、ゾーン情報保持部１５ｂは、複数のゾーンの分割に関する分割情報（ゾーン情報）を保持出力するものであり、また、このゾーン情報は検出する物体の大きさ及び進入方向により決定されるようになっている。そして、分散計算部１５ａは、ゾーン情報保持部１５ｂと入力画像保持部１２とに接続され、ゾーン情報保持部１５ｂから出力されたゾーン情報により、入力画像保持部１２に保持された入力画像を複数のゾーン毎のデータ情報に分割し、複数のゾーン毎に輝度値の分散を計算するものである。
【００６１】
さらに、分散履歴管理部１５ｄは、複数のゾーンのそれぞれにおける過去の分散値の履歴情報を保持出力するものであり、時間的に最も近い『物体なし』状態のときの値が保持されている。この履歴情報とは、各ゾーン毎に計算された過去の分散に基づき生成された情報である。
そして、分散判断部１５ｃは、分散計算部１５ａと分散履歴管理部１５ｄとに接続され、分散計算部１５ａにて計算された分散値と分散履歴管理部１５ｄから出力される履歴情報とに基づき物体を検出するとともに物体の移動方向を決定するものである。さらに、分散判断部１５ｃは、所定値（あるいは、閾値）を、予め分散履歴管理部１５ｄから設定されたり、あるいは、時間的に最も近い『物体なし』状態のときの値を取り出すようになっている。また、この分散判断部１５ｃは、物体の移動を検出する際に、後述するように、物体の存在が検出された複数のゾーンの単調増加又は単調減少を検出するために、分散履歴管理部１５ｄの情報を参照するようになっている。
【００６２】
そして、統合判断部１６は、移動方向決定部１５とに接続され、物体の存在と移動方向とを判定するものである。また、これらのものは、例えばソフトウェア的な処理によって、その機能が実現されるようになっている。
そして、まず、入力画像から監視のための監視領域２３ａが切り出され（監視領域切り出しステップ）、切り出された監視領域２３ａが複数のゾーンに分割され（ゾーン分割ステップ）、そして、得られた複数のゾーン毎に輝度値の分散が計算され（分散計算ステップ）、さらに、得られた分散に基づき入力画像における物体の存在／不在の検出が行なわれる（検出ステップ）。以下、各段階における動作を説明する。
【００６３】
最初に、監視領域２３ａの切り出しについて説明する。図１０は、監視領域２３ａの模式図であって、この図１０に示す監視領域２３aは、移動物体１０４と背景との両方を含むように、入力画像から切り出される。そして、監視領域２３ａの面積が、移動物体１０４の面積の約２倍に設定されるようになっている。
この約２倍にする理由を、図１１（ａ）〜（ｆ）を用いて説明する。
【００６４】
図１１（ａ）〜（ｆ）は、それぞれ、面積比による分散値変化を説明するための図である。ここで、図１１（ｂ）は、移動物体１０４の面積の２倍の面積を有する監視領域２３ａの模式図であり、図１１（ａ）は、監視領域２３ａの面積が移動物体１０４の面積の２倍より小さい場合の模式図であり、図１１（ｃ）は、監視領域２３ａの面積が移動物体１０４の面積の２倍より大きい場合の模式図である。さらに、図１１（ｅ）は、移動物体１０４の面積の２倍の面積を有する監視領域２３ａの輝度分布図であり、図１１（ｄ）は、監視領域２３ａの面積が移動物体１０４の面積の２倍より小さい場合の輝度分布図であり、図１１（ｆ）は、監視領域２３ａの面積が移動物体１０４の面積の２倍より大きい場合の輝度分布図である。
【００６５】
そして、監視領域２３ａの面積の大きさが、移動物体１０４の面積のほぼ２倍のときに、最大の分散が得られるのである。換言すれば、図１１（ｅ）に示すように、移動物体１０４と背景画像の部分とがほぼ５０％（面積比が約０．５）ずつ監視領域２３ａ内に入るときに、分散値が最大となる。
このように、最大の分散値が得られる面積比にて物体の検出が行なわれるので、より信頼性が向上する。なお、この面積比を示す値“２”は、設計方針により、調整されて最適な値に設定される。
【００６６】
次に、得られた監視領域２３ａが、複数のゾーンに分割され、複数のゾーン毎に計算された分散の履歴情報が生成される（履歴情報生成ステップ）。
続いて、物体の検出が、履歴情報に基づく過去の分散値と、入力画像に基づく現在の分散とが比較されることにより行なわれる（比較ステップ）。ここで、第１実施形態のように、監視領域２３（図４等参照）における輝度値による物体検出が行なわれない理由を、図１２（ａ）〜（ｄ）を用いて説明する。
【００６７】
図１２（ａ）は、物体がない状態での入力画像の模式図であり、また、図１２（ｂ）は、物体が進入した状態での入力画像の模式図である。さらに、図１２（ｃ）は、物体がない状態での画素の輝度値の出現頻度を示す図であり、図１２（ｄ）は、物体が進入した状態での画素の輝度値の出現頻度を示す図である。ここで、図１２（ｃ），（ｄ）の横軸は、輝度値（輝度）であって、また、縦軸は出現頻度を表し、所定の輝度値がどの程度出現するかが表示されている。
【００６８】
そして、図１２（ａ）に示す画像の輝度は、一様なので、図１２（ｃ）に示す輝度ヒストグラムは一つのピークを有する。また、図１２（ｂ）に示す画像は、図１２（ｄ）に示す輝度ヒストグラムを有する。そして、この図１２（ｄ）に示す輝度ヒストグラムは、背景部分と物体部分とに対応する２個のピークを有する。換言すれば、図１２（ｃ）に示す輝度ヒストグラムは、輝度値のばらつきが小さく、図１２（ｄ）に示す輝度ヒストグラムは、輝度値のばらつきが大きい。
【００６９】
従って、物体が監視領域２３に進入する前と後とでは、監視領域２３内の輝度値のばらつきに大きな違いが生じるので、この輝度値の分散を計算することによって、物体の移動を検出できる。
この方式は、背景画像との差分をとる必要がないため、カメラ５０の揺れによる誤検出が発生しにくい。また、輝度値のばらつきは、周囲の明るさの変化によってあまり変わらないため、環境変化への耐性が高く、誤りの少ない検出が可能となる。
【００７０】
ところが、この分散の変化は、移動する物体の大きさのみならず、その輝度値によっても影響を受けるので、小さな物体と大きな物体とが、同一の分散値を有することがある。
図１３（ａ），（ｂ）は、それぞれ、２種類の物体の輝度分布図であり、具体的には、図１３（ａ）は、『輝度値が背景画像の輝度値と大きく離れた、面積の小さな物体』の輝度分布を示しており、また、図１３（ｂ）は、『輝度値が背景画像の輝度値と近似した、面積の大きな物体』の輝度分布を示している。これら図１３（ａ），（ｂ）に示す輝度分布はその形状が異なっているが、分散値は近似している。
【００７１】
従って、分散値だけでは両者を区別することができない。このため、分散を計算するために、複数のゾーンに分割するようにしている。
図１４（ａ），（ｂ）は、それぞれ、ゾーン毎に分散を計算する方法の説明図であり、これらの図１４（ａ），（ｂ）に示す輝度分布図は、横軸が、例えば６個のゾーン（１から６を付した箇所）に分割されている。
【００７２】
具体的には、図１４（ａ）に示す輝度分布は、各ゾーン毎に分散値が計算され、ゾーン１〜ゾーン３及びゾーン５，６においては、それぞれ、変化なしと検出され、また、ゾーン４においては、変化ありと検出される。同様に、図１４（ｂ）に示す輝度分布は、ゾーン１，６においては、それぞれ、変化なしと検出され、また、ゾーン２〜５においては、変化ありと検出される。すなわち、図１４（ａ）では、分散値の変化するゾーンは少ないが、図１４（ｂ）では、多くのゾーンにて分散値の変化が観測される。
【００７３】
このように、ゾーン分割することによって、『輝度値が背景と大きく離れた、面積の小さな物体』と、『輝度値が背景と近い、面積の大きな物体』とが、区別可能となる。
この検出においては、２種類の検出態様がある。第１の態様は、分散が第１スレッショルド値以上であるゾーンの数が所定数以上になると物体の存在を通知するとともに、分散が第２スレッショルド値以下であるゾーンの数が所定数以上になると物体の不在を通知するようにした態様である。
【００７４】
図１５は、物体がゾーンから出ていくときの閾値を決定する方法の一例を示す図であり、この図１５に示す分散値曲線は、時間毎に輝度値の分散が変動している。
また、第２の態様は、分散の増加値が第３スレッショルド値以上のゾーンの数が所定数以上になると物体の存在を通知するとともに、分散の減少値が第４スレッショルド値以上のゾーンの数が所定数以上になると物体の不在を通知するようにした態様である。物体の進入の際に、分散値がどの程度変動するかは、移動物体がどのような輝度分布を有するかによって決定されるので、観測者は、分散値がどの程度の値になるのかを予測できない。このため、第１の態様によると、第１スレッショルド値の設定が困難となるので、物体が監視領域２３ａへ進入したことを検出するときに、現在の分散値からの相対値により評価するのである。
【００７５】
また、図１６は、第２の態様での誤検出を防止するための説明図である。この図１６において、分散値の基準値からの変動を検出する際に、一時的な分散値の変動による誤検出が発生する場合がある。例えば、物体が監視領域２３ａ内にあってこの物体の退出が監視されている状況において、図１６に示すＰ１と付された箇所にて、外乱物体が監視領域２３ａを横切ったりして、一時的に分散値が増加することがある。また、分散値の減少は、常に監視されているので、短時間では見かけ上、分散値が減少したと判断される。
【００７６】
これにより、過去の分散値の平均値と現在の分散値とが比較されて、真の減少量が検出され、図１６のＰ２と付した箇所のみが検出され、上記のＰ１における誤検出が回避されるのである。
換言すれば、第１の態様は分散の絶対値をあるスレッショルド値と比較し、また、第２の態様は分散の相対値を他のスレッショルド値と比較するようになっている。なお、これらの第１〜第４スレッショルド値は、比較のために設定される値であって、これらの値は、設計方針により種々変更され、さらに、第１，第２スレッショルド値は、それぞれ、同一であっても別にしてもよい。同様に、第３，第４のスレッショルド値は、それぞれ、同一であっても別にしてもよい。
【００７７】
加えて、物体の進入の検出と退出の検出とを組み合わせるようにしてもよく、物体の進入を検出すべく分散が第１スレッショルド値以上になると物体の存在が通知されるとともに、物体の退出を検出すべく分散の減少値が第４スレッショルド値以上になると物体の不在が通知されるようにしたり、また、物体の進入を検出すべく分散の増加値が第３のスレッショルド値以上になると物体の存在が通知されるとともに、物体の退出を検出すべく分散が第２スレッショルド値以下になると物体の不在が通知されるようにしてもよい。
【００７８】
これにより、物体の進入及び退出についての検出をより容易に行なえるようになる。
次に、分散を用いた移動方向の検出について、説明する。この移動方向の検出も、上記の物体の検出と同様であって、まず、入力画像から監視のための監視領域２３ａが切り出される（監視領域切り出しステップ）。
【００７９】
図１７は、監視領域２３ａを分割して得られる複数のゾーンを示す図である。物体がこの図１７に示す右側から左側に向かって進入している場合において、切り出された監視領域２３ａは、その物体の進入方向と垂直な方向に分割されてＮ個（Ｎは整数）のゾーンＺ１，Ｚ２，…，ＺＮが生成される（第１ゾーン生成ステップ）。さらに、生成されたゾーンＺ１，Ｚ２，…，ＺＮ毎に輝度値の分散が計算される（分散計算ステップ）。そして、得られた分散が所定値と比較されることによりゾーンＺ１，Ｚ２，…，ＺＮのそれぞれについて物体が存在する有物体ゾーンであるか又は物体が存在しない無物体ゾーンであるかが識別され（ゾーン識別ステップ）、有物体ゾーンの発生方向に基づき物体の移動方向が認識されるのである（移動方向認識ステップ）。
【００８０】
図１８は、複数のゾーンにおける物体検出の説明図であり、この図１８に示すゾーンＺ１，Ｚ２，…，ＺＮの中で、物体が検出された物体検出ゾーンＺ１，Ｚ２，Ｚ３はそれぞれ、網がけされており、また、物体が検出されてない物体未検出ゾーンＺＮは網がけされていない。
ここで、物体検出ゾーン／物体未検出ゾーンの識別は、上述した物体の検出方法と同様であって、２種類の態様がある。すなわち、第１の識別態様は、分散が所定値以上のときはゾーンＺ１，Ｚ２，…，ＺＮを有物体ゾーンと識別するとともに分散が所定値以下のときはゾーンＺ１，Ｚ２，…，ＺＮを無物体ゾーンと識別するものである。加えて、第２の識別態様は、分散の変動の大きさが所定値以上のときはゾーンＺ１，Ｚ２，…，ＺＮを有物体ゾーンと識別するとともに分散の変動の大きさが所定値以下のときはゾーンＺ１，Ｚ２，…，ＺＮを無物体ゾーンと識別するものである。従って、分散の絶対値又は分散変動の相対値が所定値と比較されて識別がなされるようになっており、また、この所定値が、過去の輝度値の分散についての平均値から生成されている。
【００８１】
そして、図１８において、ゾーンＺ１，Ｚ２，Ｚ３において、連続して物体の存在が検出されると、これらゾーンＺ１，Ｚ２，Ｚ３は物体が進入したゾーンと判断され、これらのゾーンのうち、最小のゾーン番号を有する最小連続ゾーンＺ１と、最大のゾーン番号を有する最大連続ゾーンＺ３とが抽出される。ここで、最小連続ゾーンとは、物体が入ってくる方向のゾーンＺ１を意味し、また、最大連続ゾーンとは、物体が進入していく方向のゾーンＺ３を意味する。
【００８２】
さらに、第１識別態様又は第２識別態様のいずれかを用いて、物体の移動方向が認識される。例えば、物体が監視領域２３ａから出ていくことを検出する場合は、物体が進入する前と出ていった後とで画像が大きく変化することがない。そのため、事前に記録しておいた物体進入前の画像の分散と、現在の画像の分散とを比較することによって、物体が出ていくことを、高い確度で検出できる。なお、物体の監視領域２３ａへの進入を検出するときと、物体が監視領域２３ａから出ていくことを検出するときとで、２種類の識別態様を切り替えるようにもできる。
【００８３】
これにより、図９における信号の流れは、次のようになる。まず、入力画像取り出し部１１にて、カメラ５０で撮影された動画像から監視領域２３ａが切り取られ、この監視領域２３ａは、入力画像保持部１２に保持され、移動方向決定部１５にて、各ゾーン毎に分散値の計算が行なわれる。そして、ゾーン情報保持部１５ｂにて、ゾーンＺ１，Ｚ２，…，ＺＮの分割に関するゾーン情報が保持され、分散計算部１５ａにて、ゾーン情報保持部１５ｂから出力されたゾーン情報により、入力画像保持部１２に保持された入力画像がゾーンＺ１，Ｚ２，…，ＺＮ毎のデータ情報に分割され、複数のゾーン毎に輝度値の分散が計算される。
【００８４】
さらに、分散履歴管理部１５ｄにて、複数のゾーンのそれぞれの過去の分散の履歴情報が保持出力され、分散判断部１５ｃにて、分散計算部１５ａにて計算された分散値と分散履歴管理部１５ｄから出力される履歴情報とに基づき物体が検出されるとともに物体の移動方向が決定され、そして、統合判断部１６にて、物体の存在と移動方向とが統合的に判定されるのである。
【００８５】
そして、このような構成によって、物体の進入検出と進入した物体の退出検出とが行なわれる。図１９は、本発明の第２実施形態に係る物体の移動方向検出のフローチャートである。まず、複数の連続する連続ゾーンが求められ、それらの中から最も多くのゾーンが連続している最大連続ゾーンが求められ（ステップＡ１）、この最大連続ゾーンについて、最小ゾーン番号が１あるいは１に近い小さい数であるかが判定される（ステップＡ２）。ここで、最小ゾーン番号が１あるいは１に近い小さい数であるときは、Ｙｅｓルートがとられ、ステップＡ４において、最大ゾーン番号が単調に増加しているか否かが、分散履歴管理部１５ｄからの情報により判定される。そして、最大ゾーン番号が単調に増加しているときは、Ｙｅｓルートがとられ、ステップＡ６において、正しい動きと判定される。
【００８６】
なお、最小ゾーン番号が１あるいは１に近い小さい数でなければ（ステップＡ２）、Ｎｏルートがとられ、不正な動きとして処理され（ステップＡ３）、同様に、最大ゾーン番号が単調に増加していなければ（ステップＡ４）、Ｎｏルートがとられ、不正な動きとして処理される（ステップＡ５）。
このように、最小ゾーン番号が１あるいは１に近い小さい数であり、かつ、最大ゾーン番号が単調に増加しているときに、物体が進入していると判断され、それ以外は外乱物体と判定されるので、正確な検出が行なえる。
【００８７】
また、図２０は、本発明の第２実施形態に係る物体の退出時の移動方向検出のフローチャートであり、進入検出と同様に、分散判断部１５ｃにおいて、まず、複数の連続する連続ゾーンが求められ、それらの中から最も多くのゾーンが連続している最大連続ゾーンが求められる（ステップＢ１）。そして、この最大連続ゾーンについて、最小ゾーン番号が１あるいは１に近い小さい数であるかが判定される（ステップＢ２）。ここで、最小ゾーン番号が１あるいは１に近い小さい数であるときは、Ｙｅｓルートがとられ、ステップＢ４において、最大ゾーン番号が単調に減少しているか否かが、分散履歴管理部１５ｄからの情報により判定される。そして、最大ゾーン番号が単調に減少しているときは、Ｙｅｓルートがとられ、ステップＢ６において、正しい動きと判定される。
【００８８】
なお、最小ゾーン番号が１あるいは１に近い小さい数でなければ（ステップＢ２）、Ｎｏルートがとられ、不正な動きとして処理され（ステップＢ３）、同様に、最大ゾーン番号が単調に減少していなければ（ステップＢ４）、Ｎｏルートがとられ、不正な動きとして処理される（ステップＢ５）。
このように、最小ゾーン番号が１あるいは１に近い小さい数であり、かつ、最大ゾーン番号が単調に減少しているときに、物体が退出していると判断され、それ以外は外乱物体と判定されるので、物体の正確な検出が行なえる。
【００８９】
また、このように、物体の移動に伴う分散値の変動を捕捉することによって、正確な物体検出と物体の移動方向の検出とが行なえる。従って、このようにして、屋外等の環境変化がある条件下でも、移動物体のみを安定して検出できるようになる。
（Ｂ１）本発明の第２実施形態の変形例の説明
上記の第１実施形態の検出方法と第２実施形態の検出方法とを組み合わせて、さらに正確な移動物体の検出を行なえる。
【００９０】
図２１は、本発明の第２実施形態の変形例に係る移動物体検出装置のブロック図である。この図２１に示す移動物体検出装置１０ｂは、入力されたディジタル動画像データから動きの生じた領域を検出して物体の動きを自動的に抽出するものであって、入力画像取り出し部１１と、入力画像保持部１２と、背景画像保持部１３と、背景差分計算部１４と、移動方向決定部１５と、統合判断部１６とをそなえて構成されている。ここで、統合判断部１６は、背景差分計算部１４と移動方向決定部１５とに接続され、物体の存在と移動方向とを判定するものである。なお、この図２１において、第１実施形態，第２実施形態にて説明したものと同一の符号を有するものは、特に断らない限り、同一のもの又は同様の機能を有するものであるので、更なる説明を省略する。また、図２１において、実線は、データの流れを表し、点線は、データの流れを表すとともにデータを参照していることを意味する。
【００９１】
これにより、カメラ５０から、撮影された動画像が、移動物体検出装置１０ｂ内の入力画像取り出し部１１にて、入力画像が抽出され、背景差分計算部１４内のブロック背景差分計算部１４ａにて、単位ブロック２０内の各画素をベクトルの要素として、各ベクトルの各要素から平均値が差し引かれて、入力画像と背景画像とのベクトル距離が計測され、そのベクトル距離が所定値以上になると、輝度値の分布形状に変化があり、動きが生じたと認識される。
【００９２】
次に、動き領域内背景差分計算部１４ｂにて、抽出された動きブロック２１を囲む動き領域２２が設定され、動き領域２２にて入力画像の輝度値の分布形状と背景画像の輝度値の分布形状との違いが比較されて、入力画像における物体が検出される。
このように、背景差分を用いて、物体の検出が行なわれるのである。
【００９３】
一方、分散を用いて、移動する物体の検出と移動方向の検出とが、移動方向決定部１５にて行なわれる。すなわち、ゾーン情報保持部１５ｂにて、複数のゾーン分割に関する分割情報が保持出力され、分散計算部１５ａにて、ゾーン情報保持部１５ｂから出力された分割情報により、入力画像保持部１２に保持された入力画像がゾーンＺ１，Ｚ２，…，ＺＮ毎のデータ情報に分割され、ゾーンＺ１，Ｚ２，…，ＺＮ毎に輝度値の分散が計算される。
【００９４】
さらに、分散履歴管理部１５ｄにて、ゾーンＺ１，Ｚ２，…，ＺＮのそれぞれの過去の分散の履歴情報が保持出力され、分散判断部１５ｃにて、分散計算部１５ａにて計算された分散と分散履歴管理部１５ｄから出力される履歴情報とに基づき物体が検出されるとともに物体の移動方向が決定されるのである。
そして、このような構成によって、統合判断部１６にて、物体の存在と移動方向とが統合的に判定される。図２２は、本発明の第２実施形態の変形例に係る移動物体検出装置１０ｂの物体検出方法を示すフローチャートである。まず、ステップＣ１にて、監視領域２３（又は２３ａ）における動きブロック２１の占める割合が求められ、ここで、その割合が大きければ、割合・大と付されたルートがとられ、ステップＣ２において、動き領域２２内の輝度分布の比較が行なわれる。なお、ステップＣ１において、動きブロック２１の大きさの割合が小さければ、割合・小と付されたルートがとられ、ステップＣ３において、天候の変化や照明等の環境変化によるものと認識されて、物体検出は行なわれない。
【００９５】
さらに、ステップＣ２において、動き領域２２内の輝度分布について、入力画像輝度分布の形状と背景画像輝度分布の形状との違いに基づいて、動き領域２２の輝度と背景画像の輝度との差分が計算され、その差分が大きい場合は、背景との差・大ルートがとられ、ステップＣ４に進む一方、その差分が小さい場合は、背景との差・小ルートがとられ、ステップＣ５において、小さな移動物体が複数発生したと認識されて、物体検出は行なわれない。
【００９６】
次に、ステップＣ４において、分散値の変化について計算され、分散値の変化がある場合には、ありルートがとられ、ステップＣ６に進む一方、分散値の変化がない場合には、なしルートがとられ、ステップＣ７にて、カメラ５０の揺れと認識されて、物体検出は行なわれない。
加えて、ステップＣ６において、移動方向が確認され、移動方向に関する方向が正常であれば、正常ルートがとられ、ステップＣ８にて、物体の移動が検出される。なお、ステップＣ６において、移動方向に関する方向が正常でなければ、非正常ルートがとられ、ステップＣ９において、他の物体と認識されて、物体検出は行なわれない。
【００９７】
このように、入力画像輝度分布と背景画像輝度分布との差分を計算して、入力画像中の移動物体を検出する方法と、分散を用いた検出方法とを組み合わせて、移動物体の検出が行なわれるので、より正確な検出が行なえる。
また、分散を用いた移動物体検出は、背景との差分を取らないため、揺れの影響を受けにくく、カメラ５０の揺れによる誤検出を回避できるようになる。
【００９８】
さらに、このようにして、入力画像と背景画像との差分を計算する方法を用いているので、物体の位置及び物体の面積について分解能の高い検出が行なえるとともに、カメラ５０の揺れに強い、正確な物体検出が行なえる。
そして、このようにして、照明の点灯，消灯及び照度切り替え等の環境変化があるところや、大きい物体と複数の小さい物体との区別が容易になる。
【００９９】
（Ｃ）その他
本発明は上述した実施態様及びその変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、種々変形して実施することができる。
まず、第１実施形態にて動き領域２２の形状は、図４（ｂ）に示すように、楕円形にされていたが、この動き領域２２は、矩形（四角形）にすることもできる。
【０１００】
図２３は、動き領域２２が矩形である場合の監視領域２３ｂを示す図である。この図２３に示すように、動き領域２２が動きブロック２１を囲む矩形にとるようになっている。そして、動き領域２２を矩形に設定することにより、（ｘ，ｙ）座標を利用できるので、例えばプログラム処理において、検索を行なうための演算量を大幅に低減できる。
【０１０１】
また、第２実施形態において、監視領域２３ａから複数のゾーンに分割されていたが、分割を行なわないで、元の監視領域２３ａについて、分散を計算して、物体の検出と、物体の移動方向の検出を行なうようにしてもよい。
【０１０２】
【発明の効果】
以上詳述したように、本発明の移動物体検出方法によれば、入力画像が複数の第１単位ブロックに分割され（第１分割ステップ）、背景画像が複数の第２単位ブロックに分割され（第２分割ステップ）、第１単位ブロックと第２単位ブロックとが各単位ブロック毎に比較されて輝度分布の形状が異なる単位ブロックが動きブロックとして抽出され（動きブロック抽出ステップ）、抽出された動きブロックを囲む動き領域が設定され（動き領域抽出ステップ）、抽出された動き領域に対して、入力画像の輝度値の分布と背景画像の輝度値の分布とが比較されて検出対象となる物体が検出されるので（輝度比較ステップ）、照明の点灯，消灯及び照度切り替え等の環境変化がある中で、大きな物体と複数の小さな物体との区別が容易になり、物体の面積及び物体の位置による正確な判断ができる利点がある（請求項１）。
【０１０３】
また、この輝度比較ステップが、画素の出現頻度が計測され（出現頻度計測ステップ）、その入力画像輝度分布の中から、出現頻度の低いものが除去され（除去ステップ）、そして、単位ブロックが相互に重なり合うように構成してもよく、また、動き領域抽出ステップが、動き領域を動きブロックを囲む矩形にとるように構成されてもよく、このようにすれば、物体の面積の大小に基づいて、物体の有無の判断ができ、正確な移動物体の検出が行なえる利点がある（請求項２〜４）。
【０１０４】
また、本発明の移動物体検出方法によれば、上記輝度比較ステップにおける比較の結果、入力画像の輝度値の分布と背景画像の輝度値の分布との差が大きい場合に、入力画像から監視のための監視領域が切り出され（監視領域切り出しステップ）、切り出された監視領域が複数のゾーンに分割され（ゾーン分割ステップ）、その得られた複数のゾーン毎に輝度値の分散が計算され（分散計算ステップ）、分散計算ステップにて得られた分散に基づき入力画像における物体の存在／不在の検出が行なわれるので（検出ステップ）、分散値を計算することにより、カメラ等の揺れがある中や、屋外等での撮影のように環境変化のある条件下において、移動物体のみを安定して検出できる利点がある（請求項５）。
【０１０５】
加えて、その検出ステップが、複数のゾーン毎に計算された分散の履歴情報が生成され（履歴情報生成ステップ）、その生成された履歴情報に基づく過去の分散と、入力画像に基づく現在の分散とが比較されることにより物体の存在／不在の検出が行なわれる（比較ステップ）ように構成されてもよく、このようにすれば、背景差分を取らないのでカメラ等の揺れがあっても分散値は影響を受けず、従って、カメラ等の揺れに強い物体の検出が行なえる利点がある（請求項６〜１２）。
【０１０６】
また、本発明の移動物体検出方法は、上記ゾーン分割ステップにおいて、上記監視領域切り出しステップにて切り出された監視領域が物体の進入方向と垂直な方向に分割され複数のゾーンが生成されるとともに、上記検出ステップにおいて物体の存在が検出された場合に、入力画像から監視のための監視領域が切り出され（監視領域切り出しステップ）、その切り出された監視領域が物体の進入方向と垂直な方向に分割されて複数のゾーンが生成され（第１ゾーン生成ステップ）、その生成された複数のゾーン毎に輝度値の分散が計算され（分散計算ステップ）、得られた分散が所定値と比較されることにより複数のゾーンのそれぞれについて有物体ゾーン又は無物体ゾーンかが識別され（ゾーン識別ステップ）、識別された有物体ゾーンの発生方向に基づき物体の移動方向が認識される（移動方向認識ステップ）ように構成されているので、やはり、背景差分を取らないのでカメラ等の揺れがあっても分散値は影響を受けず、従って、カメラ等の揺れに強い物体の検出が行なえる利点がある（請求項１３）。
【０１０７】
さらに、複数のゾーンは、分散が所定値以上のときは有物体ゾーンと識別されるとともに分散が所定値以下のときは無物体ゾーンと識別されるように構成され、また、複数のゾーンが分散の変動の大きさが所定値以上のときは有物体ゾーンと識別されるとともに分散の変動の大きさが所定値以下のときは無物体ゾーンと識別されるように構成されても、所定値が、過去の輝度値の分散についての平均値から生成されるように構成されてもよい（請求項１４〜１７）。
【０１０８】
そして、本発明の関連技術としての移動物体検出装置によれば、入力画像を保持する入力画像保持部と、入力画像保持部に接続され背景画像を保持する背景画像保持部と、入力画像保持部と背景画像保持部とに接続され入力画像と背景画像との差分を計算する背景差分計算部と、入力画像保持部に接続され、入力画像を複数のゾーン毎のデータ情報に分割し、入力画像における物体を検出するとともに物体の移動方向を決定する移動方向決定部と、背景差分計算部と移動方向決定部とに接続され、物体の移動を検出する統合判断部とをそなえて構成されているので、動画像中の物体の位置及び面積を正確に検出できるとともに、カメラの揺れに対しても影響を受けずに正確に検出できる利点がある。
【０１０９】
さらに、背景差分計算部が、ブロック背景差分計算部と、動き領域内背景差分計算部とをそなえて構成されてもよく、また、移動方向決定部が、ゾーン情報保持部と、分散計算部と、分散履歴管理部と、分散判断部とをそなえて構成されてもよく、このようにすれば、分解能の高い検出が行なえるとともに、やはり、カメラ等の揺れに強い正確な物体検出が行なえる利点がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る移動物体検出装置のブロック図である。
【図２】ブロックをずらして配置する方法の概念図である。
【図３】重ねられたブロックと物体の稜線との配置図である。
【図４】（ａ）は大きな物体が１個進入した場合の入力画像の模式図であり、（ｂ）は大きな物体が１個進入した場合の監視領域を示す図である。
【図５】（ａ）は小さな物体が２個進入した場合の模式図であり、（ｂ）は小さな物体が２個進入した場合の監視領域を示す図である。
【図６】（ａ）は背景画像の輝度分布図であり、（ｂ）は大きな物体が１個進入したときの入力画像の輝度分布図である。
【図７】（ａ）は背景画像の輝度分布図であり、（ｂ）は小さな物体が２個進入したときの入力画像の輝度分布図である。
【図８】（ａ）は小さな物体が２個進入したときの入力画像の輝度分布図であり、（ｂ）は小さな物体が２個進入したときの入力画像の輝度値のヒストグラムであり、（ｃ）は処理後の入力画像の輝度分布図である。
【図９】本発明の第２実施形態に係る移動物体検出装置のブロック図である。
【図１０】監視領域の模式図である。
【図１１】（ａ）〜（ｆ）は、それぞれ、面積比による分散値変化を説明するための図である。
【図１２】（ａ）は物体がない状態での入力画像の模式図であり、（ｂ）は物体が進入した状態での入力画像の模式図であり、（ｃ）は物体がない状態での画素の輝度値の出現頻度を示す図であり、（ｄ）は物体が進入した状態での画素の輝度値の出現頻度を示す図である。
【図１３】（ａ），（ｂ）は、それぞれ、２種類の物体の輝度分布図である。
【図１４】（ａ），（ｂ）は、それぞれ、ゾーン毎に分散を計算する方法の説明図である。
【図１５】物体がゾーンから出ていくときの閾値を決定する方法の一例を示す図である。
【図１６】第２の態様での誤検出を防止するための説明図である。
【図１７】監視領域を分割して得られる複数のゾーンを示す図である。
【図１８】複数のゾーンにおける物体検出の説明図である。
【図１９】本発明の第２実施形態に係る物体の移動方向検出のフローチャートである。
【図２０】本発明の第２実施形態に係る物体の退出時の移動方向検出のフローチャートである。
【図２１】本発明の第２実施形態の変形例に係る移動物体検出装置のブロック図である。
【図２２】本発明の第２実施形態の変形例に係る移動物体検出装置の物体検出方法を示すフローチャートである。
【図２３】動き領域が矩形である場合の監視領域を示す図である。
【図２４】背景差分法の説明図である。
【図２５】（ａ）〜（ｃ）は、それぞれ、背景差分法を用いた場合の環境変化による誤検出を説明するための図である。
【図２６】（ａ），（ｂ）は、それぞれ、環境変化による輝度変化を説明するための図である。
【図２７】（ａ），（ｂ）は、それぞれ、移動物体の周辺部における輝度変化を説明するための図である。
【図２８】（ａ）は物体がない場合の入力画像の模式図であり、（ｂ）は物体が存在する場合の入力画像の模式図である。
【図２９】（ａ）は大きな物体が１個進入した場合の入力画像の模式図であり、（ｂ）は大きな物体が１個進入した場合の監視領域を上から見た図である。
【図３０】（ａ）は小さな物体が２個進入した場合の入力画像の模式図であり、（ｂ）は小さな物体が２個進入した場合の監視領域を上から見た図である。
【図３１】単位ブロックと物体の稜線との配置図である。
【図３２】カメラの揺れが生じたときの入力画像の模式図である。
【符号の説明】
移動物体検出装置 １０，１０ａ，１０ｂ
入力画像取り出し部 １１
入力画像保持部 １２
背景画像保持部 １３
背景差分計算部 １４
移動方向決定部 １５
統合判断部 １６
監視領域 ２３，２３ａ，２３ｂ
カメラ ５０
領域 １００，１００ａ，１００ｂ，１００ｃ
稜線 １０１
移動物体 １０４
ブロック背景差分計算部 １４ａ
動き領域内背景差分計算部 １４ｂ
分散計算部 １５ａ
ゾーン情報保持部 １５ｂ
分散判断部 １５ｃ
分散履歴管理部 １５ｄ

Claims (17)

1. 入力画像を複数の第１単位ブロックに分割する第１分割ステップと、
   背景画像を複数の第２単位ブロックに分割する第２分割ステップと、
   該第１単位ブロックと該第２単位ブロックとを各単位ブロック毎に比較して輝度分布の形状が異なる該単位ブロックを動きブロックとして抽出する動きブロック抽出ステップと、
   該動きブロック抽出ステップにて抽出された該動きブロックを囲む動き領域を設定する動き領域抽出ステップと、
   該動き領域抽出ステップにて抽出された該動き領域に対して、該入力画像の輝度値の分布と該背景画像の輝度値の分布とを比較して検出対象となる物体を検出する輝度比較ステップとをそなえて構成されたことを特徴とする、移動物体検出方法。
2. 該輝度比較ステップが、
   所定の輝度値を有する画素の出現頻度を計測する出現頻度計測ステップと、
   該入力画像の輝度値の分布の中から、該出現頻度の低いものを除去する除去ステップとをそなえて構成されたことを特徴とする、請求項１記載の移動物体検出方法。
3. 該第１分割ステップが、
   該第１単位ブロックと該第１単位ブロックに隣接する隣接単位ブロックとが相互に重なり合うように構成されるとともに、
   該第２分割ステップが、
   該第２単位ブロックと該第２単位ブロックに隣接する隣接単位ブロックとが相互に重なり合うように構成されたことを特徴とする、請求項１記載の移動物体検出方法。
4. 該動き領域抽出ステップが、
   該動き領域を該動きブロックを囲む矩形にとるように構成されたことを特徴とする、請求項１記載の移動物体検出方法。
5. 該輝度比較ステップにおける比較の結果、該入力画像の輝度値の分布と該背景画像の輝度値の分布との差が大きい場合に、該入力画像から監視のための監視領域を切り出す監視領域切り出しステップと、
   該監視領域切り出しステップにて切り出された該監視領域を複数のゾーンに分割するゾーン分割ステップと、
   該ゾーン分割ステップにて得られた該複数のゾーン毎に輝度値の分散を計算する分散計算ステップと、
   該分散計算ステップにて得られた該分散に基づき該入力画像における物体の存在／不在の検出を行なう検出ステップとをそなえて構成されたことを特徴とする、請求項１記載の移動物体検出方法。
6. 該検出ステップが、
   該複数のゾーン毎に計算された該分散の履歴情報を生成する履歴情報生成ステップと、
   該履歴情報生成ステップにて生成された該履歴情報に基づく過去の分散と、該入力画像に基づく現在の分散とを比較することにより該物体の存在／不在の検出を行なう比較ステップとをそなえて構成されたこと特徴とする、請求項５記載の移動物体検出方法。
7. 該検出ステップが、
   該分散が第１閾値以上である該ゾーンの数が所定数以上になると該物体の存在を通知するとともに、該分散が第２閾値以下である該ゾーンの数が所定数以上になると該物体の不在を通知するように構成されたことを特徴とする、請求項５又は請求項６記載の移動物体検出方法。
8. 該検出ステップが、
   該分散の増加値が第３閾値以上の該ゾーンの数が所定数以上になると該物体の存在を通知するとともに、該分散の減少値が第４閾値以上の該ゾーンの数が所定数以上になると該物体の不在を通知するように構成されたことを特徴とする、請求項５又は請求項６記載の移動物体検出方法。
9. 該検出ステップが、
   該分散の増加値と該分散の減少値とを計算すべく、その計算の基準を過去の該分散の平均値から生成するように構成されたことを特徴とする、請求項８記載の移動物体検出方法。
10. 該検出ステップが、
    該物体の進入を検出すべく該分散が第１閾値以上になると該物体の存在を通知するとともに、該物体の退出を検出すべく該分散の減少値が第４閾値以上になると該物体の不在を通知するように構成されたことを特徴とする、請求項５又は請求項６記載の移動物体検出方法。
11. 該検出ステップが、
    該物体の進入を検出すべく該分散の増加値が第３閾値以上になると該物体の存在を通知するとともに、該物体の退出を検出すべく該分散が第２閾値以下になると該物体の不在を通知するように構成されたことを特徴とする、請求項５又は請求項６記載の移動物体検出方法。
12. 該検出ステップが、
    該監視領域を設定する場合には、想定している該物体の面積を膨張させることにより該監視領域を設定することを特徴とする、請求項５又は請求項６記載の移動物体検出方法。
13. 該ゾーン分割ステップが、該監視領域切り出しステップにて切り出された該監視領域を該物体の進入方向と垂直な方向に分割して該複数のゾーンを生成するとともに、
    該検出ステップにおいて該物体の存在が検出された場合に、該分散計算ステップにて得られた該分散を所定値と比較することにより該複数のゾーンのそれぞれについて該物体が存在する有物体ゾーンであるか又は該物体が存在しない無物体ゾーンであるかを識別するゾーン識別ステップと、
    該ゾーン識別ステップにて識別された該有物体ゾーンの発生方向に基づき該物体の移動方向を認識する移動方向認識ステップとをそなえて構成されたことを特徴とする、請求項５記載の移動物体検出方法。
14. 該ゾーン識別ステップが、
    該分散が該所定値以上のときは該複数のゾーンを該有物体ゾーンと識別するとともに該分散が該所定値以下のときは該複数のゾーンを該無物体ゾーンと識別する第１識別態様を用いるように構成されたことを特徴とする、請求項１３記載の移動物体検出方法。
15. 該ゾーン識別ステップが、
    該分散の変動の大きさが所定値以上のときは該複数のゾーンを該有物体ゾーンと識別するとともに該分散の変動の大きさが該所定値以下のときは該複数のゾーンを該無物体ゾーンと識別する第２識別態様を用いるように構成されたことを特徴とする、請求項１３記載の移動物体検出方法。
16. 該ゾーン識別ステップが、
    該所定値を、過去の輝度値の分散についての平均値から生成するように構成されたこと特徴とする、請求項１５記載の移動物体検出方法。
17. 該移動方向認識ステップが、
    該第１識別態様又は該第２識別態様のいずれかを用いて、該物体の移動方向を認識するように構成されたことを特徴とする、請求項１４〜１６のいずれか一項記載の移動物体検出方法。

Images