JPWO2006030633A1 - 物体検出装置 - Google Patents

Abstract

物体検出装置は、画像中の輝度変化を算出する輝度変化算出部（１０３）と、複数の画像から計測された三次元情報を用いて立体物を検出する立体物検出部（１０５）と、立体物検出結果と輝度変化算出結果とを参照して、移動物体候補領域および停止物体候補領域を抽出する物体候補抽出部（１０６）と、候補領域が物体であるか否かを判定する物体判定部（１０７）とを備える。このように、物体検出装置は、立体物として検出された領域内の輝度変化を参照して、検出された立体物が移動物体か停止物体かを判定する。したがって、背景差分処理を用いなくても、画像中の停止物体を精度良く検出することができる。

Description

本発明は、監視空間を撮像した画像から画像認識により物体を検出する物体検出装置に関する。

画像中の物体を検出する従来技術として、フレーム間差分や背景差分という方法が知られている。例えば、図１０に示されるようなブロック図で構成された物体検出装置において、カメラ１０１１は、物体および背景を撮影し、Ａ／Ｄ変換部１０１２は、カメラ１０１１から取り込んだ画像のアナログ信号をデジタル信号に変換する。

現入力画像蓄積部１０１３は、Ａ／Ｄ変換部１０１２から送信される現在の画像、すなわち、現画像入力を蓄積する。前入力画像蓄積部１０１４は、現入力画像蓄積部１０１３から送信される現入力画像より前のフレームの画像、すなわち、前入力画像を蓄積する。背景更新部１０１５は、所定の背景更新手順によって背景を更新する。背景画像蓄積部１０１６は、背景更新部１０１５において作成された背景画像を蓄積する。

さらに、時間差分二値化部１０１７は、現入力画像蓄積部１０１３から送信された現入力画像と、前入力画像蓄積部１０１４から送信された前入力画像との差を取り、すなわち、差分処理を行う。時間差分二値化部１０１７は、所定の閾値を用いて、差分処理が行われた画像信号を１又は０に二値化する。背景差分二値化部１０１８は、現入力画像蓄積部１０１３から送信された現入力画像と、背景画像蓄積部１０１６から送信された背景画像との差分処理を行う。背景差分二値化部１０１８は、所定の閾値を用いて、差分処理が行われた画像信号を１又は０に二値化する。

移動物体領域画像抽出部１０１９は、全画像領域において移動している物体により占められる領域だけを抽出する。移動物体領域画像蓄積部１０２０は、移動物体領域抽出部１０１９の画像を二値化して、二値画像を保存する。また、停止物体領域画像抽出部１０２１は、全画像領域において停止している物体により占められる領域だけを抽出する。停止物体領域画像蓄積部１０２２は、停止物体領域抽出部１０２１の画像を二値化して、二値画像を保存する。

さらに、検出結果判定部１０２３は、移動物体領域画像蓄積部１０２０から送信された移動物体領域画像、および、停止物体領域画像蓄積部１０２２から送信された停止物体領域画像に基づいて、検出された停止物体が誤りであるか否かを判定する。停止物体領域判定画像蓄積部１０２４は、検出結果判定部１０２３の判定結果を停止物体領域に付加した画像データである二次元の画像を蓄積する。最後に、事象検知部１０２５は、検出結果判定部１０２３の判定結果を受けて、カメラ１０１１の撮像範囲内の事象を所定の手順によって検知する。

このように、従来技術は、フレーム差分と背景差分を組み合わせることにより、移動物体および停止物体を両方とも検出している。また、従来技術は、検出した結果から、物体が存在しない領域のみの背景画像を更新している。このような従来技術は、特開２００２−１５０２９５号公報（第２−８頁、第１図）に開示されている。

しかしながら、従来の物体検出方法においては、背景差分を用いて停止物体を検出している。そのため、物体検出結果に誤りがあると背景が正しく更新されず、このことがその後の検知結果に影響を及ぼしてしまうという問題があった。

本発明は、上記背景の下でなされたものである。本発明の目的は、背景差分を用いなくても精度よく停止物体を検出することのできる物体検出装置を提供することにある。

本発明の一態様は、物体検出装置である。この物体検出装置は、所定の監視空間を撮像する複数の撮像部と、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部と、記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部と、複数の撮像部により撮像された複数の画像から三次元情報を算出する三次元情報算出部と、三次元情報算出部により算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部と、立体物検出部により検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する物体候補抽出部と、を備えている。

また、本発明の一態様は物体検出システムである。この物体検出システムは、上述の物体検出装置と、物体検出装置が物体を検出した時の画像、および、検出された物体の諸元情報のうち少なくとも一つを記憶する記憶装置と、を備えている。

本発明の一態様は、物体検出方法である。この物体検出方法は、複数の撮像部で所定の監視空間を撮像し、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶し、記憶されている過去の画像と現在の画像との輝度の変化量を算出し、複数の撮像部により撮像された画像から三次元情報を算出し、三次元情報をもとに監視空間内の物体を検出し、検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい部分を停止物体候補として抽出する。

以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図１は、本発明の第１の実施の形態における物体検出装置のブロック図 図２は、本発明の第１の実施の形態におけるステレオ画像処理による三次元情報計測方法を説明するための図 図３は、本発明の第１の実施の形態における画像の類似性の評価方法を説明するための図 図４は、本発明の第１の実施の形態における立体物の検出方法を説明するための図 図５は、本発明の第１の実施の形態におけるラベリング処理を説明するための図 図６は、本発明の第１の実施の形態における物体候補抽出方法を説明するための図 図７は、本発明の第２の実施の形態における物体検出装置のブロック図 図８は、本発明の第３の実施の形態における物体検出装置のブロック図 図９は、本発明の第４の実施の形態における物体検出システムのブロック図 図１０は、従来の物体検出装置のブロック図

符号の説明

１０１ 撮像部
１０２ 画像記憶部
１０３ 輝度変化算出部
１０４ 三次元情報算出部
１０５ 立体物検出部
１０６ 物体候補抽出部
１０７ 物体判定部
１０８ 位置変化算出部
１０９ 物体検出部
３０１ 左画像
３０２ 右画像
３０３、３０４ ブロック
３０５ 探索範囲
４０１ 物体
４０２ 基準時刻の三次元情報
４０３ 現在の三次元情報
５０１ 立体物領域
５０２ ラベル番号
５０３ ラベリング結果
６０１ 移動物体
６０２ 停止物体
６０３ 物体情報
６０４ 差分情報
６０５ 移動物体候補
６０６ 停止物体候補
７０１ 物体分割部
７０２ 物体候補抽出部
８０１ 候補領域記憶部
８０２ 候補領域統合部
９０１ 物体検出装置
９０２ 記憶装置

以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

本発明の物体検出装置は、所定の監視空間を撮像する複数の撮像部と、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部と、記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部と、複数の撮像部により撮像された複数の画像から三次元情報を算出する三次元情報算出部と、三次元情報算出部により算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部と、立体物検出部により検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する物体候補抽出部と、を備えている。この構成により、背景差分処理を用いなくても、停止物体を精度良く検出することができる。

この物体検出装置は、物体候補の領域が所定の閾値より大きければ物体候補の領域が物体であると判定する物体判定部と、移動物体であると判定された物体についてのみ位置の変化を算出する位置変化算出部と、所定の動作をした物体のみを検出する物体検出部と、を備えてよい。この構成により物体検出を好適に行える。

この物体検出装置は、三次元情報をもとに検出された物体に対応する画像上領域を輝度変化の大きい部分と小さい部分とに分割する物体分割部を備えてよい。この構成により、移動物体と停止物体を分離することができ、移動物体を精度よく検出することができる。

この物体検出装置は、停止物体候補の領域を記憶する候補領域記憶部と、連続する所定の時間の間に記憶された停止物体候補の領域を統合して統合領域を作成する候補領域統合部と、統合領域の大きさが所定の閾値より大きければ統合領域を停止物体として検出する物体判定部と、を備えてよい。この構成により、停止物体の特徴を捉えやすくなり、停止物体を精度良く検出することができる。

また、本発明の物体検出システムは、上述の物体検出装置と、物体検出装置が物体を検出した時の画像、および、検出された物体の諸元情報のうち少なくとも一つを記憶する記憶装置と、を備えている。この構成により、所定の動作をした物体を検出し、当該物体の情報を記憶することができる。

また、本発明の物体検出方法は、複数の撮像部で所定の監視空間を撮像し、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶し、記憶されている過去の画像と現在の画像との輝度の変化量を算出し、複数の撮像部により撮像された画像から三次元情報を算出し、三次元情報をもとに監視空間内の物体を検出し、検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する。この方法により、背景差分処理を用いなくても、停止物体を精度良く検出することができる。

この物体検出方法は、物体候補の領域が所定の閾値より大きければ物体候補の領域を物体として検出し、移動物体であると判定された物体についてのみ位置の変化を算出し、所定の動作をした物体のみを検出してよい。この方法により物体検出を好適に行える。

この物体検出方法は、三次元情報をもとに検出された物体に対応する画像上領域を輝度変化の大きい部分と小さい部分とに分割して、移動物体候補および停止物体候補を検出してよい。この方法により、移動物体と停止物体を分離することができ、移動物体を精度よく検出することができる。

この物体検出方法は、停止物体候補の領域を記憶し、連続する所定の時間の間に記憶された停止物体候補の領域を統合して統合領域を作成し、統合領域の大きさが所定の閾値より大きければ統合領域を停止物体として検出してよい。この方法により、停止物体の特徴を捉えやすくなり、停止物体を精度良く検出することができる。

上述のように、本発明は、背景差分処理を用いなくても停止物体を検出することができる技術を提供できる。

以下、本発明の実施の形態の物体検出装置について、図面を用いて説明する。

本発明の第１の実施の形態の物体検出装置を図１に示す。

図１において、本発明の実施の形態の物体検出装置は、所定の空間を撮像する複数の撮像部１０１と、複数の撮像部１０１で撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部１０２と、画像記憶部１０２に記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部１０３と、複数の撮像部１０１で撮像された複数の画像から三次元情報を計測する三次元情報算出部１０４と、三次元情報算出部１０４で算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部１０５と、立体物検出部１０５で検出された物体の情報、および、輝度変化算出部１０３で算出された輝度の変化量にもとづいて、移動物体候補および停止物体（静止物体）候補を抽出する物体候補抽出部１０６と、物体候補抽出部１０６によって抽出された候補領域が所定の閾値より大きければ候補領域が物体であると判定する物体判定部１０７と、移動物体であると判定された物体についてのみ位置変化を算出する位置変化算出部１０８と、所定の動作をした物体のみを検出する物体検出部１０９とを有する。

図１において、撮像部１０１は、ＣＣＤ等の撮像素子を備えたカメラで構成されている。そして、複数の撮像部１０１でステレオカメラが構成されている。また、画像処理関連の各種要素は、コンピュータで構成される。各ブロックの機能は、ソフトウエアで実現されてもよい。また、コンピュータはカメラに備えられていてもよい。

以上のように構成された物体検出装置について、その動作を説明する。
まず、複数の撮像部１０１が所定の撮像空間を撮像し、画像記憶部１０２が逐次画像を記憶していく。記憶される画像は、複数の撮像部１０１から得られる複数の画像のうちの少なくとも１つでよい。そして、輝度変化算出部１０３は、画像記憶部１０２に記憶されている過去の画像と現在の画像の輝度変化量を算出する。輝度変化量としては、例えば、輝度の差分値Ｄｉｆｆ（Ｘ，Ｙ）が算出される。過去の画像をＩＭＧ０（Ｘ，Ｙ）とし、現在の画像をＩＭＧ１（Ｘ，Ｙ）とすれば、差分値Ｄｉｆｆ（Ｘ，Ｙ）は、下記式で表される。
Ｄｉｆｆ（Ｘ，Ｙ）＝ＩＭＧ１（Ｘ，Ｙ）−ＩＭＧ０（Ｘ，Ｙ）
なお、輝度変化量は画素の単位で算出される。あるいは、複数の画素をまとめた領域の単位で、輝度変化量が算出されてもよい。また、差分でなくて正規化相関値が用いられてもよい。

差分値Ｄｉｆｆ（Ｘ，Ｙ）は、所定の閾値ＤＴＨと比較される。
Ｄｉｆｆ（Ｘ，Ｙ）≧ＤＴＨ
上式が満たされれば、画素に差分が有るとみなされる。そして、差分情報ＳＢＮ（Ｘ，Ｙ）が、下記の通り設定される。
ＳＢＮ（Ｘ，Ｙ）＝１
そうでなければ、差分情報ＳＢＮ（Ｘ，Ｙ）が、下記の通り設定される。
ＳＢＮ（Ｘ，Ｙ）＝０

次に、三次元情報算出部１０４は、複数の撮像部１０１で得られた複数の画像からステレオ画像処理により三次元情報を算出する。

ここで、ステレオ画像処理によって三次元情報を計測する方法について、図２を用いて説明する。図２では、実空間座標系を表わす座標としてｘ，ｙ，ｚが用いられており、カメラ座標系を表す座標としてＸ，Ｙが用いられている。２台の撮像部を区別するために、左カメラの撮像面上の座標としてＸＬ，ＹＬが用いられ、右カメラの撮像面上の座標としてＸＲ，ＹＲが用いられている。ｘ軸とＸＬ軸とＸＲ軸は平行である。また、ｙ軸とＹＬ軸とＹＲ軸は平行でありる。さらに、ｚ軸と２台の撮像部の光軸とは平行である。実空間座標系の原点Ｏが、左カメラの投影中心と右カメラの投影中心の中点に設定されている。投影中心間の距離は２ａで表わされる。また、投影中心と画像面との間の距離（焦点距離）は、ｆで表わされている。

実空間内の点ｐ（ｘ，ｙ，ｚ）が、左画像面上の点ＰＬ（ＸＬ，ＹＬ）、右画像面上の点ＰＲ（ＸＲ，ＹＲ）にそれぞれ結像したとする。ステレオ画像処理による三次元計測は、一方の画像面（ここでは左画像面）を基準とする。その基準画像面上にある点ＰＬに対応する点が、もう一方の画像面から見つけ出される。そして、三角測量の原理に基づいて、点ｐの空間座標（ｘ，ｙ，ｚ）が求められる。ここでは、２台のカメラの光軸が互いに平行かつ同一平面上に載るように設定されているので、ＹＲ＝ＹＬである。

そして、画像面上の座標と実空間上の座標との関係は、下式の通りになる。
ｘ＝ａ（ＸＬ＋ＸＲ）／（ＸＬ−ＸＲ）
ｙ＝２ａＹＬ／（ＸＬ−ＸＲ）
ｚ＝２ａｆ／（ＸＬ−ＸＲ）
ここで、ｄ＝ＸＬ−ＸＲは、視差と呼ばれる。

したがって、下式が得られる。
ＸＬ＝（ｘ＋ａ）ｆ／ｚ
ＸＲ＝（ｘ−ａ）ｆ／ｚ
ＹＬ＝ＹＲ＝ｙｆ／ｚ
したがって、下記の関係がある。
ＸＬ＞ＸＲ、かつ、ＹＬ＝ＹＲ

これは、一方の画像面上の１点ＰＬが他方の画像面上の点ＰＲに対応しており、点ＰＲが点ＰＬと同じ走査線上に存在し、かつ、ＸＬ＞ＸＲの範囲に点ＰＲが存在することを表わす。したがって、一方の画像面上の１点に対応した他方の画像面上の点は、対応点が存在する可能性のある直線（同一走査線）上に沿った小領域における画像の類似性を調べることにより、見出すことができる。

次に、類似性の評価方法について説明する。一例として、実吉ほか「三次元画像認識技術を用いた運転支援システム」、自動車技術会学術講演会前刷集９２４、ｐｐ．１６９−１７２（１９９２−１０）に記載された方法について、図３を用いて説明する。この方法は、左画像を基準として用い、左画像３０１をブロック３０３に分割する。ブロック３０３は分割の単位であり、ブロック３０３のサイズは、ｎ×ｍ画素である。そして、この方法は、分割されたブロックごとに右画像３００２中より対応する領域を探索し、視差ｄを求める。この方法は、対応領域決定のための類似度評価式として、下式を用いる。
Ｃ＝Σ｜Ｌｉ−Ｒｉ｜
ここで、Ｌｉ、Ｒｉは、各々左ブロック３０３、右ブロック３０４内のｉ番目の画素における輝度を表わしている。探索範囲３０５にわたって、右ブロック３０４を１画素ずつ移動しながら、類似度評価値Ｃが計算される。類似度評価値Ｃが最小となる位置が、対応領域として決定される。このような類似度評価が、左画像３０１のブロック毎に行われる。これによって、左画像３０１の全ブロックの三次元情報を求めることができる。三次元情報は、視差、あるいは、前述の式により変換した距離ｚ等である。

以上のように、ステレオ画像処理によって監視空間の三次元情報を計測することができる。なお、ステレオ画像処理による三次元計測方法としては、上述の方法以外にも様々な方法が提案されている。本発明は、上述の三次元計測方法に限定されるものではない。

立体物検出部１０５は、三次元情報算出部１０４により算出された三次元情報をもとに監視空間内の立体物を検出する。立体物検出方法は、例えば、基準時刻の三次元情報と現在の三次元情報を比較し、変化があった部分を立体物として検出する。図４を用いて、立体物の検出方法を説明する。

基準時刻の三次元情報４０２をＺ０（Ｘ，Ｙ）とする。基準時刻の三次元情報４０２として、立体物が存在しない状態の時刻の情報が選択される。以降の時刻において、撮像空間内に物体４０１が出現し、三次元情報４０３がＺ１（Ｘ，Ｙ）となったとする。このとき、物体４０１に相当する領域では三次元情報が変化する。この変化量が算出される。所定の閾値ＺＴＨより変化量が大きければ、物体が出現したとみなされる。すなわち、下式が満たされれば、座標（Ｘ，Ｙ）の位置に立体物が出現したと判定することができる。
Ｚ０（Ｘ，Ｙ）−Ｚ１（Ｘ，Ｙ）≧ＺＴＨ
そして、立体物があると判定されれば、物体情報ＯＢＪ（Ｘ，Ｙ）が下記の通り設定される。
ＯＢＪ（Ｘ，Ｙ）＝１
そうでなければ、物体情報ＯＢＪ（Ｘ，Ｙ）が下記の通り設定される。
ＯＢＪ（Ｘ，Ｙ）＝０
そして、立体物として判定された領域に対してラベリング処理が行われ、立体物がかたまりとして検出される。図５を用いてラベリング処理を説明する。

ラベリング処理は、上下左右４方向の近傍に隣接する領域を用いる（または、斜め方向を含めた８方向の近傍の領域でもよい）。隣接する領域が立体物領域５０１であれば、同じラベル番号５０２が当該領域に付与される。画像全体対してラベリング処理が行われる。これにより、立体物領域のかたまり毎に、同じラベル番号が付与される。ラベリング結果５０３のように、立体物領域がかたまりとして検出される。すなわち、ＯＢＪ（Ｘ，Ｙ）＝１であり、かつ、同じラベル番号が付与された領域が、１つのかたまりとみなされる。

さらに、物体候補抽出部１０６は、立体物検出部１０５により検出された物体に相当する画像上領域での輝度変化に基づいて移動物体候補および停止物体候補を抽出する。物体候補抽出部１０６は、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する。図６を用いて、候補領域の算出方法の一例を説明する。この例では、撮像空間内に移動物体６０１と停止物体６０２が混在しており、これらの物体が検出される。

物体候補抽出部１０６は、立体物検出部１０５において検出された立体物のかたまりの各々に含まれる、「差分ありの画素数Ｓ１」および「差分なしの画素数Ｓ０」を算出する。ここで、一つの立体物の領域では、物体情報６０３はＯＢＪ（Ｘ，Ｙ）＝１であり、かつ、同じラベル番号が付与されている。画素数Ｓ１は、一つの立体物の領域内で、ＳＢＮ（Ｘ，Ｙ）として下記の値を持つ画素の数である。ＳＢＮ（Ｘ，Ｙ）は差分情報６０４であり、輝度変化算出部１０３で算出されている。
ＳＢＮ（Ｘ，Ｙ）＝１
また、画素数Ｓ１は、一つの立体物の領域内で、ＳＢＮ（Ｘ，Ｙ）として下記の値を持つ画素の数である。
ＳＢＮ（Ｘ，Ｙ）＝０
そして、下式の関係があれば、当該物体は移動物体候補６０５となる。
Ｓ１＞Ｓ０
また、下式の関係があれば、当該物体は停止物体候補６０６となる。
Ｓ１＜Ｓ０

物体判定部１０７は、物体候補抽出部１０６で抽出された物体候補領域が所定の大きさより大きければ、物体候補領域が物体であると判定する。物体判定部１０７は、ＯＢＪ（Ｘ，Ｙ）＝１であり、かつ、同じラベル番号が付与された領域の画素数を数える。この画素数は、物体候補の大きさとして数えられる。この画素数が所定の閾値ＲＴＨより大きくなれば、物体判定部１０７は、物体候補領域が物体であると判定する。ここで、所定の閾値ＲＴＨは、物体として検出される対象の種類に応じて決定される。

さらに、位置変化算出部１０８は、移動物体であると判定された物体についてのみ位置の変化を算出する。

位置変化算出部１０８は、物体判定部１０７により移動物体である判定された物体について算出処理を行う。位置変化算出部１０８は、過去の時刻に検出された移動物体の位置から現在の位置への変化を求める。位置変化算出方法としては、たとえば、移動物体領域の重心位置の変化を算出する方法がある。

位置変化算出部１０８は、過去の時刻に検出されたすべての移動物体領域の重心位置を算出し、また、現在検出されたすべての移動物体領域の重心位置を算出する。そして、位置変化算出部１０８は、過去の時刻に検出された各物体の重心位置が、最も近い位置にある現在の重心位置に移動したと判定する。また、ある物体の現在の重心位置が、過去の重心位置から移動した位置として判定されなかったとする。この場合、該当する物体は、新規出現物体とみなされる。以降、その物体の位置変化が算出される。位置算出部１０８が、ある物体の過去の重心位置から移動した現在の位置を判定できなかったとする。この場合、該当する物体が消滅した物体であるとみなされ、位置変化の算出が打ち切られる。

最後に、物体検出部１０９は、所定の動作をした物体のみを検出する。たとえば、画像中の所定の領域内に移動した物体を検出する場合、物体検出部１０９は、位置変化算出部１０８により算出された位置変化を参照する。物体検出部１０９は、ある物体の重心位置が過去の時刻に所定の領域外にあり、その物体の現在の重心位置が所定の領域内に移動したときに、当該物体を検出する。

このように、本発明の第１の実施の形態の物体検出装置は、三次元情報に基づき立体物を検出し、フレーム差分による輝度変化の算出をして、立体物が移動物体か停止物体（静止物体）かを判定する。これにより、背景差分処理を用いなくても、停止物体を精度良く検出することができる。

次に、本発明の第２の実施の形態の物体検出装置を図７に示す。

図７において、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は、第１の実施の形態と同じである。さらに、図７の物体検出装置は、物体分割部７０１と物体候補抽出部７０２を備える。物体分割部７０１は、立体物検出部１０５によって検出された物体に相当する画像上領域を、輝度変化の大きい部分と小さい部分とに分割する。物体候補抽出部７０２は、物体分割部７０１によって分割された各領域を移動物体候補または停止物体候補として抽出する。

以上のように構成された物体検出装置について、その動作を説明する。

まず、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５は、第１の実施の形態と同じ動作を行い、差分情報ＳＢＮ（Ｘ，Ｙ）と物体情報ＯＢＪ（Ｘ，Ｙ）を算出する。

物体分割部７０１は、立体物検出部１０５によって検出された物体に相当する画像上領域を、輝度変化が大きい部分と輝度変化が小さい部分とに分割する。物体分割部７０１は、物体領域内で輝度変化が大きい部分として、下記の条件に該当する座標（Ｘ，Ｙ）を抽出する。
ＯＢＪ（Ｘ，Ｙ）＝１ かつ ＳＢＮ（Ｘ，Ｙ）＝１
このとき、物体輝度変化情報Ｋ（Ｘ，Ｙ）が下記のように設定される。
Ｋ（Ｘ，Ｙ）＝１
一方、物体領域内で輝度変化の小さい部分としては、下記の条件に該当する座標が抽出される。
ＯＢＪ（Ｘ，Ｙ）＝１ かつ ＳＢＮ（Ｘ，Ｙ）＝０
このとき、物体輝度変化情報Ｋ（Ｘ，Ｙ）は下記のように設定される。
Ｋ（Ｘ，Ｙ）＝２

そして、物体候補抽出部７０２は、物体輝度変化情報Ｋ（Ｘ，Ｙ）をもとに、物体領域から移動物体候補領域および停止物体領域を抽出する。

このとき、物体輝度変化情報Ｋ（Ｘ，Ｙ）についてラベリング処理が行われる。そして、移動物体候補領域および停止物体領域の各領域が、かたまりとして抽出される。すなわち、移動物体候補は、Ｋ（Ｘ，Ｙ）＝１で、かつ、同じラベル番号が付与された領域である。このような領域が移動物体候補として抽出される。また、停止物体候補は、Ｋ（Ｘ，Ｙ）＝０で、かつ、同じラベル番号が付与された領域である。このような領域が停止物体候補として抽出される。

さらに、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は第１の実施の形態と同じ動作を行い、物体を検出する。

以上のように、本発明の第２の実施の形態の物体検出装置は、三次元情報に基づき立体物の領域を検出し、さらに、立体物の領域を輝度差分の有無に応じて分割しており、これにより、移動物体と停止物体を分離することができ、移動物体を精度よく検出できる。

次に、本発明の第３の実施の形態の物体検出装置を図８に示す。

図８において、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５、物体候補抽出部１０６、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は、第１の実施の形態と同じである。さらに、図８の物体検出装置は、物体候補抽出部１０６によって抽出された物体候補領域を記憶しておく候補領域記憶部８０１と、連続する所定の時間（時刻）の間に候補領域記憶部８０１に記憶されている候補領域を統合する候補領域統合部８０２とを備えている。

以上のように構成された物体検出装置について、その動作を説明する。

まず、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５、物体候補抽出部１０６は第１の実施の形態と同じ動作を行い、移動物体領域と停止物体領域をそれぞれ抽出する。

候補領域記憶部８０１は、物体候補抽出部１０６で抽出された物体候補の領域を記憶していく。

そして、候補領域統合部８０２は、連続する所定の時間の間に候補領域記憶部８０１に記憶された停止物体の情報を統合することにより、統合候補領域を作成する。

停止物体の情報を統合する方法としては、たとえば領域を加算していく方法がある。連続する所定の時間の間に、候補領域を抽出する処理を“Ｎ回”、行ったとする。この場合、作成される停止物体領域情報の数が、“Ｎ”になる。これら“Ｎ”の領域情報が加算されていく。

候補領域統合部８０２は、“Ｎ個”の停止物体領域情報において、各座標（Ｘ，Ｙ）の判定回数Ｍを算出する。判定回数Ｍは、各座標が停止物体領域であると判定された回数である。回数Ｍが所定の閾値ＭＴＨより大きければ、候補領域統合部８０２は、当該座標（Ｘ，Ｙ）を停止物体領域として出力する。回数Ｍが閾値ＭＴＨより小さければ、候補領域統合部８０２は、当該座標（Ｘ，Ｙ）を物体領域として扱わない。

また、候補領域統合部８０２は、移動物体領域については処理を行わず、物体候補抽出部１０６から出力される領域情報をそのまま出力する。候補領域統合部８０２は、このような処理を行った結果を、最終的に統合候補領域として出力する。

さらに、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は第１の実施の形態と同じ動作を行い、物体を検出する。

以上のように本発明の第３の実施の形態の物体検出装置は、候補領域情報を加算していくことにより、特徴が現れにくい停止物体をも精度良く検出できる。

次に、本発明の第４の実施の形態の物体検出システムを図９に示す。

図９において、本実施の形態の物体検出システムは、第１ないし第３のいずれかの実施の形態と同様の動作をする物体検出装置９０１と、物体検出装置９０１が物体を検出した時に物体の情報を記憶する記憶装置９０２とを備えている。

物体検出装置９０１は、第１の実施の形態と同様の動作により、所定の動作をした物体のみを検出する。

そして、記憶装置９０２は、物体検出装置９０１が物体を検出した時に、当該時刻の画像、および、検出した物体の諸元情報のうち少なくとも１つを記憶する。記憶装置９０２は、当該時刻の画像としては、撮像部１０１から出力された画像を記憶する。また、記憶装置９０２は、物体の諸元情報としては、物体検出部１０９により検出された物体の領域情報を記憶する。

以上のように本発明の第４の実施の形態の物体検出システムによれば、所定の動作をした物体を検出し、当該物体の情報を記憶することができる。

以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

以上のように、本発明にかかる物体検出装置は、背景差分処理を用いなくても停止物体を精度良く検出することができるという効果を有し、例えば、監視空間を撮像した画像から物体を検出する画像認識装置として有用である。

本発明は、監視空間を撮像した画像から画像認識により物体を検出する物体検出装置に関する。

画像中の物体を検出する従来技術として、フレーム間差分や背景差分という方法が知られている。例えば、図１０に示されるようなブロック図で構成された物体検出装置において、カメラ１０１１は、物体および背景を撮影し、Ａ／Ｄ変換部１０１２は、カメラ１０１１から取り込んだ画像のアナログ信号をデジタル信号に変換する。

現入力画像蓄積部１０１３は、Ａ／Ｄ変換部１０１２から送信される現在の画像、すなわち、現画像入力を蓄積する。前入力画像蓄積部１０１４は、現入力画像蓄積部１０１３から送信される現入力画像より前のフレームの画像、すなわち、前入力画像を蓄積する。背景更新部１０１５は、所定の背景更新手順によって背景を更新する。背景画像蓄積部１０１６は、背景更新部１０１５において作成された背景画像を蓄積する。

さらに、時間差分二値化部１０１７は、現入力画像蓄積部１０１３から送信された現入力画像と、前入力画像蓄積部１０１４から送信された前入力画像との差を取り、すなわち、差分処理を行う。時間差分二値化部１０１７は、所定の閾値を用いて、差分処理が行われた画像信号を１又は０に二値化する。背景差分二値化部１０１８は、現入力画像蓄積部１０１３から送信された現入力画像と、背景画像蓄積部１０１６から送信された背景 画像との差分処理を行う。背景差分二値化部１０１８は、所定の閾値を用いて、差分処理が行われた画像信号を１又は０に二値化する。

移動物体領域画像抽出部１０１９は、全画像領域において移動している物体により占められる領域だけを抽出する。移動物体領域画像蓄積部１０２０は、移動物体領域抽出部１０１９の画像を二値化して、二値画像を保存する。また、停止物体領域画像抽出部１０２１は、全画像領域において停止している物体により占められる領域だけを抽出する。停止物体領域画像蓄積部１０２２は、停止物体領域抽出部１０２１の画像を二値化して、二値画像を保存する。

さらに、検出結果判定部１０２３は、移動物体領域画像蓄積部１０２０から送信された移動物体領域画像、および、停止物体領域画像蓄積部１０２２から送信された停止物体領域画像に基づいて、検出された停止物体が誤りであるか否かを判定する。停止物体領域判定画像蓄積部１０２４は、検出結果判定部１０２３の判定結果を停止物体領域に付加した画像データである二次元の画像を蓄積する。最後に、事象検知部１０２５は、検出結 果判定部１０２３の判定結果を受けて、カメラ１０１１の撮像範囲内の事象を所定の手順によって検知する。

このように、従来技術は、フレーム差分と背景差分を組み合わせることにより、移動物体および停止物体を両方とも検出している。また、従来技術は、検出した結果から、物体が存在しない領域のみの背景画像を更新している。このような従来技術は、特開２００２−１５０２９５号公報（第２−８頁、第１図）に開示されている。

しかしながら、従来の物体検出方法においては、背景差分を用いて停止物体を検出している。そのため、物体検出結果に誤りがあると背景が正しく更新されず、このことがその後の検知結果に影響を及ぼしてしまうという問題があった。

本発明は、上記背景の下でなされたものである。本発明の目的は、背景差分を用いなくても精度よく停止物体を検出することのできる物体検出装置を提供することにある。

本発明の一態様は、物体検出装置である。この物体検出装置は、所定の監視空間を撮像する複数の撮像部と、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部と、記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部と、複数の撮像部により撮像された複数の画像から三次元情報を算出する三次元情報算出部と、三次元情報算出部により算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部と、立体物検出部により検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する物体候補抽出部と、を備えている。

また、本発明の一態様は物体検出システムである。この物体検出システムは、上述の物体検出装置と、物体検出装置が物体を検出した時の画像、および、検出された物体の諸元情報のうち少なくとも一つを記憶する記憶装置と、を備えている。

本発明の一態様は、物体検出方法である。この物体検出方法は、複数の撮像部で所定の監視空間を撮像し、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶し、記憶されている過去の画像と現在の画像との輝度の変化量を算出し、複数の撮像部により撮像された画像から三次元情報を算出し、三次元情報をもとに監視空間内の物体を検出し、検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい部分を停止物体候補として抽出する。

以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

本発明の物体検出装置は、所定の監視空間を撮像する複数の撮像部と、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部と、記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部と、複数の撮像部により撮像された複数の画像から三次元情報を算出する三次元情報算出部と、三次元情報算出部により算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部と、立体物検出部により検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する物体候補抽出部と、を備えている。この構成により、背景差分処理を用いなくても、停止物体を精度良く検出することができる。

この物体検出装置は、物体候補の領域が所定の閾値より大きければ物体候補の領域が物体であると判定する物体判定部と、移動物体であると判定された物体についてのみ位置の変化を算出する位置変化算出部と、所定の動作をした物体のみを検出する物体検出部と、を備えてよい。この構成により物体検出を好適に行える。

この物体検出装置は、三次元情報をもとに検出された物体に対応する画像上領域を輝度変化の大きい部分と小さい部分とに分割する物体分割部を備えてよい。この構成により、移動物体と停止物体を分離することができ、移動物体を精度よく検出することができる。

この物体検出装置は、停止物体候補の領域を記憶する候補領域記憶部と、連続する所定の時間の間に記憶された停止物体候補の領域を統合して統合領域を作成する候補領域統合部と、統合領域の大きさが所定の閾値より大きければ統合領域を停止物体として検出する物体判定部と、を備えてよい。この構成により、停止物体の特徴を捉えやすくなり、停止物体を精度良く検出することができる。

また、本発明の物体検出システムは、上述の物体検出装置と、物体検出装置が物体を検出した時の画像、および、検出された物体の諸元情報のうち少なくとも一つを記憶する記憶装置と、を備えている。この構成により、所定の動作をした物体を検出し、当該物体の情報を記憶することができる。

また、本発明の物体検出方法は、複数の撮像部で所定の監視空間を撮像し、複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶し、記憶されている過去の画像と現在の画像との輝度の変化量を算出し、複数の撮像部により撮像された画像から三次元情報を算出し、三次元情報をもとに監視空間内の物体を検出し、検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する。この方法により、背景差分処理を用いなくても、停止物体を精度良く検出することができる。

この物体検出方法は、物体候補の領域が所定の閾値より大きければ物体候補の領域を物体として検出し、移動物体であると判定された物体についてのみ位置の変化を算出し、所定の動作をした物体のみを検出してよい。この方法により物体検出を好適に行える。

この物体検出方法は、三次元情報をもとに検出された物体に対応する画像上領域を輝度変化の大きい部分と小さい部分とに分割して、移動物体候補および停止物体候補を検出してよい。この方法により、移動物体と停止物体を分離することができ、移動物体を精度よく検出することができる。

この物体検出方法は、停止物体候補の領域を記憶し、連続する所定の時間の間に記憶された停止物体候補の領域を統合して統合領域を作成し、統合領域の大きさが所定の閾値より大きければ統合領域を停止物体として検出してよい。この方法により、停止物体の特徴を捉えやすくなり、停止物体を精度良く検出することができる。

上述のように、本発明は、背景差分処理を用いなくても停止物体を検出することができる技術を提供できる。

以下、本発明の実施の形態の物体検出装置について、図面を用いて説明する。

本発明の第１の実施の形態の物体検出装置を図１に示す。

図１において、本発明の実施の形態の物体検出装置は、所定の空間を撮像する複数の撮像部１０１と、複数の撮像部１０１で撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部１０２と、画像記憶部１０２に記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部１０３と、複数の撮像部１０１で撮像された複数の画像から三次元情報を計測する三次元情報算出部１０４と、三次元情報算出部１０４で算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部１０５と、立体物検出部１０５で検出された物体の情報、および、輝度変化算出部１０３で算出された輝度の変化量にもとづいて、移動物体候補および停止物体（静止物体）候補を抽出する物体候補抽出部１０６と、物体候補抽出部１０６によって抽出された候補領域が所定の閾値より大きければ候補領域が物体であると判定する物体判定部１０７と、移動物体であると判定された物体についてのみ位置変化を算出する位置変化算出部１０８と、所定の動作をした物体のみを検出する物体検出部１０９とを有する。

図１において、撮像部１０１は、ＣＣＤ等の撮像素子を備えたカメラで構成されている。そして、複数の撮像部１０１でステレオカメラが構成されている。また、画像処理関連の各種要素は、コンピュータで構成される。各ブロックの機能は、ソフトウエアで実現されてもよい。また、コンピュータはカメラに備えられていてもよい。

以上のように構成された物体検出装置について、その動作を説明する。
まず、複数の撮像部１０１が所定の撮像空間を撮像し、画像記憶部１０２が逐次画像を記憶していく。記憶される画像は、複数の撮像部１０１から得られる複数の画像のうちの少なくとも１つでよい。そして、輝度変化算出部１０３は、画像記憶部１０２に記憶されている過去の画像と現在の画像の輝度変化量を算出する。輝度変化量としては、例えば、輝度の差分値Ｄｉｆｆ（Ｘ，Ｙ）が算出される。過去の画像をＩＭＧ０（Ｘ，Ｙ）とし、現在の画像をＩＭＧ１（Ｘ，Ｙ）とすれば、差分値Ｄｉｆｆ（Ｘ，Ｙ）は、下記式で表される。
Ｄｉｆｆ（Ｘ，Ｙ）＝ＩＭＧ１（Ｘ，Ｙ）−ＩＭＧ０（Ｘ，Ｙ）
なお、輝度変化量は画素の単位で算出される。あるいは、複数の画素をまとめた領域の単位で、輝度変化量が算出されてもよい。また、差分でなくて正規化相関値が用いられてもよい。

差分値Ｄｉｆｆ（Ｘ，Ｙ）は、所定の閾値ＤＴＨと比較される。
Ｄｉｆｆ（Ｘ，Ｙ）≧ＤＴＨ
上式が満たされれば、画素に差分が有るとみなされる。そして、差分情報ＳＢＮ（Ｘ，Ｙ）が、下記の通り設定される。
ＳＢＮ（Ｘ，Ｙ）＝１
そうでなければ、差分情報ＳＢＮ（Ｘ，Ｙ）が、下記の通り設定される。
ＳＢＮ（Ｘ，Ｙ）＝０

次に、三次元情報算出部１０４は、複数の撮像部１０１で得られた複数の画像からステレオ画像処理により三次元情報を算出する。

ここで、ステレオ画像処理によって三次元情報を計測する方法について、図２を用いて説明する。図２では、実空間座標系を表わす座標としてｘ，ｙ，ｚが用いられており、カメラ座標系を表す座標としてＸ，Ｙが用いられている。２台の撮像部を区別するために、左カメラの撮像面上の座標としてＸＬ，ＹＬが用いられ、右カメラの撮像面上の座標としてＸＲ，ＹＲが用いられている。ｘ軸とＸＬ軸とＸＲ軸は平行である。また、ｙ軸とＹＬ軸とＹＲ軸は平行でありる。さらに、ｚ軸と２台の撮像部の光軸とは平行である。実空間座標系の原点Ｏが、左カメラの投影中心と右カメラの投影中心の中点に設定されている。投影中心間の距離は２ａで表わされる。また、投影中心と画像面との間の距離（焦点距離）は、ｆで表わされている。

実空間内の点ｐ（ｘ，ｙ，ｚ）が、左画像面上の点ＰＬ（ＸＬ，ＹＬ）、右画像面上の点ＰＲ（ＸＲ，ＹＲ）にそれぞれ結像したとする。ステレオ画像処理による三次元計測は、一方の画像面（ここでは左画像面）を基準とする。その基準画像面上にある点ＰＬに対応する点が、もう一方の画像面から見つけ出される。そして、三角測量の原理に基づいて、点ｐの空間座標（ｘ，ｙ，ｚ）が求められる。ここでは、２台のカメラの光軸が互いに平行かつ同一平面上に載るように設定されているので、ＹＲ＝ＹＬである。

そして、画像面上の座標と実空間上の座標との関係は、下式の通りになる。
ｘ＝ａ（ＸＬ＋ＸＲ）／（ＸＬ−ＸＲ）
ｙ＝２ａＹＬ／（ＸＬ−ＸＲ）
ｚ＝２ａｆ／（ＸＬ−ＸＲ）
ここで、ｄ＝ＸＬ−ＸＲは、視差と呼ばれる。

したがって、下式が得られる。
ＸＬ＝（ｘ＋ａ）ｆ／ｚ
ＸＲ＝（ｘ−ａ）ｆ／ｚ
ＹＬ＝ＹＲ＝ｙｆ／ｚ
したがって、下記の関係がある。
ＸＬ＞ＸＲ、かつ、ＹＬ＝ＹＲ

これは、一方の画像面上の１点ＰＬが他方の画像面上の点ＰＲに対応しており、点ＰＲが点ＰＬと同じ走査線上に存在し、かつ、ＸＬ＞ＸＲの範囲に点ＰＲが存在することを表わす。したがって、一方の画像面上の１点に対応した他方の画像面上の点は、対応点が存在する可能性のある直線（同一走査線）上に沿った小領域における画像の類似性を調べることにより、見出すことができる。

次に、類似性の評価方法について説明する。一例として、実吉ほか「三次元画像認識技術を用いた運転支援システム」、自動車技術会学術講演会前刷集９２４、ｐｐ．１６９−１７２（１９９２−１０）に記載された方法について、図３を用いて説明する。この方法は、左画像を基準として用い、左画像３０１をブロック３０３に分割する。ブロック３０３は分割の単位であり、ブロック３０３のサイズは、ｎ×ｍ画素である。そして、この方法は、分割されたブロックごとに右画像３００２中より対応する領域を探索し、視差ｄを求める。この方法は、対応領域決定のための類似度評価式として、下式を用いる。
Ｃ＝Σ｜Ｌi−Ｒi｜
ここで、Ｌi、Ｒiは、各々左ブロック３０３、右ブロック３０４内のi番目の画素における輝度を表わしている。探索範囲３０５にわたって、右ブロック３０４を１画素ずつ移動しながら、類似度評価値Ｃが計算される。類似度評価値Ｃが最小となる位置が、対応領域として決定される。このような類似度評価が、左画像３０１のブロック毎に行われる。これによって、左画像３０１の全ブロックの三次元情報を求めることができる。三次元情報は、視差、あるいは、前述の式により変換した距離ｚ等である。

以上のように、ステレオ画像処理によって監視空間の三次元情報を計測することができる。なお、ステレオ画像処理による三次元計測方法としては、上述の方法以外にも様々な方法が提案されている。本発明は、上述の三次元計測方法に限定されるものではない。

立体物検出部１０５は、三次元情報算出部１０４により算出された三次元情報をもとに監視空間内の立体物を検出する。立体物検出方法は、例えば、基準時刻の三次元情報と現在の三次元情報を比較し、変化があった部分を立体物として検出する。図４を用いて、立体物の検出方法を説明する。

基準時刻の三次元情報４０２をＺ０（Ｘ，Ｙ）とする。基準時刻の三次元情報４０２として、立体物が存在しない状態の時刻の情報が選択される。以降の時刻において、撮像空間内に物体４０１が出現し、三次元情報４０３がＺ１（Ｘ，Ｙ）となったとする。このとき、物体４０１に相当する領域では三次元情報が変化する。この変化量が算出される。所定の閾値ＺＴＨより変化量が大きければ、物体が出現したとみなされる。すなわち、下式が満たされれば、座標（Ｘ，Ｙ）の位置に立体物が出現したと判定することができる。
Ｚ０（Ｘ，Ｙ）−Ｚ１（Ｘ，Ｙ）≧ＺＴＨ
そして、立体物があると判定されれば、物体情報ＯＢＪ（Ｘ，Ｙ）が下記の通り設定される。
ＯＢＪ（Ｘ，Ｙ）＝１
そうでなければ、物体情報ＯＢＪ（Ｘ，Ｙ）が下記の通り設定される。
ＯＢＪ（Ｘ，Ｙ）＝０
そして、立体物として判定された領域に対してラベリング処理が行われ、立体物がかたまりとして検出される。図５を用いてラベリング処理を説明する。

ラベリング処理は、上下左右４方向の近傍に隣接する領域を用いる（または、斜め方向を含めた８方向の近傍の領域でもよい）。隣接する領域が立体物領域５０１であれば、同じラベル番号５０２が当該領域に付与される。画像全体対してラベリング処理が行われる。これにより、立体物領域のかたまり毎に、同じラベル番号が付与される。ラベリング結果５０３のように、立体物領域がかたまりとして検出される。すなわち、ＯＢＪ（Ｘ，Ｙ）＝１であり、かつ、同じラベル番号が付与された領域が、１つのかたまりとみなされる。

さらに、物体候補抽出部１０６は、立体物検出部１０５により検出された物体に相当する画像上領域での輝度変化に基づいて移動物体候補および停止物体候補を抽出する。物体候補抽出部１０６は、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する。図６を用いて、候補領域の算出方法の一例を説明する。この例では、撮像空間内に移動物体６０１と停止物体６０２が混在しており、これらの物体が検出される。

物体候補抽出部１０６は、立体物検出部１０５において検出された立体物のかたまりの各々に含まれる、「差分ありの画素数Ｓ１」および「差分なしの画素数Ｓ０」を算出する。ここで、一つの立体物の領域では、物体情報６０３はＯＢＪ（Ｘ，Ｙ）＝１であり、かつ、同じラベル番号が付与されている。画素数Ｓ１は、一つの立体物の領域内で、ＳＢＮ（Ｘ，Ｙ）として下記の値を持つ画素の数である。ＳＢＮ（Ｘ，Ｙ）は差分情報６０４であり、輝度変化算出部１０３で算出されている。
ＳＢＮ（Ｘ，Ｙ）＝１
また、画素数Ｓ１は、一つの立体物の領域内で、ＳＢＮ（Ｘ，Ｙ）として下記の値を持つ画素の数である。
ＳＢＮ（Ｘ，Ｙ）＝０
そして、下式の関係があれば、当該物体は移動物体候補６０５となる。
Ｓ１＞Ｓ０
また、下式の関係があれば、当該物体は停止物体候補６０６となる。
Ｓ１＜Ｓ０

物体判定部１０７は、物体候補抽出部１０６で抽出された物体候補領域が所定の大きさより大きければ、物体候補領域が物体であると判定する。物体判定部１０７は、ＯＢＪ（Ｘ，Ｙ）＝１であり、かつ、同じラベル番号が付与された領域の画素数を数える。この画素数は、物体候補の大きさとして数えられる。この画素数が所定の閾値ＲＴＨより大きくなれば、物体判定部１０７は、物体候補領域が物体であると判定する。ここで、所定の閾値ＲＴＨは、物体として検出される対象の種類に応じて決定される。

さらに、位置変化算出部１０８は、移動物体であると判定された物体についてのみ位置の変化を算出する。

位置変化算出部１０８は、物体判定部１０７により移動物体である判定された物体について算出処理を行う。位置変化算出部１０８は、過去の時刻に検出された移動物体の位置から現在の位置への変化を求める。位置変化算出方法としては、たとえば、移動物体領域の重心位置の変化を算出する方法がある。

位置変化算出部１０８は、過去の時刻に検出されたすべての移動物体領域の重心位置を算出し、また、現在検出されたすべての移動物体領域の重心位置を算出する。そして、位置変化算出部１０８は、過去の時刻に検出された各物体の重心位置が、最も近い位置にある現在の重心位置に移動したと判定する。また、ある物体の現在の重心位置が、過去の重心位置から移動した位置として判定されなかったとする。この場合、該当する物体は、新規出現物体とみなされる。以降、その物体の位置変化が算出される。位置算出部１０８が、ある物体の過去の重心位置から移動した現在の位置を判定できなかったとする。この場合、該当する物体が消滅した物体であるとみなされ、位置変化の算出が打ち切られる。

最後に、物体検出部１０９は、所定の動作をした物体のみを検出する。たとえば、画像中の所定の領域内に移動した物体を検出する場合、物体検出部１０９は、位置変化算出部１０８により算出された位置変化を参照する。物体検出部１０９は、ある物体の重心位置が過去の時刻に所定の領域外にあり、その物体の現在の重心位置が所定の領域内に移動したときに、当該物体を検出する。

このように、本発明の第１の実施の形態の物体検出装置は、三次元情報に基づき立体物を検出し、フレーム差分による輝度変化の算出をして、立体物が移動物体か停止物体（静止物体）かを判定する。これにより、背景差分処理を用いなくても、停止物体を精度良く検出することができる。

次に、本発明の第２の実施の形態の物体検出装置を図７に示す。

図７において、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は、第１の実施の形態と同じである。さらに、図７の物体検出装置は、物体分割部７０１と物体候補抽出部７０２を備える。物体分割部７０１は、立体物検出部１０５によって検出された物体に相当する画像上領域を、輝度変化の大きい部分と小さい部分とに分割する。物体候補抽出部７０２は、物体分割部７０１によって分割された各領域を移動物体候補または停止物体候補として抽出する。

以上のように構成された物体検出装置について、その動作を説明する。

まず、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５は、第１の実施の形態と同じ動作を行い、差分情報ＳＢＮ（Ｘ，Ｙ）と物体情報ＯＢＪ（Ｘ，Ｙ）を算出する。

物体分割部７０１は、立体物検出部１０５によって検出された物体に相当する画像上領域を、輝度変化が大きい部分と輝度変化が小さい部分とに分割する。物体分割部７０１は、物体領域内で輝度変化が大きい部分として、下記の条件に該当する座標（Ｘ，Ｙ）を抽出する。
ＯＢＪ（Ｘ，Ｙ）＝１ かつ ＳＢＮ（Ｘ，Ｙ）＝１
このとき、物体輝度変化情報Ｋ（Ｘ，Ｙ）が下記のように設定される。
Ｋ（Ｘ，Ｙ）＝１
一方、物体領域内で輝度変化の小さい部分としては、下記の条件に該当する座標が抽出される。
ＯＢＪ（Ｘ，Ｙ）＝１ かつ ＳＢＮ（Ｘ，Ｙ）＝０
このとき、物体輝度変化情報Ｋ（Ｘ，Ｙ）は下記のように設定される。
Ｋ（Ｘ，Ｙ）＝２

そして、物体候補抽出部７０２は、物体輝度変化情報Ｋ（Ｘ，Ｙ）をもとに、物体領域から移動物体候補領域および停止物体領域を抽出する。

このとき、物体輝度変化情報Ｋ（Ｘ，Ｙ）についてラベリング処理が行われる。そして、移動物体候補領域および停止物体領域の各領域が、かたまりとして抽出される。すなわち、移動物体候補は、Ｋ（Ｘ，Ｙ）＝１で、かつ、同じラベル番号が付与された領域である。このような領域が移動物体候補として抽出される。また、停止物体候補は、Ｋ（Ｘ，Ｙ）＝０で、かつ、同じラベル番号が付与された領域である。このような領域が停止物体候補として抽出される。

さらに、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は第１の実施の形態と同じ動作を行い、物体を検出する。

以上のように、本発明の第２の実施の形態の物体検出装置は、三次元情報に基づき立体物の領域を検出し、さらに、立体物の領域を輝度差分の有無に応じて分割しており、これにより、移動物体と停止物体を分離することができ、移動物体を精度よく検出できる。

次に、本発明の第３の実施の形態の物体検出装置を図８に示す。

図８において、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５、物体候補抽出部１０６、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は、第１の実施の形態と同じである。さらに、図８の物体検出装置は、物体候補抽出部１０６によって抽出された物体候補領域を記憶しておく候補領域記憶部８０１と、連続する所定の時間（時刻）の間に候補領域記憶部８０１に記憶されている候補領域を統合する候補領域統合部８０２とを備えている。

以上のように構成された物体検出装置について、その動作を説明する。

まず、撮像部１０１、画像記憶部１０２、輝度変化算出部１０３、三次元情報算出部１０４、立体物検出部１０５、物体候補抽出部１０６は第１の実施の形態と同じ動作を行い、移動物体領域と停止物体領域をそれぞれ抽出する。

候補領域記憶部８０１は、物体候補抽出部１０６で抽出された物体候補の領域を記憶していく。

そして、候補領域統合部８０２は、連続する所定の時間の間に候補領域記憶部８０１に記憶された停止物体の情報を統合することにより、統合候補領域を作成する。

停止物体の情報を統合する方法としては、たとえば領域を加算していく方法がある。連続する所定の時間の間に、候補領域を抽出する処理を“Ｎ回”、行ったとする。この場合、作成される停止物体領域情報の数が、“Ｎ”になる。これら“Ｎ”の領域情報が加算されていく。

候補領域統合部８０２は、“Ｎ個”の停止物体領域情報において、各座標（Ｘ，Ｙ）の判定回数Ｍを算出する。判定回数Ｍは、各座標が停止物体領域であると判定された回数である。回数Ｍが所定の閾値ＭＴＨより大きければ、候補領域統合部８０２は、当該座標（Ｘ，Ｙ）を停止物体領域として出力する。回数Ｍが閾値ＭＴＨより小さければ、候補領域統合部８０２は、当該座標（Ｘ，Ｙ）を物体領域として扱わない。

また、候補領域統合部８０２は、移動物体領域については処理を行わず、物体候補抽出部１０６から出力される領域情報をそのまま出力する。候補領域統合部８０２は、このような処理を行った結果を、最終的に統合候補領域として出力する。

さらに、物体判定部１０７、位置変化算出部１０８、物体検出部１０９は第１の実施の形態と同じ動作を行い、物体を検出する。

以上のように本発明の第３の実施の形態の物体検出装置は、候補領域情報を加算していくことにより、特徴が現れにくい停止物体をも精度良く検出できる。

次に、本発明の第４の実施の形態の物体検出システムを図９に示す。

図９において、本実施の形態の物体検出システムは、第１ないし第３のいずれかの実施の形態と同様の動作をする物体検出装置９０１と、物体検出装置９０１が物体を検出した時に物体の情報を記憶する記憶装置９０２とを備えている。

物体検出装置９０１は、第１の実施の形態と同様の動作により、所定の動作をした物体のみを検出する。

そして、記憶装置９０２は、物体検出装置９０１が物体を検出した時に、当該時刻の画像、および、検出した物体の諸元情報のうち少なくとも１つを記憶する。記憶装置９０２は、当該時刻の画像としては、撮像部１０１から出力された画像を記憶する。また、記憶装置９０２は、物体の諸元情報としては、物体検出部１０９により検出された物体の領域情報を記憶する。

以上のように本発明の第４の実施の形態の物体検出システムによれば、所定の動作をした物体を検出し、当該物体の情報を記憶することができる。

以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

以上のように、本発明にかかる物体検出装置は、背景差分処理を用いなくても停止物体を精度良く検出することができるという効果を有し、例えば、監視空間を撮像した画像から物体を検出する画像認識装置として有用である。

図１は、本発明の第１の実施の形態における物体検出装置のブロック図 図２は、本発明の第１の実施の形態におけるステレオ画像処理による三次元情報計測方法を説明するための図 図３は、本発明の第１の実施の形態における画像の類似性の評価方法を説明するための図 図４は、本発明の第１の実施の形態における立体物の検出方法を説明するための図 図５は、本発明の第１の実施の形態におけるラベリング処理を説明するための図 図６は、本発明の第１の実施の形態における物体候補抽出方法を説明するための図 図７は、本発明の第２の実施の形態における物体検出装置のブロック図 図８は、本発明の第３の実施の形態における物体検出装置のブロック図 図９は、本発明の第４の実施の形態における物体検出システムのブロック図 図１０は、従来の物体検出装置のブロック図

符号の説明

１０１ 撮像部
１０２ 画像記憶部
１０３ 輝度変化算出部
１０４ 三次元情報算出部
１０５ 立体物検出部
１０６ 物体候補抽出部
１０７ 物体判定部
１０８ 位置変化算出部
１０９ 物体検出部
３０１ 左画像
３０２ 右画像
３０３、３０４ ブロック
３０５ 探索範囲
４０１ 物体
４０２ 基準時刻の三次元情報
４０３ 現在の三次元情報
５０１ 立体物領域
５０２ ラベル番号
５０３ ラベリング結果
６０１ 移動物体
６０２ 停止物体
６０３ 物体情報
６０４ 差分情報
６０５ 移動物体候補
６０６ 停止物体候補
７０１ 物体分割部
７０２ 物体候補抽出部
８０１ 候補領域記憶部
８０２ 候補領域統合部
９０１ 物体検出装置
９０２ 記憶装置

Claims (9)

1. 所定の監視空間を撮像する複数の撮像部と、
   前記複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶する画像記憶部と、
   記憶されている過去の画像と現在の画像との輝度の変化量を算出する輝度変化算出部と、
   前記複数の撮像部により撮像された複数の画像から三次元情報を算出する三次元情報算出部と、
   前記三次元情報算出部により算出された三次元情報をもとに監視空間内の立体物を検出する立体物検出部と、
   前記立体物検出部により検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する物体候補抽出部と、
   を備えたことを特徴とする物体検出装置。
2. 前記物体候補の領域が所定の閾値より大きければ、前記物体候補の領域が物体であると判定する物体判定部と、
   移動物体であると判定された物体についてのみ位置の変化を算出する位置変化算出部と、
   所定の動作をした物体のみを検出する物体検出部と、
   を備えたことを特徴とする請求項１に記載の物体検出装置。
3. 前記三次元情報をもとに検出された物体に対応する画像上領域を輝度変化の大きい部分と小さい部分とに分割する物体分割部を備えたことを特徴とする請求項１に記載の物体検出装置。
4. 前記停止物体候補の領域を記憶する候補領域記憶部と、
   連続する所定の時間の間に記憶された前記停止物体候補の領域を統合して統合領域を作成する候補領域統合部と、
   前記統合領域の大きさが所定の閾値より大きければ、前記統合領域を停止物体として検出する物体判定部と、
   を備えたことを特徴とする請求項１に記載の物体検出装置。
5. 請求項１に記載の物体検出装置と、
   前記物体検出装置が物体を検出した時の画像、および、検出された物体の諸元情報のうち少なくとも一つを記憶する記憶装置と、
   を備えた物体検出システム。
6. 複数の撮像部で所定の監視空間を撮像し、
   前記複数の撮像部により撮像された複数の画像のうちの少なくとも１つを記憶し、
   記憶されている過去の画像と現在の画像との輝度の変化量を算出し、
   前記複数の撮像部により撮像された画像から三次元情報を算出し、
   前記三次元情報をもとに監視空間内の物体を検出し、
   前記検出された物体に対応する画像上領域での輝度変化に基づき、輝度変化が大きい物体を移動物体候補として抽出し、輝度変化が小さい物体を停止物体候補として抽出する、
   ことを特徴とする物体検出方法。
7. 前記物体候補の領域が所定の閾値より大きければ前記物体候補の領域を物体として検出し、移動物体であると判定された物体についてのみ位置の変化を算出し、所定の動作をした物体のみを検出することを特徴とする請求項６に記載の物体検出方法。
8. 前記三次元情報をもとに検出された物体に対応する画像上領域を輝度変化の大きい部分と小さい部分とに分割して、前記移動物体候補および前記停止物体候補を検出することを特徴とする請求項６に記載の物体検出方法。
9. 前記停止物体候補の領域を記憶し、連続する所定の時間の間に記憶された前記停止物体候補の領域を統合して統合領域を作成し、前記統合領域の大きさが所定の閾値より大きければ前記統合領域を停止物体として検出することを特徴とする請求項６に記載の物体検出方法。