JP6651702B2 - 物体検出装置、物体検出方法および情報処理プログラム - Google Patents

Description

本発明は、物体検出装置、物体検出方法および情報処理プログラムに関する。

近年、車両などの移動体に外界を映すためのカメラを取り付け、駐車時など移動体が後退している最中に、カメラで撮影した外界画像から移動の障害となる物体（立体物）の存在を検知した場合に、その旨を通知する安全支援システムが広く利用されるようになっている。

カメラで撮影した外界の画像から立体物の存在を検知する方法として、例えば、デジタル画像中の物体の動きをベクトルで表したオプティカルフローを用いた方法が知られている。この方法によれば、まず時間的に連続する複数の外界の画像を取得し、当該画像から抽出した各特徴点について、２つの時刻間における位置ずれ量（観測フロー量）を抽出する。そして、観測フロー量が路面にある特徴点の位置ずれ量（仮想路面フロー量）よりも大きい場合に、対応する特徴点が立体物によるものであると判定される。このように、オプティカルフローを用いた方法は、同一の時系列上では、路面に描かれている模様などの像（以下、路面模様と呼称する）の移動量よりも立体物の移動量の方が大きいという性質を利用したものである。

特開２００２−３５１４４４号公報 特開２００２−２０７５２５号公報 特開２０１２−２２１４３５号公報

しかしながら、上述の方法は、路面が平坦であることが前提となっている。例えば、路面に勾配がある場合は、路面模様を誤って立体物として検出してしまうことがある。このため、路面に勾配がある場合においても、誤検出することなく高精度で立体物を検出できることが望ましい。

本発明の１つの側面では、路面に勾配がある場合においても、高精度で立体物を検出することができる物体検出装置、物体検出方法および情報処理プログラムを提供することを目的とする。

発明の一観点によれば、移動体に設けられる撮像部と、前記移動体が移動しているときに前記撮像部によって順次撮影された複数の画像から、少なくとも前記移動体が移動する移動面上に沿って存在する既知の物体の第１の画像と、未知の物体の第２の画像の輪郭とに含まれる複数の特徴点を抽出する特徴点抽出部と、前記複数の特徴点の各々について、前記第１の画像の特徴点および前記第２の画像の特徴点の、画像上の位置の変化量の差を示すフロー差を算出することによって、前記第２の画像のフロー差分布を生成するフロー差分布生成部と、前記フロー差分布を、予め想定される前記移動面の複数の勾配状態の各々について作成された、前記第２の画像が前記移動面に沿って存在する物体の画像である場合、または突出して存在する物体の画像である場合の少なくとも一方に対応する複数のフロー差分布モデルと照合し、前記第２の画像が前記突出して存在する物体であるか否かを判定するモデル照合部と、を有する物体検出装置が提供される。

一実施態様によれば、路面に勾配がある場合においても、高精度で立体物を検出することができる物体検出装置、物体検出方法および情報処理プログラムを提供することができる。

図１は、実施例１における、物体検出装置の機能ブロック図の一例を示す図である。 図２は、実施例１における、物体検出装置のハードウェア構成の一例を示す図である。 図３は、実施例１における、物体検出装置による立体物の検出方法の一例を示すフローチャートである。 図４は、実施例１における、物体候補の抽出方法の一例を示すフローチャートである。 図５は、物体候補の抽出方法を説明するための図である。 図６は、物体番号ＤＢの一例を示す図である。 図７は、抽出された物体候補の一例を示す図である。 図８は、観測フロー量を説明するための図である。 図９は、実施例１における、観測フロー量の算出方法の一例を示すフローチャートである。 図１０は、仮想路面フロー量を説明するための図である。 図１１は、移動体座標系およびカメラ座標系を説明するための図である。 図１２は、カメラ座標系における特徴点の位置と三次元位置との関係を示す図である。 図１３は、実施例１における、フロー差分布を生成する処理の一例を示すフローチャートである。 図１４は、実施例１における、モデル照合処理の一例を示すフローチャートである。 図１５は、平坦な路面におけるフロー差分布モデルの一例を示す図である。 図１６は、平坦な路面の一例を示す図である。 図１７は、上り勾配を有する路面におけるフロー差分布モデルの一例を示す図である。 図１８は、上り勾配を有する路面の一例を示す図である。 図１９は、下り勾配を有する路面におけるフロー差分布モデルの一例を示す図である。 図２０は、下り勾配を有する路面の一例を示す図である。 図２１は、路面模様および立体物の像が画面上で重なったときの、画像、物体候補およびフロー差分布の一例を示す図である。 図２２は、路面模様および立体物によって構成される物体候補の検出例および分離方法の一例を示す図である。 図２３は、路面の勾配を考慮せずに立体物の検出処理を行った場合の問題点を説明する図である。 図２４は、実施例２における、物体検出装置による立体物の検出方法の一例を示すフローチャートである。 図２５は、実施例２における、モデル照合処理および立体物を検出する処理の一例を示すフローチャートである。

以下、本発明の実施形態について、図１から図２５を参照して具体的に説明する。

なお、本発明の物体検出装置の実施形態として、車載用の安全支援システムを例として以下に説明するが、これに限定されることはなく、物体の検出を行う情報処理装置全般に適用することができる。

（実施例１）
図１は、実施例１における、物体検出装置の機能ブロック図の一例を示す図である。図１に示すように、物体検出装置１００は、例えばコンピュータなどの情報処理装置によって実現され、車両などの移動体に設置されている。物体検出装置１００は、撮像部１１と、画像入力部１２と、時系列画像ＤＢ（database）１３と、特徴点抽出部１４と、物体候補抽出部１５と、観測フロー量算出部１６と、移動量検出部１７と、仮想路面フロー量算出部１８と、フロー差分布生成部１９と、モデル照合部２０と、出力部２１とを備えている。以下、各部の機能について説明する。

撮像部１１は、画像を撮影する機能を有する装置である。撮像部１１は、移動体の外界の画像を撮影することができる。

画像入力部１２は、撮像部１１によって撮影された移動体の外界の画像の情報を画像情報として受信する。また、画像入力部１２は、受信した画像情報を必要に応じてデジタル画像の情報に変換した後、時系列画像ＤＢ１３に格納するとともに、画像情報を特徴点抽出部１４に出力する。

時系列画像ＤＢ１３は、画像入力部１２が取得した画像情報を格納するＤＢである。一般的に、時系列画像ＤＢ１３に保存できる情報の容量は有限である。このため、時系列画像ＤＢ１３は、例えば移動体が移動する際に、一定の距離（例えば５０ｃｍ）毎に画像を時系列画像ＤＢ１３に格納するように管理されることが好ましい。あるいは、時系列画像ＤＢ１３に格納されている画像のうち、最も古い画像を撮影した位置からの移動量が所定の値（例えば３ｍ）になった場合に、当該最も古い画像を消去するように管理されることが好ましい。このような方法で時系列画像ＤＢ１３に格納した画像を管理することによって、時系列画像ＤＢ１３の容量を有効的に活用することができる。

特徴点抽出部１４は、画像入力部１２から受信した画像から、画像中の特徴点を抽出する。特徴点とは、画像の中の物体の境界、物体の輪郭線の屈折部および屈曲部などの特徴を点で示したものである。特徴点の抽出方法については後述する。特徴点抽出部１４は、抽出した特徴点の情報を物体候補抽出部１５に送信する。

物体候補抽出部１５は、特徴点抽出部１４から受信した特徴点の情報に基づいて、物体検出装置が検出対象とする立体物の候補である物体候補を抽出する。立体物とは、例えば移動体が移動する路面（移動面）などの上に突出して存在する物体である。物体候補は、グループ化された複数の特徴点によって構成される。物体候補の抽出方法については後述する。

観測フロー量算出部１６は、物体候補抽出部１５によって抽出された物体候補に含まれる複数の特徴点の各々について、最新時刻ｔ２と過去の時刻ｔ１からなる２つの時刻間における特徴点の画像上の移動量を、観測フロー量として算出する。観測フロー量の抽出方法については後述する。

移動量検出部１７は、上述の２つの時刻間における移動体の移動量を検出する。移動量検出部１７によって取得された情報は、後述する仮想路面フロー量を算出する際に用いられる。移動量検出部１７は、例えば車速センサまたは舵角センサなどによって実現することができる。

仮想路面フロー量算出部１８は、移動量検出部１７によって検出された移動体の移動量の情報を用いて、特徴点が路面にあると仮定した場合の、当該特徴点の位置ずれ量である仮想路面フロー量を算出する。仮想路面フロー量の算出方法については後述する。

フロー差分布生成部１９は、物体候補に含まれる複数の特徴点の各々について、観測フロー量算出部１６で算出された観測フロー量と、仮想路面フロー量算出部１８で算出された仮想路面フロー量との差であるフロー差を算出する。そして、フロー差分布生成部１９は、例えば画像内の物体候補の高さ方向を縦軸とし、フロー差を横軸として、物体候補のフロー差の分布であるフロー差分布を生成する。

モデル照合部２０は、画面上における物体候補の位置座標に基づいて、物体候補の種類と路面の傾斜状態の種類との組み合わせ毎に、複数のフロー差分布モデルを生成する。ここで、物体候補の種類とは、例えば立体物および路面の模様（路面模様）の２種類である。路面模様とは、移動体が移動する路面（移動面）に沿って存在する物体であり、例えば路面に施されたラインなどの塗装である。また、路面の傾斜状態の種類とは、例えば平坦な路面、上り勾配、下り勾配の３種類である。なお、物体候補の種類および路面の傾斜状態の種類は、種類の数も含め、上述の例に限定されるものではない。例えば、勾配の角度が異なる複数の上り勾配毎にフロー差分布モデルを生成することもできる。

また、モデル照合部２０は、フロー差分布生成部１９によって生成された物体候補のフロー差分布を、モデル照合部２０によって生成された複数のフロー差分布モデルの各々と照合する。そして、モデル照合部２０は、複数のフロー差分布モデルのうち、物体候補のフロー差分布に最も類似するフロー差分布モデルを、物体候補に対応するフロー差分布モデルとして決定する。そして、決定されたフロー差分布モデルのタイプから、物体候補が立体物か否かを判別することができる。なお、モデル照合部２０は、物体候補のフロー差分布を複数のフロー差分布モデルの各々と照合する照合部と、照合の結果、立体物か否かを判定する判定部に分けることもできる。

出力部２１は、物体検出装置１００による処理結果を出力する装置である。出力部２１は、モデル照合部２０による照合処理の結果、物体候補が立体物であると判定された場合に、その旨を出力する。物体検出装置１００のユーザは、例えば移動体を後退させている最中に、出力された情報を取得することにより、移動体の進路上に立体物が存在することを認識することができる。

次に、物体検出装置１００のハードウェア構成について説明する。

図２は、物体検出装置１００のハードウェア構成の一例を示す図である。図２に示すように、物体検出装置１００は、カメラ３０、入力装置３１、ＣＰＵ（Central Processing Unit）３２、ＲＯＭ（Read Only Memory）３３、ＲＡＭ（Random Access Memory）３４、ストレージ装置３５、ディスプレイ３６、スピーカ３７、及び媒体駆動装置３８等を備えている。

カメラ３０は、図１に示す撮像部１１の一例であり、例えば移動体の少なくとも前後左右のいずれかに固定される単眼の撮影装置である。なお、移動体に設置されるカメラ３０は、１台であることに限定されず、複数台とすることもできる。

入力装置３１は、物体検出装置１００のユーザによって操作が行われたときに、その操作によって入力された情報を取得し、当該情報をＣＰＵ３２に送信する装置である。入力装置３１は、例えばキーボード、マウスまたはタッチパネル等である。

ＣＰＵ３２は、物体検出装置１００全体の動作を制御する処理を実行する演算処理装置である。図１に示す機能ブロックの各々の動作は、ＣＰＵ３２によって実現される。なお、ＣＰＵ３２は、ＭＰＵ（Micro Processing Unit）によって実現することもできる。

ＲＯＭ３３は、物体検出装置１００の動作を制御するプログラム（情報処理プログラムを含む）を格納することができる不揮発性の記憶装置である。ＲＡＭ３４は、プログラムを実行する際に、必要に応じて作業領域として使用することができる揮発性の記憶装置である。ストレージ装置３５は、例えばＨＤＤ（Hard Disk Drive）などの記憶装置である。ストレージ装置３５は、ＣＰＵ３２により実行される各種制御プログラムや、取得したデータを記憶することができる。

ディスプレイ３６は、図１に示す出力部２１の一例である。ディスプレイ３６は、外界を撮影して得られた画像を表示したり、物体検出装置１００による処理の結果を表示したりすることができる表示装置である。ディスプレイ３６として、例えば液晶ディスプレイ、プラズマディスプレイ、または有機ＥＬディスプレイ等を用いることができる。スピーカ３７は、図１に示す出力部２１の一例であり、音声情報を出力するための部品である。スピーカ３７は、例えば移動体の進路上に立体物を検知したことをユーザに音声で通知することができる。

媒体駆動装置３８は、可搬型記憶媒体４０への書き込み、または可搬型記憶媒体４０から読み出したデータを実行する装置である。なお、前述のＣＰＵ３２は、可搬型記憶媒体４０に格納されている所定の制御プログラムを、媒体駆動装置３８を介して読み出して実行することによって、物体検出装置１００の各動作を制御する処理を行うこともできる。可搬型記憶媒体４０は、例えばＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）またはＵＳＢ（Universal Serial Bus）メモリ等である。

物体検出装置１００の構成各部は、バス３９に接続されている。バス３９は、ハードウェア間でデータのやり取りを行うための通信経路である。

次に、物体検出装置１００による立体物の検出方法について説明する。

図３は、実施例１における、物体検出装置による立体物の検出方法の一例を示すフローチャートである。

まず、移動体に取り付けられた撮像部１１は、移動体の外界の画像を撮影する。そして、画像入力部１２は、撮影によって得られた画像情報を撮像部１１から受信する（Ｓ１０１）。画像入力部１２は、受信した画像情報がアナログ画像であればデジタル画像に変換する。また、画像入力部１２は、受信した画像情報がカラー画像であれば、アナログ画像をデジタル画像に変換した後に、モノクロ画像に変換する。画像入力部１２は、取得したデジタル画像の画像情報を、撮影した時刻と関連付けて時系列画像ＤＢ１３に格納する。

続いて、特徴点抽出部１４は、画像情報から特徴点を抽出する（Ｓ１０２）。Ｓ１０２において、特徴点抽出部１４は、時系列画像ＤＢ１３から画像情報を読み出し、エッジ抽出を行う。具体的には、例えば一般的なＳｏｂｅｌオペレータを用いて、画像情報に対して微分処理を実行する。そして、微分処理により得られるエッジ強度と、所定のエッジ強度の閾値とを比較し、閾値以上のエッジを抽出する。次に、抽出したエッジについて隣接横画素２つのエッジ強度と比較し、抽出したエッジがピーク値となればエッジ点と見做す細線化処理を実行する。そして、細線化処理により得られた複数のエッジ点の各々を特徴点として、複数の特徴点の情報を物体候補抽出部１５に出力する。

続いて、物体候補抽出部１５は、特徴点抽出部１４から受信した複数の特徴点の情報に基づいて、特徴点同士を仮想的に接続することによって複数の特徴点をグループ化し、物体候補を抽出する（Ｓ１０３）。以下、物体候補の抽出方法について説明する。

図４は、実施例１における、物体候補の抽出方法の一例を示すフローチャートである。図５は、物体候補の抽出方法を説明するための図である。図５に示されている正方形の各セルは、画像を構成する画素を示している。図５に示すように、複数の画素がマトリクス状に２次元配列されている。複数の画素のうち、斜線が施された１個の画素は、１個の特徴点（エッジ点）を示している。以降の説明では、図５中のＸ軸に平行に配列された画素の集合を「行」と定義する。すなわち、共通のＹ座標を有する各画素は、同一の行に属する。また、図５中のＹ軸に平行に配列された画素の集合を「列」と定義する。すなわち、共通のＸ座標を有する各画素は、同一の列に属する。

まず、物体候補抽出部１５は、図５（ａ）に示すように、複数の画素（特徴点）の中から未選択の特徴点Ａを選択する（Ｓ２０１）。

続いて、物体候補抽出部１５は、Ｙ軸の座標の値が大きくなる側で、特徴点Ａが属する行に隣接する行に属し、特徴点Ａに隣接する３つの画素の中に、特徴点が存在するか否かを判定する（Ｓ２０２）。図５（ａ）の例では、画素（１），（２），（３）が上述の３つの画素に該当する。特徴点Ａに隣接する３つの画素の中に特徴点が存在しないと判定された場合（Ｓ２０２否定）、Ｓ２１０に移行する。一方、エッジＡに隣接する３つの画素の中に特徴点が存在すると判定された場合（Ｓ２０２肯定）、物体候補抽出部１５は、連結可能な特徴点の数が複数か否かを判定する（Ｓ２０３）。図５（ａ）の例では、画素（１）および画素（３）が特徴点（斜線）であるため、Ｓ２０２肯定と判定され、Ｓ２０３に移行する。

Ｓ２０３において、連結可能な特徴点の数が複数でないと判定された場合（Ｓ２０３否定）、Ｓ２０５に移行する。一方、連結可能な特徴点の数が複数であると判定された場合（Ｓ２０３肯定）、物体候補抽出部１５は、特徴点Ａと連結した際に生じる線と特徴点Ａで終端される他の線との角度を、連結候補の特徴点同士で比較する。そして、図５（ｂ）に示すように、物体候補抽出部１５は、連結候補の複数の特徴点の中から、特徴点Ａと連結する場合に最適となる点を特徴点Ｂとして選択する（Ｓ２０４）。

図５（ｂ）の例では、連結可能な特徴点の数が２個であるため、Ｓ２０３肯定と判定され、Ｓ２０４へ移行する。Ｓ２０４では、画素（１）および画素（３）が特徴点Ｂの候補となる。また、特徴点Ａの左下には特徴点Ｚが存在し、この特徴点Ｚは、特徴点Ａと連結すべき特徴点として特定されている。この場合、物体候補抽出部１５は、連結した際に描かれる線が特徴点Ａで９０度屈曲する画素（１）でなく、特徴点Ｚから特徴点Ａを介して直線的に連結され得る画素（３）を、特徴点Ｂとして選択する。Ｓ２０４の後、Ｓ２０５に移行する。

Ｓ２０５において、物体候補抽出部１５は、特徴点Ｂの物体番号が物体番号ＤＢに登録されているか否かを判定する（Ｓ２０５）。

図６は、物体番号ＤＢの一例を示す図である。図６に示すように、物体番号ＤＢには、画素の位置情報を示す座標（Ｘ，Ｙ）と、物体番号とが対応付けられて登録されている。座標欄には全ての画素の座標が格納されており、物体番号が未登録である場合、対応する物体番号欄は空欄となっている。例えば、Ｘ座標が「１２２３」、Ｙ座標が「０９０５」の画素には、物体番号として「０２１４」が登録されている。一方、Ｘ座標が「１９７０」、Ｙ座標が「１１１０」の画素には、物体番号が登録されておらず、空欄となっている。

特徴点Ｂの物体番号が物体番号ＤＢに登録されている場合（Ｓ２０５肯定）、点Ｂは他の物体を構成する点として登録済みであるため、Ｓ２１０に移行する。一方、特徴点Ｂの物体番号が物体番号ＤＢに登録されていない場合（Ｓ２０５否定）、物体候補抽出部１５は、点Ａと同一の行に、特徴点Ｂに連結可能な特徴点、すなわち特徴点Ｂに隣接する特徴点Ｃが存在するか否かを判定する（Ｓ２０６）。点Ｂに連結可能な特徴点Ｃが存在すると判定された場合（Ｓ２０６肯定）、物体候補抽出部１５は、特徴点Ｂと連結する特徴点として、特徴点Ｃは特徴点Ａよりも最適か否かを判定する（Ｓ２０７）。Ｓ２０７では、物体候補抽出部１５は、特徴点Ｃと特徴点Ｂとを連結した際に生じる線と特徴点Ｃで終端される他の線との角度を、特徴点Ａと連結した際に生じる線と特徴点Ａで終端される他の線との角度と比較することによって判定する。比較方法は、Ｓ２０４で用いられる比較方法と同様である。特徴点Ｃが特徴点Ａよりも最適であると判定された場合（Ｓ２０７肯定）、物体候補抽出部１５は、特徴点Ｃと特徴点Ｂとが連結されるものとして、物体番号ＤＢ中の特徴点Ｃおよび特徴点Ｂの情報を更新する（Ｓ２０８）。具体的には、特徴点Ｃの物体番号が登録されている場合は、特徴点Ｂにも特徴点Ｃと同一の物体番号を割り当て、物体番号ＤＢに登録する。一方、特徴点Ｃの物体番号が登録されていない場合は、特徴点Ｃと特徴点Ｂとに対して新規の物体番号を割り当て、物体番号ＤＢに登録する。Ｓ２０８の処理の後、Ｓ２１０に移行する。

一方、Ｓ２０６において、点Ｂに連結可能な特徴点Ｃが存在しないと判定された場合（Ｓ２０６否定）、または、Ｓ２０７において、特徴点Ａの方が特徴点Ｃよりも最適であると判定された場合（Ｓ２０７否定）、物体候補抽出部１５は、特徴点Ａと特徴点Ｂとが連結されるものとして、物体番号ＤＢ中の特徴点Ａおよび特徴点Ｂの情報を更新する（Ｓ２０９）。具体的には、特徴点Ａにはまだ物体番号が登録されていないため、特徴点Ａと特徴点Ｂとについて、新たに同一の物体番号を割り当て、物体番号ＤＢに登録する。Ｓ２０９の処理の後、Ｓ２１０に移行する。

Ｓ２１０では、特徴点抽出部１４が抽出した全ての特徴点を選択したか否かを判定する。全ての特徴点を選択していないと判定された場合（Ｓ２１０否定）、Ｓ２０１に戻り、Ｓ２０１以降の処理を実行する。

一方、全ての特徴点を選択したと判定された場合（Ｓ２１０肯定）、物体番号に基づいて物体候補を抽出する（Ｓ２１１）。Ｓ２１１では、例えば物体番号ＤＢに登録されている物体番号を参照し、登録されている物体番号が共通する特徴点を連結することによって生成される線分のうち、連結される特徴点の数が所定の閾値以上の線分を物体候補として抽出する。所定の閾値は、例えば１０点である。Ｓ２１１の処理の後、Ｓ１０３の処理を終了し、Ｓ１０４へ移行する。

以上のようにして、物体候補抽出部１５は、１又はそれ以上の物体候補を抽出する処理を実行する。

図７は、抽出された物体候補の一例を示す図である。図７は、前述の所定の閾値を８点とした例である。図７に示すように、画像５０には、路面５５上に設けられた物体候補５１、５２の像が含まれている。物体候補５１の右側の点線の枠５３内には、立体物５１の輪郭に沿った複数の特徴点が存在する。また、物体候補５２の右側の点線の枠５４内には、物体候補５２の輪郭に沿った複数の特徴点が存在する。図７の例では、Ｓ１０３の処理により、画像５０から２個の物体候補５１，５２が抽出されている。

図３に戻り、Ｓ１０３の処理の後、観測フロー量算出部１６は、Ｓ１０３で抽出した物体候補を構成する各特徴点について、観測フロー量を算出する（Ｓ１０４）。観測フロー量は、既に述べたように、２つの時刻間における特徴点の画像上の位置ずれ量である。ここで、観測フロー量について説明する。

図８は、観測フロー量を説明するための図である。路面６１上に立体物６２が配置されており、立体物６２の上端を点Ｌとする。時刻ｔ１における、車両６０に備えられたカメラ３０から点Ｌへの視線は、視線５６で表される。一方、車両６０が移動して時刻ｔ２になったとき、カメラ３０から点Ｌへの視線は、視線５６から視線５７に変化する。この視差の変化が、カメラ３０によって撮像された画面上において特徴点の位置ずれをもたらし、観測フロー量として観測される。

以下、観測フローを算出する処理について説明する。

図９は、実施例１における、観測フロー量の算出方法の一例を示すフローチャートである。

まず、観測フロー量算出部１６は、Ｓ１０３で抽出した全ての物体候補の中から、未選択の物体候補を選択する（Ｓ３０１）。

続いて、観測フロー量算出部１６は、Ｓ３０１で選択した物体候補について、最新時刻ｔ２の画像から、未選択の特徴点を選択する（Ｓ３０２）。

続いて、観測フロー量算出部１６は、最新時刻ｔ２よりも前の時刻ｔ１に取得した画像の情報を時系列画像ＤＢ１３から読み出し、当該画像上の、Ｓ３０２で選択した特徴点に対応する最も照合度が高い特徴点の位置を特定する（Ｓ３０３）。具体的には、最新時刻ｔ２の特徴点について、当該特徴点の周囲の領域の画像をテンプレートとして、最新時刻ｔ２の直前の時刻ｔ１の画像とマッチングを行う。マッチング方法としては、例えばＳＡＤ（Sum of Absolute Difference）またはＳＳＤ（Sum of Squared Difference）などの類似度指標を用いた、一般的なテンプレートマッチングによって、最も照合度が高い特徴点の位置を特定する方法を用いることができる。

続いて、観測フロー量算出部１６は、最新時刻ｔ２の特徴点の位置と、Ｓ３０３で特定した時刻ｔ１の特徴点の位置とに基づいて、観測フロー量を算出する（Ｓ３０４）。

続いて、観測フロー量算出部１６は、Ｓ３０１で選択した物体候補を構成する全ての特徴点を選択済みか否か、を判定する（Ｓ３０５）。全ての特徴点を選択済みでないと判定された場合（Ｓ３０５否定）、Ｓ３０２に戻り、Ｓ３０２以降の処理を再び実行する。一方、全ての特徴点を選択済みであると判定された場合（Ｓ３０５肯定）、観測フロー量算出部１６は、全ての物体候補を選択済みか否か、を判定する（Ｓ３０６）。

全ての物体候補を選択済みでないと判定された場合（Ｓ３０６否定）、Ｓ３０１に戻り、Ｓ３０１以降の処理を再び実行する。一方、全ての物体候補を選択済みであると判定された場合（Ｓ３０６肯定）、Ｓ１０４の処理を終了し、Ｓ１０５に移行する。以上のようにして、観測フロー量算出部１６は、観測フロー量を算出する処理を実行する。

図３に戻り、Ｓ１０４の処理の後、仮想路面フロー量算出部１８は、特徴点が路面にあると仮定した場合の、当該特徴点の２つの時刻間の位置ずれ量である仮想路面フロー量を算出する（Ｓ１０５）。

図１０は、仮想路面フロー量を説明するための図である。路面６１上に立体物６２が配置されており、立体物６２の上端に位置する点を点Ｌとする。時刻ｔ１における、車両６０に備えられたカメラ３０から点Ｌへの視線は、視線５６で表される。そして、点Ｌを通る視線５６が路面６１と交わる点が、点Ｍである。すなわち、点Ｌが路面にあると仮定した場合、立体物６２は路面模様６３であると仮定され、時刻ｔ１のときのカメラ３０の位置から見える立体物６２の上端は、路面模様６３の先端の点Ｍの位置にあると仮定される。一方、車両６０が移動して時刻ｔ２になったとき、カメラ３０の位置から点Ｍを見たときの視線は視線５６から視線５８に変化する。この視差の変化が画面上における位置ずれとなり、仮想路面フロー量として観測される。

以下、仮想路面フロー量を算出する処理について説明する。

図１１は、移動体座標系およびカメラ座標系を説明するための図である。図１１に示すように、移動体である車両６０にカメラ３０が固定されており、車両６０が路面６１上を走行する場合を例にして説明する。このとき、車両６０のある一点から路面６１への垂線の足を原点Ｏとし、路面６１に垂直に交わる方向にＺ軸、車両６０の進行方向に平行な方向にＹ軸、Ｚ軸およびＹ軸に垂直な方向にＸ軸をとる直交座標系Ｏ−ＸＹＺを、移動体座標系と呼ぶ。この車両６０のある一点は、例えば、車両６０の重心、路面に平行な断面における中心などとするようにしてもよい。

一方、車両６０に備えられたカメラ３０の所定の位置（例えば、カメラ３０の対物レンズの中心点）を原点ｏとし、光軸をｚ軸とする直交座標系ｏ−ｘｙｚをカメラ座標系と呼ぶ。なお、前述の原点ｏの位置をカメラ位置と呼ぶことがある。このとき、カメラ座標系において、ｚ軸に垂直で、カメラ位置から矢印６４のようにカメラの焦点距離ｆ離れた面を、撮像面６５とする。

矢印６６は、移動体座標系とカメラ座標系との変換を示している。矢印６６に示すように、移動体座標系とカメラ座標系との変換は、移動体座標系において、回転行列Ｒｗ、並進ベクトルＴｗにより表されるものとする。回転行列Ｒｗとは、例えば、移動体座標系の各軸に対するカメラ座標系の各軸のなす角を用いて表される３行３列の行列である。並進ベクトルＴｗとは、例えば、移動体座標系の原点に対するカメラ座標系の原点の位置を表す３行１列の行列である。回転行列Ｒｗおよび並進ベクトルＴｗは、いずれも図１の移動量検出部１７によって取得される情報である。

回転行列Ｒｗ、並進ベクトルＴｗで表される車両６０の移動量（Ｒｗ，Ｔｗ）は、移動体座標系で記述されたものである。また、画像を取得した時刻のうち、最新時刻ｔ２の前の時刻である時刻ｔ１での移動体座標系で表した、特徴点に対応する三次元位置の位置ベクトルをＸｗ１、最新時刻ｔ２での移動体座標系で表した、特徴点に対応する三次元位置の位置ベクトルをＸｗ２とする。更に、これら２つの位置をカメラ座標系で表した三次元位置の位置ベクトルをそれぞれｘｈ１、ｘｈ２とする。また、時刻ｔ１から時刻ｔ２までの移動体の移動量を回転行列Ｒｍ、並進ベクトルＴｍで表すものとする。

移動体座標系Ｘｗ（Ｘ，Ｙ，Ｚ）からカメラ座標系ｘｈ（ｘ，ｙ，ｚ）への変換は、回転行列Ｒｗ、並進ベクトルＴｗを用いて、以下のように表すことができる。なお、「＊」は乗算を表す。
ｘｈ＝Ｒｗ＊（Ｘｗ−Ｔｗ）・・・（式１）
また、式１を変形すると、
Ｘｗ＝Ｒｗ^Ｔ＊ｘｈ＋Ｔｗ・・・（式２）
と表すこともできる。Ｒｗ^ＴはＲｗの転置行列である。

図１２は、カメラ座標系における特徴点の位置と三次元位置との関係を示す図である。ここでも、カメラの焦点距離をｆとする。図１２に示すように、任意の時刻における特徴点ｎは撮像面６５上にあり、カメラ位置を原点ｏとするカメラ座標系ｘｈにおいて、以下の座標を有するものとする。すなわち、撮像面６５上の特徴点ｎの位置は、カメラ位置を基準とした位置ベクトルで表される。
ｎ＝（ｐｘ，ｐｙ，ｆ）・・・（式３）

このとき、特徴点ｎの位置ベクトルの延長線にある点が、実際の物体候補の三次元位置となる。三次元位置をＰとし、カメラ位置からＰまでの距離をｌとすると、カメラ座標系ｘｈにおけるＰの位置ベクトル（座標）は、
Ｐ＝ｌ＊ｎ＝（ｌ＊ｐｘ，ｌ＊ｐｙ，ｌ＊ｆ）・・・（式４）
と表すことができる。

続いて、カメラ座標系ｘｈにおけるＰの座標を、移動体座標系Ｘｗ（Ｘ，Ｙ，Ｚ）における座標へ変換する。このとき、路面の場合、高さが零、すなわちＺ＝０となるため、式１および式４を用いると、Ｚ＝０を満足する距離ｌを算出することができる。そして、算出された距離ｌを用いて、残りのＸおよびＹを算出することができる。

次に、移動体座標系Ｘｗにおける時刻ｔ１のときの座標Ｘｗ１と時刻ｔ２のときの座標Ｘｗ２との関係は、移動体の回転行列Ｒｗおよび並進ベクトルＴｗを用いて、
Ｘｗ２＝Ｒｗ＊Ｘｗ１＋Ｔｗ・・・（式５）
と表されるとする。

式１を用いると、カメラ座標系ｘｈにおける時刻ｔ１のときの座標ｘｈ１は、
ｘｈ１＝Ｒｗ＊（Ｘｗ１−Ｔｗ）・・・（式６）
と表され、カメラ座標系ｘｈにおける時刻ｔ２のときの座標ｘｈ２は、
ｘｈ２＝Ｒｗ＊（Ｘｗ２−Ｔｗ）・・・（式７）
と表すことができる。

ここで、座標ｘｈ１が既知である場合、座標ｘｈ１と、移動体の回転行列Ｒｗおよび並進ベクトルＴｗとを式６に代入することによって、座標ｘｈ１から移動体座標系Ｘｗにおける座標Ｘｗ１へ変換することができる。そして、座標Ｘｗ１が算出されると、座標Ｘｗ１と、移動体の回転行列Ｒｗおよび並進ベクトルＴｗとを式５に代入することによって、座標Ｘｗ２を算出することができる。更に、Ｘｗ２が算出されると、座標Ｘｗ２と、移動体の回転行列Ｒｗおよび並進ベクトルＴｗとを式７に代入することによって、ｘｈ２を算出することができる。

座標ｘｈ１は、特徴点が路面であるとした場合の、時刻ｔ１における画像上の特徴点の位置（ｘ１，ｙ１）を表している。座標ｘｈ２は、特徴点が路面であるとした場合の時刻ｔ２における画像上の特徴点の位置（ｘ１，ｙ１）を表している。よって、仮想路面フロー量算出部１８は、座標間の距離を求める以下の式８により、仮想路面フロー量を算出することができる。
ｓｑｒｔ（（ｘ２−ｘ１）＾２＋（ｙ２−ｙ１）＾２）・・・（式８）

ここで、ｓｑｒｔ（Ａ）は、Ａの平方根を表している。以上のようにして、仮想路面フロー量算出部１８は、仮想路面フロー量を算出する処理を実行する。

図１０に示すように、カメラ３０から見たときの、２つの時刻間における立体物６２の視差は、路面模様６３の視差よりも大きい。このため、画面上のある特徴点が立体物である場合、２つの時刻間における動きは路面模様よりも大きくなるため、当該特徴点の観測フロー量は仮想路面フロー量よりも大きくなる。一方、画面上のある特徴点が路面模様６３である場合、当該特徴点の観測フロー量は仮想路面フロー量と等しくなる。すなわち、観測フロー量と仮想路面フロー量との差を調べることによって、物体候補が立体物と路面模様のいずれであるのかを識別することができる。以降では、観測フロー量と仮想路面フロー量との差を、フロー差と呼称する。このフロー差は、換言すれば、２つの時刻間における、画像に含まれる路面の位置ずれ量に対する、物体の位置ずれ量の相対値を示す指標である。また、フロー差の、画面上における高さ方向（ｙ軸方向と呼称することがある）の分布を、フロー差分布と呼称する。

図３に戻り、Ｓ１０５の処理の後、フロー差分布生成部１９は、Ｓ１０４で算出された観測フロー量とＳ１０５で算出された仮想路面フロー量とを用いて、物体候補のフロー差分布を生成する（Ｓ１０６）。以下、フロー差分布を生成する処理について説明する。

図１３は、実施例１における、フロー差分布を生成する処理の一例を示すフローチャートである。

まず、フロー差分布生成部１９は、Ｓ１０３で抽出した全ての物体候補の中から、未選択の物体候補を選択する（Ｓ４０１）。

続いて、フロー差分布生成部１９は、物体候補を構成する特徴点毎にフロー差を算出し、フロー差分布を生成する（Ｓ４０２）。具体的には、フロー差分布生成部１９は、ある特徴点について、Ｓ１０４で特徴点毎に算出された観測フロー量と、Ｓ１０５で算出された仮想路面フロー量との差分を求めることにより、フロー差を算出する。この算出処理を特徴点毎に実行することにより、物体候補の路面からの高さに対するフロー差の分布を得ることができる。

続いて、フロー差分布生成部１９は、フロー差分布の連続性を考慮しながら、フロー差分布のノイズを除去する（Ｓ４０３）。具体的には、フロー差分布生成部１９は、まずフロー差の移動平均を算出する。その後、フロー差分布生成部１９は、移動平均とフロー差との差分の値が所定の閾値以上となる箇所を除外することにより、ノイズを除去する。

続いて、フロー差分布生成部１９は、ノイズが除去されたフロー差分布に対してスムージング処理を実行する（Ｓ４０４）。具体的には、フロー差分布生成部１９は、まずノイズが除去されたフロー差に対して、再度移動平均を算出する。その後、フロー差分布生成部１９は、Ｓ４０３で設定した閾値よりも小さい閾値を用いて閾値を超えた箇所を除外することにより、スムージング処理を実行する。なお、Ｓ４０３およびＳ４０４を同一ステップとして実行することも可能であり、またはＳ４０２で生成されたフロー差分布の連続性の状態によっては、Ｓ４０４の処理を省略することも可能である。

続いて、フロー差分布生成部１９は、全ての物体候補を選択済みか否かを判定する（Ｓ４０５）。全ての物体候補を選択済みでないと判定された場合（Ｓ４０５否定）、Ｓ４０１に戻り、Ｓ４０１以降の処理を再び実行する。一方、全ての物体候補を選択済みであると判定された場合（Ｓ４０５肯定）、Ｓ１０６の処理を終了し、Ｓ１０７に移行する。以上のようにして、フロー差分布生成部１９は、フロー差分布を生成する処理を実行する。

図３に戻り、Ｓ１０６の処理の後、モデル照合部２０は、Ｓ１０６で生成したフロー差分布を複数のフロー差分布モデルと照合し、物体候補に対応するフロー差分布モデルを決定する（Ｓ１０７）。この処理をモデル照合処理と呼称する。以下、モデル照合処理について説明する。

図１４は、実施例１における、モデル照合処理の一例を示すフローチャートである。

まず、モデル照合部２０は、Ｓ１０３で抽出した全ての物体候補の中から、未選択の物体候補を選択する（Ｓ５０１）。続いて、モデル照合部２０は、物体候補の画像上の位置に基づいて、物体候補の種類と路面の傾斜状態の種類との組み合わせ毎に、複数のフロー差分布モデルを生成する（Ｓ５０２）。ここで、フロー差分布モデルの生成方法について説明する。

まず、モデル照合部２０は、最新時刻ｔ２における撮像画面から、カメラ座標系ｘｈにおける物体候補の特徴点の座標ｘｈ２を抽出する。その後、モデル照合部２０は、抽出された座標ｘｈ２と、図１の移動量検出部１７によって取得された移動体の回転行列Ｒｗおよび並進ベクトルＴｗとを式７に代入することにより、座標ｘｈ２から移動体座標系Ｘｗにおける座標Ｘｗ２へ変換する。

続いて、モデル照合部２０は、算出された座標Ｘｗ２と、回転行列Ｒｗおよび並進ベクトルＴｗとを式５に代入することにより、時刻ｔ１のときの座標Ｘｗ１を算出する。

続いて、モデル照合部２０は、算出された座標Ｘｗ１と、回転行列Ｒｗおよび並進ベクトルＴｗとを式６に代入することにより、座標Ｘｗ１からカメラ座標系ｘｈにおける座標ｘｈ１へ変換する。

その後、モデル照合部２０は、座標ｘｈ１と座標ｘｈ２との差分を求めることにより、当該特徴点におけるフロー量を算出する。そして最後に、モデル照合部２０は、算出されたフロー量と、Ｓ１０５で得られた仮想路面フロー量との差分を求めることにより、当該特徴点におけるフロー差を算出する。

以上の処理を、物体候補の各特徴点について実行する。これによりモデル照合部２０は、画面の高さとフロー差との関係のモデルである、フロー差分布のモデルを生成することができる。以降では、このモデルをフロー差分布モデルと呼称する。本実施形態では、勾配の角度に応じて補正した式５、式６および式７を用いることにより、物体候補の種類（立体物または路面模様）と、路面の傾斜状態（平坦な路面、上り勾配の路面および下り勾配の路面）との組み合わせ毎に、複数のフロー差分布モデルを生成する。各式の補正は、勾配の角度に基づく係数または補正項で座標の値を補正する、公知の数学（幾何学）を用いた方法によって行うことができる。

図１５は、平坦な路面におけるフロー差分布モデルの一例を示す図である。図１６は、平坦な路面の一例を示す図である。

図１５（ａ）は、平坦な路面の画像の一例を示す図である。画像５０ａには、路面５５ａ上に設けられた立体物５１ａおよび路面模様５２ａの像が含まれている。立体物５１ａの右側の点線の枠５３ａ内には、立体物５１ａの輪郭に沿った複数の特徴点が存在するが、図１５（ａ）では省略されている。また、路面模様５２ａの右側の点線の枠５４ａ内には、路面模様５２ａの輪郭に沿った複数の特徴点が存在するが、図１５（ａ）では同様に省略されている。

図１５（ｂ）は、平坦な路面における、立体物のフロー差分布モデルの一例である。このフロー差分布モデルは、枠５３ａ内の複数の特徴点に基づいて生成されたものである。また、このフロー差分布モデルは、図１６に示すように、路面５５ａに対する立体物５１ａの上端の高さが、路面５５ａに対するカメラ３０の高さと等しい場合の例である。立体物５１ａの上端の高さとカメラ３０の高さとが等しい場合、車両６０が立体物５１ａの方向に移動しても、立体物５１ａの上端の特徴点の位置は変化しない。このため、当該特徴点の観測フロー量は零となる。さらに、立体物の上端が路面であると仮定した場合、カメラ３０から立体物５１ａの上端までの視線は路面５５ａと平行となるため、車両６０が立体物５１ａの方向に移動しても、立体物５１ａの上端に対応する路面上の点は存在しない。このため、立体物５１ａの上端にある特徴点に対応する仮想路面フロー量は零と見做すことができる。よって、観測フロー量と仮想路面のフロー量との差分であるフロー差は、零と算出される。

一方、図１６に示すように、立体物５１ａの下端は路面５５ａ上にある。このため、移動体が立体物５１ａの方向に移動した場合における立体物５１ａの下端にある特徴点の観測フロー量と、立体物５１ａの下端が路面５５ａ上にあると仮定した場合における、立体物５１ａの下端にある特徴点の仮想路面フロー量とは等しくなる。よって、観測フロー量と仮想路面のフロー量との差分であるフロー差は、零と算出される。

以上のことから、図１５（ａ）に示すような、立体物５１ａの上端と下端におけるフロー差が零で、立体物５１ａの上端と下端との間でフロー差が極大となるフロー差分布モデルを得ることができる。なお、立体物のフロー差分布モデルのプロファイルは固定されたものではなく、立体物の位置、大きさ、形状、または立体物とカメラ３０との位置関係に応じて生成されるものである。

図１５（ｃ）は、平坦な路面における、路面模様のフロー差分布モデルの一例である。このフロー差分布モデルは、枠５４ａ内の複数の特徴点に基づいて生成されたものである。路面模様５２ａを構成する全ての特徴点は路面５５ａ上にある。したがって、平坦な路面５５ａでは、路面模様５２ａの全ての特徴点において、観測フロー量と、当該特徴点が路面上にあると仮定した場合の仮想路面フロー量とは等しくなる。よって、観測フロー量と仮想路面のフロー量との差分であるフロー差は、路面５５ａ上の位置に関わらず零と算出される。

以上のことから、図１５（ｃ）に示すような、路面模様５２ａの上端から下端までフロー差が零となるフロー差分布モデルを得ることができる。路面模様のフロー差分布モデルのプロファイルは、路面が平坦である場合は、立体物の大きさによって高さ方向の長さが変動するものの、路面模様によらず略同様である。

図１７は、上り勾配を有する路面におけるフロー差分布モデルの一例を示す図である。図１８は、上り勾配を有する路面の一例を示す図である。

図１７（ａ）は、上り勾配を有する路面の画像の一例を示す図である。画像５０ｂには、上り勾配を有する路面５５ｂ上に設けられた立体物５１ｂおよび路面模様５２ｂの像が含まれている。立体物５１ｂの右側の点線の枠５３ｂ内には、立体物５１ｂの輪郭に沿った複数の特徴点が存在するが、図１７（ａ）では省略されている。また、路面模様５２ｂの右側の点線の枠５４ｂ内には、路面模様５２ｂの輪郭に沿った複数の特徴点が存在するが、図１７（ａ）では同様に省略されている。

図１７（ｂ）は、上り勾配を有する路面における、立体物のフロー差分布モデルの一例である。このフロー差分布モデルは、枠５３ｂ内の複数の特徴点に基づいて生成されたものである。

路面５５ｂが上り勾配を有する場合、立体物５１ｂの輪郭に含まれる複数の特徴点のうち、車両６０の直下の路面６１に対するカメラ３０の高さと等しい高さにある特徴点では、車両６０が立体物５１ｂの方向に移動しても、特徴点の位置は変化しない。このため、当該特徴点の観測フロー量は零となる。

さらに、カメラ３０の高さと等しい高さにある立体物５１ｂ中の特徴点が路面であると仮定した場合、車両６０が立体物５１ｂの方向に移動しても、当該特徴点に対応する路面５５ｂ上の点は変化しない。このため、当該特徴点に対応する仮想路面フロー量も零となる。よって、観測フロー量と仮想路面のフロー量との差分であるフロー差は、零と算出される。

以上のことから、図１７（ｂ）に示すような、立体物５１ｂの上端と下端との間にフロー差が零となる点が存在し、立体物５１ｂの上端または下端に行くにしたがってフロー差が大きくなるフロー差分布モデルを得ることができる。

図１７（ｃ）は、上り勾配を有する路面における、路面模様のフロー差分布モデルの一例である。このフロー差分布モデルは、枠５４ｂ内の複数の特徴点に基づいて生成されたものである。また、このフロー差分布モデルは、図１８に示すように、路面模様５２ｂのうち、カメラ３０から最も遠方に位置する特徴点の高さ、すなわち画像５０ｂに含まれる路面模様５２ｂの上端にある特徴点が、カメラ３０の高さと等しい場合の例である。

路面５５ｂが上り勾配を有する場合、図１８に示すように、路面模様５２ｂ全体が、車両６０の直下の路面６１よりも高い位置にある。すなわち、路面模様５２ｂは、路面５５ｂが仮に平坦であれば、立体物と見做せる高さにある。そして、２つの時刻間の、路面模様５２ｂの上端の視差の変化は零であり、路面模様５２ｂの下端に行くほど視差の変化が大きくなる。このため、図１７（ｃ）に示すような、路面模様５２ｂの上端におけるフロー差が零で、下端に行くほどフロー差が大きくなるフロー差分布モデルを得ることができる。

図１９は、下り勾配を有する路面におけるフロー差分布モデルの一例を示す図である。図２０は、下り勾配を有する路面の一例を示す図である。

図１９（ａ）は、下り勾配を有する路面の画像の一例を示す図である。画像５０ｃには、下り勾配を有する路面５５ｃ上に設けられた立体物５１ｃおよび路面模様５２ｃの像が含まれている。立体物５１ｃの右側の点線の枠５３ｃ内には、立体物５１ｃの輪郭に沿った複数の特徴点が存在するが、図１９（ａ）では省略されている。また、路面模様５２ｃの右側の点線の枠５４ｃ内には、路面模様５２ｃの輪郭に沿った複数の特徴点が存在するが、図１９（ａ）では同様に省略されている。

図１９（ｂ）は、下り勾配を有する路面における、立体物のフロー差分布モデルの一例である。このフロー差分布モデルは、枠５３ｃ内の複数の特徴点に基づいて生成されたものである。

路面が下り勾配を有する場合、図２０の例では、立体物５１ｃの一部は車両６０の直下の路面６１よりも低い位置にある。また、立体物５１ｃの上端は、カメラ３０の高さよりも低い位置にある。このため、フロー差分布モデルとしては、図１９（ｂ）に示すように、車両６０の直下の路面６１と同じ高さにある特徴点でフロー差が零となる。そして、当該特徴点から上端へ向かう方向では、上端に行くにつれてフロー差が極大となり、その後フロー差が小さくなるものの、立体物５１ｃの上端ではフロー差が零とはならないプロファイルが得られる。そして、当該特徴点から下端へ向かう方向では、下端に行くにつれてフロー差がマイナス方向に大きくなるプロファイルを得ることができる。

図１９（ｃ）は、下り勾配を有する路面における、路面模様のフロー差分布モデルの一例である。

路面５５ｃが下り勾配を有する場合、車両６０が路面模様５２ｃの方向に移動したときの視差の変化は、路面模様５２ｃが平坦な路面６１にある場合よりも小さい。また、仮想路面フロー量は、路面模様５２ｃに含まれる特徴点が、路面５５ｃでなく平坦な路面６１上にあると仮定した場合のフロー量である。したがって、路面模様５２ｃが下り勾配を有する路面５５ｃ上にある場合は、観測フロー量よりも仮想路面フロー量の方が大きくなり、観測フロー量と仮想路面フロー量との差分であるフロー差はマイナスとなる。このため、図１９（ｃ）に示すような、路面模様５２ｃの上端におけるフロー差が零に限りなく近くなり、下端に行くほどフロー差がマイナス方向に大きくなるフロー差分布モデルが得られる。

以上のようにして、Ｓ５０２において、モデル照合部２０は、路面の傾斜状態および対象物の組み合わせ毎に複数のフロー差分布モデルを生成する。図１５、図１７および図１９には、２種類の物体候補（立体物および路面模様）と３種類の路面の傾斜状態（平坦な路面、上り勾配の路面および下り勾配の路面）との組み合わせによる６種類のフロー差分布モデルが示されている。但し、実際の路面の傾斜状態は無限に存在するため、６種類には限定されない。Ｓ５０２では、予め想定される勾配の角度を設定しておき、設定された角度に基づいて処理を実行することが好ましい。

図１４に戻り、Ｓ５０２で複数のフロー差分布モデルを生成した後、モデル照合部２０は、物体候補を構成する特徴点の中から、未選択の特徴点を選択する（Ｓ５０３）。Ｓ５０３では、物体候補を構成する特徴点のうち、最も路面に近い側、すなわち画面上のｙ座標が最も小さい位置から順に選択していくことが好ましい。例えば、図７に示す高さ方向へ向かって、順次特徴点を選択していくことが好ましい。あるいは、物体候補を構成する特徴点のうち、最も路面から遠い側、すなわち画面上のｙ座標が最も大きい位置から順に選択していくことが好ましい。例えば、図７に示す高さ方向の逆方向へ向かって、順次特徴点を選択していくことが好ましい。これらの方法によれば、画面上のｙ座標の値の昇順または降順に従って特徴点を選択していくため、後述する乖離量が大きく変化する位置を特定しやすく、物体候補を２つに分離する処理を容易に行うことができる。物体候補を２つに分離する処理については後述する。

続いて、モデル照合部２０は、選択された特徴点の位置における、物体候補のフロー差分布と複数のフロー差分布モデルの各々との乖離量を算出する（Ｓ５０４）。

続いて、モデル照合部２０は、選択済みの特徴点の数が所定の数以上であるか否かを判定する（Ｓ５０５）。選択済みの特徴点の数が所定の数以上でないと判定された場合（Ｓ５０５否定）、Ｓ５０１に戻り、Ｓ５０１以降の処理を再び実行する。一方、選択済みの特徴点の数が所定の数以上であると判定された場合（Ｓ５０５肯定）、モデル照合部２０は、複数のフロー差分布モデルから、物体候補のフロー差分布との乖離量が最も小さいフロー差分布モデルを選択する（Ｓ５０６）。具体的には、モデル照合部２０は、特徴点毎に算出した乖離量の積算値または平均値を乖離量と見做し、フロー差分布モデル同士で比較することにより、乖離量が最も小さいフロー差分布モデルを選択する。

続いて、モデル照合部２０は、Ｓ５０６の処理で用いた乖離量が、閾値未満であるか否かを判定する（Ｓ５０７）。乖離量が、閾値未満であると判定された場合（Ｓ５０７肯定）、モデル照合部２０は、Ｓ５０６で選択したフロー差分布モデルを、物体候補に対応するフロー差分布モデルとして決定する。このように、選択されたフロー差分布モデルの乖離量を閾値と比較してから、物体候補に対応するフロー差分布モデルとして決定する。これにより、フロー差分布モデルの決定を誤りなく実行することができる。また、後述するように、物体候補が複数の物体によって構成されていることを検知することができる。

一方、乖離量が、閾値未満でないと判定された場合（Ｓ５０７否定）、物体候補が複数の物体によって構成されていると見做され、物体候補を分離する処理を実行する（Ｓ５０８）。ここで、物体候補を分離する処理について説明する。

図２１は、路面模様および立体物の像が画面上で重なったときの、画像、物体候補およびフロー差分布の一例を示す図である。図２１（ａ）に示すように、画像５０ｄには立体物５１ｄ、路面模様５２ｄ、および路面５５ｄの像が含まれている。路面模様５２ｄの上に立体物５１ｄが存在する場合、またはカメラ３０から見て立体物５１ｄの背後に路面模様５２ｄが存在する場合は、図２１（ａ）に示すように、立体物５１ｄと路面模様５２ｄとが繋がった物体の画像が取得される。このため、図２１（ｂ）に示すように、立体物５１ｄと路面模様５２ｄとが繋がったときにできる輪郭を有する物体候補５９が、Ｓ１０３で抽出される可能性がある。

このような場合、物体候補５９のフロー差分布として、例えば図２１（ｃ）に示すようなフロー差分布７０が、Ｓ１０６で生成されることとなる。このフロー差分布７０は、路面模様５２ｄのフロー差分布と立体物５１ｄのフロー差分布の複合体であるため、これを用いてＳ１０７における照合処理を実行すると、類似するフロー差分布モデルを見つけることが困難となる。そこでモデル照合部２０は、このような物体候補５９が検出された場合には、立体物と路面模様とを区別して検出するため、物体候補を２つに分離する。

図２２は、路面模様および立体物によって構成される物体候補の検出例および分離方法の一例を示す図である。

図２２（ａ）に示すように、画面上のｙ座標の値が小さい順にフロー差分布７０のｙ座標を選択していくと、処理の初期段階では路面模様を構成する特徴点のｙ座標が選択される。この場合、選択されたｙ座標に対応するフロー差と、路面模様のフロー差分布モデルの当該ｙ座標に対応するフロー差とは略一致するため、乖離量は略零となる。

ところが、選択されるｙ座標の値の増加に伴って、立体物を構成する特徴点のｙ座標の選択が開始されると、図２２（ｂ）に示すように、その開始点を境に、選択されたｙ座標に対応するフロー差と、路面模様のフロー差分布モデルの当該ｙ座標に対応するフロー差との間の乖離量が急に大きくなる。そこで、モデル照合部２０は、図２２（ｃ）に示すように、開始点でフロー差分布７０を上下に分離し、図２２（ｄ）に示すように、フロー差分布７１，７２を生成する。このフロー差分布７１，７２が、物体候補５９を分離して得られた２つの物体候補のフロー差分布に対応する。

その後、２つの物体候補の各々について、フロー差分布モデルを決定するＳ１０７の処理を実行する。図１５，図１７および図１９に示す複数のフロー差分布モデルを参照すると、下側のフロー差分布７２は路面模様のフロー差分布に類似する。このため、路面模様のフロー差分布モデルが下側の物体候補に対応するフロー差分布モデルとして決定される。一方、図１５，図１７および図１９に示す複数のフロー差分布モデルを参照すると、上側のフロー差分布７１は立体物のフロー差分布に類似する。このため、立体物のフロー差分布モデルが上側の物体候補に対応するフロー差分布モデルとして決定される。このように、物体候補５９が立体物と路面模様とによって構成されている場合、物体候補５９を分離することにより、立体物と路面模様とを区別して検出することが可能となる。

図１４に戻り、Ｓ５０８において、モデル照合部２０は、Ｓ５０４で算出した乖離量の情報に基づいて、物体候補を分離する。具体的には、モデル照合部２０は、ｙ座標の値の増加に伴う乖離量の変化を参照し、乖離量が所定の閾値よりも低いレベルから高いレベルに推移する位置で、物体候補を上下に分離する。Ｓ５０８の処理の後、Ｓ５０１に戻り、Ｓ５０１以降の処理を再び実行する。

一方、Ｓ５０７において、乖離量が、閾値未満であると判定された場合（Ｓ５０７肯定）、モデル照合部２０は、全ての物体候補について選択済みか否かを判定する（Ｓ５０９）。全ての物体候補について選択済みでないと判定された場合（Ｓ５０９否定）、Ｓ５０１に戻り、Ｓ５０１以降の処理を再び実行する。一方、全ての物体候補について選択済みであると判定された場合（Ｓ５０９肯定）、Ｓ１０７の処理を終了し、Ｓ１０８に移行する。以上のようにして、モデル照合部２０は、モデル照合処理を実行する。

図３に戻り、Ｓ１０７の処理の後、出力部２１は、Ｓ１０３で抽出した物体候補の中に立体物であると判定された物体候補が存在する場合に、判定結果を出力する（Ｓ１０８）。具体的には、出力部２１は、Ｓ１０７の処理の結果、立体物のフロー差分布モデルに対応する物体候補が物体候補の中に存在する場合に、立体物が検出された旨を出力する。

以上のようにして、物体検出装置１００による立体物を検出する処理を実行する。

図２３は、路面の勾配を考慮せずに立体物の検出処理を行った場合の問題点を説明する図である。図２３（ａ）は、平坦な路面における、立体物のフロー差分布モデルの一例を示す図である。図２３（ｂ）は、平坦な路面における、路面模様のフロー差分布モデルの一例を示す図である。図２３（ｃ）は、上り勾配を有する路面における、路面模様のフロー差分布モデルの一例を示す図である。図２３（ｄ）は、下り勾配を有する路面における、路面模様のフロー差分布モデルの一例を示す図である。

図２３（ａ）〜図２３（ｄ）の各々に示されている２本の点線は、立体物であるか否かを判定するために用いるフロー差の閾値を示している。物体候補のフロー差分布モデルのプロファイルが２本の点線の内側に収まる場合、物体候補は立体物ではないと判定される。一方、物体候補のフロー差分布モデルのプロファイルが２本の点線の内側に収まらない場合、すなわち、プロファイルの少なくとも一部が点線から外側にはみ出ている場合は、立体物であると判定される。

例えば、図２３（ａ）の例では、プロファイルが右側の点線よりも右側にはみ出していることから、立体物であると判定される。一方、図２３（ｂ）の例の場合は、プロファイルが２本の点線の内側に収まっていることから、立体物でないと判定される。このように、上述の判定方法は、路面が平坦な場合では立体物を検出する上で有効である。

しかしながら、路面に勾配がある場合は、路面模様であるにも関わらず、立体物として誤って検出されてしまう可能性がある。例えば、上り勾配を有する路面の場合、図２３（ｃ）に示すように、路面模様のフロー差分布モデルのプロファイルが、右側の点線から外側にはみ出している。このため、実際は路面模様であるにも関わらず、立体物として検出されてしまう。また、下り勾配を有する路面の場合、図２３（ｄ）に示すように、路面模様のフロー差分布モデルのプロファイルが、左側の点線から外側にはみ出している。このため、実際は路面模様であるにも関わらず、立体物として検出されてしまう。

実施例１の実施形態によれば、取得された画像中の物体候補の位置に基づいて、物体候補の種類および路面の傾斜状態の組み合わせ毎に、プロファイルの異なる複数のフロー差分布モデルを生成する。そして、物体候補のフロー差分布に最も類似するフロー差分布モデルを、生成された複数のフロー差分布モデルの中から抽出して決定する。この方法により、上述の誤検出の問題を解決することができ、路面の傾斜状態に関わらず、路面模様と区別して立体物の存在を検知することが可能となる。

（実施例２）
次に、実施例２について説明する。実施例１では、図３のＳ１０７において、全ての物体候補について、複数のフロー差分布モデルの中から、取得したフロー差分布に類似するモデルを選択、決定した後、Ｓ１０８において、立体物であると判定された物体候補が存在するか否かを判定している。これに対して実施例２では、物体候補に対応するフロー差分布モデルが決定される度に、当該物体候補が立体物であるか否かを判定することを特徴としている。なお、実施例２を実現するための物体検出装置は、図１および図２に例示されている物体検出装置の構成を用いることができるため、説明を省略する。

図２４は、実施例２における、物体検出装置による立体物の検出方法の一例を示すフローチャートである。

Ｓ１０１からＳ１０６までの処理は、実施例１で行う処理と同様であるので、説明は省略する。Ｓ１０６の後、モデル照合部２０は、Ｓ１０６で生成したフロー差分布を複数のフロー差分布モデルと照合し、物体候補に対応するフロー差分布モデルを決定する。そして、決定されたモデルが立体物に関連する場合、立体物が検出された旨を出力する（Ｓ１０７ａ）。以下、Ｓ１０７ａの処理について説明する。

図２５は、実施例２における、モデル照合処理および立体物を検出する処理の一例を示すフローチャートである。

Ｓ５０１からＳ５０６までの処理は、実施例１で行う処理と同様であるので、説明は省略する。Ｓ５０６の後、モデル照合部２０は、Ｓ５０６の処理で用いた乖離量が、閾値未満であるか否かを判定する（Ｓ５０７）。乖離量が、閾値未満でないと判定された場合（Ｓ５０７否定）、物体候補を分離する処理を実行する（Ｓ５０８）。Ｓ５０８の処理は、実施例１で行う処理と同様であるので、説明は省略する。

一方、乖離量が、閾値未満であると判定された場合（Ｓ５０７肯定）、モデル照合部２０は、Ｓ５０６で選択したフロー差分布モデルを、物体候補に対応するフロー差分布モデルとして決定する。そして、出力部２１は、決定されたフロー差分布モデルが立体物に関連する場合、立体物が検出された旨を出力する（Ｓ５０８ａ）。その後、モデル照合部２０は、全ての物体候補について選択済みか否かを判定する（Ｓ５０９）。全ての物体候補について選択済みでないと判定された場合（Ｓ５０９否定）、Ｓ５０１に戻り、Ｓ５０１以降の処理を再び実行する。一方、全ての物体候補について選択済みであると判定された場合（Ｓ５０９肯定）、物体検出装置１００による立体物を検出する一連の処理を終了する。

以上のようにして、実施例２における、立体物を検出する処理を実行する。

実施例２の実施形態によれば、物体候補に対応するフロー差分布モデルが決定される度に、当該物体候補が立体物であるか否かを判定する。この方法によれば、全ての物体候補についてのフロー差分布モデルを決定する処理が終了するのを待つことなく、立体物が検出され次第、その旨をすぐに出力することができる。よって、立体物の検出結果を出力するタイミングを実施例１よりも早めることができる。

以上、本発明の好ましい実施例について詳述したが、本発明は特定の実施例に限定されるものではなく、種々の変形や変更が可能である。例えば、路面模様のフロー差分布モデルは、取得した画像の中に既知の路面模様を示す画像がある場合は、当該画像に基づいて生成するようにしてもよい。また、これまで説明した実施形態では、画像入力部１２が撮像部１１から画像を受信する度に、画像内の物体候補に応じた複数のフロー差分布モデルを生成した。しかし、物体の種類や路面の傾斜状態に応じた典型的なフロー差分布モデルを予めメモリなどに複数種類格納しておき、これらを参照しながらモデル照合処理を実行するようにすることもできる。この方法によれば、複数のフロー差分布モデルを生成する処理を省略することができるため、物体の検知速度の向上を図ることができる。また、本実施形態における立体物として、例えば建築物の屋内の天井から突出した物体若しくは吊り下げられた物体、または建築物の屋内の側壁から突出した物体を含めることもできる。

なお、前述した物体検出装置および情報処理方法をコンピュータに実行させるコンピュータプログラム、およびそのプログラムを記録した、非一時的なコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、非一時的なコンピュータ読み取り可能な記録媒体は、例えばＳＤメモリカードなどのメモリカードである。なお、前記コンピュータプログラムは、前記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

１１：撮像部
１２：画像入力部
１３：時系列画像ＤＢ
１４：特徴点抽出部
１５：物体候補抽出部
１６：観測フロー量算出部
１７：移動量検出部
１８：仮想路面フロー量算出部
１９：フロー差分布生成部
２０：モデル照合部
２１：出力部
３０：カメラ
３１：入力装置
３２：ＣＰＵ
３３：ＲＯＭ
３４：ＲＡＭ
３５：ストレージ装置
３６：ディスプレイ
３７：スピーカ
３８：媒体駆動装置
３９：バス
４０：可搬型記憶媒体
５０，５０ａ，５０ｂ，５０ｃ，５０ｄ：画像
５１，５２，５９：物体候補
５１ａ，５１ｂ，５１ｃ，５１ｄ：立体物
５２ａ，５２ｂ，５２ｃ，５２ｄ：路面模様
５３，５３ａ，５３ｂ，５３ｃ，５４，５４ａ，５４ｂ，５４ｃ：枠
５５，５５ａ，５５ｂ，５５ｃ，５５ｄ：路面
５６，５７，５８：視線
６０：車両
６１：路面
６２：立体物
６３：路面模様
６４，６６：矢印
６５：撮像面
７０，７１，７２：フロー差分布
１００：物体検出装置

Claims (7)

1. 移動体に設けられる撮像部で第１時刻に撮影された第１画像と、前記第１時刻から所定時間経過した時刻である第２時刻に撮影された第２画像とが入力される入力部と、
   前記入力された第１画像と第２画像から前記移動体が移動する移動面上に存在する物体の特徴点を抽出する特徴点抽出部と、
   前記第１画像における前記物体が前記移動面上に沿って存在すると仮定した場合における前記第２時刻の前記特徴点の位置と前記第１画像における前記物体の特徴点の位置との第１変化量と、前記第１画像における前記物体の特徴点の位置と前記第２画像における前記物体の特徴点の位置との画像上の位置の変化量である第２変化量との差を示すフロー差を算出することによって、前記物体のフロー差分布を生成するフロー差分布生成部と、
   前記フロー差分布を、予め想定される前記移動面の複数の勾配状態の各々について作成された、前記物体が前記移動面に沿って存在する物体の画像である場合、または突出して存在する物体の画像である場合の少なくとも一方に対応する複数のフロー差分布モデルと照合し、前記物体が前記突出して存在する物体であるか否かを判定するモデル照合部と、
   を有することを特徴とする物体検出装置。
2. 前記モデル照合部は、
   前記複数のフロー差分布モデルの各々と、前記フロー差分布生成部によって生成された前記フロー差分布との類似度に基づいて、前記複数のフロー差分布モデルの中から前記物体に対応するフロー差分布モデルを決定し、
   前記決定されたフロー差分布モデルが前記突出して存在する物体に関連する場合に、前記物体が前記移動面上に突出して存在する物体であると判定する、
   ことを特徴とする請求項１記載の物体検出装置。
3. 前記モデル照合部は、
   前記複数のフロー差分布モデルのうち、前記フロー差分布生成部によって生成された前記フロー差分布との乖離量が最も小さいフロー差分布モデルを選択し、
   前記選択されたフロー差分布モデルの乖離量が所定の閾値未満である場合、前記選択されたフロー差分布モデルを前記物体に対応するフロー差分布モデルとして決定する、
   ことを特徴とする請求項２記載の物体検出装置。
4. 前記モデル照合部は、
   前記選択されたフロー差分布モデルの乖離量が所定の閾値よりも大きい場合、前記フロー差分布を複数のフロー差分布に分離し、
   前記複数のフロー差分布の各々と前記複数のフロー差分布モデルとを照合することによって、前記複数のフロー差分布の各々に対応する物体が前記突出して存在する物体であるか否かを判定することを特徴とする請求項３記載の物体検出装置。
5. 複数の画像の各々から、第１の物体と第２の物体とを含む複数の前記第１画像と前記第２画像が抽出された場合、前記複数のフロー差分布モデルの中から前記第１の物体に対応するフロー差分布モデルを決定する処理と、前記第１の物体が前記突出して存在する物体であるか否かを判定する処理とを実行した後に、前記複数のフロー差分布モデルの中から前記第２の物体に対応するフロー差分布モデルを決定する処理と、前記第２の物体が前記突出して存在する物体であるか否かを判定する処理と、を実行することを特徴とする請求項１〜４のいずれか１項に記載の物体検出装置。
6. 物体検出装置による物体検出方法であって、
   移動体に設けられた撮影部によって第１時刻に撮影された第１画像と、前記第１時刻から所定時間経過した時刻である第２時刻に撮影された第２画像とから、前記移動体が移動する移動面上に存在する物体の特徴点を抽出し、
   前記第１画像における前記物体が前記移動面上に沿って存在すると仮定した場合における前記第２時刻の前記特徴点の位置と前記第１画像における前記物体の特徴点の位置との第１変化量と、前記第１画像における前記物体の特徴点の位置と前記第２画像における前記物体の特徴点の位置との画像上の位置の変化量である第２変化量との差を示すフロー差を算出することによって、前記物体のフロー差分布を生成し、
   前記フロー差分布を、予め想定される前記移動面の複数の勾配状態の各々について作成された、前記物体が前記移動面に沿って存在する物体の画像である場合、または突出して存在する物体の画像である場合の少なくとも一方に対応する複数のフロー差分布モデルと照合し、前記物体が前記突出して存在する物体であるか否かを判定する、
   ことを特徴とする物体検出方法。
7. 物体検出装置に、
   移動体に設けられた撮影部によって第１時刻に撮影された第１画像と、前記第１時刻から所定時間経過した時刻である第２時刻に撮影された第２画像とから、少なくとも前記移動体が移動する移動面上に存在する物体の特徴点を抽出する処理と、
   前記第１画像における前記物体が前記移動面上に沿って存在すると仮定した場合における前記第２時刻の前記特徴点の位置と前記第１画像における前記物体の特徴点の位置との第１変化量と、前記第１画像における前記物体の特徴点の位置と前記第２画像における前記物体の特徴点の位置との画像上の位置の変化量である第２変化量との差を示すフロー差を算出することによって、前記物体のフロー差分布を生成する処理と、
   前記フロー差分布を、予め想定される前記移動面の複数の勾配状態の各々について作成された、前記物体が前記移動面に沿って存在する物体の画像である場合、または突出して存在する物体の画像である場合の少なくとも一方に対応する複数のフロー差分布モデルと照合し、前記物体が前記突出して存在する物体であるか否かを判定する処理と、
   を実行させるための情報処理プログラム。