JP2017068700A - 物体検出装置、物体検出方法、及びプログラム - Google Patents

Abstract

【課題】前方車両等の物体を適切に検出することができる物体検出装置を提供する。
【解決手段】車両検出装置１は、走行中の車両から撮像した画像に基づいて、自車両との相対距離が変動する前方車両を検出する装置である。自車両に搭載されたカメラ１０と、画像中において路面を含む領域を探索領域として決定する探索領域決定部１２と、探索領域を境界線によって上方領域と下方領域に二分し、上方領域には拡大率一定のオプティカルフローモデルを適用し、下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるコスト最小化部１３と、境界線に基づいて前方車両の有無を判定する車両有無判定部１４とを備える。
【選択図】図２

Description

本発明は、カメラにて撮像した画像に基づいて物体を検出する技術に関し、特に、車両に搭載して用いられるものに関する。

従来、車両周辺の移動体を認識して、ドライバへの報知ないし警告や車両の自動制動（以下、単に「報知」という。）を行う移動体認識システムが知られている。自車両から移動体までの距離は、ミリ波レーダ等の距離センサを用いて直接測定でき、又はステレオカメラを用いて画像処理を行なって測定できる。測定された距離を時系列に並べて分析することで、移動体の移動方向及び自車両に対する相対速度を求めることができる。そして、移動体の移動方向や自車両に対する相対速度を求めることで、その移動体が車両に衝突する可能性（危険性）を求めることができ、その危険性に基づいて報知を行なうことができる。

また、簡易で安価な移動体認識システムとして、一系統の光学系及び撮像素子しかない単眼のカメラによって移動体を認識するシステムも知られている。カメラ画像を用いた移動体認識の代表的な方法は、事前に記憶した車両画像（教師データ）とのマッチングを行うことで画像認識を行う方法である。別の方法としては、時間的に連続した複数の画像における特徴点の動き（オプティカルフロー）に着目した方法も知られている（特許文献１、２）。

特許４９１９０３６号公報 特開２０１４−２９６０４号公報

画像認識により車両を認識する方法は、事前に検出対象の車両に関する大量の教師データが必要である。また、大量の教師データを用意しておいたとしても、通常の車両とは異なる特殊形状を有する車両を検出することができないという課題があった。また、特許文献１、２に記載されたオプティカルフローに着目した発明では、カメラの撮像画像の特性上、横方向に動く物体は検出しやすいが、自車両からカメラの消失点の方向に沿って動く物体を検出することが難しい場合があった。

本件発明は、上記背景に鑑み、例えば前方車両等の物体を適切に検出することができる物体検出装置を提供することを目的とする。

本発明の物体検出装置は、走行中の車両から撮像した画像に基づいて、車両との相対距離が変動する物体を検出する装置であって、車両に搭載されたカメラと、前記画像中において路面を含む領域を探索領域として決定する探索領域決定部と、前記探索領域を境界線によって上方領域と下方領域に二分し、前記上方領域には拡大率一定のオプティカルフローモデルを適用し、前記下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、前記カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるコスト最小化部と、前記境界線に基づいて物体の有無を判定する判定部とを備える。

図１は、前方車両を撮像した画像の例を示す図である。ここでは、路上にある物体の例として車両を取り上げて説明しているが、前方にある物体は、道路面から略垂直に直立している物体であればよく、例えば、人、動物、路上工事看板等でも検出することが可能である。

前方車両の背面は、多少の凹凸を有するものの、自車両から前方車両までの距離に比べれば凹凸は微小であり、道路面から略垂直に直立する平面と近似できる。前方車両が接近したり、あるいは離れていった場合には、前方車両が映る車両領域は一定の拡大率で画像が拡大または縮小する。したがって、２つの時刻間における画像座標の対応関係を記述するオプティカルフローモデルは、車両領域においては拡大率一定のモデルで表される。

これに対し、路面が映る路面領域では、画像は路面（平面）に拘束されるため、路面領域上の点はカメラの消失点から手前に「八の字状」に広がって移動する。したがって、路面領域では、オプティカルフローモデルは、平面拘束モデルで表される。

このように、車両領域と路面領域とでは、オプティカルフローのモデルが異なる。本発明は、これらのオプティカルフローモデルの違いに着目し、２つのオプティカルフローモデルを同時に最適化する上方領域及び下方領域を探索することで、車両領域と路面領域の境界を見つけ、車両領域にある車両を検出するものである。すなわち、探索領域を境界線によって上方領域と下方領域に二分し、上方領域に拡大率一定のオプティカルフローモデルを適用し、下方領域に平面拘束条件を有するオプティカルフローモデルを適用して、異なる時刻に撮像した複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを計算する。境界線が、車両領域と路面領域とを仕切る真の境界に近くなればなるほど、つまり上方領域が車両領域と一致し、下方領域が路面領域と一致する度合いが高くなればなるほど、それぞれのオプティカルフローモデルへの当てはまりが良くなり、対応点における画素値の差分に関するコストが小さくなる。この原理を利用して、車両領域と路面領域とを仕切る境界線を求め、当該境界線に基づいて物体の有無を検出することができる。

本発明の物体検出装置において、前記探索領域は前記画像内の固定の領域であって、前記コスト最小化部は、前記探索領域を上下に二分し得る境界線のうちで、前記コストを最小にする境界線を求めてもよい。

このように探索領域を固定しておき、探索領域内で境界線を変更して上方領域と下方領域を変動させることで、固定された探索領域内に映る物体と路面とを分離する境界線を見つけることができる。

本発明の物体検出装置において、前記探索領域は前記画像の消失点を基準として拡大・縮小する可変の領域であって、前記コスト最小化部は、前記可変の探索領域のうちで、前記コストを最小にする探索領域とその境界線を求めてもよい。

このように探索領域を移動させることにより、画像に映る物体と路面とを切り分ける境界線を見つけることができる。

本発明の物体検出装置において、前記境界線は、前記上方領域と前記下方領域の面積が等しくなるように設定してもよい。

発明者らは、実験により、上方領域と下方領域の面積が大きく異なると誤検出のおそれがあるのに対し、双方の面積が等しい場合には適切な結果が得られることを見出した。本発明の構成により、物体検出の精度を高めることができる。

本発明の物体検出装置は、前記画像から道路の白線を検出する白線検出部を備え、前記探索領域決定部は、前記白線検出部にて検出された白線に基づいて、前記探索領域を決定してもよく、路面に合わせた形状の探索領域を決定してもよい。

本発明は、下方領域には路面が、上方領域には物体が映ることを前提としてオプティカルフローモデルを適用するので、下方領域には路面以外のものが含まれない方がよく、また、上方領域には、路面でも物体でもないものが含まれないほうがよい。本発明の構成によれば、白線に基づいて路面の形状に合わせた適切な形状の探索領域を決定することにより、物体検出の精度を高めることができる。

本発明の物体検出装置は、車両のセンサから取得した車両の速度または回転角速度のデータを受信する走行データ受信部を備え、前記コスト最小化部は、車両の速度または回転角速度のデータを用いて、コスト最小化計算を行ってもよい。

このように車両のセンサから取得した車両の速度または回転角速度のデータを既知の変数として用いることにより、コスト最小化計算を簡単なものにすることができる。

本発明の物体検出装置は、前記コスト最小化部で求めた値に基づいて、検出した物体が車両に衝突するまでの時間を求めるＴＴＣ計算部を備えてもよい。また、本発明の物体検出装置は、前記コスト最小化部で求めた境界線を物体の下端部として、物体までの距離を求める距離計算部を備えてもよい。

この構成により、物体が車両に衝突するまでの時間や物体までの距離に応じて、例えば、ドライバに危険を報知することができる。

本発明の物体検出装置において、前記判定部は、前記コスト最小化部で求めたコストを最小とする上方領域および下方領域を前記画像の消失点を基準として拡大・縮小させたときのコストの変動を求め、コストの変動が所定の閾値以内である場合には、物体が存在しないと判定する構成を有する。

この構成により、消失点から放射状にテクスチャが変化しないようなシーンにおいて、物体が存在しない場合に、物体を誤検出するリスクを低減できる。

本発明の物体検出方法は、走行中の車両から撮像した画像に基づいて、車両との相対距離が変動する物体を物体検出装置によって検出する方法であって、車両に搭載されたカメラによって車両の前方または後方を撮像するステップと、前記物体検出装置が、前記画像中において路面を含む領域を探索領域として決定するステップと、前記物体検出装置が、前記探索領域を境界線によって上方領域と下方領域に二分し、前記上方領域には拡大率一定のオプティカルフローモデルを適用し、前記下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、前記カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるステップと、前記物体検出装置が、前記境界線に基づいて物体の有無を判定するステップとを備える。

本発明のプログラムは、走行中の車両から撮像した画像に基づいて、車両との相対距離が変動する物体を検出するためのプログラムであって、コンピュータに、車両に搭載されたカメラによって撮像した画像を取得するステップと、前記画像中において路面を含む領域を探索領域として決定するステップと、前記探索領域を境界線によって上方領域と下方領域に二分し、前記上方領域には拡大率一定のオプティカルフローモデルを適用し、前記下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、前記カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるステップと、前記境界線に基づいて物体の有無を判定するステップとを実行させる。

本発明によれば、事前に記憶した教師データを用いることなく、カメラ画像に基づいて、適切に物体と路面の境界を求めることができる。

本発明の原理を説明するための図である。 第１の実施の形態の物体検出装置の構成を示す図である。 第１の実施の形態の探索領域の例を示す図である。 （ａ）及び（ｂ）は、第１の実施の形態の車両有無の判定について説明するための図である。 第１の実施の形態の物体検出装置の動作を示す図である。 第２の実施の形態の探索領域の例を示す図である。 （ａ）及び（ｂ）は、第２の実施の形態の車両有無の判定について説明するための図である。 特殊背景において、車両の誤検出を防止するしくみについて説明するための図である。 （ａ）及び（ｂ）は、拡大率を変化させたときのコストの変化を示す図である。 第４の実施の形態の物体検出装置の構成を示す図である。 第４の実施の形態の探索領域の例を示す図である。 第５の実施の形態の物体検出装置の構成を示す図である。

以下、本発明の実施の形態の物体検出装置について、図面を参照しながら説明する。以下の説明では、検出対象として前方車両を検出する車両検出装置を例として説明するが、本発明の物体検出装置の検出対象の物体は、前方車両に限定されず、例えば、歩行者、動物、道路工事看板等の物体も検出することが可能である。

（第１の実施の形態）
［車両検出装置の構成］
図２は、第１の実施の形態の車両検出装置１の構成を示す図である。車両検出装置１は、カメラ１０と、カメラ１０にて撮像した画像に基づいて車両の有無を検出する処理を行う制御部１１と、検出結果を出力する出力部１６とを有している。出力部１６は、警報出力装置３０に接続されており、警報出力装置３０は、車両有無の判定結果に基づいて警報を出力する。

カメラ１０は、自車両の進行方向を撮像するように、車両に設置される。カメラ１０は車両の前方を撮像するように、例えば、ルームミラーの裏側（前方側）に設置されてよい。カメラ１０は、一系統の光学系及び撮像素子を備えた単眼のカメラ１０である。カメラ１０は、所定の周期で（例えば１／３０秒ごとに）連続的に撮像をして画像信号を出力する。

カメラ１０は、路面が平坦なとき、カメラ１０の光軸と路面とが平行になるように設置されている。カメラ１０の光軸をＺ軸、鉛直下方向をＹ軸とし、Ｘ軸は右手座標系により定義する。カメラ１０の光学中心が車両座標系の原点になることが望ましいが、もしカメラ１０の光学中心と車両座標系の原点とが一致していない場合には、キャリブレーションによってその差分を求めておく。キャリブレーションによって求めた値や路面からのカメラ１０の高さ等は、カメラ１０の設定情報１８として記憶部１７に記憶しておく。

制御部１１は、カメラ１０にて撮像された複数の画像に基づいて、前方車両を検出する機能を有している。本実施の形態では、連続する時刻に撮像された２枚の画像に基づいて前方車両を検出する例を説明するが、３枚以上の画像を用いて前方車両を検出することも可能である。以下、制御部１１が前方車両を検出する処理について説明する。

図３は、探索領域決定部１２が決定した探索領域Ｒの例を示す図である。探索領域Ｒは、主として下方において路面の領域を含む矩形形状の領域である。本実施の形態では、探索領域Ｒは、記憶部１７に記憶された領域決定パラメータ１９に基づいて、画像内で固定的に決定される。領域決定パラメータ１９としては、例えば、矩形状の探索領域Ｒの頂点の座標値が記憶されている。

探索領域Ｒは、横方向に延びる境界線Ｂによって上方領域Ｒａと下方領域Ｒｂとに二分される。境界線Ｂの位置は可変であり、したがって、上方領域Ｒａ及び下方領域Ｒｂも可変である。物体検出装置１は、探索領域Ｒ内に車両が映った車両領域が存在するときに、車両領域に一致する度合いが最大となるような上方領域Ｒａを規定する境界線Ｂを求める。

上述したとおり、上方領域Ｒａに適用されるオプティカルフローモデルは拡大率一定のモデルであり、下方領域Ｒｂに適用されるオプティカルフローモデルは平面拘束条件を有するモデルであり、２つのオプティカルフローモデルは異なる。このオプティカルフローモデルのデータ２０は、記憶部１７に記憶されている。オプティカルフローモデルについては、後述する。

コスト最小化部１３は、時間的に連続する２枚の画像に上記の２つのオプティカルフローモデルを適用して２枚の画像中での対応点を求め、対応点の画素値の差分に関するコストを最小化するような上方領域Ｒａ及び下方領域Ｒｂ（すなわち、そのような上方領域Ｒａ及び下方領域Ｒｂを規定する境界線Ｂ）を求める機能を有する。具体的には、上方領域Ｒａに対しては拡大率一定のオプティカルフローモデルを適用し、下方領域Ｒｂに対しては平面拘束条件を有するオプティカルフローモデルを適用することで、２枚の画像の探索領域Ｒ内の各点の対応点を求める。時間的に連続する２枚の画像においては、対応点の画素値は、変化しないという前提をおくことができるので、対応点が正しく求まれば、２つのオプティカルフローモデルの当てはまりが良くなって、対応点の画素値の差分に関するコストは最小となる。なお、このような前提が成立するために２枚の画像の撮像時刻は十分に近いことが必要である。

車両有無判定部１４は、コスト最小化部１３で求めた境界線Ｂに基づいて車両の有無を判定する機能を有する。図４は、車両の有無の判定について説明するための図である。車両有無判定部１４は、カメラ画像の消失点から横方向に延びる水平線Ｈと境界線Ｂとの距離に基づいて車両の有無を判定する。図４（ａ）に示すように、水平線Ｈと境界線Ｂとの距離が所定の閾値以上である場合には車両があると判定し、図４（ｂ）に示すように、水平線Ｈと境界線Ｂとの距離が所定の閾値未満の場合には車両がないと判定する。境界線Ｂが水平線Ｈの近傍まで上昇した場合には、車両が水平線Ｈより上に大きく映っているということは考え難いからである。なお、仮に、車両が存在していたとしても、自車両から相当に遠いため、自車両の走行上、ほとんど問題とならない。車両の有無を判定するための判定閾値２１は記憶部１７に記憶されており、車両有無判定部１４は記憶部１７から判定閾値２１を読み出して車両有無の判定に用いられる。

ＴＴＣ計算部１５は、車両領域の拡大率に基づいて、前方車両が自車両に衝突するまでの時間を示すＴＴＣ（Time to Contact）を計算する。ＴＴＣの計算の仕方については後述する。

以上、制御部１１の処理について説明したが、上記した処理をコンピュータに実行させるためのプログラムも本実施の形態の範囲に含まれる。

［オプティカルフローモデル］
次に、オプティカルフローモデルについて説明する。まず、以下の説明で用いる記号について次のとおり定義する。

上方領域Ｒａに車両オプティカルフローモデルを適用すると共に、下方領域Ｒｂに路面オプティカルフローモデルを適用して、対応する点の画素値の差分をとることで、以下のようにコスト関数を定義する。なお、コスト関数は、２つの画像の対応点の差分に関するコストを求める式であればよく、下記の式に限定されない。

次に、上記のコスト関数をカメラ座標系に変換するが、それに先立って、以下の説明で用いる記号について以下のとおり定義する。

上記に定義した変数を用いて、一般にあてはまるオプティカルフローモデルを計算し、その上で、車両領域にあてはまる拘束条件と路面領域にあてはまる拘束条件を適用することで、車両オプティカルフローモデルと路面オプティカルフローモデルとを求める。
まず、時刻ｔでの自車座標系から見た物***置
と、時刻ｔ＋１での自車座標系から見た物***置
との関係をモデル化する。

自車の運動による座標変換に伴うオプティカルフローは、以下のように表される。

物体の運動による座標変換に伴うオプティカルフローは、以下のように表される。

上記より、自車と物体の両方の運動を考慮すると、オプティカルフローは以下のように表される。

なお、上記のオプティカルフローモデルにおいて、物体の回転中心座標を変数として扱うことは困難であるので、Γｔ＝Ｉと近似して、次式のように物体の回転中心座標が現れない形で扱うものとする。

次に、オプティカルフローモデルをカメラ画像の座標（ｘ，ｙ）の動きに変換する。ここでは、カメラ１０の撮像モデルとして単純な投影変換を用いるが、レンズ歪み等を考慮してより高度なモデルを用いることも可能である。

次に、拘束条件を考える。物体が車両である場合、物体の背面は車間距離に対して十分小さい程度の奥行き変化しかしないと考えられるので、
は一定であると仮定する。また、回転Ωも小さいとして差し支えない。この拘束条件を当てはめると、上記のオプティカルフローの式は、次のように変形できる。ただし、テイラー展開を行って、２次以上の項を無視した。

画像が路面である場合、路面は回転も並進もしない。また、平坦な路面を仮定すると、カメラ１０の設置高さは一定なので、拘束条件は以下のように表される。

また、位置に依存する項
を消去する拘束条件
も入れる。

これにより、上記したオプティカルフローの式は、次のように変形できる。

車両領域の拘束条件を有するオプティカルフローモデルを式（１）のコスト関数Ｊの上方領域Ｒａの式ρ^Cに適用すると共に、路面領域の拘束条件を有するオプティカルフローモデルをコスト関数Ｊの下方領域Ｒｂの式ρ^Rに適用して、コスト関数Ｊを作る。そして、コスト関数Ｊに含まれる変数
と、上方領域Ｒａと下方領域Ｒｂとを規定する境界線Ｂの位置とを変数として、次の式（２）によってコスト関数を最小にする変数を求める。
これにより、コスト関数Ｊを最小にする境界線Ｂ位置を含む各変数の値が求められる。

ここで、車両のオプティカルフローモデルに含まれる変数ｅを１から引いた値１−ｅは車両領域の画像の拡大率を示す。コスト最小化で求められたｅを用いて、−１／ｅによってＴＴＣ（Time to Contact）を求めることができる。

図５は、第１の実施の形態の車両検出装置１の動作を示す図である。車両検出装置１は、カメラ１０にて車両前方を連続的に撮像し、撮像した画像を取得する。車両検出装置１は、取得した画像において、前方車両を探索する探索範囲を決定する（Ｓ１０）。探索領域Ｒの例は、図３に例示したとおりである。

次に、車両検出装置１は、記憶部１７からオプティカルフローモデルのデータ２０を読み出し、コスト関数を生成する。記憶部１７には、オプティカルフローモデルのデータ２０として、拡大率一定のオプティカルフローモデルのデータと、路面拘束条件ありのオプティカルフローモデルのデータが記憶されている。コスト最小化部１３は、読み出したオプティカルフローモデルのデータ２０を、探索領域Ｒの上方領域Ｒａと下方領域Ｒｂのそれぞれに適用してコスト関数を生成する。コスト最小化部１３は、コスト関数を最小化する変数の組合せを求める（Ｓ１１）。

車両検出装置１は、コスト最小化部１３で求めた変数の一つである境界線Ｂの位置のデータに基づいて、画像中に車両があるか否かを判定する（Ｓ１２）。車両の有無の判定は、上述したとおり、境界線Ｂと水平線Ｈとの距離が所定の閾値未満か否かによって判断する。

続いて、車両検出装置１は、コストを最小にする変数を用いてＴＴＣを計算する（Ｓ１３）。具体的には、コストを最小にするときのｅの値を用いて、ＴＴＣ＝−１／ｅによって求める。車両検出装置１は、ＴＴＣの値を警報出力装置３０に送信する。

警報出力装置３０は、ＴＴＣが所定の閾値より小さいか否かを判定し（Ｓ１４）、ＴＴＣが所定の閾値より小さい場合には（Ｓ１４でＹＥＳ）、ドライバに対して警報を出力する（Ｓ１５）。これにより、例えば、前方車両に急接近したときなどに、ドライバに注意喚起して追突事故を回避することができる。また、逆に、自車両が信号待ち等で停止しているときに、前方車両が離れていくことを検知したときに（ＴＴＣの値が負の場合）、前方車両に続くことを促すために警報を出力することもできる。

本実施の形態では、車両領域と路面領域のそれぞれの特徴にあったオプティカルフローモデルを探索領域Ｒの上方領域Ｒａと下方領域Ｒｂに適用してコスト計算を行うことで、探索領域Ｒに車両が映っている場合には、車両領域と下方領域Ｒｂとを分ける境界線Ｂを求め、この境界線Ｂの位置によって車両の有無を判定することができる。これにより、予め教師データを持っていなくても、画像中から前方車両を検出することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の車両検出装置について説明する。第２の実施の形態の車両検出装置の基本的な構成は、第１の実施の形態の車両検出装置１と同じであり（図２参照）、探索領域Ｒの上方領域Ｒａと下方領域Ｒｂに異なるオプティカルフローモデルを適用して、異なる時刻に撮像した画像間のコストを計算する。第２の実施の形態の車両検出装置は、探索領域Ｒの決定の仕方が第１の実施の形態とは異なる。

図６は、第２の実施の形態の車両検出装置が決定する探索領域について説明するための図である。第２の実施の形態においては、探索領域の領域決定パラメータ１９として、現実空間内において路面に直立する平面を規定する情報を有する。例えば、高さ４ｍ×幅３ｍというように探索領域を規定する。この直立平面が自車両からどのくらい先にあるかを変化させることで、画像内における探索領域を規定する。図６に示すように、直立平面が自車両の近くにあれば画像内における探索領域Ｒ１は大きくなり、直立平面が自車両から遠ざかれば画像内における探索領域Ｒ２，Ｒ３は、カメラ画像の消失点を基準として同じ縦横比を保ったまま徐々に小さくなる。

第２の実施の形態において、探索領域Ｒ１〜Ｒ３を二分する境界線Ｂ１〜Ｂ３は、現実空間内において直立平面を上下に２等分する位置にある。直立平面が自車両から遠ざかるに従って、境界線Ｂ１〜Ｂ３は徐々に水平線に近くなっていく。第２の実施の形態の車両検出装置は、このような探索領域Ｒ１〜Ｒ３において、上方領域Ｒａに拡大率一定のオプティカルフローモデルを適用し、下方領域Ｒｂに路面拘束条件を有するオプティカルフローモデルを適用することによって、コストを最小化する境界線を求める。

次に、第２の実施の形態の車両検出装置において、車両の有無を判定する方法について説明する。図７は、第２の実施の形態における車両有無の判定について説明するための図である。第２の実施の形態においては、コストを最小化する探索領域Ｒに対応する直立平面までの距離によって車両が存在するか否かを判定する。図７（ａ）に示すように、この距離が所定の閾値以下の場合には、車両があると判定し、図７（ｂ）に示すように、直立平面までの距離が所定の閾値より大きい場合には、車両がないと判定する。

第２の実施の形態の車両検出装置も第１の実施の形態の車両検出装置１と同様に、予め教師データを持っていなくても、画像中から前方車両を検出することができる。また、第２の実施の形態では、探索領域Ｒは、境界線Ｂによって上方領域Ｒａと下方領域Ｒｂに等分されているので、発明者らの実験によれば、物体検出の精度を高めることができる。

（第３の実施の形態）
次に、第３の実施の形態の車両検出装置について説明する。第３の実施の形態の車両検出装置の基本的な構成は、第１の実施の形態の車両検出装置１と同じであるが（図２参照）、特殊な背景であっても、車両有無の誤判定を防止する機能が追加されている。ここでいう特殊な背景とは、実際には、前方に車両が実際に存在せず、道路の消失点から放射状にテクスチャが変化しないようなシーンである。例えば、砂漠の直線道路のようなシーンである。このようなシーンにおいては、上方領域Ｒａに車両が存在しない場合であっても、車両がある場合と同様の拡大率一定のオプティカルフローモデルが成り立ち、コストが小さく算出されてしまい、その結果、車両を誤検出してしまう可能性がある。

図８は、特殊背景において、車両の誤検出を防止するしくみについて説明するための図である。第３の実施の形態では、車両有無判定部１４は、コストを最小にする変数を決定した後に、探索領域Ｒを拡大させた領域Ｒｉと縮小させた領域Ｒｄを生成する。続いて、車両有無判定部１４は、コスト最小化部１３により、コストを最小化する変数が求まったオプティカルフローモデルを用いて、領域Ｒｉと領域Ｒｄのコストを算出する。

図９（ａ）及び図９（ｂ）は、拡大率を変化させたときのコストの変化を示す図である。車両が存在する場合には、拡大率を変化させると図９（ａ）に示すように急激にコストが大きくなる。拡大率を変化させた領域に、拡大率一定のオプティカルフローモデルが当てはまらない領域が入ってくるためである。車両がないにもかかわらず、特殊背景のせいで車両があると誤検出をしている場合には、拡大率を前後に変化させても図９（ｂ）に示すようにコストは大きく変化しない。拡大率が多少変わったとしても、探索領域Ｒの周辺でテクスチャが変化していないためである。

以上の性質を利用して、拡大率を変化させたときのコストの変化が所定の閾値より小さい場合には、コスト最小とする境界線Ｂの位置と水平線の位置との距離に基づいて車両があると判定されていたとしても、車両は存在しないと判定する。これにより、車両有無の判定の精度をより高めることができる。

なお、ここでは、第１の実施の形態の車両検出装置に対して誤検出防止のしくみを追加する例について説明したが、この誤検出防止の機能は第２の実施の形態の車両検出装置に対しても適用できる。

（第４の実施の形態）
図１０は、第４の実施の形態の車両検出装置４の構成を示す図である。第４の実施の形態の車両検出装置４の構成を示す図である。第４の実施の形態の車両検出装置４の基本的な構成は、第１の実施の形態の車両検出装置１と同じであるが、第４の実施の形態の車両検出装置４は、画像中から路面に引かれた白線を検出する白線検出部２２を備えている。路面に引かれた白線を検出する技術としては、道路と白線のエッジを抽出する方法や、テンプレートマッチング等の方法の公知技術を用いることができる。

第４の実施の形態の車両検出装置４は、白線検出部２２にて検出した白線の情報を用いて探索領域Ｒを決定する。図１１は、第４の実施の形態の探索領域決定部１２が決定した探索領域Ｒの例を示す図である。このように探索領域決定部１２は、特に下方の領域において、白線に沿った領域を決定する。これにより、路面の外側の画像を計算処理から省くことにより、道路の外側のビルや街路樹などの画像がノイズとして含まれることがなく、車両検出の精度を高めることができる。

（第５の実施の形態）
図１２は、第５の実施の形態の車両検出装置５の構成を示す図である。第５の実施の形態の車両検出装置５は、第１の実施の形態の車両検出装置１の構成に加えて、車両の速度を検出する速度センサ３１と車両の舵角を検出する舵角センサ３２からのデータを受信する走行データ受信部２３を備えている。

第５の実施の形態の車両検出装置５は、速度センサ３１から速度のデータを取得すると共に、舵角センサ３２からの舵角のデータを取得し、これらのデータを用いてコスト最小化の計算を行う。つまり、自車両の速度と回転角は既知の値となるので、第１の実施の形態において説明したコスト最小化の計算式（２）は、以下のようになり、コスト最小化の計算が容易になる。

なお、本実施の形態では速度センサ３１と舵角センサ３２の両方から走行データを受信する例について説明しているが、速度センサ３１または舵角センサ３２のいずれかから走行データを受信して、コスト最小化の計算を行ってもよい。この場合も未知の変数を減らして計算を簡単にすることができる。

以上、本発明の物体検出装置について、車両検出装置の実施の形態を例として説明したが、本発明の物体検出装置は、上記した実施の形態に限定されるものではない。

上記した実施の形態では、コスト最小化する変数の一つであるｅに基づいて、ＴＴＣを計算する例を挙げたが、コストを最小化する境界線Ｂを前方車両の下端であるとして、前方車両までの距離を求めてもよい。

上記した実施の形態では、自車両の前方の物体を検出する例について説明したが、自車両の後方の物体を検出することももちろん可能である。

また、本発明の物体検出方法を原理の異なる別の物体検出方法と組み合わせることにより、精度の高い物体検出を実現することができる。

以上に説明したとおり、本発明は、カメラ画像から物体を検出することができ、例えば、前方を走行する車両を検出する車両検出装置等として有用である。

１，４，５ 車両検出装置
１０ カメラ
１１ 制御部
１２ 探索領域決定部
１３ コスト最小化部
１４ 車両有無判定部
１５ ＴＴＣ計算部
１６ 出力部
１７ 記憶部
１８ カメラ設定情報
１９ 領域決定パラメータ
２０ オプティカルフローモデル
２１ 判定閾値
２２ 白線検出部
２３ 走行データ受信部
３０ 警報出力装置
３１ 速度センサ
３２ 舵角センサ

Claims (12)

1. 走行中の車両から撮像した画像に基づいて、車両との相対距離が変動する物体を検出する装置であって、
   車両に搭載されたカメラと、
   前記画像中において路面を含む領域を探索領域として決定する探索領域決定部と、
   前記探索領域を境界線によって上方領域と下方領域に二分し、前記上方領域には拡大率一定のオプティカルフローモデルを適用し、前記下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、前記カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるコスト最小化部と、
   前記境界線に基づいて物体の有無を判定する判定部と、
   を備える物体検出装置。
2. 前記探索領域は前記画像内の固定の領域であって、前記コスト最小化部は、前記探索領域を上下に二分し得る境界線のうちで、前記コストを最小にする境界線を求める請求項１に記載の物体検出装置。
3. 前記探索領域は前記画像の消失点を基準として拡大・縮小する可変の領域であって、前記コスト最小化部は、前記可変の探索領域のうちで、前記コストを最小にする探索領域とその境界線を求める請求項１に記載の物体検出装置。
4. 前記境界線は、前記上方領域と前記下方領域の面積が等しくなるように設定する請求項３に記載の物体検出装置。
5. 前記画像から道路の白線を検出する白線検出部を備え、
   前記探索領域決定部は、前記白線検出部にて検出された白線に基づいて、前記探索領域を決定する請求項１乃至４のいずれかに記載の物体検出装置。
6. 前記探索領域決定部は、路面に合わせた形状の探索領域を決定する請求項５に記載の物体検出装置。
7. 車両のセンサから取得した車両の速度または回転角速度のデータを受信する走行データ受信部を備え、
   前記コスト最小化部は、車両の速度または回転角速度のデータを用いて、コスト最小化計算を行う請求項１乃至６のいずれかに記載の物体検出装置。
8. 前記コスト最小化部で求めた値に基づいて、検出した物体が車両に衝突するまでの時間を求めるＴＴＣ計算部を備える請求項１乃至７のいずれかに記載の物体検出装置。
9. 前記コスト最小化部で求めた境界線を物体の下端部として、物体までの距離を求める距離計算部を備える請求項１乃至８のいずれかに記載の物体検出装置。
10. 前記判定部は、前記コスト最小化部で求めたコストを最小とする上方領域および下方領域を前記画像の消失点を基準として拡大・縮小させたときのコストの変動を求め、コストの変動が所定の閾値以内である場合には、物体が存在しないと判定する請求項１乃至９のいずれかに記載の物体検出装置。
11. 走行中の車両から撮像した画像に基づいて、車両との相対距離が変動する物体を物体検出装置によって検出する方法であって、
    車両に搭載されたカメラによって車両の前方または後方を撮像するステップと、
    前記物体検出装置が、前記画像中において路面を含む領域を探索領域として決定するステップと、
    前記物体検出装置が、前記探索領域を境界線によって上方領域と下方領域に二分し、前記上方領域には拡大率一定のオプティカルフローモデルを適用し、前記下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、前記カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるステップと、
    前記物体検出装置が、前記境界線に基づいて物体の有無を判定するステップと、
    を備える物体検出方法。
12. 走行中の車両から撮像した画像に基づいて、車両との相対距離が変動する物体を検出するためのプログラムであって、コンピュータに、
    車両に搭載されたカメラによって撮像した画像を取得するステップと、
    前記画像中において路面を含む領域を探索領域として決定するステップと、
    前記探索領域を境界線によって上方領域と下方領域に二分し、前記上方領域には拡大率一定のオプティカルフローモデルを適用し、前記下方領域には平面拘束条件を有するオプティカルフローモデルを適用して、前記カメラにて異なる時刻に撮像された複数の画像における対応点を求め、当該対応点の画素値の差分に関するコストを最小とする境界線を求めるステップと、
    前記境界線に基づいて物体の有無を判定するステップと、
    を実行させるプログラム。