JP2010020476A - 物体検出装置及び物体検出方法 - Google Patents

Abstract

【課題】立体物を正確に検出する物体検出装置を提供する。
【解決手段】車載のカメラ１０と、物体の撮像画像の情報に基づいて各画素の移動情報を算出する移動情報算出部２０と、移動情報に基づいて物体を検出する検出部３０とを備え、検出部３０は、移動情報に基づいて、移動情報の共通する画素が縦方向に連続する第１特徴領域を抽出し、移動情報に基づいて、移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域を抽出し、第１特徴領域が第２特徴領域の間に位置する場合は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する。
【選択図】 図１

Description

本発明は、車両周囲に存在する物体を検出する物体検出装置及び物体検出方法に関する。

ステレオカメラの撮像画像から得た撮像対象までの距離を示す距離画像を、俯瞰座標系へ変換し、俯瞰座標系で距離情報が存在しない領域のパターンについてパターンマッチングを行い、立体物か平面物かの判定を行う立体認識装置が知られている（特許文献１参照）。

特開２００５−３４６３８１号公報

しかしながら、ステレオカメラによる距離情報の影を利用して立体物を判定する際に、平坦で高さの低い立体物のパターンが、距離情報が存在しないパターンと近似してしまうため、道路の縁石や歩道のように平坦で高さの低い立体物を平面物として誤検出する可能性があるという問題があった。

本願発明が解決しようとする課題は、高さの低い立体物を平面物として誤検出することを低減させることである。

本発明は、移動情報の共通する画素が縦方向に連続する第１特徴領域が、移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域の間に存在する場合に、第１特徴領域と第２特徴領域とを含む領域を立体物と判定することにより、上記課題を解決する。

本発明によれば、移動情報の共通する画素が縦方向に連続する第１特徴領域と、移動速度の共通する画素が所定角度に沿って連なる第２特徴領域との位置関係に基づいて立体物の側面の特徴を検出することができるため、道路の縁石や歩道のように高さの低い立体物を平面物と誤検出することを低減することができる。

本実施形態に係る物体検出装置は、物体が立体であるか若しくは平面物であるかといった物体の属性を区別しつつ、車両周囲に存在する物体を検出する装置である。

≪第１実施形態≫
以下、図面に基づいて第１実施形態について説明する。

図１は、物体検出装置１００を含む車載装置１０００のブロック構成の一例を示す図である。図１に示すように、本実施形態の車載装置１０００は、物体検出装置１００と、この物体検出装置１００に車両情報を提供する車両コントローラ２００と、その車両情報を検出する各種センサ２１０と、物体検出装置１００の判定結果に基づく情報を出力する出力装置３００と、同じく物体検出装置１００の判定結果に基づいて走行支援を行う走行支援装置４００とを備える。物体検出装置１００、車両コントローラ２００、出力装置３００、走行支援装置４００は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡなどの動作回路を組み合わせて構成される。また、これらは、ＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続される。

また、本実施形態の物体検出装置１００は、撮像手段の一態様としてのカメラ１０と、移動情報算出部２０と、検出部３０を備える。なお、具体的な構成は特に限定されないが、移動情報算出部２０、検出部３０は、例えば、マイクロコンピュータとメモリから構成されて動作するプログラムや、それぞれの処理をカイロとして組み込んだＡＳＩＣ、ＦＰＧＡを用いることができる。

以下、物体検出装置１００が備える各構成について説明する。

まず、撮像手段の一例としてのカメラ１０について説明する。カメラ１０は、例えばＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子を有するカメラである。本実施形態のカメラ１０は、車両周囲（車両前方、車両後方、車両側方など）に存在する物体（立体、路面上の平面物を含む）を所定周期で撮像し、フレーム毎に撮像された画像を画像メモリ１１に順次出力する。画像メモリ１１は、カメラ１０により撮像された画像をアクセス可能な状態で記憶する。

図２は、カメラ１０の設置例を示す。図２（Ａ）はカメラを搭載する車両を側面から見た図、図２（Ｂ）はカメラを搭載する車両を上方から見た図である。図２に示すように、本実施形態では、１つのカメラ１０を車両に設置する。つまり、本実施形態では、単眼のカメラ１０で車両周囲を撮像する。本実施形態では、カメラ１０を車両の室内上部に車両前方に向けて設置する。そして、カメラ１０の光軸ＬＳが、車両の走行方向（ドライバ正面方向）のＺ方向に向くように調整し、撮像面の水平軸Ｘが路面と平行となるように調整し、さらに、撮像面の垂直軸Ｙが路面と垂直になるように調整する。

図３は、本実施形態のカメラ１０を用いて車両前方を撮像する画像の例である。カメラ１０による撮像画像は、画像左上の頂点を原点とするｘｙ座標系によって表される。そして、原点から右方向へ延在する軸をｘ軸とし、原点から下へ延在する軸をｙ軸とする。なお、図３に示す撮像画像には、立体の物体（立体）としてのポールと、平面の物体（平面物）としての路上の白線（白色以外の線も含む）が含まれている。

次に、移動情報算出部２０について説明する。この移動情報算出部２０は、特徴抽出部２１と算出部２２を備え、カメラ１０により撮像された物体（ポール、白線等を含む）の画像の情報に基づいて、画像中の物体に対応する画素の移動情報を算出する。

この特徴抽出部２１は、カメラ１０が撮像する各画像データ（フレーム）から、撮像された物体の画像上の動きを観測するため、物体の外延、物体の特徴的な部分を含む特徴部を抽出する。本実施形態の特徴抽出部２１は、カメラ１０で撮像された画像を画像メモリ１１から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化し、画像内に存在する物体のエッジを抽出する。このエッジ成分に基づいて、特徴部を抽出する。

本実施形態の特徴抽出部２１は、カメラ１０で撮像された画像を画像メモリ１１から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。

図４（ａ）に抽出された垂直方向のエッジの例を示す。次に、抽出された各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に膨張させる（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得る。

算出部２２は、特徴抽出部２１により抽出されたエッジから求められた特徴部の画素の速度を算出する。求めた特徴部の移動速度と移動方向は、撮像タイミング識別子又はフレーム識別子と対応づけて記憶する。この画素の移動情報は、画素の特定情報とともに、「画素の移動速度」と「画素の移動方向」とを含む。なお、一の画像データ中に複数の特徴部が存在する場合は、すべての特徴部について速度を算出する。

以下、本実施形態の移動情報算出部２０が行う、具体的な移動速度算出手法を説明する。

本実施形態の算出部２２は、カメラ１０により撮像された物体の画像の情報に基づいて、物体の輪郭に対応するエッジが検出された位置の画素のカウント値をカウントアップし、このカウント値の傾きに基づいて、エッジの移動速度及び移動方向を算出する。

本実施形態の移動情報算出部２０は、撮像タイミングが異なる画像データについて、各画像データに含まれるエッジに対応する画素の画素カウンタのカウンタ値を所定の手法で更新する。ここで、画素カウンタとは、各画素に設定されたカウンタであり、画素がエッジに対応する場合は画素カウンタのカウンタ値を＋１加算し、画素がエッジに対応しない場合は画素カウンタのカウンタ値を０とする（初期化する）カウンタである。このカウンタ値の更新処理を、カメラ１０により所定周期で繰り返し撮像されるフレーム毎に行う。この操作を行うと、エッジに対応する時間が長い画素は、対応する画素カウンタのカウンタ値が大きくなり、他方、エッジに対応する時間が短い画素は、対応する画素カウンタのカウンタ値が小さくなる。

この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになる。このため、このカウンタ値に基づいて、撮像画像上におけるエッジの移動方向と移動速度とを算出する。画像の座標系は方位を表しているため、エッジ、及びこのエッジに対応する特徴部の移動方向と移動速度を求めることができる。

さらに、図４に基づいて、算出部２２が行う移動情報の算出手法を説明する。図４は移動情報の算出処理を説明するための図、すなわち、抽出されたエッジが正規化されたエッジ画像を取得し、エッジのカウンタ値（滞留時間）から移動方向と移動速度を算出する処理を具体的に説明するための図である。

まず、特徴抽出部２１は、エッジ画像に対して２値化処理を行う。２値化処理とはエッジの検出された位置の画素を１とし、エッジの検出されなかった位置の画素を０とする処理である。図４（ａ）は抽出された垂直方向のエッジの２値化画像例を示す。

次に、図４（ｂ）に示すように、生成された２値化画像に対して、細線化処理を行う。細線化処理とは、検出されたエッジのエッジ幅を所定画素幅になるまで縮小する処理である。つまり、抽出された各エッジに対して細線化処理を行ってエッジ幅を絞る。本例では、図４（ｂ）に示すように、所定画素幅として１画素になるまでエッジのエッジ幅を細線化する。このようにエッジを所定の画素幅になるまで細線化することによって、エッジの中心となる中心位置を設定する。なお、本例では、１画素に細線化する例を示すが、細線化する画素数は特に限定されない。

次に、細線化されたエッジのエッジ幅を膨張させる膨張処理を行う。膨張処理とは、細線化によって設定された中心位置からエッジの移動方向に向かってエッジ幅が一定の幅となるように膨張させるとともに、中心位置からエッジの移動方向と反対方向にもエッジ幅を膨張させる処理である。本例では、細線化されたエッジのエッジ幅が３画素分の幅となるように、エッジを水平方向に膨張させる。この処理により、抽出されたエッジを正規化し、各エッジの幅が均一なエッジ画像を得る。具体的に、図４（ｃ）に示すように、エッジの中心位置ｘ０からエッジの移動方向（ｘ軸の正方向）に１画素膨張させるとともに、エッジの中心位置ｘ０からエッジの移動方向と反対方向（ｘ軸の負方向）に１画素膨張させて、エッジ幅を３画素に膨張させる。

このように細線化処理と膨張処理とを行うことによって、抽出されたエッジ画像のエッジ幅を、エッジの移動方向に向かって所定の幅に統一し、規格化する。

次に、算出部２２が移動情報を算出するために行う、カウントアップ処理について説明する。ここに言うカウントアップ処理とは、エッジが検出された画素の位置に対応するメモリアドレスの値をカウントアップし、エッジが検出されなかった画素の位置に対応するメモリアドレスの値を初期化する処理である。

以下、図４（ｃ）〜（ｆ）に基づいて算出部２２によるエッジのカウントアップ処理について説明する。説明の便宜のため、ここでは、エッジがｘ軸の正方向に移動する場合を例にして説明する。エッジがｘ軸の負方向やｙ軸方向、あるいは２次元的に移動する場合においても、基本的な処理手法は共通する。

図４（ｃ）に示すように、エッジはあるフレームにおいて位置ｘ０にエッジの中心位置がある。そして、その中心位置からエッジの移動方向に１画素の位置ｘ０＋１に膨張され、同様に、中心位置からエッジの移動方向と反対方向に１画素の位置ｘ０−１に膨張されている。

このようなエッジが検出された位置、「ｘ０−１」、「ｘ０」、「ｘ０＋１」に対応するメモリアドレスのカウント値は「＋１」カウントアップされる。他方、エッジが検出されなかった位置に対応するメモリアドレスのカウント値は、リセットされる。

例えば、図４（ｄ）では、時刻ｔにおいて、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」にエッジが検出されている。このため、それぞれの位置に対応するメモリアドレスのカウント値が各「１」カウントアップされる。その結果、位置「ｘ０＋１」のカウント値は「１」、位置「ｘ０」のカウント値は「３」、位置「ｘ０−１」のカウント値は「５」である。

次に、図４（ｅ）に示すように、時刻ｔ＋１になってもエッジが移動していないので、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」の各位置でエッジが検出される。このため、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値をさらに１ずつカウントアップする。その結果、位置「ｘ０＋１」のカウント値は２、位置「ｘ０」のカウント値は４、位置「ｘ０−１」のカウント値は６となる。

さらに、図４（ｆ）に示すように、時刻ｔ＋２では、エッジがｘ軸の正方向に１画素シフトして位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」の位置でエッジが検出される。このため、エッジが検出された位置「ｘ０」、「ｘ０＋１」、「ｘ０＋２」に対応するメモリアドレスのカウント値はカウントアップされる。他方、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「ゼロ」となる。その結果、図４（ｆ）に示すように位置「ｘ０＋２」のカウント値は１、位置「ｘ０＋１」のカウント値は３、位置「ｘ０」のカウント値は５となる。さらに、エッジが検出されなかった位置「ｘ０−１」のカウント値はリセットされ、「０」になっている。

このように、算出部２２は、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、エッジの検出されなかった位置に対応するメモリアドレスのカウント値をリセットする。

なお、図４に基づく説明においては、カウント値を検出する位置として、エッジの中心位置「ｘ０」と、この中心位置からエッジの移動方向へ１画素の位置「ｘ０＋１」と、中心位置からエッジの移動方向と反対方向に１画素の位置「ｘ０−１」の３箇所でカウント値を検出するが、後述するカウント値の傾きが求められれば、カウント値を検出するポイントの配置、数は限定されない。つまり、エッジの移動方向に対して２箇所以上においてカウント値を検出できれば、カウント値の検出箇所はいくつであってもよい。

また、物体が自車に対して一定角度で近づく場合、連続するフレーム間において、エッジは同じ位置で複数回検出される。例えば、図４の例では、連続する時刻ｔのフレームと時刻ｔ＋１のフレームにおいて、エッジは位置ｘ０において２回検出される。したがって、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップしていくと、そのカウント値はその位置においてエッジが検出されている時間（フレーム数、滞留時間）と相関する。

次に、本実施形態における、エッジの移動速度、移動方向及び位置の算出手法について説明する。本実施形態では、カウント値の傾きを算出し、この傾きに基づいて、エッジの移動速度、移動方向及び位置を算出する。

例えば、図４（ｅ）の場合では、位置「ｘ０−１」、「ｘ０」、「ｘ０＋１」のカウント値がそれぞれ「６」、「４」、「２」である。位置「ｘ０−１」のカウント値「６」から「ｘ０＋１」のカウント値「２」を引くと、カウント値の傾きＨは、Ｈ＝（６−２）／２＝２と算出できる。

これは、Ｈ＝｛（エッジが位置ｘ０−１に移動してから現在までの時間）−（エッジが位置ｘ０＋１に移動した後の時間）｝／（２画素）を意味する。つまり、傾きＨを算出することにより、エッジが、位置ｘ０にある１画素を通過するのに要する時間（フレーム数）を算出することになる。

したがって、カウント値の傾きＨは、エッジが１画素移動するために何フレームを要するかに相当し、このカウント値の傾きＨに基づいてエッジの移動速度１／Ｈを算出する。図４（ｅ）では１画素移動するのに２フレームを要することになるので、エッジの移動速度は１／２（画素／フレーム）と算出する。

続いて、カウント値の大小に基づいて、エッジの移動方向を判断する手法について説明する。エッジの無い位置にエッジが移動し、新たにエッジが検出された位置のカウント値は１となるから、各位置のカウント値の中では最も小さな値となる。したがって、エッジが移動する方向のカウント値は小さく、エッジが移動する方向と反対方向のカウント値は大きくなる。この傾向を利用して、エッジの移動方向を判断することができる。

以上のことから、エッジが検出された位置に対応するメモリアドレスのカウント値をカウントアップし、カウントアップされたカウント値の傾きに基づいてエッジの移動速度及び移動方向を算出することができる。

また、算出部２２は、撮像画像上に存在するエッジの移動情報を所定の階級値に分類し、移動情報の特徴を表現する移動画像を生成する。図５に移動画像の一例を示す。図５に示すように、本実施形態の移動画像では、移動情報が検出されたエッジの画素を丸印で表し、移動速度が速い画素ほど点を大きい丸印で表すことにより、画素の速度情報を表現する。また、移動方向が右、すなわち右方向へ移動する画素を塗りつぶした黒印で表し、移動方向が左、すなわち左方向へ移動する画素を色抜きの白印で表すことにより、画素の移動方向を表現する。このように、移動画像は、速度情報と移動方向を含む移動情報を表現できる。

ところで、車両が純粋に直進する場合、平面物の移動速度を検出することはない。しかしながら、通常の走行環境においては、直進以外の車両挙動が発生する。本実施形態では、通常の走行において発生する車両挙動に伴って生じるカメラ１０の挙動に基づいて、擬似的な速度を算出する。

図６は、車両にピッチング挙動が発生した場合の平面物（縁石の外延、歩道の外延、白線）の画像上の動きを説明するための図である。車両にピッチング挙動が発生したことにより、図６に示すａの位置にあった縁石に外延や白線は、次のフレームでｂの位置に画像上移動する。ピッチングによって縁石の外延や白線が動いたとき、画像上における縁石の外延や白線の動きは実線矢印Ｑの方向であるが、本実施形態の算出部２２は横方向の破線矢印ｑの方向の移動情報を算出する。

ちなみに、平面物、又は高さの低い立体物の上面はカメラ１０の動きによって観測される速度であることから、画像上で斜めに映る線分は画像上のどの位置にあっても（カメラからの距離にかかわらず）その線分上の移動速度は同一となる。

次に、検出部３０について説明する。検出部３０は、各画素の移動情報に基づいて、撮像された物体が立体物であるか否かを判定し、その判定結果を出力する。この検出部３０は、第１特徴領域抽出機能３１と、第２特徴領域抽出機能３２と、判定部とを備える。

以下、検出部３０が備える各構成について説明する。

まず、第１特徴領域抽出機能３１について説明する。第１特徴領域抽出機能３１は、移動情報の共通する画素が縦方向に連続する第１特徴領域を抽出する。

第１特徴領域抽出機能３１は、移動情報算出部２０により算出された特徴部の各画素の移動情報に基づいて、移動情報の共通する画素が縦方向に連続する領域を抽出する。「縦方向に移動情報が共通する画素が連続する」という特徴は、画像上における立体の特徴である。

特に限定されないが、立体の特徴である第１特徴領域を抽出するにあたり、画像中に特徴部が検出された位置の画素のカウント値をカウントアップしたカウント値の傾きに基づいて算出された移動情報を用いることができる。

第１特徴領域の抽出手法の一例を、図７に基づいて説明する。図７に示すように、まず、移動画像（図５参照）を縦方向（ｙ軸方向）に探索する。ただし、縦に連続する移動情報を有する画素列の抽出にあたり、画素列の上端画素と下端画素については、この移動情報の共通性判断の処理の対象としない。移動画像を縦方向に探索し、移動情報を持った画素Ａが見つかった場合、画素Ａに隣接する画素Ｂを探索する。画素Ｂが移動情報を有し、さらに画素Ｃに隣接する画素Ｃも移動情報を有する場合、画素Ｂと画素Ｃの速度方向の差（Ｅ３−Ｅ２）が閾値Ｒｅ以内であり、かつ、画素Ｂと画素Ｃの速度の大きさの差（Ｖ３−Ｖ２）が閾値Ｔｖ以内であれば、縦に連続していると判断する。次に、画素Ｃに隣接する画素Ｃについても同様に移動情報の有無を判断し、画素Ｂと画素Ｄの速度の方向（Ｅ４−Ｅ２が閾値Ｔｖ以内か）が閾値Ｒｅ以内か、速度の大きさの差（Ｖ４−Ｖ２）が閾値Ｔｖ以内かを判断する。以後、いずれかの条件を満たさなくなるまで繰り返す。

図７に示すように画素Ｎで条件を満たさなくなった場合、たとえば、画素Ｎに移動速度が無かった場合は画素Ａから画素Ｎ−１までの画素の数をカウントする。また、画素Ｎに移動速度はあるが、画素（Ｎ−１）の移動速度との差(Ｖｎ−Ｖｎ−1)が閾値Ｔｖを超えてしまった場合は、画素Ａから画素Ｎまでの画素の数をカウントする。さらにまた画素Ｎの速度の方向と画素Ｎ−１の速度の方向が所定値以上違う場合は画素Ａから画素Ｎまでを画素の数をカウントする。このように、移動情報が所定の条件を満たす画素の数をカウントする。そのカウント値が閾値ＴＨ以上であれば、その画素列を縦方向に移動情報が共通する第１特徴領域として抽出する。この縦連続成分を含む第１特徴領域は、立体の移動画像における特徴を備えていると考えられるので、第１特徴領域の画素に対応する物体は立体物の一部又は全部である可能性がある。

次に、第２特徴領域抽出機能３２について説明する。第２特徴領域抽出機能３２は、移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域を抽出する。

第２特徴領域の抽出手法は特に限定されないが、本実施形態では、第１特徴領域の上端画素を下端画素を用いた手法を説明する。もちろん、第２特徴領域抽出機能３２は、移動情報の移動速度が共通する画素を抽出し、その画素の分布を参照し、所定角度に沿って連なる画素を含む領域を第２特徴領域として抽出することができる。

本実施形態の第２特徴領域抽出機能３２は、第１特徴領域抽出機能３１により抽出された移動情報の共通する縦方向に連続する画素の上端画素と下端画素を抽出し、抽出された上端画素を含む領域及び抽出された下端画素を含む領域を、それぞれ第２特徴領域として抽出する。

まず、第２特徴領域抽出機能３２は、第１特徴領域の上端画素と下端画素とを抽出する。

第２特徴領域抽出機能３２は、第１特徴領域抽出機能３１が移動情報の共通性の判断対象から外した、上端画素（図７の画素Ａ）と下端画素（図７の画素Ｎ）を抽出する。画素Ｎに移動情報がなかった場合は、上端画素（図７の画素Ａ）と下端画素（図７の画素Ｎ−１）を抽出する。

そして、各画素について、上端画素であるか下端画素であるかの別と、画素のＸ座標と、画素のＹ座標と、画素の速度値とを対応づけた端画素テーブル記録する。この端画素テーブルの一例を図８に示す。

第２特徴領域抽出機能３２は、抽出された端点のうち、移動速度が同一（略同一と判断できる所定値以内）である端点をさらに抽出し、それらを含む第２特徴領域を抽出する。移動速度が同一（略同一と判断できる所定値以内）である端点を含む第２特徴領域は、直線状の領域となる。具体的には、図８に示す端画素テーブルを参照し、端画素テーブルに含まれる移動速度に着目し、まず先頭の画素Ａの速度Ｖａを基準とし、これに対してある閾値Ｔｖｇ以内の速度が（Ｖａ±Ｔｖｇ）範囲に当てはまる端点のみを選択する。

そして、移動速度（Ｖａ±Ｔｖｇ）の範囲の移動速度を持つ端画素の数が、閾値Ｔｎよりも少ない場合は、それらの端点を端画素テーブルから削除する。他方、移動速度（Ｖａ±Ｔｖｇ）の範囲の移動速度を持つ端画素の数が閾値Ｔｎ以上であった場合は、端画素テーブルに含まれるＸ座標の値に基づいて昇順でソートを行う。その結果を他のソートテーブルに移す。ソートテーブルの一例を図９に示す。

ソートテーブルにおいて、Ｘ座標が最も小さい端点Ｐ１は座標Ｘ１，Ｙ座標Ｙ１の値を有する。図１０に基づいて、共通の第２特徴領域にグルーピングされる端画素の条件を説明する。Ｘ１が画像の大きさの画素数Ｗｎの半分の座標値以下である場合、つまり（Ｘ１＜Ｗｎ／２）を満たし、Ｐ１が画像上左半分の領域にある場合は、Ｘ２＞Ｘ１かつＹ２＜Ｙ１を満たし、Ｘ２−Ｘ１＋Ｙ１−Ｙ２が最小となり（距離が最も近いものであり）、さらにＰ１の端点の属性が上端点であれば、上端点の（下端点である場合は下端点の）Ｐ２を探索する。そして、Ｐ２が全ての上記条件を満たす場合は、Ｐ１とＰ２は同じ線分上の点（所定角度の方向に沿って連なる点）と判断し、共通のグループＩＤを付加する。

また、画像上の右半分の領域についても同様の処理を行う。車両の左側にある物体に対応する画素は画像の左側に現れ、車両の右側にある物体に対応する画素は画像の右側に現れるからである。つまり、（Ｘ１＞Ｗｎ／２）となり、Ｐ１が画像上右半分にある場合は、Ｘ２＞Ｘ１かつＹ２＞Ｙ１を満たし、Ｘ２−Ｘ１＋Ｙ２−Ｙ１が最小となり、さらにＰ１の端点の属性が上端点であれば、上端点の（下端点である場合は下端点の）Ｐ２を探索する。そして、Ｐ２が全ての条件を満たす場合Ｐ１とＰ２は同じ線分上の点（所定角度の方向に沿って連なる点）と判断し、共通のグループＩＤを付加する。

同様に、Ｐ２を基準としてＰ３，Ｐ４に関しても同じ処理を行い、すべての端画素について処理が終わった時点で共通のグループＩＤが付加されている画素を、共通の第２特徴領域に属するグループとして第２特徴領域テーブルに移動させる。図１１は、第２特徴領域テーブルの一例を示す図である。

さらに、図９に一例を示すソートテーブルに残った端画素について、以上の処理を繰り返し行う。そして、共通のグループＩＤが付与される端画素がソートテーブルに存在しないと判断された場合は、ソートテーブル２にある端画素に関する情報を端画素テーブル及びソートテーブルから削除する。

続いて、図１１に一例を示す第２特徴領域テーブルにおいて、共通のグループＩＤが付された端画素の集合は、同一線分上（所定角度の方向に沿って連なる）移動速度の集合である。このため、共通のグループＩＤが付された端画素について最小２乗法を満たす線分を計算し、その線分を第２特徴領域として抽出する。

図１２は、共通のグループＩＤが付された端画素の集合から第２特徴領域を求める過程を示す図である。なお、共通のグループＩＤが付された端画素の集合から第２特徴領域を求める手法は、最小２乗法に限定されない。また、第２特徴領域を求める際に、共通のグループＩＤが付された端画素のうち、Ｙ座標値の大きい（カメラに近い）端画素の重みづけを大きくし、重みづけの大きい端画素の位置に基づいて第２特徴領域を算出してもよい。これにより、カメラ１０近傍の精度の高い情報を基準に第２特徴領域を求めることができる。

第１特徴領域抽出機能３１は、抽出した第１特徴領域に関する情報（画素の座標、移動情報を含む）を判定機能３３に送出する。また、第２特徴領域抽出機能３２は、抽出した第２特徴領域に関する情報（画素の座標、移動情報を含む）を判定機能３３に送出する。

次に、判定機能３３について説明する。

本実施形態の判定機能３３は、第１特徴領域が第２特徴領域の間に位置する場合は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する。

本実施形態の判定機能３３は、移動情報の共通する画素が縦方向に連続する第１特徴領域と移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域との位置関係に基づいて、立体物を検出する。

ここで、第１特徴領域と第２特徴領域との位置関係に基づいて立体物を検出する手法について説明する。

図１３に示す車両に搭載されたカメラ１０が車両前方を撮像すると、車両が走行する道路の左側にある縁石や歩道を含む撮像画像を得ることができる。その撮像画像の一例を図１４に示す。図１４に示すように、丸枠で囲んだ画像の左側には、縁石又は歩道が含まれる。縁石や歩道のように、上面が平坦で、高さが低い物体は、平面物と誤検出される場合がある。

本実施形態の物体検出装置１００は、物体の輪郭を構成する直線に対応する画素の移動情報の特徴と、物体の輪郭を構成する直線の位置関係に基づいて、立体物を検出する。

図１５（Ａ）は、図１３に示す縁石などの走行路に沿って延在する立体物のモデルである。図１５（Ｂ）に示すように同図（Ａ）に示す立体物は、所定角度の方向に沿って連なる直線成分Ｌと、縦方向に沿って連なる直線成分Ｋとを有する。

車両の走行路に沿って延びる直線は、カメラ１０の挙動により生じる移動情報に基づいて抽出されるため、画像の場所が異なっても、その移動速度及び／又は移動方向が同一であるという特徴を有するため、この特徴を利用して車両の走行路に沿って延在する立体物を構成する直線成分Ｌを抽出することができる。

しかし、カメラ１０から見て近傍から遠方へ延びる直線（車両の走行路に沿って延びる直線）には、路面の白線などの平面物も含まれるため、直線成分を抽出しただけでは、立体物であるか否かの判断はできない。

本実施形態では、所定角度の方向に沿って連なる直線成分Ｌの間に、移動情報が共通する画素が縦方向に連続する直線成分Ｋが存在する場合は、直線成分Ｌと直線成分Ｋとを含む物体を立体物として検出する。

直線成分Ｋに見られる「移動情報が共通する画素が縦方向に連続する」という特徴は、立体物特有のものである。このため、２本の直線成分Ｌの間に、「移動情報が共通する画素が縦方向に連続する」直線成分Ｋが存在する場合は、直線成分Ｌと直線成分Ｋはとともに同一の立体物を構成すると推測することができる。

また、本実施形態の判定機能３３は、さらに、位置関係比較機能３３１と、速度比較機能３３２を有し、正確に立体物を検出する。

まず、位置関係比較機能３３１について説明する。位置関係比較機能３３１は、第２特徴領域抽出機能３２により抽出された２つの第２特徴領域の傾きを比較する。そして、二つの第２特徴領域の傾きの差が所定の閾値以内であって、ほぼ同じ傾きを有すると判断でき、かつ、ほぼ同じ傾きを有する第２特徴領域の間に第１特徴領域が位置する場合は、その第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する。

具体的に、図１６に基づいて、第２特徴領域抽出機能３２により抽出された第２特徴領域について、同一の立体を構成する第２特徴領域のペアを判断する手法を説明する。

位置関係比較機能３３１は、第２特徴領域抽出機能３２により抽出されたすべての第２特徴領域の傾きを得る。つぎに、第１特徴領域抽出機能３１により抽出された第１特徴領域の下端画素のみで構成される第２特徴領域を複数求める。各第２特徴領域の端点の座標を比較し、Ｙ座標値が最も大きい（画像下側に位置する）端点を含む第２特徴領域を基準領域として設定する。図１６に示す例では、Ａ１及びＡ２を端点に有する第２特徴領域が基準領域となる。

位置関係比較機能３３１は、基準領域である第２特徴領域（Ａ１−Ａ２）の傾きとの差が最も小さく、その傾きの正負が同一であり、かつ第１特徴領域の上端画素のみで構成された第２特徴領域を基準領域である第２特徴領域（Ａ１−Ａ２）のペアと判断する。位置関係比較機能３３１は、上記条件を満たす第２特徴領域を抽出できなかった場合は、基準領域である第２特徴領域（Ａ１−Ａ２）を立体物の候補から除外する。

他方、位置関係比較機能３３１は、上記条件を満たす第２特徴領域を抽出できた場合は、各第２特徴領域を構成する画素の位置を比較する。

位置関係比較機能３３１が、第２特徴領域（Ａ１−Ａ２）の傾きとの差が最も小さく、その傾きの正負が同一であり、かつ第１特徴領域の上端画素のみで構成された第２特徴領域（Ｂ１−Ｂ２）を抽出した場合を例にして図１６に基づいて説明する。

図１６に示すように、第２特徴領域（Ａ１−Ａ２）とペアとなる第２特徴領域（Ｂ１−Ｂ２）が抽出できた場合は、第２特徴領域（Ａ１−Ａ２）を構成する画素の座標を、Ｘ座標の小さいほうからそれぞれＡ１（Ｘａ１，Ｙａ１），Ａ２（Ｘａ２，Ｙａ２）とし、第２特徴領域（Ｂ１−Ｂ２）を構成する画素の座標を、Ｘ座標の小さいほうからそれぞれＢ１（Ｘｂ１，Ｙｂ１），Ｂ２（Ｘｂ２，Ｙｂ２）とする。

まず、位置関係比較機能３３１は、第２特徴領域（Ａ１−Ａ２）と第２特徴領域（Ｂ１−Ｂ２）とが交わらない、すなわち、（Ｙｂ１＞Ｙａ１）かつ（Ｙｂ２＞Ｙａ２）を満たす場合には、第２特徴領域（Ａ１−Ａ２）と第２特徴領域（Ｂ１−Ｂ２）とはペアの第２特徴領域として判断する。

この条件とは独立に、又はこの条件に加えて、位置関係比較機能３３１は、第２特徴領域（Ａ１−Ａ２）と第２特徴領域（Ｂ１−Ｂ２）の線分の重心点の位置が、ある閾値Ｔｍより小さいとき，つまり｛（Ｘａ１＋Ｘａ２）／２−（Ｘｂ１＋Ｘｂ２）／２｝^２＋｛（Ｙａ１＋Ｙａ２）／２−（Ｙｂ１＋Ｙｂ２）／２｝^２＜Ｔｍを満たす場合には、第２特徴領域（Ａ１−Ａ２）と第２特徴領域（Ｂ１−Ｂ２）とはペアの第２特徴領域として判断する。

そして、判定機能３３は、ペアとなる第２特徴領域の間に第１特徴領域が位置する場合は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する。

次に、速度比較機能３３２について説明する。

速度比較機能３３２は、第２特徴領域の間に位置する複数の第１特徴領域の移動速度を比較する。そして、画像の下側に位置する第１特徴領域に属する画素の移動速度が、画像の上側に位置する第１特徴領域に属する画素の移動速度よりも相対的に早いか否かを判断する。

速度比較機能３３２は、位置関係比較機能３３１により判定されたペアとなる第２特徴領域の間に存在する第１特徴領域の移動速度を比較し、カメラ１０の手前側、つまりＹ座標が大きい領域（画像の下側領域）において相対的に移動速度が速く、カメラ１０から離隔する側、つまりＹ座標が小さい領域（画像の下側領域）では移動速度が相対的に遅くなるという特徴を有するか否かを判断する。

図１７には、第１特徴領域の下端点で構成される第２特徴領域（Ａ１−Ａ２）と、第１特徴領域の上端点で構成される第２特徴領域（Ｂ１−Ｂ２）を示す。Ａ１，Ｂ１のうちＸ座標の大きいＡ１の座標を（Ｘ１，Ｙ１１）とし、またＡ２，Ｂ２のうちＸ座標の小さいＢ２の座標を（Ｘ２，Ｙ２１）とする。Ａ１，Ｂ１のうちＸ座標の小さいＢ１を含む第２特徴領域Ｂ上で、Ｘ座標がＸ１になる点の座標を（Ｘ１，Ｙ１２）とする。同様に、Ａ２，Ｂ２のうちＸ座標の大きいＡ２を含む第２特徴領域Ａ上で、Ｘ座標がＸ２になる点の座標を（Ｘ２，Ｙ２２）とする。（Ｘ１，Ｙ１１）と（Ｘ１，Ｙ１２）の間に位置する画素について移動情報があるか否かを検索し、移動情報があればその移動速度の平均値Ｖｘ１を求める。

他方、（Ｘ１，Ｙ１１）と（Ｘ１，Ｙ１２）の間に速度情報が無い場合は、Ｘ座標が（Ｘ１＋１）を満たす第２特徴領域ＡのＹ座標を（Ｙｎ＋１）、Ｘ座標が（Ｘ１＋１）を満たす線分ＢのＹ座標を（Ｙｍ＋１）として、第２特徴領域Ａ及びＢに挟まれた領域の画素を縦方向に順次検索し、移動速度の平均値を算出する。

同様に（Ｘ２，Ｙ２１）と（Ｘ２，Ｙ２２）の間でＹ方向に画素の移動情報があるかを検索し、移動情報があれば移動速度の平均値Ｖｘ２を求める。他方、移動情報が無い場合はＸ座標が（Ｘ２―１）を満たす第２特徴領域ＡのＹ座標を（Ｙｎ２＋１），Ｘ座標が（Ｘ２―１）を満たす第２特徴領域ＢのＹ座標を（Ｙｍ２＋１）として、第２特徴領域Ａ及びＢに挟まれた領域の画素を縦方向に順次検索し、移動速度の平均値を算出する。

判定機能３３は、速度比較機能３３２によりＶｘ１及びＶｘが２ともに算出されない場合は、第２特徴領域Ａ，Ｂのペアは立体物ではないと判定する。

また、判定機能３３は、速度比較機能３３２によりＶｘ１とＶｘ２の差が閾値Ｔｓ未満であると判断された場合も、第２特徴領域Ａ，Ｂのペアは立体物ではないと判定する。

さらに、判定機能３３は、Ｖｘ１を算出したときのＸ座標ＸｎとＶｘ２を算出したときのＸ座標Ｘｆの差（Ｘｆ−Ｘｎ）の絶対値が閾値Ｔｘｄよりも小さいときは、第２特徴領域Ａ，Ｂは立体物ではないと判定する。

Ｖｘ１とＶｘ２が（Ｖｘ１−Ｖｘ２）＞Ｔｓを満たし，かつ｜Ｘｆ−Ｘｎ｜＞Ｔｘｄを満たすとき，第２特徴領域Ａ及びＢに含まれる画素と、その間に存在する第１特徴領域に含まれる画素は同一の立体物に対応すると判定する。

つまり、判定機能３３は、速度比較機能２３２が、第２特徴領域の間に位置する複数の第１特徴領域の移動速度を比較し、画像の下側に位置する第１特徴領域に属する画素の移動速度が、画像の上側に位置する第１特徴領域に属する画素の移動速度よりも相対的に早いと判断した場合は、その第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する。

続いて、本実施形態の物体検出装置１００の物体検出処理の手順を、図１８に示すフローチャート図に基づいて説明する。

イグニションスイッチ（図示省略）がオンされ、車載装置１０００が起動すると、この処理用のプログラムが実行される。

まず、カメラ１０は、所定の周期で車両周囲を撮像し、撮像された画像は画像メモリ１１又は移動情報算出部２０に出力する（Ｓ１０１）。画像メモリ１１は、必要に応じて撮像された画像を記録し、移動情報算出部２０の読み込みを受け付ける。

移動情報算出部２０の特徴抽出部２１は、画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う（Ｓ１０２）。

算出部２２は、エッジの移動情報を算出し、算出された移動情報を所定の階調で表された移動画像（図５参照）を作成する（Ｓ１０３）。

ステップＳ１０４において、第１特徴領域抽出機能３１は、算出された移動画像に基づいて、移動情報の共通する画素が縦方向に連続する第１特徴領域を抽出する（Ｓ１０４）。移動情報の共通する画素が縦方向に連続するという特徴は、立体物に対応する画像の特徴である。

続いて、ステップＳ１０５において、第１特徴領域抽出機能３１が，すべての画素に対し抽出処理をしたかを確認し、抽出処理が完了した場合はステップＳ１０６へ進み、すべての抽出処理が完了していない場合はＳ１０４へ移行する（Ｓ１０５）。

ステップＳ１０６において、第２特徴領域抽出機能３２は、Ｓ１０４にて抽出された第１特徴領域の縦連続成分のうち、上端点と下端点を抽出し端画素テーブルに格納する処理を行う（Ｓ１０６）。

また、ステップＳ１０７において、ステップＳ１０６で抽出された第１特徴領域（縦連続成分）の上端点と下端点が格納された端画素テーブルを参照し、同じ線分に属する上端点と下端点のグルーピング処理を行う（Ｓ１０７）。

ステップＳ１０８において、では，全ての端点について、グルーピング処理が完了したか否かを確認し、完了した場合はステップＳ１０９へ移行し、完了していない場合はステップＳ１０７へ移行する（Ｓ１０８）。

続くステップＳ１０９において、第２特徴領域抽出機能３２は、Ｓ１０７でグルーピングされた端点に対しグループ毎に線分を求め、第２特徴領域を抽出する処理を行う。

ステップＳ１１０では、第２特徴領域抽出機能３２が、すべてのグルーピングされた端点に対して第２特徴領域を抽出したか否かを確認し、グルーピングされたすべての端点について第２特徴領域を抽出した場合は、ステップＳ１１１へ進み、抽出処理が完了していない場合はステップＳ１０９へ移行する（Ｓ１１０）。

ステップＳ１１１では、第２特徴領域抽出機能３２が、Ｓ１０９において抽出された第２特徴領域のうち、立体物の特徴である第１特徴領域の上端画素若しくは上端画素の近傍、又は上端画素若しくは下端画素の近傍を通る第２特徴領域の候補を判定する（Ｓ１１１）。第２特徴領域抽出機能３２は、第１特徴領域を上端側と下端側とから挟みこむ第２特徴領域を抽出する。つまり、第１特徴領域は第２特徴領域の間に位置する。

続いて、ステップＳ１１２において、判定機能３３の位置関係比較機能３３１は、立体物の上端と下端を通る全ての第２特徴領域のペアを抽出できたか否かを確認し、完了した場合はステップＳ１１３へ進み、そうでない場合はステップＳ１１１へ移行する（Ｓ１１２）。

ステップＳ１１３において、Ｓ１１１で抽出された第１特徴領域を上端側と下端側とから挟みこむ第２特徴領域のペアが抽出されたら、判定機能３３の速度比較機能３３２は、第２特徴領域の間に存在する第１特徴領域の移動速度を取得する（Ｓ１１３）。

そして、ステップＳ１１４において、速度比較機能３３２は、第２特徴領域の間に存在するすべての第１特徴領域の移動速度が取得できたか否かを判断する。すべての移動速度が取得できたら、ステップＳ１１５へ進み、そうでない場合はステップＳ１１３へ移行する（Ｓ１１４）。

さらに、ステップＳ１１５において、速度比較機能３３２は、Ｓ１１３で抽出された第２特徴領域の間に位置する複数の第１特徴領域の移動速度を比較する。速度比較機能３３２により、画像の下側に位置する第１特徴領域に属する画素の移動速度が、画像の上側に位置する第１特徴領域に属する画素の移動速度よりも相対的に早いとの比較結果が導かれた場合は、判定機能３３は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する（Ｓ１１５）。

つまり、判定機能３３は、第１特徴領域の移動速度が、画像のＹ座標の大きい位置での移動速度が相対的に速く、Ｙ座標の小さい位置で移動速度が相対的に遅いという特徴を持っているか否かを判断し、この条件を満たす場合は、第１特徴領域と第２特徴領域とは同一の立体物に対応する画素であると判定する。

さらに、ステップＳ１１６において、車両のイグニションスイッチがＯＦＦされたか否かを判断し、イグニッションスイッチがＯＦＦされた場合はＳ１１７へ進み物体検出処理を終了する。他方、イグニッションスイッチがＯＮの場合は、Ｓ１０１へ戻って処理を行う。

本実施形態の物体検出装置１００は以上のとおり構成され、動作するので、以下の効果を奏する。

本実施形態の物体検出装置１００は、移動情報の共通する画素が縦方向に連続する第１特徴領域が、移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域の間に位置する場合は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定することにより、平坦で高さの低い立体物を平面物として誤検出することを防止することができる。

つまり、本発明によれば、立体物の移動速度の情報において観察される「移動情報の共通する画素が縦方向に連続する」という特徴とともに、この特徴を有する第１特徴領域が移動速度の共通する画素が所定角度の方向に沿って連なる直線状の領域の間に存在するという位置関係における特徴とを備える場合に、第１特徴領域と第２特徴領域とが立体物の輪郭に対応するという点に着目することにより、立体物を正確に判断することができる。特に、平面物と誤検出しやすい、平坦で高さの低い立体物を正確に検出することができる。

また、移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域は、車両の挙動によって観察される移動速度に基づいて抽出される平面物、又は高さの低い立体物の上面に対応する。このような第２特徴領域と、立体物の特徴を有する第１特徴領域とを有し、さらに第１特徴領域が第２特徴領域の間に存在するという特徴に基づいて立体物を正確に検出することができる。

特に、移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域は、路上の白線などにも対応する特徴であるが、立体物の特徴を備える第１特徴領域との位置関係により立体物を検出することができるので、路上の縁石や、段差のある歩道などを平面物と誤検出することなく、立体物として正確に検出することができる。

さらに、本実施形態では、第２特徴領域の間に位置する複数の第１特徴領域の移動速度を比較し、画像の下側に位置する第１特徴領域に属する画素の移動速度が、画像の上側に位置する第１特徴領域に属する画素の移動速度よりも相対的に早い場合は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定するため、立体物を正確に検出することができる。同一の物体において、画像の下側に位置する画素の移動速度が、画像の上側に位置する画素の移動速度よりも相対的に早いという特徴は、立体物の特徴である。本実施形態では、立体物の移動速度において観測される特徴を備える画素を含む領域を立体物と判定するため、立体物を正確に検出することができる。

また、第２特徴領域を抽出する際に、第１特徴領域（移動情報の共通する縦方向に連続する画素）の上端画素と下端画素を抽出し、その上端画素を含む領域と下端画素を含む領域とを第２特徴領域として抽出することにより、抽出された第２特徴領域の間に第１特徴領域が存在する領域を抽出することができる。これにより、第２特徴領域の間に第１特徴領域が存在するという特定の位置関係を有する第１特徴領域と第２特徴領域を含む領域を正確に抽出することができ、立体物を正確に抽出することができる。

さらに、本実施形態では、立体物の判定において、同じ傾きを有する第２特徴領域の間に第１特徴領域が位置する場合は、第１特徴領域と第２特徴領域を含む領域に対応する物体は立体物であると判定する。このように、平行な位置関係にある２つの第２特徴領域の間に第１特徴領域が存在するという特徴的な位置関係があるときに、これらの特徴点が立体物に対応すると判定するため、立体物を正確に検出することができる。

特に、平行な位置関係にある２つ以上の第２特徴領域の間に第１特徴領域が存在するという位置関係は、道路の縁石や歩道の輪郭に対応する可能性が高いため、これらの高さの低い立体物を平面物と誤検出することなく、正確に検出することができる。

そして、物体に対応する画素の移動情報を算出するにあたり、移動情報算出部２０は、カメラ１０の撮像された物体の画像の情報に基づいて、物体に対応する特徴部が検出された位置の画素のカウント値をカウントアップし、カウント値の傾きに基づいて、特徴部の移動情報を算出するため、簡易な手法で画素の移動情報を取得することができる。また、このような画像処理により、移動情報の共通する画素が縦方向に連続する第１特徴領域という、立体の特徴点を容易に導出できる。

本実施形態の車両用の物体検出装置１００は、カメラ１０の画像から取得された移動情報に基づいて物体の属性を判定するので、距離情報に依存しないで物体の属性を判定することができる。また、ステレオカメラなどの距離情報を得るための構成を必要としないため、物体検出装置１００を簡易な構成とすることができる。

加えて、本実施形態の車両用の物体検出装置１００は、単眼のカメラ１０の画像から取得された移動情報に基づいて物体の属性を判定するので、画像処理におけるミスマッチングによる誤測距が発生しないため、高い精度で物体の属性を判定することができる。つまり、距離情報に基づいて物体の属性を判定する手法、例えばステレオ視の画像に基づいて物体の属性を判定する手法においては、ミスマッチングにより誤った距離情報が与えられる場合がある。距離情報に誤りがあると、二次元の物体を誤って立体物として判定する誤判定が生じるが、本実施形態の物体検出装置１００は距離情報に依存せずに物体の属性を判定するため、誤った距離情報に基づく誤検出の発生を低減し、精度の高い判定を行う画像処理を行うことができる。

≪第２実施形態≫
以下、図面に基づいて第２実施形態について説明する。本実施形態のブロック構成図を図１９に示す。

本実施形態は、第２特徴領域の抽出の手法に特徴がある。本実施形態の第２特徴領域抽出機能３２は、画像中の物体の輪郭に対応する画素が画像上の所定角度の方向に沿って連なる領域を、第２特徴領域（直線成分）として抽出する。つまり、第２実施形態では、画像において画素が所定角度の方向に沿って連なる第２特徴領域を、移動速度に基づいて抽出するのではなく、特徴抽出部２１により抽出された画像の特徴量に基づいて抽出する。

特に限定されないが、特徴抽出部２１において抽出された物体のエッジ情報に基づいて、例えばハフ変換を使用して直線成分を抽出し、抽出した直線成分を第２特徴領域の線分（立体物の候補となる線分）として抽出する。

第１実施形態と異なり、第２特徴領域が第１特徴領域の上端画素の集合であるのか、下端画素の集合であるのかの情報が付加されていない場合は、第１特徴領域の上端画素と下端画素に基づいて物体を検出することができない。つまり、第１特徴領域の上端画素を通る第２特徴領域と下端画素を通る第２特徴領域とを一の物体に対応するペアと判断することができない。

このため、本実施形態の位置関係比較機能３３1は、第２特徴領域の傾きに基づく条件、第２特徴領域（線分）の重心位置の距離に関する条件、及び第２特徴領域同士が交差しないという条件を用いて、第１特徴領域をその間に有する第２特徴領域のペアを抽出する。第２特徴領域のペアを抽出する手法は、特に限定されず、第１実施形態において説明した手法を用いることができる。

続いて、第２実施形態の物体検出装置１００´の制御手順を図２０のフローチャートに基づいて説明する。

この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。図２０に示すＳ１０１〜Ｓ１０３までの処理は、図１８に示す第１実施形態の制御手順と共通する。

Ｓ１０３に続くＳ１０４において、第２特徴領域抽出機能３２は、ステップＳ１０２で抽出され、一時的に画像メモリ１１に保存されたエッジ画像から、ハフ変換を使用して直線成分を抽出し、その線成分上でエッジが存在する範囲を第２特徴領域として抽出する。

ステップＳ２０５において、すべての直線成分に対し、第２特徴領域の抽出処理が完了したか否かを判断する。抽出処理が完了した場合はステップＳ２０６へ進み、完了していない場合はＳ２０４へ移行する。

続いて、ステップＳ２０６において、位置関係比較機能３３１は、抽出された第２特徴領域について、立体物の上端と下端に対応する第２特徴領域のペアをさらに抽出する。

さらに、ステップＳ２０７において、全ての第２特徴領域についてペア抽出の処理が完了したか否かを判断し、すべての第２特徴領域についての処理が完了した場合はステップＳ２０８へ進み、完了していない場合はステップＳ２０６へ移行する。

続くステップＳ２０８において、速度比較機能３３２は、Ｓ２０６で抽出された立体物の上端と下端に対応する第２特徴領域の線分のペアの間に位置する第１特徴領域の移動速度を取得する。Ｓ２０４において一時的に保管した移動画像を参照し、ペアの第２特徴領域の間に存在する移動速度を取得する。

ステップＳ１１４において、全ての立体物の上端と下端の第２特徴領域のペアに対してその線分の間に存在する移動速度を取得できたかを確認する。取得できた場合は、ステップＳ２１０へ移行する。取得できていない場合はステップＳ２０８へ移行する。

ステップＳ２１０〜Ｓ２１２の処理は、図１８に示すＳ１１０〜Ｓ１１２と同じ処理である。

以上のように構成され、動作する物体検出装置１００´によれば、第１実施形態における作用効果に加えて、以下の作用効果を得ることができる。

本実施形態の物体検出装置１００´は、第２特徴領域を抽出するにあたり、移動情報を用いることなく、特徴抽出部２１により抽出されたエッジ画像から画素が所定角度の方向に沿って連なる第２特徴領域を抽出することができるため、他の特徴領域に基づいて白線を検知するロジックと組合せて動作させた場合に、処理を高速化することができる。

また、第１実施形態のように移動情報に基づいて第２特徴領域を求める手法と、第２実施形態のように、エッジ画像の特徴量に基づいて第２特徴領域を求める手法との二つの手法を用いることにより、環境に対してロバスト性の高い第２特徴領域の抽出を行うことができ、結果として物体を正確に検出することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

また、本明細書では、物体検出装置１００の一態様として、撮像手段の一例としてのカメラ１０と、移動情報算出手段の一例としての移動情報算出部２０と、検出手段の一例としての検出部３０とを備える。

そして、本明細書で説明する検出部３０は、第１特徴領域抽出部の一例としての第１特徴領域抽出機能３１と、第２特徴領域抽出部の一例としての第２特徴領域抽出機能３２と、判定部の一例としての判定機能３３とを備える。

さらにまた、本発明の実施形態を図面により詳述したが、実施形態は本発明の例示にしか過ぎず、本発明は実施形態の構成にのみ限定されるものではない。したがって、以下のような本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。

例えば、ブロック図は、上記実施例に示すものに限定されるものではなく、同等の機能を備えた他の構成とすることができる。

また、カメラの取り付け位置は実施形態で述べた位置に限定されるものではなく、カメラの光軸が自車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と略平行および略垂直となるように設定されていれば良い。

また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。

また、ｘｙ平面を分割して設定する短冊領域の数は上記実施形態に示すものに限定されるものではなく、任意の数、任意の幅に分割して設定することができる。

また、上記実施形態では道路を走行する自車両に物体検出装置１００を搭載する例について説明したが、他の移動体に搭載してもよい。

本実施形態の物体検出装置１００を含む車載装置１０００のブロック構成の一例を示す図である。 （Ａ）及び（Ｂ）は、カメラ１０の搭載例を示す図である。 カメラ１０により撮像された車両前方の画像例である。 （ａ）〜（ｆ）は移動速度の算出処理を説明するための図である。 移動画像の一例を示す図である。 車両にピッチング挙動が発生した場合の平面物（白線）の画像上の動きを、説明するための図である。 第１特徴領域の算出手法例を説明するための図である。 端画素テーブルの一例を示す図である。 ソートテーブルの一例を示す図である。 共通の第２特徴領域にグルーピングされる端画素の条件を説明するための図である。 第２特徴領域テーブルの一例を示す図である。 共通のグループＩＤが付された端画素の集合から第２特徴領域を求める過程を説明するための図である。 走行路に縁石などの立体物がある場合の撮像領域を説明するための図である。 車両が走行する道路の左側にある縁石や歩道を含む撮像画像の一例を示す図である。 図１５（Ａ）は走行路に沿って延在する立体物のモデルである。図１５（Ｂ）は立体物の輪郭から抽出される直線成分を説明するための図である。 出された第２特徴領域から、同一の立体を構成する第２特徴領域のペアを判断する手法を説明するための図である。 第２特徴領域の間に位置する複数の第１特徴領域の移動速度を比較する手法を説明するための図である。 本実施形態の物体検出装置の制御手順を示すフローチャート図である。 第２本実施形態の物体検出装置を含む車載装置１０００のブロック構成の一例を示す図である。 第２実施形態の物体検出装置の制御手順を示すフローチャート図である。

符号の説明

１０００…車載装置
１００…物体検出装置
１０…カメラ
１１…画像メモリ
２０…移動情報算出部
２１…特徴抽出部
２２…算出部
３０…検出部
３１…第１特徴領域抽出機能
３２…第２特徴領域抽出機能
３３…判定機能
３３１…位置関係比較機能
３３２…速度比較機能
２００…車両コントローラ
３００…出力装置
４００…走行支援装置

Claims (7)

1. 車両に搭載される撮像手段と、
   前記撮像手段により撮像された画像の情報に基づいて、前記画像中の物体に対応する画素の移動方向及び／又は移動速度を含む移動情報を算出する移動情報算出手段と、
   前記移動情報に基づいて物体を検出する検出手段と、を備え、
   前記検出手段は、
   前記移動情報に基づいて、前記移動情報の共通する画素が縦方向に連続する第１特徴領域を抽出する第１特徴領域抽出部と、
   前記移動情報に基づいて、前記移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域を抽出する第２特徴領域抽出部と、
   前記第１特徴領域が前記第２特徴領域の間に位置する場合は、前記第１特徴領域と前記第２特徴領域を含む領域に対応する物体は立体物であると判定する判定部とを有する物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記判定部は、前記第２特徴領域の間に位置する複数の第１特徴領域の移動速度を比較し、前記画像の下側に位置する第１特徴領域に属する画素の移動速度が、前記画像の上側に位置する第１特徴領域に属する画素の移動速度よりも相対的に早い場合は、前記第１特徴領域と前記第２特徴領域を含む領域に対応する物体は立体物であると判定する判定部とを有する物体検出装置。
3. 請求項１又は２に記載の物体検出装置において、
   前記第２特徴領域抽出部は、前記第１特徴領域抽出部により抽出された移動情報の共通する縦方向に連続する画素の上端画素と下端画素を抽出し、前記抽出された上端画素を含む領域及び前記抽出された下端画素を含む領域を、それぞれ第２特徴領域として抽出する物体検出装置。
4. 前記請求項１又は２に記載の車両用画像処理装置において、
   前記第２特徴領域抽出部は、前記画像中の物体の輪郭に対応する画素が前記画像上の所定角度の方向に沿って連なる領域を、前記第２特徴領域として抽出する物体検出装置。
5. 請求項１〜４の何れか一項に記載の物体検出装置において、
   前記判定部は、さらに同じ傾きを有する第２特徴領域の間に前記第１特徴領域が位置する場合には、前記第１特徴領域と前記第２特徴領域を含む領域に対応する物体は立体物であると判定する物体検出装置。
6. 前記請求項１〜５の何れか一項に記載の車両用画像処理装置において、
   前記移動情報算出手段は、前記撮像手段により所定周期で撮像された物体の各画像の情報に基づいて、前記物体に対応する特徴部を抽出し、前記抽出された特徴部の位置に対応する画素のカウント値をカウントアップし、前記カウント値の傾きに基づいて、前記特徴部に対応する画素の移動情報を算出する物体検出装置。
7. 車両前方の撮像画像の情報に基づいて、前記画像中の物体に対応する画素の移動方向及び／又は移動速度を含む移動情報を算出し、
   前記移動情報に基づいて求められた、前記移動情報の共通する画素が縦方向に連続する第１特徴領域が、前記移動情報に基づいて求められた、前記移動速度の共通する画素が所定角度の方向に沿って連なる第２特徴領域の間に位置する場合は、前記第１特徴領域と前記第２特徴領域を含む領域に対応する物体は立体物であると判定する物体検出方法。

Images