JPWO2012023412A1 - 立体物検出装置及び立体物検出方法 - Google Patents

Abstract

立体物検出装置１は、カメラ１０と、計算機２０とを備えている。計算機２０は、カメラ１０により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出し、算出された位置毎の輝度差の連続性に基づいて、立体物を検出する。

Description

本発明は、立体物検出装置及び立体物検出方法に関する。

従来、撮像した画像を鳥瞰視に視点変換することによって得られる鳥瞰図から、実空間における水平エッジ又は垂直エッジを検出し、これらエッジの数を用いて車両等の立体物を検出する立体物検出装置が提案されている。この立体物検出装置において、実空間における垂直エッジは、カメラの視点を通る放射状の直線群として投影されて、鳥瞰図に現れる。この立体物検出装置は、この知見に基づき、垂直エッジを検出して、垂直エッジの量を用いて立体物を検出している（特許文献１参照）。

特開平４−１６３２４９号公報

しかし、撮像した画像を鳥瞰視に視点変換することによって得られた鳥瞰図内の立体物は、その高さに応じて引き延ばされてしまう。このため、鳥瞰図において、立体物の高い位置によって現れるエッジ（実空間では高い位置のエッジ）は、立体物の低い位置におけるエッジ（実空間では低い位置のエッジ）に対して解像度が低下してしまう。一方、立体物の低い位置のエッジは、当該エッジの幅が小さくなってしまう。

このために、特許文献１に記載された技術のように、３画素×３画素の微分フィルタを用いてエッジを検出する場合に問題が生ずる。立体物の高い位置に関しては、エッジの解像度が低下しているために、エッジであるにも拘わらずエッジであることが検出できない可能性がある。立体物の低い位置のエッジに関しては、そのエッジの幅が小さくなっているために、ノイズであると判定してしまい、エッジであることが検出できない可能性がある。このような理由により、特許文献１に記載された立体物検出装置は、立体物の検出精度が低下してしまう問題がある。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、立体物の検出精度を向上させることが可能な立体物検出装置及び立体物検出方法を提供することにある。

上述の課題を解決するために、本発明は、撮像手段により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出し、算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出する。

本発明によれば、所定領域の画像が俯瞰視された場合において、実空間で鉛直方向に伸びる鉛直仮想線を設定し、当該鉛直仮想線に沿った輝度差の連続性に基づいて立体物を検出する。すなわち、本発明によれば、輝度差が高い場合にはその箇所に立体物のエッジがある可能性が高く、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線に沿った２つの画素の比較を行うため、撮像画像を俯瞰画像に視点変換することに伴う立体物が路面からの高さに応じて引き延ばされてしまう現象に影響されることがない。従って、本発明によれば、立体物の検出精度を向上させることができる。

図１は、本実施形態に係る立体物検出装置の概略構成図であって、立体物検出装置が車両に搭載された例を示す概略ブロック図である。 図２は、第１実施形態として示す立体物検出装置におけるカメラの撮像領域等を示す図であって、（ａ）は検出領域等の位置関係を示す上面図であり、（ｂ）は実空間上における検出領域等の位置関係を示す斜視図を示している。 図３は、第１実施形態として示す立体物検出装置の機能的な構成を示すブロック図である。 図４は、第１実施形態として示す立体物検出装置における輝度差算出部の動作を示す図であって、（ａ）は鳥瞰画像における注目線と参照線と注目点と参照点との位置関係を示す図である、（ｂ）は実空間における注目線と参照線と注目点と参照点との位置関係を示す図である。 図５は、第１実施形態として示す立体物検出装置における輝度算出部の詳細動作を示す図であって、（ａ）は鳥瞰画像における検出領域を示し、（ｂ）は鳥瞰画像における注目線と参照線と注目点と参照点との位置関係を示す図である。 図６は、エッジ線とエッジ線上の輝度分布とを示す図であり、（ａ）は検出領域に立体物（車両）が存在している場合のエッジ線とエッジ線上の輝度分布を示し、（ｂ）は検出領域に立体物が存在しない場合のエッジ線とエッジ線上の輝度分布を示している。 図７は、第１実施形態として示す立体物検出装置による動作手順を示すフローチャートである。 図８は、第１実施形態として示す立体物検出装置による動作手順を示すフローチャートである。 図９は、第１実施形態として示す立体物検出装置におけるエッジ検出動作を説明するための画像例を示す図である。 図１０は、第２実施形態として示す立体物検出装置における輝度算出部の詳細動作を示す図であって、（ａ）は鳥瞰画像における検出領域を示し、（ｂ）は鳥瞰画像における鉛直仮想線Ｌと第１参照点と第２参照点との位置関係を示す図である。 図１１は、第２実施形態として示す立体物検出装置における全体動作を示すフローチャートである。 図１２は、第２実施形態として示す立体物検出装置による鉛直エッジの検出動作を示すフローチャートである。 図１３は、第２実施形態として示す立体物検出装置における輝度算出部の詳細動作を示す他の図であって、（ａ）は鳥瞰画像における検出領域を示し、（ｂ）は鳥瞰画像における鉛直仮想線Ｌと第１参照点と第２参照点との位置関係を示す図である。 図１４は、第２実施形態として示す立体物検出装置において、鉛直仮想線と第１参照点及び第２参照点との関係に応じて閾値を変更することの説明図である。 図１５は、第２実施形態として示す立体物検出装置による他の鉛直エッジの検出動作を示すフローチャートである。 図１６は、第３実施形態として示す立体物検出装置の機能的な構成を示すブロック図である。 図１７は、第３実施形態として示す立体物検出装置におけるエッジ強度算出部の動作を示す図であり、（ａ）は立体物が存在する俯瞰画像上における検出領域と注目線Ｌａとエッジ強度との関係を示す図であり、（ｂ）は立体物が存在しない俯瞰画像上における検出領域と注目線Ｌａとエッジ強度との関係を示す図である。 図１８は、第３実施形態として示す立体物検出装置による動作手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る立体物検出装置１の概略構成図である。本実施形態は、立体物検出装置１が自車両Ｖ１に搭載される場合の例を示している。図１に示すように、立体物検出装置１は、カメラ（撮像手段）１０と、計算機２０とを備えている。

カメラ１０は、自車両Ｖ１の後端部における高さｈの箇所に取り付けられる。カメラ１０は、その光軸が水平から下向きに角度θとなるように取り付けられている。カメラ１０は、この取付位置から所定領域を撮像する。カメラ１０は、撮像した画像を計算機２０に供給する。計算機２０は、カメラ１０から供給された画像を用いて、自車両Ｖ１から後側方における立体物の有無を検出する。

図２は、図１に示したカメラ１０の撮像範囲等を示す図である。図２（ａ）は、上面図を示す。図２（ｂ）は、自車両Ｖ１から後側方における実空間上の斜視図を示している。図２（ａ）に示すように、カメラ１０は、所定の画角ａとなっている。カメラ１０は、所定の画角ａに含まれる自車両Ｖ１から後側方を撮像する。カメラ１０の画角ａは、カメラ１０の撮像範囲に自車両Ｖ１が走行する車線に加えて、隣接する車線も含まれるように設定されている。

計算機２０は、カメラ１０によって撮像した撮像画像のうち、検出対象としての立体物の検出領域Ａ_１，Ａ_２内の部位について各種処理を実行する。これにより、計算機２０は、検出領域Ａ_１，Ａ_２内に立体物（特に他車両Ｖ２）が存在するか否かを判定する。検出領域Ａ_１，Ａ_２は、上面からみると台形状となっている。検出領域Ａ_１，Ａ_２の位置、大きさ及び形状は、距離ｄ_１〜ｄ_４に基づいて決定される。

距離ｄ_１は、自車両Ｖ１から接地線Ｌ_１，Ｌ_２までの距離である。接地線Ｌ_１，Ｌ_２は、自車両Ｖ１が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両Ｖ１の後側方において自車両Ｖ１の車線に隣接する左右の車線を走行する他車両Ｖ２等（２輪車等を含む）を検出することが目的である。このため、自車両Ｖ１から白線Ｗまでの距離ｄ_１１及び白線Ｗから他車両Ｖ２が走行すると予測される位置までの距離ｄ_１２から、他車両Ｖ２の接地線Ｌ_１，Ｌ_２となる位置である距離ｄ_１を略固定的に決定しておくことができる。

なお、距離ｄ_１については、固定的に決定されている場合に限らず、可変としても良い。この場合、計算機２０は、白線認識等の技術により自車両Ｖ１に対する白線Ｗの位置を認識し、認識した白線Ｗの位置に基づいて距離ｄ_１１を決定する。これにより、距離ｄ_１は、決定された距離ｄ_１１を用いて可変的に設定される。

本実施形態においては、他車両Ｖ２が走行する位置（白線Ｗからの距離ｄ_１２）及び自車両Ｖ１が走行する位置（白線Ｗからの距離ｄ_１１）は大凡決まっていることから、距離ｄ_１は固定的に決定されているものとする。

距離ｄ_２は、自車両Ｖ１の後端部から車両進行方向に伸びる距離である。この距離ｄ_２は、検出領域Ａ_１，Ａ_２が少なくともカメラ１０の画角ａ内に収まるように決定されている。特に、本実施形態において、距離ｄ_２は、画角ａに区分される範囲に接するよう設定されている。

距離ｄ_３は、検出領域Ａ_１，Ａ_２の車両進行方向における長さを示す距離である。この距離ｄ_３は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両Ｖ２等であるため、距離ｄ_３は、他車両Ｖ２を含む長さに設定される。

距離ｄ_４は、図２（ｂ）に示すように、実空間において他車両Ｖ２等のタイヤを含むように設定された高さを示す距離である。距離ｄ_４は、鳥瞰画像においては図２（ａ）に示すだけの長さとされる。なお、距離ｄ_４は、鳥瞰画像において左右の隣接車線よりも更に隣接する車線（すなわち２車線隣りの車線）を含まないだけの長さとされることが望ましい。自車両Ｖ１の車線から２車線隣の車線を含んでしまうと、自車両Ｖ１が走行している車線である自車線の左右の隣接車線に他車両Ｖ２が存在するのか、２車線隣りの車線に他車両Ｖ２が存在するのかについて、区別が付かなくなってしまうためである。

以上のように、距離ｄ_１〜距離ｄ_４が決定される。これにより、検出領域Ａ_１，Ａ_２の位置、大きさ及び形状が決定される。具体的に説明すると、距離ｄ_１により、台形をなす検出領域Ａ_１，Ａ_２の上辺ｂ_１の位置が決定される。距離ｄ_２により、上辺ｂ_１の始点位置Ｃ_１が決定される。距離ｄ_３により、上辺ｂ_１の終点位置Ｃ_２が決定される。カメラ１０から始点位置Ｃ_１に向かって伸びる直線Ｌ_３により、台形をなす検出領域Ａ_１，Ａ_２の側辺ｂ_２が決定される。同様に、カメラ１０から終点位置Ｃ_２に向かって伸びる直線Ｌ_４により、台形をなす検出領域Ａ_１，Ａ_２の側辺ｂ_３が決定される。距離ｄ_４により、台形をなす検出領域Ａ_１，Ａ_２の下辺ｂ_４の位置が決定される。このように、各辺ｂ_１〜ｂ_４により囲まれる領域が検出領域Ａ_１，Ａ_２とされる。この検出領域Ａ_１，Ａ_２は、図２（ｂ）に示すように、自車両Ｖ１から後側方における実空間上では真四角（長方形）となる。

なお、本実施形態において検出領域Ａ_１，Ａ_２は、鳥瞰視された状態では台形状であるが、これに限らず、鳥瞰視された状態で真四角などの他の形状であっても良い。

図３は、図１に示した計算機２０の詳細を示すブロック図である。なお、図３においては、接続関係を明確とするためにカメラ１０についても図示するものとする。

図３に示すように、計算機２０は、視点変換部（視点変換手段）２１と、輝度差算出部（輝度差算出手段）２２と、エッジ線検出部（エッジ線検出手段）２３と、立体物検出部（立体物検出手段）２４とを含む。なお、計算機２０は、ＣＰＵやＲＡＭ、ＲＯＭ等からなるコンピュータである。計算機２０は、予め設定されたプログラムに従って画像処理等を行うことによって、視点変換部２１、輝度差算出部２２、エッジ線検出部２３、立体物検出部２４といった各部の機能を実現する。

視点変換部２１は、カメラ１０による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部２１は、入力した撮像画像データをに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰画像される状態とは、上空から例えば鉛直下向き（又は、やや斜め下向き）に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開２００８−２１９０６３号公報に記載された技術によって実現される。

輝度差算出部２２は、鳥瞰画像に含まれる立体物のエッジを検出するために、視点変換部２１により視点変換された鳥瞰画像データに対して、輝度差の算出を行う。輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。

輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線を１本だけ設定する手法と、鉛直仮想線を２本設定する手法との何れかによって輝度差を算出する。

鉛直仮想線を２本設定する具体的な手法について説明する。輝度差算出部２２は、視点変換された鳥瞰画像に対して実空間で鉛直方向に伸びる線分に該当する第１鉛直仮想線と、第１鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第２鉛直仮想線とを設定する。輝度差算出部２２は、第１鉛直仮想線上の点と第２鉛直仮想線上の点との輝度差を、第１鉛直仮想線及び第２鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部２２の動作について詳細に説明する。

輝度差算出部２２は、図４（ａ）に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ_１を通過する第１鉛直仮想線Ｌ_ａ（以下、注目線Ｌ_ａという）を設定する。輝度差算出部２２は、注目線Ｌ_ａと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域Ａ_１を通過する第２鉛直仮想線Ｌ_ｒ（以下、参照線Ｌ_ｒという）を設定する。参照線Ｌ_ｒは、実空間における所定距離だけ注目線Ｌ_ａから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰画像においてはカメラ１０の位置Ｐ_ｓから放射状に広がる線となる。

輝度差算出部２２は、注目線Ｌ_ａ上に注目点Ｐ_ａ（第１鉛直仮想線上の点）を設定する。輝度差算出部２２は、参照線Ｌ_ｒ上に参照点Ｐ_ｒ（第２鉛直仮想線上の点）を設定する。

注目線Ｌ_ａ、注目点Ｐ_ａ、参照線Ｌ_ｒ、参照点Ｐ_ｒは、実空間上において図４（ｂ）に示すような関係となる。図４（ｂ）から明らかなように、注目線Ｌ_ａ及び参照線Ｌ_ｒは、実空間上において鉛直方向に伸びている。注目点Ｐ_ａと参照点Ｐ_ｒとは、実空間上において略同じ高さに設定される。なお、注目点Ｐ_ａと参照点Ｐ_ｒとは必ずしも厳密に同じ高さである必要はなく、注目点Ｐ_ａと参照点Ｐ_ｒとが同じ高さとみなせる程度の誤差は許容されることは勿論である。

輝度差算出部２２は、注目点Ｐ_ａと参照点Ｐ_ｒとの輝度差を求める。仮に、注目点Ｐ_ａと参照点Ｐ_ｒとの輝度差が大きいとすると、注目点Ｐ_ａと参照点Ｐ_ｒとの間にエッジが存在すると考えられる。このため、図３に示したエッジ線検出部２３は、注目点Ｐ_ａと参照点Ｐ_ｒとの輝度差に基づいてエッジ線を検出する。

より詳細に説明する。図５は、図３に示した輝度差算出部２２の詳細動作を示す第２の図である。図５（ａ）は鳥瞰視された状態の鳥瞰画像を示し、図５（ｂ）は、図５（ａ）に示した鳥瞰画像の一部拡大図である。なお、図５についても検出領域Ａ_１のみを図示して説明するが、検出領域Ａ_２についても同様に輝度差を算出できる。

カメラ１０が撮像した撮像画像内に他車両Ｖ２が映っていた場合、図５（ａ）に示すように、鳥瞰画像内の検出領域Ａ_１に他車両Ｖ２が現れる。図５（ｂ）に図５（ａ）中の領域Ｂ１の拡大図を示すように、鳥瞰画像上において、他車両Ｖ２のタイヤのゴム部分上に注目線Ｌ_ａが設定されていたとする。

この状態において、輝度差算出部２２は、先ず、参照線Ｌ_ｒを設定する。参照線Ｌ_ｒは、注目線Ｌ_ａから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置１において、参照線Ｌ_ｒは、注目線Ｌ_ａから実空間上において１０ｃｍだけ離れた位置に設定される。これにより、参照線Ｌ_ｒは、鳥瞰画像上において、例えば、他車両Ｖ２のタイヤのゴムから１０ｃｍ相当だけ離れた他車両Ｖ２のタイヤのホイール上に設定される。

次に、輝度差算出部２２は、注目線Ｌ_ａ上に複数の注目点Ｐ_ａ１〜Ｐ_ａＮを設定する。例えば、図５（ｂ）においては、説明の便宜上、６つの注目点Ｐ_ａ１〜Ｐ_ａ６（以下、任意の点を示す場合には単に注目点Ｐ_ａｉという）を設定している。なお、注目線Ｌ_ａ上に設定する注目点Ｐ_ａの数は任意でよい。以下の説明では、Ｎ固の注目点Ｐ_ａが注目線Ｌ_ａ上に設定されたものとして説明する。

次に、輝度差算出部２２は、実空間上において各注目点Ｐ_ａ１〜Ｐ_ａＮと同じ高さとなるように各参照点Ｐ_ｒ１〜Ｐ_ｒＮを設定する。

次に、輝度差算出部２２は、同じ高さ同士の注目点Ｐ_ａと参照点Ｐ_ｒとの輝度差を算出する。これにより、輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素間の輝度差を算出する。輝度差算出部２２は、例えば、第１注目点Ｐ_ａ１とは、第１参照点Ｐ_ｒ１との間で輝度差を算出し、第２注目点Ｐ_ａ２２とは、第２参照点Ｐ_ｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部２２は、注目線Ｌ_ａ及び参照線Ｌ_ｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部２２は、第３〜第Ｎ注目点Ｐ_ａ３３〜Ｐ_ａＮと第３〜第Ｎ参照点Ｐ_ｒ３〜Ｐ_ｒＮとの輝度差を順次求めていくこととなる。

輝度差算出部２２は、検出領域Ａ_１内において注目線Ｌ_ａをずらしながら、上記の参照線Ｌ_ｒの設定、注目点Ｐ_ａ及び参照点Ｐ_ｒの設定、輝度差の算出、といった処理を繰り返し実行する。すなわち、輝度差算出部２２は、注目線Ｌ_ａ及び参照線Ｌ_ｒのそれぞれを、実空間上において接地線の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部２２は、例えば、前回処理において参照線Ｌ_ｒとなっていた線を注目線Ｌ_ａに設定し、この注目線Ｌ_ａに対して参照線Ｌ_ｒを設定して、順次輝度差を求めていくこととなる。

再度、図３を参照する。エッジ線検出部２３は、輝度差算出部２２により算出された連続的な輝度差から、エッジ線を検出する。例えば、図５（ｂ）に示す場合、第１注目点Ｐ_ａ１と第１参照点Ｐ_ｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐ_ａ２２〜Ｐ_ａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐ_ｒ２〜Ｐ_ｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐ_ａ２〜Ｐ_ａ６と第２〜第６参照点Ｐ_ｒ２〜Ｐ_ｒ６との輝度差は大きくなる。このため、エッジ線検出部２３は、輝度差が大きい第２〜第６注目点Ｐ_ａ２〜Ｐ_ａ６６と第２〜第６参照点Ｐ_ｒ２〜Ｐ_ｒ６との間にエッジ線が存在することを検出できる。

具体的には、エッジ線検出部２３は、エッジ線を検出するにあたり、先ず、下記の式（１）に従って、ｉ番目の注目点Ｐ_ａｉ（座標ｘｉ，ｙｉ））とｉ番目の参照点Ｐ_ｒｉ（座標（ｘｉ’，ｙｉ’））との輝度差から、ｉ番目の注目点Ｐ_ａｉに属性付けを行う。

上記式（１）において、ｔは閾値を示している。Ｉ（ｘｉ，ｙｉ）はｉ番目の注目点Ｐ_ａｉの輝度値を示している。Ｉ（ｘｉ’，ｙｉ’）はｉ番目の参照点Ｐ_ｒｉの輝度値を示している。上記式（１）によれば、注目点Ｐ_ａｉの輝度値が、参照点Ｐ_ｒｉに閾値ｔを加えた輝度値よりも高い場合には、当該注目点Ｐ_ａｉの属性ｓ（ｘｉ，ｙｉ）は“１”となる。一方、注目点Ｐ_ａｉの輝度値が、参照点Ｐ_ｒｉから閾値ｔを減じた輝度値よりも低い場合には、当該注目点Ｐ_ａｉの属性ｓ（ｘｉ，ｙｉ）は“−１”となる。注目点Ｐ_ａｉの輝度値と参照点Ｐ_ｒｉの輝度値とがそれ以外の関係である場合には、注目点Ｐ_ａｉの属性ｓ（ｘｉ，ｙｉ）は“０”となる。

次にエッジ線検出部２３は、下記の式（２）に基づいて、注目線Ｌ_ａに沿った属性ｓの連続性ｃ（ｘｉ，ｙｉ）から、注目線Ｌ_ａがエッジ線であるか否かを判定する。

注目点Ｐ_ａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐ_ａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じである場合には、連続性ｃ（ｘｉ，ｙｉ）は“１”となる。注目点Ｐ_ａｉの属性ｓ（ｘｉ，ｙｉ）と隣接する注目点Ｐ_ａｉ＋１の属性ｓ（ｘｉ＋１，ｙｉ＋１）とが同じではない場合には、連続性ｃ（ｘｉ，ｙｉ）は“０”となる。

次にエッジ線検出部２３は、注目線Ｌ_ａ上の全ての注目点Ｐ_ａの連続性ｃについて総和を求める。エッジ線検出部２３は、求めた連続性ｃの総和を注目点Ｐ_ａの数Ｎで割ることにより、連続性ｃを正規化する。エッジ線検出部２３は、正規化した値が閾値θを超えた場合に、注目線Ｌ_ａをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。

すなわち、エッジ線検出部２３は、下記の式（３）に基づいて注目線Ｌ_ａがエッジ線であるか否かを判断する。

そして、エッジ線検出部２３は、検出領域Ａ_１上に描かれた注目線Ｌ_ａの全てについてエッジ線であるか否かを判断する。

再度図３を参照する。立体物検出部２４は、エッジ線検出部２３により検出されたエッジ線の量に基づいて立体物を検出する。上記したように、本実施形態に係る立体物検出装置１は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域Ａ_１，Ａ_２に立体物が存在する可能性が高いということである。このため、立体物検出部２４は、エッジ線検出部２３により検出されたエッジ線の量に基づいて立体物を検出する。

更に、立体物検出部２４は、立体物を検出するに先立って、エッジ線検出部２３により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部２４は、エッジ線上の俯瞰画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の俯瞰画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判定する。一方、エッジ線上の俯瞰画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。

図６は、エッジ線を輝度分布を示す図である。図６（ａ）は検出領域Ａ_１に立体物としての他車両Ｖ２が存在した場合のエッジ線及び輝度分布を示す。図６（ｂ）は検出領域Ａ_１に立体物が存在しない場合のエッジ線及び輝度分布を示している。

図６（ａ）に示すように、鳥瞰画像において他車両Ｖ２のタイヤゴム部分に設定された注目線Ｌ_ａがエッジ線であると判断されていたとする。この場合、注目線Ｌ_ａ上の俯瞰画像の輝度変化はなだらかなものとなる。これは、カメラ１０により撮像された画像が鳥瞰画像（鳥瞰視）に視点変換されたことにより、他車両Ｖ２のタイヤが俯瞰画像内で引き延ばされたことによる。

一方、図６（ｂ）に示すように、鳥瞰画像において路面に描かれた「５０」という白色文字部分に設定された注目線Ｌ_ａがエッジ線であると誤判定されていたとする。この場合、注目線Ｌ_ａ上の俯瞰画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。

以上のような注目線Ｌ_ａ上の輝度分布の相違に基づいて、エッジ線検出部２３は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部２４は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「５０」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。

具体的には、立体物検出部２４は、下記の式（４）、（５）の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記の式（４）は、注目線Ｌ_ａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の二乗の合計値によって輝度分布を評価する。下記の式（５）は、注目線Ｌ_ａ上のｉ番目の輝度値Ｉ（ｘｉ，ｙｉ）と隣接するｉ＋１番目の輝度値Ｉ（ｘｉ＋１，ｙｉ＋１）との差分の絶対値の合計値よって輝度分布を評価する。

なお、式（５）に限らず、下記の式（６）のように、閾値ｔ２を用いて隣接する輝度値の属性ｂを二値化して、当該二値化した属性ｂを全ての注目点Ｐ_ａについて総和しても良い。

注目点Ｐ_ａｉの輝度値と参照点Ｐ_ｒｉの輝度値との輝度差の絶対値が閾値ｔ２よりも大きい場合、当該注目点Ｐ_ａ（ｘｉ，ｙｉ）の属性ｂは“１”となる。それ以外の関係である場合には、注目点Ｐ_ａｉの属性ｂ（ｘｉ，ｙｉ）は“０”となる。この閾値ｔ２は、注目線Ｌ_ａが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部２４は、注目線Ｌ_ａ上の全注目点Ｐ_ａについての属性ｂを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。

つぎに、本実施形態に係る立体物検出方法について説明する。図７及び図８は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図７及び図８においては、便宜上、検出領域Ａ_１を対象とする処理について説明するが、検出領域Ａ_２についても同様に処理できる。

図７に示すように、先ずステップＳ１において、カメラ１０は、画角ａ及び取付位置によって特定された所定領域を撮像する。

次に輝度差算出部２２は、ステップＳ２において、ステップＳ１にてカメラ１０により撮像された撮像画像データを入力し、視点変換を行って鳥瞰画像データを生成する。

次に輝度差算出部２２は、ステップＳ３において、検出領域Ａ_１上に注目線Ｌ_ａを設定する。このとき、輝度差算出部２２は、実空間上において鉛直方向に伸びる線に相当する線を注目線Ｌ_ａとして設定する。

次に輝度差算出部２２は、ステップＳ４において、検出領域Ａ_１上に参照線Ｌ_ｒを設定する。このとき、輝度差算出部２２は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Ｌ_ａと実空間上において所定距離離れた線を参照線Ｌ_ｒとして設定する。

次に輝度差算出部２２は、ステップＳ５において、注目線Ｌ_ａ上に複数の注目点Ｐ_ａを設定する。この際に、輝度差算出部２２は、エッジ線検出部２３によるエッジ検出時に問題とならない程度の数の注目点Ｐ_ａを設定する。

また、輝度差算出部２２は、ステップＳ６において、実空間上において注目点Ｐ_ａと参照点Ｐ_ｒとが略同じ高さとなるように、参照点Ｐ_ｒを設定する。これにより、注目点Ｐ_ａと参照点Ｐ_ｒとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。

次に輝度差算出部２２は、ステップＳ７において、実空間上において同じ高さとなる注目点Ｐ_ａと参照点Ｐ_ｒとの輝度差を算出する。

次にエッジ線検出部２３は、上記の式（１）に従って、各注目点Ｐ_ａの属性ｓを算出する。次にエッジ線検出部２３は、ステップＳ８において、上記の式（２）に従って、各注目点Ｐ_ａの属性ｓの連続性ｃを算出する。

次にエッジ線検出部２３は、ステップＳ９において、上記式（３）に従って、連続性ｃの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合（Ｓ９：ＹＥＳ）、エッジ線検出部２３は、ステップＳ１０において、当該注目線Ｌ_ａをエッジ線として検出する。そして、処理は、ステップＳ１１に移行する。正規化した値が閾値θより大きくないと判断した場合（Ｓ９：ＮＯ）、エッジ線検出部２３は、当該注目線Ｌ_ａをエッジ線として検出せず、処理は、ステップＳ１１に移行する。

ステップＳ１１において、計算機２０は、検出領域Ａ_１上に設定可能な注目線Ｌ_ａの全てについて上記のステップＳ３〜ステップＳ１０の処理を実行したか否かを判断する。全ての注目線Ｌ_ａについて上記処理をしていないと判断した場合（Ｓ１１：ＮＯ）、ステップＳ３に処理を戻して、新たに注目線Ｌ_ａを設定して、ステップＳ１１までの処理を繰り返す。一方、全ての注目線Ｌ_ａについて上記処理をしたと判断した場合（Ｓ１１：ＹＥＳ）、処理は図８のステップＳ１２に移行する。

図８のステップＳ１２において、立体物検出部２４は、図７のステップＳ１０において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部２４は、上記式（４）、式（５）、式（６）の何れかの式に従って、エッジ線の輝度変化を算出する。

次に立体物検出部２４は、ステップＳ１３において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域Ａ_１に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。

次に立体物検出部２４は、ステップＳ１４において、エッジ線の量が所定値以上であるか否かを判断する。なお、上記の所定値は、予め実験等によって求めておいて設定された値である。例えば、検出対象の立体物として四輪車を設定した場合、当該所定値は、予め実験等によって検出領域Ａ_１内において出現した四輪車のエッジ線の数に基づいて設定される。

エッジ線の量が所定値以上であると判定した場合（Ｓ１４：ＹＥＳ）、立体物検出部２４は、ステップＳ１５において、検出領域Ａ_１内に立体物が存在すると検出する。一方、エッジ線の量が所定値以上ではないと判定した場合（Ｓ１４：ＮＯ）、立体物検出部２４は、検出領域Ａ_１内に立体物が存在しないと判断する。その後、図７及び図８に示す処理は終了する。

以上のように、本実施形態に係る立体物検出装置１によれば、検出領域Ａ_１，Ａ_２に存在する立体物を検出するために、鳥瞰画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、立体物検出装置１は、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定できる。

具体的には、立体物検出装置１は、鳥瞰画像における検出領域Ａ_１，Ａ_２に対して、実空間において鉛直方向に伸びる線分に該当する注目線Ｌ_ａと、注目線Ｌ_ａとは異なる参照線Ｌ_ｒとを設定する。立体物検出装置１は、注目線Ｌ_ａ上の注目点Ｐ_ａと参照線Ｌ_ｒ上の参照点Ｐ_ｒとの輝度差を注目線Ｌ_ａ及び参照線Ｌ_ｒに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Ｌ_ａと参照線Ｌ_ｒとの輝度差を求める。注目線Ｌ_ａと参照線Ｌ_ｒとの輝度差が高い場合には、注目線Ｌ_ａの設定箇所に立体物のエッジがある可能性が高い。これによって、立体物検出装置１は、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、俯瞰画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、この立体物検出装置１によれば、立体物の検出精度を向上させることができる。

また、この立体物検出装置１によれば、鉛直仮想線付近の略同じ高さの２つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線Ｌ_ａ上の注目点Ｐ_ａと参照線Ｌ_ｒ上の参照点Ｐ_ｒとから輝度差を求める。このため、この立体物検出装置１によれば、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。

更に、この立体物検出装置１によれば。注目線Ｌ_ａ上の注目点Ｐ_ａと参照線Ｌ_ｒ上の参照点Ｐ_ｒとの輝度差に基づいて注目点Ｐ_ａに属性付けを行い、注目線Ｌ_ａに沿った属性の連続性ｃに基づいて当該注目線Ｌ_ａがエッジ線であるかを判断する。このため、立体物検出装置１によれば、輝度の高い領域と輝度の低い領域との境界をエッジ線して検出して、人間の自然な感覚に沿ったエッジ検出を行うことができる。

この効果について詳細に説明する。図９は、図３に示したエッジ線検出部２３の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第１縞模様１０１と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第２縞模様１０２とが隣接している。また、この画像例は、第１縞模様１０１の輝度が高い領域と第２縞模様１０２の輝度の低い領域とが隣接すると共に、第１縞模様１０１の輝度が低い領域と第２縞模様１０２の輝度が高い領域とが隣接している。この第１縞模様１０１と第２縞模様１０２との境界に位置する部位１０３は、人間の感覚によってはエッジとは知覚されない傾向にある。

これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位１０３はエッジとして認識されてしまう。しかし、エッジ線検出部２３は、部位１０３における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位１０３をエッジ線として判定する。したがって、エッジ線検出部２３は、人間の感覚としてエッジ線として認識しない部位１０３をエッジ線として認識する誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。

更に、この立体物検出装置１は、エッジ線検出部２３により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で俯瞰画像に現れる傾向がある。例えば、上述したように他車両Ｖ２のタイヤが引き伸ばされた場合、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における俯瞰画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合、俯瞰画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合、俯瞰画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、立体物検出装置１は、エッジ線に沿った俯瞰画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物オン検出精度を高くできる。

つぎに、第２実施形態に係る立体物検出装置１について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

第２実施形態として示す立体物検出装置１は、俯瞰画像に対して１本の鉛直仮想線を設定して立体物を検出する点で、第１実施形態とは異なる。この立体物検出装置１は、輝度差算出部２２によって、鉛直仮想線から実空間における等距離だけ離間した２つの画素の輝度差を算出する。

具体的には、図１０（ａ）に示すように、カメラ１０の位置Ｐ_ｓから、実空間上において鉛直方向に伸びる１本の鉛直仮想線Ｌを設定する。なお、図１０では、鉛直仮想線Ｌを１本だけ示しているが、この鉛直仮想線Ｌは、検出領域Ａ_１において放射線状に複数設定される。検出領域Ａ_１のうち一部を拡大した領域Ｂ_１を図１０（ｂ）に示す。なお、図１０においては、説明の便宜上、検出領域Ａ_１についてのみ説明するが、検出領域Ａ_２についても同様に処理を行うものとする。

図１０（ｂ）に示すように、輝度差算出部２２は、鉛直仮想線Ｌを跨いで実空間上における水平方向に２つの画素を設定する。具体的には、鉛直仮想線Ｌから実空間上における水平方向に第１参照点Ｐ_ａ１〜Ｐ_ａ６（以下、任意の点を示す場合には単に第１参照点Ｐ_ａｉという）を設定し、当該第１参照点から鉛直仮想線Ｌを跨いで第２参照点Ｐ_ｂ１〜Ｐ_ｂ６を設定する。すなわち、第１参照点Ｐ_ａ１〜Ｐ_ａ６及び第２参照点Ｐ_ｂ１〜Ｐ_ｂ６（以下、任意の点を示す場合には単に第２参照点Ｐ_ｂｉという）は、鉛直仮想線Ｌと同様に、カメラ１０の位置Ｐ_ｓから放射線に伸びる線上に設定される。

これにより、輝度差算出部２２は、第１参照点Ｐ_ａｉと第２画素群Ｐ_ｂｉとの実空間上における距離を同じとなるよう設定する。したがって、俯瞰画像において、画素Ｐ_ａ１と画素Ｐ_ｂ１との距離Ｄ_１、画素Ｐ_ａ２と画素Ｐ_ｂ２との距離Ｄ_２，画素Ｐ_ａ３と画素Ｐ_ｂ３との距離Ｄ_３、画素Ｐ_ａ４と画素Ｐ_ｂ４との距離Ｄ_４、画素Ｐ_ａ５と画素Ｐ_ｂ５との距離Ｄ_５、画素Ｐ_ａ６と画素Ｐ_ｂ６との距離Ｄ_６、となるほど、画像内距離は長くなる。

このように、輝度差算出部２２は、鉛直仮想線Ｌ付近に位置する実空間上で略同じ高さとなり、且つ、鉛直仮想線Ｌから実空間における等距離だけ離間した２つの画素Ｐ_ａｉ、Ｐ_ｂｉを設定する。輝度差算出部２２は、２つの画素間Ｐ_ａｉとＰ_ｂｉの画素差を算出する。これにより、輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線Ｌに沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。

これにより、エッジ線検出部２３は、輝度差算出部２２により算出された輝度差を用いてエッジ線を検出する。立体物検出部２４は、エッジ線検出部２３により検出されたエッジ線を用いて立体物を検出する。

このような立体物検出装置１の動作を、図１１及び図１２を参照して説明する。

図１１によれば、先ずステップＳ４１において、計算機２０によってカメラ１０により撮像された撮像画像データを取り込む。

次のステップＳ４２において、視点変換部２１は、ステップＳ４１にて取り込まれた撮像画像データに対して視点変換処理を行う。これにより視点変換部２１は、俯瞰画像データを作成する。

次のステップＳ４３において、輝度差算出部２２及びエッジ線検出部２３は、鉛直仮想線Ｌにおける左側に設定した第１参照点Ｐ_ａｉ（左側参照点）を用いて、エッジ線（左側鉛直エッジ）を検出する。次のステップＳ４４において、鉛直仮想線Ｌにおける右側に設定した第２参照点Ｐ_ｂｉ（右側参照点）を用いて、エッジ線（右側鉛直エッジ）を検出する。なお、このステップＳ４３及びステップＳ４４の処理は、図１２を参照して後述する。

次のステップＳ４５において、立体物検出部２４は、ステップＳ４３にて検出された左側鉛直エッジとステップＳ４４にて検出された右側鉛直エッジとを用いて、検出領域Ａ_１における立体物を検出する。

つぎに、図１２を参照して左側鉛直エッジ及び右側鉛直エッジを検出する処理を説明する。なお、図１２の説明では、左側鉛直エッジ及び右側鉛直エッジを総称して単に“鉛直エッジ”と呼ぶ。

先ず輝度差算出部２２は、ステップＳ５１において、第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定するための基準となる鉛直仮想線Ｌを設定する。この鉛直仮想線Ｌは、カメラ１０の位置Ｐ_ｓを通る放射方向であって、実空間上において鉛直方向に伸びるよう設定される。鉛直仮想線Ｌは、ステップＳ５１の処理の度に、検出領域Ａ_１の内側線を所定の間隔で横切るように設定される。

次のステップＳ５２において、属性ｓ、属性ｓの前回値ｓ＿ｐｒｅ、変化回数カウンタｄ、スコアカウントｎを初期化する。

次のステップＳ５３において、輝度差算出部２２は、第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定する。このとき、輝度差算出部２２は、図１０（ｂ）に示したように、鉛直仮想線Ｌを跨いで実空間上において同じ高さ且つ等距離となるよう各参照点を設定する。これにより、輝度差算出部２２は、検出領域Ａ_１において外側となるほど間隔が長くなるよう第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定する。

次のステップＳ５４においては、鉛直仮想線Ｌの位置ごとに、属性ｓ（輝度パターン）の判定を行う。このとき、輝度差算出部２２によって対応する第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの輝度差を求める。エッジ線検出部２３は、輝度差算出部２２によって求められた輝度差の関係と上述した式（１）とに従って、属性ｓ（輝度パターン）を設定する。この属性ｓは、例えば第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとを結ぶ線分と鉛直仮想線Ｌとが交差する位置の属性ｓである。

属性ｓは、第１参照点Ｐ_ａｉの輝度が第２参照点Ｐ_ｂｉよりも閾値ｔを超えて大きくなった場合に、“１”となる。一方、第１参照点Ｐ_ａｉの輝度値が、第２参照点Ｐ_ｂｉから閾値ｔを減じた輝度値よりも低い場合に、当該属性ｓは“−１”となる。第１参照点Ｐ_ａｉの輝度値と第２参照点Ｐ_ｂｉの輝度値とがそれ以外の関係である場合には、属性ｓは“０”となる。

次のステップＳ５５において、エッジ線検出部２３は、ステップＳ５４において属性ｓが所定値である場合のみに、スコアｎとしてカウントアップする。この属性ｓの所定値は、“１”又は“−１”の何れであっても良い。すなわち、エッジ線検出部２３は、第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉのうち一方が明るい又は暗いという合計をカウントする。なお、属性ｓが“０”であった場合にはスコアｎをカウントアップはしない。

次のステップＳ５６において、エッジ線検出部２３は、属性ｓの変化回数ｄをカウントする。このとき、今回のステップＳ５４にて判定された属性ｓと、前回にステップＳ５４にて判定された属性ｐｒｅ＿ｓとを比較する。この属性ｐｒｅ＿ｓは、属性ｓを求めた第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉと鉛直仮想線Ｌに沿って隣接している第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉから求められた属性ｓである。属性ｓと属性ｐｒｅ＿ｓとが同じ値である場合、変化回数ｄはカウントアップされる。

次のステップＳ５７において、エッジ線検出部２３は、属性ｓを記憶する。

次のステップＳ５８において、エッジ線検出部２３は、ステップＳ５１にて設定された基準線としての鉛直仮想線Ｌに設定された全ての参照点についてステップＳ５３〜ステップＳ５７の処理を実行したか否かを判定する。全ての参照点について処理を実行していない場合には、ステップＳ５３に処理は戻る。この再度のステップＳ５３においては、次の参照点を設定する。一方、全ての参照点について処理を実行したと判定した場合にはステップＳ５９に処理を進める。ステップＳ５９においては、検出領域Ａ_１に設定される全ての鉛直仮想線ＬについてステップＳ５２〜ステップＳ５８の処理を実行したか否かを判定する。全ての鉛直仮想線Ｌについて処理を実行したと判定した場合にはステップＳ５１に処理を進める。この再度のステップＳ５１において、次の鉛直仮想線Ｌを設定する。一方、全ての鉛直仮想線Ｌについて処理を実行したと判定した場合にはステップＳ６０に処理を進める。

ステップＳ６０において、エッジ線検出部２３は、検出領域Ａ_１に現れた鉛直エッジを判定する。このとき、エッジ線検出部２３は、同じ属性ｓが判定されたことを表すスコアｎと、第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの組の総数Ｎ、及び、変化回数ｄに基づいて鉛直エッジを判定する。具体的には、エッジ線検出部２３は、スコアｎ／総数Ｎ＞θであり、且つ、５＞ｄである場合に、当該鉛直仮想線Ｌを鉛直エッジであると判定する。

スコアｎ／総数Ｎは、スコアｎを参照点の総数で割ることにより、スコアｎを正規化している。これにより、エッジ線検出部２３は、参照点の総数Ｎに対して第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの関係が同じ（明るい又は暗い）と判定された割合が大きい場合には、鉛直エッジがあると推定できる。

また、エッジ線検出部２３は、変化回数ｄが上限値（この例では５）よりも少ない場合、当該鉛直仮想線Ｌが鉛直エッジであると推定できる。この変化回数ｄの上限値は、検出領域Ａ_１内で属性ｓが大きく変化する物体は路肩の雑草や路面表示記号・文字等である可能性が高いことを考慮して設定される。したがって、この上限値は、予め実験等によって、雑草や路面表示記号・文字等を鉛直エッジであると判断しないよう設定されている。

一方、エッジ線検出部２３は、この条件を満たさない場合、鉛直仮想線Ｌが鉛直エッジではないと判定する。

以上のように、この立体物検出装置１によれば、第１実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。

また、この立体物検出装置１によれば、単一の鉛直仮想線Ｌに対して２つの第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定し、当該第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの画像内距離を実空間における距離としている。これにより、この立体物検出装置１によれば、第１実施形態のように２本の注目線Ｌ_ａ及び参照線Ｌ_ｒを設けなくても、鉛直エッジを検出して立体物を検出することができる。したがって、この立体物検出装置１によれば、第１実施形態よりも処理負担を少なくできる。

つぎに、第２実施形態として示す他の立体物検出装置１について説明する。この第２実施形態として示す立体物検出装置１は、鉛直仮想線Ｌを１本だけ設定する点で一致する。この立体物検出装置１は、図１３（ａ）に示す俯瞰画像を一部拡大した図１３（ｂ）に示すように、鉛直仮想線Ｌに沿って俯瞰画像上に設定する第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの全ての距離を、同じ距離Ｄとしている。

すなわち、図１４に示すように、輝度差算出部２２は、カメラ１０の位置Ｐ_ｓから放射線状に鉛直仮想線Ｌを設定する。一方、輝度差算出部２２は、第１参照点Ｐ_ａｉが配置される仮想線ｌ_１及び第２参照点Ｐ_ｂｉが配置されるｌ_２を、鉛直仮想線Ｌと平行となるよう設定する。この仮想線ｌ_１及び仮想線ｌ_２は、鉛直仮想線Ｌから最も近い検出領域Ａ_１内の参照点Ｐ_ａ１、Ｐ_ｂ１が、カメラ１０の位置Ｐ_ｓから鉛直方向に伸びる放射線状の仮想線ｌと交差する位置に設定される。

このように第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定した場合、第１参照点Ｐ_ａ１と第２参照点Ｐ_ｂ１との距離及び第１参照点Ｐ_ａ２と第２参照点Ｐ_ｂ２との距離は、共に、ｄとなる。一方、カメラの位置Ｐ_ｓから伸びる放射線状の仮想線ｌ_１、ｌ_２上であって、第１参照点Ｐ_ａ１と第２参照点Ｐ_ｂ２とを結ぶ線上の点Ｐ_ａ’とＰ_ｂ’の距離は、ｄよりも長いｄ’となる。このことより、属性ｓを判定するための閾値ｔは、検出領域Ａ_１において外側となるほど（自車両Ｖ１から離間するほど）、小さく設定される。具体的には、第１参照点Ｐ_ａ１及び第２参照点Ｐ_ｂ１の属性ｓを判定する閾値ｔは、第１画素群Ｐ_ａ２及び第２参照点Ｐ_ｂ２の属性ｓを判定する閾値ｔ’よりも大きな値とされる。また、ｔ’は、ｔ×（ｄ／ｄ’）となる。したがって、エッジ線検出部２３は、上述した下記式（１）と同様の演算によって、鉛直仮想線Ｌにおける位置毎の属性ｓを判定する。

すなわち、エッジ線検出部２３は、第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉの組ごとに閾値ｔを設定する。そして、第１参照点Ｐ_ａｉの輝度値が、第２参照点Ｐ_ｂｉに閾値ｔを加えた輝度値よりも高い場合には、属性ｓ（ｘｉ，ｙｉ）は“１”となる。一方、第１参照点Ｐ_ａｉの輝度値が、第２参照点Ｐ_ｂｉから閾値ｔを減じた輝度値よりも低い場合には、属性ｓ（ｘｉ，ｙｉ）は“−１”となる。第１参照点Ｐ_ａｉの輝度値と第２参照点Ｐ_ｂｉの輝度値とがそれ以外の関係である場合には、属性ｓ（ｘｉ，ｙｉ）は“０”となる。

このような立体物検出装置１は、図１５に示すような動作を行って、鉛直エッジを検出する。この立体物検出装置１の動作は、図１２に示した動作に対して、ステップＳ５３’が異なる。

このステップＳ５３’は、輝度差算出部２２によって、鉛直仮想線Ｌに平行した仮想線ｌ_１、ｌ_２上に第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定する。また、輝度差算出部２２は、設定した第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉごとに、閾値ｔを設定する。これにより、エッジ線検出部２３は、ステップＳ５４において、第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの間の輝度差と、当該第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉごとに設定された閾値ｔとを比較して、属性ｓを判定する。

以上のように、この立体物検出装置１によれば、第１実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。

また、この立体物検出装置１によれば、鉛直仮想線Ｌから俯瞰画像における等距離だけ離間した２つの画素の輝度差を算出し、鉛直仮想線Ｌに沿った複数の位置が実空間における上方となるほど、輝度差に基づいて立体物を判定する閾値を低くする。これにより、この立体物検出装置１によれば、撮像画像を視点変換によって実空間における上方の画像が引き伸ばされても、閾値ｔを変更して、エッジを検出することができる。また、この立体物検出装置１によれば、第１実施形態のように２本の注目線Ｌ_ａ及び参照線Ｌ_ｒを設けなくても鉛直エッジを検出して、立体物を検出することができる。したがって、この立体物検出装置１によれば、第１実施形態よりも処理負担を少なくできる。

なお、この立体物検出装置１では、閾値を一定にしたまま、鉛直仮想線の位置を変更しながら鉛直仮想線を跨ぐ２つの画素の輝度差を検出しても、鉛直方向に伸びるエッジ線を検出して、立体物を検出することもできる。

つぎに、第３実施形態に係る立体物検出装置１について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。

図１６は、第３実施形態に係る立体物検出装置１における計算機２０の機能的な構成を示すブロック図である。なお、図１０においては、接続関係を明確にするためにカメラ１０についても図示するものとする。

図１６に示すように、計算機２０は、第１実施形態のエッジ線検出部２３に代えて、エッジ強度算出部（エッジ強度算出手段）２５を備えている。

エッジ強度算出部２５は、輝度差算出部２２により算出された連続的な輝度差から、注目線Ｌ_ａのエッジ強度を算出する。このエッジ強度とは、よりエッジ線らしいかを示す数値である。具体的には、エッジ強度は、下記の式（７）により算出される。

上記式（７）において、ｃ（ｘｉ，ｙｉ）は、注目点Ｐ_ａｉの属性の連続性ｃである。Ｎは、注目線Ｌ_ａに設定された注目点Ｐ_ａの数である。式（７）より、エッジ強度は、各注目線Ｌ_ａの連続性ｃの総和を、注目点Ｐ_ａの設定数で除した値となる。

図１７は、図１６に示したエッジ強度算出部２５による処理を示す概念図である。図１７（ａ）は検出領域Ａ_１に立体物としての他車両Ｖ２が存在している場合のエッジ強度を示す。図１７（ｂ）は検出領域Ａ_１に立体物が存在しない場合のエッジ強度を示している。なお、図１７においては、検出領域Ａ_１のみを図示してエッジ強度算出部２５の説明をするが、検出領域Ａ_２についても同様に処理を行うことができる。

図１７（ａ）に示すように、検出領域Ａ_１に他車両Ｖ２が存在する場合、上述した式（７）のように注目点Ｐ_ａの属性の連続性ｃが高くなるため、各注目線Ｌ_ａのエッジ強度は高くなる傾向がある。したがって、検出領域Ａ_１に含まれる複数のエッジ強度の総和は高くなる。

一方、図１７（ｂ）に示すように、検出領域Ａ_１に立体物が存在しない場合、上述した式（７）のように注目点Ｐ_ａの属性の連続性ｃが低くなるため、各注目線Ｌ_ａのエッジ強度は低くなる傾向がある。したがって、検出領域Ａ_１に含まれる複数のエッジ強度の総和は低くなる。

以上のように、立体物検出部２４は、注目線Ｌ_ａのエッジ強度の総和が所定の閾値以上である場合、検出領域Ａ_１に立体物が存在すると検出できる。ところで、立体物の撮像環境等によっては、実空間における鉛直方向のエッジが弱くなって俯瞰画像内に表現される可能性がある。この場合には、立体物検出装置１は、立体物が検出できなくなる可能性がある。しかし、第３実施形態に係る立体物検出装置１によれば、エッジ強度に基づいて立体物を検出するので、弱いエッジのみしか俯瞰画像内に現れなかった場合であっても、弱いエッジが数多く集まることにより、立体物を検出することができる。

図１８は、第３実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図１８においては、便宜上、検出領域Ａ_１を対象とする処理について説明するが、検出領域Ａ２についても同様に処理できる。

立体物検出装置１は、先ず、ステップＳ２１〜ステップＳ２８の処理において、図７に示したステップＳ１〜ステップＳ８と同様の処理を実行する。

このステップＳ２８の次のステップＳ２９において、エッジ強度算出部２５は、上記の式（７）に従って、エッジ強度を算出する。

次に計算機２０は、ステップＳ３０において、検出領域Ａ_１上に設定可能な注目線Ｌ_ａの全てについてエッジ強度を算出したか否かを判断する。注目線Ｌ_ａの全てについて検出領域Ａ_１上に設定可能な注目線Ｌ_ａの全てについてエッジ強度を算出したか否かを判定する。注目線Ｌ_ａの全てについてエッジ強度を算出していないと判断した場合（Ｓ３０：ＮＯ）、処理はステップＳ２３に移行する。一方、注目線Ｌ_ａの全てについてエッジ強度を算出したと判断した場合（Ｓ３０：ＹＥＳ）、処理はステップＳ３１に移行する。

ステップＳ３１において、立体物検出部２４は、エッジ強度算出部２５により算出されたエッジ強度の総和を算出する。

次に立体物検出部２４は、ステップＳ３２において、ステップＳ３１にて算出したエッジ強度の総和が閾値以上であるか否かを判断する。エッジ強度の総和が閾値以上であると判断した場合（Ｓ３２：ＹＥＳ）、立体物検出部２４は、ステップＳ３３において、検出領域Ａ_１内に立体物が存在することを検出する。一方、エッジ強度の総和が閾値以上ではないと判断した場合（Ｓ３２：ＮＯ）、立体物検出部２４は、検出領域Ａ_１内に立体物が存在しないと判断する。その後、図１２に示す処理は終了する。

以上のように、この第３実施形態に係る立体物検出装置１及び立体物検出方法によれば、第１実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。

また、この第３実施形態に係る立体物検出装置１によれば、鉛直仮想線を設定して取得した連続的な輝度差から注目線Ｌ_ａのエッジ強度を算出し、当該エッジ強度に基づいて立体物を検出する。したがって、この立体物検出装置１によれば、立体物の撮像環境等によっては鉛直方向のエッジが弱く画像内に現れても、立体物が検出できないことを抑制できる。すなわち、この立体物検出装置１によれば、俯瞰画像内に現れた実空間において鉛直方向におけるエッジが弱くても、当該弱いエッジが数多く集まることによってエッジ強度に基づいて立体物を検出することができる。したがって、この立体物検出装置１によれば、撮像環境等により立体物の検出精度が低下してしまう事態を抑制することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である
例えば、上記の実施形態において、計算機２０は視点変換部２１を備えることによって鳥瞰画像データを生成している。しかし、これに限るものではない。例えば、撮像画像データに対して上記実施形態と同様に処理を実行すれば必ずしも明確に鳥瞰画像データを作成しなくても良い。

本発明によれば、周囲の立体物を検出する産業上の分野に利用できる。

１ 立体物検出装置
１０ カメラ
２０ 計算機
２１ 視点変換部
２２ 輝度差算出部
２３ エッジ線検出部
２４ 立体物検出部
２５ エッジ強度算出部

次に、輝度差算出部２２は、注目線Ｌａ上に複数の注目点Ｐ_ａ１ 〜Ｐ_ａＮ を設定する。例えば、図５（ｂ）においては、説明の便宜上、６つの注目点Ｐ_ａ１ 〜Ｐ_ａ６ （以下、任意の点を示す場合には単に注目点Ｐ _ａｉ という）を設定している。なお、注目線Ｌ_ａ上に設定する注目点Ｐ_ａの数は任意でよい。以下の説明では、Ｎ固の注目点Ｐ_ａが注目線Ｌ_ａ上に設定されたものとして説明する。

次に、輝度差算出部２２は、実空間上において各注目点Ｐ_ａ１ 〜Ｐ_ａＮ と同じ高さとなるように各参照点Ｐ_ｒ１ 〜Ｐ_ｒＮ を設定する。

次に、輝度差算出部２２は、同じ高さ同士の注目点Ｐ_ａと参照点Ｐ_ｒとの輝度差を算出する。これにより、輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置（１〜Ｎ）ごとに、２つの画素間の輝度差を算出する。輝度差算出部２２は、例えば、第１注目点Ｐ_ａ１とは、第１参照点Ｐ_ｒ１との間で輝度差を算出し、第２注目点Ｐ_ａ２ とは、第２参照点Ｐ_ｒ２との間で輝度差を算出することとなる。これにより、輝度差算出部２２は、注目線Ｌ_ａ及び参照線Ｌ_ｒに沿って、連続的に輝度差を求める。すなわち、輝度差算出部２２は、第３〜第Ｎ注目点Ｐ_ａ３ 〜Ｐ_ａＮと第３〜第Ｎ参照点Ｐ_ｒ３〜Ｐ_ｒＮとの輝度差を順次求めていくこととなる。

再度、図３を参照する。エッジ線検出部２３は、輝度差算出部２２により算出された連続的な輝度差から、エッジ線を検出する。例えば、図５（ｂ）に示す場合、第１注目点Ｐ_ａ１と第１参照点Ｐ_ｒ１とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第２〜第６注目点Ｐ_ａ２ 〜Ｐ_ａ６はタイヤのゴム部分に位置し、第２〜第６参照点Ｐ_ｒ２〜Ｐ_ｒ６はタイヤのホイール部分に位置する。したがって、第２〜第６注目点Ｐ_ａ２〜Ｐ_ａ６と第２〜第６参照点Ｐ_ｒ２〜Ｐ_ｒ６との輝度差は大きくなる。このため、エッジ線検出部２３は、輝度差が大きい第２〜第６注目点Ｐ_ａ２〜Ｐ_ａ６ と第２〜第６参照点Ｐ_ｒ２〜Ｐ_ｒ６との間にエッジ線が存在することを検出できる。

図６は、エッジ線及び輝度分布を示す図である。図６（ａ）は検出領域Ａ１に立体物としての他車両Ｖ２が存在した場合のエッジ線及び輝度分布を示す。図６（ｂ）は検出領域Ａ１に立体物が存在しない場合のエッジ線及び輝度分布を示している。

更に、この立体物検出装置１は、エッジ線検出部２３により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ１０により取得された撮像画像を鳥瞰画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で俯瞰画像に現れる傾向がある。例えば、上述したように他車両Ｖ２のタイヤが引き伸ばされた場合、タイヤという１つの部位が引き伸ばされるため、引き伸ばされた方向における俯瞰画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合、俯瞰画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合、俯瞰画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、立体物検出装置１は、エッジ線に沿った俯瞰画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高くできる。

これにより、輝度差算出部２２は、第１参照点Ｐ_ａｉと第２参照点Ｐ_ｂｉとの実空間上における距離を同じとなるよう設定する。したがって、俯瞰画像において、画素Ｐ_ａ１と画素Ｐ_ｂ１との距離Ｄ_１、画素Ｐ_ａ２と画素Ｐ_ｂ２との距離Ｄ_２，画素Ｐ_ａ３と画素Ｐ_ｂ３との距離Ｄ_３、画素Ｐ_ａ４と画素Ｐ_ｂ４との距離Ｄ_４、画素Ｐ_ａ５と画素Ｐ_ｂ５との距離Ｄ_５、画素Ｐ_ａ６と画素Ｐ_ｂ６との距離Ｄ_６、となるほど、画像内距離は長くなる。

このように、輝度差算出部２２は、鉛直仮想線Ｌ付近に位置する実空間上で略同じ高さとなり、且つ、鉛直仮想線Ｌから実空間における等距離だけ離間した２つの画素Ｐ_ａｉ、Ｐ_ｂｉを設定する。輝度差算出部２２は、２つの画素間Ｐ_ａｉとＰ_ｂｉの輝度差を算出する。これにより、輝度差算出部２２は、実空間における鉛直方向に伸びる鉛直仮想線Ｌに沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する。

次のステップＳ５２において、属性ｓ、属性ｓの前回値ｓ＿ｐｒｅ、変化回数カウントｄ、スコアカウントｎを初期化する。

次のステップＳ５６において、エッジ線検出部２３は、属性ｓの変化回数ｄをカウントする。このとき、今回のステップＳ５４にて判定された属性ｓと、前回にステップＳ５４にて判定された属性ｓ＿ｐｒｅとを比較する。この属性ｓ＿ｐｒｅは、属性ｓを求めた第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉと鉛直仮想線Ｌに沿って隣接している第１参照点Ｐ_ａｉ及び第２参照点Ｐｂｉから求められた属性ｓである。属性ｓと属性ｓ＿ｐｒｅとが同じ値である場合、変化回数ｄはカウントアップされる。

次のステップＳ５８において、エッジ線検出部２３は、ステップＳ５１にて設定された基準線としての鉛直仮想線Ｌに設定された全ての参照点についてステップＳ５３〜ステップＳ５７の処理を実行したか否かを判定する。全ての参照点について処理を実行していない場合には、ステップＳ５３に処理は戻る。この再度のステップＳ５３においては、次の参照点を設定する。一方、全ての参照点について処理を実行したと判定した場合にはステップＳ５９に処理を進める。ステップＳ５９においては、検出領域Ａ_１に設定される全ての鉛直仮想線ＬについてステップＳ５２〜ステップＳ５８の処理を実行したか否かを判定する。全ての鉛直仮想線Ｌについて処理を実行したと判定していない場合にはステップＳ５１に処理を進める。この再度のステップＳ５１において、次の鉛直仮想線Ｌを設定する。一方、全ての鉛直仮想線Ｌについて処理を実行したと判定した場合にはステップＳ６０に処理を進める。

このように第１参照点Ｐ_ａｉ及び第２参照点Ｐ_ｂｉを設定した場合、第１参照点Ｐ_ａ１と第２参照点Ｐ_ｂ１との距離及び第１参照点Ｐ_ａ２と第２参照点Ｐ_ｂ２との距離は、共に、ｄとなる。一方、カメラの位置Ｐ_ｓから伸びる放射線状の仮想線Ｉ上であって、第１参照点Ｐ_ａ２ と第２参照点Ｐ_ｂ２とを結ぶ線上の点Ｐ_ａ’とＰ_ｂ’の距離は、ｄよりも長いｄ’となる。このことより、属性ｓを判定するための閾値ｔは、検出領域Ａ_１において外側となるほど（自車両Ｖ_１から離間するほど）、小さく設定される。具体的には、第１参照点Ｐ_ａ１及び第２参照点Ｐ_ｂ１の属性ｓを判定する閾値ｔは、第１参照点Ｐ_ａ２及び第２参照点Ｐ_ｂ２の属性ｓを判定する閾値ｔ’よりも大きな値とされる。また、ｔ’は、ｔ×（ｄ／ｄ’）となる。したがって、エッジ線検出部２３は、上述した式（１）と同様の演算によって、鉛直仮想線Ｌにおける位置毎の属性ｓを判定する。

図１６は、第３実施形態に係る立体物検出装置１における計算機２０の機能的な構成を示すブロック図である。なお、図１６においては、接続関係を明確にするためにカメラ１０についても図示するものとする。

図１７（ａ）に示すように、検出領域Ａ_１に他車両Ｖ_２が存在する場合、上述した式（７）のように注目点Ｐ_ａの属性の連続性ｃの総和が高くなるため、各注目線Ｌ_ａのエッジ強度は高くなる傾向がある。したがって、検出領域Ａ_１に含まれる複数のエッジ強度の総和は高くなる。

一方、図１７（ｂ）に示すように、検出領域Ａ_１に立体物が存在しない場合、上述した式（７）のように注目点Ｐ_ａの属性の連続性ｃの総和が低くなるため、各注目線Ｌ_ａのエッジ強度は低くなる傾向がある。したがって、検出領域Ａ_１に含まれる複数のエッジ強度の総和は低くなる。

以上のように、立体物検出部２４は、注目線Ｌ_ａのエッジ強度の総和が所定の閾値以上である場合、検出領域Ａ_１に立体物が存在すると判断できる。ところで、立体物の撮像環境等によっては、実空間における鉛直方向のエッジが弱くなって俯瞰画像内に表現される可能性がある。この場合には、立体物検出装置１は、立体物が検出できなくなる可能性がある。しかし、第３実施形態に係る立体物検出装置１によれば、エッジ強度に基づいて立体物を検出するので、弱いエッジのみしか俯瞰画像内に現れなかった場合であっても、弱いエッジが数多く集まることにより、立体物を検出することができる。

図１８は、第３実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図１８においては、便宜上、検出領域Ａ_１を対象とする処理について説明するが、検出領域Ａ _２ についても同様に処理できる。

次に立体物検出部２４は、ステップＳ３２において、ステップＳ３１にて算出したエッジ強度の総和が閾値以上であるか否かを判断する。エッジ強度の総和が閾値以上であると判断した場合（Ｓ３２：ＹＥＳ）、立体物検出部２４は、ステップＳ３３において、検出領域Ａ_１内に立体物が存在することを検出する。一方、エッジ強度の総和が閾値以上ではないと判断した場合（Ｓ３２：ＮＯ）、立体物検出部２４は、検出領域Ａ_１内に立体物が存在しないと判断する。その後、図１８に示す処理は終了する。

Claims (10)

1. 所定領域を撮像する撮像手段と、
   前記撮像手段により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成する視点変換手段と、
   実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出する輝度差算出手段と、
   前記輝度差算出手段により算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出する立体物検出手段と
   を備えることを特徴とする立体物検出装置。
2. 前記輝度差算出手段は、前記鉛直仮想線付近に位置する実空間上で略同じ高さとなる２つの画素間の輝度差を算出することを特徴とする請求項１に記載の立体物検出装置。
3. 前記鉛直仮想線は、前記実空間における鉛直方向に伸びる第１鉛直仮想線と、前記第１鉛直仮想線から実空間における所定距離だけ離間して前記実空間における鉛直方向に伸びる第２鉛直仮想線とを含み、
   前記輝度差算出手段は、前記第１鉛直仮想線上の画素と前記第２鉛直仮想線上の画素との輝度差を算出すること
   を特徴とする請求項１又は請求項２に記載の立体物検出装置。
4. 前記輝度差算出手段は、前記鉛直仮想線から実空間における等距離だけ離間した２つの画素の輝度差を算出することを特徴とする請求項１又は請求項２に記載の立体物検出装置。
5. 前記輝度差算出手段は、前記鉛直仮想線から前記俯瞰画像における等距離だけ離間した２つの画素の輝度差を算出し、
   前記立体物検出手段は、前記鉛直仮想線に沿った複数の位置が実空間における上方となるほど、前記輝度差算出手段により算出された輝度差に基づいて立体物を判定する閾値を低くすること
   を特徴とする請求項１又は請求項２に記載の立体物検出装置。
6. 前記輝度差算出手段により算出された複数の位置間における輝度差の連続性に基づいて、エッジ線を検出するエッジ線検出手段を備え、
   前記立体物検出手段は、前記エッジ線検出手段により検出されたエッジ線の量に基づいて、立体物を検出することを特徴とする請求項１に記載の立体物検出装置。
7. 前記エッジ線検出手段は、前記輝度差算出手段により算出された鉛直仮想線上の位置ごとの輝度差に基づいて当該鉛直仮想線上の位置ごとに属性を付け、当該属性の連続性に基づいて当該鉛直仮想線がエッジ線であるか否かを判断することを特徴とする請求項６に記載の立体物検出装置。
8. 前記立体物検出手段は、前記エッジ線検出手段により検出されたエッジ線に沿った画素の輝度変化が所定値よりも大きい場合に、当該エッジ線を立体物の検出には使用しないことを特徴とする請求項６又は請求項７に記載の立体物検出装置。
   
9. 前記輝度差算出手段により算出された輝度差に基づいて、前記鉛直仮想線のエッジ線強度を算出するエッジ強度算出手段を備え、
   前記立体物検出手段は、前記エッジ強度算出手段により算出されたエッジ強度の総和に基づいて、立体物を検出すること
   を特徴とする請求項１に記載の立体物検出装置。
10. 所定領域を撮像し、
    前記撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、
    実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の２つの画素間の輝度差を算出し、
    前記算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出すること
    を特徴とする立体物検出方法。

Images