JP4754434B2

JP4754434B2 - 路面推定装置

Info

Publication number: JP4754434B2
Application number: JP2006217040A
Authority: JP
Inventors: 亮人木俣; 昭夫高橋
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-08-09
Filing date: 2006-08-09
Publication date: 2011-08-24
Anticipated expiration: 2026-08-09
Also published as: JP2008040965A

Description

本発明は、路面推定装置に関するものである。

カメラによって車両周辺の画像を撮影し、画像中の物体を認識するための技術が開発されている。特に、路面上に存在する歩行者等を認識するための前提として、路面位置を認識する手法の開発が望まれている。
特許文献１には、２本の道路平行線の先端が交わる道路消失点を抽出し、その道路抽出点の座標に基づいて、道路に対するカメラのヨー角やピッチ角などの姿勢パラメータを算出する手法が提案されている。また非特許文献１には、ステレオ動画像を用いて、画像間の射影変換を求めると同時に、空間中の道路平面部分に対応した領域を抽出する手法が提案されている。
特許第２５４４８９８号関、奥富、「ステレオ動画像を利用した平面領域抽出による障害物検出」、情報処理学会論文誌：コンピュータビジョンとイメージメディア、平成１６年１２月、Ｖｏｌ．４５、Ｎｏ．ＳＩＧ１３（ＣＶＩＭ１０）

しかしながら、特許文献１の手法では、処理速度は速いものの、道路消失点を抽出するため画像中に２本の道路平行線が必要であり、適応可能場面が限られるという問題がある。また非特許文献１の手法では、道路平面部分を精度よく検出できるものの、最適化するパラメータが多く処理が重いという問題がある。
そこで本発明は、迅速に精度良く路面を推定することが可能な路面推定装置の提供を課題とする。

上記課題を解決するために、請求項１に係る発明は、自車両前方の画像を撮影するカメラ（例えば、実施形態におけるステレオカメラ５Ｌ，５Ｒ）と、前記カメラにより撮影された前記画像から前記自車両（例えば、実施形態における自車両１）の前方の立体物（例えば、実施形態における支柱５０）を検出する立体物検出手段（例えば、実施形態における立体物検出手段１２）と、前記立体物検出手段により検出された前記立体物の下端位置（例えば、実施形態における下端位置５４）を検出する下端位置検出手段（例えば、実施形態における下端位置検出手段１４）と、前記下端位置検出手段により検出された前記立体物の下端位置と、前記自車両の基準位置（例えば、実施形態におけるカメラ位置）とにより、仮路面（例えば、実施形態における仮ピッチ角θｎの面）を算出する仮路面算出手段（例えば、実施形態における仮路面算出手段１６）と、前記仮路面算出手段により算出された前記仮路面をもとに実路面（例えば、実施形態における実ピッチ角θの面）を推定する実路面推定手段（例えば、実施形態における実路面推定手段１８）と、を備え、前記立体物検出手段は、前記カメラにより撮影された前記画像において所定値以上の長さで上下方向に伸びる縦長エッジから前記立体物の縦長エッジ（例えば、実施形態における縦長エッジ５２，６２，７２）を抽出し、前記下端位置検出手段は、前記立体物検出手段により抽出された前記立体物の縦長エッジの下端位置を検出し、前記仮路面算出手段は、前記下端位置検出手段により検出された前記立体物の縦長エッジの下端位置および前記自車両の基準位置と、前記カメラから前記立体物までの距離（例えば、実施形態における距離Ｌ）とから、前記カメラの光軸とから前記自車両のピッチ角（例えば、実施形態における仮ピッチ角θｎ）を算出することにより前記仮路面を算出し、前記実路面推定手段は、前記仮路面算出手段により算出された前記自車両のピッチ角をもとに前記実路面を推定する、ことを特徴とする。
また請求項２に係る発明は、前記自車両の基準位置は、前記カメラが配置される位置であり、前記実路面推定手段は、前記カメラの光軸と前記仮路面算出手段により算出された前記自車両のピッチ角をなし、かつ、前記カメラの路面からの距離（例えば、実施形態における距離ｈ）だけ下方に位置する面を実路面として推定することを特徴とする。
また請求項３に係る発明は、前記立体物検出手段は、前記立体物の縦長エッジを前記カメラにより撮影された前記画像から複数抽出し、前記仮路面算出手段は、前記立体物検出手段により抽出された前記縦長エッジごとに前記自車両のピッチ角を算出し、前記実路面推定手段は、前記仮路面算出手段により算出された複数の前記自車両のピッチ角のうち最多のピッチ角をもとに前記実路面を推定することを特徴とする。

請求項１に係る発明によれば、立体物の下端位置と自車両の基準位置とにより迅速に仮路面を求めることが可能であり、自車両が傾斜した場合でも精度良く実路面を推定することができる。

以下、本発明の実施形態につき図面を参照して説明する。
図１は、本実施形態に係る路面推定装置の概略構成図である。路面推定装置３は、車両前方の画像を撮影するためのステレオカメラ５Ｌ，５Ｒを備えている。ステレオカメラ５Ｌ，５ＲはＣＣＤカメラ等で構成され、フロントガラスの内側の天井部に取り付けられている。左側カメラ５Ｌは、車幅方向中央部のバックミラー近傍に配置され、右側カメラ５Ｒは、車幅方向右端部に配置されている。なお右側カメラ５Ｒを車幅方向中央部のバックミラー近傍に配置し、左側カメラ５Ｌを車幅方向左端部に配置してもよい。左側カメラ５Ｌと右側カメラ５Ｒとの距離は、３０〜４０ｃｍ程度に設定されている。

ステレオカメラ５Ｌ，５Ｒが撮影した画像は、車両に搭載されたコンピュータ１０に入力される。コンピュータ１０には、自車両１の前方の立体物を検出する立体物検出手段１２と、検出した立体物の下端位置を検出する下端位置検出手段１４と、立体物の下端位置とカメラ５の位置とにより仮路面を求める仮路面算出手段１６と、仮路面をもとに実路面を推定する実路面推定手段１８とが構築されている。

上述した本実施形態に係る路面推定装置３の動作につき、図１ないし図７を用いて説明する。
図２は、路面推定方法のフローチャートである。まず、ステレオカメラ５Ｌ，５Ｒにより車両前方の画像を撮影する（Ｓ２０）。
図３は、ステレオカメラ５Ｌ，５Ｒにより撮影された画像の一例である。撮影された画像は、コンピュータ１０の立体物検出手段１２に出力する。

次に、立体物検出手段１２により画像中の縦長エッジを抽出する（Ｓ２２）。具体的には、まず画像全体を走査して、横方向に隣接する画素の輝度を比較し、輝度差が大きい一対の画素を抽出する。次に、一対の画素のうち高輝度の画素と、その下方向に隣接する画素と輝度を比較する。これらの輝度差が小さければ、高輝度の画素列が下方向に連続していると判断し、さらにその下方向に隣接する画素と輝度を比較する。また輝度差が大きければ、高輝度の画素列の下端部であると判断する。このように検出した高輝度画素列の長さが所定値を超えている場合には、その高輝度画素列を縦長エッジとして抽出する。

図４は、図３の画像から縦長エッジを抽出したものである。図３の画像におけるガードレールの支柱５０の輪郭が、図４において縦長エッジ５２として抽出されている。また図３の画像におけるビル６０の輪郭も、図４において縦長エッジ６２として抽出されている。さらに図３の画像におけるビルの窓７０の輪郭も、図４において縦長エッジ７２として抽出されている。なお図４では、縦長エッジの下端部のうち路面上に位置するものを黒丸５４，６４で、路面上に位置しないものを白丸７４で示している。

次に、立体物検出手段１２により立体物の縦長エッジを検出する（Ｓ２３）。
図５は、立体物の縦長エッジの検出方法の説明図である。図５（ａ）に示すように、立体物８０のほかに、所定形状の平面模様９０が存在する場合を例にして説明する。図５（ｂ）は、これらの立体物８０および平面模様９０を左側カメラ５Ｌで撮影した画像であり、図５（ｃ）は右側カメラ５Ｒで撮影した画像である。

立体物８０の輪郭８２，８４は、左側カメラ５Ｌの画像においても、右側カメラ５Ｒの画像においても、上下方向に伸びる縦長エッジとして抽出される。ところが平面模様９０の輪郭９２，９４は、左側カメラ５Ｌの画像において上下方向に伸びる縦長エッジとして抽出されても、右側カメラ５Ｒの画像においては斜め方向に伸びるエッジとして抽出される。そこで、左側カメラ５Ｌの画像および右側カメラ５Ｒのいずれの画像においても、略同形状の縦長エッジとして抽出されたものを、立体物８０の縦長エッジとして検出する。
具体的には、左側カメラ５Ｌの画像において縦長エッジを抽出した場合に、その縦長エッジの位置に対応する右側カメラ５Ｒの画像中の位置に、略同形状の縦長エッジが存在するか判断する。なお左側カメラ５Ｌおよび右側カメラ５Ｒの位置は固定されているので、両者の画像において対応する位置を特定することは容易である。そして、略同形状の縦長エッジが存在する場合には、それを立体物８０の縦長エッジとして検出する。

次に、下端位置検出手段１４により立体物の縦長エッジの下端位置を検出する（Ｓ２４）。ここでは、縦長エッジの下端画素の位置を下端位置として検出する。なお、Ｓ２２において検出した高輝度画素列の下端画素の位置を記録しておき、これを縦長エッジの下端位置として読み出してもよい。

図６は、仮路面（仮ピッチ角θｎ）の算出方法の説明図である。車両１の停止状態において、カメラ５の光軸は実路面と平行になっている。また、カメラ５は実路面から距離ｈだけ上方に固定されている。この場合、カメラ５の光軸と平行であって、なおかつカメラ５から距離ｈだけ下方に位置する面が実路面である。

しかしながら、車両１の加減速や実路面の凹凸２などにより、車両がピッチ角θで傾斜する場合がある。これに伴って、カメラ５の光軸も実路面に対して角度θで傾斜することになる。この場合、カメラ５の光軸と角度θをなし、なおかつカメラ５から距離ｈだけ下方に位置する面が実路面である。すなわち、車両のピッチ角θを求める作業は、実路面の位置を求める作業に一致する。そこで、カメラ５が撮影した画像ごとに、車両のピッチ角θを求める作業を行う。
本実施形態では、縦長エッジに対応する立体物の下端が実路面上に位置すると仮定して、画像中の縦長エッジごとに車両１の仮ピッチ角θｎを算出する。次に、立体物の下端が最も多く位置するのは実路面上である蓋然性が大きいことを前提に、複数の仮ピッチ角θｎをもとに車両１の実ピッチ角θを推定する。

まず、仮路面算出手段１６により仮路面（仮ピッチ角θｎ）を算出する（Ｓ２６）。その具体的な手順は以下の通りである。まず、ステレオカメラで撮影した画像を用いて、カメラ５から立体物５３までの距離Ｌを算出する。次に、カメラ５の光軸から立体物５３の下端位置５５までの距離Ｈを算出する。ここで、カメラ５の光軸から縦長エッジ５２の下端位置５４までの距離をｙとし、カメラ５からその焦点位置Ｆｏまでの距離をｆとすれば、数式１により距離Ｈを算出することができる。

次に、カメラ５の光軸から立体物５３の下端位置５５までの距離Ｈと、カメラの高さｈとの差ΔＨを、数式２により算出する。

このΔＨおよびＬを用いて、数式３により仮ピッチ角θｎを算出する。

次に、実路面推定手段１８により実路面（実ピッチ角θ）を推定する（Ｓ２８）。図３および図４に示すように、立体物の下端位置が最も多く存在するのは実路面上である蓋然性が大きい。そのため、複数の仮ピッチ角θｎから実ピッチ角θを推定する手法として、仮ピッチ角θｎの最多値や平均値、中央値を採用する方法が考えられる。本実施形態では、仮ピッチ角θｎの最多値を採用する方法（ボーティング）によって、車両の実ピッチ角θを推定する。

図７は、ボーディングの説明図である。まず、仮ピッチ角θｎの範囲（ランク）を設定する。図７では、θｎ＝０を中心に幅０．０３ｒａｄの複数のランクを設定している。次に、Ｓ２６で算出した仮ピッチ角θｎを、設定したランクに振り分ける（投票する）。図７では、θｎ＝−０．０６〜−０．０３ｒａｄのランクが最多得票ランクになっている。そこで、最多得票ランクの中央値である−０．０４５ｒａｄを、仮ピッチ角θｎの最多値として、実ピッチ角θに採用する。
そして、カメラ５の光軸と実ピッチ角θをなし、なおかつカメラ５から距離ｈだけ下方に位置する面が、実路面であると推定される。

以上に詳述したように、図１に示す本実施形態に係る路面推定装置３は、自車両１の前方の立体物を検出する立体物検出手段１２と、検出した前記立体物の下端位置を検出する下端位置検出手段１４と、立体物の下端位置と自車両１の基準位置とにより仮路面を求める仮路面算出手段１６と、仮路面をもとに実路面を推定する実路面推定手段１８とを備えることを特徴とする。この構成によれば、立体物の下端位置（例えば、縦長エッジ５２の下端位置５４）と自車両１のカメラ位置（例えば、ステレオカメラの間隔や高さｈ、光軸方向、焦点位置Ｆｏなど）とにより簡単に仮路面を求めることが可能であり、自車両１が傾斜した場合でも精度良く実路面を推定することができる。

また、本実施形態に係る路面推定装置に、歩行者や障害物等の認識装置を組み合わせることが望ましい。本実施形態で推定された実路面上に、歩行者等が存在すると認識された場合には、その歩行者等は自車両と衝突する可能性があるとして、注意を促すことができる。

なお、この発明は上述した実施形態に限られるものではない。
例えば、実施形態ではステレオカメラにより車両前方の画像を撮影したが、車両側方や車両後方の画像を撮影して実路面を推定してもよい。また、実施形態では車両停止状態においてカメラの光軸を路面と水平に設定したが、路面と所定角度をなすように設定してもよい。

実施形態に係る路面推定装置の概略構成図である。路面推定方法のフローチャートである。撮影された画像の一例である。図３の画像から縦長エッジを抽出したものである。立体物の縦長エッジの検出方法の説明図である。仮路面の算出方法の説明図である。ボーディングの説明図である。

符号の説明

１…自車両３…路面推定装置５…カメラ１０…コンピュータ１２…立体物検出手段１４…下端位置検出手段１６…仮路面算出手段１８…実路面推定手段

Claims

自車両前方の画像を撮影するカメラと、
前記カメラにより撮影された前記画像から前記自車両の前方の立体物を検出する立体物検出手段と、
前記立体物検出手段により検出された前記立体物の下端位置を検出する下端位置検出手段と、
前記下端位置検出手段により検出された前記立体物の下端位置と、前記自車両の基準位置とにより、仮路面を算出する仮路面算出手段と、
前記仮路面算出手段により算出された前記仮路面をもとに実路面を推定する実路面推定手段と、を備え、
前記立体物検出手段は、前記カメラにより撮影された前記画像において所定値以上の長さで上下方向に伸びる縦長エッジから前記立体物の縦長エッジを抽出し、
前記下端位置検出手段は、前記立体物検出手段により抽出された前記立体物の縦長エッジの下端位置を検出し、
前記仮路面算出手段は、前記下端位置検出手段により検出された前記立体物の縦長エッジの下端位置および前記自車両の基準位置と、前記カメラから前記立体物までの距離とから、前記自車両のピッチ角を算出することにより前記仮路面を算出し、
前記実路面推定手段は、前記仮路面算出手段により算出された前記自車両のピッチ角をもとに前記実路面を推定する、
ことを特徴とする路面推定装置。
前記自車両の基準位置は、前記カメラが配置される位置であり、
前記実路面推定手段は、前記カメラの光軸と前記仮路面算出手段により算出された前記自車両のピッチ角をなし、かつ、前記カメラの路面からの距離だけ下方に位置する面を実路面として推定することを特徴とする請求項１に記載の路面推定装置。
前記立体物検出手段は、前記立体物の縦長エッジを前記カメラにより撮影された前記画像から複数抽出し、
前記仮路面算出手段は、前記立体物検出手段により抽出された前記縦長エッジごとに前記自車両のピッチ角を算出し、
前記実路面推定手段は、前記仮路面算出手段により算出された複数の前記自車両のピッチ角のうち最多のピッチ角をもとに前記実路面を推定することを特徴とする請求項１または２に記載の路面推定装置。