JP5929330B2 - 段差検出装置 - Google Patents

Description

本発明は、自車の前方に存在する縁石等の段差を検出する段差検出装置に関する。

自車の前方画像をカメラにて撮像し、撮像した画像から道路端部の仕切線（以下、白線として説明する）を抽出し、自車が道路端部の白線の内側となる車線内から逸脱しないように走行するように制御するシステムが提案されている。このようなシステムでは、道路上に存在する白線を高い精度で検出する必要があり、従来より、例えば、特開平９−３５１９５号公報（特許文献１）に開示されたものが知られている。該特許文献１では、カメラで撮像した画像の輝度値を用いて白線を検出している。

特開平９−３５１９５号公報

しかしながら、上述した特許文献１に開示された白線検出方法では、道路上に存在する縁石を白線として誤認識してしまうことがある。即ち、道路上に存在する縁石を撮影すると、その画像中の縁石の輝度値が高い場合があり、この場合にはこの縁石を白線と誤認識してしまうことがある。その結果、高精度な仕切線の認識ができなくなるという問題があった。

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、車両前方を撮像した画像中に含まれる縁石等の段差を高精度に検出することが可能な段差検出装置を提供することにある。

上記目的を達成するため、本発明は、撮像手段で撮像した画像中のエッジを検出するエッジ検出手段と、エッジ検出手段で検出された複数のエッジから、車両の走行路に沿った第１エッジを抽出する第１エッジ抽出手段と、エッジ検出手段で検出された複数のエッジから、第１エッジと交差する複数の第２エッジを抽出する第２エッジ抽出手段と、を有する。更に、一つの直線上に位置する２つの第２エッジが第１エッジと交差する部位にて途切れているか、或いは互いに平行な２つの第２エッジが存在し、且つ、各第２エッジが同一方向の不連続性を有する場合に、第１エッジが段差のエッジであると判定する段差判定手段とを備える。

本発明に係る段差検出装置では、自車前方の画像から第１エッジ、及び第２エッジを抽出し、更に、第２エッジが第１エッジと交差する部位で途切れているか否か、或いは、互いに平行な複数の第２エッジが存在するか否かにより、第１エッジが段差によるエッジであるか否かを判定するので、高精度な段差判定が可能となる。

本発明の一実施形態に係る段差検出装置、及びその周辺機器の構成を示すブロック図である。 本発明の一実施形態に係る段差検出装置の処理手順を示すフローチャートである。 本発明の一実施形態に係る段差検出装置の、周囲環境撮像部で撮像された周囲画像、及びエッジを抽出したエッジ画像の第１の例を示す図である。 本発明の一実施形態に係る段差検出装置の、エッジ画像から第１エッジを抽出した画像の第１の例を示す図である。 本発明の一実施形態に係る段差検出装置の、エッジ画像から第２エッジを抽出した画像の第１の例を示す図である。 本発明の一実施形態に係る段差検出装置の、周囲環境撮像部で撮像された周囲画像、及びエッジを抽出したエッジ画像の第２の例を示す図である。 本発明の一実施形態に係る段差検出装置の、エッジ画像から第１エッジを抽出した画像の第２の例を示す図である。 本発明の一実施形態に係る段差検出装置の、エッジ画像から第２エッジを抽出した画像の第２の例を示す図である。 本発明の一実施形態に係る段差検出装置の、Ｎ−１ステップのエッジ画像、及びＮステップのエッジ画像を示す図である。 図９に示したＮ−１ステップのエッジ画像とＮステップのエッジ画像のアンドをとった画像を示す図である。 本発明の一実施形態に係る段差検出装置の、太陽の位置から想定される自車影と、実際の自車影を示す図である。 図１１に示した太陽の位置から想定される自車影と、実際の自車影の排他的論理和（ＸＯＲ）をとった図である。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る段差検出装置、及びその周辺機器の構成を示すブロック図である。

図１に示すように、この段差検出装置１００は、周囲環境撮像部１０と、エッジ検出部２０と、段差判定部３０、及び地図データ記憶部４０を備え、車両の走行を制御する車両制御部５０に接続されている。

周囲環境撮像部１０は、自車に車載したカメラで自車の周囲環境を撮像し、撮像した周囲環境画像をエッジ検出部２０に出力する。

エッジ検出部２０は、周囲環境撮像部１０により撮像した周囲環境画像中のエッジを検出する。更に、検出された複数のエッジから、自車の走行路に沿った第１エッジを抽出し、且つ、検出された複数のエッジから、第１エッジと交差する複数の第２エッジを抽出する処理を行う。そして、検出した各エッジデータ、及び第１エッジ、及び第２エッジのデータを段差判定部３０に出力する。即ち、エッジ検出部２０は、エッジ検出手段、第１エッジ抽出手段、及び第２エッジ抽出手段としての機能を備えている。

段差判定部３０は、エッジ検出部２０にて検出されたエッジデータに基づいて、後述する手法によりエッジが走行路上に存在する段差によるエッジであるか否かを判定する。また、段差判定部３０は、過去のエッジ情報を記憶するメモリ３０ａを備えている。

地図データ記憶部４０は、自車が走行する地域の地図データを記憶すると共に、道路上に段差が存在するか否かを示す情報を合わせて記憶している。

また、車両制御部５０は、自車位置推定部５０ａと、操舵制御部５０ｂとを備えている。自車位置推定部５０ａは、段差判定部３０により判定された段差エッジデータ、及び地図データ記憶部４０に保存されている地図データに基づいて、自車の位置と方位角（進行している方向）を推定する。また、操舵制御部５０ｂは、自車位置推定部５０ａにて推定された自車位置、方位角と、地図データ記憶部４０に保存されている地図データに基づいて、自車が車線（左右の白線の間の領域）を維持するように操舵制御を行う。

次に、上記のように構成された本実施形態に係る段差検出装置１００の動作を、図２に示すフローチャートを参照して説明する。

初めに、ステップＳ１１０において、周囲環境撮像部３０は、カメラにて自車前方の画像を撮影し、自車の周囲画像を取得する。その結果、第１の例として例えば、図３（ａ）に示す如くの周囲画像Ｍ１が得られる。また、第２の例として例えば、図６（ａ）に示す如くの周囲画像Ｍ２が得られる。

ステップＳ１２０において、エッジ検出部２０は、ステップＳ１１０の処理で取得した周囲画像Ｍ１，Ｍ２のエッジを検出する。その結果、第１の例では、図３（ｂ）に示すような複数のエッジを含むエッジ画像が得られる。第２の例では、図６（ｂ）に示すような複数のエッジを含むエッジ画像が得られる。ここで、エッジ検出は、キャニー法等の周知の手法を用いることができる。

ステップＳ１３０において、エッジ検出部２０は、第１エッジ抽出処理を実行する。この処理では、自車の位置及び方位角（例えば、東方向を０°とした場合の、自車の走行方向の角度）と、地図データ記憶部４０に記憶されている地図データに基づき、ステップＳ１２０の処理で検出したエッジ画像の中から、自車の走行路に沿ったエッジを抽出し、これを第１エッジとする。具体的には、自車位置と方位角とからステップＳ１２０の処理で検出したエッジ群を地図データに変換し、地図データに走行路として登録されている情報（例えば白線、縁石等）と概平行（例えば、検出したエッジと走行路方向の直線のなす角度が２°以下）のエッジを第１エッジとして抽出する。その結果、第１の例では、図４の太線で示すエッジＬ１，Ｌ２，Ｌ３が第１エッジとして抽出される。また、第２の例では、図７の太線に示すエッジＬ１１，Ｌ１２，Ｌ１３が第１エッジとして抽出される。

次いで、ステップＳ１４０において、エッジ検出部２０は、第２エッジ抽出処理を実行する。この処理では、ステップＳ１３０の処理で抽出された第１エッジと交差する複数のエッジを第２エッジとして抽出する。その結果、第１の例では、図５の太線に示すエッジＬ４ａ，Ｌ４ｂが第２エッジとして抽出される。即ち、エッジＬ４ａ，Ｌ４ｂは、第１エッジＬ１と交差しているので、第２エッジとして抽出される。また、第２の例では、図８の太線に示すエッジＬ１４ａ，Ｌ１４ｂ，Ｌ１４ｃが第２エッジとして抽出される。

ステップＳ１５０において、段差判定部３０は、第１段差判定処理を実行する。第１段差判定処理は、前述のステップＳ１４０の処理で抽出した第２エッジが不連続であるか否かに基づいて、ステップＳ１３０で抽出した第１エッジが段差であるか否かを判定する。具体的な処理としては、第２エッジの中から、互いに概延長線上にあるエッジの組み合わせを抽出する。概延長線上とは、例えば、互いの直線の傾きの差が所定値（例えば、±２°）以下で、且つ、互いに近い端点どうしの距離が所定値（例えば、１ｍ）以下のものとする。概延長線上にあるエッジの組み合わせが抽出された場合には、互いに近い２つの端点が存在する第１エッジを、段差を生成するエッジと判定する。

図５に示す例では、第２エッジＬ４ａ，Ｌ４ｂは、第１エッジＬ１と交差する地点で不連続となっており、更に、各第２エッジＬ４ａ，Ｌ４ｂは、互いに概延長線上（一つの直線上）に存在し、且つ、各第２エッジＬ４ａ，Ｌ４ｂの端点どうしの距離が短いので（所定値以下であるので）、各第２エッジＬ４ａ，Ｌ４ｂと交差する第１エッジＬ１が段差によるエッジであるものと判断する。ここで、第２エッジが第１エッジと交差し、更に、地図データ記憶部４０に記憶されている地図データ中の、第１エッジに対応する領域に段差が存在する場合にのみ、第１段差検出を行うようにしても良い。この場合には、不要な段差検出を割愛することができる。

ステップＳ１６０において、段差判定部３０は、第２段差判定処理を実行する。第２段差判定処理は、前述のステップＳ１４０の処理で抽出した複数の第２エッジが、車両の進行方向に対して所定の距離範囲内（例えば５０ｍ以内）に存在しているかを判断し、また、この複数の第２エッジが互いに平行であるか否かにより、段差を判定する。

例えば、図８に示す例では、３つの第２エッジＬ１４ａ，Ｌ１４ｂ，Ｌ１４ｃが抽出されており、各第２エッジＬ１４ａ，Ｌ１４ｂ，Ｌ１４ｃは所定距離範囲内（例えば、５０ｍ内）に存在し、且つ、互いにほぼ平行であり、更に、第１エッジＬ１１と交差する地点にて同一方向の折れ線形状をなしている。即ち、互いに平行な複数の第２エッジＬ１４ａ，Ｌ１４ｂ，Ｌ１４ｃが存在し、且つ、各第２エッジが同一方向の不連続性を有している。この場合、各第２エッジＬ１４ａ，１４ｂ，１４ｃは、太陽光による物体の影によるエッジであると想定できるので、この影の線の不連続性により、第１エッジＬ１１は段差を形成するエッジであるものと判断する。ここで、第２段差判定処理についても前述の第１段差判定処理と同様に、第２エッジが第１エッジと交差し、更に、地図データ記憶部４０に記憶されている地図データ中の、第１エッジに対応する領域に段差が存在する場合にのみ、第２段差検出を行うようにしても良い。

ステップＳ１７０において、段差判定部３０は、第３段差判定処理を実行する。第３段差判定処理では、自車の影を用いて、ステップＳ１３０の処理で抽出した第１エッジが段差であるか否かを判定する。過去のエッジ情報が段差判定部３０に設けられるメモリ３０ａに記憶されている場合には、図９（ａ）に示す前回のステップ（Ｎ−１ステップ）のエッジ情報と、図９（ｂ）に示す今回のステップ（Ｎステップ）のエッジ情報の「ＡＮＤ」（論理和）をとることにより、図１０に示す如くのエッジ情報を取得する。そして、このエッジ情報中の、自車に近い位置のエッジを自車の影エッジとして抽出する。即ち、図１０に示す例では、エッジＬ２１が自車の影エッジであるものとして抽出される。

そして、抽出した自車の影エッジに基づき、自車に対する太陽の相対的な方向を算出し、現在の太陽の方向から平面に生成される自車の影の形状を算出する。或いは、予め太陽の方向毎に平面に生成される自車の影の形状データを用意しておき、対応する自車の影の形状データを選択してもよい。

算出（或いは選択）された影の形状（過去に取得されている自車が平面を走行しているときに検出される自車影のエッジ；図１１（ａ）のエッジＬ２２参照）と、抽出した実際の自車両の影エッジ（図１１（ｂ）のエッジＬ２３参照）が得られると、これらの排他的論理和（ＸＯＲ）を算出して、自車の影の歪んでいる部分を抽出する。その結果、図１２に示すエッジＬ３１が抽出される。そして、抽出されたエッジＬ３１と、第１エッジＬ２とが交差する部位にてエッジＬ３１が折れ線状となっているので、この第１エッジＬ２を、段差を生成するエッジの一つであると判定する。

ここで、抽出した自車の影から自車に対する太陽の相対的な方向を算出するには、例えば、図１０の場合には、車両先端中心の影の画像上の座標Ｉを「画像空間→実空間」を座標変換することにより、車両先端中心の影の実空間上の座標Ｒが得られるので、実際の車両先端中心と座標Ｒを結んだ直線のなす角が影方向θとなる。そして、太陽は影方向θに対して１８０度反対方向に位置することから、太陽の方向を認識することができる。

ステップＳ１８０において、自車位置推定部５０ａは、ステップＳ１２０の処理で検出したエッジ情報のうち、ステップＳ１５０〜ステップＳ１７０で段差と判定されたエッジに対して「段差エッジ」の属性を付与する。そして、エッジ情報と地図情報に基づいて自車位置Ｐ、及び自車の方位角φを算出する。具体的には、エッジ情報を実空間上に変換した上で、地図情報とマッチングするように自車位置Ｐ、方位角φを推定する。マッチングを行う際は、「段差エッジ」の属性が付与されたエッジは、段差情報を有する地図データ（地図データ記憶部４０に記憶されている）とのマッチングを行い、それ以外のエッジ情報は、段差情報のない地図データとのマッチングを行う。

ステップＳ１９０において、操舵制御部５０ｂは、ステップＳ１８０の処理で推定した自車位置Ｐ、方位角φと地図データ記憶部４０の地図情報とに基づいて、自車が車線を追従するように操舵制御を行う。

ステップＳ２００において、イグニッションがオフであるか否かを判定する。そして、イグニッションオフであれば、本処理を終了し、イグニッションオンであれば、ステップＳ１１０に処理を戻す。

こうして、第１エッジ画像、及び第２エッジ画像の比較により、自車前方の走行路に存在する段差（縁石等）を高精度に検出することができ、道路上に描かれた白線との区別を確実に行うことができるのである。

また、本実施形態において、画像中で検出したエッジを実空間上に座標変換したり、地図情報を画像空間上に座標変換する処理を行っている。これらの変換は、下記により行うことができる。

（ａ）実空間から画像空間への変換処理は下記（１）式により実行される。

Ｉ＝Ｃ2Ｃ1Ｒ …（１）
但し、Ｉは画像空間上の座標、Ｒは実空間上の座標、Ｃ1は車両座標系からカメラ座標系への座標変換行列、Ｃ2はカメラ座標系から画像空間への座標変換行列、である。

（ｂ）画像空間から実空間への変換処理は下記（２）式により実行される。

Ｒ＝Ｃ4Ｃ3Ｉ …（２）
但し、Ｒは実空間上の座標、Ｉは画像空間上の座標、Ｃ3は画像空間からカメラ座標系への座標変換行列、Ｃ4はカメラ座標系から車両座標系への座標変換行列、である。

このようにして、本実施形態に係る段差検出装置では、自車の進行方向に向くエッジを第１エッジとして抽出し、更に該第１エッジと交差する複数のエッジを第２エッジとして抽出し、これらの関係に基づいて、第１エッジとして検出したエッジが段差であるか否かを判断している。具体的には、一つの直線上に位置する２つの第２エッジが、第１エッジと交差する部位にて途切れており、各第２エッジどうしの距離が所定距離未満である場合には、この第１エッジ（図５のＬ１）が段差によるエッジであるものと判定する。

また、互いに平行な複数の第２エッジが存在し、且つ、各第２エッジが第１エッジと交差する部位にて同一の不連続性を有する場合には、この第１エッジ（図８のＬ１１）が段差によるエッジであるものと判定する。従って、走行路上に存在する縁石などの段差を高精度に検出することが可能となる。その結果、地図データと対比して自車の位置、及び方位角を推定する処理を高精度に行うことが可能となる。

更に、２つの第２エッジが、第１エッジと交差する部位にて途切れている場合で、各第２エッジの端点どうしの距離が所定値以下である場合に、この２つの第２エッジは同一物体によるエッジであると想定されるので、上記第１エッジが段差によるエッジであると判定する。他方、第２エッジの端点どうしの距離が所定距離を上回る場合には、２つの第２エッジは同一物体によるエッジでない可能性が高いので、上記第１エッジが段差によるエッジであると判定しない。従って、段差判定の精度を向上させることができる。

また、互いに平行な複数の第２エッジが所定距離内（例えば、５０ｍ以内）に存在する場合に、これらの第２エッジの不連続性に基づいて第１エッジが段差によるエッジであるか否かを判定するので、段差検出の精度を向上させることができる。

更に、地図データに段差情報が存在する場合にのみ、段差判定を行うので、段差が存在しない部位に段差が存在すると誤認識することを防止でき、段差検出の精度を向上させることができる。

また、第３段差判定処理では、自車が平面を走行しているときに生成される影と、撮影された画像に含まれる自車の影との対比により、段差を判定するので、段差を形成する第１エッジと交差する第２エッジが存在しない場合でも、段差を判定することができる。その結果、自車位置を高精度に推定することが可能となる。

以上、本発明の段差検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

例えば、上述した実施形態では、自車前方に存在する影のエッジ（図５のＬ４ａ，Ｌ４ｂ、図８のＬ１４ａ，Ｌ１４ｂ，Ｌ１４ｃ）を抽出し、このエッジを用いて段差検出を行う例について説明したが、影の代わりに、例えばレーザセンサー等を用いた場合においても、同様の手法で段差を検出することができる。

本発明は、自車両に存在する縁石等の段差を高精度に検出することに利用することができる。

１０ 周囲環境撮像部
２０ エッジ検出部
３０ 周囲環境撮像部
３０ 段差判定部
３０ａ メモリ
４０ 地図データ記憶部
５０ 車両制御部
５０ａ 自車位置推定部
５０ｂ 操舵制御部
１００ 段差検出装置

Claims (5)

1. 車両の周囲画像を撮像する撮像手段と、
   前記撮像手段で撮像した画像中のエッジを検出するエッジ検出手段と、
   前記エッジ検出手段で検出された複数のエッジから、前記車両の走行路に沿った第１エッジを抽出する第１エッジ抽出手段と、
   前記エッジ検出手段で検出された複数のエッジから、前記第１エッジ抽出手段により抽出された第１エッジと交差する影によるエッジである複数の第２エッジを抽出する第２エッジ抽出手段と、
   一つの直線上に位置する２つの第２エッジが前記第１エッジと交差する部位にて途切れているか、或いは、互いに平行な複数の第２エッジが存在し、且つ各第２エッジが同一方向の不連続性を有する場合に、前記第１エッジが段差のエッジであると判定する段差判定手段と、
   を有することを特徴とする段差検出装置。
2. 車両の周囲画像を撮像する撮像手段と、
   前記撮像手段で撮像した画像中のエッジを検出するエッジ検出手段と、
   前記エッジ検出手段で検出された複数のエッジから、前記車両の走行路に沿った第１エッジを抽出する第１エッジ抽出手段と、
   前記エッジ検出手段で検出された複数のエッジから、前記第１エッジ抽出手段により抽出された第１エッジと交差する影によるエッジである複数の第２エッジを抽出する第２エッジ抽出手段と、
   互いに平行な複数の第２エッジが存在し、且つ、各第２エッジが同一方向の不連続性を有する場合で、且つ、各第２エッジが所定範囲内に存在する場合に前記第１エッジが段差のエッジであると判定する段差判定手段と、
   を有することを特徴とする段差検出装置。
3. 前記段差判定手段は、一つの直線上に位置する２つの第２エッジが、前記第１エッジと交差する部位にて途切れており、且つ、２つの第２エッジの離間距離が所定距離以下である場合に、前記第１エッジが段差のエッジであると判定することを特徴とする請求項１または２に記載の段差検出装置。
4. 路上に存在する段差の情報を含む地図データを記憶する地図データ記憶手段を更に備え、前記段差判定手段は、前記地図データ中の段差が存在する場所でのみ段差検出を行うことを特徴とする請求項１〜請求項３のいずれか１項に記載の段差検出装置。
5. 前記エッジ検出手段は、時系列的に取得されるエッジに基づいて自車影のエッジを検出し、
   前記段差判定手段は、過去に取得されている自車が平面を走行しているときに検出される自車影のエッジと、今回の撮影で取得された自車影のエッジとの排他的論理和となるエッジが前記第１エッジと交差する形状に基づいて段差を判定することを特徴とする請求項１〜請求項４のいずれか１項に記載の段差検出装置。
   
   

Images