JP4066869B2

JP4066869B2 - 車両用画像処理装置

Info

Publication number: JP4066869B2
Application number: JP2003104214A
Authority: JP
Inventors: 光彦森田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-04-08
Filing date: 2003-04-08
Publication date: 2008-03-26
Anticipated expiration: 2023-04-08
Also published as: JP2004310525A

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両の走行する車線を認識するための車両用画像処理装置に関する。
【０００２】
【従来の技術】
設定された車線上を自動的に走行する自動走行装置や、車両の車線からの不用意な逸脱を警告したり、逸脱後の衝突を予想して乗員を保護するシステムを作動させる技術等の開発が進められている。こうした技術においては、自車両の走行すべき車線を正確に認識する必要があり、そのための技術として、車両進行方向の映像を取得して、エッジ抽出等の画像認識によって車線を区画する境界線（白線）を検出する装置が知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平７−２３９９９６号公報（段落００１３〜００２９、図１〜図５）
【０００４】
【発明が解決しようとする課題】
この種の車線認識技術においては、撮像装置で取得した画像データを基に画像認識によって道路を区画する白線を認識している。しかし、車両の移動によって、撮像条件が著しく変化する。この結果、逆光、過剰露出、露出不足などにより、得られた画像データが白線認識に適さない場合が出てくる。また、エッジ抽出の結果、区画線候補が多数存在し、正しい区画線の選択が困難となることがある。このように認識に不適当な画像データが取得した一連の影像の一部であるときは、こうした不適当な画像データを認識処理対象から除外すれば足りる。また、過去の認識データを基にして候補選択を行う等の手法もとり得る。しかしながら、こうした過去の認識データや画像データを利用することが困難な場合、例えば、車線認識を行う装置の起動後、初めて白線を検出する時点や、検出不能状態が継続してから復帰した際の検出時等に、区画線候補が多数存在した場合には、その中からどの候補を区画線として採用するかを判定するのは困難である。
【０００５】
そこで本発明は、こうした検出開始時や検出不能状態からの復帰時において、正確な区画線を選別することが可能な車両用画像処理装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る車両用画像処理装置は、車両に搭載された撮像手段によって取得した画像中からエッジ抽出によって自車の走行する車線の道路区画線を検出する車両用画像処理装置において、車両の進行方向を検出する手段をさらに備えており、道路区画線の検出開始時または検出不能状態からの復帰時には、検出した車両の進行方向と道路区画線の方向とを比較して両者が所定の範囲内に合致している場合に道路区画線の検出結果を出力するものである。
【０００７】
検出開始時または検出不能状態からの復帰時においては、車両は車線に沿って走行している蓋然性が高い。したがって、車両の進行方向と画像認識によって判定した道路区画線候補の延在方向とを比較し、所定の範囲内に合致している場合に合致した道路区画線候補を自車両の走行する車線の道路区画線と判定すれば、正確な区画線が選別できる。
【０００８】
さらに運転者に対して所定の指示を行う指示手段を備えており、道路区画線の検出開始時または検出不能状態からの復帰時には、車両の進行方向と道路区画線の方向とを比較する間、この指示手段により、運転者に走行レーンを維持するよう指示することが好ましい。
【０００９】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１０】
図１は、本発明に係る車両用画像処理装置を含む車両制御装置のブロック構成図であり、図２は、それを搭載した車両を示す斜視図である。この車両制御装置１００は、車両前方の画像を取得する前方カメラ１１と、この前方カメラ１１で取得した画像から画像処理により車両の前方進路上の白線を認識する白線認識ＥＣＵ１（本発明に係る車両用画像処理装置を含む。）と、を備える。白線認識ＥＣＵ１には、また、ヨーレートセンサ１２、舵角センサ１３、車速センサ１４の出力信号が入力されており、白線認識ＥＣＵ１の認識結果は、車内ＬＡＮ２を介してＰＣＳ（Pre-Crash Safety）システム３、逸脱警報システム４、レーンキープシステム５等に送られる。また、白線認識ＥＣＵ１には、モニタ装置４２とスピーカー４３が接続されている。これらＰＣＳシステム３、逸脱警報システム４、レーンキープシステム５の詳細については、後述する。
【００１１】
前方カメラ１１は、図２に示されるように車両２００のフロントウィンドウ上部（例えば、バックミラーの裏側）に配置されており、車両２００前方の画像、つまり、車両前方の走行レーン３００の画像（区画線３０１を含む。）を取得するものである。
【００１２】
以下、前方カメラ１１により取得した画像から画像処理によって走行レーン３００を認識する処理について具体的に説明する。図３は、この画像処理の処理フローであり、図４〜図８はその処理内容を説明する図である。以下に説明する処理は、特に記載のない限り、白線認識ＥＣＵ１によって行われる。
【００１３】
まず、前方カメラ１１によって図４に示されるような画像が取得される（ステップＳ１）。区画線３０１Ｒ、３０１Ｌを境界とする走行レーン３００の右側には、区画線３０１Ｒを挟んで対向レーン３１０が存在し、その右側に区画線３０１Ｘが存在する。対向レーン３１０上には対向車２１０が存在している。この区画線は連続線である場合のほか、点線、破線等の不連続線である場合が存在する。これらの区画線３０１は、通常白色に塗装されているため、以下、塗装部分を白線と称するが、白色以外に黄色に塗装されている場合や鋲、ブロック等により区画されている場合もここでいう白線に含まれるものとする。さらに、区画線３０１に並行して補助線が設置されている場合もある。
【００１４】
取得した画像は、ＡＤ変換により、所定の画素数（例えば、図４の横方向をｘ方向、縦方向をｙ方向として、ｘ×ｙが３２０×２４０画素とする。）のモノクロ階調（例えば８階調）のデジタル画像データに変換されて白線認識ＥＣＵ１に送られる（ステップＳ２）。もちろん、所定の画素数、階調を有するデジタルデータを直接出力可能なデジタルカメラを前方カメラ１１に用いてもよく、前方カメラ１１のアナログ出力を白線認識ＥＣＵ１内部でＡＤ変換してもよい。変換されたデジタル画像は、図４に示されるアナログ画像と実質的に同一である。
【００１５】
次に、白線認識ＥＣＵ１は、受信したデジタル画像をエッジ抽出処理することによって画像内の白線候補を抽出する（ステップＳ３）。例えば、画像内の平均輝度をしきい値とし、左側の画素の輝度がしきい値未満で右側の画素の輝度がしきい値以上の画素をエッジとして抽出する。これにより、白線（区画線３０１Ｌ、３０１Ｒ、３０１Ｘ等）の左側境界線に対応する位置の画素位置が抽出される。エッジ抽出はこれに限られるものではなく、例えば、左側の画素との輝度の差がしきい値以上となる画素をエッジとして抽出してもよい。これらは暗から明に変化するエッジを抽出することで白線の左側境界線に対応する位置の画素位置を抽出するものであったが、逆に明から暗に変化するエッジを抽出することで白線の右側境界線に対応する位置の画素位置を抽出してもよい。
【００１６】
図５は、この抽出されたエッジ位置を元画像に重ね合わせて示している。黒丸が抽出されたエッジ位置であり、破線は、Ｙ方向の画素位置を示している。ここで、取得された走行レーン３００の画像は、走行レーン３００を前方カメラ１１の画像面に投影したものである。これに対して、実際に求めたい区画線３０１Ｌ、３０１Ｒの位置は、走行レーン３００上の車両に対する位置である。そこで、幾何変換によって、車両を原点（０，０）として、Ｘ軸方向に横方向（車両から見て右方向がプラスとなる。）を、Ｙ軸方向に車両からの距離（数値が大きいほど前方、つまり車両から離れていることを示す。）を採って表した走行平面上のエッジ画素位置に対応する位置を求める（ステップＳ４）。この幾何変換は、前方カメラ１１の取り付け位置、撮像方向、撮像領域を基にして行うことができる。なお、車体の傾き等を複数の車高センサで検出することにより、撮像方向等の補正を行ってもよい。また、前方カメラ１１の撮像系の光学的な収差等に起因する画像の歪曲についても補正を行うことが好ましい。図６は、こうして幾何変換によって得られた区画線３０１Ｌに対応する抽出エッジ画素の車両に対する位置を示している。
【００１７】
次に、幾何変換した結果をハフ変換することで、直線／曲線抽出を行う（ステップＳ５）。直線抽出の場合を例にとると、抽出したエッジ点の走行平面上の位置を（ｘ，ｙ）で表すとき、各エッジ点に対して、傾きθを０度から１８０度まで所定の角度Δθごとに変更し、それぞれのθに対応するρ＝ｘｃｏｓθ＋ｙｓｉｎθとなるρを求める。そして、このようにして求めた（ρ，θ）が、ハフ空間を所定間隔ごとに区切った領域のどの領域内に位置するかを探索し、探索した領域に投票する。つまり、各領域の投票数とは、この領域にエッジ点のハフ変換結果が存在する個数を示していることになる。この投票は、走行レーン３００の左側と右側とで分けて行うことが好ましい。走行レーン３００の左右の分割を行うのに必要とされる走行レーン３００の中心線の把握は、これまでのレーン認識結果や車両の進行方向、ヨーレート、舵角等を参照することで行うことができる。図７は、こうして得られた走行レーン３００の左側のハフ変換領域内の投票結果を示している。
【００１８】
投票数が複数ある（ρ，θ）領域がエッジ点から抽出された直線（途中断続している場合にも１本の線として抽出される。）を示している。この直線は（ｘ，ｙ）平面上では、ｙ＝ρ／ｓｉｎθ−ｘ×ｃｏｓθ／ｓｉｎθに対応する。ここで、投票結果が多い（ρ，θ）ほど多くのエッジ点が近接している直線を示すことになる。ノイズの影響等を考えて閾値（３、好ましくは）以上の投票数を有する直線を抽出結果とする。図７で投票数が２となっている領域はこのノイズを示している。
【００１９】
ここでは、直線の場合を例に説明したが、ハフ変換においては曲線の抽出も同様に可能である。そして、投票数が多く、最も近似しているとみられる直線または曲線を抽出結果である区画線候補とする。
【００２０】
次に、白線認識ＥＣＵ１内に、過去の白線認識結果が蓄積されているか否かを判定する（ステップＳ６）。ここで、過去の認識結果とは現在より所定時間遡った過去までの区画線情報認識結果が保存されているか否かによって判別される。このとき、所定時間遡った過去までの区画線情報認識結果が全て保存されていることを要するのではなく、所定時間遡った過去までの間に所定個数以上のデータが保存されていれば、一時的に誤認識が発生した場合でも、過去の認識情報を基にした制御が可能となり、好ましい。
【００２１】
ステップＳ６で、所定時間遡った過去までの区画線情報認識結果が保存されている場合は、車線認識をスタートさせてから所定時間以上連続して車線の認識が成功していることを示すから、ステップＳ７へと移行し、今回認識した区画線候補の情報が過去の認識結果に整合しているか否かをチェックする。区画線候補と過去の認識結果とのずれが所定範囲以内であり、整合していると判定した場合には、認識した区画線候補の情報を白線情報として出力し、この情報を白線認識ＥＣＵ１内に格納する（ステップＳ１０）。
【００２２】
一方、ずれが所定範囲を超えており、整合していないと判定された場合には、認識した区画線候補の情報を破棄して過去の認識結果から推定される区画線情報を出力する（ステップＳ８）。
【００２３】
ステップＳ６で、所定時間遡った過去までの区画線情報認識結果が保存されていないと判定された場合は、ステップＳ９へと移行する。このような所定時間遡った過去までの区画線情報認識結果が保存されていない場合としては、車線認識をスタートさせてから所定時間経過していない場合（車線認識手段の起動時のほか、駐車場・パーキングエリア等からの道路進入時がある。）や、瞬断や何らかのトラブルによって格納されていた認識結果が失われた場合、所定時間以上にわたって車線認識ができない状態から復帰したような場合（例えば、工事区間や影となる部分を通過した場合など）である。このような場合には、過去の認識結果と今回認識した結果との整合性をチェックすることができない。そこで、このような場合には、ヨーレートセンサ１２、舵角センサ１３、車速センサ１４から出力されるヨーレート、舵角、車速等の車両状態から車両２００の予想進路を推定し、この予想進路と今回の画像処理による認識結果から判定される走行レーン３００とを比較する（ステップＳ９）。
【００２４】
予想進路と認識結果から求まる走行レーン３００とのずれが所定範囲内にある場合には、区画線認識が成功したものとみて、認識した区画線候補の情報を白線情報として出力し、この情報を白線認識ＥＣＵ１内に格納する（ステップＳ１０）。予想進路と画像認識処理で求めた走行レーンとのずれが所定範囲内にあるか否かについては、例えば、以下のようにして検証することができる。予め設定された距離の間、あるいは、予め設定された時間の間、予想進路が走行レーンを外れるか否かによって判断を行う。具体的には、予想進路と走行レーンのなす角度が所定角度以内か否かによって判断を行えばよい。また、予想走行進路の曲率と、走行レーンの曲率とが所定値以上ずれているか否かによって判断を行うこともできる。
【００２５】
一方、予想進路と認識結果から求まる走行レーン３００とのずれが所定範囲を超えている場合（区画線認識結果３０２Ｒ、３０２Ｌが図８に示されるような場合）には、区画線を誤認識したものとみて、認識した区画線候補を破棄し、処理を終了する（ステップＳ１１）。
【００２６】
このように車両状態を基にして区画線情報の検出の成否を判定するためには、車両２００が走行レーン３００内を正しく走行している必要があり、運転者によるレーン変更等が行われると、認識が成功しても誤認識であると判定されてしまう。そこで、過去の白線情報が格納されていない場合には、モニタ装置４２やスピーカー４３により、運転者に対して、進路と区画線情報を比較していることを報知することが望ましい。この報知によって、運転者は、白線認識ＥＣＵ１が道路と区画線情報を比較していることを認識することになり、これらの情報の比較のためには現在走行している車線を維持するほうが検出精度の向上につながると考え、走行車線を維持するように注意することになる。さらに、車両２００が実際に走行した軌跡と過去の認識結果から予想された走行レーンとを照合することにより、過去の車線情報の正誤を検定してもよい。
【００２７】
本発明によれば、車線認識のスタート直後でも運転者による特別な操作を必要とせずに画像認識で得られた区画線情報が正しい区画線情報であるか否かの検定が可能となる。このため、誤検出した区画線情報を利用した車両挙動制御を抑制することができるため、運転者に不安感を与えることがなく、また、操作性も向上する。
【００２８】
区画線（白線）の画像認識手段は、以上説明した認識手法に限られるものではなく、各種の認識手法を用いることができる。また、認識した区画線情報を地図情報や道路情報を基にして検定してもよい。例えば、高速道路走行中に極端に曲率半径の小さいカーブ等を検出した場合は、これのみで誤検出と判定しうる。
【００２９】
次に、こうして得られた白線情報を利用した本発明に係る車両制御装置における車両制御について説明する。図９〜図１１は、図１に示されるＰＣＳシステム３、逸脱警報システム４、レーンキープシステム５それぞれのブロック構成図である。
【００３０】
まず、図９に示されるＰＣＳシステム３から説明する。このＰＣＳシステムは、制動力を制御する制動系３２、運転者の操舵力にアシスト力を付与するステアリングアシストモータ３３、シートベルトの巻き上げを行うシートベルトプリテンショナー３４、乗員保護用のエアバッグ３５と、これらの制御を行うＰＣＳ・ＥＣＵ３１を備えており、ＰＣＳ・ＥＣＵ３１には先行車両や障害物を検出するレーザレーダ１６のほか、ヨーレートセンサ１２、舵角センサ１３、車速センサ１４と、ブレーキペダルの操作、非操作状態を検出するためのブレーキペダルスイッチ１５の出力が入力されている。
【００３１】
ＰＣＳ・ＥＣＵ３１は、車線認識ＥＣＵ１から送られた車線情報（白線情報）と、各センサ１２〜１５およびレーザレーダ１６の出力を基にして、自車両の進路上の先行車両、障害物を検知し、衝突可能性を予測する。そして、衝突不可避と判定したら、制動系３２に指示してブレーキ操作時に付与されるアシスト力を予め増大する設定に切り替えることで、運転者が危険を察知してブレーキペダルを操作した際に、大きな制動力が得られるようにする。
【００３２】
また、ステアリングアシストモータ３３によるアシスト操舵力を増大させて、運転者がより弱い力で操舵を行えるようにする。必要ならば、自動的に操舵を行い、衝突を回避する。
【００３３】
さらに、シートベルトプリテンショナー３４によってシートベルトの余分長を衝突前に予め巻き取っておくことで、乗員を座席により強く拘束し、衝突時のダメージを軽減する。また、エアバッグを衝突を検知してからではなく、衝突前後の最適なタイミングで作動させることで、衝突時の乗員へのダメージを軽減する。これらの制御により、衝突が避けられない場合でも、車両、乗員への深刻なダメージを抑制し、衝突のショックを軽減することが可能となる。
【００３４】
次に、図１０に示される逸脱警報システム４について、説明する。この逸脱警報システム４は、逸脱警報ＥＣＵ４１と、表示用のモニタ装置４２と、音声出力用のスピーカー４３から構成されており、逸脱警報ＥＣＵ４１には、車線情報（白線情報）と、車速情報、ヨーレート情報が入力されている。
【００３５】
逸脱警報ＥＣＵ４１は、車速・ヨーレート情報から自車両の進路を予測し、これと車線情報とを比較する。そして、車線逸脱が予想される場合には、モニタ装置４２に車線から逸脱が予想される旨を表示するとともに、スピーカー４３により、アラーム音、または音声出力によって警報を発することで、運転者にその旨報知する。
【００３６】
続いて、図１１に示されるレーンキープシステム５について説明する。このレーンキープシステム５は、レーンキープＥＣＵ５１と、制動力を制御する制動系３２と、運転者の操舵力にアシスト力を付与するステアリングアシストモータ３３と、トランスミッションの変速状態を変更する変速手段５２と、電子制御スロットル５３と、を備えており、レーンキープＥＣＵ５１には、先行車両や障害物を検出するレーザレーダ１６のほか、ヨーレートセンサ１２、舵角センサ１３、車速センサ１４と、ブレーキペダルの操作、非操作状態を検出するためのブレーキペダルスイッチ１５、アクセルペダルの操作量を検出するためのアクセル開度センサ１７の各出力が入力されている。
【００３７】
このレーンキープシステム５は、現在走行中の走行レーン３００内での車両の位置を維持して走行するものである。具体的には、ヨーレートセンサ１２、舵角センサ１３、車速センサ１４の出力から自車両の進路を予測し、これと車線情報を比較することによって、走行レーン３００内の走行が維持できているか否かを判定する。そして、前方車線情報を基に、自車と白線位置から自車が白線内を走行するようにステアリングアシストモータ３３を制御することで、走行レーン３００内の走行を維持する。
【００３８】
このように本発明に係る車両用画像処理装置を用いて自車両の走行車線の道路区画線を検出することで、区画線、ひいては走行車線を早期に認識することが可能となり、その認識精度が向上し、それを用いた各種の車両の挙動制御を精度良く行うことが可能となる。
【００３９】
【発明の効果】
以上説明したように本発明によれば、車両状態を基にして車両の進路を予測し、これと画像認識で得られた区画線情報とを比較することで区画線情報の正誤を検定するので、運転者の特別な操作なしに区画線情報の検定を行うことができる。このとき、運転者に車線を維持するよう指示すれば、正確な区画線情報を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る車両用画像処理装置を含む車両制御装置のブロック構成図である。
【図２】図１の車両制御装置を搭載した車両を示す斜視図である。
【図３】図１の車両用画像処理装置における画像処理の処理フローである。
【図４】前方カメラによって取得した画像の一例を示す図である。
【図５】図４の画像からエッジ抽出処理を行った結果を示す図である。
【図６】図５の幾何変換処理結果を示す図である。
【図７】図６のハフ変換処理結果を示す図である。
【図８】図４の画像から区画線を誤認識した場合の例を示す図である。
【図９】図１に示されるＰＣＳシステムのブロック構成図である。
【図１０】図１に示される逸脱警報システムのブロック構成図である。
【図１１】図１に示されるレーンキープシステムのブロック構成図である。
【符号の説明】
１…白線認識ＥＣＵ、２…車内ＬＡＮ、３…ＰＣＳ（Pre-Crash Safety）システム、４…逸脱警報システム、５…レーンキープシステム、１１…前方カメラ、１２…ヨーレートセンサ、１３…舵角センサ、１４…車速センサ、１５…ブレーキペダルスイッチ、１６…レーザレーダ、１７…アクセル開度センサ、３１…ＰＣＳ・ＥＣＵ、３２…制動系、３３…ステアリングアシストモータ、３４…シートベルトプリテンショナー、３５…エアバッグ、４１…逸脱警報ＥＣＵ、４２…モニタ装置、４３…スピーカー、５１…レーンキープＥＣＵ、５２…変速手段、５３…電子制御スロットル、１００…車両制御装置、２００…車両、３００…走行レーン、３０１…区画線、３０２…区画線認識結果（誤認識線）。

Claims

車両に搭載された撮像手段によって取得した画像中から画像認識によって自車の走行する車線の道路区画線を検出する車両用画像処理装置において、
車両の進行方向を検出する手段をさらに備えており、道路区画線の検出開始時または検出不能状態からの復帰時には、検出した車両の進行方向と道路区画線の方向とを比較して両者が所定の範囲内に合致している場合に道路区画線の検出結果を出力し、
運転者に対して所定の指示を行う指示手段をさらに備えており、道路区画線の検出開始時または検出不能状態からの復帰時には、車両の進行方向と道路区画線の方向とを比較する間、前記指示手段により、運転者に走行レーンを維持するように指示することを特徴とする車両用画像処理装置。