JP2004240636A

JP2004240636A - 白線検出装置

Info

Publication number: JP2004240636A
Application number: JP2003028215A
Authority: JP
Inventors: Akihiro Watanabe; 章弘渡邉
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2003-02-05
Filing date: 2003-02-05
Publication date: 2004-08-26

Abstract

【課題】本発明は、車両から撮影したした路面の画像が白線と白線以外の物体を含むものであっても、その画像のみを用いて処理量の増加を抑えながら、白線を高精度に検出する白線検出装置を提供することを目的とする。
【解決手段】車両から撮影した画像の所定領域において輝度の微分値を算出し、エッジ部を検出する。次に、検出したエッジ部の数又は分布を参照して、そのエッジ部がノイズか否かを判断し、所望の白線候補点を抽出する。最後に、複数の白線候補点の位置から車両が走行するレーンの境界に引かれた白線を検出する。これによって、実装コストが低く、且つ精度の高い白線検出装置を実現できる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、白線が引かれた路上を走行する車両において、白線以外の物体の存在に起因する白線の誤認を抑制し、高精度に白線を検出する白線検出装置に関する。
【０００２】
【従来の技術】
従来の白線検出装置は、レーダーやステレオ視等の測距装置を用いて先行車両等の白線以外の物体を検出し、当該白線以外の物体が存在しない領域に範囲を限定して白線検出を実施している（特許文献１）。白線以外の物体が存在する場合には、画像と白線との区別が困難であり、白線の誤認が生じるためである。
【０００３】
【特許文献１】
特開平１１−１４３７６号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の白線検出装置は、画像を取得する撮像手段と、白線以外の物体の存在位置を検出する測距手段の両方が必要であり、自動車に搭載するには実装コストの面で大きな問題となっていた。
【０００５】
実装コストを低減するためには、取得した画像のみを用いて白線と白線以外の物体とを区別して白線を検出する手段が必要であり、車載を前提としたコンパクトで処理量の少ない白線検出処理装置の実現が求められている。本発明は、取得した画像が白線と白線以外の物体を含むものであっても、その画像のみを用いて処理量の増加を抑えながら、白線を高精度に検出する白線検出装置を提供することを目的とする。また別の目的は、取得した画像のみを用いて白線と他の車両とを区別し、当該他の車両の存否判断を正確に行うことが可能な白線検出装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記課題の少なくとも一つを解決するための本願発明は以下の通りである。
請求項１に記載の発明は、車両が走行するレーンの境界に引かれた白線を検出する白線検出装置であって、前記車両の前方又は後方の画像を取得する撮像手段と、前記画像から画素情報の変化量が所定値を超えるエッジ部を検出して白線候補点を抽出し、前記画像の所定領域において抽出された前記白線候補点の数又は分布を参照してノイズを除去することにより、所望の白線候補点を得る白線候補点抽出手段と、複数の前記白線候補点の位置から前記車両が走行するレーンの境界に引かれた白線を検出する白線検出手段とを有することを特徴とする白線検出装置である。
【０００７】
請求項２に記載の発明は、前記白線候補点抽出手段は、前記画像の所定の範囲において抽出された前記白線候補点の数を累算し、当該累算された白線候補点の数が所定値より多い場合には、前記所定の範囲において検出された白線候補点をノイズとみなして除去することを特徴とする請求項１に記載の白線検出装置である。
【０００８】
請求項３に記載の発明は、前記白線候補点抽出手段は、前記画像の略垂直方向に連続して抽出された白線候補点をノイズとみなして除去することを特徴とする請求項１に記載の白線検出装置である。
【０００９】
請求項４に記載の発明は、前記白線候補点抽出手段は、白線に起因しないエッジ部に基づいて、他の車両の存在を認識する機能を有し、前記認識においては、各時刻で判断された他の車両の存否を、検出周期より長い所定時間で平均することによって、前記他の車両の存否判断における誤認を抑制することを特徴とする請求項１乃至請求項３のいずれか１項に記載の白線検出装置である。
【００１０】
【作用】
請求項１に係る発明によると、自車両の前方又は後方を示す画像の所定領域において検出されたエッジ部の数又は分布を参照してノイズを除去するため、検出されたエッジが白線に起因するものか否かを有効に判断でき、精度良く白線を検出することが可能となる。また、請求項１に記載の処理は画像以外のセンサなどを必要としないため、自動車への実装コストを低減することが可能である。
【００１１】
請求項２に係る発明によると、撮影された前記画像の所定の領域においてエッジ部の数を累算し、その数が所定値より大きいことを判断して、その領域で検出されたエッジ部をノイズであるとみなすため、白線とノイズの原因である白線以外の物体を明確に区別して認識することが可能となる。
【００１２】
請求項３に係る発明によると、撮影された前記画像の略垂直方向に連続して検出されたエッジ部をノイズであるとみなすため、白線とノイズの原因である白線以外の物体を明確に区別して認識することが可能となる。
【００１３】
請求項４に係る発明によると、ノイズとみなされたエッジ部に基づいて他の車両が存在するか否かを判断する場合に、各時刻で判断された他の車両の存否を、検出周期より長い所定時間で平均することから、他の車両の存否判断における誤認を効果的に抑制することが可能となる。
【００１４】
【発明の実施の形態】
＜第１の実施の形態＞
図１に本願発明の第１の実施の形態に係る白線検出装置の処理フローを示す。図１（ａ）は白線検出の原理を示すフローであり、白線以外の物体が存在しない場合における白線検出処理に対応する画像を図２に示す。
【００１５】
白線検出処理を開始（Ｓ１１）すると、まず自車両の前方又は後方の画像を撮影する（Ｓ１２）。撮影は可視光や赤外線などの任意のカメラを用いることができる。次に図２（ａ）に示すように、複数の水平ライン１１（ここでは５ライン）を順にスキャンして、画素情報である輝度の変化量を算出する。実際には輝度の微分値ｅを算出することが最も好ましい。変化量を算出する画素情報は輝度に限られず、色（波長）などの情報を用いてもよい。算出された微分値ｅが所定の値（閾値）より大きいエッジ部である場合には、そこに路面と白線との境界が存在すると推定して白線候補点１２を決定する（図２（ｂ））。図２においては白線１０以外の物体が存在しないため、ノイズは存在しない。よって、白線候補点抽出手段は検出された白線候補点が全て白線に起因するものであるとみなし（Ｓ１３）、これらの白線候補点から白線の位置１３を検出する（Ｓ１４、図２（ｃ））。
【００１６】
次に、撮影された画像に白線以外の物体（ここでは先行車両）が存在する場合における白線候補点抽出手段Ｓ１３の詳細な処理を図１（ｂ）に基づいて説明する。なお、図３はこれらの処理に対応する画像である。
【００１７】
まず、撮影された画像に複数の水平ラインを想定し（ここでは５本）、最下段をｉ_ｍａｘ、最上段をｉ_ｍｉｎとする。まずｉ_ｍａｘのラインにおいて（Ｓ２２）、当該水平ラインを設定して（Ｓ２３）輝度の微分演算を実行し、エッジ部を検出することによって白線候補点を得る（Ｓ２４）。このときの白線候補点の抽出に関しては、図１（ｃ）に基づいて後述する。次に、微分演算を実行したラインにおいて白線候補点の数を累算する。図３に示すｉ_ｍａｘのラインにおける白線候補点の総数（以下累算値という）は２であることが分かる。
【００１８】
図３に示すような状況において、通常の白線のみを検出した場合には水平ラインの白線候補点の累算値は４から６程度以下である。従って、ｉ_ｍａｘのラインにおいて検出された白線候補点の累算値から、この水平ライン上にはノイズ（白線以外の物体）が存在しないと判断し（Ｓ２５）、これらのエッジ部を白線候補点とすることができる。
【００１９】
次に、ｉ＝ｉ_ｍａｘ−１（Ｓ２７）の水平ラインにおいて、上記と同様に微分値を演算し、白線候補点の累算値を算出する。図３の例では、ｉ＝４の水平ラインにおける白線候補点の累算値は４であり、このライン上にもノイズが存在しないと判断できるため、これらの白線候補点はノイズではないと認識される。以下同様の処理がｉ＝ｉ_ｍｉｎまで繰り返される（Ｓ２６）。
【００２０】
図３におけるｉ＝２の水平ラインでは、白線候補点の累算値は１１となる。通常の白線のみが画像に写っている場合にはこの累算値は４から６程度以下であるため、ｉ＝２の水平ラインの白線候補点にはノイズが含まれていると推定できる。したがって、このライン上で検出された白線候補点はノイズとみなされ（Ｓ２５）、除去される（白線の検出には考慮されない）こととなる。
【００２１】
図３に示すような一般的な路上においては、ｉ＝２の水平ラインで先行車に起因するノイズが検出された場合に、それより上（遠方）のｉ＝１の水平ラインには必ず先行車に起因するノイズが含まれるため、ノイズを検出した水平ラインより上の水平ラインについては白線候補点を抽出する必要がない。そして、図３の場合にはｉ＝３からｉ＝ｉ_ｍａｘの水平ラインにおいて検出された、ノイズを含まない白線候補点から白線を検出することとなる（Ｓ１４）。
【００２２】
以下に図１（ｃ）を参照して各水平ラインにおける白線候補点の累算値（ｃｔｒで表す）の算出手段を説明する。ここでは、各水平ラインにおける画素の位置をｊで表し、処理対象の水平ラインの左端がｊ_{ｓｔａｒｔ}、右端がｊ_ｅｎｄとする。
【００２３】
まず、処理対象の水平ラインにおいてｊ＝ｊ_{ｓｔａｒｔ}から処理を開始する。このときのｃｔｒは０である（Ｓ３２）。次に各画素の輝度の微分値ｅを算出し（Ｓ３３）、その微分値がある閾値を超えているか否かを判断する（Ｓ３４）。輝度の微分値が閾値より大きいときにはそのエッジ部は白線候補点であると推定できる。このときｃｔｒに１を加え（Ｓ３５）、同時にそのエッジ部を白線候補点として記憶する。
【００２４】
Ｓ３６に記載した白線候補点抽出処理は、Ｓ３４で白線候補点と推定されたエッジ部を詳しく分析しする。具体的にはＳ３３で算出された微分値の絶対値や、正の微分値を持つエッジ部と、負の微分値を持つエッジ部との距離などを参照して、より精度の高い白線の検出に寄与する。ただし、この処理で、全てのノイズを把握することはできない。
【００２５】
以上の処理をｊ＝ｊ_ｅｎｄになるまで繰り返し（Ｓ３７，Ｓ３８）、最終的に当該水平ラインの白線候補点の累算値ｃｔｒが算出される。そして、上に説明したようにこの白線候補点の累算値ｃｔｒの値を参照してノイズを含むか否かを判断し（Ｓ２５）、ノイズを含む場合にはその白線候補点を除去して白線が検出されるのである。
【００２６】
＜第２の実施の形態＞
以下に抽出された白線候補点がノイズであるか否かを判断する第２の実施の形態を説明する。図４に示した画像は第１の実施の形態で説明したものと同様であり、水平ラインに沿って白線候補点を抽出することも前記と同様である。
【００２７】
本実施の形態においては、図４に示すように、抽出された白線候補点の分布を考慮して、ノイズであるか否かを判断する。一般的に車両の前方又は後方の画像を撮影した場合、白線に起因するのエッジ部は当該画像の垂直方向に連続することはなく、必ず斜め方向に連続して検出される（図４）。一方で、先行車両や後続車両に起因するエッジ部は当該画像の略垂直方向に連続して検出される傾向にある（図４）。つまり、抽出された白線候補点が略垂直方向に連続している場合には、それらの白線候補点は他の車両に起因するノイズであると推定できるのである。このように、検出された白線候補点の分布（連続性の差異）を考慮すると、白線候補点を白線に起因するものと他の車両に起因するノイズとに区別することができる。
【００２８】
ここで「略垂直方向に連続」とは、白線に起因するエッジ部が斜め方向に連続して検出されることと比較して、その斜め方向と十分区別できる程度に垂直方向に連続していることをいう（図４参照）。
【００２９】
このように白線候補点が略垂直方向に連続して抽出された場合には、それらの白線候補点は他の車両に起因するものであると推定でき、そのような白線候補点はノイズとして除去される。そして、このようなノイズが除去された白線候補点に基づいて白線を検出することによって、より精度良い白線検出装置を実現できる。
【００３０】
＜第３の実施の形態＞
以上の説明においてノイズとみなされたエッジ部は先行車または後続車に起因するものであると考えられる。つまり、ノイズが存在するときは他の車両が存在し、ノイズが存在しないときは他の車両が存在しないと推定されるのである。したがって、これらのノイズとみなされたエッジ部を以下のように処理することで、他の車両が周辺に存在するか否かを判断することが可能となる。
【００３１】
前記第１と第２の実施の形態において、他の車両が存在すると判断された場合と、存在しないと判断された場合とを時間の経過とともに見た様子を図５に示す。図５（ａ）は各時刻における他の車両の存否情報（存在又は非存在）を表示したものであるが、実際には他の車両はごく短時間（検出周期程度）の間だけ非存在となることはなく、図５（ａ）のＸは誤認であると考えられる。このような場合、検出周期より長い所定の時間を平均して観察し、時間的な連続性を考慮して他の車両の存否を判断すると他の車両の存否を正確に判断できる。図５のような場合においては、Ｘのような点は無視し、他の車両が存在していると判断することが可能である。
【００３２】
一例として、他の車両の存否の検出は０．１秒程度の検出周期で検出されるが、平均して観察すべき所定の時間は実際には検出周期の数倍から１０倍程度が好ましい。このように個々の検出結果を所定の時間なますことによって、他の車両が存在するか否かを精度良く検出することが可能となる。
【００３３】
なお、他の車両以外の物体は、自車両が移動していることから、ごく短時間の間に存在と検出されるのみで、所定の時間を平均して観察すると非存在とみなされる。つまり、白線検出や他の車両の存否検出に影響を与えることはない。
【００３４】
＜変形例＞
以上の実施の形態では、撮影された画像において水平ラインに沿って白線候補点を抽出する処理を行った。しかし、特許請求の範囲に記載した本願発明はこのような実施の形態に限定されるものではなく、様々な変形例が考え得る。
【００３５】
例えば、前方又は後方における他の車両を検出する処理においては、撮影した画像においてノイズとみなされたエッジ部全てを考慮するのではなく、図６に示すように、所定の領域に限定してエッジ部を分析し、他の車両の存否を判断することが可能である。この様な所定の領域は状況に応じて任意に決めることが可能である。
【００３６】
また、実施の形態ではエッジ部の検出を水平ラインに沿って実施したが、必ずしも水平ラインである必要はなく、垂直や斜め方向であっても良い。
【００３７】
【発明の効果】
本願発明の白線検出装置によると、撮影した画像のみを用いて白線と白線以外の物体とを正確に区別することが可能である。また、画像のみで処理ができるため、自動車に搭載することが容易であり、低コスト化が可能である。さらに、白線検出の処理が簡単であるため、限られた性能の車載機器を用いて十分に処理することができる。
【図面の簡単な説明】
【図１】第１の実施の形態に係る白線検出装置の処理フローを示す図である。
【図２】白線以外の物体が存在しない場合の白線検出処理を示す図である。
【図３】白線以外の物体が存在する場合の白線検出処理を示す図である。
【図４】第２の実施の形態に係る白線検出装置の処理を示す図である。
【図５】第３の実施の形態に係る他の車両を検出する処理を示す図である。
【図６】エッジ部を検出する領域を限定する変形例を示す図である。
【符号の説明】
１０画像上の白線
１１エッジ部を検出する水平ライン
１２抽出された白線候補点
１３検出された白線
２１他の車両

Claims

車両が走行するレーンの境界に引かれた白線を検出する白線検出装置であって、
前記車両の前方又は後方の画像を取得する撮像手段と、
前記画像から画素情報の変化量が所定値を超えるエッジ部を検出して白線候補点を抽出し、前記画像の所定領域において抽出された前記白線候補点の数又は分布を参照してノイズを除去することにより、所望の白線候補点を得る白線候補点抽出手段と、
複数の前記白線候補点の位置から前記車両が走行するレーンの境界に引かれた白線を検出する白線検出手段とを有することを特徴とする白線検出装置。
前記白線候補点抽出手段は、前記画像の所定の範囲において抽出された前記白線候補点の数を累算し、当該累算された白線候補点の数が所定値より多い場合には、前記所定の範囲において検出された白線候補点をノイズとみなして除去することを特徴とする請求項１に記載の白線検出装置。
前記白線候補点抽出手段は、前記画像の略垂直方向に連続して抽出された白線候補点をノイズとみなして除去することを特徴とする請求項１に記載の白線検出装置。
前記白線候補点抽出手段は、白線に起因しないエッジ部に基づいて、他の車両の存在を認識する機能を有し、
前記認識においては、各時刻で判断された他の車両の存否を、検出周期より長い所定時間で平均することによって、前記他の車両の存否判断における誤認を抑制することを特徴とする請求項１乃至請求項３のいずれか１項に記載の白線検出装置。