JP4526963B2 - レーンマーク抽出装置 - Google Patents

Description

本発明は、道路領域の白線や黄色線のレーンマークを抽出するレーンマーク抽出装置に関する。

道路に敷設されたレーンマークを認識し、ドライバーの運転補助を行う研究が進められている。レーンマークの検出方法としては、画像の輝度を所定値と比較し、輝度値が所定値以上ならレーンマークであると判断する方法が知られている。すなわち、多くのレーンマークは白色で示されており、白色は周囲の道路に比べて輝度が高い。このことから、画像の輝度を検出し、画像の輝度値が所定値以上であれば、白色のレーンマークと判断することができる。

ところが、レーンマークは白色ばかりでなく、黄色のレーンマークも存在する。このような従来のレーンマーク検出方法では、白色レーンマークと黄色レーンマークとを区別して検出することができない。

白色レーンマークと黄色レーンマークとが検出できるレーンマーク検出装置としては、特許文献１に示されているようなものがある。すなわち、特許文献１には、路面画像を構成するカラー信号を出力する撮像装置と、カラー画像のレーンマーク部分を強調した濃淡画像となるように、カラー信号を濃淡信号へ変換するレーンマーク強調変換手段により構成され、色空間における白色又は黄色のレーンマークと、レーンマーク以外の分布状況を調査し、レーンマークとそれ以外の分布を色空間において最も分離される軸を統計的に求めることにより決定された変換係数を算出して白色及び黄色レーンマークを抽出するようにしたものが記載されている。
特開２００２−１２３８１９号公報

しかしながら、特許文献１に示されるレーンマーク検出装置では、レーンマークを強調することで白色及び黄色レーンマークの抽出精度を向上させる装置であるため、車両周辺の光源の色の影響により変色して黄色でなくなった黄色線を抽出できないという問題や、夜間の黄色ヘッドライトや黄色道路灯の影響を受けて黄色に変色した白色のレーンマークを、誤って黄色レーンマークとして抽出するという問題がある。

したがって、本発明は、有彩色の道路灯やヘッドライトの光源の影響を受けることなく、白色レーンマークと黄色レーンマークとを区別して検出できるようにしたレーンマーク検出装置を提供することを目的とする。

上述の課題を解決するために、請求項１の発明に係るレーンマーク検出装置は、車両近傍の道路領域を含む画像を撮影する撮像装置と、前記撮像装置からの画像信号に基づいて、前記道路領域を示す画像信号に含まれる複数の色信号ごとに算出した前記色信号の平均値に基づいて前記道路領域の明度値を算出し、前記色信号ごとに、前記道路領域の明度値から前記色信号ごとの平均値を減算して、前記道路領域の色の傾向を示す前記道路領域の色信号の偏差を前記道路領域の色成分として計測する道路領域色計測処理部と、前記道路領域色計測処理部によって計測された前記道路領域の色成分を、前記色信号ごとに、前記撮像装置からの画像信号に加算する色補正を行う画像補正処理部とを備え、前記色補正された画像信号を用いて、レーンマークを抽出するようにしたことを特徴とする。

請求項２の発明に係るレーンマーク検出装置は、請求項１の発明において、前記道路領域色計測処理部は、前記道路領域を示す画像信号の前記色信号であるＲＧＢ信号の平均値を前記ＲＧＢ信号ごとに算出し、前記ＲＧＢ信号ごとに算出した前記ＲＧＢ信号の平均値を平均して前記道路領域の明度値を算出し、前記ＲＧＢ信号ごとに、前記道路領域の明度値から前記ＲＧＢ信号の平均値をそれぞれ減算して前記道路領域の色成分を求めるようにしたことを特徴とする。

本発明によれば、撮像装置からの画像信号から、道路領域の色成分を計測し、この計測された道路領域の色成分に応じて、撮像装置からの画像信号の色補正を行い、色補正された画像信号を用いて、レーンマークを抽出するようにしている。このため、有彩色の道路灯やヘッドライトの光源の影響を受けることなく、黄色レーンマークと白色レーンマークとを区別して検出することができる。

また、本発明によれば、白色レーンマークと黄色レーンマークとを区別して検出することができるので、センターライン認識機能や車両の車線変更検知機能を実現することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。図１において、撮像装置１は、車両近傍の道路領域を含む風景を撮影するものである。撮像装置１からは、図２に示すように、車両近傍の道路領域ＡＲ１を含むＲ（赤）Ｇ（緑）Ｂ（青）画像信号が出力される。

撮像装置１からのＲＧＢ画像信号は、波線で囲んで示すレーンマーク抽出処理部２に送られる。レーンマーク抽出処理部２は、道路領域ＡＲ１の色成分を計測する道路領域色計測処理部１１と、道路領域色計測処理部１１で計測された道路領域ＡＲ１の色成分に応じて色補正を行う画像補正処理部１２と、ＲＧＢ画像信号からＨＳＶ画像信号への変換を行うカラー変換処理部１３と、変換されたＨＳＶ画像信号から黄色線の色範囲を推定するための閾値を設定する黄色線色範囲推定処理部１４と、変換されたＨＳＶ画像信号から白線の色範囲を推定するための閾値を設定する白線範囲推定処理部１５と、黄色線色範囲推定処理部１４で設定された閾値により黄色線２値画像を抽出するカラー抽出処理部１６と、白線範囲推定処理部１５で設定された閾値により白線２値画像を抽出する白線抽出処理部１７とから構成される。

撮像装置１からのＲＧＢ信号は、道路領域色計測処理部１１に送られる。道路領域色計測処理部１１で、以下のようにして、有彩色の道路灯やヘッドライトの光源による道路領域ＡＲ１の色成分が計測される。

先ず、撮像装置１より入力された道路領域ＡＲ１のＲＧＢの各信号の平均値Ｒmean、Ｇmean、Ｂmeanが算出される。そして、算出されたＲＧＢの各信号の平均値Ｒmean、Ｇmean、Ｂmeanを平均して、下式のように、道路領域の明度値Grayが算出される。
Gray＝（Ｒmean＋Ｇmean＋Ｂmean）／３ …（１）

道路領域ＡＲ１が無彩色であるとすると、撮像装置１からの道路領域ＡＲ１のＲＧＢ信号の各色成分の信号値は等しくなり、
Ｒmean＝Ｇmean＝Ｂmean
となる。このため、道路領域ＡＲ１の明度値Grayを上式に示すようにして算出したとすると、
Gray＝Ｒmean＝Ｇmean＝Ｂmean …（２）
となるはずである。

ところが、実際に撮影した道路領域ＡＲ１は、有彩色の道路灯やヘッドライトの光源の色で変色しており、（２）式で示す関係式を厳密に満たさなくなる。例えば黄色のヘッドライトで道路領域ＡＲ１が変色している場合には、黄色は赤色と緑色の加色混合になるため、Ｒ信号の平均値ＲmeanやＧ信号の平均値Ｇmeanは、Ｂ信号の平均値Ｂmeanに比べて大きくなる。

明度値Grayは、（１）式に示すように、ＲＧＢの各信号の平均値Ｒmean、Ｇmean、Ｂmeanを平均して求めているので、（１）式により求められた明度値Grayと、実際に撮像装置１から得られたＲＧＢ信号の各色成分の平均値Ｒmean、Ｇmean、Ｂmeanとの差が、道路領域ＡＲ１の色成分となる。つまり、道路領域ＡＲ１の色成分（Ｒoff，Ｇoff，Ｂoff）は、
（Ｒoff，Ｇoff，Ｂoff）＝（Gray−Ｒmean，Gray−Ｇmean，Gray−Ｂmean） …（３）
として算出できる。

このように、道路領域色計測処理部１１では、有彩色の道路灯やヘッドライトの光源による道路領域ＡＲ１の色成分を計測している。図３は、このような道路領域の色成分の計測処理を示すフローチャートである。

図３において、入力された道路領域ＡＲ１の画像信号のＲＧＢ各信号値の総和Ｒsum、Ｇsum、Ｂsumが算出され（ステップＳ１）、各画像信号の総和Ｒsum、Ｇsum、Ｂsumを道路領域ＡＲ１の画素数で割り算して、平均値Ｒmean、Ｇmean、Ｂmeanが算出される（ステップＳ２）。そして、算出されたＲＧＢの各信号の平均値Ｒmean、Ｇmean、Ｂmeanの平均値から、（１）式に示すような演算により、明度値Grayが算出される（ステップＳ３）。そして、（３）式に示すようにして、道路領域ＡＲ１の色成分（Ｒoff，Ｇoff，Ｂoff）が求められる（ステップＳ４）。

図１において、道路領域色計測処理部１１で計測された有彩色の道路灯やヘッドライトの光源による道路領域ＡＲ１の色成分は、画像補正処理部１２に送られる。画像補正処理部１２で、道路領域ＡＲ１の色成分により、入力画像信号の信号値が補正される。つまり、入力画像信号の信号値（Ｒsource，Ｇsource，Ｂsource）に、（３）式により求められた道路領域ＡＲ１の色成分（Ｒoff，Ｇoff，Ｂoff）が加えられて、以下のように補正された画像信号値（Ｒmodify，Ｇmodify，Ｂmodify）が求められる。
（Ｒmodify，Ｇmodify，Ｂmodify）＝（Ｒsource＋Ｒoff，Ｇsource＋Ｇoff，Ｂsource＋Ｂoff）

この画像補正処理により、撮像装置１から入力されたＲＧＢの各信号値（Ｒmodify，Ｇmodify，Ｂmodify）は、図４（Ａ）〜図４（Ｃ）に示すように、道路領域ＡＲ１の色成分量だけ上下にスライドされることになる。なお、図４（Ａ）〜図４（Ｃ）において、横軸は入力信号値、縦軸は出力信号値を示す。道路領域ＡＲ１の色成分量を加算することで、modify-lineで示すように、ＲＧＢの各信号値は上下にスライドする。

図１において、画像補正処理部１２により画像補正したＲＧＢ信号は、カラー変換処理部１３に送られる。カラー変換処理部１３は、ＲＧＢ信号値を、明度、彩度、色相の色の３成分からなるＨＳＶ空間の色信号に変換する。なお、ここでは、ＲＧＢ信号値をＨＳＶ表色系に変換したが、例えばＣＩＥ Ｌａｂ等の他の表色系に変換しても良い。

カラー変換処理部１３からのＨＳＶ空間の信号は、黄色線色範囲推定処理部１４及び白線範囲推定処理部１５に送られる。

黄色線色範囲推定処理部１４は、ＨＳＶ空間の色信号から、黄色線の存在範囲を推定する。すなわち、黄色線は、ＨＳＶ色空問において、色相角が黄色（６０度）周辺である。そして、無彩色の道路に有彩色の黄色線が載っている状態であるので、道路領域の彩度値よりも高い。そこで、黄色線色範囲推定処理部１４では、道路領域ＡＲ１の画素の中で色相角が黄色の彩度値を求めることで、道路領域と黄色線領域を分割する黄色の彩度値の閾値を算出する。

具体的には、道路領域ＡＲ１において、色相角が予め設定した黄色の範囲(６０度周辺)を満たす画素の彩度値の標準偏差σsと、平均値Ｓmeanを算出する。この実施形態では、黄色線彩度限界値Ｓlimitを、
Ｓlimit＝Ｓmean＋３σs
として、黄色線彩度下限値を計算している。

白線範囲推定処理部１５は、ＨＳＶ空間の色信号から、白色線の存在範囲を推定する。すなわち、白線は、無彩色で、輝度が高い。そこで、白線範囲推定処理部１５では、道路領域ＡＲ１の無彩色の画素の明度を、道路領域と白色線領域を分割する閾値として算出している。

黄色線色範囲推定処理部１４で設定された閾値は、カラー抽出処理部１６に送られる。カラー抽出処理部１６で、設定された閾値で、入力画像から黄色線の抽出処理が行われる。これにより、黄色線２値画像画像が形成される。

白線範囲推定処理部１５で設定された閾値は、白線抽出処理部１７に送られる。白線抽出処理部１７で、設定された閾値で、入力画像から白線の抽出処理が行われる。これにより、白線２値画像画像が形成される。

以上のようにして、黄色線２値画像画像と白線２値画像画像が形成される。この黄色線２値画像画像と白線２値画像画像とから、黄色線ラインマークと白色ラインマークが抽出される。

以上説明したように、本発明の実施形態では、撮像装置からの画像信号から、道路領域の色成分を計測し、この計測された道路領域の色成分に応じて、撮像装置からの画像信号の色補正を行い、色補正された画像信号を用いて、レーンマークを抽出するようにしている。このため、有彩色の道路灯やヘッドライトの光源の影響を受けることなく、黄色レーンマークと白色レーンマークとを区別して検出することができる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

本発明は、道路に敷設されレーンマークを認識し、ドライバーに対して走行車線に沿って運行されているかの警報を行ったり、ステアリング制御を行ったりするのに用いることができる。

本発明の実施形態のブロック図である。 本発明の実施形態の説明図である。 道路領域色計測処理の説明に用いるフローチャートである。 画像補正処理の説明に用いるグラフである。

符号の説明

１ 撮像装置
２ レーンマーク抽出処理部
１１ 道路領域色計測処理部
１２ 画像補正処理部
１３ カラー変換処理部
１４ 黄色線色範囲推定処理部
１５ 白線範囲推定処理部
１６ カラー抽出処理部
１７ 白線抽出処理部

Claims (2)

1. 車両近傍の道路領域を含む画像を撮影する撮像装置と、
   前記撮像装置からの画像信号に基づいて、前記道路領域を示す画像信号に含まれる複数の色信号ごとに算出した前記色信号の平均値に基づいて前記道路領域の明度値を算出し、前記色信号ごとに、前記道路領域の明度値から前記色信号ごとの平均値を減算して、前記道路領域の色の傾向を示す前記道路領域の色信号の偏差を前記道路領域の色成分として計測する道路領域色計測処理部と、
   前記道路領域色計測処理部によって計測された前記道路領域の色成分を、前記色信号ごとに、前記撮像装置からの画像信号に加算する色補正を行う画像補正処理部と
   を備え、
   前記色補正された画像信号を用いて、レーンマークを抽出するようにしたこと
   を特徴とするレーンマーク抽出装置。
2. 前記道路領域色計測処理部は、
   前記道路領域を示す画像信号に含まれる前記複数の色信号であるＲＧＢ信号の平均値を前記ＲＧＢ信号ごとに算出し、
   前記ＲＧＢ信号ごとに算出した前記ＲＧＢ信号の平均値を平均して、前記道路領域の明度値として算出し、
   前記ＲＧＢ信号ごとに、前記道路領域の明度値から前記ＲＧＢ信号の平均値をそれぞれ減算して前記道路領域の色成分を求めるようにしたこと
   を特徴とする請求項１に記載のレーンマーク抽出装置。

Images