JP2007114839A - 道路区画線検出装置 - Google Patents

Abstract

【課題】ノイズを強調することなく、道路区画線を的確に検出する道路区画線検出装置を提供すること。
【解決手段】画像を構成する画素の輝度を検出する検出ラインを設定し（Ｓ２１０）、検出ライン上の画素の輝度をレベル化して画像要素とし（Ｓ２２０）、このレベル化された画像要素の形状に対してモルフォロジー演算における収縮処理を行なう（Ｓ２３０）。そして、レベル化された画像要素から収縮処理された画像要素を差分して得られる差分画像要素を求め（Ｓ２４０）、この差分画像要素のうち、輝度レベルが閾値Ａよりも大きい部分を、道路区画線の端部として検出する（Ｓ２５０〜２７０）。
【選択図】図３

Description

本発明は、撮像された道路の画像データに基づいて道路区画線を検出する道路区画線検出装置に関する。

従来、この種の道路区画線検出装置としては、ＳＯＢＥＬフィルター等を用いて白線のエッジを検出するものが知られている。さらに、ＳＯＢＥＬフィルターでは入力される画像データのノイズの影響を受け易いため、フィルターの用い方に改良を加えたものも知られている（例えば、特許文献１参照）。この装置では、特定の方向性を持つより長いフィルターを組み合わせ、出力結果を補完してエッジの方向を求めることで、ノイズに影響されにくく、且つ、エッジ角度を精度よく求めることができるものとしている。
特開平５−２９８４４６号公報

しかしながら、上記従来の装置においても、ノイズの種類によっては除去できない場合が生じる。又、何らかのフィルターを用いてエッジを求める場合、輝度変化の高い要素を強調する結果、輝度自体がそれほど高くない要素や微細な大きさの要素でも増幅されてしまい、画像中で対象物を検出する妨げとなるといった問題点がある。

本発明はこのような課題を解決するためのものであり、ノイズを強調することなく、道路区画線を的確に検出する道路区画線検出装置を提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、車両周辺の道路を撮像する撮像手段を有し、撮像された道路の画像データに基づいて道路区画線を検出する道路区画線検出装置であって、撮像された道路の画像データ中に道路幅方向の検出ラインを設定する検出ライン設定手段と、検出ライン上の各画素の輝度をレベル化するレベル化手段と、レベル化された検出ライン上において連続する略同一の輝度レベルの複数画素からなる画像要素を、検出ライン方向で縮小する縮小手段と、検出ライン上の元の画像要素から縮小された画像要素を差分して得られる差分画像要素に基づいて道路区画線を検出する検出手段と、を備えることを特徴とするものである。

本発明の一態様を適用した場合を考える。撮像手段により撮像された車両周辺の画像に道路区画線が存在する場合、道路幅方向の検出ラインを設定すると、この検出ライン上に略同一輝度の連続する要素として表れる。この要素の輝度をレベル化すると、略同一の輝度レベルの連続する画像要素となる。これを検出ライン方向で所定幅縮小して縮小前の要素からの差分をとると、その画像要素の両端又は片端が残ることとなる。すなわち、検出ライン上に表された道路区画線による要素に対してエッジを検出したのと同様の結果をもたらすのである。これにより、道路区画線をより的確に検出することができる。しかも、ＳＯＢＥＬフィルターを用いる場合のように輝度変化に基づいた処理は行なわないので、上述したような、輝度変化だけが高いノイズを強調してしまい道路区画線の検出を妨げるような弊害を抑制することができる。

また、本発明の一態様において、縮小手段は、画像要素を、画像要素の検出ライン方向における中間点を中心に所定幅縮小する手段である各同一レベルの連続する要素の中心軸を中心に所定幅縮小する手段であるものとすることもできる。こうすれば、画像要素の両端が残ることとなり、道路区画線をより的確に検出することができる。

さらに、縮小手段は、レベル化された検出ライン上の画像要素群に対し、所定幅の構造要素を用いてモルフォロジー演算における収縮を行なう手段であるものとすることもできる。ここで、モルフォロジー演算とは、非線形のフィルタリング手法であり、予め設定された構造要素を使用した集合論的操作により、元画像から特定の幾何学的構造をもった要素を抽出することができる。本発明の場合、モルフォロジー演算における収縮（又は侵食、Ｅｒｏｓｉｏｎ）処理を施すことにより、略同一レベルの連続する画像要素の両端を残す効果を得ることができる。

本発明によれば、ノイズを強調することなく、道路区画線を的確に検出する道路区画線検出装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

図１は、本発明の一実施例に係る、車両に搭載される道路区画線検出装置１０全体の構成図である。道路区画線検出装置１０は、カメラ２０と、装置全体をコントロールする検出装置用電子制御ユニット（以下、検出装置用ＥＣＵという）３０とを備える。

カメラ２０は、車体後部のバンパやグリル、ナンバープレート周辺等に配設されており、車両後方の斜め下方に向いた光軸を有し、車両後方領域を鳥瞰図的に撮影する。カメラ２０は、例えば、レンズ２２と、ＣＣＤやＣＭＯＳ等の撮像素子２４と、ＣＰＵ等を有するカメラ用電子制御ユニット（以下カメラＥＣＵという）２６とを備えるものとして構成されている。カメラＥＣＵ２６は、検出装置用ＥＣＵ３０からの指示によりレンズ２２の設置角度等を調整すると共に、撮像素子２４からの撮像画像を画像信号として検出装置用ＥＣＵ３０に送信する。なお、カメラ２０は、車両後方の障害物を撮像し運転補助に用いられるバックモニターカメラと共用されてよい。

検出装置用ＥＣＵ３０は、例えば、道路区画線検出のための処理を実行するためのプログラムを実行するＣＰＵ３２や、プログラム等を記憶するＲＯＭ３４、一時的にデータを記憶するＲＡＭ３６などを備える。検出装置用ＥＣＵ３０には、カメラ２０からの画像信号などが入力されており、この画像信号に基づいて道路区画線を検出する処理を行なう。

図２は、検出装置用ＥＣＵ３０の機能ブロックを模式的に表したものである。検出装置用ＥＣＵ３０は、画像を構成する画素の輝度を検出するラインを設定する検出ライン設定部１１０と、検出ライン上の画素の輝度をレベル化するレベル化部１２０と、レベル化された画像要素を縮小（収縮）する縮小（収縮）部１３０と、これらに基づいて最終的に道路区画線を検出する道路区画線検出部１４０とを備える。

次に、本発明の第１実施例に係る道路区画線検出装置１０の動作について説明する。図３は、検出装置用ＥＣＵ３０のＣＰＵ３２により実行される道路区画線検出処理フローの一例を示すフローチャートである。本フローは、例えば車両のシフトポジションが前進用のポジションにある間、所定の時間毎に繰り返し実行される。

まず、ＣＰＵ３２は、カメラＥＣＵ２６からの画像データを読み込む処理を実行する（Ｓ２００）。画像データを読み込むと、画面手前付近で横方向の検出ラインを設定する（Ｓ２１０）。図４は、画像データ中の検出ラインの位置関係を示す説明図である。図中、Ｙｌは消失点のＹ座標を表し、Ｍ１およびＭ２は車両後方左右の道路区画線を表す。検出ライン上の各点の座標は、例えば、道路幅方向をＸ軸、道路長手方向をＹ軸とすれば、式（１）で表される。
（Ｘ，Ｙ）＝（（Ｘｍ−Ｘｈ）〜（Ｘｍ＋Ｘｈ），Ｙｋ） ‥（１）
式中、Ｘｍは画像中心のＸ座標を、ＸｈはＸｍを中心に道路区画線が十分入るように設定された値を表す。また、Ｙｋは、道路区画線を十分に検出できる程度の値（例えば、道路上の距離にして０ｍ〜５０ｍなど、好ましくは道路上の距離にして５ｍ〜２０ｍなど）に設定される。道路上の距離を画像上の距離に変換する方法については、予めレンズ２２の俯角と焦点距離ｆとに応じた画像上距離設定マップをＲＯＭ３４に記憶しておき、道路上の距離Ｚとレンズ２２の俯角θと焦点距離ｆとが与えられると画像上のＹ軸方向の距離Ｙｚが得られるものとした（式（２））。図５に、あるθおよびｆが与えられたときの画像上距離設定マップの一例を示す。
Ｙｚ ＝ Ｆ（Ｚ，θ，ｆ） ‥（２）
続いて、設定した検出ライン上の各画素の輝度をレベル化し、ＲＡＭ３６に記憶する処理を実行する（Ｓ２２０）。この処理は、略同一の輝度を有する一連の画素を、一つの画像要素であるとみなすものである。図６にこのレベル化を行なう様子の一例を示す。

そして、レベル化された画像要素に対し、幅Ｘｄの一次元の構造要素Ｂを用いて、モルフォロジー演算における一次元の収縮（Ｅｒｏｓｉｏｎ）処理を行なう（Ｓ２３０）。幅Ｘｄの有する意義については後述する。

ここで、収縮（Ｅｒｏｓｉｏｎ）処理の一般的意味について説明する。処理対象の図形をＸと、構造要素をＢとすると、収縮（Ｅｒｏｓｉｏｎ）処理の出力は、Ｍｉｎｋｏｗｓｋｉ差と呼ばれる演算を用いて、

と、表される。ただし、

である。

レベル化された画像要素に対し、幅Ｘｄの構造要素Ｂを用いて一次元の収縮（Ｅｒｏｓｉｏｎ）処理を行なうと、元の画像要素から幅Ｘｄ／２縮小した（長さはＸｄ短くなる）画像要素を得る。画像要素が収縮される様子の一例を図７に示す。図中、破線の部分が収縮後の画像要素を表す。なお、この処理において、幅Ｘｄ未満の要素は消失する。

収縮（Ｅｒｏｓｉｏｎ）処理を行なうと、収縮前の画像要素から、収縮後の画像要素を差分して得られる差分画像要素を求める（Ｓ２４０）。画像要素空間における差分画像要素の形状の一例を図８に示す。図示するように、差分画像要素は、両端に幅Ｘｄ／２で、且つ元の輝度を維持した部分を有し、その中間部分は輝度０となる。この両端の部分の幅が、エッジ抽出処理をした場合のエッジの幅と等しくなれば、エッジ抽出処理をしたのと同じ効果を得るから、幅Ｘｄは、エッジ抽出処理をした場合のエッジ点の幅の倍程度の値（例えば、１〜数十画素に相当する幅など、好ましくは、２〜数画素に相当する幅など）に設定することが好ましい。

画像要素空間における差分画像要素を得ると、輝度レベルが閾値Ａよりも大きい部分のＸ座標を、道路区画線の端部であるとして検出する（Ｓ２５０〜２７０）。ここで、閾値Ａは、例えば、路面塗装の老朽化などを考慮した白線や黄線に相当する輝度よりも、若干低い程度の輝度を予め定め、ＲＯＭ３４に記憶しておくものとした。

図８に示すように、収縮（Ｅｒｏｓｉｏｎ）処理及び差分画像要素を求める処理によって、幅Ｘｄ以上の画像要素は、両端に元の輝度を維持した部分を有する。これは、所定の輝度レベルを有する画像要素の両端を検出可能にすると共に出力においてノイズを強調しないことを意味する。従って、道路区画線をより的確に検出することができる。

また、例えば検出ラインをＹ軸方向に可変にして複数のＹ座標に対して道路区画線の端点を検出することにより、道路区画線の軌跡を検出することができる。さらに、周知のレーンキープアシスト（ＬＫＡ；車線維持支援）やレーンデパーチャワーニング（ＬＤＷ；車線逸脱警報）等の制御を行なうこともできる。ただし、これらに関しては、本発明の中核をなさないので詳細な説明は省略する。

なお、以上のフローを図２の機能ブロックに当てはめると、Ｓ２１０の処理が検出ライン設定部１１０によるものであり、Ｓ２２０の処理がレベル化部１２０によるものであり、Ｓ２３０の処理が縮小部１３０によるものであり、Ｓ２４０〜２７０の処理が道路区画線検出部１４０によるものである。

以上、本発明を実施するための最良の形態について一実施例を用いて説明したが、本発明はこの実施例に何等限定されるものではなく、本発明の要旨を逸脱しない領域内において、上述した一実施例に種々の変形及び置換を加えることができる。

例えば、縮小部１３０がモルフォロジー演算を用いずに縮小処理を行なうものとしてもよい。すなわち、略同一レベルの連続する画像要素Ｇを検出し、これらをそのＸ軸方向の中心点Ｇｍを中心に所定幅Ｘｇ／２縮小することによりモルフォロジー演算における収縮処理に換えるものである。この場合の収縮処理の様子の一例を図９に示す。このように収縮処理を行なっても、実施例の場合と同様に、差分画像要素の形状によりエッジ点を検出したのと同様の効果を奏するものである。

また、上述の実施例では、画像データの有する色について特に言及していないが、カラー画像の場合には、カラー画像を輝度成分と色成分とに分解して輝度成分に基づいてレベル化以下の処理を実行するものとしてもよく、予め色彩についてのフィルターを用いるものとしてもよい。

さらに、画像を撮像するカメラ等の如何なる態様に対しても適用可能である。例えば、レンズ２２や撮像素子２４を複数備える態様のＣＣＤカメラ等であるものとしてもよく、構成の異なる他の種類のカメラであるものとしてもよい。また、カメラ２０の撮像する画像は、車両後方に限られず、車両前方を撮像するものとしてもよい。この場合、カメラ２０は車体前部のバンパやグリル、車室内前部のアウタービューミラーのステイ等に配設されるものとすればよい。

本発明は、車載用の道路区画線検出装置に利用できる。搭載される車両の外観、重量、サイズ、走行性能等は問わない。

本発明の一実施例に係る道路区画線検出装置１０全体の構成図である。 本発明の一実施例に係る検出装置用ＥＣＵ３０の機能ブロックを模式的に表した模式図である。 本発明の一実施例に係る道路区画線検出処理フローの一例を示すフローチャートである。 本発明の一実施例に係る道路区画線検出処理フローにおける画像データ中の検出ラインの位置関係を示す説明図である。 本発明の一実施例に係る道路区画線検出処理フローにおいて用いられる画像上距離設定マップの一例を示す説明図である。 本発明の一実施例に係る道路区画線検出処理フローにおいてレベル化を行なう様子の一例を示す説明図である。 本発明の一実施例に係る道路区画線検出処理フローにおいて画像要素が収縮される様子の一例を示す説明図である。 本発明の一実施例に係る道路区画線検出処理フローにおいて差分画像要素の形状を求める様子の一例を示す説明図である。 本発明の変形例に係る道路区画線検出処理フローにおいて画像要素が収縮される様子の一例を示す説明図である。

符号の説明

１０ 道路区画線検出装置
２０ カメラ
２２ レンズ
２４ 撮像素子
２６ カメラＥＣＵ
３０ 検出装置用ＥＣＵ
３２ ＣＰＵ
３４ ＲＯＭ
３６ ＲＡＭ
１１０ 検出ライン設定部
１２０ レベル化部
１３０ 縮小（収縮）部
１４０ 道路区画線検出部

Claims (4)

1. 車両周辺の道路を撮像する撮像手段を有し、該撮像された道路の画像データに基づいて道路区画線を検出する道路区画線検出装置であって、
   前記撮像された道路の画像データ中に道路幅方向の検出ラインを設定する検出ライン設定手段と、
   該検出ライン上の各画素の輝度をレベル化するレベル化手段と、
   該レベル化された、前記検出ライン上において連続する略同一の輝度レベルの複数画素からなる画像要素を、前記検出ライン方向で縮小する縮小手段と、
   前記検出ライン上の元の画像要素から該縮小された画像要素を差分して得られる差分画像要素に基づいて道路区画線を検出する検出手段と、を備えることを特徴とする道路区画線検出装置。
2. 前記検出手段は、前記差分画像要素の輝度レベルが所定閾値を超えた場合に道路区画線を検出する手段である、請求項１に記載の道路区画線検出装置。
3. 前記縮小手段は、画像要素を、該画像要素の検出ライン方向における中間点を中心に所定幅縮小する手段である、請求項１又は２に記載の道路区画線検出装置。
4. 前記縮小手段は、前記レベル化された検出ライン上の画像要素に対し、所定幅の構造要素を用いてモルフォロジー演算における収縮を行なう手段である、請求項１又は２に記載の道路区画線検出装置。

Images