JP6569280B2 - 路面標示検出装置及び路面標示検出方法 - Google Patents

Description

本発明は、道路の白線等を検出する路面標示検出装置及び路面標示検出方法に関する。

従来技術として、特許文献１に物体検出装置が開示されている。この物体検出装置では、レーザーレンジファインダーで路面にレーザー光を照射し、その反射強度が既定の閾値以上の観測点を白線として、その白線位置を検出して、その白線位置における画像内での彩度及び色相を画像特徴量として算出する。そして、画像全体において上記の画像特徴量と一致する画像特徴量を有する位置を白線位置として検出する。

特開２０１０−６０２９９号公報

上記の従来技術では、レーザー光の反射強度は、日照変化に対してロバストである（外乱に強い）ため、レーザー光で検出した白線の位置の、画像内での画像特徴量を「正解データ」として、それと一致するものを白線として検出している。なお、一方で、カメラは日照変化に弱いため、環境によっては白線と周囲のアスファルトの区別がつかない場合がある。そのため、従来技術を用いた場合に、レーザー光で検出した位置において、画像内で白線とアスファルトとの区別がつきにくいときは、白線だけでなく周囲のアスファルトまで白線として誤検出してしまうという問題がある。

また、従来技術では、レーザー光で白線を検出した場合に、画像内での白線の位置を検出している。一般的に、レーザーレーダーで白線を検出する場合、遠方の白線を検出することは困難であり、主に車両近傍の白線が検出されることになる。
つまり、従来技術では、近傍の白線についてはレーザー光で検出できるが、遠方の白線についてはレーザー光では検出できず、かつ、画像内で白線とアスファルトとの区別がつきにくいときには、白線の検出が困難になる状況がある。
本発明は、このような事情に鑑みてなされたものであって、画像内で白線とアスファルトとの区別がつき難い場合や、レーザー光で検出できない遠方の白線である場合でも、白線の検出ができる路面標示検出装置及び路面標示検出方法を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る路面標示検出装置及び路面標示検出方法では、車両前方の路面領域を画像として撮像し、車両前方の路面に電磁波を照射し、その反射波の反射強度及び反射位置を計測し、反射強度及び反射位置に基づき、路面標示位置を推定し、画像の全領域のうち路面標示位置に対応する画像領域の輝度強度特徴を抽出し、輝度強度特徴を基準として画像の全領域を対象として路面標示を認識する。

本発明の一態様によれば、画像内で白線とアスファルトとの区別がつき難い場合や、レーザー光で検出できない遠方の白線である場合でも、白線の検出ができるようになる。

本発明の第１実施形態に係る路面標示検出装置の概念図である。 本発明の第１実施形態に係る路面標示検出装置のブロック図である。 画像の撮像領域とレーザーレーダーの検出領域を同時に示した図である。 レーザーレーダー単体での白線検出結果を示した図である。 制御装置の処理の流れを示すフローチャートである。 白線選択処理を示した図である。（ａ）はレーザーレーダーの検出結果の対応付けを例示した図である。（ｂ）は輝度勾配画像を例示した図である。（ｃ）は選択された白線を例示した図である。 特徴量更新における時系列情報を用いたメモリの更新の例を説明するための図である。 特徴量解析において頻度（分布）と小領域のエッジ強度との関係の例を説明するための図である。 画像での白線検出である。 第２実施形態における白線特徴量の算出方法を示した図である。（ａ）はレーザーレーダーの検出結果の対応付けを例示した図である。（ｂ）は小領域のマスクを例示した図である。（ｃ）は小領域ごとの特徴量の算出方法について説明するための図である。

次に、図面を参照して、本発明の第１及び第２実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、現実のものとは異なることに留意すべきである。したがって、具体的な構成部品については以下の説明を参酌して判断すべきものである。
また、以下に示す第１及び第２実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

＜第１実施形態＞
以下に、本発明の第１実施形態について説明する。
（システム構成）
図１に示すように、本発明の第１実施形態に係る路面標示検出装置は、狭角カメラ１と、レーザーレーダー２と、車速センサー３と、舵角センサー４と、制御装置５と、運転支援システム６とを備える。

狭角カメラ１は、車両Ａの車室内に取り付けられ、自車両前方領域を撮像する。ここでは、狭角カメラ１は、車室内のルームミラー周辺に、高さｈ１、水平から下向きに角度θ１の位置及び姿勢で取り付けられており、車両前方を撮像する。
レーザーレーダー２は、車両Ａの車室外に取り付けられ、自車両前方領域に電磁波を照射し、その反射波を検出する。ここでは、レーザーレーダー２は、車室外のフロント周辺に、高さｈ２、水平から下向きに角度θ２の位置及び姿勢で取り付けられており、車両前方にレーザー光を照射し、照射したレーザー光に対する反射光を受光し、受光した反射光の反射位置とその反射強度を反射光データとして取得する。このとき、ｈ１＞ｈ２、θ１＜θ２である。例えば、レーザーレーダー２を取り付ける位置は、ボンネット、バンパー、ナンバープレート、ヘッドライト、サイドミラー周辺でも良い。

車速センサー３は、車両Ａの車輪周辺に取り付けられ、車速を検出するための装置である。
舵角センサー４は、車両Ａの操舵機構又は転舵機構等に取り付けられ、舵角操舵量を検出するための装置である。
制御装置５は、狭角カメラ１で撮像した画像と、レーザーレーダー２で得られた反射光データ（反射位置、反射強度を含む）を取り込み、車両前方の路面標示（白線、黄色線、区画線を含む）を検出する。ここでは、路面標示として白線を例に説明する。このとき、制御装置５は、画像と反射光データを取得した時刻のタイムスタンプも同時に取得し、このタイムスタンプと車速センサー３及び舵角センサー４から送られる車両挙動の情報とに基づき、反射光データの位置と画像中の位置を対応付ける。制御装置５は、車両前方の白線に対する車両Ａの位置や姿勢を推定し、それらの位置や姿勢の推定値を運転支援システム６に転送する。

運転支援システム６は、制御装置５から転送された車両Ａの位置や姿勢の推定値に基づき、車両Ａに対する警報及び／又は制動等の運転支援を行う。ここでは、運転支援システム６は、公知の運転支援システムである。したがって、運転支援システム６での処理は公知技術であるため、詳細の説明は割愛する。
なお、制御装置５及び運転支援システム６は、独立した装置でも良いし、一体化していても良い。少なくとも通信又は連携可能であれば良い。制御装置５及び運転支援システム６の例として、電子制御装置（ＥＣＵ）を想定している。但し、実際には、制御装置５及び運転支援システム６は、計算機、スマートフォン、タブレット端末、カーナビゲーションシステム等でも良い。

（制御装置の詳細）
図２を参照して、制御装置５の詳細について説明する。
制御装置５は、輝度強度特徴算出部５０１と、路面標示位置推定部５０２と、タイムスタンプ取得部５０３と、近傍白線選択部５０４と、白線特徴量算出部５０５と、白線特徴量保存部５０６と、白線抽出基準変更部５０７と、画像白線抽出部５０８と、白線尤度算出部５０９と、車線認識部５１０とを備える。

輝度強度特徴算出部５０１は、狭角カメラ１で撮像した画像に対して輝度勾配を算出し、算出した輝度勾配の値を用いて輝度勾配強度を算出する。第１実施形態では、輝度強度特徴算出部５０１は、画像の横方向（ｘ方向）、縦方向（ｙ方向）に対して既知のＳｏｂｅｌフィルタを適用し、画像中の全画素（ｘ，ｙ）について、ｘ方向、ｙ方向に対する輝度勾配（ｄｘ，ｄｙ）を求める。

次に、輝度強度特徴算出部５０１は、それらの全画素（ｘ，ｙ）及び輝度勾配（ｄｘ，ｄｙ）を用いて、以下の数式（１）で輝度勾配強度Ｍを求める。
Ｍ＝ｓｑｒｔ（ｄｘ×ｄｘ＋ｄｙ×ｄｙ） ……（１）
なお、第１実施形態では、Ｓｏｂｅｌフィルタを用いたが、実際にはこれに限定されない。例えば、Ｌａｐｌａｃｉａｎフィルタ等を用いて、画像中の輝度変化が大きい画素（エッジ画素）を強調できれば良い。

路面標示位置推定部５０２は、レーザーレーダー２で受光した反射光（車両近傍の白線から反射した反射光）の自車両に対する相対的な反射位置とその反射強度から、車両近傍の白線を推定する。ここで、レーザーレーダー２による白線の検出方法は、特許文献１として示した特開２０１０−６０２９９号公報に記載の物体検出装置や、特開２００９−１４０１７５号公報に記載の白線検出装置のように、反射強度に対する閾値処理を利用すれば良い。すなわち、公知の処理を利用することができる。

例えば、路面標示位置推定部５０２は、この処理において、図３に示すように狭角カメラ１で撮像した画像Ｇの中におけるレーザーレーダー２の検出範囲（図中の破線で示された領域）の内部を対象として、図４に示すようにレーザーレーダー２の検出領域Ｆ（図中の丸印）の内部の白線を検出する。
タイムスタンプ取得部５０３は、狭角カメラ１が画像を撮像した時間（狭角カメラ１の画像撮像時刻）と、レーザーレーダー２が反射光データを取得した時間（レーザーレーダー２の計測時刻）と、をそれぞれ取得して記憶する。

近傍白線選択部５０４は、下記の二段階の処理を行う。
［一段目の処理］
近傍白線選択部５０４は、路面標示位置推定部２０４で検出した車両近傍の白線の位置を、狭角カメラ１で撮像した画像の画像座標系に対応付ける。このとき、タイムスタンプ取得部５０３で取得した狭角カメラ１の画像撮像時刻とレーザーレーダー２の計測時刻とにズレがあるので、狭角カメラ１の画像撮像時刻とレーザーレーダー２の計測時刻とのズレを、車速センサー３及び舵角センサー４の出力から算出した車両の移動軌跡に基づき、補正し、車両近傍の白線の位置を画像の画像座標系に対応付ける。

［二段目の処理］
近傍白線選択部５０４は、後述する車両近傍の白線の位置を対応付けられた画像中の輝度勾配強度に基づき、後段の処理で使う白線を選択する。白線の選択処理の詳細については、後述する図５のフローチャートの説明で述べる。
白線特徴量算出部５０５は、近傍白線選択部５０４の一段目の処理で白線位置を対応付けられた画像の輝度勾配強度を白線特徴量として算出する。すなわち、白線特徴量は、白線位置を対応付けられた画像の輝度勾配強度である。実際には、白線特徴量は、輝度勾配強度の平均（平均輝度勾配強度）等でも良い。なお、白線の位置を対応付けられた画像中の輝度勾配強度は、白線の縁（エッジ）を示す。白線特徴量の算出処理の詳細については、後述する図５のフローチャートの説明で述べる。

白線特徴量保存部５０６は、現時刻の処理ステップにおいて白線特徴量算出部５０５で算出された画像の輝度勾配強度を「正解データ」として制御装置５のメモリに登録する。白線特徴量保存部５０６は、白線特徴量算出部５０５と連携又は一体化していても良い。また、現時刻の処理ステップで登録した白線特徴量（現在の白線特徴量）だけでなく、過去数処理ステップで登録された白線特徴量（過去の白線特徴量）もメモリに登録して保持（蓄積）する。更に、現時刻の次の処理ステップのためにメモリに登録された白線特徴量をいくつか削除する機能も持つ。例えば、白線特徴量保存部５０６は、レーザーレーダー２で受光した反射光の反射強度が既定の閾値以上のもの、かつ、画像内での輝度勾配強度が既定の閾値以上のものを「正解データ」としてメモリに登録する。このとき、白線特徴量保存部５０６は、現時刻を含めた１処理ステップ以上で選択した白線特徴量を「正解データ」としてメモリに登録する。実装では、数処理ステップを登録しても良い。したがって、従来技術では、破線走行時で「正解データ」が登録されなかった時は画像から白線が検出されないが、第１実施形態では、１処理ステップ以上の「正解データ」を保持するため、破線走行時でも画像の全領域を対象として白線候補の画素を抽出することができるようになる。このメモリ登録処理の詳細については、後述する図５のフローチャートの説明で述べる。

白線抽出基準変更部５０７は、メモリに登録された白線特徴量の正解データ群の分布を解析することで、後段の画像白線抽出部５０８で画像の全領域を対象として白線候補の画素を抽出するための閾値を算出する。例えば、白線抽出基準変更部５０７は、メモリに「正解データ」として登録された画像内の白線特徴量から、上記の閾値を調整することができる。したがって、遠方の白線でレーザーレーダー２では十分に検出できず、かつ、画像内で白線とアスファルトとの区別がつきにくいときにも、白線の検出ができるようになる。

画像白線抽出部５０８は、白線抽出基準変更部５０７から出力された閾値に基づき、画像の全領域を対象として白線候補の画素を抽出する。
白線尤度算出部５０９は、画像白線抽出部５０８で抽出した白線候補の画素の輝度勾配強度と、白線抽出基準変更部５０７で解析した白線特徴量の分布の関係から、個々の画素の白線尤度を算出して設定する。ここでは、白線尤度算出部５０９は、特徴空間上での「正解データ」の分布に応じて、画像白線抽出部５０８で画像の全領域を対象として抽出した白線候補の信頼度（白線尤度）を算出する。一般的に、走行シーンの環境が安定しているときには特徴空間上での正解データの分布は小さくなり、逆の場合は分布が広がる。例えば、日陰・日向の切り替わりが少ない、カメラに強い直射日光が差し込んでいない、路面が汚れていない等のときには特徴空間上での正解データの分散が小さくなり、逆の場合は分散が大きくなる。そして、多くの白線認識手法は検出した白線候補の点群に対して、種々の最適化手法（最小二乗法等）で白線内での車両の位置を推定する。このとき、個々の点群に対して正解データの分布の中心に近いものほど高い信頼度（＝重み）を与えるようにすることで、最適化の精度を向上させることができる。

車線認識部５１０は、画像白線抽出部５０８及び白線尤度算出部５０９での処理で検出された画像中の白線と、レーザーレーダー２で検出した白線とを用いて、自車両の白線に対する位置や姿勢を推定する。この推定には、種々の方法（最小二乗法、カルマンフィルタ等）が提案されており、それらの方法のいずれかを用いれば良いものとする。
例えば、車線認識部５１０は、レーザーレーダー２で検出できた白線については、そのまま白線として認識する。一方、レーザーレーダー２で検出できない遠方の白線等については、画像白線抽出部５０８で白線候補の画素として抽出され、且つ、白線尤度算出部５０９で白線尤度が設定された画素の中から、白線尤度の高い（一定値以上の）画素を白線として認識する。

そして、車線認識部５１０は、認識した白線に基づいて、自車両の白線に対する位置や姿勢を推定し、推定した自車両の白線に対する位置や姿勢を運転支援システム６に転送する。
なお、車線認識部５１０は、上記の近傍白線選択部５０４、白線特徴量保存部５０６、白線抽出基準変更部５０７、画像白線抽出部５０８及び白線尤度算出部５０９と連携又は一体化していても良い。

（制御装置の処理）
次に、図５のフローチャートを参照して、制御装置の処理の流れについて説明する。
処理の一連の流れは、時系列に画像と反射光データを取得し、取得した画像と反射光データに対して白線認識を繰り返すことにある。反射光データと画像の輝度勾配強度を用いて車両近傍の白線を正解データとして登録し、その正解データの統計量（白線特徴量の分布）の計算、更新を行い、正解データに類似した画像中の白線の画素を検出することである。

ステップＳ１０１では、狭角カメラ１は、取得した画像を輝度強度特徴算出部５０１に出力する。輝度強度特徴算出部５０１は、狭角カメラ１からの画像の取得を行う。
ステップＳ１０２では、輝度強度特徴算出部５０１は、Ｓｏｂｅｌフィルタを画像のｘ方向、ｙ方向に適用し、それらの出力のノルム（ｎｏｒｍ）から輝度勾配強度を画素ごとに求め、その処理結果を画素ごとの輝度勾配強度として後段の近傍白線選択部５０４に出力する。

ステップＳ１０３では、レーザーレーダー２は、レーザー光を照射して反射光を受光し、その反射光の反射位置と反射強度を取得して路面標示位置推定部５０２に出力する。
ステップＳ１０４では、路面標示位置推定部２０４は、レーザーレーダー２の反射光の反射強度に対する閾値処理を実行し、反射強度が予め定めた閾値を上回る反射光を白線相当と推定し、その反射位置を車両近傍の白線位置として後段の近傍白線選択部５０４に出力する。

なお、上記の説明では、狭角カメラ１からレーザーレーダー２の順番（ステップＳ１０１→ステップＳ１０２→ステップＳ１０３→ステップＳ１０４）で処理の流れについて述べたが、これはあくまで説明のためであり、実際には、逆の順番（ステップＳ１０３→ステップＳ１０４→ステップＳ１０１→ステップＳ１０２）、あるいは同時（並行処理）であっても問題ない。すなわち、「ステップＳ１０１→ステップＳ１０２」の処理と「ステップＳ１０３→ステップＳ１０４」の処理を実施できていれば、順番は問わない。要は１処理ステップの中で画像と反射光データを取得できれば良い。

ステップＳ１０５では、タイムスタンプ取得部５０３は、狭角カメラ１が画像を撮像した時間と、レーザーレーダー２で反射光を取得した時間と、をそれぞれ取得して記憶する。
ステップＳ１０６では、近傍白線選択部５０４は、一段目の処理を実行する。ここでは、近傍白線選択部５０４は、タイムスタンプ取得部５０３で記憶した時刻と、車速センサー３及び舵角センサー４の出力と、から算出した車両の移動軌跡を算出する。

ステップＳ１０７では、近傍白線選択部５０４は、ステップＳ１０６で算出した車両の移動軌跡を用いて、ステップＳ１０１で狭角カメラ１が取得した画像と、ステップＳ１０３でレーザーレーダー２が取得した反射光データと、のそれぞれを取得した時間のズレを補正した上で、ステップＳ１０４で路面標示位置推定部２０４から出力された車両近傍の白線位置を、画像中の座標に対応付ける。

この時点で、レーザーレーダー２で検出した白線を、狭角カメラ１で撮像した画像中の座標に対応付ける処理が終了する。
ステップＳ１０８では、近傍白線選択部５０４は、二段目の処理を実行する。ここでは、近傍白線選択部５０４は、レーザーレーダー２で検出した白線が、狭角カメラ１で撮像した画像中でも白線であるかの判定を行う。この処理により、レーザーレーダー２での白線の誤検出による性能低下を防ぐ。具体的な処理内容については、以下の通りである。

まず、図６（ａ）に示すように、近傍白線選択部５０４は、画像の画素に対応付けられた白線位置であるレーザーレーダー２の検出領域Ｆ（図中の丸印）に、矩形の小領域Ｂ（図中の矩形枠の拡大領域）を設定する。
次に、図６（ｂ）に示すように、近傍白線選択部５０４は、ステップＳ１０２で輝度強度特徴算出部５０１から出力された画素ごとの輝度勾配強度を参照して、その小領域Ｂの輝度勾配強度の平均（平均輝度勾配強度）を算出する。

次に、図６（ｃ）に示すように、近傍白線選択部５０４は、平均輝度勾配強度が予め定めた閾値以上である画素を画像の白線Ｌ（図中の太線）として選択する。画像のみから検出する場合に比べ、閾値を低く設定することができ、画像のみで検出する場合、非検出となるような輝度勾配強度であっても、レーザーレーダー２で検出した結果と合わせて判断することで、白線Ｌと判断できる。

ステップＳ１０９では、白線特徴量算出部５０５は、白線Ｌとして選択された画素を含む小領域Ｂの平均輝度勾配強度を白線特徴量として後段の白線特徴量保存部５０６に出力する。ここでは、白線特徴量算出部５０５は、ステップＳ１０８で近傍白線選択部５０４が算出した矩形の小領域Ｂの平均輝度勾配強度をそのまま白線特徴量として出力する。なお、実際には、白線特徴量算出部５０５が、上記の近傍白線選択部５０４の二段目の処理（ステップＳ１０８の処理）を実行するようにしても良い。

ステップＳ１１０では、白線特徴量保存部５０６は、白線特徴量算出部５０５から出力された特徴量群をメモリに展開して保持する。
ステップＳ１１１では、白線特徴量保存部５０６は、現時刻の処理ステップで新たに追加された特徴量群（現在の特徴量群）と、前段（直前）の処理ステップまでにメモリに展開されている白線特徴量群（過去の白線特徴量群）と、の中から不要な白線特徴量を処理する。

具体的な処理として、図７に示すように、白線特徴量保存部５０６は、メモリに保持されている全ての白線特徴量に検出された時刻（抽出時刻）を付加しておき、その抽出時刻が既定の閾値以上前の古い白線特徴量をメモリから消去する。この処理によって、検出された時刻が古い白線特徴量群ほど優先的にメモリから消去され、現時刻に車両が走っている地点と空間的に近い位置で検出された白線特徴量群ほど優先的にメモリに保持されるので、現時刻の車両前方の白線を検出するのに適した白線特徴量を用いて後段の処理を実行できる。

図７では、４時刻前の処理ステップ（ｔ＝４）で検出した白線特徴量を削除しているが、この削除する時刻は実験的に定めれば良い。また、このように過去に検出した白線特徴量を保持・更新しながら処理を進めることで、現時刻の処理ステップにおいてレーザーレーダー２が白線を検出できない場合でも、安定して処理を進めることができる。
なお、第１実施形態では、検出した時刻に着目してメモリから消去する方法を採用したが、時刻だけでなく車速を用いて、実空間の距離に変換して距離の閾値でより空間的に近い白線特徴量のみ残すようにしても良い。

ステップＳ１１２では、白線抽出基準変更部５０７は、ステップＳ１１１で更新されたメモリ内の白線特徴量群を用いて白線の画像データの白線特徴量を解析する。ここでは、図８に示すように、白線抽出基準変更部５０７は、「白線特徴量（矩形の小領域Ｂのエッジ強度）の平均μ」と、「分散σ^２」との２つのパラメータを算出する。この２つのパラメータは、白線特徴量の分布のパラメータである。

ステップＳ１１３では、白線抽出基準変更部５０７は、ステップＳ１１２で算出した２つのパラメータから、画像から白線を検出するための白線特徴量の閾値を算出する。例えば、平均μと標準偏差σを用いて、以下の数式（２）で閾値ｔｈｒｅｓｈｏｌｄを算出する。
ｔｈｒｅｓｈｏｌｄ＝μ−ασ ……（２）
数式（２）の定数αは、調整パラメータであり、実験的に求めるものとする。

このように、１処理ステップごとに白線特徴量解析と閾値調整を行うことで、車両が走行する環境に適応的に閾値を調整することができるので、画像から安定して白線を検出することができる。
ステップＳ１１４では、画像白線抽出部５０８は、ステップＳ１１３で白線抽出基準変更部５０７が算出した閾値ｔｈｒｅｓｈｏｌｄを用いて、画像の全領域を対象として白線に相当する画素を検出する。白線尤度算出部５０９は、画像白線抽出部５０８が検出した画素ごとに白線尤度を割り当てる。

具体的には、図９に示すように、画像白線抽出部５０８は、画像全体を走査し、画素ごとに小領域Ｂを設定し、その平均輝度勾配強度を算出する。そして、その値が予め実験的に定めた閾値以上であれば、白線Ｌに相当する画素として判定する。
白線尤度算出部５０９は、画像白線抽出部５０８により白線と判定された画素に対して、ステップＳ１１２で求めた白線特徴量の平均μと分散σ^２との２つのパラメータを用いて、以下の数式（３）で白線尤度ｗｌｉｋｅｌｉｈｏｏｄを算出して付与する。

ｗｌｉｋｅｌｉｈｏｏｄ＝ｅｘｐ｛−１／σ^２×（ｘ−μ）^２｝ ……（３）
数式（３）の変数ｘは、白線と判定された画素の白線特徴量である。
このように、検出した白線の画素ごとに白線尤度を算出して付与することで、後段の車線認識部５１０での種々の最適化の処理において性能が向上する。
なお、検出した画素の座標を用いて車線を認識する処理（図２の車線認識部５１０の処理）以降の処理は、上述の通りであるため、説明は割愛する。

ここで、上記の狭角カメラ１は、車両に搭載され、車両前方の路面領域を画像として撮像する撮像部である。
また、上記のレーザーレーダー２は、車両に搭載され、車両前方の路面に電磁波を照射し、その反射波の反射強度及び反射位置を計測する路面状態計測部である。
また、上記の輝度強度特徴算出部５０１、タイムスタンプ取得部５０３、近傍白線選択部５０４（一段目の処理）及び白線特徴量算出部５０５は、撮像部で撮像した画像の全領域のうち路面標示位置推定部で推定した路面標示位置に対応する画像領域の輝度勾配強度を抽出する輝度強度特徴抽出部を形成する。
また、上記の近傍白線選択部５０４（二段目の処理）、白線特徴量保存部５０６、白線抽出基準変更部５０７、画像白線抽出部５０８、白線尤度算出部５０９、車線認識部５１０は、輝度勾配強度を基準として画像の全領域を対象として路面標示を認識する路面標示認識部を形成する。

（第１実施形態の効果）
第１実施形態によれば、以下のような効果を奏する。
（１）第１実施形態に係る路面標示検出装置は、車両前方の路面領域を画像として撮像し、車両前方の路面に電磁波を照射し、その反射波の反射強度及び反射位置を計測し、反射強度及び反射位置に基づき、路面標示位置を推定し、画像の全領域のうち路面標示位置に対応する画像領域の輝度勾配強度を抽出し、輝度勾配強度を基準として画像の全領域を対象として路面標示を認識する。

すなわち、画像全体の中において、この輝度勾配強度を有する画像領域を全て路面標示として認識する。
これにより、レーザーレーダーの反射強度が既定の閾値以上のもの、かつ、画像内での輝度勾配強度が既定の閾値以上のものを「正解データ」として登録し、それらの画像内の輝度勾配強度に基づいて、画像の全領域を対象として白線候補の画素を抽出する閾値を算出・調整することができる。したがって、遠方の白線でレーザー光では検出できず、かつ、画像内で白線とアスファルトとの区別がつきにくいときにも、白線の検出ができるようになる。

（２）第１実施形態に係る路面標示検出装置は、路面標示位置に対応する画像領域の輝度勾配強度の分布に基づき、撮像した画像の全領域を対象として路面標示の候補となる画素を抽出する。
更に、撮像した画像の全領域を対象として路面標示の候補となる画素毎に、輝度勾配強度の分布と比較して尤度を設定し、その尤度に基づいて路面標示を認識する。

これにより、特徴空間上での「正解データ」の分布に応じて画像の全領域を対象として白線候補の画素を抽出することが可能になる。更に、抽出した白線候補の信頼度を算出することが可能になる。一般的に走行シーンの環境が安定（日陰、日向の切り替わりが少ない、カメラに強い直射日光が差し込んでいない、路面が汚れていない等）しているときには特徴空間上での正解データの分布は小さくなり（分散が小さい）、逆の場合は分布が広がる（分散が大きい）。そして、多くの白線認識手法は検出した白線候補の点群に対して、種々の最適化手法（最小二乗法等）で白線内での車両の位置を推定する。このとき、個々の点群に対して正解データの分布の中心に近いものほど高い信頼度（＝重み）を与えるようにすることで、最適化の精度を向上させることができる。

（３）第１実施形態に係る路面標示検出装置は、画像の撮像時刻と反射強度及び反射位置の計測時刻との差と、車両の移動量とに基づき、路面標示位置に対応する画像領域を設定する。
これにより、カメラでの画像撮像時刻とレーザーレーダーでの反射波の計測時刻とのズレを、車速センサー及び舵角センサーの出力から算出された車両の移動量に基づき、補正して、画像内での反射位置（白線の位置）を参照できる。

（４）第１実施形態に係る路面標示検出装置は、抽出した現在及び過去の輝度勾配強度を基準として前記画像の全領域を対象として路面標示を認識する。
このように、現時刻を含めた１処理ステップ以上で選択した輝度勾配強度を「正解データ」として登録する。なお、実装では、数処理ステップを登録することも可能である。
これにより、従来技術では、破線走行時で「正解データ」が登録されなかった時は画像から白線が検出されないが、第１実施形態に係る路面標示検出装置では、１処理ステップ以上の「正解データ」を保持することで、破線走行時にレーザーレーダーで非検出時も画像の全領域を対象として白線候補の画素を抽出することができる。

＜第２実施形態＞
以下に、本発明の第２実施形態について説明する。
第１実施形態では、白線特徴量は、レーザーレーダー２で検出した白線の画像内の点の周辺の小領域内の平均輝度勾配強度（エッジ強度）としていた。一方、第２実施形態では、車両近傍の白線であれば、レーザーレーダー２の反射強度でロバストに（外乱の影響を受けることなく）検出できることを利用して、白線のペイント部分とアスファルト部分との輝度強度の分布を用いる。具体的には、白線のペイント部分の白線特徴量とアスファルト部分の白線特徴量とを別々に解析する。

このため、第２実施形態では、第１実施形態と比べて、白線特徴量算出部５０５の処理が変更されている。ここでは、第２実施形態での白線特徴量算出部５０５の処理について説明する。その他の部分は第１実施形態と共通であるので、説明は割愛する。
白線特徴量算出部５０５は、前段の近傍白線選択部５０４で図１０（ａ）に示すように画像中の座標に対応付けられたレーザーレーダー２の白線検出結果を用いて、白線相当の画素に小領域Ｂ（図中の矩形枠の拡大領域）を設定する際に白線のペイント相当の画素とその周辺のアスファルト相当の画素を別々に分ける。処理としては、図１０（ｂ）に示すようにレーザーレーダー２で白線のペイントと判定された画素にマスクを設定して別々に分けるようにすれば良い。

そして、白線特徴量算出部５０５は、図１０（ｃ）に示すように白線のペイントの画素群と、アスファルトの画素群を別々に輝度の分布を解析して、白線の平均輝度μ_ｌと、同じくアスファルトの平均輝度μ_ｒを求め、白線とアスファルトとの平均輝度の比として、以下の数式（４）で白線特徴量νを求める。
ν＝μ_ｌ／μ_ｒ ……（４）
白線特徴量算出部５０５は、上記の処理を、全てのレーザーレーダー２で検出した白線に対して実行して、後段の白線特徴量保存部５０６に出力する。

なお、第２実施形態では、白線のペイント部分の白線特徴量とアスファルト部分の白線特徴量とを別々に解析したが、実際には、レーザーレーダー２の白線検出結果を用いて白線相当の画素に設定した小領域Ｂでまとめて輝度強度の分布を解析しても良い。また、白線のペイント部分とアスファルト部分との黒白黒のパターンの分離度合いを解析することができる。

（第２実施形態の効果）
第２実施形態によれば、以下のような効果を奏する。
（１）第１実施形態に係る路面標示検出装置は、車両前方の路面の画像領域のうち、路面標示位置に対応する画像領域と、それ（路面標示位置に対応する画像領域）以外の画像領域と、のそれぞれの輝度強度の分布を抽出する。

これにより、白線とアスファルトとのそれぞれの輝度強度の分布を抽出することができる。したがって、破線走行時や遠方の白線でレーザーレーダーでは十分に検出できず、かつ、画像内で白線とアスファルトとの区別がつきにくいときにも、白線の検出ができるようになる。
その他の効果については、第１実施形態と同様である。

＜その他実施形態＞
上記のように、本発明は第１及び第２実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
上記の各実施形態は、第１及び第２実施形態で説明したそれぞれの技術的思想を互いに組み合わせることも可能である。また、端末の動作モードや機能の切り替え等により、実施形態を変更できるようにしても良い。

このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明の技術的範囲に含まれる。

Ａ 車両
１ 狭角カメラ
２ レーザーレーダー
３ 車速センサー
４ 舵角センサー
５ 制御装置
５０１ 輝度強度特徴算出部
５０２ 路面標示位置推定部
５０３ タイムスタンプ取得部
５０４ 近傍白線選択部
５０５ 白線特徴量算出部
５０６ 白線特徴量保存部
５０７ 白線抽出基準変更部
５０８ 画像白線抽出部
５０９ 白線尤度算出部
５１０ 車線認識部
６ 運転支援システム

Claims (7)

1. 車両に搭載され、車両前方の路面領域を画像として撮像する撮像部と、
   車両に搭載され、車両前方の路面に電磁波を照射し、その反射波の反射強度及び反射位置を計測する路面状態計測部と、
   前記反射強度及び前記反射位置に基づき、路面標示位置を推定する路面標示位置推定部と、
   前記撮像部で撮像した前記画像の全領域のうち前記路面標示位置推定部で推定した前記路面標示位置に対応する画像領域の輝度強度特徴を抽出する輝度強度特徴抽出部と、
   前記輝度強度特徴抽出部で抽出した前記輝度強度特徴を基準として前記撮像部で撮像した前記画像の全領域を対象として路面標示を認識する路面標示認識部と、
   を備えることを特徴とする路面標示検出装置。
2. 前記路面標示認識部は、前記輝度強度特徴抽出部で抽出した前記路面標示位置に対応する画像領域の前記輝度強度特徴の分布に基づき、前記撮像部で撮像した前記画像の全領域を対象として前記路面標示の候補となる画素を抽出する請求項１に記載の路面標示検出装置。
3. 前記路面標示認識部は、前記路面標示の候補となる画素毎に、前記輝度強度特徴抽出部で抽出した前記輝度強度特徴の分布と比較して尤度を設定し、前記尤度に基づいて前記路面標示を認識する請求項２に記載の路面標示検出装置。
4. 前記輝度強度特徴抽出部は、前記画像の撮像時刻と前記反射強度及び前記反射位置の計測時刻との差と、車両の移動量とに基づき、前記路面標示位置推定部で推定した前記路面標示位置に対応する画像領域を設定する請求項１から３のいずれか一項に記載の路面標示検出装置。
5. 前記路面標示認識部は、前記輝度強度特徴抽出部で抽出した現在及び過去の前記輝度強度特徴を基準として前記撮像部で撮像した前記画像の全領域を対象として前記路面標示を認識する請求項１から４のいずれか一項に記載の路面標示検出装置。
6. 前記輝度強度特徴抽出部は、車両前方の路面の画像領域のうち、前記路面標示位置推定部で推定した前記路面標示位置に対応する画像領域と、前記路面標示位置に対応する画像領域以外の画像領域と、のそれぞれの前記輝度強度特徴を抽出する請求項１から５のいずれか一項に記載の路面標示検出装置。
7. 車両前方の路面領域を画像として撮像し、
   車両前方の路面に電磁波を照射し、その反射波の反射強度及び反射位置を計測し、
   前記反射強度及び前記反射位置に基づき、路面標示位置を推定し、
   前記画像の全領域のうち前記路面標示位置に対応する画像領域の輝度強度特徴を抽出し、
   前記輝度強度特徴を基準として前記画像の全領域を対象として路面標示を認識することを特徴とする路面標示検出方法。