JP2013101534A - 車両運転支援システム - Google Patents

Abstract

【課題】無駄のない効率的なハフ投票を行い、走行車線検出の処理速度を上げることができる。
【解決手段】撮像部１０によって撮像された画像から、テールランプ検出部３２によって自車両の直前前方を走行している前方車両のテールランプを分光フィルタを介して検出する。そして、検出したテールランプの画像に基づいて前方車両の位置を検出する。白線検出部３３によって、前方車両の位置に基づいて路面の走行車線の候補エッジを抽出し、抽出した候補エッジにハフ変換処理を施して走行車線を決定する。
【選択図】図２

Description

本発明は、自動車等の車両を運転する際自車両が走行車線（白線や黄線を含む）で区画された走行レーンを逸脱しそうかどうかを監視し、逸脱しそうならば警報を鳴らす等の報知を行って車両の運転を支援する車両運転支援システムに関するものである。

自動車の運転支援（ドライバーアシスト）に用いられるシステムとしては、車載カメラで撮影された自車両前方の画像上の物体認識によるものが知られている。具体的には、車載カメラで撮影した走行レーンから自車両が逸脱しそうかどうかを監視し逸脱しそうならば警報を鳴らすＬＤＷ（Lane Departure Warning）システムが挙げられる。このＬＤＷシステムは、車両に搭載された車載カメラの撮像手段により自車両前方の道路画像を取り込み、走行車線の輝度が高いことを利用して走行車線を検出する。具体的には、例えば画像の微分処理及び２値化処理によるエッジ（エッジ点列）抽出を行い、その抽出エッジについて走行車線エッジか否かの判定を行う。この抽出エッジについて、直線検出法としてのハフ（Hough）変換を行うことで、走行車線である走行車線の位置を検出することが既に知られている。

この走行車線検出方法として特許文献１に記載されたものが知られている。この特許文献１の走行車線検出方法は、車載カメラにより入力された画像に対し前処理を行い、算出した走行車線の候補点（画素）を、画像の座標が割り当てられたメモリの記憶領域へハフ投票する。そして、ハフ投票数の最も多かった画素が入力された画像上での最頻出の直線であるということで走行車線と認識している。

しかしながら、上記特許文献１の走行車線検出方法では、入力された画像の全ての画像領域に対してハフ投票を行うため、ハフ投票が多くなってハフ変換の処理が重くなる。このため、走行車線検出の処理速度が低下する。このように処理速度が低下することは、リアルタイム処理を必要とする上記ＬＤＷシステムにとっては大きな障害となる。

本発明は以上の問題点に鑑みなされたものであり、その目的は、無駄のない効率的な走行車線検出処理を行い、走行車線検出の処理速度を上げることができる車両運転支援システムを提供することである。

上記目的を達成するために、請求項１の発明は、自車両の前方を撮像する撮像手段と、該撮像手段によって撮像された画像における路面の走行車線を検出する走行車線検出手段とを備え、検出した走行車線を自車両が逸脱しそうかどうか監視し車両の運転を支援する車両運転支援システムにおいて、前記撮像手段によって撮像された画像から自車両の直前前方を走行している前方車両の位置を検出する前方車両位置検出手段を備え、該前方車両位置検出手段によって検出した前方車両の位置に基づいて、前記走行車線検出手段によって走行車線を検出することを特徴とするものである。

本発明においては、自車両の直前を走行している前方車両は自車両の走行車線を走行している可能性が高いので、画像上の前方車両の左下及び右下の領域にはそれぞれ走行車線が存在する。撮像手段によって撮像した画像における前方車両の位置から左下及び右下の画像領域に走行車線検出対象の画像領域を限定することにより、撮像手段によって撮像した全画像に対して行う走行車線検出処理の処理数に比べて減少させることができる。これにより、走行車線検出処理が速くなり、走行車線検出の処理速度が上がる。

本発明によれば、無駄のない効率的な走行車線検出処理を行い、走行車線検出の処理速度を上げることができるという特有な効果が得られる。

本実施形態に係る車両運転支援システムの全体構成の概要を示すブロック図である。 本車両運転支援システムにおける信号処理部の構成を示すブロック図である。 前方車両のテールランプの位置情報を説明する図である。 本車両運転支援システムにおけるハフ投票対象画素決定処理の左側車線検出動作を示すフローチャートである。 本車両運転支援システムにおけるハフ投票対象画素決定処理の右側車線検出動作を示すフローチャートである。 ハフ投票対象画素の走査方向を示す概略図である。

以下、本発明を、自動車を走行車線（白線）に沿って走行させて運転を支援する車両運転支援システムに適用した一実施形態について、道路の白線の検出に関わる構成を中心に説明する。
図１は本実施形態に係る車両運転支援システムの全体構成の概要を示すブロック図である。図２は、信号処理部の構成を示すブロック図である。
本車両運転支援システムは、撮影部１０と信号処理部２０とを含んで構成されている。撮像部１０は、レンズ１１により集光された光のうち、ある特定の波長の光を分光フィルタ１２によって強調して抽出し、抽出した光をセンサ１３によって光電変換して画像データを出力する。ここで、分光フィルタ１２を用いるのは、自車両の前方を走行している前方車両のテールランプ（赤色光）を精度良く検出できテールランプの画像データを取得するためである。信号処理部２０は、信号処理用回路としてのＣＰＵを含むＦＰＧＡ２１と、画像データを保存するためのフレームバッファであるメモリ２２とを含んで構成されている。そして、信号処理部２０は、分光画像生成部３１、テールランプ検出部３２及び白線検出部３３を含んで構成されている。この白線検出部３３は、エッジ検出部３３−１、二値化部３３−２、ハフ投票対象画素決定部３３−３、ハフ変換部３３−４及びハフ逆変換部３３−５を含んで構成されている。本実施形態では白線の直線検出方法の一つであるハフ変換処理を用いているがこれに限定する必要はない。

テールランプ検出部３２は、撮像部から受け取った画像データから分光画像生成部３１によって生成された分光画像とモノクロ画像とからテールランプを検出し、その位置座標を白線検出部３３のハフ投票対象画素決定部３３−３に出力する。そして、白線検出部３３では、入力されたモノクロ画像をエッジ検出部３３−１によってエッジ検出を行った後二値化部３３−２によって二値化する。その後、ハフ投票対象画素決定部３３−３は、二値化された画像に対し、ハフ投票対象の画素以外を除去するハフ投票対象画素決定処理を行う。ハフ変換部３３−４は、不要な画素が除去された画像に対しハフ変換を行い、ハフ逆変換部３３−５は、ハフ逆変換で最も出現頻度の高い直線の座標を算出して出力する。本実施形態では、ハフ変換の前にテールランプの位置座標を用いてハフ投票に不要な画素を除去し、効率的なハフ投票を実施している。テールランプの位置情報は図３のような値である。例えば、メモリ２２に記憶された撮像部１０で撮影した画像を画像処理することで、前方車両のテールランプを含む領域の幅ｗ及び高さｈを画素数（ピクセル）で計測する。そして、計測した幅と高さに基づいてテールランプの中心の位置座標（ｃｘ，ｃｙ）を算出する。

次に、本実施形態におけるハフ投票対象画素決定処理について当該処理フローを示す図４及び図５に従って説明する。図６はハフ投票対象画素の走査方向を示す概略図である。図６の前方車両の後方部画像における左上を原点（0,0）とし、かつｘ座標は画像上の下方向が正であってｙ座標は画像上の右方向が正として以下の位置座標を示すものとする。ここでのハフ投票対象画素決定処理とは、二値化画像に対し、ハフ投票を行う画素を残し（白画素）、行わない画素を除去（黒画素化）する処理である。ハフ投票対象画素決定時においてテールランプが検出できない場合は、二値化画像に対し予め設定された走査開始位置から、白線候補となる画素を走査し、ハフ投票画素を決定するものとする。

はじめに、図４に示す左側車線検出用のハフ投票対象画素決定処理によれば、撮像部によって撮像した画像に対して所定の画像領域（幅の閾値（WIDTH）と高さの閾値（HEIGHT）とで囲まれた画像領域）を切り出す。切り出した画像に対してエッジ検出を行った後、二値化した二値化画像を入力する（ステップＳ１０１）。そして、入力された二値化画像に含まれる前方車両のテールランプ（赤色光）の位置情報を取得する（ステップＳ１０２）。このテールランプの位置情報とは、テールランプを含む領域の中心座標（ｃｘ，ｃｙ）、幅（ｗ）、高さ（ｈ）であり、二値化画像のうち分光された画素を計測することで検出できる。次に、上記切り出した画像領域のうち、WIDTHの幅と（ｃｙ＋ｗ）の高さとで囲まれた画像領域内の画素を黒画素に置き換える（ステップＳ１０３）。そして、左側車線検出のための走査開始点（Ｌｘ，Ｌｙ）は、テープランプを含む領域の中心座標位置から真下に所定の長さ（ここではｗとするが、ｗに限定する必要はない）分移動した座標（ｃｘ，ｃｙ+ｗ）とする（ステップＳ１０４）。そして、白画素発見フラグを初期化する（ステップＳ１０５）。白画素の探索を開始し、走査点のｘ座標が０から（ｃｘ−ｗ／２）までの間を走査する（ステップＳ１０６、Ｓ１０７）。白画素があれば白画素発見フラグが０であればフラグに１を立てることでハフ投票を行う（ステップＳ１０８：ＹＥＳ、ステップＳ１０９：ＹＥＳ、ステップＳ１１０）。次に、走査点のｘ座標を１増やしてステップＳ１０６に戻って白画素走査を繰り返す（ステップＳ１１１）。ステップＳ１０７で走査点のｘ座標が（ｃｘ−ｗ／２）を越えた場合は越えた領域の白画素を黒画素に置き換えて白線候補点とする。走査点のｘ座標を１増やしてステップＳ１０６に戻って白画素走査を繰り返す（ステップＳ１０７：ＮＯ、ステップＳ１１２、ステップＳ１１１）。ステップＳ１０８でも走査した結果白画素が発見できなかった場合も走査点のｘ座標を１増やしてステップＳ１０６に戻って白画素走査を繰り返す（ステップＳ１０８：ＮＯ、ステップＳ１１１）。走査点のｘ座標が０以下である場合走査点のｙ座標が高さの閾値（HEIGHT）より小さいときは、走査点のｘ座標をテープランプを含む領域の中心位置のｘ座標に、走査点のｙ座標を１つ増やしかつ白画素発見フラグを０とした上でステップＳ１０６に戻って白画素走査を繰り返す（ステップＳ１０６：ＮＯ、ステップＳ１１３：ＹＥＳ、ステップＳ１１４）。ステップＳ１１３で走査点のｙ座標が高さの閾値（HEIGHT）以上であるときは本実施形態によるハフ投票対象画素決定処理を終了する（ステップＳ１１３：ＮＯ）。ここで、テールランプが検出できない場合は、二値化画像に対し予め設定された走査開始位置から白線候補となる画素を走査し、ハフ投票画素を決定する。

次に、図５に示す右側車線検出用のハフ投票対象画素決定処理によれば、撮像部によって撮像した画像に対して所定の画像領域（幅の閾値（WIDTH）と高さの閾値（HEIGHT）とで囲まれた画像領域）を切り出す。切り出した画像に対してエッジ検出を行った後、二値化した二値化画像を入力する（ステップＳ２０１）。そして、入力された二値化画像に含まれる前方車両のテールランプ（赤色光）の位置情報を取得する（ステップＳ２０２）。このテールランプの位置情報とは、テールランプを含む領域の中心座標（ｃｘ，ｃｙ）、幅（ｗ）、高さ（ｈ）であり、二値化画像のうち分光された画素を計測することで検出できる。次に、上記切り出した画像領域のうち、WIDTHの幅と（ｃｙ−ｗ）の高さとで囲まれた画像領域内の画素を黒画素に置き換える（ステップＳ２０３）。そして、左側車線検出のための走査開始点（Ｌｘ，Ｌｙ）は、テープランプを含む領域の中心座標位置から真下に長さｗ分移動した座標（ｃｘ，ｃｙ+ｗ）とする（ステップＳ２０４）。そして、白画素発見フラグを初期化する（ステップＳ２０５）。白画素の探索を開始し、走査点のｘ座標が幅の閾値（WIDTH）から（ｃｘ＋ｗ／２）までの間を走査する（ステップＳ２０６、Ｓ２０７）。白画素があれば白画素発見フラグが０であればフラグに１を立てることでハフ投票を行う（ステップＳ２０８：ＹＥＳ、ステップＳ２０９：ＹＥＳ、ステップＳ２１０）。次に、走査点のｘ座標を１増やしてステップＳ２０６に戻って白画素走査を繰り返す（ステップＳ２１１）。ステップＳ２０７で走査点のｘ座標が（ｃｘ＋ｗ／２）を越えた場合は越えた領域の白画素を黒画素に置き換えて白線候補点とする。走査点のｘ座標を１増やしてステップＳ２０６に戻って白画素走査を繰り返す（ステップＳ２０７：ＮＯ、ステップＳ２１２、ステップＳ２１１）。ステップＳ２０８でも走査した結果白画素が発見できなかった場合も走査点のｘ座標を１増やしてステップＳ２０６に戻って白画素走査を繰り返す（ステップＳ２０８：ＮＯ、ステップＳ２１１）。走査点のｘ座標が幅の閾値（WIDTH）以下である場合走査点のｙ座標が高さの閾値（HEIGHT）より小さいときは、走査点のｘ座標をテープランプを含む領域の中心位置のｘ座標に、走査点のｙ座標を１つ増やしかつ白画素発見フラグを０とした上でステップＳ１０６に戻って白画素走査を繰り返す（ステップＳ１０６：ＮＯ、ステップＳ１１３：ＹＥＳ、ステップＳ１１４）。ステップＳ１１３で走査点のｙ座標が高さの閾値（HEIGHT）以上であるときは本実施形態によるハフ投票対象画素決定処理を終了する（ステップＳ１１３：ＮＯ）。ここで、テールランプが検出できない場合は、二値化画像に対し予め設定された走査開始位置から白線候補となる画素を走査し、ハフ投票画素を決定する。

上記実施形態では自車両の走行車線における前方車両のテールランプを検出することで前方車両の位置を検出し、その位置情報に基づいてハフ投票を行う画素を制限することで効率的にハフ投票を行いハフ変換している。前方車両の位置を検出するのに前方車両のテールランプを検出しているがこれに限定する必要はなく、例えば前方車両の後輪タイヤのトレッドを検出することでも上記実施形態と同様な効果が得られる。この場合、路面からの反射成分を除去するための偏光フィルタ等による処理を行うことでトレッドを精度良く検出することができ、その両後輪のトレッドの中心座標から上記実施形態と同様なハフ投票対象画素決定処理を行うことになる。その他としては、主に車両の中心に設置されている自動車登録番号標（ナンバープレート）を検出することでも上記実施形態と同様な効果が得られる。この場合、分光処理によって、所定の領域面積の白色、業務用車両の緑色あるいは軽自動車用の黄色の画像データを取得して自動車登録番号標の位置を検出することで、その自動車登録番号標の位置の中心座標から上記実施形態と同様なハフ投票対象画素決定処理を行うことになる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
撮像手段によって撮像された画像から自車両の直前前方を走行している前方車両の位置を検出する前方車両位置検出手段を備え、該前方車両位置検出手段によって検出した前方車両の位置に基づいて、走行車線検出手段によって走行車線を検出する。これによれば、上記実施形態について説明したように、自車両の直前前方を走行している車両が自車両の走行車線を走行している可能性が高いので、画像上の前方車両の左下及び右下の領域には走行車線が存在する。前方車両の後方部にあるテールランプを検出することで前方車両の位置を検出する。そして、検出した前方車両の位置から左下及び右下の画像領域を走行車線検出対象の画像領域に限定することで、走行車線検出処理の一つであるハフ変換におけるハフ投票数が減少する。これにより、走行車線検出の処理速度を上げることができる。
（態様Ｂ）
（態様Ａ）において、撮像手段は、レンズを含む光学系と、該光学系を通った撮像光を分光成分ごとに分離する分光フィルタと、該分光フィルタを通った所望の分光成分の光を電気信号に変換するセンサとを含んで構成される。これによれば、上記実施形態について説明したように、前方車両の赤色のテールランプを含む画像領域を分光フィルタ１２を介して検出することで前方車両の位置情報を簡単に取得することができ、走行車線検出の処理速度が上げることができる。
（態様Ｃ）
（態様Ａ）又は（態様Ｂ）において、走行車線検出手段は、撮像手段によって撮像された画像の二値化処理により路面の走行車線の候補エッジを抽出し、抽出した候補エッジにハフ変換を施して走行車線を検出する。これによれば、上記実施形態について説明したように、より簡単に前方車両の位置を検出することができることにより、ハフ変換の処理が速くなり、走行車線検出の処理速度が上げることができる。
（態様Ｄ）
（態様Ａ）において、信号処理手段は、撮像手段からの画像データから分光画像を生成する分光画像生成手段を有する。これによれば、上記実施形態について説明したように、分光画像生成部３１によって撮像した画像からテールランプに相当する画像を得ることで、より簡単に前方車両の位置を検出することができる。よって、ハフ変換の処理が速くなり、走行車線検出の処理速度が上げることができる。
（態様Ｅ）
（態様Ａ）において、前方車両位置検出手段は、前方車両のテールランプを検出するテールランプ検出手段を有する。これによれば、上記実施形態について説明したように、前方車両の赤色のテールランプを検出することで、ハフ変換の処理が速くなり、走行車線検出の処理速度が上げることができる。
（態様Ｆ）
（態様Ｅ）において、テールランプ検出手段によって検出した前方車両のテールランプの座標を求め、走行車線検出手段によってテールランプの座標に基づいて路面の走行車線の候補エッジを抽出する。これによれば、上記実施形態について説明したように、前方車両のテールランプの座標に基づいてハフ変換対象の画像領域を限定することで、ハフ変換の処理が速くなり、走行車線検出の処理速度が上げることができる。
（態様Ｇ）
（態様Ｅ）又は（態様Ｆ）において、テールランプ検出手段によって前方車両のテールランプが検出できない場合は、撮像手段によって撮像された画像の二値化処理が施された二値化画像に対し、路面の走行車線の候補エッジの抽出を行うための予め設定された走査開始位置から路面の走行車線の候補エッジを抽出する。これによれば、上記実施形態について説明したように、前方車両の位置を検出できなくても、二値化画像に対し予め設定された走査開始位置から走行車線候補となる画素を走査し、ハフ投票画素を決定することができる。
（態様Ｈ）
（態様Ａ）において、前方車両位置検出手段は、前方車両の後輪タイヤのトレッドを検出するトレッド検出手段を有する。これによれば、上記実施形態の変形例について説明したように、前方車両の後輪タイヤのトレッドを検出して前方車両の位置を検出することで、走行車線検出の処理速度が上げることができる。
（態様Ｉ）
（態様Ａ）において、前方車両位置検出手段は、前方車両の自動車登録番号標を検出する自動車登録番号標検出手段を有する。これによれば、上記実施形態の変形例について説明したように、前方車両の自動車登録番号標を検出して前方車両の位置を検出することで、走行車線検出の処理速度が上げることができる。

１０ 撮影部
１１ レンズ
１２ 分光フィルタ
１３ センサ
２０ 信号処理部
２１ ＦＰＧＡ
２２ メモリ
３１ 分光画像生成部
３２ テールランプ検出部
３３ 白線検出部
３３−１ エッジ検出部
３３−２ 二値化部
３３−３ ハフ投票対象画素決定部
３３−４ ハフ変換部
３３−５ ハフ逆変換部

特開２００７−１７９３８６号公報

Claims (9)

1. 自車両の前方を撮像する撮像手段と、該撮像手段によって撮像された画像における路面の走行車線を検出する走行車線検出手段とを備え、検出した走行車線を自車両が逸脱しそうかどうか監視し車両の運転を支援する車両運転支援システムにおいて、
   前記撮像手段によって撮像された画像から自車両の直前前方を走行している前方車両の位置を検出する前方車両位置検出手段を備え、
   該前方車両位置検出手段によって検出した前方車両の位置に基づいて、前記走行車線検出手段によって走行車線を検出することを特徴とする車両運転支援システム。
2. 請求項１記載の車両運転支援システムにおいて、
   前記撮像手段は、レンズを含む光学系と、該光学系を通った撮像光を分光成分ごとに分離する分光フィルタと、該分光フィルタを通った所望の分光成分の光を電気信号に変換するセンサとを含んで構成されることを特徴とする車両運転支援システム。
3. 請求項１又は２に記載の車両運転支援システムにおいて、
   前記走行車線検出手段は、前記撮像手段によって撮像された画像の二値化処理により路面の走行車線の候補エッジを抽出し、抽出した候補エッジにハフ変換処理を施して走行車線を検出することを特徴とする車両運転支援システム。
4. 請求項１記載の車両運転支援システムにおいて、
   前記走行車線検出手段は、前記撮像手段からの画像データから分光画像を生成する分光画像生成手段を有することを特徴とする車両運転支援システム。
5. 請求項１記載の車両運転支援システムにおいて、
   前記前方車両位置検出手段は、前方車両のテールランプを検出するテールランプ検出手段を有することを特徴とする車両運転支援システム。
6. 請求項５記載の車両運転支援システムにおいて、
   前記テールランプ検出手段によって検出した前方車両のテールランプの座標を求め、前記走行車線検出手段によってテールランプの座標に基づいて路面の走行車線の候補エッジを抽出することを特徴とする車両運転支援システム。
7. 請求項５又は６に記載の車両運転支援システムにおいて、
   前記テールランプ検出手段によって前方車両のテールランプが検出できない場合は、前記撮像手段によって撮像された画像の二値化処理が施された二値化画像に対し、路面の走行車線の候補エッジの抽出を行うための予め設定された走査開始位置から路面の走行車線の候補エッジを抽出することを特徴とする車両運転支援システム。
8. 請求項１記載の車両運転支援システムにおいて、
   前記前方車両位置検出手段は、前方車両の後輪タイヤのトレッドを検出するトレッド検出手段を有することを特徴とする車両運転支援システム。
9. 請求項１記載の車両運転支援システムにおいて、
   前記前方車両位置検出手段は、前方車両の自動車登録番号標を検出する自動車登録番号標検出手段を有することを特徴とする車両運転支援システム。

Images