JP2003044863A

JP2003044863A - 仕切線認識装置

Info

Publication number: JP2003044863A
Application number: JP2001229615A
Authority: JP
Inventors: Kyozo Sengoku; 京三仙石
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-07-30
Filing date: 2001-07-30
Publication date: 2003-02-14

Abstract

(57)【要約】【課題】カメラのレンズやフロントガラスに汚れが付
着した場合であっても、適切に仕切線認識状態、及び仕
切線非認識状態を設定することのできる仕切線認識装置
を提供することが課題である。【解決手段】車両に搭載されるカメラ１にて、車両走
行路の白線を撮影し、撮影された白線の認識率が予め設
定したしきい値よりも大きいときに、仕切線認識状態と
判断し、しきい値よりも小さいときに仕切線非認識状態
と判断する仕切線認識装置において、カメラ、或いは車
両のフロントガラスに付着した汚れを検出する汚れ検出
部５ｂを有し、この汚れ検出部５ｂにて、汚れの付着が
検出された際に、しきい値を変更することを特徴とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に搭載して、
車両走行路の白線等の仕切線を認識する仕切線認識装置
に関する。

【０００２】

【従来の技術】白線認識装置は、例えば、車線逸脱警報
装置や、居眠り運転警報装置等において、自車走行車線
を判別するために用いられている。

【０００３】例えば、特開平９−３９６０１号公報に記
載された居眠り運転警報装置に用いられている白線認識
装置では、車両前方にカメラを取り付け、該カメラで撮
影された画像に対して輝度の微分フィルタを掛けて、自
車両前方の白線を認識している。

【０００４】この際、夜間の照明等の反射、或いは路面
上の水溜まり等により部分的に白線を認識することがで
きなかった場合であっても、撮影された画像に対して、
あるしきい値、例えば５０％以上の領域で白線が認識で
きている場合には、白線が認識できていると判断して、
居眠り運転警報制御を継続して行うようにしている。一
方、白線領域がしきい値よりも下回った場合には、白線
非認識として、居眠り運転警報制御は行わない。

【０００５】

【発明が解決しようとする課題】上述した、従来の白線
認識装置では、例えば、画像の一部分にて白線が認識す
ることができなかった場合に、認識できない原因が何で
あったとしても、一律にしきい値に基づいて白線認識判
断を行っている。このため、例えば、カメラのレンズ部
分に汚れが付着している場合には、その汚れが付着した
領域では、そもそも路面が撮影されていないにも関わら
ず、白線の検出不良領域として取り扱われてしまう。

【０００６】従って、実際には、高い割合で白線認識が
できているにも関わらず、汚れが付着した領域が白線非
検出部分として扱われてしまうため、白線非認識状態と
なる可能性が高くなってしまうという問題点があった。

【０００７】本発明はこのような従来の課題を解決する
ためになされたものであり、その目的とするところは、
カメラに付着した汚れを検出し、汚れが付着している場
合には、汚れの大きさに応じて仕切線（白線）認識判断
に用いるしきい値を変化させることにより、仕切線非認
識状態となる可能性を低減することのできる仕切線認識
装置を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本願請求項１に記載の発明は、車両に搭載される撮
影手段にて、当該車両走行路の仕切線を撮影し、撮影さ
れた仕切線の認識率が予め設定したしきい値よりも大き
いときに、仕切線認識状態と判断し、しきい値よりも小
さいときに仕切線非認識状態と判断する仕切線認識装置
において、前記撮影手段、或いは車両のフロントガラス
の汚れを検出する汚れ検出手段を有し、該汚れ検出手段
にて、汚れが検出された際に、前記しきい値を変更する
ことが特徴である。

【０００９】請求項２に記載の発明は、前記撮影手段に
よる撮影領域に対する、前記汚れ検出手段にて検出され
た汚れの面積の割合に応じて、前記しきい値を設定する
ことを特徴とする。

【００１０】請求項３に記載の発明は、前記撮影手段に
よる撮影領域に対する、前記汚れ検出手段にて検出され
た汚れの面積の割合が、第１の所定値以上である場合に
は、前記しきい値を固定した値とし、第１の所定値未満
である場合には、前記汚れの面積の割合に応じて前記し
きい値を変化させることを特徴とする。

【００１１】請求項４に記載の発明は、前記撮影手段に
よる撮影領域に対する、前記汚れ検出手段にて検出され
た汚れの面積の割合が、前記第１の所定値よりも大きい
第２の所定値以上である場合には、仕切線非認識状態で
あると判断することを特徴とする。

【００１２】請求項５に記載の発明は、前記汚れ検出手
段にて汚れが検出された際に、これを車両の搭乗者に通
知する通知手段を具備したことを特徴とする。

【００１３】

【発明の効果】請求項１の発明では、撮影手段或いは車
両のフロントガラスの汚れを検出し、汚れが存在してい
る場合と、存在していない場合とで、仕切線認識判断に
用いるしきい値を変更するので、汚れが存在している場
合において、仕切線非認識状態となる割合を低減するこ
とができる。

【００１４】請求項２の発明では、撮影領域に対する汚
れの面積の割合に応じて、しきい値を可変としているの
で、汚れの面積に応じた適切なしきい値を設定すること
ができ、仕切線非認識状態となる割合を低減することが
できる。

【００１５】請求項３の発明では、撮影領域に対する汚
れの面積の割合が、第１の所定値以上となった場合に
は、しきい値を固定した値としているため、汚れの面積
が大きくなったときに、しきい値が下がり過ぎることを
防止することができ、仕切線認識精度を向上させること
ができる。

【００１６】請求項４の発明では、撮影領域に対する汚
れの面積の割合が、第２の所定値以上となった場合に、
仕切線非認識状態とするので、汚れの面積が非常に多く
なり、たとえ、汚れが存在していない領域で仕切線の認
識ができたとしても、実用上仕切線として利用すること
ができないので、このような状況を確実に検出すること
ができる。

【００１７】請求項５の発明では、汚れ検出手段にて汚
れが検出された際には、即時に車両の搭乗者に通知され
るので、搭乗者は、汚れを拭き取る等の適切な対応をと
ることができる。

【００１８】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１は、本発明の一実施形態に係る
仕切線認識装置を、車線逸脱警報装置に適用した際の構
成を示すブロック図である。なお、本実施形態では、車
両走行路に描かれる仕切線を「白線」として説明する
が、本発明は、これに限定されるものではなく、黄線や
その他の色の仕切線についても適用することができる。

【００１９】車線逸脱警報装置は、自車両前方の白線を
認識し、このデータに基づいて、自車両が走行車線から
逸脱しているかどうかを判断し、逸脱していることが検
出された際に、警報信号を出力して車両の搭乗者に通知
するものである。

【００２０】図１に示すように、この車線逸脱警報装置
１０は、車両外部の路面映像を撮影するカメラ（撮影手
段）１と、演算回路部５と、車両が走行車線から逸脱し
たことが検出された場合、及び後述するようにカメラ１
のレンズ、或いはフロントガラスに汚れが付着している
場合に、これを画面表示で知らせるディスプレイ（通知
手段）６と、音声で知らせるスピーカ（通知手段）７
と、から成る仕切線認識装置１１を具備している。

【００２１】更に、舵角センサ２、左側車輪速センサ
３、及び右側車輪速センサ４を具備し、これらの各セン
サ２，３，４にて検出される各検出信号は、演算回路部
５に与えられるようになっている。

【００２２】演算回路部５は、カメラ１のレンズ、或い
はカメラ１前方のフロントガラス部分に付着している汚
れの有無、及び汚れの大きさを検出する汚れ検出部（汚
れ検出手段）５ａを有している。

【００２３】図２は、前述した車両逸脱警報装置１０の
処理手順フローチャートであり、以下、該フローチャー
トを参照しながら、本実施形態の作用について説明す
る。

【００２４】図２に示すフローチャートは、図１に示し
た演算回路部５において、予め定められた制御周期（例
えば、１０ｍsec）で実行される。まず、ステップＳ１
では、カメラ１にて車両前方（例えば、５〜３０メート
ル）の路面を撮影し、撮影された白黒画像情報を演算回
路部５に取り込む処理を行う。

【００２５】次いで、ステップＳ２にて、汚れ検出部５
ａは、カメラ１のレンズ、或いは車両のフロントガラス
に汚れが存在しているかどうかを検出する。

【００２６】この処理では、車両の動きを検出する動き
検出手段（舵角センサ２，左側車輪速センサ３，右側車
輪速センサ４）により車両の動きが検出された際に、あ
る程度の特定画像領域のみに動きのない固定パターンが
検出されているか否かにより汚れの存在を判別する。つ
まり、車両が動いているにも関わらず、固定パターンが
存在する場合には、この固定パターンは汚れによるもの
であると判断する。他方、固定パターンが存在しない場
合には、汚れが存在していないものと判断する。

【００２７】そして、汚れが存在すると判断された場合
には、固定パターンの面積から、この汚れの大きさを測
定する。

【００２８】ここで、上記した車両の動きを検出する方
法としては、例えば、舵角センサ２より得られる舵角デ
ータが変化したときに車両が動いていると判断する方法
や、左右の車輪速センサ３，４より得られる左右の車速
データの違いの変化に基づいて車両が動いているかどう
か等の検出方法を採用することができる。

【００２９】ステップＳ３では、ステップＳ２の処理
で、カメラ１のレンズ、或いはフロントガラスに汚れが
存在するかどうかを判断し、汚れが存在する場合には、
ステップＳ３でＹＥＳとなり、ステップＳ４の処理で、
汚れが存在することをディスプレイ６、或いはスピーカ
７にて車両の乗員に報知する。

【００３０】次いで、ステップＳ５では、検出された汚
れの大きさに応じて、白線が認識されているかどうか
（仕切線認識状態であるか、仕切線非認識状態である
か）を判断する際のしきい値Ｄを算出する。この処理の
詳細については、後述する。

【００３１】その後、ステップＳ６では、カメラ１にて
撮影された画像から、白線を検出する処理を行う。白線
検出の手法としては種々のものが知られているが、本実
施形態では、画像の横方向に沿って、画像の輝度値を微
分し、この微分値に基づいて、輝度値が急激に変化する
点を見いだし、これを白線として検出する。

【００３２】即ち、図４（ａ）に示すように、白線８が
存在する画像が撮影された際に、横方向の走査線９上の
データについて、輝度の微分値を求める。そして、同図
（ｂ）に示すように、微分値のピークが、左側からマイ
ナス、プラスの順に並んで現れ、且つ、それぞれのピー
クの間隔が、白線８として妥当と思われる程度（例え
ば、３０dot以内）に納まっていれば、これを白線であ
ると判断し、その中間の点をＭ１，Ｍ２として保存す
る。

【００３３】ステップＳ７では、ステップＳ６の処理結
果に基づいて、白線の認識判定を行う。即ち、車両に対
して走行車線は、左右一本ずつあるので、画面の左側か
ら右側に向けて白線検出のための走査を行うと、１回の
走査について白線は２点検出されることになる。また、
画面の画素数が、例えば縦方向に３００個あった場合、
画面の上から下まで白線が存在し、且つ全ての走査線
（３００個）について白線検出ができたとすると、合計
で６００点の白線が認識されることになる。

【００３４】しかし、雪や霧、豪雨、或いは夜間の照明
の反射等により、全ての白線が認識できないことがあ
る。ここでは、認識された白線の点数が、ステップＳ５
の処理で求められたしきい値Ｄよりも大きいかどうかを
比較する処理を行い、しきい値Ｄよりも大きい場合に
は、仕切線認識状態であると判定し、しきい値Ｄよりも
小さい場合には、仕切線非認識状態であると判定する。
例えば、しきい値Ｄを５０％に設定した場合には、全部
で６００点ある白線のうちの３００点以上が認識された
際に、仕切線認識状態であると判定する。

【００３５】そして、仕切線認識状態である場合には、
ステップＳ７でＹＥＳとなり、ステップＳ８で、車線逸
脱警報機能をオンとすることにより、カメラ１で撮影さ
れた画像中に含まれる白線から自車両が逸脱している場
合に、警報を出力するように設定する。

【００３６】他方、仕切線非認識状態である場合には、
ステップＳ７でＮＯとなり、ステップＳ９で、車線逸脱
警報機能をオフとする。この場合には、カメラ１で撮影
される画像から正常に白線を認識することができないの
で、自車両が２本の白線の間から逸脱しているかどうか
の判定を行わない。

【００３７】次に、ステップＳ５に示した、しきい値算
出処理の具体的な処理について、図３に示すフローチャ
ートを参照しながら説明する。

【００３８】図２に示したステップＳ２で、汚れが検出
された際には、図３のステップＳ５１の処理で、この汚
れの大きさがゼロよりも大きいかどうかが判断され、ゼ
ロよりも大きくない場合には、ステップＳ５１でＮＯと
なり、ステップＳ５６の処理にてしきい値ＤをＢ（例え
ば、Ｂ＝０．５）に設定する。

【００３９】また、汚れの大きさがゼロよりも大きい場
合には、ステップＳ５１でＹＥＳとなり、ステップＳ５
２の処理にて、汚れの大きさＹが、画面全体の２５％
（第１の所定値）を越えているかどうかが判断される。
そして、汚れの大きさＹが、画面全体の２５％未満であ
る場合には、ステップＳ５２でＹＥＳとなり、しきい値
Ｄを、以下に示す（１）式に設定する。

【００４０】Ｄ＝｛（Ａ−Ｙ）／Ａ｝×Ｂ・・・（１）但し、Ａは画素数、Ｂは汚れが存在しないときのしきい
値である。

【００４１】例えば、撮影画像の画素Ａが、300×400＝
120000（dot）、汚れの大きさＹが、24000（dot）であ
る場合には、汚れの割合は、２０％となる。また、この
場合しきい値Ｄは、Ｂ＝０．５として、上記の（１）式
に当てはめると、Ｄ＝０．４（４０％）となる。

【００４２】他方、汚れの大きさＹが、画面全体の２５
％以上である場合には、ステップＳ５２でＮＯとなり、
ステップＳ５４の処理で、汚れの大きさＹが画面全体の
５０％（第２の所定値）未満であるかどうかが判断され
る。そして、５０％未満である場合には、ステップＳ５
４でＹＥＳとなり、ステップＳ５５で、汚れの大きさＹ
が２５％のときの、上記（１）式で求められるしきい値
（＝Ｃ）を設定する。

【００４３】つまり、しきい値Ｄの値Ｃは、以下の
（２）式により、０．３８（固定した値）となる。

【００４４】｛（120000−30000）／120000｝×0.5≒0.38 ・・・（２）即ち、しきい値Ｄは、０．３８〜０．５の範囲で、変動
することになる。

【００４５】また、汚れの大きさＹが、画面全体の５０
％を越える場合にはステップＳ５４でＮＯとなり、図２
に示すステップＳ９へと処理を進める。つまり、画面の
半分以上が汚れにより塞がれている場合には、正常な白
線認識を行うことはできないと判断して、車両逸脱警報
機能をオフとする。

【００４６】このようにして、本実施形態に係る車線逸
脱警報装置１０では、カメラ１のレンズ、或いはフロン
トガラスに存在する汚れの大きさ、即ち、汚れにより塞
がれる画面領域の大きさに応じて、仕切線認識状態、及
び仕切線非認識状態を判断する際のしきい値を適宜変更
しているので、カメラ１のレンズ、或いはフロントガラ
スに汚れが存在している場合であっても、仕切線認識状
態であるか仕切線非認識状態であるかの判断を、精度良
く行うことができる。その結果、車線逸脱警報機能のオ
ン、オフを、より高精度に切り換えることができるよう
になる。

【００４７】また、カメラ１のレンズ、或いはフロント
ガラスに汚れが存在していることが検出された際には、
ディスプレイ６による表示、或いはスピーカ７による音
声信号として車両搭乗者に報知することができるので、
車両搭乗者は、いち早くこれに気づくことができ、汚れ
の拭き取り作業等、適切な対処を行うことができる。

【００４８】なお、本実施形態では、仕切線認識装置１
１を車線逸脱警報装置１０に搭載する例について説明し
たが、本発明はこれに限定されるものではなく、その他
の白線認識処理を必要とする装置について適用すること
ができる。

【００４９】また、本実施形態では、カメラを車室内に
設置した例について述べたが、フロントグリルやサイド
ミラー等、車室外に設置した場合にカメラのレンズ、或
いはレンズを保護するカバーの汚れを検出して同様の処
理を行うこともできる。

【００５０】以上、本発明の仕切線認識装置、及び車線
逸脱警報装置を図示の実施形態に基づいて説明したが、
本発明はこれに限定されるものではなく、各部の構成
は、同様の機能を有する任意の構成のものに置き換える
ことができる。

【００５１】例えば、上記した実施形態では、汚れが存
在しないときのしきい値Ｄの値Ｂを、０．５（即ち、５
０％）としたが、本発明はこれに限定されるものではな
く、その他の値に設定することも可能である。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る仕切線認識装置を含
む車線逸脱警報装置の構成を示すブロック図である。

【図２】本発明の一実施形態に係る仕切線認識装置を含
む車線逸脱警報装置の動作を示すフローチャートであ
る。

【図３】図２に示すしきい値算出処理の詳細な処理手順
を示すフローチャートである。

【図４】（ａ）は、カメラで撮影されが画像の一例を示
す説明図、（ｂ）は、横方向の走査線に沿って輝度値を
微分したときの結果を示す特性図である。

【符号の説明】

１カメラ（撮影手段）２舵角センサ３左側車輪速センサ４右側車輪速センサ５演算回路部５ａ汚れ検出部（汚れ検出手段）６ディスプレイ（通知手段）７スピーカ（通知手段）８白線（仕切線）９走査線１０車線逸脱警報装置１１仕切線認識装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 Ｔ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 ＦＦターム(参考） 5B057 AA16 BA11 CH01 DA02 DA07 DA15 DA16 5H180 AA01 CC04 CC24 LL01 LL02 LL07 LL08 LL20 5L096 BA04 CA02 DA03 EA45 FA31 GA51 JA25

Claims

【特許請求の範囲】

【請求項１】車両に搭載される撮影手段にて、当該車
両走行路の仕切線を撮影し、撮影された仕切線の認識率
が予め設定したしきい値よりも大きいときに、仕切線認
識状態と判断し、しきい値よりも小さいときに仕切線非
認識状態と判断する仕切線認識装置において、前記撮影手段、或いは車両のフロントガラスの汚れを検
出する汚れ検出手段を有し、該汚れ検出手段にて、汚れが検出された際に、前記しき
い値を変更することを特徴とする仕切線認識装置。
【請求項２】前記撮影手段による撮影領域に対する、
前記汚れ検出手段にて検出された汚れの面積の割合に応
じて、前記しきい値を設定することを特徴とする請求項
１に記載の仕切線認識装置。
【請求項３】前記撮影手段による撮影領域に対する、
前記汚れ検出手段にて検出された汚れの面積の割合が、
第１の所定値以上である場合には、前記しきい値を固定
した値とし、第１の所定値未満である場合には、前記汚
れの面積の割合に応じて前記しきい値を変化させること
を特徴とする請求項２に記載の仕切線認識装置。
【請求項４】前記撮影手段による撮影領域に対する、
前記汚れ検出手段にて検出された汚れの面積の割合が、
前記第１の所定値よりも大きい第２の所定値以上である
場合には、仕切線非認識状態であると判断することを特
徴とする請求項３に記載の仕切線認識装置。
【請求項５】前記汚れ検出手段にて汚れが検出された
際に、これを車両の搭乗者に通知する通知手段を具備し
たことを特徴とする請求項１〜請求項４のいずれか１項
に記載の仕切線認識装置。