JP2003337950A - 車線境界検出装置 - Google Patents
車線境界検出装置Info
- Publication number
- JP2003337950A JP2003337950A JP2002144397A JP2002144397A JP2003337950A JP 2003337950 A JP2003337950 A JP 2003337950A JP 2002144397 A JP2002144397 A JP 2002144397A JP 2002144397 A JP2002144397 A JP 2002144397A JP 2003337950 A JP2003337950 A JP 2003337950A
- Authority
- JP
- Japan
- Prior art keywords
- ambient light
- image
- lane boundary
- vehicle
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
応させて取得される画像情報を画素位置に応じて外乱の
影響を低減するように補正し、車線境界位置の検出精度
を向上することができる車線境界検出装置を提供する。 【解決手段】 車線境界検出装置10は、車両に搭載さ
れて走路を撮像するCCDカメラ11からの入力画像に
基づき画素位置に対応させて輝度データを取得する。そ
して、この輝度データに基づき路面上に描かれた白線を
検出する。車線境界検出装置10の制御マイコン21
は、画素位置に応じてその輝度データに対し重み付けを
行なう。
Description
カメラから走路を撮像し、その入力画像から路面上に描
かれた車線境界位置を検出する車線境界検出装置に関す
るものである。
検出する車線境界検出装置として種々のものが提案され
ている。こうした車線境界検出装置は、車両に搭載され
たカメラから走路を撮像し、その入力画像から車線境界
位置を認識・検出するものである。一般に、こうした装
置は屋外での使用を前提としているため、影や太陽光、
反射光等外乱光による影響を受けにくくする披術を含む
ものが多い。
載された装置では、位置を検出する物体の画像が、同一
画面内において大きい濃度差(輝度差)を有する複数の
領域に亘って存在する場合に、互いに濃度の異なる領域
を分別してその濃度差に基づき当該濃度差がなくなるよ
うに一方の領域に対して濃度変換を行なう。そして、こ
の濃度変換後の全画像の濃度に対し単一のしきい値を用
いて画像の二値化処理を可能にしている。この2値化さ
れた画像に基づき物体の位置が検出される。従って、影
の影響により位置を検出する物体の画像の濃度が同一画
面内において大きく差が生じる場合、例えば同物体が近
くに存在し、かつ、影等によってある領域内での濃度が
略均一に影響を受けている場合等には、上記濃度変換を
することで単一のしきい値により画像の二値化を簡単に
行うことができる。
に記載された装置では、カメラから入力された走路画像
に含まれる影等の外乱に対して安定した車線境界位置を
検出するために、同検出に係る輝度に対するしきい値の
設定を画像に合わせて可変としている。具体的には、初
期処理として走路画像内の複数(3本)の走査線におい
て各走査線毎の輝度の最大値がそれぞれ白線(車線境界
位置)の領域から得られたものとし、当該輝度の最大値
から予め設定された値を差し引いて、それを輝度に対す
る新たなしきい値として設定する。この差し引かれる値
は、例えば白線の輝度の分散に相当するものである。こ
の設定されたしきい値に基づき画像から白線相当の輝度
を有する画素位置のみを抽出し、画像の二値化処理を行
なっている。この二値化データから空間オペレータによ
ってエッジを検出し、ハフ変換等を用いて直線近似する
ことで白線(車線境界位置)の検出を行なっている。あ
るいは、白線が一度検出されるとその結果を利用して、
白線を含むように処理範囲を指定する。そして、空間オ
ペレータを用いたエッジ検出後、画像の二値化処理を行
なうが、その時に利用するしきい値としてエッジ強度の
最大値から予め設定された所定値を差し引いたものを利
用する。これにより、影等を含む領域でも他領域に影響
されない安定した車線境界位置の検出を可能としてい
る。
−54679号公報に記載された装置では、走路等のよ
うに広範囲の領域を撮影する場合、光による画像濃度へ
の影響は物体までの距離によって連続的に変化するた
め、濃度の異なる領域の分別が非常に困難になる。ま
た、たとえ領域の分別ができたとしても、光の影響を受
けた遠方の画像の濃度は本来の情報が潰れているため、
濃度変換することでかえって検出精度を不安定にする。
された装置では、輝度やエッジによって画像の二値化処
理を行なう局所的な領域に車線境界位置と紛らわしい外
乱光の影響が存在し、本来の情報が潰れてしまっている
場合等には誤検出する可能性が高くなる。そして、複数
の領域を用いているとはいえ他の領域での車線境界位置
の検出を不安定にするおそれがある。
基づき画素位置に対応させて取得される画像情報を画素
位置に応じて外乱の影響を低減するように補正し、車線
境界位置の検出精度を向上することができる車線境界検
出装置を提供することにある。
めに、請求項1に記載の発明は、車両に搭載されて走路
を撮像するカメラからの入力画像に基づき画素位置に対
応させて画像情報を取得し、該画像情報に基づき路面上
に描かれた車線境界位置を検出する車線境界検出装置に
おいて、前記画素位置に応じて前記画像情報に対し重み
付けを行なう画像情報変換手段を備えたことを要旨とす
る。
の車線境界検出装置において、前記画素位置は、前記車
両からの離隔距離と関連付けられており、前記画像情報
変換手段は、前記車両からの離隔距離に基づき前記画素
位置に応じた画像情報に対する重み付けを決定すること
を要旨とする。
に記載の車線境界検出装置において、互いに異なる領域
内の画素位置の画像情報に基づき該領域ごとの画像特性
値をそれぞれ演算し、これら画像特性値の比較値をしき
い値により判定処理することで前記入力画像に対する外
乱光の影響の有無を判定する外乱光判定手段を備え、前
記画像情報変換手段は、前記外乱光判定手段による外乱
光の影響の有無の判定結果に基づき前記画素位置に応じ
た画像情報に対する重み付けを変化させることを要旨と
する。
の車線境界検出装置において、前記互いに異なる領域
は、同種対象物に対応する画素位置に対してそれぞれ設
定されることを要旨とする。
に記載の車線境界検出装置において、前記外乱光判定手
段は、前記比較値の前記しきい値によるいずれかの判定
状態が所定時間継続することで前記入力画像に対する外
乱光の影響の有無を判定することを要旨とする。
いずれかに記載の車線境界検出装置において、車両ライ
ト点灯信号、所定領域内の画素位置の画像情報に基づく
平均輝度情報及びナビゲーションシステムの進行方向情
報の少なくとも1つを用いて前記入力画像に影響を及ぼ
す外乱光の種類を判別する外乱光判別手段を備え、前記
外乱光判定手段は、前記判別された外乱光の種類に応じ
て前記しきい値を変化させることを要旨とする。
カメラの入力画像は外乱(例えば、朝夕日、車両ライ
ト、街路灯及びトンネル内照明等の外乱光など)の影響
を受けることになり、これに基づく画素位置ごとの画像
情報(輝度情報など)は当該画素位置に応じて特徴的な
影響を受けていることが本出願人により確認されてい
る。従って、上記画素位置に応じた特徴的な影響を考慮
して対応する画像情報を補正処理し、上記車線境界位置
を検出することが好ましい。
位置に応じて上記画像情報に対し重み付けが行われる。
従って、例えば外乱の影響が小さい画素位置に対して相
対的に重要度を増すように、外乱の影響が大きい画素位
置に対して相対的に重要度を減ずるように画像情報に対
して重み付けを行うことで、外乱の影響が低減され同画
像情報に基づく車線境界位置の検出精度が向上される。
の離隔距離に基づき画素位置に応じた画像情報に対する
重み付けが決定される。一般に、車両から走路を撮像し
たカメラの入力画像は、車両からの離隔距離に応じて異
なる外乱の影響を受けていることが本出願人により確認
されている。すなわち、車両から遠い位置に対応する画
素位置では、画像情報がぼやけたり色がとんだりするた
めデータとしての信頼性が低い。このため、車両から近
い位置に対応する画素位置での画像情報と同等の条件で
データとして使用すると、車線境界検出の精度に悪影響
を及ぼす可能性がある。従って、車両からの離隔距離に
基づき当該画素位置での外乱の影響に応じて対応する画
像情報に対する重み付けを決定することで、同離隔距離
に応じた外乱の影響が抑制される。
なる領域内の画素位置の画像情報に基づく同領域ごとの
画像特性値の比較値をしきい値により判定処理すること
で、上記入力画像に対する外乱光の影響の有無が判定さ
れる。一般に、車両から走路を撮像したカメラの入力画
像が外乱光の影響を受けているとき、互いに異なる領域
(例えば、車両からの離隔距離が互いに異なる領域)内
の画素位置の画像情報に基づく同領域ごとの画像特性値
(例えば、当該領域内の画素位置に対応する全画像情報
の平均値、分散値など)間に顕著な特性を有することが
本出願人により確認されている。従って、これら領域ご
との画像特性値の比較値(例えば、差分、比率など)を
しきい値により判定処理することで、上記入力画像に対
する外乱光の影響の有無が判定される。この外乱光の影
響の有無の判定結果に基づき前記画素位置に応じた画像
情報に対する重み付けが変化されることで、車線境界位
置の検出における外乱光の影響が抑制される。
に異なる領域は、同種対象物(例えば、車線境界位置を
含まない走路など)に対応する画素位置に対してそれぞ
れ設定される。従って、互いに略同等な状態にあるべき
領域において上記画像特性値がそれぞれ演算されること
で、これら画像特性値に基づく外乱光の影響の有無がよ
り正確に判定される。
値のしきい値によるいずれかの判定状態が所定時間継続
することで入力画像に対する外乱光の影響の有無が判定
されることで、ノイズ等による一時的な比較値(画像特
性値)の変動によって外乱光の影響の有無が誤判定され
ることが回避される。
た外乱光の種類に応じて前記しきい値が変化される。一
般に、カメラの入力画像に基づく画素位置ごとの画像情
報は、影響を受けている外乱光の種類に応じてその画素
位置に応じた異なる特性を示すことが本出願人により確
認されている。以下、車両の後方にカメラを搭載してそ
の後方視界を取得した場合での、車両からの離隔距離
(実際には、当該離隔距離に相当する画素位置)と対応
する輝度値(画像情報)との実験的に求めた関係を図面
を併せ参照して説明する。
の上記関係を示すグラフである。同図から明らかなよう
に、この状態では車両からの離隔距離に関係なく上記輝
度値は略均一な特性を示す。
の直接光や路面からの反射光の影響を受けている昼間の
状態での上記関係を示すグラフである。同図から明らか
なように、この状態では車両からの離隔距離が大きい側
において同離隔距離が大きくなるに従い上記輝度値が著
しく増加する特性を示す。
の状態での上記関係を示すグラフである。同図から明ら
かなように、この状態では自車両の車両ライト(尾灯)
が点灯されていることで、車両からの離隔距離が小さく
なるに従い上記輝度値が著しく増加する特性を示す。
車両ライト(ヘッドライト)の影響を受けている夜間の
状態での上記関係を示すグラフである。同図から明らか
なように、この状態では自車両及び後続車両の各車両ラ
イトによって、車両からの離隔距離が小さくなるに従
い、及び同離隔距離が大きくなるに従い上記輝度値が著
しく増加する特性を示す。
方にカメラを搭載した状態でのものであるが、車両の前
方にカメラを搭載した状態においても略同等の特性が得
られることが本出願人により確認されている。
ている外乱光の種類に応じてその画素位置に応じた異な
る特性を示すことから、これに基づく上記領域ごとの画
像特性値間の特性も、影響を受けている外乱光の種類に
応じて自ずと異なることになる。従って、判別された外
乱光の種類に応じて前記しきい値が変化されることで、
同しきい値による外乱光の影響の有無がより正確に判定
される。
形態を図1〜図7に従って説明する。図2は、本実施形
態が適用される車両1を示す斜視図である。同図に示さ
れるように、この車両1の後部ドア1aの略中央部には
ナンバープレート2の取付枠3が配置されており、その
上部には撮像用のCCDカメラ11が設置されている。
このCCDカメラ11は、図3に示す態様で車両1後方
の路面の画像(映像)を取得するもので、その撮像範囲
内に走行する車線4の境界線(車線標示で規定される車
線の境界位置)である左白線5L及び右白線5Rの画像
を含むように搭載されている。
0を示す概略構成図である。同図に示されるように、こ
の車線境界検出装置10は、前記CCDカメラ11と、
メインスイッチ12と、車両ライト点灯スイッチ13
と、画像情報変換手段、外乱光判定手段及び外乱光判別
手段を構成するコントローラ16とを備えている。
アナログの映像信号として前記コントローラ16に出力
する。上記メインスイッチ12は利用者(運転者など)
により操作されるシステム作動・停止用の操作スイッチ
であり、その操作状態に応じた信号を上記コントローラ
16に出力する。
により操作される車両ライト点灯用の操作スイッチであ
り、その操作状態に応じた信号(車両ライト点灯信号)
を上記コントローラ16に出力する。
(マイクロコンピュータ)21と、輝度信号抽出回路2
2と、入力回路23,24と、RAM(ランダムアクセ
スメモリ)27とを備えている。
ラ11からの映像信号を入力して輝度信号を抽出し、こ
の輝度信号を制御マイコン21に出力する。上記入力回
路23,24は、それぞれメインスイッチ12及び車両
ライト点灯スイッチ13からの各操作状態に応じた信号
を入力してこれを制御マイコン21に出力する。
回路22及び入力回路23,24を介して入力した各信
号に基づき後述の車線境界検出等の処理を行うとともに
当該処理に係る各種データをRAM27に一時記憶す
る。
理態様を示すフローチャートである。この処理は、前記
メインスイッチ12がオン操作されていることを前提に
所定時間ごとの定時割り込みにて繰り返し実行される。
イコン21は、ステップ101において各種データの入
力処理を実行する。例えば制御マイコン21は、前記車
両ライト点灯スイッチ13の操作状態に応じた車両ライ
ト点灯信号を入力回路24を介して入力する。
02に移行してカメラ映像の入力処理を実行する。具体
的には、制御マイコン21は、CCDカメラ11の映像
信号から抽出された輝度信号を入力してこれを各画素ご
とにA/D(アナログ/デジタル)変換し、画素位置に
関連づけた画像情報としての輝度データとしてRAM2
7に一時記憶する。この画素位置は、CCDカメラ11
の撮像範囲(図3参照)に準じて定義される。なお、上
記輝度データは、対応する輝度が明るい(白い)ほど大
きく、暗い(黒い)ほど小さい値になる。例えば、この
輝度データは8ビット(0〜255)で表されており、
輝度が明るいほど値「255」に近づき、暗いほど値
「0」に近づく。
像の入力処理において、車両1からその後方への離隔距
離が大きい(遠い)車線4の領域41内の全画素位置及
び同離隔距離が小さい(近い)車線4の領域42内の全
画素位置をそれぞれ設定する(図3参照)。特に、車線
境界検出において左白線5L及び右白線5Rがともに検
出されている状態では、制御マイコン21は、両領域4
1,42がこれら左白線5L及び右白線5R間(すなわ
ち、同種の対象物である走路)に配置されるようにす
る。そして、制御マイコン21は、画像特性値としての
領域41内の全画素位置の輝度データの平均値Vav1
及び領域42内の全画素位置の輝度データの平均値Va
v2を併せて演算し、RAM27に一時記憶する。これ
ら平均値Vav1,Vav2は、後述の外乱光の判定処
理に供されるものである。
0及びステップ300のサブルーチンに順番に移行し
て、図5の外乱光判定処理及び画像情報変換処理を実行
する。すなわち、ステップ200のサブルーチンに移行
した制御マイコン21は、ステップ201において上記
車両ライト点灯信号がオンかオフかを判断する。ここ
で、上記車両ライト点灯信号がオンと判断されると、制
御マイコン21は夜間での外乱光(例えば、後続車両の
ヘッドライトなど)の影響の有無を判定すべきとしてス
テップ202に移行する。そして、制御マイコン21
は、しきい値としての外乱光判定閾値Tを所定値T1に
設定する。この外乱光判定閾値Tは、比較値としての前
記平均値Vav1,Vav2の差分ΔVavと大小比較
されることで外乱光の影響(例えば、画像上に強い光源
が存在することによるノイズ増加、コントラスト減少な
ど)の有無判定に供されるものである。なお、上記差分
ΔVavは、外乱光の影響が大きいほどその値が正数側
に大きくなる傾向にある。そして、所定値T1は夜間で
の外乱光の影響の有無を判定するのに好適な値に設定さ
れている。具体的には、外乱光の影響がない夜間の状態
では自車両1の車両ライト(尾灯)が点灯されているこ
とで、車両1からの離隔距離が小さくなるに従い輝度デ
ータ(輝度値)が著しく増加する(図11参照)。従っ
て、平均値Vav1よりも平均値Vav2が大きくな
り、上記差分ΔVavは負数となる。一方、外乱光とし
て後続車両の車両ライト(ヘッドライト)の影響を受け
ている夜間の状態では車両1からの離隔距離が小さくな
るに従い、及び同離隔距離が大きくなるに従い輝度デー
タ(輝度値)が著しく増加する(図12参照)。従っ
て、平均値Vav1,Vav2が略同等の大きさにな
り、上記差分ΔVavは正数側へと推移する。従って、
本実施形態では、上記夜間での外乱光の特性を考慮して
上記所定値T1を値「0」に設定している。
イト点灯信号がオフと判断されると、制御マイコン21
は昼間での外乱光(例えば、夕日、朝日などの直接光や
路面からの反射光など)の影響の有無を判定すべきとし
てステップ203に移行する。そして、制御マイコン2
1は、上記外乱光判定閾値Tを所定値T2に設定する。
この所定値T2は昼間での外乱光の影響の有無を判定す
るのに好適な値に設定されている。具体的には、外乱光
の影響がない昼間の状態では車両1からの離隔距離に関
係なく上記輝度データ(輝度値)は略均一になる(図9
参照)。従って、平均値Vav1,Vav2も略同等の
大きさになる。一方、外乱光として夕日、朝日の直接光
や路面からの反射光の影響を受けている昼間の状態では
車両1からの離隔距離が大きい側において同離隔距離が
大きくなるに従い上記輝度データ(輝度値)が著しく増
加する(図10参照)。そして、平均値Vav2よりも
平均値Vav1が大きくなり、上記差分ΔVavは正数
側のより大きな値へと推移する。従って、外乱光判定閾
値Tは高い値で設定した方が好ましく、本実施形態では
上記昼間での外乱光の特性を考慮して上記所定値T2を
値「40」に設定している。
おいて外乱光判定閾値Tの設定を行った制御マイコン2
1は、ステップ204に移行する。そして、制御マイコ
ン21は、上記平均値Vav1,Vav2の差分ΔVa
vが上記外乱光判定閾値T以上か否かを判断する。
定閾値T以上と判断されると、制御マイコン21は外乱
光の影響があると判定してステップ300のサブルーチ
ンに移行し、ステップ301において現在の外乱光判定
閾値Tが夜間での所定値T1に設定されているか否かを
判断する。
閾値Tが夜間での所定値T1に設定されていると判断さ
れると、制御マイコン21はステップ302に移行して
夜間に対応する輝度データの重み付け処理(画像情報変
換処理)を行う。具体的には、車両1からの離隔距離Z
(m)に基づき対応する画素位置の輝度データo_Vx
yに対し下式に基づく補正を加えて重み付けを行い、車
線境界検出用の新たな輝度データn_VxyとしてRA
M27に記憶・設定する。なお、下式では便宜的に離隔
距離Zに基づき輝度データo_Vxyの補正を行ってい
るが、実際には制御マイコン21は離隔距離Zを当該画
素の垂直方向の位置に対応させて補正している。
4))(4<Z<8) n_Vxy=0(8≦Z) 図6(a)は、輝度データo_Vxyに対する画素位置
に応じた重み付けの係数を示すグラフである。同図から
明らかなように、夜間において外乱光の影響があると判
定された場合には、車両1からの離隔距離が大きい位置
での輝度データの信頼性が低いことを考慮して相対的に
重要度を低減するように補正を加えている。
光判定閾値Tが昼間での所定値T2に設定されていると
判断されると、制御マイコン21はステップ303に移
行して昼間に対応する輝度データの重み付け処理(画像
情報変換処理)を行う。具体的には、車両1からの離隔
距離Z(m)に基づき対応する画素位置の輝度データo
_Vxyに対し下式に基づく補正を加えて重み付けを行
い、車線境界検出用の新たな輝度データn_Vxyとし
てRAM27に記憶・設定する。なお、下式でも便宜的
に離隔距離Zに基づき輝度データo_Vxyの補正を行
っているが、実際には制御マイコン21は離隔距離Zを
当該画素の垂直方向の位置に対応させて補正している。
3))(3<Z<7) n_Vxy=0(7≦Z) 図6(b)は、輝度データo_Vxyに対する画素位置
に応じた重み付けの係数を示すグラフである。同図から
明らかなように、昼間において外乱光の影響があると判
定された場合にも、車両1からの離隔距離が大きい位置
での輝度データの信頼性が低いことを考慮して相対的に
重要度を低減するように補正を加えている。
Vavが上記外乱光判定閾値T未満と判断されると、制
御マイコン21は外乱光の影響がないと判定してステッ
プ300のサブルーチンに移行する。そして、ステップ
304においてこのときの輝度データo_Vxyをその
まま輝度データn_VxyとしてRAM27に記憶・設
定する。すなわち、輝度データo_Vxyに対する画素
位置に応じた重み付け処理(画像情報変換処理)を行わ
ない。
かの処理を行った制御マイコン21は、図4のステップ
103に移行して白線候補点検出処理を実行する。具体
的には、制御マイコン21は、ステップ303〜304
のいずれかにおいてRAM27に一時記憶した各画素の
輝度データn_Vxyを順次、水平方向に1ライン分ず
つ読み込む(走査する)。すなわち、制御マイコン21
は、RAM27より画素位置が水平方向に並ぶ各画素の
輝度データn_Vxyをまとめて読み込む。図7は、水
平方向の所定ラインに並ぶ各画素の位置と対応する輝度
データn_Vxyの一例を示すグラフである。同図に示
されるように、水平方向に並ぶ各画素の輝度データn_
Vxyは、例えば車線4の左白線5L、右白線5Rに対
応して明るくなることでピークを示す。従って、制御マ
イコン21は、各水平方向のラインごとに輝度データn
_Vxyと所定の白線候補点検出しきい値とを大小比較
することで、白線に対応する画素位置の候補(白線候補
点)を抽出する。制御マイコン21は、所要数(あるい
は全て)の水平方向のラインについて上記白線候補点を
抽出する。そして、制御マイコン21は、抽出された全
ての白線候補点(画素位置)をRAM27に一時記憶す
る。
04に移行して白線候補直線検出処理を実行する。具体
的には、制御マイコン21は、RAM27に一時記憶し
た白線候補点を読み込んでこの点群を直線にあてはめ
る。この直線にあてはめる手法として、例えばHoug
h(ハフ)変換が文献等(「松山隆司他:コンピュータ
ビジョン、149/165、新技術コミュニケーション
ズ:1999」、「P.V.C.Hough:Meth
ods and means for recogni
zing complex patterns,U.
S.PatentNo.3069654(196
2)」)で知られている。また、この点群を最小2乗法
で直線にあてはめてもよい。あるいは、特徴量抽出等の
その他各種の手法を採用してもよい。
5に移行して複数ある白線候補直線から最も確からしい
2本の直線を抽出する。これら直線は、車両1の両側に
対応する画素位置において各1本ずつ抽出される。この
直線の抽出に当たっては、例えば前回の検出結果からの
車両1のピッチ、ロール、ヨーの各角度、横方向の移動
距離つまり、車両1が所定時間内で移動しうる範囲と車
線幅の範囲とが考慮される。制御マイコン21は、抽出
された一対の白線を画素位置に対応させてRAM27に
一時記憶する。そして、制御マイコン21は、その後の
処理を一旦終了する。
は、例えば自車両1との相対位置と関連付けられて車線
4からの逸脱判定に供される。以上詳述したように、本
実施形態によれば、以下に示す効果が得られるようにな
る。
い画素位置に対して相対的に重要度を増すように、外乱
の影響が大きい画素位置に対して相対的に重要度を減ず
るように輝度データ(o_Vxy)に対して重み付けを
行うことで、外乱の影響が低減され同輝度データに基づ
く白線5L,5Rの検出精度を向上できる。
距離に基づき当該画素位置での外乱の影響に応じて対応
する輝度データ(o_Vxy)に対する重み付けを決定
することで、同離隔距離に応じた外乱の影響を抑制でき
る。
41,42内の画素位置の輝度データに基づく同領域4
1,42ごとの平均値Vav1,Vav2の差分ΔVa
vを外乱光判定閾値Tにより判定処理することで、外乱
光の影響の有無が判定される。この外乱光の影響の有無
の判定結果に基づき前記画素位置に応じた輝度データに
対する重み付けが変化されることで、白線5L,5Rの
検出における外乱光の影響を抑制できる。
が検出されている状態では、互いに異なる領域41,4
2を同種対象物(白線5L,5Rを含まない走路)に対
応する画素位置に対してそれぞれ設定した。従って、互
いに略同等な状態にあるべき領域41,42において上
記平均値Vav1,Vav2をそれぞれ演算したこと
で、これら平均値Vav1,Vav2に基づく外乱光の
影響の有無をより正確に判定できる。
号により夜間若しくは昼間を判断することで、影響を受
けている外乱光の種類(夜間にあっては後続車両のヘッ
ドライト、昼間にあっては夕日、朝日の直接光や路面か
らの反射光など)を判別した。そして、判別された外乱
光の種類に応じて外乱光判定閾値Tを変化させた。従っ
て、この外乱光判定閾値Tによる外乱光の影響の有無を
より正確に判定できる。
無の判定結果に応じて車線境界検出に係る処理を分ける
ことができる。 (7)本実施形態では、外乱光の影響の有無に応じた車
線境界検出を行うことで、特にCCDカメラ11からの
画像が外乱光によるノイズ等の影響を受けている状態に
おいて、破線等のように非連続的な白線又はかすれた白
線等を検出する際に有効である。
に限定されるものではなく、次のように変更してもよ
い。 ・前記実施形態においては、白線候補点の検出にあたっ
て水平方向の各画素の輝度データn_Vxyと白線候補
点検出しきい値とを比較した(ステップ103及び図7
参照)。これに対して、図8に示されるように、水平方
向の各画素について当該位置に隣接する画素との輝度デ
ータn_Vxyの偏差を輝度微分値として演算し、この
立ち上がり及び立ち下がりの微分値の大きさ(絶対値)
と同様の白線候補点検出しきい値とを比較することで、
白線候補点を検出してもよい。
11からの映像信号から輝度信号を抽出して、これに基
づく輝度データにて白線検出を行った。これに対して、
例えばカラータイプのカメラでは、その映像信号から色
相(色合い)のデータを抽出し、これに基づき白線検出
を行ってもよい。
42内の画素位置の全輝度データに基づき平均値Vav
1,Vav2をそれぞれ演算し、これに基づき外乱光の
影響の有無を判定した。これに対して、例えば各領域4
1,42内の画素位置の全輝度データに基づき合計値、
若しくは分散値をそれぞれ演算し、これに基づき外乱光
の影響の有無を判定してもよい。あるいは、各領域4
1,42内の水平方向の各画素について当該位置に隣接
する画素との輝度データの偏差を輝度微分値として演算
し、これに基づき全輝度微分値の平均値、合計値若しく
は分散値を演算して外乱光の影響の有無を判定してもよ
い。
1,Vav2の差分ΔVavと外乱光判定閾値Tとの大
小関係に基づき外乱光の影響の有無を判定した。これに
対して、平均値Vav1,Vav2の比率と同様の外乱
光判定閾値との大小関係に基づき外乱光の影響の有無を
判定してもよい。
avと外乱光判定閾値Tとの大小関係に基づき演算の都
度に外乱光の影響の有無を判定した。これに対して、上
記差分ΔVavと外乱光判定閾値Tとの大小関係に基づ
くいずれかの判定状態が所定時間継続することで外乱光
の影響の有無を判定してもよい。なお、所定時間の継続
として、例えばタイマによりいずれかの判定状態が継続
する実時間をカウントしてもよく、あるいはいずれかの
判定状態が繰り返される演算回数をカウントしてもよ
い。このように変更することで、ノイズ等による一時的
な差分ΔVav(平均値Vav1,Vav2)の変動に
よって外乱光の影響の有無が誤判定されることを回避で
きる。
灯信号により夜間若しくは昼間を判断することで、影響
を受けている外乱光の種類(夜間にあっては後続車両の
ヘッドライト、昼間にあっては夕日、朝日の直接光や路
面からの反射光など)を判別した。これに代えて、若し
くはこれに加えて、例えば所定領域内の画素位置の輝度
データ等に基づく平均輝度値、ナビゲーションシステム
の進行方向情報の少なくとも1つを用いて影響を受けて
いる外乱光の種類を判別してもよい。
いる外乱光の種類に応じて外乱光判定閾値Tを変えた
が、差分ΔVav(平均値Vav1,Vav2)に同様
の補正を加えてもよく、本発明を何ら逸脱するものでは
ない。
る外乱光の種類に応じて抽出する領域41,42を変え
てもよい。 ・前記実施形態における画素位置に応じた輝度データo
_Vxyの重み付け処理態様(図6参照)は一例であっ
てその他の態様を採用してもよい。例えば、車両1から
の離隔距離が大きい位置に相当する画素位置に対しては
車線境界検出のためのデータとして採用せず、処理範囲
の限定されたデータのみを利用して車線境界検出を行っ
てもよい。
じた輝度データo_Vxyの重み付け処理を予め設定さ
れた規定値を用いて行った。これに対して、画素位置に
応じた輝度データo_Vxyの重み付け処理を、そのと
きの画像情報から導出した値を用いて行ってもよい。
があると判定された場合にのみ画素位置に応じた輝度デ
ータo_Vxyの重み付け処理を行った。しかしなが
ら、外乱光の影響の有無に関係なく、車両から遠い位置
では分解能が悪く、外乱(ノイズなど)の影響を受けや
すい。従って、外乱光の影響の有無を判定することな
く、車両からの離隔距離が大きい位置に相当する画素位
置に対してその重要度を低減するように重み付け処理を
行ってもよい。
うに重み付け処理を行うと、車線境界検出に係る情報量
を徒に少なくすることとなる。従って、外乱光の影響の
有無を考慮した重み付け処理を行う方が有効である。
11により車両1の後方画像を取得し、これに基づく画
像認識にて白線5L,5Rを検出した。これに対して、
例えばCCDカメラ11を車両1の側部若しくは前部に
設置する。そして、CCDカメラ11により車両1の側
方画像若しくは前方画像を取得し、これに基づく画像認
識にて白線5L,5Rを検出しても、前記実施形態と同
様の効果が得られる。
Dカメラ11を採用したが、例えば赤外線カメラやCM
OSカメラなどでもよい。 ・例えば、無人搬送車やロボット、路線バスや自動倉庫
などに適用しうる自動走行可能な車両システムに本発明
を適用してもよい。
発明によれば、カメラからの入力画像に基づき画素位置
に対応させて取得される画像情報を画素位置に応じて外
乱の影響を低減するように補正し、車線境界位置の検出
精度を向上することができる。
の離隔距離に基づき当該画素位置での外乱の影響に応じ
て対応する画像情報に対する重み付けを決定すること
で、同離隔距離に応じた外乱の影響を抑制できる。
影響の有無の判定結果に基づき画素位置に応じた画像情
報に対する重み付けが変化されることで、車線境界位置
の検出における外乱光の影響を抑制できる。
同等な状態にあるべき領域において上記画像特性値がそ
れぞれ演算されることで、これら画像特性値に基づく外
乱光の影響の有無をより正確に判定できる。
による一時的な比較値(画像特性値)の変動によって外
乱光の影響の有無が誤判定されることを回避できる。請
求項6に記載の発明によれば、判別された外乱光の種類
に応じてしきい値が変化されることで、同しきい値によ
る外乱光の影響の有無をより正確に判定できる。
ローチャート。
ローチャート。
フ。
応する輝度データの一例を示すグラフ。
応する輝度微分値の一例を示すグラフ。
輝度値との関係を示すグラフ。
と輝度値との関係を示すグラフ。
と輝度値との関係を示すグラフ。
と輝度値との関係を示すグラフ。
別手段を構成するコントローラ 13 車両ライト点灯スイッチ 41,42 領域
Claims (6)
- 【請求項1】 車両に搭載されて走路を撮像するカメラ
からの入力画像に基づき画素位置に対応させて画像情報
を取得し、該画像情報に基づき路面上に描かれた車線境
界位置を検出する車線境界検出装置において、 前記画素位置に応じて前記画像情報に対し重み付けを行
なう画像情報変換手段を備えたことを特徴とする車線境
界検出装置。 - 【請求項2】 前記画素位置は、前記車両からの離隔距
離と関連付けられており、 前記画像情報変換手段は、前記車両からの離隔距離に基
づき前記画素位置に応じた画像情報に対する重み付けを
決定することを特徴とする請求項1に記載の車線境界検
出装置。 - 【請求項3】 互いに異なる領域内の画素位置の画像情
報に基づき該領域ごとの画像特性値をそれぞれ演算し、
これら画像特性値の比較値をしきい値により判定処理す
ることで前記入力画像に対する外乱光の影響の有無を判
定する外乱光判定手段を備え、 前記画像情報変換手段は、前記外乱光判定手段による外
乱光の影響の有無の判定結果に基づき前記画素位置に応
じた画像情報に対する重み付けを変化させることを特徴
とする請求項1又は2に記載の車線境界検出装置。 - 【請求項4】 前記互いに異なる領域は、同種対象物に
対応する画素位置に対してそれぞれ設定されることを特
徴とする請求項3に記載の車線境界検出装置。 - 【請求項5】 前記外乱光判定手段は、前記比較値の前
記しきい値によるいずれかの判定状態が所定時間継続す
ることで前記入力画像に対する外乱光の影響の有無を判
定することを特徴とする請求項3又は4に記載の車線境
界検出装置。 - 【請求項6】 車両ライト点灯信号、所定領域内の画素
位置の画像情報に基づく平均輝度情報及びナビゲーショ
ンシステムの進行方向情報の少なくとも1つを用いて前
記入力画像に影響を及ぼす外乱光の種類を判別する外乱
光判別手段を備え、 前記外乱光判定手段は、前記判別された外乱光の種類に
応じて前記しきい値を変化させることを特徴とする請求
項3〜5のいずれかに記載の車線境界検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002144397A JP3986363B2 (ja) | 2002-05-20 | 2002-05-20 | 車線境界検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002144397A JP3986363B2 (ja) | 2002-05-20 | 2002-05-20 | 車線境界検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003337950A true JP2003337950A (ja) | 2003-11-28 |
JP3986363B2 JP3986363B2 (ja) | 2007-10-03 |
Family
ID=29704081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002144397A Expired - Fee Related JP3986363B2 (ja) | 2002-05-20 | 2002-05-20 | 車線境界検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3986363B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007010750A1 (ja) * | 2005-07-15 | 2007-01-25 | Honda Motor Co., Ltd. | 車両、画像処理システム、画像処理方法、画像処理プログラム、画像処理システムの構築システム |
JP2013015337A (ja) * | 2011-06-30 | 2013-01-24 | Meidensha Corp | 画像処理による渡り線測定装置 |
JP2013191040A (ja) * | 2012-03-14 | 2013-09-26 | Alpine Electronics Inc | レーンマーク検出装置およびレーンマークの信頼度算出方法 |
WO2014104183A1 (ja) * | 2012-12-26 | 2014-07-03 | 株式会社日本自動車部品総合研究所 | 境界線認識装置及び分岐路判定装置 |
JP2014127027A (ja) * | 2012-12-26 | 2014-07-07 | Nippon Soken Inc | 境界線認識装置 |
CN104166400A (zh) * | 2014-07-11 | 2014-11-26 | 杭州精久科技有限公司 | 基于多传感器融合的视觉导引agv*** |
WO2019230038A1 (ja) * | 2018-05-30 | 2019-12-05 | 株式会社Soken | 自己位置推定装置 |
CN110936878A (zh) * | 2019-11-22 | 2020-03-31 | 王臣博 | 一种基于人工智能的物流运输设备 |
-
2002
- 2002-05-20 JP JP2002144397A patent/JP3986363B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170285B2 (en) | 2005-07-15 | 2012-05-01 | Honda Motor Co., Ltd. | Systems and methods of vehicle image processing |
WO2007010750A1 (ja) * | 2005-07-15 | 2007-01-25 | Honda Motor Co., Ltd. | 車両、画像処理システム、画像処理方法、画像処理プログラム、画像処理システムの構築システム |
JP2013015337A (ja) * | 2011-06-30 | 2013-01-24 | Meidensha Corp | 画像処理による渡り線測定装置 |
JP2013191040A (ja) * | 2012-03-14 | 2013-09-26 | Alpine Electronics Inc | レーンマーク検出装置およびレーンマークの信頼度算出方法 |
US10002433B2 (en) | 2012-12-26 | 2018-06-19 | Nippon Soken, Inc. | Boundary line recognition apparatus and branch road determination apparatus |
WO2014104183A1 (ja) * | 2012-12-26 | 2014-07-03 | 株式会社日本自動車部品総合研究所 | 境界線認識装置及び分岐路判定装置 |
JP2014127027A (ja) * | 2012-12-26 | 2014-07-07 | Nippon Soken Inc | 境界線認識装置 |
US10891738B2 (en) | 2012-12-26 | 2021-01-12 | Nippon Soken, Inc. | Boundary line recognition apparatus and branch road determination apparatus |
CN104166400A (zh) * | 2014-07-11 | 2014-11-26 | 杭州精久科技有限公司 | 基于多传感器融合的视觉导引agv*** |
CN104166400B (zh) * | 2014-07-11 | 2017-02-22 | 杭州精久科技有限公司 | 基于多传感器融合的视觉导引agv*** |
WO2019230038A1 (ja) * | 2018-05-30 | 2019-12-05 | 株式会社Soken | 自己位置推定装置 |
JP2019207190A (ja) * | 2018-05-30 | 2019-12-05 | 株式会社Soken | 自己位置推定装置 |
CN110936878A (zh) * | 2019-11-22 | 2020-03-31 | 王臣博 | 一种基于人工智能的物流运输设备 |
Also Published As
Publication number | Publication date |
---|---|
JP3986363B2 (ja) | 2007-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107862290B (zh) | 车道线检测方法及*** | |
US7209832B2 (en) | Lane recognition image processing apparatus | |
US9558412B2 (en) | Vehicle exterior environment recognition device | |
US8199198B2 (en) | Bright spot detection and classification method for a vehicular night-time video imaging system | |
US7566851B2 (en) | Headlight, taillight and streetlight detection | |
JP3083918B2 (ja) | 画像処理装置 | |
EP1403615B1 (en) | Apparatus and method for processing stereoscopic images | |
WO1996022588A1 (en) | Method and apparatus for detecting object movement within an image sequence | |
CN111832536A (zh) | 一种车道线检测方法及装置 | |
KR101026778B1 (ko) | 차량 영상 검지 장치 | |
CN111046741A (zh) | 车道线识别的方法和装置 | |
JP3550874B2 (ja) | 監視装置 | |
JP2003337950A (ja) | 車線境界検出装置 | |
CN106407895A (zh) | 基于图像灰度和Lab色彩空间的车辆阴影检测算法 | |
JP3914447B2 (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
Takahashi et al. | A robust lane detection using real-time voting processor | |
JP4842301B2 (ja) | 歩行者検出装置及びプログラム | |
CN111079598B (zh) | 一种基于图像纹理与机器学习的车道线检测方法 | |
JPH04137014A (ja) | 移動車の走行路端検出装置 | |
JP3638028B2 (ja) | 車両ナンバー認識装置 | |
JP2003337999A (ja) | 車線境界検出装置 | |
RU2262661C2 (ru) | Способ обнаружения движущихся транспортных средств | |
JP3855102B2 (ja) | 車線境界検出装置 | |
JP3196559B2 (ja) | ライン認識方法 | |
JP3120648B2 (ja) | 車両用環境認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070410 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070710 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3986363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |