JP2003337950A

JP2003337950A - 車線境界検出装置

Info

Publication number: JP2003337950A
Application number: JP2002144397A
Authority: JP
Inventors: Norishige Yoshikawa; 典成吉川; Takashi Hiramaki; 崇平槇; Munehiro Takayama; 宗広高山; Shuji Yamamoto; 修司山本; Hisashi Satonaka; 久志里中; Makoto Nishida; 誠西田; Yoshiki Ninomiya; 芳樹二宮; Arata Takahashi; 新高橋
Original assignee: Aisin Seiki Co Ltd; Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc; Aisin Corp
Priority date: 2002-05-20
Filing date: 2002-05-20
Publication date: 2003-11-28
Anticipated expiration: 2022-05-20
Also published as: JP3986363B2

Abstract

(57)【要約】【課題】カメラからの入力画像に基づき画素位置に対
応させて取得される画像情報を画素位置に応じて外乱の
影響を低減するように補正し、車線境界位置の検出精度
を向上することができる車線境界検出装置を提供する。【解決手段】車線境界検出装置１０は、車両に搭載さ
れて走路を撮像するＣＣＤカメラ１１からの入力画像に
基づき画素位置に対応させて輝度データを取得する。そ
して、この輝度データに基づき路面上に描かれた白線を
検出する。車線境界検出装置１０の制御マイコン２１
は、画素位置に応じてその輝度データに対し重み付けを
行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に搭載された
カメラから走路を撮像し、その入力画像から路面上に描
かれた車線境界位置を検出する車線境界検出装置に関す
るものである。

【０００２】

【従来の技術】従来、路面上に描かれた車線境界位置を
検出する車線境界検出装置として種々のものが提案され
ている。こうした車線境界検出装置は、車両に搭載され
たカメラから走路を撮像し、その入力画像から車線境界
位置を認識・検出するものである。一般に、こうした装
置は屋外での使用を前提としているため、影や太陽光、
反射光等外乱光による影響を受けにくくする披術を含む
ものが多い。

【０００３】例えば特開昭６３−５４６７９号公報に記
載された装置では、位置を検出する物体の画像が、同一
画面内において大きい濃度差（輝度差）を有する複数の
領域に亘って存在する場合に、互いに濃度の異なる領域
を分別してその濃度差に基づき当該濃度差がなくなるよ
うに一方の領域に対して濃度変換を行なう。そして、こ
の濃度変換後の全画像の濃度に対し単一のしきい値を用
いて画像の二値化処理を可能にしている。この２値化さ
れた画像に基づき物体の位置が検出される。従って、影
の影響により位置を検出する物体の画像の濃度が同一画
面内において大きく差が生じる場合、例えば同物体が近
くに存在し、かつ、影等によってある領域内での濃度が
略均一に影響を受けている場合等には、上記濃度変換を
することで単一のしきい値により画像の二値化を簡単に
行うことができる。

【０００４】また、例えば特開平５−２０５９３号公報
に記載された装置では、カメラから入力された走路画像
に含まれる影等の外乱に対して安定した車線境界位置を
検出するために、同検出に係る輝度に対するしきい値の
設定を画像に合わせて可変としている。具体的には、初
期処理として走路画像内の複数（３本）の走査線におい
て各走査線毎の輝度の最大値がそれぞれ白線（車線境界
位置）の領域から得られたものとし、当該輝度の最大値
から予め設定された値を差し引いて、それを輝度に対す
る新たなしきい値として設定する。この差し引かれる値
は、例えば白線の輝度の分散に相当するものである。こ
の設定されたしきい値に基づき画像から白線相当の輝度
を有する画素位置のみを抽出し、画像の二値化処理を行
なっている。この二値化データから空間オペレータによ
ってエッジを検出し、ハフ変換等を用いて直線近似する
ことで白線（車線境界位置）の検出を行なっている。あ
るいは、白線が一度検出されるとその結果を利用して、
白線を含むように処理範囲を指定する。そして、空間オ
ペレータを用いたエッジ検出後、画像の二値化処理を行
なうが、その時に利用するしきい値としてエッジ強度の
最大値から予め設定された所定値を差し引いたものを利
用する。これにより、影等を含む領域でも他領域に影響
されない安定した車線境界位置の検出を可能としてい
る。

【０００５】

【発明が解決しようとする課題】ところで、特開昭６３
−５４６７９号公報に記載された装置では、走路等のよ
うに広範囲の領域を撮影する場合、光による画像濃度へ
の影響は物体までの距離によって連続的に変化するた
め、濃度の異なる領域の分別が非常に困難になる。ま
た、たとえ領域の分別ができたとしても、光の影響を受
けた遠方の画像の濃度は本来の情報が潰れているため、
濃度変換することでかえって検出精度を不安定にする。

【０００６】また、特開平５−２０５９３号公報に記載
された装置では、輝度やエッジによって画像の二値化処
理を行なう局所的な領域に車線境界位置と紛らわしい外
乱光の影響が存在し、本来の情報が潰れてしまっている
場合等には誤検出する可能性が高くなる。そして、複数
の領域を用いているとはいえ他の領域での車線境界位置
の検出を不安定にするおそれがある。

【０００７】本発明の目的は、カメラからの入力画像に
基づき画素位置に対応させて取得される画像情報を画素
位置に応じて外乱の影響を低減するように補正し、車線
境界位置の検出精度を向上することができる車線境界検
出装置を提供することにある。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
めに、請求項１に記載の発明は、車両に搭載されて走路
を撮像するカメラからの入力画像に基づき画素位置に対
応させて画像情報を取得し、該画像情報に基づき路面上
に描かれた車線境界位置を検出する車線境界検出装置に
おいて、前記画素位置に応じて前記画像情報に対し重み
付けを行なう画像情報変換手段を備えたことを要旨とす
る。

【０００９】請求項２に記載の発明は、請求項１に記載
の車線境界検出装置において、前記画素位置は、前記車
両からの離隔距離と関連付けられており、前記画像情報
変換手段は、前記車両からの離隔距離に基づき前記画素
位置に応じた画像情報に対する重み付けを決定すること
を要旨とする。

【００１０】請求項３に記載の発明は、請求項１又は２
に記載の車線境界検出装置において、互いに異なる領域
内の画素位置の画像情報に基づき該領域ごとの画像特性
値をそれぞれ演算し、これら画像特性値の比較値をしき
い値により判定処理することで前記入力画像に対する外
乱光の影響の有無を判定する外乱光判定手段を備え、前
記画像情報変換手段は、前記外乱光判定手段による外乱
光の影響の有無の判定結果に基づき前記画素位置に応じ
た画像情報に対する重み付けを変化させることを要旨と
する。

【００１１】請求項４に記載の発明は、請求項３に記載
の車線境界検出装置において、前記互いに異なる領域
は、同種対象物に対応する画素位置に対してそれぞれ設
定されることを要旨とする。

【００１２】請求項５に記載の発明は、請求項３又は４
に記載の車線境界検出装置において、前記外乱光判定手
段は、前記比較値の前記しきい値によるいずれかの判定
状態が所定時間継続することで前記入力画像に対する外
乱光の影響の有無を判定することを要旨とする。

【００１３】請求項６に記載の発明は、請求項３〜５の
いずれかに記載の車線境界検出装置において、車両ライ
ト点灯信号、所定領域内の画素位置の画像情報に基づく
平均輝度情報及びナビゲーションシステムの進行方向情
報の少なくとも１つを用いて前記入力画像に影響を及ぼ
す外乱光の種類を判別する外乱光判別手段を備え、前記
外乱光判定手段は、前記判別された外乱光の種類に応じ
て前記しきい値を変化させることを要旨とする。

【００１４】（作用）一般に、車両から走路を撮像した
カメラの入力画像は外乱（例えば、朝夕日、車両ライ
ト、街路灯及びトンネル内照明等の外乱光など）の影響
を受けることになり、これに基づく画素位置ごとの画像
情報（輝度情報など）は当該画素位置に応じて特徴的な
影響を受けていることが本出願人により確認されてい
る。従って、上記画素位置に応じた特徴的な影響を考慮
して対応する画像情報を補正処理し、上記車線境界位置
を検出することが好ましい。

【００１５】請求項１に記載の発明によれば、上記画素
位置に応じて上記画像情報に対し重み付けが行われる。
従って、例えば外乱の影響が小さい画素位置に対して相
対的に重要度を増すように、外乱の影響が大きい画素位
置に対して相対的に重要度を減ずるように画像情報に対
して重み付けを行うことで、外乱の影響が低減され同画
像情報に基づく車線境界位置の検出精度が向上される。

【００１６】請求項２に記載の発明によれば、車両から
の離隔距離に基づき画素位置に応じた画像情報に対する
重み付けが決定される。一般に、車両から走路を撮像し
たカメラの入力画像は、車両からの離隔距離に応じて異
なる外乱の影響を受けていることが本出願人により確認
されている。すなわち、車両から遠い位置に対応する画
素位置では、画像情報がぼやけたり色がとんだりするた
めデータとしての信頼性が低い。このため、車両から近
い位置に対応する画素位置での画像情報と同等の条件で
データとして使用すると、車線境界検出の精度に悪影響
を及ぼす可能性がある。従って、車両からの離隔距離に
基づき当該画素位置での外乱の影響に応じて対応する画
像情報に対する重み付けを決定することで、同離隔距離
に応じた外乱の影響が抑制される。

【００１７】請求項３に記載の発明によれば、互いに異
なる領域内の画素位置の画像情報に基づく同領域ごとの
画像特性値の比較値をしきい値により判定処理すること
で、上記入力画像に対する外乱光の影響の有無が判定さ
れる。一般に、車両から走路を撮像したカメラの入力画
像が外乱光の影響を受けているとき、互いに異なる領域
（例えば、車両からの離隔距離が互いに異なる領域）内
の画素位置の画像情報に基づく同領域ごとの画像特性値
（例えば、当該領域内の画素位置に対応する全画像情報
の平均値、分散値など）間に顕著な特性を有することが
本出願人により確認されている。従って、これら領域ご
との画像特性値の比較値（例えば、差分、比率など）を
しきい値により判定処理することで、上記入力画像に対
する外乱光の影響の有無が判定される。この外乱光の影
響の有無の判定結果に基づき前記画素位置に応じた画像
情報に対する重み付けが変化されることで、車線境界位
置の検出における外乱光の影響が抑制される。

【００１８】請求項４に記載の発明によれば、上記互い
に異なる領域は、同種対象物（例えば、車線境界位置を
含まない走路など）に対応する画素位置に対してそれぞ
れ設定される。従って、互いに略同等な状態にあるべき
領域において上記画像特性値がそれぞれ演算されること
で、これら画像特性値に基づく外乱光の影響の有無がよ
り正確に判定される。

【００１９】請求項５に記載の発明によれば、上記比較
値のしきい値によるいずれかの判定状態が所定時間継続
することで入力画像に対する外乱光の影響の有無が判定
されることで、ノイズ等による一時的な比較値（画像特
性値）の変動によって外乱光の影響の有無が誤判定され
ることが回避される。

【００２０】請求項６に記載の発明によれば、判別され
た外乱光の種類に応じて前記しきい値が変化される。一
般に、カメラの入力画像に基づく画素位置ごとの画像情
報は、影響を受けている外乱光の種類に応じてその画素
位置に応じた異なる特性を示すことが本出願人により確
認されている。以下、車両の後方にカメラを搭載してそ
の後方視界を取得した場合での、車両からの離隔距離
（実際には、当該離隔距離に相当する画素位置）と対応
する輝度値（画像情報）との実験的に求めた関係を図面
を併せ参照して説明する。

【００２１】図９は、外乱光の影響がない昼間の状態で
の上記関係を示すグラフである。同図から明らかなよう
に、この状態では車両からの離隔距離に関係なく上記輝
度値は略均一な特性を示す。

【００２２】また、図１０は、外乱光として夕日、朝日
の直接光や路面からの反射光の影響を受けている昼間の
状態での上記関係を示すグラフである。同図から明らか
なように、この状態では車両からの離隔距離が大きい側
において同離隔距離が大きくなるに従い上記輝度値が著
しく増加する特性を示す。

【００２３】一方、図１１は、外乱光の影響がない夜間
の状態での上記関係を示すグラフである。同図から明ら
かなように、この状態では自車両の車両ライト（尾灯）
が点灯されていることで、車両からの離隔距離が小さく
なるに従い上記輝度値が著しく増加する特性を示す。

【００２４】また、図１２は、外乱光として後続車両の
車両ライト（ヘッドライト）の影響を受けている夜間の
状態での上記関係を示すグラフである。同図から明らか
なように、この状態では自車両及び後続車両の各車両ラ
イトによって、車両からの離隔距離が小さくなるに従
い、及び同離隔距離が大きくなるに従い上記輝度値が著
しく増加する特性を示す。

【００２５】上記各特性（図９〜図１２）は、車両の後
方にカメラを搭載した状態でのものであるが、車両の前
方にカメラを搭載した状態においても略同等の特性が得
られることが本出願人により確認されている。

【００２６】以上により、上記画像情報は、影響を受け
ている外乱光の種類に応じてその画素位置に応じた異な
る特性を示すことから、これに基づく上記領域ごとの画
像特性値間の特性も、影響を受けている外乱光の種類に
応じて自ずと異なることになる。従って、判別された外
乱光の種類に応じて前記しきい値が変化されることで、
同しきい値による外乱光の影響の有無がより正確に判定
される。

【００２７】

【発明の実施の形態】以下、本発明を具体化した一実施
形態を図１〜図７に従って説明する。図２は、本実施形
態が適用される車両１を示す斜視図である。同図に示さ
れるように、この車両１の後部ドア１ａの略中央部には
ナンバープレート２の取付枠３が配置されており、その
上部には撮像用のＣＣＤカメラ１１が設置されている。
このＣＣＤカメラ１１は、図３に示す態様で車両１後方
の路面の画像（映像）を取得するもので、その撮像範囲
内に走行する車線４の境界線（車線標示で規定される車
線の境界位置）である左白線５Ｌ及び右白線５Ｒの画像
を含むように搭載されている。

【００２８】図１は、本実施形態の車線境界検出装置１
０を示す概略構成図である。同図に示されるように、こ
の車線境界検出装置１０は、前記ＣＣＤカメラ１１と、
メインスイッチ１２と、車両ライト点灯スイッチ１３
と、画像情報変換手段、外乱光判定手段及び外乱光判別
手段を構成するコントローラ１６とを備えている。

【００２９】上記ＣＣＤカメラ１１は、取得した画像を
アナログの映像信号として前記コントローラ１６に出力
する。上記メインスイッチ１２は利用者（運転者など）
により操作されるシステム作動・停止用の操作スイッチ
であり、その操作状態に応じた信号を上記コントローラ
１６に出力する。

【００３０】上記車両ライト点灯スイッチ１３は利用者
により操作される車両ライト点灯用の操作スイッチであ
り、その操作状態に応じた信号（車両ライト点灯信号）
を上記コントローラ１６に出力する。

【００３１】上記コントローラ１６は、制御マイコン
（マイクロコンピュータ）２１と、輝度信号抽出回路２
２と、入力回路２３，２４と、ＲＡＭ（ランダムアクセ
スメモリ）２７とを備えている。

【００３２】上記輝度信号抽出回路２２は、ＣＣＤカメ
ラ１１からの映像信号を入力して輝度信号を抽出し、こ
の輝度信号を制御マイコン２１に出力する。上記入力回
路２３，２４は、それぞれメインスイッチ１２及び車両
ライト点灯スイッチ１３からの各操作状態に応じた信号
を入力してこれを制御マイコン２１に出力する。

【００３３】制御マイコン２１は、これら輝度信号抽出
回路２２及び入力回路２３，２４を介して入力した各信
号に基づき後述の車線境界検出等の処理を行うとともに
当該処理に係る各種データをＲＡＭ２７に一時記憶す
る。

【００３４】図４は、本実施形態での車線境界検出の処
理態様を示すフローチャートである。この処理は、前記
メインスイッチ１２がオン操作されていることを前提に
所定時間ごとの定時割り込みにて繰り返し実行される。

【００３５】処理がこのルーチンに移行すると、制御マ
イコン２１は、ステップ１０１において各種データの入
力処理を実行する。例えば制御マイコン２１は、前記車
両ライト点灯スイッチ１３の操作状態に応じた車両ライ
ト点灯信号を入力回路２４を介して入力する。

【００３６】次いで、制御マイコン２１は、ステップ１
０２に移行してカメラ映像の入力処理を実行する。具体
的には、制御マイコン２１は、ＣＣＤカメラ１１の映像
信号から抽出された輝度信号を入力してこれを各画素ご
とにＡ／Ｄ（アナログ／デジタル）変換し、画素位置に
関連づけた画像情報としての輝度データとしてＲＡＭ２
７に一時記憶する。この画素位置は、ＣＣＤカメラ１１
の撮像範囲（図３参照）に準じて定義される。なお、上
記輝度データは、対応する輝度が明るい（白い）ほど大
きく、暗い（黒い）ほど小さい値になる。例えば、この
輝度データは８ビット（０〜２５５）で表されており、
輝度が明るいほど値「２５５」に近づき、暗いほど値
「０」に近づく。

【００３７】なお、制御マイコン２１は、このカメラ映
像の入力処理において、車両１からその後方への離隔距
離が大きい（遠い）車線４の領域４１内の全画素位置及
び同離隔距離が小さい（近い）車線４の領域４２内の全
画素位置をそれぞれ設定する（図３参照）。特に、車線
境界検出において左白線５Ｌ及び右白線５Ｒがともに検
出されている状態では、制御マイコン２１は、両領域４
１，４２がこれら左白線５Ｌ及び右白線５Ｒ間（すなわ
ち、同種の対象物である走路）に配置されるようにす
る。そして、制御マイコン２１は、画像特性値としての
領域４１内の全画素位置の輝度データの平均値Ｖａｖ１
及び領域４２内の全画素位置の輝度データの平均値Ｖａ
ｖ２を併せて演算し、ＲＡＭ２７に一時記憶する。これ
ら平均値Ｖａｖ１，Ｖａｖ２は、後述の外乱光の判定処
理に供されるものである。

【００３８】次に、制御マイコン２１は、ステップ２０
０及びステップ３００のサブルーチンに順番に移行し
て、図５の外乱光判定処理及び画像情報変換処理を実行
する。すなわち、ステップ２００のサブルーチンに移行
した制御マイコン２１は、ステップ２０１において上記
車両ライト点灯信号がオンかオフかを判断する。ここ
で、上記車両ライト点灯信号がオンと判断されると、制
御マイコン２１は夜間での外乱光（例えば、後続車両の
ヘッドライトなど）の影響の有無を判定すべきとしてス
テップ２０２に移行する。そして、制御マイコン２１
は、しきい値としての外乱光判定閾値Ｔを所定値Ｔ１に
設定する。この外乱光判定閾値Ｔは、比較値としての前
記平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａｖと大小比較
されることで外乱光の影響（例えば、画像上に強い光源
が存在することによるノイズ増加、コントラスト減少な
ど）の有無判定に供されるものである。なお、上記差分
ΔＶａｖは、外乱光の影響が大きいほどその値が正数側
に大きくなる傾向にある。そして、所定値Ｔ１は夜間で
の外乱光の影響の有無を判定するのに好適な値に設定さ
れている。具体的には、外乱光の影響がない夜間の状態
では自車両１の車両ライト（尾灯）が点灯されているこ
とで、車両１からの離隔距離が小さくなるに従い輝度デ
ータ（輝度値）が著しく増加する（図１１参照）。従っ
て、平均値Ｖａｖ１よりも平均値Ｖａｖ２が大きくな
り、上記差分ΔＶａｖは負数となる。一方、外乱光とし
て後続車両の車両ライト（ヘッドライト）の影響を受け
ている夜間の状態では車両１からの離隔距離が小さくな
るに従い、及び同離隔距離が大きくなるに従い輝度デー
タ（輝度値）が著しく増加する（図１２参照）。従っ
て、平均値Ｖａｖ１，Ｖａｖ２が略同等の大きさにな
り、上記差分ΔＶａｖは正数側へと推移する。従って、
本実施形態では、上記夜間での外乱光の特性を考慮して
上記所定値Ｔ１を値「０」に設定している。

【００３９】一方、ステップ２０１において上記車両ラ
イト点灯信号がオフと判断されると、制御マイコン２１
は昼間での外乱光（例えば、夕日、朝日などの直接光や
路面からの反射光など）の影響の有無を判定すべきとし
てステップ２０３に移行する。そして、制御マイコン２
１は、上記外乱光判定閾値Ｔを所定値Ｔ２に設定する。
この所定値Ｔ２は昼間での外乱光の影響の有無を判定す
るのに好適な値に設定されている。具体的には、外乱光
の影響がない昼間の状態では車両１からの離隔距離に関
係なく上記輝度データ（輝度値）は略均一になる（図９
参照）。従って、平均値Ｖａｖ１，Ｖａｖ２も略同等の
大きさになる。一方、外乱光として夕日、朝日の直接光
や路面からの反射光の影響を受けている昼間の状態では
車両１からの離隔距離が大きい側において同離隔距離が
大きくなるに従い上記輝度データ（輝度値）が著しく増
加する（図１０参照）。そして、平均値Ｖａｖ２よりも
平均値Ｖａｖ１が大きくなり、上記差分ΔＶａｖは正数
側のより大きな値へと推移する。従って、外乱光判定閾
値Ｔは高い値で設定した方が好ましく、本実施形態では
上記昼間での外乱光の特性を考慮して上記所定値Ｔ２を
値「４０」に設定している。

【００４０】ステップ２０２若しくはステップ２０３に
おいて外乱光判定閾値Ｔの設定を行った制御マイコン２
１は、ステップ２０４に移行する。そして、制御マイコ
ン２１は、上記平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａ
ｖが上記外乱光判定閾値Ｔ以上か否かを判断する。

【００４１】ここで、上記差分ΔＶａｖが上記外乱光判
定閾値Ｔ以上と判断されると、制御マイコン２１は外乱
光の影響があると判定してステップ３００のサブルーチ
ンに移行し、ステップ３０１において現在の外乱光判定
閾値Ｔが夜間での所定値Ｔ１に設定されているか否かを
判断する。

【００４２】ステップ３０１において現在の外乱光判定
閾値Ｔが夜間での所定値Ｔ１に設定されていると判断さ
れると、制御マイコン２１はステップ３０２に移行して
夜間に対応する輝度データの重み付け処理（画像情報変
換処理）を行う。具体的には、車両１からの離隔距離Ｚ
（ｍ）に基づき対応する画素位置の輝度データｏ＿Ｖｘ
ｙに対し下式に基づく補正を加えて重み付けを行い、車
線境界検出用の新たな輝度データｎ＿ＶｘｙとしてＲＡ
Ｍ２７に記憶・設定する。なお、下式では便宜的に離隔
距離Ｚに基づき輝度データｏ＿Ｖｘｙの補正を行ってい
るが、実際には制御マイコン２１は離隔距離Ｚを当該画
素の垂直方向の位置に対応させて補正している。

【００４３】ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ（Ｚ≦４）ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ×（１−０．２５×（Ｚ−
４））（４＜Ｚ＜８）ｎ＿Ｖｘｙ＝０（８≦Ｚ）図６（ａ）は、輝度データｏ＿Ｖｘｙに対する画素位置
に応じた重み付けの係数を示すグラフである。同図から
明らかなように、夜間において外乱光の影響があると判
定された場合には、車両１からの離隔距離が大きい位置
での輝度データの信頼性が低いことを考慮して相対的に
重要度を低減するように補正を加えている。

【００４４】一方、ステップ３０１において現在の外乱
光判定閾値Ｔが昼間での所定値Ｔ２に設定されていると
判断されると、制御マイコン２１はステップ３０３に移
行して昼間に対応する輝度データの重み付け処理（画像
情報変換処理）を行う。具体的には、車両１からの離隔
距離Ｚ（ｍ）に基づき対応する画素位置の輝度データｏ
＿Ｖｘｙに対し下式に基づく補正を加えて重み付けを行
い、車線境界検出用の新たな輝度データｎ＿Ｖｘｙとし
てＲＡＭ２７に記憶・設定する。なお、下式でも便宜的
に離隔距離Ｚに基づき輝度データｏ＿Ｖｘｙの補正を行
っているが、実際には制御マイコン２１は離隔距離Ｚを
当該画素の垂直方向の位置に対応させて補正している。

【００４５】ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ（Ｚ≦３）ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ×（１−０．２５×（Ｚ−
３））（３＜Ｚ＜７）ｎ＿Ｖｘｙ＝０（７≦Ｚ）図６（ｂ）は、輝度データｏ＿Ｖｘｙに対する画素位置
に応じた重み付けの係数を示すグラフである。同図から
明らかなように、昼間において外乱光の影響があると判
定された場合にも、車両１からの離隔距離が大きい位置
での輝度データの信頼性が低いことを考慮して相対的に
重要度を低減するように補正を加えている。

【００４６】また、ステップ２０４において上記差分Δ
Ｖａｖが上記外乱光判定閾値Ｔ未満と判断されると、制
御マイコン２１は外乱光の影響がないと判定してステッ
プ３００のサブルーチンに移行する。そして、ステップ
３０４においてこのときの輝度データｏ＿Ｖｘｙをその
まま輝度データｎ＿ＶｘｙとしてＲＡＭ２７に記憶・設
定する。すなわち、輝度データｏ＿Ｖｘｙに対する画素
位置に応じた重み付け処理（画像情報変換処理）を行わ
ない。

【００４７】そして、ステップ３０３〜３０４のいずれ
かの処理を行った制御マイコン２１は、図４のステップ
１０３に移行して白線候補点検出処理を実行する。具体
的には、制御マイコン２１は、ステップ３０３〜３０４
のいずれかにおいてＲＡＭ２７に一時記憶した各画素の
輝度データｎ＿Ｖｘｙを順次、水平方向に１ライン分ず
つ読み込む（走査する）。すなわち、制御マイコン２１
は、ＲＡＭ２７より画素位置が水平方向に並ぶ各画素の
輝度データｎ＿Ｖｘｙをまとめて読み込む。図７は、水
平方向の所定ラインに並ぶ各画素の位置と対応する輝度
データｎ＿Ｖｘｙの一例を示すグラフである。同図に示
されるように、水平方向に並ぶ各画素の輝度データｎ＿
Ｖｘｙは、例えば車線４の左白線５Ｌ、右白線５Ｒに対
応して明るくなることでピークを示す。従って、制御マ
イコン２１は、各水平方向のラインごとに輝度データｎ
＿Ｖｘｙと所定の白線候補点検出しきい値とを大小比較
することで、白線に対応する画素位置の候補（白線候補
点）を抽出する。制御マイコン２１は、所要数（あるい
は全て）の水平方向のラインについて上記白線候補点を
抽出する。そして、制御マイコン２１は、抽出された全
ての白線候補点（画素位置）をＲＡＭ２７に一時記憶す
る。

【００４８】次いで、制御マイコン２１は、ステップ１
０４に移行して白線候補直線検出処理を実行する。具体
的には、制御マイコン２１は、ＲＡＭ２７に一時記憶し
た白線候補点を読み込んでこの点群を直線にあてはめ
る。この直線にあてはめる手法として、例えばＨｏｕｇ
ｈ（ハフ）変換が文献等（「松山隆司他：コンピュータ
ビジョン、１４９／１６５、新技術コミュニケーション
ズ：１９９９」、「Ｐ．Ｖ．Ｃ．Ｈｏｕｇｈ：Ｍｅｔｈ
ｏｄｓａｎｄｍｅａｎｓｆｏｒｒｅｃｏｇｎｉ
ｚｉｎｇｃｏｍｐｌｅｘｐａｔｔｅｒｎｓ，Ｕ．
Ｓ．ＰａｔｅｎｔＮｏ．３０６９６５４（１９６
２）」）で知られている。また、この点群を最小２乗法
で直線にあてはめてもよい。あるいは、特徴量抽出等の
その他各種の手法を採用してもよい。

【００４９】次に、制御マイコン２１は、ステップ１０
５に移行して複数ある白線候補直線から最も確からしい
２本の直線を抽出する。これら直線は、車両１の両側に
対応する画素位置において各１本ずつ抽出される。この
直線の抽出に当たっては、例えば前回の検出結果からの
車両１のピッチ、ロール、ヨーの各角度、横方向の移動
距離つまり、車両１が所定時間内で移動しうる範囲と車
線幅の範囲とが考慮される。制御マイコン２１は、抽出
された一対の白線を画素位置に対応させてＲＡＭ２７に
一時記憶する。そして、制御マイコン２１は、その後の
処理を一旦終了する。

【００５０】なお、以上の態様で認識・検出された白線
は、例えば自車両１との相対位置と関連付けられて車線
４からの逸脱判定に供される。以上詳述したように、本
実施形態によれば、以下に示す効果が得られるようにな
る。

【００５１】（１）本実施形態では、外乱の影響が小さ
い画素位置に対して相対的に重要度を増すように、外乱
の影響が大きい画素位置に対して相対的に重要度を減ず
るように輝度データ（ｏ＿Ｖｘｙ）に対して重み付けを
行うことで、外乱の影響が低減され同輝度データに基づ
く白線５Ｌ，５Ｒの検出精度を向上できる。

【００５２】（２）本実施形態では、車両１からの離隔
距離に基づき当該画素位置での外乱の影響に応じて対応
する輝度データ（ｏ＿Ｖｘｙ）に対する重み付けを決定
することで、同離隔距離に応じた外乱の影響を抑制でき
る。

【００５３】（３）本実施形態では、互いに異なる領域
４１，４２内の画素位置の輝度データに基づく同領域４
１，４２ごとの平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａ
ｖを外乱光判定閾値Ｔにより判定処理することで、外乱
光の影響の有無が判定される。この外乱光の影響の有無
の判定結果に基づき前記画素位置に応じた輝度データに
対する重み付けが変化されることで、白線５Ｌ，５Ｒの
検出における外乱光の影響を抑制できる。

【００５４】（４）本実施形態では、両白線５Ｌ，５Ｒ
が検出されている状態では、互いに異なる領域４１，４
２を同種対象物（白線５Ｌ，５Ｒを含まない走路）に対
応する画素位置に対してそれぞれ設定した。従って、互
いに略同等な状態にあるべき領域４１，４２において上
記平均値Ｖａｖ１，Ｖａｖ２をそれぞれ演算したこと
で、これら平均値Ｖａｖ１，Ｖａｖ２に基づく外乱光の
影響の有無をより正確に判定できる。

【００５５】（５）本実施形態では、車両ライト点灯信
号により夜間若しくは昼間を判断することで、影響を受
けている外乱光の種類（夜間にあっては後続車両のヘッ
ドライト、昼間にあっては夕日、朝日の直接光や路面か
らの反射光など）を判別した。そして、判別された外乱
光の種類に応じて外乱光判定閾値Ｔを変化させた。従っ
て、この外乱光判定閾値Ｔによる外乱光の影響の有無を
より正確に判定できる。

【００５６】（６）本実施形態では、外乱光の影響の有
無の判定結果に応じて車線境界検出に係る処理を分ける
ことができる。（７）本実施形態では、外乱光の影響の有無に応じた車
線境界検出を行うことで、特にＣＣＤカメラ１１からの
画像が外乱光によるノイズ等の影響を受けている状態に
おいて、破線等のように非連続的な白線又はかすれた白
線等を検出する際に有効である。

【００５７】なお、本発明の実施の形態は上記実施形態
に限定されるものではなく、次のように変更してもよ
い。・前記実施形態においては、白線候補点の検出にあたっ
て水平方向の各画素の輝度データｎ＿Ｖｘｙと白線候補
点検出しきい値とを比較した（ステップ１０３及び図７
参照）。これに対して、図８に示されるように、水平方
向の各画素について当該位置に隣接する画素との輝度デ
ータｎ＿Ｖｘｙの偏差を輝度微分値として演算し、この
立ち上がり及び立ち下がりの微分値の大きさ（絶対値）
と同様の白線候補点検出しきい値とを比較することで、
白線候補点を検出してもよい。

【００５８】・前記実施形態においては、ＣＣＤカメラ
１１からの映像信号から輝度信号を抽出して、これに基
づく輝度データにて白線検出を行った。これに対して、
例えばカラータイプのカメラでは、その映像信号から色
相（色合い）のデータを抽出し、これに基づき白線検出
を行ってもよい。

【００５９】・前記実施形態においては、各領域４１，
４２内の画素位置の全輝度データに基づき平均値Ｖａｖ
１，Ｖａｖ２をそれぞれ演算し、これに基づき外乱光の
影響の有無を判定した。これに対して、例えば各領域４
１，４２内の画素位置の全輝度データに基づき合計値、
若しくは分散値をそれぞれ演算し、これに基づき外乱光
の影響の有無を判定してもよい。あるいは、各領域４
１，４２内の水平方向の各画素について当該位置に隣接
する画素との輝度データの偏差を輝度微分値として演算
し、これに基づき全輝度微分値の平均値、合計値若しく
は分散値を演算して外乱光の影響の有無を判定してもよ
い。

【００６０】・前記実施形態においては、平均値Ｖａｖ
１，Ｖａｖ２の差分ΔＶａｖと外乱光判定閾値Ｔとの大
小関係に基づき外乱光の影響の有無を判定した。これに
対して、平均値Ｖａｖ１，Ｖａｖ２の比率と同様の外乱
光判定閾値との大小関係に基づき外乱光の影響の有無を
判定してもよい。

【００６１】・前記実施形態においては、上記差分ΔＶ
ａｖと外乱光判定閾値Ｔとの大小関係に基づき演算の都
度に外乱光の影響の有無を判定した。これに対して、上
記差分ΔＶａｖと外乱光判定閾値Ｔとの大小関係に基づ
くいずれかの判定状態が所定時間継続することで外乱光
の影響の有無を判定してもよい。なお、所定時間の継続
として、例えばタイマによりいずれかの判定状態が継続
する実時間をカウントしてもよく、あるいはいずれかの
判定状態が繰り返される演算回数をカウントしてもよ
い。このように変更することで、ノイズ等による一時的
な差分ΔＶａｖ（平均値Ｖａｖ１，Ｖａｖ２）の変動に
よって外乱光の影響の有無が誤判定されることを回避で
きる。

【００６２】・前記実施形態においては、車両ライト点
灯信号により夜間若しくは昼間を判断することで、影響
を受けている外乱光の種類（夜間にあっては後続車両の
ヘッドライト、昼間にあっては夕日、朝日の直接光や路
面からの反射光など）を判別した。これに代えて、若し
くはこれに加えて、例えば所定領域内の画素位置の輝度
データ等に基づく平均輝度値、ナビゲーションシステム
の進行方向情報の少なくとも１つを用いて影響を受けて
いる外乱光の種類を判別してもよい。

【００６３】・前記実施形態においては、影響を受けて
いる外乱光の種類に応じて外乱光判定閾値Ｔを変えた
が、差分ΔＶａｖ（平均値Ｖａｖ１，Ｖａｖ２）に同様
の補正を加えてもよく、本発明を何ら逸脱するものでは
ない。

【００６４】・前記実施形態において、影響を受けてい
る外乱光の種類に応じて抽出する領域４１，４２を変え
てもよい。・前記実施形態における画素位置に応じた輝度データｏ
＿Ｖｘｙの重み付け処理態様（図６参照）は一例であっ
てその他の態様を採用してもよい。例えば、車両１から
の離隔距離が大きい位置に相当する画素位置に対しては
車線境界検出のためのデータとして採用せず、処理範囲
の限定されたデータのみを利用して車線境界検出を行っ
てもよい。

【００６５】・前記実施形態においては、画素位置に応
じた輝度データｏ＿Ｖｘｙの重み付け処理を予め設定さ
れた規定値を用いて行った。これに対して、画素位置に
応じた輝度データｏ＿Ｖｘｙの重み付け処理を、そのと
きの画像情報から導出した値を用いて行ってもよい。

【００６６】・前記実施形態においては、外乱光の影響
があると判定された場合にのみ画素位置に応じた輝度デ
ータｏ＿Ｖｘｙの重み付け処理を行った。しかしなが
ら、外乱光の影響の有無に関係なく、車両から遠い位置
では分解能が悪く、外乱（ノイズなど）の影響を受けや
すい。従って、外乱光の影響の有無を判定することな
く、車両からの離隔距離が大きい位置に相当する画素位
置に対してその重要度を低減するように重み付け処理を
行ってもよい。

【００６７】ただし、全ての状況で重要度を低減するよ
うに重み付け処理を行うと、車線境界検出に係る情報量
を徒に少なくすることとなる。従って、外乱光の影響の
有無を考慮した重み付け処理を行う方が有効である。

【００６８】・前記実施形態においては、ＣＣＤカメラ
１１により車両１の後方画像を取得し、これに基づく画
像認識にて白線５Ｌ，５Ｒを検出した。これに対して、
例えばＣＣＤカメラ１１を車両１の側部若しくは前部に
設置する。そして、ＣＣＤカメラ１１により車両１の側
方画像若しくは前方画像を取得し、これに基づく画像認
識にて白線５Ｌ，５Ｒを検出しても、前記実施形態と同
様の効果が得られる。

【００６９】・前記実施形態においては、撮像用にＣＣ
Ｄカメラ１１を採用したが、例えば赤外線カメラやＣＭ
ＯＳカメラなどでもよい。・例えば、無人搬送車やロボット、路線バスや自動倉庫
などに適用しうる自動走行可能な車両システムに本発明
を適用してもよい。

【００７０】

【発明の効果】以上詳述したように、請求項１に記載の
発明によれば、カメラからの入力画像に基づき画素位置
に対応させて取得される画像情報を画素位置に応じて外
乱の影響を低減するように補正し、車線境界位置の検出
精度を向上することができる。

【００７１】請求項２に記載の発明によれば、車両から
の離隔距離に基づき当該画素位置での外乱の影響に応じ
て対応する画像情報に対する重み付けを決定すること
で、同離隔距離に応じた外乱の影響を抑制できる。

【００７２】請求項３に記載の発明によれば、外乱光の
影響の有無の判定結果に基づき画素位置に応じた画像情
報に対する重み付けが変化されることで、車線境界位置
の検出における外乱光の影響を抑制できる。

【００７３】請求項４に記載の発明によれば、互いに略
同等な状態にあるべき領域において上記画像特性値がそ
れぞれ演算されることで、これら画像特性値に基づく外
乱光の影響の有無をより正確に判定できる。

【００７４】請求項５に記載の発明によれば、ノイズ等
による一時的な比較値（画像特性値）の変動によって外
乱光の影響の有無が誤判定されることを回避できる。請
求項６に記載の発明によれば、判別された外乱光の種類
に応じてしきい値が変化されることで、同しきい値によ
る外乱光の影響の有無をより正確に判定できる。

【図面の簡単な説明】

【図１】本発明の一実施形態を示す概略構成図。

【図２】同実施形態が適用される車両を示す斜視図。

【図３】ＣＣＤカメラの画像を示す模式図。

【図４】同実施形態の車線境界検出の処理態様を示すフ
ローチャート。

【図５】同実施形態の車線境界検出の処理態様を示すフ
ローチャート。

【図６】画素位置に応じた重み付け処理を説明するグラ
フ。

【図７】水平方向の所定ラインに並ぶ各画素の位置と対
応する輝度データの一例を示すグラフ。

【図８】水平方向の所定ラインに並ぶ各画素の位置と対
応する輝度微分値の一例を示すグラフ。

【図９】外乱光の影響がない昼間の状態での画素位置と
輝度値との関係を示すグラフ。

【図１０】外乱光の影響がある昼間の状態での画素位置
と輝度値との関係を示すグラフ。

【図１１】外乱光の影響がない夜間の状態での画素位置
と輝度値との関係を示すグラフ。

【図１２】外乱光の影響がある夜間の状態での画素位置
と輝度値との関係を示すグラフ。

【符号の説明】

１車両４車線５Ｌ車線境界位置としての左白線５Ｒ車線境界位置としての右白線１１ＣＣＤカメラ１５報知手段を構成するブザー１６画像情報変換手段、外乱光判定手段及び外乱光判
別手段を構成するコントローラ１３車両ライト点灯スイッチ４１，４２領域

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 ＣＨ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ (72)発明者吉川典成愛知県刈谷市朝日町２丁目１番地アイシン精機株式会社内 (72)発明者平槇崇愛知県刈谷市朝日町２丁目１番地アイシン精機株式会社内 (72)発明者高山宗広愛知県刈谷市朝日町２丁目１番地アイシン精機株式会社内 (72)発明者山本修司愛知県刈谷市朝日町２丁目１番地アイシン精機株式会社内 (72)発明者里中久志愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者西田誠愛知県豊田市トヨタ町１番地トヨタ自動車株式会社内 (72)発明者二宮芳樹愛知県愛知郡長久手町大字長湫字横道41番地の１株式会社豊田中央研究所内 (72)発明者高橋新愛知県愛知郡長久手町大字長湫字横道41番地の１株式会社豊田中央研究所内Ｆターム(参考） 5C054 AA01 CH04 FC04 FC12 GA04 HA30 5H180 AA01 CC04 LL01 LL04 LL15 5L096 BA02 BA04 CA02 EA39 FA03 MA03

Claims

【特許請求の範囲】

【請求項１】車両に搭載されて走路を撮像するカメラ
からの入力画像に基づき画素位置に対応させて画像情報
を取得し、該画像情報に基づき路面上に描かれた車線境
界位置を検出する車線境界検出装置において、前記画素位置に応じて前記画像情報に対し重み付けを行
なう画像情報変換手段を備えたことを特徴とする車線境
界検出装置。
【請求項２】前記画素位置は、前記車両からの離隔距
離と関連付けられており、前記画像情報変換手段は、前記車両からの離隔距離に基
づき前記画素位置に応じた画像情報に対する重み付けを
決定することを特徴とする請求項１に記載の車線境界検
出装置。
【請求項３】互いに異なる領域内の画素位置の画像情
報に基づき該領域ごとの画像特性値をそれぞれ演算し、
これら画像特性値の比較値をしきい値により判定処理す
ることで前記入力画像に対する外乱光の影響の有無を判
定する外乱光判定手段を備え、前記画像情報変換手段は、前記外乱光判定手段による外
乱光の影響の有無の判定結果に基づき前記画素位置に応
じた画像情報に対する重み付けを変化させることを特徴
とする請求項１又は２に記載の車線境界検出装置。
【請求項４】前記互いに異なる領域は、同種対象物に
対応する画素位置に対してそれぞれ設定されることを特
徴とする請求項３に記載の車線境界検出装置。
【請求項５】前記外乱光判定手段は、前記比較値の前
記しきい値によるいずれかの判定状態が所定時間継続す
ることで前記入力画像に対する外乱光の影響の有無を判
定することを特徴とする請求項３又は４に記載の車線境
界検出装置。
【請求項６】車両ライト点灯信号、所定領域内の画素
位置の画像情報に基づく平均輝度情報及びナビゲーショ
ンシステムの進行方向情報の少なくとも１つを用いて前
記入力画像に影響を及ぼす外乱光の種類を判別する外乱
光判別手段を備え、前記外乱光判定手段は、前記判別された外乱光の種類に
応じて前記しきい値を変化させることを特徴とする請求
項３〜５のいずれかに記載の車線境界検出装置。