JP3986363B2 - 車線境界検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されたカメラから走路を撮像し、その入力画像から路面上に描かれた車線境界位置を検出する車線境界検出装置に関するものである。
【０００２】
【従来の技術】
従来、路面上に描かれた車線境界位置を検出する車線境界検出装置として種々のものが提案されている。こうした車線境界検出装置は、車両に搭載されたカメラから走路を撮像し、その入力画像から車線境界位置を認識・検出するものである。一般に、こうした装置は屋外での使用を前提としているため、影や太陽光、反射光等外乱光による影響を受けにくくする披術を含むものが多い。
【０００３】
例えば特開昭６３−５４６７９号公報に記載された装置では、位置を検出する物体の画像が、同一画面内において大きい濃度差（輝度差）を有する複数の領域に亘って存在する場合に、互いに濃度の異なる領域を分別してその濃度差に基づき当該濃度差がなくなるように一方の領域に対して濃度変換を行なう。そして、この濃度変換後の全画像の濃度に対し単一のしきい値を用いて画像の二値化処理を可能にしている。この２値化された画像に基づき物体の位置が検出される。従って、影の影響により位置を検出する物体の画像の濃度が同一画面内において大きく差が生じる場合、例えば同物体が近くに存在し、かつ、影等によってある領域内での濃度が略均一に影響を受けている場合等には、上記濃度変換をすることで単一のしきい値により画像の二値化を簡単に行うことができる。
【０００４】
また、例えば特開平５−２０５９３号公報に記載された装置では、カメラから入力された走路画像に含まれる影等の外乱に対して安定した車線境界位置を検出するために、同検出に係る輝度に対するしきい値の設定を画像に合わせて可変としている。具体的には、初期処理として走路画像内の複数（３本）の走査線において各走査線毎の輝度の最大値がそれぞれ白線（車線境界位置）の領域から得られたものとし、当該輝度の最大値から予め設定された値を差し引いて、それを輝度に対する新たなしきい値として設定する。この差し引かれる値は、例えば白線の輝度の分散に相当するものである。この設定されたしきい値に基づき画像から白線相当の輝度を有する画素位置のみを抽出し、画像の二値化処理を行なっている。この二値化データから空間オペレータによってエッジを検出し、ハフ変換等を用いて直線近似することで白線（車線境界位置）の検出を行なっている。あるいは、白線が一度検出されるとその結果を利用して、白線を含むように処理範囲を指定する。そして、空間オペレータを用いたエッジ検出後、画像の二値化処理を行なうが、その時に利用するしきい値としてエッジ強度の最大値から予め設定された所定値を差し引いたものを利用する。これにより、影等を含む領域でも他領域に影響されない安定した車線境界位置の検出を可能としている。
【０００５】
【発明が解決しようとする課題】
ところで、特開昭６３−５４６７９号公報に記載された装置では、走路等のように広範囲の領域を撮影する場合、光による画像濃度への影響は物体までの距離によって連続的に変化するため、濃度の異なる領域の分別が非常に困難になる。また、たとえ領域の分別ができたとしても、光の影響を受けた遠方の画像の濃度は本来の情報が潰れているため、濃度変換することでかえって検出精度を不安定にする。
【０００６】
また、特開平５−２０５９３号公報に記載された装置では、輝度やエッジによって画像の二値化処理を行なう局所的な領域に車線境界位置と紛らわしい外乱光の影響が存在し、本来の情報が潰れてしまっている場合等には誤検出する可能性が高くなる。そして、複数の領域を用いているとはいえ他の領域での車線境界位置の検出を不安定にするおそれがある。
【０００７】
本発明の目的は、カメラからの入力画像に基づき画素位置に対応させて取得される画像情報を画素位置に応じて外乱の影響を低減するように補正し、車線境界位置の検出精度を向上することができる車線境界検出装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記問題点を解決するために、請求項１に記載の発明は、車両の後方又は前方に搭載されて走路を撮像するカメラからの入力画像に基づき画素位置に対応させて画像情報を取得し、該画像情報に基づき路面上に描かれた車線境界位置を検出する車線境界検出装置において、前記入力画像における前記車両からの離隔距離と関連付けられた前記画素位置に応じて前記画像情報に対し重み付けを行なう画像情報変換手段を備え、前記車両からの離隔距離が小さく外乱の影響が小さい画素位置に対して相対的に重要度を増し、前記車両からの離隔距離が大きく外乱の影響が大きい画素位置に対して相対的に重要度を減ずるように、画像情報に対して画素位置に応じた重み付けを行うことを要旨とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の車線境界検出装置において、前記入力画像における前記車両からの離隔距離が互いに異なる領域内の全画素位置の画像情報としての輝度データに基づき該領域ごとの画像特性値としての平均値又は分散値をそれぞれ演算し、これら画像特性値の比較値としての差分又は比率をしきい値と比較することにより判定処理することで前記入力画像に対する外乱光の影響の有無を判定する外乱光判定手段を備え、前記画像情報変換手段は、前記外乱光判定手段による外乱光の影響の有無の判定結果に基づき外乱光の影響が有ると判定された場合に、前記画素位置に応じた画像情報に対する重み付けを行うことを要旨とする。
【００１１】
請求項３に記載の発明は、請求項２に記載の車線境界検出装置において、前記車両からの離隔距離が互いに異なる領域は、同種対象物に対応する画素位置に対してそれぞれ設定されることを要旨とする。
【００１２】
請求項４に記載の発明は、請求項２又は３に記載の車線境界検出装置において、前記外乱光判定手段は、前記比較値の前記しきい値によるいずれかの判定状態が所定時間継続することで前記入力画像に対する外乱光の影響の有無を判定することを要旨とする。
【００１３】
請求項５に記載の発明は、請求項２〜４のいずれかに記載の車線境界検出装置において、車両ライト点灯信号、所定領域内の画素位置の画像情報に基づく平均輝度情報及びナビゲーションシステムの進行方向情報の少なくとも１つを用いて前記入力画像に影響を及ぼす外乱光の種類を判別する外乱光判別手段を備え、前記外乱光判定手段は、前記判別された外乱光の種類に応じて前記しきい値を変化させることを要旨とする。
【００１４】
（作用）
一般に、車両から走路を撮像したカメラの入力画像は外乱（例えば、朝夕日、車両ライト、街路灯及びトンネル内照明等の外乱光など）の影響を受けることになり、これに基づく画素位置ごとの画像情報（輝度情報など）は当該画素位置に応じて特徴的な影響を受けていることが本出願人により確認されている。従って、上記画素位置に応じた特徴的な影響を考慮して対応する画像情報を補正処理し、上記車線境界位置を検出することが好ましい。
【００１５】
請求項１に記載の発明によれば、入力画像における前記車両からの離隔距離と関連付けられた画素位置に応じて上記画像情報に対し重み付けが行われる。従って、車両からの離隔距離が小さく外乱の影響が小さい画素位置に対して相対的に重要度を増すように、車両からの離隔距離が大きく外乱の影響が大きい画素位置に対して相対的に重要度を減ずるように画像情報に対して重み付けを行うことで、外乱の影響が低減され同画像情報に基づく車線境界位置の検出精度が向上される。
【００１６】
また、車両からの離隔距離に基づき画素位置に応じた画像情報に対する重み付けが決定される。一般に、車両から走路を撮像したカメラの入力画像は、車両からの離隔距離に応じて異なる外乱の影響を受けていることが本出願人により確認されている。すなわち、車両から遠い位置に対応する画素位置では、画像情報がぼやけたり色がとんだりするためデータとしての信頼性が低い。このため、車両から近い位置に対応する画素位置での画像情報と同等の条件でデータとして使用すると、車線境界検出の精度に悪影響を及ぼす可能性がある。従って、車両からの離隔距離に基づき当該画素位置での外乱の影響に応じて対応する画像情報に対する重み付けを決定することで、同離隔距離に応じた外乱の影響が抑制される。
【００１７】
請求項２に記載の発明によれば、入力画像における車両からの離隔距離が互いに異なる領域内の全画素位置の画像情報に基づく同領域ごとの画像特性値の比較値をしきい値により判定処理することで、上記入力画像に対する外乱光の影響の有無が判定される。一般に、車両から走路を撮像したカメラの入力画像が外乱光の影響を受けているとき、互いに異なる領域（例えば、車両からの離隔距離が互いに異なる領域）内の画素位置の画像情報に基づく同領域ごとの画像特性値（例えば、当該領域内の画素位置に対応する全画像情報の平均値、分散値など）間に顕著な特性を有することが本出願人により確認されている。従って、これら領域ごとの画像特性値の比較値（例えば、差分、比率など）をしきい値により判定処理することで、上記入力画像に対する外乱光の影響の有無が判定される。この外乱光の影響の有無の判定結果に基づき前記画素位置に応じた画像情報に対する重み付けが変化されることで、車線境界位置の検出における外乱光の影響が抑制される。
【００１８】
請求項３に記載の発明によれば、車両からの離隔距離が互いに異なる領域は、同種対象物（例えば、車線境界位置を含まない走路など）に対応する画素位置に対してそれぞれ設定される。従って、互いに略同等な状態にあるべき領域において上記画像特性値がそれぞれ演算されることで、これら画像特性値に基づく外乱光の影響の有無がより正確に判定される。
【００１９】
請求項４に記載の発明によれば、上記比較値のしきい値によるいずれかの判定状態が所定時間継続することで入力画像に対する外乱光の影響の有無が判定されることで、ノイズ等による一時的な比較値（画像特性値）の変動によって外乱光の影響の有無が誤判定されることが回避される。
【００２０】
請求項５に記載の発明によれば、判別された外乱光の種類に応じて前記しきい値が変化される。
一般に、カメラの入力画像に基づく画素位置ごとの画像情報は、影響を受けている外乱光の種類に応じてその画素位置に応じた異なる特性を示すことが本出願人により確認されている。以下、車両の後方にカメラを搭載してその後方視界を取得した場合での、車両からの離隔距離（実際には、当該離隔距離に相当する画素位置）と対応する輝度値（画像情報）との実験的に求めた関係を図面を併せ参照して説明する。
【００２１】
図９は、外乱光の影響がない昼間の状態での上記関係を示すグラフである。同図から明らかなように、この状態では車両からの離隔距離に関係なく上記輝度値は略均一な特性を示す。
【００２２】
また、図１０は、外乱光として夕日、朝日の直接光や路面からの反射光の影響を受けている昼間の状態での上記関係を示すグラフである。同図から明らかなように、この状態では車両からの離隔距離が大きい側において同離隔距離が大きくなるに従い上記輝度値が著しく増加する特性を示す。
【００２３】
一方、図１１は、外乱光の影響がない夜間の状態での上記関係を示すグラフである。同図から明らかなように、この状態では自車両の車両ライト（尾灯）が点灯されていることで、車両からの離隔距離が小さくなるに従い上記輝度値が著しく増加する特性を示す。
【００２４】
また、図１２は、外乱光として後続車両の車両ライト（ヘッドライト）の影響を受けている夜間の状態での上記関係を示すグラフである。同図から明らかなように、この状態では自車両及び後続車両の各車両ライトによって、車両からの離隔距離が小さくなるに従い、及び同離隔距離が大きくなるに従い上記輝度値が著しく増加する特性を示す。
【００２５】
上記各特性（図９〜図１２）は、車両の後方にカメラを搭載した状態でのものであるが、車両の前方にカメラを搭載した状態においても略同等の特性が得られることが本出願人により確認されている。
【００２６】
以上により、上記画像情報は、影響を受けている外乱光の種類に応じてその画素位置に応じた異なる特性を示すことから、これに基づく上記領域ごとの画像特性値間の特性も、影響を受けている外乱光の種類に応じて自ずと異なることになる。従って、判別された外乱光の種類に応じて前記しきい値が変化されることで、同しきい値による外乱光の影響の有無がより正確に判定される。
【００２７】
【発明の実施の形態】
以下、本発明を具体化した一実施形態を図１〜図７に従って説明する。
図２は、本実施形態が適用される車両１を示す斜視図である。同図に示されるように、この車両１の後部ドア１ａの略中央部にはナンバープレート２の取付枠３が配置されており、その上部には撮像用のＣＣＤカメラ１１が設置されている。このＣＣＤカメラ１１は、図３に示す態様で車両１後方の路面の画像（映像）を取得するもので、その撮像範囲内に走行する車線４の境界線（車線標示で規定される車線の境界位置）である左白線５Ｌ及び右白線５Ｒの画像を含むように搭載されている。
【００２８】
図１は、本実施形態の車線境界検出装置１０を示す概略構成図である。同図に示されるように、この車線境界検出装置１０は、前記ＣＣＤカメラ１１と、メインスイッチ１２と、車両ライト点灯スイッチ１３と、画像情報変換手段、外乱光判定手段及び外乱光判別手段を構成するコントローラ１６とを備えている。
【００２９】
上記ＣＣＤカメラ１１は、取得した画像をアナログの映像信号として前記コントローラ１６に出力する。
上記メインスイッチ１２は利用者（運転者など）により操作されるシステム作動・停止用の操作スイッチであり、その操作状態に応じた信号を上記コントローラ１６に出力する。
【００３０】
上記車両ライト点灯スイッチ１３は利用者により操作される車両ライト点灯用の操作スイッチであり、その操作状態に応じた信号（車両ライト点灯信号）を上記コントローラ１６に出力する。
【００３１】
上記コントローラ１６は、制御マイコン（マイクロコンピュータ）２１と、輝度信号抽出回路２２と、入力回路２３，２４と、ＲＡＭ（ランダムアクセスメモリ）２７とを備えている。
【００３２】
上記輝度信号抽出回路２２は、ＣＣＤカメラ１１からの映像信号を入力して輝度信号を抽出し、この輝度信号を制御マイコン２１に出力する。
上記入力回路２３，２４は、それぞれメインスイッチ１２及び車両ライト点灯スイッチ１３からの各操作状態に応じた信号を入力してこれを制御マイコン２１に出力する。
【００３３】
制御マイコン２１は、これら輝度信号抽出回路２２及び入力回路２３，２４を介して入力した各信号に基づき後述の車線境界検出等の処理を行うとともに当該処理に係る各種データをＲＡＭ２７に一時記憶する。
【００３４】
図４は、本実施形態での車線境界検出の処理態様を示すフローチャートである。この処理は、前記メインスイッチ１２がオン操作されていることを前提に所定時間ごとの定時割り込みにて繰り返し実行される。
【００３５】
処理がこのルーチンに移行すると、制御マイコン２１は、ステップ１０１において各種データの入力処理を実行する。例えば制御マイコン２１は、前記車両ライト点灯スイッチ１３の操作状態に応じた車両ライト点灯信号を入力回路２４を介して入力する。
【００３６】
次いで、制御マイコン２１は、ステップ１０２に移行してカメラ映像の入力処理を実行する。具体的には、制御マイコン２１は、ＣＣＤカメラ１１の映像信号から抽出された輝度信号を入力してこれを各画素ごとにＡ／Ｄ（アナログ／デジタル）変換し、画素位置に関連づけた画像情報としての輝度データとしてＲＡＭ２７に一時記憶する。この画素位置は、ＣＣＤカメラ１１の撮像範囲（図３参照）に準じて定義される。なお、上記輝度データは、対応する輝度が明るい（白い）ほど大きく、暗い（黒い）ほど小さい値になる。例えば、この輝度データは８ビット（０〜２５５）で表されており、輝度が明るいほど値「２５５」に近づき、暗いほど値「０」に近づく。
【００３７】
なお、制御マイコン２１は、このカメラ映像の入力処理において、車両１からその後方への離隔距離が大きい（遠い）車線４の領域４１内の全画素位置及び同離隔距離が小さい（近い）車線４の領域４２内の全画素位置をそれぞれ設定する（図３参照）。特に、車線境界検出において左白線５Ｌ及び右白線５Ｒがともに検出されている状態では、制御マイコン２１は、両領域４１，４２がこれら左白線５Ｌ及び右白線５Ｒ間（すなわち、同種の対象物である走路）に配置されるようにする。そして、制御マイコン２１は、画像特性値としての領域４１内の全画素位置の輝度データの平均値Ｖａｖ１及び領域４２内の全画素位置の輝度データの平均値Ｖａｖ２を併せて演算し、ＲＡＭ２７に一時記憶する。これら平均値Ｖａｖ１，Ｖａｖ２は、後述の外乱光の判定処理に供されるものである。
【００３８】
次に、制御マイコン２１は、ステップ２００及びステップ３００のサブルーチンに順番に移行して、図５の外乱光判定処理及び画像情報変換処理を実行する。すなわち、ステップ２００のサブルーチンに移行した制御マイコン２１は、ステップ２０１において上記車両ライト点灯信号がオンかオフかを判断する。ここで、上記車両ライト点灯信号がオンと判断されると、制御マイコン２１は夜間での外乱光（例えば、後続車両のヘッドライトなど）の影響の有無を判定すべきとしてステップ２０２に移行する。そして、制御マイコン２１は、しきい値としての外乱光判定閾値Ｔを所定値Ｔ１に設定する。この外乱光判定閾値Ｔは、比較値としての前記平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａｖと大小比較されることで外乱光の影響（例えば、画像上に強い光源が存在することによるノイズ増加、コントラスト減少など）の有無判定に供されるものである。なお、上記差分ΔＶａｖは、外乱光の影響が大きいほどその値が正数側に大きくなる傾向にある。そして、所定値Ｔ１は夜間での外乱光の影響の有無を判定するのに好適な値に設定されている。具体的には、外乱光の影響がない夜間の状態では自車両１の車両ライト（尾灯）が点灯されていることで、車両１からの離隔距離が小さくなるに従い輝度データ（輝度値）が著しく増加する（図１１参照）。従って、平均値Ｖａｖ１よりも平均値Ｖａｖ２が大きくなり、上記差分ΔＶａｖは負数となる。一方、外乱光として後続車両の車両ライト（ヘッドライト）の影響を受けている夜間の状態では車両１からの離隔距離が小さくなるに従い、及び同離隔距離が大きくなるに従い輝度データ（輝度値）が著しく増加する（図１２参照）。従って、平均値Ｖａｖ１，Ｖａｖ２が略同等の大きさになり、上記差分ΔＶａｖは正数側へと推移する。従って、本実施形態では、上記夜間での外乱光の特性を考慮して上記所定値Ｔ１を値「０」に設定している。
【００３９】
一方、ステップ２０１において上記車両ライト点灯信号がオフと判断されると、制御マイコン２１は昼間での外乱光（例えば、夕日、朝日などの直接光や路面からの反射光など）の影響の有無を判定すべきとしてステップ２０３に移行する。そして、制御マイコン２１は、上記外乱光判定閾値Ｔを所定値Ｔ２に設定する。この所定値Ｔ２は昼間での外乱光の影響の有無を判定するのに好適な値に設定されている。具体的には、外乱光の影響がない昼間の状態では車両１からの離隔距離に関係なく上記輝度データ（輝度値）は略均一になる（図９参照）。従って、平均値Ｖａｖ１，Ｖａｖ２も略同等の大きさになる。一方、外乱光として夕日、朝日の直接光や路面からの反射光の影響を受けている昼間の状態では車両１からの離隔距離が大きい側において同離隔距離が大きくなるに従い上記輝度データ（輝度値）が著しく増加する（図１０参照）。そして、平均値Ｖａｖ２よりも平均値Ｖａｖ１が大きくなり、上記差分ΔＶａｖは正数側のより大きな値へと推移する。従って、外乱光判定閾値Ｔは高い値で設定した方が好ましく、本実施形態では上記昼間での外乱光の特性を考慮して上記所定値Ｔ２を値「４０」に設定している。
【００４０】
ステップ２０２若しくはステップ２０３において外乱光判定閾値Ｔの設定を行った制御マイコン２１は、ステップ２０４に移行する。そして、制御マイコン２１は、上記平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａｖが上記外乱光判定閾値Ｔ以上か否かを判断する。
【００４１】
ここで、上記差分ΔＶａｖが上記外乱光判定閾値Ｔ以上と判断されると、制御マイコン２１は外乱光の影響があると判定してステップ３００のサブルーチンに移行し、ステップ３０１において現在の外乱光判定閾値Ｔが夜間での所定値Ｔ１に設定されているか否かを判断する。
【００４２】
ステップ３０１において現在の外乱光判定閾値Ｔが夜間での所定値Ｔ１に設定されていると判断されると、制御マイコン２１はステップ３０２に移行して夜間に対応する輝度データの重み付け処理（画像情報変換処理）を行う。具体的には、車両１からの離隔距離Ｚ（ｍ）に基づき対応する画素位置の輝度データｏ＿Ｖｘｙに対し下式に基づく補正を加えて重み付けを行い、車線境界検出用の新たな輝度データｎ＿ＶｘｙとしてＲＡＭ２７に記憶・設定する。なお、下式では便宜的に離隔距離Ｚに基づき輝度データｏ＿Ｖｘｙの補正を行っているが、実際には制御マイコン２１は離隔距離Ｚを当該画素の垂直方向の位置に対応させて補正している。
【００４３】
ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ（Ｚ≦４）
ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ×（１−０．２５×（Ｚ−４））（４＜Ｚ＜８）
ｎ＿Ｖｘｙ＝０（８≦Ｚ）
図６（ａ）は、輝度データｏ＿Ｖｘｙに対する画素位置に応じた重み付けの係数を示すグラフである。同図から明らかなように、夜間において外乱光の影響があると判定された場合には、車両１からの離隔距離が大きい位置での輝度データの信頼性が低いことを考慮して相対的に重要度を低減するように補正を加えている。
【００４４】
一方、ステップ３０１において現在の外乱光判定閾値Ｔが昼間での所定値Ｔ２に設定されていると判断されると、制御マイコン２１はステップ３０３に移行して昼間に対応する輝度データの重み付け処理（画像情報変換処理）を行う。具体的には、車両１からの離隔距離Ｚ（ｍ）に基づき対応する画素位置の輝度データｏ＿Ｖｘｙに対し下式に基づく補正を加えて重み付けを行い、車線境界検出用の新たな輝度データｎ＿ＶｘｙとしてＲＡＭ２７に記憶・設定する。なお、下式でも便宜的に離隔距離Ｚに基づき輝度データｏ＿Ｖｘｙの補正を行っているが、実際には制御マイコン２１は離隔距離Ｚを当該画素の垂直方向の位置に対応させて補正している。
【００４５】
ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ（Ｚ≦３）
ｎ＿Ｖｘｙ＝ｏ＿Ｖｘｙ×（１−０．２５×（Ｚ−３））（３＜Ｚ＜７）
ｎ＿Ｖｘｙ＝０（７≦Ｚ）
図６（ｂ）は、輝度データｏ＿Ｖｘｙに対する画素位置に応じた重み付けの係数を示すグラフである。同図から明らかなように、昼間において外乱光の影響があると判定された場合にも、車両１からの離隔距離が大きい位置での輝度データの信頼性が低いことを考慮して相対的に重要度を低減するように補正を加えている。
【００４６】
また、ステップ２０４において上記差分ΔＶａｖが上記外乱光判定閾値Ｔ未満と判断されると、制御マイコン２１は外乱光の影響がないと判定してステップ３００のサブルーチンに移行する。そして、ステップ３０４においてこのときの輝度データｏ＿Ｖｘｙをそのまま輝度データｎ＿ＶｘｙとしてＲＡＭ２７に記憶・設定する。すなわち、輝度データｏ＿Ｖｘｙに対する画素位置に応じた重み付け処理（画像情報変換処理）を行わない。
【００４７】
そして、ステップ３０３〜３０４のいずれかの処理を行った制御マイコン２１は、図４のステップ１０３に移行して白線候補点検出処理を実行する。具体的には、制御マイコン２１は、ステップ３０３〜３０４のいずれかにおいてＲＡＭ２７に一時記憶した各画素の輝度データｎ＿Ｖｘｙを順次、水平方向に１ライン分ずつ読み込む（走査する）。すなわち、制御マイコン２１は、ＲＡＭ２７より画素位置が水平方向に並ぶ各画素の輝度データｎ＿Ｖｘｙをまとめて読み込む。図７は、水平方向の所定ラインに並ぶ各画素の位置と対応する輝度データｎ＿Ｖｘｙの一例を示すグラフである。同図に示されるように、水平方向に並ぶ各画素の輝度データｎ＿Ｖｘｙは、例えば車線４の左白線５Ｌ、右白線５Ｒに対応して明るくなることでピークを示す。従って、制御マイコン２１は、各水平方向のラインごとに輝度データｎ＿Ｖｘｙと所定の白線候補点検出しきい値とを大小比較することで、白線に対応する画素位置の候補（白線候補点）を抽出する。制御マイコン２１は、所要数（あるいは全て）の水平方向のラインについて上記白線候補点を抽出する。そして、制御マイコン２１は、抽出された全ての白線候補点（画素位置）をＲＡＭ２７に一時記憶する。
【００４８】
次いで、制御マイコン２１は、ステップ１０４に移行して白線候補直線検出処理を実行する。具体的には、制御マイコン２１は、ＲＡＭ２７に一時記憶した白線候補点を読み込んでこの点群を直線にあてはめる。この直線にあてはめる手法として、例えばＨｏｕｇｈ（ハフ）変換が文献等（「松山隆司他：コンピュータビジョン、１４９／１６５、新技術コミュニケーションズ：１９９９」、「Ｐ．Ｖ．Ｃ．Ｈｏｕｇｈ：Ｍｅｔｈｏｄｓ ａｎｄ ｍｅａｎｓ ｆｏｒ ｒｅｃｏｇｎｉｚｉｎｇ ｃｏｍｐｌｅｘ ｐａｔｔｅｒｎｓ，Ｕ．Ｓ．Ｐａｔｅｎｔ Ｎｏ．３０６９６５４（１９６２）」）で知られている。また、この点群を最小２乗法で直線にあてはめてもよい。あるいは、特徴量抽出等のその他各種の手法を採用してもよい。
【００４９】
次に、制御マイコン２１は、ステップ１０５に移行して複数ある白線候補直線から最も確からしい２本の直線を抽出する。これら直線は、車両１の両側に対応する画素位置において各１本ずつ抽出される。この直線の抽出に当たっては、例えば前回の検出結果からの車両１のピッチ、ロール、ヨーの各角度、横方向の移動距離つまり、車両１が所定時間内で移動しうる範囲と車線幅の範囲とが考慮される。制御マイコン２１は、抽出された一対の白線を画素位置に対応させてＲＡＭ２７に一時記憶する。そして、制御マイコン２１は、その後の処理を一旦終了する。
【００５０】
なお、以上の態様で認識・検出された白線は、例えば自車両１との相対位置と関連付けられて車線４からの逸脱判定に供される。
以上詳述したように、本実施形態によれば、以下に示す効果が得られるようになる。
【００５１】
（１）本実施形態では、外乱の影響が小さい画素位置に対して相対的に重要度を増すように、外乱の影響が大きい画素位置に対して相対的に重要度を減ずるように輝度データ（ｏ＿Ｖｘｙ）に対して重み付けを行うことで、外乱の影響が低減され同輝度データに基づく白線５Ｌ，５Ｒの検出精度を向上できる。
【００５２】
（２）本実施形態では、車両１からの離隔距離に基づき当該画素位置での外乱の影響に応じて対応する輝度データ（ｏ＿Ｖｘｙ）に対する重み付けを決定することで、同離隔距離に応じた外乱の影響を抑制できる。
【００５３】
（３）本実施形態では、互いに異なる領域４１，４２内の画素位置の輝度データに基づく同領域４１，４２ごとの平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａｖを外乱光判定閾値Ｔにより判定処理することで、外乱光の影響の有無が判定される。この外乱光の影響の有無の判定結果に基づき前記画素位置に応じた輝度データに対する重み付けが変化されることで、白線５Ｌ，５Ｒの検出における外乱光の影響を抑制できる。
【００５４】
（４）本実施形態では、両白線５Ｌ，５Ｒが検出されている状態では、互いに異なる領域４１，４２を同種対象物（白線５Ｌ，５Ｒを含まない走路）に対応する画素位置に対してそれぞれ設定した。従って、互いに略同等な状態にあるべき領域４１，４２において上記平均値Ｖａｖ１，Ｖａｖ２をそれぞれ演算したことで、これら平均値Ｖａｖ１，Ｖａｖ２に基づく外乱光の影響の有無をより正確に判定できる。
【００５５】
（５）本実施形態では、車両ライト点灯信号により夜間若しくは昼間を判断することで、影響を受けている外乱光の種類（夜間にあっては後続車両のヘッドライト、昼間にあっては夕日、朝日の直接光や路面からの反射光など）を判別した。そして、判別された外乱光の種類に応じて外乱光判定閾値Ｔを変化させた。従って、この外乱光判定閾値Ｔによる外乱光の影響の有無をより正確に判定できる。
【００５６】
（６）本実施形態では、外乱光の影響の有無の判定結果に応じて車線境界検出に係る処理を分けることができる。
（７）本実施形態では、外乱光の影響の有無に応じた車線境界検出を行うことで、特にＣＣＤカメラ１１からの画像が外乱光によるノイズ等の影響を受けている状態において、破線等のように非連続的な白線又はかすれた白線等を検出する際に有効である。
【００５７】
なお、本発明の実施の形態は上記実施形態に限定されるものではなく、次のように変更してもよい。
・前記実施形態においては、白線候補点の検出にあたって水平方向の各画素の輝度データｎ＿Ｖｘｙと白線候補点検出しきい値とを比較した（ステップ１０３及び図７参照）。これに対して、図８に示されるように、水平方向の各画素について当該位置に隣接する画素との輝度データｎ＿Ｖｘｙの偏差を輝度微分値として演算し、この立ち上がり及び立ち下がりの微分値の大きさ（絶対値）と同様の白線候補点検出しきい値とを比較することで、白線候補点を検出してもよい。
【００５８】
・前記実施形態においては、ＣＣＤカメラ１１からの映像信号から輝度信号を抽出して、これに基づく輝度データにて白線検出を行った。これに対して、例えばカラータイプのカメラでは、その映像信号から色相（色合い）のデータを抽出し、これに基づき白線検出を行ってもよい。
【００５９】
・前記実施形態においては、各領域４１，４２内の画素位置の全輝度データに基づき平均値Ｖａｖ１，Ｖａｖ２をそれぞれ演算し、これに基づき外乱光の影響の有無を判定した。これに対して、例えば各領域４１，４２内の画素位置の全輝度データに基づき合計値、若しくは分散値をそれぞれ演算し、これに基づき外乱光の影響の有無を判定してもよい。あるいは、各領域４１，４２内の水平方向の各画素について当該位置に隣接する画素との輝度データの偏差を輝度微分値として演算し、これに基づき全輝度微分値の平均値、合計値若しくは分散値を演算して外乱光の影響の有無を判定してもよい。
【００６０】
・前記実施形態においては、平均値Ｖａｖ１，Ｖａｖ２の差分ΔＶａｖと外乱光判定閾値Ｔとの大小関係に基づき外乱光の影響の有無を判定した。これに対して、平均値Ｖａｖ１，Ｖａｖ２の比率と同様の外乱光判定閾値との大小関係に基づき外乱光の影響の有無を判定してもよい。
【００６１】
・前記実施形態においては、上記差分ΔＶａｖと外乱光判定閾値Ｔとの大小関係に基づき演算の都度に外乱光の影響の有無を判定した。これに対して、上記差分ΔＶａｖと外乱光判定閾値Ｔとの大小関係に基づくいずれかの判定状態が所定時間継続することで外乱光の影響の有無を判定してもよい。なお、所定時間の継続として、例えばタイマによりいずれかの判定状態が継続する実時間をカウントしてもよく、あるいはいずれかの判定状態が繰り返される演算回数をカウントしてもよい。このように変更することで、ノイズ等による一時的な差分ΔＶａｖ（平均値Ｖａｖ１，Ｖａｖ２）の変動によって外乱光の影響の有無が誤判定されることを回避できる。
【００６２】
・前記実施形態においては、車両ライト点灯信号により夜間若しくは昼間を判断することで、影響を受けている外乱光の種類（夜間にあっては後続車両のヘッドライト、昼間にあっては夕日、朝日の直接光や路面からの反射光など）を判別した。これに代えて、若しくはこれに加えて、例えば所定領域内の画素位置の輝度データ等に基づく平均輝度値、ナビゲーションシステムの進行方向情報の少なくとも１つを用いて影響を受けている外乱光の種類を判別してもよい。
【００６３】
・前記実施形態においては、影響を受けている外乱光の種類に応じて外乱光判定閾値Ｔを変えたが、差分ΔＶａｖ（平均値Ｖａｖ１，Ｖａｖ２）に同様の補正を加えてもよく、本発明を何ら逸脱するものではない。
【００６４】
・前記実施形態において、影響を受けている外乱光の種類に応じて抽出する領域４１，４２を変えてもよい。
・前記実施形態における画素位置に応じた輝度データｏ＿Ｖｘｙの重み付け処理態様（図６参照）は一例であってその他の態様を採用してもよい。例えば、車両１からの離隔距離が大きい位置に相当する画素位置に対しては車線境界検出のためのデータとして採用せず、処理範囲の限定されたデータのみを利用して車線境界検出を行ってもよい。
【００６５】
・前記実施形態においては、画素位置に応じた輝度データｏ＿Ｖｘｙの重み付け処理を予め設定された規定値を用いて行った。これに対して、画素位置に応じた輝度データｏ＿Ｖｘｙの重み付け処理を、そのときの画像情報から導出した値を用いて行ってもよい。
【００６６】
・前記実施形態においては、外乱光の影響があると判定された場合にのみ画素位置に応じた輝度データｏ＿Ｖｘｙの重み付け処理を行った。しかしながら、外乱光の影響の有無に関係なく、車両から遠い位置では分解能が悪く、外乱（ノイズなど）の影響を受けやすい。従って、外乱光の影響の有無を判定することなく、車両からの離隔距離が大きい位置に相当する画素位置に対してその重要度を低減するように重み付け処理を行ってもよい。
【００６７】
ただし、全ての状況で重要度を低減するように重み付け処理を行うと、車線境界検出に係る情報量を徒に少なくすることとなる。従って、外乱光の影響の有無を考慮した重み付け処理を行う方が有効である。
【００６８】
・前記実施形態においては、ＣＣＤカメラ１１により車両１の後方画像を取得し、これに基づく画像認識にて白線５Ｌ，５Ｒを検出した。これに対して、例えばＣＣＤカメラ１１を車両１の側部若しくは前部に設置する。そして、ＣＣＤカメラ１１により車両１の側方画像若しくは前方画像を取得し、これに基づく画像認識にて白線５Ｌ，５Ｒを検出しても、前記実施形態と同様の効果が得られる。
【００６９】
・前記実施形態においては、撮像用にＣＣＤカメラ１１を採用したが、例えば赤外線カメラやＣＭＯＳカメラなどでもよい。
・例えば、無人搬送車やロボット、路線バスや自動倉庫などに適用しうる自動走行可能な車両システムに本発明を適用してもよい。
【００７０】
【発明の効果】
以上詳述したように、請求項１に記載の発明によれば、カメラからの入力画像に基づき画素位置に対応させて取得される画像情報を画素位置に応じて外乱の影響を低減するように補正し、車線境界位置の検出精度を向上することができる。
【００７１】
また、車両からの離隔距離に基づき当該画素位置での外乱の影響に応じて対応する画像情報に対する重み付けを決定することで、同離隔距離に応じた外乱の影響を抑制できる。
【００７２】
請求項２に記載の発明によれば、外乱光の影響の有無の判定結果に基づき画素位置に応じた画像情報に対する重み付けが変化されることで、車線境界位置の検出における外乱光の影響を抑制できる。
【００７３】
請求項３に記載の発明によれば、互いに略同等な状態にあるべき領域において上記画像特性値がそれぞれ演算されることで、これら画像特性値に基づく外乱光の影響の有無をより正確に判定できる。
【００７４】
請求項４に記載の発明によれば、ノイズ等による一時的な比較値（画像特性値）の変動によって外乱光の影響の有無が誤判定されることを回避できる。
請求項５に記載の発明によれば、判別された外乱光の種類に応じてしきい値が変化されることで、同しきい値による外乱光の影響の有無をより正確に判定できる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す概略構成図。
【図２】同実施形態が適用される車両を示す斜視図。
【図３】ＣＣＤカメラの画像を示す模式図。
【図４】同実施形態の車線境界検出の処理態様を示すフローチャート。
【図５】同実施形態の車線境界検出の処理態様を示すフローチャート。
【図６】画素位置に応じた重み付け処理を説明するグラフ。
【図７】水平方向の所定ラインに並ぶ各画素の位置と対応する輝度データの一例を示すグラフ。
【図８】水平方向の所定ラインに並ぶ各画素の位置と対応する輝度微分値の一例を示すグラフ。
【図９】外乱光の影響がない昼間の状態での画素位置と輝度値との関係を示すグラフ。
【図１０】外乱光の影響がある昼間の状態での画素位置と輝度値との関係を示すグラフ。
【図１１】外乱光の影響がない夜間の状態での画素位置と輝度値との関係を示すグラフ。
【図１２】外乱光の影響がある夜間の状態での画素位置と輝度値との関係を示すグラフ。
【符号の説明】
１ 車両
４ 車線
５Ｌ 車線境界位置としての左白線
５Ｒ 車線境界位置としての右白線
１１ ＣＣＤカメラ
１５ 報知手段を構成するブザー
１６ 画像情報変換手段、外乱光判定手段及び外乱光判別手段を構成するコントローラ
１３ 車両ライト点灯スイッチ
４１，４２ 領域

Claims (5)

1. 車両の後方又は前方に搭載されて走路を撮像するカメラからの入力画像に基づき画素位置に対応させて画像情報を取得し、該画像情報に基づき路面上に描かれた車線境界位置を検出する車線境界検出装置において、
   前記入力画像における前記車両からの離隔距離と関連付けられた前記画素位置に応じて前記画像情報に対し重み付けを行なう画像情報変換手段を備え、前記車両からの離隔距離が小さく外乱の影響が小さい画素位置に対して相対的に重要度を増し、前記車両からの離隔距離が大きく外乱の影響が大きい画素位置に対して相対的に重要度を減ずるように、画像情報に対して画素位置に応じた重み付けを行うことを特徴とする車線境界検出装置。
2. 前記入力画像における前記車両からの離隔距離が互いに異なる領域内の全画素位置の画像情報としての輝度データに基づき該領域ごとの画像特性値としての平均値又は分散値をそれぞれ演算し、これら画像特性値の比較値としての差分又は比率をしきい値と比較することにより判定処理することで前記入力画像に対する外乱光の影響の有無を判定する外乱光判定手段を備え、
   前記画像情報変換手段は、前記外乱光判定手段による外乱光の影響の有無の判定結果に基づき外乱光の影響が有ると判定された場合に、前記画素位置に応じた画像情報に対する重み付けを行うことを特徴とする請求項１に記載の車線境界検出装置。
3. 前記車両からの離隔距離が互いに異なる領域は、同種対象物に対応する画素位置に対してそれぞれ設定されることを特徴とする請求項２に記載の車線境界検出装置。
4. 前記外乱光判定手段は、前記比較値の前記しきい値によるいずれかの判定状態が所定時間継続することで前記入力画像に対する外乱光の影響の有無を判定することを特徴とする請求項２又は３に記載の車線境界検出装置。
5. 車両ライト点灯信号、所定領域内の画素位置の画像情報に基づく平均輝度情報及びナビゲーションシステムの進行方向情報の少なくとも１つを用いて前記入力画像に影響を及ぼす外乱光の種類を判別する外乱光判別手段を備え、
   前記外乱光判定手段は、前記判別された外乱光の種類に応じて前記しきい値を変化させることを特徴とする請求項２〜４のいずれかに記載の車線境界検出装置。

Images