JPH05314396A

JPH05314396A - 連続線追跡装置

Info

Publication number: JPH05314396A
Application number: JP14688592A
Authority: JP
Inventors: Ryoji Fujioka; 良治藤岡
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1992-05-13
Filing date: 1992-05-13
Publication date: 1993-11-26

Abstract

(57)【要約】【目的】道路の白線のように連続的な線を逐次ウイン
ドウを追跡設定しながら抽出するに際し、検出精度の向
上と、処理時間の短縮を相互に図ること【構成】車両の前方の道路の表面の状態を撮影する画
像入力装置１の出力が、画像記憶手段２に入力される。
この記憶手段には、ウインドウ設定手段３並びに白線検
出手段４がそれぞれ接続さる。白線検出手段では、設定
されたウインドウ内をエッジ検出処理することにより白
線の有無を検出し、検出結果がウインドウ設定手段並び
に信頼度算出手段に送られる。信頼度算出手段では、エ
ッジ抽出できた度合いから信頼度を求め、それをウイン
ドウ幅決定手段６に送り、そこにおいて信頼度が高いほ
ど次に設定するウインドウ幅を狭く決定し、その結果を
ウインドウ設定手段に送る。前記ウインドウ設定手段で
は、与えられた前記抽出された白線の延長線上に、前記
決定された幅からなるウインドウを設定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、連続線追跡装置に関す
るもので、例えば、道路幅（領域）を抽出するためにそ
の道路上に形成された白線を検出するために用いられる
装置に関する。

【０００２】

【従来の技術】道路認識を行うためには、車両に取り付
けたカメラにより前方の道路の表面情報を取り込み、所
定の画像処理を行って左右に位置する白線（中央線，車
両通行帯境界線等）をそれぞれ抽出する。そして、その
抽出した２本の白線間が自車両が走行している道路領域
と検出することができる。

【０００３】そして上記の画像処理の方法としては、上
記白線が連続線であることから、以下の方式をとること
が考えられる。すなわちまず、画像中に任意の範囲のウ
インドウ（１本の白線の一部を含むようにエリアを設定
する）を設定し、そのウインドウ内で輝度等に対する微
分処理を行いエッジを検出することによりウインドウ内
の白線を抽出し、次にその白線の延長線上にウインドウ
を移動設定し、その新たに設定したウインドウ内で上記
白線の抽出処理を行う。そして、上記処理を繰り返し行
うことにより、白線（連続線）の追跡を行うことができ
るのである。

【０００４】この方式によれば、白線の存在箇所が予測
できるために誤検出が少なくなるとともに、エッジを検
出する際に行う微分処理対象の面積も小さくすることが
できる（画像全体でなくウインドウ内だけですむ）た
め、高速処理が行え、道路情報のように、リアルタイム
で逐次新しい画像（動画）情報が送られてくるものに対
しても対処することが可能となる。

【０００５】

【発明が解決しようとする課題】ところで、本発明者が
知得したところによると、道路表面に形成された白線
（より具体的には白線のエッジ）の検出精度は、形成直
後の周囲の道路表面との輝度の差等が明確な時には、エ
ッジが顕著にあらわれ精度が高くなり、一方、比較的時
間が経過したり、道路の表面が全体的に汚れたりしてい
る時には、白線の境界部分が不明確になり白線抽出がし
にくくなるという現象が生じる。

【０００６】さらに、白線の一部が剥がれたりまたは汚
れたりしていることがあり、その場合には、部分的に抽
出しにくくなったりすることがあり、検出精度が、場所
によりばらつくことになる。

【０００７】しかしながら、上記した方式では、次に設
定するウインドウの幅が固定であったため、例えば、ウ
インドウ幅を狭く設定すると、検出能力が低下するた
め、上記のように白線のエッジが不鮮明になった場合に
は検出不能となり、白線の追跡ができなくなるおそれが
ある。一方、逆にウインドウの幅を広くした場合には、
上記のような場合における白線のエッジでも、それを抽
出する可能性は高くなるが、それにともない本来検出す
べき白線のエッジではないノイズを検出する可能性も増
加する。その結果、白線のエッジが鮮明の時にはかえっ
て検出精度が低下するという弊害を招く。しかも、処理
エリアが広くなるため、処理時間も長くなるという問題
を生じる。

【０００８】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、ノイズの影響を可及
的に抑制しつつ線の検出精度の向上を図り、さらに、で
きるだけ処理時間を短縮することのできる連続線追跡装
置を提供することにある。

【０００９】

【課題を解決するための手段】上記した目的を達成する
ために、本発明に係る連続線追跡装置では、前記画像中
の所定位置に所定幅のウインドウを設定するウインドウ
設定手段と、そのウインドウ設定手段により設定された
前記ウインドウ内に存在する線を抽出する線抽出手段
と、その線抽出手段における抽出結果の信頼度を算出す
る信頼度算出手段と、その信頼度算出手段にて求めた信
頼度の大小に応じて次に設定するウインドウの幅の狭広
を設定し、それを前記ウインドウ設定手段に送るウイン
ドウ幅決定手段とを備え、かつ前記所定位置が、前記線
抽出手段により抽出された線の延長線上とした。

【００１０】

【作用】検出した画像中の所定位置にウインドウを設定
する。この時、１つのウインドウには１本の線が存在す
るような位置に調整する。そして、そのウインドウ内に
存在する線をエッジ検出その他の種々の検出（画像処
理）方法を用いて抽出する。次いで、設定されたウイン
ドウをその線の延長線上に再設定し、再度、線を抽出す
る。以後、この処理を繰り返し行い、一画像中に存在す
る連続線を追跡しながら抽出する。

【００１１】この時、信頼度算出手段にてウインドウ内
での抽出処理の結果の信頼度を求め、信頼度が低い場合
には、抽出した線の延長線上に実際の線がない確率が高
くなるため、ウインドウ幅決定手段により次に設定する
ウインドウの幅を広く設定する。また逆に抽出結果の信
頼度が高いときには、抽出した線の延長線上に実際の線
が位置する確率が高くなるため、ウインドウ幅を狭く設
定する。そして、その設定結果に基づいてウインドウ設
定手段を作動させ、次のウインドウを設定する。これに
より、信頼度の低い時には、次に設定されるウインドウ
の幅は広くなるため、確実に線を抽出することができ、
また、信頼度が高い時には次に設定されるウインドウの
幅が狭くなるため、ノイズを拾うおそれが可及的に減少
し、かつ、処理エリアが狭くなることから高速処理が行
われる。そして、たとえ狭くても前に抽出した線の延長
線上に次の線が存在する確率が高いため、確実に抽出さ
れる。

【００１２】

【実施例】以下、本発明に係る連続線追跡装置の好適な
実施例を添付図面を参照にして詳述する。図１は、本発
明に係る連続線追跡装置の一実施例を示しており、本例
では、道路認識装置に適用した例について説明する。

【００１３】同図に示すように、１はＴＶカメラやＣＣ
Ｄカメラ等の画像入力装置であり、車両の前面所定位置
や、車室内のバックミラー近傍所定位置等に取り付けら
れ、前方の道路の表面の状態を撮影することができるよ
うになっている。この画像入力装置１の出力が、フレー
ムメモリからなる画像記憶手段２に入力されるようにな
っている。この画像記憶手段２は、本例では画像入力装
置１で検出した道路の表面情報を濃淡画像として記憶す
るようになっている。

【００１４】また、上記画像記憶手段２には、ウインド
ウ設定手段３並びに白線抽出手段４がそれぞれ接続され
ており、ウインドウ設定手段３により、上記画像記憶手
段２に記憶された処理対象となる一画像上の所定位置に
ウインドウを設定するようになっている。具体的には、
その画像に対して最初に設定する初期ウインドウは、予
め設定された所定位置（画像の下方部位）に比較的広い
面積のウインドウを設定し、２回目以降に行う再設定
は、前回設定したウインドの上辺に再設定のウインドウ
の下辺が接する所定位置に設定するようになっている。
そして、再設定の位置は、基本的には白線抽出手段４か
ら送られてくる情報信号に基づいて、前回設定したウイ
ンドウ内に位置する白線の延長線上の白線が存在する部
位を含むエリアを設定するようになっている。

【００１５】また、白線抽出手段４は、上記ウインドウ
設定手段３にて設定されたウインドウのエリア内に対し
て、例えばソーベルの演算子等を用いて微分処理を行
い、白線（追い越し禁止を示す黄色い線も含む）の左右
のエッジを検出するようになっている。この時、エッジ
画像には正負の値をもたせておく。これにより、一方向
に走査していった場合、例えば通常の道路部分（白線が
形成されていない部分）から白線になる境界では明るく
なるため正のピーク値があらわれ、逆に白線から通常の
道路部分になる境界では負のピーク値があらわれる。そ
して、それら正負のピーク値の間が白線の領域（幅）と
なる。そして、係る微分処理を、水平方向（ｘ軸方向）
の１ライン毎に順次行い、対となるピーク値の間隔が所
定のしきい値以下ならそのペアは白線の両側のエッジを
示すものと判断し、その中点を白線の代表点とする。但
し、ノイズ等の影響を抑えるため、上記ピーク値（正及
び負）には所定のしきい値を設定し、そのしきい値を超
えた正負のピーク値を対象とするようにしている。ま
た、ピーク値のペアが複数検出された場合には、それぞ
れのペア間の幅を求め、最も白線の幅に近いペアを抽出
し、その中点（代表点）を求める。

【００１６】そして係る複数の代表点を直線近似して白
線の方向を算出する。そして、白線情報、より具体的に
は、上記直線近似して得られた白線の方向を示す直線と
ウインドウの上枠との交点座標（ｘ，ｙ）を、上記ウイ
ンドウ設定手段３に送るようになっており、ウインドウ
設定手段３では、その交点座標（ｘ，ｙ）を中点となる
ように所定幅のウインドウを設定するのである。

【００１７】また、白線抽出手段４では、ウインドウ内
で検出できた代表点の数を信頼度算出手段５に送るよう
になっている。この信頼度算出手段５では、白線抽出手
段４で抽出した白線の信頼性を求めるもので、具体的に
は、下記式により求められる。

【００１８】

【数１】信頼度＝代表点の数／ウインドウのＹ座標数
（走査した回数）そして、上記信頼度の数値が大きいほど、検出できた代
表点（ピーク値のペア）の割合が大きいため、抽出結果
の信頼性が高い。このようにして算出された信頼度が次
段のウインドウ幅決定手段６に送るようになっている。

【００１９】ウインドウ幅決定手段６では、与えられた
信頼度から、次に設定するウインドウの幅（Ｘ座標方
向）を決定し、それを上記ウインドウ設定手段３に送る
ようになっている。すなわち、基本的には信頼度が低い
時には幅を広くし、逆に信頼度が高い時には幅を狭くす
るようにしている。そして、具体的な処理としては、上
記信頼度に所定の係数を掛けたりすることにより、信頼
度の増減に対して連続的に幅を増減させるようにしても
良く、或いは、１または複数のしきい値を設定し、段階
的に変化させるようにしても良く、任意の手法をとるこ
とができる。

【００２０】なお、上記白線抽出手段４における抽出結
果は、図示省略するが、従来と同様に各種装置に送ら
れ、所定の処理がなされる。すなわち、例えば道路認識
装置に送られる場合には、画面上の左右両側に存在し、
抽出された２本の平行線の間が道路部分と認識すること
ができる。また、上記出力から画像中のどの位置に白線
が存在するかを検出することにより、例えば、車両が車
線のどの位置（中央或いは左／右より）を走っているか
等を抽出することもできるなど、種々の利用がなされ
る。

【００２１】次に上記した実施例の作用について図２に
示すフローチャート図に基づいて説明する。まず、画像
入力装置１を用いて、車両の前方の道路情報を逐次取り
込む。そして、１フレームごとに画像処理を行い、白線
を抽出する。この時、仮にその撮影した処理対象となる
一画像が、例えば図３に示すように、左側の白線Ｌが実
線からなる連続線で、右側の白線Ｒが破線からなる連続
線であったとし、また、便宜上画像の上下方向がＹ軸、
左右方向がＸ軸として、以下説明する。

【００２２】すなわち、画像データを取り込んだ後、ウ
インドウ設定手段３を用いて、その画像の所定位置に初
期ウインドウを設定する（Ｓ１０１，１０２）。本例で
は、車両前方に位置する白線は、車両の左右両側にある
ため、原則として画面上には左右両側に上下方向に伸び
るようにしてあらわれる。そこで、それら両白線を同時
に検出すべく、Ｘ軸方向に２つのウインドウを設定して
いくようにしている。そして、その初期ウインドウｌ
１，ｒ１は、２本の白線をそれぞれ抽出することから、
画像の左右両側下方部位に設定する。ついで、両初期ウ
インドウｌ１，ｒ１内のエリアに対して、白線検出手段
４を用いて上記したエッジ検出による白線の抽出処理を
行う（Ｓ１０３）。なお、左右両側とも同一の処理手順
により逐次ウインドウを設定して白線の追跡を行うの
で、以下、一方の白線Ｌに対する追跡処理について説明
する。

【００２３】ついで、上記白線処理の結果得られる代表
点から、白線検出手段４によりその画像上の座標から直
線近似を行い初期ウインドウｌ１の上辺と、近似した直
線（白線）との交点座標（ｘ，ｙ）を求め、また、信頼
度算出手段５並びにウインドウ幅決定手段６にて、抽出
した白線の信頼度を求めると共に、その信頼度から次に
設定する追跡ウインドウの幅を決定する（Ｓ１０５，１
０６）。

【００２４】すなわち、たとえ白線Ｌのように実線であ
ったとしても、その一部が汚れていたり、剥がれていた
りすることがあり、さらには、光線やその他種々の原因
にともない白線のエッジと道路表面との濃淡の差が少な
くエッジ検出できないか、或いは検出できたとしてもそ
の差が少ないためにピーク値が所定のしきい値を超えな
いなどして、その走査線の箇所には白線が存在しない
（代表点がない）と判断されることがある。その結果、
抽出された代表点は、例えば図４（Ａ）に示すように、
ピーク値のペア（＋，−）並びにその中点である代表点
（×）は、比較的疎らに存在することになる。また、逆
にエッジ部分での濃淡の差が顕著で、同図（Ｂ）に示す
ように、殆どすべての走査線上にピーク値のペア並びに
その中点である代表点が抽出できることもある。

【００２５】そして、同図（Ａ）に示すように、抽出さ
れたピーク値のペア（代表点）の数が少なければ、その
抽出結果の信頼度が低く、直線近似（図中実線で示す）
した結果が、実際の白線の位置を示しているとは限ら
ず、その直線の延長線上に白線が存在する確率が低くな
る。その結果、図示するように設定するウインドウ幅を
広くし、白線抽出エリアを大きくすることにより、たと
え、今回の抽出結果が誤っていたとしても確実に次のウ
インドウにおける白線抽出処理で実際の白線を抽出する
ことが可能となる。

【００２６】一方、同図（Ｂ）のように、抽出されたピ
ーク値のペア（代表点）の数が多ければ、その抽出結果
の信頼度が高く、直線近似した線の延長線上に白線の存
在確率が高くなる。その結果、図示するように設定する
ウインドウ幅を狭くする。これにより、ノイズを抽出す
る可能性が少なくなると共に、抽出処理を行うエリアが
少なくなるため、高速処理が可能となる。

【００２７】次に、現在処理している画像に追跡ウイン
ドウが設定できるか否か、すなわち、ウインドウが一つ
の画像の上端に行っていないかを判断（Ｓ１０６）し、
設定可能な場合には、抽出した白線の延長線上に追跡ウ
インドウを設定（Ｓ１０７）する。すなわち、ウインド
ウ設定手段３では、白線検出手段４から送られてきた交
点座標データ（ｘ，ｙ）並びにウインドウ幅決定手段６
から送られてきた幅データに基づいて、白線の延長線上
に次の追跡ウインドウｌ２を設定する。具体的には、上
記交点座標が追跡ウインドウの下辺の中点位置にくるよ
うに、所定幅の追跡ウインドウを設定する。なお、本例
では、追跡ウインドウのＹ軸方向の高さは一定にしてい
るが、適宜変更するのは構わない。そして、その変更も
本発明のように信頼度が高いほど短く、また低いほど長
くするようにする他、種々の手段を採ることができる。
そして、ステップ１０３に戻り、設定した所定幅の追跡
ウインドウ内に対して白線の抽出処理をする。そして、
ウインドウの設定並びに設定したウインドウ内の白線抽
出を繰り返し行う。

【００２８】一方、上記ステップ１０６の判断にて、現
在処理中の画像の上方所定位置にウインドウがきた場合
には、それ以上の追跡ウインドウの設定ができないた
め、次画面の有無を確認し（Ｓ１０８）、ある場合には
ステップ１０１に戻り、次の画像を取り込み、以後上記
処理を繰り返し行う。また、無い場合には処理を終了す
る。

【００２９】ところで、設定したウインドウ内に白線が
抽出されなかった場合には、次のウインドウ設定をする
ための基準となる（ｘ，ｙ）座標が求められないが、こ
の場合には、例えばその前に抽出された白線を延長し、
その延長線と抽出できなかったウインドウの上辺との交
点座標に基づいて追跡ウインドウを設定するようにして
もよく、或いは抽出できなかった場合には、その画像で
の処理を中止し、次の画像を取り込むようにしてもよ
く、種々の手段を用いることができる。そして、係る場
合（後者はもちろん前者も所定数延長しても白線の抽出
ができないとき）にも、ステップ１０６における処理
で、追跡ウインドウ設定不可能と判断され、ステップ１
０８に移行するようになる。

【００３０】なお、破線からなる白線Ｒに対する追跡処
理も上記と同様に行われるが、破線の場合には、一定の
間隔で白線が存在しない領域があるため、例えば初期ウ
インドウｒ１や追跡ウインドウｒ４，６等では白線抽出
の信頼性が高くなるため、次に設定するウインドウの幅
は狭くなるが、逆に追跡ウインドウｒ３では信頼性が低
くなるため設定するウインドウの幅を広くする。

【００３１】また、例えば追跡ウインドウｒ２のよう
に、もともと白線がない領域の場合では、白線の抽出が
できないため、上記したごとくその次に設定する追跡ウ
インドウｒ３の設定位置は、初期ウインドウｒ１にて抽
出した白線を延長することにより求めることができる。
しかし、設定するウインドウの幅は、ピーク値のペア
（代表点）の数が０となり、信頼性は零となってしまう
ため、そのままでは、ウインドウ幅決定手段６にて決定
されるウインドウ幅は広くなる。しかし、かかる場合に
は抽出の信頼性が低いわけではないため、そのウインド
ウｒ２の幅と次に設定する追跡ウインドウｒ３の幅とは
等しくするようにしたり、或いは、ｒ５（ｒ４での信頼
性が高くなっているため、このｒ５でのウインドウ幅は
狭くなっている）に基づいて設定するｒ６のように、標
準の幅に戻すようにしてもよい。もちろん、そのまま幅
を広くするようにしても良く、種々の手段を採ることが
できる。

【００３２】そして、この様に破線の場合における空白
領域のために抽出した代表点が少ないのか、信頼性が低
いために抽出した代表点が少ないのかは、例えばかかる
空白領域が一定の間隔で現れることに着目し、過去のデ
ータ（白線の抽出領域と非抽出領域の発生状態）を記憶
し、それと比較したり、例えばｒ３の場合には、図４
（Ｃ）に示すようにウインドウの下方にはピーク値等が
現れず、上方に集中してピーク値のペアが現れることか
ら、Ｙ軸方向に対するばらつきの度合等を検出すること
により上記式（１）の分母を代表点の存在している領域
のＹ座標数（抽出された代表点の上限と下限間）とする
こと等により対応することができる。

【００３３】なお、上記した実施例では、白線抽出手段
が、エッジ検出により白線を抽出するようにしたが、本
発明はこれに限ることなく、種々の画像認識手法を用い
ることができる。

【００３４】また、上記した実施例では次に設定するウ
インドウの中点を交点座標に一致させるようにしたが、
本発明はこれに限らず、所定方向に所定量だけずらして
も良い。すなわち、カーブの場合にはそのカーブしてい
る方向にずらした方が、検出精度が上がるからであり、
そのずらす量はカーブの曲率半径の大小から決定するこ
とができる。

【００３５】さらに、上記した実施例では、道路上に形
成された白線を抽出する装置に適用した例について説明
したが、本発明はこれに限ることなく、種々の連続線に
対する抽出を行うようにしてもよいのはもちろんであ
り、線の種類も上述したごとく実線や破線等、その種類
は問わず、途中にとぎれた箇所があっても全体として連
続していれば本発明でいう連続線となるのである。

【００３６】

【発明の効果】以上のように、本発明に係る連続線追跡
装置では、設定するウインドウの幅がその前に処理を行
った線の抽出結果の信頼性が高い場合には狭くなる。す
なわち、信頼性が高い場合には、その抽出した線の延長
線上に次の線の存在確立が高くなるため、ウインドウの
幅を狭くしても確実に線を抽出することができ、しか
も、ウインドウ幅を狭くしたことによりノイズを拾う可
能性が少なくなり、かつ処理対象となる面積が狭くなる
ため、高速処理が可能となる。一方、抽出結果の信頼性
が低い場合には、次に設定するウインドウの幅を広くす
ることにより、確実に線を抽出することができる。すな
わち、抽出結果の状況に応じて、ノイズの影響を可及的
に抑制しつつ線の検出精度の向上を図り、さらに、でき
るだけ処理時間を短縮することのできる。これにより、
確実かつ高速に線の追跡を行うことができる。

【図面の簡単な説明】

【図１】本発明に係る連続線追跡装置の好適な一実施例
を示すブロック図である。

【図２】作用を説明するためのフローチャート図であ
る。

【図３】読み込んだ画像の一例を示す図である。

【図４】作用を説明するための図である。

【符号の説明】

１画像入力装置２画像記憶手段３ウインドウ設定手段４白線抽出手段５信頼度算出手段６ウインドウ幅決定手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｆ 15/70 ３４０ 9071−5Ｌ // Ｇ０１Ｖ 9/04 Ｓ 7256−2Ｇ

Claims

【特許請求の範囲】

【請求項１】前記画像中の所定位置に所定幅のウイン
ドウを設定するウインドウ設定手段と、そのウインドウ設定手段により設定された前記ウインド
ウ内に存在する線を抽出する線抽出手段と、その線抽出手段における抽出結果の信頼度を算出する信
頼度算出手段と、その信頼度算出手段にて求めた信頼度の大小に応じて次
に設定するウインドウの幅の狭広を設定し、それを前記
ウインドウ設定手段に送るウインドウ幅決定手段とを備
え、かつ前記所定位置が、前記線抽出手段により抽出された
線の延長線上とした連続線追跡装置。