JP5812284B2 - 帯状構造検出装置及び方法並びにプログラム - Google Patents

Description

本発明は、画像解析によって路面上の白線等の帯状構造を検出する技術に関するものである。

従来より白線の検出方法として白線の路面との輝度差を用いた方法が知られている。既存の技術として、特許文献１では、路面画像に対し、輝度値が急変化する白線のエッジを検出し白線を抽出する手法が開示されている。また、特許文献２では、路面画像に対して一方向に整列される座標の輝度ヒストグラムを複数の座標において作成し、ヒストグラムピークにより白線を検出する方法が開示されている。

特開2009-096274号公報 特開2005-341153号公報

従来技術を用いて様々な向きの白線を検出しようとした場合、白線検出のための処理として様々な向きのエッジ検出に複数のオペレータによる画像処理を繰り返さなければならないため、計算量が増大してしまう。また、路面のエッジや模様に影響されやすいという問題がある。

本発明は、上記の事情に鑑みてなされたものであり、計算量を増大させることなく、入力画像中の帯状構造以外の模様に影響されずに、影や欠損が存在する様々な向きの帯状構造を検出することを可能にする装置及び方法並びにプログラムを提供することを目的とする。

本発明の帯状構造検出装置は、入力画像から所定の幅の帯状構造を検出する装置であって、前記入力画像の複数の探索位置において、前記探索位置を中心とし、前記所定の幅以下の直径を有する内円の周上または前記内円の内部にある複数の第１の判別位置、および、前記探索位置を中心とし、前記所定の幅より大きい直径を有する外円の周上、または、前記外円と前記内円の円周間の領域にある複数の第２の判別位置における画像特徴が前記帯状構造の画像特徴と同じもしくは類似するかを判別し、前記第１の判別位置の画像特徴が前記帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、前記第２の判別位置のうち前記帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、前記内円を挟んで対向するように存在する場合、前記探索位置を帯状構造候補点として検出する帯状構造候補検出手段と、前記帯状構造候補点群に対して線をフィッティングすることによって前記帯状構造を検出する帯状構造検出手段と、を設けたことを特徴とする。

本発明の帯状構造検出方法は、入力画像から所定の幅の帯状構造を検出する方法であって、前記入力画像の複数の探索位置において、前記探索位置を中心とし、前記所定の幅以下の直径を有する内円の周上または前記内円の内部にある複数の第１の判別位置、および、前記探索位置を中心とし、前記所定の幅より大きい直径を有する外円の周上、または、前記外円と前記内円の円周間の領域にある複数の第２の判別位置における画像特徴が前記帯状構造の画像特徴と同じもしくは類似するかを判別するステップと、前記第１の判別位置の画像特徴が前記帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、前記第２の判別位置のうち前記帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、前記内円を挟んで対向するように存在する場合、前記探索位置を帯状構造候補点として検出するステップと、前記帯状構造候補点群に対して線をフィッティングすることによって前記帯状構造を検出するステップと、を含むことを特徴とする。

本発明の帯状構造検出プログラムは、コンピュータに、入力画像から所定の幅の帯状構造を検出させるプログラムであって、前記入力画像の複数の探索位置において、前記探索位置を中心とし、前記所定の幅以下の直径を有する内円の周上または前記内円の内部にある複数の第１の判別位置、および、前記探索位置を中心とし、前記所定の幅より大きい直径を有する外円の周上、または、前記外円と前記内円の円周間の領域にある複数の第２の判別位置における画像特徴が前記帯状構造の画像特徴と同じもしくは類似するかを判別するステップと、前記第１の判別位置の画像特徴が前記帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、前記第２の判別位置のうち前記帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、前記内円を挟んで対向するように存在する場合、前記探索位置を帯状構造候補点として検出するステップと、前記帯状構造候補点群に対して線をフィッティングすることによって前記帯状構造を検出するステップと、を前記コンピュータに実行させるものであることを特徴とする。

ここで、前記内円の直径は、前記所定の幅と同じにしてもよい。
また、前記入力画像をカメラで撮像された画像とし、前記入力画像を俯瞰位置から見た画像となる俯瞰画像に変換し、変換後の俯瞰画像から帯状構造候補点を検出するようにしてもよい。
さらに、前記第１および第２の判別位置を、各々、前記内円および外円の円周上の８箇所に等間隔配置してもよい。

本発明では、入力画像から所定の幅の帯状構造を検出する際に、帯幅以下の直径を有する内円の周上または内部にある第１の判別位置の画像特徴が帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、帯幅より大きい直径を有する外円の周上または外円と内円の円周間の領域にある第２の判別位置のうち帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、内円を挟んで対向するように存在する場合に、両円の中心である探索位置を帯状構造候補点として検出するようにした。すなわち、円形状に沿って分布する判別位置で判別を行うので、帯状構造の方向に依存せずに帯状構造候補点を検出することができる。したがって、帯状構造の向きに対応した複数のオペレータを用いることなく、入力画像中の様々な向きの帯状構造を検出することができるので、計算量を低減することが可能になる。また、帯状構造のエッジ部分を検出することなく、帯状構造を直接検出するので、入力画像中の検出対象の帯状構造以外の様々なエッジ模様の影響を受けにくくなる。さらに、複数の探索位置の各々において、各位置を中心とする外円の範囲内でその位置が帯状構造候補点かどうかを局所的に判別したうえで、検出された帯状構造候補点群に対して線をフィッティングすることによって帯状構造を検出するので、帯状構造中に局所的に存在する影や欠損の影響を受けにくくなり、処理のロバスト性が向上する。

本発明の実施の形態となる白線検出装置が搭載された車両を表す模式図である。 本発明の実施の形態を示すブロック図である。 本発明の処理手順の流れを説明するフローチャートである。 本発明のオペレータ処理内手順の流れを示すフローチャートである。 カメラで撮像された路面画像を示す図である。 路面画像を俯瞰図に変換した俯瞰画像を示す図である。 本発明の二重円型のオペレータの構成図である。 二重円型オペレータの内円部が白線上に重なったときを示す図である。 二重円型オペレータの内円部が白線上に重なったときの外円円周上の点群を示した図である。 二重円型オペレータの外円部での判定処理を示した図である。 二重円型オペレータの内円部が斜め方向の白線上に重なったときを示す図である。 二重円型オペレータの内円部が白線ではない白色部に重なったときを示す図である。 二値画像として出力される白線候補点画像図である。 直線補間された白線画像図である。

以下、図面に基づいて本発明の実施例としての白線検出装置について説明する。すなわち、本実施例は、帯状構造の一例として路面上の白線を検出する場合である。
図１は本実施例の白線検出装置が搭載された車両を表す模式図であり、図２は本実施例の白線検出装置の構成を示すブロック線図である。

図１及び２に説明するように本実施例では、車両７にカメラ１と白線検出装置２が搭載されている。白線検出装置２には、カメラ１により撮像された画像に対して俯瞰処理を行う俯瞰処理部３、俯瞰処理した画像をグレースケール化して平滑化する平滑処理部４、平滑処理した画像に対し二重円型のオペレータを用いて白線候補点となる帯状特徴を検出する白線候補点検出部５、白線候補点画像に対し直線補間を行う白線候補線検出部６がある。
次に、図３のフローチャートを用いて本実施例の白線検出装置による白線検出を行う処理手順について説明する。

白線検出装置２は、まず、カメラ１によって撮像された車両７の前方の監視路面８を表す路面画像ａを読み込む（ステップS1）。ここで、図1に示したようにカメラ１は車両７の上部から前方路面８を斜め下向きに監視するため、路面画像ａは、図５のような画像となり、白線９との距離や幅を正確に把握することができない。このため俯瞰処理部２では、路面画像ａを撮影範囲で真上から見下ろしたような映像に視点変換する俯瞰処理を行う（ステップS２）。図６は路面画像ａを俯瞰図に変換した俯瞰画像ｂである。このとき、俯瞰画像ｂは１ピクセル幅を実際の路面１０の実寸に対して所定の幅に指定して変換を行う。なお、俯瞰処理は、上記特許文献等に記載の公知の手法を用いればよい。

平滑処理部３は、俯瞰画像ｂに対し、路面１０のエッジを保ちつつ、細かな路面のゴミや輝度のばらつきを抑えるため、画像のグレースケール化とメディアンフィルタによる平滑化を行い平滑画像ｃに変換する（ステップS３）。

白線候補点検出部５は、平滑画像ｃに対してオペレータ処理を行って白線候補点を検出し、白線候補点画像ｄを出力する（ステップS４）。図7は白線候補点検出に用いる二重円型のオペレータの構成図である。この二重円型のオペレータは、図7の黒丸で示される、平滑画像ｃの白線幅に収まるような円の円周上に配置された点からなる内円部（オペレータ内円部画像情報判別点１２）と、白丸で示される、白線の幅より大きい円の円周上に配置された点からなる外円部（オペレータ外円部画像情報判別点１２）で構成される。本実施例では内円、外円ともに8点から構成される。
図４は白線候補点検出部５が行うオペレータ処理の詳細手順を示したフローチャートである。

まず、オペレータを平滑画像ｃ内で移動させ、平滑画像ｃ上の探索位置を決定する（ステップS５）。図8はオペレータの内円部が白線上に重なったときを示す。オペレータの円周上の各点１２，１３の位置における平滑画像ｃの輝度値を抽出する。
なお、輝度値の代わりに、或いは輝度値とともに色情報等を使用してもよい。

次に、内円の円周上に配置された8点の輝度値を抽出し、輝度値の標準偏差を取り、所定の閾値と比較する（ステップS６）。この標準偏差値が閾値より小さい場合（ステップS６;Yes）、平滑画像ｃ内の白線相当の輝度値に差がない路面にオペレータの中心がいるものと識別する。

図9は、図8の場合におけるオペレータの外円円周上の8点の判別処理を示したものである。内円が白線内に収まっている場合、図9に示すように外円円周上の点群はグレーの丸に示される白線に重なる4点と白丸で示される白線外に重なる4点に分けられる。白線の向きによっては白線に2点のみが重なる場合もある。

外円の点群位置の平滑画像ｃの輝度値を抽出し、輝度値順にソートする（ステップS７）。図9の例では、上位４つ又は２つには、白線上の点に相当する、白線外より高い輝度値が存在することになる。白線上にある内円8点の輝度値平均と、ソートされた上位4つ又は２つの輝度値の平均との差をとり、所定の閾値と比較する（ステップS８）。この差の値が閾値より小さい場合（ステップS８；Yes）、次の処理へ進む。

ソートされた輝度値の中で上位から5位又は3位の白線と重なっていない位置と考えられる値に対し内円8点の平均輝度値と差を取り、所定の閾値と比較する（ステップS9）。この差の値が閾値より大きい場合（ステップS９；Yes）、次の処理へ進む。

例えば図10のように内円で検出された輝度値平均が１３０の場合、外円で抽出された輝度値上位４つの輝度値平均と内円の輝度値平均との差が閾値（例えば１０）以内で、５つ目の輝度値と内円の輝度値平均との差が閾値（例えば２０）以上なので判別は次の処理へ進む。

オペレータの中心が検出されるべき白線の幅のほぼ中央に位置する場合、外円円周上の8点の白線に重なっている輝度値の高い点は、白線と重なっていない輝度値の低い点により対角上に分割して存在するので、ソートされた明るい輝度値群が、そのような外円円周上に一部分に偏りなく位置しているかどうかを判定する（ステップS１０）。この明るい輝度値群が外円円周上に偏りなく位置していた場合（ステップS１０；Yes）、オペレータの中心と重なっている平滑画像ｃの部分は白線と想定される帯状特徴と考え白線候補点とされる（ステップS１１）。このような判定を行うことにより、図９及び１１に示したように、白線の向きにかかわらず白線の候補点を検出することができる。一方、図12のように複数の点が白線上にあると検出しても、検出した点の位置が偏っているとなれば（ステップS１０；No）白線判定は棄却される。

ステップS１０では、外円、内円の円周上の各8点の位置情報に基づき、外円円周上の8点が、白線上の点に相当する、白線外より高い輝度値の点が並んだ白線上連続領域2つと、白線と重なっていない輝度値の低い点が並んだ白線外連続領域2つとに分割され、白線上連続領域同士及び白線外連続領域同士が、前記内円を挟んで対向するように存在する場合はオペレータの中心が白線の幅のほぼ中央に位置すると判定する。

また、外円の判定処理を円周上の点のみでなく、外円と内円の間の円周間領域上の点で行う場合は、円周間領域上の判定処理点のうち、白線と重なっていない輝度値の低い点が群する白線外連続領域が、前記内円を挟んで対向するように存在する場合はオペレータの中心が白線の幅のほぼ中央に位置すると判定する。

このようにして、現在の探索位置が白線上かどうか判定された後、オペレータを平滑画像ｃ中の次の探索位置に移動させ（ステップＳ５）、ステップＳ６〜Ｓ１１の判定処理を繰り返し行う。すべての探索位置でこの一連の判定処理が終了した時点で、オペレータ処理が終了する。

図13は白線候補点検出処理により生成された白線候補点画像ｄであり、平滑画像ｃに対するオペレータ処理により検出された白線候補点かどうかを表す二値画像となっている。
オペレータ処理により出力されるのは二値情報ではなく、各白線候補点における白線の方向や色情報、目的の白線に対する尤度として出力することもできる。

白線検出処理部６では、白線候補点画像ｄに対し、白線の抽出として直線補間が行われ、白線の中心を表す直線を検出し、白線画像ｅを出力する（ステップS１２）。直線補間の例としてはハフ変換を用いられ、ハフ変換のパラメータとして、白線と想定される、任意の一定以上の長さを線とし、またハフ変換の性質により途切れてしまった白線上の白線候補点に対しても補間を行い、白線を検出することができる。図14は白線候補点画像を直線補間し、検出した白線の中心線１６（一点鎖線で表した）を俯瞰画像ｂ上に示したものである。

なお、本実施例では上記円周上に８点を平滑画像ｃから画像情報を判別する点として配置しているが、円周上の点の数を変更する、或いは円周上だけでなく円の領域内に配置することにより、上記判別点を内円で増やした場合、より正確に、求める白線上にオペレータがいるかを判別できる。上記判別点を内円で増やした場合、外円では正確な帯形状判定、帯方向判定を行える。点数を減らせば判定が不正確になるが計算時間を減らすことができる。上記のように求める検出能力の正確性や計算時間に合わせて変更してもよい。

また、求めたい帯の幅を厳密に検出したい場合は、内円の径を帯幅の直径とする。目的の帯構造の帯幅よりも幅の小さい帯構造も検出したい場合は、内円の直径を、目的の帯幅より小さい幅にするという設計をしてもよい。このように、内円の直径は検出対象の帯幅の最小値と一致する。

また、検出したい白線の幅を変更したい場合は、オペレータの内円の直径を変更してもよいし、路面画像の俯瞰変換処理において設計するオペレータの内円の直径に収まるサイズに変換するとしてもよい。

また、外円の判定（ステップS１０）において、外円円周上での、白線上の点に相当する、白線外より高い輝度値の点列による連続領域の位置により帯特徴点の向きを出力することにより、例として、向きの情報を持った帯状特徴点を画像中で向きにしたがって繋いでいくことによって、直線で構成されていない曲線から構成される帯状模様を検出することができる。これにより、例えば、工場のライン上で、様々な向きで流れていく帯形状の生産物を検出し、帯形状の検品や向き情報を用いて整列を行うことができる。

また、ステップS６、ステップS7における判定処理において、輝度値とともに抽出した色情報を出力することにより、例として、複数検出された道路上の線に対し、黄線を検出することができる。これにより、例えば、工場のライン内で、特定の色で舗装された路面上にある帯構造の線を検出することができる。

また、ステップS８，ステップS９における閾値と比較される値の大きさや閾値との差により目的の帯に対する尤度を出力することにより、例として、複数検出された帯状特徴点の中で、目的とする帯構造の輝度特徴に尤もらしい帯を検出する処理をしたり、道路上の新しく塗装された均一な輝度面の白線や、かすれや欠損の存在する劣化した白線、アスファルトではない路面に塗装された白線を検出したり、工場のライン内で、特定の輝度値で舗装された路面上にある帯構造の線を検出したりすることができる。

1 カメラ
2 帯状構造検出装置
a 路面画像
b 俯瞰画像
c 平滑画像
d 白線候補点画像
e 白線画像
3 俯瞰処理部（俯瞰処理手段）
4 平滑処理部
5 白線候補点検出処理部（帯状構造候補検出手段）
6 白線検出処理（帯状構造検出手段）
7 移動車両
8 監視路面
9 白線
10 路面
11 車両先端部分
12 オペレータ内円部画像情報判別点
13 オペレータ外円部画像情報判別点
14 白線上のオペレータ外円部画像情報判定点
15 白線候補点
16 検出白線

Claims (6)

1. 入力画像から所定の幅の帯状構造を検出する装置であって、
   前記入力画像の複数の探索位置において、前記探索位置を中心とし、前記所定の幅以下の直径を有する内円の周上または前記内円の内部にある複数の第１の判別位置、および、前記探索位置を中心とし、前記所定の幅より大きい直径を有する外円の周上、または、前記外円と前記内円の円周間の領域にある複数の第２の判別位置における画像特徴が前記帯状構造の画像特徴と同じもしくは類似するかを判別し、
   前記第１の判別位置の画像特徴が前記帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、前記第２の判別位置のうち前記帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、前記内円を挟んで対向するように存在する場合、前記探索位置を帯状構造候補点として検出する帯状構造候補検出手段と、
   前記帯状構造候補点群に対して線をフィッティングすることによって前記帯状構造を検出する帯状構造検出手段と、
   を備えたことを特徴とする帯状構造検出装置。
2. 前記内円の直径が前記所定の幅と同じであることを特徴とする請求項１記載の帯状構造検出装置。
3. 前記入力画像はカメラで撮像された画像であり、
   前記入力画像を俯瞰位置から見た画像となる俯瞰画像に変換する俯瞰処理手段をさらに備えたことを特徴とする請求項１または２記載の帯状構造検出装置。
4. 前記第１および第２の判別位置は、各々、前記内円および外円の円周上の８箇所に等間隔配置されたものであることを特徴とする請求項１から３のいずれか１項に記載の帯状構造検出装置。
5. 入力画像から所定の幅の帯状構造を検出する方法であって、前記方法は、
   前記入力画像の複数の探索位置において、前記探索位置を中心とし、前記所定の幅以下の直径を有する内円の周上または前記内円の内部にある複数の第１の判別位置、および、前記探索位置を中心とし、前記所定の幅より大きい直径を有する外円の周上、または、前記外円と前記内円の円周間の領域にある複数の第２の判別位置における画像特徴が前記帯状構造の画像特徴と同じもしくは類似するかを判別するステップと、
   前記第１の判別位置の画像特徴が前記帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、前記第２の判別位置のうち前記帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、前記内円を挟んで対向するように存在する場合、前記探索位置を帯状構造候補点として検出するステップと、
   前記帯状構造候補点群に対して線をフィッティングすることによって前記帯状構造を検出するステップと、
   を含むことを特徴とする帯状構造検出方法。
6. コンピュータに、入力画像から所定の幅の帯状構造を検出させるプログラムであって、前記プログラムは、
   前記入力画像の複数の探索位置において、前記探索位置を中心とし、前記所定の幅以下の直径を有する内円の周上または前記内円の内部にある複数の第１の判別位置、および、前記探索位置を中心とし、前記所定の幅より大きい直径を有する外円の周上、または、前記外円と前記内円の円周間の領域にある複数の第２の判別位置における画像特徴が前記帯状構造の画像特徴と同じもしくは類似するかを判別するステップと、
   前記第１の判別位置の画像特徴が前記帯状構造の画像特徴と同じもしくは類似すると判別され、かつ、前記第２の判別位置のうち前記帯状構造の画像特徴と同じでも類似でもない位置からなる連続領域が、前記内円を挟んで対向するように存在する場合、前記探索位置を帯状構造候補点として検出するステップと、
   前記帯状構造候補点群に対して線をフィッティングすることによって前記帯状構造を検出するステップと、
   を前記コンピュータに実行させるものであることを特徴とする帯状構造検出プログラム。