JP5012396B2 - 白線検出装置、駐停車支援装置および白線検出方法 - Google Patents

Description

本発明は、白線検出装置、駐停車支援装置および白線検出方法に関する。

車両周囲の路面上の白線を検出する既存の技術として、特許文献１の特開２００４−１１８７５７号公報「路面走行レーン検出装置」に記載の技術がある。該特許文献１においては、車両の走行レーンを検出するために、車両に搭載されたカメラにより取得された画像から、輝度値が急峻に変化するエッジを検出し、検出した該エッジ上の複数の点を白線候補の特徴点として抽出するものであり、抽出した特徴点に対して、走行レーンの検出用としてＲＡＮＳＡＣ（Random Sample Consensus）を応用した手法を適用して、直線当て嵌めを行うことにより、白線を検出するという構成が採用されている。
特開２００４−１１８７５７号公報

しかしながら、前記特許文献１に記載のような技術では、エッジ部を検出することが前提となっているため、エッジ部が鈍くなるような歪みが生じた状態で撮像された画像などのように、エッジ部の抽出自体が困難になる場合には、十分な個数の白線候補の特徴点を抽出することができなくなり、白線を誤検出したり、あるいは、検出できなくなったりする場合があった。

本発明は、かかる事情に鑑みてなされたものであり、車両周囲を撮像して得られる処理対象の画像の輝度値に基づいて、画像の２値化を行うための２値化閾値を適切に決定することにより、白線部位のエッジ部の検出が困難な画像であっても、白線を抽出することを可能とする白線検出装置、駐停車支援装置および白線検出方法を提供することを、その目的としている。

本発明は、前述の課題を解決するために、車両周囲の撮像画像を処理対象画像として取得し、該処理対象画像の各画素の輝度値を算出し、前記処理対処画像中において、画素間の輝度値の変化があらかじめ定めた閾値よりも大きい画像領域をエッジ候補領域として抽出し、エッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域に対応する各画素の輝度値の出現頻度に基づいて、白線候補領域と推定されるエッジ候補領域におけるピーク輝度値近傍の輝度値を求めて、前記処理対象画像の２値化を行うための２値化閾値を決定することにより、前記２値化閾値により変換した２値化画像を用いて白線を検出することを特徴としている。

本発明の白線検出装置、駐停車支援装置および白線検出方法によれば、処理対象画像の各画素の輝度値の出現頻度に基づいて、２値化閾値を決定して、該処理対象画像の２値化を行った結果を用いて、白線を検出するように構成しているので、検出することができたエッジ部のみを用いて白線の検出を行う場合に生じる白線の非検出や誤検出を低減させることが可能になり、たとえ、輝度値の変化が緩やかで、白線部位のエッジ部の検出が困難な画像を処理対象画像として用いる場合であっても、白線を確実に検出することが可能になるという効果を奏することができる。

以下に、本発明による白線検出装置、駐停車支援装置および白線検出方法の最良の実施形態について、図面を参照しながら詳細に説明する。

本発明の実施形態の説明に先立って、本発明による白線検出装置、駐停車支援装置および白線検出方法の主要な特徴について、まず説明する。本発明は、処理対象画像の各画素の輝度値の出現頻度に基づいて２値化閾値を決定して、該処理対象画像の２値化を行った結果を用いて、白線を検出することを主要な特徴とするものである。而して、エッジ部の輝度値の変化が緩やかな画像であって、エッジ部の抽出が困難になるような画像であっても、白線の非検出や誤検出を低減し、白線を確実に検出することを可能としている。

つまり、本発明は、次のような手順に基づいて、白線を検出していることを特徴としている。まず、車両周囲を撮像した画像を処理の対象となる処理対象画像として取得し、該処理対象画像の各画素の輝度値の出現頻度を輝度値ヒストグラムとして作成することによって、輝度値の出現頻度に基づいて白線候補領域と推定されるエッジ候補領域を検出する。

しかる後、検出された該エッジ候補領域におけるピーク輝度値の近傍の輝度値を、例えば、検出された該エッジ候補領域の近傍にあって、該エッジ候補領域のピーク輝度値よりも輝度値があらかじめ定めた所定値だけ低い輝度値を、前記処理対象画像の２値化を行うための２値化閾値として決定する。次いで、該２値化閾値を用いて、前記処理対象画像を２値化画像に変換する。

しかる後、変換された２値化画像の中から、白い直線を形成する部位を白線として検出することにより、たとえ、処理対象画像が、エッジ部が鈍い傾斜の画像であっても、白線を確実に検出することができる。

なお、車両周囲の画像を撮像する撮像部の車両への搭載位置如何によっては、撮像された車両周囲の撮像画像そのものを前記処理対象画像として用いても良いし、あらかじめ定めた方向に視点を変換した変換画像を作成し、該変換画像を前記処理対象画像として用いるようにしても良く、該変換画像としては、例えば、視点位置を車両の上方向に置いて車両を俯瞰した俯瞰画像を用いることとしても良い。

さらに、車両周囲の撮像画像について、あらかじめ定めた間隔ごとに、車両の縦方向および／または横方向に直線状に配置されている各画素を代表画素として抽出して圧縮した圧縮画像を、前記処理対象画像として作成するようにしても良いし、あるいは、車両周囲の撮像画像について、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔ごとに、同心円状または楕円状に配置されている各画素を代表画素として抽出して圧縮した圧縮画像を、前記処理対象画像として作成するようにしても良い。

また、圧縮画像を作成する際には、代表画素の輝度値を、変更しないでそのまま用いるようにしても良いし、あるいは、代表画素の周辺にあって間引かれる画素の輝度値を含めて加重平均した輝度値を、代表画素の輝度値として用いるようにしても良い。

また、前述のような変換画像を前記処理対象画像として作成する場合において、圧縮画像を作成している場合には、車両周囲の撮像画像のみならず、該圧縮画像について、視点を変換した変換画像として作成するようにしても良い。

さらに、変換画像を前記処理対象画像として作成する場合、車両周囲の撮像画像や圧縮画像から変換画像をできるだけ速く作成することができるように、車両周囲の撮像画像の各画素位置と前記変換画像の各画素位置との対応関係を示す変換マップを用いるようにしても良い。

さらに、前述のような輝度値ヒストグラムを作成する際に、処理対象画像内の各画素の輝度値の変化状況を参照することによって、処理対象画像全体の領域を対象とするのではなく、処理対象画像の中から、白線候補領域と推定されるエッジ候補領域を抽出し、抽出した前記エッジ候補領域を含む領域に関する輝度値ヒストグラムをエッジ部輝度値ヒストグラムとして作成するようにしても良い。

また、処理対象画像として前記変換画像を用いる場合、車両周囲の撮像画像の各画素を、前記変換画像の各画素に変換する変換度合いを示す情報を参照可能とするようにして、該変換度合いに応じて、１ないし複数の画像領域に分割して、分割した各画像領域それぞれについて、エッジ候補領域を抽出する際に用いるエッジ抽出用フィルタを変更するとともに、各画像領域それぞれのエッジ部輝度値ヒストグラムを分割して作成するようにしても良い。この結果、変換に伴う画像歪みを考慮に入れた形で、白線をより確実に検出することができる。

さらに、エッジ部輝度値ヒストグラムを作成する際に、エッジ候補領域における各画素の輝度値の平均値、エッジ候補領域の周辺領域における各画素の輝度値の平均値、エッジ候補領域のエッジ明部とエッジ暗部との出現位置、エッジ候補領域のエッジ明部とエッジ暗部との輝度差、のうち、いずれか１ないし複数に基づいて、処理対象画像を１ないし複数の画像領域に分割し、分割した各画像領域それぞれに対応するエッジ部輝度値ヒストグラムを、１ないし複数、作成するようにしても良い。この結果、日射しや日陰の影響を考慮に入れて、白線をより確実に検出することができる。

また、複数の撮像部（カメラ）を車両の複数の箇所に搭載して、各撮像部で撮像された複数の車両周囲撮像画像を一つの統合画像に統合して、該統合画像を処理対象画像として出力するようにして、車両のより広範な範囲で、白線を検出するようにしても良い。

（本発明の第１の実施形態の構成）
まず、本発明による白線検出装置の構成についてその一例を説明する。本発明による白線検出装置の主要部の第１の実施形態における構成例を図１に示す。なお、図１には、本発明に直接関連する構成要素のみを示している。図１に示すように、本発明の白線検出装置は、車両に搭載された撮像部Ａと記憶部Ｂと演算部Ｃとを少なくとも備えている。

撮像部Ａは、ＣＣＤなどの撮像素子を備えたカメラ（ＣＣＤカメラなどの撮像機器）からなり、車両周囲の画像を撮像して記憶部Ｂに車両周囲撮像画像として格納する画像取得手段を構成しており、例えば、図２に示すように、車両後方を車両周囲撮像画像として撮像するために、車両後部に設置されている。図２は、本発明による白線検出装置の撮像部Ａの設置場所の一例を示す配置図であり、図２（ａ）は側面図を、図２（ｂ）は平面図を示している。

ただし、本発明における撮像部Ａの設置場所としては、かかる場合に限るものではなく、車両側方を撮像するためにドアミラー下部などの車両側部に設置されていても良いし、車両前方を撮像するために車両前部に設置されていても良い。また、撮像部Ａの台数として、１台のみに限ることなく、複数台、設置するようにしても良い。

記憶部Ｂは、撮像した車両周囲撮像画像を記憶する画像メモリ部Ｂ０１と白線検出用の各種データを記憶するデータメモリ部Ｂ０２とによって構成されている。

画像メモリ部Ｂ０１は、ＲＡＭ（Random Access Memory）等の記憶装置により構成されており、撮像部Ａによって撮像された車両周囲撮像画像を記憶する。データメモリ部Ｂ０２は、ＲＡＭ等の記憶装置により構成されており、路面上の白線を検出するために実施される演算処理や抽出処理によって出力される各種のデータを一時的に記憶する。

つまり、データメモリ部Ｂ０２は、画像メモリ部Ｂ０１に記憶された車両周囲撮像画像そのものを画像処理用の処理対象画像として転送して記憶したり、該処理対象画像として、車両周囲撮像画像のあらかじめ定めた間隔ごとの画素のみになるように画素数を間引いた圧縮画像を記憶したり、該処理対象画像として、あらかじめ定めた方向にある視点位置からの画像に変換した変換画像を記憶したりする。

また、データメモリ部Ｂ０２は、処理対象画像の輝度値の出現頻度を算出することにより、各輝度値の出現頻度を輝度値ヒストグラムとして記憶したり、輝度値ヒストグラムの出現頻度に基づいて抽出されたエッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域を用いることにより算出される、ピーク輝度値レベルよりもあらかじめ定めた所定値だけ低い近傍の輝度値を２値化閾値として記憶したりする。さらに、データメモリ部Ｂ０２は、該２値化閾値を用いて処理対象画像を２値化画像に変換して記憶したり、２値化画像から白線を抽出して記憶したり、抽出した白線に関する情報を外部に出力可能な形に編集して記憶したりする。

演算部Ｃは、プロセッサなどの周知の情報処理装置によって構成されており、画像編集部Ｃ０１、エッジ部位抽出部Ｃ０２、エッジ部輝度値ヒストグラム作成部Ｃ０３、２値化閾値決定部Ｃ０４、白線算出部Ｃ０５および結果出力部Ｃ０６を少なくとも有している。

ここで、画像編集部Ｃ０１は、撮像された車両周囲撮像画像を処理対象画像として編集する部位であり、エッジ部位抽出部Ｃ０２は、処理対象画像の輝度値の変化状況に基づいてエッジ候補領域を抽出する部位である。また、エッジ部輝度値ヒストグラム作成部Ｃ０３は、エッジ候補領域のうち白線候補領域と推定されるエッジ候補領域における各画素の輝度値の出現頻度を示すエッジ部輝度値ヒストグラムを作成する部位である。

また、２値化閾値決定部Ｃ０４は、白線候補領域と推定されるエッジ候補領域におけるピーク輝度値近傍の輝度値を、処理対象画像の２値化を行うための２値化閾値として決定する部位であり、白線算出部Ｃ０５は、２値化閾値を用いて、処理対象画像を２値化画像に変換し、変換された２値化画像に基づいて白線を検出する部位である。また、結果出力部Ｃ０６は、検出した白線に関する情報を外部に出力可能な形式に編集して出力する部位である。

つまり、演算部Ｃは、内部ＣＰＵ(Central Processing Unit：中央演算処理装置)によって各種の処理プログラムを実行することにより、本発明に係る画像編集手段を実現する画像編集部Ｃ０１の機能、エッジ部抽出手段を実現するエッジ部位抽出部Ｃ０２の機能、エッジ部輝度値ヒストグラム作成手段を実現するエッジ部輝度値ヒストグラム作成部Ｃ０３の機能、２値化閾値決定手段を実現する２値化閾値決定部Ｃ０４の機能、白線検出手段を実現する白線算出部Ｃ０５の機能、および、結果出力手段を実現する結果出力部Ｃ０６の機能を実現している。

なお、画像編集部Ｃ０１は、車両周囲撮像画像をそのまま処理対象画像として出力することもできるし、複数の車両周囲撮像画像を１つの統合画像に統合して処理対象画像として出力することもできるし、さらには、車両周囲撮像画像や統合画像の画素数を間引いた圧縮画像を作成して処理対象画像として出力する圧縮画像作成部Ｃ０１ａや車両周囲撮像画像や統合画像をあらかじめ定めた方向の視点位置から眺めた変換画像に変換して処理対象画像として出力する変換画像作成部Ｃ０１ｂをさらに含んで構成されている。

ここで、圧縮画像作成手段を実現する圧縮画像作成部Ｃ０１ａは、例えば、車両周囲撮像画像や統合画像の中から、あらかじめ定めた間隔ごとに、車両の縦方向および／または横方向に直線状に配置されている画素のみを抽出して、あるいは、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔ごとに、同心円状または楕円状に配置されている各画素のみを抽出して、画素数を間引きした圧縮画像を処理対象画像としてデータメモリ部Ｂ０２に格納するものである。圧縮画像作成部Ｃ０１ａは、記憶部Ｂの記憶容量や白線の検出速度如何によっては、必ずしも必須のものではないが、白線の検出速度のより一層の向上を図るためには、圧縮画像作成部Ｃ０１ａを備えていることが望ましい。

また、変換画像作成手段を実現する変換画像作成部Ｃ０１ｂは、撮像部Ａの車両への搭載位置や撮像部Ａの搭載台数の如何によっては、必ずしも必須のものではないが、図２に示すように、車両後方の撮像用として１台の撮像部Ａのみが搭載されているような場合には、路面上の白線の検出処理をより確実に行うことができるように、例えば、車両の上方向から見下ろした俯瞰画像に変換するために、変換画像作成部Ｃ０１ｂを備えていることが望ましい。

また、エッジ部抽出手段を実現するエッジ部位抽出部Ｃ０２の機能、エッジ部輝度値ヒストグラム作成手段を実現するエッジ部輝度値ヒストグラム作成部Ｃ０３についても、撮像部Ａの車両への搭載位置や撮像部Ａの搭載台数、撮像画像の画質の如何によっては、エッジ候補領域に限らず、車両周囲の撮像画像または撮像画像を圧縮して作成された圧縮画像または撮像画像の視点位置を変換して作成された変換画像の全体の領域について、各画素の輝度値を算出して、各輝度値の出現頻度を輝度値ヒストグラムとして作成する輝度値ヒストグラム作成手段の形式に構成するようにしても良い。

なお、画像編集部Ｃ０１、エッジ部位抽出部Ｃ０２、エッジ部輝度値ヒストグラム作成部Ｃ０３、２値化閾値決定部Ｃ０４、白線算出部Ｃ０５および結果出力部Ｃ０６の各機能の詳細については後述する。

（第１の実施形態の動作）
次に、本発明の第１の実施形態として示した図１の白線検出装置の動作の一例について、図３のフローチャートを用いて説明する。図３は、本発明による白線検出装置の動作の第１の実施形態を説明するためのフローチャートであり、本発明による白線検出方法の一例を示している。なお、図３のフローチャートにおいては、画像編集部Ｃ０１として、変換画像作成部Ｃ０１ｂを用いて、車両周囲撮像画像を車両の上方向から見下ろした俯瞰画像に変換し、かつ、輝度値ヒストグラム作成手段として、エッジ部位抽出部Ｃ０２によりエッジ候補領域を抽出して、エッジ部輝度値ヒストグラム作成部Ｃ０３により白線候補領域と推定されるエッジ候補領域を含む領域における各画素の輝度値の出現頻度を示すエッジ部輝度値ヒストグラムを作成している場合を示している。

つまり、図３のフローチャートは、車両周囲の撮像画像を車両上方向から眺めた俯瞰画像に変換することにより作成された処理対象画像について、各画素の輝度値の変化状況から、あらかじめ定めた閾値よりも大きい変化がある領域をエッジ候補領域として抽出して、該エッジ候補領域の中から、白線候補領域と推定されるエッジ候補領域に限定して、各画素の輝度値の出現頻度を示すエッジ部輝度値ヒストグラムを作成することによって、処理対象画像を２値化の画像に変換するための２値化閾値を決定し、該２値化閾値を用いて処理対象画像を２値化画像に変換して、その中から、白線を抽出する動作の一例を説明している。

図３のフローチャートにおいて、まず、車両後方に搭載された撮像部Ａ（画像取得手段）によって撮像された車両周囲の画像を取得し、画像メモリ部Ｂ０１に格納する（ステップＤ０１）。ここで、車両周囲の撮像画像をそのまま処理対象の画像とする代わりに、画像編集部Ｃ０１の圧縮画像作成部Ｃ０１ａにより、画像メモリ部Ｂ０１に格納した処理対象の画像からあらかじめ定めた間隔ごとの画素のみを抽出した圧縮画像を、一旦、処理対象の画像として作成して、データメモリ部Ｂ０２に格納するようにしても良い。

次に、取得された車両周囲の撮像画像そのものまたは画素数が間引きされた圧縮画像を、あらかじめ定めた方向に視点位置が変換された変換画像例えば図４に示すような俯瞰画像（視点位置として車両の上方向から見下ろした画像）へ変換画像作成部Ｃ０１ｂにて変換する（ステップＤ０２）。この結果、図５に示すような変換画像（つまり、車両後方の俯瞰画像）が処理対象画像として作成される。図４は、撮像部Ａにより撮像された車両周囲撮像画像を俯瞰画像に変換する様子を示す模式図であり、図５は、本発明の白線検出装置の変換画像作成部Ｃ０１ｂにより変換画像として変換された俯瞰画像の一例を示すイメージ図である。

なお、変換画像作成部Ｃ０１ｂの画像変換方法としては、一般的には、Ａｆｆｉｎｅ変換を用いる方法が知られているが、変換のための計算量の削減を狙って、図４（ａ）に示すように、例えば、撮像部Ａにより取得された車両周囲撮像画像Ｆ０１（または画素数が間引きされた圧縮画像）の各画素位置と変換後の俯瞰画像Ｆ０２の各画素位置との画素ごとの変換場所があらかじめ登録された、変換マップＦ０３を用いてもかまわない。撮像された車両周囲撮像画像を変換するための変換マップＦ０３の具体的なイメージを、図４（ｂ）に示している。

次に、ステップＤ０２にて処理対象画像として作成された変換画像（俯瞰画像）を基にして、エッジ部位抽出部Ｃ０２を用いて、輝度値があらかじめ定めた閾値を超えて変化するエッジ候補領域を取得する（ステップＤ０３）。例えば、図５の俯瞰画像上のＧ０１のラインに沿って、Ｇ点からＧ’点までの輝度値を観察した場合、輝度値の変化は、図６の曲線Ｈ０１のようになる。この曲線Ｈ０１の１次微分を行った結果が曲線Ｈ０２となり、２次微分を行った結果が曲線Ｈ０３となる。

ここで、図６は、図５の変換画像（俯瞰画像）の輝度値およびその一次微分値、二次微分値を示すグラフであり、横軸に図５のＧ０１ライン上の位置を示し、縦軸にそれぞれの位置における輝度値およびその一次微分値、二次微分値を、丸印、×印、■印でプロットして示している。図６において、曲線Ｈ０１の輝度値があらかじめ定めた所定の輝度値閾値Ｈ０１ａを超えていて、かつ、曲線Ｈ０２、Ｈ０３の１次、２次微分値のいずれかがそれぞれに対応するあらかじめ定めた所定の微分輝度値閾値Ｈ０２ａ、Ｈ０３ａを超える値を有している部位を、輝度値の変化が大きいエッジ候補領域として抽出する。その結果、該エッジ候補部位には、白線候補領域と推定される領域が含まれていることになる。

なお、エッジ候補領域の抽出に利用する手法として、ここでは、１次、２次の微分値を用いる場合について説明したが、かかる場合のみに限るものではなく、画像処理分野においてエッジ検出用として一般的に利用されているＳｏｂｅｌ手法等他の手法を用いてももちろんかまわない。

さらに、ステップＤ０３にて得られた輝度値の変化が大きいエッジ候補部位の画像の輝度値を利用して、図６に示す画像全体のエッジ候補領域のうち、図７の下半分に示すように、白線候補領域と推定されるエッジ候補領域のみに限定した輝度値の出現頻度をプロットしたエッジ部輝度値ヒストグラムをエッジ部輝度値ヒストグラム作成部Ｃ０３において作成し、データメモリ部Ｂ０２に保存する（ステップＤ０４）。

図７は、図６のエッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域として抽出された領域の輝度値に関するヒストグラム（エッジ部輝度値ヒストグラム）を示すグラフであり、横軸に輝度値（図の左側に進むほど暗く、右側に進むほど明るい）を示し、縦軸に、各輝度値の出現頻度を示している。なお、図７には、上側方向に向かって、画像全体の輝度値に関するヒストグラムｉ０１を、また、下側方向に向かって、エッジ候補部位のみの輝度値に関するヒストグラムｉ０２を、それぞれ、示している。

例えば、画像全体のヒストグラムを算出した場合、図７の曲線ｉ０１のように、輝度値が高く（明るく）、かつ、狭い範囲に存在し、面積が小さい白線候補領域と推定される白線部領域ｉ０１ａと、輝度値が比較的低く（比較的暗く）、かつ、広い範囲に存在し、面積が大きい白線候補領域とは異なる様相を呈する路面領域ｉ０１ｂとにそれぞれピーク輝度値を有する輝度値ヒストグラムｉ０１が得られる。

次いで、輝度値ヒストグラムｉ０１において、ピーク輝度値を有する出現頻度が高い２つの輝度値領域のうち、白線候補領域と推定され、狭い範囲でかつより高い輝度値を示す白線部領域ｉ０１ａの部分に相当する、エッジ候補領域のみに注目して、エッジ部輝度値ヒストグラムｉ０２を作成する。

白線候補領域と推定されるエッジ候補領域のみに限定してエッジ部輝度値ヒストグラムｉ０２を作成した場合、図７の曲線ｉ０２に示すように、エッジ部位の明るい部分（明部）と暗い部分（暗部）とにピークを有する輝度値ヒストグラムが得られる。これは、エッジ部分のエッジ部輝度値ヒストグラムｉ０２においては、エッジ部位の明るい部分（明部）と暗い部分（暗部）とにヒストグラムとしてより多くの頻度値投票をすることになるためである。なお、曲線ｉ０２の場合、前述のように、頻度値の正負が画像全体のヒストグラムｉ０１と逆転していて、図７の下方向に進む程、頻度値が高くなる。

前述のように、エッジ部位のみに注目したエッジ部輝度値ヒストグラムｉ０２の場合、白線部位ｉ０２ａに相当する輝度値と、白線の周辺部（例えば路面）ｉ０２ｂの輝度値とにそれぞれ相当する部位の輝度値とが高い出現頻度として出力されることになる。つまり、エッジ候補領域の明部と暗部とに、それぞれのピーク輝度値ｉ０３，ｉ０４を有するヒストグラムが得られる。このエッジ部輝度値ヒストグラムｉ０２は、エッジ候補領域以外の影響を受けることがないヒストグラムとなっており、処理対象画像の２値化を行うための閾値を安定した状態で決定することが可能となっている。

次に、ステップＤ０４にて得られた白線候補領域と推定されるエッジ候補領域の図７のようなエッジ部輝度値ヒストグラムｉ０２を用いて、２値化閾値決定部Ｃ０４において、白線候補領域と推定されるエッジ候補領域におけるピーク輝度値近傍の輝度値を、処理対象画像の２値化を行うための２値化閾値として決定して、データメモリ部Ｂ０２に保存する（ステップＤ０５）。

つまり、エッジ部のエッジ部輝度値ヒストグラムｉ０２は、輝度値の一次微分値、二次微分値を用いて、輝度値があらかじめ定めた閾値を超えて変化する部位の輝度値を観察するようにしているため、図７に示すように、そのピークは、明部として白線であると推定される部位のピーク輝度値ｉ０３と、暗部として白線に隣接している周辺（例えば路面）と推定される部位のピーク輝度値ｉ０４との２箇所に出現している。この特性を利用して、ピーク輝度値ｉ０３とピーク輝度値ｉ０４との間にあり、かつ、白線であると推定され、より輝度値が高い位置でピーク値を示すピーク輝度値ｉ０３よりもあらかじめ定めた所定値だけ小さい図７に示す輝度値ｉ０５を、２値化を行うための白黒判定用の２値化閾値ｉ０５として決定する。

次に、白線算出部Ｃ０５において、ステップＤ０４にて得られた２値化閾値ｉ０５を用いて、ステップＤ０２にて処理対象画像として作成された変換画像（俯瞰画像）を、図８に示すような２値化画像に変換して、該２値化画像の中から、２値のうち白の値を有する領域を探索することにより、白線の抽出を行って、データメモリ部Ｂ０２に保存する（ステップＤ０６）。図８は、車両周囲撮像画像を変換した変換画像（俯瞰画像）に関して白線候補領域を含む領域を２値化した２値化画像の一例を示すイメージ図である。

ここで、白線の抽出方法としては、例えば、白線候補領域が存在する２値化画像について、領域の輪郭部を白線の輪郭候補として、Ｈｏｕｇｈ変換を行い、白線の直線成分を抽出する処理などを行うようにすれば良い。最後に、結果出力部Ｃ０６を用いて、ステップＤ０６において抽出された白線の部位に関する情報を、外部に出力可能な内容に編集して、データメモリ部Ｂ０２の所定領域に蓄積することにより、外部に出力する。

以上の図３のような手順により、処理対象画像の各画素の輝度値を利用して、白線を抽出する２値化画像を作成するための２値化閾値を決定することによって、例えば、車両位置から４〜５ｍ離れた車両周囲領域にあって、歪みが大きく、エッジ部が抽出しにくい部位がある画像についても、あるいは、曇っていて明瞭な影がなく不鮮明な画像のような場合であっても、輝度値が急峻に変化するエッジ部の検出の如何に関係なく、白線とその周辺部分とを２値化によって分離することが可能となり、白線の非検出・誤検出を低減することが可能となる。

つまり、処理対象画像の各画素の輝度値の出現頻度に基づいて、２値化閾値を決定して、該処理対象画像の２値化を行った結果を用いて、白線を検出するように構成しているので、急峻な輝度値の変化を検出することができたエッジ部のみを用いて白線の検出を行う場合に生じる白線の非検出や誤検出を低減させることが可能になり、たとえ、輝度値の変化が緩やかで、白線部位のエッジ部の検出が困難な画像を処理対象画像として用いる場合であっても、白線を確実に検出することが可能になる。

さらに、白線候補領域と推定されるエッジ候補領域に限定したエッジ部輝度値ヒストグラムを作成することにより、白線が有すると推定される輝度値と、白線の周囲の領域が有すると推定される輝度値とを算出することが可能となり、白線候補領域の画像の輝度値に応じて、適切な２値化閾値が設定することができるようになり、白線領域をより安定して抽出することが可能となる。

つまり、２値化閾値を決定する際に、処理対象画像全体の領域を扱うのではなく、白線候補領域が存在する一部の画像領域のみを対象とすることによって、２値化閾値をより適切な値に決定することができ、白線の誤検出をより確実に防止することが可能になる。さらには、処理の対象となるデータ量を、処理対象画像全体を対象とする場合よりも低減することができるので、白線の検出処理速度を速くすることも可能になる。

なお、前述のように、撮像部Ａの車両への搭載位置や搭載台数如何によっては、変換画像作成部Ｃ０１ｂにより視点を変換した変換画像を生成することなく、撮像部Ａにて撮像された車両周囲撮像画像そのもの、あるいは、圧縮画像作成部Ｃ０１ａにより車両周囲撮像画像から画素数を間引きした圧縮画像を、処理対象画像として、用いるようにしても良い。

また、撮像部Ａの車両への搭載位置や搭載台数如何、撮像画像の画質如何によっては、前述のように、白線候補領域と推定されるエッジ候補領域に限定したエッジ部輝度値ヒストグラムを生成しないで、車両周囲撮像画像、あるいは、車両周囲撮像画像から画素数を間引きした圧縮画像に関する輝度値ヒストグラムを用いて、２値化画像を作成するための２値化閾値を決定するようにしても良い。

（本発明の第２の実施形態の構成）
次に、本発明による白線検出装置の構成について、図１とは異なる構成例を説明する。本発明による白線検出装置の主要部の第２の実施形態における構成例を図９に示す。なお、図９には、本発明に直接関連する構成要素のみを示している。図９においても、図１の場合と同様に、本発明の白線検出装置は、車両に搭載された撮像部Ａと記憶部Ｂと演算部Ｊとを少なくとも備えており、図１の演算部Ｃの代わりに、演算部Ｊを用いている。ここで、図９の撮像部Ａ、記憶部Ｂは、図１の場合と同じであり、以下には、演算部Ｊについてのみ説明する。

演算部Ｊは、図１の場合と同様、プロセッサなどの周知の情報処理装置によって構成されており、画像編集部Ｊ０１、エッジ部位抽出部Ｊ０２、エッジ部輝度値ヒストグラム作成部Ｊ０３、２値化閾値決定部Ｊ０４、白線算出部Ｊ０５および結果出力部Ｊ０６を少なくとも有している。また、画像編集部Ｊ０１は、車両周囲撮像画像を圧縮した圧縮画像を作成する圧縮画像作成部Ｊ０１ａ、車両周囲撮像画像または圧縮画像を視点変換して変換画像を作成する変換画像作成部Ｊ０１ｂを含んで構成している。

画像編集部Ｊ０１、エッジ部位抽出部Ｊ０２、エッジ部輝度値ヒストグラム作成部Ｊ０３、２値化閾値決定部Ｊ０４、白線算出部Ｊ０５および結果出力部Ｊ０６は、図１の各構成要素と、基本的にはほぼ同一の機能を実現するものの、結果出力部Ｊ０６以外の各構成要素については、図１の変換画像作成部Ｃ０１、エッジ部位抽出部Ｃ０２、エッジ部輝度値ヒストグラム作成部Ｃ０３、２値化閾値決定部Ｃ０４、白線算出部Ｃ０５のそれぞれとは、異なる機能を備えている。

つまり、演算部Ｊは、内部ＣＰＵ(Central Processing Unit：中央演算処理装置)によって各種のプログラムを実行することにより、図１の場合とは異なり、画像編集部Ｊ０１の変換画像作成部Ｊ０１ｂにおける処理対象画像の各画素の変換度合いの程度に応じて、あるいは、各画素の輝度値の分布状況に応じて、エッジ部位抽出部Ｊ０２、エッジ部輝度値ヒストグラム作成部Ｊ０３において、処理対象画像を１ないし複数の画像領域に分割する。

しかる後、２値化閾値決定部Ｊ０４において、分割した各画像領域それぞれのエッジ部輝度値ヒストグラムに基づいて、それぞれの画像領域に適用すべき２値化閾値を決定することにより、白線算出部Ｊ０５において、各画像領域ごとにそれぞれ２値化画像に変換して、白線を抽出するという機能を実現している。

かくのごとく、演算部Ｊは、図１の場合とは異なる画像編集手段を実現する画像編集部Ｊ０１の機能、エッジ部抽出手段を実現するエッジ部位抽出部Ｊ０２の機能、エッジ部輝度値ヒストグラム作成手段を実現するエッジ部輝度値ヒストグラム作成部Ｊ０３の機能、２値化閾値決定手段を実現する２値化閾値決定部Ｊ０４の機能、白線検出手段を実現する白線算出部Ｊ０５の機能、を実行するとともに、図１の結果出力部Ｃ０６の場合と全く同様に、結果出力手段を実現する結果出力部Ｊ０６の機能を実行している。

なお、画像編集部Ｊ０１は、図１の画像編集部Ｃ０１の場合と同様、車両周囲撮像画像をそのまま処理対象画像として出力することもできるし、複数の車両周囲撮像画像を１つの統合画像に統合して処理対象画像として出力することもできるし、さらには、圧縮画像作成部Ｊ０１ａにより車両周囲撮像画像や統合画像の画素数を圧縮した圧縮画像を作成して処理対象画像として出力することもできるし、変換画像作成部Ｃ０１ｂにより車両周囲撮像画像や統合画像をあらかじめ定めた方向の視点位置から眺めた変換画像を作成して処理対象画像として出力することもできる。

ここで、圧縮画像作成手段を実現する圧縮画像作成部Ｊ０１ａは、図１の圧縮画像作成部Ｃ０１ａと同様、例えば、車両周囲撮像画像や統合画像の中から、あらかじめ定めた間隔ごとに、車両の縦方向および／または横方向に直線状に配置されている画素のみを抽出して、あるいは、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔ごとに、同心円状または楕円状に配置されている各画素のみを抽出して、画素数を間引きした圧縮画像を処理対象画像としてデータメモリ部Ｂ０２に格納するものである。

圧縮画像作成部Ｊ０１ａは、記憶部Ｂの記憶容量や白線の検出速度如何によっては、必ずしも必須のものではないが、白線の検出速度のより一層の向上を図るためには、圧縮画像作成部Ｊ０１ａを備えていることが望ましい。

また、変換画像作成手段を実現する変換画像作成部Ｊ０１ｂは、車両周囲撮像画像や統合画像をあらかじめ定めた方向の視点位置から眺めた変換画像に変換して処理対象画像としてデータメモリ部Ｂ０２に格納するものであるが、図１の変換画像作成部Ｃ０１ｂとは異なり、変換画像に変換する際の各画素の変換度合いの大きさについても、変換画像と合わせて出力するように構成されている。変換画像作成部Ｊ０１ｂは、撮像部Ａの車両への搭載位置や撮像部Ａの搭載台数の如何によっては、必ずしも必須のものではないが、図２に示すように、車両後方の撮像用として１台の撮像部Ａのみが搭載されているような場合には、路面上の白線の検出処理をより確実に行うことができるように、例えば、車両の上方向から見下ろした俯瞰画像に変換するために、変換画像作成部Ｊ０１ｂを備えていることが望ましい。

また、エッジ部抽出手段を実現するエッジ部位抽出部Ｊ０２の機能、エッジ部輝度値ヒストグラム作成手段を実現するエッジ部輝度値ヒストグラム作成部Ｊ０３についても、撮像部Ａの車両への搭載位置や撮像部Ａの搭載台数、撮像画像の画質の如何によっては、図１のエッジ部位抽出部Ｃ０２、エッジ部輝度値ヒストグラム作成部Ｃ０３の場合と同様、エッジ候補領域に限らず、車両周囲の撮像画像または車両周囲の撮像画像を圧縮して作成された圧縮画像または撮像画像の視点位置を変換して作成された変換画像の全体の領域について、各画素の輝度値を算出して、各輝度値の出現頻度を輝度値ヒストグラムとして作成する輝度値ヒストグラム作成手段の形式に構成するようにしても良い。

なお、画像編集部Ｊ０１、エッジ部位抽出部Ｊ０２、エッジ部輝度値ヒストグラム作成部Ｊ０３、２値化閾値決定部Ｊ０４、白線算出部Ｊ０５および結果出力部Ｊ０６の各機能の詳細については後述する。

（第２の実施形態の動作）
次に、本発明の第２の実施形態として示した図９の白線検出装置の動作例について、図１０のフローチャートを用いて説明する。図１０は、本発明による白線検出装置の動作の第２の実施形態を説明するためのフローチャートであり、本発明による白線検出方法の図３とは異なる例を示している。なお、図１０のフローチャートにおいては、図３のフローチャートと基本的には同様の動作を行う。

しかし、図１０に示すフローチャートの場合は、図３のフローチャートとは異なり、例えば、処理対象画像として変換画像を作成した際の変換度合い（変換の程度）の大きさに応じて、処理対象画像を１ないし複数の画像領域に分割して、分割した各画像領域において各画素の輝度値の変化状況の大きさを検出してエッジ候補領域を抽出するために用いるエッジ抽出用フィルタを変更する例を示している。

さらに、前記エッジ抽出用フィルタによって抽出した各エッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域における各画素の輝度値の出現頻度を示すエッジ部輝度値ヒストグラムを、１ないし複数に分割した各画像領域ごとに作成する例を示している。しかる後、それぞれのエッジ部輝度値ヒストグラムに基づいて、それぞれの画像領域に適用される２値化閾値を決定して、それぞれの画像領域ごとに異なる適切な２値化閾値を用いて、２値化画像を生成することにより、画像の変換度合いに応じて最適な２値化画像に基づいて、白線の抽出を行う例を示している。

図１０のフローチャートにおいて、ステップＫ０１とステップＫ０３とは、それぞれ、図３に示したステップＤ０１とステップＤ０２と同じ処理を行う。つまり、まず、車両後方に搭載された撮像部Ａ（画像取得手段）によって撮像された車両周囲の画像を取得し、画像メモリ部Ｂ０１に格納する（ステップＫ０１）。ここで、車両周囲の撮像画像をそのまま処理対象の画像とする代わりに、画像編集部Ｊ０１の圧縮画像作成部Ｊ０１ａにより、画像メモリ部Ｂ０１に格納した処理対象の画像からあらかじめ定めた間隔ごとの画素のみを抽出した圧縮画像を、一旦、処理対象の画像として作成して、データメモリ部Ｂ０２に格納するようにしても良い。

次に、取得された車両周囲の撮像画像そのものまたは画素数が間引きされた圧縮画像を、あらかじめ定めた方向に視点位置が変換された変換画像例えば前述した図４に示すような変換画像（俯瞰画像）へ変換画像作成部Ｊ０１ｂにて変換する（ステップＫ０３）。この結果、前述した図５に示すような変換画像（つまり、車両後方の俯瞰画像）が処理対象画像として作成される。

ただし、図１０の場合、ステップＫ０３において変換画像（俯瞰画像）へ変換する際に参照する変換マップとして、図４に示す変換マップＦ０３の代わりに、車両周囲撮像画像または車両周囲撮像画像の画素が間引きされた圧縮画像から変換画像（俯瞰画像）へ変換する際の各画素の変換度合い（変換の程度）を示す情報を有している変換マップＫ０２を用いることとする。なお、変換度合いに関する情報は、変換マップＫ０２内に画素ごとに保有するものに限ることはなく、いくつかに分割した画像領域ごとに異なる変換度合いに関する情報を保有していても良いし、変換マップＫ０２とは異なる領域に記憶するようにしても良い。

次に、例えば変換マップＫ０２が有している各画素の変換度合いに関する情報を利用して、エッジ部位抽出部Ｊ０２にて用いるべきエッジ抽出用フィルタを変更して、輝度値があらかじめ定めた閾値を超えて変化しているエッジ候補領域を抽出する（ステップＫ０４）。

例えば、図５に示した変換後の変換画像（俯瞰画像）のうち、Ｇ０１のラインに沿って、車両に近いＧ点の付近と車両から離れているＧ’点の付近とを比較すると、変換画像（俯瞰画像）への変換時に画像の変換度合いが大きくなるＧ’点付近の方が、画像の変換度合いが小さいＧ点付近よりも、画像が歪んでエッジ部が鈍った状態となる。

このような状態の変換画像（俯瞰画像）においては、Ｇ点付近の白線部位からは、図１１（ａ）に示す曲線Ｌ０１のように、ほぼ矩形形状に立ち上がる輝度値が観察され、その２次微分は、曲線Ｌ０３のように狭い範囲で急峻に変化する鋭いエッジ状として算出することができ、算出したエッジ部から白線候補領域を容易に抽出することができる。

これに対して、画像が歪んでエッジが鈍った状態となるＧ’点付近の白線部分については、画像の歪みの影響から、図１１（ｂ）の曲線Ｌ０２のような緩やかな曲線形状の輝度値の変化として観察され、その２次微分となるエッジ部位も、曲線Ｌ０４のように鈍った状態となってしまう。したがって、Ｇ点付近と同じエッジ抽出用フィルタを用いると、エッジ部分の抽出が難しくなる。

かくのごとく、歪みが大きい領域の画像にも対応することができるように、例えば、エッジ部を抽出するためのフィルタサイズについて、画像の変換度合いに応じて使い分けるようにする。つまり、図１１（ａ）のように、変換度合いが小さく、歪みが小さい車両近傍の画像領域におけるエッジ抽出の場合であれば、図１２（ａ）に示すように、３×３画素のサイズのエッジ抽出用フィルタを用い、逆に、図１１（ｂ）のように、変換度合いが大きく、画像の歪みが大きい、車両から離れた画像領域であれば、図１２（ｃ）に示すように、大き目の９×９画素のサイズのエッジ抽出用フィルタを用いるなど、画像の変換度合いの大きさに応じて、エッジ抽出用のフィルタを変更する。

なお、図１１は、エッジ部近傍の輝度値の変化の一例を説明するためのグラフであり、図１１（ａ）が、画像変換度合いが小さい俯瞰画像におけるエッジ部近傍の輝度値の変化を示し、図１１（ｂ）が、画像変換度合いが大きい俯瞰画像におけるエッジ部近傍の輝度値の変化を示している。

また、図１２は、エッジ候補領域を抽出するために用いるエッジ抽出用フィルタのフィルタサイズの一例を説明するための模式図であり、図１２（ａ）は、３×３画素のサイズ、図１２（ｂ）は、５×５画素のサイズ、図１２（ｃ）は、９×９画素のサイズを一例として示している。画像領域の変換度合いに応じて、エッジ抽出用フィルタのフィルタサイズを切り替えることにより、エッジ部が鈍った状態の画像であっても、エッジ候補領域を検出することがより確実になる。

次に、エッジ部輝度値ヒストグラム作成部Ｊ０３と２値化閾値決定部Ｊ０４とにおいて、それぞれ、基本的には、図３のステップＤ０４とステップＤ０５にて行った処理と同様の処理を行って、白線候補領域と推定されるエッジ部周辺における輝度値に関するエッジ部輝度値ヒストグラムを作成するとともに（ステップＫ０５）、変換画像（俯瞰画像）の２値化を行うための２値化閾値を決定し、それぞれ、データメモリ部Ｂ０２に保存する（ステップＫ０６）。

ただし、エッジ部輝度値ヒストグラム作成部Ｊ０３において作成するエッジ部輝度値ヒストグラムや２値化閾値決定部Ｊ０４において決定される２値化閾値は、処理対象画像とするために変換画像（俯瞰画像）を作成した際の各画素の変換度合いや、エッジ抽出用フィルタのフィルタサイズや、処理対象画像における輝度値の条件や、エッジのどの部分に相当するかなどによって、１つのみならず複数に分割して作成するようにしている。

具体的には、例えば、変換度合いの程度に応じて、エッジ抽出用フィルタのフィルタサイズを切り替えた場合には、それぞれのフィルタサイズごとに別々のエッジ部輝度値ヒストグラムを作成し、それぞれのエッジ部輝度値ヒストグラムに基づいて、それぞれの画像領域に適用する２値化閾値を決定するようにする。

この結果、変換度合いに応じて、変換された画像領域それぞれに適用すべき適切な２値化閾値を別々に決定して、決定された１ないし複数の前記２値化閾値をそれぞれの画像領域に適用して、処理対象画像を２値化画像に変換することによって、変換に伴う画像歪みを考慮に入れた形で、白線をより確実に検出することができるようになる。

また、エッジ候補領域の明部と暗部とを別々のエッジ部輝度値ヒストグラムとして作成した場合には、本来分離しているはずのエッジ明部とエッジ暗部とが、どの程度、分離できているのかを観察することが可能になる。つまり、明部のヒストグラムと暗部のヒストグラムとの輝度値の出現頻度の山が交錯して出現していた場合には、日射しなどの影響により、画像に明るい部分と暗い部分とが存在し、１つのみの２値化閾値を画像全体に適用することは、不適切であるということが分かるので、各エッジ候補領域におけるエッジ明部とエッジ暗部など、処理対象画像内の部位に応じて、複数の２値化閾値を設定することが望ましい。

また、例えばエッジ部分の周辺画素の平均輝度値に応じて、複数のヒストグラムを作成するようにしても良い。これにより、例えば、日射しの影響により生じる車両の影部分と、日向の部分とで、別々の２値化閾値を算出することが可能になり、外乱の影響を低減することが可能となる。また、エッジ候補領域と推定される画像領域の平均輝度値によって複数のヒストグラムを作成した場合や、エッジ候補領域の明部と暗部との輝度差に応じて複数のヒストグラムを作成した場合においても、同様の効果を得ることが可能である。

かくのごとく、エッジ部分とその周辺部分の輝度値の分布状況を観察することにより、日射しや日陰の影響を考慮に入れて、処理対象画像の各領域それぞれに適用すべき適切な２値化閾値を決定することができ、決定された１ないし複数の２値化閾値をそれぞれの画像領域に適用して、処理対象画像を２値化画像に変換することによって、白線をより確実に検出することができるようになる。

次に、１ないし複数の画像領域に対応して、ステップＫ０６にて得られた１ないし複数の２値化閾値を用いて、白線算出部Ｊ０５において、ステップＫ０３にて処理対象画像として作成された変換画像（俯瞰画像）に関して、各画像領域ごとの２値化画像を作成した後、各画像領域の２値化画像を統合することにより、例えば図８にて前述したような２値化画像を作成し、白線の抽出を行って、データメモリ部Ｂ０２に保存する（ステップＫ０７）。

ここで、白線の抽出方法としては、第１の実施形態の場合と同様に、例えば、白線候補領域が存在する２値化画像について、領域の輪郭部を白線の輪郭候補として、Ｈｏｕｇｈ変換を行い、白線の直線成分を抽出する処理などを行うようにすれば良い。最後に、結果出力部Ｊ０６を用いて、ステップＫ０７において抽出された白線の部位に関する情報を、外部に出力可能な内容に編集して、データメモリ部Ｂ０２の所定領域に蓄積することにより、外部に出力する。

以上の図１０のような手順により、本実施形態においては、第１の実施形態の場合とは異なり、処理対象画像の各画素の輝度値情報を利用するとともに、処理対象画像の変換度合いに応じて、エッジ抽出用フィルタを変更した場合や、あるいは、エッジ候補領域の各画素の輝度値の平均値、エッジ候補領域の周辺領域の各画素の輝度値の平均値、エッジ明部、エッジ暗部の出現位置、エッジ候補領域のエッジ明部とエッジ暗部との輝度差などのうち、いずれか１ないし複数に基づいて、１ないし複数の画像領域に分割している。

しかる後、１ないし複数に分割した各画像領域それぞれに対応するエッジ部輝度値ヒストグラムを作成し、それぞれのエッジ部輝度値ヒストグラムを用いて、各画像領域の画像から２値化画像を作成するための適切な２値化閾値を決定している。

この結果、各画像領域それぞれについて適切な２値化閾値を用いて作成された２値化画像から白線をより確実に検出することができる。而して、例えば、車両位置から４〜５ｍ離れた車両周囲領域にあって、歪みが大きく、エッジ部が抽出しにくい画像領域についても、あるいは、曇っていて、影がなかったり、白線からの反射量が少なかったりするような環境下であっても、あるいは、日射しが強く車両の影が延びているような環境下であっても、白線とその周辺部分とを２値化によって分離することが可能となり、白線の非検出・誤検出をより低減することが可能となる。

つまり、処理対象画像の変換度合いや輝度値の分布状況に応じて、複数のヒストグラムを作成することにより、画像歪みや日射しなどの外乱による影響を、より低減して、白線の検出性能の向上を図ることが可能となる。

さらに言えば、処理対象画像の変換度合いに応じて、言い換えると、処理対象画像の歪み具合に応じて、エッジ候補領域を抽出するエッジ抽出用フィルタを変更することによって、歪みが大きく、エッジ部が鈍ってしまっている画像であっても、白線候補領域と推定されるエッジ候補領域を抽出することが可能となり、２値化閾値を算出するために用いるエッジ部輝度値ヒストグラムを安定して作成することが可能となる。

また、エッジ候補領域における輝度値の特徴の分析結果に応じて、２値化閾値を算出するために用いるエッジ部輝度値ヒストグラムを複数作成することによって、２値化閾値をそれぞれに対応して適切な輝度値に設定することが可能となり、日射しや日影などの影響により、１枚の処理対象画像中で、複数の特性を示す画像を扱う場合であっても、適切な２値化閾値を用いて作成した２値化画像から白線を確実に抽出することが可能となる。

なお、本実施形態においても、第１の実施形態の場合と同様、撮像部Ａの車両への搭載位置や搭載台数如何によっては、変換画像作成部Ｊ０１ｂにより視点を変換した変換画像を生成することなく、撮像部Ａにて撮像された車両周囲撮像画像そのもの、あるいは、圧縮画像作成部Ｊ０１ａにより車両周囲撮像画像から画素数を間引きした圧縮画像を、処理対象画像として、用いるようにしても良い。

（その他の実施形態）
以上の各実施形態のいずれにおいても、白線候補領域となるエッジ部位の探索範囲を限定することによって、白線を安定して検出することが可能になると同時に、処理対象とするデータ量を低減させることが可能となり、処理速度の向上を図ることも可能としている。ここで、前述した各実施形態の図１、図９に示すように、圧縮画像作成部Ｃ０１ａまたは圧縮画像作成部Ｊ０１ａにより、車両周囲を撮像した車両周囲撮像画像の画素数を間引きして圧縮した圧縮画像を、処理対象画像として用いることにより、処理対象とするデータ量をさらに低減することができる。以下には、該圧縮画像を作成する具体的な作成例について、さらに具体的に説明する。

まず、例えば、図１３の車両周囲の点線で示すように、画像取得手段の撮像部Ａにて撮像された車両周囲の撮像画像を画像編集部Ｃ０１，Ｊ０１において処理対象画像として編集する際に、圧縮画像作成部Ｃ０１ａ，Ｊ０１ａを用いて、あらかじめ定めた所定の間隔で、車両横方向および／または縦方向の１ないし複数の直線に沿って配置されている画素を代表画素として抽出して、処理対象画像の各画素として設定することにより、車両周囲の撮像画像よりも間引きされた画素数からなる圧縮画像を処理対象画像として作成して、該圧縮画像を基にして、エッジ候補領域を探索するようにしても良い。

図１３は、車両周囲撮像画像を圧縮した圧縮画像から視点変換した変換画像（俯瞰画像）を作成した場合の一例を示す模式図であり、車両の縦方向・横方向の画素数を間引きした圧縮画像を俯瞰画像に変換した場合の一例を示している。

このような俯瞰画像（変換画像）を処理対象画像として用いる場合、車両周囲撮像画像から、あらかじめ定めた間隔で、車両の縦方向・横方向に配置されている各画素を抽出した圧縮画像を対象として、俯瞰画像に変換されたものを処理対象画像とする場合であり、扱うデータ量を元の車両周囲撮像画像に比して低減することができ、白線の検出処理速度を向上させることができる。

なお、かくのごとき変換画像を処理対象画像として用いている場合、車両の前後方向（縦方向）に沿った直線上に存在する画素を走査する場合には、車両の横方向に出現する白線を対象としたエッジ部の抽出が可能となる。このとき、エッジ抽出用フィルタとして方向性を有するフィルタ（例えばＳｏｂｅｌフィルタ）を用いることによって、例えば、横エッジを抽出するフィルタを利用することによって、車両横方向の白線を検出し、目的とする方向以外の方向に出現するエッジ部を排除することが可能となる。

同様に、車両の横方向に沿った直線上に存在する画素を走査してエッジ部を抽出する場合についても、エッジ抽出用フィルタとして方向性を有するフィルタを用い、横エッジを抽出するフィルタを利用することによって、車両の前後に出現する、車両前後方向（縦方向）の白線を抽出することが可能となる。また、エッジ抽出フィルタとして、方向性を有するフィルタを用いる場合、横エッジではなく、縦エッジや斜めエッジを抽出するフィルタを用いることによっても、同様に、目的とする方向以外の方向のエッジを排除することが可能である。

なお、圧縮画像作成部Ｃ０１ａ，Ｊ０１ａにおいて画素数の間引きを行って、代表画素のみを抽出する際に、該代表画素の輝度値をそのまま用いるようにしても良いし、近傍の間引き対象となった各画素の輝度値も含めて加重平均を行った結果の輝度値を代表画素の輝度値とするようにしても良い。

また、前述の説明においては、画像編集手段を構成する画像編集部Ｃ０１，Ｊ０１において、撮像部Ａにより撮像された車両周囲撮像画像を圧縮画像作成部Ｃ０１ａ，Ｊ０１ａによって車両の縦方向および／または横方向にあらかじめ定めた間隔で配置されている各画素を抽出して圧縮した圧縮画像を処理対象画像として出力することにより、処理対象とするデータ量を低減する例について説明したが、本実施形態においては、処理対象画像について圧縮した圧縮画像を用いる場合のみに限るものではなく、白線検出に要する処理量を低減し、処理速度を向上させることが可能であれば、如何なる手法を用いても良い。

例えば、処理対象画像において車両の縦方向および／または横方向にあらかじめ定めた間隔で配置されている各画素を抽出する代わりに、白線算出部Ｃ０５，Ｊ０５により２値化閾値を用いて処理対象画像を２値化画像に変換する際に、処理対象画像について、あらかじめ定めた間隔で、車両の縦方向および／または横方向に配置されている各画素を抽出して、２値化画像を作成するようにしても良い。抽出した各画素の輝度値と２値化閾値との比較結果に基づいて、２値化画像を作成することにより、処理すべきデータ量を低減して、２値化画像を作成することができ、白線検出処理の高速化を図ることができる。

あるいは、場合によっては、白線算出部Ｃ０５，Ｊ０５により２値化画像から白線に相当する領域を抽出する際に、２値化画像について、あらかじめ定めた間隔ごとに、車両の縦方向および／または横方向に配置されている各画素の中から、白線に相当する領域を抽出するようにしても良い。

かくのごとく、処理対象とする画素数を限定することによって、処理すべきデータ量を低減することが可能となり、白線検出処理の高速化が可能となる。

次に、図１４の車両周囲の点線に示すように、画像取得手段の撮像部Ａにて撮像された車両周囲の撮像画像を画像編集部Ｃ０１，Ｊ０１において処理対象画像として編集する際に、圧縮画像作成部Ｃ０１ａ，Ｊ０１ａを用いて、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔で、同心円状または楕円状に配置されている画素を代表画素として抽出して、処理対象画像の各画素として設定することにより、車両周囲の撮像画像よりも間引きされた画素数からなる圧縮画像を処理対象画像として作成して、該圧縮画像を基にして、エッジ候補領域を探索するようにしても良い。

図１４は、車両周囲撮像画像を圧縮した圧縮画像から視点変換した変換画像（俯瞰画像）を作成した場合の図１３とは異なる例を示す模式図であり、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔で、同心円状または楕円状に配置されている画素を代表画素とすることにより、画素数を間引きした圧縮画像を俯瞰画像に変換した場合の一例を示している。

このような俯瞰画像（変換画像）を処理対象画像として用いる場合、車両周囲撮像画像から、あらかじめ定めた間隔ごとに、同心円状または楕円状に配置されている各画素を抽出した圧縮画像を対象として、俯瞰画像に変換されたものであり、扱うデータ量を元の車両周囲撮像画像に比して低減することができ、白線の検出処理速度を向上させることができる。

さらに、かくのごとき変換画像を処理対象画像として、円弧状や楕円状の曲線に沿ってエッジ部を探索するようなエッジ探索方法を用いることにより、車両に近接した位置にある白線を、車両からより遠い位置にある白線よりも優先して探索したい場合などにおいて、効率的に、エッジ部を抽出することが可能となる。

なお、図１４の場合においても、圧縮画像作成部Ｃ０１ａ，Ｊ０１ａにおいて画素数の間引きを行って、代表画素のみを抽出する際に、該代表画素の輝度値をそのまま用いるようにしても良いし、近傍の間引き対象となった各画素の輝度値も含めて加重平均を行った結果の輝度値を代表画素の輝度値とするようにしても良い。

また、前述の説明においては、画像編集手段を構成する画像編集部Ｃ０１，Ｊ０１において、撮像部Ａにより撮像された車両周囲撮像画像を圧縮画像作成部Ｃ０１ａ，Ｊ０１ａによって同心円状または楕円状にあらかじめ定めた間隔で配置されている各画素を抽出して圧縮した圧縮画像を処理対象画像として出力することにより、処理対象とするデータ量を低減する例について説明したが、本実施形態においても、処理対象画像について圧縮した圧縮画像を用いる場合のみに限るものではない。

例えば、処理対象画像において、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔で、同心円状または楕円状に配置されている各画素を代表画素として抽出する代わりに、白線算出部Ｃ０５，Ｊ０５により２値化閾値を用いて処理対象画像を２値化画像に変換する際に、処理対象画像について、あらかじめ定めた間隔で、同心円状または楕円状に配置されている各画素を抽出して、２値化画像を作成するようにしても良い。

抽出した各画素の輝度値と２値化閾値との比較結果に基づいて、２値化画像を作成することにより、処理すべきデータ量を低減して、２値化画像を作成することができ、白線検出処理の高速化を図ることができるとともに、車両の近傍の白線をより効率的に検出することができる。

あるいは、場合によっては、白線算出部Ｃ０５，Ｊ０５により２値化画像から白線に相当する領域を抽出する際に、２値化画像について、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔で、同心円状または楕円状に配置されている各画素の中から、白線に相当する領域を抽出するようにしても良い。

かくのごとく、処理対象の画素を同心円状または楕円状の位置に限定することにより、白線の検出処理の高速化が可能になるとともに、車両の特定位置例えばより近傍の位置に関わる白線候補を優先して効率的に抽出することが可能となるため、白線検出処理をより高速化することが可能となる。

次に、画像取得手段を構成する撮像部Ａの図２の場合とは異なる構成例について説明する。つまり、本発明においては、画像取得手段として、車両に搭載する画像撮像手段（カメラ）を、１台のみではなく、複数台、車両の任意の位置に搭載するようにしても良い。複数台の画像撮像手段（カメラ）を搭載している場合においては、複数台の画像撮像手段（カメラ）から得られる各車両周囲撮像画像を１枚の統合画像として統合して、該統合画像を処理対象画像として編集することにより、前述した各実施形態と同様の白線の検出処理を行うことが可能である。

複数台の画像撮像手段から得られる複数の車両周囲撮像画像を統合した１枚の統合画像に基づいて、白線の検出処理を行う場合、例えば画像撮像手段（カメラ）が１台しか搭載されていない場合に比べて、車両周辺のより広い範囲について、白線の検出を行うことが可能となり、視野の広い白線検出処理を実現することができる。

さらに、例えば、車両の駐停車の操作を支援する駐停車支援装置として、以上のようないずれかの実施形態の白線検出装置や白線検出方法を実現する装置を少なくとも備えた駐停車支援装置を構成することにより、車両を駐停車しようとする際に、車両周囲を撮像した車両周囲撮像画像の歪みや日射しの有無などに関係なく、駐停車位置の白線を示す情報を安定して出力することができるので、ドライバは、駐停車すべき位置をより確実に把握することができ、さらに、複数の画像撮像手段（カメラ）を備えた白線検出装置を用いることにより、より広範囲のエリアまで拡大して、駐停車支援を行うことができる。

本発明による白線検出装置の主要部の第１の実施形態における構成を示すブロック構成図である。 本発明による白線検出装置の撮像部の設置場所の一例を示す配置図である。 本発明による白線検出装置の動作の第１の実施形態を説明するためのフローチャートである。 撮像部により撮像された車両周囲撮像画像を変換画像（俯瞰画像）に変換する様子を示す模式図である。 本発明の白線検出装置の変換画像作成部により変換された変換画像（俯瞰画像）の一例を示すイメージ図である。 図５の変換画像（俯瞰画像）の輝度値およびその一次微分値、二次微分値を示すグラフである。 図６のエッジ候補領域として抽出された領域の輝度値に関するヒストグラムを示すグラフである。 車両周囲撮像画像を変換した変換画像（俯瞰画像）に関して白線候補領域を含む領域を２値化した２値化画像の一例を示すイメージ図である。 本発明による白線検出装置の主要部の第２の実施形態における構成を示すブロック構成図である。 本発明による白線検出装置の動作の第２の実施形態を説明するためのフローチャートである。 エッジ部近傍の輝度値の変化の一例を説明するためのグラフである。 エッジ候補領域を抽出するために用いるエッジ抽出用フィルタのフィルタサイズの一例を説明するための模式図である。 車両周囲撮像画像を圧縮した圧縮画像から視点変換した変換画像（俯瞰画像）を作成した場合の一例を示す模式図である。 車両周囲撮像画像を圧縮した圧縮画像から視点変換した変換画像（俯瞰画像）を作成した場合の図１３とは異なる例を示す模式図である。

符号の説明

Ａ…撮像部、Ｂ…記憶部、Ｂ０１…画像メモリ部、Ｂ０２…データメモリ部、Ｃ…演算部、Ｃ０１…画像編集部、Ｃ０１ａ…圧縮画像作成部、Ｃ０１ｂ…変換画像作成部、Ｃ０２…エッジ部位抽出部、Ｃ０３…エッジ部輝度値ヒストグラム作成部、Ｃ０４…２値化閾値決定部、Ｃ０５…白線算出部、Ｃ０６…結果出力部、Ｆ０１…車両周囲撮像画像、Ｆ０２…俯瞰画像、Ｆ０３…変換マップ、Ｈ０１ａ…輝度値閾値、Ｈ０２ａ，Ｈ０３ａ…微分輝度値閾値、ｉ０１…輝度値ヒストグラム、ｉ０２…エッジ部輝度値ヒストグラム、ｉ０１ａ…白線部領域、ｉ０１ｂ…路面領域、ｉ０３，ｉ０４…ピーク輝度値、ｉ０５…２値化閾値、Ｊ…演算部、Ｊ０１…画像編集部、Ｊ０１ａ…圧縮画像作成部、Ｊ０１ｂ…変換画像作成部、Ｊ０２…エッジ部位抽出部、Ｊ０３…エッジ部輝度値ヒストグラム作成部、Ｊ０４…２値化閾値決定部、Ｊ０５…白線算出部、Ｊ０６…結果出力部、Ｋ０２…変換マップ。

Claims (14)

1. 車両周囲の路面上の白線を検出する白線検出装置において、
   車両周囲の画像を撮像して取得した車両周囲撮像画像を処理対象画像として出力する画像取得手段と、
   前記画像取得手段から出力された前記処理対象画像の各画素の輝度値を算出して、前記処理対処画像中において、画素間の輝度値の変化があらかじめ定めた閾値よりも大きい画像領域をエッジ候補領域として抽出するエッジ部抽出手段と、
   前記エッジ部抽出手段により抽出された前記エッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域に対応する各画素の輝度値の出現頻度を輝度値ヒストグラムとして作成する輝度値ヒストグラム作成手段と、
   前記輝度値ヒストグラム作成手段により作成された前記輝度値ヒストグラムに基づいて、前記白線候補領域と推定されるエッジ候補領域におけるピーク輝度値近傍の輝度値を、前記処理対象画像の２値化を行うための２値化閾値として決定する２値化閾値決定手段と、
   前記２値化閾値決定手段により決定された前記２値化閾値を用いて、前記処理対象画像を２値化画像に変換し、変換された前記２値化画像に基づいて白線を検出する白線検出手段と、を少なくとも備えていることを特徴とする白線検出装置。
2. 車両周囲の路面上の白線を検出する白線検出装置において、
   車両周囲の画像を撮像して車両周囲撮像画像として取得する画像取得手段と、
   前記画像取得手段により取得された前記車両周囲撮像画像を編集して、編集結果を処理対象画像として出力する画像編集手段と、
   前記画像編集手段から出力された前記処理対象画像の各画素の輝度値を算出して、前記処理対処画像中において、画素間の輝度値の変化があらかじめ定めた閾値よりも大きい画像領域をエッジ候補領域として抽出するエッジ部抽出手段と、
   前記エッジ部抽出手段により抽出された前記エッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域に対応する各画素の輝度値の出現頻度を輝度値ヒストグラムとして作成する輝度値ヒストグラム作成手段と、
   前記輝度値ヒストグラム作成手段により作成された前記輝度値ヒストグラムに基づいて、前記白線候補領域と推定されるエッジ候補領域におけるピーク輝度値近傍の輝度値を、前記処理対象画像の２値化を行うための２値化閾値として決定する２値化閾値決定手段と、
   前記２値化閾値決定手段により決定された前記２値化閾値を用いて、前記処理対象画像を２値化画像に変換し、変換された前記２値化画像に基づいて白線を検出する白線検出手段と、を少なくとも備えていることを特徴とする白線検出装置。
3. 請求項２に記載の白線検出装置において、前記車両周囲撮像画像について、あらかじめ定めた間隔ごとに、車両の縦方向および／または横方向に直線状に配置されている各画素を抽出して圧縮した圧縮画像を、前記処理対象画像として作成する圧縮画像作成手段を備え、前記画像編集手段により、編集した前記処理対象画像を出力する際に、前記圧縮画像作成手段により作成された前記圧縮画像を出力することを特徴とする白線検出装置。
4. 請求項２に記載の白線検出装置において、前記車両周囲撮像画像について、車両内部あるいは車両周辺のあらかじめ定めた１ないし複数の中心またはあらかじめ定めた２つの焦点から見て、あらかじめ定めた間隔ごとに、同心円状または楕円状に配置されている各画素を抽出して圧縮した圧縮画像を、前記処理対象画像として作成する圧縮画像作成手段を備え、前記画像編集手段により、編集した前記処理対象画像を出力する際に、前記圧縮画像作成手段により作成された前記圧縮画像を出力することを特徴とする白線検出装置。
5. 請求項２ないし４のいずれかに記載の白線検出装置において、前記車両周囲撮像画像または前記圧縮画像について、あらかじめ定めた方向に視点が変換された変換画像を、前記処理対象画像として作成する変換画像作成手段を備え、前記画像編集手段により、編集した前記処理対象画像を出力する際に、前記変換画像作成手段により作成された前記変換画像を出力することを特徴とする白線検出装置。
6. 請求項５に記載の白線検出装置において、前記変換画像作成手段により作成される前記変換画像が、視点位置を車両の上方向に置いた俯瞰画像であることを特徴とする白線検出装置。
7. 請求項５または６に記載の白線検出装置において、前記変換画像作成手段が、前記車両周囲撮像画像の各画素位置と前記変換画像の各画素位置との対応関係を示す変換マップを用いて、前記車両周囲撮像画像または前記圧縮画像を前記変換画像に変換することを特徴とする白線検出装置。
8. 請求項１ないし７のいずれかに記載の白線検出装置において、
   前記２値化閾値決定手段により前記２値化閾値を決定する際に、前記輝度値ヒストグラムにおいて、白線候補領域と推定される前記エッジ候補領域においてピークを示す輝度値からあらかじめ定めた所定値だけ小さい輝度値を、前記２値化閾値として決定することを特徴とする白線検出装置。
9. 請求項１ないし８のいずれかに記載の白線検出装置において、
   前記処理対象画像として、前記車両周囲撮像画像または前記車両周囲撮像画像が圧縮された圧縮画像を、あらかじめ定めた方向に視点を変換して作成される変換画像を用いる場合、前記車両周囲撮像画像または前記圧縮画像の各画素を前記変換画像の各画素に変換する変換度合いの大きさに応じて、前記処理対象画像を１ないし複数の画像領域に分割し、分割した該画像領域それぞれについて、前記エッジ部抽出手段により前記エッジ候補領域を抽出する際に用いるエッジ抽出用フィルタを変更するとともに、分割した該画像領域それぞれに対応する前記輝度値ヒストグラムを、１ないし複数、前記輝度値ヒストグラム作成手段により作成することを特徴とする白線検出装置。
10. 請求項１ないし９のいずれかに記載の白線検出装置において、
    前記処理対象画像について、前記エッジ候補領域における各画素の輝度値の平均値、前記エッジ候補領域の周辺領域における各画素の輝度値の平均値、前記エッジ候補領域のエッジ明部とエッジ暗部との出現位置、前記エッジ候補領域のエッジ明部とエッジ暗部との輝度差、のうち、いずれか１ないし複数に基づいて、前記処理対象画像を１ないし複数の画像領域に分割し、分割した該画像領域それぞれに対応する前記輝度値ヒストグラムを、１ないし複数、前記輝度値ヒストグラム作成手段により作成することを特徴とする白線検出装置。
11. 請求項９または１０に記載の白線検出装置において、
    前記２値化閾値決定手段は、前記輝度値ヒストグラム作成手段により作成される１ないし複数の前記輝度値ヒストグラムそれぞれに基づいて、それぞれの画像領域に適用する前記２値化閾値を決定し、前記白線抽出手段は、前記２値化閾値決定手段により決定された１ないし複数の前記２値化閾値をそれぞれの画像領域に適用して、前記処理対象画像を２値化画像に変換することを特徴とする白線検出装置。
12. 請求項１ないし１１のいずれかに記載の白線検出装置において、
    前記画像取得手段として、前記車両周囲撮像画像を撮像する画像撮像手段を複数備え、前記画像撮像手段それぞれにより撮像された複数の前記車両周囲撮像画像を一つの統合画像に統合して、前記処理対象画像として出力することを特徴とする白線検出装置。
13. 車両の駐停車を支援するための駐停車支援装置において、
    請求項１ないし１２のいずれかに記載の白線検出装置を少なくとも備えていることを特徴とする駐停車支援装置。
14. 車両周囲の路面上の白線を検出する白線検出方法であって、
    撮像した車両の周囲画像を処理対象画像として取得し、前記処理対象画像における各画素の輝度値を算出して、前記処理対処画像中において、画素間の輝度値の変化があらかじめ定めた閾値よりも大きい画像領域をエッジ候補領域として抽出し、前記エッジ候補領域のうち、白線候補領域と推定されるエッジ候補領域に対応する各画素の輝度値に関する出現頻度に基づいて、白線候補領域と推定されるエッジ候補領域におけるピーク輝度値近傍の輝度値を、前記処理対象画像の２値化を行うための２値化閾値として決定することにより、前記２値化閾値を用いて前記処理対象画像が変換された２値化画像に基づいて、白線を検出することを特徴とする白線検出方法。

Images