JPWO2014084118A1

JPWO2014084118A1 - 車載画像処理装置

Info

Publication number: JPWO2014084118A1
Application number: JP2014550153A
Authority: JP
Inventors: 彰二村松; 健人緒方; 將裕清原; 智史鈴木; 修深田; 早川　泰久; 泰久早川; 明森本
Original assignee: Clarion Co Ltd; Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd; Faurecia Clarion Electronics Co Ltd
Priority date: 2012-11-27
Filing date: 2013-11-21
Publication date: 2017-01-05
Anticipated expiration: 2033-11-21
Also published as: JP6023216B2; CN104822566B; EP2927060A1; EP2927060B1; CN104822566A; EP2927060A4; US20150317526A1; WO2014084118A1; US9378425B2

Abstract

路面に描かれた駐車枠を確実に検出する。車両（１）に設置された撮像部（１０）が、車両（１）の周囲の、少なくとも路面を含む画像（Ｉ）を撮像して、白線候補領域検出部（３０）が、撮像された画像（Ｉ）の中から駐車枠を構成する可能性がある白線候補領域を検出して、駐車枠らしさ算出部（４０）が、検出された白線候補領域と路面の境界点の周囲の輝度分布を算出して、この輝度分布が所定の条件を満たすときには、白線候補領域が駐車枠をなす度合いである駐車枠らしさが低いものと判断して、画像（Ｉ）の中から、駐車枠検出部（６０）が検出した駐車枠を構成する白線候補領域の駐車枠らしさが低いときには、検出された駐車枠の信頼度（Ｕ）を低く設定する。

Description

本発明は、車載カメラによって、路面に描かれた駐車枠の位置を検出する車載画像処理装置に関するものである。

近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、路面に引かれた白線や黄線によって区分された駐車枠の位置を検出して、こうして検出された駐車枠の位置に基づいて車両の位置と車線の位置との関係を算出して、駐車動作を支援する装置が研究開発されている。

このようなシステムでは、例えば、路面との輝度差が大きいという駐車枠の特徴を用いて、路面との輝度差の大きい画素を検出して、検出された画素の列に対して直線を当てはめることによって駐車枠の位置を検出している。（例えば、特許文献１）。

特開２０１１−１２６４３３号公報

特許文献１に記載された駐車支援装置では、画像の中から直線を構成する成分を検出するハフ変換を用いて、駐車枠を構成する白線の検出を行っている。

しかしながら、特許文献１に開示された発明によると、路面に描かれた白線のコントラストが高い状態であることを想定してこれを検出しているため、実際の路面のように、様々なノイズ、例えば、駐車枠のそばに立体物があったとき、壁面や植え込みがあったとき、路面に縁石や段差があったとき、路面反射があったとき、路面に影が落ちているときなどには、これらのノイズによって、駐車枠を構成する白線とよく似た輝度分布を有する領域が検出されたり、本来検出すべき白線のコントラストが低下するなどの状況が発生して、駐車枠を構成する白線のみを正しく検出することが困難になるという問題があった。

本発明は、上記課題に鑑みてなされたもので、立体物，路面状態，天候，影等のノイズの影響を受けずに、路面に描かれた駐車枠の位置を安定して検出することができる車載画像処理装置を提供することを目的とする。

本発明に係る車載画像処理装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部によって撮像された画像を所定の方向にスキャンしたときに、輝度値が明るい方向に所定値よりも大きく変化する第１の画素の位置と、前記第１の画素から所定距離以内にあり、輝度値が暗い方向に所定値よりも大きく変化する第２の画素の位置を検出し、直線をなす複数の前記第１の画素からなる線素の両端点と複数の前記第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出する白線候補領域検出部と、前記白線候補領域を構成する複数の前記第１の画素の周囲の輝度分布と複数の前記第２の画素の周囲の輝度分布に基づいて、前記白線候補領域が駐車枠をなす度合いである駐車枠らしさを算出する駐車枠らしさ算出部と、前記白線候補領域の位置と前記駐車枠らしさと前記画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出する駐車枠検出部と、を有し、前記駐車枠らしさ算出部は、前記白線候補領域を構成する複数の第１の画素の周囲の輝度分布と複数の第２の画素の周囲の輝度分布が所定の条件を満たすときに、前記白線候補領域の駐車枠らしさを引き下げることを特徴とする。

このように構成された本発明に係る車載画像処理装置によれば、車両に設置された撮像部が、車両の周囲の、少なくとも路面を含む画像を撮像して、白線候補領域検出部が、撮像された画像の中から駐車枠を構成する可能性がある白線候補領域を検出して、駐車枠らしさ算出部が、こうして検出された白線候補領域と路面の境界点の周囲の輝度分布を算出して、この輝度分布が所定の条件を満たすときほど、白線候補領域が駐車枠をなす度合いである駐車枠らしさが低いものと判断して、駐車枠検出部が、画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出した後で、駐車枠を構成する白線候補領域の駐車枠らしさが低いときには、検出された駐車枠の信頼度を低く設定するため、路面上のノイズによる駐車枠の誤検出を防止することができ、これによって、路面に描かれた駐車枠の位置を安定して検出することができる。

本発明に係る車載画像処理装置は、路面に描かれた駐車枠の位置を安定して検出することができる。

本発明の一実施形態に係る車載画像処理装置の実施例１が実装された車両について説明する図である。本発明の一実施形態に係る実施例１の全体構成を示すブロック図である。本発明の一実施形態に係る実施例１における駐車枠らしさ算出部の詳細な構成を示すブロック図である。本発明の一実施形態に係る実施例１において撮像されて合成された画像の一例を示す図である。図４Ａの画像の中の、点Ａと点Ｂの間の輝度分布を示す図である。図４Ａの画像の中の、点Ｃと点Ｄの間の輝度分布を示す図である。本発明の一実施形態に係る実施例１において検出された駐車枠を構成すると考えられる白線候補の一例を示す図である。図５Ａに示す白線候補の上に、輝度分布を算出する領域を設定した例を示す図である。図５Ｂで設定した領域内部の輝度分布の例を示す図である。本発明の一実施形態に係る実施例１において検出された駐車枠を構成すると考えられる白線候補の一例を示す図である。図６Ａに示す白線候補の上に、白線候補の左右の輝度差を算出する画素を設定した例を示す図である。図６Ｂで設定した画素の位置を、白線候補の方向に直交するように変換した例を示す図である。図６Ｃで設定した画素の位置をずらしながら、白線候補の左右の輝度差を算出する方法について説明する図である。駐車枠らしさを表す情報の記憶方法について説明する図である。駐車枠の信頼度を算出する方法の一例について説明する図であり、白線候補領域を検出した結果を示す図である。駐車枠らしさに基づいて、検出された白線候補領域の中心線の長さを補正する様子を示す図である。検出された駐車枠の信頼度を算出する様子を示す図である。本発明を適用することによって効果が得られる場面について説明する図である。本発明の一実施形態に係る実施例１の処理の流れを示すフローチャートである。本発明一実施形態に係る車載画像処理装置の実施例２が実装された車両について説明する図である。本発明の一実施形態に係る実施例２の全体構成を示すブロック図である。本発明の一実施形態に係る実施例２における駐車枠らしさ算出部の詳細な構成を示すブロック図である。本発明の一実施形態に係る実施例２の処理の流れを示すフローチャートである。

以下、本発明の一実施形態に係る車載画像処理装置について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値のことを輝度値と呼ぶ。

本発明の一実施形態である実施例１は、本発明の車載画像処理装置を、運転者が、路面に駐車枠が描かれた駐車場で駐車動作を行っているときに、ブレーキペダルを踏むべきタイミングで、誤ってアクセルペダルを踏んでしまうことにより、車両が予期せぬタイミングで突然発進する、所謂ペダル踏み間違いによる急発進を防止するシステムに適用した例である。

まず、図１から図３を用いて、実施例１の構成を説明する。実施例１に示す車載画像処理装置は、車両１に実装されて、図１に示すように、車両１の前方を撮像する前方カメラ１０Ａと、車両１の左ドアミラーに装着されて、車両の左方向を撮像する左方カメラ１０Ｂと、車両１の右ドアミラーに装着されて、車両の右方向を撮像する右方カメラ１０Ｃと、車両１の後方を撮像する後方カメラ１０Ｄを有している。そして、これら４台のカメラによって構成された撮像部１０によって、車両１の周囲の路面を観測できるようになっている。なお、各カメラは、レンズ等の集光機能を有する光学系とＣ−ＭＯＳ等の光電変換素子とから構成されている。

図２は、車載画像処理装置５の全体構成を示すブロック図である。本車載画像処理装置５は、車両１（図１参照）に実装されて、車両１の周囲の路面を含む領域を撮像する撮像部１０と、撮像部１０を構成する前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄで撮像された画像を、それぞれ、車両１を真上から見下ろした俯瞰画像に変換して、１枚の画像に合成する画像変換、合成部２０と、画像変換、合成部２０で合成された画像の中から、駐車枠を構成すると考えられる白線候補領域を検出する白線候補領域検出部３０と、白線候補領域検出部３０で検出された各々の領域に対して、駐車枠らしさを算出する駐車枠らしさ算出部４０と、駐車枠らしさ算出部４０で算出された駐車枠らしさに基づいて、画像の中から駐車枠を検出する駐車枠検出部６０と、車両１のアクセル開度を検出するアクセル開度検出部７０と、駐車枠検出部６０で駐車枠が検出されたときに、所定値以上のアクセル開度が検出されたときには、車両１のエンジン出力を抑制して、車両１の急発進を防止する車両挙動制御部８０と、車両１の運転者に対して、駐車枠が検出されていることやエンジン出力を抑制する制御を行っていることを表示する、ディスプレイ装置や音声出力装置からなる情報出力部９０と、からなる。

白線候補領域検出部３０は、さらに、所定の方向（後述する）に隣接する＋エッジと−エッジのペアを検出するエッジペア検出部３２と、各白線候補領域の中から、エッジペア同士を結ぶ線分の中点同士が連結されて構成される中心線を検出する中心線検出部３４とからなる。

駐車枠らしさ算出部４０は、さらに、図３に示す構成を有している。すなわち、白線候補領域とその周辺領域の輝度分布の対称性を評価する対称性評価部４３と、白線候補領域を構成する画素と、白線候補領域以外を構成する画素の輝度差の大きさを評価する輝度差評価部４４と、白線候補領域の中心線を構成する画素と、その中心線に関して左右の対称な位置にある白線候補領域以外を構成する画素の間の輝度差を評価する左右差評価部４５と、対称性評価部４３，輝度差評価部４４，左右差評価部４５で算出された各評価値を記憶して管理する駐車枠らしさ管理部４７とからなる。

以下、本実施例の動作概要について、順を追って説明する。
＜白線候補領域検出方法の説明＞

まず、図４Ａ〜図４Ｃを用いて、白線候補領域検出部３０で行われる、白線候補領域の検出方法について説明する。

図４Ａは、車両１が前進しながら、白線Ｆ_１〜Ｆ_４で構成された駐車枠に近づいているときに、前方カメラ１０Ａで撮像した画像Ｉ_１と、左方カメラ１０Ｂで撮像した画像Ｉ_２と、右方カメラ１０Ｃで撮像した画像Ｉ_３と、後方カメラ１０Ｄで撮像した画像Ｉ_４と、を画像変換、合成部２０において、車両１を真上から見下ろした俯瞰画像に変換して、さらに、１枚の画像Ｉとして合成した様子を示す。

図４Ａに示すように、画像Ｉは、車両１の位置を模した領域Ｖの回りに、俯瞰画像に変換された画像Ｉ_１と、画像Ｉ_２と、画像Ｉ_３と、画像Ｉ_４とが合成されることによって構成されている。この画像Ｉは、車両１すなわち路面を真上から見下ろしたものであるため、駐車枠に駐車した車両の左右に描画された、車両の前後方向に向かって延びる直線状の白線Ｆ_１，Ｆ_２，Ｆ_３は、画像Ｉの中に互いに平行に映る。また、車両の幅方向に向かって延びる直線状の白線Ｆ_４は、白線Ｆ_１，Ｆ_２，Ｆ_３と直交するように映る。

なお、撮像部１０で撮像された画像を俯瞰画像に変換して、さらに１枚の画像に合成する処理は、昨今、車両周囲のモニタリングシステムとして実用化されている公知の技術であるため、詳細な処理方法の説明は省略する。

このようにして生成された画像Ｉの左右方向をｘ、上下方向をｙとして、画像Ｉの左上を原点（０，０）とする。以後、画像Ｉの画素（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ）で表し、また、特定の画素を単に画素Ｘと表した場合、画素Ｘの輝度値をＩ（Ｘ）で表すものとする。

そして、白線候補領域検出部３０（図２参照）において、画像Ｉの中を、左右方向に左から右に向かって（所定の方向）、画像Ｉに格納された輝度値Ｉ（ｘ，ｙ）をスキャンしながら、隣接する２つの画素の輝度値の差分値を計算する。すなわち、スキャンした画素（ｘ，ｙ）に対して、輝度差Ｉ（ｘ−１，ｙ）−Ｉ（ｘ，ｙ）と、輝度差Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）を、画像Ｉの全ての画素に対して順次計算する。

そして、左から右に向かって輝度値が所定値よりも大きく明るく変化する画素、すなわち、予め設定した輝度差しきい値Ｉ_ｔｈに対して、Ｉ（ｘ，ｙ）−Ｉ（ｘ−１，ｙ）＞Ｉ_ｔｈを満たす画素を第１の画素として検出する。この画素を＋エッジと呼ぶ。

さらに、左から右に向かって輝度値が所定値よりも大きく暗く変化する画素、すなわち、Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）＞Ｉ_ｔｈである画素を第２の画素として検出する。この画素を−エッジと呼ぶ。

駐車枠を構成する白線であれば、＋エッジを構成する画素（白線と路面の境界点）と−エッジを構成する画素（白線と路面の境界点）は、それぞれ直線状に検出されて、それらの画素の間隔は、駐車枠を構成する白線の幅とほぼ等しくなるため、画像Ｉの中から検出された＋エッジを構成する画素と、その＋エッジに隣接して検出された−エッジを構成する画素の間隔ｗが、所定の方向（画像内を左から右に向かう方向）に沿って所定距離以内であるとき、この＋エッジを構成する画素と−エッジを構成する画素に挟まれた領域は、駐車枠を構成する白線である可能性が高いと判断して、これらの画素を検出する。

例えば、画像Ｉに格納された輝度値を、図４Ａの点Ａから点Ｂに向かってスキャンしたときには、図４Ｂに示すように、画素Ｓ_１が＋エッジとして検出されて、画素Ｓ_２が−エッジとして検出される。

このようにして検出された＋エッジを構成する画素Ｓ_１と、−エッジを構成する画素Ｓ_２のペアをエッジペアと呼ぶことにする。

このような大きな輝度値の差を有する画素の探索は、画像Ｉの上下方向（所定の方向に直交する方向）についても行うのが望ましい。そして、画像Ｉに格納された輝度値を、図４Ａの点Ｃから点Ｄに向かってスキャンしたときには、図４Ｃに示すように、画素Ｓ_３が＋エッジとして検出されて、画素Ｓ_４が−エッジとして検出される。そして、画素Ｓ_３と画素Ｓ_４もエッジペアをなす。

こうして検出された画素Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，…を、駐車枠を構成する白線である可能性が高いエッジ構成点とする。

なお、このように、画像Ｉの画素の輝度値を、左右方向（所定の方向）と上下方向（所定の方向に直交する方向）に２回スキャンするのは、駐車枠を構成する白線の延びる方向が不明であるため、いかなる方向に向かって延びている白線の候補も、漏れなく検出するためである。

このようにして検出されたエッジペアに挟まれた画素からなる領域、言い換えれば、直線をなす複数の第１の画素からなる線素の両端点と複数の第２の画素からなる線素の両端点に囲まれた領域を、白線候補領域と呼ぶ。そして、画像Ｉの中から検出された複数の白線候補領域に対してラベリング処理を行い、各々の白線候補領域に通し番号を付与しておく。
＜駐車枠らしさ算出方法の説明＞

次に、検出された白線候補領域に対して、個々の白線候補領域が駐車枠を構成すると想定したときの駐車枠らしさを算出する。駐車枠らしさは、白線候補領域とその白線候補領域に隣接する領域の輝度分布に基づいて算出される。

本実施例では、駐車枠らしさは、「対称性」，「輝度差」，「左右差」の３つの評価指標によって判断される。以下、その各々の評価指標について、順に説明する。
＜対称性の評価指標の説明＞

まず、対称性の評価指標について説明する。駐車枠を構成する白線は、路面との間に輝度差を有して、なおかつ、白線の中心線に対して白線の両側に対称な領域を設定したときに、この対称な領域の輝度分布はほぼ等しくなるはずである。そこで、この輝度分布の対称性を評価する。

対称性が所定値よりも低いときは、その白線候補領域は駐車枠を構成する白線でない可能性があるため、白線候補領域に対して対称性フラグを立てる。そして、白線候補領域に対称性フラグが立っていることは、後ほど、駐車枠の検出処理を行う中で利用する。

次に、対称性の具体的な評価方法について、図５Ａ〜図５Ｃを用いて説明する。まず、エッジペア検出部３２（図２参照）において、画像Ｉを左から右に向かって探索して、各々の白線候補領域の中のエッジペアを抽出する。そして、図５Ａに示すように、＋エッジで構成された白線候補領域境界線Ｌ_１と、−エッジで構成された白線候補領域境界線Ｌ_２を特定する。

そして、中心線検出部３４（図２参照）において、白線候補領域境界線Ｌ_１と白線候補領域境界線Ｌ_２の中心線Ｍを検出する。中心線Ｍは、各々の＋エッジと−エッジの中点同士を連結した線として検出することができる。

次に、図５Ｂに示すように、中心線Ｍを中心として、＋エッジ側と−エッジ側にそれぞれ幅Ｗ_１（第２の所定距離）を有する領域を設定する。幅Ｗ_１は、駐車枠を構成する白線幅の半分の値に所定の値を加算した値とする。＋エッジ側に設定した領域を領域Ｒ_１とし、−エッジ側に設定した領域を領域Ｒ_２と呼ぶ。すなわち、白線候補領域の長さ、すなわち中心線の長さをＴとすると、領域Ｒ_１と領域Ｒ_２は、それぞれ、Ｗ_１Ｔ個の画素を含む。

そして、図５Ｃに示すように、領域Ｒ_１の内部の輝度ヒストグラムＨ（Ｒ_１）と、領域Ｒ_２の内部の輝度ヒストグラムＨ（Ｒ_２）を作成する。さらに、こうして作成された輝度ヒストグラムＨ（Ｒ_１）と輝度ヒストグラムＨ（Ｒ_２）の類似性を数値化するため、２つのヒストグラムの相互相関を計算する。そして、相互相関値が所定値未満であるとき、輝度ヒストグラムＨ（Ｒ_１）と輝度ヒストグラムＨ（Ｒ_２）の類似性が低いと判断する。なお、ヒストグラム同士の類似度の評価は、相互相関以外の方法、例えば、Bhattacharyya距離を用いて２つのヒストグラムの類似度を算出する手法等を用いて行ってもよい。

そして、類似性が低いときは、評価を行った白線候補領域に対して対称性フラグを立てる。そして、同様の評価を、全ての白線候補領域に対して実施する。
＜輝度差の評価指標の説明＞

次に、輝度差の評価指標について説明する。駐車枠を構成する白線は、路面との間に大きな輝度差を有しているはずである。そこで、この輝度差を評価する。

輝度差が所定値よりも小さいときは、その白線候補領域は駐車枠を構成する白線でない可能性があるため、白線候補領域に対して輝度差フラグを立てる。そして、白線候補領域に輝度差フラグが立っていることは、後ほど、駐車枠の検出処理を行う中で利用する。

次に、輝度差の具体的な評価方法について、図６Ａに示す白線候補領域境界線Ｌ_１，Ｌ_２が検出された場合を用いて説明する。まず、先に説明した対称性の評価において検出した中心線Ｍに対して、図６Ｂに示すように、中心線Ｍ上の画素ｍ_１から、＋エッジ側と−エッジ側にそれぞれ距離Ｗ_２（第１の所定距離）離れた画素を設定する。距離Ｗ_２は、駐車枠を構成する白線幅の値に所定の値を加算した値とする。＋エッジ側に設定した画素（第３の画素）をＰ_１１と呼び、−エッジ側に設定した画素（第４の画素）をＰ_２１と呼ぶ。

白線候補領域の延びる方向は、画像内の上下方向、あるいは左右方向に限定されるものではなく、図６Ａに示すように、任意の方向に延びている。したがって、先に設定した画素Ｐ_１１と画素Ｐ_２１を、図６Ｃに示すように、中心線Ｍに直交する方向の画素Ｐ_１１’と画素Ｐ_２１’に変換する。

次に、画素ｍ_１の輝度値Ｉ（ｍ_１）と、画素Ｐ_１１’の輝度値Ｉ（Ｐ_１１’）と、画素Ｐ_２１’の輝度値Ｉ（Ｐ_２１’）を求めて、輝度差Ｉ（ｍ_１）−Ｉ（Ｐ_１１’）と、輝度差Ｉ（ｍ_１）−Ｉ（Ｐ_２１’）のうち、小さい方の輝度差を求める。

こうして求めた、小さい方の輝度差が、予め決めておいた所定値よりも小さいときに、現在着目している白線候補領域と路面の輝度差を表す投票値をインクリメントする。

そして、図６Ｄに示すように、画素ｍ_１の位置を、中心線Ｍの他方の端点である画素ｍ_ｎの位置まで動かしながら、同様にして輝度差の評価を行う。

１つの白線候補領域について、前記評価が終了したとき、投票値を白線候補領域の長さ、すなわち中心線の長さＴ（図５Ｂ参照）で正規化して、この正規化された値が所定値よりも高いとき、すなわち、白線候補領域の中心線を構成する画素の所定割合以上の画素において、白線候補領域とそれに接する路面領域の輝度差が所定値よりも小さいときに、評価を行った白線候補領域に対して輝度差フラグを立てる。そして、同様の評価を、全ての白線候補領域に対して実施する。
＜左右差の評価指標の説明＞

最後に、左右差の評価指標について説明する。駐車枠を構成する白線は、路面との間に輝度差を有して、その輝度差は、白線の左右でほぼ等しくなっているはずである。そこで、この輝度の左右差を評価する。

輝度の左右差が所定値よりも大きいときは、その白線候補領域は駐車枠を構成する白線でない可能性があるため、白線候補領域に対して左右差フラグを立てる。そして、白線候補領域に左右差フラグが立っていることは、後ほど、駐車枠の検出処理を行う中で利用する。

次に、左右差の具体的な評価方法について、図６Ａ〜図６Ｄを用いて説明する。まず、先の輝度差の評価を行う際に設定した、中心線Ｍ上の画素ｍ_１から、＋エッジ側に距離Ｗ_２離れた画素Ｐ_１１’と、−エッジ側に距離Ｗ_２離れた画素Ｐ_２１’について、画素Ｐ_１１’の輝度値Ｉ（Ｐ_１１’）と、画素Ｐ_２１’の輝度値Ｉ（Ｐ_２１’）を求めて、輝度差Ｉ（Ｐ_１１’）−Ｉ（Ｐ_２１’）を求める。

こうして求めた輝度差が、予め決めておいた所定値よりも大きいときに、現在着目している白線候補領域に対して、左右の輝度差を評価するための投票値をインクリメントする。

そして、図６Ｄに示すように、画素ｍ_１の位置を、中心線Ｍの他方の端点である画素ｍ_ｎの位置まで動かしながら、同様にして左右の輝度差の評価を行う。

１つの白線候補領域について、前記評価が終了したとき、投票値を白線候補領域の長さ、すなわち中心線の長さＴで正規化して、この正規化された値が所定値よりも高いとき、すなわち、白線候補領域の＋エッジ側と−エッジ側の輝度差が所定値よりも大きいときに、評価を行った白線候補領域に対して左右差フラグを立てる。そして、同様の評価を、全ての白線候補領域に対して実施する。

こうして、各々の白線候補領域に付与された対称性フラグ，輝度差フラグ，左右差フラグは、駐車枠らしさ管理部４７に記憶されて、後述するように、駐車枠の検出を行う際に利用される。図７は、対称性フラグ，輝度差フラグ，左右差フラグの記憶、管理方法について説明する図である。

図７に示すように、画像Ｉの中から検出された全ての白線候補領域の各々に対して、白線候補領域の位置（例えば、中心線Ｍの両端の画素ｍ_１，ｍ_ｎの位置）と、対称性フラグ，輝度差フラグ，左右差フラグの付与状態が記憶され、以降の処理は、このリストを用いて行われる。なお、図７に示すように、一つの白線候補領域に複数のフラグが付与される場合もある。
＜駐車枠の検出方法の説明＞

次に、駐車枠の検出方法について説明する。駐車枠を検出する方法には様々なものが考えられ、そのいずれの方法を適用してもよい。ここでは、駐車枠の形状特徴を利用した検出方法について説明する。

駐車枠の形状特徴とは、例えば、以下の（１）〜（３）のようなものである。

（１）駐車枠は、所定の間隔と所定の長さを有する平行な白線で形成された２本の線分に挟まれた領域である。

（２）平行な白線で形成された２本の線分のうちの１本は、図４Ａに示すように、隣り合った２つの駐車枠で共有される場合もあれば、隣接した駐車枠の間に、２本の白線が引かれている場合もある。

（３）平行な白線の端点同士は、白線によって連結されている場合もあれば、図４Ａのように、駐車枠の奥側のみが連結されている場合もある。また、平行な白線の端点同士が連結されていない場合もある。

本実施例では、まず、画像Ｉの中に観測される駐車枠のサイズを記憶しておく。駐車枠のサイズとは、駐車枠に車両を駐車したときに、車両の前後方向に向かって延びる平行な白線で形成された２本の線分の長さ（前述した中心線Ｍの長さと考えてもよい）と、その２本の線分の間隔である。

画像Ｉは、車両１を真上から見下ろした俯瞰図であるため、画像Ｉが観測している範囲は、撮像した画像を俯瞰図に変換するパラメータを用いて容易に推定できる。したがって、想定したサイズの駐車枠が、画像Ｉの中でどの位の大きさで観測されるかを推定することができる。ここでは、車両の前後方向に向かって延びる平行な白線で形成された２本の線分の長さが第１の所定の画素数Ｏ_１で観測されて、２本の線分の間隔が第２の所定の画素数Ｏ_２で観測されるものと推定される。

そして、まず、画像Ｉの中から検出された白線候補領域の中から、その方向がほぼ等しくなっている複数の白線候補領域のペアを検出する。白線候補領域の方向は、先に検出した中心線Ｍの方向（２つの端点である画素ｍ_１，ｍ_ｎを結ぶ線分の方向）と考えてよい。検出した白線候補領域の情報は、図７に示すようなリスト形式で記憶されているため、平行な白線候補領域の検出は、このリストに記憶された情報を用いて行う。

こうして検出された平行な白線候補領域の間隔が、第２の所定の画素数Ｏ_２に近いときに、駐車枠を構成する平行な白線候補領域のペアが見つかったものと判断する。そして、次に、こうして検出された白線候補領域の長さを求める。白線候補領域の長さは、その白線候補領域の中心線Ｍの長さとして算出される。算出された中心線Ｍの長さが、先に想定した駐車枠の長さ、すなわち第１の所定の画素数Ｏ_１に近い値であるとき、その白線候補領域は駐車枠を構成しているものと判断する。
＜駐車枠らしさの利用方法の説明＞

駐車枠の検出を行った後で、図７で説明した、各白線候補領域に付与された対称性フラグ，輝度差フラグ，左右差フラグの付与状態を利用して、検出された駐車枠の信頼度Ｕを算出する。

すなわち、駐車枠を構成する白線候補領域に対称性フラグ，輝度差フラグ，左右差フラグのいずれかが付与されているときは、仮に、その白線候補領域が駐車枠を構成していても、その信頼性が低下するものとして取り扱う。また、複数のフラグが付与されているときには、いずれか１つのフラグのみが付与されている場合と比較して、その白線候補領域が駐車枠を構成する信頼性が、より一層低下するものとして取り扱う。このようにすることによって、その白線候補領域がノイズである可能性を持つことが反映される。

信頼度Ｕは、具体的には、以下のようにして算出する。すなわち、まず、駐車枠を検出した後で、その駐車枠に含まれる白線候補領域に対するフラグの付与状態を確認して、フラグの付与状態に応じて、その白線候補領域の中心線Ｍの長さＭ_Ｌを所定の割合で短く補正して、中心線Ｍの長さをＭ_Ｌ’とする。

例えば、フラグが１つ付与されている毎に、中心線Ｍの長さＭ_Ｌを１０％ずつ短く補正すればよい。こうして、全ての白線候補領域の中心線Ｍに対して、フラグの付与状態に応じた補正を行った後、駐車枠の周囲長のうち、画像Ｉの中に表示されている部分の長さに対する、その駐車枠を構成する全ての白線候補領域の補正後の中心線Ｍの長さＭ_Ｌ’の総和の割合Ｅを求め、こうして算出された割合Ｅに基づいて、割合Ｅが高いほど大きな信頼度Ｕを、その駐車枠に付与する。この信頼度Ｕの算出例を図８Ａ〜図８Ｃに示す。

図８Ａ〜図８Ｃに示した例では、検出された駐車枠Ｐ_Ｒ１を構成する白線候補領域は３つ検出される。それぞれの白線候補領域の中心線の長さは、図８Ａに示すようにＴ_１，Ｔ_２，Ｔ_４であり、それぞれの白線候補領域に付与されたフラグの状態に基づいて、それぞれの中心線の長さが、図８Ｂに示すように、長さＴ_１’，Ｔ_２’，Ｔ_４’に補正される。

さらに、図８Ｃに示すように、検出された駐車枠Ｐ_Ｒ１の周囲長Ｑ_１のうち、画像Ｉの中に表示されている部分の長さＱ_１’に対する、Ｔ_１’＋Ｔ_２’＋Ｔ_４’の割合Ｅ（Ｐ_Ｒ１）を求め、こうして算出された割合Ｅ（Ｐ_Ｒ１）に基づいて、駐車枠Ｐ_Ｒ１の信頼度Ｕが算出される。駐車枠Ｐ_Ｒ２についても、同様にして信頼度Ｕが算出される。

なお、同じ白線候補領域に複数のフラグが同時に立っているときには、前記した所定の割合を更に高い値として、白線候補領域の中心線の長さを、より一層短く補正し、その白線候補領域がノイズである可能性がより一層高いことを反映したものとする。

そして、信頼度Ｕは、その大きさに応じて、例えば、最も信頼できない信頼度Ｕ_１から、最も信頼できる信頼度Ｕ_４まで４段階にグルーピングされて、後で車両制御に利用される。
＜駐車枠の信頼度の算出効果の説明＞

前述した駐車枠の信頼度Ｕ_ｉを算出することによって効果が期待できる具体的な場面について、図９を用いて説明する。

図９は、前述した「対称性」，「輝度差」，「左右差」が効果を発揮する具体的な場面について説明したものである。なお、最も右列の「ソナーの利用」と書かれている欄は、実施例２で説明する。

まず、対称性が効果をもつ場面について説明する。対称性の評価によって、白線の左右で輝度分布が大きく異なっていることを認識することができる。したがって、例えば、路面から垂直に立った立体物のうち、他車のホイールや植え込みがあったときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。

また、非垂直な立体物である、他車両の車体の模様や壁面があったときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。

さらに、路面に縁石や段差があるとき、また雨水路があるときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。

また、路面に車の影があるとき、また、電線の影があるときには、輝度分布の対称性が崩れる恐れがあるため、対称性の評価値が低い値となる可能性がある。

そして、このように対称性の評価値が低い値になったときには、駐車枠を誤検出する可能性があるため、仮に白線候補領域が検出された場合であってもその信頼度が低く設定される。

次に、輝度差が効果をもつ場面について説明する。輝度差の評価によって、白線の左側または右側に輝度差が小さい、すなわち、コントラストが低い領域があることを認識することができる。したがって、例えば、路面から垂直に立った立体物のうち、他車のホイールや植え込みがあったときには、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。

また、非垂直な立体物である、他車両の車体の模様や壁面があったときには、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。

さらに、路面に縁石や段差があるとき、また雨水路があるときには、場面によっては、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。

また、悪天候時には、例えば、レンズに雨滴が付着して、この雨滴の存在によって輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。

また、路面に車の影があるとき、また、電線の影があるときには、輝度差が小さくなる恐れがあるため、輝度差の評価値が低い値となる可能性がある。

そして、このように輝度差の評価値が低い値になったときには、駐車枠を誤検出する可能性があるため、仮に白線候補領域が検出された場合であってもその信頼度が低く設定される。

次に、輝度の左右差が効果をもつ場面について説明する。輝度の左右差の評価によって、白線の左側と右側とで輝度差が大きい、すなわち、明るさが大きく異なる領域があることを認識することができる。したがって、例えば、路面から垂直に立った立体物のうち、他車のホイールや植え込みがあったときには、場面によっては、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。

また、非垂直な立体物である、他車両の車体の模様や壁面があったときには、場面によっては、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。

さらに、路面に縁石や段差があるとき、また雨水路があるときには、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。

また、悪天候時には、例えば、路面反射の発生や、レンズへの雨滴の付着によって、輝度の左右差が大きくなる恐れがあるため、左右差の評価値が高い値となる可能性がある。

そして、このように輝度の左右差の評価値が高い値になったときには、駐車枠を誤検出する恐れがあるため、仮に白線候補領域が検出された場合であってもその信頼度が低く設定される。
＜駐車枠の検出結果の利用方法の説明＞

こうして検出された駐車枠の検出結果に基づいて、車両１の周囲に駐車枠があること、および、その駐車枠をどの程度信頼してよいかを示す信頼度Ｕが決定される。そして、車両挙動制御部８０（図２）は、検出された駐車枠の信頼度Ｕに基づいて、以下に説明する車両制御を行う。

画像Ｉの中に駐車枠が検出されたときに、アクセル開度検出部７０（図２参照）において所定値以上のアクセル開度を検出したときには、ブレーキを踏むべきタイミングで、間違ってアクセルを踏み込んでしまったと判断して、車両挙動制御部８０（図２参照）の作用によって、エンジン出力を絞る制御を行い、実際に踏み込まれたアクセル開度に対応するエンジン出力を出さないようにする。そして、情報出力部９０（図２参照）によって、駐車枠を検出したためにエンジン出力を絞ったことを表示して、運転者に報知する。

このような車両制御を行うことによって、駐車場において、ペダルの踏み間違いによる車両の暴走を防止することができる。

なお、このとき、検出した駐車枠の信頼度Ｕに基づいて、実行する車両制御の内容を変更することができる。

先に説明した駐車枠を検出する処理によって、画像Ｉの中からは、複数の駐車枠が検出される。そして、検出された駐車枠には、信頼度Ｕ_ｉ（ｉ＝１〜４）が付与されている。なお、Ｕ_１＜Ｕ_２＜Ｕ_３＜Ｕ_４であるとし、ｉが大きいほど信頼度が高いものとする。

このとき、画像の中に存在する駐車枠のうち、最も信頼度の低い駐車枠に付与された信頼度Ｕ_ｉを、その画像Ｉの中の駐車枠の信頼度とする。

そして、画像Ｉの中の駐車枠の信頼度がＵ_１であると判断されたときには、駐車枠が検出されなかったものと判断して、何の制御も表示も行わない。また、画像Ｉの中の駐車枠の信頼度がＵ_２であると判断されたときには、情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。さらに、画像Ｉの中の駐車枠の信頼度がＵ_３であると判断されたときには、前述したエンジン出力の低減制御を行うが、そのときの制御量（エンジンの出力抑制量）は小さく設定する。そして、画像Ｉの中の駐車枠の信頼度がＵ_４であると判断されたときには、前述したエンジン出力の低減制御を行うが、そのときの制御量（エンジンの出力抑制量）は大きく設定する。

このように、検出された駐車枠の信頼度Ｕ_ｉに応じて、適切な車両制御を実行することができ、駐車枠を誤検出した可能性があるときには、車両制御の実行を抑制することによって、駐車枠の検出状態に応じた適切な車両制御を行うことができる。
＜実施例１の作用の説明＞

次に、実施例１に係る車載画像処理装置５の一連の動作の流れについて、図１０のフローチャートを用いて説明する。

（ステップＳ１０）図２に図示しない車速センサの出力に基づいて、車両１の車速を検出する。そして、検出した車速が０でなく、かつ、予め設定された所定の車速以下であるか否かを判断する。検出した車速が０でなく、かつ、予め設定された所定の車速以下であると判断されたときはステップＳ２０に進み、それ以外のときは、図１０の処理を終了する。

（ステップＳ２０）撮像部１０によって、車両１の周囲を撮像する。

（ステップＳ３０）画像変換、合成部２０において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図４Ａに示すような１枚の画像Ｉに合成される。

（ステップＳ４０）エッジペア検出部３２において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。

（ステップＳ５０）さらに、中心線検出部３４において、＋エッジと−エッジの中点で構成される中心線Ｍを検出する。

（ステップＳ６０）対称性評価部４３において、検出された白線候補領域の輝度分布の対称性に基づく駐車枠らしさを算出する。詳しい処理内容は、前述したため省略する。

（ステップＳ７０）輝度差評価部４４において、検出された白線候補領域の輝度差に基づく駐車枠らしさを算出する。詳しい処理説明は、前述したため省略する。

（ステップＳ８０）左右差評価部４５において、検出された白線候補領域の輝度の左右差に基づく駐車枠らしさを算出する。詳しい処理説明は、前述したため省略する。

（ステップＳ９０）駐車枠検出部６０において、画像Ｉの中から駐車枠を検出する。詳しい処理内容は、前述したため省略する。

（ステップＳ９５）ステップＳ９０を行った結果、駐車枠が見つかったか否かを判断する。駐車枠が見つかったときはステップＳ１００に進み、駐車枠が見つからなかったときは、ステップＳ１０に戻る。

（ステップＳ１００）駐車枠検出部６０において、画像Ｉの中から検出された全ての駐車枠の信頼度の中から、最も低い信頼度を、画像Ｉの中の駐車枠の信頼度Ｕ_ｉとする。

（ステップＳ１１０）算出された信頼度Ｕ_ｉがＵ_４と等しいか、もしくはＵ_ｉがＵ_３と等しいかが判断される。Ｕ_ｉが、Ｕ_４かＵ_３のいずれかと等しいときは、ステップＳ１２０に進み、それ以外のときはステップＳ１５０に進む。

（ステップＳ１２０）情報出力部９０の作用で、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。

（ステップＳ１３０）アクセル開度検出部７０において、アクセル開度が所定値以上であるか否かを判断する。アクセル開度が所定値以上のときはステップＳ１４０に進み、アクセル開度が所定値に満たないときは、ステップＳ１０に戻る。

（ステップＳ１４０）車両挙動制御部８０において、信頼度Ｕ_４またはＵ_３に応じた、エンジン出力の抑制制御を行う。その制御の内容は前述した通りである。その後、ステップＳ１０に戻る。

（ステップＳ１５０）算出された信頼度Ｕ_ｉがＵ_２と等しいか否かが判断される。Ｕ_ｉがＵ_２と等しいときは、ステップＳ１６０に進み、それ以外のときはステップＳ１０に戻る。

（ステップＳ１６０）情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。その後、ステップＳ１０に戻る。

以上説明したように、このように構成された本発明の一実施形態である車載画像処理装置５によれば、車両１に設置された撮像部１０が、車両１の周囲の、少なくとも路面を含む画像Ｉを撮像して、白線候補領域検出部３０が、撮像された画像Ｉを左から右に向かって（所定の方向）スキャンしたときに、画像Ｉの輝度値が明るい方向に輝度差しきい値Ｉ_ｔｈ（所定値）よりも大きく変化する第１の画素の位置と、前記第１の画素からの間隔ｗが所定距離以内にあって、画像Ｉの輝度値が暗い方向に輝度差しきい値Ｉ_ｔｈ（所定値）よりも大きく変化する第２の画素の位置を検出し、直線をなす複数の第１の画素からなる線素の両端点と複数の第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出して、駐車枠らしさ算出部４０が、こうして検出された白線候補領域と路面の境界点の周囲の輝度分布を算出して、この輝度分布が所定の条件を満たすときほど、白線候補領域が駐車枠をなす度合いである駐車枠らしさが低いものと判断して、駐車枠検出部６０が、画像Ｉの中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出した後で、駐車枠を構成する白線候補領域の駐車枠らしさが低いときには、検出された駐車枠の信頼度Ｕを低く設定するため、路面上のノイズによる駐車枠の誤検出を防止することができ、これによって、路面に描かれた駐車枠の位置を安定して検出することができる。

また、本発明の一実施形態である車載画像処理装置５によれば、輝度差評価部４４が、白線候補領域の中で、＋エッジを構成する第１の画素と−エッジを構成する第２の画素の複数の中点同士を連結した中心線Ｍに対して、中点をこの中心線Ｍに沿って移動したときに、中点の輝度と、中点から第１の画素に向かう方向に距離Ｗ_２（第１の所定距離）離れた第３の画素Ｐ_１１の輝度の差と、中点の輝度と、中点から第２の画素に向かう方向に距離Ｗ_２（第１の所定距離）離れた第４の画素Ｐ_２１の輝度の差を算出して、そのうち少なくとも一方が所定値よりも小さくなるような中点が、白線候補領域を構成する中点の総数に対して所定の割合よりも多いか否かを評価する。（輝度差評価指標）

また、左右差評価部４５が、中点を中心線Ｍに沿って移動したときに、第３の画素Ｐ_１１の輝度と第４の画素Ｐ_２１の輝度の差を算出して、この輝度の差が所定値以上異なるような第３の画素Ｐ_１１と第４の画素Ｐ_２１のペアが、白線候補領域を構成する中点の総数に対して所定の割合よりも多いか否かを評価する。（輝度の左右差評価指標）

また、対称性評価部４３が、中点の位置から第１の画素に向かう方向に幅Ｗ_１（第２の所定距離）離れた第５の画素と、中点の位置から第２の点に向かう方向に幅Ｗ_１（第２の所定距離）離れた第６の画素とを設定し、中点を中心線Ｍに沿って移動したときに中点と第５の画素を結ぶ線分が描く領域Ｒ_１の内部の輝度分布と、中点を中心線Ｍに沿って移動したときに中点と第６の画素を結ぶ線分が描く領域Ｒ_２の内部の輝度分布との差が所定値よりも大きいか否かを評価する。（対称性評価指標）

そして、前述した３つの評価指標のうち少なくとも１つが成立したときに、白線候補領域の駐車枠らしさを引き下げるため、路面上に存在するノイズの影響によって駐車枠の輝度分布が変化したときには、その変化に応じた駐車枠らしさを算出することができ、これによって、検出された駐車枠の信頼度を判断することができる。

また、本発明の一実施形態である車載画像処理装置５によれば、駐車枠らしさ算出部４０が、白線候補領域検出部３０で検出された白線候補領域に対して、白線候補領域の周囲の輝度分布に基づいて、対称性，輝度差，左右差をそれぞれ評価して、対称性，輝度差，左右差のうち、複数の条件を同時に満たす場合には、対称性，輝度差，左右差のうち、いずれか１つの条件だけを満たす場合よりも、白線候補領域の駐車枠らしさをより一層低く設定して信頼度Ｕ_ｉを付与するため、検出された白線候補領域の駐車枠らしさをより確実に判定することができる。

さらに、本発明の一実施形態である車載画像処理装置５によれば、撮像部１０で撮像された画像を、車両１を真上から見下ろした俯瞰画像（画像Ｉ）に変換する画像変換、合成部２０（画像変換部）を有し、画像変換部２０で変換された画像に対して、白線候補領域検出部３０が白線候補領域の検出を行うため、路面に描かれた駐車枠が矩形領域に変換されることによって、駐車枠の形状特徴を用いて、画像Ｉの中の駐車枠を容易に検出することができる。

次に、第２の実施例である実施例２について説明する。実施例２は、実施例１の構成に、さらに、車両周囲の立体物を検出する立体物検出部を付加して、車両の周囲に立体物が検出されたときに、立体物の検出結果を用いて、白線候補領域の駐車枠らしさを算出するものである。

まず、図１１から図１３を用いて、実施例２の構成を説明する。実施例２に示す車載画像処理装置６は、車両１に実装されて、図１１に示すように、車両１から異なる４方向の画像を撮像するために設けられた前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄに加えて、車両１の４隅に設置された、所定の測距範囲の内部の立体物の有無を判断する測距センサ１００Ａ，１００Ｂ，１００Ｃ，１００Ｄを有している。

測距センサ１００Ａは、車両１の右前部に装着されて、測距範囲Ｄ_Ａの内部を観測する。また、測距センサ１００Ｂは、車両１の左前部に装着されて、測距範囲Ｄ_Ｂの内部を観測する。測距センサ１００Ｃは、車両１の左後部に装着されて、測距範囲Ｄ_Ｃの内部を観測する。そして、測距センサ１００Ｄは、車両１の右後部に装着されて、測距範囲Ｄ_Ｄの内部を観測する。

図１２は、車載画像処理装置６の全体構成を示すブロック図である。本車載画像処理装置６は、実施例１の構成に加えて、図示しない車両１の周囲の立体物までの距離を測定する、前述した立体物検出部１００と、立体物検出部１００で検出した立体物情報を集約する立体物情報取得部１１０と、を有する。

また、実施例１の白線候補領域検出部３０は、実施例２では、内部の構成が変化するため、白線候補領域検出部３６となり、駐車枠らしさ算出部４０は、実施例２では、内部の構成が変化するため駐車枠らしさ算出部５０となる。

立体物検出部１００は、超音波センサやミリ波レーダ等の測距センサで構成されており、先に説明した測距範囲Ｄ_ＡからＤ_Ｄの内部の立体物の有無を検出する。

白線候補領域検出部３６は、さらに、予め設定された所定の方向に隣接する＋エッジと−エッジのペアを検出するエッジペア検出部３７と、各白線候補領域の中から、エッジペア同士を結ぶ線分の中点で構成される中心線を検出する中心線検出部３４とからなる。

駐車枠らしさ算出部５０は、さらに、図１３に示す構成を有している。すなわち、図３で説明した駐車枠らしさ算出部４０を構成する対称性評価部４３，輝度差評価部４４，左右差評価部４５に加えて、立体物検出部１００で測定された立体物の存在に関する情報を評価する立体物情報評価部５１と、各評価値を記憶して管理する駐車枠らしさ管理部５２とからなる。

以下、実施例２の作用について、実施例１と差異がある点を中心に説明する。なお、実施例１の作用と重複する部分については説明を省略する。
＜立体物情報の利用方法の説明＞

白線候補領域の近傍の輝度分布の対称性，輝度差の大きさ，輝度の左右差を評価した後で、立体物検出部１００によって取得された、車両１の周辺の立体物情報に基づいて、駐車枠らしさの補正を行う。

撮像部１０の撮像範囲内に立体物が存在したときには、その立体物が存在しないときに路面の輝度分布が撮像されるべき位置において、立体物の輝度分布が撮像される。したがって、画像Ｉの中で取得された輝度分布は、白線候補領域の輝度分布や路面の輝度分布とは異なる分布を示す。

例えば、車両１の近傍に他の車両が存在したときには、本来駐車枠が撮像される位置に、他の車両や、他の車両の影が撮像される。したがって、本来、白線候補領域となるはずの位置に白線以外のものが映ったり、あるいは、白線に他の車両の影がかかることによって、路面と白線との輝度差が小さくなる。

このようなときに、実施例１では「対称性」，「輝度差」，「左右差」の３つの評価指標に基づいて、駐車枠らしさを算出し、この駐車枠らしさに基づいて、検出された駐車枠の信頼度を設定した。

したがって、車両１の近傍に立体物が存在したときには、駐車枠らしさが低くなって、その結果、検出された駐車枠の信頼度が低い値になってしまう。もしくは、駐車枠自体が検出できなくなってしまう。

本実施例では、このように、車両１の近傍に立体物が存在したときには、白線候補領域の検出方法と、駐車枠らしさの評価方法を、実施例１とは異なる方法によって実施する。

すなわち、車両１の近傍に立体物が存在したときには、例えば、路面から立ち上がったポールの影を白線と誤認識してしまう可能性がある。そのため、立体物が存在することがわかったときには、白線候補領域を検出するしきい値を厳しくして、白線候補領域を検出しにくくする。ここで、白線候補領域を検出するしきい値は、＋エッジと−エッジを検出する輝度差しきい値Ｉ_ｔｈと、＋エッジと−エッジの間隔ｗである。

さらに、車両１の近傍に立体物が存在したときには、駐車枠を検出しにくくしてもよい。この場合は、駐車枠の形状特徴である幅と長さ、および平行度を厳しく設定すればよい。

一方、車両１の近傍に立体物が存在しても、駐車枠が正しく検出される場合もある。しかしながら、本来確実に検出されるはずの駐車枠が、例えば立体物の影によってコントラストが低下し、駐車枠らしさが低い状態で検出される可能性があると想定される。

したがって、立体物が検出されたときには、前述した「対称性」，「輝度差」，「左右差」に基づくフラグが立っていても、そのフラグを無視することが効果的である。この場合、フラグが立っていても、駐車枠らしさを引き下げない。
＜駐車枠の信頼度の算出効果の説明＞

ここでは、図９の最も右列の「ソナーの利用」と書かれている欄について説明する。

まず、立体物が存在することを検出することによって、路面から立ち上がった物体があることが検知されるため、白線候補領域を検出するしきい値を厳しくすることができる。これにより、例えば、路面から垂直に立った立体物のうち、ポールや他車のホイール、また、場合によっては植え込みを駐車枠と誤認識することを防止できる。

また、非垂直立体物である、車体模様や壁面についても、白線候補領域を検出するしきい値を厳しくすることによって、これらを白線候補領域と誤認識することを防止できる。

さらに、立体物である他車両の影によって白線候補領域が検出しにくくなる場合があるが、白線候補領域から算出する駐車枠らしさが低い場合であっても、あえて駐車枠らしさを引き下げないことによって、影に覆われた駐車枠であっても検出することができる。
＜実施例２の作用の説明＞

次に、実施例２に係る車載画像処理装置６の一連の動作の流れについて、図１４のフローチャートを用いて説明する。

（ステップＳ２００）図１２に図示しない車速センサの出力に基づいて、車両１の車速を検出する。そして、検出した車速が０でなく、かつ、予め設定された所定の車速以下であるか否かを判断する。検出した車速が０でなく、かつ、予め設定された所定の車速以下であると判断されたときはステップＳ２１０に進み、それ以外のときは図１４の処理を終了する。

（ステップＳ２１０）撮像部１０によって、車両１の周囲を撮像する。

（ステップＳ２２０）画像変換、合成部２０において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図４Ａに示すような１枚の画像Ｉに合成される。

（ステップＳ２２２）立体物検出部１００を構成する測距センサ１００Ａ，１００Ｂ，１００Ｃ，１００Ｄのいずれかで、立体物を検知したか否かを判断する。いずれかの測距センサで立体物が検出されたときはステップＳ２３０に進み、立体物が検出されないときはステップＳ２３２に進む。

（ステップＳ２３０）エッジペア検出部３７において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。なお、このとき、画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４の中で、立体物が検出された方向に対応する画像の中では、＋エッジと−エッジを検出する輝度差しきい値Ｉ_ｔｈと、＋エッジと−エッジの間隔ｗを厳しく設定して、白線候補領域を検出しにくくする。

（ステップＳ２３２）エッジペア検出部３７において、画像Ｉの中から、＋エッジと−エッジを構成するエッジ構成点を検出する。なお、このとき、＋エッジと−エッジを検出する輝度差しきい値Ｉ_ｔｈと、＋エッジと−エッジの間隔ｗは通常の値に設定して、しきい値を厳しくしない。

（ステップＳ２４０）中心線検出部３４において、＋エッジと−エッジの中点で構成される中心線Ｍを検出する。

（ステップＳ２５０）対称性評価部４３において、検出された白線候補領域の輝度分布の対称性に基づく駐車枠らしさを算出する。詳しい処理内容は前述したため省略する。

（ステップＳ２６０）輝度差評価部４４において、検出された白線候補領域の輝度差に基づく駐車枠らしさを算出する。詳しい処理内容は前述したため省略する。

（ステップＳ２７０）左右差評価部４５において、検出された白線候補領域の輝度の左右差に基づく駐車枠らしさを算出する。詳しい処理内容は前述したため省略する。

（ステップＳ２９０）駐車枠検出部６０において、画像Ｉの中から駐車枠を検出する。詳しい処理内容は前述したため省略する。

（ステップＳ３００）立体物検出部１００を構成する測距センサ１００Ａ，１００Ｂ，１００Ｃ，１００Ｄのいずれかで、立体物を検知したか否かを判断する。いずれかの測距センサで立体物が検出されたときはステップＳ３１０に進み、立体物が検出されないときはステップＳ３２０に進む。

（ステップＳ３１０）駐車枠検出部６０において、画像Ｉの中から検出された全ての駐車枠の信頼度の中から、最も低い信頼度を、画像Ｉの中の駐車枠の信頼度Ｕｉとする。なお、このときに、「対称性」，「輝度差」，「左右差」に基づくフラグが立っていても、画像Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４の中で、立体物が検出された方向に対応する画像の中では、このフラグを無視して、白線候補領域の駐車枠らしさは引き下げないようにする。

（ステップＳ３２０）駐車枠検出部６０において、画像Ｉの中から検出された全ての駐車枠の信頼度の中から、最も低い信頼度を、画像Ｉの中の駐車枠の信頼度Ｕｉとする。なお、このときに、「対称性」，「輝度差」，「左右差」に基づくフラグが立っていたら、そのフラグに応じて、白線候補領域の駐車枠らしさを引き下げるようにする。

（ステップＳ３３０）算出された信頼度Ｕ_ｉがＵ_４と等しいか、もしくはＵ_ｉがＵ_３と等しいかが判断される。Ｕ_ｉが、Ｕ_４かＵ_３のいずれかと等しいときは、ステップＳ３４０に進み、それ以外のときはステップＳ３５０に進む。

（ステップＳ３４０）情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。

（ステップＳ３７０）アクセル開度検出部７０において、アクセル開度が所定値以上であるか否かを判断する。アクセル開度が所定値以上のときはステップＳ３８０に進み、アクセル開度が所定値に満たないときは、ステップＳ１０に戻る。

（ステップＳ３８０）車両挙動制御部８０において、信頼度Ｕ_４またはＵ_３に応じた、エンジン出力の抑制制御を行う。その制御の内容は前述した通りである。その後、ステップＳ１０に戻る。

（ステップＳ３５０）算出された信頼度ＵｉがＵ_２と等しいか否かが判断される。ＵｉがＵ_２と等しいときは、ステップＳ３６０に進み、それ以外のときはステップＳ１０に戻る。

（ステップＳ３６０）情報出力部９０から、駐車場ではアクセル操作とブレーキ操作を間違えないように注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。その後、ステップＳ１０に戻る。

以上説明したように、このように構成された本発明の一実施形態である車載画像処理装置６によれば、車両１に設置されて、撮像部１０の撮像範囲内の立体物の有無を検出する立体物検出部１００を有し、立体物検出部１００において立体物が検出されたときには、立体物検出範囲に相当する画像Ｉの領域内において、白線候補領域検出部３６が白線候補領域を検出しにくくなるように、または、駐車枠らしさ算出部５０が駐車枠を検出しにくくなるようにしきい値を厳しくするとともに、白線候補領域が所定の条件を満たしていても、白線候補領域の駐車枠らしさを変更しないため、車両１の近傍に立体物が存在した場合であっても、路面に描かれた駐車枠の位置を確実に検出することができる。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

Claims

車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
前記撮像部によって撮像された画像を所定の方向にスキャンしたときに、輝度値が明るい方向に所定値よりも大きく変化する第１の画素の位置と、前記第１の画素から所定距離以内にあり、輝度値が暗い方向に所定値よりも大きく変化する第２の画素の位置を検出し、直線をなす複数の前記第１の画素からなる線素の両端点と複数の前記第２の画素からなる線素の両端点に囲まれた領域を、駐車枠を構成する白線候補領域として検出する白線候補領域検出部と、
前記白線候補領域を構成する複数の前記第１の画素の周囲の輝度分布と複数の前記第２の画素の周囲の輝度分布に基づいて、前記白線候補領域が駐車枠をなす度合いである駐車枠らしさを算出する駐車枠らしさ算出部と、
前記白線候補領域の位置と前記駐車枠らしさと前記画像の中で観測されると予想される駐車枠のサイズに基づいて駐車枠を検出する駐車枠検出部と、を有し、前記駐車枠らしさ算出部は、前記白線候補領域を構成する複数の第１の画素の周囲の輝度分布と複数の第２の画素の周囲の輝度分布が所定の条件を満たすときに、前記白線候補領域の駐車枠らしさを引き下げることを特徴とする車載画像処理装置。
前記車両に設置されて、前記撮像部の撮像範囲内の立体物の有無を検出する立体物検出部を有し、前記立体物検出部において立体物が検出されたときには、立体物検出範囲に相当する前記画像の領域内において、前記白線候補領域検出部が白線候補領域を検出しにくくなるように、または、前記駐車枠らしさ算出部が駐車枠を検出しにくくなるようにしきい値を厳しくするとともに、前記白線候補領域が前記所定の条件を満たしていても、前記白線候補領域の駐車枠らしさを変更しないことを特徴とする請求項１に記載の車載画像処理装置。
前記所定の条件は、白線候補領域において、複数の前記第１の画素と複数の前記第２の画素の中点同士を連結した中心線に対して、
前記中点を前記中心線に沿って移動したときに、前記中点の輝度と、前記中点から前記第１の画素に向かう方向に第１の所定距離離れた第３の画素の輝度の差と、前記中点の輝度と、前記中点から前記第２の画素に向かう方向に第１の所定距離離れた第４の画素の輝度の差と、のうち少なくとも一方が所定値よりも小さくなるような中点が、前記白線候補領域を構成する中点の総数に対して所定の割合よりも多いとき、
前記中点を前記中心線に沿って移動したときに、前記第３の画素の輝度と前記第４の画素の輝度の差が所定値以上異なるような第３の画素と第４の画素のペアが、前記白線候補領域を構成する中点の総数に対して所定の割合よりも多いとき、
前記中点の位置から前記第１の画素に向かう方向に第２の所定距離離れた第５の画素と、前記中点の位置から前記第２の画素に向かう方向に第２の所定距離離れた第６の画素とを設定し、前記中点を前記中心線に沿って移動したときに前記中点と前記第５の画素を結ぶ線分が描く領域の内部の輝度分布と、前記中点を前記中心線に沿って移動したときに前記中点と前記第６の画素を結ぶ線分が描く領域の内部の輝度分布との差が所定値よりも大きいとき、のうち少なくとも１つであることを特徴とする請求項１または請求項２に記載の車載画像処理装置。
前記駐車枠らしさ算出部は、前記所定の条件のうち、複数の条件を満たす場合には、前記所定の条件を１つだけ満たす場合よりも、前記白線候補領域の駐車枠らしさを低く設定することを特徴とする請求項３に記載の車載画像処理装置。
前記撮像部で撮像された画像を、前記車両を真上から見下ろした俯瞰画像に変換する画像変換部を有し、前記画像変換部で変換された画像に対して、前記白線候補領域検出部が白線候補領域の検出を行うことを特徴とする請求項１から請求項４のいずれか１項に記載の車載画像処理装置。