JP2021062707A - 車両駐車支援装置 - Google Patents

Abstract

【課題】駐車場情報の登録時と登録後とで状況が異なっても車両を自動的に駐車させること。【解決手段】車両駐車支援装置は、運転者から駐車区画の登録要求を受け付けたときにカメラにより撮像された駐車区画を含む登録時画像から特徴画像を取得し、特徴画像を登録する。車両駐車支援装置は、登録後のカメラによる撮像される登録後画像において特徴画像と一致する画像が存在する場合、駐車場情報が登録されている駐車場に車両が到着したと判定する。車両駐車支援装置は、登録時画像を取得したときに立体物が検出されている場合、立体物までの距離に基いて、登録時画像における立体物の画像である立体物画像を推定し、登録時画像において立体物画像以外の画像から特徴画像を取得する。【選択図】図２４

Description

本発明は、車両駐車支援装置に関する。

駐車区画を区画する白線等の区画線が設けられていない駐車場（例えば、個人宅の駐車場）に車両を自動的に駐車させる車両駐車支援装置が知られている。この車両駐車支援装置は、駐車場に車両が駐車されたときにその駐車場に関する情報（以下「駐車場情報」）を登録し、その駐車場に次に車両を自動的に駐車するとき、そのときに取得される駐車場情報と登録済みの駐車場情報とを照合し、車両と駐車場との位置関係を把握しつつ車両を自動的に駐車場に駐車するように構成されている。こうした車両駐車支援装置として、駐車場内の立体物又は駐車場周辺の立体物をカメラによって撮像して取得した画像（以下「カメラ画像」）に写っている立体物の特徴点を駐車場情報として登録する車両駐車支援装置が知られている（例えば、特許文献１参照）。

特開２０１７−１３８６６４号公報

駐車場情報の登録時には運転者のみが車両に搭乗していたが、駐車場情報の登録後に駐車場への車両の自動的な駐車（以下、単に「自動駐車」）が行われるときには運転者の他に乗員が車両に搭乗している場合、駐車場情報の登録時と駐車情報の登録後の自動駐車の実行時とで車両の傾きが異なる可能性がある。又、駐車場情報の登録時に車両が走行した地面と自動駐車の実行時に車両が走行する地面とが異なり、その結果、車両が走行する地面の勾配が異なる場合も、駐車場情報の登録時と自動駐車の実行時とで車両の傾きが異なる可能性がある。こうした場合、同じ立体物がカメラ画像に写っていても、カメラ画像に写っている立体物の形状が異なる可能性がある。この場合、自動駐車の実行時においては、カメラ画像に写っている立体物が駐車場情報として特徴点が登録された立体物（以下「登録立体物」）と同じであるかを判定することができず、その結果、車両を自動的に駐車場に駐車させることができない可能性がある。

又、駐車場情報の登録が午前に行われたが、自動駐車が午後に行われた場合、駐車場情報の登録時と自動駐車の実行時とで立体物への太陽光の当たり方も、地面から反射した太陽光の立体物への当たり方も異なる。更に、駐車場情報の登録が日中に行われたが、自動駐車が夜間に行われた場合も、駐車場情報の登録時と自動駐車の実行時とで立体物への光の当たり方も、地面から反射した光の立体物への当たり方も異なる。こうした場合、同じ立体物がカメラ画像に写っていても、カメラ画像に現れる立体物の画像が駐車情報の登録時と自動駐車の実行時とで異なる可能性がある。この場合も、自動駐車の実行時に、カメラ画像に写っている立体物が登録立体物と同じであるか否かを判定することができず、車両を自動的に駐車場に駐車させることができない可能性がある。

更に、他の車両、自転車及び植木鉢等の移動可能な立体物の特徴点が駐車場情報として登録され、こうした移動可能な立体物が自動駐車の実行時に駐車場情報の登録時の場所から動かされていた場合、自動駐車の実行時のカメラ画像には、登録立体物の画像が写っていないので、車両を自動的に駐車場に駐車させることができない可能性がある。更に、上記したような立体物が駐車場情報の登録時には駐車場付近には存在しなかったが自動駐車の実行時には駐車場付近に存在するようになっている場合、そもそも、この立体物は登録立体物として登録されていないので、その結果、車両を自動的に駐車場に駐車させることができない。

駐車場情報の登録時と自動駐車の実行時とで撮像位置が異なる場合、同じ立体物がカメラ画像に写っていても、カメラ画像に写っている立体物の形状が異なる可能性がある。この場合、自動駐車の実行時に、カメラ画像に写っている立体物が登録立体物と同じであるか否かを判定することができず、車両を自動的に駐車場に駐車させることができない可能性がある。

このように立体物の特徴点が駐車場情報として登録される場合、駐車場情報の登録時と駐車場情報の登録後の自動駐車の実行時とで車両や駐車場を取り巻く状況が異なると、車両を自動的に駐車場に駐車させることができない可能性がある。

本発明は、上述した課題に対処するためになされたものである。即ち、本発明の目的の１つは、駐車場情報の登録時と駐車場情報の登録後とで車両や駐車場を取り巻く状況が異なっても車両を自動的に駐車場に駐車させることができる車両駐車支援装置を提供することにある。

本発明に係る車両駐車支援装置は、
車両の周囲を撮像するように車両に取り付けられたカメラ（４０、４１乃至４４）と、
前記車両の運転者から前記車両を駐車させる駐車区画の登録要求を受け付けた場合に前記カメラによって撮像された前記駐車区画を含む駐車場の画像である登録時画像に基いて該駐車場に関する情報を駐車場情報として登録し、前記駐車場情報を用いて前記車両を前記駐車区画に自動的に駐車させる制御手段（９０、１１、１２、１３）と、を備える。

前記制御手段は、
前記登録時画像から所定の特徴量を有する所定の範囲の画像である特徴画像を取得し（ステップ２４５０）、前記特徴画像及び前記特徴画像と前記駐車区画との位置関係を前記駐車場情報として登録し（ステップ２５４５、ステップ２５６５、ステップ２６２０）、
前記駐車場情報の登録後に前記カメラによって撮像される画像である登録後画像において前記特徴画像と一致する画像が存在する場合（ステップ２７１５にて「Ｙｅｓ」）、前記駐車場情報が登録されている駐車場に前記車両が到着したと判定し（ステップ２７２０）、前記駐車場情報を用いて前記車両を当該駐車場の前記駐車区画に自動的に駐車させ、
前記登録時画像が撮像された範囲に立体物が存在する場合（ステップ２４２０）、前記登録時画像における当該立体物の画像である立体物画像を推定し（ステップ２４４０）、
前記登録時画像において前記立体物画像以外の画像から前記特徴画像を取得する（ステップ２５４０、ステップ２５６５、ステップ２６２０）、
ように構成されている。

これによれば、駐車場の画像における「立体物の画像である立体物画像」以外の画像から特徴画像が駐車場情報として登録されるので、駐車場内の地面及び駐車場周辺の地面の特徴画像が駐車場情報として登録される。車両や駐車場を取り巻く状況の変化による影響が大きい立体物画像を除外できるので、駐車場情報の登録時と駐車場情報の登録後とで上記状況が変化していても、駐車場情報が登録されている駐車場に車両が到着したか否かを確実に判定することができる。このため、駐車場情報の登録時と駐車場情報の登録後とで、車両や駐車場を取り巻く状況が変化していても車両を自動的に駐車場の駐車区画に駐車させることができる。

又、本発明に係る車両駐車支援装置であって、
無線媒体を送信し、立体物によって反射された前記無線媒体を受信することによって前記立体物までの距離を検出する検出センサ（３０、３０１乃至３１２）を、更に備え、
前記制御手段は、
前記登録要求を受け付けたときに前記検出センサが前記立体物を検出している場合、前記登録時画像が撮像された範囲に立体物が存在すると判定し（ステップ２４２０にて「Ｙｅｓ」）、
前記検出センサが検出した立体物に基いて、前記登録時画像における当該立体物の画像である立体物画像を推定する（ステップ２４２５乃至ステップ２４４５）、
ように構成されている。

これによれば、立体物が存在するか否かをより正確に判定することができる。

又、本発明に係る車両駐車支援装置において、
前記制御手段は、
前記カメラによって撮像された前記駐車場の画像を当該カメラの上方の視点から視たときの平面視画像を生成し（ステップ２４１５）、
前記平面視画像において前記検出センサが検出した立体物の前記カメラから最も遠い点である最遠点と前記カメラとを通る仮想線分を取得し（ステップ２４３０）、
前記最遠点から前記仮想線分の傾きで前記カメラから離間する方向に延びる第１仮想線を取得し（ステップ２４３０）、
前記検出センサによって検出された立体物の前記カメラに最も近い点である最近点から前記検出センサの前記無線媒体の前記送信範囲の中心軸と平行な方向に延びる第２仮想線を取得し（ステップ２４３５）、
前記検出センサによって検出された立体物と前記第１仮想線と前記第２仮想線とで区画される領域の画像を前記立体物画像として推定する（ステップ２４４０）、
ように構成されている。

これによれば、平面視画像において検出センサによって検出された立体物と第１仮想線と第２仮想線とで区画された領域の画像を立体物画像として推定する。カメラが撮像した画像を平面視画像に変換した場合、立体物の最遠点から延びる高さ方向の成分は、カメラと最遠点とを通る仮想線分の傾きでカメラから離間する方向に延びる（即ち、第１仮想線に沿って延びる）ように変換される。このため、第１仮想線を立体物画像の区画線として用いるので、より正確に立体物画像を推定できる。

更に、検出センサは、立体物の無線媒体を反射した反射面よりも後方を検出できないので、立体物よりも後方に他の立体物が存在してもこの立体物を検出できない。このため、最近点から無線媒体の送信範囲の中心軸と平行な方向に延びる第２仮想線を立体物画像の区画線として用いるので、立体物の後方の領域（即ち、他の立体物が存在する可能性がある領域）を立体物画像に含めることができる。これによって、状況の変化を受けやすい立体物が写り込んでいる可能性がある画像をより確実に除外することができる。

又、本発明に係る車両駐車支援装置において、
前記検出センサの送信範囲の中心軸の方向及び前記カメラの撮像範囲の中心軸の方向が一致するように、前記検出センサ及び前記カメラが前記車両に取り付けられている、
ように構成されている。

これによって、最近点における立体物の高さ方向の画像が第２仮想線からはみ出し、はみ出した部分の立体物の画像が立体物画像として推定されなくなる可能性を低減できる。

又、本発明に係る車両駐車支援装置であって、
前記制御手段は、
前記登録後画像が撮像された範囲に立体物が存在する場合（ステップ２４２０にて「Ｙｅｓ」）、前記登録後画像における当該立体物の画像である前記立体物画像を推定し（ステップ２４４０）、
前記登録後画像において前記立体物画像以外の画像から前記特徴画像と一致する画像が存在するか否かを判定する（ステップ２７１０、ステップ２７１５）、
ように構成されている。

これによれば、駐車場情報の登録後の登録後画像において立体物画像を除外することができるので、駐車場情報が登録されている駐車場に車両が到着したか否かをより正確に判定することができる。

本発明の各構成要素は、以下の図面を参照しつつ記述される実施形態に限定されるものではない。本発明の他の目的、他の特徴及び付随する利点は、以下の図面を参照しつつ記述される本発明の実施形態についての説明から容易に理解されるであろう。

図１は、本発明の実施形態に係る車両駐車支援装置及びその車両駐車支援装置が適用される車両を示した図である。 図２は、ソナーセンサ装置の配置及び検出範囲を示した図である。 図３は、カメラセンサ装置の配置及び撮像範囲を示した図である。 図４は、駐車場の一例を示した図である。 図５は、前方範囲及び後方範囲を示した図である。 図６は、左側範囲及び右側範囲を示した図である。 図７は、特徴点を示した図である。 図８は、駐車区画を示した図である。 図９の（Ａ）乃至（Ｄ）は、ディスプレイを示した図である。 図１０は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１１は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１２は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１３は、入口特徴点を示した図である。 図１４は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１５は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１６は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１７は、図１に示した車両駐車支援装置の作動を説明するための図である。 図１８の（Ａ）及び（Ｂ）は、ディスプレイを示した図である。 図１９は、壁が存在する駐車場の一例を示した図である。 図２０は、左側カメラが撮像した駐車場の画像（左側カメラ画像）を示した図である。 図２１は、図２０に示した左側カメラ画像から変換された平面視画像を示した図である。 図２２は、図１に示したソナーセンサ装置の検出結果を示した図である。 図２３は、立体物画像の推定処理を説明するための図である。 図２４は、図１に示したＥＣＵのＣＰＵが実行するルーチンを示したフローチャートである。 図２５は、図１に示したＥＣＵのＣＰＵが実行するルーチンを示したフローチャートである。 図２６は、図１に示したＥＣＵのＣＰＵが実行するルーチンを示したフローチャートである。 図２７は、図１に示したＥＣＵのＣＰＵが実行するルーチンを示したフローチャートである。 図２８は、図１に示したＥＣＵのＣＰＵが実行するルーチンを示したフローチャートである。

以下、図面を参照しながら、本発明の実施形態に係る車両駐車支援装置について説明する。図１は、本発明の実施形態に係る車両駐車支援装置１０及びその車両駐車支援装置１０が適用される車両１００を示している。

図１に示したように、車両駐車支援装置１０は、ＥＣＵ９０を備えている。ＥＣＵは、エレクトロニックコントロールユニットの略称である。ＥＣＵ９０は、マイクロコンピュータを主要部として備える。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ及びインターフェース等を含む。ＣＰＵは、ＲＯＭに格納されたインストラクション又はプログラム又はルーチンを実行することにより、各種機能を実現するようになっている。

車両１００には、車両駆動力発生装置１１、ブレーキ装置１２及びステアリング装置１３が搭載されている。車両駆動力発生装置１１は、車両１００を走行させるための駆動力を発生し、その駆動力を車両１００の駆動輪に与えるための装置である。車両駆動力発生装置１１は、例えば、内燃機関、電動モータ等である。ブレーキ装置１２は、車両１００を制動するための制動力を車両１００の車輪に与えるための装置である。ステアリング装置１３は、車両１００を操舵するための操舵トルクを車両１００の操舵輪に与えるための装置である。

車両駆動力発生装置１１、ブレーキ装置１２及びステアリング装置１３は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、車両駆動力発生装置１１の作動を制御することにより、車両１００の駆動輪に与えられる駆動力を制御する。又、ＥＣＵ９０は、ブレーキ装置１２の作動を制御することにより、車両１００の車輪に与えられる制動力を制御する。又、ＥＣＵ９０は、ステアリング装置１３の作動を制御することにより、車両１００の操舵輪に与えられるステアリングトルクを制御する。

＜センサ等＞
車両駐車支援装置１０は、アクセルペダル操作量センサ２１、ブレーキペダル操作量センサ２２、操舵角センサ２３、操舵トルクセンサ２４、車速センサ２５、ヨーレートセンサ２６、前後加速度センサ２７、横加速度センサ２８、ソナーセンサ装置３０、カメラセンサ装置４０、駐車支援スイッチ４８及びディスプレイ５０を備えている。

アクセルペダル操作量センサ２１は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、アクセルペダル操作量センサ２１を介してアクセルペダル１４の操作量ＡＰを検出してアクセルペダル操作量ＡＰとして取得する。ＥＣＵ９０は、取得したアクセルペダル操作量ＡＰに応じた駆動力が車両駆動力発生装置１１から車両１００の駆動輪に与えられるように車両駆動力発生装置１１の作動を制御する。

ブレーキペダル操作量センサ２２は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、ブレーキペダル操作量センサ２２を介して運転者によるブレーキペダル１５の操作量ＢＰを検出してブレーキペダル操作量ＢＰとして取得する。ＥＣＵ９０は、取得したブレーキペダル操作量ＢＰに応じて制動力がブレーキ装置１２から車両１００の車輪に与えられるようにブレーキ装置１２の作動を制御する。

操舵角センサ２３は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、操舵角センサ２３を介して中立位置に対するハンドル１６の回転角度θstを検出して操舵角θstとして取得する。

操舵トルクセンサ２４は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、操舵トルクセンサ２４を介して運転者からステアリングシャフト１７に入力されたトルクＴＱstを検出して操舵トルクＴＱstとして取得する。

ＥＣＵ９０は、取得した操舵角θst及び操舵トルクＴＱstに応じたステアリングトルクが車両１００の操舵輪に与えられるようにステアリング装置１３の作動を制御する。

車速センサ２５は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、車速センサ２５を介して車両１００の各車輪の回転速度Ｖrotを検出して各車輪の回転速度Ｖrotを取得する。ＥＣＵ９０は、取得した各車輪の回転速度Ｖrotに基いて車両１００の走行速度ＳＰＤを車速ＳＰＤとして取得する。

ヨーレートセンサ２６は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、ヨーレートセンサ２６を介して車両１００のヨーレートＹＲを検出して車両ヨーレートＹＲとして取得する。

前後加速度センサ２７は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、前後加速度センサ２７を介して車両１００の前後加速度Ｇｘを検出して車両前後加速度Ｇｘとして取得する。

横加速度センサ２８は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、横加速度センサ２８を介して車両１００の横加速度Ｇｙを検出して車両横加速度Ｇｙとして取得する。

ソナーセンサ装置３０は、第１クリアランスソナー３０１乃至第１２クリアランスソナー３１２を備えている。

図２において、符号Ｄｘで示した方向は、車両１００の前後方向であり、以下、この方向を「車両前後方向Ｄｘ」と称呼し、符号Ｄｗで示した方向は、車両１００の幅方向であり、以下、この方向を「車両幅方向Ｄｙ」と称呼する。

図２に示したように、第１クリアランスソナー３０１は、車両１００の前方左端部から左前方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ１が車両前後方向Ｄｘに対して左側に４５度傾いた方向となるように）車両１００に取り付けられている。第２クリアランスソナー３０２は、車両１００の左側前端から前方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ２が車両前後方向Ｄｘとなるように）車両１００に取り付けられている。第３クリアランスソナー３０３は、車両１００の前方右端部から右前方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ３が車両前後方向Ｄｘに対して右側に４５度傾いた方向となるように）車両１００に取り付けられている。第４クリアランスソナー３０４は、車両１００の右側前端から前方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ４が車両前後方向Ｄｘとなるように）車両１００に取り付けられている。

更に、第５クリアランスソナー３０５は、車両１００の後方左端部から左後方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ５が車両前後方向Ｄｘに対して左側に４５度傾いた方向となるように）車両１００に取り付けられている。第６クリアランスソナー３０６は、車両１００の左側後端から後方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ６が車両前後方向Ｄｘとなるように）車両１００に取り付けられている。第７クリアランスソナー３０７は、車両１００の後方右端部から右後方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ７が車両前後方向Ｄｘに対して右側に４５度傾いた方向となるように）車両１００に取り付けられている。第８クリアランスソナー３０８は、車両１００の右側後端から後方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ８が車両前後方向Ｄｘとなるように）車両１００に取り付けられている。

更に、第９クリアランスソナー３０９は、車両１００の前方左側部から左方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ９が車両幅方向Ｄｙとなるように）車両１００に取り付けられている。第１０クリアランスソナー３１０は、車両１００の後方左側部から左方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ１０が車両幅方向Ｄｙとなるように）車両１００に取り付けられている。第１１クリアランスソナー３１１は、車両１００の前方右側部から右方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ１１が車両幅方向Ｄｙとなるように）車両１００に取り付けられている。第１２クリアランスソナー３１２は、車両１００の後方右側部から右方に音波を放射（送信）するように（音波の送信範囲の中心軸ＳＡ１２が車両幅方向Ｄｙとなるように）車両１００に取り付けられている。

第１クリアランスソナー３０１乃至第１２クリアランスソナー３１２は、立体物（物体）にて反射した音波を受信する。

ソナーセンサ装置３０は、ＥＣＵ９０に電気的に接続されている。ソナーセンサ装置３０は、「第１クリアランスソナー３０１乃至第１２クリアランスソナー３１２が放出した音波」及び「第１クリアランスソナー３０１乃至第１２クリアランスソナー３１２が受信した音波」等に関する情報をＥＣＵ９０に送信する。ＥＣＵ９０は、ソナーセンサ装置３０から受信した情報（以下「ソナー情報ＳＯＮ」）に基いて車両１００周囲に存在する立体物に関する情報を立体物情報ＯＢＪとして取得する。

カメラセンサ装置４０は、前方カメラ４１、後方カメラ４２、左側カメラ４３及び右側カメラ４４を備えている。以下、必要に応じて、前方カメラ４１、後方カメラ４２、左側カメラ４３及び右側カメラ４４をまとめて「カメラ４５」と称呼する。

図３に示したように、前方カメラ４１は、車両１００の前方の風景を撮像するように車両１００の前端部の中央に取り付けられており、その画角４１Ａは、約１８０°である。後方カメラ４２は、車両１００の後方の風景を撮像するように車両１００の後端部の中央に取り付けられており、その画角４２Ａも、約１８０°である。なお、前方カメラ４１及び後方カメラ４２の撮像範囲の中心軸ＣＡ１及びＣＡ２は車両前後方向Ｄｘに延びる。左側カメラ４３は、車両１００の左側の風景を撮像するように車両１００の左側部に取り付けられており、その画角４３Ａも、約１８０°である。右側カメラ４４は、車両１００の右側の風景を撮像するように車両１００の右側部に取り付けられており、その画角４４Ａも、略１８０°である。なお、左側カメラ４３及び右側カメラ４４の撮像範囲の中心軸ＣＡ３及びＣＡ４は車両前後方向Ｄｘに延びる。

カメラセンサ装置４０は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、カメラセンサ装置４０を介して各カメラ４５によって撮像された風景の画像に関する情報を取得することができる。

以下、必要に応じて、前方カメラ４１によって撮像された風景の画像に関する情報を「前方画像情報ＩＭＧ１」と称呼し、後方カメラ４２によって撮像された風景の画像に関する情報を「後方画像情報ＩＭＧ２」と称呼し、左側カメラ４３によって撮像された風景の画像に関する情報を「左側画像情報ＩＭＧ３」と称呼し、右側カメラ４４によって撮像された風景の画像に関する情報を「右側画像情報ＩＭＧ４」と称呼する。又、以下、必要に応じて、前方画像情報ＩＭＧ１、後方画像情報ＩＭＧ２、左側画像情報ＩＭＧ３及び右側画像情報ＩＭＧ４をまとめて「画像情報ＩＭＧ」と称呼する。

車両駐車支援装置１０は、車速ＳＰＤが閾値速度ＳＰＤｔｈ以下であるとの低速条件が成立したとき、画像情報ＩＭＧに基いて特徴点Ｆを取得する。特徴点Ｆは、各カメラ４５によって撮像された画像において輝度が大きく変化する所定範囲の画像である。以下では、特徴点Ｆを「特徴画像」と称呼する場合もある。

例えば、カメラ４５が図４に示した駐車場６２を撮像した場合、コンクリート製のブロック６３Ｂの角の部分、芝生６３Ｌからなる地面６３の角の部分及びブロック６３Ｂからなる地面６３と芝生６３Ｌからなる地面６３との境界部分等が特徴点Ｆとして取得される。

図４に示した駐車場６２の地面６３は、コンクリート６３Ｃからなる地面６３と芝生６３Ｌからなる地面６３とからなる。又、駐車場６２の入口６２entには、側溝を塞ぐコンクリート製のブロック６３Ｂが複数個、並んで設置されている。従って、駐車場６２の入口６２entの地面６３は、ブロック６３Ｂの表面からなる。

車両駐車支援装置１０は、前方画像情報ＩＭＧ１に基いて車両１００の前方の所定範囲７１の地面６３における特徴点Ｆ（以下「前方特徴点Ｆ１」）を取得する。又、車両駐車支援装置１０は、後方画像情報ＩＭＧ２に基いて車両１００の後方の所定範囲７２の地面６３における特徴点Ｆ（以下「後方特徴点Ｆ２」）を取得する。又、車両駐車支援装置１０は、左側画像情報ＩＭＧ３に基いて車両１００の左側の所定範囲７３の地面６３における特徴点Ｆ（以下「左側特徴点Ｆ３」）を取得する。車両駐車支援装置１０は、右側画像情報ＩＭＧ４に基いて車両１００の右側の所定範囲７４の地面６３における特徴点Ｆ（以下「右側特徴点Ｆ４」）を取得する。

より詳細には、車両駐車支援装置１０は、各カメラ４５によって撮像された画像を各カメラ４５の鉛直上方の視点から視た平面視画像に変換し、その平面視画像の「後述する立体物と推定される画像である立体物画像Ｐobj」以外の画像から各特徴点Ｆを取得する。

図５に示したように、所定範囲７１は、ラインＬ７１１、ラインＬ７１２、ラインＬ７１３及びラインＬ７１４によって画定される範囲である。ラインＬ７１１は、前方カメラ４１から車両１００の前方に所定距離Ｄsetだけ離れて車両幅方向Ｄｙに延びるラインＬ７１１である。ラインＬ７１２は、前方カメラ４１を通って車両幅方向Ｄｙに延びるラインＬ７１２である。ラインＬ７１３は、前方カメラ４１から車両１００の左方に所定距離Ｄsetだけ離れて車両前後方向Ｄｘに延びるラインである。ラインＬ７１４は、前方カメラ４１から車両１００の右方に所定距離Ｄsetだけ離れて車両前後方向Ｄｘに延びるラインである。以下、所定範囲７１を「前方範囲７１」と称呼する。

前方範囲７１は、車両幅方向Ｄｙに４等分され且つ車両前後方向Ｄｘに２等分された８個の範囲７１Ｄに分割されている。即ち、前方範囲７１は、面積の等しい複数の範囲７１Ｄに分割されている。以下、これら範囲７１Ｄを「前方分割範囲７１Ｄ」と称呼する。又、前方分割範囲７１Ｄのうち、車両幅方向Ｄｙにおいて左端に設定された２つの前方分割範囲７１Ｄを「左端分割範囲７１Ｄ３」と称呼し、車両幅方向Ｄｙにおいて右端に設定された２つの前方分割範囲７１Ｄを「右端分割範囲７１Ｄ４」と称呼し、車両幅方向Ｄｙにおいて中間に設定された４つの前方分割範囲７１Ｄを「中間分割範囲７１Ｄ５」と称呼する。

又、図５に示したように、所定範囲７２は、ラインＬ７２１、ラインＬ７２２、ラインＬ７２３及びラインＬ７２４によって画定される範囲である。ラインＬ７２１は、後方カメラ４２を通って車両幅方向Ｄｙに延びるラインである。ラインＬ７２２は、前方カメラ４１から車両１００の後方に所定距離Ｄsetだけ離れて車両幅方向Ｄｙに延びるラインである。ラインＬ７２３は、後方カメラ４２から車両１００の左方に所定距離Ｄsetだけ離れて車両前後方向Ｄｘに延びるラインである。ラインＬ７２４は、後方カメラ４２から車両１００の右方に所定距離Ｄsetだけ離れて車両前後方向Ｄｘに延びるラインである。以下、所定範囲７２を「後方範囲７２」と称呼する。

後方範囲７２は、車両幅方向Ｄｙに４等分され且つ車両前後方向に２等分された８個の範囲７２Ｄに分割されている。即ち、後方範囲７２は、面積の等しい複数の範囲７２Ｄに分割されている。以下、これら範囲７２Ｄを「後方分割範囲７２Ｄ」と称呼する。又、後方分割範囲７２Ｄのうち、車両幅方向Ｄｙにおいて左端に設定された２つの後方分割範囲７２Ｄを「左端分割範囲７２Ｄ３」と称呼し、車両幅方向Ｄｙにおいて右端に設定された２つの後方分割範囲７２Ｄを「右端分割範囲７２Ｄ４」と称呼し、車両幅方向Ｄｙにおいて中間に設定された４つの後方分割範囲７２Ｄを「中間分割範囲７２Ｄ５」と称呼する。

又、図６に示したように、所定範囲７３は、ラインＬ７３１、ラインＬ７３２、ラインＬ７３４及びラインＬ７３３によって画定される範囲である。ラインＬ７３１は、左側カメラ４３から車両１００の前方に所定距離Ｄsetだけ離れて車両幅方向Ｄｙに延びるラインである。ラインＬ７３２は、左側カメラ４３から車両１００の後方に所定距離Ｄsetだけ離れて車両幅方向Ｄｙに延びるラインである。ラインＬ７３３は、左側カメラ４３から車両１００の左方に所定距離Ｄsetだけ離れて車両前後方向Ｄｘに延びるラインである。ラインＬ７３４は、左側カメラ４３を通って車両前後方向Ｄｘに延びるラインである。以下、所定範囲７３を「左側範囲７３」と称呼する。

左側範囲７３は、車両前後方向Ｄｘに４等分され且つ車両幅方向Ｄｙに２等分された８個の範囲７３Ｄに分割されている。即ち、左側範囲７３は、面積の等しい複数の範囲７３Ｄに分割されている。以下、これら範囲７３Ｄを「左側分割範囲７３Ｄ」と称呼する。又、左側分割範囲７３Ｄのうち、車両前後方向Ｄｘにおいて前端に設定された２つの左側分割範囲７３Ｄを「前端分割範囲７３Ｄ１」と称呼し、車両前後方向Ｄｘにおいて後端に設定された２つの左側分割範囲７３Ｄを「後端分割範囲７３Ｄ２」と称呼し、車両前後方向Ｄｘにおいて中間に設定された４つの左側分割範囲７３Ｄを「中間分割範囲７３Ｄ５」と称呼する。

又、図６に示したように、所定範囲７４は、ラインＬ７４１、ラインＬ７４２、ラインＬ７４３及びラインＬ７４４によって画定される範囲である。ラインＬ７４１は、右側カメラ４４から車両１００の前方に所定距離Ｄsetだけ離れて車両幅方向Ｄｙに延びるラインである。ラインＬ７４２は、右側カメラ４４から車両１００の後方に所定距離Ｄsetだけ離れて車両幅方向Ｄｙに延びるラインである。ラインＬ７４３は、右側カメラ４４を通って車両前後方向Ｄｘに延びるラインである。ラインＬ７４４は、右側カメラ４４から車両１００の右方に所定距離Ｄsetだけ離れて車両前後方向Ｄｘに延びるラインである。以下、所定範囲７４を「右側範囲７４」と称呼する。

右側範囲７４は、車両前後方向Ｄｘに４等分され且つ車両幅方向Ｄｙに２等分された８個の範囲７４Ｄに分割されている。即ち、右側範囲７４は、面積の等しい複数の範囲７４Ｄに分割されている。以下、これら範囲７４Ｄを「右側分割範囲７４Ｄ」と称呼する。又、右側分割範囲７４Ｄのうち、車両前後方向Ｄｘにおいて前端に設定された２つの右側分割範囲７４Ｄを「前端分割範囲７４Ｄ１」と称呼し、車両前後方向Ｄｘにおいて後端に設定された２つの右側分割範囲７４Ｄを「後端分割範囲７４Ｄ２」と称呼し、車両前後方向Ｄｘにおいて中間に設定された４つの右側分割範囲７４Ｄを「中間分割範囲７４Ｄ５」と称呼する。

カメラ４５によって撮像された特徴点Ｆに対応する範囲の画像を平面視の画像に変換した場合、特徴点Ｆに対応する範囲の変換後の画像は、図７に示したように、一辺が所定長Ｌsetの正方形の範囲７５の画像である。車両駐車支援装置１０は、所定の条件が成立した場合、特徴点Ｆを２５個の同じ正方形の範囲７５Ｄに分割し、各範囲７５Ｄの輝度ＬＵＭを取得する。そして、車両駐車支援装置１０は、これら取得した輝度ＬＵＭの平均値ＬＵＭaveを各輝度ＬＵＭから減じた値ΔＬＵＭ（＝ＬＵＭ−ＬＵＭave）をそれぞれ求め、それら値ΔＬＵＭに基いて特徴点Ｆにおける輝度ＬＵＭの高低の傾向を濃淡情報ＣＴとして取得する。即ち、車両駐車支援装置１０は、所定の条件が成立した場合、カメラ４５によって撮像された特徴点Ｆの画像中の濃淡のパターンを濃淡情報ＣＴとして取得する。

駐車支援スイッチ４８は、ハンドル１６付近に設けられるスイッチであり、ＥＣＵ９０に電気的に接続されている。運転者は、後述する駐車支援制御を開始する場合に、駐車支援スイッチ４８を操作する。

ディスプレイ５０は、運転者が視認可能な車両１００の箇所に配設されている。本例においては、ディスプレイ５０は、いわゆるナビゲーション装置のディスプレイである。

ディスプレイ５０は、ＥＣＵ９０に電気的に接続されている。ＥＣＵ９０は、各種の画像をディスプレイ５０に表示させることができる。本例においては、ＥＣＵ９０は、カメラ画像５１Ｃ、平面視画像５１Ｐ、駐車区画ライン画像５２、設定ボタン画像５３、登録開始ボタン画像５４、登録ボタン画像５５、駐車開始ボタン画像５６及び移動ボタン画像５７をディスプレイ５０に表示することができる。

カメラ画像５１Ｃは、カメラ４５によって撮像された画像である。

平面視画像５１Ｐは、車両平面視画像及び車両周囲画像を含む画像である。車両平面視画像は、車両１００を鉛直方向上方から見たときの車両１００を表示する画像である。車両周囲画像は、車両１００の周囲を鉛直方向上方から見たときの車両１００の周囲を表示する画像であり、少なくとも、駐車場６２を表示する画像を含んでいる。これら車両平面視画像及び車両周囲画像は、画像情報ＩＭＧに基いてＥＣＵ９０によって作成される。

駐車区画ライン画像５２は、後述する駐車支援制御によって車両１００を駐車させる区画（又は範囲又は領域）を表示する画像である。以下、車両１００を駐車させる区画を「駐車区画６１」と称呼する。図８に示したように、駐車区画６１は、駐車場６２内に設定される。

設定ボタン画像５３は、後述する駐車支援制御において車両１００を駐車させる駐車区画６１を設定（又は確定又は決定）するために運転者によってタッチ操作される設定ボタンに相当する画像である。

登録開始ボタン画像５４は、後述する駐車支援制御の第１駐車走行処理を開始させるために運転者によってタッチ操作される登録開始ボタンに相当する画像である。

登録ボタン画像５５は、後述する駐車支援制御によって取得される駐車場情報Ｉparkを車両駐車支援装置１０（特に、ＥＣＵ９０のＲＡＭ）に登録するために運転者によりタッチ操作される登録ボタンに相当する画像である。駐車場情報Ｉparkは、車両駐車支援装置１０が車両１００を駐車場６２に自動的に駐車するために用いられる駐車場６２に関する情報である。

駐車開始ボタン画像５６は、車両駐車支援装置１０に登録された駐車区画６１に車両１００を駐車させるために後述する駐車支援制御を開始するために運転者によってタッチ操作される駐車開始ボタンに相当する画像である。

移動ボタン画像５７は、上方移動ボタン画像５７Ｕ、下方移動ボタン画像５７Ｄ、左方移動ボタン画像５７Ｌ及び右方移動ボタン画像５７Ｒを含んでいる。上方移動ボタン画像５７Ｕは、駐車区画ライン画像５２をディスプレイ５０上で上方に移動させるために運転者によって操作される画像である。下方移動ボタン画像５７Ｄは、駐車区画ライン画像５２をディスプレイ５０上で下方に移動させるために運転者によって操作される画像である。左方移動ボタン画像５７Ｌは、駐車区画ライン画像５２をディスプレイ５０上で左方に移動させるために運転者によって操作される画像である。右方移動ボタン画像５７Ｒは、駐車区画ライン画像５２をディスプレイ５０上で右方に移動させるために運転者によって操作される画像である。

＜駐車支援制御の概要＞
次に、車両駐車支援装置１０の作動の概要について説明する。車両駐車支援装置１０は、駐車支援制御を実行可能に構成されている。駐車支援制御は、運転者によるアクセルペダル１４の操作、ブレーキペダル１５の操作及びハンドル１６の操作を要することなく車両１００を駐車区画６１に駐車する制御である。

駐車区画が白線等の線（以下「区画線」）によって区画されている駐車場がある。こうした駐車場に車両を自動駐車する場合、カメラによって撮像される区画線を目印にして車両を自動走行させて駐車区画に駐車させることができる。

一方、個人宅の駐車場等、駐車区画を区画する区画線がない駐車場もある。こうした駐車場に車両を自動駐車する場合、目印にする区画線がない。車両駐車支援装置１０が行う駐車支援制御は、その駐車場に車両を自動的に駐車させると共にその駐車場に関する駐車場情報を登録する制御と、駐車場情報が登録されている駐車場に車両を自動的に駐車させる制御と、を含む制御である。

車両駐車支援装置１０は、駐車場情報が登録されている場合に車両１００が停止すると、この時点にて左側カメラ４３が撮像した画像である左側カメラ画像Ｐleft及び右側カメラ４４が撮像した画像である右側カメラ画像Ｐrightのそれぞれにおいて、登録入口濃淡情報ＣＴent_regと一致する画像が存在するか否かを判定する。登録入口濃淡情報ＣＴent_regは、駐車支援制御によって車両駐車支援装置１０に登録（即ち、記憶）されている入口特徴点Ｆentの濃淡情報ＣＴである。又、入口特徴点Ｆentは、駐車支援制御によって取得される駐車場６２の入口６２entの特徴点Ｆである。このような駐車場情報が登録された後に車両１００が停止したときに取得される左側カメラ画像Ｐleft及び右側カメラ画像Ｐrightを「登録後画像」と称呼する場合もある。

左側カメラ画像Ｐleftに登録入口濃淡情報ＣＴent_regと一致する（又は略一致する）画像が存在する場合、車両駐車支援装置１０は、停止している車両１００の左側に登録済みの駐車場６２が存在すると判定する。登録済みの駐車場６２は、駐車支援制御によって駐車場情報Ｉparkが車両駐車支援装置１０に登録（即ち、記憶）されている駐車場である。

一方、右側カメラ画像Ｐrightに登録入口濃淡情報ＣＴent_regと一致する（又は略一致する）画像が存在する場合、車両駐車支援装置１０は、停止している車両１００の右側に登録済みの駐車場６２が存在すると判定する。

＜駐車場の登録＞
車両駐車支援装置１０は、登録開始条件が成立した場合、後述するようにして仮入口情報Ｉent_pre及び仮中間情報Ｉmid_preを取得する。登録開始条件は、車両１００が停止（停車）し且つ駐車支援スイッチ４８が操作された場合に車両１００の近くに登録済みの駐車場６２が存在しないときに成立する。更に、車両駐車支援装置１０は、後述するようにして登録入口情報Ｉent_reg、登録場内情報Ｉin_reg及び登録区画情報Ｉarea_regを駐車場情報Ｉparkとして登録（即ち、記憶）する。車両駐車支援装置１０は、上記登録開始条件が成立した場合、図９の（Ａ）に示したように、平面視画像５１Ｐ、駐車区画ライン画像５２、設定ボタン画像５３及び移動ボタン画像５７をディスプレイ５０に表示する。このとき、車両駐車支援装置１０は、車両１００の左側に車両１００が駐車可能な駐車場６２が存在する場合、車両画像の左側に駐車場画像が表示されるように平面視画像５１Ｐをディスプレイ５０に表示し、車両１００の右側に車両１００が駐車可能な駐車場６２が存在する場合、車両画像の右側に駐車場画像が表示されるように平面視画像５１Ｐをディスプレイ５０に表示する。

又、車両駐車支援装置１０は、画像情報ＩＭＧ及びソナー情報ＳＯＮに基いて駐車場６２内において車両１００を駐車させることができる範囲を駐車区画６１として設定し、その設定した駐車区画６１を表す画像として上記駐車区画ライン画像５２をディスプレイ５０に表示する。車両駐車支援装置１０は、例えば、駐車場６２の入口６２entの広さ等を取得するためにソナー情報ＳＯＮを用いる。

運転者は、設定ボタン画像５３をタッチ操作するまでは、移動ボタン画像５７をタッチ操作することにより駐車区画ライン画像５２をディスプレイ５０上で移動させることができる。運転者は、駐車区画ライン画像５２をディスプレイ５０にて移動させることにより、車両１００を駐車させる駐車区画６１の位置を変更することができる。

設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、図９の（Ｂ）に示したように、設定ボタン画像５３及び移動ボタン画像５７をディスプレイ５０から消去して設定ボタン画像５３が表示されていたディスプレイ５０の箇所に登録開始ボタン画像５４を表示する。

更に、設定ボタン画像５３が運転者によりタッチ操作された場合（即ち、運転者が車両１００を駐車させる駐車区画６１の登録要求を受け付けた場合）、車両駐車支援装置１０は、車両駐車支援装置１０は、ディスプレイ５０に表示されている駐車区画ライン画像５２に対応する位置の駐車区画６１を登録対象駐車区画６１setとして設定する。

更に、設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、車両１００を登録対象駐車区画６１setに駐車するために車両１００を走行させる目標走行ルートＲtgtを設定する。例えば、図１０に示したように、車両１００が駐車可能な駐車場６２の右側で停止した場合、車両駐車支援装置１０は、図１１に示したように目標走行ルートＲtgtを設定する。

更に、車両１００が駐車場６２の右側で停止されているときに設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、左側範囲７３の中間分割範囲７３Ｄ５、前端分割範囲７３Ｄ１及び後端分割範囲７３Ｄ２について、それぞれ、１つ以上の所定数の新規左側特徴点Ｆ３newを入口特徴点Ｆentとして取得する。一方、車両１００が駐車場６２の左側で停止されているときに設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、右側範囲７４の中間分割範囲７４Ｄ５、前端分割範囲７４Ｄ１及び後端分割範囲７４Ｄ２について、それぞれ、１つ以上の所定数の新規右側特徴点Ｆ４newを入口特徴点Ｆentとして取得する。

本例においては、車両１００が駐車場６２の右側で停止されているときに設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、中間分割範囲７３Ｄ５それぞれについて、前端分割範囲７３Ｄ１及び後端分割範囲７３Ｄ２それぞれに比べ、より多くの数の入口特徴点Ｆentを取得する。即ち、車両駐車支援装置１０は、複数の範囲７３Ｄ５、７３Ｄ１及び７３Ｄ２のうち駐車場６２の入口６２entの中央に近い範囲７３Ｄ５において、前記複数の範囲のうち駐車場６２の入口６２entの中央から遠い範囲７３Ｄ１及び７３Ｄ２に比べ、より多い数の入口特徴点Ｆentを取得する。

一方、車両１００が駐車場６２の左側で停止されているときに設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、中間分割範囲７４Ｄ５それぞれについて、前端分割範囲７４Ｄ１及び後端分割範囲７４Ｄ２それぞれに比べ、より多くの数の入口特徴点Ｆentを取得する。即ち、車両駐車支援装置１０は、複数の範囲７４Ｄ５、７４Ｄ１及び７４Ｄ２のうち駐車場６２の入口６２entの中央に近い範囲７４Ｄ５において、前記複数の範囲のうち駐車場６２の入口６２entの中央から遠い範囲７４Ｄ１及び７４Ｄ２に比べ、より多い数の入口特徴点Ｆentを取得する。

例えば、車両１００が図１０に示したように駐車場６２の右側で停止しているときに設定ボタン画像５３が運転者によりタッチ操作された場合、車両駐車支援装置１０は、図１２及び図１３に示したように、左側範囲７３の４つの中間分割範囲７３Ｄ５について、それぞれ、２つの新規左側特徴点Ｆ３newを入口特徴点Ｆentとして取得し、２つの前端分割範囲７３Ｄ１について、それぞれ、１つの新規左側特徴点Ｆ３newを入口特徴点Ｆentとして取得し、２つの後端分割範囲７３Ｄ２について、それぞれ、１つの新規左側特徴点Ｆ３newを入口特徴点Ｆentとして取得する。又、車両１００が駐車場６２の左側で停止した場合、車両駐車支援装置１０は、右側範囲７４の４つの中間分割範囲７３Ｄ５について、それぞれ、２つの新規右側特徴点Ｆ４newを入口特徴点Ｆentとして取得し、２つの前端分割範囲７３Ｄ１について、それぞれ、１つの新規右側特徴点Ｆ４newを入口特徴点Ｆentとして取得し、２つの後端分割範囲７３Ｄ２について、それぞれ、１つの新規右側特徴点Ｆ４newを入口特徴点Ｆentとして取得する。

尚、車両駐車支援装置１０は、運転者が駐車場６２の入口６２entの右側で車両１００を停止させるときに駐車場６２の入口６２entの真横の位置よりも少し手前で車両１００を停止させることが多い場合、前端分割範囲７３Ｄ１及びそれに隣接する２つの中間分割範囲７３Ｄ５のそれぞれについて、後端分割範囲７３Ｄ２及びそれに隣接する２つの中間分割範囲７３Ｄ５のそれぞれに比べ、より多くの数の入口特徴点Ｆentを取得するように構成されてもよい。同様に、車両駐車支援装置１０は、運転者が駐車場６２の入口６２entの左側で車両１００を停止させるときに駐車場６２の入口６２entの真横の位置よりも少し手前で車両１００を停止させることが多い場合、前端分割範囲７４Ｄ１及びそれに隣接する２つの中間分割範囲７４Ｄ５それぞれについて、後端分割範囲７４Ｄ２及びそれに隣接する２つの中間分割範囲７４Ｄ５それぞれに比べ、より多くの数の入口特徴点Ｆentを取得するように構成されてもよい。

又、車両駐車支援装置１０は、左側範囲７３の中間分割範囲７３Ｄ５、前端分割範囲７３Ｄ１及び後端分割範囲７３Ｄ２の一部の範囲において所定数の新規左側特徴点Ｆ３newを取得することができない場合、取得できない新規左側特徴点Ｆ３newの数に等しい数の新規左側特徴点Ｆ３newを残りの範囲７３Ｄ５、７３Ｄ１及び７３Ｄ２において入口特徴点Ｆentとして取得する。同様に、車両駐車支援装置１０は、右側範囲７４の中間分割範囲７４Ｄ５、前端分割範囲７４Ｄ１及び後端分割範囲７４Ｄ２の一部の範囲において所定数の新規右側特徴点Ｆ４newを取得することができない場合、取得できない新規右側特徴点Ｆ４newの数に等しい数の新規右側特徴点Ｆ４newを残りの範囲７４Ｄ５、７４Ｄ１及び７４Ｄ２において入口特徴点Ｆentとして取得する。

車両駐車支援装置１０は、入口特徴点Ｆentの取得後、取得した入口特徴点Ｆentの仮座標系Ｃpreにおける座標ＸＹを仮入口座標ＸＹent_preとして取得して記憶すると共に取得した入口特徴点Ｆentの濃淡情報ＣＴを仮入口濃淡情報ＣＴent_preとして取得して記憶する。仮座標系Ｃpreは、登録対象駐車区画６１set内の所定位置Ｐpreを原点とした座標系である。従って、仮入口座標ＸＹent_preは、所定位置Ｐpreを基準とした入口特徴点Ｆentの位置である。又、仮入口情報Ｉent_preは、仮入口座標ＸＹent_pre及び仮入口濃淡情報ＣＴent_preを含んでいる。

登録開始ボタン画像５４が運転者によりタッチ操作された場合、車両駐車支援装置１０は、図９の（Ｃ）に示したように、カメラ画像５１Ｃ及び平面視画像５１Ｐをディスプレイ５０に表示する。このとき、車両１００の左側に駐車可能な駐車場６２が存在する場合、車両駐車支援装置１０は、左側カメラ４３によって撮像されている画像であって駐車可能な駐車場６２が含まれている画像をカメラ画像５１Ｃとしてディスプレイ５０に表示すると共に、車両画像の左側に駐車場画像が表示されるように平面視画像５１Ｐをディスプレイ５０に表示する。一方、車両１００の右側に駐車可能な駐車場６２が存在する場合、車両駐車支援装置１０は、右側カメラ４４によって撮像されている画像であって駐車可能な駐車場６２が含まれている画像をカメラ画像５１Ｃとしてディスプレイ５０に表示すると共に、車両画像の右側に駐車場画像が表示されるように平面視画像５１Ｐをディスプレイ５０に表示する。

更に、登録開始ボタン画像５４が運転者によりタッチ操作された場合、車両駐車支援装置１０は、目標走行ルートＲtgtに沿って車両１００を登録対象駐車区画６１setまで走行させる第１駐車走行処理を行う。第１駐車走行処理は、「画像情報ＩＭＧ、立体物情報ＯＢＪ、操舵角θst、操舵トルクＴＱst、車速ＳＰＤ、車両ヨーレートＹＲ、車両前後加速度Ｇｘ及び車両横加速度Ｇｙ」に基いて車両１００が目標走行ルートＲtgtに沿って走行するように車両駆動力発生装置１１の作動、ブレーキ装置１２の作動及びステアリング装置１３の作動を制御する処理である。

例えば、車両１００が図１０に示したように駐車可能な駐車場６２の右側で停止した場合、車両駐車支援装置１０は、第１駐車走行処理を開始すると、まず、図１４に示したように、車両１００を右旋回させつつ前進させて停止させる。次いで、車両駐車支援装置１０は、図１５に示したように、左旋回させつつ後退させる。

車両駐車支援装置１０は、車両１００を後退させている間に車両１００の移動方向が真っ直ぐになったとき（図１６参照）、後方特徴点Ｆ２を新規後方特徴点Ｆ２newとして取得する。尚、車両駐車支援装置１０は、車両１００を後退させている間に車両１００の移動方向が真っ直ぐになった後に後方特徴点Ｆ２を取得してもよい。又、車両駐車支援装置１０は、車両１００を後退させている間に車両１００の移動方向が真っ直ぐになったとき及びその後、車両１００が所定距離だけ後退したときに後方特徴点Ｆ２を取得してもよい。又、車両駐車支援装置１０は、後方特徴点Ｆ２に加えて、前方特徴点Ｆ１、左側特徴点Ｆ３及び右側特徴点Ｆ４の少なくとも何れかを取得してもよい。

そして、車両駐車支援装置１０は、後方分割範囲７２Ｄそれぞれに存在する少なくとも１つ以上の新規後方特徴点Ｆ２newを中間特徴点Ｆmidとして取得する。車両駐車支援装置１０は、取得した中間特徴点Ｆmidの仮座標系Ｃpreにおける座標ＸＹを仮中間座標ＸＹmid_preとして取得して記憶すると共に取得した中間特徴点Ｆmidの濃淡情報ＣＴを仮中間濃淡情報ＣＴmid_preとして取得して記憶する。仮中間座標ＸＹmid_preは、所定位置Ｐpreを基準とした中間特徴点Ｆmidの位置である。仮中間情報Ｉmid_preは、仮中間座標ＸＹmid_pre及び仮中間濃淡情報ＣＴmid_preを含んでいる。

車両駐車支援装置１０は、第１駐車走行処理の実行中、車両１００を目標走行ルートＲtgtに沿って走行させたときに車両１００が駐車場６２に存在する立体物に接触させることなく車両１００を安全に登録対象駐車区画６１setまで走行させることができるか否かを判断する安全判断処理を行っている。車両駐車支援装置１０は、車両１００を安全に登録対象駐車区画６１setまで走行させることができないと判断した場合、車両１００を安全に登録対象駐車区画６１setまで走行させることができるように目標走行ルートＲtgtを修正する。車両駐車支援装置１０は、第１駐車走行処理の実行中に取得される画像情報ＩＭＧ及び立体物情報ＯＢＪを用いて上記安全判断処理を行う。

又、車両駐車支援装置１０は、第１駐車走行処理の実行中、車両１００を目標走行ルートＲtgtに沿って走行させたときに車両１００を登録対象駐車区画６１set内に駐車させることができるか否かを判断するルート判断処理を行っている。車両駐車支援装置１０は、車両１００を登録対象駐車区画６１set内に駐車させることができないと判断した場合、車両１００を登録対象駐車区画６１set内に駐車させることができるように目標走行ルートＲtgtを修正する。車両駐車支援装置１０は、第１駐車走行処理の実行中に取得される画像情報ＩＭＧ（特に、特徴点Ｆ）を用いて上記ルート判断処理を行う。

車両駐車支援装置１０は、車両１００全体が登録対象駐車区画６１set内に収まったとき（図１７参照）、車両１００を停止させて第１駐車走行処理を終了する。これにより、駐車場６２への車両１００の駐車が完了する。このとき、車両駐車支援装置１０は、前方特徴点Ｆ１、左側特徴点Ｆ３及び右側特徴点Ｆ４をそれぞれ新規前方特徴点Ｆ１new、新規左側特徴点Ｆ３new及び新規右側特徴点Ｆ４newとして取得する。このとき、車両駐車支援装置１０は、後方特徴点Ｆ２を新規後方特徴点Ｆ２newとして取得してもよい。

そして、車両駐車支援装置１０は、前方分割範囲７１Ｄそれぞれに存在する少なくとも１つ以上の新規前方特徴点Ｆ１newを最終特徴点Ｆfinとして取得し、左側分割範囲７３Ｄそれぞれに存在する少なくとも１つ以上の新規左側特徴点Ｆ３newを最終特徴点Ｆfinとして取得し、右側分割範囲７４Ｄそれぞれに存在する少なくとも１つ以上の新規右側特徴点Ｆ４newを最終特徴点Ｆfinとして取得する。このとき、車両駐車支援装置１０は、新規後方特徴点Ｆ２newを取得している場合、後方分割範囲７２Ｄそれぞれに存在する少なくとも１つ以上の新規後方特徴点Ｆ２newを最終特徴点Ｆfinとして取得してもよい。

＜駐車場情報の登録＞
又、車両駐車支援装置１０は、駐車場６２への車両１００の駐車が完了した場合、図９の（Ｄ）に示したように、登録ボタン画像５５をディスプレイ５０に表示する。

車両駐車支援装置１０は、登録ボタン画像５５が運転者によりタッチ操作された場合、取得した最終特徴点Ｆfinの登録座標系Ｃregにおける座標ＸＹを登録場内座標ＸＹin_regとして取得して登録（即ち、記憶）すると共に取得した最終特徴点Ｆfinの濃淡情報ＣＴを登録場内濃淡情報ＣＴin_regとして取得して登録（即ち、記憶）する。登録座標系Ｃregは、登録対象駐車区画６１setへの車両１００の駐車が完了したときの車両１００の左後輪と右後輪とをつなぐシャフトの車両幅方向Ｄｙの中央の所定位置Ｐregを原点とする座標系である（図１７参照）。従って、登録場内座標ＸＹin_regは、所定位置Ｐregを基準とした最終特徴点Ｆfinの位置である。

更に、車両駐車支援装置１０は、仮中間座標ＸＹmid_preを登録座標系Ｃregにおける座標ＸＹに変換して登録場内座標ＸＹin_regとして取得して登録（即ち、記憶）すると共に仮中間濃淡情報ＣＴmid_preを登録場内濃淡情報ＣＴin_regとして登録（即ち、記憶）する。従って、登録場内座標ＸＹin_regは、所定位置Ｐregを基準とした中間特徴点Ｆmidの位置である。

登録場内情報Ｉin_regは、登録場内座標ＸＹin_reg及び登録場内濃淡情報ＣＴin_regを含んでいる。

更に、車両駐車支援装置１０は、登録座標系Ｃregにおける登録対象駐車区画６１setの座標ＸＹを登録区画座標ＸＹarea_regとして登録（即ち、記憶）する。登録区画座標ＸＹarea_regは、所定位置Ｐregを基準とした駐車区画６１の位置である。登録区画情報Ｉarea_regは、登録区画座標ＸＹarea_regを含んでいる。

更に、車両駐車支援装置１０は、仮入口座標ＸＹent_preを登録座標系Ｃregにおける座標ＸＹに変換して登録入口座標ＸＹent_regとして取得して登録（即ち、記憶）すると共に仮入口濃淡情報ＣＴent_preを登録入口濃淡情報ＣＴent_regとして登録（即ち、記憶）する。従って、登録入口座標ＸＹent_regは、所定位置Ｐregを基準とした入口特徴点Ｆentの位置である。登録入口情報Ｉent_regは、登録入口座標ＸＹent_reg及び登録入口濃淡情報ＣＴent_regを含んでいる。

尚、先に述べたように、駐車場情報Ｉparkは、登録入口情報Ｉent_reg、登録場内情報Ｉin_reg及び登録区画情報Ｉarea_regを含んでいる。

＜登録済みの駐車場への車両の駐車＞
一方、車両駐車支援装置１０は、自動駐車開始条件が成立した場合、図１８の（Ａ）に示したように、カメラ画像５１Ｃ、平面視画像５１Ｐ、駐車区画ライン画像５２及び駐車開始ボタン画像５６をディスプレイ５０に表示する。自動駐車開始条件は、車両１００が停止（停車）し且つ駐車支援スイッチ４８が操作された場合に車両１００の近くに登録済みの駐車場６２が存在するときに成立する。このとき、車両１００の左側に登録済みの駐車場６２が存在する場合、車両駐車支援装置１０は、左側カメラ４３によって撮像されている画像であって登録済みの駐車場６２が含まれている画像をカメラ画像５１Ｃとしてディスプレイ５０に表示すると共に、車両画像の左側に駐車場画像が表示されるように平面視画像５１Ｐをディスプレイ５０に表示する。一方、車両１００の右側に登録済みの駐車場６２が存在する場合、車両駐車支援装置１０は、右側カメラ４４によって撮像されている画像であって登録済みの駐車場６２が含まれている画像をカメラ画像５１Ｃとしてディスプレイ５０に表示すると共に、車両画像の右側に駐車場画像が表示されるように平面視画像５１Ｐをディスプレイ５０に表示する。

又、車両駐車支援装置１０は、今回、車両１００を駐車させる登録済みの駐車場６２に関する駐車場情報Ｉparkに含まれる登録区画座標ＸＹarea_regに基いて駐車区画６１の位置を確定し、その確定した駐車区画６１を表す画像として駐車区画ライン画像５２をディスプレイ５０に表示する。

駐車開始ボタン画像５６が運転者によりタッチ操作された場合、車両駐車支援装置１０は、図１８の（Ｂ）に示したように、駐車開始ボタン画像５６をディスプレイ５０から消去する。

更に、駐車開始ボタン画像５６が運転者によりタッチ操作された場合、車両駐車支援装置１０は、ディスプレイ５０に表示されている駐車区画ライン画像５２に対応する位置の駐車区画６１を目標駐車区画６１tgtとして設定する。

更に、駐車開始ボタン画像５６が運転者によりタッチ操作された場合、車両駐車支援装置１０は、車両１００を目標駐車区画６１tgtに駐車するために車両１００を走行させる目標走行ルートＲtgtを設定する。

そして、車両駐車支援装置１０は、目標走行ルートＲtgtに沿って車両１００を目標駐車区画６１tgtまで走行させる第２駐車走行処理を行う。第２駐車走行処理は、「画像情報ＩＭＧ、立体物情報ＯＢＪ、操舵角θst、操舵トルクＴＱst、車速ＳＰＤ、車両ヨーレートＹＲ、車両前後加速度Ｇｘ及び車両横加速度Ｇｙ」に基いて車両１００が目標走行ルートＲtgtに沿って走行するように車両駆動力発生装置１１の作動、ブレーキ装置１２の作動及びステアリング装置１３の作動を制御する処理である。

尚、車両駐車支援装置１０は、第２駐車走行処理の実行中、車両１００を目標走行ルートＲtgtに沿って走行させたときに車両１００が駐車場６２に存在する立体物に接触させることなく車両１００を安全に目標駐車区画６１tgtまで走行させることができるか否かを判断する安全判断処理を行っている。車両駐車支援装置１０は、車両１００を安全に目標駐車区画６１tgtまで走行させることができないと判断した場合、車両１００を安全に目標駐車区画６１tgtまで走行させることができるように目標走行ルートＲtgtを修正する。車両駐車支援装置１０は、第２駐車走行処理の実行中に取得される画像情報ＩＭＧ及び立体物情報ＯＢＪを用いて上記安全判断処理を行う。

車両駐車支援装置１０は、第２駐車走行処理を実行している場合、カメラ４５が撮像したカメラ画像において登録入口濃淡情報ＣＴent_reg又は登録場内濃淡情報ＣＴin_regと一致する画像を特定し、特定した画像の座標ＸＹと登録区画座標ＸＹarea_regとの位置関係に基いて駐車場６２内における目標駐車区画６１tgtの位置が登録区画座標ＸＹarea_regの示す位置に一致するか否かを判断する駐車位置判断処理を行っている。車両駐車支援装置１０は、駐車場６２内における目標駐車区画６１tgtの位置が登録区画座標ＸＹarea_regの示す位置に一致しないと判断した場合、駐車場６２内における目標駐車区画６１tgtの位置が登録区画座標ＸＹarea_regの示す位置に一致するように目標駐車区画６１tgtの位置を修正し、位置の修正された目標駐車区画６１tgtに車両１００を駐車させることができるように目標走行ルートＲtgtを修正する。

車両駐車支援装置１０は、車両１００全体が目標駐車区画６１tgt内に収まったとき、車両１００を停止させて第２駐車走行処理を終了する。これにより、駐車場６２への車両１００の駐車が完了する。

＜車両駐車支援装置の作動の概要＞
立体物の画像は、駐車場情報Ｉparkの登録時と駐車場情報Ｉparkの登録後とで車両や駐車場の状況の変化を受けやすい。例えば、駐車場情報Ｉparkの登録時（特徴登録時）と駐車場情報Ｉparkの登録後（特徴登録後）とで立体物の位置が変わっている可能性があり、更に、同じ撮像位置で立体物を撮像しなければ立体物の画像が異なる可能性がある。このため、車両駐車支援装置１０は、カメラ画像における立体物画像Ｐobjを推定し、推定した立体物画像Ｐobjをカメラ画像から除外（マスク）する。特徴登録時には、車両駐車支援装置１０は、カメラ画像において立体物画像Ｐobj以外の画像から特徴点Ｆを取得する。更に、特徴登録後においては、車両駐車支援装置１０は、カメラ画像において立体物画像Ｐobj以外の画像から登録入口濃淡情報ＣＴent_regと一致する画像が存在するか否かを判定する。

図１９に示した駐車場６２’は、その駐車場６２’の右側に立体物である壁６４が存在している点で図４に示した駐車場６２と異なる。車両１００が駐車場６２’の入口６２’ent近くで停止した場合に左側カメラ４３が撮像した風景の画像（以下、「左側カメラ画像Ｐleft」と称呼する。）は、図２０に示される。車両駐車支援装置１０は、左側カメラ画像Ｐleftを平面視の画像に変換することによって（詳細には、左側カメラ４３の鉛直上方の視点（左側カメラ上方視点ＶＰ）から左側カメラ４３が撮像した風景を平面視したときの画像）、図２１に示した左側平面視画像Ｐheimenを取得する。

もし、左側平面視画像Ｐheimenが壁６４の鉛直上方の視点からの壁６４を平面視したときの画像であれば、この左側平面視画像Ｐheimenには、壁６４の上面Ｓupだけが写り込む。しかし、上記したように、左側平面視画像Ｐheimenは左側カメラ上方視点ＶＰからの画像であるため、左側平面視画像Ｐheimenの壁６４の画像である壁画像（立体物画像）６４０は図２１に示したように壁６４の前面Ｓfront及び左側面Ｓleftを含んでいる。

一方で、車両駐車支援装置１０は、ソナー情報ＳＯＮに基いて車両１００の周囲に存在する立体物の位置を認識している。図１９に示した例では、第１０クリアランスソナー３１０が壁６４の前面Ｓfrontまでの距離Ｌを検出しており、車両駐車支援装置１０は、第１０クリアランスソナー３１０からのソナー情報ＳＯＮに基いて、図２２に示したＬ２２乃至Ｌ２５領域の車両１００の左側面から距離Ｌだけ離れた位置に立体物（壁６４の前面Ｓfront）が存在すると認識する。なお、車両駐車支援装置１０は、図６に示した左側領域７３及び右側領域７４を２５個の領域に区分している。左側領域７３の２５個の領域をＬ１領域乃至Ｌ２５領域と称呼し、右側領域７４の２５個の領域をＲ１領域乃至Ｒ２５と称呼する。なお、図５に示した前方領域７１及び後方領域７２もそれぞれ、前方領域７１及び後方領域７２の長辺方向に２５個の領域に区分されている。

なお、車両駐車支援装置１０は、クリアランスソナーが送信した音波を反射した立体物の反射面（壁６４の前面Ｓfront）のみを認識する。即ち、車両駐車支援装置１０は、当該立体物の反射面よりも当該クリアランスソナーに対して後方側の形状を認識できない。

図２３に示したように、車両駐車支援装置１０は、左側平面視画像Ｐheimenにおいて、ソナー情報ＳＯＮに基いて認識した立体物（壁６４の前面Ｓfront）の位置（ソナー認識結果２３１０）を第１０クリアランスソナー３１０の位置から距離Ｌだけ離れた位置にプロットする。

車両駐車支援装置１０は、左側平面視画像Ｐheimenにプロットされたソナー認識結果２３１０に基いて左側平面視画像Ｐheimenにおける立体物画像Ｐobjを推定する。

まず、車両駐車支援装置１０は、ソナー認識結果２３１０のうち左側カメラ４３から最も遠い点である最遠点２３２０及び左側カメラ４３から最も近い点である最近点２３３０を取得する。次に、車両駐車支援装置１０は、最遠点２３２０と左側カメラ４３とを通過する仮想線分２３３５の傾きＧＲを取得する。そして、車両駐車支援装置１０は、最遠点２３２０から傾きＧＲで左側カメラ４３から離れる（遠ざかる）方向（離間方向）に延びる第１仮想線２３４０を取得する。

そして、車両駐車支援装置１０は、最近点２３３０から第１０クリアランスソナー３１０の音波の送信範囲の中心軸ＳＡ１０と平行な方向であって且つ離間方向に延びる第２仮想線２３５０を取得する。なお、中心軸ＳＡ１０の方向は車両１００の左側面から垂直な方向（即ち、車両幅方向Ｄｙ）であるため、第２仮想線２３５０は、車両１００の左側面から垂直な方向（即ち、車両幅方向Ｄｙ）に延びる。

車両駐車支援装置１０は、左側平面視画像Ｐheimenにおいて、ソナー認識結果２３１０と第１仮想線２３４０と第２仮想線２３５０とで囲まれる領域の画像を立体物画像Ｐobjとして推定する。

第１仮想線２３４０を用いて立体物画像Ｐobjを区画している理由は、平面視画像Ｐheimenにおいて最遠点２３２０における立体物が写り込んだ画像の高さ方向は傾きＧＲで離間方向に傾くためである。

立体物が音波を反射した反射面よりもクリアランスソナーに対して後方側の領域に他の立体物が存在したとしても、その他の立体物は音波を反射しないため当該クリアランスソナーがこの立体物を検出できない。このため、この領域には、他の立体物が存在する可能性がある。第２仮想線２３５０を用いて立体物画像Ｐobjを区画することにより、クリアランスソナーが立体物を検出できないため他の立体物が存在する可能性がある領域も立体物画像Ｐobjに含めることができる。これによって、より確実に立体物が写り込んだ画像から特徴点Ｆが取得されないようにすることができる。更に、左側カメラ４３の撮像範囲の中心軸ＣＡ３は第９クリアランスソナー３０９及び第１０クリアランスソナー３１０と一致しているので、最近点２３３０における立体物が写り込んだ画像の高さ方向の画像が第２仮想線２３５０からはみ出すことなく、立体物画像Ｐobjに確実に含めることができる。

最後に、車両駐車支援装置１０は、左側平面視画像Ｐheimenから立体物画像Ｐobjを除外（マスク）した画像である除外済画像から特徴点Ｆを取得する。

以上説明したように、車両駐車支援装置１０は、特徴登録時においては、左側カメラ４３及び右側カメラ４４が撮像したカメラ画像（登録時画像）が変換された平面視画像Ｐheimenから立体物画像Ｐobjを除外する。そして、車両駐車支援装置１０は、立体物画像Ｐobjが除外された除外済画像（即ち、地面のみの画像）から特徴点Ｆが取得される。このようにして取得された特徴点Ｆに基く登録入口濃淡情報ＣＴent_regが登録入口情報Ｉent_regとして登録される。よって、特徴登録時と特徴登録後とで車両１００や駐車場６２を取り巻く状況が異なっても、立体物画像Ｐobjが除外された除外済画像から取得された特徴点Ｆの濃淡情報ＣＴが登録入口濃淡情報ＣＴent_regとして登録されているため、特徴登録後に車両１００が登録済の駐車場６２の右側又は左側に停車したことを正確に判定できる。

更に、車両駐車支援装置１０は、駐車場情報Ｉparkが登録された後にカメラ４５が撮像したカメラ画像（登録後画像）が変換された平面視画像Ｐheimenから立体物画像Ｐobjを除外する。そして、車両駐車支援装置１０は、この除外済画像から登録入口濃淡情報ＣＴent_regと一致する画像が存在するか否か判定する。これによって、特徴登録時と特徴登録後とで車両１００や駐車場６２を取り巻く状況が異なっても、特徴登録後に車両１００が登録済の駐車場６２の右側又は左側に停車したことをより正確に判定できる。

なお、車両１００の右側に立体物が存在する場合には、右側カメラ４４が撮像したカメラ画像を変換した平面視画像Ｐheimenにおける立体物画像Ｐobjを推定する。立体物画像Ｐobjの推定処理は上記した通りである。

車両１００の前方に立体物が存在する場合には、前方カメラ４１が撮像したカメラ画像を変換した平面視画像Ｐheimenにおける当該立体物画像Ｐobjを推定する。この場合、第２仮想線２３５０は、最近点２３３０から第２クリアランスソナー３０２及び第４クリアランスソナー３０４の音波の送信範囲の中心軸ＳＡ２及びＳＡ４方向（即ち、車両前後方向Ｄｘ）であって且つ離間方向に延びる。

なお、第１クリアランスソナー３０１又は第３クリアランスソナー３０３が立体物を検出している場合、第２仮想線２３５０を第１クリアランスソナー３０１又は第３クリアランスソナー３０３の音波の送信範囲の中心軸ＳＡ１又はＳＡ３方向（車両前後方向Ｄｘから左側又は右側に４５度傾いた方向）に延びるようにすると、最近点からの立体物が写り込んだ画像の高さ方向の画像を除外しきれない可能性がある。このため、第１クリアランスソナー３０１又は第３クリアランスソナー３０３が立体物を検出していたとしても、この立体物の最近点２３３０から延びる第２仮想線２３５０は、第２クリアランスソナー３０２及び第４クリアランスソナー３０４の音波の送信範囲の中心軸ＳＡ２及びＳＡ４方向（即ち、車両前後方向Ｄｘ）であって且つ離間方向に延びるようにしている。前方カメラ４１の撮像範囲の中心軸ＣＡ１方向も車両前後方向Ｄｘであるので、第２仮想線２３５０を車両前後方向Ｄｘに延びるようにすると、最近点からの立体物が写り込んだ画像の高さ方向の画像を立体物画像Ｐobjに確実に含めることができ、更に、立体物によりクリアランスソナーが他の立体物を検出できない領域の画像も当該立体物画像Ｐobjに含めることができる。

なお、車両１００の後方に立体物が存在する場合には、後方カメラ４２が撮像したカメラ画像を変換した平面視画像Ｐheimenにおける当該立体物画像Ｐobjを推定する。この場合の立体物画像Ｐobjの推定処理は、車両１００の前方に立体物が存在する場合の推定処理と同じである。

＜車両駐車支援装置の具体的な作動＞
次に、車両駐車支援装置１０の具体的な作動について説明する。車両駐車支援装置１０のＥＣＵ９０のＣＰＵは、図２４に示したルーチンを所定時間の経過毎に実行するように構成されている。

従って、所定のタイミングになると、ＣＰＵは、ステップ２４００から処理を開始し、その処理をステップ２４０５に進め、カメラセンサ装置４０から画像情報を取得すると共に、ソナーセンサ装置３０からソナー情報ＳＯＮを取得し、処理をステップ２４１０に進める。

ステップ２４１０にて、ＣＰＵは、車速ＳＰＤが閾値速度ＳＰＤｔｈ以下であるとの低速条件が成立したか否かを判定する。低速条件が成立した場合、ＣＰＵは、ステップ２４１０にて「Ｙｅｓ」と判定し、処理をステップ２４１５に進める。ステップ２４１５にて、ＣＰＵは、各カメラ４５が撮像したカメラ画像を平面視画像に変換し、処理をステップ２４２０に進める。

ステップ２４２０にて、ＣＰＵは、ソナー情報ＳＯＮに基いて立体物が存在するか否かを判定する。第１クリアランスソナー３０１乃至第４クリアランスソナー３０４の少なくとも一つが立体物を検出していれば、ＣＰＵは、前方カメラ４１が撮像したカメラ画像の撮像範囲に立体物が存在すると判定する。第５クリアランスソナー３０５乃至第８クリアランスソナー３０８の少なくとも一つが立体物を検出していれば、ＣＰＵは、後方カメラ４２が撮像したカメラ画像の撮像範囲に立体物が存在すると判定する。第９クリアランスソナー３０９及び第１０クリアランスソナー３１０の少なくとも一つが立体物を検出していれば、ＣＰＵは、左側カメラ４３が撮像したカメラ画像の撮像範囲に立体物が存在すると判定する。第１１クリアランスソナー３１１及び第１２クリアランスソナー３１２の少なくとも一つが立体物を検出していれば、ＣＰＵは、右側カメラ４４が撮像したカメラ画像の撮像範囲に立体物が存在すると判定する。

立体物が存在する場合、ＣＰＵは、ステップ２４２０にて「Ｙｅｓ」と判定し、ステップ２４２５乃至２４５０の処理を実行し、処理をステップ２４９５に進めて本ルーチンを一旦終了する。

ステップ２４２５：ＣＰＵは、ソナー検出結果を平面視画像上にプロットする。より詳細には、平面視画像における１ピクセルの縦方向の長さ及び横方向の長さは実際の長さ（例えば、１５ｃｍ程度）に予め設定されている。ＣＰＵは、この予め設定されたピクセルの長さ、立体物を検出したクリアランスソナーの位置、及び立体物までの距離に基いて、平面視画像において立体物の位置に対応するピクセルの位置を特定し、そのピクセルの位置にソナー検出結果をプロットする。

ステップ２４３０：ＣＰＵは、ソナー検出結果のカメラに対する最遠点から延びる第１仮想線を取得する。
ステップ２４３５：ＣＰＵは、ソナー検出結果のカメラに対する最近点から延びる第２仮想線を取得する。
ステップ２４４０：ＣＰＵは、ソナー検出結果と第１仮想線と第２仮想線とによって囲まれる領域を立体物画像領域として推定する。
ステップ２４４５：ＣＰＵは、平面視画像から立体物画像を除外することによって除外済画像を取得する。
ステップ２４５０：ＣＰＵは、除外済画像から特徴点Ｆを取得する。

ＣＰＵが処理をステップ２４１０に進めたときに車速ＳＰＤが閾値速度ＳＰＤｔｈよりも大きい場合、ＣＰＵは、そのステップ２４１０にて「Ｎｏ」と判定し、処理をステップ２４９５に進めて本ルーチンを一旦終了する。

ＣＰＵが処理をステップ２４２０に進めたときに立体物が存在しない場合、ＣＰＵは、そのステップ２４２０にて「Ｙｅｓ」と判定し、処理をステップ２４５０に進めて特徴点Ｆを取得する。

更に、ＣＰＵは、図２５に示したルーチンを所定時間の経過毎に実行するようになっている。従って、所定のタイミングになると、ＣＰＵは、ステップ２５００から処理を開始し、その処理をステップ２５０５に進め、登録フラグＸregの値が「１」であるか否かを判定する。登録フラグＸregの値は、上記登録開始条件が成立したときに（図２７に示したステップ２７２７にて）「１」に設定され、駐車場６２への車両１００の駐車が完了したときに「０」に設定される。

ＣＰＵは、ステップ２５０５にて「Ｙｅｓ」と判定した場合、処理をステップ２５１０に進め、第１駐車走行処理フラグＸ１_exeの値が「０」であるか否かを判定する。第１駐車走行処理フラグＸ１_exeの値は、第１駐車走行処理が開始されたときに「１」に設定され、第１駐車走行処理が終了されたときに「０」に設定される。

ＣＰＵは、ステップ２５１０にて「Ｙｅｓ」と判定した場合、処理をステップ２５１５に進め、平面視画像５１Ｐ、駐車区画ライン画像５２、設定ボタン画像５３及び移動ボタン画像５７をディスプレイ５０に表示する。

次いで、ＣＰＵは、処理をステップ２５２０に進め、設定完了フラグＸsetの値が「１」であるか否かを判定する。設定完了フラグＸsetの値は、運転者が設定ボタン画像５３をタッチ操作したときに「１」に設定され、第１駐車走行処理が開始されたときに「０」に設定される。

ＣＰＵは、ステップ２５２０にて「Ｙｅｓ」と判定した場合、処理をステップ２５２５に進め、設定ボタン画像５３及び移動ボタン画像５７をディスプレイ５０から消去し、登録開始ボタン画像５４をディスプレイ５０に表示する。次いで、ＣＰＵは、処理をステップ２５３０に進め、駐車区画ライン画像５２に対応する駐車区画６１を登録対象駐車区画６１setとして設定する。次いで、ＣＰＵは、処理をステップ２５３５に進め、登録対象駐車区画６１setまでの車両１００の走行ルートを目標走行ルートＲtgtとして設定する。次いで、ＣＰＵは、処理をステップ２５４０に進め、先に述べたようにして仮入口情報Ｉent_preを取得してＲＡＭに記憶する。なお、仮入口情報Ｉent_preに含まれる仮入口座標ＸＹent_pre及び仮入口濃淡情報ＣＴent_preは、現時点から最も近い時点にて実行された図２４に示したルーチンのステップ２４５０にて取得された特徴点Ｆに基いて取得される。

次いで、ＣＰＵは、処理をステップ２５４５に進め、登録開始フラグＸreg_startの値が「１」であるか否かを判定する。登録開始フラグＸreg_startの値は、登録開始ボタン画像５４が運転者によりタッチ操作されたときに「１」に設定され、第１駐車走行処理が開始されたときに「０」に設定される。

ＣＰＵは、ステップ２５４５にて「Ｙｅｓ」と判定した場合、処理をステップ２５５０に進め、登録開始ボタン画像５４をディスプレイ５０から消去し、カメラ画像５１Ｃ及び平面視画像５１Ｐをディスプレイ５０に表示する。次いで、ＣＰＵは、処理をステップ２５５５に進め、目標走行ルートＲtgtに沿って車両１００を登録対象駐車区画６１setまで走行させる第１駐車走行処理を開始する。その後、ＣＰＵは、処理をステップ２５９５に進め、本ルーチンを一旦終了する。

一方、ＣＰＵは、ステップ２５４５にて「Ｎｏ」と判定した場合、処理をステップ２５９５に直接進め、本ルーチンを一旦終了する。

又、ＣＰＵは、ステップ２５２０にて「Ｎｏ」と判定した場合も、処理をステップ２５９５に直接進め、本ルーチンを一旦終了する。

ＣＰＵは、ステップ２５１０にて「Ｎｏ」と判定した場合、処理をステップ２５６０に進め、中間情報取得フラグＸmidの値が「１」であるか否かを判定する。中間情報取得フラグＸmidの値は、車両１００が後退している間に車両１００の移動方向が真っ直ぐになったときに「１」に設定され、ステップ２５６５の処理が行われたときに「０」に設定される。

ＣＰＵは、ステップ２５６０にて「Ｙｅｓ」と判定した場合、処理をステップ２５６５に進め、先に述べたようにして仮中間情報Ｉmid_preを取得してＲＡＭに記憶する。次いで、ＣＰＵは、処理をステップ２５７０に進める。なお、仮中間情報Ｉmid_preに含まれる仮中間座標ＸＹmid_pre及び仮中間濃淡情報ＣＴmid_preは、現時点から最も近い時点にて実行された図２４に示したルーチンのステップ２４５０にて取得された特徴点Ｆに基いて取得される。

一方、ＣＰＵは、ステップ２５６０にて「Ｎｏ」と判定した場合、処理をステップ２５７０に直接進める。

ＣＰＵは、処理をステップ２５７０に進めると、第１駐車走行処理を継続して実行する。次いで、ＣＰＵは、処理をステップ２５７５に進め、駐車完了フラグＸpark_finの値が「１」であるか否かを判定する。駐車完了フラグＸpark_finの値は、車両１００が登録対象駐車区画６１set内に収まったときに「１」に設定され、第１駐車走行処理が終了されたときに「０」に設定される。

ＣＰＵは、ステップ２５７５にて「Ｙｅｓ」と判定した場合、処理をステップ２５８０に進め、第１駐車走行処理を終了する。次いで、ＣＰＵは、処理をステップ２５９５に進め、本ルーチンを一旦終了する。

一方、ＣＰＵは、ステップ２５７５にて「Ｎｏ」と判定した場合、処理をステップ２５９５に直接進め、本ルーチンを一旦終了する。

又、ＣＰＵは、ステップ２５０５にて「Ｎｏ」と判定した場合、処理をステップ２５９０に進め、ディスプレイ５０への平面視画像５１Ｐ等の画像の表示を終了する。次いで、ＣＰＵは、処理をステップ２５９５に進め、本ルーチンを一旦終了する。

更に、ＣＰＵは、図２６に示したルーチンを所定時間の経過毎に実行するようになっている。従って、所定のタイミングになると、ＣＰＵは、図２６のステップ２６００から処理を開始し、その処理をステップ２６０５に進め、情報登録要求フラグＸreg_reqの値が「１」であるか否かを判定する。情報登録要求フラグＸreg_reqの値は、第１駐車走行処理による駐車場６２への車両１００の駐車が完了したときに「１」に設定され、駐車場情報ＩparkがＲＡＭに登録されたときに「０」に設定される。

ＣＰＵは、ステップ２６０５にて「Ｙｅｓ」と判定した場合、処理をステップ２６１０に進め、登録ボタン画像５５をディスプレイ５０に表示する。次いで、ＣＰＵは、処理をステップ２６１５に進め、登録決定フラグＸreg_detの値が「１」であるか否かを判定する。登録決定フラグＸreg_detの値は、登録ボタン画像５５が運転者によりタッチ操作されたときに「１」に設定され、ステップ２６２０の処理が行われたときに「０」に設定される。

ＣＰＵは、ステップ２６１５にて「Ｙｅｓ」と判定した場合、処理をステップ２６２０に進め、先に述べたようにして登録入口情報Ｉent_reg、登録場内情報Ｉin_reg及び登録区画情報Ｉarea_regを駐車場情報ＩparkとしてＲＡＭに登録する。なお、登録場内情報Ｉin_regに含まれる登録場内座標ＸＹin_reg及び登録場内濃淡情報ＣＴin_regは、現時点から最も近い時点にて実行された図２４に示したルーチンのステップ２４５０にて取得された特徴点Ｆに基いて取得される。次いで、ＣＰＵは、処理をステップ２６９５に進め、本ルーチンを一旦終了する。

一方、ＣＰＵは、ステップ２６１５にて「Ｎｏ」と判定した場合、処理をステップ２６９５に進め、本ルーチンを一旦終了する。

又、ＣＰＵは、ステップ２６０５にて「Ｎｏ」と判定した場合、処理をステップ２６９５に進め、本ルーチンを一旦終了する。

更に、ＣＰＵは、図２７に示したルーチンを所定時間の経過毎に実行するようになっている。従って、所定のタイミングになると、ＣＰＵは、図２７のステップ２７００から処理を開始し、その処理をステップ２７０５に進め、車速ＳＰＤが「０」であり、且つ、駐車支援スイッチ４８が操作されたとの開始条件が成立したか否かを判定する。上記開始条件が成立した場合、ＣＰＵは、ステップ２７０５にて「Ｙｅｓ」と判定し、その処理をステップ２７１０に進める。

ステップ２７１０にて、ＣＰＵは、現時点から最も近い時点にて実行された図２４に示したルーチンのステップ２４４５にて取得された左側平面視画像の除外済画像（左側除外済画像）及び右側平面視画像の除外済画像（右側除外済画像）を取得し、その処理をステップ２７１５に進める。ステップ２７１５にて、ＣＰＵは、ステップ２７１０にて取得した左側除外済画像及び右側除外済画像の何れかに、登録入口濃淡情報ＣＴent_regと一致する画像が存在するか否かを判定する。

左側除外済画像及び右側除外済画像の何れかに、登録入口濃淡情報ＣＴent_regと一致する画像が存在する場合、ＣＰＵは、車両１００が登録済みの駐車場６２の入口６２entの近くで停止したと判定し、上記自動駐車開始条件が成立したと判定する。そして、ＣＰＵは、ステップ２７１５にて「Ｙｅｓ」と判定してその処理をステップ２７２０に進め、後述する支援フラグＸassistの値を「１」に設定する。その後、ＣＰＵは、その処理をステップ２７９５に進めて本ルーチンを一旦終了する。

左側除外済画像及び右側除外済画像の何れにも、登録入口濃淡情報ＣＴent_regと一致する画像が存在しない場合、ＣＰＵは、車両１００の近くに登録済みの駐車場６２の入口６２entが存在しないと判定し、上記登録開始条件が成立したと判定する。そして、ＣＰＵは、ステップ２７１５にて「Ｎｏ」と判定してその処理をステップ２７２５に進め、登録フラグＸregの値を「１」に設定する。その後、ＣＰＵは、その処理をステップ２７９５に進めて本ルーチンを一旦終了する。

一方、ＣＰＵがステップ２７０５に進んだとき上記開始条件が成立していない場合、ＣＰＵは、そのステップ２７０５にて「Ｎｏ」と判定し、その処理をステップ２７９５に進めて本ルーチンを一旦終了する。

なお、ステップ２７１５にて、ＣＰＵは、登録入口濃淡情報ＣＴent_regと一致する画像が存在し、且つ、「入口特徴点Ｆent同士の位置関係」と「登録入口濃淡情報ＣＴent_regと一致する画像同士の位置関係」とが一致する場合、「Ｙｅｓ」と判定するようにしてもよい。

更に、ＣＰＵは、図２８に示したルーチンを所定時間の経過毎に実行するようになっている。従って、所定のタイミングになると、ＣＰＵは、図２８のステップ２８００から処理を開始し、その処理をステップ２８０５に進め、支援フラグＸassistの値が「１」であるか否かを判定する。支援フラグＸassistの値は、車両１００が登録済みの駐車場６２の入口６２entの近くで停止したときに「１」に設定され、その登録済みの駐車場６２から車両１００が遠ざかったとき或いは駐車場６２への車両１００の駐車が完了したときに「０」に設定される。

ＣＰＵは、ステップ２８０５にて「Ｙｅｓ」と判定した場合、処理をステップ２８１０に進め、第２駐車走行処理フラグＸ２_exeの値が「０」であるか否かを判定する。第２駐車走行処理フラグＸ２_exeの値は、第２駐車走行処理が開始されたときに「１」に設定され、第２駐車走行処理が終了されたときに「０」に設定される。

ＣＰＵは、ステップ２８１０にて「Ｙｅｓ」と判定した場合、処理をステップ２８１５に進め、カメラ画像５１Ｃ、平面視画像５１Ｐ、駐車区画ライン画像５２及び駐車開始ボタン画像５６をディスプレイ５０に表示する。

次いで、ＣＰＵは、処理をステップ２８２０に進め、駐車開始フラグＸpark_startの値が「１」であるか否かを判定する。駐車開始フラグＸpark_startの値は、駐車開始ボタン画像５６が運転者によりタッチ操作されたときに「１」に設定され、第２駐車走行処理が開始されたときに「０」に設定される。

ＣＰＵは、ステップ２８２０にて「Ｙｅｓ」と判定した場合、処理をステップ２８２５に進め、駐車開始ボタン画像５６をディスプレイ５０から消去する。次いで、ＣＰＵは、処理をステップ２８３０に進め、駐車区画ライン画像５２に対応する駐車区画６１を目標駐車区画６１tgtとして設定する。次いで、ＣＰＵは、処理をステップ２８３５に進め、車両１００を目標駐車区画６１tgtまで走行させる走行ルートを目標走行ルートＲtgtとして設定する。次いで、ＣＰＵは、処理をステップ２８４０に進め、第２駐車走行処理を開始する。その後、ＣＰＵは、処理をステップ２８９５に進め、本ルーチンを一旦終了する。

一方、ＣＰＵは、ステップ２８２０にて「Ｎｏ」と判定した場合、処理をステップ２８９５に直接進め、本ルーチンを一旦終了する。

又、ＣＰＵは、ステップ２８１０にて「Ｎｏ」と判定した場合、処理をステップ２８４５に進め、第２駐車走行処理を継続して実行する。その後、ＣＰＵは、処理をステップ２８５０に進め、駐車完了フラグＸpark_finの値が「１」であるか否かを判定する。駐車完了フラグＸpark_finの値は、車両１００が目標駐車区画６１tgt内に収まったときに「１」に設定され、第２駐車走行処理が終了されたときに「０」に設定される。

ＣＰＵは、ステップ２８５０にて「Ｙｅｓ」と判定した場合、処理をステップ２８５５に進め、第２駐車走行処理を終了する。次いで、ＣＰＵは、処理をステップ２８９５に進め、本ルーチンを一旦終了する。

一方、ＣＰＵは、ステップ２８５０にて「Ｎｏ」と判定した場合、処理をステップ２８９５に直接進め、本ルーチンを一旦終了する。

又、ＣＰＵは、ステップ２８０５にて「Ｎｏ」と判定した場合、処理をステップ２８６０に進め、ディスプレイ５０への平面視画像５１Ｐ等の画像の表示を終了する。次いで、ＣＰＵは、処理をステップ２８９５に進め、本ルーチンを一旦終了する。

以上が車両駐車支援装置１０の具体的な作動である。これによれば、駐車場６２内の立体物や駐車場６２周辺の立体物の特徴点ではなく、駐車場６２内の地面６３及び駐車場６２周辺の地面６３の特徴点Ｆに関する情報が登録入口情報Ｉent_regとして登録される（図２０のステップ２０２０参照）。従って、登録入口情報Ｉent_regが登録されたときとその後、車両１００が登録済みの駐車場６２の入口６２entに到着したときとで車両１００や駐車場６２を取り巻く状況が異なっていても、登録入口情報Ｉent_regの登録されている入口特徴点Ｆentに対応する入口特徴点Ｆentを、登録済みの駐車場６２の入口６２entに到着したときに撮像されたカメラ画像から探索することができ、その結果、駐車場６２が登録済みの駐車場６２であると判断することができる。このため、車両１００を自動的に登録済みの駐車場６２に駐車させることができる。

尚、本発明は、上記実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。

上記実施形態では、クリアランスソナー３０１乃至３１２が立体物を検出したが、車両駐車支援装置１０は、他の手法により立体物を検出してもよい。例えば、ＣＰＵは、各カメラ４５が所定時間が経過する毎に撮像したカメラ画像から所定の特徴量を有する点を「立体物を判定するために用いる判定特徴点」として取得する。「第１時点にて取得した判定特徴点（第１判定特徴点）」と「第１時点から所定時間が経過した第２時点にて取得した判定特徴点（第２判定特徴点）」とが同一である場合、ＣＰＵは、車速Ｖｓ及びヨーレートＹｒに基き第１時点から第２時点までの車両ＶＡの移動軌跡を推定し、第２時点における車両ＶＡの「第１時点における車両ＶＡの位置（第１位置）」に対する位置（第２位置）を推定する。ＣＰＵは、第２位置、第１判定特徴点の第１時点のカメラ画像における位置、及び第２判定特徴点の第２時点のカメラ画像における位置に基き、判定特徴点のカメラに対する位置及び高さを求める。その高さが閾値高さ以上であれば、ＣＰＵは、立体物が存在すると判定する。

クリアランスソナー３０１乃至３１２は、「無線媒体を放射し、反射された無線媒体を受信することによって障害物を検出するセンサ」であればよい。車両駐車支援装置１０は、クリアランスソナー３０１乃至３１２の代わりに、例えば赤外線レーダ又はミリ波レーダを備えてもよい。

更に、カメラ４５の数及びクリアランスソナー３０１乃至３１２の数は、それぞれ図２及び図３に示した数に限定されない。

１０…車両駐車支援装置、１１…車両駆動力発生装置、１２…ブレーキ装置、１３…ステアリング装置、３０…ソナーセンサ装置、４０…カメラ装置、５１Ｃ…カメラ画像、５１Ｐ…平面視画像、５２…駐車区画ライン画像、６１…駐車区画、６２…駐車場、６３…地面、７３…左側範囲、７４…右側範囲、９０…ＥＣＵ、１００…車両、Ｆ…特徴点

Claims (5)

1. 車両の周囲を撮像するように車両に取り付けられたカメラと、
   前記車両の運転者から前記車両を駐車させる駐車区画の登録要求を受け付けたときに前記カメラによって撮像された前記駐車区画を含む駐車場の画像である登録時画像に基いて該駐車場に関する情報を駐車場情報として登録し、前記駐車場情報の登録後に前記駐車場情報が登録された駐車場に前記車両が到着したと判定された場合、前記駐車場情報を用いて前記車両を前記駐車区画に自動的に駐車させる制御手段と、を備えた車両駐車支援装置において、
   前記制御手段は、
   前記登録時画像から所定の特徴量を有する所定の範囲の画像である特徴画像を取得し、前記特徴画像を前記駐車場情報として登録し、
   前記駐車場情報の登録後に前記カメラによって撮像される画像である登録後画像において前記特徴画像と一致する画像が存在する場合、前記駐車場情報が登録されている駐車場に前記車両が到着したと判定し、前記駐車場情報を用いて前記車両を当該駐車場の前記駐車区画に自動的に駐車させ、
   前記登録時画像が撮像された範囲に立体物が存在する場合、前記登録時画像における当該立体物の画像である立体物画像を推定し、
   前記登録時画像において前記立体物画像以外の画像から前記特徴画像を取得する、
   ように構成されている、
   車両駐車支援装置。
2. 請求項１に記載の車両駐車支援装置であって、
   無線媒体を送信し、立体物によって反射された前記無線媒体を受信することによって前記立体物までの距離を検出する検出センサを、更に備え、
   前記制御手段は、
   前記登録要求を受け付けたときに前記検出センサが前記立体物を検出している場合、前記登録時画像が撮像された範囲に立体物が存在すると判定し、
   前記検出センサが検出した立体物に基いて、前記登録時画像における当該立体物の画像である立体物画像を推定する、
   ように構成されている、
   車両駐車支援装置。
3. 請求項１に記載の車両駐車支援装置であって、
   前記検出センサは、中心軸を中心とする所定の送信範囲に前記無線媒体を送信し、
   前記制御手段は、
   前記カメラによって撮像された画像を当該カメラの上方の視点から視たときの平面視画像を生成し、
   前記平面視画像において前記検出センサが検出した立体物の前記カメラから最も遠い点である最遠点と前記カメラとを通る仮想線分を取得し、
   前記最遠点から前記仮想線分の傾きで前記カメラから離間する方向に延びる第１仮想線を取得し、
   前記検出センサによって検出された立体物の前記カメラに最も近い点である最近点から前記検出センサの前記無線媒体の前記送信範囲の中心軸と平行な方向に延びる第２仮想線を取得し、
   前記検出センサによって検出された立体物と前記第１仮想線と前記第２仮想線とで区画される領域の画像を前記立体物画像として推定する、
   ように構成されている、
   車両駐車支援装置。
4. 請求項３に記載の車両駐車支援装置であって、
   前記検出センサの送信範囲の中心軸の方向及び前記カメラの撮像範囲の中心軸の方向が一致するように、前記検出センサ及び前記カメラが前記車両に取り付けられている、
   ように構成されている、
   車両駐車支援装置。
5. 請求項１に記載の車両駐車支援装置であって、
   前記制御手段は、
   前記登録後画像が撮像された範囲に立体物が存在する場合、前記登録後画像における当該立体物の画像である前記立体物画像を推定し、
   前記登録後画像において前記立体物画像以外の画像から前記特徴画像と一致する画像が存在するか否かを判定する、
   ように構成されている、
   車両駐車支援装置。
   
   

Images