JP4802769B2 - 駐車支援方法及び駐車支援装置 - Google Patents

Description

本発明は、駐車支援方法及び駐車支援装置に関する。

従来、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラにて駐車位置までの画像データを複数取得し、その複数の画像データを加工して、駐車している自動車を上方から見た俯瞰図を作成し、その作成した俯瞰図をディスプレイに出力する駐車支援装置が提案されている（例えば、特許文献１参照）。
特開２００２−１２０６７５号公報

ところで、車両を所定の駐車位置に駐車する場合、駐車が完了するまでの間、運転者はブレーキを操作しながら運転する。そのため、駐車位置に停止するまでの間には、何度もブレーキランプが点いたり消えたりする。従って、その時々で車載カメラが撮像し記憶手段に蓄積する各画像データには、連続した背景を映すものの、ブレーキランプの反射光が映った画像データと、ブレーキランプの反射光が映っていない画像データとが混在する。

一般に、ブレーキランプの点灯時に撮像した画像は、ブレーキランプの消灯時に撮像した画像と相違して、ブレーキランプの赤色の光が路面に反射しその赤色の反射光が撮像される。従って、ブレーキランプの反射光が映った画像データと、ブレーキランプの反射光が映ってない画像データとを俯瞰変換して加工して画像（俯瞰画像）を生成すると、その俯瞰画像は、例えば路面が色の異なる路面（斑模様の路面）となり、表示品質が低下する。特に、夜、悪天候時等の回りが暗い場合には、反射光が強く表れて表示品質を落としていた。

また、ハザードランプ、ウィンカー、テールランプ、ヘッドランプ等、車両周辺を照明する光源の点滅による外光の変化によっても同様な問題があった。さらに、太陽の向きによって、車両の陰が画像に陰影となって映り出される場合がある。このような場合にも、その陰影が、画像全体を見難くし表示品質を落としていた。

また、このような俯瞰画像を生成する際、その画像処理動作は、膨大なデータと膨大な処理量となり、画像処理装置の大きな負荷となっていた。その結果、画像処理装置に対する負荷の軽減と表示品質を落とすことなく短時間での俯瞰画像の生成が望まれていた。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、撮像手段がその時々で撮像した各画像データにおいて、外光が異なった状態で撮像された画像データが混在していても、画像処理装置に対する負荷の軽減と品質を落とすことなく短時間で高品質な周辺画像を生成することができる駐車支援方法及び駐車支援装置を提供することにある。

請求項１によれば、車両に設けられた撮像手段を用いて前記車両の進行とともにその進行方向の画像を定期的に撮像し、その時々の画像データの各々を蓄積し、蓄積した複数の画像データを用いて前記車両の現在位置の周辺画像データを生成した後、生成した周辺画像データに基づく周辺画像を表示手段に表示するようにした駐車支援方法において、前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出するとともに前記車両に設けられた各光源が点灯しているか否かを検出し、輝度補正のためのテンプレートを前記路面の種類に応じて前記光源毎に予め用意し、前記各画像データの各々を、点灯している前記光源及び前記路面の種類に対応したテンプレートを使って輝度補正した後、前記周辺画像データを生成した。

請求項２の発明は、車両に設けられた撮像手段を用いて前記車両の進行とともにその進行方向の画像を定期的に撮像し、その時々の画像データの各々を画像処理して変換データを生成して蓄積し、前記蓄積した複数の変換データを用いて前記車両の現在位置の周辺を俯瞰した俯瞰画像の俯瞰画像データを生成した後、前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示するようにした駐車支援方法において、前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出するとともに前記車両に設けられた各光源が点灯しているか否かを検出し、輝度補正のためのテンプレートを前記路面の種類に応じて前記光源毎に予め用意し、前記各画像データの各々を、点灯している前記光源及び前記路面の種類に対応したテンプレートを使って輝度補正した後、前記周辺画像データを生成した。

請求項３の発明は、車両に設けられた撮像手段が定期的に撮像した画像の画像データを取得する画像データ取得手段と、画像データ取得手段が取得した各画像データの各々を用いて、車両の現在位置の周辺画像データを生成する周辺画像データ生成手段と、前記周辺画像データに基づく周辺画像を表示手段に表示する表示出力手段とを備えた駐車支援装置において、前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出する路面検出手段と、前記撮像手段が画像を撮像する毎に、前記車両に設けられた各光源が点灯しているか否かを検出する光源点灯検出手段と、輝度補正のためのテンプレートが前記路面の種類に応じて前記光源毎に格納されたテンプレート記憶手段と、前記光源点灯検出手段により検出された点灯している前記光源、及び前記路面検出手段により検出した路面の種類に対応するテンプレートを読み出し、当該テンプレートを用いて前記各画像データを輝度補正する画像データ補正手段とを設けた。

請求項４の発明は、車両に設けられた撮像手段が定期的に撮像した画像の画像データを取得する画像データ取得手段と、画像データ取得手段が取得した各画像データの各々について、予め定めた領域を抽出し画像処理した変換データを生成する第１画像処理手段と、前記第１画像処理手段が生成した各変換データを用いて、現在の車両の周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示する表示出力手段とを備えた駐車支援装置において、前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出する路面検出手段と、前記撮像手段が画像を撮像する毎に、前記車両に設けられた各光源が点灯しているか否かを検出する光源点灯検出手段と、輝度補正のためのテンプレートが前記路面の種類に応じて前記光源毎に格納されたテンプレート記憶手段と、前記光源点灯検出手段により検出された点灯している前記光源、及び前記路面検出手段により検出した路面の種類に対応するテンプレートを読み出し、当該テンプレートを用いて前記変換データを輝度補正する第３画像処理手段とを設けた。

請求項５の発明は、請求項４に記載の駐車支援装置において、前記第１画像処理手段は、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データをそれぞれ視点変換処理して変換データを生成するものである。

請求項６の発明は、請求項４に記載の駐車支援装置において、前記第１画像処理手段は、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データをそれぞれ視点変換処理して変換データを生成すものであり、前記テンプレート記憶手段に格納された前記テンプレートは、前記画像データ、前記抽出データ、又は、変換データのいずれかに対するテンプレートであり、前記第３画像処理手段の各変換データの輝度補正は、前記画像データ、前記抽出データ、又は、変換データのいずれかに対し前記テンプレートを用いて輝度補正することによって行われる。

請求項７の発明は、請求項４〜６のいずれか一つに記載の駐車支援装置において、車両の周辺の照度を検出する照度検出手段をさらに備え、前記テンプレートは、予め区分された前記照度毎に、前記テンプレート記憶手段に格納されており、前記第３画像処理手段は、検出された前記照度に対応するテンプレートを読み出し、当該テンプレートを用いて前記変換データを輝度補正する。

請求項１の発明によれば、その各画像データは、車両に設けられた各光源が点灯しているか否か及び路面の種類に応じた輝度データとなるが、輝度補正のためのテンプレートを使って輝度補正をすることができる。従って、輝度補正は、予め用意された輝度補正のためのテンプレートのデータを用いることから、輝度補正処理のための画像処理動作が簡単かつ短時間に行うことができる。

しかも、前後の画像データは、車両に設けられた各光源が点灯しているか否か及び路面の種類に対する輝度データの変動分を抑制できることから、各画像データにおいてこれらの状態が異なった状態で撮像された画像データが混在していても、その時々の状態の変化の影響を抑制した周辺画像を表示手段に表示することができる。その結果、高品質の周辺画像を表示することができる。また、ブレーキランプ等の光源の点灯有無は、光源駆動装置又は光源点灯スイッチからの信号で検出できるため、光源の点灯を検出するための特別な検出装置を設ける必要がない。

請求項２の発明によれば、その各変換データは、車両に設けられた各光源が点灯しているか否か及び路面の種類に応じた輝度データとなるが、輝度補正のためのテンプレートを使って輝度補正をすることができる。従って、輝度補正は、予め用意された輝度補正のためのテンプレートのデータを用いることから、輝度補正処理のための画像処理動作が簡単かつ短時間に行うことができる。

しかも、前後の変換データは、車両に設けられた各光源が点灯しているか否か及び路面の種類に対する輝度データの変動分を抑制できることから、各画像データにおいてこれらの状態が異なった状態で撮像された画像データが混在していても、その時々の状態の変化の影響を抑制した俯瞰画像を表示手段に表示することができる。その結果、高品質の俯瞰画像を表示することができる。また、ブレーキランプ等の光源の点灯有無は、光源駆動装置又は光源点灯スイッチからの信号で検出できるため、光源の点灯を検出するための特別な検出装置を設ける必要がない。

請求項３の発明によれば、輝度補正のためのテンプレートをテンプレート記憶手段に、予め格納しておく。そして、車両の進行とともに撮像手段が画像を撮像する毎に、車両に設けられた各光源が点灯しているか否か及び路面の種類が変化した場合、画像データ取得手段が取得した画像データは、これらの状態の変化に応じた輝度データとなる。この時、路面検出手段は車両が移動中の路面の種類を検出し、光源点灯検出手段は、車両に設けられた各光源が点灯しているか否かを検出する。画像データ補正手段は、これらの結果に対応するテンプレートをテンプレート記憶手段から読み出し、その読み出したテンプレートを用いて画像データを輝度補正する。従って、周辺画像データ生成手段は、状態が異なる画像が混在していても、その時々の状態の変化の影響を抑制した周辺画像データを生成することができる。その結果、高品質の周辺画像を表示手段に表示することができる。しかも、輝度補正は、予め用意されたテンプレートを用いることから、輝度補正処理のための画像処理動作が簡単かつ短時間に行うことができる。また、光源の点灯有無は、光源駆動装置又は光源点灯スイッチからの信号で検出するため、光源の点灯を検出するための特別な検出装置を設ける必要がない。

請求項４の発明によれば、輝度補正のためのテンプレートをテンプレート記憶手段に、予め格納しておく。そして、車両の進行とともに撮像手段が画像を撮像する毎に、車両に設けられた各光源が点灯しているか否か及び路面の種類が変化した場合、第１画像処理手段が生成した変換データは、これらの状態の変化に応じた輝度データとなる。この時、路面検出手段は車両が移動中の路面の種類を検出し、光源点灯検出手段は、車両に設けられた各光源が点灯しているか否か検出する。第３画像処理手段は、これらの結果に対応するテンプレートをテンプレート記憶手段から読み出し、その読み出したテンプレートを用いて変換データを輝度補正する。従って、第２画像処理手段は、状態が異なる画像が混在していても、その時々の状態の変化を抑制した俯瞰画像データを生成することができる。その結果、高品質の俯瞰画像を表示手段に表示することができる。しかも、輝度補正は、予め用意されたテンプレートを用いることから、輝度補正処理のための画像処理動作が簡単かつ短時間に行うことができる。また、光源の点灯有無は、光源駆動装置又は光源点灯スイッチからの信号で検出するため、光源の点灯を検出するための特別な検出装置を設ける必要がない。

請求項５の発明によれば、第１画像処理手段は、視点変換処理した変換データを、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データから生成する。

請求項６の発明によれば、第３画像処理手段は、画像データ、抽出データ、又は、変換データのいずれかに対してテンプレートを用いて輝度補正を行い、視点変換された変換データは輝度補正される。これによって、各変換データは、既に輝度補正されたデータになっているため、第２画像処理手段による俯瞰画像の生成は直ちに行うことができる。

請求項７の発明によれば、第３画像処理手段は、前記変換データについての輝度補正を、周辺の照度に応じて、変化する変換データに映り込まれる光源の光を確実に除く補正をすることができる。つまり、例えば、第３画像処理手段は、ブレーキランプの点灯された時に撮像された画像データであっても、周辺が暗い場合のものについて輝度補正をするだけなので、輝度補正処理の負荷がさらに軽減される。例えば、昼間の明るい状態で、ブレーキランプが点灯しても、ブレーキランプの光は回りが明る過ぎて撮像手段に撮像される画像には映らないことから、明るい時に撮像された画像データ（変換データ）については第２画像処理手段による輝度補正は不要にすることができる。

（第１実施形態）
以下、本発明の駐車支援方法及び駐車支援装置を、車両（自動車）に実装されたナビゲーション装置に具体化した第１実施形態を図１〜図１６に従って説明する。図１は、ナビゲーション装置１の構成を説明するブロック図である。

図１に示すように、駐車支援装置としてのナビゲーション装置１は、制御装置２及び表示手段としてのディスプレイ３を備えている。制御装置２は、外光判定手段を構成する制御部４、メインメモリ５及びＲＯＭ６を有している。制御部４は、図示しないＣＰＵ等を備えており、ＲＯＭ６に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理の主制御を行う。メインメモリ５は、制御部４の演算結果を一時記憶するとともに、駐車支援のための各種変数、フラグが格納されている。

ＲＯＭ６には、輪郭データ６ａが格納されている。輪郭データ６ａは、ナビゲーション装置１を実装した車両Ｃ（図２参照）の輪郭をディスプレイ３に出力するためのデータである。この輪郭データ６ａをディスプレイ３に出力すると、図３に示すような指標としての車両輪郭線３０が表示される。車両輪郭線３０は、車体の外郭を示す外郭描画線３１と、前輪及び後輪の位置を示す車輪描画線３２とを有している。外郭描画線３１は、車両Ｃの車幅及び長さに応じて生成され、サイドミラーの輪郭線等、車両Ｃの前方又は後方が区
別可能な輪郭線である。この車両輪郭線３０は、図１５に示す駐車確認画面４５をディスプレイ３に表示するときに、周辺画像としての俯瞰画像４６（図１４参照）と重ね合わせて使用される。

また、ＲＯＭ６には、輝度補正テーブル６ｂが格納されている。輝度補正テーブル６ｂは、俯瞰画像４６（図１４及び図１５参照）の周辺画像データとしての俯瞰画像データＧ４を生成する際に、車両Ｃに設けた光源としてのブレーキランプＬ（図２参照）が点灯した場合にその反射光が映り込まれないようにするための輝度補正データである。

ナビゲーション装置１に備えられたディスプレイ３は、タッチパネルであって、車両Ｃが前進する際には、制御部４による駆動制御により、図示しない地図データ記憶部から地図描画データを出力して、図１に示す地図画面３ａを表示する。ディスプレイ３には操作スイッチ７が設けられ、操作スイッチ７がユーザにより入力操作されると、制御装置２に備えられたユーザ入力インターフェース部（ユーザＩ／Ｆ部８）がその入力操作に応じた入力信号を制御部４に出力する。

また、制御装置２は、ＧＰＳ受信部９を備えている。ＧＰＳ受信部９はＧＰＳ衛星からの電波を受信し、制御部４は、ＧＰＳ受信部９から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Ｃの絶対位置を定期的に算出する。

また、制御装置２は、音声出力部１０を備えている。音声出力部１０は、音声ファイルを格納した図示しないメモリやデジタル／アナログ変換器等を備え、その音声ファイルを使用して、ナビゲーション装置１が具備するスピーカ１１から案内音声や警告音を出力する。

さらに、制御装置２は、車両側インターフェース部（車両側Ｉ／Ｆ部１２）を備えている。制御部４は、この車両側Ｉ／Ｆ部１２を介して、車両Ｃに設けられた車速センサ２０及びジャイロ２１から、車速パルスＶＰ及び方位検出信号ＧＲＰを入力する。制御部４は、この車速パルスＶＰの波形により、車両Ｃの前進及び後退を判断し、その入力パルス数により車両Ｃの移動量を算出し、メインメモリ５に割り当てた記憶領域に格納された変数であるパルスカウント値Ｔと移動距離を更新する。また、制御部４は、入力した方位検出信号ＧＲＰに基づき車両Ｃの方位を算出し、メインメモリ５に割り当てられた記憶領域に格納された変数である現在方位ＧＲを更新する。さらに、制御部４は、車速パルスＶＰと方位検出信号ＧＲＰを用い、自律航法により、基準位置からの相対位置及び相対方位を演算し、ＧＰＳ受信部９に基づく自車位置を補正して、精度の高い自車位置を算出する。尚、本実施形態では、車両Ｃの後輪軸の位置を自車位置として算出するが、他の位置でもよい。

また、制御部４は、車両側Ｉ／Ｆ部１２を介して、車両Ｃのニュートラルスタートスイッチ２２からシフトポジション信号ＳＰＰを入力し、変速機のシフトポジションを算出し、メインメモリ５に割り当てられた記憶領域に格納された変数であるシフトポジションＳＰを更新する。さらに、制御部４は、車両側Ｉ／Ｆ部１２を介して、ステアリング舵角センサ２３から、ステアリングセンサ信号ＳＴＰを入力する。制御部４は、このステアリングセンサ信号ＳＴＰに基づき操舵角を算出し、メインメモリ５に割り当てられた記憶領域に格納された変数である車両Ｃの現在舵角ＳＴを更新する。

さらに、制御部４は、車両側Ｉ／Ｆ部１２を介して、光源点灯検出手段を構成する各種ランプ駆動装置２４から、車両ＣのブレーキランプＬ（図２参照）の点灯・消灯状態を示す点滅検出信号ＬＰＳを入力する。制御部４は、この点滅検出信号ＬＰＳに基づきブレーキランプＬの点滅の有無を判定し、メインメモリ５に割り当てられた点灯有無のフラグの
内容を更新する。本実施形態では、各種ランプ駆動装置２４はブレーキランプＬの点滅検出信号ＬＰＳを制御部４に出力したが、ウィンカー、ハザードランプ等、駐車に際して使用されると思われる各種のランプの点滅検出信号ＬＰＳを制御部４に出力するようにしてもよい。また、ブレーキランプＬの点灯・消灯状態を示す点滅検出信号は、ブレーキペダルの操作を検出し、それをブレーキランプＬの点灯・消灯状態を示す点滅検出信号ＬＰＳとして用いても良い。

さらにまた、制御部４は、車両側Ｉ／Ｆ部１２を介して、照度センサ２５から照度検出信号ＬＸＳを入力する。照度センサ２５は、本実施形態では、車両Ｃのルームミラーのフロントガラス側に設けられ、車両Ｃの周辺の明るさ（照度）を検出する。制御部４は、この照度検出信号ＬＸＳに基づき照度（車両周辺の明るさ）を算出し、メインメモリ５に割り当てられた記憶領域に格納された変数である照度を更新する。そして、制御部４は、算出した照度に基づいて車両Ｃの周辺が明るいか暗いかを判定し、メインメモリ５に割り当てられたフラグの内容（明暗の判断結果）を更新する。

また、制御装置２は、画像データ入力部１３を備えている。画像データ取得手段を構成する画像データ入力部１３は、制御部４の制御に従って、車両Ｃに設けられた撮像手段としてのバックモニタカメラ（以下、単にカメラ２６という）を駆動制御して、画像データＧを逐次取得する。

カメラ２６は、図２に示すように、車両Ｃのバックドア等、車両の後端に光軸を下方に向けて取り付けられている。このカメラ２６は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）とを備えている。カメラ２６は、例えば左右１４０度の視野を有し、車両Ｃの後端を含む、後方数メートルを撮像範囲Ｚとしている。画像データ入力部１３は、カメラ２６によってアナログ／デジタル変換された画像データＧを、制御部４の制御に基づき取得して、制御装置２に備えられた画像メモリ１４に一時格納する。

また、制御装置２は、周辺画像データ生成手段、画像データ補正手段、第１画像処理手段、第２画像処理手段及び第３画像処理手段を構成する画像処理部１５と表示出力手段を構成する画像出力部１６とを備えている。画像処理部１５は、車両Ｃが後退している間は、画像メモリ１４に一時格納された画像データＧを画像出力部１６を介してディスプレイ３に出力して、図４に示す、バックモニタ画面３３を表示する。バックモニタ画面３３には、後方背景画像３４と、後端画像３５とが表示されている。後方背景画像３４は、車両Ｃの後方の後方背景を撮像した画像であって、バックミラーで後方を視認した場合と合わせるため、画像が反転されている。また、後方背景画像３４は、カメラ２６が広角レンズを搭載していることから、周辺部が歪む歪曲収差が生じている。後端画像３５は、図２に示す車両ＣのリヤバンパーＲＢの中央部ＢＭを撮像した画像であって、リヤバンパーＲＢの隅部ＢＣは死角となっている。

さらに、画像処理部１５は、このバックモニタ画面３３に、車幅延長線３６と、予想軌跡線３７とからなるガイド線３８を描画するようになっている。車幅延長線３６は、車両Ｃの車幅を後方に延長した指標である。予想軌跡線３７は、その時の現在舵角ＳＴ及び車幅に基づき、後退する車両Ｃの走行軌跡を予想した指標であって、車両Ｃから予め定めた距離（例えば、２．７ｍ）までの予想軌跡を示す。

また、画像処理部１５は、車両Ｃが画像記録距離Ｄ１（本実施形態では、２００ｍｍ）毎に設定された各撮像地点で撮像した画像データＧを、変換処理して画像メモリ１４に格納する。具体的には、例えば、図５に示すように、車両Ｃが、白線１０１で区画された駐車目標領域１００に向って、後退を開始した初期位置Ａに位置するとき、制御部４の制御
により、画像処理部１５は、画像データ入力部１３から画像データＧを取得する。このとき取得された画像データＧは、図６（ａ）に示すように、車両Ｃの後方の路面１０２の撮像範囲Ｚの撮像データであって、例えば、図６（ｂ）に示すような後方背景画像３４を撮像したデータである。

画像処理部１５は、初期位置Ａで撮像した画像データＧのうち、予め設定された所定領域としての抽出領域４０のデータを抽出し、抽出データＧ１を生成する。抽出領域４０は、図６（ｂ）及び（ｄ）に示すように、ディスプレイ３の表示領域３ｚとほぼ同じ幅（画面座標系のｙ軸方向の長さ）を有している。また、抽出領域４０の高さは、車両Ｃの後退方向に相当するｘ軸方向において、表示領域３ｚの略中央部の領域に設定されている。この抽出領域４０内の画像データＧ（抽出データＧ１）は、車両Ｃから比較的近い領域を撮像しているため、鮮明な画像を表示可能であるとともに、中央部を抽出していることにより、カメラ２６のレンズによる歪みが小さくなっている。この抽出領域４０を、路面１０２上の座標を示す車両座標系（Ｘ，Ｙ）においては、図６（ａ）に示すように、撮像範囲Ｚの一部であって、路面１０２のほぼ５００ｍｍの領域１０３に相当する。

さらに、画像処理部１５は、抽出データＧ１を視点変換して、変換データＧ２を生成する。詳述すると、図６（ｃ）に示すように、上記した路面１０２上の領域１０３のうち、中央部の鉛直方向上方に、仮想視点１０４を設定する。この仮想視点１０４の高さは、カメラ２６高さとほぼ同じ高さに設定されている。そして、抽出データＧ１のうち中央部を用いて、その仮想視点１０４から領域１０３を俯瞰したようなデータに座標変換する。

具体的には、画像処理部１５は、抽出データＧ１の各画素座標に対応する画素値を、ＲＯＭ６等に格納した変換テーブルにより紐付けられた座標にマッピングする。その結果、初期位置Ａのカメラ視点から仮想視点１０４に視点変換された変換データＧ２が生成され、例えば、図６（ｅ）に示す画像４１のような変換データＧ２が生成される。この変換データＧ２は、抽出データＧ１の中央部を用いているので、路面上の略２００ｍｍの領域に相当する。

さらに、画像処理部１５は、制御部４に基づき、図７（ａ）に示すように、生成した変換データＧ２に、初期位置Ａを示す位置データとしての撮像位置データ１７と、初期位置Ａで入力した現在方位ＧＲに基づく方位データ１８と、メインメモリ５に割り当てられた車速パルスカウンタのパルスカウント値Ｔとを添付して、画像メモリ１４に格納する。そして、以後、車両Ｃが画像記録距離Ｄ１を移動する度に、図７（ａ）に示すような、その位置で撮像された画像データＧに基づく変換データＧ２が格納される。

また、この時、画像処理部１５は、初期位置Ａ及び車両Ｃが画像記録距離Ｄ１移動する度に、カメラ２６が画像を撮像する時、前記制御部４によるその時の車両周辺の照度の検出結果及びブレーキランプＬの点灯の有無の結果に基づいて、図７（ｂ）に示すように、輝度補正有無データＫＤを作成し画像メモリ１４に格納する。

詳述すると、画像処理部１５は、車両Ｃの周辺が暗い状態でブレーキランプＬが点灯した場合、そのブレーキランプＬの反射光が画像データに映り込まれるかを判定し、その判定結果（輝度補正フラグの内容）を輝度補正有無データＫＤとして画像メモリ１４に格納する。そして、画像処理部１５は、図７（ｂ）に示すように、判定結果である輝度補正有無データＫＤに、車速パルスカウンタのパルスカウント値Ｔを添付して、画像メモリ１４に格納する。従って、図７（ａ）に示す画像メモリ１４に格納された各変換データＧ２の各々は、対応する輝度補正有無データＫＤがパルスカウント値Ｔを介して関連づけられている。

画像処理部１５は、変換データＧ２が画像メモリ１４に所定枚数（本実施形態では、２４枚）蓄積された状態で、制御部４から合成命令を入力すると、各変換データＧ２を合成処理し、画像出力部１６を介してディスプレイ３に表示するようになっている。この時、各変換データＧ２は、輝度補正有無データＫＤに基づいて輝度補正処理を行うかどうか判断され、行うと判断された変換データＧ２のみ輝度補正処理を行った後、合成処理がなされ俯瞰画像４６（図１４及び図１５参照）の俯瞰画像データＧ４が生成される。

次に、本実施形態の処理手順について、図５に示すように、車両Ｃが駐車目標領域１００に後退する動作に沿って説明する。
まず、制御部４は、ＲＯＭ６に格納された駐車支援プログラムに従って、図８に示すように、開始トリガの入力を待つ（ステップＳ１）。開始トリガは、本実施形態では、イグニッションモジュールの起動、又はナビゲーション装置１の起動による入力信号である。開始トリガを入力すると、制御部４の制御により、システム起動管理処理（ステップＳ２）、記録用画像データ入力処理（ステップＳ３）、変換データ生成処理（ステップＳ４）を行う。そして、制御部４は、終了トリガの入力があるか否かを判断して（ステップＳ５）、入力が無い場合には、ステップＳ２に戻る。本実施形態では、終了トリガは、イグニッションモジュールのオフ状態、又はナビゲーション装置１のシャットダウンによる入力信号である。
（システム起動管理処理）
次に、システム起動管理処理Ｓ２について図９に従って説明する。まず、制御部４は、車両側Ｉ／Ｆ部１２を介してシフトポジション信号ＳＰＰを入力し、メインメモリ５に格納された変数であるシフトポジションＳＰを更新する（ステップＳ２−１）。続いて、制御部４は、シフトポジションＳＰがリバースであるか否かを判断するとともに、車両Ｃが駐車操作停止状態であるかどうかを判断する（ステップＳ２−２）。ここで、駐車操作停止状態とは、駐車目標領域１００に車両Ｃが駐車した状態、又は駐車目標領域１００に向って車両Ｃが進行する過程で駐車操作をやり直す状態である。具体的には、本実施形態においては、車両Ｃの進行方向が、駐車目標領域１００に向って後退する方向と異なる方向に変更された場合であって、車両ＣのシフトポジションＳＰがリバースからリバース以外になった状態である。

ステップＳ２−２において、制御部４が、シフトポジションＳＰが、ドライブ又はパーキングレンジ等であって、リバースでないと判断した場合（ステップＳ２−２においてＮＯ）、制御部４は、システム起動フラグＦＳがオン状態であるか否かを判断する（ステップＳ２−１６）。ここで、システム起動フラグＦＳは、変換データＧ２を生成するための合成モードの起動を示すフラグであって、初期状態では「待機」を示す「０」（オフ状態）に設定されている。車両Ｃが前進している場合等には、システム起動フラグＦＳがオフ状態であるので（ステップＳ２−１６でＮＯ）、ステップＳ５に戻り、終了トリガの入力の有無を判断する。

一方、例えば、図５に示すように、車両Ｃが駐車目標領域１００に向って後退を開始する初期位置Ａに位置する場合には、シフトポジションＳＰはリバースである（ステップＳ２−２でＹＥＳ）。このため、制御部４の制御により、画像処理部１５は、画像データ入力部１３から、初期位置Ａで撮像した画像データＧを取得し、ディスプレイ３に出力して、バックモニタ画面３３（図４参照）を表示する（ステップＳ２−３）。従って、車両Ｃが停車せずに後退する間は、ディスプレイ３には現在の車両Ｃの周辺状況が反映されたバックモニタ画面３３が表示される。

そして、制御部４は、メインメモリ５に格納されたシステム起動フラグＦＳがオフ状態であるか否かを判断する（ステップＳ２−４）。システム起動フラグＦＳがオフ状態である場合には（ステップＳ２−４でＹＥＳ）、制御部４は合成モードがまだ起動していない
ので、そのシステム起動フラグＦＳを「起動」を示す「１」（オン）に設定する（ステップＳ２−５）。続いて、制御部４は、メインメモリ５に格納された変数である後退移動距離ΔＤＭ及び車速パルスカウンタのパルスカウント値Ｔを「０」にそれぞれ初期化する（ステップＳ２−６）。

この後退移動距離ΔＤＭは、車速パルスＶＰに基づいて算出され、基準位置から車両Ｃが後退した距離を示し、上記した変換データＧ２を生成するタイミングを判断するために用いられる。車速パルスカウンタのパルスカウント値Ｔは、この車両側Ｉ／Ｆ部１２を介して車速センサ２０からの車速パルスＶＰのパルス数であって、車両Ｃの後退移動距離ΔＤＭを示し、生成した変換データＧ２が初期位置Ａを基準にどの位置で撮像された変換データＧ２かを関連づけるために用いられる。

さらに、制御部４の制御により、画像処理部１５は、画像データ入力部１３から、後退を開始した位置、即ち初期位置Ａで撮像した画像データＧを入力する（ステップＳ２−７）。さらに、画像処理部１５は、ステップＳ２−７で入力した画像データＧのうち、上記したように抽出領域４０を抽出して、抽出データＧ１を生成する（ステップＳ２−８）。そして、抽出データＧ１を、上記した仮想視点１０４に視点変換して、変換データＧ２を生成する（ステップＳ２−９）。

また、制御部４は、車両側Ｉ／Ｆ部１２を介して、初期位置Ａで方位検出信号ＧＲＰを入力し、メインメモリ５に格納された現在方位ＧＲを更新する。そして、初期位置Ａを示す撮像位置データ１７と、現在方位ＧＲに基づく方位データ１８と、その時の車速パルスカウンタのパルスカウント値Ｔ（＝０）とを、ステップＳ２−９で生成した変換データＧ２に添付して、画像メモリ１４に格納する（ステップＳ２−１０）。

続いて、制御部４は、車両側Ｉ／Ｆ部１２を介して、点滅検出信号ＬＰＳ及び照度センサ２５から照度検出信号ＬＸＳを入力し、前記ステップＳ２−７で画像データ入力部１３が初期位置Ａで撮像した画像データＧを入力した時の車両Ｃの周囲の外光状態を判定する。まず、制御部４は、照度検出信号ＬＸＳに基づいて、撮像した画像データＧを入力した時、車両Ｃの周辺が暗いかどうか判定する（Ｓ２−１１）。

ここで、車両Ｃの周辺が暗いかどうかの判定は、以下の理由で行っている。カメラ２６が撮像した画像データＧは、ブレーキランプＬが点灯している時、そのブレーキランプＬの光は路面に照射され反射する。その反射光は、周辺が明るい場合と暗い場合では、カメラ２６が撮像した画像データＧに与える影響が異なる。つまり、周辺が明るい場合には反射光は目立たないことから、カメラ２６が撮像した画像データＧにはその反射光の影響を受けない画像の画像データとなる。反対に、周辺が暗い場合には反射光が目立つことになるから、カメラ２６が撮像した画像データＧにはその反射光の影響を大きく受けて赤みを帯びた反射光が映った画像の画像データとなる。

そのため、本実施形態では、ブレーキランプＬの反射光が、撮像した画像データＧに影響を与える暗さかどうかを判断する。そして、本実施形態では、暗いかどうかの判断基準値は、照度センサ２５を用いて反射光が映り込まれる暗さ（照度）を予め実験等で求め、その求めた値（基準照度）が使われる。そして、制御部４は、基準照度とその時の照度検出信号ＬＸＳに基づく実際の照度とを比較することによって、反射光が映る暗さかどうか判定している。

そして、車両Ｃの周辺が暗くないと判定すると（Ｓ２−１１でＮＯ）、制御部４は、メインメモリ５に割り当てられた輝度補正フラグを「０」（オフ状態）にする（ステップＳ２−１３）。つまり、制御部４は、画像データＧに反射光が映り込まれていないと判定す
る。

反対に、車両Ｃの周辺が暗いと判定すると（Ｓ２−１１でＹＥＳ）、制御部４は、点滅検出信号ＬＰＳに基づいて、撮像した画像データＧを入力した時、ブレーキランプＬが点灯していたかどうか判定する（Ｓ２−１２）。ブレーキランプＬが点灯していないと判定すると（Ｓ２−１２でＮＯ）、制御部４はステップＳ２−１３に移り、制御部４は輝度補正フラグを「０」（オフ状態）にする。一方、ブレーキランプＬが点灯していると判定すると（Ｓ２−１２でＹＥＳ）、制御部４は、制御部４は輝度補正フラグを「１」（オン状態）にする（ステップＳ２−１４）。つまり、制御部４は、画像データＧに反射光が映り込まれていると判定する。

制御部４は、ステップ２−１３又はステップＳ２−１４において、輝度補正フラグを「０」又は「１」にすると、その時の輝度補正フラグの内容を輝度補正有無データＫＤとし、その輝度補正有無データＫＤに、その時の車速パルスカウンタのパルスカウント値Ｔ（＝０）を添付して画像メモリ１４に格納する（ステップＳ２−１５）。つまり、前記ステップＳ２−１０で画像メモリ１４に格納した変換データＧ２と輝度補正有無データＫＤとがカウント値Ｔ（＝０）によって関連づけられるようにしている。

初期位置Ａでの変換データＧ２と輝度補正有無データＫＤとが格納されると、制御部４はステップＳ２−１に戻る。そして、ステップＳ２−４において、システム起動フラグＦＳが先のステップＳ２−５でオン状態にされているので（ステップＳ２−４でＮＯ）、記録用画像データ入力処理（ステップＳ３）に進む。
（記録用データ入力処理）
次に、記録用データ入力処理について図１０に従って説明する。制御部４は、車両側Ｉ／Ｆ部１２を介して入力した車速パルスＶＰに基づき、基準位置からの移動量Δｄを演算する（ステップＳ３−１）。ここで、基準位置とは、前回のステップＳ３−１で移動量Δｄを演算した時点の車両Ｃの位置である。

移動量Δｄを演算すると、制御部４は、上記した後退移動距離ΔＤＭに、ステップＳ３−１で演算した移動量Δｄを加算する（ステップＳ３−２）。さらに、制御部４は、更新した後退移動距離ΔＤＭが、画像記録距離Ｄ１（２００ｍｍ）以上であるか否かを判断する（ステップＳ３−３）。後退移動距離ΔＤＭが画像記録距離Ｄ１に到達していない場合（ステップＳ３−３でＮＯ）、ステップ２−１に戻り、上記の処理を繰り返す。つまり、制御部４は、ステップＳ２−１〜ステップＳ２−４、ステップＳ３−１〜ステップＳ３−３の処理を繰り返す。

やがて、図１３（ａ）に示すように、車両Ｃが初期位置Ａから、画像記録距離Ｄ１だけ後退した位置Ｂに到達している場合、後退移動距離ΔＤＭは、画像記録距離Ｄ１になっているので（ステップＳ３−３でＹＥＳ）、制御部４の制御により、画像処理部１５は、位置Ｂで撮像した画像データＧを入力する（ステップＳ３−４）。初期位置Ａ以外の撮像位置で撮像された、記録用の画像データＧを入力すると、画像処理部１５は、変換データ生成処理（ステップＳ４）に進む。
（変換データ生成処理）
次に、変換データ生成処理について図１１に従って説明する。画像処理部１５は、制御部４の制御により、位置Ｂで撮像した画像データＧのうち、図１３（ｂ）及び（ｄ）に示すように、抽出領域４０を抽出して、抽出データＧ１を生成する（ステップＳ４−１）。そして、図１３（ｃ）に示すように、抽出データＧ１を、抽出領域４０に相当する路面１０２上の領域１０５の鉛直方向上方に設定された仮想視点１０６に視点変換する。これにより、抽出データＧ１の中央部を用いて、図１３（ｅ）に示す画像４１のような変換データＧ２を生成する（ステップＳ４−２）。

さらに、画像処理部１５は、制御部４から、その変換データＧ２を撮像した位置（ここでは位置Ｂ）の自車位置と、現在方位ＧＲと、その時の車速パルスカウンタのパルスカウント値Ｔとを入力する（ステップＳ４−３）。そして、入力した自車位置、現在方位ＧＲ及びパルスカウント値Ｔを、それぞれ撮像位置データ１７、方位データ１８及びパルスカウント値Ｔとし、変換データＧ２に添付して、変換データＧ２を画像メモリ１４に格納する（ステップＳ４−４）。

続いて、制御部４は、点滅検出信号ＬＰＳ及び照度検出信号ＬＸＳを入力し、前記ステップＳ３−４で画像データ入力部１３が位置Ｂで撮像した画像データＧを入力した時の車両Ｃの周辺の外光状態を前記と同様に判断する。

まず、制御部４は、照度検出信号ＬＸＳに基づいて、撮像した画像データＧを入力した時、車両Ｃの周辺が暗いかどうか判定する（Ｓ４−５）。そして、車両Ｃの周辺が暗くないと判定すると（Ｓ４−５でＮＯ）、制御部４は、メインメモリ５に割り当てられた輝度補正フラグを「０」（オフ状態）にする（ステップＳ４−７）。

反対に、車両Ｃの周辺が暗いと判定すると（Ｓ４−５でＹＥＳ）、制御部４は、点滅検出信号ＬＰＳに基づいて、撮像した画像データＧを入力した時、ブレーキランプＬが点灯していたかどうか判定する（Ｓ４−６）。ブレーキランプＬが点灯していないと判定すると（Ｓ４−６でＮＯ）、制御部４はステップＳ４−７に移り、制御部４は輝度補正フラグを「０」（オフ状態）にする。一方、ブレーキランプＬが点灯していると判定すると（Ｓ４−６でＹＥＳ）、制御部４は、制御部４は輝度補正フラグを「１」（オン状態）にする（ステップＳ４−８）。

制御部４は、ステップ４−７又はステップＳ４−８において、輝度補正フラグを「０」又は「１」にすると、その時の輝度補正フラグの内容（輝度補正有無データＫＤ）に、その時の車速パルスカウンタのパルスカウント値Ｔを添付して画像メモリ１４に格納する（ステップＳ４−９）。つまり、前記と同様に、前記ステップＳ４−４で画像メモリ１４に格納した変換データＧ２と輝度補正有無データＫＤとがカウント値Ｔによって関連づけられる。

位置Ｂでの変換データＧ２と輝度補正有無データＫＤとが格納されると、制御部４は画像メモリ１４内に、変換データＧ２が所定枚数（本実施形態では２４枚）以上格納されたか否か判断する（ステップＳ４−１０）。

位置Ｂでの変換データＧ２を生成した際には、初期位置Ａ及び位置Ｂで生成された２枚の変換データＧ２が蓄積されているため、所定数の変換データＧ２が蓄積されていないと判断して（ステップＳ４−１０でＮＯ）、ステップＳ４−１２に移る。

ステップＳ４−１２では、制御部４は、後退移動距離ΔＤＭを「０」に初期化する。後退移動距離ΔＤＭを初期化すると、終了トリガの有無を判断し（ステップＳ５）、終了トリガが無いと判断すると（ステップＳ５でＮＯ）、ステップＳ２−１に戻る。

そして、車両Ｃが初期位置Ａから駐車目標領域１００に向って後退する過程で、画像記録距離Ｄ１ごとに、変換データＧ２が画像メモリ１４に蓄積されていく。車両Ｃが初期位置Ａからさらに後退し、その蓄積されたデータ数が、所定数（２４枚）になると、制御部４は、ステップＳ４−１０において、所定数の変換データＧ２が蓄積されたと判断して、表示可能フラグをオン状態（「１」）にする（ステップＳ４−１１）。この表示可能フラグは、所定数の変換データＧ２が蓄積されているか否かを示すフラグである。

そして、図５に示すように、車両Ｃが初期位置Ａから駐車目標領域１００に向って後退し、図５中終端位置Ｅに到達したり、後退する途中で駐車をやり直す場合、運転者は、シフトポジションをリバースレンジから、ドライブレンジ又はパーキングレンジに切替える。このとき、ステップＳ２−２において、制御部４は、シフトポジションＳＰがリバースから他のシフトポジションに切り替わったと判断する（ステップＳ２−２においてＮＯ）。

続いて、制御部４は、上記したように、システム起動フラグＦＳがオン状態であるか否かを判断する（ステップＳ２−１６）。終端位置Ｅに到達したり、後退する途中でシフトポジションを切替えた直後は、システム起動フラグＦＳはオン状態であると判断されるため（ステップＳ２−１６でＹＥＳ）、ステップＳ２−１７に進む。

ステップＳ２−１７では、制御部４は、表示可能フラグがオン状態であるか否かを判断する。初期位置Ａから後退した終端位置Ｅでは、所定数（２４枚）の変換データＧ２が蓄積されているので、制御部４は、表示可能フラグがオン状態であると判断し（ステップＳ２−１７でＹＥＳ）、俯瞰画像表示処理を行う（ステップＳ２−１８）。

この俯瞰画像表示処理について、図１２に従って説明する。制御部４は、車両側Ｉ／Ｆ部１２を介して方位検出信号ＧＲＰを入力し、現在方位ＧＲを更新する（ステップＳ２−１８−１）。また、画像処理部１５は、画像データ入力部１３を制御して、車両Ｃの現在位置で撮像された画像データＧ（以下、現在画像データＧＰという）を入力する（ステップＳ２−１８−２）。

さらに、画像処理部１５は、取得した現在画像データＧＰのうち、現在位置に応じた領域を抽出して、抽出した領域に応じた仮想視点に視点変換して、変換データＧ２を生成する（ステップＳ２−１８−３）。この視点変換の際の仮想視点は、抽出したデータに相当する路面１０２上の領域の鉛直方向上方の位置に設定する。

続いて、制御部４は、点滅検出信号ＬＰＳ及び照度検出信号ＬＸＳを入力し、撮像した現在画像データＧＰを入力した時の車両Ｃの周辺の状況を前記と同様に判定する（ステップＳ２−１８−４〜ステップＳ２−１８−７）。

次に、画像処理部１５は、制御部４の制御により、輝度補正フラグの内容（輝度補正有無データＫＤ）に基づいて現在画像データＧＰの変換データＧ２及び画像メモリ１４に蓄積した各変換データＧ２について輝度補正処理を行う（ステップＳ２−１８−８）。

画像処理部１５による輝度補正処理は、以下のように行う。まず、変換データＧ２において、パルスカウント値Ｔにて関連づけられた輝度補正フラグの内容（輝度補正有無データＫＤ）が「０」（オフ状態）のときには、その変換データＧ２の輝度補正は行わない。これは、変換データＧ２がブレーキランプＬの反射光が映り込まれていない画像データＧから生成されたとして、輝度補正をしない。

一方、変換データＧ２において、パルスカウント値Ｔにて関連づけられた輝度補正フラグの内容（輝度補正有無データＫＤ）が「１」（オン状態）のときには、ＲＯＭ６に予め格納された輝度補正テーブル６ｂの輝度補正データを使って変換データＧ２の輝度補正を行う。これは、変換データＧ２がブレーキランプＬの赤色の反射光が映り込まれた画像データＧから生成されていて、その赤色の反射光を除き、反射光が映り込まれていない前後の変換データＧ２と整合をとるためである。つまり、反射光の映っていない俯瞰画像４６を生成するためのものである。

本実施形態では、変換データＧ２中の各画素の画素データを構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の各画素の輝度データ（Ｒ値、Ｇ値、Ｂ値からなるＲＧＢ輝度データ）のうち、所定領域の画素の画素データについてそのＲ値を下げる処理を行う。所定領域の各画素は、本実施形態では以下のように求めている。まず、予め実験等で、ブレーキランプＬの反射光の強度分布を求める。その強度分布から、ブレーキランプＬを点灯した場合と、点灯しない場合とのＲ値に関する輝度差を求め、その輝度差からブレーキランプＬの反射光の影響を受ける領域を決定するとともに、その領域の画素に対するＲ値を下げる値も予め求めて輝度補正データとする。そして、その各画素の輝度補正データを輝度補正テーブル６ｂにしてＲＯＭ６に予め記憶されている。

従って、各変換データＧ２は、ＲＯＭ６に記憶された輝度補正テーブル６ｂを用いて、輝度補正がされ、その反射光が除かれた変換データＧ２に補正され画像メモリ１４に格納される。その結果、この時点で、変換データＧ２の全てが、ブレーキランプＬの反射光が映り込まれていない輝度補正された変換データＧ２となる。

続いて、画像処理部１５は、更新した現在方位ＧＲに基づき、各変換データＧ２を回転変換し、回転変換データＧ３を生成する（ステップＳ２−１８−９）。
詳述すると、画像処理部１５は、画像メモリ１４に蓄積された変換データＧ２のうち、車両Ｃの現在位置に近い２４枚、車両Ｃの現在位置から所定距離範囲内の位置で撮像された変換データＧ２を読出す。そして、それらの変換データＧ２に添付された方位データ１８と、現在方位ＧＲとの相対角度を算出し、その相対角度に基づいた回転変換テーブルをＲＯＭ６からそれぞれ読出す。尚、ＲＯＭ６には、各相対角度ごとに回転変換テーブルがそれぞれ格納され、各回転変換テーブルは、アフィン変換等、公知の座標変換を短時間で処理するために格納されたテーブルである。

そして、変換データＧ２の各座標の画素値を、各回転変換テーブルで紐付けられた変換先の座標にマッピングする。これにより、各撮像位置でのカメラ２６の向きで撮像された変換データＧ２は、現在の車両Ｃのカメラ２６の視野で見たような画像データに回転変換される。その結果、初期位置Ａ及び位置Ｂで撮像された変換データＧ２は、図１４に示す回転変換画像４２のような、回転変換データＧ３となる。

さらに、画像処理部１５は、現在画像データＧＰに基づく変換データＧ２と回転変換データＧ３とを、所定の順番で連続させて、俯瞰画像データＧ４を生成する（ステップＳ２−１８−１０）。本実施形態では、車両Ｃの進行方向に相当する方向（ｘ軸方向）に並べて合成する。具体的には、現在画像データＧＰを、ディスプレイ３の表示領域３ｚのうち最も下側になるように配置する。そして、現在画像データＧＰの上側に、各回転変換データＧ３を順番に並べる。このとき、回転変換データＧ３のうち、車両Ｃの現在位置から遠い位置（比較的過去の時点）で撮像された回転変換データＧ３が、表示領域３ｚの上側になるように並べる。換言すると、車両Ｃの前方にあたる領域が、表示領域３ｚの上方になるようになっている。その結果、図１４に示すような俯瞰画像４６を表示する俯瞰画像データＧ４が生成される。

この俯瞰画像データＧ４は、２００ｍｍごとに撮像及び変換された２４枚の回転変換データＧ３と、現在画像データＧＰとから構成され、車両全体の領域に相当する路面１０２の画像データとなっている。しかも、２４枚の回転変換データＧ３及び現在画像データＧＰの変換データＧ２は輝度補正されたものであるため、俯瞰画像データＧ４は、ブレーキランプＬの反射光が映り込まれていないものになっている。

次に、画像処理部１５は、俯瞰画像データＧ４をディスプレイ３に出力する（ステップ
Ｓ２−１８−１１）。このとき、画像処理部１５は、制御部４から入力した自車位置データに基づき、俯瞰画像データＧ４の上に、車両輪郭線３０を描画する。その結果、図１５に示すように、駐車確認画面４５がディスプレイ３に表示される。このとき、運転中の不定期なブレーキ操作で発光されるブレーキランプＬの反射光が映り込まれていない高品質な駐車確認画面４５がディスプレイ３に表示される。

また、俯瞰画像４６には、自車位置を示す車両輪郭線３０が重畳されている。これにより、運転者は、車両Ｃの駐車位置を確認できる。運転者は、この車両輪郭線３０と、俯瞰画像４６に表示された駐車目標領域１００の画像とのずれを確認して、車両Ｃが駐車目標領域１００からはみ出していないか、さらには車体が駐車目標領域１００内で真っ直ぐに駐車されているか否かを判断できる。

尚、例えば、運転者が、駐車操作を完了する前に、後退途中で駐車をやり直す場合（ステップＳ２−２でＮＯ）にも、制御部４は、ステップＳ２−１６及びステップＳ２−１７を介して俯瞰画像表示処理が実行される。そして、例えば図１６に示すような駐車確認画面４５が表示される。従って、駐車確認画面４５にて、駐車目標領域１００に対する自車位置を把握することにより、前進すべき距離、舵角の取り方等の目安を付けることができる。このとき、図１６の駐車確認画面４５に表示された操作部４５ａの入力操作等により、予想軌跡線３７等を表示するようにしてもよい。

画像処理部１５は、このような駐車確認画面４５を所定時間（例えば、１０秒）又は操作スイッチ７が操作されるまで、継続して表示する。そして、俯瞰画像表示処理を終了すると、ステップＳ２−１９に戻り、駐車確認画面４５を消去して、地図画面３ａ等の他の画面に切替える。さらに、制御部４は、各変数データを初期値にリセットし（ステップＳ２−２０）、システム起動フラグＦＳをオフ状態にする（ステップＳ２−２１）。そして、制御部４はステップＳ２−１に戻る。

そして、シフトポジションＳＰがリバースレンジでなく（ステップＳ２−２でＮＯ）、システム起動フラグＳＦがオフ状態と判断すると（ステップＳ２―１６でＮＯ）、制御部４は、上記したように、イグニッションモジュールのオフ等の終了トリガを入力したか否かを判断する（Ｓ５）。例えば、駐車確認画面４５で駐車位置を確認して、駐車をやり直す場合（Ｓ５でＮＯ）、終了トリガを入力しないので、ステップＳ２−１に戻り、上記した処理を繰り返す。反対に、駐車を完了し、終了トリガを入力した場合（Ｓ５でＹＥＳ）、そのまま処理を終了する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、車両Ｃに設けられたカメラ２６から画像データＧを取得し、その画像データＧから抽出データＧ１を生成する。そして、その抽出データＧ１を視点変換処理した変換データＧ２を生成し、その変換データＧ２を撮像位置データ１７及び方位データ１８を添付して画像メモリ１４に格納した。そして、制御部４は、車両ＣのシフトポジションＳＰがリバースでないと判断した際に、画像処理部１５を制御して、各変換データＧ２及び現在画像データＧＰを用いて俯瞰画像データＧ４を生成し、俯瞰画像データＧ４及び車両Ｃの現在位置を示す車両輪郭線３０を出力して駐車確認画面４５をディスプレイ３に表示するようにした。

従って、駐車操作をやり直す場合等に、的確なタイミングで、車体と駐車目標領域１００とのずれ量等を把握可能な画面を表示できる。また、駐車が完了したときに、車体と駐車目標領域１００とのずれが大きいか否か、車体が駐車目標領域１００内に真っ直ぐに駐車されているか等の最終確認を行うことができる画面を表示できる。

（２）上記実施形態では、運転中の不定期なブレーキ操作で発光されるブレーキランプＬの反射光が映り込まれた画像データＧが混在していても、反射光が映り込まれた変換データＧ２について、画像処理部１５は、輝度補正テーブル６ｂを用いてその映り込まれた反射光を除く輝度補正をした。従って、反射光が映り込まれていない俯瞰画像データＧ４を生成することができ、連続性のある高品質な俯瞰画像をディスプレイ３に表示することができる。しかも、輝度補正テーブル６ｂを用いて輝度補正をしたので、画像処理部１５による輝度補正処理の負荷を軽減することができる。

（３）上記実施形態では、周辺が暗い状態であってブレーキランプＬが点灯した時の画像データＧの変換データＧ２についてのみ輝度補正するようにしたので、画像処理部１５による輝度補正処理の負荷を軽減することができる。

（４）上記実施形態では、ブレーキランプＬの反射光が映り込まれたかどうかの判断を、即ち反射光の有無を、各種ランプ駆動装置２４の点滅検出信号ＬＰＳに基づいて判断するため、ブレーキランプＬの反射光を直接検出するための特別な検出装置を設ける必要がない。
（第２実施形態）
つぎに、本発明の第２実施形態を図１７〜図２６に従って説明する。本実施形態は、輝度補正の方法に特徴を有し、その特徴部分のみが前記第１実施形態と相違する。従って、説明の便宜上、本実施形態では、その特徴部分について詳細に説明し、その他の第１実施形態と共通する部分はその説明は省略する。

本実施形態では、１日の日照の変化、光が反射する路面に種類を考慮した輝度補正を行うとともに、光源としてのランプを複数考慮に入れて輝度補正を行っている。また、輝度補正するにあって、予め複数の補正のためのテンプレートを用意し、外光条件によって複数のテンプレートの中から所望のテンプレートを選択し、その選択したテンプレートで輝度補正をするようにしている。

従って、本実施形態では、制御部４は、何月何日何時何分を計時できるカレンダ機能を有したタイマを内蔵している。また、本実施形態のテンプレート記憶手段としてのＲＯＭ６には、図１７に示すように、色合い補正テーブル６ｃ、日照補正テーブル６ｄを備えている。また、路面を検出する路面検出センサ２７が設けられ、その路面検出センサ２７は車両Ｃに設けられ、その路面検出信号ＲＳを車両側Ｉ／Ｆ部１２を介して制御部４に出力するようになっている。制御部４は、路面検出信号ＲＳに基づいて、移動中の路面がコンクリート路面、アスファルト路面、又はレンガ路面かどうかを検出するようになっている。

図１８、図１９、及び図２０は、色合い補正テーブル６ｃのデータ構造を説明するための模式図である。色合い補正テーブル６ｃは、メインテーブル６１、サブテーブル６２及び色補正用テンプレート６３とから構成されている。

メインテーブル６１は、図１８に示すように、ブレーキランプ、ウィンカー、車幅灯、プレート照明、リアフォグランプ、バックランプの各ランプに対して、コンクリート路面、アスファルト路面、レンガ路面についてのサブテーブル６２のアドレスとから構成されている。

サブテーブル６２は、図１９に示すように、路面の数（３種類）にランプの種類（６種類）を掛けた数（本実施形態では１８個（＝３×６））だけ有し、それぞれ各照度ＬＸに対する色補正用テンプレート６３のアドレスから構成されている。

色補正用テンプレート６３は、１つのサブテーブル６２に対して、１０種類のテンプレートが用意されている。つまり、１つのサブテーブル６２において、車両周辺の照度の最小最大を０〜１００に正規化しその０〜１００を１０段階に区分し、その区分した範囲での車両周辺の照度に対して１つの色補正用テンプレート６３が用意され、各照度に対するその色補正用テンプレート６３のアドレスが割り当てられている。従って、全てのサブテーブル６２をカバーするために、本実施形態では、図２０に示すように、１８０種類の色補正用テンプレート６３が用意されている。

つまり、移動中の路面がコンクリート路面であってブレーキランプＬが点灯しているとき、メインテーブル６１を用いて、コンクリート路面に対するブレーキランプのサブテーブル６２のアドレスが読み出される。続いて、その読み出したサブテーブル６２のアドレスから、対応するサブテーブル６２が読み出され、その選択されたサブテーブル６２を用いて、その時の照度ＬＸが属する照度範囲の色補正用テンプレート６３のアドレスが読み出される。そして、最後に読み出された色補正用テンプレート６３のアドレスに基づいて対応する色補正用テンプレート６３が読み出されるようになっている。

１８０種類の色補正用テンプレート６３は、その時々の外光条件（前記各ランプの点灯）に基づいて選択され、変換データＧ２をランプ点灯による反射光を除去する色補正（輝度補正）するためのテンプレートであって、予め実験で求められたものである。

ここで、色補正用テンプレート６３の生成方法について説明する。また説明の便宜上、車両周辺を予め設定した所定の照度であって、移動中の路面がコンクリート路面であってブレーキランプＬが点灯しているとき、色補正用テンプレート６３について図２１に従って説明する。

実験室内に敷設したコンクリート路面に車両Ｃを配置する。そして、ブレーキランプＬを点灯状態と消灯状態との２つの状態を、車両Ｃに設けたカメラ２６で画像を撮像し、図２１（ａ）に示すように、この２つの画像データＧＡ，ＧＢを取得する。この一対の画像データＧＡ，ＧＢを車両Ｃの周辺照度を実験室内の設置した照明灯にて変更（１０段階に変更）して１０種類生成する。

そして、図２１（ａ）に示すように、一対の画像データＧＡ，ＧＢから、それぞれ抽出データＧＡ１，ＧＢ１を第１実施形態と同様の方法で生成する。図２１（ｂ）に示すように、生成した一対の抽出データＧＡ１，ＧＢ１をそれぞれ視点変換して変換データＧＡ２，ＧＢ２を生成する。次に、図２１（ｃ）に示すように、一対の変換データＧＡ２，ＧＢ２について、それら全画素について対応する画素同士の画素データ（Ｒ、Ｇ、Ｂ値）をそれぞれ減算する。詳述すると、点灯状態の変換データＧＡ２の画素データ（Ｒ、Ｇ、Ｂ値）から消灯状態の変換データＧＢ２の画素データ（Ｒ、Ｇ、Ｂ値）を減算し、その全画素の減算値（補正値）からなる色補正用データを色補正用テンプレート６３として生成する。

つまり、点灯状態の変換データＧＡ２（Ｇ２）の全画素の画素データの各々を、色補正用テンプレート６３の対応する画素の補正値でそれぞれ減算することによって、点灯状態の変換データＧＡ２（Ｇ２）は、消灯状態の変換データＧＢ２（Ｇ２）に輝度補正される。

そして、上記と同様な方法で、コンクリート路面に対するウィンカー、車幅灯、リアフォグランプ、バックランプのための色補正用テンプレート６３を生成する。また、アスファルト路面に対するブレーキランプＬ、ウィンカー、車幅灯、リアフォグランプ、バックランプのための色補正用テンプレート６３も同様に生成する。さらに、レンガ路面に対す
るブレーキランプＬ、ウィンカー、車幅灯、リアフォグランプ、バックランプのための色補正用テンプレート６３も同様に生成する。

図２２〜図２４は、日照補正テーブル６ｄのデータ構造を説明するための模式図である。日照補正テーブル６ｄは、メインテーブル７１、サブテーブル７２及び日照補正用テンプレート７３とから構成されている。

メインテーブル７１は、図２２に示すように、１年の各月（１２月）に対する、１日（０時から２４時間）を１時間毎に区分し、その区分した各時間毎のサブテーブル６２のアドレスとから構成されている。

サブテーブル７２は、図２３に示すように、１年の各月（１２月）に一日を区分した数（２４個）を掛けた数（本実施形態では２８８個（＝１２×２４））だけ有し、それぞれ各照度ＬＸに対する日照補正用テンプレート７３のアドレスから構成されている。

日照補正用テンプレート７３は、１つのサブテーブル７２に対して、１０種類のテンプレートが用意されている。つまり、前記と同様に、１つのサブテーブル７２において、車両周辺の照度の最小最大を０〜１００に正規化しその正規化した０〜１００を１０段階に区分し、その区分した範囲での周辺照度に対して１つの日照補正用テンプレート７３が用意され、各照度ＬＸに対するその日照補正用テンプレート７３のアドレスが割り当てられている。従って、全てのサブテーブル７２をカバーするために、本実施形態では、図２４に示すように、２８８０（＝２８８×１０）種類の日照補正用テンプレート７３が用意されている。

つまり、例えば、今、９月１日の午後１７時３０分のとき、メインテーブル７１を用いて、９月の１７時〜１８時のサブテーブル７２のアドレスが読み出される。続いて、その読み出したサブテーブル７２のアドレスから、対応するサブテーブル７２が読み出され、その選択されたサブテーブル７２を用いて、その時の照度ＬＸが属する照度範囲の日照補正用テンプレート７３のアドレスが読み出される。そして、最後に読み出された日照補正用テンプレート７３のアドレスに基づいて対応する日照補正用テンプレート７３が読み出されるようになっている。

２８８０種類の日照補正用テンプレート７３は、月毎にその時々の外光条件（日照の有無及び日照の向き等）に基づいて選択され、変換データＧ２から、日照の有無及び日照の向きによって映り込まれる陰影を除去する日照補正（輝度補正）するためのテンプレートであって、予め実験で求められたものである。

ここで、日照補正用テンプレート７３の生成方法について説明する。なお、説明の便宜上、９月の１５時〜１６時の間の、日照補正用テンプレート７３について図２１に従って説明する。

実験室内において、９月の１５時〜１６時の間の各種の外光条件を作る。このとき、車両Ｃの前方は南を向いているものとするとともに、９月の１５時〜１６時の太陽の位置を予め暦等で設定し太陽光の向き（車両Ｃにそそがれる光の向き）を設定する。この条件下で、晴天、薄曇り、曇天、雨、明るい室内駐車場、薄暗い室内駐車場等のさらに細かい各種条件を実験室内の照明を使って作る。なお、晴天、薄曇り、曇天、雨、明るい室内駐車場、薄暗い室内駐車場等は、それぞれ車両周辺の照度で判別することができ、各条件を作ったときその時の車両周辺の照度を前記照度センサ２５にて検出しておく。

そして、各種条件のもとで、カメラ２６で画像を撮像し、図２５（ａ）に示すように、
画像データＧＣを取得する。
そして、図２５（ａ）に示すように、画像データＧＣから、それぞれ抽出データＧＣ１を第１実施形態と同様の方法で生成する。図２５（ｂ）に示すように、生成した抽出データＧＣ１をそれぞれ視点変換して変換データＧＣ２を生成する。次に、その時の外光条件での、変換データＧＣ２について、陰影分布をそれら全画素の画素データ（Ｒ、Ｇ、Ｂ値）から求める。その外光条件での変換データＧＣ２の画像が陰影のない一様な画像となるための補正データを作成する。

本実施形態では、変換データＧＣ２の全画素の画素データ（Ｒ、Ｇ、Ｂ値）の平均値を求める。そして、図２５（Ｃ）に示すように、変換データＧＡ２の各画素データ（Ｒ、Ｇ、Ｂ値）を平均値で減算し、その全画素の減算値（補正値）からなる補正用データを日照補正用テンプレート７３として生成する。

つまり、ある日照条件の変換データＧＣ２（Ｇ２）の全画素の画素データの各々を、日照補正用テンプレート７３の対応する画素の補正値でそれぞれ減算することによって、ある日照条件の変換データＧＣ２（Ｇ２）は、日照条件によって生成されてしまうことがある陰影がない変換データＧＣ２（Ｇ２）に輝度補正される。

そして、上記と同様な方法で、各月の各時間帯ごとに、上記と同様な方法で日照補正用テンプレート７３を生成する。
次に、この色合い補正テーブル６ｃ及び日照補正テーブル６ｄを用いて、制御部４がＲＯＭ６に格納された駐車支援プログラムに従って行う処理動作を図２６に従って説明する。

本実施形態では、前記第１実施形態の、図９で示すシステム起動処理におけるステップＳ２−１１〜ステップＳ２−１５、図１１で示す変換データ生成処理におけるステップＳ４−５〜ステップＳ４−９、及ぶ図１２で示す俯瞰画像処理におけるステップＳ２−１８−４〜ステップＳ２−１８−８での処理動作が相違する。従って、説明の便宜上、異なる部分について説明する。

図２６において、まず、ステップＳ２−１０（ステップＳ４−４又はステップＳ２−１８−３）において変換データＧ２が格納または生成されると、制御部４は、内蔵したタイマから、現在の月・日及び時・分を割出す（ステップＳ５−１）。続いて、制御部４は、照度センサ２５からの照度検出信号ＬＸＳに基づいてその時の車両周辺の照度を算出する（ステップＳ５−２）。

次に、制御部４は、ランプ駆動装置２４からの検出信号にＬＰＳに基づいて各種ランプの有無を割り出す（ステップＳ５−３）。さらに、制御部４は、路面検出センサ２７からの路面検出信号ＲＳに基づいて路面の種類を割り出す（ステップＳ５−４）。

次に、制御部４は、色合い補正テーブル６ｃから色補正用テンプレート６３を読み出す（ステップＳ５−５）。制御部４による色補正用テンプレート６３の読み出しは、まずメインテーブル６１から割り出した路面に対する点灯しているランプのサブテーブル６２を選択する。サブテーブル６２が選択されると、制御部４は、そのサブテーブル６２に基づいて算出した照度に対する色補正用テンプレート６３のアドレスを求め、そのアドレスから所定の色補正用テンプレート６３を特定し読み出す。尚、ブレーキランプＬとウィンカーが点灯している場合に、その２つのランプに対するサブテーブル６２がそれぞれ選択され、それらサブテーブル６２からそれぞれ１つの色補正用テンプレート６３が特定され読み出される。尚、各種ランプが全て点灯しない時には、制御部４は、メインテーブル６１からサブテーブル６２を選択しないので、１つも色補正用テンプレート６３が読み出され
ず、次のステップに移る。

色補正用テンプレートが読み出されると、制御部４は、日照補正テーブル６ｄから日照補正用テンプレート７３を読み出す（ステップＳ５−６）。制御部４による日照補正用テンプレート７３の読み出しは、まずメインテーブル７１から割り出した月に対するその時に割り出した時・分（時間帯）のサブテーブル７２を選択する。サブテーブル７２が選択されると、制御部４は、そのサブテーブル７２に基づいて算出した照度に対する日照補正用テンプレート７３のアドレスを求め、そのアドレスから所定の日照補正用テンプレート７３を特定し読み出す。

色補正用テンプレート６３と日照補正用テンプレート７３が読み出されると、制御部４は、まず、画像処理部１５を制御して、変換データＧ２に対して色補正用テンプレート６３を用いて輝度補正処理を行う（ステップＳ５−７）。従って、この時点で、変換データＧ２は、点灯したランプの反射光が除かれた変換データに補正される。ここで、ステップＳ５−５で１つも色補正用テンプレート６３が読み出されていなかった場合には、画像処理部１５は、次のステップに移る。

続いて、制御部４は、画像処理部１５を制御して、色補正用テンプレート６３で輝度補正処理された変換データＧ２に対して日照補正用テンプレート７３を用いて輝度補正処理を行う（ステップＳ５−８）。従って、この時点で、色補正用テンプレート６３を用いて輝度補正された変換データＧ２は、日照条件によって生成される陰影が除かれた変換データに補正される。つまり、ランプの反射光及び日照条件によって生成される陰影が除かれた変換データＧ２が生成される。

次に、画像処理部１５は、色補正用テンプレート６３及び日照補正用テンプレート７３を用いて輝度補正された変換データＧ２を、その時の撮像位置データ１７と方位データ１８を添付して画像メモリ１４に格納する（ステップＳ５−９）。

ステップＳ５−９の処理が完了すると、システム起動処理のおいては、ステップＳ２−１に、変換データ生成処理ではステップ４−１０に、俯瞰画像表示処理ではステップＳ２−１８−９にそれぞれ移るようになっている。

そして、ランプの反射光及び日照条件によって生成される陰影が除かれた変換データＧ２を用いて生成された俯瞰画像データＧ４による俯瞰画像４６は、反射光や陰影が無い高品質な俯瞰画像が生成される。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、その時々の日照条件によって映り込まれる陰影を除くことができ、日照条件に関係なく陰影の無い高品質な俯瞰画像を生成することができる。しかも、あわせて、ランプの点灯によって映り込まれる反射光を除くように補正処理したので、ランプの反射光の無いより高品質な俯瞰画像を生成することができる。

（２）上記実施形態では、予め用意した色補正用テンプレート６３を用いて変換データＧ２を輝度補正をしたので、ランプの反射光を除く画像処理が容易で短時間で済み、画像処理動作の負荷を軽減することができる。

（３）上記実施形態では、予め用意した色補正用テンプレート６３は、ブレーキランプＬ、ウィンカー、車幅灯、プレート照明、リアフォアランプ、バックランプに対するテンプレートをそれぞれ用意した。従って、異なるランプが発した光が路面に反射しその反射光の映り込まれている位置や色合い及びその強さがそれぞれ相違しても、色補正用テンプ
レート６３にて確実に補正することができる。

しかも、各色補正用テンプレート６３は、コンクリート、アスファルト、レンガに対するテンプレートをそれぞれ用意した。従って、同じランプが発する光であっても、路面によってその反射光の強さがそれぞれ相違しても、色補正用テンプレート６３にて確実に補正することができる。

さらに、各色補正用テンプレート６３は、車両周辺の照度に応じてそれぞれ用意した。従って、同じランプが発する光であっても、回りの明るさ（車両周辺の照度）によってそのランプの反射光の映り込まれる強さがそれぞれ相違しても、色補正用テンプレート６３にて確実に補正することができる。

（４）上記実施形態では、日照補正用テンプレート７３を用いて変換データＧ２を輝度補正をしたので、日照条件によって生成される陰影を除く画像処理が容易で短時間で済み、画像処理動作の負荷を軽減することができる。

（５）上記実施形態では、予め用意した日照補正用テンプレート７３は、１月〜１２月までの各月に対するテンプレートを用意した。従って、その月々で、日の出・日の入り、日の向き、日照時間が異なり、車両周辺の明るさや陰影の位置がそれぞれ相違しても、日照補正用テンプレート７３にて確実に補正することができる。

しかも、各日照補正用テンプレート７３は、０時〜２４時までを１時間間隔で２４の時間帯に区分し、その２４の時間帯に対してそれぞれ用意した。従って、各月での各時間帯で車両周辺の明るさや陰影の位置がそれぞれ相違しても、日照補正用テンプレート７３にて確実に補正することができる。

さらに、各日照補正用テンプレート７３は、車両周辺の照度に応じてそれぞれ用意した。従って、天候、場所によって各月の各時間帯での車両周辺の明るさや陰影の位置がそれぞれ相違しても、日照補正用テンプレート７３にて確実に補正することができる。

尚、本実施形態は以下のように変更してもよい。
・第１実施形態では、変換データＧ２中の各画素に対する輝度データの輝度補正値（Ｒ値の輝度補正値）を記憶した輝度補正テーブル６ｂを用いて変換データＧ２中の各画素に対に対して輝度補正を行った。これを、反射光が映った変換データＧ２に対して、変換データＧ２中の全ての画素の輝度データを一定の値の輝度補正値で補正してもよい。この場合、輝度補正値のデータ量を少なくすることができるとともに、輝度補正の演算処理が簡単になる。

また、反射光が映った変換データＧ２に対して、変換データＧ２中の反射光の影響が少ない画素の輝度データを読み出す。そして、その画素の輝度データのＲ値を読み出し、その読み出したＲ値に他の画素の輝度データのＲ値を置き換えて輝度補正するようにしてもよい。尚、反射光の影響が少ない画素は、例えば、変換データＧ２中の中央領域にある画素が考えられる。これは、ブレーキランプＬは、車両Ｃの左右両端に設けられているため、ブレーキランプＬの反射光の車両Ｃの内側方向への回り込みが極めて少なくなり反射光の映り込みがない、また、あったとしても極めて少ないところとなっている。

さらに、反射光が映った変換データＧ２に対して、変換データＧ２中の全ての画素の輝度データを読み出し、その全ての画素の中から、輝度データのＲ値の最も小さい値を探し出す。そして、全ての画素の輝度データのＲ値を、その最小値になるように輝度補正値してもよい。

・第１実施形態では、輝度補正テーブル６ｂを用いて輝度補正を行った。これを、反射光が映った変換データＧ２に対して、最も近い位置であって反射光が映ってない撮像された画像データＧから生成された変換データＧ２を読み出す。そして、両変換データＧ２中の対応する各画素間であってその両画素の輝度データのＲ値を比較し、反射光が映った変換データＧ２の画素のＲ値を、反射光が映ってない変換データＧ２中の対応する画素のＲ値にそれぞれして輝度補正をするようにしてもよい。この場合にも、反射光が映った変換データＧ２は、反射光が除かれ、高品質の俯瞰画像を表示することができる。

・第１実施形態では、俯瞰画像データを生成する時に、画像メモリ１４から変換データＧ２を読み出し輝度補正をした。これを、俯瞰画像データを生成する時ではなく、視点変換処理した後に、その変換データＧ２について輝度補正し、その輝度補正した変換データＧ２を画像メモリ１４に蓄積するようにして実施してもよい。画像メモリ１４に格納された各変換データＧ２は、既に輝度補正されているため、各変換データＧ２を輝度補正することなく直ちに俯瞰画像データを生成することができる。

・第１実施形態では、画像メモリ１４に記憶した視点変換した変換データＧ２に対して輝度補正をした。これを、視点変換処理をする前の画像メモリ１４に記憶した抽出データＧ１に対して輝度補正し、その輝度補正した抽出データＧ１を視点変換処理して変換データＧ２を画像メモリ１４に記憶してもよい。この場合も、各変換データＧ２は、既に輝度補正されているため、各変換データＧ２を輝度補正することなく直ちに俯瞰画像データを生成することができる。

・第１実施形態では、変換データＧ２を生成した後に、当該変換データＧ２に対する輝度補正有無データＫＤを生成したが、先に輝度補正有無データＫＤを作成した後に、抽出データＧ１及び変換データＧ２を生成してもよい。また、輝度補正有無データＫＤと変換データＧ２をそれぞれ別々に記憶し、これらをパルスカウント値Ｔで関連づけるようにした。これを、作成した抽出データＧ１又は変換データＧ２に輝度補正有無データＫＤを添付して関連づけて実施してもよい。

・第１実施形態では、輝度補正有無データＫＤの生成は、周辺の暗さも条件に入れたが、この暗さの条件を省略し、ブレーキランプＬの点灯の有無だけで輝度補正有無データＫＤを生成してもよい。

・第１実施形態では、ブレーキランプＬの反射光に対する輝度補正であった。これを、ブレーキランプＬ以外のウィンカー、ハザードランプ等、その他の車両Ｃに設けられたランプの光に対する輝度補正を合わせて、又は、単独で行ってもよい。

・第１実施形態では、ブレーキランプＬの反射光が映り込まれたかどうかの判断を、各種ランプ駆動装置２４の点滅検出信号ＬＰＳに基づいて行った。これを、ブレーキランプＬの反射光を直接検出する光センサを用いて実施してもよい。

・第１実施形態では、画像処理部１５は、画像データＧを抽出して抽出データＧ１を生成し、その抽出データＧ１を視点変換するようにした。これを、画像データを視点変換したデータのうち、一部分を抽出するようにしてもよい。

・第１実施形態では、仮想視点１０４を、抽出領域４０に相当する路面上の領域１０３，１０５を鉛直方向上方であって、カメラ２６高さと同じ位置に設定するようにしたが、車両Ｃのルーフよりも高い位置等、その他の位置に適宜設定して実施してもよい。

・第２実施形態では、視点変換して変換データＧ２を生成した時点で、色補正用テンプレート６３及び日照補正用テンプレート７３を選択し読み出して補正処理したが、回転変換する前に、まとめて各変換データＧ２を補正処理するようにしてもよい。

・第２実施形態では、変換データＧ２に対して色補正用テンプレート６３及び日照補正用テンプレート７３を用いて補正処理した。これを抽出データＧ１の段階で補正処理するようにしてもよい。この場合、抽出データＧ１に対する色補正用テンプレート及び日照補正用テンプレートを予め用意する必要がある。

また、画像データＧの段階で補正処理するようにしてもよい。この場合、画像データＧに対する色補正用テンプレート及び日照補正用テンプレートを予め用意する必要がある。
さらに、例えば、画像データＧ、抽出データＧ１又は変換データＧ２のいずれかの段階で、例えば色補正用テンプレートを使って補正し、残る２つの段階の一つで日照補正用テンプレートを用いて補正してもよい。

上記第２実施形態では、色補正用テンプレート６３及び日照補正用テンプレート６４を使って２種類の補正処理を行った。これを、いずれか一方だけの補正処理で実施してもよい。

・第１及び第２実施形態では、変換データＧ２に対し、後で回転変換するために方位データ１８を添付するようにしたが、舵角データ１９を添付するようにしてもよい。この場合、ナビゲーション装置１が、駐車を完了又は一時休止したと判断したときの舵角と、各変換データＧ２に添付された舵角データ１９との相対角度に基づき、それらの変換データＧ２を回転変換する。

・第１及び第２実施形態では、駐車支援装置を、ナビゲーション装置１に具体化したが、その他の車載装置に具体化してもよい。この場合、ＧＰＳ受信部９や、地図データ記憶部等が省略される。

・第１及び第２実施形態では、抽出データＧ１を視点変換して、変換データＧ２を生成する際に、仮想視点１０４を、路面１０２上の領域１０３のうち中央部の鉛直方向上方に設定したが、仮想視点の位置、方向はこの位置に限定されない。例えば、俯瞰画像を表示する際の車両Ｃに設置されたカメラ２６の設置位置、車両Ｃの中心の鉛直方向上方等にしてもよい。

第１実施形態のナビゲーション装置の構成を説明するブロック図。 カメラの取付位置を説明する説明図。 車両輪郭線の説明図。 バックモニタ画面の説明図。 車両の駐車目標領域への後退を説明する説明図。 （ａ）は初期位置の車両、（ｂ）は画像データ、（ｃ）は視点変換処理、（ｄ）は変換データ、（ｅ）は回転変換データの説明図。 （ａ）画像メモリに格納される変換データの説明図、（ｂ）画像メモリに格納される輝度補正データの説明図。 第１実施形態の処理手順の説明図。 第１実施形態の処理手順の説明図。 第１実施形態の処理手順を説明するフローチャート。 第１実施形態の処理手順を説明するフローチャート。 第１実施形態の処理手順を説明するフローチャート。 （ａ）は位置Ｂの車両、（ｂ）は画像データ、（ｃ）は視点変換処理、（ｄ）は変換データ、（ｅ）は回転変換データの説明図。 俯瞰画像データの説明図。 駐車確認画面の説明図。 駐車確認画面の説明図。 第２実施形態のナビゲーション装置の構成を説明するブロック図。 色合い補正テーブルにおけるメインテーブルを説明するための模式図。 色合い補正テーブルにおけるサブテーブルを説明するための模式図。 色補正用テンプレートを説明するための模式図。 （ａ）は色補正用テンプレートを作成するための画像データの説明図、（ｂ）は視点変換処理を説明する説明図、（ｃ）は色補正用テンプレートの説明図。 日照補正テーブルにおけるメインテーブルを説明するための模式図。 日照補正テーブルにおけるサブテーブルを説明するための模式図。 日照補正用テンプレートを説明するための模式図。 （ａ）は日照補正用テンプレートを作成するための画像データの説明図、（ｂ）は視点変換処理を説明する説明図、（ｃ）は日照補正用テンプレートの説明図。 第２実施形態の一部処理手順を説明するフローチャート。

符号の説明

１…駐車支援装置としてのナビゲーション装置、３…表示手段としてのディスプレイ、３ｚ…表示領域、４…制御部、６ｂ…輝度補正テーブル、６ｃ…色合い補正テーブル、６ｄ…日照補正テーブル、９…ＧＰＳ受信部、１２…車両情報入力手段としての車両側Ｉ／Ｆ部、１３…画像データ取得手段としての画像データ入力部、１４…画像データ記憶手段としての画像メモリ、１５…画像処理部、１７…位置データとしての撮像位置データ、１８…方位データ、１９…舵角データ、２３…各種ランプ駆動装置、２５…照度センサ、２６…撮像手段としてのカメラ、３０…指標としての車両輪郭線、４０…所定領域としての抽出領域、４６…俯瞰画像、６３…色補正用テンプレート、７３…日照補正テンプレート、Ｃ…車両、Ｇ，ＧＡ，ＧＢ，ＧＣ…画像データ、Ｇ１，ＧＡ１，ＧＢ１，ＧＣ１…抽出データ、Ｇ２，ＧＡ２，ＧＢ２，ＧＣ２…変換データ、Ｇ４…俯瞰画像データ、ＧＰ…現在画像データ、ＫＤ…輝度補正有無データ、Ｌ…ブレーキランプ。

Claims (7)

1. 車両に設けられた撮像手段を用いて前記車両の進行とともにその進行方向の画像を定期的に撮像し、その時々の画像データの各々を蓄積し、蓄積した複数の画像データを用いて前記車両の現在位置の周辺画像データを生成した後、生成した周辺画像データに基づく周辺画像を表示手段に表示するようにした駐車支援方法において、
   前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出するとともに前記車両に設けられた各光源が点灯しているか否かを検出し、
   輝度補正のためのテンプレートを前記路面の種類に応じて前記光源毎に予め用意し、
   前記各画像データの各々を、点灯している前記光源及び前記路面の種類に対応したテンプレートを使って輝度補正した後、前記周辺画像データを生成したことを特徴とする駐車支援方法。
2. 車両に設けられた撮像手段を用いて前記車両の進行とともにその進行方向の画像を定期的に撮像し、その時々の画像データの各々を画像処理して変換データを生成して蓄積し、前記蓄積した複数の変換データを用いて前記車両の現在位置の周辺を俯瞰した俯瞰画像の俯瞰画像データを生成した後、前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示するようにした駐車支援方法において、
   前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出するとともに前記車両に設けられた各光源が点灯しているか否かを検出し、
   輝度補正のためのテンプレートを前記路面の種類に応じて前記光源毎に予め用意し、
   前記各画像データの各々を、点灯している前記光源及び前記路面の種類に対応したテンプレートを使って輝度補正した後、前記周辺画像データを生成したことを特徴とする駐車支援方法。
3. 車両に設けられた撮像手段が定期的に撮像した画像の画像データを取得する画像データ取得手段と、
   画像データ取得手段が取得した各画像データの各々を用いて、車両の現在位置の周辺画像データを生成する周辺画像データ生成手段と、
   前記周辺画像データに基づく周辺画像を表示手段に表示する表示出力手段と
   を備えた駐車支援装置において、
   前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出する路面検出手段と、
   前記撮像手段が画像を撮像する毎に、前記車両に設けられた各光源が点灯しているか否かを検出する光源点灯検出手段と、
   輝度補正のためのテンプレートが前記路面の種類に応じて前記光源毎に格納されたテンプレート記憶手段と、
   前記光源点灯検出手段により検出された点灯している前記光源、及び前記路面検出手段により検出した路面の種類に対応するテンプレートを読み出し、当該テンプレートを用いて前記各画像データを輝度補正する画像データ補正手段と
   を設けたことを特徴とする駐車支援装置。
4. 車両に設けられた撮像手段が定期的に撮像した画像の画像データを取得する画像データ取得手段と、
   画像データ取得手段が取得した各画像データの各々について、予め定めた領域を抽出し画像処理した変換データを生成する第１画像処理手段と、
   前記第１画像処理手段が生成した各変換データを用いて、現在の車両の周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、
   前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示する表示出力手段と
   を備えた駐車支援装置において、
   前記撮像手段が画像を撮像する毎に、前記車両が移動中の路面の種類を検出する路面検出手段と、
   前記撮像手段が画像を撮像する毎に、前記車両に設けられた各光源が点灯しているか否かを検出する光源点灯検出手段と、
   輝度補正のためのテンプレートが前記路面の種類に応じて前記光源毎に格納されたテンプレート記憶手段と、
   前記光源点灯検出手段により検出された点灯している前記光源、及び前記路面検出手段により検出した路面の種類に対応するテンプレートを読み出し、当該テンプレートを用いて前記変換データを輝度補正する第３画像処理手段と
   を設けたことを特徴とする駐車支援装置。
5. 請求項４に記載の駐車支援装置において、
   前記第１画像処理手段は、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データをそれぞれ視点変換処理して変換データを生成するものであることを特徴とする駐車支援装置。
6. 請求項４に記載の駐車支援装置において、
   前記第１画像処理手段は、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データをそれぞれ視点変換処理して変換データを生成すものであり、
   前記テンプレート記憶手段に格納された前記テンプレートは、前記画像データ、前記抽出データ、又は、変換データのいずれかに対するテンプレートであり、
   前記第３画像処理手段の各変換データの輝度補正は、前記画像データ、前記抽出データ、又は、変換データのいずれかに対し前記テンプレートを用いて輝度補正することによって行われることを特徴とする駐車支援装置。
7. 請求項４〜６のいずれか一つに記載の駐車支援装置において、
   車両の周辺の照度を検出する照度検出手段をさらに備え、
   前記テンプレートは、予め区分された前記照度毎に、前記テンプレート記憶手段に格納されており、
   前記第３画像処理手段は、検出された前記照度に対応するテンプレートを読み出し、当該テンプレートを用いて前記変換データを輝度補正することを特徴とする駐車支援装置。

Images