JP4622806B2 - 駐車支援方法及び駐車支援装置 - Google Patents

Description

本発明は、駐車支援方法及び駐車支援装置に関する。

従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データに基づくモニタ画面を運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この車載カメラは、通常、車両のリヤバンパーから後方の背景を撮像するものの、車両のフロア下方周辺、リヤコーナー周辺等は、死角領域となっている。このため、車両が駐車目標領域に進入するに従って、駐車目標領域を区画する白線等が次第に車載カメラの撮像領域外となり、車両と駐車目標領域との相対距離、車輪止めの位置等が画面で把握できず、駐車操作が難しくなる。

この問題に対し、車載カメラから取得した画像データをメモリに蓄積し、蓄積した過去の画像データを、現在の画像データと合成する装置も提案されている（特許文献１参照）。この装置では、現在の車載カメラの死角領域を撮像した画像データを読出し、その画像データを用いて合成画像を出力する。
特開２００２−３５４４６７号公報

ところが、一般的に、メモリに蓄積した画像データは、自動車のシフトポジションがリバース以外のポジションに変更されたり、イグニッションシステムがオフ状態とされたときに消去される。従って、駐車目標領域内で自動車を斜めに駐車したり、隣りに駐車した他車両との間隔が充分でない際に、再度駐車操作をやり直す場合には、メモリに画像データが蓄積されていない状態となることがある。このような場合、駐車操作を再開した直後に、合成画像をディスプレイに表示することができなかった。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、駐車操作をやり直す場合にも、駐車支援画像を直ぐに表示することができる駐車支援方法及び駐車支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両の駐車操作を支援する駐車支援方法において、前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして駐車操作終了後も画像データ記憶手段に記憶し、駐車操作に関する履歴データを履歴データ記憶手段に記憶するとともに、駐車操作終了後、駐車操作を再開する再操作が行われた際に、前記履歴データに基づき、駐車操作終了前に記憶された前記記録画像データが有効であるか否かを判断し、有効であると判断した場合に、前記記録画像データと、最新の画像データとを用いた駐車支援画像を表示手段に出力することを要旨とする。

請求項２に記載の発明は、車両に搭載された駐車支援装置において、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、取得した前記画像データを、記録画像データとして記憶する画像データ記憶手段と、前記記録画像データと、最新の記録画像データとを用いた駐車支援画像を表示手段に出力する表示制御手段と、駐車操作に関する履歴データを記憶する履歴データ記憶手段と、駐車操作終了後、駐車操作を再
開する再操作が行われた際に、前記履歴データに基づき、駐車操作終了前に記憶された前記記録画像データが有効であるか否かを判断する判断手段とを備えるとともに、前記表示制御手段が、駐車操作終了前に記憶された前記記録画像データが有効であると判断された場合に、前記記録画像データと、最新の画像データとを用いた駐車支援画像を前記表示手段に出力することを要旨とする。

請求項３に記載の発明は、請求項２に記載の駐車支援装置において、前記履歴データは、駐車操作を終了する際の時刻に関する時刻データを含み、前記判断手段は、前記時刻データと駐車操作を再開した時刻に基づいて、駐車操作が停止した時間が所定時間以下である場合に、駐車操作終了前に記憶した前記記録画像データが有効であると判断することを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の駐車支援装置において、前記履歴データは、駐車操作終了の際に前記撮像装置により撮像された前記画像データを含み、前記判断手段は、駐車操作を終了する際に撮像された前記画像データと、駐車操作を再開した際に撮像された画像データとを比較して、前記車両の周辺状況に変化がないと判断した際に、駐車操作終了前に記憶した前記記録画像データが有効であると判断することを要旨とする。

請求項５に記載の発明は、請求項２〜４のいずれか１項に記載の駐車支援装置において、前記履歴データは、駐車操作中に前記画像データ記憶手段に記憶した前記記録画像データであって、前記判断手段は、駐車操作を再開した際に撮像された画像データと、駐車操作を再開した位置と同じ位置で撮像された前記記録画像データとを比較して、前記車両の周辺状況に変化がないと判断した際に、駐車操作終了前に記憶した前記記録画像データが有効であると判断することを要旨とする。

請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の駐車支援装置において、前記履歴データは、駐車操作が終了した際の前記車両の位置を含み、前記判断手段は、駐車操作終了の際の前記車両の位置と、駐車操作を再開した前記車両とが同じ位置であるか否かを判断することを要旨とする。

請求項７に記載の発明は、請求項２〜６のいずれか１項に記載の駐車支援装置において、前記車両のイグニッションシステムからオフ信号を入力した際に、駐車操作終了であると判断する車両状況判断手段をさらに備えたことを要旨とする。

請求項１に記載の発明によれば、駐車支援方法において、駐車操作の履歴データを履歴データ記憶手段に記憶する。さらに、再操作を行う場合には、履歴データに基づいて、駐車操作終了前に予め蓄積した記録画像データが有効であるか否かを判断する。そして有効である場合には、その記録画像データを用いて、駐車支援画像を表示手段に出力する。このため、駐車操作を終了した後、駐車操作を再開した場合にも、操作を再開した直後に、駐車支援画像を表示することができる。

請求項２に記載の発明によれば、駐車支援装置は、駐車操作の履歴データを履歴データ記憶手段に記憶する。さらに、再操作を行う場合には、履歴データに基づいて、駐車操作終了前に予め蓄積した記録画像データが有効であるか否かを判断する。そして有効である場合には、その記録画像データを用いて、駐車支援画像を表示手段に出力する。このため、駐車操作を終了した後、駐車操作を再開した場合にも、操作を再開した直後に、駐車支援画像を表示することができる。

請求項３に記載の発明によれば、履歴データは、駐車操作を終了する際の時刻データであって、判断手段は、駐車操作が終了したときから、再開されたときまでの時間が所定時間以下であるか否かを判断する。このため、画像データ記憶手段に記録画像データを記憶したときから長時間が経過したデータは用いないので、車両の周辺状況がほぼ同じである時点で撮像された記録画像データのみを用いて駐車支援画像を出力できる。従って、安全性を向上できる。

請求項４に記載の発明によれば、履歴データは、駐車操作を終了する際に撮像された画像データであって、判断手段は、その画像データと、駐車操作が再開した際に撮像された画像データとを比較して、車両の周辺状況に変化がないと判断した場合に、蓄積した記録画像データを用いて駐車支援画像を出力する。このため、障害物が進入する等、車両の周辺状況が変化した場合には、駐車終了前に記憶した記録画像データを用いないので、安全性を向上できる。

請求項５に記載の発明によれば、判断手段は、同じ位置で撮像された、記録画像データと、現在の画像データとを比較して、車両の周辺状況に変化がないと判断した場合に、蓄積した記録画像データを用いて駐車支援画像を出力する。このため、障害物が進入する等、車両の周辺状況が変化した場合には、駐車終了前に記憶した記録画像データを用いないので、安全性を向上できる。

請求項６に記載の発明によれば、判断手段は、履歴データに基づき、駐車操作停止時の前記車両の位置と、駐車操作を再度開始した前記車両とが同じ位置であるかを判断する。このため、駐車操作を終了した位置から車両が移動した場合には、駐車終了前に記憶した記録画像データを用いないので、信頼性のある記録画像データのみを用いて駐車支援画像を出力できる。

請求項７に記載の発明によれば、車両状況判断手段により、イグニッションシステムからオフ信号を入力した際に、駐車操作終了であると判断する。このため、イグニッションシステムが起動状態であるときは、駐車支援が続行されていると判断するので、記録画像データの有効性の判断を過度に行うことがない。

以下、本発明を具体化した一実施形態を図１〜図１３に従って説明する。図１に示すように、車両Ｃに搭載された駐車支援装置１は、画像データ取得手段、判断手段及び車両状況判断手段を構成するＣＰＵ２と、ＳＲＡＭ又はフラッシュメモリ等の履歴データ記憶手段としてのＲＡＭ３と、ＲＯＭ４を有している。このＣＰＵ２は、車両側入力Ｉ／Ｆ部６を介して、車速センサ２１及びジャイロ２２から、それぞれ車速パルス及び方位検出信号を入力するようになっている。また、ＣＰＵ２は、この車速パルス及び方位検出信号に基づいて、車両Ｃの基準位置からの相対座標を算出する。

また、ＣＰＵ２は、車両側入力Ｉ／Ｆ部６を介して、車両Ｃのイグニッションシステムを構成するイグニッションスイッチ２３から、イグニッションシステムのオン信号及びオフ信号を入力する。ＣＰＵ２は、イグニッションスイッチ２３からオン信号を入力すると、駐車支援装置１を起動するようになっている。また、オフ信号を入力すると、ＣＰＵ２は起動状態にある駐車支援装置１を、イグニッションスイッチ２３からのオン信号を待機するスリープ状態にする。さらに、ＣＰＵ２は、車両側入力Ｉ／Ｆ部６を介して、ニュートラルスタートスイッチ２４から、現在の車両Ｃのシフトポジションを示すシフトポジション信号を入力するようになっている。

また、ＣＰＵ２は、イグニッションスイッチ２３からオン信号を入力すると、車両Ｃに
設けられた、撮像装置としてのカメラ２０を起動する。そして、所定のタイミングで車両Ｃの後方背景を撮像した画像データＧを取得するようになっている。図２に示すように、カメラ２０は、車両Ｃのうち、車幅方向（車両座標系のＹ軸方向）の略中央位置に、光軸を下方に向けて取り付けられている。このカメラ２０は、カラー画像を撮像し、アナログ／デジタル変換された画像データＧを生成するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子と（いずれも図示せず）を備えている。カメラ２０は、例えば左右１４０度の後方視野を有し、車両ＣのリヤバンパーＲＢの一部を含む、後方路面の約数メートルを可視範囲Ｚとしている。

ＣＰＵ２は、車両Ｃが所定距離後退する毎に、カメラ２０を制御して画像データＧを取得する。そして、その画像データＧを記録画像データ１５として、画像データ記憶手段としての画像メモリ７に蓄積する。このとき、ＣＰＵ２は、例えば図３（ａ）のような画像３３を表示する画像データＧを取得すると、表示制御手段及び判断手段を構成する画像プロセッサ８により、その画像データＧのうち、抽出領域３４を抽出して、図３（ｂ）の画像３５を表示する記録画像データ１５を生成する。抽出領域３４は、画面座標系（ｘ，ｙ）のうち、車両Ｃの後退方向に相当するｘ軸方向の下方であって、表示手段としてのディスプレイ９の表示領域９ｚの下方に設定されている。このため、記録画像データ１５は、車両Ｃのリヤ部に近い範囲の路面の撮像データになっており、路面上の駐車枠を示す白線や、車輪止めを撮像したデータを含んでいる。尚、実際の画像データＧに基づく画像は、カメラ２０のレンズの歪曲収差により歪みが生じているが、ここでは図示を省略する。

そして、記録画像データ１５を生成すると、ＣＰＵ２は、図４（ａ）に示すように、記録画像データ１５と、その記録画像データ１５を撮像した位置を示す位置データ１６、撮像した時刻を示す、時刻データ１７とを関連付けて、画像メモリ７に蓄積する。尚、駐車支援装置１がスリープ状態になっても、蓄積した記録画像データ１５を画像メモリ７から消去しないで記憶する。

また、ＣＰＵ２は、イグニッションスイッチ２３からオフ信号を入力したとき、カメラ２０を制御して、そのときの画像データＧを取得する。そして、図４（ｂ）に示すように、その画像データＧを、終了画像データ２６として、そのときの車両Ｃの位置を示す終了位置データ２７と、ＣＰＵ２内の内蔵時計に基づく終了時刻データ２８とを関連付けて、ＲＡＭ３に格納する。そして、駐車支援装置１がスリープ状態になっても、その終了画像データ２６、終了位置データ２７及び終了時刻データ２８を消去せずにＲＡＭ３にそれぞれ記憶する。尚、イグニッションスイッチ２３からオフ信号を入力した時点でＲＡＭ３に記憶された終了画像データ２６、終了位置データ２７、終了時刻データ２８を終了履歴データ２９という。

イグニッションスイッチ２３のオン信号を入力すると、ＣＰＵ２は、ＲＡＭ３に格納された終了履歴データ２９に基づき、記録画像データ１５を用いた駐車支援モードへの遷移の可否を判断する。具体的には、ＣＰＵ２は、ＲＡＭ３に記憶された終了時刻データ２８と内蔵時計に基づく現在時刻に基づき、駐車操作を停止した終了時刻から現在時刻までのスリープ時間を算出する。そして、スリープ時間が、６０秒以下であるか否かを判断する。

また、画像プロセッサ８は、終了画像データ２６と、イグニッションスイッチ２３からオン信号を入力し、シフトポジションがリバースに切り替った時点で取得した画像データＧ（以下、現在画像データ１９という）とを比較する。まず、ＣＰＵ２は、終了履歴データ２９内の終了位置データ２７と、車両Ｃの現在位置とを比較する。終了位置データ２７と現在位置とが一致するときは、駐車操作を終了した位置から、そのまま後退して駐車操作を再開する場合である。このとき、画像プロセッサ８は、例えば、図５（ａ）の画像３
０を表示する終了画像データ２６と、図５（ｂ）の画像３１を表示する現在画像データ１９との差分データを生成する。さらに、差分データを２値化する等して、終了画像データ２６と現在画像データ１９との差分を検出する。例えば、駐車支援装置１がスリープ状態である間に、車両Ｃ後方に移動体が進入したり、車両Ｃがエンジンをかけない状態で強制的に移動された場合には、その移動体等に相当する差分が検出される。

一方、ＣＰＵ２が、前回駐車操作を終了した終了位置データ２７と車両Ｃの現在位置とが一致しないと判断した場合、駐車操作を終了した位置から、車両Ｃが前進し、その前進した位置から駐車操作を再開していることが想定される。この場合には、画像プロセッサ８は、車両Ｃの現在位置（駐車操作を再開した位置）の位置データ１６が関連付けられた記録画像データ１５を検索し、該当する記録画像データ１５が検出された場合には、その記録画像データ１５を画像メモリ７から読出す。そして、図５（ｃ）の画像３２に示すように、読出した記録画像データ１５と、図５（ｄ）の画像３３に示すような現在画像データ１９とを比較する。このとき、現在画像データ１９に対して、読出した記録画像データ１５を移動させ、各画素の画素値の差分を算出する。そして、その差分の総和が最小となる位置を求める。さらに、その最小となる位置で、記録画像データ１５と現在画像データ１９との差分データを２値化して、記録画像データ１５と現在画像データ１９との差分を検出する。

そして、ＣＰＵ２は、スリープ時間が、６０秒以下であって、且つ終了画像データ２６（又は記録画像データ１５）と、現在画像データ１９との類似度が極めて高いとき、記録画像データ１５を用いた駐車支援モードへの遷移が可能であると判断する。

駐車支援モードへの遷移が可能であると判断すると、ＣＰＵ２は、画像プロセッサ８を制御して、所定の記録画像データ１５を画像メモリ７から読出す。そして、読出した記録画像データ１５に基づく、現在のカメラ２０の死角を補完する画像と、現在画像データ１９に基づく画像とをディスプレイ９に表示する。

また、図１に示すように、ＲＯＭ４には、輪郭描画データ５が格納されている。輪郭描画データ５は、駐車支援装置１を実装した、図２に示す車両Ｃの輪郭を描画するためのデータである。この輪郭描画データ５を、ディスプレイ９に出力すると、図６に示すような、指標としての補助線３５がディスプレイ９の表示領域９ｚに表示される。補助線３５は、車体リヤ部外郭を示す外郭描画線３６と、各後車輪ＣＲ（図２参照）の位置を示す車輪描画線３７とを有している。

一方、記録画像データ１５を用いる駐車支援モードでないときは、ＣＰＵ２は、カメラ２０を制御して、毎秒３０フレームの画像データＧを取得し、画像プロセッサ８を介して、図８に示すバックモニタ画面３８を表示する。バックモニタ画面３８には、車両Ｃの後方背景を撮像した後方背景画像３９と、車両ＣのリヤバンパーＲＢの中央部を撮像したバンパー画像４０とが表示されている。さらに、後方背景画像３９には、ガイド線４１が重畳されている。ガイド線４１は、舵角に応じて車両Ｃの予想軌跡を描画した予想軌跡線４２と、車幅を後方に延長した車幅延長線４３とから構成されている。

また、駐車支援装置１に接続されたディスプレイ９は、タッチパネルであって、タッチパネルが入力操作されると、ＣＰＵ２は、外部入力Ｉ／Ｆ部１１を介して、入力操作に応じた所定の信号を入力する。また、ＣＰＵ２は、ディスプレイ９に隣設された操作スイッチ１０が入力操作されたときにも、外部入力Ｉ／Ｆ部１１を介して、入力操作に応じた所定の信号を入力する。さらに、駐車支援装置１は、音声プロセッサ１２を備え、警告、案内が必要な場合に、駐車支援装置１に接続されたスピーカ１３から警告音、案内音を出力する。

次に、本実施形態の処理手順について、車両Ｃを駐車目標領域に駐車する場合であって、途中で駐車操作を一旦停止した後、再び駐車操作をやり直す場合に沿って説明する。まず、図９に示すように、駐車支援装置１のＣＰＵ２は、イグニッションスイッチ２３からのオン信号の入力を待ち、イグニッションシステムが起動したか否かを判断する（ステップＳ１−１）。イグニッションスイッチ２３からオン信号を入力した場合には（ステップＳ１−１においてＹＥＳ）、ＣＰＵ２は、ＲＡＭ３に記憶された起動フラグを、オン状態を示す「１」に設定する。次に、ＣＰＵ２は、ニュートラルスタートスイッチ２４からのシフトポジション信号に基づき、現在の車両Ｃのシフトポジションがリバースであるか否かを判断する（ステップＳ１−２）。シフトポジションがリバース以外である場合には（ステップＳ１−２においてＮＯ）、ＲＡＭ３に格納された変数であるシフトポジションＳＰを、そのポジションに応じた値に設定する。シフトポジションがリバースである場合には（ステップＳ１−２においてＹＥＳ）、ＣＰＵ２は、ＲＡＭ３に格納されたシフトポジションＳＰを、「リバース」に変更し、さらに、ＲＡＭ３に記憶された、終了履歴データ２９を読出す（ステップＳ１−３）。この終了履歴データ２９は、前回イグニッションスイッチ２３からオフ信号を入力した時点で記憶したデータである。

また、ＣＰＵ２は、終了履歴データ２９に含まれる終了時刻データ２８と、現在時刻とに基づき、駐車操作を停止した終了時刻から現在時刻までのスリープ時間が、所定時間内であるか否かを判断する（ステップＳ１−４）。本実施形態では、この所定時間は、６０秒に設定されている。前回駐車操作を行った時点が、数時間前、又は数日前になる場合、スリープ時間は６０秒よりも長いので（ステップＳ１−４においてＮＯ）、ＣＰＵ２は、前回駐車操作を行った際に蓄積した記録画像データ１５を用いないと判断して、ステップＳ２−１に進む。このとき、画像メモリ７に記憶され、使用不可と判断した記録画像データ１５を消去する。

図１０に示すように、ステップＳ２−１において、ＣＰＵ２は、カメラ２０から画像データＧを取得する。また、ＣＰＵ２は、画像プロセッサ８を制御して、上記したように、取得した画像データＧのうち、抽出領域３４を抽出して、記録画像データ１５を生成し、初期位置を示す位置データ１６及び現在時刻を示す時刻データ１７を関連付けて、画像メモリ７に記憶する（ステップＳ２−２）。

また、ＣＰＵ２は、車速センサ２１から入力した車速パルスのパルス数に基づいて、ＲＡＭ３に記憶された変数である、第１及び第２距離カウンタに、入力パルス数を加算して更新する（ステップＳ２−３）。尚、イグニッションスイッチ２３をオンにした直後は、第１及び第２距離カウンタの値である計測パルス数Ｃ１，Ｃ２は初期値「０」にリセットされている。さらに、ＣＰＵ２は、第１距離カウンタの計測パルス数Ｃ１が、所定パルス数Ｐ１以上であるか否かを判断する（ステップＳ２−４）。本実施形態では、所定パルス数Ｐ１は、２００ｍｍの後退距離に相当するパルス数に設定されている。イグニッションスイッチ２３からオン信号を入力した直後等は、第１距離カウンタの計測パルス数Ｃ１が初期値であるので、所定パルス数Ｐ１に到達していないと判断し（ステップＳ２−４においてＮＯ）、ステップＳ３−１に進む。

駐車操作を開始し、既に車両Ｃの後退距離が２００ｍｍに到達した場合、ＣＰＵ２は、第１距離カウンタの計測パルス数Ｃ１が、所定パルス数Ｐ１以上であると判断する（ステップＳ２−４においてＹＥＳ）。そして、前回の駐車操作の際に蓄積された記録画像データ１５は用いずに、新たに記録画像データ１５を生成及び記憶していく。まず、ＣＰＵ２は、カメラ２０から画像データＧを取得する（ステップＳ２−５）。このとき、上記したように、取得した画像データＧのうち、抽出領域３４を抽出して、記録画像データ１５を生成する。

また、ＣＰＵ２は、車速センサ２１から入力した車速パルスに基づいて、基準位置に対する相対座標を演算することにより、自車位置を算出する（ステップＳ２−６）。さらに、ＣＰＵ２は、生成した記録画像データ１５に、撮像位置を示す位置データ１６、時刻を示す時刻データ１７とを添付して、画像メモリ７に記憶する（ステップＳ２−７）。さらに、第１距離カウンタの計測パルス数Ｃ１を初期値「０」にリセットして（ステップＳ２−８）、ステップＳ３−１に進む。

図１１に示すように、ステップＳ３−１において、ＣＰＵ２は、第２距離カウンタの計測パルス数Ｃ２が、所定パルス数Ｐ２であるか否かを判断する（ステップＳ３−１）。本実施形態では、所定パルス数Ｐ２は、所定パルス数Ｐ１と同様に、２００ｍｍの後退距離に相当するパルス数に設定されている。この第２距離カウンタの計測パルス数Ｃ２は、イグニッションスイッチ２３からオン信号を入力した直後は、初期値「０」になっている。

第２距離カウンタの計測パルス数Ｃ２が、所定パルス数Ｐ２以上であった場合には（ステップＳ３−１においてＹＥＳ）、ＣＰＵ２は、車両Ｃの現在位置から、進行方向（後退方向）において、所定距離だけ後方の位置が関連付けられた記録画像データ１５が画像メモリ７に記憶されているか否かを判断する（ステップＳ３−２）。この所定距離は、本実施形態では、車両Ｃの後端から、後車輪ＣＲの車軸までに相当する距離であり、８００ｍｍに設定されている。

現在位置から所定距離だけ後方で撮像された記録画像データ１５が無いと判断した場合には（ステップＳ３−２においてＮＯ）、ステップＳ２−３に戻り、記録画像データ１５の蓄積を行う。該当する記録画像データ１５を検出した場合には（ステップＳ３−２においてＹＥＳ）、その記録画像データ１５を読出す（ステップＳ３−３）。

続いて、ＣＰＵ２は、カメラ２０を制御して、現在画像データ１９を取得する（ステップＳ３−４）。そして、画像プロセッサ８は、ＣＰＵ２から取得した現在画像データ１９と、読出した記録画像データ１５とに対して、カメラ２０のレンズの歪曲収差を補正する画像処理を行う（ステップＳ３−５）。この画像処理としては、公知の式を利用した画像処理を行うことができる。

そして、画像プロセッサ８は、画像処理を行った現在画像データ１９及び記録画像データ１５を用いて、駐車支援画像を出力する（ステップＳ３−６）。具体的には、図７（ｂ）の画像４５に模式的に示すように、画像処理を行った現在画像データ１９のうち、表示領域９ｚの下方に設定された抽出領域４６を抽出し、合成用抽出データ１９ａを生成する。そして、その合成用抽出データ１９ａを、図７（ｃ）に示すように、ディスプレイ９の表示領域９ｚの上方に配置する。また、図７（ａ）の画像４７に模式的に示すような記録画像データ１５を、ディスプレイ９の表示領域９ｚの下方に配置する。この記録画像データ１５は、現在の車両Ｃのリヤ部が位置する路面の画像データであって、現在のカメラ２０の死角領域に相当する。これにより、図７（ｃ）に示すような、合成データ５０が生成される。

さらに、画像プロセッサ８は、この合成データ５０と、各種表示とを映像信号に変換して、ディスプレイ９に出力する。その結果、図１２に示す駐車支援画像５１が表示される。駐車支援画像５１には、現在画像データ１９に基づく現在画像５２と、記録画像データ１５に基づく死角補完画像５３とが表示されている。現在画像５２は、現在の車両Ｃ後方の背景を表示している。死角補完画像５３は、カメラ２０の死角領域を補完する画像であって、現在の車両ＣのリヤバンパーＲＢから後車輪ＣＲ中心までの位置に相当する路面を表示している。

また、画像プロセッサ８により、現在画像５２と死角補完画像５３との間には、案内表示５４が表示されている。案内表示５４は、現在画像５２と死角補完画像５３とを区画するとともに、車両周辺の目視を促す案内が描画されている。また、案内表示５４には、モードを手動で変更するための操作部５５、現在画像５２にガイド線４１を重畳するための操作部５６が表示されている。

さらに、画像プロセッサ８により、死角補完画像５３には、現在の車両Ｃの位置に応じて、補助線３５が重畳されている。これにより、運転者は、駐車目標領域に対する現在の後車輪ＣＲの位置、駐車目標領域内での車両の方向を把握することができる。

駐車支援画像５１をディスプレイ９に表示すると、ＣＰＵ２は、第２距離カウンタの計測パルス数Ｃ２を初期値「０」にリセットする（ステップＳ３−７）。さらに、ＣＰＵ２は、終了トリガの入力の入力があるか否かを判断する（ステップＳ３−８）。終了トリガは、運転者による操作に基づくイグニッションスイッチ２３からのオフ信号である。ステップＳ３−８において終了トリガを入力しない場合には、ステップＳ２−３に戻り、上記した処理を繰り返す。その結果、車両Ｃが所定距離（本実施形態では２００ｍｍ）後退した各地点で、記録画像データ１５が画像メモリ７に蓄積されるとともに、駐車支援画像５１が各地点で更新される。

そして、運転者が駐車操作を終了し、イグニッションスイッチ２３からオフ信号を入力すると、ステップＳ３−７において、ＣＰＵ２は、終了トリガを入力したと判断する（ステップＳ３−８においてＹＥＳ）。終了トリガを入力すると、ＣＰＵ２は、新たな終了履歴データ２９をＲＡＭ３に格納する（ステップＳ３−９）。具体的には、ＣＰＵ２は、カメラ２０を制御して、その位置で画像データＧを取得する。また、駐車操作が停止した車両Ｃの位置を示す終了位置データ２７、内蔵時計に基づく終了時刻データ２８とを取得する。さらに、終了画像データ２６、終了位置データ２７、終了時刻データ２８を互いに関連付けて、終了履歴データ２９として、ＲＡＭ３に一時格納する。この後、駐車支援装置１は、画面を出力せず、イグニッションスイッチ２３からのオン信号の入力を待つスリープ状態となるが、画像メモリ７内の各記録画像データ１５は消去されずに、記憶されている状態となっている。

そして、イグニッションスイッチ２３をオフ状態にした後、運転者が車両Ｃの駐車位置を確認し、駐車枠内で車両Ｃが斜めであったり、車両Ｃと駐車枠終端との距離が適当でなかったり、隣りに駐車した他車両との間隔が僅かであると判断することがある。さらに、この場合、再度イグニッションスイッチ２３を起動して、駐車操作をやり直すことがある。このとき、ＣＰＵ２は、ステップＳ１−１において、イグニッションスイッチ２３からオン信号を入力したと判断し、さらに、シフトポジションがリバースであるか否かを判断する（ステップＳ１−２）。シフトポジションがリバースであると判断した場合には（ステップＳ１−２においてＹＥＳ）、ステップＳ３−９で記憶した終了履歴データ２９をＲＡＭ３から読出す（ステップＳ１−３）。

続いて、ステップＳ１−４において、ＣＰＵ２は、終了履歴データ２９内に含まれる時刻データ１７と現在時刻とに基づき、スリープ時間を算出し、そのスリープ時間が所定時間（６０秒）以内であるか否かを判断する。そして、スリープ時間が６０秒以内であった場合には（ステップＳ１−４においてＹＥＳ）、画像差分検出処理を行う（ステップＳ１−５）。具体的には、画像プロセッサ８は、車両Ｃの現在位置と、終了位置データ２７とを比較して、現在位置と、駐車操作を終了した位置とが一致するか否かを判断する。即ち、駐車操作をやり直す場合、車両Ｃの停車位置からそのまま車両Ｃを後退させる場合と、前進させた後、操舵しながら後退する場合とがある。従って、画像プロセッサ８は、停車
位置からそのまま車両Ｃを後退させる場合には、ＲＡＭ３に格納された終了画像データ２６を読出す。また、画像プロセッサ８は、図５（ａ）の画像３０のような、終了画像データ２６と、図５（ｂ）の画像３１に示すような現在画像データ１９の差分データを生成し、その差分データを２値化して、記録画像データ１５と現在画像データ１９との類似度を判断する。

一方、車両Ｃを前進させて、駐車枠の前方に出た後、車両Ｃを後退させる場合には、画像プロセッサ８は、画像メモリ７に記憶された記録画像データ１５と、現在画像データ１９とを比較する。このとき、画像プロセッサ８は、シフトポジションをリバース以外からリバースに変更した直後の位置が、位置データ１６として関連付けられた記録画像データ１５を検索する。画像プロセッサ８は、該当する記録画像データ１５を画像メモリ７から読出し、その読出した記録画像データ１５を、図５（ｄ）の画像３３に模式的に示すような、車両Ｃの現在位置で撮像した現在画像データ１９に対して、所定の方向に移動させて、例えば、画素値の差分の総和が最小になる位置を検出する。さらに、その位置において、記録画像データ１５と現在画像データ１９との差分データを生成し、その差分データを２値化して、記録画像データ１５と現在画像データ１９との類似度を判断する。

差分が殆ど無く、類似度が極めて高い場合には、ＣＰＵ２は、終了画像データ２６（又は記録画像データ１５）と現在画像データ１９とがほぼ同じ位置で撮像され、車両Ｃの後方に他車両等の移動体の進入が無いと判断する。そして、終了画像データ２６（又は記録画像データ１５）と現在画像データ１９とが同一であると判断し（ステップＳ１−６においてＹＥＳ）、ＲＡＭ３に記憶された画像有効フラグをオンにする（ステップＳ１−７）。一方、ステップＳ１−７において、車両Ｃの後方に障害物が進入する等して、終了画像データ２６（又は記録画像データ１５）と現在画像データ１９とが同一でないとき、及びステップＳ１−７が終了したとき、ステップＳ２−１に進む。そして、駐車操作を再開した直後には、車両Ｃの後退距離は所定距離（２００ｍｍ）に到達していないので、ステップＳ２−１に進む。

そして、ステップＳ２−１及びステップＳ２−２において、画像データＧを入力し、初期位置での記録画像データ１５を画像メモリ７に記憶すると、ＣＰＵ２は、第１距離カウンタの計測パルス数Ｃ１が、所定パルス数Ｐ１以上であるか否かを判断する（ステップＳ２−３）。第１距離カウンタは、イグニッションスイッチ２３のオン信号入力直後は、初期値「０」になっているので、所定パルス数Ｐ１未満であると判断して（ステップＳ２−３においてＮＯ）、ステップＳ３−１に進む。

ステップＳ３−１において、ＣＰＵ２は、第２距離カウンタの計測パルス数Ｃ２が、所定パルス数Ｐ２以上であるか否かを判断する。第２距離カウンタは、イグニッションスイッチ２３のオン信号入力直後は、初期値「０」になっているので（ステップＳ３−１においてＮＯ）、ＣＰＵ２は、画像有効フラグがオンであるか否かを判断する（ステップＳ３−１０）。駐車操作を終了してから、長時間が経過した場合等、画像有効フラグがオフである場合には（ステップＳ３−１０においてＮＯ）、ＣＰＵ２は、カメラ２０から画像データＧを取得して、バックモニタ画面３８をディスプレイ９に表示する（ステップＳ３−１６）。

上記したように、駐車操作を停止してからのスリープ時間が所定時間（６０秒）以内であって、現在位置が関連付けられた記録画像データ１５と現在画像データ１９とが同一である場合には、画像有効フラグがオンになっている（ステップＳ３−１０においてＹＥＳ）。このため、駐車操作終了前に、画像メモリ７に記憶された各記録画像データ１５が有効であると判断して、ＣＰＵ２は、車両Ｃの現在位置から、進行方向（後退方向）において、所定距離だけ後方の位置が関連付けられた記録画像データ１５があるか否かを判断す
る(ステップＳ３−１１)。該当する記録画像データ１５が無い場合には（ステップＳ３−１１においてＮＯ）、バックモニタ画面３８をディスプレイ９に表示する（ステップＳ３−１６）。

該当する記録画像データ１５を検出した場合には、その記録画像データ１５を読出す（ステップＳ３−１２）。この所定距離も、本実施形態では、車両Ｃの後端から、後輪を全て含む位置までの距離であり、８００ｍｍに設定されている。また、ＣＰＵ２は、カメラ２０を制御して、車両Ｃの現在位置（停車位置）で、現在画像データ１９を取得する（ステップＳ３−１３）。

そして、ＣＰＵ２の制御により、画像プロセッサ８は、ステップ３−４と同様に、現在画像データ１９及び記録画像データ１５に対して、カメラ２０のレンズによる歪曲収差を補正する画像処理を行う（ステップＳ３−１４）。そして、上記したように、現在画像データ１９の３８を表示領域９ｚの上側に、記録画像データ１５を表示領域９ｚの下側に配置した合成データ５０を生成し、駐車支援画像５１を表示する（ステップＳ３−１５）。これにより、図１３に示すような、駐車支援画像５１が表示される。駐車支援画像５１は、図１２の駐車支援画像５１と同様に、上側に現在画像５２、下側に死角補完画像５３が表示され、現在画像５２と死角補完画像５３との間には、案内表示５４が表示されている。

この駐車支援画像５１に従って、運転者は駐車操作をやり直す。このとき、終了トリガを入力するまで、ステップＳ２−３〜ステップＳ２−８を繰り返して、新たな記録画像データ１５を画像メモリ７に蓄積する。また、ステップＳ３−１〜ステップＳ３−６、又はステップＳ３−１，Ｓ３−１１〜ステップＳ３−１４までを繰り返して、駐車支援画像５１を更新する。運転者は、車両Ｃの位置を把握しながら駐車操作を完了させ、イグニッションスイッチ２３をオフ状態にする。このとき、ＣＰＵ２は、ステップＳ３−８において、終了トリガを入力したと判断し、次の駐車操作支援のために、終了履歴データ２９をＲＡＭ３に記憶して（ステップＳ３−９）、処理を終了する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、駐車支援装置１は、駐車操作終了を示す終了トリガを入力した際に、終了画像データ２６、終了位置データ２７、終了時刻データ２８からなる終了履歴データ２９をＲＡＭ３に記憶するようにした。また、駐車操作を終了しても、蓄積した各記録画像データ１５を画像メモリ７に記憶し、消去しないようにした。さらに、再操作を行う場合には、終了履歴データ２９に基づいて、駐車操作終了前に予め蓄積した記録画像データ１５の有効性を判断するようにした。そして、記録画像データ１５が有効であると判断した場合には、記録画像データ１５と最新の現在画像データ１９とを用いて駐車支援画像５１をディスプレイ９に表示するようにした。このため、駐車操作を再度開始した直後にも、駐車操作終了前に予め記憶した記録画像データ１５を用いて、駐車支援画像５１を表示することができるので、利便性を向上できる。

（２）上記実施形態では、駐車支援装置１のＣＰＵ２は、イグニッションスイッチ２３が起動したときに、駐車支援装置１のＲＡＭ３に記憶された終了履歴データ２９内の終了時刻データ２８に基づき、駐車支援装置１のスリープ時間を算出し、そのスリープ時間が所定時間（６０秒）以下であるか否かを判断するようにした。さらに、スリープ時間が所定時間以上であった場合には、画像メモリ７に蓄積された記録画像データ１５を用いないようにした。このため、車両Ｃの周辺状況に変化が生じている可能性が高い場合に、駐車操作終了前に記憶した記録画像データ１５を用いず、周辺状況に変化が生じている可能性が低い場合に、予め蓄積した記録画像データ１５を用いることができる。従って、周辺状況に変化が生じにくい場合にのみ、駐車操作を再開した直後に駐車支援画像５１を表示で
きる。

（３）上記実施形態では、イグニッションスイッチ２３からオン信号を入力したときに、シフトポジションがリバースになった時点で撮像した現在画像データ１９と、終了履歴データ２９に含まれる終了画像データ２６との差分データを演算して、現在画像データ１９と終了画像データ２６とが同一であるか否かを判断するようにした。このため車両Ｃ後方の障害物を検出した際に、画像メモリ７に蓄積された記録画像データ１５を用いないようにすることができる。このため、安全性を確保しながら、駐車操作を再開した直後に駐車支援画像５１を表示することができる。

（４）上記実施形態では、駐車支援装置１のＣＰＵ２は、イグニッションスイッチ２３のオフ信号を入力した際に、駐車操作が停止されたと判断するようにした。このため、ユーザによる手動設定を行わなくても、終了履歴データ２９をＲＡＭ３に記憶できる。

尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、記録画像データ１５は、図示しないテーブルにより、位置データ１６及び時刻データ１７と関連付けられるようにしてもよい。また、終了画像データ２６は、図示しないテーブルにより、終了位置データ２７及び終了時刻データ２８と関連付けられるようにしてもよい。

・上記実施形態では、画像データＧのうち、抽出領域３４を抽出して記録画像データ１５を生成するようにしたが、画像データＧをそのまま画像メモリ７に記憶するようにしてもよい。

・上記実施形態では、画像有効フラグを設定する際に、終了履歴データ２９に基づいて、駐車操作を終了した停車位置と、車両Ｃの現在位置とが一致したときのみに、画像有効フラグをオンにしてもよい。図１４に示すように、ステップＳ１−１、Ｓ１−２を行い、ＲＡＭ３から終了履歴データ２９を読出した後（ステップＳ１−３）、そのときの車両Ｃの位置と、終了履歴データ２９に含まれる位置データ１６とが一致するか否かを判断するようにしてもよい（ステップＳ１−８）。即ち、このとき、車両Ｃが停車位置から前進した位置で駐車操作を再開するとき、そのときの車両Ｃの現在位置と終了履歴データ２９に含まれる位置データ１６とが一致しないと判断する。一方、ステップＳ１−８において、現在位置と終了履歴データ２９に含まれる位置データ１６とが一致すると判断し、且つ、スリープ時間が所定時間内である（ステップＳ１−４においてＹＥＳ）、記録画像データ１５と現在画像データ１９とが同一である場合には、画像有効フラグをオンにする（ステップＳ１−７）。このようにすると、車両Ｃが停車位置から前進した位置で駐車操作を再開するとき、画像有効フラグはオンにならないが、停車位置から後退する場合のみ駐車支援を行うことができる。

・記録画像データ１５は、所定距離毎ではなく、所定時間毎に記憶するようにしてもよい。
・駐車支援画像５１は、表示領域９ｚの上に現在画像５２、下に死角補完画像５３を表示するようにした。これ以外に、記録画像データ１５に対して、視点変換、座標変換等の画像処理を施して、その他の駐車支援画像５１を表示するようにしてもよい。また、死角補完画像５３は、車両Ｃの現在位置でのリヤ部周辺を仮想的に表示する画像としたが、リヤバンパー隅部のみでもよい。

・駐車支援装置１は、ＧＰＳ受信部を備えるようにしてもよい。そして、ＣＰＵ２は、ＧＰＳ受信部及び車速センサ２１に基づき、車両Ｃの現在位置を算出するようにしてもよい。このようにすると、例えば、車両Ｃがフェリー等で運搬され、車速センサ２１が車輪
の回転を検出していないにも関わらず移動している場合に、絶対位置の変化を検出できる。

・上記実施形態では、駐車支援モードへの遷移の可否を判断する際に、終了画像データ２６（又は記録画像データ１５）と、現在画像データ１９とを比較して、同一であるか否かを判断するようにしたが、この判断処理を省略しても良い。

本実施形態の駐車支援装置のブロック図。 カメラの取付位置の説明図。 （ａ）は画像データ、（ｂ）は記録画像データの説明図。 （ａ）は記録画像データの説明図、（ｂ）は終了履歴データの説明図。 （ａ）及び（ｂ）は、停車位置から後退するときの画像の同一性の判断の説明図、（ｃ）及び（ｄ）は、前進したときの画像の同一性の判断の説明図。 補助線の説明図。 (ａ)は記録画像データ、（ｂ）は現在画像データ、（ｃ）は合成データの説明図。 ガイド線の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 駐車支援画像の説明図。 駐車支援画像の説明図。 別例の処理手順の説明図。

符号の説明

１…駐車支援装置、２…画像データ取得手段及び判断手段及び車両状況判断手段を構成するＣＰＵ、３…履歴データ記憶手段としてのＲＡＭ、７…画像データ記憶手段としての画像メモリ、８…表示制御手段及び判断手段を構成する画像プロセッサ、９…表示手段としてのディスプレイ、１５…記録画像データ、１６…撮像位置としての位置データ、１７…時刻情報としての時刻データ、２０…撮像装置としてのカメラ、２３…イグニッションシステムを構成するイグニッションスイッチ、２９…履歴データとしての終了履歴データ、５１…駐車支援画像、Ｃ…車両、Ｇ…画像データ。

Claims (7)

1. 車両の駐車操作を支援する駐車支援方法において、
   前記車両に設けられた撮像装置から取得した画像データを、記録画像データとして駐車操作終了後も画像データ記憶手段に記憶し、
   駐車操作に関する履歴データを履歴データ記憶手段に記憶するとともに、
   駐車操作終了後、駐車操作を再開する再操作が行われた際に、前記履歴データに基づき、駐車操作終了前に記憶された前記記録画像データが有効であるか否かを判断し、有効であると判断した場合に、前記記録画像データと、最新の画像データとを用いた駐車支援画像を表示手段に出力することを特徴とする駐車支援方法。
2. 車両に搭載された駐車支援装置において、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   取得した前記画像データを、記録画像データとして記憶する画像データ記憶手段と、
   前記記録画像データと、最新の記録画像データとを用いた駐車支援画像を表示手段に出力する表示制御手段と、
   駐車操作に関する履歴データを記憶する履歴データ記憶手段と、
   駐車操作終了後、駐車操作を再開する再操作が行われた際に、前記履歴データに基づき、駐車操作終了前に記憶された前記記録画像データが有効であるか否かを判断する判断手段とを備えるとともに、
   前記表示制御手段が、駐車操作終了前に記憶された前記記録画像データが有効であると判断された場合に、前記記録画像データと、最新の画像データとを用いた駐車支援画像を前記表示手段に出力することを特徴とする駐車支援装置。
3. 請求項２に記載の駐車支援装置において、
   前記履歴データは、駐車操作を終了する際の時刻に関する時刻データを含み、
   前記判断手段は、前記時刻データと駐車操作を再開した時刻に基づいて、駐車操作が停止した時間が所定時間以下である場合に、駐車操作終了前に記憶した前記記録画像データが有効であると判断することを特徴とする駐車支援装置。
4. 請求項２又は３に記載の駐車支援装置において、
   前記履歴データは、駐車操作終了の際に前記撮像装置により撮像された前記画像データを含み、
   前記判断手段は、駐車操作を終了する際に撮像された前記画像データと、駐車操作を再開した際に撮像された画像データとを比較して、前記車両の周辺状況に変化がないと判断した際に、駐車操作終了前に記憶した前記記録画像データが有効であると判断することを特徴とする駐車支援装置。
5. 請求項２〜４のいずれか１項に記載の駐車支援装置において、
   前記履歴データは、駐車操作中に前記画像データ記憶手段に記憶した前記記録画像データであって、
   前記判断手段は、駐車操作を再開した際に撮像された画像データと、駐車操作を再開した位置と同じ位置で撮像された前記記録画像データとを比較して、前記車両の周辺状況に変化がないと判断した際に、駐車操作終了前に記憶した前記記録画像データが有効であると判断することを特徴とする駐車支援装置。
6. 請求項２〜５のいずれか１項に記載の駐車支援装置において、
   前記履歴データは、駐車操作が終了した際の前記車両の位置を含み、
   前記判断手段は、駐車操作終了の際の前記車両の位置と、駐車操作を再開した前記車両とが同じ位置であるか否かを判断する特徴とする駐車支援装置。
7. 請求項２〜６のいずれか１項に記載の駐車支援装置において、
   前記車両のイグニッションシステムからオフ信号を入力した際に、駐車操作終了であると判断する車両状況判断手段をさらに備えたことを特徴とする駐車支援装置。

Images