JPWO2011158609A1 - 運転支援装置 - Google Patents

Abstract

ドライバーがバックドアを開放するためのスペースを車両の周辺の画像とともに良好に確認する運転支援装置は、車載カメラにより少なくとも車両の後方を含んで車両の周辺の情景が撮影された撮影画像を車両の上空から見た俯瞰画像に視点変換し、開放状態となった跳ね上げ式のバックドアを俯瞰画像と同一の視点から見たグラフィック画像を俯瞰画像に重畳して車室内のモニタ装置に表示させる。

Description

本発明は、後部に跳ね上げ式のバックドアを有する車両の運転支援装置に関する。

車載カメラにより撮影した車両の周辺の画像を用いて、当該車両の駐車支援を行う駐車支援装置や、当該車両の周辺の障害物などを検出してドライバーに報知する車両周辺監視装置などの運転支援装置が知られている。特開２００７−２３７８５７号公報（特許文献１）には、駐車に際してスイング式の運転席ドア、助手席ドア、バックドア（リアゲート）などを開放するスペースが確保可能か否かを判定する機能を有する駐車補助装置が開示されている。当該駐車補助装置が搭載される車両は、車両周辺の物体を検出し、当該物体までの距離を測定するためにレーダ（前方センサ・後方センサ）を有している。そして、ドアを開くために必要なスペース（開放スペース）や開放するために物体との間に必要な距離（開放距離）が演算され、その結果が案内画像として表示される。特に、開放ができない場合には、警告画像として表示される（第２６〜３２、４８〜５２、６１〜６６、７０〜７２段落、図７〜図８、図１０等。）。また、特開２００５−３１３７７４号公報（特許文献２）には、バックドア（テールゲート）の開閉時における最外縁部の車両後端部からの車両後方距離を示す十字型の表示を、車両の後方が撮影された画像に重畳させる後方確認装置が開示されている（第２１、２５段落、図３、図４等。）。

特開２００７−２３７８５７号公報 特開２００５−３１３７７４号公報

特許文献１では、当該文献の図７〜図８、図１０に示されるようにカメラ映像に隣接して模式的な案内画像が表示される。例えば、バックドア（リアゲート）の場合には、「リアゲートオープン限界」や「リアゲートオープン不可」のメッセージと共に模式的な案内としての警告画像が表示される。しかし、カメラによる撮影画像と警告画像とが別々に表示されるため、視認性には改善の余地がある。また、ドライバーなどの利用者にとってバックドアを開く感覚をつかみやすいとは言えない。特許文献２では、当該文献の図３及び図４に示されるように、バックドアを開く操作を行う人間の路面上の立ち位置に対応するような表示がカメラの撮影画像上に重畳される。従って、三次元的な開閉イメージをつかみやすいとは言えず、やはり視認性には改善の余地がある。

上記、背景技術に鑑みて、ドライバーが、バックドアを開放するためのスペースを車両の周辺の画像とともに良好に確認することができる運転支援装置の提供が望まれる。

上記課題に鑑みた本発明に係る、後部に跳ね上げ式のバックドアを有する車両の運転支援装置の特徴構成は、
車載カメラにより少なくとも前記車両の後方を含んで前記車両の周辺の情景が撮影された撮影画像を取得する撮影画像取得部と、
前記撮影画像を前記車両の上空から見た俯瞰画像に視点変換する視点変換部と、
開放状態となった前記バックドアを前記俯瞰画像と同一の視点から見て、前記バックドアの形状を表したグラフィック画像を生成するグラフィック画像生成部と、
前記俯瞰画像に前記グラフィック画像を重畳して車室内のモニタ装置に表示させる表示制御部と、を備える点にある。

この特徴構成によれば、車両を上空から見た俯瞰画像において、開放された状態のバックドアの形状を示すグラフィック画像が重畳されるので、ドライバーは、バックドアを開放するためのスペースの有無を容易に確認することができる。車載カメラによる撮影画像に基づき視点変換された俯瞰画像とグラフィック画像とが別々に表示されるものではなく、両者が重ね合わせて表示されるので、良好な視認性が得られる。また、俯瞰画像を利用することにより、ドライバーはバックドアが開閉する際の三次元的なイメージをつかみやすい。このように、本特徴構成によれば、ドライバーが、バックドアを開放するためのスペースを車両の周辺の画像とともに良好に確認することができる運転支援装置が提供される。

ここで、前記グラフィック画像が、前記バックドアの外観画像であると好適である。グラフィック画像がバックドアの外観画像であると、俯瞰画像における車両に対して違和感なく開放されたバックドアが付加されることになる。尚、外観画像は、バックドアの外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際にバックドアの外観を撮影した写真画像や映像画像でもよい。外観画像を用いることにより、画面のデザイン性もよく、高い視認性を有してドライバーにバックドアを開放するためのスペースを確認させることが可能となる。

また、前記グラフィック画像は、前記バックドアの輪郭線であると好適である。グラフィック画像がバックドアの輪郭線であると、少ない演算負荷や少ない記憶容量でグラフィック画像を生成し、俯瞰画像にそのグラフィック画像を重畳させることができる。また、重畳されたグラフィック画像は明らかに実際のバックドアとは異なることが理解できるから、実際にバックドアが開放されている訳ではなくガイドとして表示されていることを良好に示すことができる。また、グラフィック画像が輪郭線であると、俯瞰画像の視点から見て開放されたバックドアにより死角となる領域が生じにくい。従って、周辺監視機能を妨げることなく、バックドアを開放するスペースをドライバーに報知することができる。

また、前記グラフィック画像は、半透明であると好適である。グラフィック画像が透明や半透明であると、俯瞰画像の視点からは、開放されたバックドアの陰となって死角となる領域も、グラフィック画像を透過して表示される。例えば路面上に何らかの物体が存在する場合であっても、グラフィック画像によって当該物体の視認性が妨げられにくい。従って、周辺監視機能を妨げることなく、バックドアを開放するスペースをドライバーに報知することができる。また、重畳されたグラフィック画像が実際のバックドアとは異なることも容易に理解できるから、実際にバックドアが開放されている訳ではなくガイドとして表示されていることも良好に示すことができる。

また、前記グラフィック画像は、開放状態の前記バックドアの前記俯瞰画像における大きさよりも大きい範囲の画像として生成されると好適である。開放状態のバックドアを示すグラフィック画像が実際の大きさよりも大きく表示されることによって、ドライバーは余裕を持って運転することができる。例えば、ドライバーがグラフィック画像に基づいて、バックドアを開放可能な最低限のスペースを残して駐車しようとした場合であっても、若干の余裕空間が設定されることになる。従って、バックドアの開放時における他の物体への接触などの可能性も抑制される。

また、本発明に係る運転支援装置の前記表示制御部は、所定の表示条件を満たした際に前記俯瞰画像に前記グラフィック画像を重畳すると好適である。常に俯瞰画像に開放状態のバックドアを示すグラフィック画像が重畳表示されると、運転支援装置の利用者（ドライバー）によっては煩わしさを覚える場合もある。当該グラフィック画像が所定の表示条件を満たした場合に重畳されるように構成されると、利便性を確保しつつ、利用者に煩わしさを感じさせることもないので好適である。

また、本発明に係る運転支援装置の前記表示制御部は、前記グラフィック画像の前記俯瞰画像への重畳を指示する指示入力部に対する操作が前記車両の搭乗者によりなされた際に、前記表示条件を満たしたと判定すると好適である。車両の搭乗者による指示に基づいてグラフィック画像が重畳されるので、運転支援装置の利用者（ドライバーなどの搭乗者）が必要と考える時に適切にグラフィック画像を表示させることができる。従って、利用者に煩わしさを感じさせることもなく、利便性を確保することができる。尚、搭乗者とは、ドライバーを含め、俯瞰画像への重畳を指示する指示入力部に対する操作が可能な人物を指す。例えば、ドライバーの依頼により、助手席に着座する人物が指示入力部を操作する場合も含むものである。

また、本発明に係る運転支援装置は、さらに、前記車両が駐車される際の経過状態を示す駐車状態を判定する駐車状態判定部を備え、前記表示制御部が、前記駐車状態に応じて前記表示条件を満たすか否かを判定すると好適である。バックドアが開放可能なスペースの有無は、最終的な駐車位置において重要である。従って、開放状態のバックドアを示すグラフィック画像は、車両の駐車状態に応じて重畳表示されると好適である。本構成によれば、駐車状態判定部を備えることにより、駐車状態が判定され、当該判定結果に基づいてグラフィック画像が重畳表示されるので、適切な時期にグラフィック画像が重畳表示され、高い利便性が確保される。

また、本発明に係る運転支援装置の前記表示制御部は、前記車両の移動速度が所定の上限速度以下の場合に、前記表示条件を満たすと判定すると好適である。車両が上限速度よりも速く移動するような場合には、ドライバーは、バックドアの開放スペースなどよりも、実際の車両周辺の状況などに意識を向ける方が好ましい。本構成のように、車両の移動速度が上限速度以下の場合に表示条件を満たすようにすることによって、安全性を維持した上で利便性を向上させることができる。尚、「上限速度以下」、「上限速度未満」など、基準値との境界条件については、適宜設定可能である。

また、前記表示制御部は、前記俯瞰画像と同一の視点から見た前記車両を示す車両イメージから前記バックドアが開扉されているように前記グラフィック画像を重畳すると好適である。このようにグラフィック画像を表示することにより、バックドアが開扉された状態をイメージし易くすることができる。

また、前記俯瞰画像は、前記車両の上空から鉛直方向に見下ろした画像であると好適である。このような構成であれば、バックドアが最も開いている状態を一目で視認することが可能となる。したがって、ドライバーが、バックドアを開放するためのスペースを車両の周辺の画像とともに、より良好に確認することができる。

車両を一部切り欠いて示す車両の斜視図 カメラの撮影範囲を示す平面図 車両のシステム構成の一例を模式的に示すブロック図 撮影画像及び俯瞰画像のモニタ装置への表示例を示す図 運転支援装置の機能構成の一例を模式的に示すブロック図 撮影画像及びグラフィック画像の重畳前の俯瞰画像の表示例を示す図 撮影画像及びグラフィック画像の重畳後の俯瞰画像の表示例を示す図

以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、車両に備えられた複数のカメラの撮影画像を元にして、車両を上方から見下ろした形態となる俯瞰画像を生成してモニタ装置に表示する運転支援装置（駐車支援装置・周辺監視装置）を例として説明する。撮影画像及び俯瞰画像を用いることにより、ドライバーに対して車両を駐車させるための運転操作の支援や、車両の周辺の障害物などの監視支援を行うことができる。従って、運転支援装置は、駐車支援装置や周辺監視装置としても機能する。図１に示すように、車両９０は、少なくともその後部に、上部を揺動軸とする跳ね上げ式のバックドア９１（ハッチバック式のバックドア９１）を備えている。以下、駐車支援を実行する際に、バックドア９１を開放可能な空間が確保可能かどうかを俯瞰画像上においてドライバーなどの搭乗者に報知する例を用いて本発明の運転支援装置の実施形態を説明する。

車両９０には、複数の車載カメラが設置されている。図１及び図２に示すように、車両９０の後部、即ちバックドア９１には後方カメラ１ａが備えられている。左前部ドア９２に備えられた左サイドミラー９４の下部には左側方カメラ１ｂが備えられ、右前部ドア９３に備えられた右サイドミラー９５の下部には右側方カメラ１ｃが備えられている。また、車両９０の前部には、前方カメラ１ｄが備えられている。以下の説明において、適宜、これらのカメラ１ａ〜１ｄを総称してカメラ１（車載カメラ）と称する。

カメラ１はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するデジタルカメラである。カメラ１は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。後方カメラ１ａ及び前方カメラ１ｄは、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。左側方カメラ１ｂ及び右側方カメラ１ｃはサイドミラー９４及び９５の底部に光軸を下方に向けて設置され、車両９０の側面の一部と路面（地面）とが撮影可能である。

カメラ１により撮影された画像は、図３に示すように、スーパーインポーズ部２ａ、グラフィック描画部２ｂ、フレームメモリ２ｃなどを有する画像処理モジュール２を介して、モニタ装置４に表示可能である。各フレームの２次元画像は、フレームメモリ２ｃに格納され、フレームごとに画像処理やグラフィックの重畳を施されることが可能である。また、画像処理モジュール２は、複数のカメラ１により撮影された撮影画像を合成して、より広い視野の合成画像を生成したり、撮影画像や合成画像の視点を変換して俯瞰画像を生成したりすることも可能である。

車両９０の前後位置の角部の外方位置に２つのカメラの撮影画像における重複領域Ｗ（図２を参照）が形成され、この重複領域Ｗにおいて境界部位を目立たなくする画像処理が実施されて合成画像が生成される。また、この合成画像の視点を変換し、車両９０の屋根の外観画像（グラフィック画像）が視点変換後の画像に重畳されて俯瞰画像が生成される。このグラフィック画像は、車両９０の屋根の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両９０の屋根の外観を撮影した（予め撮影して記憶しておいた）写真画像や映像画像でもよい。当然ながら、単一のカメラ１の撮影画像をそれぞれ視点変換し、視点変換された複数のカメラ１の撮影画像を合成してもよい。複数の撮影画像の合成や画像の視点変換に関する画像処理技術は公知であるので詳細な説明は省略する。グラフィック描画部２ｂへの描画指示や、スーパーインポーズ部２ａへのグラフィック重畳指示は、後述するＣＰＵ（central processing unit）５から発せられる。

モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図３に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂと、スピーカ４ｃとを有している。表示部４ａは、画像処理モジュール２から提供されるカメラ１の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図３においては、スピーカ４ｃは、モニタ装置４に備えられている場合を例示しているが、スピーカ４ｃはドアの内側など、他の場所に備えられても良い。スピーカ４ｃは、ＣＰＵ５の指示に応じて音声処理モジュール３から提供される音声を出力する。尚、ＣＰＵ５は、単純にブザー８を介して報知音を鳴らす場合もある。

ＣＰＵ５は、画像認識や進路予想などの高度な演算処理を行い、運転支援装置１０の中核を担う。ＣＰＵ５は、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、ＣＰＵ５は、必要に応じてワークメモリ７に一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ６やワークメモリ７が、ＣＰＵ５とは別のメモリである例を示しているが、ＣＰＵ５と同一のパッケージ内に集積されていてもよい。運転支援装置１０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、運転支援ＥＣＵ（electronic control unit）９として構成される。本例では、ＣＰＵ５を中核としたが、運転支援装置１０は、ＤＳＰ（digital signal processor）など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。

ＣＰＵ５は、図３において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。図１に示すように、運転支援装置１０（ＣＰＵ５）は、車内のパワーステアリングシステム３１やブレーキシステム３７と接続される。これら各システムは、運転支援装置１０と同様にＣＰＵなどの電子回路を中核として構成され、運転支援ＥＣＵ９と同様に周辺回路と共に構成されたＥＣＵを中核として構成される。

パワーステアリングシステム３１は、電動パワーステアリング（EPS : electric powersteering）システムやＳＢＷ（steer-by-wire）システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ４１によりアシストトルクを付加する他、ステアリングホイールや操舵輪をアクチュエータ４１により駆動することによって自動操舵を行う。ブレーキシステム３７は、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、ＢＢＷ（brake-by-wire）システムである。このシステムは、アクチュエータ４７を介して車両９０に制動力を付加することができる。

図３において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ２１から取得して各種制御を実行する。

車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０は、車輪速センサ２３から取得した情報に基づいて車両９０の移動量などを演算し、各種制御を実行する。車輪速センサ２３は、ブレーキシステム３７に備えられている場合もある。ブレーキシステム３７は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ２３がブレーキシステム３７に備えられている場合には、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサであり、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。運転支援装置１０は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。

シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、運転支援装置１０は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。

また、ステアリングホイールへの操作トルクを検出するトルクセンサ２２は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。運転支援装置１０は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両９０のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ２９により検出された場合、運転支援装置１０は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。

図３に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接ＣＡＮ５０に接続されても良いし、種々のシステムを介して接続されてもよい。

駐車支援装置として機能する運転支援装置１０は、上述したようにＣＰＵ５を中核として構成され、プログラムメモリ６に格納されたプログラム（ソフトウェア）と協働して駐車支援のための種々の演算を実施する。駐車支援の種類としては、
（１）単純に車内に搭載されたモニタ上に車両後方の映像を映し出すもの、
（２）さらに、車幅延長線や予想進路線などのガイド線を重畳表示させるもの、
（３）駐車目標を設定して音声などを用いて操舵方向や操舵量、発進や停止などの運転操作を指示して誘導するもの、
（４）さらに、ドライバーが速度調整だけを担い、自動操舵により駐車目標へ誘導するもの、などがある。（３）及び（４）では、駐車目標が設定されるが、この駐車目標の設定についても、様々な手法がある。例えば、
（ａ）駐車支援開始時の車両の停止位置に基づいて車両からの所定位置を駐車目標の初期位置として設定するもの、
（ｂ）駐車目標位置を通過した際に、ソナー（クリアランスソナー３３）などで空き領域を検出して自動認識し、駐車目標を設定するもの、
（ｃ）駐車枠線などの目標物を画像認識して駐車目標を設定するもの、
などがある。これらの手法については、公知であるのでここでは詳細な説明は省略する。本実施形態においては、上記（２）に例示したように撮影画像に対してガイド線を重畳させ、ドライバーの手動操舵による駐車のための運転操作を支援する場合を例として説明する。これらの駐車支援を実行するための具体的な制御技術（撮影画像におけるガイド線の位置を演算する技術）についても公知であるから、ここでは詳細な説明は省略する。

例えば、車庫入れ駐車の駐車支援が実行される場合、本実施形態においては、モニタ装置４に図４に示すようなレイアウトで画像が表示される。即ち、モニタ装置４の表示部４ａは、主表示部４Ｍと副表示部４Ｓとに分割表示される。本実施形態においては、主表示部４Ｍには、単一のカメラ１により撮影された撮影画像Ｆ１が表示され、副表示部４Ｓには俯瞰画像Ｆ３が表示される。図４においては、主表示部４Ｍには後方カメラ１ａにより撮影された車両９０の後方の撮影画像Ｆ１が、ガイド線Ｙ（予想進路線）と共に表示される。

主表示部４Ｍはさらに画面分割されており、撮影画像Ｆ１は、主表示部４Ｍの相対的に広い画面の下部領域４Ｌに表示される。相対的に狭い画面の上部領域４Ｕには、下部領域４Ｌに表示される撮影画像Ｆ１を撮影したカメラ１を示すカメラアイコンＧ２が表示される。カメラアイコンＧ２は車両９０におけるカメラ１の搭載位置と視野Ｖを模式的に示すグラフィック画像（イラスト画像）として表示される。本実施形態では、後方カメラ１ａによる撮影画像Ｆ１が下部領域４Ｌに表示され、車両９０の後部と後方カメラ１ａの模式的な視野ＶとがデザインされたカメラアイコンＧ２が上部領域４Ｕに表示される。尚、カメラアイコンＧ２に示される視野Ｖは、実際のカメラ１の視野と必ずしも一致しなくてよい。視野Ｖは、視認性及び美的デザイン性を重視して設定される。

１つの俯瞰画像Ｆ３が表示される副表示部４Ｓは複数の分割領域に分割されている。本実施形態においては、副表示部４Ｓは、副表示部４Ｓの各辺を２分し互いに直交する２本の境界線Ｌによって４つの領域に区分けされる。また、２本の境界線Ｌが交差する位置（図４の俯瞰画像Ｆ３にあっては中央部）には、車両９０の上面視における車両イメージＧ１が表示される。この車両イメージＧ１は、上述の車両９０の屋根の外観画像（グラフィック画像）を含み、当該外観画像（グラフィック画像）と同様に、車両９０の外観を模式的に表現したり写実的に表現したりしたイラスト画像でもよいし、実際に車両９０の外観を撮影した（予め撮影して記憶しておいた）写真画像や映像画像でもよい。区分けされた何れかの領域においてドライバーが障害物となるような物体を発見するなどの気になる事象があると、例えば当該領域をタッチすることによってその領域を副表示部４Ｓ全体の大きさまで、拡大表示させることが可能である。また、その際、障害物となると判定されるような物体をクリアランスソナー３３や画像認識によって検出し、拡大表示された副表示部４Ｓ上において強調表示させてもよい。即ち、運転支援装置１０は周辺監視機能も備えており、副表示部４Ｓは周辺監視装置として機能する運転支援装置１０の主たる表示部となる。

図４では、後方カメラ１ａの撮影画像Ｆ１が表示される場合を例示したが、当然ながら他のカメラ１の撮影画像Ｆ１も表示可能である。どのカメラ１の撮影画像Ｆ１を表示させるかについては、タッチパネル４ｂに設けられた不図示のタッチボタンによって選択可能としてもよいし、車両９０内に別途選択ボタンを設けてもよい。また、タッチボタンと選択ボタンとが併用されてもよい。また、例えば後方カメラ１ａと前方カメラ１ｄなどその他のカメラ１との撮影画像Ｆ１の切り替えは、シフトレバースイッチ２５の検出結果に基づいて自動的に切り替えられてもよい。つまり、シフトレバーがリバース位置に設定された場合に、自動的に後方カメラ１ａの撮影画像Ｆ１が表示されてもよい。

本実施形態では、シフトレバーがリバース位置以外の場合には、定常的にはナビゲーションシステムの地図等のナビゲーション画面がモニタ装置４に表示されているものとする。そして、タッチボタンや選択ボタンなどの操作により、前方カメラ１ｄ、左側方カメラ１ｂ、右側方カメラ１ｃの撮影画像Ｆ１が表示されるものとする。尚、ここで後方カメラ１ａの撮影画像Ｆ１も選択可能であってもよい。一方、シフトレバーがリバース位置に設定されると、ナビゲーション画面やカメラ１ｂ，１ｃ，１ｄの撮影画像Ｆ１から、自動的に後方カメラ１ａの撮影画像Ｆ１の表示に切り替わるものとする。俯瞰画像Ｆ３については、シフトレバーの位置に関係なく、何れかのカメラ１の撮影画像Ｆ１が表示される際には、副表示部４Ｓに表示される。予想進路線を含むガイド線Ｙは、シフトレバーがリバース位置であって後方カメラ１ａの撮影画像Ｆ１が主表示部４Ｍに表示される際にのみ、撮影画像Ｆ１（主表示部４Ｍ）及び俯瞰画像Ｆ３（副表示部４Ｓ）に表示される。以下、シフトレバーがリバース位置に設定された場合を例として本発明に係る運転支援装置１０の実施形態を説明する。

本実施形態において運転支援装置１０は、一例として図５に示すように、撮影画像取得部１１、画像合成部１２、視点変換部１３、グラフィック画像生成部１４、指示入力受取部１５、駐車状態判定部１６、移動速度判定部１７、表示制御部１８の各機能部を有して構成される。上述したように、運転支援装置１０は、ＣＰＵ５やメモリ、その他の周辺回路と共に、運転支援ＥＣＵ９として構成される。ＣＰＵ５が、プログラムメモリ６に格納されたプログラムやパラメータを利用して各種演算処理を実行することによって、運転支援装置１０の各機能部が実現される。即ち、運転支援装置１０の各機能部は、ハードウェアとソフトウェアとの協働によって実現される。

撮影画像取得部１１は、カメラ１により車両９０の周辺の情景が撮影された撮影画像を取得する機能部である。本実施形態においては、車両９０にカメラ１が４つ備えられているので、撮影画像取得部１１は、４つのカメラ１により撮影された４種類の撮影画像を取得する。カメラ１が車両９０に１つだけ備えられている場合、例えば、少なくとも車両９０の後方を含んで車両９０の周辺の情景を撮影するカメラ１（後方カメラ１ａ）のみが備えられている場合には、後方カメラ１ａの撮影画像を取得する。

画像合成部１２は、複数のカメラ１（本実施形態では４つのカメラ１）により撮影され、それぞれの撮影画像が少なくとも他の１種類の撮影画像との間で共通部分（図２に示す符号Ｗ）を含む複数種（４種類）の撮影画像を１つの合成画像へ合成する機能部である。視点変換部１３は、合成画像を車両９０の上空から見た俯瞰画像に視点変換する機能部である。車両９０にカメラ１が１つだけ備えられている場合には、合成画像は存在しない、又は合成画像は撮影画像と同じ画像である。この場合には、視点変換部１３は、当該１つの撮影画像を車両９０の上空から見た俯瞰画像に視点変換する。尚、複数の撮影画像が合成された合成画像も広義の撮影画像であるから、視点変換部１３は、単数又は複数の撮影画像を車両９０の上空から見た俯瞰画像に視点変換する機能部ということもできる。尚、当然ながら、視点変換部１３がそれぞれの撮影画像を視点変換して単独俯瞰画像を生成し、複数の単独俯瞰画像を画像合成部１２が合成して合成俯瞰画像を生成してもよい。単独俯瞰画像にも図２に示す符号Ｗに相当する共通部分が含まれるから、この共通部分を利用して画像合成部１２は合成俯瞰画像を生成することができる。

グラフィック画像生成部１４は、バックドア９１が開放状態となった際に、俯瞰画像と同一の視点から見たバックドア９１を表すグラフィック画像を生成する機能部である。このグラフィック画像は、バックドア９１の形状（外形）を表す画像として生成される。例えば、グラフィック画像は、バックドア９１の外観画像である。外観画像は、バックドア９１が実際に開放していると想起させるような、実際にバックドア９１の外観を撮影した写真画像や映像画像でもよいし、バックドア９１の外観を線画などで模式的に表現したイラスト画像（デザイン画像）でもよい。勿論、イラスト画像であってもバックドア９１を写実的に表現されていてもよい。また、イラスト画像は、外観画像に限らず、バックドア９１の外縁部の輪郭線やシルエットを示す画像であってもよい。

即ち、グラフィック画像は、俯瞰画像上においてバックドア９１の占める範囲を良好に示すことが可能な形態であれば、原則として画像の種類を問うものではない。俯瞰画像上に重畳されるグラフィック画像には、上述したように車両９０の屋根を示すものもある。１つの形態として、車両９０の屋根とバックドア９１とが同じ種類の画像によって表現されたグラフィック画像であると、両者の関連性が理解し易く、美観もよく、好適である。但し、俯瞰画像において車両９０が存在すること及びその位置については現実を表しているが、バックドア９１が開放されている状態であることは多くの場合、現実を表してはいない。バックドア９１を開放した状態で駐車のための運転をしていることは極めて稀であると考えられるからである。従って、別の形態として、車両９０の屋根とバックドア９１とを別の種類の画像によって表現されたグラフィック画像としてもよい。例えば、現実の状態である車両９０の屋根は写真画像によって表現し、仮想の状態であるバックドア９１はイラスト画像とするなどである。現実と仮想とを区別することが求められる場合には有効である。

さらに、グラフィック画像は、写真画像、映像画像、イラスト画像（外観画像、輪郭線、シルエット等を含む）の何れの場合であっても、透明画像や半透明画像として生成されてもよい。即ち、グラフィック画像が、少なくとも半透明であれば、路面上に障害物などが存在している場合に、バックドア９１を示すグラフィック画像の陰に当該障害物などが隠されることがない。視認性を維持した状態でバックドア９１の開放スペースの確認が可能となるので、周辺監視機能も良好に維持される。尚、上述したように、車両９０の屋根とバックドア９１とのグラフィック画像を異なる表現方法で表示させる場合、車両９０の屋根とバックドア９１とが同じ種類の画像によって表現し、その表示形態を不透明と透明（半透明を含む）とによって異ならせてもよい。

グラフィック画像は、写真画像、映像画像、イラスト画像（外観画像、シルエット）などで表現される場合には、最外縁を示す輪郭線を残して透明や半透明とされてもよい。また、グラフィック画像は、常に透明や半透明であっても良いが、障害物などの物体の存否によって表示形態を異ならせてもよい。例えば、通常は不透明のグラフィック画像が表示され、クリアランスソナー３３等のセンサによって障害物となるような物体が検出されている場合に透明や半透明に変更されてもよい。また、クリアランスソナー３３等のセンサによる検出に限らず、不図示の画像認識部やグラフィック画像生成部１４による画像処理によって均一な路面とは異なることを認識して、グラフィック画像を透明や半透明にしてもよい。つまり、グラフィック画像が重畳される位置における俯瞰画像の均一性（コントラスト）に応じて、グラフィック画像の透明度を変更してもよい。尚、当然ながら、透明度は一定である必要はなく、物体の検出確率や路面の均一度、色合い等に応じて変動してもよい。また、障害物などの物体の存否によって表示形態を異ならせる場合、透明や半透明に限らず、グラフィック画像を点滅させてドライバーの注意を喚起してもよい。

表示制御部１８は、俯瞰画像にグラフィック画像を重畳して車室内のモニタ装置４に表示させる機能部である。表示制御部１８は、後述するように、指示入力受取部１５や駐車状態判定部１６、移動速度判定部１７などの処理結果に基づき、表示条件を満たしているか否かを判定し、表示条件を満たしている場合に、俯瞰画像にグラフィック画像を重畳して車室内のモニタ装置４に表示させる。すなわち、表示制御部１８は、俯瞰画像と同一の視点から見た車両９０を示す外観画像（グラフィック画像）である車両イメージＧ１からバックドア９１が開扉されているようにグラフィック画像Ｇ３を重畳する。これにより、ドライバーが、バックドア９１が開扉された状態をイメージし易くすることができる。

指示入力受取部１５は、グラフィック画像の俯瞰画像への重畳を指示する指示入力部に対する操作がドライバーなど、車両９０の搭乗者によりなされた際に、その指示入力を受け取る機能部である。表示制御部１８は、指示入力受取部１５が受け取った指示入力に基づき、表示条件を満たしているか否かを判定し、表示条件を満たしている場合にグラフィック画像を俯瞰画像へ重畳させる。

駐車状態判定部１６は、車両９０が駐車される際の経過状態を示す駐車状態を判定する機能部である。例えば、駐車状態判定部１６は、ステアリングセンサ２１から取得される操舵角度や、車輪速センサ２３から取得される速度などに基づき、公知のオドメトリ技術などを用いて駐車時の車両９０の軌跡などの駐車経過を演算し、車両９０が直進後退状態となった場合に駐車の終盤であると判定する。表示制御部１８は、駐車状態判定部１６による駐車状態の判定結果に基づき、表示条件を満たしているか否かを判定し、表示条件を満たしている場合にグラフィック画像を俯瞰画像へ重畳させることができる。

また、本実施形態のように、車両９０がサイドカメラ１ｂ及び１ｃを備えており、区画線Ｋが描かれた駐車区画に車両９０を駐車させる場合には、両サイドカメラ１ｂ，１ｃによって区画線Ｋを撮影可能である。そして、駐車状態判定部１６は、両サイドカメラ１ｂ，１ｃの撮影画像に基づいて区画線Ｋを画像認識することによって、駐車区画に対する車両９０の平行度を演算することが可能である。例えば、駐車の初期である図４に比べて駐車の終盤である図６では、区画線Ｋと車両９０との角度が小さくなり、ほぼ平行状態となっている。つまり、区画線Ｋが存在するような駐車区画への駐車に際しては、区画線Ｋと車両９０との平行度を求め、その平行度に基づいて駐車状態を判定することができる。そして、駐車状態判定部１６は、駐車区画に対して車両９０が所定の範囲内で平行となった場合に、駐車の終盤であると判定することができる。より具体的には、区画線Ｋと車両９０との平行度が所定のしきい値よりも高くなれば（区画線Ｋと車両９０とのなす角度が所定のしきい値よりも小さくなれば）、駐車状態が駐車終盤であると判定することができる。区画線Ｋと車両９０との角度は、後方カメラ１ａの撮影画像を用いて画像処理によって演算することが可能であるが、駐車終盤に近づくほど、撮影画像上において区画線Ｋの長さが短くなり、演算精度が低下する可能性がある。上記実施形態のように、サイドカメラ１ｂ，１ｃを有する場合には、これらサイドカメラの撮影画像も用いてより精度のよい演算が可能である。

移動速度判定部１７は、車輪速センサ２３の検出結果に基づいて、車両９０の移動速度が所定の上限速度以内であるか否かを判定する。駐車を完了する際には、車両９０の移動速度も低下するから、移動速度が上限速度よりも速い場合には駐車運転の終盤である可能性は低く、可能な限り周辺監視機能を優先させることが好ましい。逆に、バックドア９１が開放可能なスペースを確認する必要性は低いから、移動速度が上限速度よりも速い場合には、グラフィック画像を俯瞰画像へ重畳させる必要性も低い。例えば、表示制御部１８は、移動速度判定部１７の判定結果に基づいて車両９０の移動速度が所定の上限速度以下の場合に表示条件を満たすと判定し、グラフィック画像を俯瞰画像へ重畳させることができる。

以下、図６及び図７を利用して俯瞰画像Ｆ３にグラフィック画像Ｇ３を重畳させる具体例について説明する。図６は、図４に示した状態から車両９０が後退を続け、駐車の終盤に差し掛かった状態におけるモニタ装置４の表示例である。ここで、ドライバーはバックドア９１を開放可能な状態で駐車を完了させるために、バックドア９１の開放スペースを確認する。具体的には、ドライバーは、タッチパネル４ｂ上において副表示部４Ｓの下方に配置されたタッチボタン４Ｂ（「バックドアスペースを調べる」）にタッチする。タッチボタン４Ｂ（指示入力部）へのドライバーによる操作は、指示入力受取部１５に伝達される。指示入力受取部１５は、タッチボタン４Ｂへの操作をグラフィック画像Ｇ３の俯瞰画像Ｆ３への重畳を指示する操作として、表示制御部１８へグラフィック画像の重畳をリクエストする。表示制御部１８は、このリクエストにより表示条件を満たすと判定する。そして、その判定結果に基づいて、表示制御部１８は、図７に示すように俯瞰画像Ｆ３にグラフィック画像Ｇ３を重畳させる。これにより、ドライバーは良好にバックドア９１の開放スペースを確認することができ、バックドア９１を開放可能な状態で駐車を完了させることができる。

本発明は、上記実施形態の説明において例示したような構成に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。以下、そのような変形例のいくつかを提示する。

〔１〕上記実施形態においては、４つのカメラ１の撮影画像を合成して車両９０の周囲の全てを含む俯瞰画像を生成し、その俯瞰画像にバックドア９１を示すグラフィック画像Ｇ３を重畳させた。しかし、バックドア９１を開放可能なスペースは車両９０の後方に存在するので、後方カメラ１ａのみの画像を用いて俯瞰画像を生成してもよい。つまり、少なくとも車両９０の後方を含んで車載カメラにより車両９０の周辺の情景が撮影された撮影画像を車両９０の上空から見た俯瞰画像に視点変換し、その俯瞰画像にグラフィック画像Ｇ３を重畳させてもよい。尚、当然ながら、後方カメラ１ａ、左側方カメラ１ｂ、右側方カメラ１ｃの撮影画像により、車両９０の後部における周囲を含む俯瞰画像を生成し、その俯瞰画像にグラフィック画像Ｇ３を重畳させてもよい。

〔２〕グラフィック画像Ｇ３は、写真画像、イラスト画像、透明、半透明などの画像の種類や表示形態などの違いに依らず、開放状態のバックドア９１の俯瞰画像における実際の大きさよりも大きい範囲の画像として生成されてもよい。当然ながら、バックドア９１のみではなく、車両９０も俯瞰画像における実際の大きさよりも大きい範囲の画像として生成されてもよい。グラフィック画像Ｇ３や車両イメージＧ１が実際の大きさよりも大きく表示されることによって、ドライバーは余裕を持って運転することができる。ドライバーが、最低限のスペースを残して駐車しようとした場合であっても、若干の余裕空間が設定されることになる。従って、バックドア９１の開放時における他の物体への接触などの可能性も抑制される。バックドア９１を含め、車両９０もやや拡大されたグラフィック画像として生成される場合、開放状態のバックドア９１の外縁を含めて車両９０の外縁が概ね１０ｃｍ程度大きくなるような尺度で均等に拡大されると好適である。

〔３〕図６及び図７を用いて説明した上記実施形態では、ドライバーがタッチボタン４Ｂを操作することによって、グラフィック画像Ｇ３が重畳される場合を例示した。つまり、表示制御部１８は、所定の表示条件を満たした際に俯瞰画像にグラフィック画像Ｇ３を重畳するが、この表示条件として、ドライバーによるタッチボタン４Ｂへの操作を指示入力受取部１５を介して表示制御部１８が検知したことを例として説明した。しかし、この形態に限定されることなく、上述した駐車状態判定部１６や移動速度判定部１７の判定結果も利用して、種々の「表示条件」を設定することが可能である。

例えば、上述したように、表示制御部１８は、駐車状態判定部１６により判定される駐車状態に応じて表示条件を満たすか否かを判定してもよい。駐車状態とは、車両９０が駐車される際の経過状態を示すものである。バックドア９１が開放可能な否かは、駐車終盤において確認が必要であるから、表示制御部１８は、駐車状態が駐車終盤であるときに表示条件を満たすと判定することができる。また、表示制御部１８は、移動速度判定部１７により判定される車両９０の移動速度に応じて表示条件を満たすか否かを判定してもよい。駐車終盤においては、車両９０の移動速度が低下するから、車両９０が所定の設定速度以下となった際に、表示条件を満たすと判定することができる。尚、移動速度判定部１７により判定される車両９０の移動速度に基づいて、駐車状態判定部１６が駐車状態を判定する構成であってもよい。即ち、移動速度判定部１７により車両９０が所定の設定速度以下となったことが判定された際に駐車状態判定部１６が駐車状態が駐車終盤であると判定してもよい。

表示制御部１８は、ドライバーなど搭乗者の指示入力の有無に拘わらず、駐車状態判定部１６や移動速度判定部１７の判定結果に基づき、駐車状態が駐車終盤であるときや車両９０が所定の設定速度以下となった際に、表示条件を満たすと判定して、自動的にグラフィック画像Ｇ３を重畳させることができる。あるいは、表示制御部１８は、駐車状態が駐車終盤であるときや車両９０が所定の設定速度以下となった際に、第１表示条件を満たすと判定してタッチボタン４Ｂを表示させ、その後の搭乗者によるタッチボタン４Ｂへの操作により第２表示条件を満たすと判定してグラフィック画像Ｇ３を表示するようにしてもよい。例えば、図４においては駐車初期であるのでタッチボタン４Ｂを表示させず、図６のように駐車終盤においてタッチボタン４Ｂを表示させてもよい。

〔４〕上記においては、表示条件を満たす際の具体例について説明したが、それら種々の表示条件が満たされた場合であっても、重畳表示を禁止するための条件（表示禁止条件）が設定されていてもよい。表示制御部１８は、表示禁止条件が満たされていない場合にのみ、他の条件の成立に応じて表示条件が満たされると判定する。例えば、上述したように、表示制御部１８は、移動速度判定部１７の判定結果に基づき車両９０の移動速度が所定の上限速度（例えば６ｋｍ／ｈ程度。）以下の場合に、表示条件を満たすと判定することができる。換言すれば、車両９０の移動速度が所定の上限速度を超えているときには、「表示禁止条件を満たす」ということができる。表示制御部１８は、表示禁止条件が成立している場合には、タッチパネル４ｂへタッチされたり、区画線Ｋに対して車両９０が平行であって駐車終盤と判定されたりしても、表示条件を満たすとは判定しない。ドライバーは、グラフィック画像Ｇ３を参照するよりも、実際の撮影画像や、直接目視による確認を行うことが好ましい。従って、表示制御部１８は、車両９０の移動速度が所定の上限速度を超えているときには、表示条件を満たすと判定せず、移動速度が所定の上限速度以下の場合にのみ、表示条件を満たすと判定すると好適である。

〔５〕ドライバーや他の搭乗者がグラフィック画像Ｇ３の表示を指示する指示入力部は、タッチボタン４Ｂに限定されるものではない。車室内に設けられた機械的なスイッチや音声認識装置であってもよい。

〔６〕上記においては、後退を伴う駐車時においてバックドア９１を示すグラフィック画像Ｇ３が俯瞰画像に重畳される例を示した。しかし、主表示部４Ｍに表示される撮影画像とは異なり、副表示部４Ｓに表示される俯瞰画像は前進時においても車両９０の全方位の情景を表示しているので、前進時においてもタッチボタン４Ｂへの指示などによってグラフィック画像Ｇ３が俯瞰画像に重畳されてよい。

〔７〕上記においては、俯瞰画像Ｆ３は、撮影画像を車両９０の上空から見た画像であるとして説明した。例えば、このような俯瞰画像Ｆ３として、車両９０の上空から鉛直方向に当該車両９０を見下ろした画像とすると好適である。係る場合、バックドア９１が最も開いている状態を一目で視認することが可能となる。したがって、ドライバーが、バックドア９１を開放するためのスペースを車両９０の周辺の画像とともに、より良好に確認することができる。

以上、説明したように、本発明によってドライバーがバックドアを開放するためのスペースを車両の周辺の画像とともに良好に確認することが可能となる。

本発明は、後部に跳ね上げ式のバックドアを有する車両の運転支援装置に利用可能である。

１：カメラ（車載カメラ）
１ａ：後方カメラ（車載カメラ）
１ｂ：左側方カメラ（車載カメラ）
１ｃ：右側方カメラ（車載カメラ）
１ｄ：前方カメラ（車載カメラ）
４：モニタ装置
４Ｂ：タッチボタン（指示入力部）
１０：運転支援装置
１１：撮影画像取得部
１３：視点変換部
１６：駐車状態判定部
１８：表示制御部
９０：車両
９１：バックドア
Ｆ１：撮影画像
Ｆ３：俯瞰画像
Ｇ３：グラフィック画像

Claims (11)

1. 後部に跳ね上げ式のバックドアを有する車両の運転支援装置であって、
   車載カメラにより少なくとも前記車両の後方を含んで前記車両の周辺の情景が撮影された撮影画像を取得する撮影画像取得部と、
   前記撮影画像を前記車両の上空から見た俯瞰画像に視点変換する視点変換部と、
   開放状態となった前記バックドアを前記俯瞰画像と同一の視点から見て、前記バックドアの形状を表したグラフィック画像を生成するグラフィック画像生成部と、
   前記俯瞰画像に前記グラフィック画像を重畳して車室内のモニタ装置に表示させる表示制御部と、を備える運転支援装置。
2. 前記グラフィック画像は、前記バックドアの外観画像である請求項１に記載の運転支援装置。
3. 前記グラフィック画像は、前記バックドアの輪郭線である請求項１に記載の運転支援装置。
4. 前記グラフィック画像は、半透明である請求項１〜３の何れか一項に記載の運転支援装置。
5. 前記グラフィック画像は、開放状態の前記バックドアの前記俯瞰画像における大きさよりも大きい範囲の画像として生成される請求項１〜４の何れか一項に記載の運転支援装置。
6. 前記表示制御部は、所定の表示条件を満たした際に前記俯瞰画像に前記グラフィック画像を重畳する請求項１〜５の何れか一項に記載の運転支援装置。
7. 前記表示制御部は、前記グラフィック画像の前記俯瞰画像への重畳を指示する指示入力部に対する操作が前記車両の搭乗者によりなされた際に、前記表示条件を満たしたと判定する請求項６に記載の運転支援装置。
8. 前記車両が駐車される際の経過状態を示す駐車状態を判定する駐車状態判定部を備え、前記表示制御部は、前記駐車状態に応じて前記表示条件を満たすか否かを判定する請求項６に記載の運転支援装置。
9. 前記表示制御部は、前記車両の移動速度が所定の上限速度以下の場合に、前記表示条件を満たすと判定する請求項６〜８の何れか一項に記載の運転支援装置。
10. 前記表示制御部は、前記俯瞰画像と同一の視点から見た前記車両を示す車両イメージから前記バックドアが開扉されているように前記グラフィック画像を重畳する請求項１〜９の何れか一項に記載の運転支援装置。
11. 前記俯瞰画像は、前記車両の上空から鉛直方向に見下ろした画像である請求項１〜９の何れか一項に記載の運転支援装置。

Images