JP2010274813A - 画像生成装置及び画像表示システム - Google Patents

Abstract

【課題】車両と物体との位置関係を直感的に把握できる技術を提供する。
【解決手段】画像表示システムでは、ドライバに提供される表示用画像において、方向指示器で指示された方向の車両９の側方領域が大きく示される。このため、車両９と接触する可能性のある物体を容易に発見でき、接触事故を有効に防止できる。この場合において、車両９の後方位置から前方に向けた仮想視点からみた合成画像ＦＰ２が表示されるため、ドライバ自身の視野の向きと同じ視野の向きで車両９の側方領域が示される。このことから、ドライバは頭の中で座標変換を行うなどの複雑な判断を伴うことなく、車両９と物体との位置関係を直感的に把握できる。
【選択図】図１０

Description

本発明は、車両に搭載された表示装置に表示させる画像を生成する技術に関する。

従来より、自動車などの車両に搭載され、当該車両の周辺を撮影して画像を生成し車室内のディスプレイに表示する画像表示システムが知られている。例えば、運転席の逆側となるフロントフェンダの外側領域は運転席から死角となりやすい。このため、フロントフェンダの外側領域を撮影して得られる画像を表示する画像表示システムを利用することで、狭い道で対向車とすれ違う場合などに運転席の逆側の車体と障害物との間のクリアランスをドライバは容易に確認できるようになる。

また、近年では、フロントフェンダの外側領域などの車両周辺の限定された領域ではなく、車両周辺のより広い領域を示す画像を車室内に表示する技術が提案されている。例えば、特許文献１においては、車両の前方及び左右双方の側方にそれぞれ設置された車載カメラで得られる３つの画像を、一つの画面に配列して表示するようになっている。

また、特許文献２においては、複数の車載カメラで車両の周辺を撮影して得られる複数の撮影画像を利用して、車両の略直上に設定された仮想視点からみた車両の周辺の様子を示す画像を提供する技術が提案されている。この特許文献２の技術では、方向指示器において示された方向に応じて画像中の自車の位置を移動させる技術も提案されている。

特開２００１−１１４０４８号公報 特開平３−９９９５２号公報

従来から提案されている画像表示システムにおいては、表示される画像中に示された物体（被写体）をみる視点の視野方向は、車載カメラの光軸の方向、あるいは、車両の略直上から見下ろす方向である。このため、画像を視認するドライバは、画像中の物体の位置に基づいて頭の中で座標変換をする思考過程を経て実際の物体と車両との位置関係を把握することになり、実際の物体と車両との位置関係を瞬時に判断することは難しいことがある。

また、特許文献１のように、車両の前方及び左右双方の側方を一つの画面に示す場合にあっては、前方を示す画像と側方を示す画像とで視野方向が異なっているため、物体が存在する方向に関してドライバの混乱を招き、実際の物体と車両との位置関係を瞬時に判断することは難しい。

ところで、車両を運転するドライバは、車両と接触の可能性のある物体を発見した場合は、とっさの判断で衝突を避けるように車両を回避運転する必要がある。しかしながら、従来の画像表示システムでは、車両とその車両の周辺の物体との位置関係を瞬時に判断することは難しいため、とっさに的確な判断をしにくい場面も考えられる。このため、車両と物体との位置関係をより直感的に把握できる技術が要望されていた。

本発明は、上記課題に鑑みてなされたものであり、車両と物体との位置関係を直感的に把握できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて、前記車両の後方位置から前方に向けた仮想視点からみた前記車両の側方領域を含む合成画像を生成する合成画像生成手段と、生成された前記合成画像を前記表示装置に出力する出力手段と、前記車両のドライバが意図する方向指示を入力する入力手段と、を備え、前記合成画像生成手段は、前記方向指示が無いときは、前記車両の左右双方の側方領域を略均等に含む第１合成画像を生成し、前記方向指示が有るときは、該方向指示が示す一の方向の側方領域が他の方向の側方領域よりも大きい第２合成画像を生成する。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記合成画像生成手段は、前記方向指示が有りから無しに変化した場合は、所定時間が経過するまでは、前記第２合成画像を生成し、前記方向指示が無い状態で前記所定時間が経過した場合に、前記第１合成画像を生成する。

また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記車両の前方に設けられたカメラで撮影して得られるフロント画像と、前記合成画像生成手段で生成された前記合成画像とを並べて含む表示用画像を生成する表示画像生成手段、をさらに備え、前記出力手段は、前記表示用画像を前記表示装置に出力する。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記合成画像生成手段は、前記仮想視点を変更する場合に、変更前の位置から変更後の位置まで段階的に前記仮想視点を変更し、連続表示により前記仮想視点が移動するアニメーション表現が可能な複数の合成画像を生成する。

また、請求項５の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて、前記車両の後方位置から前方に向けた仮想視点からみた前記車両の左右双方の側方領域を含む合成画像を生成する合成画像生成手段と、前記車両の前方に設けられたカメラで撮影して得られるフロント画像と、前記合成画像生成手段で生成された前記合成画像とを並べて含む表示用画像を生成する表示画像生成手段と、生成された前記表示用画像を前記表示装置に出力する出力手段と、を備えている。

また、請求項６の発明は、車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、生成された前記合成画像を前記表示装置に出力する出力手段と、を備え、前記合成画像生成手段は、前記仮想視点を変更する場合に、変更前の位置から変更後の位置まで段階的に前記仮想視点を変更し、連続表示により前記仮想視点が移動するアニメーション表現が可能な複数の合成画像を生成する。

また、請求項７の発明は、請求項６に記載の画像生成装置において、前記合成画像生成手段は、所定の基準位置から前記仮想視点を変更する。

また、請求項８の発明は、請求項７に記載の画像生成装置において、前記基準位置は、前記車両のドライバの視点に相当する位置である。

また、請求項９の発明は、車両に搭載される画像表示システムであって、請求項１ないし８のいずれかに記載の画像生成装置と、前記画像生成装置で生成された画像を表示する表示装置と、を備えている。

請求項１から４及び９の発明によれば、方向変更や幅寄せのときに車両が移動して接触する物体が存在する可能性の高い、ドライバが意図する方向の側方領域が大きく示される。このため、接触する可能性のある物体を容易に発見でき、接触事故を有効に防止できる。また、車両の後方位置から前方に向けた仮想視点からみた合成画像が表示されるため、ドライバ自身の視野の向きと同じ視野の向きで車両の側方領域が示される。このことから、ドライバは、頭の中で座標変換を行うなどの複雑な判断を伴うことなく、車両と物体との位置関係を直感的に把握できる。

また、特に請求項２の発明によれば、方向指示器を短時間で連続して操作する場合などに、表示装置に表示される合成画像の視点が頻繁に切り替わって見難くなることが防止される。

また、特に請求項３の発明によれば、表示装置において車両の前方領域と車両の左右の側方領域とが同一の画面で表示されるため、ドライバが運転の際に注目したい領域を、画面を切り替えることなく同一画面で確認できる。フロント画像の視野の向きと、合成画像の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、ドライバは、頭の中で座標変換を行うなどの複雑な判断を伴うことなく、画面に表示された物体の位置関係を直感的に把握できる。このため、多くの情報が提供されたとしても、ドライバは的確な判断を行うことができ、安全性を確保できる。

また、請求項４の発明によれば、表示装置において仮想視点が変更前の位置から変更後の位置まで移動するような合成画像のアニメーション表現がなされる。このため、仮想視点を瞬時に切り替える場合よりも、どの位置の仮想視点からの合成画像であるかを、ドライバが直感的に把握しやすくできる。

また、請求項５の発明によれば、表示装置において車両の前方領域と車両の左右の側方領域とが同一の画面で表示されるため、ドライバが運転の際に注目したい領域を、画面を切り替えることなく同一画面で確認できる。フロント画像の視野の向きと、合成画像の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、ドライバは、頭の中で座標変換を行うなどの複雑な判断を伴うことなく、画面に表示された物体の位置関係を直感的に把握できる。このため、多くの情報が提供されたとしても、ドライバは的確な判断を行うことができ、安全性を確保できる。

また、請求項６ないし８の発明によれば、表示装置において仮想視点が変更前の位置から変更後の位置まで移動するような合成画像のアニメーション表現がなされる。このため、仮想視点を瞬時に切り替える場合よりも、どの位置の仮想視点からの合成画像であるかを、ドライバが直感的に把握しやすくできる。

また、特に請求項７の発明によれば、所定の基準位置から仮想視点を移動させるため、基準位置との関係で仮想視点の変更後にどの位置の仮想視点からの合成画像であるかを、ドライバが直感的に把握しやすい。

また、特に請求項８の発明によれば、ドライバの視点に相当する基準位置から仮想視点を移動させるため、仮想視点の変更後にどの位置の仮想視点からの合成画像であるかを、ドライバがさらに直感的に把握しやすい。

図１は、画像表示システムのブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、仮想視点からみた合成画像を生成する手法を説明する図である。 図４は、画像表示システムの動作モードの遷移を示す図である。 図５は、フロントモードにおける表示モードの遷移を示す図である。 図６は、二画像モードの表示用画像の一例を示す図である。 図７は、二画像モードで示される視野範囲を説明する図である。 図８は、二画像モードでの画面表示例を示す図である。 図９は、仮想視点の視点位置の遷移を示す図である。 図１０は、二画像モードの表示用画像の一例を示す図である。 図１１は、二画像モードの表示用画像の一例を示す図である。 図１２は、仮想視点の視点位置を変更する処理の流れを示す図である。 図１３は、一画像モードにおける画面表示例を示す図である。 図１４は、仮想視点の移動の様子を示す図である。 図１５は、サイドカメラモードにおける画面表示例を示す図である。 図１６は、バックモードにおける表示モードの遷移を示す図である。 図１７は、標準モードの視野範囲の水平角度を示す図である。 図１８は、ワイドモードの視野範囲の水平角度を示す図である。 図１９は、合成標準モードの表示用画像の一例を示す図である。 図２０は、合成俯瞰モードの表示用画像の一例を示す図である。 図２１は、合成俯瞰モードの仮想視点の視点位置を示す図である。 図２２は、仮想視点の設定画面を示す図である。 図２３は、仮想視点の設定画面を示す図である。 図２４は、合成標準モードの表示用画像の一例を示す図である。 図２５は、モード情報を記憶する処理の流れを示す図である。 図２６は、バックモードの開始時点の処理の流れを示す図である。 図２７は、モード情報を記憶する処理の流れを示す図である。 図２８は、バックモードの開始時点の処理の流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．構成＞
図１は、本実施の形態の画像表示システム１００のブロック図である。この画像表示システム１００は、車両（本実施の形態では、自動車）に搭載されるものであり、車両の周辺を撮影して画像を生成し、車室内に表示する機能を有している。画像表示システム１００のユーザとなる車両のドライバは、この画像表示システム１００を利用することにより当該車両の周辺を容易に把握できるようになっている。

図１に示すように、画像表示システム１００は、車両の周辺を撮影する撮影部５と、車両の周辺を示す表示用画像を生成する画像生成装置１０と、車両のドライバに対して各種情報を提供するナビゲーション装置２０とを備えている。画像生成装置１０は、画像生成機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成され、車両の所定の位置に配置される。

ナビゲーション装置２０は、ドライバに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ２１と、ドライバが操作を行う操作部２２と、装置全体を制御する制御部２３とを備えている。ディスプレイ２１の画面がドライバから視認可能なように、ナビゲーション装置２０は車両のインストルメントパネルなどに設置される。ドライバからの各種の指示は、操作部２２とタッチパネルとしてのディスプレイ２１とによって受け付けられる。制御部２３は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

ナビゲーション装置２０は、画像生成装置１０と通信可能に接続され、画像生成装置１０との間で各種の制御信号の送受信や、画像生成装置１０で生成された表示用画像の受信が可能となっている。ディスプレイ２１には、通常はナビゲーション案内用の地図画像が表示されるが、所定のドライバの操作や画像生成装置１０からの信号などに応答して、画像生成装置１０で生成された車両の周辺の様子を示す表示用画像が表示される。これにより、ナビゲーション装置２０は、画像生成装置１０で生成された表示用画像を受信して表示する表示装置としても機能する。

撮影部５は、画像生成装置１０に電気的に接続され画像生成装置１０からの信号に基づいて動作する。撮影部５は、車載カメラであるフロントカメラ５１、サイドカメラ５２及びバックカメラ５３を備えている。これらの車載カメラ５１，５２，５３は、レンズと撮像素子とを備えており電子的に画像を取得する。

図２は、車載カメラ５１，５２，５３が車両９に配置される位置を示す図である。図２に示すように、フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向に向けられている。また、サイドカメラ５２は、左右のドアミラー９３にそれぞれ設けられており、その光軸５２ａは直進方向に対して直交するように車両９の外部方向に向けられている。バックカメラ５３は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５３ａは車両９の直進方向の逆方向に向けられている。なお、フロントカメラ５１やバックカメラ５３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

これらの車載カメラ５１，５２，５３のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１，５２，５３は１８０度以上の画角αを有している。このため、４つの車載カメラ５１，５２，５３を利用することで、車両９の全周囲の撮影が可能となっている。

図１に戻り、画像生成装置１０は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用画像を生成する画像処理部３と、ナビゲーション装置２０との間で通信を行う通信部４２とを備えている。ナビゲーション装置２０の操作部２２やディスプレイ２１によって受け付けられたドライバからの各種の指示は、制御信号として通信部４２によって受け付けられて制御部１に入力される。これにより、画像生成装置１０は、ナビゲーション装置２０に対するドライバの操作に応答した動作も可能となっている。

画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、撮影画像調整部３１、合成画像生成部３２、及び、表示画像生成部３３を主な機能として備えている。撮影画像調整部３１は、撮影部５で取得された撮影画像を表示用に調整するものであり、撮影画像の明るさやコントラスト等の画質調整や、表示の際に自然となるように画像の歪み補正などを行う。合成画像生成部３２は、撮影部５の複数の車載カメラ５１，５２，５３で取得された複数の撮影画像に基づいて、車両９の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。

また、表示画像生成部３３は、撮影画像調整部３１で調整された撮影画像、及び、合成画像生成部３２によって生成された合成画像のうちの一つあるいは複数を組み合わせて、ドライバに提供する表示用画像を生成する。生成された表示用画像は、通信部４２によってナビゲーション装置２０に出力され、ナビゲーション装置２０のディスプレイ２１に表示される。

制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータとして構成され、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。このようにして実現される制御部１の機能には、画像処理部３によって実行される画像処理を制御する機能、すなわち、表示用画像の内容を制御する機能が含まれている。合成画像生成部３２が生成する合成画像の生成に必要な各種パラメータは、この制御部１の機能によって指示される。さらに、制御部１は、フラッシュメモリなどで構成される不揮発性メモリ１１と、計時機能を有するタイマ１２とを備えている。

また、画像生成装置１０は、車両９に設けられた各種装置からの信号を入力する信号入力部４１を備えている。この信号入力部４１を介して、画像生成装置１０の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５などから、各種情報を示す信号が制御部１に入力される。なお、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５の一部又は全部は画像表示システム１００が備える構成としてもよい。

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速度センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両９のドライバが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。

ステアリングセンサ８４は、ドライバによるステアリングホイールの回転の向き及び回転角度が入力される。また、切替スイッチ８５は、表示用画像の態様を切り替える指示をドライバから受け付けるスイッチである。切替スイッチ８５からは、ドライバの指示を示す信号が制御部１に入力される。

＜２．画像変換処理＞
次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて任意の仮想視点からみた合成画像を生成する手法について説明する。図３は、任意の仮想視点からみた合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、サイドカメラ５２及びバックカメラ５３で同時に撮影が行われると、車両９の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

取得された４つの撮影画像Ｐ１〜Ｐ４は多重化された後、仮想的な三次元の立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とはあらかじめ対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と、撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、テーブルデータとして制御部１の不揮発性メモリ１１等に記憶されている。

一方で、立体曲面ＳＰに対する仮想視点ＶＰが、制御部１によって車両の周辺の任意の視点位置に任意の視野方向に向けて設定される。仮想視点ＶＰは、視点位置と視野方向とで規定される。そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出されることにより、任意の仮想視点からみた合成画像が生成されることになる。

例えば、視点位置が車両９の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰ１を設定した場合は、車両９の略真上から見下ろすような合成画像ＣＰ１が生成される。また、図中に示すように、視点位置が車両９の左後方位置で、視野方向が車両９の略前方方向とした仮想視点ＶＰ２を設定した場合は、車両９の左後方から車両９の周辺全体を見渡すような合成画像ＣＰ２が生成されることになる。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係はあらかじめ定められており、テーブルデータとして制御部１の不揮発性メモリ１１等に記憶されている。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

合成画像中に示す車両９の像はあらかじめビットマップなどのデータとして用意され不揮発性メモリ１１などに記憶されている。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視野方向とに応じた形状の車両９の像のデータが読み出されて、合成画像中に重畳される。なお、図中においては、実際の車両と、画像中に示される車両の像との双方に関して同一の符号９を用いる。

＜３．動作モード＞
次に、画像表示システム１００の動作の概要について説明する。図４は、画像表示システム１００の動作モードの遷移を示す図である。画像表示システム１００は、ナビモードＭ０、フロントモードＭ１、及び、バックモードＭ２の３つの動作モードを有している。これらの動作モードは、ドライバの操作や車両の走行状態に応じて制御部１の制御により切り替えられるようになっている。

ナビモードＭ０は、ナビゲーション装置２０の機能により、ナビゲーション案内用の地図画像などをディスプレイ２１に表示する動作モードである。ナビモードＭ０では、撮影部５及び画像生成装置１０の機能が利用されず、ナビゲーション装置２０単体の機能で各種の表示がなされる。このため、ナビゲーション装置２０が、テレビジョン放送の電波を受信して表示する機能を有している場合は、ナビゲーション案内用の地図画像に代えて、テレビジョン放送画面が表示されることもある。

これに対して、フロントモードＭ１及びバックモードＭ２は、撮影部５及び画像生成装置１０の機能を利用して、車両９の周辺の状況をリアルタイムで示す表示用画像をディスプレイ２１に表示する動作モードである。フロントモードＭ１は、前進時に必要となる車両９の前方領域や側方領域を主に示す表示用画像を表示するフロントモニタ機能を有効化する動作モードである。また、バックモードＭ２は、後退時に必要となる車両９の後方領域を主に示す表示用画像を表示するバックモニタ機能を有効化する動作モードである。

ナビモードＭ０の場合に車速度センサ８２から入力される走行速度が例えば１０ｋｍ／ｈ未満になったときは、フロントモードＭ１に切り替えられる。一方で、フロントモードＭ１の場合に走行速度が例えば１０ｋｍ／ｈ以上になったときは、ナビモードＭ０に切り替えられる。

車両９の走行速度が比較的高い場合においては、ドライバを走行に集中させるためにフロントモードＭ１が解除される。逆に、車両９の走行速度が比較的低い場合においては、ドライバは車両９の周辺の状況をより考慮した運転、具体的には、見通しの悪い交差点への進入、方向変更、あるいは、幅寄せなどを行っている場面が多い。このため、走行速度が比較的低い場合においては、車両９の前方領域や側方領域を主に示すフロントモードＭ１に切り替えられる。なお、ナビモードＭ０からフロントモードＭ１に切り替える場合は、走行速度が１０ｋｍ／ｈ未満という条件に、ドライバからの明示的な操作指示があるという条件を加えてもよい。

また、ナビモードＭ０あるいはフロントモードＭ１の場合に、シフトセンサ８１から入力されるシフトレバーの位置が”Ｒ（後退）”となったときは、バックモードＭ２に切り替えられる。すなわち、車両９の変速装置が”Ｒ（後退）”の位置に操作されているときには、車両９は後退する状態であるため、車両９の後方領域を主に示すバックモードＭ２に切り替えられる。

一方、バックモードＭ２の場合に、シフトレバーの位置が”Ｒ（後退）”以外となったときは、その時点の走行速度を基準として、ナビモードＭ０あるいはフロントモードＭ１に切り替えられる。すなわち、走行速度が１０ｋｍ／ｈ以上であればナビモードＭ０に切り替えられ、走行速度が１０ｋｍ／ｈ未満であればフロントモードＭ１に切り替えられる。

以下、フロントモードＭ１及びバックモードＭ２のそれぞれにおける車両９の周辺の表示態様について詳細に説明する。

＜４．フロントモード＞
まず、フロントモードＭ１の表示態様について説明する。図５は、フロントモードＭ１における表示モードの遷移を示す図である。フロントモードＭ１では、二画像モードＭ１１、一画像モードＭ１２、及び、サイドカメラモードＭ１３の３つの表示モードがあり、これらの表示モードは互いに表示態様が異なっている。これらの表示モードは、ドライバが切替スイッチ８５を押下するごとに、二画像モードＭ１１、一画像モードＭ１２、サイドカメラモードＭ１３の順で制御部１の制御により切り替えられる。サイドカメラモードＭ１３の場合に切替スイッチ８５を押下すると、再び、二画像モードＭ１１に戻るようになっている。

二画像モードＭ１１は、フロントカメラ５１での撮影により得られるフロント画像ＦＰ１と、仮想視点ＶＰからみた合成画像ＦＰ２とを並べて含む表示用画像をディスプレイ２１に表示する表示モードである。すなわち、二画像モードＭ１１では、同一画面上にフロント画像ＦＰ１と合成画像ＦＰ２との二つの画像が示される。

また、一画像モードＭ１２は、仮想視点ＶＰからみた合成画像ＦＰ３のみを含む表示用画像をディスプレイ２１に表示する表示モードである。さらに、サイドカメラモードＭ１３は、サイドカメラ５２での撮影により得られるサイド画像ＦＰ４のみを含む表示用画像をディスプレイ２１に表示する表示モードである。

＜４−１．二画像モード＞
＜４−１−１．視野範囲＞
図６は、二画像モードＭ１１においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、二画像モードＭ１１における表示用画像では、上部にフロント画像ＦＰ１が配置され、下部に合成画像ＦＰ２が配置されている。フロント画像ＦＰ１は、仮想視点ＶＰからの合成画像ではなく、フロントカメラ５１での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。一方、合成画像ＦＰ２は、車両９の後方位置から前方に向けた仮想視点ＶＰからみた車両９の側方領域を含む合成画像である。

図７は、車両９の周辺における二画像モードＭ１１で示される視野範囲を説明する図である。図中において、破線で示す範囲ＦＶ１がフロント画像ＦＰ１で示される視野範囲であり、二点鎖線で示す範囲ＦＶ２が合成画像ＦＰ２で示される視野範囲である。視野範囲ＦＶ１と視野範囲ＦＶ２とは、相互の境界となる領域Ａ２において一部が重なっている。

フロント画像ＦＰ１では、車両９の前方領域において左右方向に広がる水平角度１８０°の領域が視野範囲ＦＶ１として設定されている。このため、ドライバはフロント画像ＦＰ１の閲覧により、見通しの悪い交差点に進入する場合に死角となりやすい車両９の左右前方に存在する物体を把握できる。

一方、合成画像ＦＰ２においては、車両９の前端よりも前方から後端よりも後方までの左右双方の側方領域と、車両９の後方領域とを含む範囲が視野範囲ＦＶ２として設定されている。このため、合成画像ＦＰ２の閲覧により、側方領域や後方領域に存在する物体を把握できる。これにより、方向変更や幅寄せなどを行う際に、運転席から死角となりやすい領域、例えば、ドアミラー９３に映らないフロントフェンダ９４の外側付近の領域Ａ１を容易に確認できる。

二画像モードＭ１１においては、このような視野範囲ＦＶ１，ＦＶ２の二つの画像ＦＰ１，ＦＰ２を画面を切り替えることなく同時に閲覧することができるため（図６も併せて参照。）、ドライバは車両９の周辺の状況を一目で把握できる。

合成画像ＦＰ２の仮想視点ＶＰの視点位置は車両９の後方位置に設定され、視野方向は車両９の前方方向に設定されている。このため、図６に示すように、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。これにより、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ドライバ自身の視野の向きとがおよそ一致することから、画像中に示された物体が存在する方向に関してドライバの混乱を招くことがない。また、ドライバは頭の中で座標変換を行うなどの複雑な思考過程を経ることもないため、ディスプレイ２１に表示された物体と車両９との位置関係を直感的に把握できる。

また、車両９をその直上から見下ろすような画像を利用する場合と比較して、車両９の周辺の物体が車両９のいずれの部分に近接しているかの位置関係が把握しやすい。さらに、車両９の後方位置から前方に向けた仮想視点からみた合成画像ＦＰ２では、車両９の側方領域のみならず車両９の進行方向となる前方の領域も示される。このため、車両９をその直上から見下ろすような画像を利用する場合と比較して、車両９と周辺の物体との位置関係が車両９の進行によってどのように変化するかを予測しやすい。このため、車両９を進行させた場合において、車両９が周辺の物体と接触することを有効に防止できる。

ここで、図７に示すように、ある物体Ｔが、二つの画像ＦＰ１，ＦＰ２の視野範囲ＦＶ１，ＦＶ２をまたいで車両９の周辺を移動する場合を想定する。より具体的には、物体Ｔは、二画像モードＭ１１の視野範囲外の位置ＴＰ１から、視野範囲ＦＶ２内の領域Ａ１の位置ＴＰ２、視野範囲ＦＶ１と視野範囲ＦＶ２との重複領域Ａ２内の位置ＴＰ３を経て、視野範囲ＦＶ１内の車両９の前方の位置ＴＰ４まで移動するものとする。図８は、このように物体Ｔが移動した場合における、二画像モードＭ１１でのディスプレイ２１の画面表示例を示す図である。

物体Ｔが視野範囲外の位置ＴＰ１から、合成画像ＦＰ２の視野範囲ＦＶ２内の位置ＴＰ２に移動すると、まず、画面下方の合成画像ＦＰ２に物体Ｔが示される（状態ＳＴ１）。この時点では、画面上方のフロント画像ＦＰ１には物体Ｔは示されていない。続いて、物体Ｔが視野範囲ＦＶ１と視野範囲ＦＶ２との重複領域Ａ２内の位置ＴＰ３に移動すると、フロント画像ＦＰ１と合成画像ＦＰ２との双方に物体Ｔが示される（状態ＳＴ２）。さらに、物体Ｔがフロント画像ＦＰ１の視野範囲ＦＶ１内の位置ＴＰ４に移動すると、フロント画像ＦＰ１に物体が示されることになる（状態ＳＴ３）。

このように、車両９の周辺において物体Ｔが二つの画像ＦＰ１，ＦＰ２の視野範囲ＦＶ１，ＦＶ２をまたいで移動した場合であっても、フロント画像ＦＰ１の視野の向きと、合成画像ＦＰ２の視野の向きと、ドライバ自身の視野の向きとがおよそ一致しているため、物体Ｔは二つの画像ＦＰ１，ＦＰ２のいずれにおいても、およそ同一方向に動くため、ドライバは物体Ｔの動きを直感的に把握することができる。また、視野範囲ＦＶ１と視野範囲ＦＶ２とは相互の境界で重なる領域Ａ２があることから、フロント画像ＦＰ１と合成画像ＦＰ２との双方同時に物体Ｔが示される場面があり、物体Ｔの動きを連続性を持って把握できる。

二画像モードＭ１１では、多くの情報がドライバに提供されるが、多くの情報が提供されたとしても、上記のようにドライバは車両９周辺の状況を直感的に把握できる。このため、ドライバは、的確な判断を行うことができ、運転の安全性を十分に確保することができる。

＜４−１−２．方向指示器の操作の連動＞
また、二画像モードＭ１１では、ドライバの方向指示器８３のウインカースイッチの操作に応答して、合成画像ＦＰ２の仮想視点ＶＰの視点位置が、制御部１の制御により移動されるようになっている。図９は、仮想視点ＶＰの視点位置の遷移を示す図である。

方向指示器８３から入力されるターン信号がオフの場合、すなわち、方向指示が無い場合は、仮想視点ＶＰの視点位置は、車両９の後方における左右略中央の位置ＶＰＣ、視野方向は車両９の前方方向に設定される。これにより、図６に示すように、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が生成される。

一方、方向指示器８３から入力されるターン信号がオンの場合、すなわち、方向指示が有る場合は、仮想視点ＶＰに関して視野方向は車両９の前方方向のまま、視点位置がターン信号が示す方向の位置に移動される。具体的には、ターン信号が左方向を示すときは、仮想視点ＶＰの視点位置は車両９の左サイドの位置ＶＰＬに設定される。これにより、図１０に示すように、方向指示器８３のターン信号が示す左方向の側方領域を右方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。

また、ターン信号が右方向を示すときは、仮想視点ＶＰの視点位置は車両９の右サイドの位置ＶＰＲに設定される。これにより、図１１に示すように、方向指示器８３のターン信号が示す右方向の側方領域を左方向の側方領域よりも大きく示す合成画像ＦＰ２が生成されて、ディスプレイ２１に表示される。この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が示される。

方向指示器８３で指示された方向は、方向変更や幅寄せのときに車両９が移動して接触する物体が存在する可能性が高い。したがって、このように方向指示器８３で指示された方向の側方領域を大きく示すことで、ドライバの注意を接触する可能性のある物体に向けさせることができ、車両９と物体との接触を有効に防止できる。

また、この場合も、合成画像ＦＰ２では、車両９の後方位置から前方方向をみた状態で車両９の周辺の様子が車両９の像とともに示される。このため、ドライバ自身の視野の向きと同じ視野の向きで車両９の側方領域が示されることから、画像中に示された物体が存在する方向に関してドライバの混乱を招くことがない。また、ドライバは頭の中で座標変換を行うなどの複雑な思考過程を伴うこともないため、車両９と物体との位置関係を直感的に把握できる。また、車両９の周辺の物体が車両９のいずれの部分に近接しているかの位置関係が把握しやすく、車両９と周辺の物体との位置関係が車両９の進行によってどのように変化するかも予測しやすい。これにより、ドライバはとっさであっても的確な判断を行うことができる。

また、このように仮想視点ＶＰの視点位置を、車両９の左サイドあるいは右サイドに移動した場合であってもターン信号が示す一の方向とは逆となる他の方向の側方領域も合成画像に含まれている。このため、ターン信号が示す方向とは逆方向の側方領域に物体が存在していたとしても、その物体を把握することが可能である。これにより、例えばターン信号が示す方向にある物体を避けるために、ターン信号が示す方向とは逆方向にとっさにステアリングホイールを操作する場合などにおいても、その逆方向に存在する物体への接触を防止できる。

ところで、ウインカースイッチが操作位置から中立位置に戻り、方向指示器８３からのターン信号がオンからオフになった場合は、合成画像ＦＰ２の仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される。この際、ターン信号がオンからオフになった直後ではなく、ターン信号がオフになってから所定時間が経過してから、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される。

図１２は、仮想視点ＶＰの視点位置を変更する処理の流れを示す図である。この処理は、ウインカースイッチが操作されてターン信号がオンとなると制御部１の制御により実行される。

まず、方向指示器８３のターン信号が示す方向が判断される（ステップＳ１１）。ターン信号が左方向を示す場合は処理はステップＳ１２へ進み、ターン信号が右方向を示す場合は処理はステップＳ１７に進む。

ステップＳ１２においては、仮想視点ＶＰが左サイドの位置ＶＰＬに設定される。これにより、図１０に示すように、左方向の側方領域を右方向よりも大きく示す合成画像ＦＰ２が生成されてディスプレイ２１に表示される。

続いて、このように仮想視点ＶＰが左サイドの位置ＶＰＬに設定された状態で、ターン信号の状態が監視される（ステップＳ１３）。ターン信号が左方向を示す状態が維持された場合はステップＳ１２へ戻り、仮想視点ＶＰが左サイドの位置ＶＰＬに維持される。すなわち、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。一方、ターン信号が右方向を示す場合は処理はステップＳ１７に進む。

また、ステップＳ１３において、ターン信号がオフとなった場合、すなわち、方向指示が有りから無しに変化した場合は、ターン信号がオフとなった時点でタイマ１２による計時が開始される（ステップＳ１４）。

そして、計時開始から所定時間経過するまで、ターン信号の状態が監視される（ステップＳ１５，Ｓ１６）。この所定時間は、本実施の形態では例えば３秒とされている。この所定時間が経過するまでは、仮想視点ＶＰが左サイドの位置ＶＰＬに維持され、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持される。そして、ターン信号がオフの状態で所定時間が経過した場合は（ステップＳ１６にてＹｅｓ）、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される（ステップＳ２２）。これにより、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される。

しかしながら、計時開始から所定時間経過するまでに、ステップＳ１５においてターン信号が再び左方向を示した場合はステップＳ１２へ戻り、仮想視点ＶＰが左サイドの位置ＶＰＬのままに維持される。すなわち、左方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持されることになる。なお、ステップＳ１５においてターン信号が右方向を示す場合は処理はステップＳ１７に進む。

方向変更や幅寄せを行う場合はステアリングホイールを細かく操作するため、ドライバの意図とは無関係に、方向指示器８３のウインカースイッチが操作位置から中立位置に戻ってしまう場合がある。このため、ドライバは、方向指示器８３のウインカースイッチを短時間の間に連続して同一方向に操作する場面が発生する。このような場面において、ターン信号のオン／オフに応答して仮想視点ＶＰの視点位置を即座に変更したのでは、ディスプレイ２１に表示される合成画像ＦＰ２の視点位置が頻繁に切り替わって見難くなる。このため、ターン信号がオフとなっても所定時間が経過するまでは仮想視点ＶＰの視点位置を維持し、ターン信号がオフの状態で所定時間経過したことを条件に仮想視点ＶＰの視点位置を左右略中央の位置ＶＰＣに戻すことで、このような合成画像ＦＰ２が見難くなることが防止される。

なお、この判断に利用する所定時間は、短いほど合成画像ＦＰ２の視点位置が頻繁に切り替わる可能性があり、長いほど合成画像ＦＰ２の視点位置が略中央に戻りにくくなる。このため、所定時間は例えば２秒から４秒の間で設定することが望ましい。

上記では、ターン信号が左方向を示す場合について説明したが、右方向を示す場合も左右が異なるだけで同様の処理がなされる。すなわち、ステップＳ１７においては、仮想視点ＶＰが右サイドの位置ＶＰＲに設定される。これにより、図１１に示すように、右方向の側方領域を左方向よりも大きく示す合成画像ＦＰ２が生成されてディスプレイ２１に表示される。

続いて、仮想視点ＶＰが右サイドの位置ＶＰＲに設定された状態で、ターン信号の状態が監視される（ステップＳ１８）。ターン信号が右方向を示す状態が維持された場合はステップＳ１７へ戻り、仮想視点ＶＰが右サイドの位置ＶＰＲに維持され、ターン信号が左方向を示す場合は処理はステップＳ１２に進む。

また、ステップＳ１８において、ターン信号がオフとなった場合は、ターン信号がオフとなった時点でタイマ１２による計時が開始され（ステップＳ１９）、計時開始から所定時間経過するまでターン信号の状態が監視される（ステップＳ２０，Ｓ２１）。この際、所定時間経過するまでは、仮想視点ＶＰが右サイドの位置ＶＰＲに維持される。そして、ターン信号がオフの状態で所定時間が経過した場合は（ステップＳ２１にてＹｅｓ）、仮想視点ＶＰの視点位置が左右略中央の位置ＶＰＣに戻される（ステップＳ２２）。これにより、車両９の左右双方の側方領域を略均等に含む合成画像ＦＰ２が表示される。

しかしながら、計時開始から所定時間経過するまでに、ステップＳ２０においてターン信号が再び右方向を示した場合はステップＳ１７へ戻り、仮想視点ＶＰが右サイドの位置ＶＰＲのままに維持される。すなわち、右方向の側方領域を比較的大きく示す合成画像ＦＰ２の表示が維持されることになる。なお、ステップＳ２０においてターン信号が左方向を示す場合は処理はステップＳ１２に進む。

＜４−２．一画像モード＞
次に、図５に戻って、一画像モードＭ１２における表示態様について説明する。一画像モードＭ１２においては合成画像ＦＰ３のみがディスプレイ２１に表示される。仮想視点ＶＰの視点位置は車両９の後方の左右略中央の位置に設定され、視野方向は車両９の前方方向に設定されている。このため、合成画像ＦＰ３では、車両９の後方位置から前方方向をみた状態で、車両９の左右双方の側方領域が示される。細い道などにおいて対向車とすれ違う場合には車両９の左右双方の側方を注目する必要があるため、このような表示態様の一画像モードＭ１２が有効に利用できる。

一画像モードＭ１２においても、合成画像ＦＰ３の視野の向きとドライバ自身の視野の向きとがおよそ一致することから、ドライバはディスプレイ２１に表示された物体の位置関係を直感的に把握できる。

また、表示モードを一画像モードＭ１２に切り替えた際には、複数の合成画像ＦＰ３を連続表示することで、合成画像ＦＰ３の仮想視点ＶＰが移動するようなアニメーション表現がなされるようになっている。図１３は、一画像モードＭ１２においてアニメーション表現を行う場合の表示の一例を示す図である。また、図１４は、このときの仮想視点ＶＰの移動の様子を示す図である。

図１４に示すように、ドライバの視点に相当する位置ＶＰＤから車両９の後方の位置ＶＰＡまで直線的に移動するように、仮想視点ＶＰの視点位置が制御部１により変更される。そして、このように仮想視点ＶＰを段階的に変更しつつ、合成画像生成部３２により複数の合成画像ＦＰ３が順次に生成される。この複数の合成画像ＦＰ３を生成するためのパラメータは、変更前の位置ＶＰＤのパラメータと変更後の位置ＶＰＡのパラメータとに基づいて線形補完で制御部１により導出される。生成された複数の合成画像ＦＰ３はナビゲーション装置２０に順次に出力されて、ディスプレイ２１に時間連続して表示される。

これにより、図１３に示すように、ディスプレイ２１において、ドライバの視点に相当する位置から車両９の後方位置まで合成画像ＦＰ３の仮想視点ＶＰが移動するようなアニメーション表現がなされることになる。すなわち、合成画像ＦＰ３においては、当初はドライバの視点であるため車両９の像は見えていないが（状態ＳＴ１１）、徐々に車両９の上部の像が示され（状態ＳＴ１２，ＳＴ１３）、最終的に車両９を後方から見下ろすように車両９の像が示されることになる（状態ＳＴ１４）。このようなアニメーション表現は約１秒かけて行われる。

仮想視点ＶＰの位置を変更する場合に仮想視点ＶＰを瞬時に切り替えると、どの位置の仮想視点ＶＰからの合成画像であるかをドライバが把握しにくくなる。これに対して、本実施の形態のようなアニメーション表現を行うことで、仮想視点ＶＰを瞬時に切り替えた場合と比較して、どの位置の仮想視点ＶＰからの合成画像であるかをドライバが直感的に把握しやすくできる。

また、アニメーション表現を行う際に、仮想視点ＶＰの視点位置を、車両９のドライバの視点に相当する位置を基準位置とし、この基準位置から移動させる。このため、仮想視点ＶＰの変更後の視点位置がドライバの視点位置を基準として示されるため、直感的に把握しやすい。なお、アニメーション表現を開始する基準位置は、ドライバの視点に相当する位置でなくても、ドライバが直感的に把握しやすい位置であればよい。例えば、車両９の略中央の直上位置や、フロントバンパの左右略中心位置などを基準位置としてもよい。

また、このようなアニメーション表現は表示モードを変更する場合だけではなく、仮想視点ＶＰを変更する場合はどのような場合であっても行うことが可能である。例えば、上述した二画像モードＭ１１において方向指示器８３の操作に応答して仮想視点ＶＰの視点位置を左右方向に変更する場合においても、アニメーション表現を行うことが望ましい。いずれの場合も、仮想視点の位置を段階的に移動しつつ、連続表示によりアニメーション表現が可能な複数の合成画像を生成すればよい。合成画像を生成するためのパラメータは、変更前の位置のパラメータと変更後の位置のパラメータとに基づいて線形補完で導出できる。このようなアニメーション表現を利用することで、変更後の仮想視点ＶＰの位置をドライバが直感的に把握できる。

＜４−３．サイドカメラモード＞
次に、図５に戻って、サイドカメラモードＭ１３における表示態様について説明する。サイドカメラモードＭ１３においては、サイド画像ＦＰ４のみがディスプレイ２１に表示される。サイド画像ＦＰ４は、仮想視点ＶＰからの合成画像ではなく、左側のサイドカメラ５２での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。

本実施の形態の車両９の運転席の位置は例えば右側であるため、その逆側となる車両９の左側のフロントフェンダ９４の外側領域については死角になりやすい。このため、サイドカメラモードＭ１３においては、左側のフロントフェンダ９４の外側領域が拡大して示される。これにより、死角に存在する物体の状態を他の表示モードよりも把握しやすくなっている。

また、図１５に示すように、サイドカメラモードＭ１３においては、切替スイッチ８５を押下することで、ディスプレイ２１に表示する範囲を切り替え可能となっている。具体的には、車両９の左側の前輪９６付近の領域を拡大して示すサイド画像ＦＰ４と、前輪９６よりも後方領域を拡大して示すサイド画像ＦＰ５とで切替可能となっている。

＜５．バックモード＞
次に、シフトレバーの位置が”Ｒ（後退）”となったときの動作モードであるバックモードＭ２の表示態様について説明する。図１６は、バックモードＭ２における表示モードの遷移を示す図である。バックモードＭ２では、標準モードＭ２１、ワイドモードＭ２２、合成標準モードＭ２３、及び、合成俯瞰モードＭ２４の４つの表示モードがあり、互いに表示態様が異なっている。ドライバは、所定の操作を行うことで、任意の一の表示モードを選択して、現在の表示モード（以下、「現在モード」という。）に設定することができる。

具体的には、切替スイッチ８５を押下すると、標準モードＭ２１、ワイドモードＭ２２、合成標準モードＭ２３の順で現在モードに設定される。合成標準モードＭ２３が現在モードの場合に、切替スイッチ８５を押下すると、再び、標準モードＭ２１が現在モードに設定される。なお、この切替スイッチ８５に変えて、画面上のコマンドボタンを押下することで切り替えられるようになっていてもよい。

また、合成標準モードＭ２３が現在モードの場合に、ディスプレイ２１の画面上にコマンドボタンとして表示される視点切替ボタンＣＢ１を押下すると、合成俯瞰モードＭ２４が現在モードに設定される。一方で、合成俯瞰モードＭ２４が現在モードの場合でも、ディスプレイ２１の画面上に表示される視点切替ボタンＣＢ１を押下すると、合成標準モードＭ２３が現在モードに設定される。また、合成俯瞰モードＭ２４が現在モードの場合に切替スイッチ８５を押下すると、標準モードＭ２１が現在モードに設定される。

バックモードＭ２では、現在モードに応じた表示用画像が画像処理部３により生成されてディスプレイ２１に表示される。標準モードＭ２１、及び、ワイドモードＭ２２が現在モードの場合は、バックカメラ５３での撮影により得られるバック画像ＢＰ１，ＢＰ２のみを含む表示用画像がディスプレイ２１に表示される。また、合成標準モードＭ２３が現在モードの場合は、仮想視点ＶＰからみた合成画像ＢＰ４とバックカメラ５３での撮影により得られるバック画像ＢＰ５とを並べて含む表示用画像がディスプレイ２１に表示される。さらに、合成俯瞰モードＭ２４が現在モードの場合は、合成標準モードＭ２３におけるバック画像ＢＰ５に代えて、仮想視点ＶＰからみた合成画像ＢＰ６が表示される。

＜５−１．標準モード＞
図１６に示すように、標準モードＭ２１においては、バック画像ＢＰ１のみがディスプレイ２１に表示される。バック画像ＢＰ１は、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。図１７に示すように、バック画像ＢＰ１の視野範囲の水平角度は１３５°となっており、標準モードＭ２１では車両９の後方領域が自然な態様で示される。

バック画像ＢＰ１には、車両９の後退時における予測進路を示すガイドラインＧＬが重畳して表示される。このガイドラインＧＬは、ステアリングセンサ８４から入力されるステアリングホイールの回転の向き及び回転角度に応じて移動される。これにより、ドライバは、ガイドラインＧＬを目安にして、車両９を後退させることができるようになっている。

＜５−２．ワイドモード＞
図１６に示すように、ワイドモードＭ２２においても、バック画像ＢＰ２のみがディスプレイ２１に表示される。バック画像ＢＰ２も、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。このバック画像ＢＰ２においても、車両９の後退時における予測進路を示すガイドラインＧＬが重畳して表示される。

ただし、図１８に示すように、バック画像ＢＰ２の視野範囲の水平角度は１８０°となっており、標準モードＭ２１よりも水平方向に広い範囲の物体を確認可能となっている。したがって、前止め駐車した場合に後退して出庫するときなどにおいては、このような表示態様のワイドモードＭ２２を利用することで、死角となりやすい後方の左右領域を確認できる。

＜５−３．合成標準モード＞
図１９は、合成標準モードＭ２３においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、合成標準モードＭ２３における表示用画像では、左側に合成画像ＢＰ４が配置され、右側にバック画像ＢＰ５が配置されている。合成画像ＢＰ４は、車両９の周囲全体を見下ろすような仮想視点ＶＰからみた合成画像である。一方、バック画像ＢＰ５は、仮想視点ＶＰからの合成画像ではなく、バックカメラ５３での撮影により得られた撮影画像を撮影画像調整部３１で表示用に調整したものである。バック画像ＢＰ５の視野範囲の水平角度は１３５°となっている。

ドライバは、このような表示態様の合成標準モードＭ２３の表示用画像を視認することで、車両９の周囲全体の様子と、車両９の後方領域の様子との双方を同時に確認できる。したがって、ドライバは、車両９の周囲全体の物体を意識しながら、車両９を安全に後退させることができる。

＜５−４．合成俯瞰モード＞
図２０は、合成俯瞰モードＭ２４においてディスプレイ２１に表示される表示用画像の一例を示す図である。図に示すように、合成俯瞰モードＭ２４における表示用画像の左側には、合成標準モードＭ２３と同様に、車両９の周囲全体を見下ろすような仮想視点ＶＰからみた合成画像ＢＰ４が配置される。一方で、表示用画像の右側には、車両９の後端近傍を略直下に見下ろす仮想視点ＶＰからみた合成画像ＢＰ６が配置される。

図２１に示すように、合成画像ＢＰ６の仮想視点ＶＰの視点位置は車両９の後端の略直上位置に設定され、視野方向は略直下方向に設定されている。これにより、合成画像ＢＰ６には、車両９の後端近傍の領域がその上方から略直下に見下ろすようにして拡大して示される。合成画像ＢＰ６においては、車両９の後退時の進行方向となる車両９の後方方向が画像の上方向とされている。

ドライバは、このような表示態様の合成俯瞰モードＭ２４の表示用画像を視認することで、車両９とその周囲の物体、特に車両９の後端近傍に存在する物体とのクリアランスを容易に確認できる。一方で、車両９の後退時における進行方向である車両９の後方領域に、車両９から離れて存在する物体を把握することは難しい。したがって、合成俯瞰モードＭ２４は、車両９を後退して駐車する場合に車両９の駐車位置を最終調整するときなどの特殊な条件下において有効に利用できる表示モードであるといえる。

＜５−５．角度調整＞
ところで、合成標準モードＭ２３（図１９参照。）及び合成俯瞰モードＭ２４（図２０参照。）において左側に配置される合成画像ＢＰ４については、その仮想視点ＶＰの視点位置をドライバの所望の位置に設定できるようになっている。合成標準モードＭ２３あるいは合成俯瞰モードＭ２４において、画面上にコマンドボタンとして表示される設定ボタンＣＢ２を押下すると、仮想視点ＶＰの視点位置を設定するための設定画面が表示される。

図２２及び図２３は、この仮想視点ＶＰの設定画面を示す図である。設定画面においては、車両９の側面を示すイラストとともに、車両９に対する仮想視点ＶＰの位置を示す指標が示される。この指標は画面上のコマンドボタンＣＢ４，ＣＢ５を押下することで移動でき、移動された指標の車両９のイラストに対する位置が、仮想視点ＶＰの視点位置として設定される。この際、仮想視点ＶＰの視野方向は、車両９の略中心９ｃに向けて設定される。図２２は仮想視点ＶＰの視点位置を車両９の略中心の直上位置に設定した場合、図２３は仮想視点ＶＰの視点位置を車両９の後方位置に設定した場合の例をそれぞれ示している。

また、この設定画面の左側においては、指標の位置を仮想視点ＶＰとした場合における合成画像ＢＰ７が表示される。したがって、このような設定画面を視認することで、仮想視点ＶＰを移動させた場合にどのような合成画像ＢＰ７が得られるかを容易に確認でき、ドライバは所望の位置に仮想視点ＶＰを移動させることができる。

設定画面にコマンドボタンとして表示される完了ボタンＣＢ３を押下すると、設定された内容が実際の合成標準モードＭ２３及び合成俯瞰モードＭ２４の表示に反映される。例えば、図２３に示す設定画面において完了ボタンＣＢ３を押下すると、図２４に示すように、表示用画像の左側の合成画像ＢＰ４において車両９がその後方からみた状態で示される。このように仮想視点ＶＰの視点位置を設定できることから、ドライバは車両９の後退時において車両９とその周辺の物体との位置関係を所望の角度から把握することができる。

＜５−６．現在モードの設定＞
このようにバックモードＭ２においては、互いに表示態様が異なる４つの表示モードがあり、切替スイッチ８５等でドライバの指示が受け付けられ、一つの表示モードが現在モードに設定される。一般にドライバは、自分の好みや日常に利用する駐車場の環境に合わせて、４つの表示モードのうちの所望の一つの表示モードを頻繁に利用することになる。仮に、車両９を後退させるたびにドライバが所望の表示モードを現在モードに設定する必要があるとすると、操作が煩雑となる。

このため、画像表示システム１００では、バックモードＭ２において直近に現在モードに設定された表示モードを記憶しておき、次にバックモードＭ２となった場合には、原則として、その直近に現在モードとなった表示モードを、バックモードＭ２となった直後の現在モードに制御部１が設定するようになっている。これにより、ドライバにとっては、車両９を後退させるたびに所望の表示モードを選択するといった煩雑な操作が不要となる。

図２５は、直近の現在モードを示す情報を記憶する処理の流れを示す図である。この処理は、動作モードがバックモードＭ２である場合に、制御部１により繰り返し実行される。

まず、現在モードが別の表示モードに切り替えられたか否かが判断される（ステップＳ３１）。現在モードが別の表示モードに切り替えられた場合は、切替後の現在モードを示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ３２）。この処理は、現在モードが切り替えられる毎に行われるため、不揮発性メモリ１１には直近に現在モードに設定された表示モードを示すモード情報が記憶される。このモード情報は、動作モードがバックモードＭ２以外のとき（車両９の変速装置が”Ｒ（後退）”の位置以外のとき）や、画像表示システム１００の電源がオフのときであっても、不揮発性メモリ１１に記憶されることになる。

図２６は、バックモードＭ２の開始時点の処理の流れを示す図である。この処理は、車両９の変速装置が”Ｒ（後退）”の位置に操作され、動作モードがバックモードＭ２になったことに応答して制御部１により実行される。

まず、不揮発性メモリ１１に記憶されたモード情報が読み出される（ステップＳ４１）。そして、読み出されたモード情報が示す表示モードがいずれであるかが判断される（ステップＳ４２）。

モード情報が示す表示モードが合成俯瞰モードＭ２４以外の場合は（ステップＳ４２にてＮｏ）、モード情報が示す表示モードが現在モードに設定される（ステップＳ４３）。一方、モード情報が示す表示モードが合成俯瞰モードＭ２４の場合は（ステップＳ４２にてＹｅｓ）、合成標準モードＭ２３が現在モードに設定される（ステップＳ４４）。

このように、直近に現在モードとなった表示モードが、バックモードＭ２となった直後の現在モードに原則として設定される。しかしながら、直近に現在モードとなった表示モードが合成俯瞰モードＭ２４の場合は、合成俯瞰モードＭ２４とは異なる合成標準モードＭ２３がバックモードＭ２となった直後の現在モードに設定される。合成俯瞰モードＭ２４は最終的に車両９の駐車位置の調整を行うときに主に利用するものであるため、車両９の後退の開始時点では利用する場面は少ない。このため、このように直近に現在モードとなった表示モードが合成俯瞰モードＭ２４の場合は、例外的に異なる表示モードをバックモードＭ２となった直後の現在モードに設定することで、現在モードを合成俯瞰モードＭ２４から別の表示モードに変更するといった煩雑な操作を不要とすることができる。

なお、合成俯瞰モードＭ２４を例外的に扱う処理としては、図２５及び図２６で示した処理とは異なる処理でも実現できる。

図２７は、直近の現在モードを示す情報を記憶する処理の流れの他の一例を示す図である。この処理も、動作モードがバックモードＭ２である場合に、制御部１により繰り返し実行される。

まず、現在モードが別の表示モードに切り替えられたか否かが判断される（ステップＳ５１）。現在モードが別の表示モードに切り替えられた場合は、切替後の現在モードがいずれであるかが判断される（ステップＳ５２）。

切替後の現在モードが合成俯瞰モードＭ２４以外の場合は（ステップＳ５２にてＮｏ）、切替後の現在モードを示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ５３）。一方、切替後の現在モードが合成俯瞰モードＭ２４の場合は（ステップＳ５２にてＹｅｓ）、合成標準モードＭ２３を示すモード情報が不揮発性メモリ１１に記憶される（ステップＳ５４）。

これにより、不揮発性メモリ１１には原則として直近に現在モードに設定された表示モードを示すモード情報が記憶されるが、直近の現在モードが合成俯瞰モードＭ２４の場合は例外的に合成標準モードＭ２３を示すモード情報が記憶されることになる。

図２８は、図２７の処理が行われる場合における、バックモードＭ２の開始時点の処理の流れを示す図である。この処理も、車両９の変速装置が”Ｒ（後退）”の位置に操作され、動作モードがバックモードＭ２になったことに応答して制御部１により実行される。

まず、不揮発性メモリ１１に記憶されたモード情報が読み出される（ステップＳ６１）。そして、読み出されたモード情報が示す表示モードが、そのまま現在モードに設定される（ステップＳ６２）
このような処理によっても、直近に現在モードとなった表示モードが合成俯瞰モードＭ２４の場合は、例外的に異なる表示モードをバックモードＭ２となった直後の現在モードに設定することができる。その結果、現在モードを合成俯瞰モードＭ２４から別の表示モードに変更するといった煩雑な操作を不要とすることができる。

＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。もちろん、以下で説明する形態を適宜に組み合わせてもよい。

上記実施の形態では、画像生成装置１０とナビゲーション装置２０とは別の装置であるとして説明したが、ナビゲーション装置２０と画像生成装置１０とが同一のハウジング内に配置されて一体型の装置として構成されてもよい。

また、上記実施の形態では、画像生成装置１０で生成された表示用画像を表示する表示装置はナビゲーション装置２０であるとして説明したが、ナビゲーション機能等の特殊な機能を有していない一般的な表示装置であってもよい。

また、上記実施の形態において、画像生成装置１０の制御部１によって実現されると説明した機能の一部は、ナビゲーション装置２０の制御部２３によって実現されてもよい。

また、シフトセンサ８１、車速度センサ８２、方向指示器８３、ステアリングセンサ８４及び切替スイッチ８５からの信号は画像生成装置１０に入力されるものとしていたが、これらの信号の一部または全部はナビゲーション装置２０に入力されるようになっていてもよい。

また、上記実施の形態では、車両９のドライバが意図する方向指示を方向指示器８３から入力していたが、他の手段によって入力してもよい。例えば、ドライバの目を撮影した画像からドライバの視点の動きを検出し、その検出結果からドライバが意図する方向指示を入力するようなものであってもよい。

また、上記実施の形態では、バックモードＭ２において例外的に扱われる特定表示モードが合成俯瞰モードＭ２４であるとして説明を行ったが、合成俯瞰モードＭ２４とは別の表示モードを特定表示モードに設定してもよい。例えば、車両９の後端近傍を略直下に見下ろす仮想視点からの画像のみを表示用画像として表示する表示モードを特定表示モードとしてもよい。駐車位置の最終調整に利用するなどの特殊な条件下で利用するような態様の表示モードを特定表示モードにすることが望ましい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１ 制御部
３ 画像処理部
５ 撮影部
１０ 画像生成装置
１１ 不揮発性メモリ
２１ ディスプレイ
３２ 合成画像生成部
４２ 通信部
１００ 画像表示システム

Claims (9)

1. 車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
   前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて、前記車両の後方位置から前方に向けた仮想視点からみた前記車両の側方領域を含む合成画像を生成する合成画像生成手段と、
   生成された前記合成画像を前記表示装置に出力する出力手段と、
   前記車両のドライバが意図する方向指示を入力する入力手段と、
   を備え、
   前記合成画像生成手段は、
   前記方向指示が無いときは、前記車両の左右双方の側方領域を略均等に含む第１合成画像を生成し、
   前記方向指示が有るときは、該方向指示が示す一の方向の側方領域が他の方向の側方領域よりも大きい第２合成画像を生成することを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記合成画像生成手段は、前記方向指示が有りから無しに変化した場合は、
   所定時間が経過するまでは、前記第２合成画像を生成し、
   前記方向指示が無い状態で前記所定時間が経過した場合に、前記第１合成画像を生成することを特徴とする画像生成装置。
3. 請求項１または２に記載の画像生成装置において、
   前記車両の前方に設けられたカメラで撮影して得られるフロント画像と、前記合成画像生成手段で生成された前記合成画像とを並べて含む表示用画像を生成する表示画像生成手段、
   をさらに備え、
   前記出力手段は、前記表示用画像を前記表示装置に出力することを特徴とする画像生成装置。
4. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記合成画像生成手段は、前記仮想視点を変更する場合に、変更前の位置から変更後の位置まで段階的に前記仮想視点を変更し、連続表示により前記仮想視点が移動するアニメーション表現が可能な複数の合成画像を生成することを特徴とする画像生成装置。
5. 車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
   前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて、前記車両の後方位置から前方に向けた仮想視点からみた前記車両の左右双方の側方領域を含む合成画像を生成する合成画像生成手段と、
   前記車両の前方に設けられたカメラで撮影して得られるフロント画像と、前記合成画像生成手段で生成された前記合成画像とを並べて含む表示用画像を生成する表示画像生成手段と、
   生成された前記表示用画像を前記表示装置に出力する出力手段と、
   を備えることを特徴とする画像生成装置。
6. 車両に搭載された表示装置に表示させる画像を生成する画像生成装置であって、
   前記車両の周辺を複数のカメラで撮影して得られる複数の画像に基づいて任意の仮想視点からみた合成画像を生成する合成画像生成手段と、
   生成された前記合成画像を前記表示装置に出力する出力手段と、
   を備え、
   前記合成画像生成手段は、前記仮想視点を変更する場合に、変更前の位置から変更後の位置まで段階的に前記仮想視点を変更し、連続表示により前記仮想視点が移動するアニメーション表現が可能な複数の合成画像を生成することを特徴とする画像生成装置。
7. 請求項６に記載の画像生成装置において、
   前記合成画像生成手段は、所定の基準位置から前記仮想視点を変更することを特徴とする画像生成装置。
8. 請求項７に記載の画像生成装置において、
   前記基準位置は、前記車両のドライバの視点に相当する位置であることを特徴とする画像生成装置。
9. 車両に搭載される画像表示システムであって、
   請求項１ないし８のいずれかに記載の画像生成装置と、
   前記画像生成装置で生成された画像を表示する表示装置と、
   を備えることを特徴とする画像表示システム。

Images