JP5338374B2 - 車両用表示装置及び車両用表示方法 - Google Patents

Description

本発明は、車両用表示装置及び車両用表示方法に関する。

従来より、車両周辺を撮影した画像を運転者に対して提示する技術としては、例えば下記の特許文献１に記載されているように、カメラ映像に映っていない自車形状を合成して表示する技術が知られている。具体的には、車両の後続車両との位置関係（距離感）を掴むために、自車両後部の基準位置から後方に突出した部位を路面に投影し、当該投影した自車両部位を、自車両後方を撮影したカメラ映像に対して合成している。

特開２００３−８７７７９号公報

しかしながら、従来の技術では、自車両の形状に応じた画像をカメラ映像に合成しているだけなので、当該人工的な自車両画像とカメラ映像とが異質なものとなっている。したがって、自車両画像とカメラ映像を運転者に提示すると、運転者にとっては違和感のある映像となってしまう。特に、自車両画像が表示画面において示す面積が大きくなるほど、違和感が大きくなってしまい、車両周辺を正しく認識させることができなかった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者に違和感のない映像を提示することにより、車両周辺を正しく認識させることができる車両用表示装置及び車両用表示方法を提供することを目的とする。

本発明は、車両周辺を撮影した車両周辺画像に自車両画像を重畳させた表示画像を作成して、当該表示画像を表示手段に表示させる。このとき、本発明では、自車両の走行している周辺環境に応じて、自車両画像の表示形態を変更する。

本発明によれば、周辺環境に応じて自車両画像の表示形態を変更して車両周辺画像に重畳させるので、当該自車両画像が周囲環境に対して違和感のない映像を運転者に提示することにより、車両周辺を正しく認識させることができる。

本発明の第１実施形態として示す車両用表示装置が搭載される車両において、４台の車載カメラの設置位置及び撮影領域の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置が搭載される車両において、実カメラ及び仮想カメラの位置と撮影エリアとの関係の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置による視点変換の原理の一例を説明する図である。 本発明の第１実施形態として示す車両用表示装置により作成する俯瞰画像の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置の機能的な一構成例を示すブロック図である。 本発明の第１実施形態として示す車両用表示装置における演算部の機能的な一構成例を示すブロック図である。 ディスプレイ等の配置の一例を示す正面図である。 本発明の第１実施形態として示す車両用表示装置において表示画像を作成するときの周囲環境の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置により表示する画像の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置において鏡面反射状態を模擬するための原理を説明する図である。 本発明の第１実施形態として示す車両用表示装置における魚眼カメラにより撮影した周囲映像の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置により作成する鏡面反射状態を模擬した自車両画像の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置において、車体を撮影するカメラの一例を示す斜視図である。 本発明の第１実施形態として示す車両用表示装置により、車体の一部を撮影した画像の一例を示す図である。 本発明の第１実施形態として示す車両用表示装置において、実際に車両に映る鏡面反射状態を示す図である。 本発明の第１実施形態として示す車両用表示装置において、仮想カメラから見た鏡面反射状態を説明する図である。 本発明の第２実施形態として示す車両用表示装置の機能的な一構成例を示すブロック図である。 本発明の第２実施形態として示す車両用表示装置において、車体映像の車体領域に応じて自車両画像を変更することの説明図である。 本発明の第２実施形態として示す車両用表示装置により作成する拡散反射状態を模擬した自車両画像の一例を示す図である。 本発明の第３実施形態として示す車両用表示装置において予め記憶しておく自車両画像群の一例を示す図である。 本発明の第３実施形態として示す車両用表示装置の機能的な一構成例を示すブロック図である。 本発明の第３実施形態として示す車両用表示装置における演算部の機能的な一構成例を示すブロック図である。 本発明の第４実施形態として示す車両用表示装置において、拡散反射状態を模擬した自車両画像と、鏡面反射状態を模擬した自車両画像とを合成することの説明図である。 本発明の第５実施形態として示す車両用表示装置において、自車両画像の一部を半透明にすることの説明図である。

以下、本発明の実施の形態について図面を参照して説明する。

［第１実施形態］
本発明の第１実施形態として示す車両用表示装置は、車両周辺を撮影し、当該撮影された車両周辺画像に自車両画像を重畳させた表示画像を作成して、表示するものである。このとき、車両用表示装置は、自車両の走行している周辺環境に応じて、表示画像中の自車両画像の表示形態を変更する。

車両用表示装置は、表示画像として、例えば、撮影エリアを車両中央の真上から見下ろした画像である俯瞰画像を表示する。なお、以下の説明においては、運転者に自車両の周辺を認識させるための表示画像として俯瞰画像を表示させる例について説明する。しかし、俯瞰画像に限らず、自車両側方を確認させるための側方画像やその他の車両周辺画像を表示画像として表示させる場合であっても、後述するように表示画像中の自車両画像の表示形態を変更することができる。

車両用表示装置は、例えば図１に示すように複数のカメラ２ａ，２ｂ，２ｃ，２ｄ（以下、総称する場合には単に「カメラ２」と呼ぶ。）を備えた車両１に搭載される。カメラ２は、車両の前後左右に各々設置され、車両周囲の４方向の画像をそれぞれ撮影する。図１に示すように、カメラ２ａは、車両前方のフロントグリルに設置され、車両前方の撮影エリアＳＰ１の画像を撮影する。また、カメラ２ｂは、車両左側方の左サイドミラーに設置され、車両左側方の撮影エリアＳＰ２の画像を撮影する。また、カメラ２ｃは、車両後方のルーフスポイラーに設置され、車両後方の撮影エリアＳＰ３の画像を撮影する。また、カメラ２ｄは、車両右側方の右サイドミラーに設置され、車両右側方の撮影エリアＳＰ４の画像を撮影する。これら４台のカメラ２ａ，２ｂ，２ｃ，２ｄで撮影された車両周辺画像データは、車両用表示装置に含まれる後述の映像処理装置１０に随時供給される。

車両用表示装置は、カメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両前方、車両後方、車両両側方からなる４個の車両周辺画像データのそれぞれを座標変換して、合成する。これにより、車両用表示装置は、カメラ２ａ，２ｂ，２ｃ，２ｄによって撮影された車両周辺画像データから、図２に示すように車両全周囲を車両上方の仮想視点から見下ろした合成画像（俯瞰画像）を生成する。すなわち、車両用表示装置は、カメラ２ａ，２ｂ，２ｃ，２ｄによって撮影された車両周辺画像に対して、変換前後の画像における画素アドレスの対応関係を記述した変換テーブルによってそれぞれ俯瞰画像に視点変換を行い、繋ぎ合わせる。これにより、車両用表示装置は、カメラ２によって得られた車両周辺画像を、仮想カメラ２’を視点として撮影エリアＳＰ１〜ＳＰ４を撮影した俯瞰画像に変換する。

例えば図３に示すように、先ず実空間に合わせて仮想空間を設定し、仮想空間上に位置及び向きを合わせて実際のカメラ２と仮想カメラ２’とを配置する。次に投影面を設定する。図３ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に仮想カメラ２’の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ２’の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ２’の位置及び向きの情報と合わせ、投影面と光線ａとの交点ｃを求める。次に交点ｃから実際のカメラ２への光線ｂを考える。光線ｂの実際のカメラ２への入射が実際のカメラ撮影範囲内の場合には、光線ｂが実際のカメラ２のどの画素に入射するかを計算する。この場合、画像変換後の画像変換画像について光線ｂが実カメラ１１のどの画素に入射するかを計算する。この光線ｂが入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色及び輝度を画素Ｒの色及び輝度とすることができる。

このような変換処理により、車両用表示装置は、図４に示すような俯瞰画像を作成することができる。この俯瞰画像は、車両前方に設けられたカメラ２ａにより撮影された車両周辺画像データを変換した部分画像１０１Ｆと、車両左側方に設けられたカメラ２ｂにより撮影された車両周辺画像データを変換した部分画像１０１Ｌと、車両右側方に設けられたカメラ２ｄにより撮影された車両周辺画像データを変換した部分画像１０１Ｒと、車両後方に設けられたカメラ２ｃにより撮影された車両周辺画像データを変換した部分画像１０１Ｂを合成してなる。この俯瞰画像において、部分画像１０１同士の境界には繋ぎ目線１０２が重畳されている。俯瞰画像の中央には、自車両を示す自車両画像１００が重畳されている。この自車両画像１００は、後述するように自車両の走行している周辺環境に応じて表示形態を変更されて、当該俯瞰画像に重畳される。

このように車両周辺画像としての俯瞰画像を作成し、当該俯瞰画像に自車両画像１００を重畳させる車両用表示装置は、例えば図５に示すように構成されている。この車両用表示装置は、前方のカメラ２ａ，左側方のカメラ２ｂ，後方のカメラ２ｃ，右側方のカメラ２ｄと、映像処理装置１０と、ディスプレイ３とを有する。

このような車両用表示装置における映像処理装置１０は、図７に示すように、インストルメントパネル３３に内蔵される。また、インストルメントパネル３３の略中央部には、駐車ボタン３２及びスクロールキー３１を含むスイッチ群３４及びディスプレイ３が設けられている。また、インストルメントパネル３３の運転席側には、運転者が視認可能な速度や回転数などの表示部３６が設けられている。スイッチ群３４のステアリング３５側には、シフトレバー３７が設けられている。このようにスイッチ群３４には、当該スイッチ群３４内におけるシフトレバー３７側に駐車ボタン３２が設けられている。駐車ボタン３２は、例えば俯瞰画像を表示させた状態で駐車を開始する時に操作される。

映像処理装置１０は、カメラ２ａ，２ｂ，２ｃ，２ｄのそれぞれに対応した映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄ及びフレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄと、図６に示す各部を含む演算部１４と、変換テーブル記憶部１５と、出力映像用のフレームメモリ１６と、ディスプレイ３と接続された映像出力部１７とを備える。

映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄは、カメラ２ａ，２ｂ，２ｃ，２ｄから、所定時間ごとに車両周辺画像データを入力する。ここで、カメラ２は、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラで構成されている。このカメラ２は、車両周辺を撮影した車両周辺画像を映像処理装置１０に出力する。なお、この実施の形態では、車両の前方、後方及び両側方を撮影するために４個のカメラ２ａ，２ｂ，２ｃ，２ｄを設けているので、車両前方、車両後方、車両両側方の４個の車両周辺画像が映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄに出力される。

フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄは、映像入力部１２ａ，１２ｂ，１２ｃ，１２ｄにより入力したカメラ２ａ，２ｂ，２ｃ，２ｄによる車両周辺画像データをフレーム単位で格納する。フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄは、同時刻にカメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両周辺画像データが演算部１４により読み込まれる。

演算部１４は、カメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両周辺画像データに自車両画像１００を重畳させた表示画像を作成する表示画像作成手段として機能する。特に、演算部１４は、自車両の車体に映る周囲状態を模擬するように自車両画像１００の表示形態を変更する。この第１実施形態として示す車両用表示装置における演算部１４は、自車両の車体に対して周囲の光が鏡面反射される状態を模擬するように自車両画像１００の表示形態を変更する。この鏡面反射状態とは、例えば昼間の太陽や、夜間電灯などの周囲光に対して高い輝度の光が車両１に対して照射された時に、車両１のうち一部分の輝度が高く見える状態をいう。

また、演算部１４は、自車両画像１００が重畳される車両周辺画像として、上述したような俯瞰画像を作成する。このために、演算部１４は、変換前後の画像における画素アドレスの対応関係を記述した変換テーブルを変換テーブル記憶部１５から読み出す。そして、演算部１４は、カメラ２ａ，２ｂ，２ｃ，２ｄにより撮影された車両前方、車両後方、車両両側方からなる４個の車両周辺画像データのそれぞれを座標変換して、俯瞰画像を作成する。そして、演算部１４は、作成した俯瞰画像における所定領域に、車両の周囲状態を模擬した自車両画像１００を重畳させる。

変換テーブル記憶部１５は、演算部１４により表示画像を作成するに際して、カメラ２ａ，２ｂ，２ｃ，２ｄの車両周辺画像データを変換するための変換テーブルを記憶する。なお、変換テーブル記憶部１５は、俯瞰画像を作成する変換テーブルに限らず、他のレイアウトの表示画像を作成するための変換テーブルを記憶していても良いことは勿論である。

フレームメモリ１６は、演算部１４により作成された出力映像である俯瞰画像をフレーム単位で記憶する。フレームメモリ１６は、所定時間ごとに、フレーム単位の俯瞰画像を映像出力部１７に出力する。

映像出力部１７は、フレームメモリ１６からフレーム単位で俯瞰画像を読み出して、所定時間ごとに俯瞰画像をディスプレイ３に出力する。

ディスプレイ３は、映像処理装置１０により作成された表示画像としての俯瞰画像を入力して、当該俯瞰画像を表示する。

演算部１４は、図６に示すように、視点変換処理部２１と、鏡面反射映像生成部２２と、画像合成処理部２３とを有する。なお、この演算部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたコンピュータによるハードウエアで構成されているが、図６においては便宜的に機能ブロック毎に分けて、説明を行っている。

視点変換処理部２１は、カメラ２ａ，２ｂ，２ｃ，２ｄの撮影映像である車両周辺画像データを、フレームメモリ１３ａ，１３ｂ，１３ｃ，１３ｄから読み出して、上述した変換テーブルを用いた視点変換を行って俯瞰画像を作成する。この俯瞰画像は、画像合成処理部２３に供給される。

鏡面反射映像生成部２２は、自車両の走行している周辺環境に応じて、自車両画像１００の表示形態を変更する。この第１実施形態においては、鏡面反射映像生成部２２により、車両１に対して周囲の光が鏡面反射した状態を模擬した自車両画像１００を作成する場合について説明する。鏡面反射映像生成部２２は、車両周辺画像データ及び自車両の周囲を撮影する周囲撮影手段としての魚眼カメラ２１１からの周囲映像（周囲画像）を用いて、鏡面反射状態を模擬した自車両画像１００を作成する。この自車両画像１００は、画像合成処理部２３に供給される。

画像合成処理部２３は、俯瞰画像における所定領域に自車両画像１００を重畳させて、ディスプレイ３に表示させる表示画像を作成する。この表示画像は、フレームメモリ１６に供給される。

［鏡面反射状態を模擬した自車両画像を作成する具体例］
つぎに、上述した車両用表示装置において、車両１に対して周囲の光が鏡面反射した状態を模擬した自車両画像１００を作成する具体例について説明する。

例えば、図８に示すように、車両１の周囲には、車両１が走行している脇に設置された支柱２０１の先端に電灯２０２が設けられ、歩道２０４を介してビル２０３が存在するとする。このような周囲状態において、図９に示すような表示画像としての俯瞰画像を表示させるとする。

図９に示す俯瞰画像は、周囲状態を表す部分画像１０１の組み合わせた画像上に、自車両画像１００を配置している。この状態において、部分画像１０１には、道路上の白線、支柱２０１、歩道２０４、ビル２０３が含まれている。これら車両１の周囲に存在する支柱２０１、歩道２０４及びビル２０３、白線１１２は、車両１周囲の明るさなどの影響によって、色合いが変化するものである。したがって、車両用表示装置は、当該車両１の周囲状態によって色合いが変化する部分画像１０１に対して違和感がないような自車両画像１００を作成する。

このために、車両用表示装置は、図１０に示すように、車両１の塗装面に対する入射光を魚眼カメラ２１１により撮影する。そして、車両用表示装置は、魚眼カメラ２１１により、仮想カメラ２１２から車両１を見たときに車両１に映っていることが推定される周囲映像を生成する。魚眼カメラ２１１は、図１０中におけるＡからの矢印方向を撮影領域２１１’の中心とし、図１１に示す周囲映像を撮影させる。図１１に示す周囲映像には、当該映像の大部分を占める空の他に、ビル２０３及び電灯２０２が含まれている。

このような魚眼カメラ２１１により撮影された周囲映像は、鏡面反射映像生成部２２に供給される。鏡面反射映像生成部２２は、魚眼カメラ２１１により撮影された周囲映像を用いて、仮想カメラ２１２の位置から車両１を見下ろしたときに車両１に映っている風景（鏡面反射映像）を演算する。

例えば、魚眼カメラ２１１に対しては、当該魚眼カメラ２１１の位置Ａに入射光２１５が入射される。また、車両１の車***置Ｃには入射光２１３が入射され、当該車両１の車体にて反射した反射光２１４が仮想カメラ２１２の位置Ｂに入射される。このように仮想カメラ２１２が反射光２１４を撮影した状態を鏡面反射映像生成部２２によって求める。

ここで、車両１のボディ形状と仮想カメラ２１２の位置Ａとは既知であるため、電灯２０２からの入射光２１３が車両１に入射する位置Ｃにおける車体接線と仮想カメラ２１２の位置Ｂとの位置関係から、入射光２１３が反射した反射光２１４の出射角αが求まる。すると、入射光２１３が車両１に入射した位置Ｃにおける入射角βは、出射角αと等しいものとして求めることができる。そして、この入射角βの入射光２１３が水平線となす角度γを求めることができる。

通常、車両１と仮想カメラ２１２の距離よりも、車両１の周囲に存在する電灯２０２などの物体との距離の方が長い。このため、鏡面反射映像生成部２２は、魚眼カメラ２１１が撮影した周囲映像のうち、水平線となす角度γにおけるピクセルの色を、電灯２０２が車両１に入射した色として用いることができる。これにより、鏡面反射映像生成部２２は、実際に電灯２０２の位置Ｄと、魚眼カメラ２１１により撮影された周囲映像のうち電灯２０２を撮影した位置Ｅとの間に誤差があるものの、魚眼カメラ２１１により撮影した周囲映像のうち車両１の車体に対して周囲の光が鏡面反射される方向の映像を求めることができる。

このように、車両１の位置と、魚眼カメラ２１１との対応関係を、鏡面反射映像生成部２２によって求める。これにより、鏡面反射映像生成部２２は、魚眼カメラ２１１により撮影された周囲映像を用いて、自車両画像１００の全体に亘って、どのような光が自車両画像１００に投影されているかを求めることができる。これにより、鏡面反射映像生成部２２は、例えば図１２に示すように、自車両画像１００の一部に、電灯２０２からの光が反射することにより他の部分よりも輝度が高い鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃを模擬するように自車両画像１００の表示形態を変更できる。

なお、鏡面反射映像生成部２２は、リアルタイムで鏡面反射部分１０３を含む自車両画像１００を作成するために、自車両画像１００上の位置と、魚眼カメラ２１１との対応関係を記述した対応マップを用意しておくことが望ましい。これにより、鏡面反射映像生成部２２は、簡単な処理で、魚眼カメラ２１１により撮影された周囲映像に基づいて、鏡面反射部分１０３を含む自車両画像１００を作成することができる。

［鏡面反射状態を模擬した自車両画像を作成する他の具体例］
つぎに、鏡面反射映像生成部２２により、鏡面反射状態を模擬した自車両画像１００を作成する他の具体例について説明する。

この車両用表示装置は、図１３に示すように、車体の一部を撮影する車体撮影手段としてのカメラ２ｅを備える。このカメラ２ｅは、車室内におけるルームミラー付近に設置され、車両１の前部１Ａを撮影範囲に含み、後部１Ｂは撮影範囲に含まない。このカメラ２ｅは、車両１の車体を撮影する車体撮影手段として機能し、当該車体映像を演算部１４の鏡面反射映像生成部２２に供給する。そして、鏡面反射映像生成部２２は、カメラ２ｅにより撮影された車体画像を用いて自車両画像１００の表示形態を変更する。

このよう車両用表示装置において、カメラ２ｅにより撮影された車体映像１２０は、図１４に示すように、車両１の前部１Ａ、道路上の白線１１１，１１２を含む。また、車両１の前部１Ａには、電灯２０２から出射された光１０４が照射されているとする。この時、実際の車両１の前部１Ａは、図１５に示すように、電灯２０２からの光によって鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃが形成されていたとする。

この場合、鏡面反射映像生成部２２は、カメラ２ｅにより撮影された車体映像１２０と自車両画像１００上の位置との対応関係を記憶しておき、カメラ２ｅにより撮影された車体映像１２０を、自車両画像１００上の映像に変換することができる。ここで、例えば電灯２０２と車両１との距離が十分に離れているので、任意の車両１上の点に入射された光の入射角と、仮想カメラ２１２により撮影される反射光の反射角とが同じであると仮定できる。図１６に、図１５におけるＡ線上での断面状態を示すように、カメラ２ｅの撮影範囲と、仮想カメラ２１２の撮影範囲との対応関係は、仮想カメラ２１２の位置と車両１のボディ形状の関係から予め設定される。すなわち、カメラ２ｅにより撮影された車体映像１２０における任意の画素Ａ（１０４）に対する、仮想カメラ２１２から見た点としての自車両画像１００上の画素Ｂ，Ｃ，Ｄ（１０３Ａ，１０３Ｂ，１０３Ｃ）の関係は、予め対応マップとして設定できる。

例えば、図１４に示すカメラ２ｅの車体映像１２０が撮影された場合には、図１４に示す光１０４（図１６のＡ）を、図１５に示すような鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃ（図１６のＢ，Ｃ，Ｄ）として含む自車両画像１００を模擬する対応マップを作成しておく。これにより、鏡面反射映像生成部２２は、カメラ２ｅにより撮影された車体映像１２０における画素を取り出して、予め設定された対応マップを参照して、鏡面反射部分１０３Ａ，１０３Ｂ，１０３Ｃを含む自車両画像１００を作成できる。

［第１実施形態の効果］
以上説明したように、本発明の実施形態として示す車両用表示装置によれば、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することができ、車両周辺を正しく認識させることができる。

また、この車両用表示装置によれば、車両周辺画像から俯瞰画像を生成し、当該俯瞰画像に自車両画像１００を重畳させる場合に、自車両画像１００と車両周辺画像とを同時に見たときの違和感を低減できる。

更に、この車両用表示装置によれば、車両１に映る周囲状態を模擬するように自車両画像１００の表示形態を変更するので、より違和感のない映像を提示することにより、車両周辺を正しく認識させることができる。したがって、例えば車両１が、両脇に街灯がある道を走行中には、その風景があたかも車両１に写っている自車両画像１００を作成でき、周囲映像に違和感なく溶け込んでいる自車両画像１００を表示できる。

更にまた、車両用表示装置は、自車両の周囲を撮影する周囲撮影手段としての魚眼カメラ２１１を備え、図１０に示したように、鏡面反射映像生成部２２により、魚眼カメラ２１１により撮影された周囲映像のうち、車両１の車体に対して周囲の光が鏡面反射される方向の映像を用いて自車両画像１００の表示形態を変更することができる。したがって、この車両用表示装置によれば、実際に車両１の塗装面に映りこんでいる風景を撮影することができない場合でも、車両周辺の状況に対して現実感のある鏡面反射映像を含む自車両画像１００を生成することができる。

また、車両用表示装置によれば、自車両の車体を撮影するカメラ２ｅを備え、鏡面反射映像生成部２２により、カメラ２ｅにより撮影された車体映像１２０を用いて自車両画像１００の表示形態を変更するので、車両１を実際に撮影して自車両画像１００を作成でき、より現実感に近い自車両画像１００を作成できる。また、車両１の全部を撮影しなくても、車両１に映っている鏡面反射状態に応じて、現実感の高い自車両画像１００を作成できる。

［第２実施形態］
つぎに、本発明の第２実施形態として示す車両用表示装置について説明する。なお、上述した第１実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。

第２実施形態として示す車両用表示装置は、図１７に示すように、鏡面反射映像生成部２２に代えて、演算部１４に拡散反射映像生成部２４を備えた点で、上述した第１実施形態として示した車両用表示装置とは異なる。この車両用表示装置において、拡散反射映像生成部２４は、車両１の車体に対して周囲の光が拡散反射された状態を模擬するように自車両画像１００の表示形態を変更する。この拡散反射状態とは、周囲の光が車両１にて拡散反射することにより車両１の色が異なって見える状態をいう。

このような車両用表示装置は、上述の図１３に示したカメラ２ｅを備え、図１８に示す車体映像１２０を撮影する。そして、拡散反射映像生成部２４は、カメラ２ｅにより撮影された車体映像１２０の輝度又は色に応じて自車両画像１００の表示形態を変更する。例えば図１８に示す車体映像１２０のうち、車両１の前部１Ａのうち一部に相当する車体領域１２１の輝度又は色を取得する。そして、拡散反射映像生成部２４は、取得した車体領域１２１の輝度又は色の平均値を演算する。具体的には、車体領域１２１として設定されている座標のＲＧＢ値の平均を演算する。そして、拡散反射映像生成部２４は、演算した値となるように自車両画像１００の輝度又は色を決定して自車両画像１００の表示形態を変更させる。これにより、車両用表示装置は、図１９に示すように、車両１の前部１Ａ及び後部１Ｂを、周囲の光が拡散反射された状態を模擬する形態とする自車両画像１００Ｂを作成することができる。

以上のように、車両用表示装置によれば、第１実施形態と同様に、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。これに加えて、この車両用表示装置によれば、実際に車両１を撮影した車体映像１２０を用いて自車両画像１００の輝度又は色を決定できるので、実際に周囲の光が拡散反射している状態に応じて自車両画像１００の表示形態を変更できる。これにより、車両用表示装置によれば、車両周辺の明るさの違いによる違和感を回避した、現実感が非常に高い自車両画像１００を生成することができる。

［第３実施形態］
つぎに、第３実施形態として示す車両用表示装置について説明する。なお、上述した実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。

この車両用表示装置は、図２０に示すように、自車両の車体に対して周囲の光が拡散反射された状態を模擬した自車両画像を複数含む自車両画像群１３０を記憶しておき、車両１の状態に応じて、何れかの自車両画像１００を選択するものである。この車両用表示装置は、図２１に示すように、自車両画像群１３０を記憶する自車画像記憶部１８と、車両状態を示す車両信号を出力するタイマ４１，ワイパーＳＷ４２，ナビゲーション装置４３，輝度センサ４４，ヘッドライトＳＷ４５とを備える。自車画像記憶部１８、及び、タイマ４１，ワイパーＳＷ４２，ナビゲーション装置４３，輝度センサ４４，ヘッドライトＳＷ４５は、演算部１４に接続されている。演算部１４は、自車両画像群１３０及び車両信号を取得する。

演算部１４は、図２２に示すように、視点変換処理部２１、鏡面反射映像生成部２２、画像合成処理部２３及び拡散反射映像生成部２４を備える。第３実施形態において、拡散反射映像生成部２４は、車両信号及び自車両画像群１３０を入力する（入力手段）。この車両信号としては、自車両の状態としての時刻、ワイパーのオンオフ状態、走行場所、輝度センサ値、ヘッドライトのオンオフ状態のうち、何れかであれば良い。また、車両信号は、自車両画像１００の鏡面反射状態又は拡散反射状態が変化するものであれば、他のものを含んでいても良い。

拡散反射映像生成部２４は、自車両の状態としての時刻、ワイパーのオンオフ状態、走行場所、輝度センサ値、ヘッドライトのオンオフ状態のうち、何れかの車両信号に基づいて自車画像記憶部１８に記憶した自車両画像の何れかを選択する。これにより、鏡面反射映像生成部２２は、現在の車両状態に近い拡散反射状態を模擬した自車両画像１００を選択することができる。

具体的には、拡散反射映像生成部２４は、自車両画像群１３０のうち実際に使用する自車両画像１００を選択するために、一又は複数の車両信号を用いて、適切な自車両画像１００を決定する。

例えば、車両信号としてタイマ４１が計時している時刻を用いるとする。この場合、拡散反射映像生成部２４は、タイマ４１から取得した時刻に基づいて、適切な明るさの自車両画像１００を選択する。タイマ４１により取得した時刻が昼間であり車両周辺が明るい場合には明るい自車両画像１００を選択し、タイマ４１により取得した時刻が夜間であり車両周辺が暗い場合には暗い自車両画像１００を選択する。例えば、時刻が０〜５時である場合には、図２０に示した「Ａ」の自車両画像１００を選択し、時刻が５〜６時である場合には、図２０に示した「Ｂ」の自車両画像１００を選択し、時刻が６〜７時である場合には、図２０に示した「Ｃ」の自車両画像１００を選択し、時刻が７〜８時である場合には、図２０に示した「Ｄ」の自車両画像１００を選択し、時刻が８〜９時である場合には、図２０に示した「Ｅ」の自車両画像１００を選択し、時刻が９〜１５時である場合には、図２０に示した「Ｆ」の自車両画像１００を選択し、時刻が１５〜１６時である場合には、図２０に示した「Ｅ」の自車両画像１００を選択し、時刻が１６〜１７時である場合には、図２０に示した「Ｄ」の自車両画像１００を選択し、時刻が１７〜１８時である場合には、図２０に示した「Ｃ」の自車両画像１００を選択し、時刻が１８〜１９時である場合には、図２０に示した「Ｂ」の自車両画像１００を選択し、時刻が１９〜２４時である場合には、図２０に示した「Ａ」の自車両画像１００を選択する。

また、拡散反射映像生成部２４は、ワイパーＳＷ４２がオン状態である時には雨天であると判定して、暗い自車両画像１００を選択する。例えば、上述した時刻に対して自車両画像１００を選択した状態で、ワイパーＳＷ４２がオン状態である場合には、一段階だけ暗い自車両画像１００を選択する。例えば、時刻が７〜８時でありワイパーＳＷ４２がオフ状態である場合には、時刻にのみ基づいて「Ｄ」の自車両画像１００を選択し、ワイパーＳＷ４２がオンである場合には一段階だけ暗い「Ｃ」の自車両画像１００を選択する。

更に、拡散反射映像生成部２４は、ナビゲーション装置４３から地図データを取得し、車両周辺の明るさに応じて自車両画像１００を選択する。例えば車両１がトンネル内を走行している場合には、拡散反射映像生成部２４は、昼間の時刻に応じて選択した自車両画像１００よりも３段階程度の暗い自車両画像１００を選択し、夜間の時刻に応じて選択した自車両画像１００よりも４段階程度の暗い自車両画像１００を選択する。

更にまた、拡散反射映像生成部２４は、輝度センサ４４が検出した車両周辺の明るさに応じて、自車両画像１００を選択しても良い。例えば輝度センサ４４により検出した車両周辺の明るさが５００００ルクス以上である場合には最も明るい「Ｆ」の自車両画像１００を選択し、１０００〜５０００ルクスである場合には「Ｄ」の自車両画像１００を選択し、１０００ルクス以下である場合には「Ｂ」の自車両画像１００を選択する。

更にまた、拡散反射映像生成部２４は、ヘッドライトＳＷ４５のオンオフ状態に応じて、自車両画像１００を選択しても良い。拡散反射映像生成部２４は、ヘッドライトＳＷ４５がオン状態である場合には車両周辺が暗いので、暗い自車両画像１００を選択する。また、拡散反射映像生成部２４は、ヘッドライトＳＷ４５がオン状態である場合には、時刻に応じて選択した自車両画像１００よりも３段階程度の暗い自車両画像１００を選択しても良い。

以上のように、第３実施形態として示した車両用表示装置によれば、第１実施形態と同様に、自車両の走行している周辺環境に応じて、自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。これに加えて、この車両用表示装置によれば、車両状態に応じて拡散反射状態を模擬した自車両画像１００を簡単な構成によって作成することができる。

［第４実施形態］
つぎに、第４実施形態として示す車両用表示装置について説明する。なお、上述した実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。

この車両用表示装置は、図２２に示すように、鏡面反射映像生成部２２によって作成された鏡面反射状態を模擬した自車両画像１００と、拡散反射映像生成部２４によって作成された拡散反射状態を模擬した自車両画像１００とを合成して、ディスプレイ３に表示させる自車両画像１００を作成する。

この車両用表示装置において、拡散反射映像生成部２４は、第３実施形態のように車両信号に応じて自車両画像群１３０から自車両画像１００を選択しても良く、第２実施形態のように車体映像１２０を用いて拡散反射状態を模擬した自車両画像１００を作成しても良い。また、鏡面反射映像生成部２２は、上述したような魚眼カメラ２１１により撮影された周囲映像又はカメラ２ｅにより撮影された車体映像１２０を用いて、第１実施形態に示した演算を行って鏡面反射状態を模擬した自車両画像１００を作成する。

そして、画像合成処理部２３は、図２３（ｂ）に示した鏡面反射状態を模擬した自車両画像１００Ａと、図２３（ａ）に示した拡散反射状態を模擬した自車両画像１００Ｂとを合成して、図２３（ｃ）に示す合成後の自車両画像１００Ｃを作成する。画像合成処理部２３は、合成した自車両画像１００Ｃを、視点変換処理部２１により作成した俯瞰画像に重畳させる。

ここで、画像合成処理部２３は、フレームメモリ１６に格納する出力映像の各ピクセルについて、視点変換映像としての俯瞰画像と、鏡面反射状態を模擬した自車両画像１００と、拡散反射状態を模擬した自車両画像１００との混合比を予め決定して、テーブルに記憶しておく。そして、画像合成処理部２３は、俯瞰画像、自車両画像１００Ａ，１００Ｂを合成する時に、テーブルを読み出して、当該テーブルの混合比に応じて足し合わせる。例えば車両１から離れた位置では、俯瞰画像、鏡面反射状態を模擬した自車両画像１００、拡散反射状態を模擬した自車両画像１００のそれぞれの混合比を、１００％：０％：０％とする。中央の自車の領域においては、それぞれの混合比を、例えば０％：０％：１００％、０％：１００％：０％、又は、０％：５０％：５０％とする。

このような第４実施形態として示した車両用表示装置によれば、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。このような効果に加えて、第４実施形態として示した車両用表示装置によれば、演算部１４により、車両１に対して周囲の光が鏡面反射された状態を模擬するように表示形態を変更した自車両画像１００Ａを作成すると共に、車両１に対して周囲の光が拡散反射された状態を模擬するように表示形態を変更した自車両画像１００Ｂを作成し、双方の自車両画像を合成した自車両画像１００Ｃを俯瞰画像に重畳させるので、車両周辺に対して更に現実感の高い自車両画像１００を表示させることができる。

［第５実施形態］
つぎに、第５実施形態として示す車両用表示装置について説明する。なお、上述した実施形態と同じ部分については、同一符号を付することによりその詳細な説明を省略する。

第５実施形態として示す車両用表示装置は、演算部１４により、鏡面反射状態を模擬した自車両画像１００又は拡散反射状態を模擬した自車両画像１００、又は双方を合成した自車両画像１００を俯瞰画像に重畳させることに加え、自車両画像１００のうち、車両周辺画像としての俯瞰画像に重畳される一部を半透明にするものである。

例えば図２４（ａ）に示すように、自車両画像１００の一部としてのドアミラー部１００ａが俯瞰画像に含まれる白線に重畳されているとする。この場合、画像合成処理部２３は、自車両画像１００のうち、白線に重畳されているドアミラー部１００ａを半透明に加工する。これにより、画像合成処理部２３は、自車両画像１００のドアミラー部１００ａによって俯瞰画像が隠れてしまうことを防ぐ。具体的には、画像合成処理部２３は、表示画像中の自車両画像１００のドアミラー部１００ａに相当する範囲における俯瞰画像と、自車両画像１００との混合比を５０％：５０％にする。

以上のように、第５実施形態として示した車両用表示装置によれば、自車両の走行している周辺環境に応じて自車両画像１００の表示形態を変更するので、周辺環境に対して違和感のない自車両画像１００を含む映像を提示することにより、車両周辺を正しく認識させることができる。これに加えて、車両用表示装置によれば、自車両画像１００のうちの一部を半透明に加工するので、車両周辺に対して現実感の高い自車両画像１００を表示すると共に、車両周辺の視認性を高めることとを両立させることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

１ 車両
２ａ，２ｂ，２ｃ，２ｄ，２ｅ カメラ
３ ディスプレイ
１０ 映像処理装置
１１ 実カメラ
１２ａ，１２ｂ，１２ｃ，１２ｄ 映像入力部
１３ａ，１３ｂ，１３ｃ，１３ｄ フレームメモリ
１４ 演算部
１５ 変換テーブル記憶部
１６ フレームメモリ
１７ 映像出力部
１８ 自車画像記憶部
２１ 視点変換処理部
２２ 鏡面反射映像生成部
２３ 画像合成処理部
２４ 拡散反射映像生成部
３１ スクロールキー
３２ 駐車ボタン
３３ インストルメントパネル
３４ スイッチ群
３５ ステアリング
３６ 表示部
３７ シフトレバー
４１ タイマ
４２ ワイパーＳＷ
４３ ナビゲーション装置
４４ 輝度センサ
４５ ヘッドライトＳＷ
１００ 自車両画像
１００ａ ドアミラー部
１０１ 部分画像
１０３ 鏡面反射部分
１２０ 車体映像
１３０ 自車両画像群
２１１ 魚眼カメラ

Claims (8)

1. 車両周辺を撮影する撮影手段と、
   前記撮影手段により撮影された車両周辺画像に自車両画像を重畳させた表示画像を作成する表示画像作成手段と、
   前記表示画像作成手段により作成された表示画像を表示させる表示手段と、
   自車両の周囲を撮影する周囲撮影手段を備え、
   前記周囲撮影手段により撮影された周囲画像のうち、自車両の車体に対して周囲の光が鏡面反射される方向の画像を用いて、自車両の車体に対して周囲の光が鏡面反射する状態を模擬するように前記自車両画像の表示形態を変更することを特徴とする車両用表示装置。
2. 前記表示画像作成手段は、前記撮影手段により撮影された車両周辺画像から俯瞰画像を生成し、当該俯瞰画像に前記自車両画像を重畳させて表示画像を作成することを特徴とする請求項１に記載の車両用表示装置。
3. 自車両の車体を撮影する車体撮影手段を備え、
   前記表示画像作成手段は、前記車体撮影手段により撮影された車体画像を用いて前記自車両画像の表示形態を変更することを特徴とする請求項１に記載の車両用表示装置。
4. 前記表示画像作成手段は、自車両の車体に対して周囲の光が鏡面反射された状態を模擬するように表示形態を変更した自車両画像を作成すると共に、自車両の車体に対して周囲の光が拡散反射された状態を模擬するように表示形態を変更した自車両画像を作成し、双方の自車両画像を合成して前記車両周辺画像に重畳させることを特徴とする請求項１に記載の車両用表示装置。
5. 自車両の車体を撮影する車体撮影手段を備え、
   前記表示画像作成手段は、前記車体撮影手段により撮影された車体画像の輝度又は色に応じて前記自車両画像の表示形態を変更することを特徴とする請求項４に記載の車両用表示装置。
6. 自車両の車体に対して周囲の光が拡散反射された状態を模擬した自車両画像を複数記憶する記憶手段と、
   自車両の状態としての時刻、ワイパーのオンオフ状態、走行場所、輝度センサ値、ヘッドライトのオンオフ状態のうち何れかを含む車両信号を入力する入力手段とを備え、
   前記表示画像作成手段は、前記入力手段により入力した車両信号に基づいて前記記憶手段に記憶した自車両画像の何れかを選択することを特徴とする請求項４に記載の車両用表示装置。
7. 前記表示画像作成手段は、前記自車両画像のうち、前記車両周辺画像に重畳される一部を半透明にすることを特徴とする請求項１乃至請求項６の何れか一項に記載の車両用表示装置。
8. 撮影手段により撮影された車両周辺画像に自車両画像を重畳させて表示する時に、
   自車両の周囲を撮影する周囲撮影手段により撮影された周囲画像のうち、自車両の車体に対して周囲の光が鏡面反射される方向の画像を用いて、自車両の車体に対して周囲の光が鏡面反射する状態を模擬するように前記自車両画像の表示形態を変更することを特徴とする車両用表示方法。

Images