JP7076976B2 - 車両用表示装置 - Google Patents

Description

本発明は、車両用表示装置に係わり、特に、自車両周辺の画像を表示する車両用表示装置に関する。

従来、車両後部のカメラで撮影した画像と車両左右のカメラで撮影した画像とを合成することにより、１つの仮想的な視点から自車両後方を見たときの後方画像を表示する表示装置が知られている。

例えば、特許文献１には、自車の車幅方向の中央部から自車の後方を撮像する撮像カメラと、自車のサイドミラーに設置され自車の後方を撮像する撮像カメラと、それらの撮像カメラで撮像された画像データを合成して後方画像を生成する出力制御部と、生成された後方画像を表示するディスプレイと、自車の後方車両を検出するセンサーとを有する車載用画像表示装置が開示されている。この車載用画像表示装置は、検出された後方車両の位置に応じて画像データが合成される境界を可変する。

特開２０１０－２８７１６３号公報

しかしながら、上述したような従来の表示装置においては、異なる位置に設置された複数のカメラから得られた画像を合成して後方画像を生成しているので、合成した画像間の境界近傍で二重像や歪みが生じる。したがって、画像間の境界を跨ぐ位置に後方車両が表示されたときに、その後方車両と自車両との位置関係や後方車両までの距離を把握しにくいという問題がある。

本発明は、上述した従来技術の問題点を解決するためになされたものであり、複数のカメラから得られた画像を合成して単一画像を生成し表示するときに、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる、車両用表示装置を提供することを目的とする。

上記の目的を達成するために、本発明の車両用表示装置は、車両周辺の画像を表示する車両用表示装置であって、画像を表示する表示手段と、車両の後方を撮影する後方カメラと、車両の側方及び後方を撮影する側方カメラと、後方カメラにより撮影された後方画像と側方カメラにより撮影された後側方画像とを合成して単一画像を生成し、単一画像において合成された後方画像と後側方画像との境界に重なる位置にマスク画像を重畳して表示画像を生成し、表示画像を表示手段に表示させる表示制御手段とを備え、表示手段は、車両のフロントウインドシールド上端の車幅方向中央部に設けられ車両後方に向けられたディスプレイであり、マスク画像は、鏡がディスプレイの位置に設けられていると仮定した場合にドライバの視点から見て当該鏡に映って見える車両の最後部のピラーを模擬した不透明の部分を含み、最後部のピラーを模擬した部分が、単一画像において合成された後方画像と後側方画像との境界に重なる位置に配置される。
このように構成された本発明においては、後方カメラにより撮影された後方画像と側方カメラにより撮影された後側方画像とを合成して単一画像を生成し、単一画像において合成された後方画像と後側方画像との境界に重なる位置にマスク画像を重畳して表示画像を生成するので、後方画像と後側方画像との境界を跨ぐ位置に後方車両や後方障害物が位置した場合でも、境界近傍における後方車両や後方障害物の二重像や歪みをマスク画像により隠すことができる。これにより、二重像や歪みのために後方車両や後方障害物と自車両との位置関係や距離をドライバが誤って把握することを防止でき、ドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
また、従来鏡が設けられていた位置にディスプレイが設けられており、そのディスプレイに後方カメラにより撮影された後方画像と側方カメラにより撮影された後側方画像とを合成してマスク画像を重畳した表示画像を表示させるので、従来の鏡により車両後方を確認するのと同様の感覚で、車両後方から側方にわたる広い範囲をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。
また、マスク画像は車両の最後部のピラーを模擬した不透明の部分を含み、最後部のピラーを模擬した部分が、単一画像において合成された後方画像と後側方画像との境界に重なる位置に配置されているので、後方画像と後側方画像との境界を跨ぐ位置に後方車両や後方障害物が位置した場合でも、境界近傍における後方車両や後方障害物の二重像や歪みを、最後部のピラーを模擬したマスク画像の部分により隠すことができる。これにより、二重像や歪みのために後方車両や後方障害物と自車両との位置関係や距離をドライバが誤って把握することを防止できるだけでなく、後方車両や後方障害物と自車両との位置関係を、最後部のピラーを模擬したマスク画像との関係で表すことができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。

また、本発明において、好ましくは、マスク画像は、鏡を有する鏡がディスプレイの位置に設けられていると仮定した場合にドライバの視点から見て当該鏡に映って見える車両の天井を模擬した不透明の部分と車両の後端部の構造を模擬した不透明の部分とを含む。
このように構成された本発明においては、マスク画像は車両の天井を模擬した不透明の部分と車両の後端部の構造（例えばリアゲート又はトランク）を模擬した不透明の部分とを含むので、車両の上方等、ドライバが後方を確認する際に不要な領域をマスク画像によって違和感なく隠すことができる。これにより、ドライバが認識すべき情報量を低減することができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。

また、本発明において、好ましくは、側方カメラは、車両のドアミラーに取り付けられ、マスク画像は、鏡がディスプレイの位置に設けられていると仮定した場合にドライバの視点から見て当該鏡に映って見える車両の側面の構造を模擬した半透明の部分を含む。
このように構成された本発明においては、マスク画像は車両の側面の構造（例えばリアクォーターパネル）を模擬した半透明の部分を含むので、車両側方の他車両や障害物を表示しつつ、それらの他車両や障害物と自車両との位置関係を、車両の側面の構造を模擬したマスク画像との関係で表すことができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。

また、本発明において、好ましくは、後方カメラ及び側方カメラは魚眼レンズを有し、表示制御手段は、後方カメラにより撮影された後方画像を車両の前後方向に垂直な仮想平面に展開し、側方カメラにより撮影された後側方画像を、中心軸線が車両上下方向に延びる仮想円筒面に展開し、平面に展開した後方画像と円筒面に展開した後側方画像とを合成して単一画像を生成する。
このように構成された本発明においては、魚眼レンズを有する後方カメラにより撮影された後方画像を車両の前後方向に垂直な仮想平面に展開し、魚眼レンズを有する側方カメラにより撮影された後側方画像を中心軸線が車両上下方向に延びる仮想円筒面に展開するので、後方画像については実際の空間における直線が画像中でも直線として表示されるようにし、後側方画像については画角全体にわたって距離感が均一になるようにすることができる。そして、これらの後方画像と後側方画像とを合成して単一画像を生成することにより、見た目の自然さと適切な距離感とを両立した単一画像を表示することができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。

本発明による車両用表示装置によれば、複数のカメラから得られた画像を合成して単一画像を生成し表示するときに、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両周辺の画像を表示することができる。

本発明の実施形態による車両用表示装置が備える複数のカメラの配置を示す平面図である。 本発明の実施形態による車両用表示装置が適用された車両のインストルメントパネル周辺を示す正面図である。 本発明の実施形態による車両用表示装置の電気的構成を示すブロック図である。 本発明の実施形態による車両用表示装置が実行する表示処理のフローチャートである。 複数のカメラから得られた画像を合成して単一画像を生成する過程における画像を例示した図である。 複数のカメラから得られた画像を合成した単一画像と、その単一画像にマスク画像を重畳した表示画像とを例示した図である。

以下、添付図面を参照しながら本発明の実施形態による車両用表示装置を説明する。
まず、図１～３により、本発明の実施形態による車両用表示装置の構成を説明する。図１は、本発明の実施形態による車両用表示装置が備える複数のカメラの配置を示す平面図であり、図２は、本発明の実施形態による車両用表示装置が適用された車両のインストルメントパネル周辺を示す正面図であり、図３は、本発明の実施形態による車両用表示装置の電気的構成を示すブロック図である。

図１において、符号１は本発明の実施形態による車両用表示装置を示し、車両用表示装置１は、車両２の右側サイドミラーの下部に取り付けられた右側カメラ４、車両２の左側サイドミラーの下部に取り付けられた左側カメラ６及び車両２の後端部に取り付けられた後方カメラ８を備えている。これらのカメラ４、６、８は、魚眼レンズを使用しており、右側カメラ４及び左側カメラ６は車両２の側方に向けられ、後方カメラ８は車両２後方に向けられている。これにより、右側カメラ４及び左側カメラ６は車両２の前方、側方及び後方を撮影し、後方カメラ８は車両２の後方を撮影する。これらのカメラ４、６、８により、車両２の後方からサイドミラーの側方にわたる広い範囲を撮像することができ、車両２前方を向いたドライバの視界に含まれない範囲を漏れなく撮像することができる。

次に、図２に示すように、車両２の車室の前部には、フロントウインドシールド１０と、フロントウインドシールド１０の下方において車幅方向に延びるインストルメントパネル１２とが設けられている。
車両用表示装置１は、フロントウインドシールド１０上端の車幅方向中央部に設けられ車両２後方に向けられたディスプレイ１４ａを有する電子ルームミラー１４と、インストルメントパネル１２の車幅方向中央部に設けられ車両２後方に向けられたディスプレイ１６ａを有するセンターディスプレイ１６とを備えている。

また、図３に示すように、車両用表示装置１は、各カメラ４、６、８により撮影された画像から単一画像を生成して電子ルームミラー１４やセンターディスプレイ１６に表示させる、表示制御部１８を備えている。
表示制御部１８は、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＯＭやＲＡＭの如き内部メモリを備えるコンピュータにより構成される。

次に、図４～６により、車両用表示装置１が実行する表示処理を説明する。
図４は、本発明の実施形態による車両用表示装置１が実行する表示処理のフローチャートである。図５は、複数のカメラ４、６、８から得られた画像を合成して単一画像を生成する過程における画像を例示した図であり、（ａ）は魚眼レンズを用いた各カメラ４、６、８により撮影された画像を示す図、（ｂ）は（ａ）に示した各画像を展開した画像を示す図、（ｃ）は（ｂ）に示した画像をトリミングした画像を示す図、（ｄ）は（ｃ）に示した画像を合成した単一画像を示す図である。図６は、複数のカメラ４、６、８から得られた画像を合成した単一画像と、その単一画像にマスク画像を重畳した表示画像とを例示した図であり、（ａ）は図５（ｄ）に示した単一画像を示す図、（ｂ）はマスク画像を単一画像に重畳して電子ルームミラー１４に表示した画像を示す図である。

図４に示す表示処理は、車両２のイグニッションがオンにされたときに起動され、所定周期（例えば２００ｍｓ毎）で繰り返し実行される。

図４に示すように、表示処理が開始されると、ステップＳ１において、表示制御部１８は、右側カメラ４及び左側カメラ６により撮影された車両２の側方及び後方の画像（後側方画像ＳＶ）と、後方カメラ８により撮影された車両２後方の画像（後方画像ＲＶ）を取得する。上述したように各カメラ４、６、８は魚眼レンズを使用しているので、取得された画像は図５（ａ）に示すように歪んでいる。また、表示制御部１８は、図５（ａ）に示すように、各カメラ４、６、８の設置位置から実際に見える景色を左右反転した画像を取得する。

次に、ステップＳ２において、表示制御部１８は、取得した各画像の補正を行う。具体的には、表示制御部１８は、右側カメラ４及び左側カメラ６により撮影された後側方画像ＳＶを、中心軸線が車両２上下方向に延びる仮想円筒面Ｃ（図１において円弧により示す）に展開する処理（円筒面展開）を行うと共に、後方カメラ８により撮影された後方画像ＲＶを、車両２の前後方向に垂直な仮想平面Ｐ（図１において直線により示す）に展開する処理（平面展開）を行う。これにより、図５（ｂ）に示すように、各画像の歪みが補正される。

次に、ステップＳ３において、表示制御部１８は、ステップＳ２で補正した画像のトリミングを行う。後方カメラ８の撮像範囲と、右側カメラ４及び左側カメラ６の撮像範囲とは、一部重複しているので、その重複部分を取り除く必要がある。また、各画像には車両２の上方から下方にわたって広い範囲が含まれており、ドライバが車両２の後方を確認する際には不要な領域も含まれている。そこで、表示制御部１８は、例えば座標情報を用いて予め定められた境界により、各画像をトリミングする。図５（ｂ）の例では、表示制御部１８は各画像から矩形の境界（図５（ｂ）において一点鎖線で示す）に囲まれた領域を切り出す。ステップＳ３においてトリミングされた画像を図５（ｃ）に示す。

次に、ステップＳ４において、表示制御部１８は、ステップＳ３においてトリミングされた画像を単一の画像に合成する。これにより、図５（ｄ）に示すように、車両２の後方から側方にわたる広い範囲を示す単一画像ＩＴが得られる。

次に、ステップＳ５において、表示制御部１８は、ステップＳ４において合成した単一画像ＩＴに、予め作成されメモリ等に記憶されているマスク画像Ｍを重畳する。
マスク画像Ｍは、図６（ｂ）に示すように、鏡を有するルームミラーが電子ルームミラー１４の位置に設けられていると仮定した場合にドライバの視点から見てルームミラーに映って見える車両２の天井を模擬した部分Ｍ１、ピラーを模擬した部分Ｍ２、車両２の後端部にあるリアゲートを模擬した部分Ｍ３、リアクォーターパネルを模擬した部分Ｍ４を含む。この内、車両２の天井を模擬した部分Ｍ１、車両２の最後部のピラーを模擬した部分Ｍ２及びリアゲートを模擬した部分Ｍ３は不透明であり、その他の部分は半透明となっている。また、車両２の天井を模擬した部分Ｍ１及び車両２の最後部のピラーを模擬した部分Ｍ２は、ステップＳ４において合成された各画像の境界Ｂに重なる位置に配置される。

次に、ステップＳ６において、表示制御部１８は、ステップＳ５でマスク画像Ｍを重畳した表示画像Ｄを、電子ルームミラー１４のディスプレイ１４ａに表示させる。これにより、ドライバは、従来の鏡を有するルームミラーにより車両２後方を確認するのと同様の感覚で、車両２後方から側方にわたる広い範囲を直観的に確認することができる。
また、マスク画像Ｍにおける車両２の天井を模擬した部分Ｍ１及び車両２の最後部のピラーを模擬した部分Ｍ２が、ステップＳ４において合成された各画像間の境界Ｂを覆っているので、各画像間の境界Ｂを跨ぐ位置に後方車両が位置した場合でも、境界Ｂ近傍における二重像や歪みはマスク画像Ｍにより隠される。したがって、境界Ｂ近傍で後方車両の二重像や歪みが発生することにより後方車両と自車両２との位置関係や後方車両までの距離をドライバが誤って把握することが防止される。
ステップＳ６の後、表示制御部１８は処理を終了する。

次に、本発明の実施形態のさらなる変形例を説明する。
上述した実施形態においては、表示制御部１８は、画像を電子ルームミラー１４のディスプレイ１４ａに表示させると説明したが、センターディスプレイ１６に表示させるようにしてもよい。

また、上述した実施形態においては、マスク画像Ｍは、車両２の天井を模擬した部分Ｍ１、車両２のピラーを模擬した部分Ｍ２、リアゲートを模擬した部分Ｍ３、リアクォーターパネルを模擬した部分Ｍ４を含むと説明したが、マスク画像Ｍの形状を車両２の構造に応じて適宜変更することができる。例えば、セダンタイプの車両２の場合には、リアゲートを模擬した部分Ｍ３に代えて車両２の後端部にあるトランクを模擬した部分を設けてもよい。また、前後のドアパネルを模擬した部分を加えてもよい。また、マスク画像Ｍは、必ずしも車両２の天井、ピラー、リアゲート、リアクォーターパネル等を模擬していなくてもよい。

また、上述した実施形態においては、車両２の右側サイドミラーの下部に右側カメラ４が取り付けられ、左側サイドミラーの下部に左側カメラ６が取り付けられていると説明したが、サイドミラーの上部や端部に取り付けてもよく、車両２側面の他の場所に取り付けてもよい。

また、上述した実施形態においては、各カメラ４、６、８は魚眼レンズを使用していると説明したが、魚眼レンズ以外の広角レンズを使用してもよい。

次に、上述した本発明の実施形態及び本発明の実施形態の変形例による車両用表示装置１の効果を説明する。

まず、表示制御部１８は、後方カメラ８により撮影された後方画像ＲＶと右側カメラ４及び左側カメラ６により撮影された後側方画像ＳＶとを合成して単一画像ＩＴを生成し、単一画像ＩＴにおいて合成された後方画像ＲＶと後側方画像ＳＶとの境界Ｂに重なる位置にマスク画像Ｍを重畳して表示画像Ｄを生成するので、後方画像ＲＶと後側方画像ＳＶとの境界Ｂを跨ぐ位置に後方車両や後方障害物が位置した場合でも、境界Ｂ近傍における後方車両や後方障害物の二重像や歪みをマスク画像Ｍにより隠すことができる。これにより、二重像や歪みのために後方車両や後方障害物と自車両２との位置関係や距離をドライバが誤って把握することを防止でき、ドライバがより直観的に認識可能な自車両２周辺の画像を表示することができる。

また、従来の鏡を有するルームミラーが設けられていた位置に電子ルームミラー１４が設けられており、そのディスプレイ１４ａに後方カメラ８により撮影された後方画像ＲＶと右側カメラ４及び左側カメラ６により撮影された後側方画像ＳＶとを合成してマスク画像Ｍを重畳した表示画像Ｄを表示させるので、従来のルームミラーにより車両２後方を確認するのと同様の感覚で、車両２後方から側方にわたる広い範囲をドライバがより直観的に認識可能な自車両２周辺の画像を表示することができる。

また、マスク画像Ｍは車両２の最後部のピラーを模擬した不透明の部分Ｍ２を含み、最後部のピラーを模擬した部分Ｍ２が、単一画像ＩＴにおいて合成された後方画像ＲＶと後側方画像ＳＶとの境界Ｂに重なる位置に配置されているので、後方画像ＲＶと後側方画像ＳＶとの境界Ｂを跨ぐ位置に後方車両や後方障害物が位置した場合でも、境界Ｂ近傍における後方車両や後方障害物の二重像や歪みを、最後部のピラーを模擬したマスク画像Ｍの部分により隠すことができる。これにより、二重像や歪みのために後方車両や後方障害物と自車両２との位置関係や距離をドライバが誤って把握することを防止できだけでなく、後方車両や後方障害物と自車両２との位置関係を、最後部のピラーを模擬したマスク画像Ｍとの関係で表すことができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両２周辺の画像を表示することができる。

また、マスク画像Ｍは車両２の天井を模擬した不透明の部分Ｍ１と車両２の後端部の構造（実施形態ではリアゲート）を模擬した不透明の部分Ｍ３とを含むので、車両２の上方等、ドライバが後方を確認する際に不要な領域をマスク画像Ｍによって違和感なく隠すことができる。これにより、ドライバが認識すべき情報量を低減することができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両２周辺の画像を表示することができる。

また、マスク画像Ｍは車両２の側面の構造（実施形態ではリアクォーターパネル）を模擬した半透明の部分Ｍ４を含むので、車両２側方の他車両や障害物を表示しつつ、それらの他車両や障害物と自車両２との位置関係を、車両２の側面の構造を模擬したマスク画像Ｍとの関係で表すことができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両２周辺の画像を表示することができる。

また、魚眼レンズを有する後方カメラ８により撮影された後方画像ＲＶを車両２の前後方向に垂直な仮想平面Ｐに展開し、魚眼レンズを有する右側カメラ４及び左側カメラ６により撮影された後側方画像ＳＶを中心軸線が車両２上下方向に延びる仮想円筒面Ｃに展開するので、後方画像ＲＶについては実際の空間における直線が画像中でも直線として表示されるようにし、後側方画像ＳＶについては画角全体にわたって距離感が均一になるようにすることができる。そして、これらの後方画像ＲＶと後側方画像ＳＶとを合成して単一画像ＩＴを生成することにより、見た目の自然さと適切な距離感とを両立した単一画像ＩＴを表示することができ、後方車両や後方障害物との位置関係や距離をドライバがより直観的に認識可能な自車両２周辺の画像を表示することができる。

１ 車両用表示装置
２ 車両
４ 右側カメラ
６ 左側カメラ
８ 後方カメラ
１０ フロントウインドシールド
１２ インストルメントパネル
１４ 電子ルームミラー
１４ａ、１６ａ ディスプレイ
１６ センターディスプレイ
１８ 表示制御部
ＳＶ 後側方画像
ＲＶ 後方画像
Ｃ 仮想円筒面
Ｐ 仮想平面
ＩＴ 単一画像
Ｄ 表示画像
Ｍ マスク画像
Ｍ１ 天井を模擬した部分
Ｍ２ ピラーを模擬した部分
Ｍ３ リアゲートを模擬した部分
Ｍ４ リアクォーターパネルを模擬した部分
Ｂ 境界

Claims (4)

1. 車両周辺の画像を表示する車両用表示装置であって、
   画像を表示する表示手段と、
   車両の後方を撮影する後方カメラと、
   車両の側方及び後方を撮影する側方カメラと、
   前記後方カメラにより撮影された後方画像と前記側方カメラにより撮影された後側方画像とを合成して単一画像を生成し、前記単一画像において合成された前記後方画像と前記後側方画像との境界に重なる位置にマスク画像を重畳して表示画像を生成し、前記表示画像を前記表示手段に表示させる表示制御手段と、
   を備え、
   前記表示手段は、車両のフロントウインドシールド上端の車幅方向中央部に設けられ車両後方に向けられたディスプレイであり、
   前記マスク画像は、鏡が前記ディスプレイの位置に設けられていると仮定した場合にドライバの視点から見て当該鏡に映って見える車両の最後部のピラーを模擬した不透明の部分を含み、前記最後部のピラーを模擬した部分が、前記単一画像において合成された前記後方画像と前記後側方画像との境界に重なる位置に配置される、
   車両用表示装置。
2. 前記マスク画像は、鏡が前記ディスプレイの位置に設けられていると仮定した場合にドライバの視点から見て当該鏡に映って見える車両の天井を模擬した不透明の部分と車両の後端部の構造を模擬した不透明の部分とを含む、請求項１に記載の車両用表示装置。
3. 前記側方カメラは、車両のドアミラーに取り付けられ、
   前記マスク画像は、鏡が前記ディスプレイの位置に設けられていると仮定した場合にドライバの視点から見て当該鏡に映って見える車両の側面の構造を模擬した半透明の部分を含む、請求項２に記載の車両用表示装置。
4. 前記後方カメラ及び前記側方カメラは魚眼レンズを有し、
   前記表示制御手段は、前記後方カメラにより撮影された前記後方画像を車両の前後方向に垂直な仮想平面に展開し、前記側方カメラにより撮影された前記後側方画像を、中心軸線が車両上下方向に延びる仮想円筒面に展開し、前記平面に展開した前記後方画像と前記円筒面に展開した前記後側方画像とを合成して前記単一画像を生成する、請求項１から３の何れか１項に記載の車両用表示装置。

Images