JP2008017311A - 車両用映像表示装置及び車両周囲映像の表示方法 - Google Patents

Abstract

【課題】複数のカメラで撮像した複数の映像のうち、どの映像を表示させているかを直感的に把握させる。
【解決手段】それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像の視点変換画像を組み合わせた車両の周囲全体を示す俯瞰映像１１と、複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像のノーマルビュー映像１２とを含む車両周囲映像を表示させる場合、選択されたカメラ映像のノーマルビュー映像１２と、俯瞰映像１１のうちの選択されたカメラ映像に対応する視点変換画像とを関連付けるために、関連付け用強調表示２６を俯瞰映像１１内に表示させると共に、関連付け用強調表示２７をノーマルビュー映像１２内に表示させる。
【選択図】図３

Description

本発明は、車両周囲の状況を運転者に認識させるために車両周囲を撮像した映像を表示する車両用映像表示装置及び車両周囲映像の表示方法に関する。

従来より、車両の周囲を撮像方向としたカメラを複数備え、当該カメラによって撮像した映像を選択的に車室内のディスプレイに表示するに際して、撮像した映像に、どのカメラで撮像した映像であるかを表す文字を重畳させて表示する技術が、特許文献１などで知られている。これにより、どの方向の映像がディスプレイに表示されているかを認識させている。
特開平１１−２６１９９８号公報（図４等を参照）

しかしながら、上述した技術は、ディスプレイに表示させている映像の方向を文字で表示しているので、当該文字を読まなければならず、どの方向の映像が表示されているかを直感的に把握できない。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、複数のカメラで撮像した複数の映像のうち、どの映像を表示させているかを直感的に把握させることができる車両用映像表示装置及び車両周囲映像の表示方法を提供することを目的とする。

本発明は、それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像の視点変換画像を組み合わせた車両の周囲全体を示す俯瞰映像と、複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像とを含む車両周囲映像を表示させる場合、上述の課題を解決するために、選択されたカメラ映像と、俯瞰映像のうちの選択されたカメラ映像に対応する視点変換画像とを関連付けた表示を行う。

又は、本発明は、それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像の視点変換画像を組み合わせた車両の周囲全体を示す俯瞰映像と、複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像とを含む車両周囲映像を表示させる場合に、上述の課題を解決するために、選択されたカメラ映像に含まれる一部の画像と、俯瞰映像のうちの選択されたカメラ映像に対応する視点変換画像に含まれる一部の画像とを同じ画像で表示を行う。

本発明によれば、選択されたカメラ映像と、俯瞰映像のうちの選択されたカメラ映像に対応する視点変換画像とを関連付けた表示を行うので、複数のカメラで撮像した複数の映像のうち、どのカメラ映像を表示させているかを直感的に把握させることができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、図１に示すように構成された車両用映像表示装置に適用される。

この車両用映像表示装置は、画像処理装置１と、それぞれ撮像方向が異なる複数のカメラ２Ａ，２Ｂ，２Ｃ，２Ｄと、車両の乗員に操作される操作入力装置３と、映像を表示する映像出力装置４とを備える。

カメラ２Ａは、車両の前方を撮像方向とし、車両の前方を示すカメラ映像を撮像する。カメラ２Ｂは、車両の右側方を撮像方向とし、車両の右側方を示すカメラ映像を撮像する。カメラ２Ｃは、車両の左側方を撮像方向とし、車両の左側方を示すカメラ映像を撮像する。カメラ２Ｄは、車両の後方を撮像方向とし、車両の後方を示すカメラ映像を撮像する。

操作入力装置３は、カメラ２Ａ，２Ｂ，２Ｃ，２Ｄで撮像されたカメラ映像のうち、何れかのカメラ映像を選択して表示する場合に操作される。この操作入力装置３に対する操作は、操作入力信号として画像処理装置１に読み込まれる。なお、本例では、乗員の操作によって選択されたノーマルビュー画像を表示する場合について説明するが、乗員の操作以外の方法で選択されたノーマルビュー画像を表示させても良いのは勿論である。

映像出力装置４は、液晶ディスプレイからなり、画像処理装置１によって作成された映像を表示する。この映像出力装置４によって表示されるカメラ映像は、カメラ２Ａ，２Ｂ，２Ｃ，２Ｄによって撮像された複数のカメラ映像の視点変換画像を組み合わせた車両周囲の全体を示す俯瞰映像と、操作入力装置３によって選択された視点変換が施されていないカメラ映像（ノーマルビュー映像）とからなる車両周囲映像である。

画像処理装置１は、操作入力装置３から操作入力信号を入力して、カメラ２Ａ，２Ｂ，２Ｃ，２Ｄで撮像されたカメラ映像を用いて俯瞰映像を作成し、当該俯瞰映像と操作入力装置３の操作入力信号によって選択されたカメラ映像とを含む車両周囲映像を作成する。このとき、画像処理装置１は、操作入力装置３によって選択されたカメラ映像と、俯瞰映像のうちの選択されたカメラ映像に対応する視点変換画像とを関連づけて、車両周囲映像を作成する。

画像処理装置１によって作成される車両周囲映像は、図２に示すように、映像出力装置４の画面内に、俯瞰映像１１とカメラ２Ａ，２Ｂ，２Ｃ，２Ｄの何れかで撮像されたノーマルビュー映像１２とを含む映像である。

ノーマルビュー映像１２は、カメラ２Ａ，２Ｂ，２Ｃ，２Ｄの設置位置から車両周囲を見た俯瞰映像を作成する視点変換処理を施していないそのままの映像である。例えば車両が白線内に駐車されている状況において、車両前方を示すノーマルビュー映像１２には、車体前部２３と白線画像２４とが含まれる。

俯瞰映像１１は、カメラ２Ａ，２Ｂ，２Ｃ，２Ｄで撮像された複数のカメラ映像の視点変換画像を組み合わせて作成され、車両上方を視点とした車両の周囲全体を示す映像である。俯瞰映像１１は、略中心位置に車両画像２１を配置し、当該車両画像２１の上側に前方領域画像２２Ａ、車両画像２１の右側に右側方領域画像２２Ｂ、車両画像２１の左側に左側方領域画像２２Ｃ、車両画像２１の下側に後方領域画像２２Ｄを配置して構成されている。また、車両画像２１の周囲と前方領域画像２２Ａと右側方領域画像２２Ｂと左側方領域画像２２Ｃと後方領域画像２２Ｄとは、区切り線で区分されている。

前方領域画像２２Ａは、カメラ２Ａで撮像された車両前方のカメラ映像を視点変換して得られる画像であり、右側方領域画像２２Ｂは、カメラ２Ｂで撮像された車両右側方のカメラ映像を視点変換して得られる画像であり、左側方領域画像２２Ｃは、カメラ２Ｃで撮像された車両左側方のカメラ映像を視点変換して得られる画像であり、後方領域画像２２Ｄは、カメラ２Ｄで撮像された車両前方のカメラ映像を視点変換して得られる画像である。なお、以下の説明において前方領域画像２２Ａ、右側方領域画像２２Ｂ、左側方領域画像２２Ｃ、後方領域画像２２Ｄを総称する場合には単に「視点変換画像」を呼ぶ。

また、画像処理装置１は、操作入力装置３からの操作入力信号によって、カメラ映像のうち何れかのカメラ映像が選択されると、当該選択されたカメラ映像をノーマルビュー映像１２として表示させる。また、画像処理装置１は、当該選択されたカメラ映像と、俯瞰映像１１中の視点変換画像との関連づけを示す画像を車両周囲映像内に表示させる。

この選択されたカメラ映像と俯瞰映像１１中の視点変換画像との関連づけは、図３に示すように、視点変換画像の端部に関連付け用強調表示２６を表示させると共に、ノーマルビュー映像１２に関連付け用強調表示２７を表示させる。例えば車両前方のカメラ映像をノーマルビュー映像１２として表示させる場合、俯瞰映像１１のうちの前方領域画像２２Ａ上方に関連付け用強調表示２６を表示させると共に、車両前方を撮像したカメラ映像であるノーマルビュー映像１２の上方に関連付け用強調表示２７を表示させる。関連付け用強調表示２６は、俯瞰映像１１中でどの方向のカメラ映像が選択されているかを直感的に把握させるように、強調した色となっている。また、関連付け用強調表示２７は、関連付け用強調表示２６と同じように強調した色となっており、関連付け用強調表示２６と同じ色で表示される。この強調した色とは、例えば赤などの俯瞰映像１１全体の色合いに対して強い印象を与えるものである。

このように、操作入力装置３で選択されてノーマルビュー映像１２として表示されているカメラ映像の撮像方向と、俯瞰映像１１内における車両画像２１に対する方向との関連を把握させる同じ色の関連付け用強調表示２６及び関連付け用強調表示２７を表示させることによって、俯瞰映像１１において車両画像２１に対する関連付け用強調表示２６の表示位置を把握させるだけでノーマルビュー映像１２として表示されているカメラ映像がどの方向であるかを直感的に把握させることができる。

また、操作入力装置３で選択されたカメラ映像と俯瞰映像１１中の視点変換画像との関連付けは、図４に示すように、俯瞰映像１１中の前方領域画像２２Ａを囲う枠線状に関連付け用強調表示２６を表示させると共に、ノーマルビュー映像１２を囲う枠線状に関連付け用強調表示２７を表示させて把握させても良い。また、操作入力装置３によって後方のノーマルビュー映像１２を表示させる選択がなされた場合、図５に示すように、画像処理装置１は、俯瞰映像１１中の後方領域画像２２Ｄを囲う枠線状に関連付け用強調表示２６を表示させると共に、後方を撮像したカメラ画像のノーマルビュー映像１２を囲う枠線状に関連付け用強調表示２７を表示させる。

このように、操作入力装置３で選択されてノーマルビュー映像１２として表示されているカメラ映像の撮像方向と、俯瞰映像１１内における車両画像２１に対する方向との関連を把握させる枠線状の関連付け用強調表示２６及び関連付け用強調表示２７を表示させることによって、俯瞰映像１１において車両画像２１に対する関連付け用強調表示２６の表示位置を把握させるだけでノーマルビュー映像１２として表示されているカメラ映像がどの方向であるかを直感的に把握させることができる。

更に、操作入力装置３で選択されたカメラ映像と俯瞰映像１１中の視点変換画像との関連付けは、図６に示すように、選択されたカメラ映像に対応する俯瞰映像１１中の視点変換画像内に、固定した位置の関連付け用強調表示２６を表示させると共に、当該関連付け用強調表示２６の表示位置に対応したノーマルビュー映像１２内の固定した位置に関連付け用強調表示２７を表示させて把握させても良い。例えば図６に示すように、車両画像２１の車幅と略同じ間隔を有する２本の固定線として関連付け用強調表示２６を前方領域画像２２Ａ内に表示させ、当該前方領域画像２２Ａ内の位置に対応するように関連付け用強調表示２７をノーマルビュー映像１２内に表示させる。また、関連付け用強調表示２６と関連付け用強調表示２７とを表示させる場合でも、双方ともに俯瞰映像１１及びノーマルビュー映像１２に対して強調する色とすることが望ましく、関連付け用強調表示２６と関連付け用強調表示２７とを同じ色とすることが望ましい。

このように、ノーマルビュー映像１２として選択されているカメラ映像に対応した視点変換画像内に固定的な関連付け用強調表示２６を表示させ、当該関連付け用強調表示２６に対応したノーマルビュー映像１２内の位置に関連付け用強調表示２７を表示させることにより、ノーマルビュー映像１２として表示されているカメラ映像がどの方向であるかを直感的に把握させることができる。

更にまた、操作入力装置３で選択されたカメラ映像と俯瞰映像１１中の視点変換画像との関連付けは、図７に示すように、選択されたカメラ映像に対応する俯瞰映像１１中の視点変換画像の輝度を、他の選択されていない俯瞰映像１１中の視点変換画像の輝度よりも高くして把握させても良い。具体的には、操作入力装置３で前方のカメラ映像をノーマルビュー映像１２として表示させることが選択された場合、俯瞰映像１１は、前方領域画像２２Ａを高輝度の高輝度領域２９として表示させ、右側方領域画像２２Ｂ、左側方領域画像２２Ｃ、後方領域画像２２Ｄを高輝度領域２９よりも輝度が低い低輝度領域３０として表示される。この場合、ノーマルビュー映像１２は、高輝度の視点変換画像と同様に、高輝度で表示されることは勿論である。

このように、ノーマルビュー映像１２として選択されているカメラ映像に対応した視点変換画像の輝度を高くするだけで、ノーマルビュー映像１２として表示されているカメラ映像がどの方向であるかを直感的に把握させることができる。

更にまた、操作入力装置３で選択されたカメラ映像と俯瞰映像１１中の視点変換画像との関連付けは、図８に示すように、選択されたカメラ映像に対応する俯瞰映像１１中の視点変換画像が、ノーマルビュー映像１２へ移動する動きを表示させて把握させても良い。例えば、操作入力装置３で前方のカメラ映像をノーマルビュー映像１２として表示させることが選択された場合、画像処理装置１は、俯瞰映像１１のうちの前方領域画像２２Ａが、図中の矢印方向に、画像位置３１Ａ、３１Ｂ、３１Ｃの順で次第にノーマルビュー映像１２に重畳されるように移動するような画像を表示する。

このように、俯瞰画像１１のうちの選択されたカメラ映像に対応する視点変換画像の表示領域から、当該視点変換画像が、ノーマルビュー映像１２に向かって移動する表示をするだけで、ノーマルビュー映像１２として表示されているカメラ映像がどの方向であるかを直感的に把握させることができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した車両用映像表示装置の構成を示すブロック図である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像の構成を示す表示例である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像のうち、俯瞰画像の前方領域とノーマルビュー画像との関連を表示させた表示例である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像のうち、俯瞰画像の前方領域とノーマルビュー画像との関連を表示させた他の表示例である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像のうち、俯瞰画像の後方領域とノーマルビュー画像との関連を表示させた表示例である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像のうち、俯瞰画像の前方領域とノーマルビュー画像との関連を表示させた他の表示例である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像のうち、俯瞰画像の前方領域とノーマルビュー画像との関連を表示させた他の表示例である。 本発明を適用した車両用映像表示装置によって表示させる車両周囲映像のうち、俯瞰画像の前方領域とノーマルビュー画像との関連を表示させた他の表示例である。

符号の説明

１ 画像処理装置
２Ａ，２Ｂ，２Ｃ，２Ｄ カメラ
３ 操作入力装置
４ 映像出力装置
１１ 俯瞰映像
１２ ノーマルビュー映像
２２Ａ 前方領域画像
２２Ｂ 右側方領域画像
２２Ｃ 左側方領域画像
２２Ｄ 後方領域画像
２６，２７ 関連付け用強調表示
２９ 高輝度領域
３０ 低輝度領域

Claims (12)

1. それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像の視点変換画像を組み合わせた車両の周囲全体を示す俯瞰映像と、前記複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像とを含む車両周囲映像を表示させる車両用映像表示装置であって、
   前記選択されたカメラ映像と、前記俯瞰映像のうちの前記選択されたカメラ映像に対応する視点変換画像とを関連付けた表示を行うことを特徴とする車両用映像表示装置。
2. それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像の視点変換画像を組み合わせた車両の周囲全体を示す俯瞰映像と、前記複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像とを含む車両周囲映像を表示させる車両用映像表示装置であって、
   前記選択されたカメラ映像に含まれる一部の画像と、前記俯瞰映像のうちの前記選択されたカメラ映像に対応する視点変換画像に含まれる一部の画像とを同じ画像で表示を行うことを特徴とする車両用映像表示装置。
3. 前記選択されたカメラ映像と、前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像とは、色で関連づけられることを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
4. 前記複数のカメラは、それぞれ、車両前方、車両右側方、車両左側方、車両後方を撮像方向とし、前記俯瞰画像は、車両上方から車両前方を見た視点変換画像と、車両上方から車両右側方を見た視点変換画像と、車両上方から車両左側方を見た視点変換画像と、車両上方から車両後方を見た視点変換画像とからなり、
   前記選択されたカメラ映像の端部と、前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像の端部とに同一色の線を表示することを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
5. 前記複数のカメラは、それぞれ、車両前方、車両右側方、車両左側方、車両後方を撮像方向とし、前記俯瞰画像は、車両上方から車両前方を見た視点変換画像と、車両上方から車両右側方を見た視点変換画像と、車両上方から車両左側方を見た視点変換画像と、車両上方から車両後方を見た視点変換画像とからなり、
   前記選択されたカメラ映像と、前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像とに、同一色の枠線を表示することを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
6. 前記複数のカメラは、それぞれ、車両前方、車両右側方、車両左側方、車両後方を撮像方向とし、前記俯瞰画像は、車両上方から車両前方を見た視点変換画像と、車両上方から車両右側方を見た視点変換画像と、車両上方から車両左側方を見た視点変換画像と、車両上方から車両後方を見た視点変換画像とからなり、
   前記選択されたカメラ映像の車両幅を示す線分と、前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像の車両幅を示す線分とを、同一色で表示することを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
7. 前記選択されたカメラ映像と、前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像とは、輝度で関連づけられることを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
8. 前記複数のカメラは、それぞれ、車両前方、車両右側方、車両左側方、車両後方を撮像方向とし、前記俯瞰画像は、車両上方から車両前方を見た視点変換画像と、車両上方から車両右側方を見た視点変換画像と、車両上方から車両左側方を見た視点変換画像と、車両上方から車両後方を見た視点変換画像とからなり、
   前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像の輝度を、前記俯瞰画像のうち選択されていないカメラ映像に対応する視点変換画像の輝度よりも高く表示することを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
9. 前記選択されたカメラ映像と、前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像とは、映像の動きで関連づけられることを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
10. 前記複数のカメラは、それぞれ、車両前方、車両右側方、車両左側方、車両後方を撮像方向とし、前記俯瞰画像は、車両上方から車両前方を見た視点変換画像と、車両上方から車両右側方を見た視点変換画像と、車両上方から車両左側方を見た視点変換画像と、車両上方から車両後方を見た視点変換画像とからなり、
    前記俯瞰画像のうちの前記選択されたカメラ映像に対応する視点変換画像の表示領域から、当該視点変換画像が、前記選択されたカメラ映像の表示領域に向かって移動する表示をすることを特徴とする請求項１又は請求項２に記載の車両用映像表示装置。
11. それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像を入力し、当該それぞれのカメラ映像の視点変換画像を組み合わせて作成されて車両の周囲全体を示す俯瞰映像と、前記複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像とを含む車両周囲映像を表示させる場合に、
    前記選択されたカメラ映像と、前記俯瞰映像のうちの前記選択されたカメラ映像に対応する視点変換画像とを関連付けた表示を行うことを特徴とする車両周囲映像の表示方法。
12. それぞれ異なる撮像方向で車両の周囲を撮像する複数のカメラで撮像した複数のカメラ映像を入力し、当該それぞれのカメラ映像の視点変換画像を組み合わせて作成されて車両の周囲全体を示す俯瞰映像と、前記複数の視点変換が施されていないカメラ映像のうち選択された何れかのカメラ映像とを含む車両周囲映像を表示させる場合に、
    前記選択されたカメラ映像に含まれる一部の画像と、前記俯瞰映像のうちの前記選択されたカメラ映像に対応する視点変換画像に含まれる一部の画像とを同じ画像で表示させることを特徴とする車両周囲映像の表示方法。

Images