JP7192907B2 - 俯瞰映像生成装置及び俯瞰映像生成方法 - Google Patents

Description

本発明は、俯瞰映像生成装置及び俯瞰映像生成方法に関する。

従来、車両の周囲に設置された複数のカメラで車両周辺を撮影し、撮影した複数の映像に視点変換処理を行い合成した俯瞰映像を、例えば車両の後退時にモニタに表示させる技術が知られている（例えば、特許文献１参照）。この技術では、一般的に、表示画面内の中央部に車両を示すアイコンが表示され、俯瞰映像内で車両に対する周囲との位置関係が明確に認識可能となっている。また、一般的に、俯瞰映像は、車両の前方向が表示画面内の上方向と一致するように表示される。

特開２０１４－１２９０９３号公報

上記特許文献１に記載のような俯瞰映像は、車両の後進時に限られず、幅員の狭い道路の走行時といった様々なシチュエーションでモニタに表示される。また、近年、車両における情報表示用モニタの大型化や高精細化が進み、一つのモニタに様々な情報を同時に表示させることがある。例えば、ナビゲーションシステムによる地図の表示と、俯瞰映像の表示とを同時に行う場合がある。上述したように、俯瞰映像については、車両の前方向を表示画面内の上方向とされることが一般的であることに対し、ナビゲーションシステムによる地図は、北方向を表示画面内の上方向としたノースアップ等、種々の向きで表示される。このように、地図の表示向きと俯瞰映像の表示向きとが異なっていると、ユーザがモニタに表示される情報を速やかに認識することができないおそれがある。

本発明は、上記に鑑みてなされたものであって、車両において表示部に表示される車両の俯瞰映像及び地図の情報を、ユーザが速やかに認識可能とすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、表示部の表示画面に表示される地図の縮尺情報および前記表示画面の上方に設定される方向を示す表示向き情報を取得する地図表示情報取得部と、前記映像データ取得部で取得した前記周辺映像データに対して視点変換処理および合成処理を行うことで俯瞰映像を生成し、前記表示部の前記表示画面に表示させる制御部と、を備え、前記制御部は、前記地図表示情報取得部で取得した前記地図の縮尺が所定値以上であるとき、前記俯瞰映像に表示されている自車両アイコンの前方向の表示向きに、前記地図の表示向きを一致させる表示向き調整処理を実行することを特徴とする。

さらに、前記制御部は、前記地図を取得し、前記地図表示情報取得部で取得した縮尺が前記所定値以上であるとき、前記表示向き調整処理を実行すると共に、そのままの前記縮尺で前記地図を前記表示部に表示させ、前記地図表示情報取得部で取得した前記縮尺が前記所定値未満であるとき、前記表示向き調整処理を実行すると共に、前記所定値以上の縮尺に変更して前記地図を前記表示部に表示させることを特徴とする。

さらに、前記制御部は、前記地図を取得し、前記地図及び前記俯瞰映像の双方を同一の前記表示部に表示させることを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、表示部の表示画面に表示される地図の、前記表示画面の上方に設定される方向を示す表示向き情報を取得する地図表示情報取得ステップと、前記映像データ取得ステップで取得した前記周辺映像データに対して視点変換処理および合成処理を行うことで俯瞰映像を生成し、前記表示部の表示画面に表示させる制御ステップと、を含み、前記制御ステップにおいては、前記地図表示情報取得ステップで取得した前記地図の縮尺が所定値以上であるとき、前記俯瞰映像に表示されている自車両アイコンの前方向の表示向きに、前記地図の表示向きを一致させる表示向き調整処理を実行することを特徴とする。

本発明に係る俯瞰映像生成装置及び俯瞰映像生成方法は、車両において表示部に表示される車両の俯瞰映像及び地図の情報を、ユーザが速やかに認識可能とすることができる、という効果を奏する。

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図３は、第一実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図の一例を示す説明図である。 図４は、第一実施形態に係る俯瞰映像生成システムにおいて表示向き調整処理を行った場合の俯瞰映像及び地図の一例を示す説明図である。 図５は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図６は、第二実施形態に係る俯瞰映像生成システムにおいて生成されて表示パネルに表示される俯瞰映像及び地図を示す説明図である。 図７は、第二実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図８は、第三実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図９は、第四実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図を示す説明図である。 図１０は、第四実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を示す説明図である。 図１１は、第四実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図１２は、第四実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図の他の例を示す説明図である。 図１３は、第五実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図を示す説明図である。 図１４は、第五実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法及びプログラムの実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態によりこの発明が限定されるものではない。

以下の説明においては、前後方向とは、車両直進時の進行方向と平行な方向であり、運転席からウインドシールドに向かう側を前後方向の「前」、ウインドシールドから運転席に向かう側を前後方向の「後」とする。前後方向を、Ｘ軸方向とする。左右方向とは、前後方向に対して水平に直交する方向である。ウインドシールドへ向かって、左手側が「左」、右手側が「右」である。左右方向を、Ｙ軸方向とする。上下方向とは、前後方向および左右方向に対して直交する方向である。上下方向を、Ｚ軸方向とする。したがって、前後方向、左右方向および鉛直方向は、３次元で直交する。以下の説明における前後、左右、上下は、俯瞰映像生成システム１を車両に搭載した状態での前後、左右、上下である。
［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両Ｖに搭載されている。俯瞰映像生成システム１は、車両Ｖに搭載されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。

図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ１１と、後方カメラ１２と、左側方カメラ１３と、右側方カメラ１４と、地図情報記憶部２１と、現在位置情報検出部２２と、設定操作部２３と、表示パネル（表示部）３０と、俯瞰映像生成装置４０と、ナビゲーション処理装置５０とを有する。俯瞰映像生成システム１は、車両Ｖの俯瞰映像１００（図３参照）を生成する。

図２を用いて、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とについて説明する。図２は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。前方カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲Ａ１を撮影する。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

後方カメラ１２は、車両Ｖの後に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲Ａ２を撮影する。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

左側方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲Ａ３を撮影する。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

右側方カメラ１４（図１参照）は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の図示しない撮影範囲を撮影する。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

このような前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖの全方位を撮影する。

図１に戻って、地図情報記憶部２１は、地図情報を記憶する。地図情報は、例えば、交差点を含む道路地図である。地図情報記憶部２１は、記憶している地図情報をナビゲーション処理装置５０の案内地図生成部（地図生成部）５３へと出力する。地図情報記憶部２１は、図示しない通信機能を介して地図情報を取得する外部サーバ等の記憶装置であってもよい。

現在位置情報検出部２２は、車両Ｖの現在位置を検出する。現在位置情報検出部２２は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機を含み、ＧＰＳからの信号に基づいて現在位置を演算することで現在位置を検出する。現在位置情報検出部２２は、検出した車両Ｖの現在位置情報をナビゲーション処理装置５０の現在位置取得部５１へと出力する。

設定操作部２３は、ナビゲーション処理装置５０の設定操作をユーザが入力可能なインターフェースである。設定操作部２３は、例えば、リモートコントローラ等である。設定操作部２３は、例えば、タッチパネルとされた表示パネル３０と兼用されてもよい。設定操作部２３は、音声認識機能を備え、音声入力を行うインターフェースであってもよい。設定操作部２３は、ユーザから入力された設定操作情報をナビゲーション処理装置５０の案内設定部５２に出力する。ユーザから入力された設定操作情報は、例えば、表示パネル３０に表示される地図２００（図３参照）の表示向きの設定操作の内容や、地図２００の縮尺の設定操作の内容、目的地の設定操作の内容等が含まれる。

表示パネル３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３０は、例えば、タッチパネル式のディスプレイである。表示パネル３０は、ユーザから視認容易な位置に配置されている。

表示パネル３０は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００を表示する（図３参照）。また、本実施形態において、表示パネル３０は、俯瞰映像１００に加えて、ナビゲーション処理装置５０から出力された信号に基づいて、地図２００を表示する（図３参照）。地図２００には、経路案内表示が含まれる。表示パネル３０は、俯瞰映像１００を表示するための表示パネルと、地図２００を表示するための表示パネルとを含む複数の表示パネルから構成されてもよい。この場合、表示パネル３０は、スマートフォンといった携帯通信機器のディスプレイであってもよい。また、表示パネル３０は、回転可能な可動式のディスプレイであってもよく、自らの回転にあわせて画面内の表示情報を回転させて表示可能なものであってもよい。

表示パネル３０は、本実施形態では、横長の矩形状のパネルである。なお、表示パネル３０は、縦長の矩形状のパネルであってもよいし、矩形状以外の形状であってもよい。表示パネル３０は、本実施形態では、複数の表示範囲に分割される。表示パネル３０は、俯瞰映像１００を表示する表示範囲と、俯瞰映像１００の表示範囲の側方に配置された地図２００を表示する表示範囲とを有する。本実施形態において、俯瞰映像１００を表示する表示範囲は、縦横比が１対１とされた矩形状の範囲である。すなわち、制御部４１は、縦横比が１対１とされた俯瞰映像１００を表示パネル３０に表示させる。なお、俯瞰映像１００を表示する表示範囲は、矩形状に限られず、縦横比が１対１とされた円形状や菱形形状であってもよいし、縦横比が１対１でなくてもよい。表示パネル３０は、オーディオ画面といった他の情報を表示する表示範囲を含んでもよい。

俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。

制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像データ取得部４２と、地図表示情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、表示制御部４６とを有する。

映像データ取得部４２は、車両Ｖの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した周辺映像データを取得する。映像データ取得部４２は、取得した周辺映像データを俯瞰映像生成部４５に出力する。

地図表示情報取得部４３は、ナビゲーション処理装置５０の案内地図生成部５３から地図２００の表示向き情報を取得する。地図表示情報取得部４３は、取得した地図表示情報を表示制御部４６に出力する。

ここで、「地図２００の表示向き」は、表示パネル３０において画面内の上方に設定される方向を意味する。より詳しくは、「表示向き」は、ヘッディングアップの場合と、ヘッディングアップ以外の場合とがある。「ヘッディングアップの場合」とは、車両Ｖの前側が画面内の上方に設定される場合をいう。「ヘッディングアップ以外の場合」とは、ノースアップ、目的地アップ及びユーザ操作に従った場合等がある。「ノースアップ」とは、北方向が画面内の上方に設定される場合をいう。「目的地アップ」とは、地図２００において設定される目的地が画面内の上方に設定される場合をいう。「ユーザ操作に従った場合」とは、ユーザが任意に設定した方向が画面内の上方に設定される場合をいう。

車両情報取得部４４は、車両Ｖのギア操作情報など、俯瞰映像１００を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両Ｖの状態をセンシングする各種センサなどから取得する。本実施形態では、車両情報は、車両Ｖの進行方向を示す情報を含む。車両情報取得部４４は、地図２００を生成するナビゲーション処理装置５０の案内地図生成部５３から、例えば車両Ｖが所定幅未満の幅員の狭い道路を走行している旨といった俯瞰映像１００の表示トリガとなる車両情報を取得する。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。

俯瞰映像生成部４５は、映像データ取得部４２が取得した周辺映像データに視点変換処理を行い合成することで、車両Ｖの上方を仮想視点Ｐとした俯瞰映像１００を生成する。

図２を用いて、仮想視点Ｐについて説明する。仮想視点Ｐは、車両Ｖの中央の上方に位置している。仮想視点Ｐは、車両Ｖの中央の真上から見下すような視点である。車両Ｖの中央とは、車両Ｖの車幅方向の中央、かつ、前後方向の中央である。車両Ｖの真上とは、車両Ｖの基準面の垂線上の位置である。基準面とは、車両Ｖが水平かつ平坦な路面上に位置しているときに路面と水平な平面である。仮想視点Ｐの位置を（ｘ，ｙ，ｚ）とする。

図３を用いて、生成された俯瞰映像１００について説明する。図３は、第一実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図の一例を示す説明図である。俯瞰映像１００は、表示範囲Ａ（図２参照）の周辺映像を、仮想視点Ｐとして視点変換処理をした映像を合成して表示する。本実施形態において、俯瞰映像生成部４５は、基本的に、表示向きがヘッディングアップ、すなわち車両Ｖの前側が画面内の上方に設定された俯瞰映像１００を生成する。俯瞰映像生成部４５は、種々の条件に応じて、表示向きがヘッディングアップ以外、すなわち車両Ｖの前側が画面内の上方以外の方向に設定された俯瞰映像１００を生成してもよい。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とを含む。前方映像１０１の表示面積と後方映像１０２の表示面積とは同じ広さである。左側方映像１０３の表示面積と右側方映像１０４の表示面積とは同じ広さである。俯瞰映像１００の中央部は、車両Ｖを示す自車両アイコン１１０が表示されている。自車両アイコン１１０は、車両Ｖを真上から見下した形態を示す。

図３においては、前方映像１０１と左側方映像１０３との合成境界Ｂ１と、前方映像１０１と右側方映像１０４との合成境界Ｂ２と、後方映像１０２と左側方映像１０３との合成境界Ｂ３と、後方映像１０２と右側方映像１０４との合成境界Ｂ４とを示す斜めの破線を説明のために図示しているが、実際に表示パネル３０に表示される俯瞰映像１００には当該破線は表示されても表示されなくてもよい。他の図も同様である。

俯瞰映像生成部４５は、俯瞰映像表示を開始するとき、映像データ取得部４２が取得した周辺映像を、車両Ｖが俯瞰できるように、車両Ｖの真上に位置する仮想視点Ｐから視点変換処理を行って合成した俯瞰映像を生成する。「俯瞰映像表示を開始するとき」とは、例えば、車両Ｖが所定幅未満の幅員の狭い道路を走行するときや、車両Ｖが後退するとき、ユーザからの操作部に対する俯瞰映像表示開始の操作の検出がなされたとき等である。「操作部」は、例えば、タッチパネル式の表示パネル３０であってもよい。「操作部」は、設定操作部２３と兼用されてもよい。

俯瞰映像生成部４５は、視点変換処理部４５１と、切出処理部４５２と、合成処理部４５３とを有する。

視点変換処理部４５１は、映像データ取得部４２で取得した周辺映像データに対して、車両Ｖを上方の仮想視点Ｐから見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４５１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４５１は、視点変換処理を行った周辺映像データを切出処理部４５２に出力する。

切出処理部４５２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。切出処理部４５２は、視点変換処理を行った前方カメラ１１からの周辺映像データから、前方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った後方カメラ１２からの周辺映像データから、後方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った左側方カメラ１３からの周辺映像データから、左側方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った右側方カメラ１４からの周辺映像データから、右側方切出範囲を切出す。切出処理部４５２は、切出処理を行った映像の映像データを合成処理部４５３に出力する。

前方切出範囲は、視点変換処理を行った周辺映像データから前方映像１０１を切出す範囲である。前方切出範囲は、車両Ｖの前端部から前方の範囲である。後方切出範囲は、視点変換処理を行った周辺映像データから後方映像１０２を切出す範囲である。後方切出範囲は、車両Ｖの後端部から後方の範囲である。左側方切出範囲は、視点変換処理を行った周辺映像データから左側方映像１０３を切出す範囲である。左側方切出範囲は、車両Ｖの左側部から左方の範囲である。右側方切出範囲は、視点変換処理を行った周辺映像データから右側方映像１０４を切出す範囲である。右側方切出範囲は、車両Ｖの右側部から右方の範囲である。

合成処理部４５３は、切出処理部４５２で切出した複数の映像を合成し、俯瞰映像１００を生成する。合成処理部４５３は、生成した俯瞰映像１００を表示制御部４６に出力する。

合成処理部４５３は、視点変換処理を行った映像を合成する場合、合成した俯瞰映像の中央部に、仮想視点から見た自車両の形態を模した自車両アイコン１１０を合成する。仮想視点位置を車両Ｖの真上から見下した場合の仮想視点Ｐとした場合の自車両アイコンは、図３に示す自車両アイコン１１０のように自車両を真上から見たような形態である。自車両アイコンは、自車両アイコンによる死角が生じないような表示形態とすることが好ましい。例えば、自車両アイコンは、半透過としてもよい。例えば、自車両アイコンは、外形を示す枠状としてもよい。

図１に戻って、表示制御部４６は、俯瞰映像１００を表示パネル３０に表示させる。本実施形態において、表示制御部４６は、ナビゲーション処理装置５０で生成された地図２００を表示パネル３０に表示させる。すなわち、本実施形態において、俯瞰映像生成装置４０とナビゲーション処理装置５０とは、表示制御部４６を兼用する。なお、ナビゲーション処理装置５０は、表示制御部４６とは別に、地図２００を表示パネル３０に表示させるための表示制御部を有してもよい。

表示制御部４６は、地図２００の表示向きがヘッディングアップ以外であるとき、地図２００の表示向きと俯瞰映像１００の表示向きとを一致させる表示向き調整処理を実行する。より詳しくは、表示制御部４６は、図４に示すように、地図２００において画面内に自車両アイコン２１０として示される車両Ｖの前方向（図中の二点鎖線矢印に沿った方向）と、俯瞰映像１００において自車両アイコン１１０として示される車両Ｖの前方向（図中の一点鎖線矢印に沿った方向）とを一致させる。図４は、第一実施形態に係る俯瞰映像生成システムにおいて表示向き調整処理を行った場合の俯瞰映像及び地図の一例を示す説明図である。図４に示す例では、地図２００の表示向きがノースアップに設定されている。図示するように、地図２００の表示向きがノースアップであり、自車両アイコン２１０として示される車両Ｖの前方向が画面内の上下方向に対して傾斜している。この場合、表示制御部４６は、表示向き調整処理の実行により、俯瞰映像１００における車両Ｖの前方向も、自車両アイコン２１０として示される車両Ｖの前方向と同一の角度で、画面内の上下方向に対して傾斜させるように、俯瞰映像１００を回転させる。表示制御部４６は、地図２００の表示向きが目的地アップの場合、ユーザ操作に従ったものである場合にも、同様の表示向き調整処理を実行する。表示制御部４６は、表示向き調整処理により地図２００と表示向きが一致した俯瞰映像１００を表示パネル３０に出力する。

表示制御部４６は、地図２００の表示向きがヘッディングアップであるとき、表示向き調整処理を実行しない。表示制御部４６は、地図２００の表示向きがヘッディングアップであるとき、俯瞰映像生成部４５から取得した俯瞰映像１００をそのままの表示向き（本実施形態ではヘッディングアップの表示向き）で表示パネル３０に出力する。

記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

ナビゲーション処理装置５０は、現在位置取得部５１と、案内設定部５２と、案内地図生成部（地図生成部）５３とを有する。なお、ナビゲーション処理装置５０は、各種処理に要するデータおよび各種処理結果を記憶する図示しない記憶部を有する。図示しない記憶部は、記憶部４９と兼用されてもよい。

現在位置取得部５１は、現在位置情報検出部２２から車両Ｖの現在位置情報を取得する。現在位置取得部５１は、取得した車両Ｖの現在位置情報を案内地図生成部５３へと出力する。

案内設定部５２は、設定操作部２３からナビゲーション処理装置５０の設定操作情報を取得する。案内設定部５２は、取得した設定操作情報に基づいて、地図２００の表示向きや、地図２００の縮尺、目的地等を設定し、設定した地図２００の設定情報を案内地図生成部５３に出力する。

案内地図生成部５３は、地図情報記憶部２１から地図情報を取得する。案内地図生成部５３は、現在位置取得部５１から車両Ｖの現在位置情報を取得する。案内地図生成部５３は、案内設定部５２から地図２００の設定情報を取得する。案内地図生成部５３は、取得した地図情報と、車両Ｖの現在位置情報と、設定情報とに基づいて、地図２００を生成する。より詳しくは、案内地図生成部５３は、車両Ｖの現在位置を示す自車両アイコン２１０を地図情報に重ねて描画した地図２００を生成する。案内地図生成部５３は、地図２００の設定情報にユーザが設定した目的地が含まれる場合、車両Ｖの現在位置から設定情報に含まれる目的地までの案内経路を生成し、生成した案内経路を地図２００にさらに重ねて描画する。案内地図生成部５３は、生成した地図２００を表示制御部４６に出力する。案内地図生成部５３は、生成した地図２００の表示向き情報を俯瞰映像生成装置４０の地図表示情報取得部４３に出力する。案内地図生成部５３は、生成した地図２００に基づいて、例えば車両Ｖが所定幅未満の幅員の狭い道路を走行している旨といった俯瞰映像１００の表示トリガとなる車両情報を俯瞰映像生成装置４０の車両情報取得部４４に出力する。

次に、図５を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図５は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。図５に示すフローチャートは、制御部４１により実行される。

制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。本実施形態では、制御部４１は、表示トリガ、後退トリガ及び操作部に対する俯瞰映像表示開始の操作の検出の有無に基づいて、俯瞰映像表示を開始するか否かを判定する。「表示トリガ」とは、上述したように、例えば、車両Ｖが所定幅未満の幅員の狭い道路を走行している旨といった車両情報である。「後退トリガ」とは、例えば、シフトポジションが「リバース」とされたことをいう。または、「後退トリガ」とは、車両Ｖの進行方向が車両Ｖの後方となったことをいう。制御部４１は、俯瞰映像表示を開始しないと判定したとき（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、俯瞰映像表示を開始すると判定したとき（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。

制御部４１は、地図２００の表示向きを取得する（ステップＳ１２）。より詳しくは、制御部４１は、地図表示情報取得部４３で案内地図生成部５３から地図２００の表示向き情報を取得し、ステップＳ１３に進む。

制御部４１は、地図２００の表示向きがヘッディングアップであるか否かを判定する（ステップＳ１３）。より詳しくは、制御部４１は、地図表示情報取得部４３で取得した地図２００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかを判定する。制御部４１は、地図２００の表示向きがヘッディングアップであると判定したとき（ステップＳ１３でＹｅｓ）、ステップＳ１４に進む。制御部４１は、地図２００の表示向きがヘッディングアップでないと判定したとき（ステップＳ１３でＮｏ）、ステップＳ１５に進む。

制御部４１は、ヘッディングアップの俯瞰映像１００を生成し表示する（ステップＳ１４）。より詳しくは、制御部４１は、俯瞰映像生成部４５において、映像データ取得部４２で取得した周辺映像データから車両Ｖを仮想視点Ｐで上方から見下ろすように視点変換処理を行い、表示向きがヘッディングアップとされた俯瞰映像１００を生成させ、表示制御部４６へと出力させる。制御部４１は、図３に示すように、表示制御部４６で俯瞰映像生成部４５から取得した俯瞰映像１００を、そのままの表示向きで表示パネル３０に出力し、表示させる。制御部４１は、ステップＳ１６に進む。

制御部４１は、地図２００の表示向きにあわせた俯瞰映像１００を生成し表示する（ステップＳ１５）。すなわち、制御部４１は、地図表示情報取得部４３で取得した地図２００の表示向き情報に基づいて、地図２００の表示向きと俯瞰映像１００の表示向きとを一致させる表示向き調整処理を実行する。より詳しくは、制御部４１は、俯瞰映像生成部４５において、映像データ取得部４２で取得した周辺映像データから車両Ｖを仮想視点Ｐで上方から見下ろすように視点変換処理を行い、表示向きがヘッディングアップとされた俯瞰映像１００を生成させ、表示制御部４６へと出力させる。制御部４１は、表示制御部４６で俯瞰映像生成部４５から取得した俯瞰映像１００を回転させて、地図２００において画面内に自車両アイコン２１０として示される車両Ｖの前方向と、俯瞰映像１００における車両Ｖの前方向とを一致させ、表示パネル３０に出力し、表示させる。制御部４１は、ステップＳ１６に進む。

制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１６）。より詳しくは、制御部４１は、表示終了トリガ、後退終了トリガ及び操作部に対する俯瞰映像表示終了の操作の検出の有無に基づいて、俯瞰映像表示を終了するか否かを判定する。「表示終了トリガ」とは、例えば、車両Ｖが所定幅未満の幅員の狭い道路を走行している旨といった表示トリガとなる車両情報が車両情報取得部４４に出力されなくなったことをいう。「後退終了トリガ」とは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。制御部４１は、俯瞰映像表示を終了しないと判定したとき（ステップＳ１６でＮｏ）、ステップＳ１２に戻って処理を継続する。制御部４１は、俯瞰映像表示を終了すると判定したとき（ステップＳ１６でＹｅｓ）、処理を終了する。

以上説明したように、本実施形態は、地図２００の表示向きと俯瞰映像１００の表示向きとを一致させる表示向き調整処理を実行し、表示向きが地図２００の表示向きと一致した俯瞰映像１００を表示パネル３０に表示させる（ステップＳ１５）。

この構成によれば、地図２００における車両Ｖの前方向と、俯瞰映像１００における車両Ｖの前方向とを一致させることができる。その結果、車両Ｖの周辺の道路や建物等の情報を含めて、ユーザが地図２００に表示される情報と俯瞰映像１００に表示される情報とを視覚的に対応づけて捉えることが可能となる。従って、本実施形態は、車両Ｖにおいて表示パネル３０に表示される車両Ｖの俯瞰映像１００及び地図２００の情報を、ユーザが速やかに認識可能とすることができる。

また、制御部４１は、地図表示情報取得部４３で取得した地図２００の表示向きがヘッディングアップ以外であるとき（ステップＳ１３でＮｏ）、表示向き調整処理を実行し（ステップＳ１５）、地図表示情報取得部４３で取得した地図２００の表示向きがヘッディングアップであるとき（ステップＳ１３でＹｅｓ）、表示向き調整処理を実行しない（ステップＳ１４）。

この構成によれば、地図２００の表示向きが例えばノースアップ等であり、地図２００における車両Ｖの前方向が時々刻々と変化し得る場合、俯瞰映像１００においても、車両Ｖの前方向を地図２００と同じ方向を取らせることができる。従って、車両Ｖにおいて表示パネル３０に表示される車両Ｖの俯瞰映像１００及び地図２００の情報を、ユーザがより確実に認識可能とすることができる。また、地図２００の表示向きがヘッディングアップであり、地図２００における車両Ｖの前方向が常に一定の方向を取る場合には、表示向き調整処理を実行しないことで、俯瞰映像１００を状況に合わせた表示向き（本実施形態では、ヘッディングアップ）で表示させることができる。なお、俯瞰映像１００を状況に合わせた表示向きで表示させるとは、ヘッディングアップに限られず、種々の条件に合わせて設定された仮想視点を用いた視点変更処理により俯瞰映像１００を生成し、表示させること等を含む。

また、制御部４１は、縦横比が１対１とされた俯瞰映像１００を表示パネル３０に表示させる。

この構成によれば、俯瞰映像１００の表示向きを地図２００の表示向きと一致させるために俯瞰映像１００を回転させたことで、車両Ｖの前方向が画面内のいずれの方向を向いている場合であっても、車両Ｖの周辺の情報を俯瞰映像１００に十分に表示させることができる。

また、制御部４１は、表示制御部４６で地図２００を取得し、地図２００及び俯瞰映像１００の双方を同一の表示パネル３０に表示させる。

この構成によれば、同一の表示パネル３０において接近して表示される地図２００及び俯瞰映像１００について、表示向き調整処理によって表示向きを一致させることができるため、ユーザが地図２００と俯瞰映像１００とを関連付けて認識しやすくすることが可能となる。
[第二実施形態]
図６を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図６は、第二実施形態に係る俯瞰映像生成システムにおいて生成されて表示パネルに表示される俯瞰映像及び地図を示す説明図である。第二実施形態に係る俯瞰映像生成システム１は、地図表示情報取得部４３及び表示制御部４６における処理の内容が第一実施形態に係る俯瞰映像生成システム１と異なる。

地図表示情報取得部４３は、案内地図生成部５３から、地図２００の表示向き情報に加えて、地図２００の縮尺情報をさらに取得する。地図表示情報取得部４３は、取得した地図２００の縮尺情報を表示制御部４６に出力する。

表示制御部４６は、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が所定値以上であるとき、第一実施形態と同様の表示向き調整処理を実行する。表示制御部４６は、表示向き調整処理により地図２００と表示向きが一致した俯瞰映像１００を表示パネル３０に出力する（例えば図４参照）。表示制御部４６は、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が所定値未満であるとき、表示向き調整処理を実行しない。この場合、表示制御部４６は、図６に示すように、俯瞰映像生成部４５から取得した俯瞰映像１００をそのままの表示向き（本実施形態ではヘッディングアップの表示向き）で表示パネル３０に出力する。所定値は、値１／１０００であることが好ましい。所定値は、値１／５００であることが、より好ましい。

表示制御部４６は、地図２００の表示向きがヘッディングアップの場合、第一実施形態と同様に、表示向き調整処理を実行しない。表示制御部４６は、地図２００の表示向きがヘッディングアップであるとき、俯瞰映像生成部４５から取得した俯瞰映像１００をそのままの表示向き（本実施形態ではヘッディングアップの表示向き）で表示パネル３０に出力する（例えば図３参照）。

図７は、第二実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。図７に示すフローチャートは、制御部４１により実行される。

ステップＳ２１からステップＳ２３の処理は、第一実施形態におけるステップＳ１１からステップＳ１３の処理と同じ処理である。ステップＳ２４及びステップＳ２６の処理は、第一実施形態におけるステップＳ１４及びステップＳ１５の処理と同じ処理である。ステップＳ２７の処理は、第一実施形態におけるステップＳ１６の処理と同じ処理である。

制御部４１は、地図２００の表示向きがヘッディングアップでないと判定したとき（ステップＳ２３でＮｏ）、ステップＳ２５に進む。制御部４１は、地図２００の縮尺が所定値以上であるか否かを判定する（ステップＳ２５）。より詳しくは、制御部４１は、地図表示情報取得部４３で案内地図生成部５３から地図２００の縮尺情報を取得する。制御部４１は、地図表示情報取得部４３で案内地図生成部５３から取得した地図２００の縮尺が所定値以上であるか否かを判定する。所定値は、上述したように、値１／１０００であることが好ましい。所定値は、値１／５００であることが、より好ましい。制御部４１は、地図２００の縮尺が所定値未満であると判定したとき（ステップＳ２５でＮｏ）、ステップＳ２４に進む。制御部４１は、地図２００の縮尺が所定値以上であると判定したとき（ステップＳ２５でＹｅｓ）、ステップＳ２６に進む。

以上説明したように、本実施形態において、地図表示情報取得部４３は、地図２００の縮尺をさらに取得し、制御部４１は、地図表示情報取得部４３で取得した縮尺が所定値以上であるとき（ステップＳ２５でＹｅｓ）、表示向き調整処理を実行し（ステップＳ２６）、地図表示情報取得部４３で取得した縮尺が所定値未満であるとき（ステップＳ２５でＮｏ）、表示向き調整処理を実行しない（ステップＳ２４）。

この構成によれば、地図２００の縮尺が所定値以上であり、車両Ｖの周辺の道路や建築物といった情報を含めて、ユーザが地図２００と俯瞰映像１００とを関連付けて認識しやすい場合に、地図２００と俯瞰映像１００との表示向きを一致させて、俯瞰映像１００を表示パネル３０に表示させることができる。また、地図２００の縮尺が所定値未満であり、ユーザが地図２００と俯瞰映像１００とを関連付けて認識しにくい場合には、表示向き調整処理を実行しないことで、俯瞰映像１００を状況に合わせた表示向き（本実施形態では、ヘッディングアップ）で表示させることができる。
[第三実施形態]
本実施形態に係る俯瞰映像生成システム１について説明する。第三実施形態に係る俯瞰映像生成システム１は、表示制御部４６における処理が第二実施形態に係る俯瞰映像生成システム１と異なる。

表示制御部４６は、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が上記所定値以上であるとき、地図表示情報取得部４３から取得した縮尺で地図２００を表示パネル３０に出力する。また、このとき、表示制御部４６は、第一実施形態及び第二実施形態と同様の表示向き調整処理を実行し、地図２００と表示向きが一致した俯瞰映像１００を表示パネル３０に出力する（例えば図４参照）。表示制御部４６は、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が上記所定値未満であるとき（例えば図６参照）、上記所定値以上の縮尺で地図２００を表示パネル３０に出力する（例えば図４参照）。また、このとき、表示制御部４６は、第一実施形態及び第二実施形態と同様の表示向き調整処理を実行し、地図２００と表示向きが一致した俯瞰映像１００を表示パネル３０に出力する（例えば図４参照）。

表示制御部４６は、地図２００の表示向きがヘッディングアップの場合、第一実施形態及び第二実施形態と同様に、表示向き調整処理を実行しない。表示制御部４６は、地図２００の表示向きがヘッディングアップであるとき、俯瞰映像生成部４５から取得した俯瞰映像１００をそのままの表示向き（本実施形態ではヘッディングアップの表示向き）で表示パネル３０に出力する（例えば図３参照）。

図８は、第三実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。図８に示すフローチャートは、制御部４１により実行される。

ステップＳ３１からステップＳ３３の処理は、第二実施形態におけるステップＳ２１からステップＳ２３の処理と同じ処理である。また、ステップＳ３４、ステップＳ３５及びステップＳ３７の処理は、第二実施形態におけるステップＳ２４、ステップＳ２５及びステップＳ２６の処理と同じ処理である。また、ステップＳ３８の処理は、第二実施形態におけるステップＳ２７の処理と同じ処理である。

制御部４１は、地図２００の縮尺が上記所定値未満であると判定したとき（ステップＳ３５でＮｏ）、ステップＳ３６に進む。制御部４１は、地図２００の縮尺が上記所定値以上であると判定したとき（ステップＳ３５でＹｅｓ）、ステップＳ３７に進む。

制御部４１は、地図２００の縮尺を変更する（ステップＳ３６）。より詳しくは、制御部４１は、表示制御部４６で地図２００の縮尺を上記所定値以上の値に変更する。その結果、所定値以上の縮尺とされた地図２００が表示制御部４６から表示パネル３０に出力されて、表示パネル３０に表示される。制御部４１は、ステップＳ３７に進む。

以上説明したように、本実施形態において、地図表示情報取得部４３は、地図２００の縮尺情報をさらに取得し、制御部４１は、地図２００を取得し、地図表示情報取得部４３で取得した縮尺が所定値以上であるとき（ステップＳ３５でＹｅｓ）、表示向き調整処理を実行する（ステップＳ３７）と共に、そのままの縮尺で地図２００を表示パネル３０に表示させ、地図表示情報取得部４３で取得した縮尺が所定値未満であるとき（ステップＳ３５でＮｏ）、表示向き調整処理を実行する（ステップＳ３７）と共に、所定値以上の縮尺に変更して地図２００を表示パネル３０に表示させる（ステップＳ３６）。

この構成によれば、表示向き調整処理を行う場合、地図２００の縮尺が所定値以上であるか所定値未満であるかに関わらず、所定値以上の縮尺とされた地図２００と、俯瞰映像１００とを表示向きを合わせて表示パネル３０に表示させることができる。その結果、地図２００と俯瞰映像１００との表示向きを一致させる場合、ユーザが常に地図２００と俯瞰映像１００とを関連付けて認識しやすくすることが可能となる。

また、第三実施形態の変形例として、地図表示情報取得部４３で取得した縮尺が所定値未満であると判定したとき（ステップＳ３５でＮｏ）、後述する第五実施形態の図１３に示すように、所定値以上の縮尺である拡大地図３００を地図２００に重ねて表示させてもよい。この場合、制御部４１は、図８のステップＳ３６において、地図の縮尺を変更した拡大地図３００を表示させる。
[第四実施形態]
図９を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第四実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図を示す説明図である。第四実施形態に係る俯瞰映像生成システム１は、俯瞰映像生成部４５及び表示制御部４６の処理が第二実施形態に係る俯瞰映像生成システム１と異なる。

俯瞰映像生成部４５は、地図表示情報取得部４３から地図２００の表示向き情報及び縮尺情報を取得する。俯瞰映像生成部４５は、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が上記所定値以上であるとき、図９に示すように、表示パネル３０に表示される地図２００の画面内における車両Ｖの下方側に位置し、かつ、地図２００における車両Ｖの前方向と、俯瞰映像１００における車両Ｖの前方向とが一致するように設定された仮想視点ＰＦ（図１０参照）から車両Ｖを見た視点変換処理を行って、俯瞰映像１００を生成する。それにより、俯瞰映像生成部４５は、地図２００の表示向きと俯瞰映像１００の表示向きとを一致させる表示向き調整処理を実行する。

俯瞰映像生成部４５は、地図２００の表示向きがヘッディングアップであるとき、及び、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が上記所定値未満であるとき、表示向き調整処理を実行しない。この場合、俯瞰映像生成部４５は、車両Ｖを上方の仮想視点Ｐから見下ろすように視点変換処理を行って俯瞰映像１００を生成する（例えば図３参照）。

図９及び図１０を参照しながら、仮想視点ＰＦについて説明する。図１０は、第四実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を示す説明図である。視点変換処理部４５１は、地図２００の表示向きがヘッディングアップ以外であり、かつ、地図２００の縮尺が所定値以上であるとき、図１０に示すように、車両Ｖの真上に位置する仮想視点Ｐから、車幅方向または前後方向の少なくともいずれかに離間して仮想視点ＰＦが位置するように視点変換処理を行って映像を生成する。仮想視点ＰＦの位置は、（ｘＦ，ｙＦ，ｚＦ）で表される。図９に示す例では、地図２００の表示向きがノースアップであり、自車両アイコン２１０として示される車両Ｖの前方向（図中の二点鎖線矢印に沿った方向）が画面内の上下方向に対して傾斜している。仮想視点ＰＦは、俯瞰映像１００において自車両アイコン１１０として示される車両Ｖの前方向（図中の一点鎖線矢印に沿った方向）が、自車両アイコン２１０として示される車両Ｖの前方向と同一の角度で、画面内の上下方向に対して傾斜するように、車両Ｖを見る位置に設定される。また、図９に示す例において、地図２００の画面内における車両Ｖの下方側に位置する仮想視点ＰＦは、図１０に示すように、車両Ｖの斜め後方の位置に設定されることになる。仮想視点ＰＦの位置は、図９に示すように、自車両アイコン１１０として示される車両Ｖを斜めに見下ろす位置に設定されることが好ましい。

表示制御部４６は、俯瞰映像生成部４５から取得した俯瞰映像１００をそのままの表示向きで表示パネル３０に出力する。

図１１は、第四実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。図１１に示すフローチャートは、制御部４１により実行される。

ステップＳ４１からステップＳ４３の処理は、第二実施形態におけるステップＳ２１からステップＳ２３の処理と同じ処理である。また、ステップＳ４４及びステップＳ４５の処理は、第二実施形態におけるステップＳ２４及びステップＳ２５の処理と同じ処理である。また、ステップＳ４７の処理は、第二実施形態におけるステップＳ２７の処理と同じ処理である。

制御部４１は、地図２００の縮尺が所定値以上であると判定したとき（ステップＳ４５でＹｅｓ）、ステップＳ４６に進む。制御部４１は、地図２００の表示向きに合わせ、仮想視点位置を変更した俯瞰映像１００を生成して表示させる（ステップＳ４６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、表示パネル３０に表示される地図２００の画面内における車両Ｖの下方側に位置し、かつ、地図２００における車両Ｖの前方向と、俯瞰映像１００における車両Ｖの前方向とが一致するように設定された仮想視点から車両Ｖを見た視点変換処理を行って、図９に示す俯瞰映像１００を生成させる。制御部４１は、俯瞰映像生成部４５で生成した図９に示す俯瞰映像１００を表示制御部４６に出力させる。制御部４１は、表示制御部４６で、俯瞰映像生成部４５で生成した俯瞰映像１００を、そのままの表示向きで表示パネル３０に出力させる。

以上説明したように、本実施形態において、制御部４１は、表示向き調整処理として、表示パネル３０に表示される地図２００の画面内における車両Ｖ（自車両アイコン２１０）の下方側に位置し、かつ、地図２００における車両Ｖの前方向と、俯瞰映像１００における車両Ｖの前方向とが一致するように設定された仮想視点ＰＦから車両Ｖを見た視点変換処理を行って、俯瞰映像１００を生成する（ステップＳ４６）。

この構成によれば、車両Ｖを真上から見下ろしたような俯瞰映像１００（図３等参照）に限られず、図９に示すように、車両Ｖを例えば斜め後ろから見下ろしたような俯瞰映像１００を用いつつ、地図２００と俯瞰映像１００との表示向きを一致させて表示パネル３０に表示させることができる。その結果、図９に示すように、俯瞰映像１００において、車両Ｖの周辺情報をより詳しく表示させることができる。

なお、案内地図生成部５３は、地図２００を三次元で生成してもよく、制御部４１は、図９に示す俯瞰映像１００と併せて、俯瞰映像１００と同様の仮想視点から見たような三次元の地図２００を表示パネル３０に表示させてもよい。それにより、ユーザが地図２００と俯瞰映像１００とをより容易に関連付けて認識することが可能となる。

図１２は、第四実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図の他の例を示す説明図である。制御部４１は、ステップＳ４６で、図１２に示すように、車両Ｖを後方から見たような仮想視点を用いた視点変換処理を行って生成された俯瞰映像１００を生成し、表示パネル３０に表示させてもよい。
[第五実施形態]
図１３を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１３は、第五実施形態に係る俯瞰映像生成システムで生成されて表示パネルに表示される俯瞰映像及び地図を示す説明図である。第五実施形態に係る俯瞰映像生成システム１は、設定操作部２３、案内設定部５２、案内地図生成部５３、地図表示情報取得部４３及び表示制御部４６の処理が第一実施形態に係る俯瞰映像生成システム１と異なる。

設定操作部２３は、ユーザから入力された設定操作情報として、拡大地図３００を地図２００に重ねて描画する設定操作がなされた旨を案内設定部５２に出力する。拡大地図３００は、少なくとも地図２００の縮尺未満の縮尺で、車両Ｖの周辺を拡大して表示した地図である。

案内設定部５２は、拡大地図３００を地図２００に重ねて描画する設定操作がなされた旨を取得すると、拡大地図３００を生成及び描画する設定を案内地図生成部５３に出力する。

案内地図生成部５３は、拡大地図３００を生成及び描画する設定を取得すると、拡大地図３００を生成する。なお、案内地図生成部５３は、例えば、目的地の近辺に到着した際や、所定幅未満の幅員の狭い道路を走行するとき等に、拡大地図３００を自動的に生成してもよい。本実施形態において、拡大地図３００は、地図２００と同一の表示向きで生成される。拡大地図３００の表示向きは、設定操作部２３を介してユーザにより設定されてもよい。案内地図生成部５３は、生成した拡大地図３００を地図２００に重ねて描画し、表示制御部４６に出力する。案内地図生成部５３は、拡大地図３００の表示向きと地図２００の表示向きとを地図表示情報取得部４３に出力する。

地図表示情報取得部４３は、取得した拡大地図３００の表示向きと、地図２００の表示向きとを表示制御部４６に出力する。

表示制御部４６は、案内地図生成部５３から拡大地図３００及び地図２００を取得したとき、拡大地図３００を地図２００に重ねて表示パネル３０に表示させる。

表示制御部４６は、拡大地図３００の表示向きがヘッディングアップ以外であるとき、拡大地図３００の表示向きと俯瞰映像１００の表示向きとを一致させる処理を実行する。より詳しくは、表示制御部４６は、図１３に示すように、拡大地図３００において画面内に自車両アイコン３１０として示される車両Ｖの前方向（図中の二点鎖線矢印に沿った方向）と、俯瞰映像１００において自車両アイコン１１０として示される車両Ｖの前方向（図中の一点鎖線矢印に沿った方向）とを一致させる。図１３に示す例では、地図２００及び拡大地図３００の表示向きがノースアップに設定されている。図示するように、拡大地図３００の表示向きがノースアップであり、自車両アイコン３１０として示される車両Ｖの前方向が画面内の上下方向に対して傾斜している。この場合、表示制御部４６は、俯瞰映像１００における車両Ｖの前方向も、自車両アイコン３１０として示される車両Ｖの前方向と同一の角度で、画面内の上下方向に対して傾斜させるように、俯瞰映像１００を回転させる。表示制御部４６は、拡大地図３００と表示向きが一致した俯瞰映像１００を表示パネル３０に出力する。

表示制御部４６は、拡大地図３００の表示向きがヘッディングアップであるとき、拡大地図３００の表示向きと俯瞰映像１００の表示向きとを一致させる処理を実行しない。本実施形態において、表示制御部４６は、拡大地図３００の表示向きがヘッディングアップであるとき、俯瞰映像生成部４５から取得した俯瞰映像１００をそのままの表示向き（本実施形態ではヘッディングアップの表示向き）で表示パネル３０に出力する。

次に、図１４を用いて、俯瞰映像生成システム１の処理の流れについて説明する。図１４は、第五実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。図１４に示すフローチャートは、制御部４１により実行される。

制御部４１は、拡大地図表示を開始するか否かを判定する（ステップＳ５１）。本実施形態では、制御部４１は、表示制御部４６に拡大地図３００が出力されているとき、拡大地図表示を開始すると判定し、表示制御部４６に拡大地図３００が出力されていないとき、拡大地図表示を開始しないと判定する。制御部４１は、拡大地図表示を開始しないと判定したとき（ステップＳ５１でＮｏ）、ステップＳ５１の処理を再度実行する。制御部４１は、拡大地図表示を開始すると判定したとき（ステップＳ５１でＹｅｓ）、ステップＳ５２に進む。

制御部４１は、拡大地図３００の表示向きを取得する（ステップＳ５２）。より詳しくは、制御部４１は、地図表示情報取得部４３において、案内地図生成部５３から拡大地図３００の表示向き情報を取得し、ステップＳ５３に進む。

制御部４１は、拡大地図３００の表示向きがヘッディングアップであるか否かを判定する（ステップＳ５３）。より詳しくは、制御部４１は、地図表示情報取得部４３で取得した拡大地図３００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかを判定する。制御部４１は、拡大地図３００の表示向きがヘッディングアップであると判定したとき（ステップＳ５３でＹｅｓ）、ステップＳ５４に進む。制御部４１は、拡大地図３００の表示向きがヘッディングアップでないと判定したとき（ステップＳ５３でＮｏ）、ステップＳ５５に進む。

制御部４１は、ヘッディングアップの俯瞰映像１００を生成し表示する（ステップＳ５４）。より詳しくは、制御部４１は、俯瞰映像生成部４５において、映像データ取得部４２で取得した周辺映像データから車両Ｖを仮想視点Ｐで上方から見下ろすように視点変換処理を行い、表示向きがヘッディングアップとされた俯瞰映像１００を生成させ、表示制御部４６へと出力させる。制御部４１は、図３に示すように、表示制御部４６で俯瞰映像生成部４５から取得した俯瞰映像１００を、そのままの表示向きで表示パネル３０に出力し、表示させる。制御部４１は、ステップＳ５６に進む。

制御部４１は、拡大地図３００の表示向きに合わせた俯瞰映像１００を生成し表示する（ステップＳ５５）。すなわち、制御部４１は、地図表示情報取得部４３で取得した拡大地図３００の表示向き情報に基づいて、拡大地図３００の表示向きと俯瞰映像１００の表示向きとを一致させる処理を実行する。より詳しくは、制御部４１は、俯瞰映像生成部４５において、映像データ取得部４２で取得した周辺映像データから車両Ｖを仮想視点Ｐで上方から見下ろすように視点変換処理を行い、俯瞰映像１００を生成させ、表示制御部４６へと出力させる。制御部４１は、表示制御部４６で俯瞰映像生成部４５から取得した俯瞰映像１００を回転させて、拡大地図３００において画面内に自車両アイコン３１０として示される車両Ｖの前方向と、俯瞰映像１００において自車両アイコン１１０として示される車両Ｖの前方向とを一致させ、表示パネル３０に表示させる。制御部４１は、ステップＳ５６に進む。

制御部４１は、拡大地図表示を終了するか否かを判定する（ステップＳ５６）。より詳しくは、制御部４１は、表示制御部４６に拡大地図３００が出力されなくなったとき、拡大地図表示を終了すると判定し、表示制御部４６に拡大地図３００が出力されている間は、拡大地図表示を終了しないと判定する。制御部４１は、拡大地図表示を終了しないと判定したとき（ステップＳ５６でＮｏ）、ステップＳ５２に戻って処理を継続する。制御部４１は、拡大地図表示を終了すると判定したとき（ステップＳ５６でＹｅｓ）、ステップＳ５７に進む。

制御部４１は、俯瞰映像表示を終了させる（ステップＳ５７）。より詳しくは、制御部４１は、俯瞰映像生成部４５での俯瞰映像１００の生成処理及び表示制御部４６での俯瞰映像１００の表示処理を終了させ、処理を終了する。

以上説明したように、本実施形態において、地図表示情報取得部４３は、地図２００に重ねて描画されると共に地図２００の一部を拡大した拡大地図３００の表示向き情報をさらに取得し、制御部４１は、地図表示情報取得部４３で取得した拡大地図３００の表示向き情報に基づいて、拡大地図３００の表示向きと俯瞰映像１００の表示向きとを一致させる。

この構成によれば、車両Ｖの周辺を拡大して表示する拡大地図３００が表示されるとき、拡大地図３００と俯瞰映像１００との表示向きを一致させて、俯瞰映像１００を表示パネル３０に表示させることができる。その結果、車両Ｖの周辺の道路や建築物といった情報を含めて、ユーザが拡大地図３００と俯瞰映像１００とを関連付けて認識しやすい場合に、ユーザが表示パネル３０に表示される情報を速やかに認識可能とすることができる。

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

第一実施形態において、ステップＳ１３及びステップＳ１４の処理は、省略してもよい。すなわち、制御部４１は、地図表示情報取得部４３で取得した地図２００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかに関わらず、表示向き調整処理を実行してもよい。

第二実施形態において、ステップＳ２３の処理は、省略してもよい。すなわち、制御部４１は、地図２００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかに関わらず、地図表示情報取得部４３で取得した縮尺が所定値以上であるとき、表示向き調整処理を実行し、地図表示情報取得部４３で取得した縮尺が所定値未満であるとき、表示向き調整処理を実行しないものとしてもよい。

第三実施形態において、ステップＳ３３及びステップＳ３４の処理は、省略してもよい。すなわち、制御部４１は、地図２００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかに関わらず、地図表示情報取得部４３で取得した縮尺が所定値以上であるとき、表示向き調整処理を実行すると共に、そのままの縮尺で地図２００を表示パネル３０に表示させ、地図２００の縮尺が所定値未満であるとき、表示向き調整処理を実行すると共に、所定値以上の縮尺に変更して地図２００を表示パネル３０に表示させてもよい。

第四実施形態において、ステップＳ４３またはステップＳ４５の処理は、省略してもよい。すなわち、制御部４１は、地図２００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかに関わらず、または、地図２００の縮尺が所定値以上であるか所定値未満であるかに関わらず、図９に示すような、仮想視点ＰＦから車両Ｖを見た俯瞰映像１００を生成することで、表示向き調整処理を実行してもよい。

第五実施形態において、ステップＳ５３及びステップＳ５４の処理は、省略してもよい。すなわち、制御部４１は、地図表示情報取得部４３で取得した拡大地図３００の表示向きがヘッディングアップであるか、ヘッディングアップ以外であるかに関わらず、拡大地図３００と俯瞰映像１００との表示向きを一致させてもよい。

第五実施形態において、制御部４１は、ステップＳ５５で、第四実施形態のステップＳ４６の処理のように、表示向き調整処理として、表示パネル３０に表示される拡大地図３００の画面内における車両Ｖの下方側に位置し、かつ、拡大地図３００における車両Ｖの前方向と、俯瞰映像１００における車両Ｖの前方向とが一致するように設定された仮想視点から車両Ｖを見た視点変換処理を行って、俯瞰映像１００を生成し、表示パネル３０に表示させてもよい。

第五実施形態において、制御部４１は、ステップＳ５１の処理の前に、ステップＳ１１の処理を実行してもよい。また、制御部４１は、図５、図７、図８及び図１１のいずれかに示すフローチャートと、図１４に示すフローチャートとを並列的に実行してもよい。この場合、制御部４１は、図５、図７、図８及び図１１のいずれかのフローチャートを実行している最中に、拡大地図表示を開始すると判定したとき（ステップＳ５１でＹｅｓ）、図５、図７、図８及び図１１のいずれかに示すフローチャートの実行を一旦終了すると共に、図１４に示すステップＳ５２以降の処理を実行し、図１４に示すフローチャートの実行が終了すると、再び図５、図７、図８及び図１１のいずれかに示すフローチャートの実行を開始すればよい。

第一実施形態から第三実施形態及び第五実施形態において、制御部４１は、俯瞰映像生成部４５においてヘッディングアップの表示向きとされた俯瞰映像１００を生成し、表示制御部４６において俯瞰映像１００を地図２００の表示向きに合わせて回転させ、俯瞰映像１００の表示向きと地図２００と表示向きを一致させる表示向き調整処理を実行するものとした。制御部４１は、表示向き調整処理として、俯瞰映像生成部４５において予め地図２００または拡大地図３００の表示向きに合わせた俯瞰映像１００を生成し、表示制御部４６において俯瞰映像生成部４５で生成された俯瞰映像１００をそのままの表示向きで表示パネル３０に表示させてもよい。

また、第一実施形態から第三実施形態において、制御部４１は、表示向き調整処理として、地図２００を回転させて、地図２００の表示向きと俯瞰映像１００との表示向きを一致させてもよい。例えば、制御部４１は、ステップＳ１５、ステップＳ２６またはステップＳ３７の処理において、俯瞰映像１００はそのままの表示向き（本実施形態では、ヘッディングアップ）で表示パネル３０に表示させると共に、地図２００をヘッディングアップの表示向きとして表示パネル３０に表示させてもよい。第五実施形態においても、同様に、制御部４１は、拡大地図３００を回転させて、拡大地図３００の表示向きと俯瞰映像１００との表示向きを一致させてもよい。例えば、制御部４１は、ステップＳ５５の処理において、俯瞰映像１００はそのままの表示向き（本実施形態では、ヘッディングアップ）で表示パネル３０に表示させると共に、拡大地図３００をヘッディングアップの表示向きとして表示パネル３０に表示させてもよい。

第一実施形態から第五実施形態において、制御部４１は、図５、図７、図８、図１１及び図１４のフローチャートを実行している間、地図２００を常に表示パネル３０に表示するものでなくてもよい。例えば、制御部４１は、ユーザからの操作部に対する俯瞰映像１００を表示パネル３０の全画面に表示する旨の操作が検出されたとき、一時的に地図２００の表示を停止させてもよい。

第一実施形態から第五実施形態において、案内地図生成部５３は、車両Ｖの現在位置を示す自車両アイコン２１０を地図情報に重ねて描画した地図２００を生成するものとしたが、案内地図生成部５３により生成される地図２００は、これに限られない。案内地図生成部５３は、自車両アイコン２１０を描画することなく、常に車両Ｖよりも前側を表示した地図２００を生成してもよい。

第一実施形態から第五実施形態において、案内地図生成部５３が生成する地図を平面地図の例として説明したが、いずれの実施形態においても、立体的な地図、俯瞰的な地図など、様々な表示形態が適用可能である。

１ 俯瞰映像生成システム
１１ 前方カメラ
１２ 後方カメラ
１３ 左側方カメラ
１４ 右側方カメラ
２１ 地図情報記憶部
２２ 現在位置情報検出部
２３ 設定操作部
３０ 表示パネル
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像データ取得部
４３ 地図表示情報取得部
４４ 車両情報取得部
４５ 俯瞰映像生成部
４５１ 視点変換処理部
４５２ 切出処理部
４５３ 合成処理部
４６ 表示制御部
４９ 記憶部
５０ ナビゲーション処理装置
５１ 現在位置取得部
５２ 案内設定部
５３ 案内地図生成部
Ｐ，ＰＦ 仮想視点
Ｖ 車両

Claims (4)

1. 車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、
   表示部の表示画面に表示される地図の縮尺情報および前記表示画面の上方に設定される方向を示す表示向き情報を取得する地図表示情報取得部と、
   前記映像データ取得部で取得した前記周辺映像データに対して視点変換処理および合成処理を行うことで俯瞰映像を生成し、前記表示部の前記表示画面に表示させる制御部と、
   を備え、
   前記制御部は、前記地図表示情報取得部で取得した前記地図の縮尺が所定値以上であるとき、前記俯瞰映像に表示されている自車両アイコンの前方向の表示向きに、前記地図における自車両アイコンの前方向の表示向きを一致させる表示向き調整処理を実行することを特徴とする俯瞰映像生成装置。
2. 前記制御部は、前記地図を取得し、前記地図表示情報取得部で取得した縮尺が前記所定値以上であるとき、前記表示向き調整処理を実行すると共に、そのままの前記縮尺で前記地図を前記表示部に表示させ、前記地図表示情報取得部で取得した前記縮尺が前記所定値未満であるとき、前記表示向き調整処理を実行すると共に、前記所定値以上の縮尺に変更して前記地図を前記表示部に表示させることを特徴とする請求項１に記載の俯瞰映像生成装置。
3. 前記制御部は、前記地図を取得し、前記地図及び前記俯瞰映像の双方を同一の前記表示部に表示させることを特徴とする請求項１または２に記載の俯瞰映像生成装置。
4. 車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、
   表示部の表示画面に表示される地図の、前記表示画面の上方に設定される方向を示す表示向き情報を取得する地図表示情報取得ステップと、
   前記映像データ取得ステップで取得した前記周辺映像データに対して視点変換処理および合成処理を行うことで俯瞰映像を生成し、前記表示部の表示画面に表示させる制御ステップと、
   を含み、
   前記制御ステップにおいては、前記地図表示情報取得ステップで取得した前記地図の縮尺が所定値以上であるとき、前記俯瞰映像に表示されている自車両アイコンの前方向の表示向きに、前記地図における自車両アイコンの前方向の表示向きを一致させる表示向き調整処理を実行することを特徴とする俯瞰映像生成方法。
   
   
   

Images