JP6730619B2 - 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム - Google Patents
俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム Download PDFInfo
- Publication number
- JP6730619B2 JP6730619B2 JP2017098143A JP2017098143A JP6730619B2 JP 6730619 B2 JP6730619 B2 JP 6730619B2 JP 2017098143 A JP2017098143 A JP 2017098143A JP 2017098143 A JP2017098143 A JP 2017098143A JP 6730619 B2 JP6730619 B2 JP 6730619B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- bird
- eye view
- image
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラムに関する。
車両の駐車時、運転者は、例えば、駐車区画線、車両止め、車道外側線、縁石などの基準対象に車両の向きを合わせて駐車する。車両の駐車時、車両の俯瞰映像を車両画像と共に表示して駐車を支援する車両周辺表示装置に関する技術が知られている(例えば、特許文献1、特許文献2参照)。特許文献1に記載の技術は、駐車領域間の境界線として白線が路面に描かれていない駐車場において、車幅方向に延びた車止めから隣接する駐車領域間の境界を設定し、俯瞰映像に重畳して表示する。特許文献2に記載の技術は、駐車枠の既定部分が表示範囲外にあるとき、駐車枠の延長線を示す延長線画像を俯瞰映像に重畳して表示する。
車両の駐車時、車両と駐車区画線、車両止めを含む基準対象との相対的な向きはステアリング操作に連動して変動する。自車両アイコンの向きが固定された俯瞰映像においては、自車両アイコンに対して基準対象の向きがステアリング操作に連動して変動する。このため、基準対象の向きに車両の向きを合わせるために、どのようにステアリング操作を行えばよいかを迅速に判断することが難しい場合がある。このように、俯瞰映像において、車両と周辺との相対的な位置関係を適切に確認可能に表示することには改善の余地がある。
本発明は、上記に鑑みてなされたものであって、車両と周辺との相対的な位置関係を適切に確認可能にすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得部と、前記映像データ取得部が取得した周辺映像に視点変換処理および車両を示す自車両アイコンを含む合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成部と、前記車両の周囲における基準対象を検出する基準対象検出部と、前記基準対象検出部が検出した基準対象と前記車両との距離を検出する距離検出部と、前記基準対象検出部が検出した基準対象と前記車両との相対的な向きを特定する向き特定部と、前記基準対象と前記車両との相対的な向きを示す情報を前記自車両アイコンを基準とした相対的な向きとして前記俯瞰映像生成部が生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理部と、前記重畳処理部が生成した重畳映像を表示部に表示させる表示制御部と、を備え、前記俯瞰映像生成部は、前記距離検出部が検出した基準対象と前記車両との距離が所定条件を満たしたとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成することを特徴とする。
本発明に係る俯瞰映像表示装置は、上記の俯瞰映像生成装置と、前記映像データ取得部に周辺映像データを供給する撮影部、前記表示制御部が重畳映像を表示させる表示部、の少なくともどちらかを備えることを特徴とする。
本発明に係る俯瞰映像生成方法は、車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記映像データ取得ステップが取得した周辺映像に視点変換処理および車両を示す自車両アイコンを含む合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周囲における基準対象を検出する基準対象検出ステップと、前記基準対象検出ステップが検出した基準対象と前記車両との距離を検出する距離検出ステップと、前記基準対象検出ステップが検出した基準対象と前記車両との相対的な向きを特定する向き特定ステップと、前記基準対象と前記車両との相対的な向きを示す情報を前記自車両アイコンを基準とした相対的な向きとして前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップと、を含み、前記俯瞰映像生成ステップは、前記距離検出ステップが検出した基準対象と前記車両との距離が所定条件を満たしたとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する。
本発明に係るプログラムは、車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、前記映像データ取得ステップが取得した周辺映像に視点変換処理および車両を示す自車両アイコンを含む合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、前記車両の周囲における基準対象を検出する基準対象検出ステップと、前記基準対象検出ステップが検出した基準対象と前記車両との距離を検出する距離検出ステップと、前記基準対象検出ステップが検出した基準対象と前記車両との相対的な向きを特定する向き特定ステップと、前記基準対象と前記車両との相対的な向きを示す情報を前記自車両アイコンを基準とした相対的な向きとして前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップと、を含み、前記俯瞰映像生成ステップは、前記距離検出ステップが検出した基準対象と前記車両との距離が所定条件を満たしたとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成することを俯瞰映像生成装置として動作するコンピュータに実行させる。
本発明によれば、車両と周辺との相対的な位置関係を適切に確認可能にすることができるという効果を奏する。
以下に添付図面を参照して、本発明に係る俯瞰映像生成装置40、俯瞰映像表示装置1、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
[第一実施形態]
図1は、第一実施形態に係る俯瞰映像生成装置の構成例を示すブロック図である。俯瞰映像表示装置1は、車両の第一俯瞰映像100(図2参照)または重畳映像100A(図3参照)または重畳映像100B(図9参照)を生成する。俯瞰映像生成装置40および俯瞰映像表示装置1は、車両に搭載されている。俯瞰映像生成装置40および俯瞰映像表示装置1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
図1は、第一実施形態に係る俯瞰映像生成装置の構成例を示すブロック図である。俯瞰映像表示装置1は、車両の第一俯瞰映像100(図2参照)または重畳映像100A(図3参照)または重畳映像100B(図9参照)を生成する。俯瞰映像生成装置40および俯瞰映像表示装置1は、車両に搭載されている。俯瞰映像生成装置40および俯瞰映像表示装置1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
図1を用いて、俯瞰映像表示装置1について説明する。俯瞰映像表示装置1は、前方カメラ(撮影部)11と、後方カメラ(撮影部)12と、左側方カメラ(撮影部)13と、右側方カメラ(撮影部)14と、表示パネル(表示部)31と、俯瞰映像生成装置40とを有する。
前方カメラ11は、俯瞰映像用カメラである。前方カメラ11は、車両の前方に配置され、車両の前方を中心とした周辺を撮影する。前方カメラ11は、例えば、180°程度の第一撮影範囲A1(図6参照)を撮影する。第一撮影範囲A1は、第一俯瞰映像100の表示範囲A(図6参照)より自車両Vの前方に広い範囲を含む。前方カメラ11は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
後方カメラ12は、俯瞰映像用カメラである。後方カメラ12は、車両の後方に配置され、車両の後方を中心とした周辺を撮影する。後方カメラ12は、例えば、180°程度の第二撮影範囲A2(図6参照)を撮影する。第二撮影範囲A2は、第一俯瞰映像100の表示範囲Aより自車両Vの後方に広い範囲を含む。後方カメラ12は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
左側方カメラ13は、俯瞰映像用カメラである。左側方カメラ13は、車両の左側方に配置され、車両の左側方を中心とした周辺を撮影する。左側方カメラ13は、例えば、180°程度の第三撮影範囲A3(図6参照)を撮影する。第三撮影範囲A3は、第一俯瞰映像100の表示範囲Aより自車両Vの左側方に広い範囲を含む。左側方カメラ13は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
右側方カメラ14は、俯瞰映像用カメラである。右側方カメラ14は、車両の右側方に配置され、車両の右側方を中心とした周辺を撮影する。右側方カメラ14は、例えば、180°程度の第四撮影範囲A4(図6参照)を撮影する。第四撮影範囲A4は、第一俯瞰映像100の表示範囲Aより自車両Vの右側方に広い範囲を含む。右側方カメラ14は、撮影した映像を俯瞰映像生成装置40の映像データ取得部42へ出力する。
前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで、車両の全方位を撮影する。
表示パネル31は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)または有機EL(Organic Electro−Luminescence)ディスプレイを含むディスプレイである。表示パネル31は、俯瞰映像表示装置1の俯瞰映像生成装置40から出力された映像信号に基づいて、第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bを表示する。表示パネル31は、俯瞰映像表示装置1に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル31は、運転者から視認容易な位置に配置されている。
俯瞰映像生成装置40は、制御部41と、記憶部50とを有する。
制御部41は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置である。制御部41は、記憶部50に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部41は、映像データ取得部42と、車両情報取得部43と、俯瞰映像生成部44と、基準対象検出部45と、向き特定部46と、距離検出部47と、重畳処理部48と、表示制御部49とを有する。制御部41には図示しない内部メモリが含まれ、内部メモリは制御部41におけるデータの一時記憶などに用いられる。
映像データ取得部42は、車両の周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部42は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とが出力した映像データを取得する。映像データ取得部42は、取得した映像データを俯瞰映像生成部44と基準対象検出部45とに出力する。各々のカメラから取得する映像データは、例えば毎秒30フレームの画像から構成される動画像である。
車両情報取得部43は、車両のギア操作情報など、俯瞰映像の表示開始のトリガとなる車両の状況を示す車両情報を、CAN(Controller Area Network)や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部43は、例えば、後退トリガを取得する。車両情報取得部43は、例えば、車速情報を取得する。車両情報取得部43は、取得した車両情報を俯瞰映像生成部44に出力する。
俯瞰映像生成部44は、映像データ取得部42で取得した周辺映像から車両を上方から見下ろすように視点変換処理と車両を示す自車両アイコン110を含む合成処理とを行い、自車両Vから所定の表示範囲Aを表示する第一俯瞰映像100を生成する。より詳しくは、俯瞰映像生成部44は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した映像に基づいて、第一俯瞰映像100を生成する。第一俯瞰映像100を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部44は、生成した第一俯瞰映像100を重畳処理部48と表示制御部49とに出力する。
俯瞰映像生成部44は、基準対象Bと自車両Vとの距離d1が所定条件を満たしてないとき、自車両アイコン110を基準とした第一俯瞰映像100を生成する。言い換えると、俯瞰映像生成部44は、基準対象Bと自車両Vとの距離d1が所定条件を満たしてない間は、自車両アイコン110の向きと位置とを固定した第一俯瞰映像100を生成する。自車両アイコン110を基準とした第一俯瞰映像100とは、言い換えると、自車両Vを基準とした第一俯瞰映像でもある。
図2を用いて、第一俯瞰映像100について説明する。図2は、第一実施形態に係る俯瞰映像生成装置で生成した俯瞰映像の一例を示す図である。第一俯瞰映像100は、縦長の矩形状である。第一俯瞰映像100は、前方映像101と後方映像102と左側方映像103と右側方映像104と、前方映像101と後方映像102と左側方映像103と右側方映像104とで囲まれた中央部に位置する自車両アイコン110とを含む。自車両アイコン110は、自車両Vの位置と向きとを示す。自車両アイコン110は、前後方向を第一俯瞰映像100の前後方向と平行にして、中央部に配置されている。後方映像102には、被撮影物として車両止めB1と後方枠線B2とが表示されている。前方映像101と後方映像102と左側方映像103と右側方映像104と、自車両アイコン110とは、枠状の境界線で区切られていてもよい。運転者は、自車両アイコン110に対する車両止めB1と後方枠線B2との位置と向きとがわかる。これにより、運転者は、車両止めB1と後方枠線B2とに合わせて自車両Vを操舵する。
図2においては、前方映像101と後方映像102と左側方映像103と右側方映像104との境界を示す斜めの破線を説明のために図示しているが、実際に表示パネル31に表示される第一俯瞰映像100には当該破線は表示されなくてもよい。他の図も同様である。
俯瞰映像生成部44は、向き特定部46が特定した基準対象Bと自車両Vとの距離d1が所定条件を満たしたとき、第一俯瞰映像100に代えて、基準対象Bと自車両Vとの相対的な向きを示す情報を基準とした、図示しない俯瞰映像(以下、「第二俯瞰映像」という。)を生成する。言い換えると、俯瞰映像生成部44は、基準対象Bと自車両Vとの距離d1が所定条件を満たす間は、相対的な向きを示す情報の配置を固定した俯瞰映像を生成する。
本実施形態では、俯瞰映像生成部44は、基準対象Bと自車両Vとの距離d1が閾値th1未満となったとき、第一俯瞰映像100に代えて、第二俯瞰映像を生成する。閾値th1は、表示範囲Aより大きいことが好ましい。本実施形態では、閾値th1は、2.5mとする。
第二俯瞰映像において、相対的な向きを示す情報は、基準対象Bと自車両Vとの距離d1が閾値th1未満であると判定されたときの第一俯瞰映像100における相対的な向きを示す情報の配置で固定してもよい。または、第二俯瞰映像において、相対的な向きを示す情報は、俯瞰映像の前後方向または左右方向と平行に配置して固定してもよい。本実施形態では、相対的な向きを示す情報を俯瞰映像の左右方向と平行に配置して固定する。
俯瞰映像生成部44は、視点変換処理部441と、切出処理部442と、合成処理部443とを有する。
視点変換処理部441は、映像データ取得部42で取得した周辺映像データに対して、自車両Vを上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部441は、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部441は、視点変換処理を行った周辺映像データを切出処理部442に出力する。
切出処理部442は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部442は、切出処理を行った映像の映像データを合成処理部443に出力する。
切出処理部442は、基準対象Bと自車両Vとの距離d1が所定条件を満たしたとき、視点変換処理を行った周辺映像データから、第二俯瞰映像を生成するよう、第一俯瞰映像100の切出範囲と異なる切出範囲で映像を切出す切出処理を行う。
合成処理部443は、切出処理を行った映像データを合成する合成処理を行う。合成処理部443は、合成した映像に自車両アイコン110を表示した第一俯瞰映像100または第二俯瞰映像を生成する。
基準対象検出部45は、自車両Vの周囲に存在する基準対象Bを検出する。基準対象物検出部45は、第一撮影範囲A1、第二撮影範囲A2、第三撮影範囲A3、第四撮影範囲A4において撮影されている基準対象物Bを検出する。このため、基準対象物検出部45が検出する基準対象Bは、表示範囲Aより遠方に存在する基準対象Bも含む。基準対象検出部45は、映像データ取得部42で取得した周辺映像に対して物体認識処理を行い、基準対象Bを検出する。基準対象検出部45は、エッジ検出処理により、周辺映像から所定長さ以上の直線性を備えた被撮影物を基準対象Bとして検出してもよい。基準対象検出部45は、基準対象Bを記憶した認識辞書により、周辺映像から基準対象Bを検出してもよい。物体認識処理は、既存の白線検出処理や、認識辞書を用いた特定の物体検出処理などを用い、または併用してもよい。
基準対象Bとは、所定長さ以上の直線性を備え、駐車時に自車両Vの向きを合わせる基準となる対象である。基準対象Bは、例えば、縁石、車両止め、駐車区画線、車道外側線、路面上に引かれた線である。基準対象Bは、方向性を有する。言い換えると、基準対象Bは、所定方向に沿った直線上に存在する。基準対象Bは、屈曲や湾曲せずに所定方向に沿ってまっすぐ延びている。物体認識処理は、基準対象Bとしての条件を備える対象物を検出する。
基準対象検出部45は、複数の基準対象Bを検出したとき、自車両Vからの距離が小さいものを基準対象Bとしてもよい。または、基準対象検出部45は、複数の基準対象Bを検出したとき、自車両Vの進行方向に存在する基準対象Bを選択してもよい。この場合、基準対象検出部45は、自車両Vの進行方向における周辺映像から基準対象Bを検出する。または、基準対象検出部45は、複数の基準対象Bを検出したとき、直線連続性の大きいものを基準対象Bとしてもよい。または、基準対象検出部45は、例えば、コの字型の駐車枠線を検出したとき、後方枠線を基準対象Bとしてもよい。
自車両Vの進行方向における周辺映像とは、自車両Vの進行方向を向いた、前方カメラ11と後方カメラ12と左側方カメラ13と右側方カメラ14との少なくともいずれか一つが出力した映像データである。例えば、自車両Vの進行方向が後方のとき、後方カメラ12が撮影した映像データと、左側方カメラ13と右側方カメラ14とが撮影した映像データの中で車両の側後方の範囲の映像データである。
自車両Vの進行方向における周辺映像は、自車両Vと接触する可能性がより高い方向を向いたカメラが出力した映像データを優先してもよい。例えば、自車両Vの進行方向が後方のとき、後方カメラ12が撮影した映像データを、左側方カメラ13と右側方カメラ14とが撮影した映像データの中で車両の側後方の範囲の映像データより優先してもよい。または、例えば、自車両Vの進行方向が後方で操舵されているとき、後方カメラ12が撮影した映像データ、操舵方向の左側方カメラ13または右側方カメラ14が撮影した映像データの中で車両の側後方の範囲の映像データ、操舵方向とは反対方向の右側方カメラ14または左側方カメラ13が撮影した映像データの中で車両の側後方の範囲の映像データの順で優先してもよい。
向き特定部46は、基準対象検出部45が検出した基準対象Bと自車両Vとの相対的な向きを特定する。より詳しくは、向き特定部46は、基準対象検出部45が検出した基準対象Bの映像データにおける向きおよび位置から、基準対象Bと自車両Vとの相対的な向きを特定する。例えば、向き特定部46は、基準対象検出部45が検出した基準対象Bの映像データにおける向きおよび位置と撮影したカメラの光軸の向きとに基づいて、基準対象Bと自車両Vとの相対的な向きを特定してもよい。例えば、向き特定部46は、基準対象検出部45が検出した基準対象Bの映像データにおける向きおよび位置と映像データの被撮影物の向きとに基づいて、基準対象Bと自車両Vとの相対的な向きを特定してもよい。本実施形態では、基準対象Bと自車両Vとの相対的な向きとは、自車両Vの後端部Vaに対する相対的な向きである。
基準対象Bに対して自車両Vの向きの差がゼロになると、基準対象Bに対して自車両Vの向きが合う。基準対象Bに対して自車両Vの向きが合うとは、基準対象Bに対して自車両Vの向きが平行になったとき、または、垂直になったときである。言い換えると、基準対象Bに対して自車両Vの向きが合うとは、基準対象Bに対して自車両Vの向きが正しい向きになったときである。
距離検出部47は、基準対象検出部45が検出した基準対象Bと自車両Vとの距離d1を検出する。より詳しくは、向き特定部46は、基準対象検出部45が検出した基準対象Bの映像データにおける位置から、基準対象Bと自車両Vとの距離d1を検出する。本実施形態では、基準対象Bと自車両Vとの距離d1とは、基準対象Bと自車両Vとの間の最も近接した位置の距離d1である。より詳しくは、距離d1は、基準対象Bと自車両Vの後端部Vaとの最も近接した位置の距離である。
重畳処理部48は、基準対象Bと自車両Vとの相対的な向きを示す情報を自車両アイコン110を基準とした相対的な向きとして、第一俯瞰映像100に重畳させた重畳映像100Aを生成する。本実施形態では、重畳処理部48は、向き特定部46で特定した基準対象Bと自車両Vとの相対的な向きを示す情報を基準向きアイコン(向きを示す情報)120で示し、第一俯瞰映像100に重畳させた重畳映像100Aを生成する。より詳しくは、重畳処理部48は、重畳映像100Aにおいて、基準向きアイコン120と自車両アイコン110の後端部110aとの相対的な向きが、向き特定部46で特定した相対的な向きとなるように基準向きアイコン120を重畳する。
重畳処理部48は、基準対象Bと自車両Vとの距離d1が所定条件を満たしたとき、基準向きアイコン120を、第一俯瞰映像100に代わって第二俯瞰映像に重畳させた重畳映像100Bを生成する。
基準向きアイコン120は、基準対象Bの向きを報知するアイコンである。本実施形態では、基準向きアイコン120は、基準対象Bの延在方向に沿って延びた破線である。
重畳処理部48は、基準向きアイコン120を、自車両アイコン110に対し基準対象Bが存在する側に重畳させる。例えば、基準対象Bが自車両Vの後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、自車両アイコン110に対し後方である後方映像102に重畳させる。より詳しくは、例えば、基準対象Bが自車両Vの後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、後方映像102の中心を基準として、言い換えると、後方映像102の中心を通過するように重畳させてもよい。例えば、基準対象Bが自車両Vの後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、後方映像102のみを通過するように重畳させてもよい。例えば、基準対象Bが自車両Vの後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、自車両アイコン110の進行方向側の端部から所定距離離れた位置を通過するように重畳させてもよい。
図3を用いて、重畳映像100Aについて説明する。図3は、第一実施形態に係る俯瞰映像生成装置で生成した重畳映像の一例を示す図である。重畳映像100Aは、第一俯瞰映像100と同じ縦長の矩形状である。重畳映像100Aは、前方映像101Aと後方映像102Aと左側方映像103Aと右側方映像104Aと自車両アイコン110と、重畳された基準向きアイコン120とを含む。基準向きアイコン120は、後方映像102Aに重畳されている。基準向きアイコン120は、基準対象Bである例えば後方枠線B2との向きを示す。基準向きアイコン120によって、運転者は、車両の進行方向に、基準向きアイコン120の向きに沿った基準対象Bが存在することがわかる。これにより、運転者は、基準向きアイコン120に合わせて自車両Vを操舵する。
図3においては、回転中心120aを十字形状で図示しているが、実際に表示パネル31に表示される重畳映像100Aには当該十字形状は表示されなくてもよい。他の図も同様である。
重畳映像100Aが表示されている間、基準対象Bと自車両Vとの相対的な位置関係が変化すると、重畳映像100Aにおいては、基準向きアイコン120は、回転中心120aを中心にして回転する。
重畳映像100Bが表示されている間、基準対象Bと自車両Vとの相対的な向きが変化すると、基準向きアイコン120に対して自車両アイコン110の向きが変化する。
または、重畳処理部48は、基準向きアイコン120を、自車両アイコン110の中心を基準として、言い換えると、自車両アイコン110の中心を通過するように重畳させてもよい。
図4を用いて、重畳映像100Aについて説明する。図4は、第一実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。重畳映像100Aは、基準向きアイコン120が、自車両アイコン110の中心を通過するように重畳されている点で、図3に示す重畳映像100Aと異なる。
表示制御部49は、第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bを表示パネル31に表示する。
記憶部50は、俯瞰映像生成装置40における各種処理に要するデータおよび各種処理結果を記憶する。記憶部50は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
次に、図5を用いて、俯瞰映像生成装置40における処理の流れについて説明する。図5は、第一実施形態に係る俯瞰映像生成装置における処理の流れを示すフローチャートである。
制御部41は、俯瞰映像表示を開始するか否かを判定する(ステップST11)。俯瞰映像表示を開始する判定の例として、制御部41は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両の進行方向が車両の前後方向の後方となったことをいう。制御部41は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し(ステップST11でNo)、ステップST11の処理を再度実行する。制御部41は、後退トリガがある場合、俯瞰映像表示を開始すると判定し(ステップST11でYes)、ステップST12に進む。
制御部41は、第一俯瞰映像100を生成する(ステップST12)。より詳しくは、制御部41は、俯瞰映像生成部44で、映像データ取得部42が取得した周辺映像から車両を上方から見下ろすように視点変換を行った第一俯瞰映像100を生成する。制御部41は、ステップST13に進む。
制御部41は、基準対象Bを検出したか否かを判定する(ステップST13)。より詳しくは、制御部41は、基準対象検出部45で基準対象Bが検出されたか否かを判定する。制御部41は、基準対象検出部45で基準対象Bが検出されたと判定した場合(ステップST13でYes)、ステップST14に進む。制御部41は、基準対象検出部45で基準対象Bが検出されていないと判定した場合(ステップST13でNo)、ステップST20に進む。
制御部41は、基準対象Bが第一俯瞰映像100の表示範囲Aに存在するか否かを判定する(ステップST14)。より詳しくは、制御部41は、基準対象検出部45で基準対象Bが検出された位置が、第一俯瞰映像100の表示範囲Aに含まれるか否かを判定する。制御部41は、基準対象Bが第一俯瞰映像100の表示範囲Aに含まれると判定した場合(ステップST14でYes)、ステップST20に進む。制御部41は、基準対象Bが第一俯瞰映像100の表示範囲Aに含まれないと判定した場合(ステップST14でNo)、ステップST15に進む。
制御部41は、ステップST13でYesと判定された後、ステップST14の処理を行わずにステップST15に推移してもよい。また、制御部41は、ステップST11における俯瞰映像の表示開始後に基準対象Bが初めて検出された場合はステップST14の処理を行い、ステップST19において重畳俯瞰映像が一旦表示された後は、ステップST13でYesと判定された後、ステップST14の処理を行わずにステップST15に推移してもよい。
制御部41は、相対的な向きを特定する(ステップST15)。より詳しくは、制御部41は、向き特定部46で、基準対象検出部45が検出した基準対象Bの映像データにおける向きおよび位置から、基準対象Bと自車両Vとの相対的な向きを特定させる。制御部41は、ステップST16に進む。
制御部41は、基準対象Bとの距離d1が閾値th1未満であるか否かを判定する(ステップST16)。より詳しくは、制御部41は、向き特定部46で特定した基準対象Bと自車両Vとの距離d1が閾値th1未満であるか否かを判定する。制御部41は、基準対象Bと自車両Vとの距離d1が閾値th1未満であると判定した場合(ステップST16でYes)、ステップST17に進む。制御部41は、基準対象Bと自車両Vとの距離d1が閾値th1未満ではないと判定した場合(ステップST16でNo)、ステップST18に進む。
制御部41は、基準対象Bを基準とした重畳映像100Bを生成する(ステップST17)。より詳しくは、制御部41は、俯瞰映像生成部44で、基準対象Bを基準とした第二俯瞰映像を生成する。そして、制御部41は、重畳処理部48で、第二俯瞰映像に、基準対象Bの向きを示す基準向きアイコン120を重畳させた重畳映像100Bを生成する。制御部41は、重畳処理部48で、自車両アイコン110に対し基準対象Bが存在する側に基準向きアイコン120を重畳させた重畳映像100Bを生成する。制御部41は、ステップST19に進む。
制御部41は、自車両アイコン110を基準とした重畳映像100Aを生成する(ステップST18)。より詳しくは、制御部41は、俯瞰映像生成部44で、自車両アイコン110を基準とした第一俯瞰映像100を生成する。制御部41は、重畳処理部48で、基準向きアイコン120を自車両アイコン110を基準とした相対的な向きとして、第一俯瞰映像100に重畳させた重畳映像100Aを生成する。制御部41は、重畳処理部48で、基準向きアイコン120を、自車両アイコン110に対し基準対象Bが存在する側に重畳する。制御部41は、ステップST19に進む。
制御部41は、重畳映像100Aまたは重畳映像100Bを表示する(ステップST19)。より詳しくは、制御部41は、表示制御部49で、重畳処理部48が生成した重畳映像100Aまたは重畳映像100Bを表示パネル31に表示する。制御部41は、ステップST21に進む。
制御部41は、第一俯瞰映像100を表示する(ステップST20)。より詳しくは、制御部41は、表示制御部49で、第一俯瞰映像100を表示パネル31に表示する。制御部41は、ステップST21に進む。
制御部41は、俯瞰映像表示を終了するか否かを判定する(ステップST21)。より詳しくは、制御部41は、後退終了トリガの有無に基づいて、第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bの表示を含む俯瞰映像表示を終了するか否かを判定する。後退終了トリガとは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。ステップST21においては、表示されている映像は第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bである。制御部41は、後退終了トリガがある場合、第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bの表示を終了すると判定し(ステップST21でYes)、処理を終了する。制御部41は、後退終了トリガがない場合、第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bの表示を終了しないと判定し(ステップST21でNo)、ステップST13の処理を再度実行する。
このようにして、俯瞰映像表示装置1は、自車両Vの周囲にに基準対象Bが検出されると、第一俯瞰映像100または重畳映像100Aまたは重畳映像100Bを表示パネル31に表示する映像信号を出力する。表示パネル31は、俯瞰映像表示装置1から出力された映像信号に基づいて、例えば、ナビゲーション画面とともに重畳映像100Aを表示する。
例えば、図6、図3、図7ないし図11を用いて、車両の後退時、後方に車両止めB1と後方枠線B2とが存在する場合、俯瞰映像表示装置1で生成された重畳映像100Aまたは重畳映像100Bの一例について説明する。図6は、自車両と基準対象と表示範囲と撮影範囲との位置関係の一例を示す図である。図7は、第一実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。図8は、自車両と基準対象と表示範囲と撮影範囲との位置関係の他の例を示す図である。図9は、第一実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。図10は、自車両と基準対象と表示範囲と撮影範囲との位置関係の他の例を示す図である。図11は、第一実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。
まず、車両が駐車位置の近傍に位置して、シフトポジションが「リバース」とされる。車両情報取得部43は、後退トリガを取得する。このとき、図6に示すように、基準対象Bである後方枠線B2と自車両Vとの距離d1は閾値th1以上である。図6に示す駐車区画においては、車幅方向を区画する側方枠線が存在していない。車両止めB1と後方枠線B2とは、第二撮影範囲A2に存在し、第一俯瞰映像100の表示範囲Aより遠方に存在している。本実施形態では、基準対象検出部45において、自車両Vの進行方向に存在し、直線連続性の大きいものを基準対象Bとする。このため、本実施形態では、後方枠線B2が基準対象Bとされる。
ステップST11において、制御部41は、後退トリガがあり、俯瞰映像表示を開始すると判定する。そして、ステップST12において、制御部41は、俯瞰映像生成部44で、第一俯瞰映像100を生成する。そして、ステップST13において、制御部41は、基準対象Bとして例えば後方枠線B2を検出したと判定する。そして、ステップST14において、制御部41は、後方枠線B2は第一俯瞰映像100の表示範囲Aに存在しないと判定する。そして、ステップST15において、制御部41は、後方枠線B2の相対的な向きを特定する。そして、ステップST16において、制御部41は、後方枠線B2と自車両Vとの距離d1が閾値th1未満ではないと判定する(ステップST16でNo)。そして、ステップST18において、制御部41は、第一俯瞰映像100に基準向きアイコン120を重畳させた重畳映像100Aを生成する。そして、ステップST19において、制御部41は、生成した重畳映像100Aを表示パネル31に表示する。
例えば、制御部41は、図3に示すような重畳映像100Aを表示パネル31に表示する。重畳映像100Aは、自車両アイコン110を基準としている。基準向きアイコン120は、後方映像102Aに重畳されている。
図6に示す状態から、自車両Vが操舵されながら後退した状態について説明する。後方枠線B2と自車両Vとの距離d1は閾値th1以上である。
例えば、制御部41は、図7に示すような重畳映像100Aを表示パネル31に表示する。重畳映像100Aは、自車両アイコン110を基準としている。基準向きアイコン120は、図3に示す状態に対して、回転中心120aを中心に時計回りに回転している。
さらに、自車両Vが操舵されながら後退して、自車両Vと後方枠線B2とが近づいた状態を、図8に示す。後方枠線B2と自車両Vとの距離d1は閾値th1未満である。車両止めB1と後方枠線B2とは、第二撮影範囲A2に存在し、第一俯瞰映像100の表示範囲Aより遠方に存在している。
ステップST13おいて、制御部41は、後方枠線B2を検出したと判定する。そして、ステップST14において、制御部41は、後方枠線B2は第一俯瞰映像100の表示範囲Aに存在しないと判定する。そして、ステップST15において、制御部41は、後方枠線B2の相対的な向きを特定する。そして、ステップST16において、制御部41は、後方枠線B2と自車両Vとの距離d1が閾値th1未満であると判定する(ステップST16でYes)。そして、ステップST17において、制御部41は、後方枠線B2を基準とした俯瞰映像に基準向きアイコン120を重畳させた重畳映像100Bを生成する。そして、ステップST19において、制御部41は、生成した重畳映像100Bを表示パネル31に表示する。
例えば、制御部41は、図9に示すような重畳映像100Bを表示パネル31に表示する。重畳映像100Bは、基準向きアイコン120を基準とする。基準向きアイコン120は、左右方向と平行に配置されている。自車両アイコン110は、基準向きアイコン120に対して傾いて配置されている。より詳しくは、自車両アイコン110は、図7に示す状態に対して、中心部を回転中心にして反時計回りに回転している。
重畳映像100Bが表示されている状態で、例えば、駐車位置を調整するために切り返し操作されると、自車両Vと後方枠線B2との相対的な向きの変化に連動して、自車両アイコン110の中心部を回転中心として、自車両アイコン110が回転する。基準向きアイコン120は固定である。
さらに、自車両Vが操舵されながら後退して、自車両Vが後方枠線B2の近傍に位置した状態を、図10に示す。後方枠線B2と自車両Vとの距離d1は閾値th1未満である。車両止めB1と後方枠線B2とは、第二撮影範囲A2に存在し、第一俯瞰映像100の表示範囲Aに存在している。後方枠線B2と自車両Vの後端部Vaとの角度の差はゼロである。後方枠線B2と自車両Vの後端部Vaとは平行である。
ステップST13おいて、制御部41は、後方枠線B2を検出したと判定する。そして、ステップST14において、制御部41は、後方枠線B2は第一俯瞰映像100の表示範囲Aに存在すると判定する。そして、ステップST20において、制御部41は、第一俯瞰映像100を表示パネル31に表示する。
例えば、制御部41は、図11に示すような第一俯瞰映像100を表示パネル31に表示する。後方映像102には、被撮影物として車両止めB1と後方枠線B2とが表示されている。ステップST20において、図11に示すように、車両止めB1と後方枠線B2とともに基準向きアイコン120を重畳して表示してもよい。または、ステップST20において、基準向きアイコン120を表示しなくてもよい。
上述したように、基準対象Bと自車両Vとの距離d1が閾値th1未満になると、自車両アイコン110を基準とした第一俯瞰映像100に代えて、基準向きアイコン120を基準にした重畳映像100Bを表示パネル31に表示する。本実施形態によれば、基準対象Bと自車両Vとの距離d1が閾値th1未満の間、基準向きアイコン120の向きを固定した重畳映像100Bを表示する。これにより、本実施形態によれば、基準対象Bと自車両Vとの距離d1が閾値th1未満のとき、基準向きアイコン120に対する自車両アイコン110の向きを迅速に判断し易い表示をすることができる。
特に、本実施形態によれば、駐車時に基準対象Bと自車両Vとの距離d1が小さくなり駐車位置を微調整するときに、固定された基準向きアイコン120に対して自車両アイコン110の向きが変化する。これにより、本実施形態は、基準対象Bの向きに自車両Vが合っているかや、どれくらいずれているかを確認しながら、自車両Vが適切な向きとなるように操作することができる。
第一実施形態の変形例としては、例えば図5に示すフローチャートの処理において、自車両アイコン110を基準とした重畳俯瞰映像100Aが生成されている状態でのステップST16における閾値th1を、例えば2.5mとする。さらに、基準対象Bを基準とした重畳俯瞰映像100Bが生成されている状態でのステップST16における閾値th1を、例えば3.5mとしてもよい。これにより、基準対象Bと自車両Vとの距離d1がが小さく、駐車位置を微調整するようなときに限って、基準対象Bを基準とした重畳俯瞰映像100Bの表示を継続することができる。
第一実施形態の他の変形例としては、例えば図5に示すフローチャートの処理において、自車両アイコン110を基準とした重畳俯瞰映像100Aが生成されている状態でのステップST16がYesの判断で、基準対象Bを基準とした重畳俯瞰映像100Bの生成を開始した後は、ステップST16の判断を行わずに、ステップST21がYesの判断となるまで基準対象Bを基準とした重畳俯瞰映像100Bの生成を継続させるようにしてもよい。これにより、表示される映像の向きが頻繁に切り替わることを抑制することができる。
このように、本実施形態は、車両と周辺との相対的な位置関係を適切に確認可能にすることができる。
[第二実施形態]
図12を参照しながら、本実施形態に係る俯瞰映像表示装置1について説明する。図12は、自車両と基準対象と表示範囲と撮影範囲との位置関係の他の例を示す図である。俯瞰映像表示装置1は、基本的な構成は第一実施形態の俯瞰映像表示装置1と同様である。以下の説明においては、俯瞰映像表示装置1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。
図12を参照しながら、本実施形態に係る俯瞰映像表示装置1について説明する。図12は、自車両と基準対象と表示範囲と撮影範囲との位置関係の他の例を示す図である。俯瞰映像表示装置1は、基本的な構成は第一実施形態の俯瞰映像表示装置1と同様である。以下の説明においては、俯瞰映像表示装置1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。
基準対象Bと自車両Vとの距離とは、基準対象検出部45が検出した基準対象Bと自車両Vの基準対象Bに対向した対向部における基準位置との距離d2である。本実施形態では、基準位置は、対向部の中央部とする。自車両Vの基準対象Bに対向した対向部とは、自車両Vにおいて基準対象Bと向きを合せる対象部である。本実施形態では、自車両Vの後端部Vaである。
閾値th2は、第一実施形態の閾値th1と同じ値か閾値th1より大きい値である。
上述したように、基準対象Bと自車両Vの対向部における基準位置との距離d2が閾値th2未満になると、自車両アイコン110を基準とした第一俯瞰映像100に代えて、基準向きアイコン120を基準にした重畳映像100Bを表示パネル31に表示する。このように、本実施形態は、車両と周辺との相対的な位置関係を適切に確認可能にすることができる。
[第三実施形態]
図13ないし図17を参照しながら、本実施形態に係る俯瞰映像表示装置1について説明する。図13は、自車両と基準対象と表示範囲と撮影範囲との位置関係の一例を示す図である。図14は、第三実施形態に係る俯瞰映像生成装置で生成した重畳映像の一例を示す図である。図15は、第三実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。図16は、自車両と基準対象と表示範囲と撮影範囲との位置関係の一例を示す図である。図17は、第三実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。
図13ないし図17を参照しながら、本実施形態に係る俯瞰映像表示装置1について説明する。図13は、自車両と基準対象と表示範囲と撮影範囲との位置関係の一例を示す図である。図14は、第三実施形態に係る俯瞰映像生成装置で生成した重畳映像の一例を示す図である。図15は、第三実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。図16は、自車両と基準対象と表示範囲と撮影範囲との位置関係の一例を示す図である。図17は、第三実施形態に係る俯瞰映像生成装置で生成した重畳映像の他の例を示す図である。
本実施形態では、自車両Vが基準対象Bである車道外側線B3に沿って縦列駐車するものとする。自車両Vを駐車しようとしているスペースを挟んで、他車両V1と他車両V2とが存在している。
基準対象検出部45は、映像データ取得部42で取得した周辺映像に対して物体認識処理を行い、自車両Vの周囲に存在する基準対象Bとして車道外側線B3を検出する。
例えば、基準対象Bが自車両Vの左後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、自車両アイコン110に対し左後方である後方映像102と左側方映像103とに重畳させる。より詳しくは、例えば、基準対象Bが自車両Vの左後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、後方映像102Aと左側方映像103Aとの境界線の中点を通過するように重畳させてもよい。例えば、基準対象Bが自車両Vの左後方に検出されたとき、重畳処理部48は、基準向きアイコン120を、自車両アイコン110の左後端部から所定距離離れた位置を通過するように重畳させてもよい。
または、重畳処理部48は、基準向きアイコン120を、自車両アイコン110の中心を通過するように重畳させてもよい。
例えば、図13ないし図17を用いて、車両の縦列駐車時、左後方に基準対象Bである車道外側線B3が存在する場合、俯瞰映像表示装置1で生成された重畳映像100Aまたは重畳映像100Bの一例について説明する。
まず、車両が駐車位置の近傍に位置して、シフトポジションが「リバース」とされる。車両情報取得部43は、後退トリガを取得する。このとき、図13に示すように、車道外側線B3と自車両Vとの距離d1は閾値th1以上である。車道外側線B3は、第二撮影範囲A2と第三撮影範囲A3とにまたがって存在し、第一俯瞰映像100の表示範囲Aより遠方に存在している。
例えば、制御部41は、図14に示すような重畳映像100Aを表示パネル31に表示する。重畳映像100Aは、自車両アイコン110を基準としている。基準向きアイコン120は、後方映像102Aと左側方映像103Aとに重畳されている。
図13に示す状態から、自車両Vが操舵されながら後退した状態について説明する。後方枠線B2と自車両Vとの距離d1は閾値th1以上である。
例えば、制御部41は、図15に示すような重畳映像100Aを表示パネル31に表示する。重畳映像100Aは、自車両アイコン110を基準としている。重畳映像100Aには、他車両V1と他車両V2とが表示されている。基準向きアイコン120は、図14に示す状態に対して、回転中心120aを中心に時計回りに回転している。
さらに、自車両Vが操舵されて、車道外側線B3と自車両Vとの距離d1が閾値th1未満である状態を、図16に示す。
例えば、制御部41は、図17に示すような重畳映像100Bを表示パネル31に表示する。重畳映像100Bは、基準向きアイコン120を基準とする。基準向きアイコン120は、前後方向を平行に配置されている。自車両アイコン110は、基準向きアイコン120に対して傾いて表示されている。より詳しくは、自車両アイコン110は、図15に示す状態に対して、中心部を回転中心にして時計回りに回転している。
上述したように、縦列駐車する際も、基準対象Bと自車両Vとの距離d1が閾値th1未満になると、自車両アイコン110を基準とした第一俯瞰映像100に代えて、基準向きアイコン120を基準にした重畳映像100Bを表示パネル31に表示する。このように、本実施形態は、縦列駐車時であっても、車両と周辺との相対的な位置関係を適切に確認可能にすることができる。
さて、これまで本発明に係る俯瞰映像表示装置1について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。
図示した俯瞰映像表示装置1の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
俯瞰映像表示装置1の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
重畳処理部48は、基準向きアイコン120を、基準対象Bと自車両Vとの距離に応じて表示態様を変化させて重畳させてもよい。例えば、基準向きアイコン120は、基準対象Bと自車両Vとの距離に応じて、太さと色と線種の少なくともいずれかを変えてもよい。基準向きアイコン120は、基準対象Bと自車両Vとの距離が近いほど、太い線で表示してもよい。基準向きアイコン120は、基準対象Bと自車両Vとの距離が近いほど、濃い色で表示してもよい。基準向きアイコン120は、基準対象Bと自車両Vとの距離が遠いときは破線で表示し、近いときは実線で表示してもよい。
自車両アイコン110は、自車両Vの進行方向の端部、言い換えると、基準向きアイコン120と向きを合わせる自車両Vの対象部を着色して表示してもよい。これにより、重畳映像100Aによって、基準対象Bと自車両Vとの向きの確認がより容易になる。基準向きアイコン120と向きを合わせる対象部は、自車両Vの進行方向と基準対象Bとの相対的な位置関係や、撮影データに対して画像処理を行い、周囲の被撮影物との位置関係によって特定してもよい。または、基準向きアイコン120と向きを合わせる対象部は、ユーザが表示パネル31に表示された自車両アイコン110上で選択した部分を対象部として特定してもよい。
基準向きアイコン120は、破線で構成されるものとして説明したが、これに限定されない。基準向きアイコン120は、例えば、帯状の図形でもよい。
1 俯瞰映像表示装置
11 前方カメラ(撮影部)
12 後方カメラ(撮影部)
13 左側方カメラ(撮影部)
14 右側方カメラ(撮影部)
31 表示パネル(表示部)
40 俯瞰映像生成装置
41 制御部
42 映像データ取得部
43 車両情報取得部
44 俯瞰映像生成部
441 視点変換処理部
442 切出処理部
443 合成処理部
45 基準対象検出部
46 向き特定部
47 距離検出部
48 重畳処理部
49 表示制御部
50 記憶部
100 第一俯瞰映像
100A 重畳映像
110 自車両アイコン
120 基準向きアイコン(向きを示す情報)
11 前方カメラ(撮影部)
12 後方カメラ(撮影部)
13 左側方カメラ(撮影部)
14 右側方カメラ(撮影部)
31 表示パネル(表示部)
40 俯瞰映像生成装置
41 制御部
42 映像データ取得部
43 車両情報取得部
44 俯瞰映像生成部
441 視点変換処理部
442 切出処理部
443 合成処理部
45 基準対象検出部
46 向き特定部
47 距離検出部
48 重畳処理部
49 表示制御部
50 記憶部
100 第一俯瞰映像
100A 重畳映像
110 自車両アイコン
120 基準向きアイコン(向きを示す情報)
Claims (10)
- 車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した周辺映像に視点変換処理および車両を示す自車両アイコンを含む合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成部と、
前記車両の周囲における基準対象を検出する基準対象検出部と、
前記基準対象検出部が検出した基準対象と前記車両との距離を検出する距離検出部と、
前記基準対象検出部が検出した基準対象と前記車両との相対的な向きを特定する向き特定部と、
前記基準対象と前記車両との相対的な向きを示す情報を前記自車両アイコンを基準とした相対的な向きとして前記俯瞰映像生成部が生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理部と、
前記重畳処理部が生成した重畳映像を表示部に表示させる表示制御部と、
を備え、
前記俯瞰映像生成部は、前記距離検出部が検出した基準対象と前記車両との距離が所定条件を満たしたとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
ことを特徴とする俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記距離検出部が検出した基準対象と前記車両との距離が閾値未満となったとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
請求項1に記載の俯瞰映像生成装置。 - 前記距離検出部は、前記基準対象検出部が検出した基準対象と前記車両との間における最も近接した距離を検出し、
前記俯瞰映像生成部は、前記距離検出部が検出した基準対象と前記車両との間の最も近接した距離が閾値未満となったとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
請求項2に記載の俯瞰映像生成装置。 - 前記距離検出部は、前記基準対象検出部が検出した基準対象と前記車両の前記基準対象に対向した対向部における基準位置との距離を検出し、
前記俯瞰映像生成部は、前記距離検出部が検出した基準対象と前記車両の前記基準対象に対向した対向部における基準位置との距離が所定未満となったとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
請求項2または3に記載の俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記向き特定部が特定した基準対象物と前記車両との距離が閾値未満である間は、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
請求項2から4のいずれか一項に記載の俯瞰映像生成装置。 - 前記重畳処理部は、前記基準対象と自車との相対的な向きを示す情報を、前記基準対象と自車との距離に応じて表示態様を変化させて重畳させる、
請求項1から5のいずれか一項に記載の俯瞰映像生成装置。 - 前記基準対象検出部は、前記車両の周囲における前記表示範囲より遠方に存在する基準対象を検出する、
請求項1から6のいずれか一項に記載の俯瞰映像生成装置。 - 請求項1から7のいずれか一項に記載の俯瞰映像生成装置と、
前記映像データ取得部に周辺映像データを供給する撮影部、前記表示制御部が重畳映像を表示させる表示部、の少なくともどちらかを備える、俯瞰映像表示装置。 - 車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップが取得した周辺映像に視点変換処理および車両を示す自車両アイコンを含む合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両の周囲における基準対象を検出する基準対象検出ステップと、
前記基準対象検出ステップが検出した基準対象と前記車両との距離を検出する距離検出ステップと、
前記基準対象検出ステップが検出した基準対象と前記車両との相対的な向きを特定する向き特定ステップと、
前記基準対象と前記車両との相対的な向きを示す情報を前記自車両アイコンを基準とした相対的な向きとして前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、
前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップと、
を含み、
前記俯瞰映像生成ステップは、前記距離検出ステップが検出した基準対象と前記車両との距離が所定条件を満たしたとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
俯瞰映像生成方法。 - 車両の周辺を撮影する撮影部が撮影した周辺映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップが取得した周辺映像に視点変換処理および車両を示す自車両アイコンを含む合成処理を行い、前記車両から所定の表示範囲を表示する俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両の周囲における基準対象を検出する基準対象検出ステップと、
前記基準対象検出ステップが検出した基準対象と前記車両との距離を検出する距離検出ステップと、
前記基準対象検出ステップが検出した基準対象と前記車両との相対的な向きを特定する向き特定ステップと、
前記基準対象と前記車両との相対的な向きを示す情報を前記自車両アイコンを基準とした相対的な向きとして前記俯瞰映像生成ステップが生成した俯瞰映像に重畳させた重畳映像を生成する重畳処理ステップと、
前記重畳処理ステップが生成した重畳映像を表示部に表示させる表示制御ステップと、
を含み、
前記俯瞰映像生成ステップは、前記距離検出ステップが検出した基準対象と前記車両との距離が所定条件を満たしたとき、前記自車両アイコンを基準とした俯瞰映像に代えて、前記相対的な向きを示す情報を基準とした俯瞰映像を生成する、
ことを俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098143A JP6730619B2 (ja) | 2017-05-17 | 2017-05-17 | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム |
PCT/JP2018/008416 WO2018186086A1 (ja) | 2017-04-03 | 2018-03-05 | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム |
EP18781926.3A EP3550829B1 (en) | 2017-04-03 | 2018-03-05 | Bird's-eye-view video generation device, bird's-eye-view video display device, bird's-eye-view video generation method, and program |
US16/374,760 US10873720B2 (en) | 2017-04-03 | 2019-04-04 | Bird's-eye view video generation device, bird's-eye view video display device, bird's-eye view video generation method, and non-transitory storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098143A JP6730619B2 (ja) | 2017-05-17 | 2017-05-17 | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195976A JP2018195976A (ja) | 2018-12-06 |
JP6730619B2 true JP6730619B2 (ja) | 2020-07-29 |
Family
ID=64571841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017098143A Active JP6730619B2 (ja) | 2017-04-03 | 2017-05-17 | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6730619B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006224778A (ja) * | 2005-02-16 | 2006-08-31 | Nippon Soken Inc | 駐車支援装置 |
JP4844323B2 (ja) * | 2006-09-27 | 2011-12-28 | アイシン・エィ・ダブリュ株式会社 | 駐車支援装置および駐車支援方法 |
JP5029035B2 (ja) * | 2007-01-24 | 2012-09-19 | 日産自動車株式会社 | 駐車支援装置 |
JP2009096306A (ja) * | 2007-10-16 | 2009-05-07 | Hiroshima Industrial Promotion Organization | 駐車支援方法 |
JP5400316B2 (ja) * | 2008-04-07 | 2014-01-29 | 日産自動車株式会社 | 駐車支援装置 |
JP2009284386A (ja) * | 2008-05-26 | 2009-12-03 | Suzuki Motor Corp | 車両用駐車支援装置 |
JP5464324B2 (ja) * | 2009-06-26 | 2014-04-09 | 京セラ株式会社 | 駐車時における運転支援装置及び方法 |
JP6365238B2 (ja) * | 2014-10-29 | 2018-08-01 | 株式会社デンソー | 駐車支援装置 |
-
2017
- 2017-05-17 JP JP2017098143A patent/JP6730619B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018195976A (ja) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017110144A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
CN109327660B (zh) | 图像获取方法和设备 | |
JP6081247B2 (ja) | 車両後方画像の表示切替装置および表示切替方法 | |
WO2015186294A1 (ja) | 車載画像処理装置 | |
CN107004250B (zh) | 图像生成装置及图像生成方法 | |
JP2009033743A (ja) | 物体を認識するための方法 | |
JP2008276642A (ja) | 走行車線認識装置および走行車線認識方法 | |
JP2015009646A (ja) | 運転支援装置 | |
JP2019186853A (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム | |
WO2017179206A1 (ja) | 駐車支援用表示制御装置および駐車支援用表示制御方法 | |
WO2018159016A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
WO2018186086A1 (ja) | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム | |
JP2004173048A (ja) | 車載カメラシステム | |
WO2018096792A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP6852556B2 (ja) | 俯瞰映像生成装置、俯瞰映像表示システム、俯瞰映像生成方法およびプログラム | |
JP6852465B2 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
US20200114823A1 (en) | Bird's-eye view video generation device, bird's-eye view video generation method, and non-transitory storage medium | |
JP6730619B2 (ja) | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム | |
JP2010165299A (ja) | 白線検出装置 | |
WO2015001747A1 (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
JP2017114218A (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP6730618B2 (ja) | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム | |
JP2007088577A (ja) | 車両周辺画像処理システム | |
JP2018182373A (ja) | 俯瞰映像生成装置、俯瞰映像表示装置、俯瞰映像生成方法およびプログラム | |
JP6644256B2 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6730619 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |