WO2007145257A1

WO2007145257A1 - 表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体

Info

Publication number: WO2007145257A1
Application number: PCT/JP2007/061926
Authority: WO
Inventors: Kenichiro Yano; Tatsuru Komori; Takeshi Sato
Original assignee: Pioneer Corporation
Priority date: 2006-06-13
Filing date: 2007-06-13
Publication date: 2007-12-21

Abstract

　撮像部（１０１）は、移動体の周辺の周辺映像を撮像し、変換部（１０２）は、撮像部（１０１）によって撮像された周辺映像を、周辺映像を撮像した視点とは異なる仮想的な視点から撮像された仮想映像に変換し、検知部（１０３）は、周辺映像または仮想映像を解析することにより、移動体と、周辺映像中に存在する地物との位置関係を検知する。そして、判断部（１０４）は、検知部（１０３）によって検知された所定の地物の位置関係に基づいて、表示する表示映像を周辺映像から仮想映像に切り替えるか否かを判断し、切替部（１０５）は、判断部（１０４）によって表示映像を周辺映像から仮想映像に切り替えると判断された場合、表示映像を周辺映像から仮想映像に切り替え、表示部（１０６）は、切替部（１０５）によって切り替えられた表示映像を表示する。

Description

明細書

表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体

技術分野

[0001] この発明は、映像を表示する表示装置、表示方法、表示プログラムおよびコンビュータに読み取り可能な記録媒体に関する。ただし、この発明の利用は、上述した表示装置、表示方法、表示プログラムおよびコンピュータに読み取り可能な記録媒体には限られない。

背景技術

[0002] 従来より、受信したテレビ放送電波によるテレビ放送画像やナビゲーシヨン装置によるナビゲーシヨン画像などの各種映像を表示する車載モニタ装置を搭載した車両が増加している。さらに、車載モニタ装置を搭載した車両の中には、車両の周辺の映像を撮像するモニタカメラを備え、モニタカメラによって撮像された周辺の映像を車載モニタ装置に表示する車両もある。

[0003] 近年では、車載モニタ装置によって表示された車両周辺の映像を利用して、車両が駐車する際の駐車スペースを設定し、駐車スペースまでの経路に沿って車両を移動させる提案がされている（たとえば、下記特許文献 1参照。 ) o

[0004] 特許文献 1：特開 2004— 291867号公報

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、上記従来技術では、運転者が操作スィッチを操作することによって駐車スペースを設定するため、駐車の際に駐車スペースを設定する場合、運転者の車両周辺環境に対する注意が散漫となり安全運転に支障をきたすという問題が一例として挙げられる。一方、駐車の際に駐車スペースの設定をおこなわずに車両周辺の映像を視認して駐車する場合、映像の歪みが大きくなると運転者の車両周辺環境に対する誤認が生じてしまうという問題が一例として挙げられる。

課題を解決するための手段 [0006] 上述した課題を解決し、目的を達成するため、請求項 1の発明にかかる表示装置は、移動体の周辺の周辺映像を撮像する撮像手段と、前記撮像手段によって撮像された周辺映像を、当該周辺映像を撮像した視点とは異なる仮想的な視点から撮像された仮想映像に変換する変換手段と、前記周辺映像または仮想映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地形または物体 (以下、「地物」という）との位置関係を検知する検知手段と、前記検知手段によって検知された所定の地物の位置関係に基づ!、て、表示する表示映像を前記周辺映像から前記仮想映像に切り替えるか否かを判断する判断手段と、前記判断手段によって前記表示映像を前記周辺映像カゝら前記仮想映像に切り替えると判断された場合、当該表示映像を当該周辺映像力当該仮想映像に切り替える切替手段と、前記切替手段によつて切り替えられた前記表示映像を表示する表示手段と、を備えることを特徴とする

[0007] また、請求項 5の発明に力かる表示装置は、移動体の周辺の周辺映像を撮像する撮像手段と、前記周辺映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地物との位置関係を検知する検知手段と、前記検知手段によって検知された結果に基づ!/ヽて、前記周辺映像を当該周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する変換手段と、前記変換手段によつて変換された仮想映像を表示する表示手段と、を備えることを特徴とする。

[0008] また、請求項 6の発明に力かる表示方法は、移動体の周辺の周辺映像を撮像する撮像工程と、前記撮像工程によって撮像された周辺映像を、当該周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する変換工程と、前記周辺映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地形または物体 (以下、「地物」という）との位置関係を検知する検知工程と、前記検知工程によって検知された所定の地物の位置関係に基づいて、表示する表示映像を前記周辺映像から前記仮想映像に切り替えるか否かを判断する判断工程と、前記判断工程によって前記表示映像を前記周辺映像から前記仮想映像に切り替えると判断された場合、当該表示映像を当該周辺映像カゝら当該仮想映像に切り替える切替工程と、前記切替工程によって切り替えられた前記表示映像を表示する表示工程と、を含むことを特徴とする。

[0009] また、請求項 7の発明に力かる表示方法は、移動体の周辺の周辺映像を撮像する撮像工程と、前記周辺映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地物との位置関係を検知する検知工程と、前記検知工程によって検知された結果に基づ!/ヽて、前記周辺映像を当該周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する変換工程と、前記変換工程によつて変換された仮想映像を表示する表示工程と、を含むことを特徴とする。

[0010] また、請求項 8の発明に力かる表示プログラムは、請求項 6または 7に記載の表示方法をコンピュータに実行させることを特徴とする。

[0011] また、請求項 9の発明にかかるコンピュータに読み取り可能な記録媒体は、請求項 8に記載の表示プログラムを記録したことを特徴とする。

図面の簡単な説明

[0012] [図 1]図 1は、本実施の形態に力かる表示装置の機能的構成の一例を示すブロック図である。

[図 2]図 2は、本実施の形態にかかる表示装置の処理の内容を示すフローチャートである。

[図 3]図 3は、本実施例に力かるナビゲーシヨン装置のハードウェア構成の一例を示すブロック図である。

[図 4]図 4は、本実施例に力かる車両の駐車の概要を示す説明図である。

[図 5]図 5は、本実施例に力かるナビゲーシヨン装置における処理の内容を示すフロ一チャートである。

符号の説明

[0013] 100 表示装置

101 撮像部

102 変換部

103 検知部

104 判断部

105 切替部 106 表示部

発明を実施するための最良の形態

[0014] 以下に添付図面を参照して、この発明にかかる表示装置、表示方法、表示プロダラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。

[0015] (実施の形態）

(表示装置の機能的構成）

図 1を用いて、本実施の形態に力かる表示装置の機能的構成について説明する。図 1は、本実施の形態に力かる表示装置の機能的構成の一例を示すブロック図である。

[0016] 図 1において、表示装置 100は、撮像部 101と、変換部 102と、検知部 103と、判断部 104と、切替部 105と、表示部 106と、力も構成されている。

[0017] 撮像部 101は、移動体周辺の周辺映像を撮像する。周辺映像は、たとえば、移動体が移動する際に安全を確認できる映像などでもよぐ移動体が後方に移動する際、後方に存在する地物、通行人、他の移動体などを確認する映像や、移動体が停止するスペースを確認する映像であってもよ!/、。

[0018] 変換部 102は、撮像部 101によって撮像された周辺映像を、光学的な特性による歪みを補正した補正周辺映像に変換するとともに、当該周辺映像を、周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する。仮想映像は、たとえば、撮像部 101によって撮像された周辺映像に対し、仮想的に設置した仮想カメラからの映像となるような視点変換によって、あたかも真上や斜め上方から地面を見下ろしたような視点の映像である。なお、補正周辺映像を仮想映像に変換するようにしてちょい。

[0019] 具体的には、たとえば、変換部 102は、撮像部 101によって撮像された周辺映像を仮想スクリーンに投影し、投影された映像を仮想的な視点の仮想カメラによって撮像し、周辺映像カゝら仮想映像に変換する構成としてもよい。また、変換部 102は、撮像部 101によって撮像された周辺映像を、周辺映像を撮像した視点とは異なる複数の仮想的な視点力ゝら撮像された仮想映像に変換することとしてもよい。 [0020] 検知部 103は、周辺映像 (補正周辺映像を含む）を解析することにより、移動体と、周辺映像中に存在する所定の地形または物体 (以下、「地物」と、う）との位置関係を検知する。具体的には、たとえば、検知部 103は、移動体と、移動体に対して干渉の対象となる地物との距離を検知することとしてもよい。より具体的には、たとえば、干渉の対象となる地物は、移動体が停止する場合、停止する空間を区分けする物体などでもよい。

[0021] また、検知部 103は、周辺映像および仮想映像の少なくともいずれか一方を解析することにより、移動体と、周辺映像中に存在する所定の地物との位置関係を検知することとしてもよく、仮想映像が複数であれば、周辺映像および複数の仮想映像のうち少なくとも、ずれか一つを解析する構成でもよ、。

[0022] 判断部 104は、検知部 103によって検知された所定の地物の位置関係に基づいて、表示する表示映像を周辺映像カゝら仮想映像に切り替えるカゝ否かを判断する。具体的には、たとえば、判断部 104は、検知部 103によって検知された移動体と地物との距離が、所定の距離よりも短い場合に表示映像を切り替えることとしてもよい。

[0023] 切替部 105は、判断部 104によって表示映像を周辺映像カゝら仮想映像に切り替えると判断された場合、表示映像を周辺映像カゝら仮想映像に切り替える。そして、表示部 106は、切替部 105によって切り替えられた表示映像を表示する。

[0024] また、検知部 103が、周辺映像を解析することによって、移動体と周辺映像中に存在する所定の地物との位置関係を検知する場合に、変換部 102は、検知部 103によつて検知された結果に基づヽて、周辺映像を周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する構成としてもよい。その場合、表示部 106は、変換部 102によって変換された仮想映像を表示する構成としてもよい。

[0025] (表示装置 100の処理の内容）

つぎに、図 2を用いて本実施の形態に力かる表示装置 100の処理の内容について説明する。図 2は、本実施の形態に力かる表示装置の処理の内容を示すフローチヤートである。図 2のフローチャートにおいて、まず、撮像部 101によって移動体の周辺映像の撮像を開始した力否かを判断する (ステップ S201)。

[0026] ステップ S201において、周辺映像の撮像を開始しない場合 (ステップ S201： No) は、処理を繰り返し、周辺映像の撮像を開始したと判断した場合 (ステップ S201 : Ye s)は、変換部 102によって、撮像された周辺映像の歪みを補正して補正周辺映像に変換するとともに、撮像された周辺映像を、周辺映像を撮像した視点とは異なる仮想的な視点力も撮像された仮想映像に変換する (ステップ S202)。なお、ステップ S20 2における仮想映像は、補正周辺映像を用いて変換する構成でもよ!/、。

[0027] そして、検知部 103によって、ステップ S202において補正された補正周辺映像および変換された仮想映像の少なくともいずれかを解析することにより、移動体と、周辺映像中に存在する所定の地形または物体 (以下、「地物」と、う）との位置関係を検知する（ステップ S 203)。

[0028] つぎに、判断部 104によって、ステップ S203において検知された所定の地物の位置関係に基づ!、て、表示する表示映像を周辺映像 (補正周辺映像を含む)から仮想映像に切り替える力否かを判断する (ステップ S204)。

[0029] そして、切替部 105によって、ステップ S204において表示映像を周辺映像力も仮想映像に切り替えると判断された場合、周辺映像カゝら仮想映像に表示映像を切り替える（ステップ S205)。そして、表示部 106によって、ステップ S205において切り替えられた表示映像を表示して (ステップ S 206)、一連の処理を終了する。

[0030] なお、図 2のフローチャートでは説明を省略した力ステップ S 202において、周辺映像を仮想映像に変換する前に、ステップ S203において、周辺映像を解析することによって、移動体と、周辺映像中に存在する所定の地物との位置関係を検知して、検知した結果に基づいて、周辺映像を、周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換することとしてもよい。

[0031] 以上説明したように、本実施の形態によれば、移動体と、地物との位置関係によつて、視点を変えた映像が必要な場合に表示映像を切り替えることができるため、適切な移動体周辺環境の把握を図ることができる。また、利用者は、映像を切り替えるための操作をすることなぐ移動体の安全な操作を図ることができる。

実施例

[0032] 以下に、本発明の実施例について説明する。本実施例では、たとえば、車両（四輪車、二輪車を含む)などの移動体に搭載されるナビゲーシヨン装置によって、本発明の表示装置を実施した場合の一例について説明する。

[0033] (ナビゲーシヨン装置のハードウェア構成）

まず、図 3を用いて、本実施例に力かるナビゲーシヨン装置のハードウェア構成について説明する。図 3は、本実施例に力かるナビゲーシヨン装置のハードウェア構成の一例を示すブロック図である。

[0034] 図 3において、ナビゲーシヨン装置 300は、車両などの移動体に搭載されており、 C PU301と、 ROM302と、 RAM303と、磁気ディスクドライブ 304と、磁気ディスク 30 5と、光ディスクドライブ 306と、光ディスク 307と、音声 IZF (インターフェース） 308と、スピーカ 309と、入力デバイス 310と、映像 IZF311と、ディスプレイ 312と、カメラ 3 13と、通信 I/F314と、 GPSユニット 315と、各種センサ 316と、を備えてヽる。また、各構成部 301〜316はバス 320によってそれぞれ接続されている。

[0035] まず、 CPU301は、ナビゲーシヨン装置 300の全体の制御を司る。 ROM302は、ブートプログラム、現在地点算出プログラム、経路探索プログラム、経路誘導プロダラム、音声生成プログラム、画像認識プログラム、表示プログラム、通信プログラムなどの各種プログラムを記録している。また、 RAM303は、 CPU301のワークエリアとして使用される。

[0036] 現在地点算出プログラムは、たとえば、後述する GPSユニット 315および各種センサ 316の出力情報に基づいて、車両の現在地点（ナビゲーシヨン装置 300の現在地点)を算出させる。

[0037] 経路探索プログラムは、後述する磁気ディスク 305に記録されている地図情報などを利用して、出発地点から目的地点までの最適な経路を探索させる。ここで、最適な経路とは、目的地点までの最短 (あるいは最速)経路や利用者が指定した条件に最も合致する経路などである。また、目的地点のみならず、立ち寄り地点や休憩地点までの経路を探索してもよい。経路探索プログラムを実行することによって探索された誘導経路は、 CPU301を介して音声 IZF308や映像 IZF311へ出力される。

[0038] 経路誘導プログラムは、経路探索プログラムを実行することによって探索された誘導経路情報、現在地点算出プログラムを実行することによって算出された車両の現在地点情報、後述する磁気ディスク 305から読み出された地図情報に基づいて、リアルタイムな経路誘導情報の生成をおこなわせる。経路誘導プログラムを実行することによって生成された経路誘導情報は、 CPU301を介して音声 IZF308や映像 IZF 311へ出力される。

[0039] 音声生成プログラムは、パターンに対応したトーンと音声の情報を生成させる。すなわち、経路誘導プログラムを実行することによって生成された経路誘導情報に基づいて、案内ポイントに対応した仮想音源の設定と音声ガイダンス情報の生成をおこなわせる。生成された音声ガイダンス情報は、 CPU301を介して音声 IZF308へ出力される。

[0040] 画像認識プログラムは、後述するカメラ 313で撮像されたカメラ画像および後述する表示プログラムによって視点変換された視点変換画像の少なくともいずれか一方の画像を解析させることにより、車両と、車両の干渉対象となる地物との位置関係を認識させる。

[0041] 具体的には、たとえば、車両と、車両の干渉対象となる地物との位置関係の認識は、地物の種類および地物までの距離などを認識する構成でもよぐ車両と、車両の干渉対象となる地物とが所定の位置関係であると認識された場合、表示プログラムにおける表示画像を切り替えてもよい。より具体的には、たとえば、車両と、車両の干渉対象となる地物との位置関係は、駐車スペースに関する白線、白線の終端、輪留め、他の車両までの距離や角度を解析することにより、車両が駐車スペースに接近して、ることを認識することとしてもよ、。

[0042] 表示プログラムは、映像 IZF311を制御して、ディスプレイ 312に表示する表示画像を切り替えさせる。具体的には、たとえば、地図情報を表示させるため、映像 IZF3 11によってディスプレイ 312に表示する地図情報の表示形式を決定させ、決定された表示形式によって地図情報をディスプレイ 312に表示させる。

[0043] また、表示プログラムは、テレビ放送を表示させるため、通信 IZF314によって受信されたテレビ放送の受信電波にしたがって、映像 IZF311によって表示形式を決定させ、決定された表示形式によってテレビ画像をディスプレイ 312に表示画像として表示させることとしてもよい。

[0044] また、表示プログラムは、カメラ 313で撮像されたカメラ画像を表示させるため、映像 I/F311によってディスプレイ 312に表示する表示形式を決定させ、決定された表示形式によって撮像されたカメラ画像をディスプレイ 312に表示させることとしてもよい。また、表示プログラムは、たとえば、 CPU301によって、車両が駐車する場合、車両後方のカメラ画像について必要に応じて視点変換をおこなった視点変換画像に切り替えて表示させるようにしてもょ、。

[0045] 視点変換画像への切り替えは、たとえば、前述した画像認識プログラムによって車両が駐車スペースに接近していることを認識した場合におこなってもよいし、後述する各種センサ 316の出力に基づ、て、車両が駐車スペースに接近したと判断される場合におこなってもよい。

[0046] 視点変換画像の詳細は、図 4および図 5に後述するが、カメラ画像および視点変換画像の切り替えは、カメラ画像および視点変換画像それぞれについて、表示する場面の適正が異なることを利用する構成でもよい。

[0047] 具体的には、たとえば、車両が駐車する際の適正に関し、広角レンズを用いたカメラ 313によって撮像された車両後方のカメラ画像については、駐車スペースの全体概要を把握する場合に適して、る。

[0048] 一方、あた力も真上や斜め上方力地面を見下ろしたような視点に変換する視点変換画像については、駐車スペースに接近してから、駐車スペースへの正確な駐車や、他の地物との干渉などを把握する場合に適している。ここで、他の地物は、たとえば、すでに駐車している他の車両や、駐車スペースを区切る白線や、輪留めなどでもよい。

[0049] また、視点変換画像への切り替えは、たとえば、各種センサ 316の出力によって、車両の進行方向をジャイロセンサなどによって検知して、その角度に応じて切り替える構成や、周囲の干渉対象となる地物までの距離を検知するセンサの出力に応じて切り替える構成としてもよい。また、視点変換画像への切り替えは、たとえば、画像認識によって、白線と車両の向きが平行になった場合や、輪留めや白線の終端が画面内の所定部分にあると認識された場合に切り替えてもよい。

[0050] このようにして、駐車の段階に合わせて表示画像を切り替えることで、運転者は車両外部の状況を的確に把握して駐車を適切におこなうことができる。また、駐車動作中に自動的に最適な表示画像に切り替えることによって、運転者が運転動作中に表示画像の切り替えに関する操作をおこなうことなぐ運転に集中し安全運転を図ることができる。

[0051] また、視点変換にっ、て、たとえば、斜め上方の視点や真上力もの視点など複数の視点による視点変換画像を生成する構成とすれば、駐車の段階を細分化して視点変換画像を切り替えることによって、運転者は、より詳細に車両外部の状況を把握することがでさる。

[0052] 具体的には、たとえば、駐車の際、干渉対象となる地物力遠い場合は少し斜め上方から俯瞰して広、範囲の視点変換画像となるようにし、駐車スペースに近くなつたら真上力もの視点変換画像となるようにすることで、運転者は駐車スペースまでの距離感を正確に把握することができる。

[0053] また、視点変換画像への切り替えは、運転者による設定ができる構成としてもょ、。

具体的には、たとえば、視点変換画像への切り替えは、干渉対象となる地物までの距離を運転者の好みに合わせることにより、それぞれの運転者の運転技術に適した切り替えを可能とすることができる。

[0054] 磁気ディスクドライブ 304は、 CPU301の制御にしたがって磁気ディスク 305に対するデータの読み取り Z書き込みを制御する。磁気ディスク 305は、磁気ディスクドライブ 304の制御で書き込まれたデータを記録する。磁気ディスク 305としては、たとえば、 HD (ノヽードディスク）や FD (フレキシブルディスク）を用いることができる。

[0055] 磁気ディスク 305に記録される情報の一例として、経路探索'経路誘導などに用いる地図情報が挙げられる。地図情報は、建物、河川、地表面などの地物 (フィーチャ）をあらわす背景データと、道路の形状をあらわす道路形状データとを有しており、デイスプレイ 312の表示画面において 2次元または 3次元に描画される。

[0056] なお、本実施例では地図情報を磁気ディスク 305に記録するようにしたが、後述する光ディスク 307に記録するようにしてもよい。また、地図情報は、ナビゲーシヨン装置 300のハードウェアと一体に設けられて!/、るものに限って記録されて、るものではなぐナビゲーシヨン装置 300外部に設けられていてもよい。その場合、ナビゲーション装置 300は、たとえば、通信 I/F314を通じて、ネットワークを介して地図情報を取得する。取得された地図情報は RAM303などに記憶される。

[0057] 光ディスクドライブ 306は、 CPU301の制御にしたがって光ディスク 307に対するデータの読み取り Z書き込みを制御する。光ディスク 307は、光ディスクドライブ 306の制御にしたがってデータの読み出される着脱自在な記録媒体である。光ディスク 307 は、書き込み可能な記録媒体を利用することもできる。また、この着脱可能な記録媒体として、光ディスク 307のほ力 MO、メモリカードなどであってもよい。

[0058] 音声 IZF308は、音声出力用のスピーカ 309に接続される。スピーカ 309からは音声が出力される。なお、スピーカ 309は、車両に複数設置されていてもよい。

[0059] 入力デバイス 310は、文字、数値、各種指示などの入力のための複数のキーを備えたリモコン、キーボード、マウス、タツチパネルなどが挙げられる。

[0060] 映像 IZF311は、ディスプレイ 312およびカメラ 313と接続される。映像 IZF311は、具体的には、たとえば、ディスプレイ 312全体の制御をおこなうグラフィックコント口ーラと、即時表示可能な画像情報を一時的に記録する VRAM (Video RAM)などのバッファメモリと、グラフィックコントローラから出力される画像データに基づいて、デイスプレイ 312を表示制御する制御 ICなどによって構成される。

[0061] ディスプレイ 312には、アイコン、カーソル、メニュー、ウィンドウ、あるいは文字や画像などの各種データが表示される。このディスプレイ 312は、たとえば、 CRT、 TFT 液晶ディスプレイ、プラズマディスプレイなどを採用することができる。また、ディスプレィ 312は、車両に複数備えられていてもよぐたとえば、運転者に対するものと後部座席に着座する搭乗者に対するものなどである。

[0062] カメラ 313は、車両外部をカメラ画像として撮像する。カメラ 313は、たとえば、可動式でもよぐ車両の前部や後部や天井部などに取り付けられていてもよい。カメラ 313 は、たとえば、車両後方のカメラ画像を撮像する場合、車両の後方の安全確認ができる。また、カメラ 313によって撮像されるカメラ画像は、映像 IZF311の制御にしたがって、ディスプレイ 312に表示されることとしてもよ！/、。

[0063] 通信 IZF314は、無線を介してネットワークに接続され、ナビゲーシヨン装置 300と CPU301とのインターフェースとして機能する。通信 I/F314は、さらに、無線を介してインターネットなどの通信網に接続され、この通信網と CPU301とのインターフエ一スとしても機能する。

[0064] 通信網には、 LAN, WAN,公衆回線網や携帯電話網などがある。具体的には、通信 IZF314は、たとえば、 FMチューナー、 VICS (Vehicle Information and Communication System) Zビーコンレシーノ、無線ナビゲーシヨン装置、およびその他のナビゲーシヨン装置によって構成され、 VICSセンター力も配信される渋滞や交通規制などの道路交通情報を取得する。なお、 VICSは登録商標である。

[0065] GPSユニット 315は、 GPS衛星からの電波を受信し、車両の現在地点を示す情報を出力する。 GPSユニット 315の出力情報は、後述する各種センサ 316の出力値とともに、 CPU301による車両の現在地点の算出に際して利用される。現在地点を示す情報は、たとえば緯度'経度、高度などの、地図情報上の 1点を特定する情報である

[0066] 各種センサ 316は、車速センサや加速度センサ、角速度センサなどを含み、車両の位置や挙動を判断することが可能な情報を出力する。各種センサ 316の出力値は、 CPU301による車両の現在地点の算出や、速度や方位の変化量の測定などに用いられる。

[0067] なお、実施の形態に力かる表示装置 100の機能的構成のうち、撮像部 101はカメラ 313によって、変換部 102や検知部 103や判断部 104は CPU301や各種センサ 31 6によって、切替部 105は CPU301や映像 IZF311によって、表示部 106はデイスプレイ 312によって、それぞれその機能を実現する。

[0068] (駐車の概要）

つぎに、図 4を用いて、本実施例に力かる車両の駐車の概要について説明する。図 4は、本実施例に力かる車両の駐車の概要を示す説明図である。

[0069] 図 4にお!/、て、駐車場 400は、複数の駐車スペース 410と、それぞれの駐車スぺース 410を区切る白線 411と、輪留め 412と、力ら構成されている。車両 401は、図 3に示したナビゲーシヨン装置 300を搭載しており、破線で示された駐車状態の車両 402 となるまで、図示した矢印に沿って連続的に動作する。

[0070] ここで、図 4を用いて、車両 401が矢印に沿って駐車をする場合におけるディスプレィ 312の表示について説明する。まず、車両 401が駐車に関する動作を開始すると、ディスプレイ 312には、カメラ 313によって撮像された車両 401後方のカメラ画像が表示される。このカメラ画像は、たとえば、駐車スペース 410の全体概要を把握するための画像である。また、このカメラ画像は、たとえば、カメラによって撮像された画像にっ、て、光学的な特性による歪みを補正した画像であってもよ、。

[0071] そして、画像認識によって車両 401と、白線 411や輪留め 412との位置関係が所定の位置関係となり、車両 401が駐車スペース 410に接近して、破線で示された駐車状態の車両 402となるにしたがって、あた力も真上力もの視点による視点変換画像へ表示画像を切り替える。

[0072] 視点変換画像は、たとえば、カメラ画像を撮像したカメラ 313の視点とは異なる仮想的な視点力ゝら撮像された画像となるような仮想的な画像である。具体的には、たとえば、視点変換画像は、カメラ画像に対してカメラ 313の視点とは異なる仮想的な視点となる仮想カメラによって、あた力も真上や斜め上方力も地面を見下ろしたような視点となる画像である。

[0073] 視点変換処理は、たとえば、カメラ画像を仮想的なスクリーンに投影し、投影された画像を仮想的な視点となる仮想カメラによって撮像することにより、カメラ画像を視点変換画像にすることである。視点変換処理は、カメラ 313によって撮像されたカメラ画像をすベて処理する構成でもよヽし、前述した表示の切り替えが必要な場合に処理する構成でもよい。

[0074] (ナビゲーシヨン装置 300の処理の内容）

つぎに、図 5を用いて、本実施例に力かるナビゲーシヨン装置 300の処理の内容について説明する。図 5は、本実施例に力かるナビゲーシヨン装置における処理の内容を示すフローチャートである。図 5のフローチャートにおいて、まず、カメラ 313によつてカメラ画像の撮像を開始したカゝ否かを判断する (ステップ S501)。カメラ画像の撮像は、たとえば、車両 401が駐車のためにバックを開始した時点で開始することとしてもよい。また、常時カメラ画像を撮像して、ノックを開始した時点で表示画像をテレビ画像や地図情報力もカメラ画像に切り替える構成であれば、ステップ S501では、カメラ画像の撮像の開始を判断する代わりに、表示画像をカメラ画像に切り替える必要があるカゝ否かを判断する構成としてもよ!ヽ。 [0075] ステップ S501にお、て、カメラ画像の撮像を開始して、な、と判断した場合 (ステップ S501 :No)は、処理を繰り返し、カメラ画像の撮像を開始したと判断した場合 (ステツプ S501： Yes)は、撮像されたカメラ画像の光学的な特性による歪みを補正する処理を行い、ディスプレイ 312によって、当該補正されたカメラ画像を表示する (ステップ S 502)。

[0076] そして、 CPU301によって、ステップ S501において撮像されたカメラ画像力も視点変換画像を生成する (ステップ S503)。そして、補正されたカメラ画像と視点変換画像の少なくともいずれか一方カゝら画像中の特徴点を抽出する (ステップ S504)。画像中の特徴点は、たとえば、駐車の際、駐車スペース 410を区切る白線 411や輪留め 4 12、あるいは、他の車両などの干渉対象となる地物でもよい。

[0077] そして、 CPU301によって、ステップ S504において抽出された特徴点に基づいて、車両と、車両の干渉対象となる地物との位置関係力所定の位置関係となったか否かを判断する (ステップ S505)。

[0078] ステップ S505において、車両と、車両の干渉対象となる地物との位置関係が、所定の位置関係となっていない場合 (ステップ S505 : No)は、ステップ S502に戻って処理を繰り返す。

[0079] また、ステップ S505において、車両と、車両の干渉対象となる地物との位置関係が、所定の位置関係となった場合 (ステップ S505 : Yes)は、 CPU301によって、表示画像をステップ S 503にお、て生成された視点変換画像に切り替える (ステップ S50 6)。

[0080] そして、ディスプレイ 312によって、ステップ S506において切り替えられた視点変換画像を表示して (ステップ S 507)、一連の処理を終了する。

[0081] なお、図 5のフローチャートでは説明を省略した力ステップ S506において視点変換画像に切り替える場合には、あわせて、駐車に関する各種告知をおこなう構成としてもよい。具体的には、たとえば、輪留めが存在しない場合に、輪留めがない旨を告知することによって後退しすぎることを防ぐことができる。また、白線に対して平行になつていない場合に、その旨を告知することによって適切な駐車を促すことができる。また、各種告知は、たとえば、表示部に文字情報として表示したり、告知の対象となる白線などを強調表示したりする構成でもよヽ。

[0082] また、本実施例では、表示画像をカメラ画像から視点変換画像に切り替える構成としているが、カメラ画像と視点変換画像とを両方表示する構成としてもよい。その際、それぞれの表示画面が小さくなつてしまうため、表示画面を均等に分割せずに、カメラ画像の表示が必要な場合はカメラ画像を、視点変換画像の表示が必要な場合は視点変換画像を、それぞれ大きく表示する構成としてもょヽ。

[0083] 以上説明したように、本実施例によれば、駐車に際して車両が駐車スペースに接近した場合に、表示画像をカメラ画像から視点変換画像に自動的に切り替えることができるため、運転者は車両周辺の状況を的確に把握することができる。

[0084] 換言すれば、駐車の段階に合わせて表示する表示画像を切り替えることで、運転者は車両外部の状況を的確に把握して駐車を適切におこなうことができる。また、駐車動作中に自動的に最適な映像に切り替えることによって、運転者が運転動作中に表示画像の切り替えをおこなうことなぐ運転に集中し安全運転を図ることができる。

[0085] また、視点変換画像への切り替えを、運転者による設定ができる構成とすれば、干渉対象となる地物までの距離を運転者の好みに合わせることにより、それぞれの運転者の運転技術に適した切り替えを可能とすることができる。

[0086] さらに、駐車に関する各種告知をおこなう構成とすれば、運転者に最適な駐車を促すとともに、地物や他の車両や通行人などの障害物を告知する場合は、車両周辺に対して安全を確実に確認することができるため、安全性の向上を図ることができる。

[0087] なお、本実施の形態で説明した表示方法は、あら力じめ用意されたプログラムをパ一ソナル 'コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、 CD -ROM, MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体力読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims

請求の範囲

[1] 移動体の周辺の周辺映像を撮像する撮像手段と、

前記撮像手段によって撮像された周辺映像を、当該周辺映像を撮像した視点とは異なる仮想的な視点から撮像された仮想映像に変換する変換手段と、

前記周辺映像または前記仮想映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地形または物体 (以下、「地物」と、う）との位置関係を検知する検知手段と、

前記検知手段によって検知された所定の地物の位置関係に基づいて、表示する表示映像を前記周辺映像から前記仮想映像に切り替えるか否かを判断する判断手段と、

前記判断手段によって前記表示映像を前記周辺映像から前記仮想映像に切り替えると判断された場合、当該表示映像を当該周辺映像カゝら当該仮想映像に切り替える切替手段と、

前記切替手段によって切り替えられた前記表示映像を表示する表示手段と、を備えることを特徴とする表示装置。

[2] 前記変換手段は、

前記撮像手段によって撮像された周辺映像を、当該周辺映像を撮像した視点とは異なる複数の仮想的な視点力ゝら撮像された仮想映像に変換し、

前記検知手段は、

前記周辺映像および複数の前記仮想映像の少なくともいずれか一つを解析することにより、当該周辺映像中に存在する所定の地物との位置関係を検知し、

前記判断手段は、

前記検知手段によって検知された所定の地物の位置関係に基づいて、表示する表示映像を前記周辺映像力複数の前記仮想映像のうちいずれか一つに切り替えるか否かを判断することを特徴とする請求項 1に記載の表示装置。

[3] 前記検知手段は、

前記移動体と、前記移動体に対して干渉の対象となる地物との距離を少なくとも検知し、前記判断手段は、

前記検知手段によって検知された距離が、所定の距離よりも短い場合に前記表示映像を切り替えることを特徴とする請求項 1に記載の表示装置。

[4] 前記撮像手段は、

少なくとも前記移動体の後方の映像を撮像することを特徴とする請求項 1〜3のいずれか一つに記載の表示装置。

[5] 移動体の周辺の周辺映像を撮像する撮像手段と、

前記周辺映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地物との位置関係を検知する検知手段と、

前記検知手段によって検知された結果に基づいて、前記周辺映像を当該周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する変換手段と、

前記変換手段によって変換された仮想映像を表示する表示手段と、

を備えることを特徴とする表示装置。

[6] 移動体の周辺の周辺映像を撮像する撮像工程と、

前記撮像工程によって撮像された周辺映像を、当該周辺映像を撮像した視点とは異なる仮想的な視点から撮像された仮想映像に変換する変換工程と、

前記周辺映像または前記仮想映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地形または物体 (以下、「地物」と、う）との位置関係を検知する検知工程と、

前記検知工程によって検知された所定の地物の位置関係に基づいて、表示する表示映像を前記周辺映像から前記仮想映像に切り替えるか否かを判断する判断工程と、

前記判断工程によって前記表示映像を前記周辺映像から前記仮想映像に切り替えると判断された場合、当該表示映像を当該周辺映像カゝら当該仮想映像に切り替える切替工程と、

前記切替工程によって切り替えられた前記表示映像を表示する表示工程と、を含むことを特徴とする表示方法。

[7] 移動体の周辺の周辺映像を撮像する撮像工程と、

前記周辺映像を解析することにより、前記移動体と、当該周辺映像中に存在する所定の地物との位置関係を検知する検知工程と、

前記検知工程によって検知された結果に基づいて、前記周辺映像を当該周辺映像を撮像した視点とは異なる仮想的な視点力ゝら撮像された仮想映像に変換する変換工程と、

前記変換工程によって変換された仮想映像を表示する表示工程と、

を含むことを特徴とする表示方法。

[8] 請求項 6または 7に記載の表示方法をコンピュータに実行させることを特徴とする表示プログラム。

[9] 請求項 8に記載の表示プログラムを記録したことを特徴とするコンピュータに読み取り可能な記録媒体。