以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システムの概要>
図1は、本実施の形態の画像表示システム10の概要を示す図である。画像表示システム10は、自動車などの車両9に搭載される車両用装置2と、車両用装置2とは別個に構成される携帯表示装置3とを備えている。
車両用装置2と携帯表示装置3との双方は、Bluetooth(登録商標)などの所定の通信方式に準拠した無線通信機能を有している。したがって、車両用装置2と携帯表示装置3とは、無線通信によって相互にデータを送受信することが可能となっている。なお、車両用装置2と携帯表示装置3とを通信ケーブルで物理的に接続し、車両用装置2と携帯表示装置3とが有線通信によって相互にデータを送受信できるようになっていてもよい。
車両用装置2は、車両9で用いられる電子装置であり、車両9の周辺を撮影する複数のカメラ5と、画像を処理する画像処理装置4と、画像を表示する車載表示装置6とを備えている。車載表示装置6は、車両用装置2の主なユーザとなる車両9の運転者が視認できるように、車両9の車室内に固定的に設けられる。車両用装置2は、複数のカメラ5で得られた撮影画像に基づいて、車両9の周辺を示す画像を車載表示装置6に表示する機能を有している。
また、携帯表示装置3は、例えば、携帯電話やスマートフォンなどの可搬性の表示装置である。携帯表示装置3は、画像処理装置4から送信された車両9の周辺を示す画像を受信し、受信した画像を表示することができる。車両9に乗車した運転者以外の同乗者は、この携帯表示装置3を扱い、携帯表示装置3に表示された画像を視認することができる。
車載表示装置6は、所定の表示条件を満足する場合には車両9の周辺を示す画像を表示するが、表示条件を満足しない場合には画像を表示しない。一方で、携帯表示装置3は、この表示条件とは無関係に車両9の周辺を示す画像を表示する。したがって、表示条件を満足しない場合であっても携帯表示装置3に画像が表示されるため、携帯表示装置3のユーザである同乗者は車両9の周辺の様子を確認できるようになっている。
以下、このような画像表示システム10の構成及び処理について詳細に説明する。
<1−2.車両用装置の構成>
まず、車両用装置2の構成について説明する。図2は、車両用装置2の構成を示す図である。車両用装置2は、前述のように、複数のカメラ5と、画像処理装置4と、車載表示装置6とを備えている。
車載表示装置6は、例えば、液晶パネルなどを備えた薄型のディスプレイである。車載表示装置6は、画像処理装置4と一体化されており、画像処理装置4から出力された表示画像を表示する。
複数のカメラ5はそれぞれ、レンズと撮像素子とを備えており、車両9の周辺を示す撮影画像を電子的に取得する。各カメラ5F,5B,5L,5Rは、所定の周期(例えば、1/30秒)で周期的に撮影を行う。
複数のカメラ5はそれぞれ、画像処理装置4とは別に車両9の適位置に配置され、取得した撮影画像を画像処理装置4に入力する。複数のカメラ5は、フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rを含んでいる。これら4つのカメラ5F,5B,5L,5Rは、車両9の異なる位置に配置され、車両9の周辺の異なる方向を撮影する。
図3は、4つのカメラ5F,5B,5L,5Rがそれぞれ撮影する方向を示す図である。フロントカメラ5Fは、車両9の前端に設けられ、その光軸5Faは車両9の前方(直進方向)に向けられている。リアカメラ5Bは、車両9の後端に設けられ、その光軸5Baは車両9の後方(直進方向の逆方向)に向けられている。左サイドカメラ5Lは車両9の左側のサイドミラー93Lに設けられ、その光軸5Laは車両9の左側方(直進方向の直交方向)に向けられている。また、右サイドカメラ5Rは車両9の右側のサイドミラー93Rに設けられ、その光軸5Raは車両9の右側方(直進方向の直交方向)に向けられている。
これらのカメラ5F,5B,5L,5Rのレンズには魚眼レンズなどが採用され、各カメラ5F,5B,5L,5Rは180度以上の画角θを有している。このため、4つのカメラ5F,5B,5L,5Rを利用することで、車両9の全周囲を撮影することが可能である。
図1に戻って説明する。画像処理装置4は、複数のカメラ5で取得された撮影画像を処理して、車載表示装置6で表示するための表示画像、及び、携帯表示装置3で表示するための表示画像を生成する。
画像処理装置4は、車両用装置2の全体を制御するマイクロコンピュータである制御部40を備えている。また、画像処理装置4は、画像取得部41と、画像合成部42と、表示画像生成部43と、画像出力部44と、データ通信部45とを備えている。これらの処理部41〜45は、例えば、画像を処理するハードウェア回路である。
画像取得部41は、4つのカメラ5F,5B,5L,5Rでそれぞれ得られた撮影画像を取得する。画像取得部41は、アナログの撮影画像をデジタルの撮影画像に変換するなどの画像処理機能を有している。画像取得部41は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部42及び表示画像生成部43に入力する。
画像合成部42は、仮想視点からみた車両9の周辺を示す俯瞰画像を生成する。画像合成部42は、複数のカメラ5で取得された複数の撮影画像を合成し、これら複数の撮影画像の合成画像である仮想視点からみた俯瞰画像を生成する。画像合成部42が俯瞰画像を生成する手法については後述する。画像合成部42は、生成した俯瞰画像を表示画像生成部43に入力する。
表示画像生成部43は、車載表示装置6に表示するための表示画像(以下、「車両用表示画像」という。)を生成する。表示画像生成部43は、画像取得部41から入力された撮影画像と、画像合成部42から入力された俯瞰画像とを用いて車両用表示画像を生成する。この車両用表示画像は、携帯表示装置3に表示するための表示画像(以下、「携帯用表示画像」という。)とは態様が異なっている。
画像出力部44は、表示画像を車載表示装置6に出力して、車載表示装置6に表示画像を表示させる。画像出力部44は、表示画像生成部43に生成された車両用表示画像を車載表示装置6に出力する。これにより、車載表示装置6において、車両用表示画像が表示される。
データ通信部45は、所定の通信方式の無線通信により携帯表示装置3との間でデータの送受信を行う。データ通信部45は、表示画像を携帯表示装置3に送信して、車載表示装置6に表示画像を表示させる。データ通信部45は、携帯用表示画像として、画像合成部42に生成された俯瞰画像を携帯表示装置3に送信する。これにより、携帯表示装置3において、俯瞰画像(携帯用表示画像)が表示される。また、データ通信部45は、携帯表示装置3からデータを受信した場合は、受信したデータを制御部40に入力する。
また、画像処理装置4は、記憶部46と、信号受信部47とをさらに備えている。
記憶部46は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部46は、車両データ46a、及び、ファームウェアとしてのプログラム46bを記憶している。車両データ46aは、車両用装置2が搭載される車両9に関するデータであり、ボディ形状やボディカラーなど車両9の外観を示すデータを含んでいる。
信号受信部47は、車両9に設けられる他の装置からの信号を受信する。信号受信部47は、受信した信号を制御部40に入力する。信号受信部47は、例えば、車両9が走行する速度(km/h)を示す信号を車速センサ8から受信する。
制御部40は、CPU、RAM及びROMなどを備えている。制御部40の各種の機能は、記憶部46に記憶されたプログラム46bに従ってCPUが演算処理を行うことで実現される。図中に示す画像制御部40a、条件判定部40b、及び、表示制御部40cは、プログラムに従ってCPUが演算処理を行うことで実現される機能部の一部である。
画像制御部40aは、画像取得部41、画像合成部42及び表示画像生成部43が実行する画像処理に関する制御を行う。例えば、画像制御部40aは、画像合成部42が生成する俯瞰画像のための仮想視点を設定する。
条件判定部40bは、車載表示装置6が表示画像を表示する表示条件を満足するか否かを判定する。条件判定部40bは、車両9の速度が所定の閾値より小さい場合に、表示条件を満足したと判定する。これにより、例えば、車両9が見通しの悪い交差点に差し掛かかった場合などにおいて、運転者が車両9の周辺を確認するために車両9を徐行させたときに、表示条件が満足することになる。
表示制御部40cは、表示画像の表示に関する制御を行う。表示制御部40cは、画像出力部44の出力機能、及び、データ通信部45の送信機能の有効/無効を切り替えることができる。表示制御部40cが画像出力部44の出力機能を無効化した場合は、車載表示装置6に車両用表示画像が表示されなくなる。また、表示制御部40cがデータ通信部45の送信機能を無効化した場合は、携帯表示装置3に携帯用表示画像が表示されなくなる。
<1−3.携帯表示装置の構成>
次に、携帯表示装置3の構成について説明する。図4は、携帯表示装置3の構成を示す図である。携帯表示装置3は、制御部31と、マイク32と、スピーカ33と、音声通信部34と、操作部35と、ディスプレイ36と、データ通信部37と、記憶部38とを備えている。
マイク32は、周辺の音を電気信号に変換する。マイク32は、例えば、通話中のユーザが発した音声を電気信号に変換する。スピーカ33は、電気信号に基づいて各種の音を出力する。スピーカ33は、例えば、通話相手が発した音声を出力する。音声通信部34は、通話にかかる音声の電気信号を、基地局との間で送受信する。これらマイク32、スピーカ33及び音声通信部34により、携帯表示装置3の通話機能が実現される。
操作部35は、ユーザの操作を直接的に受け付ける操作部材であり、複数の操作ボタンを含んでいる。ユーザが操作部35を操作した場合は、その操作内容を示す信号が制御部31に入力される。
ディスプレイ36は、例えば、液晶パネルを備えており各種の画像を表示する。また、ディスプレイ36は、タッチパネルを備えており、ユーザの操作を受け付ける操作部材としても機能する。ユーザがタッチパネルとしてのディスプレイ36を操作した場合は、その操作内容を示す信号が制御部31に入力される。
データ通信部37は、所定の通信方式の無線通信により車両用装置2との間でデータの送受信を行う。データ通信部37は、車両用装置2から送信された俯瞰画像などを受信する。
記憶部38は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部38は、車両用装置2と連携するためのアプリケーションのプログラム38aを記憶している。
また、制御部31は、携帯表示装置3の全体を統括的に制御するマイクロコンピュータである。制御部31は、CPU、RAM及びROMなどを備えている。記憶部38に記憶されたプログラム38aに従ってCPUが演算処理を行うことで、アプリケーションの各種の機能が実現される。
図中に示す通信制御部31a及び表示制御部31bは、アプリケーションの機能の一部である。通信制御部31aは、データ通信部37を制御し、車両用装置2から送信された俯瞰画像をデータ通信部37に受信させる。また、表示制御部31bは、ディスプレイ36を制御し、データ通信部37が俯瞰画像を受信した場合に、携帯用表示画像として、受信した俯瞰画像をディスプレイ36に表示させる。
<1−4.表示画像>
次に、表示画像について説明する。前述のように、表示画像には、車載表示装置6に表示するための車両用表示画像と、携帯表示装置3に表示するための携帯用表示画像とがある。図5は車両用表示画像DP1の一例を示す図であり、図6は携帯用表示画像DP2の一例を示す図である。
図5に示すように、車両用表示画像DP1は、車両9の前方を示す撮影画像PFと、仮想視点からみた車両9の周辺を示す俯瞰画像CPとを含んでいる。この車両用表示画像DP1は、車載表示装置6に表示されるため、車両9の運転者によって視認される。運転者は、このような車両用表示画像DP1を視認することで、車両9の前方の様子とともに、車両9の周辺の全体の様子についても確認することができる。
一方、図6に示すように、携帯用表示画像DP2は、俯瞰画像CPを含むが、車両9の周辺を示す他の画像は含んでいない。具体的には、俯瞰画像CPがそのまま携帯用表示画像DP2となっている。この携帯用表示画像DP2は、携帯表示装置3に表示されるため、運転者以外の同乗者によって視認される。同乗者は、このような携帯用表示画像DP2を視認することで、車両9の周辺の全体の様子を確認することができる。
一般に、携帯表示装置3が備えるディスプレイ36の画面のサイズは比較的小さい。このため仮に、車両用表示画像DP1と同様の表示画像を携帯表示装置3に表示させた場合には、表示上の俯瞰画像CPのサイズが小さくなり、携帯用表示画像DP2のユーザである同乗者が俯瞰画像CPに含まれる被写体の像を把握しにくくなる。本実施の形態では、俯瞰画像CPのみを含む携帯用表示画像DP2を携帯表示装置3に表示させる。このため、表示上の俯瞰画像CPのサイズを大きくでき、同乗者が俯瞰画像CPに含まれる被写体の像を容易に把握できる。
図5及び図6に示すように、車両用表示画像DP1及び携帯用表示画像DP2の双方は、仮想視点からみた車両9の周辺を示す俯瞰画像CPを含んでいる。この俯瞰画像CPは、画像合成部42によって生成される。図7は、画像合成部42が俯瞰画像CPを生成する手法を説明する図である。以下、この図を参照して、画像合成部42が俯瞰画像CPを生成する手法について説明する。
フロントカメラ5F、リアカメラ5B、左サイドカメラ5L、及び、右サイドカメラ5Rのそれぞれで撮影が行われると、車両9の前方、後方、左側方及び右側方をそれぞれ示す4つの撮影画像PF,PB,PL,PRが取得される。これら4つの撮影画像PF,PB,PL,PRには、車両9の全周囲のデータが含まれている。
画像合成部42は、まず、これら4つの撮影画像PF,PB,PL,PRに含まれるデータ(各画素の値)を、仮想的な三次元空間における立体曲面である投影面TSに投影する。投影面TSは、例えば、略半球状(お椀形状)をしている。この投影面TSの中心部分(お椀の底部分)は、車両9の位置として定められている。また、投影面TSの中心以外の部分は、撮影画像PF,PB,PL,PRのいずれかと対応付けられている。
画像合成部42は、この投影面TSの中心以外の部分に、撮影画像PF,PB,PL,PRに含まれるデータを投影する。画像合成部42は、投影面TSにおいて車両9の前方に相当する領域に、フロントカメラ5Fの撮影画像PFのデータを投影する。また、画像合成部42は、投影面TSにおいて車両9の後方に相当する領域に、リアカメラ5Bの撮影画像PBのデータを投影する。さらに、画像合成部42は、投影面TSにおいて車両9の左側方に相当する領域に左サイドカメラ5Lの撮影画像PLのデータを投影し、投影面TSにおいて車両9の右側方に相当する領域に右サイドカメラ5Rの撮影画像PRのデータを投影する。
このように投影面TSの各部分にデータを投影すると、次に、画像合成部42は、記憶部46に記憶された車両データ46aに基づいて車両9の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両9のモデルの形状やカラーは、実際の車両9のボディ形状やボディカラーに準じたものとなっている。車両9のモデルは、投影面TSが設定される三次元空間において車両9の位置と定められた投影面TSの中心部分に配置される。
次に、画像制御部40aが、三次元空間に対して仮想視点VPを設定する。これにより、画像合成部42は、投影面TSのうち、仮想視点VPからみて所定の視野角に含まれる領域を画像として切り出す。また、画像合成部42は、仮想視点VPに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両像90を、切り出した画像に対して重畳する。これにより、画像合成部42は、仮想視点VPからみた車両9及び車両9の周辺の領域を示す俯瞰画像CPを生成する。
通常、画像制御部40aは、俯瞰画像CPのための仮想視点VPとして、図に示すように、視点位置を車両9の直上、視野方向を直下とした仮想視点(以下、「基本仮想視点」という。)VPaを設定する。この基本仮想視点VPaを設定した場合には、車両9及び車両9の周辺の領域を見下ろすような俯瞰画像CPaが生成される。
また、画像制御部40aは、仮想視点VPを規定するパラメータ(視点位置、視野方向など)を任意に変更することができ、基本仮想視点VPaとは異なる仮想視点VPを設定することもできる。例えば、図に示すように、視点位置を車両9の左後方、視野方向を車両9の前方とした仮想視点VPbを設定した場合には、車両9の左後方からその周辺全体を見渡すように、車両9及び車両9の周辺の領域を示す俯瞰画像CPbが生成される。
<1−5.処理の流れ>
次に、画像表示システム10の処理の流れについて説明する。図8は、車両用装置2の処理の流れを示す図である。この処理は、所定の周期(例えば、1/30秒)で繰り返し行われる。また、この処理の前にはペアリング処理などが実行され、車両用装置2と携帯表示装置3とは相互に通信可能な状態となっている。
まず、車両用装置2の4つのカメラ5のそれぞれが車両9の周辺を撮影する。そして、画像取得部41が、4つのカメラ5でそれぞれ得られた4つの撮影画像を取得する(ステップSA11)。
次に、画像合成部42が、4つの撮影画像に基づいて仮想視点からみた車両9の周辺を示す俯瞰画像を生成する(ステップSA12)。この際、画像制御部40aは、俯瞰画像のための仮想視点として基本仮想視点を設定する。したがって、画像合成部42は、車両9の直上から車両9の周辺の領域を見下ろすような俯瞰画像を生成する。
次に、表示画像生成部43が、車両用表示画像DP1を生成する(ステップSA13)。表示画像生成部43は、画像取得部41が取得したフロントカメラ5Fの撮影画像PFと、画像合成部42が生成した俯瞰画像CPとを用いて、車両用表示画像DP1を生成する(図5参照。)。
次に、条件判定部40bが、車載表示装置6が表示画像を表示するための表示条件を満足するか否かを判定する(ステップSA14)。条件判定部40bは、信号受信部47が車速センサ8から受信した信号に基づいて、車両9の速度を取得する。そして、条件判定部40bは、車両9の速度が所定の閾値(例えば、5km/h)より小さい場合は、表示条件を満足したと判定する。
表示条件を満足する場合は(ステップSA14にてYes)、運転者が車両9の周辺の確認のために徐行あるいは停車した場合と考えられる。このため、表示制御部40cが画像出力部44の出力機能を有効化する。これにより、画像出力部44が車両用表示画像DP1を車載表示装置6に出力し、車載表示装置6において車両用表示画像DP1が表示される(ステップSA15)。車両9の運転者は、このように車載表示装置6に表示された車両用表示画像DP1を視認して、車両9の周辺の様子を確認することができる。そして、処理はステップSA16へ進む。
一方、表示条件を満足しない場合は(ステップSA14にてNo)、表示制御部40cが、画像出力部44の出力機能を無効化する。これにより、画像出力部44は車両用表示画像DP1を出力せず、車載表示装置6において車両用表示画像DP1が表示されなくなる。そして、処理はステップSA16へ進む。
ステップSA16では、表示制御部40cが、携帯表示装置3と通信可能な状態が継続しているかを判定する。そして、携帯表示装置3と通信可能な場合は(ステップSA16にてYes)、表示制御部40cがデータ通信部45の送信機能を有効化する。これにより、データ通信部45が、携帯用表示画像DP2となる俯瞰画像(ステップSA12で生成された俯瞰画像)を携帯表示装置3に送信する(ステップSA17)。
このように車両用装置2のデータ通信部45は、表示条件とは無関係に俯瞰画像を携帯表示装置3に送信する。したがって、表示条件を満足しない場合であっても、携帯表示装置3において俯瞰画像(すなわち、携帯用表示画像DP2)が表示されることになる。
図9は、携帯表示装置3の処理の流れを示す図である。この処理は、車両用装置2と連携するためのアプリケーションを実行した場合に、所定の周期(例えば、1/30秒)で繰り返し行われる。この処理の前においても、車両用装置2と携帯表示装置3とは相互に通信可能な状態となっている。
まず、車両用装置2から俯瞰画像が送信された場合は、通信制御部31aの制御により、データ通信部37がこの俯瞰画像を受信する(ステップSB11)。
このようにデータ通信部37が俯瞰画像を受信した場合は(ステップSB12にてYes)、表示制御部31bの制御により、ディスプレイ36が俯瞰画像のみを含む携帯用表示画像DP2を表示する(ステップSB13)。
同乗者は、このように携帯表示装置3に表示された携帯用表示画像DP2を視認して、車両9の周辺の様子を確認することができる。すなわち、表示条件を満足しない場合であっても、同乗者は、車両9の周辺の様子を確認できることになる。
以上のように、第1の実施の形態の画像表示システム10では、画像処理装置4が、車両の周辺を示す表示画像を車両9に設けられる車載表示装置6に出力して表示画像を表示させる画像出力部44と、表示画像を可搬性の携帯表示装置3に送信して表示画像を表示させるデータ通信部45とを備えている。また、条件判定部40bが、車載表示装置6が表示画像を表示する表示条件を満足するか否かを判定する。
そして、表示条件を満足する場合は、表示制御部40cは、画像出力部44の出力機能と、データ通信部45の送信機能との双方を有効化する。これにより、車載表示装置6において表示画像が表示されるとともに、携帯表示装置3においても表示画像が表示される。
これに対して、表示条件を満足しない場合は、表示制御部40cは、画像出力部44の出力機能を無効化する一方で、データ通信部45の送信機能を有効化する。これにより、車載表示装置6においては表示画像が表示されないが、携帯表示装置3においては表示画像が表示される。このため、表示条件を満足しない場合であっても、携帯表示装置3を扱う同乗者は車両9の周辺の様子を確認することができる。
また、表示画像DP1,DP2は、仮想視点からみた車両の周辺を示す俯瞰画像を含む。このため、ユーザは表示画像DP1,DP2を視認することで、車両9の周辺の全体の様子を確認することができる。
また、携帯表示装置3には、俯瞰画像を含み、車両9の周辺を示す他の画像を含まない携帯用表示画像DP2が表示される。このため、携帯表示装置3での表示上の俯瞰画像のサイズが大きくなり、携帯表示装置3のユーザは俯瞰画像に含まれる被写体の像を容易に把握できる。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態においては、表示条件を満足する場合に、車載表示装置6及び携帯表示装置3の双方において表示画像が表示されていた。これに対して、第2の実施の形態においては、表示条件を満足する場合に、車載表示装置6において表示画像が表示されるが、携帯表示装置3において表示画像が表示されないようになっている。
図10は、第2の実施の形態の車両用装置2の処理の流れを示す図である。第2の実施の形態の携帯表示装置3の処理の流れは、図9に示すものと同様である。以下、第2の実施の形態の車両用装置2の処理の流れについて説明する。
まず、4つのカメラ5で撮影がなされ、画像取得部41が4つの撮影画像を取得する(ステップSA21)。次に、画像合成部42が、4つの撮影画像に基づいて仮想視点からみた車両9の周辺を示す俯瞰画像を生成する(ステップSA22)。次に、表示画像生成部43が、車両用表示画像DP1を生成する(ステップSA23)。そして、条件判定部40bが、表示条件を満足するか否かを判定する(ステップSA24)。
表示条件を満足する場合は(ステップSA24にてYes)、表示制御部40cが、画像出力部44の出力機能を有効化する。これにより、画像出力部44が車両用表示画像DP1を車載表示装置6に出力し、車載表示装置6において車両用表示画像DP1が表示される(ステップSA25)。
さらに、表示条件を満足する場合は、表示制御部40cが、データ通信部45の送信機能を無効化する。これにより、データ通信部45は俯瞰画像を送信せず、携帯表示装置3において携帯用表示画像DP2が表示されなくなる。
一方、表示条件を満足しない場合は(ステップSA24にてNo)、表示制御部40cが、画像出力部44の出力機能を無効化する。これにより、画像出力部44は車両用表示画像DP1を出力せず、車載表示装置6において車両用表示画像DP1が表示されなくなる。
さらに、表示条件を満足しない場合は、携帯表示装置3と通信可能であれば(ステップSA26にてYes)、表示制御部40cはデータ通信部45の送信機能を有効化する。これにより、データ通信部45が俯瞰画像を携帯表示装置3に送信し、携帯表示装置3において携帯用表示画像DP2が表示される(ステップSA27)。
以上のように第2の実施の形態の画像表示システム10では、表示条件を満足する場合はデータ通信部45の送信機能が無効化され、車載表示装置6のみで表示画像が表示される。このため、携帯表示装置3の表示に係る処理を省略できるため、処理の負荷を低減できる。その結果、処理に必要なリソースを車載表示装置6の表示に係る処理に割り振ることができ、車両9の運転に必要となる、車載表示装置6における表示画像の表示をスムーズに行うことができる。
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態の画像表示システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態においては、車載表示装置6と携帯表示装置3とは双方ともに、基本仮想視点からみた俯瞰画像を表示していた。これに対して、第3の実施の形態においては、携帯表示装置3が、基本仮想視点とは別の仮想視点からみた俯瞰画像を表示できるようになっている。また、携帯表示装置3のユーザである同乗者は、携帯表示装置3を操作して、携帯表示装置3に表示する俯瞰画像のための仮想視点として所望の仮想視点を指定できるようになっている。
図11は、第3の実施の形態の携帯表示装置3の構成を示す図である。第3の実施の形態の携帯表示装置3は、図4に示す第1の実施の形態の携帯表示装置3の構成に加えて、アプリケーションの機能として、視点設定部31cをさらに備えている。視点設定部31cは、俯瞰画像のための仮想視点を指定する操作をユーザから受け付ける。そして、視点設定部31cは、ユーザに指定された仮想視点に応じて、仮想視点を規定するパラメータを設定する。
図12は、仮想視点を指定するための設定画面の例を示す図である。この設定画面は、携帯表示装置3のディスプレイ36に表示される。設定画面においては、画面上部に車両9の側面を示すイラスト91が含まれ、画面下部に車両9の正面を示すイラスト92が含まれている。また、2つのイラスト91,92のそれぞれの上部には仮想視点を示すマーカMv1,Mv2が含まれている。
携帯表示装置3のユーザは、タッチパネルとしてのディスプレイ36に触れることで、これらのマーカMv1,Mv2の位置を、弧状のガイドラインGに沿って移動させることができる。
画面上部のイラスト91に対するマーカMv1の位置は、車両9の前後方向に関する仮想視点の視点位置に対応している。また、画面下部のイラスト92に対するマーカMv2の位置は、車両9の左右方向に関する仮想視点の視点位置に対応している。したがって、ユーザは、マーカMv1,Mv2を移動させることで、所望の仮想視点を指定できる。なお、ユーザが、マーカMv1,Mv2を上下方向に移動できるようになっていてもよい。
また、ユーザが設定画面に表示された完了ボタンCbに触れた場合は、視点設定部31cが、その時点の2つのマーカMv1,Mv2の位置に基づいて、仮想視点の視点位置を設定する。また、視点設定部31cは、車両9の略中心(図中の位置9cに対応)に向く方向に、仮想視点の視野方向を設定する。これにより、視点設定部31cは、仮想視点を規定するパラメータである視点位置、及び、視野方向を設定する。
このようにして視点設定部31cが設定したパラメータは、携帯表示装置3から車両用装置2に送信される。車両用装置2の画像合成部42は、このパラメータに基づく仮想視点からみた俯瞰画像を生成する。すなわち、画像合成部42は、携帯表示装置3のユーザが指定した仮想視点からみた俯瞰画像(以下、「指定俯瞰画像」という。)を生成することになる。
図13は、指定俯瞰画像の例を示す図である。図13に示す4つの指定俯瞰画像CP0〜CP3は、互いに仮想視点の視点位置が異なっている。各指定俯瞰画像CP0〜CP3には、車両9の外観を示す車両像90が含まれている。
仮想視点のデフォルトの視点位置は、基本仮想視点と同一の位置(車両9の直上)とされている。したがって、仮想視点がユーザに指定されていない場合は、車両9の直上から車両9の周辺の領域を見下ろすような指定俯瞰画像CP0が生成される。
また、仮想視点を車両9の前側に移動させた場合は、図13の上部に示すように、車両9の前方上部から車両9の周辺の領域を見下ろすような指定俯瞰画像CP1が生成される。また、仮想視点を車両9の後側に移動させた場合は、図13の下部に示すように、車両9の後方上部から車両9の周辺の領域を見下ろすような指定俯瞰画像CP2が生成される。また、仮想視点を車両9の左側に移動させた場合は、図13の左側に示すように、車両9の左側上部から車両9の周辺の領域を見下ろすような指定俯瞰画像CP3が生成される。
画像合成部42が生成した指定俯瞰画像は、車両用装置2から携帯表示装置3に送信される。そして、携帯表示装置3が、この指定俯瞰画像を含む携帯用表示画像DP2をディスプレイ36に表示する。このため、携帯表示装置3のユーザは、自分が指定した仮想視点からみた指定俯瞰画像を視認することができる。その結果、ユーザは、所望の視点から車両9の周辺の様子を確認することができる。
図14は、第3の実施の形態の車両用装置2の処理の流れを示す図である。以下、第3の実施の形態の車両用装置2の処理の流れについて説明する。
まず、4つのカメラ5で撮影がなされ、画像取得部41が4つの撮影画像を取得する(ステップSA31)。次に、画像合成部42が、4つの撮影画像に基づいて仮想視点からみた俯瞰画像を生成する(ステップSA32)。この際、画像制御部40aは、俯瞰画像のための仮想視点として基本仮想視点を設定する。すなわち、この俯瞰画像は、基本仮想視点からみた俯瞰画像(以下、「固定俯瞰画像」という。)であり、車両用表示画像DP1に用いられる。そして、表示画像生成部43が、固定俯瞰画像と撮影画像PFとを用いて車両用表示画像DP1を生成する(ステップSA33)。
次に、条件判定部40bが、表示条件を満足するか否かを判定する(ステップSA34)。表示条件を満足する場合は(ステップSA34にてYes)、画像出力部44が、車両用表示画像DP1を車載表示装置6に出力し、車載表示装置6において固定俯瞰画像を含む車両用表示画像DP1が表示される(ステップSA35)。また一方、表示条件を満足しない場合は(ステップSA34にてNo)、画像出力部44は車両用表示画像DP1を出力せず、車載表示装置6において車両用表示画像DP1が表示されない。
次に、表示制御部40cが、携帯表示装置3と通信可能な状態が継続しているかを判定する(ステップSA36)。そして、携帯表示装置3と通信可能な場合は(ステップSA36にてYes)、携帯表示装置3に指定俯瞰画像を表示させる処理(以下、「指定俯瞰画像処理」という。)(ステップSA37)が実行される。
図15は、この指定俯瞰画像処理(ステップSA37)の詳細な流れを示す図である。まず、携帯表示装置3から仮想視点を規定するパラメータが送信された場合は、画像制御部40aの制御により、データ通信部45がこのパラメータを受信する(ステップSA1)。このようなパラメータは、携帯表示装置3においてユーザが仮想視点を指定した場合に携帯表示装置3から送信される。このため、指定俯瞰画像処理ごとに、このパラメータを受信する必要はない。データ通信部45が受信したパラメータは、記憶部46に記憶される。
次に、画像制御部40aが、記憶部46に記憶されたパラメータを読み出す(ステップSA2)。そして、画像制御部40aは読み出したパラメータに基づいて仮想視点を設定し、画像合成部42がこの仮想視点からみた指定俯瞰画像を生成する(ステップSA3)。なお、記憶部46にパラメータが記憶されていない場合は、画像合成部42は、デフォルトの仮想視点からみた指定俯瞰画像を生成する。
次に、データ通信部45が、携帯用表示画像DP2となる指定俯瞰画像を携帯表示装置3に送信する(ステップSA4)。このように送信された指定俯瞰画像は、携帯表示装置3において表示される。
図16は、第3の実施の形態の携帯表示装置3の処理の流れを示す図である。まず、車両用装置2から指定俯瞰画像が送信された場合は、通信制御部31aの制御により、データ通信部37がこの指定俯瞰画像を受信する(ステップSB31)。
このようにデータ通信部37が指定俯瞰画像を受信した場合は(ステップSB32にてYes)、表示制御部31bの制御により、ディスプレイ36が指定俯瞰画像を含む携帯用表示画像DP2を表示する(ステップSB33)。これにより、パラメータに基づく仮想視点からみた指定俯瞰画像がディスプレイ36に表示される。
次に、視点設定部31cが、ユーザが操作部35等を操作して仮想視点を指定する指示を行ったか否かを判定する(ステップSB34)。このような指示があった場合は、視点設定部31cは、上述した図12に示す設定画面をディスプレイ36に表示させる。そして、視点設定部31cは、仮想視点の視点位置を指定する操作をユーザから受け付け、その仮想視点を規定するパラメータを設定する(ステップSB35)。
次に、このように設定されたパラメータを、視点設定部31cの制御により、データ通信部37が車両用装置2に送信する(ステップSB36)。送信されたパラメータは、指定俯瞰画像処理のステップSA1において車両用装置2に受信される。以降、車両用装置2においては、このパラメータに基づく仮想視点からみた指定俯瞰画像が生成されることになる。
以上のように、第3の実施の形態の画像表示システム10では、車両用装置2のデータ通信部45が、携帯表示装置3から仮想視点を規定するパラメータを受信し、画像合成部42がこのパラメータに基づく仮想視点からみた指定俯瞰画像を生成する。そして、データ通信部45が指定俯瞰画像を携帯表示装置3に送信することにより、この指定俯瞰画像を含む表示画像が携帯表示装置3に表示される。
したがって、携帯表示装置3において仮想視点を規定するパラメータを設定することによって、このパラメータに基づく仮想視点からみた指定俯瞰画像を携帯表示装置3に表示することができる。このため、携帯表示装置3のユーザである同乗者は、所望の視点から車両9の周辺の様子を確認することができる。
また、車載表示装置6は、基本仮想視点からみた固定俯瞰画像を含む車両用表示画像DP1を表示する。これに対して、携帯表示装置3は、基本仮想視点とは別の仮想視点からみた指定俯瞰画像を含む携帯用表示画像DP2を表示する。このため、車載表示装置6と携帯表示装置3とで、異なる視点から車両9の周辺の様子を確認することができる。
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態の画像表示システム10の構成や処理は第3の実施の形態とほぼ同様であるため、以下、第3の実施の形態との相違点を中心に説明する。
第3の実施の形態においては、固定俯瞰画像と指定俯瞰画像との2種類の俯瞰画像が生成されていた。これに対して、第4の実施の形態においては、表示条件を満足しない場合には指定俯瞰画像が生成されるが、表示条件を満足した場合には固定俯瞰画像のみが生成される。したがって、表示条件を満足した場合には、携帯表示装置3においても固定俯瞰画像が表示されるようになっている。
図17は、第4の実施の形態の車両用装置2の処理の流れを示す図である。第4の実施の形態の携帯表示装置3の処理の流れは、図16に示すものと同様である。以下、第4の実施の形態の車両用装置2の処理の流れについて説明する。
まず、4つのカメラ5で撮影がなされ、画像取得部41が4つの撮影画像を取得する(ステップSA41)。次に、画像合成部42が、4つの撮影画像に基づいて基本仮想視点からみた車両9の周辺を示す固定俯瞰画像を生成する(ステップSA42)。次に、表示画像生成部43が、固定俯瞰画像を含む車両用表示画像DP1を生成する(ステップSA43)。そして、条件判定部40bが、表示条件を満足するか否かを判定する(ステップSA44)。
表示条件を満足しない場合は(ステップSA44にてNo)、第3の実施の形態と同様の処理がなされる。すなわち、画像出力部44は車両用表示画像DP1を出力せず、車載表示装置6において車両用表示画像DP1が表示されない。そして、携帯表示装置3と通信可能であれば(ステップSA48にてYes)、指定俯瞰画像処理(ステップSA49)が実行される。
この指定俯瞰画像処理(ステップSA49)の詳細な流れは、図15の処理と同様である。したがって、表示条件を満足しない場合は、車両用装置2において指定俯瞰画像が生成され、この指定俯瞰画像が車両用装置2から携帯表示装置3に送信される。そして、指定俯瞰画像を含む携帯用表示画像DP2が携帯表示装置3において表示される。
一方、表示条件を満足する場合は(ステップSA44にてYes)、まず、画像出力部44が、車両用表示画像DP1を車載表示装置6に出力し、車載表示装置6において固定俯瞰画像を含む車両用表示画像DP1が表示される(ステップSA45)。
次に、携帯表示装置3と通信可能であれば(ステップSA46にてYes)、指定俯瞰画像ではなく、ステップSA42で生成された固定俯瞰画像が車両用装置2から携帯表示装置3に送信される(ステップSA47)。これにより、固定俯瞰画像を含む携帯用表示画像DP2が携帯表示装置3において表示される。このため、表示条件を満足した場合には、指定俯瞰画像は生成されない。
以上のように、第4の実施の形態の画像表示システム10では、表示条件を満足する場合は、車載表示装置6及び携帯表示装置3の双方において固定俯瞰画像を含む表示画像が表示される。このため、固定俯瞰画像のみを生成すればよく指定俯瞰画像を生成するための処理を省略できるため、処理の負荷を低減できる。その結果、処理に必要なリソースを車載表示装置6の表示に係る処理に割り振ることができ、車載表示装置6における表示画像の表示をスムーズに行うことができる。
<5.第5の実施の形態>
次に、第5の実施の形態について説明する。第5の実施の形態の画像表示システム10の構成や処理は第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態においては、車両用装置2のみにおいて俯瞰画像が生成され、携帯表示装置3では俯瞰画像を生成することができなかった。これに対して、第5の実施の形態においては、携帯表示装置3が俯瞰画像を生成できるようになっている。
図18は、第5の実施の形態の携帯表示装置3の構成を示す図である。第5の実施の形態の携帯表示装置3は、図4に示す第1の実施の形態の携帯表示装置3の構成に加えて、アプリケーションの機能として、視点設定部31c、車両設定部31d及び画像合成部31eをさらに備えている。
視点設定部31cは、俯瞰画像のための仮想視点を指定する操作をユーザから受け付け、ユーザに指定された仮想視点に応じて仮想視点を規定するパラメータを設定する。視点設定部31cが仮想視点を指定する操作をユーザから受け付ける手法は、第3の実施の形態と同様である。第5の実施の形態の視点設定部31cは、設定したパラメータを、車両用装置2には送信せず、携帯表示装置3の記憶部38に記憶する。
車両設定部31dは、俯瞰画像に含まれる車両像90の形状やカラーなどの態様を指定する操作をユーザから受け付ける。第5の実施の形態の携帯表示装置3の記憶部38は、各種のボディ形状やボディカラーに対応する複数の車両データ38bを記憶している。車両設定部31dは、ユーザに指定された車両像90の態様に応じた車両データ38bを選択し、選択した車両データ38bを俯瞰画像の生成に用いる車両データとして設定する。
画像合成部31eは、仮想視点からみた車両9の周辺を示す俯瞰画像を生成する。この画像合成部31eが俯瞰画像を生成する手法は、車両用装置2の画像合成部42と同様である。画像合成部31eは、視点設定部31cが設定したパラメータに基づく仮想視点からみた俯瞰画像を生成する。すなわち、画像合成部31eは、携帯表示装置3のユーザが指定した仮想視点からみた指定俯瞰画像を生成することになる。
このように第5の実施の形態の携帯表示装置3は俯瞰画像を生成できるため、車両用装置2は、俯瞰画像ではなく、俯瞰画像に必要な4つの撮影画像を携帯表示装置3に送信するようになっている。
図19は、第5の実施の形態の車両用装置2の処理の流れを示す図である。以下、第5の実施の形態の車両用装置2の処理の流れについて説明する。
まず、4つのカメラ5で撮影がなされ、画像取得部41が4つの撮影画像を取得する(ステップSA51)。次に、画像合成部42が、4つの撮影画像に基づいて基本仮想視点からみた車両9の周辺を示す固定俯瞰画像を生成する(ステップSA52)。次に、表示画像生成部43が、固定俯瞰画像を含む車両用表示画像DP1を生成する(ステップSA53)。
次に、条件判定部40bが、表示条件を満足するか否かを判定する(ステップSA54)。表示条件を満足する場合は(ステップSA54にてYes)、画像出力部44が車両用表示画像DP1を車載表示装置6に出力し、車載表示装置6において固定俯瞰画像を含む車両用表示画像DP1が表示される(ステップSA55)。また一方、表示条件を満足しない場合は(ステップSA54にてNo)、画像出力部44は車両用表示画像DP1を出力せず、車載表示装置6において車両用表示画像DP1が表示されない。
次に、表示制御部40cが、携帯表示装置3と通信可能な状態が継続しているかを判定する(ステップSA56)。そして、携帯表示装置3と通信可能な場合は(ステップSA56にてYes)、データ通信部45が、俯瞰画像の生成に必要な4つの撮影画像(ステップSA51で取得された4つの撮影画像)を携帯表示装置3に送信する(ステップSA57)。携帯表示装置3では、このように送信された4つの撮影画像に基づいて指定俯瞰画像が生成される。
図20は、第5の実施の形態の携帯表示装置3の処理の流れを示す図である。まず、車両用装置2から4つの撮影画像が送信された場合は、通信制御部31aの制御により、データ通信部37がこの4つの撮影画像を受信する(ステップSB51)。
このようにデータ通信部37が撮影画像を受信した場合は(ステップSB52にてYes)、次に、画像合成部31eが、記憶部38に記憶されたパラメータを読み出す(ステップSB53)。
次に、画像合成部31eは読み出したパラメータに基づいて仮想視点を設定し、そのパラメータに基づく仮想視点からみた指定俯瞰画像を生成する(ステップSB54)。なお、記憶部38にパラメータが記憶されていない場合は、画像合成部31eはデフォルトの仮想視点からみた指定俯瞰画像を生成する。
また、画像合成部31eは、記憶部38に記憶された複数の車両データ38bのうち、車両設定部31dが選択した車両データ38bを用いて指定俯瞰画像を生成する。したがって、生成された指定俯瞰画像は、車両設定部31dが選択した車両データ38bが示す形状及びカラーの車両像90を含むことになる。
次に、表示制御部31bの制御により、ディスプレイ36が指定俯瞰画像を含む携帯用表示画像DP2を表示する(ステップSB55)。これにより、パラメータに基づく仮想視点からみた指定俯瞰画像がディスプレイ36に表示される。
次に、視点設定部31cが、ユーザが操作部35等を操作して仮想視点を指定する指示を行ったか否かを判定する(ステップSB56)。この指示があった場合は、視点設定部31cは、仮想視点の視点位置を指定する操作をユーザから受け付け、その仮想視点を規定するパラメータを設定する(ステップSB57)。
そして、視点設定部31cは、設定したパラメータを記憶部38に記憶させる。これにより、次回以降の処理では、ユーザが指定した仮想視点からみた指定俯瞰画像が生成されることになる。
次に、車両設定部31dが、ユーザが操作部35等を操作して俯瞰画像に含まれる車両像90を指定する指示を行ったか否かを判定する(ステップSB58)。この指示があった場合は、車両設定部31dは、所定の設定画面をディスプレイ36に表示させ、車両像90の形状やカラーなどの態様を指定する操作をユーザから受け付ける(ステップSB59)。
そして、車両設定部31dは、ユーザに指定された車両像90の態様に応じた車両データ38bを記憶部38から選択し、選択した車両データ38bを俯瞰画像の生成に用いる車両データとして設定する。これにより、次回以降の処理では、ユーザが指定した態様の車両像90を含む指定俯瞰画像が生成されることになる。
例えば、車両像90のカラーが「白」の場合に、ユーザが車両像90のカラーに「赤」を指定した場合は、図21に示すように、画像合成部31eが生成する指定俯瞰画像CP4に含まれる車両像90のカラーが「白」から「赤」に変更される。同様にして、指定俯瞰画像に含まれる車両像90の形状も、ユーザが所望の形状に変更することができる。例えば、ユーザは、指定俯瞰画像に含まれる車両像90の形状を「ミニバンタイプ」から「レーシングカータイプ」に変更することが可能である。
このような車両像90の形状やカラーは、実際の車両9のボディ形状やボディカラーに準じたものとすることもできるが、異なるものにすることも可能である。したがって、携帯表示装置3のユーザである同乗者は、指定俯瞰画像に含まれる車両像90の形状及びカラーを所望のものに変更して、エンターテイメント的に指定俯瞰画像を視認することも可能である。
以上のように、第5の実施の形態の画像表示システム10では、携帯表示装置3が、車両用装置2から4つの撮影画像を受信し、受信した撮影画像に基づいて俯瞰画像を生成して、生成した俯瞰画像を含む表示画像を表示する。このように、携帯表示装置3が俯瞰画像を生成できるため、車両用装置2の処理に大きな影響を与えずに、携帯表示装置3に向けた俯瞰画像を携帯表示装置3に表示することができる。
また、車載表示装置6は、俯瞰画像に含まれる車両像90の指定をユーザから受け付けるため、携帯表示装置3のユーザである同乗者の所望の車両像90を俯瞰画像に含めることができる。
<6.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態では、車載表示装置6が表示画像を表示する表示条件は「車両9の速度が閾値より小さい」という条件であったが、これとは異なる条件としてもよい。例えば、表示条件を「シフトポジションがリバース(R)」という条件としてもよい。この場合は、進行方向となる車両9の後方を確認できるように、車両用表示画像DP1は、車両9の後方を示す撮影画像PRを含むことが望ましい。
また、第1の実施の形態の処理と第2の実施の形態の処理とのいずれを実行するかをユーザが選択できるようになっていてもよい。また、第3の実施の形態の処理と第4の実施の形態の処理とのいずれを実行するかをユーザが選択できるようになっていてもよい。
また、上記実施の形態では、車両用装置2と携帯表示装置3とは直接的に通信するものとして説明したが、車両用装置2と携帯表示装置3とがインターネットなどの広域ネットワークを介して通信するようにしてもよい。
また、上記実施の形態では、俯瞰画像がそのまま携帯用表示画像DP2となっていたが、携帯用表示画像DP2が俯瞰画像の他に各種情報を含んでいてもよい。この場合、携帯用表示画像DP2は、俯瞰画像に各種情報を付加して生成される。このような携帯用表示画像DP2を生成する処理は、車両用装置2及び携帯表示装置3のいずれで実行されてもよい。
また、上記実施の形態では、車載表示装置6は画像処理装置4と一体化されていたが、車載表示装置6が画像処理装置4とは別体として設けられていてもよい。
また、上記実施の形態では、車載表示装置6に表示される俯瞰画像は、基本仮想視点からみた俯瞰画像であったが、基本仮想視点とは異なる仮想視点からみた俯瞰画像であってもよい。
また、上記実施の形態では、プログラムに従ったCPUの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。