JP6836327B2 - 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体 - Google Patents

Description

本説明は、車両の周辺画像を提供する技術に関し、特に拡張された道路領域に関する情報を運転者に提供することのできる車両周辺画像提供方法及びその装置に関する。

近年、自動車産業の発達に伴い、車両の安全度の向上と運転者の便宜を図るための様々な先端技術が自動車に適用されている。
このような先端技術のうち、車両の周辺環境を撮影して表示することによって運転者が車両の周辺環境を肉眼で簡便に確認できるようにするアラウンドビューモニタ（Ａｒｏｕｎｄ Ｖｉｅｗ Ｍｏｎｉｔｏｒｉｎｇ、ＡＶＭ）がある。アラウンドビューモニタは、車両のフロント、リア、左サイド及び右サイドにそれぞれ設置されたカメラを用いて車両の周辺環境を撮影し、撮影された画像に基づいて車両の周辺領域を画面に表示する。

しかしながら、アラウンドビューモニタに関し、表示された周辺領域によって車両の現在の周辺状況をより正確に認識することができるようさらなる技術の向上が求められている。

そこで、本発明は上記従来のアラウンドビューモニタにおける問題点に鑑みてなされたものであって、本発明の目的は、拡張された道路領域に関する情報を運転者に提供することのできる車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体を提供することにある。

上記目的を達成するためになされた本発明による車両周辺画像提供方法は、走行する道路の路側に設置された画像取得装置を含む路側装置から、該路側装置の周辺領域を撮影した周辺画像と、前記路側装置から観測領域に位置する車両の速度情報、前記周辺画像が有する視点の高さ情報、前記路側装置の位置情報、前記路側装置によって算出された縮尺情報、及び前記路側装置によって測定された交通情報の内の少なくとも１つ以上を含む付加情報と、を受信するステップと、現在の車両の車両に備わった画像取得装置を用いて撮影した少なくとも１つの周辺画像に基づいて、前記現在の車両に対する仮想視点画像を生成するステップと、他の車両から該他の車両に対する仮想視点画像、及び前記他の車両から付加情報を受信するステップと、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像と前記路側装置から受信した前記路側装置の周辺領域を撮影した周辺画像と、を結合して拡張された仮想視点画像を生成するステップと、前記拡張された仮想視点画像を出力するステップと、を有し、前記他の車両から受信した付加情報は、前記他の車両の識別情報、前記他の車両の速度情報、前記他の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記他の車両に対する仮想視点画像が有する仮想視点の角度情報、前記他の車両に対する仮想視点画像の解像度情報、前記他の車両によって算出された縮尺情報、前記他の車両の位置情報、及び前記他の車両によって測定された交通情報の内の少なくとも１つを含み、前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像の画像情報及び前記他の車両に対する仮想視点画像の画像情報を、前記他の車両から受信した１つ以上の付加情報と結合させるステップを含み、前記拡張された仮想視点画像を出力するステップは、前記拡張された仮想視点画像をディスプレイに出力するステップと、を含み、前記拡張された仮想視点画像を生成するステップは、前記現在の車両と前記他の車両との間の位置関係、又は前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の相関度に基づいて、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像を整列させるステップを含み、前記拡張された仮想視点画像を生成するステップは、前記整列させた結果に基づいて前記他の車両に対する仮想視点画像が有する仮想視点の位置を前記現在の車両に対する仮想視点画像が有する仮想視点の位置に調整するステップをさらに含むことを特徴とする。

前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも１つの仮想視点画像の仮想視点位置を調整するステップと、前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことが好ましい。
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも１つの仮想視点画像の画像サイズを調整するステップと、前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことが好ましい。
前記画像サイズを調整するステップは、仮想視点画像が有する仮想視点の位置情報、前記仮想視点の角度情報、及び縮尺情報の内の少なくとも１つに基づいて前記画像サイズを調整することが好ましい。
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択するステップと、前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成するステップと、を含むことが好ましい。
前記重複領域に適用される仮想視点画像を選択するステップは、画像解像度又は通信品質の少なくとも１つに基づいて前記重複領域に適用される仮想視点画像を選択することが好ましい。
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像、前記他の車両に対する仮想視点画像、及び前記路側装置から受信した周辺画像を結合して前記拡張された仮想視点画像を生成することが好ましい。
前記現在の車両に対する仮想視点画像を、前記他の車両及び路側装置の内の少なくとも１つに送信するステップをさらに含むことが好ましい。
前記他の車両の位置に基づいて、前記現在の車両に対する仮想視点画像が有する仮想視点の位置を調整するステップと、前記仮想視点の位置が調整された現在の車両に対する仮想視点画像を前記他の車両に送信するステップと、をさらに有することが好ましい。

前記他の車両に付加情報を送信するステップをさらに有し、前記他の車両に送信される付加情報は、前記現在の車両の識別情報、前記現在の車両の速度情報、前記現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記現在の車両に対する仮想視点画像が有する仮想視点の角度情報、前記現在の車両に対する仮想視点画像の解像度情報、前記現在の車両によって算出された縮尺情報、前記現在の車両の位置情報、及び前記現在の車両によって測定された交通情報の内の少なくとも１つを含むことが好ましい。
前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも１つの周辺画像に基づいて前記現在の車両のトップビュー画像を生成するステップを含むことが好ましい。
前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも１つの周辺画像において、前記現在の車両の位置を中心に近距離領域に対応するピクセル間の距離を減少させ、前記現在の車両の位置を中心に遠距離領域に対応するピクセル間の距離を増加させることによって前記トップビュー画像を生成するステップを含むことが好ましい。
前記拡張された仮想視点画像は、前記現在の車両に対する仮想視点画像が示す領域よりさらに広い領域を全方向に表示することが好ましい。
前記現在の車両と区別される路側装置から前記現在の車両の少なくとも１つの周辺画像を受信するステップをさらに有することが好ましい。

上記目的を達成するためになされた本発明による車両周辺画像提供装置は、路側装置から該路側装置の周辺領域を撮影した周辺画像と、前記路側装置から観測領域に位置する車両の速度情報、前記周辺画像が有する視点の高さ情報、前記路側装置の位置情報、前記路側装置によって算出された縮尺情報、及び前記路側装置によって測定された交通情報の内の少なくとも１つ以上を含む付加情報と、他の車両から該他の車両に対する仮想視点画像と、前記他の車両から付加情報と、を受信する受信器と、現在の車両の車両に備わった画像取得装置を用いて撮影した少なくとも１つの周辺画像に基づいて前記現在の車両に対する仮想視点画像を生成する仮想視点画像生成器と、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像と前記路側装置から受信した前記路側装置の周辺領域を撮影した周辺画像とを結合して拡張された仮想視点画像を表示するディスプレイと、を有し、前記他の車両から受信した付加情報は、前記他の車両の識別情報、前記他の車両の速度情報、前記他の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記他の車両に対する仮想視点画像が有する仮想視点の角度情報、前記他の車両に対する仮想視点画像の解像度情報、前記他の車両によって算出された縮尺情報、前記他の車両の位置情報の内の少なくとも１つを含み、前記仮想視点画像生成器は、現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも１つの仮想視点画像の、仮想視点位置及び画像サイズの内の少なくとも１つを調整する画像変換器と、前記調整した結果及び前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の相関度に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを整列させる画像整列器と、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択する画像選択器と、前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成する画像構成器と、を含み、画像変換器は、前記画像整列器から出力された整列結果に基づいて、他の車両に対する仮想視点画像の仮想視点位置の調整、又は全体画像が１つの統一された仮想視点を有するように他の車両に対する仮想視点画像の仮想視点位置を現在の車両に対する仮想視点画像の視点位置の調整をさらに行うことを特徴とする。

本発明に係る車両周辺画像提供方法及びその装置によれば、拡張された道路領域に関する情報を運転者に提供して運転の安全性及び運転の便宜性が増大し得るという効果がある。
また、様々な付加情報を運転者に提供して危険を予め予測して知らせることによって運転の安全性及び運転の便宜性が増大し得るという効果がある。

本発明の一実施形態に係る複数の車両と路側装置とを含む道路環境における無線協調通信を説明するための図である。 本発明の一実施形態に係る車両又は路側装置が観測できる領域を示す図である。 本発明の一実施形態に係る車両又は路側装置が観測できる領域を示す図である。 本発明の一実施形態に係る車両又は路側装置が観測できる領域を示す図である。 本発明の一実施形態に係る無線協調通信によって取得可能な観測領域を説明するための図である。 本発明の一実施形態に係る無線協調通信によって取得可能な観測領域を説明するための図である。 本発明の一実施形態に係る車両周辺画像提供装置の構成、動作を説明するためのブロック図である。 本発明の一実施形態に係る拡張された仮想視点画像生成器の構成、動作をより詳細に説明するためのブロック図である。 本発明の一実施形態に係る仮想視点画像生成器の動作を説明するための図である。 本発明の一実施形態に係る仮想視点画像の一例を示す図である。 本発明の一実施形態に係る仮想視点画像生成器によって生成された現在の車両に対する仮想視点画像を説明するための図である。 本発明の一実施形態に係る画像変換器が仮想視点画像を変換する動作を説明するための図である。 本発明の一実施形態に係る画像変換器が仮想視点画像を変換する動作を説明するための図である。 本発明の一実施形態に係る画像変換器が仮想視点画像を変換する動作を説明するための図である。 本発明の一実施形態に係る画像整列器の動作を説明するための図である。 本発明の一実施形態に係る画像整列器の動作を説明するための図である。 本発明の一実施形態に係る画像変換器と画像整列器との間のフィードバック工程を説明するための図である。 本発明の一実施形態に係る画像整列器から出力され得る結果を説明するため図である。 本発明の一実施形態に係る画像整列器から出力され得る結果を説明するため図である。 本発明の一実施形態に係る画像整列器から出力され得る結果を説明するため図である。 本発明の一実施形態に係る画像選択器の動作を説明するための図である。 本発明の一実施形態に係る画像構成器の動作を説明するための図である。 本発明の一実施形態に係る画像構成器の動作を説明するための図である。 本発明の一実施形態に係る車両周辺画像提供方法の動作を説明するためのフローチャートである。 本発明の一実施形態に係る拡張された仮想視点画像を生成する動作をより具体的に説明するためのフローチャートである。

次に、本発明に係る車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体を実施するための形態の具体例を図面を参照しながら説明する。
下記の特定の構造的ないし機能的説明は、単に実施形態を説明するための目的で例示したものであって、実施形態の範囲が本文に説明した内容に限定されると解釈されてはならない。
関連技術分野における通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。
また、各図面に提示された同一の参照符号は同一の部材を示し、公知された機能及び構造は省略する。

実施形態で用いる用語には、単に特定の実施形態を説明するために用いられたものとして、実施形態を限定しようとする意図はない。単数の表現は文脈上、明白に異なる意味をもたない限り複数の表現を含む。
異なる定義がされない限り、技術的であるか科学的な用語を含み、ここで用いられる全ての用語は、実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるのと同じ意味を有する。

以下で仮定する道路環境は、道路を走行する複数の車両と道路周辺に設置された路側装置（Ｒｏａｄ Ｓｉｄｅ Ｅｑｕｉｐｍｅｎｔ、ＲＳＥ）を含む。
場合によって、一部の車両は、道路に停車又は駐車される場合がある。それぞれの車両は、無線協調通信（ｗｉｒｅｌｅｓｓ ｃｏｏｐｅｒａｔｉｖｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）を用いて他の車両及び路側装置と通信することができる。
路側装置は、例えば、道路周辺の特定位置に設けられるインフラ（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）として、路側装置から一定領域内に位置する車両と通信することができる。
他の例として、路側装置は、道路上の車両と区別される移動プラットフォーム（ｍｏｂｉｌｅ ｐｌａｔｆｏｒｍ）であってもよい。路側装置は、１つ以上のカメラを含んでもよい。

図１Ａは、本発明の一実施形態に係る複数の車両と路側装置とを含む道路環境における無線協調通信を説明するための図である。
図１Ａを参照すると、図には走行中の複数の車両（Ｖ１〜Ｖ７）と１つの路側装置１３０が存在する道路状況を上方から見下ろした様子を示している。

以下においては、車両Ｖ１（１１０）を基準となる現在の車両と仮定する。
車両Ｖ１（１１０）は、ＷＡＶＥ（Ｗｉｒｅｌｅｓｓ Ａｃｃｅｓｓ ｆｏｒ Ｖｅｈｉｃｕｌａｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ）のような無線通信方式を用いて他の車両又は路側装置１３０とデータを送受信することができる。
ＷＡＶＥは、高速に移動する車両環境に適合するように設計された移動通信技術である。
例えば、車両Ｖ１（１１０）は、走行中に、車両Ｖ２（１２０）又は路側装置１３０から画像データ及び交通関連データを受信したり、又は他の車両（Ｖ２〜Ｖ７）及び路側装置１３０に、自身が取得した画像データ及び交通関連データをブロードキャストすることができる。

路側装置１３０は、路側装置１３０に備わった画像取得装置を用いて道路状況を観測し、路側装置１３０の周辺領域を表示した周辺画像を取得することができる。
図１Ｂ〜１Ｄは、本発明の一実施形態に係る車両又は路側装置が観測できる領域を示す図である。
図１Ｂを参照すると、路側装置１３０がカメラのような画像取得装置を用いて観測することができる道路領域１４０を示す。
一般に、路側装置１３０は、車両（Ｖ１〜Ｖ７）に比べて相対的に高い位置から道路状況を観測することができる。この場合、路側装置１３０は、車両によって制限されずに画像取得装置が観測することができる範囲内の道路領域をそのまま観測することができる。

車両Ｖ１（１１０）及び車両Ｖ２（１２０）のそれぞれは、車両に備わった画像取得装置を用いて車両の周辺領域を観測し、車両の周辺領域が表示された周辺画像を取得する。
図１Ｃは、車両Ｖ１（１１０）が画像取得装置を用いて観測することができる道路領域１５０を示し、図１Ｄは、車両Ｖ２（１２０）が画像取得装置を用いて観測することができる道路領域１７０を示す。
車両Ｖ１（１１０）が観測することができる道路領域１５０は、他の車両（Ｖ２〜Ｖ６）によって制限され得、車両Ｖ２（１２０）が観測することができる道路領域１７０は、他の車両Ｖ１（１１０）、Ｖ３（１２５）、Ｖ４、Ｖ６、Ｖ７によって制限され得る。
例えば、車両Ｖ１（１１０）が観測することができる道路領域１５０は、車両Ｖ３（１２５）によって制限され、車両Ｖ１（１１０）は車両Ｖ３（１２５）の前方に位置する障害物１６０を観測することができない場合がある。

車両Ｖ１（１１０）は、無線協調通信を用いて他の車両及び路側装置１３０の内の少なくとも１つから道路領域を観測した画像情報を受信し、受信した画像情報を用いて車両Ｖ１（１１０）が観測することができる道路領域１５０より広い領域に関する画像情報を取得することができる。
図１Ｅは、本発明の一実施形態に係る無線協調通信によって取得可能な観測領域を説明するための図である。
例えば、車両Ｖ１（１１０）は、図１Ｅに示すように、車両Ｖ１（１１０）が観測した道路領域１５０に関する画像情報だけでなく、車両Ｖ２（１２０）が観測した道路領域１７０に関する画像情報、及び路側装置１３０が観測した道路領域１４０に関する画像情報を取得することができる。

図１Ｆは、本発明の一実施形態に係る無線協調通信によって取得可能な観測領域を説明するための図である。
車両Ｖ１（１１０）自身が観測した画像情報と車両Ｖ２（１２０）及び路側装置１３０のそれぞれから受信した画像情報とを結合する場合、車両Ｖ１（１１０）は、図１Ｆに示すように、車両Ｖ１（１１０）が観測することができる道路領域１５０に比べて拡張された道路領域１８０に関する画像情報を取得することができる。
また、道路領域１８０に関する画像情報は、道路の上方から道路状況を見下ろしたトップビュー画像（ｔｏｐ−ｖｉｅｗ ｉｍａｇｅ）の形態で車両Ｖ１（１１０）の運転者に提供されてもよい。

図１Ｆにおける斜線領域１９０のＴＩ２、ＴＩ３、及びＴＩ４は、それぞれ車両Ｖ２（１２０）、Ｖ３（１２５）、及びＶ４を上方から見下ろしたイメージに対応する。
車両Ｖ２（１２０）、Ｖ３（１２５）、及びＶ４を上方から見下ろした実際のイメージを取得することが難しい場合、ＴＩ２、ＴＩ３、及びＴＩ４は、仮想の車両イメージで表示したり、又は特定の色で満たしてもよい。
仮想の車両イメージで表示する場合、車両Ｖ１（１１０）に予め格納された車両イメージが用いられてもよく、又は車両Ｖ２（１２０）、Ｖ３（１２５）、及びＶ４から受信した車両イメージを用いてもよい。

運転者は、他の車両及び道路構造などによって視野が遮断されることがあり、もし、運転者の死角領域に障害物、移動物体、又は、事故現場などが存在する場合、事故の危険度が高くなり得る。
事故の危険度は、車両の速度が速い、又は天候によって路面状態が良くない場合により高くなり得る。
図１Ｆに示しているように、車両Ｖ１（１１０）自身が観測することができる道路領域１５０より拡張された道路領域１８０に関する情報を運転者に提供することができれば、運転の安全性及び運転の便宜性が増大し得る。

例えば、車両Ｖ１（１１０）は、拡張された道路領域１８０に関する情報を運転者に提供することによって、車両Ｖ１（１１０）の運転者は、車両Ｖ３（１２５）によって遮断されて観測することができなかった障害物１６０を識別し、今後発生し得る突発状況を予め認知することが可能となる。
また、後方に存在する車両Ｖ７（１４５）が相対的に速い速度で走行していると仮定すると、車両Ｖ１（１１０）の運転者は、拡張された道路領域１８０に関する情報を用いて車両Ｖ６（１３５）によって遮断されて観測することができなかった車両Ｖ７（１４５）の高速移動を認知することができ、車両Ｖ７（１４５）の高速移動に予め対処することが可能となる。
又は、運転者は、拡張された道路領域１８０に関する情報に基づいて車線変更を考慮することができ、運転の便宜性及び安全性が増大し得る。

図２は、本発明の一実施形態に係る車両周辺画像提供装置の構成及び動作を説明するためのブロック図である。
拡張された道路領域１８０に関する情報は、図２の車両周辺画像提供装置２００によって仮想視点画像の形態で提供される。
本発明の一実施形態によれば、各車両（Ｖ１〜Ｖ７）は、車両周辺画像提供装置２００を備えることができ、無線協調通信によって他の車両又は路側装置１３０が観測した領域の画像情報及び交通関連情報を取得することができる。
また、路側装置１３０も車両周辺画像提供装置２００を備えることができ、車両（Ｖ１〜Ｖ７）から観測した領域に関する画像情報及び交通関連情報を受信することができる。
以下においては、車両周辺画像提供装置２００に関して詳細に説明する。

以下の説明においては、車両周辺画像提供装置２００が現在の車両に備えられて動作すると仮定する。
車両周辺画像提供装置２００は、他の車両及び路側装置の内の少なくとも１つから受信した画像情報に基づいて現在の車両が観測することができる車両の周辺領域よりさらに広い領域を３６０度全方向で表示することができる。

図２を参照すると、車両周辺画像提供装置２００は、仮想視点画像生成器２２０、受信器２４０、拡張された仮想視点画像生成器２５０、及びディスプレイ２６０を含む。
車両周辺画像提供装置２００に含まれた各エレメントの動作は１つ以上のプロセッサによって行われてもよい。

仮想視点画像生成器２２０は、現在の車両の周辺領域を撮影した周辺画像に基づいて現在の車両に対する仮想視点画像を生成する。
仮想視点画像は、特定位置において、現在の車両の周辺領域を見下ろす仮想視点を有する。
仮想視点は、仮想視点画像の端から仮想視点を見上げる角度である高度角又は仮想視点の位置から現在の車両の周辺領域を見下ろす角度である視野角の角度情報を有し得る。

仮想視点画像生成器２２０は、例えば、現在の車両のフロントビュー、リアビュー、左サイドビュー、及び右サイドビューを撮影した周辺画像を結合して仮想のトップビュー画像を生成する。
トップビュー画像は、現在の車両の上方に設定された仮想視点から現在の車両の周辺領域を見下ろした画像である。
仮想視点画像生成器２２０は、周辺画像において現在の車両の位置を基準に近距離領域に対応するピクセル間の距離を減少させ、現在の車両の位置を基準に遠距離領域に対応するピクセル間の距離を増加させる方式によってトップビュー画像を生成する。

別の実施形態によれば、仮想視点画像生成器２２０は、他の車両の位置に基づいて、現在の車両に対する仮想視点画像を調整し、調整された仮想視点画像は、送信器２３０によって他の車両に送信される。
仮想視点画像生成器２２０は、他の車両の位置から現在の車両の周辺領域を観測する場合を仮定して仮想視点の位置及び仮想視点が見下ろす方向を設定し、設定結果に基づいて現在の車両に対する仮想視点画像を調整することができる。

もし、車両周辺画像提供装置２００が路側装置に備えられて、路側装置が十分に高い位置から道路状況を観測する場合、仮想視点画像生成器２２０の画像処理工程は省略してもよい。
また、別の実施形態によれば、車両周辺画像提供装置２００は、カメラ２１０をさらに含む。
カメラ２１０は、現在の車両の周辺領域を撮影して周辺画像を生成し、周辺画像を仮想視点画像生成器２２０に提供することができる。

受信器２４０は、他の車両から他の車両に対する仮想視点画像及び関連付加情報を受信する。
他の車両は、他の車両に備わったカメラによって他の車両の周辺画像を取得することができ、取得した周辺画像に基づいて、他の車両に対する仮想視点画像を生成することができる。
他の車両は、生成した他の車両に対する仮想視点画像及び関連付加情報を無線協調通信を用いて受信器２４０に送信することができる。

例えば、受信器２４０は、他の車両から他の車両の識別情報（ＩＤ情報）、他の車両の速度情報、他の車両に対する仮想視点画像が有する仮想視点の高さ情報、他の車両に対する仮想視点画像が有する仮想視点の角度情報、他の車両に対する仮想視点画像の解像度情報、他の車両によって算出された縮尺情報、他の車両の位置情報、他の車両を上方から見下ろした車両イメージ、及び他の車両によって測定された交通情報などの関連付加情報を受信する。
仮想視点の角度情報は、仮想視点に関する高度角情報又は視野角情報を含んでもよい。
仮想視点の高さ情報は、仮想視点画像がどの高さから車両の周辺領域を見下ろしたかを示す。
縮尺情報は、画像サイズに対する実際の道路面積間の比率に関する情報を示す。
交通情報は、センサ等によって検出した障害物、高速移動物体、又は交通信号などに関する情報を含んでもよい。

拡張された仮想視点画像生成器２５０は、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像に基づいて拡張された仮想視点画像を生成する。
拡張された仮想視点画像生成器２５０は、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像を適切に変換した後、変換された仮想視点画像を結合して拡張された仮想視点画像を生成する。
拡張された仮想視点画像は、仮想視点画像生成器２２０によって生成された現在の車両に対する仮想視点画像が示す領域よりさらに広い領域を含み得る。
拡張された仮想視点画像生成器２５０に関しては、図３においてより詳細に説明する。

別の実施形態によれば、受信器２４０は、路側装置から路側装置の周辺領域が撮影された周辺画像及び関連付加情報を受信する。
例えば、受信器２４０は、路側装置から観測領域に位置する車両の速度情報、周辺画像が有する視点の高さ情報、路側装置の位置情報、路側装置によって算出された縮尺情報、及び路側装置によって測定された交通情報などの関連付加情報を受信する。
受信器２４０が路側装置から路側装置が観測した周辺画像を受信する場合、拡張された仮想視点画像生成器２５０は、現在の車両に対する仮想視点画像、他の車両に対する仮想視点画像、及び路側装置から受信した周辺画像を結合して拡張された仮想視点画像を生成する。

もし、受信器２４０が他の車両及び路側装置から画像情報を受信しない場合、車両周辺画像提供装置２００は、拡張された仮想視点画像ではない、仮想視点画像生成器２２０によって生成された現在の車両に対する仮想視点画像を提供する。

ディスプレイ２６０は、拡張された仮想視点画像を出力する。
本発明の一実施形態によれば、拡張された仮想視点画像は、現在の車両の位置を中心に拡張された周辺領域を表示する。
拡張された仮想視点画像上に交通情報及び障害物情報を共に表示することも可能である。
運転者は、拡張された仮想視点画像によって車両周辺の道路状況及び交通情報を直観的に認知することができる。そのため、運転の便宜性が増大し、運転者の事故の危険に対する対処能力が向上して運転の安全性が増大し得る。

別の実施形態によれば、車両周辺画像提供装置２００は、送信器２３０をさらに含む。
送信器２３０は、現在の車両に対する仮想視点画像及び関連付加情報のうちの１つ以上を他の車両又は路側装置に送信する。
送信器２３０は、例えば、現在の車両の識別情報、現在の車両の速度情報、現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、現在の車両に対する仮想視点画像が有する仮想視点の角度情報、現在の車両に対する仮想視点画像の解像度情報、現在の車両によって算出された縮尺情報、現在の車両の位置情報、現在の車両を上方から見下ろした車両イメージ、又は現在の車両によって測定された交通情報などの関連付加情報を送信する。

図３は、本発明の一実施形態に係る拡張された仮想視点画像生成器の構成、動作をより詳細に説明するためのブロック図である。
図３を参照すると、拡張された仮想視点画像生成器２５０は、画像変換器３１０、画像整列器３２０、画像選択器３３０、及び画像構成器３４０を含む。
拡張された仮想視点画像生成器２５０に含まれた各エレメントの動作は１つ以上のプロセッサによって行われてもよい。

画像変換器３１０は、受信器２４０から他の車両に対する仮想視点画像を受信し、仮想視点画像生成器２２０から現在の車両に対する仮想視点画像を受信する。
画像変換器３１０は、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像が結合される前に、仮想視点画像の画像サイズ及び仮想視点位置の内の少なくとも１つを調整することができる。
例えば、画像変換器３１０は、仮想視点画像がカバーする縮尺が互いに同一になるように仮想視点画像の画像サイズを調整してもよい。
画像変換器３１０は、仮想視点画像が有する仮想視点の位置及び角度、又は、仮想視点画像がカバーする縮尺に関する情報を用いて仮想視点画像の画像サイズを調整してもよい。
また、画像変換器３１０は、仮想視点画像が有する仮想視点の位置の差を調整してもよい。
例えば、画像変換器３１０は、他の車両に対する仮想視点画像の仮想視点の高さが現在の車両に対する仮想視点画像の仮想視点の高さと同一になるように調整したり、又は、他の車両に対する仮想視点画像の仮想視点の位置を現在の車両に対する仮想視点画像の仮想視点の位置と同一になるように調整してもよい。

画像整列器３２０は、画像変換器３１０の調整結果に基づいて仮想視点画像を整列させ、仮想視点画像間の配置関係を決定する。
仮想視点画像が整列する際、特定領域が重なった重複領域が存在し得る。
例えば、画像整列器３２０は、現在の車両と他の車両との間の位置関係又は現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像との間の相関度に基づいて現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像を整列する。
現在の車両は、ビームフォーミング技術などを用いて現在の車両と他の車両との間の距離情報及び角度情報を推定することができ、画像整列器３２０は推定された情報を用いて現在の車両と他の車両との間の位置関係を決定することができる。

又は、現在の車両は、他の車両から他の車両のＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）情報を受信し、画像整列器３２０は、受信した他の車両のＧＰＳ情報と現在の車両のＧＰＳ情報に基づいて、現在の車両と他の車両との間の位置関係を決定することができる。
画像整列器３２０は、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像との間の相関度を用いて同一領域であると判断される重複領域を決定し、重複領域に基づいて仮想視点画像を整列させる。
仮想視点画像の特定領域において相関度が高いということは当該領域が同一の空間である確率が高いということを示す。
別の実施形態によれば、画像整列器３２０は、現在の車両と他の車両との間の位置関係に基づいて仮想視点画像を整列した後、追加的に仮想視点画像間の相関度を用いてさらに精密に仮想視点画像を再整列することもできる。

また別の実施形態によれば、画像整列器３２０の整列結果は、画像変換器３１０にフィードバックすることができる。
フィードバック工程によって仮想視点画像はより精密に再変換及び再配置され得る。
例えば、画像変換器３１０は、画像整列器３２０から出力された整列結果に基づいて、他の車両に対する仮想視点画像の仮想視点位置を調整したり、又は全体画像が１つの統一された仮想視点を有するように他の車両に対する仮想視点画像の仮想視点位置を現在の車両に対する仮想視点画像の視点位置に調整する。
１個の仮想視点のみを有するように複数の仮想視点画像を追加的に変換する場合、各仮想視点画像がそれぞれ異なる仮想視点を有する場合と比較した時、互いに重なる領域に対応する仮想視点画像が更に同様に同一の仮想視点画像にアクセスすることができる。
この場合、重なる領域の相関度が更に増加し得る。したがって、重なる領域の相関度値を用いた方法を画像整列器３２０で再度用いる場合、一次的に配置された２つの仮想視点画像が更に精密に再配置され得る。

画像選択器３３０は、仮想視点画像間に重複領域が存在する場合、重複領域にどの仮想視点画像を適用するのかを選択する。
例えば、画像選択器３３０は、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像のうち、画像解像度が高い仮想視点画像を重複領域に適用する仮想視点画像として選択する。
又は、他の車両から受信された仮想視点画像が結合される場合、画像選択器３３０は、通信品質がより良い車両から受信された仮想視点画像を重複領域に適用する仮想視点画像として選択する。
例えば、通信品質は、各車両に対して測定された信号対雑音比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ、ＳＮＲ）の大きさに基づいて決定してもよい。

画像構成器３４０は、画像選択器３３０の選択結果に基づいて仮想視点画像を結合することによって拡張された仮想視点画像を構成する。
画像構成器３４０は、例えば、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像とを結合して、画像情報、障害物情報、及び交通信号情報に基づいて拡張された仮想視点画像を生成することができる。
拡張された仮想視点画像は、車両内部のディスプレイ２６０によって運転者に提供される。

図４は、本発明の一実施形態に係る仮想視点画像生成器２２０の動作を説明するための図である。
図４を参照すると、現在の車両は、フロントカメラ４１０、リアカメラ４２０、左サイドカメラ４３０、及び右サイドカメラ４４０を備えている。

フロントカメラ４１０は、現在の車両のフロントに配置され、現在の車両のフロント領域を撮影してフロント画像を取得する。
リアカメラ４２０は、現在の車両のリアに配置され、現在の車両のリア領域を撮影してリア画像を取得する。
左サイドカメラ４３０は、現在の車両の左サイドに配置され、現在の車両の左サイド領域を撮影して左サイド画像を取得する。
右サイドカメラ４４０は、現在の車両の右サイドに配置され、現在の車両の右サイド領域を撮影して右サイド画像を取得する。

仮想視点画像生成器２２０は、それぞれのカメラ（４１０、４２０、４３０、４４０）から受信したフロント画像、リア画像、左サイド画像、及び右サイド画像を結合して現在の車両に対する仮想視点画像を生成する。
図５は、本発明の一実施形態に係る仮想視点画像生成器２２０によって生成された現在の車両に対する仮想視点画像の一例を示す図である。
図５を参照すると、仮想視点画像５００は、現在の車両の上方に存在する仮想視点から見下ろした現在の車両の周辺領域を含む。
現在の車両の車両イメージ５１０は、予め格納された車両イメージを用いてもよい。
フロント画像は第１領域５２０を構成し、リア画像は第２領域５３０を構成する。
左サイド画像は第３領域５４０を構成し、右サイド画像は第４領域５５０を構成する。

図６は、本発明の一実施形態に係る仮想視点画像生成器２２０によって生成された現在の車両に対する仮想視点画像を説明するための図である。
図６を参照すると、車両Ｖ１（１１０）は、車両Ｖ１（１１０）に備わったフロントカメラ４１０、リアカメラ４２０を用いて車両Ｖ１（１１０）周辺の画像情報６２０を取得する。
このように取得された画像情報６２０は、高度角が低くいため、運転者に広い領域の交通状況を提供するのに困難がある。
仮想視点画像生成器２２０は、画像情報６２０を高い高度角を有した仮想視点６１０から見下ろした仮想の画像情報６３０に変換することができる。
仮想視点画像生成器２２０は、例えば、画像情報６２０において車両Ｖ１（１１０）から近い距離に位置すると判断した画像ピクセル間の距離を減少させ、車両Ｖ１（１１０）から遠い距離に位置すると判断した画像ピクセル間の距離を増加させる信号処理方法を用いて画像情報６２０の高度角を増加させることができる。

図７〜図９は、本発明の一実施形態に係る画像変換器３１０が仮想視点画像を変換する動作を説明するための図である。
以下においては、車両Ｖ１（１１０）が基準となる現在の車両であり、車両Ｖ２（１２０）が現在の車両と区別される他の車両と仮定する。
また、車両周辺画像提供装置２００は車両Ｖ１（１１０）に備えられて動作すると仮定する。

図７に示す一例のように、車両Ｖ１（１１０）の仮想視点画像６３０と車両Ｖ２（１２０）の仮想視点画像７２０との間において、画像サイズは互いに近似する。
しかし、仮想視点間の高さの差、又は車両速度間の差によって仮想視点画像６３０と仮想視点画像７２０が示す実際の縮尺は互いに異なり得る。
したがって、仮想視点画像６３０と仮想視点画像７２０とを結合して拡張された仮想視点画像を生成する際、仮想視点画像（６３０、７２０）を互いにマッチングさせる必要があり、このために、画像変換器３１０は画像サイズ及び仮想視点の位置などを調整することができる。

図８は、仮想視点画像６３０の画像サイズを調整した仮想視点画像８３０と仮想視点画像７２０の画像サイズを調整した仮想視点画像８６０を示す。
画像変換器３１０は、仮想視点画像６３０の仮想視点６１０が有する視点の高さ８１０、又は高度角８２０に基づいて画像サイズを調整した仮想視点画像８３０を生成することができる。
同様に、画像変換器３１０は、車両Ｖ２（１２０）の仮想視点画像７２０に対しても仮想視点画像７２０の仮想視点７１０が有する視点の高さ８４０、又は高度角８５０に基づいて画像サイズを調整した仮想視点画像８６０を生成することができる。
ここで、高度角の代わりに仮想視点（６１０、７１０）の視野角が用いられてもよい。

別の実施形態によれば、車両Ｖ１（１１０）に備わった受信器２４０は、車両Ｖ２（１２０）から仮想視点画像７２０が示す実際の縮尺に関する情報を受信する。
画像変換器３１０は、受信した縮尺に関する情報に基づいて、仮想視点画像６３０が示す実際の縮尺と仮想視点画像７２０が示す実際の縮尺が同一になるように仮想視点画像（６３０、７２０）間の画像サイズを調整することも可能である。

一方、仮想視点画像６３０が有する仮想視点６１０と仮想視点画像７２０が有する仮想視点７１０との間の高さの差が大きい場合、２つの仮想視点画像（６３０、７２０）を単純結合しても生成された画像は視差によって不自然になることがある。
したがって、仮想視点画像６３０と仮想視点画像７２０を結合する前に、２つの仮想視点画像（６３０、７２０）間で仮想視点の高さをマッチングさせる必要がある。
画像変換器３１０は、仮想視点画像（６３０、７２０）の画像サイズを調整した後、仮想視点の高さを調整することができる。
一実施形態によれば、画像変換器３１０は、画像サイズを調整した仮想視点画像８６０が有する仮想視点７１０の視点の高さ８４０を、画像サイズを調整した仮想視点画像８３０が有する仮想視点６１０の視点の高さ８１０と同一に調整する。

図９は、画像サイズを調整した仮想視点画像８３０が有する仮想視点６１０の視点の高さ８１０を基に画像サイズを調整した仮想視点画像８６０の視点の高さを調整した仮想視点画像９４０を示す。
画像変換器３１０は、例えば、画像サイズを調整した仮想視点画像８６０の高度角８５０（図８）を高度角９３０に調整して仮想視点７１０を視点の高さ９２０を有する仮想視点９１０に調整する。
ここで、視点の高さ９２０は、画像サイズを調整した仮想視点画像８３０の仮想視点６１０が有する視点の高さ８１０と同一である。

図１０及び図１１は、本発明の一実施形態に係る画像整列器３２０の動作を説明するための図である。
画像整列器３２０は、画像変換器３１０から出力された仮想視点画像間の配置関係を決定して仮想視点画像を整列させることができる。

図１０の一例では、車両Ｖ１（１１０）の仮想視点画像１０１０と車両Ｖ２（１２０）の仮想視点画像１０２０との間の配置関係を示している。
画像整列器３２０は、仮想視点画像１０１０と仮想視点画像１０２０との間の配置関係を決定するために、車両Ｖ１（１１０）と車両Ｖ２（１２０）との間の距離及び角度情報、又は、車両Ｖ１（１１０）と車両Ｖ２（１２０）との位置情報を用いてもよい。
又は、画像整列器３２０は、仮想視点画像１０１０と仮想視点画像１０２０との間の相関度に基づいて、仮想視点画像１０１０と仮想視点画像１０２０との間の配置関係を決定してもよい。
画像整列器３２０は、仮想視点画像１０１０と仮想視点画像１０２０との間において相関度が高い領域を互いに重なるようにして仮想視点画像（１０１０、１０２０）を整列させる。

仮想視点画像（１０１０、１０２０）を整列させた結果、仮想視点画像（１０１０、１０２０）間の重複領域１０３０が決定される。
ここで、仮想視点画像（１０１０、１０２０）は、画像変換器３１０によって画像サイズ及び仮想視点の位置の内の１つ以上が調整された仮想視点画像であってもよい。
重複領域１０３０は、仮想視点画像１０１０と仮想視点画像１０２０との間において互いに同一の空間を観測したものと判断される領域を示す。

図１１は、画像整列器３２０が、車両Ｖ１（１１０）の仮想視点画像１０１０、車両Ｖ２（１２０）の仮想視点画像１０２０、及び車両Ｖ７（１１１０）の仮想視点画像１１２０を整列させる工程を説明するための図である。
本実施形態によれば、画像整列器３２０は、車両Ｖ１（１１０）と車両Ｖ２（１２０）との間の距離情報１１４０及び角度情報１１５０を用いて仮想視点画像１０１０と仮想視点画像１０２０との間の配置関係を決定する。
例えば、車両Ｖ１（１１０）は、センサ又は多重アンテナ装置などを用いて車両Ｖ１（１１０）と車両Ｖ２（１２０）との間の距離、及び車両Ｖ２（１２０）が位置する方向を推定することができ、この推定結果に基づいて仮想視点画像（１０１０、１０２０）間の配置関係を決定することができる。

もし、車両Ｖ１（１１０）と車両Ｖ７（１１１０）との間に障害物が存在して車両Ｖ１（１１０）と車両Ｖ７（１１１０）との間の距離情報及び角度情報を推定できないと仮定すると、画像整列器３２０は、車両Ｖ１（１１０）の位置情報及び車両Ｖ７（１１１０）の位置情報を用いて仮想視点画像１０１０と仮想視点画像１１２０との間の配置関係を決定することができる。
ここで、仮想視点画像１１２０は、画像変換器３１０によって画像サイズ及び仮想視点の位置の内の１つ以上が調整された仮想視点画像であってもよい。
他の例として、画像整列器３２０は、仮想視点画像（１０１０、１０２０、１１２０）間の相関度を決定して、相関度が高い領域を重複させて整列させることによって仮想視点画像（１０１０、１０２０、１１２０）間の配置関係を決定することができる。

また、一実施形態によれば、画像整列器３２０は、車両Ｖ１（１１０）、Ｖ２（１２０）、Ｖ７（１１１０）間の位置関係に基づいて、仮想視点画像（１０１０、１０２０、１１２０）を一次的に配置させた後、仮想視点画像（１０１０、１０２０、１１２０）間の相関度を用いて仮想視点画像（１０１０、１０２０、１１２０）をより精密に再配置することができる。

仮想視点画像（１０１０、１０２０、１１２０）を整列させた結果、仮想視点画像（１０１０、１０２０、１１２０）間の重複領域（１０３０、１１３０）が決定される。
又は、仮想視点画像（１０１０、１０２０、１１２０）間の相関度が予め設定された基準を満たす領域は、重複領域（１０３０、１１３０）として決定されてもよい。

図１２は、本発明の一実施形態に係る画像変換器３１０と画像整列器３２０との間のフィードバック工程を説明するための図である。
場合によって、複数の仮想視点画像が結合されて形成された全体画像は、複数の仮想視点ではない１つの統一された仮想視点を有するように構成されてこそ自然な表現がなされ得る。
このために、画像整列器３２０の整列結果が再び画像変換器３１０にフィードバックされてもよい。
例えば、画像整列器３２０によって車両Ｖ１（１１０）の仮想視点画像と車両Ｖ２（１２０）の仮想視点画像が一次的に整列した後、車両Ｖ２（１２０）の仮想視点画像が再び画像変換器３１０に入力されてもよい。

画像変換器３１０は、フィードバックされた車両Ｖ２（１２０）の仮想視点画像の仮想視点を車両Ｖ１（１１０）の仮想視点画像の仮想視点の位置に調整することで、これによって全体画像が１つの統一された仮想視点を有するようになり、拡張された仮想視点画像がより自然に表現され得る。
また、フィードバック工程によって仮想視点画像は、より精密に整列させることができる。
例えば、仮想視点画像が統一された仮想視点を有するように変換される場合、仮想視点画像間において重複領域に対する相関度がさらに増加し、画像整列器３２０はこのような相関度情報を用いて一次的に配置された仮想視点画像をより精密に再配置することができる。

図１３〜図１５は、本発明の一実施形態に係る画像整列器３２０から出力され得る結果を説明するための図である。
図１３は、画像サイズが調整された車両Ｖ１（１１０）の仮想視点画像８３０と画像サイズが調整された車両Ｖ２（１２０）の仮想視点画像８６０を整列させた結果を示す。
仮想視点画像８３０の仮想視点６１０及び仮想視点画像８６０の仮想視点７１０は、互いに異なる位置を有する。
仮想視点画像８３０と仮想視点画像８６０は、重複領域１３１０を形成する。

図１４は、図１３の例とは異なり、仮想視点画像８６０が有する仮想視点７１０の視点の高さを追加的に仮想視点画像８３０が有する仮想視点６１０の視点の高さと同一に調整した結果を示す。
視点の高さが追加的に調整された仮想視点画像９４０（仮想視点９１０）と仮想視点画像８３０は重複領域１４１０を形成する。

図１３及び図１４は、拡張された仮想視点画像において、複数の仮想視点が分散して位置する場合を仮定した場合を示す。
これとは別に、図１５は、画像整列器３２０の整列結果を画像変換器３１０にフィードバックして、その結果の画像が１つの統一された仮想視点１５１０を有するように調整した結果を示す。
車両Ｖ１（１１０）の仮想視点画像８３０及び車両Ｖ２（１２０）の仮想視点画像１５２０は１つの統一された仮想視点１５１０を有する。
仮想視点画像８３０と仮想視点画像１５２０は重複領域１５３０を形成する。

図１６は、本発明の一実施形態に係る画像選択器３３０の動作を説明するための図である。
図１６を参照すると、車両Ｖ１（１１０）の仮想視点画像１６１０、車両Ｖ２（１２０）の仮想視点画像１６２０、及び車両Ｖ７（１１１０）の仮想視点画像１６３０を図１６に示して整列させたものと仮定する。
仮想視点画像１６１０と仮想視点画像１６２０は重複領域１６５０を形成し、仮想視点画像１６２０と仮想視点画像１６３０は重複領域１６４０を形成する。
領域１６６０は拡張された仮想視点画像の全体画像において確認が不可能な領域を示す。

画像選択器３３０は、仮想視点画像（１６１０、１６２０）のうち、重複領域１６５０にどの仮想視点画像を適用するのか、及び仮想視点画像（１６２０、１６３０）のうち、重複領域１６４０にどの仮想視点画像を適用するのかを決定する。
画像選択器３３０は、画像解像度又は通信品質に基づいて重複領域（１６４０、１６５０）に適用される仮想視点画像を選択する。
例えば、仮想視点画像１６１０の画像解像度が仮想視点画像１６２０より高いと仮定すると、画像選択器３３０は重複領域１６５０に仮想視点画像１６１０の画像情報を適用する。

又は、画像選択器３３０は、信号対雑音比（ＳＮＲ）の大きさに基づいて重複領域１６５０に適用する仮想視点画像を決定してもよい。
受信器２４０が備わった車両Ｖ１（１１０）の信号対雑音比は最大値であると仮定してもよく、この場合、重複領域１６５０に信号対雑音比がより大きい仮想視点画像１６１０の画像情報が適用され得る。
また、受信器２４０で測定した車両Ｖ２（１２０）の信号対雑音比が車両Ｖ７（１１１０）の信号対雑音比より大きいと仮定すると、画像選択器３３０は、重複領域１６４０に仮想視点画像１６２０の画像情報が適用され得る。
信号対雑音比が互いに近似する場合には、画像解像度がより大きい仮想視点画像の画像情報が重複領域に適用され得る。

図１７及び図１８は、本発明の一実施形態に係る画像構成器３４０の動作を説明するための図である。
図１７を参照すると、画像構成器３４０は、画像選択器３３０の選択結果に基づいて仮想視点画像を組み合わせ、拡張された仮想視点画像に対する全体画像を構成する。

図１７に示した全体画像は、図１６の一例において決定された選択結果に基づいたものである。
拡張された仮想視点画像は、車両Ｖ１（１１０）に関する仮想視点画像の画像情報１７１０、車両Ｖ２（１２０）に関する仮想視点画像の画像情報１７２０、及び車両Ｖ７（１１１０）に関する仮想視点画像の画像情報１７３０を含む。
領域１７４０は、画像情報が提供されない領域であって、領域１７４０は、特定の色で表示したり、領域１７４０に輝く効果のような特殊効果が適用してもよい。

図１８は、仮想視点画像を組み合わして拡張された仮想視点画像を構成し、障害物情報及び交通情報を画像情報と共に出力した一例を示す。
特定車両を上方から見下ろした画像イメージ１８１０は、実際に観測された車両イメージ又は仮想の車両イメージで表示したり、特定の色で満たして表示してもよい。
障害物に関する情報は、領域１８２０のように特定の色で表示されたり、輝く効果のような特殊効果を適用して表示してもよい。
また、制限速度、現在の交通信号、高速移動車両、又は取り締まりカメラの配置などに関する交通情報も拡張された仮想視点画像内に同時に出力してもよい。
領域１８３０は、拡張された仮想視点画像内に表示される交通信号情報を示す。
領域１８３０に表示される交通信号情報は、色の変化によって運転者に交通の流れに関する予測を可能にして運転者に運転の便宜性を提供することができる。

図１９は、本発明の一実施形態に係る車両周辺画像提供方法の動作を説明するためのフローチャートである。
車両周辺画像提供方法は、車両周辺画像提供装置によって行われる。
図１９を参照すると、まず、車両周辺画像提供装置は、ステップＳ１９１０で、現在の車両の周辺領域を撮影した周辺画像に基づいて現在の車両に対する仮想視点画像を生成する。
車両周辺画像提供装置は、例えば、現在の車両の周辺画像において現在の車両の位置を基準として近距離領域に対応するピクセル間の距離を減少させ、現在の車両の位置を基準として遠距離領域に対応するピクセル間の距離を増加させる方式を用いて仮想の視点画像を生成する。

次に、車両周辺画像提供装置はステップＳ１９２０にて、選択的に現在の車両に対する仮想視点画像及び付加情報を他の車両又は路側装置に送信する。
例えば、車両周辺画像提供装置は、現在の車両の識別情報、現在の車両の速度情報、現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、現在の車両に対する仮想視点画像が有する仮想視点の角度情報、現在の車両に対する仮想視点画像の解像度情報、現在の車両によって算出された縮尺情報、現在の車両の位置情報、現在の車両を上方から見下ろした車両イメージ、又は現在の車両によって測定された交通情報などの付加情報を他の車両又は路側装置に送信する。

別の実施形態によれば、車両周辺画像提供装置は、他の車両位置に基づいて現在の車両に対する仮想視点画像が有する仮想視点の位置を調整した後、調整された仮想視点画像を送信することができる。

次に、車両周辺画像提供装置はステップＳ１９３０にて、他の車両から他の車両に対する仮想視点画像及び付加情報の内の少なくとも１つを受信する。
例えば、車両周辺画像提供装置は、他の車両から他の車両の識別情報、他の車両の速度情報、他の車両に対する仮想視点画像が有する仮想視点の高さ情報、他の車両に対する仮想視点画像が有する仮想視点の角度情報、他の車両に対する仮想視点画像の解像度情報、他の車両によって算出された縮尺情報、他の車両の位置情報、他の車両を上方から見下ろした車両イメージ、及び他の車両によって測定された交通情報などの付加情報を受信する。

次に、車両周辺画像提供装置はステップＳ１９４０にて、選択的に路側装置から路側装置が観測した周辺画像及び付加情報のうち少なくとも１つを受信する。
例えば、車両周辺画像提供装置は、路側装置から観測領域に位置する車両の速度情報、周辺画像が有する視点の高さ情報、路側装置の位置情報、路側装置によって算出された縮尺情報、及び路側装置によって測定された交通情報などの付加情報を受信する。

また、ステップＳ１９４０にて、路側装置から路側装置が観測した周辺画像を受信する場合、車両周辺画像提供装置は、現在の車両に対する仮想視点画像、他の車両に対する仮想視点画像、及び路側装置が観測した周辺画像を結合して拡張された仮想視点画像を生成し得る。

次に、車両周辺画像提供装置はステップＳ１９５０にて、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像を結合して拡張された仮想視点画像を生成する。
車両周辺画像提供装置は、仮想視点画像の画像サイズ及び仮想視点位置などを調整した後、仮想視点画像を整列させて合成することによって拡張された仮想視点画像を生成する。
ステップＳ１９５０に関しては、図２０においてより詳細に説明する。

次に、車両周辺画像提供装置はステップＳ１９６０にて、拡張された仮想視点画像を出力する。
拡張された仮想視点画像内に関連交通情報が同時に提供されてもよい。

以上において、ステップＳ１９１０からステップＳ１９６０の順に車両周辺画像提供方法を説明したが、実施形態の範囲は、図１９に示したステップ間の順序によって限定されると解釈されてはならず、ステップ間の順序は互いに前後してもよい。
例えば、ステップＳ１９１０は、ステップＳ１９３０又はステップＳ１９４０の次に行われてもよく、ステップＳ１９３０は、ステップＳ１９１０又はステップＳ１９２０の前に行われてもよい。
また、ステップＳ１９４０は、ステップＳ１９１０、ステップＳ１９２０又はステップＳ１９３０の前に行われてもよい。

図２０は、本発明の一実施形態に係る拡張された仮想視点画像を生成する動作をより具体的に説明するためのフローチャートである。
まず、車両周辺画像提供装置はステップＳ２０１０にて、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像の内の少なくとも１つを変換する。
例えば、車両周辺画像提供装置は、仮想視点画像が同一の縮尺を用いることができるように仮想視点画像の画像サイズを調整したり、又は、仮想視点画像で仮想視点の位置を調整してもよい。

次に、車両周辺画像提供装置はステップＳ２０２０にて、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像を整列させる。
車両周辺画像提供装置は、仮想視点画像が生成された車両間の位置関係又は仮想視点画像間の相関度に基づいて仮想視点画像の配置関係を決定する。
仮想視点画像を整列させた結果、仮想視点画像間の重複領域が決定される。

次に、車両周辺画像提供装置はステップＳ２０３０にて、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像のうち、重複領域に適用される仮想視点画像を選択する。
車両周辺画像提供装置は、重複領域に画像解像度が高い仮想視点画像の画像情報を適用したり、又は、信号対雑音比がさらに高い車両から送信された仮想視点画像の画像情報を適用することができる。

次に、車両周辺画像提供装置はステップＳ２０４０にて、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像を結合して拡張された仮想視点画像を生成する。
拡張された仮想視点画像は、現在の車両の位置に基づいて再構成されてもよく、周辺領域に関する画像情報と共に交通関連情報を示してもよい。

以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで実現し得る。
例えば、実施形態で説明した装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる多様な装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現してもよい。

車両周辺画像提供装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションとして実行され得る。
また、車両周辺画像提供装置は、ソフトウェアアプリケーションの実行に応答して、データをアクセス、格納、操作、処理、及び生成してもよい。
理解の便宜のために、車両周辺画像提供装置は単体として使用されるものとして説明される場合もあるが、当該の技術分野で通常の知識を有する者は、車両周辺画像提供装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数の類型の処理要素を含んでいることが分かる。
例えば、車両周辺画像提供装置は、複数のプロセッサ又は１つのプロセッサ、及び１つのコントローラを含んでもよい。
また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又は、これらのうちの１つ以上の組み合わせを含んでもよく、所望通りに動作するように車両周辺画像提供装置を構成したり独立的又は結合的に車両周辺画像提供装置を命令する。
ソフトウェア及び／又はデータは、車両周辺画像提供装置によって解釈されたり車両周辺画像提供装置に命令又はデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波にて永久的に又は一時的に具体化できる。
ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納され、実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータ読取可能な記録媒体に格納され得る。

本発明の実施形態に係る車両周辺画像提供方法は、多様なコンピュータ手段を介して実施することができるプログラム命令の形態で実現され得、コンピュータで読取可能な媒体に記録され得る。
記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含んでもよい。
記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。

コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。
プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。
上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１１０ 車両Ｖ１（現在の車両）
１２０ 車両Ｖ２（他の車両）
１３０ 路側装置
２００ 車両周辺画像提供装置
２１０ カメラ
２２０ 仮想視点画像生成器
２３０ 送信器
２４０ 受信器
２５０ 拡張された仮想視点画像生成器
２６０ ディスプレイ
３１０ 画像変換器
３２０ 画像整列器
３３０ 画像選択器
３４０ 画像構成器
４１０、４２０、４３０、４４０ （フロント、リア、左サイド、右サイド）カメラ

Claims (16)

1. 走行する道路の路側に設置された画像取得装置を含む路側装置から、該路側装置の周辺領域を撮影した周辺画像と、前記路側装置から観測領域に位置する車両の速度情報、前記周辺画像が有する視点の高さ情報、前記路側装置の位置情報、前記路側装置によって算出された縮尺情報、及び前記路側装置によって測定された交通情報の内の少なくとも１つ以上を含む付加情報と、を受信するステップと、
   現在の車両の車両に備わった画像取得装置を用いて撮影した少なくとも１つの周辺画像に基づいて、前記現在の車両に対する仮想視点画像を生成するステップと、
   他の車両から該他の車両に対する仮想視点画像、及び前記他の車両から付加情報を受信するステップと、
   前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像と前記路側装置から受信した前記路側装置の周辺領域を撮影した周辺画像と、を結合して拡張された仮想視点画像を生成するステップと、
   前記拡張された仮想視点画像を出力するステップと、を有し、
   前記他の車両から受信した付加情報は、前記他の車両の識別情報、前記他の車両の速度情報、前記他の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記他の車両に対する仮想視点画像が有する仮想視点の角度情報、前記他の車両に対する仮想視点画像の解像度情報、前記他の車両によって算出された縮尺情報、前記他の車両の位置情報、及び前記他の車両によって測定された交通情報の内の少なくとも１つを含み、
   前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像の画像情報及び前記他の車両に対する仮想視点画像の画像情報を、前記他の車両から受信した１つ以上の付加情報と結合させるステップを含み、
   前記拡張された仮想視点画像を出力するステップは、前記拡張された仮想視点画像をディスプレイに出力するステップと、を含み、
   前記拡張された仮想視点画像を生成するステップは、前記現在の車両と前記他の車両との間の位置関係、又は前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の相関度に基づいて、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像を整列させるステップを含み、
   前記拡張された仮想視点画像を生成するステップは、前記整列させた結果に基づいて前記他の車両に対する仮想視点画像が有する仮想視点の位置を前記現在の車両に対する仮想視点画像が有する仮想視点の位置に調整するステップをさらに含むことを特徴とする車両周辺画像提供方法。
2. 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも１つの仮想視点画像の仮想視点位置を調整するステップと、
   前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことを特徴とする請求項１に記載の車両周辺画像提供方法。
3. 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも１つの仮想視点画像の画像サイズを調整するステップと、
   前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことを特徴とする請求項１又は２に記載の車両周辺画像提供方法。
4. 前記画像サイズを調整するステップは、仮想視点画像が有する仮想視点の位置情報、前記仮想視点の角度情報、及び縮尺情報の内の少なくとも１つに基づいて前記画像サイズを調整することを特徴とする請求項３に記載の車両周辺画像提供方法。
5. 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択するステップと、
   前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成するステップと、を含むことを特徴とする請求項１に記載の車両周辺画像提供方法。
6. 前記重複領域に適用される仮想視点画像を選択するステップは、画像解像度又は通信品質の少なくとも１つに基づいて前記重複領域に適用される仮想視点画像を選択することを特徴とする請求項５に記載の車両周辺画像提供方法。
7. 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像、前記他の車両に対する仮想視点画像、及び前記路側装置から受信した周辺画像を結合して前記拡張された仮想視点画像を生成することを特徴とする請求項１乃至６のいずれか一項に記載の車両周辺画像提供方法。
8. 前記現在の車両に対する仮想視点画像を、前記他の車両及び路側装置の内の少なくとも１つに送信するステップをさらに含むことを特徴とする請求項１乃至７のいずれか一項に記載の車両周辺画像提供方法。
9. 前記他の車両の位置に基づいて、前記現在の車両に対する仮想視点画像が有する仮想視点の位置を調整するステップと、
   前記仮想視点の位置が調整された現在の車両に対する仮想視点画像を前記他の車両に送信するステップと、をさらに有することを特徴とする請求項１乃至８のいずれか一項に記載の車両周辺画像提供方法。
10. 前記他の車両に付加情報を送信するステップをさらに有し、
    前記他の車両に送信される付加情報は、前記現在の車両の識別情報、前記現在の車両の速度情報、前記現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記現在の車両に対する仮想視点画像が有する仮想視点の角度情報、前記現在の車両に対する仮想視点画像の解像度情報、前記現在の車両によって算出された縮尺情報、前記現在の車両の位置情報、及び前記現在の車両によって測定された交通情報の内の少なくとも１つを含むことを特徴とする請求項１乃至９のいずれか一項に記載の車両周辺画像提供方法。
11. 前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも１つの周辺画像に基づいて前記現在の車両のトップビュー画像を生成するステップを含むことを特徴とする請求項１乃至１０のいずれか一項に記載の車両周辺画像提供方法。
12. 前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも１つの周辺画像において、前記現在の車両の位置を中心に近距離領域に対応するピクセル間の距離を減少させ、前記現在の車両の位置を中心に遠距離領域に対応するピクセル間の距離を増加させることによって前記トップビュー画像を生成するステップを含むことを特徴とする請求項１１に記載の車両周辺画像提供方法。
13. 前記拡張された仮想視点画像は、前記現在の車両に対する仮想視点画像が示す領域よりさらに広い領域を全方向に表示することを特徴とする請求項１乃至１２のいずれか一項に記載の車両周辺画像提供方法。
14. 前記現在の車両と区別される路側装置から前記現在の車両の少なくとも１つの周辺画像を受信するステップをさらに有することを特徴とする請求項１乃至１３のいずれか一項に記載の車両周辺画像提供方法。
15. ハードウェアと結合して請求項１乃至１４のいずれか一項に記載の車両周辺画像提供方法を実行させるプログラムが記録されたことを特徴とするコンピュータ読取可能記録媒体。
16. 路側装置から該路側装置の周辺領域を撮影した周辺画像と、前記路側装置から観測領域に位置する車両の速度情報、前記周辺画像が有する視点の高さ情報、前記路側装置の位置情報、前記路側装置によって算出された縮尺情報、及び前記路側装置によって測定された交通情報の内の少なくとも１つ以上を含む付加情報と、他の車両から該他の車両に対する仮想視点画像と、前記他の車両から付加情報と、を受信する受信器と、
    現在の車両の車両に備わった画像取得装置を用いて撮影した少なくとも１つの周辺画像に基づいて前記現在の車両に対する仮想視点画像を生成する仮想視点画像生成器と、
    前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像と前記路側装置から受信した前記路側装置の周辺領域を撮影した周辺画像とを結合して拡張された仮想視点画像を表示するディスプレイと、を有し、
    前記他の車両から受信した付加情報は、前記他の車両の識別情報、前記他の車両の速度情報、前記他の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記他の車両に対する仮想視点画像が有する仮想視点の角度情報、前記他の車両に対する仮想視点画像の解像度情報、前記他の車両によって算出された縮尺情報、前記他の車両の位置情報の内の少なくとも１つを含み、
    前記仮想視点画像生成器は、現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも１つの仮想視点画像の、仮想視点位置及び画像サイズの内の少なくとも１つを調整する画像変換器と、
    前記調整した結果及び前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の相関度に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを整列させる画像整列器と、
    前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択する画像選択器と、
    前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成する画像構成器と、を含み、
    画像変換器は、前記画像整列器から出力された整列結果に基づいて、他の車両に対する仮想視点画像の仮想視点位置の調整、又は全体画像が１つの統一された仮想視点を有するように他の車両に対する仮想視点画像の仮想視点位置を現在の車両に対する仮想視点画像の視点位置の調整をさらに行うことを特徴とする車両周辺画像提供装置。

Images