JP6836327B2 - 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体 - Google Patents
車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体 Download PDFInfo
- Publication number
- JP6836327B2 JP6836327B2 JP2016048068A JP2016048068A JP6836327B2 JP 6836327 B2 JP6836327 B2 JP 6836327B2 JP 2016048068 A JP2016048068 A JP 2016048068A JP 2016048068 A JP2016048068 A JP 2016048068A JP 6836327 B2 JP6836327 B2 JP 6836327B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- vehicle
- viewpoint image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002093 peripheral effect Effects 0.000 title claims description 135
- 238000000034 method Methods 0.000 title claims description 38
- 238000004891 communication Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
このような先端技術のうち、車両の周辺環境を撮影して表示することによって運転者が車両の周辺環境を肉眼で簡便に確認できるようにするアラウンドビューモニタ(Around View Monitoring、AVM)がある。アラウンドビューモニタは、車両のフロント、リア、左サイド及び右サイドにそれぞれ設置されたカメラを用いて車両の周辺環境を撮影し、撮影された画像に基づいて車両の周辺領域を画面に表示する。
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも1つの仮想視点画像の画像サイズを調整するステップと、前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことが好ましい。
前記画像サイズを調整するステップは、仮想視点画像が有する仮想視点の位置情報、前記仮想視点の角度情報、及び縮尺情報の内の少なくとも1つに基づいて前記画像サイズを調整することが好ましい。
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択するステップと、前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成するステップと、を含むことが好ましい。
前記重複領域に適用される仮想視点画像を選択するステップは、画像解像度又は通信品質の少なくとも1つに基づいて前記重複領域に適用される仮想視点画像を選択することが好ましい。
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像、前記他の車両に対する仮想視点画像、及び前記路側装置から受信した周辺画像を結合して前記拡張された仮想視点画像を生成することが好ましい。
前記現在の車両に対する仮想視点画像を、前記他の車両及び路側装置の内の少なくとも1つに送信するステップをさらに含むことが好ましい。
前記他の車両の位置に基づいて、前記現在の車両に対する仮想視点画像が有する仮想視点の位置を調整するステップと、前記仮想視点の位置が調整された現在の車両に対する仮想視点画像を前記他の車両に送信するステップと、をさらに有することが好ましい。
前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも1つの周辺画像に基づいて前記現在の車両のトップビュー画像を生成するステップを含むことが好ましい。
前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも1つの周辺画像において、前記現在の車両の位置を中心に近距離領域に対応するピクセル間の距離を減少させ、前記現在の車両の位置を中心に遠距離領域に対応するピクセル間の距離を増加させることによって前記トップビュー画像を生成するステップを含むことが好ましい。
前記拡張された仮想視点画像は、前記現在の車両に対する仮想視点画像が示す領域よりさらに広い領域を全方向に表示することが好ましい。
前記現在の車両と区別される路側装置から前記現在の車両の少なくとも1つの周辺画像を受信するステップをさらに有することが好ましい。
また、様々な付加情報を運転者に提供して危険を予め予測して知らせることによって運転の安全性及び運転の便宜性が増大し得るという効果がある。
下記の特定の構造的ないし機能的説明は、単に実施形態を説明するための目的で例示したものであって、実施形態の範囲が本文に説明した内容に限定されると解釈されてはならない。
関連技術分野における通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。
また、各図面に提示された同一の参照符号は同一の部材を示し、公知された機能及び構造は省略する。
異なる定義がされない限り、技術的であるか科学的な用語を含み、ここで用いられる全ての用語は、実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるのと同じ意味を有する。
場合によって、一部の車両は、道路に停車又は駐車される場合がある。それぞれの車両は、無線協調通信(wireless cooperative communication)を用いて他の車両及び路側装置と通信することができる。
路側装置は、例えば、道路周辺の特定位置に設けられるインフラ(infrastructure)として、路側装置から一定領域内に位置する車両と通信することができる。
他の例として、路側装置は、道路上の車両と区別される移動プラットフォーム(mobile platform)であってもよい。路側装置は、1つ以上のカメラを含んでもよい。
図1Aを参照すると、図には走行中の複数の車両(V1〜V7)と1つの路側装置130が存在する道路状況を上方から見下ろした様子を示している。
車両V1(110)は、WAVE(Wireless Access for Vehicular Environments)のような無線通信方式を用いて他の車両又は路側装置130とデータを送受信することができる。
WAVEは、高速に移動する車両環境に適合するように設計された移動通信技術である。
例えば、車両V1(110)は、走行中に、車両V2(120)又は路側装置130から画像データ及び交通関連データを受信したり、又は他の車両(V2〜V7)及び路側装置130に、自身が取得した画像データ及び交通関連データをブロードキャストすることができる。
図1B〜1Dは、本発明の一実施形態に係る車両又は路側装置が観測できる領域を示す図である。
図1Bを参照すると、路側装置130がカメラのような画像取得装置を用いて観測することができる道路領域140を示す。
一般に、路側装置130は、車両(V1〜V7)に比べて相対的に高い位置から道路状況を観測することができる。この場合、路側装置130は、車両によって制限されずに画像取得装置が観測することができる範囲内の道路領域をそのまま観測することができる。
図1Cは、車両V1(110)が画像取得装置を用いて観測することができる道路領域150を示し、図1Dは、車両V2(120)が画像取得装置を用いて観測することができる道路領域170を示す。
車両V1(110)が観測することができる道路領域150は、他の車両(V2〜V6)によって制限され得、車両V2(120)が観測することができる道路領域170は、他の車両V1(110)、V3(125)、V4、V6、V7によって制限され得る。
例えば、車両V1(110)が観測することができる道路領域150は、車両V3(125)によって制限され、車両V1(110)は車両V3(125)の前方に位置する障害物160を観測することができない場合がある。
図1Eは、本発明の一実施形態に係る無線協調通信によって取得可能な観測領域を説明するための図である。
例えば、車両V1(110)は、図1Eに示すように、車両V1(110)が観測した道路領域150に関する画像情報だけでなく、車両V2(120)が観測した道路領域170に関する画像情報、及び路側装置130が観測した道路領域140に関する画像情報を取得することができる。
車両V1(110)自身が観測した画像情報と車両V2(120)及び路側装置130のそれぞれから受信した画像情報とを結合する場合、車両V1(110)は、図1Fに示すように、車両V1(110)が観測することができる道路領域150に比べて拡張された道路領域180に関する画像情報を取得することができる。
また、道路領域180に関する画像情報は、道路の上方から道路状況を見下ろしたトップビュー画像(top−view image)の形態で車両V1(110)の運転者に提供されてもよい。
車両V2(120)、V3(125)、及びV4を上方から見下ろした実際のイメージを取得することが難しい場合、TI2、TI3、及びTI4は、仮想の車両イメージで表示したり、又は特定の色で満たしてもよい。
仮想の車両イメージで表示する場合、車両V1(110)に予め格納された車両イメージが用いられてもよく、又は車両V2(120)、V3(125)、及びV4から受信した車両イメージを用いてもよい。
事故の危険度は、車両の速度が速い、又は天候によって路面状態が良くない場合により高くなり得る。
図1Fに示しているように、車両V1(110)自身が観測することができる道路領域150より拡張された道路領域180に関する情報を運転者に提供することができれば、運転の安全性及び運転の便宜性が増大し得る。
また、後方に存在する車両V7(145)が相対的に速い速度で走行していると仮定すると、車両V1(110)の運転者は、拡張された道路領域180に関する情報を用いて車両V6(135)によって遮断されて観測することができなかった車両V7(145)の高速移動を認知することができ、車両V7(145)の高速移動に予め対処することが可能となる。
又は、運転者は、拡張された道路領域180に関する情報に基づいて車線変更を考慮することができ、運転の便宜性及び安全性が増大し得る。
拡張された道路領域180に関する情報は、図2の車両周辺画像提供装置200によって仮想視点画像の形態で提供される。
本発明の一実施形態によれば、各車両(V1〜V7)は、車両周辺画像提供装置200を備えることができ、無線協調通信によって他の車両又は路側装置130が観測した領域の画像情報及び交通関連情報を取得することができる。
また、路側装置130も車両周辺画像提供装置200を備えることができ、車両(V1〜V7)から観測した領域に関する画像情報及び交通関連情報を受信することができる。
以下においては、車両周辺画像提供装置200に関して詳細に説明する。
車両周辺画像提供装置200は、他の車両及び路側装置の内の少なくとも1つから受信した画像情報に基づいて現在の車両が観測することができる車両の周辺領域よりさらに広い領域を360度全方向で表示することができる。
車両周辺画像提供装置200に含まれた各エレメントの動作は1つ以上のプロセッサによって行われてもよい。
仮想視点画像は、特定位置において、現在の車両の周辺領域を見下ろす仮想視点を有する。
仮想視点は、仮想視点画像の端から仮想視点を見上げる角度である高度角又は仮想視点の位置から現在の車両の周辺領域を見下ろす角度である視野角の角度情報を有し得る。
トップビュー画像は、現在の車両の上方に設定された仮想視点から現在の車両の周辺領域を見下ろした画像である。
仮想視点画像生成器220は、周辺画像において現在の車両の位置を基準に近距離領域に対応するピクセル間の距離を減少させ、現在の車両の位置を基準に遠距離領域に対応するピクセル間の距離を増加させる方式によってトップビュー画像を生成する。
仮想視点画像生成器220は、他の車両の位置から現在の車両の周辺領域を観測する場合を仮定して仮想視点の位置及び仮想視点が見下ろす方向を設定し、設定結果に基づいて現在の車両に対する仮想視点画像を調整することができる。
また、別の実施形態によれば、車両周辺画像提供装置200は、カメラ210をさらに含む。
カメラ210は、現在の車両の周辺領域を撮影して周辺画像を生成し、周辺画像を仮想視点画像生成器220に提供することができる。
他の車両は、他の車両に備わったカメラによって他の車両の周辺画像を取得することができ、取得した周辺画像に基づいて、他の車両に対する仮想視点画像を生成することができる。
他の車両は、生成した他の車両に対する仮想視点画像及び関連付加情報を無線協調通信を用いて受信器240に送信することができる。
仮想視点の角度情報は、仮想視点に関する高度角情報又は視野角情報を含んでもよい。
仮想視点の高さ情報は、仮想視点画像がどの高さから車両の周辺領域を見下ろしたかを示す。
縮尺情報は、画像サイズに対する実際の道路面積間の比率に関する情報を示す。
交通情報は、センサ等によって検出した障害物、高速移動物体、又は交通信号などに関する情報を含んでもよい。
拡張された仮想視点画像生成器250は、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像を適切に変換した後、変換された仮想視点画像を結合して拡張された仮想視点画像を生成する。
拡張された仮想視点画像は、仮想視点画像生成器220によって生成された現在の車両に対する仮想視点画像が示す領域よりさらに広い領域を含み得る。
拡張された仮想視点画像生成器250に関しては、図3においてより詳細に説明する。
例えば、受信器240は、路側装置から観測領域に位置する車両の速度情報、周辺画像が有する視点の高さ情報、路側装置の位置情報、路側装置によって算出された縮尺情報、及び路側装置によって測定された交通情報などの関連付加情報を受信する。
受信器240が路側装置から路側装置が観測した周辺画像を受信する場合、拡張された仮想視点画像生成器250は、現在の車両に対する仮想視点画像、他の車両に対する仮想視点画像、及び路側装置から受信した周辺画像を結合して拡張された仮想視点画像を生成する。
本発明の一実施形態によれば、拡張された仮想視点画像は、現在の車両の位置を中心に拡張された周辺領域を表示する。
拡張された仮想視点画像上に交通情報及び障害物情報を共に表示することも可能である。
運転者は、拡張された仮想視点画像によって車両周辺の道路状況及び交通情報を直観的に認知することができる。そのため、運転の便宜性が増大し、運転者の事故の危険に対する対処能力が向上して運転の安全性が増大し得る。
送信器230は、現在の車両に対する仮想視点画像及び関連付加情報のうちの1つ以上を他の車両又は路側装置に送信する。
送信器230は、例えば、現在の車両の識別情報、現在の車両の速度情報、現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、現在の車両に対する仮想視点画像が有する仮想視点の角度情報、現在の車両に対する仮想視点画像の解像度情報、現在の車両によって算出された縮尺情報、現在の車両の位置情報、現在の車両を上方から見下ろした車両イメージ、又は現在の車両によって測定された交通情報などの関連付加情報を送信する。
図3を参照すると、拡張された仮想視点画像生成器250は、画像変換器310、画像整列器320、画像選択器330、及び画像構成器340を含む。
拡張された仮想視点画像生成器250に含まれた各エレメントの動作は1つ以上のプロセッサによって行われてもよい。
画像変換器310は、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像が結合される前に、仮想視点画像の画像サイズ及び仮想視点位置の内の少なくとも1つを調整することができる。
例えば、画像変換器310は、仮想視点画像がカバーする縮尺が互いに同一になるように仮想視点画像の画像サイズを調整してもよい。
画像変換器310は、仮想視点画像が有する仮想視点の位置及び角度、又は、仮想視点画像がカバーする縮尺に関する情報を用いて仮想視点画像の画像サイズを調整してもよい。
また、画像変換器310は、仮想視点画像が有する仮想視点の位置の差を調整してもよい。
例えば、画像変換器310は、他の車両に対する仮想視点画像の仮想視点の高さが現在の車両に対する仮想視点画像の仮想視点の高さと同一になるように調整したり、又は、他の車両に対する仮想視点画像の仮想視点の位置を現在の車両に対する仮想視点画像の仮想視点の位置と同一になるように調整してもよい。
仮想視点画像が整列する際、特定領域が重なった重複領域が存在し得る。
例えば、画像整列器320は、現在の車両と他の車両との間の位置関係又は現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像との間の相関度に基づいて現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像を整列する。
現在の車両は、ビームフォーミング技術などを用いて現在の車両と他の車両との間の距離情報及び角度情報を推定することができ、画像整列器320は推定された情報を用いて現在の車両と他の車両との間の位置関係を決定することができる。
画像整列器320は、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像との間の相関度を用いて同一領域であると判断される重複領域を決定し、重複領域に基づいて仮想視点画像を整列させる。
仮想視点画像の特定領域において相関度が高いということは当該領域が同一の空間である確率が高いということを示す。
別の実施形態によれば、画像整列器320は、現在の車両と他の車両との間の位置関係に基づいて仮想視点画像を整列した後、追加的に仮想視点画像間の相関度を用いてさらに精密に仮想視点画像を再整列することもできる。
フィードバック工程によって仮想視点画像はより精密に再変換及び再配置され得る。
例えば、画像変換器310は、画像整列器320から出力された整列結果に基づいて、他の車両に対する仮想視点画像の仮想視点位置を調整したり、又は全体画像が1つの統一された仮想視点を有するように他の車両に対する仮想視点画像の仮想視点位置を現在の車両に対する仮想視点画像の視点位置に調整する。
1個の仮想視点のみを有するように複数の仮想視点画像を追加的に変換する場合、各仮想視点画像がそれぞれ異なる仮想視点を有する場合と比較した時、互いに重なる領域に対応する仮想視点画像が更に同様に同一の仮想視点画像にアクセスすることができる。
この場合、重なる領域の相関度が更に増加し得る。したがって、重なる領域の相関度値を用いた方法を画像整列器320で再度用いる場合、一次的に配置された2つの仮想視点画像が更に精密に再配置され得る。
例えば、画像選択器330は、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像のうち、画像解像度が高い仮想視点画像を重複領域に適用する仮想視点画像として選択する。
又は、他の車両から受信された仮想視点画像が結合される場合、画像選択器330は、通信品質がより良い車両から受信された仮想視点画像を重複領域に適用する仮想視点画像として選択する。
例えば、通信品質は、各車両に対して測定された信号対雑音比(Signal−to−Noise Ratio、SNR)の大きさに基づいて決定してもよい。
画像構成器340は、例えば、現在の車両に対する仮想視点画像と他の車両に対する仮想視点画像とを結合して、画像情報、障害物情報、及び交通信号情報に基づいて拡張された仮想視点画像を生成することができる。
拡張された仮想視点画像は、車両内部のディスプレイ260によって運転者に提供される。
図4を参照すると、現在の車両は、フロントカメラ410、リアカメラ420、左サイドカメラ430、及び右サイドカメラ440を備えている。
リアカメラ420は、現在の車両のリアに配置され、現在の車両のリア領域を撮影してリア画像を取得する。
左サイドカメラ430は、現在の車両の左サイドに配置され、現在の車両の左サイド領域を撮影して左サイド画像を取得する。
右サイドカメラ440は、現在の車両の右サイドに配置され、現在の車両の右サイド領域を撮影して右サイド画像を取得する。
図5は、本発明の一実施形態に係る仮想視点画像生成器220によって生成された現在の車両に対する仮想視点画像の一例を示す図である。
図5を参照すると、仮想視点画像500は、現在の車両の上方に存在する仮想視点から見下ろした現在の車両の周辺領域を含む。
現在の車両の車両イメージ510は、予め格納された車両イメージを用いてもよい。
フロント画像は第1領域520を構成し、リア画像は第2領域530を構成する。
左サイド画像は第3領域540を構成し、右サイド画像は第4領域550を構成する。
図6を参照すると、車両V1(110)は、車両V1(110)に備わったフロントカメラ410、リアカメラ420を用いて車両V1(110)周辺の画像情報620を取得する。
このように取得された画像情報620は、高度角が低くいため、運転者に広い領域の交通状況を提供するのに困難がある。
仮想視点画像生成器220は、画像情報620を高い高度角を有した仮想視点610から見下ろした仮想の画像情報630に変換することができる。
仮想視点画像生成器220は、例えば、画像情報620において車両V1(110)から近い距離に位置すると判断した画像ピクセル間の距離を減少させ、車両V1(110)から遠い距離に位置すると判断した画像ピクセル間の距離を増加させる信号処理方法を用いて画像情報620の高度角を増加させることができる。
以下においては、車両V1(110)が基準となる現在の車両であり、車両V2(120)が現在の車両と区別される他の車両と仮定する。
また、車両周辺画像提供装置200は車両V1(110)に備えられて動作すると仮定する。
しかし、仮想視点間の高さの差、又は車両速度間の差によって仮想視点画像630と仮想視点画像720が示す実際の縮尺は互いに異なり得る。
したがって、仮想視点画像630と仮想視点画像720とを結合して拡張された仮想視点画像を生成する際、仮想視点画像(630、720)を互いにマッチングさせる必要があり、このために、画像変換器310は画像サイズ及び仮想視点の位置などを調整することができる。
画像変換器310は、仮想視点画像630の仮想視点610が有する視点の高さ810、又は高度角820に基づいて画像サイズを調整した仮想視点画像830を生成することができる。
同様に、画像変換器310は、車両V2(120)の仮想視点画像720に対しても仮想視点画像720の仮想視点710が有する視点の高さ840、又は高度角850に基づいて画像サイズを調整した仮想視点画像860を生成することができる。
ここで、高度角の代わりに仮想視点(610、710)の視野角が用いられてもよい。
画像変換器310は、受信した縮尺に関する情報に基づいて、仮想視点画像630が示す実際の縮尺と仮想視点画像720が示す実際の縮尺が同一になるように仮想視点画像(630、720)間の画像サイズを調整することも可能である。
したがって、仮想視点画像630と仮想視点画像720を結合する前に、2つの仮想視点画像(630、720)間で仮想視点の高さをマッチングさせる必要がある。
画像変換器310は、仮想視点画像(630、720)の画像サイズを調整した後、仮想視点の高さを調整することができる。
一実施形態によれば、画像変換器310は、画像サイズを調整した仮想視点画像860が有する仮想視点710の視点の高さ840を、画像サイズを調整した仮想視点画像830が有する仮想視点610の視点の高さ810と同一に調整する。
画像変換器310は、例えば、画像サイズを調整した仮想視点画像860の高度角850(図8)を高度角930に調整して仮想視点710を視点の高さ920を有する仮想視点910に調整する。
ここで、視点の高さ920は、画像サイズを調整した仮想視点画像830の仮想視点610が有する視点の高さ810と同一である。
画像整列器320は、画像変換器310から出力された仮想視点画像間の配置関係を決定して仮想視点画像を整列させることができる。
画像整列器320は、仮想視点画像1010と仮想視点画像1020との間の配置関係を決定するために、車両V1(110)と車両V2(120)との間の距離及び角度情報、又は、車両V1(110)と車両V2(120)との位置情報を用いてもよい。
又は、画像整列器320は、仮想視点画像1010と仮想視点画像1020との間の相関度に基づいて、仮想視点画像1010と仮想視点画像1020との間の配置関係を決定してもよい。
画像整列器320は、仮想視点画像1010と仮想視点画像1020との間において相関度が高い領域を互いに重なるようにして仮想視点画像(1010、1020)を整列させる。
ここで、仮想視点画像(1010、1020)は、画像変換器310によって画像サイズ及び仮想視点の位置の内の1つ以上が調整された仮想視点画像であってもよい。
重複領域1030は、仮想視点画像1010と仮想視点画像1020との間において互いに同一の空間を観測したものと判断される領域を示す。
本実施形態によれば、画像整列器320は、車両V1(110)と車両V2(120)との間の距離情報1140及び角度情報1150を用いて仮想視点画像1010と仮想視点画像1020との間の配置関係を決定する。
例えば、車両V1(110)は、センサ又は多重アンテナ装置などを用いて車両V1(110)と車両V2(120)との間の距離、及び車両V2(120)が位置する方向を推定することができ、この推定結果に基づいて仮想視点画像(1010、1020)間の配置関係を決定することができる。
ここで、仮想視点画像1120は、画像変換器310によって画像サイズ及び仮想視点の位置の内の1つ以上が調整された仮想視点画像であってもよい。
他の例として、画像整列器320は、仮想視点画像(1010、1020、1120)間の相関度を決定して、相関度が高い領域を重複させて整列させることによって仮想視点画像(1010、1020、1120)間の配置関係を決定することができる。
又は、仮想視点画像(1010、1020、1120)間の相関度が予め設定された基準を満たす領域は、重複領域(1030、1130)として決定されてもよい。
場合によって、複数の仮想視点画像が結合されて形成された全体画像は、複数の仮想視点ではない1つの統一された仮想視点を有するように構成されてこそ自然な表現がなされ得る。
このために、画像整列器320の整列結果が再び画像変換器310にフィードバックされてもよい。
例えば、画像整列器320によって車両V1(110)の仮想視点画像と車両V2(120)の仮想視点画像が一次的に整列した後、車両V2(120)の仮想視点画像が再び画像変換器310に入力されてもよい。
また、フィードバック工程によって仮想視点画像は、より精密に整列させることができる。
例えば、仮想視点画像が統一された仮想視点を有するように変換される場合、仮想視点画像間において重複領域に対する相関度がさらに増加し、画像整列器320はこのような相関度情報を用いて一次的に配置された仮想視点画像をより精密に再配置することができる。
図13は、画像サイズが調整された車両V1(110)の仮想視点画像830と画像サイズが調整された車両V2(120)の仮想視点画像860を整列させた結果を示す。
仮想視点画像830の仮想視点610及び仮想視点画像860の仮想視点710は、互いに異なる位置を有する。
仮想視点画像830と仮想視点画像860は、重複領域1310を形成する。
視点の高さが追加的に調整された仮想視点画像940(仮想視点910)と仮想視点画像830は重複領域1410を形成する。
これとは別に、図15は、画像整列器320の整列結果を画像変換器310にフィードバックして、その結果の画像が1つの統一された仮想視点1510を有するように調整した結果を示す。
車両V1(110)の仮想視点画像830及び車両V2(120)の仮想視点画像1520は1つの統一された仮想視点1510を有する。
仮想視点画像830と仮想視点画像1520は重複領域1530を形成する。
図16を参照すると、車両V1(110)の仮想視点画像1610、車両V2(120)の仮想視点画像1620、及び車両V7(1110)の仮想視点画像1630を図16に示して整列させたものと仮定する。
仮想視点画像1610と仮想視点画像1620は重複領域1650を形成し、仮想視点画像1620と仮想視点画像1630は重複領域1640を形成する。
領域1660は拡張された仮想視点画像の全体画像において確認が不可能な領域を示す。
画像選択器330は、画像解像度又は通信品質に基づいて重複領域(1640、1650)に適用される仮想視点画像を選択する。
例えば、仮想視点画像1610の画像解像度が仮想視点画像1620より高いと仮定すると、画像選択器330は重複領域1650に仮想視点画像1610の画像情報を適用する。
受信器240が備わった車両V1(110)の信号対雑音比は最大値であると仮定してもよく、この場合、重複領域1650に信号対雑音比がより大きい仮想視点画像1610の画像情報が適用され得る。
また、受信器240で測定した車両V2(120)の信号対雑音比が車両V7(1110)の信号対雑音比より大きいと仮定すると、画像選択器330は、重複領域1640に仮想視点画像1620の画像情報が適用され得る。
信号対雑音比が互いに近似する場合には、画像解像度がより大きい仮想視点画像の画像情報が重複領域に適用され得る。
図17を参照すると、画像構成器340は、画像選択器330の選択結果に基づいて仮想視点画像を組み合わせ、拡張された仮想視点画像に対する全体画像を構成する。
拡張された仮想視点画像は、車両V1(110)に関する仮想視点画像の画像情報1710、車両V2(120)に関する仮想視点画像の画像情報1720、及び車両V7(1110)に関する仮想視点画像の画像情報1730を含む。
領域1740は、画像情報が提供されない領域であって、領域1740は、特定の色で表示したり、領域1740に輝く効果のような特殊効果が適用してもよい。
特定車両を上方から見下ろした画像イメージ1810は、実際に観測された車両イメージ又は仮想の車両イメージで表示したり、特定の色で満たして表示してもよい。
障害物に関する情報は、領域1820のように特定の色で表示されたり、輝く効果のような特殊効果を適用して表示してもよい。
また、制限速度、現在の交通信号、高速移動車両、又は取り締まりカメラの配置などに関する交通情報も拡張された仮想視点画像内に同時に出力してもよい。
領域1830は、拡張された仮想視点画像内に表示される交通信号情報を示す。
領域1830に表示される交通信号情報は、色の変化によって運転者に交通の流れに関する予測を可能にして運転者に運転の便宜性を提供することができる。
車両周辺画像提供方法は、車両周辺画像提供装置によって行われる。
図19を参照すると、まず、車両周辺画像提供装置は、ステップS1910で、現在の車両の周辺領域を撮影した周辺画像に基づいて現在の車両に対する仮想視点画像を生成する。
車両周辺画像提供装置は、例えば、現在の車両の周辺画像において現在の車両の位置を基準として近距離領域に対応するピクセル間の距離を減少させ、現在の車両の位置を基準として遠距離領域に対応するピクセル間の距離を増加させる方式を用いて仮想の視点画像を生成する。
例えば、車両周辺画像提供装置は、現在の車両の識別情報、現在の車両の速度情報、現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、現在の車両に対する仮想視点画像が有する仮想視点の角度情報、現在の車両に対する仮想視点画像の解像度情報、現在の車両によって算出された縮尺情報、現在の車両の位置情報、現在の車両を上方から見下ろした車両イメージ、又は現在の車両によって測定された交通情報などの付加情報を他の車両又は路側装置に送信する。
例えば、車両周辺画像提供装置は、他の車両から他の車両の識別情報、他の車両の速度情報、他の車両に対する仮想視点画像が有する仮想視点の高さ情報、他の車両に対する仮想視点画像が有する仮想視点の角度情報、他の車両に対する仮想視点画像の解像度情報、他の車両によって算出された縮尺情報、他の車両の位置情報、他の車両を上方から見下ろした車両イメージ、及び他の車両によって測定された交通情報などの付加情報を受信する。
例えば、車両周辺画像提供装置は、路側装置から観測領域に位置する車両の速度情報、周辺画像が有する視点の高さ情報、路側装置の位置情報、路側装置によって算出された縮尺情報、及び路側装置によって測定された交通情報などの付加情報を受信する。
車両周辺画像提供装置は、仮想視点画像の画像サイズ及び仮想視点位置などを調整した後、仮想視点画像を整列させて合成することによって拡張された仮想視点画像を生成する。
ステップS1950に関しては、図20においてより詳細に説明する。
拡張された仮想視点画像内に関連交通情報が同時に提供されてもよい。
例えば、ステップS1910は、ステップS1930又はステップS1940の次に行われてもよく、ステップS1930は、ステップS1910又はステップS1920の前に行われてもよい。
また、ステップS1940は、ステップS1910、ステップS1920又はステップS1930の前に行われてもよい。
まず、車両周辺画像提供装置はステップS2010にて、現在の車両に対する仮想視点画像及び他の車両に対する仮想視点画像の内の少なくとも1つを変換する。
例えば、車両周辺画像提供装置は、仮想視点画像が同一の縮尺を用いることができるように仮想視点画像の画像サイズを調整したり、又は、仮想視点画像で仮想視点の位置を調整してもよい。
車両周辺画像提供装置は、仮想視点画像が生成された車両間の位置関係又は仮想視点画像間の相関度に基づいて仮想視点画像の配置関係を決定する。
仮想視点画像を整列させた結果、仮想視点画像間の重複領域が決定される。
車両周辺画像提供装置は、重複領域に画像解像度が高い仮想視点画像の画像情報を適用したり、又は、信号対雑音比がさらに高い車両から送信された仮想視点画像の画像情報を適用することができる。
拡張された仮想視点画像は、現在の車両の位置に基づいて再構成されてもよく、周辺領域に関する画像情報と共に交通関連情報を示してもよい。
例えば、実施形態で説明した装置、方法及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、又は、命令(instruction)を実行して応答できる多様な装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現してもよい。
また、車両周辺画像提供装置は、ソフトウェアアプリケーションの実行に応答して、データをアクセス、格納、操作、処理、及び生成してもよい。
理解の便宜のために、車両周辺画像提供装置は単体として使用されるものとして説明される場合もあるが、当該の技術分野で通常の知識を有する者は、車両周辺画像提供装置が複数の処理要素(processing element)及び/又は複数の類型の処理要素を含んでいることが分かる。
例えば、車両周辺画像提供装置は、複数のプロセッサ又は1つのプロセッサ、及び1つのコントローラを含んでもよい。
また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェア及び/又はデータは、車両周辺画像提供装置によって解釈されたり車両周辺画像提供装置に命令又はデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波にて永久的に又は一時的に具体化できる。
ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納され、実行されてもよい。ソフトウェア及びデータは1つ以上のコンピュータ読取可能な記録媒体に格納され得る。
記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含んでもよい。
記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。
プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。
上述のハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
120 車両V2(他の車両)
130 路側装置
200 車両周辺画像提供装置
210 カメラ
220 仮想視点画像生成器
230 送信器
240 受信器
250 拡張された仮想視点画像生成器
260 ディスプレイ
310 画像変換器
320 画像整列器
330 画像選択器
340 画像構成器
410、420、430、440 (フロント、リア、左サイド、右サイド)カメラ
Claims (16)
- 走行する道路の路側に設置された画像取得装置を含む路側装置から、該路側装置の周辺領域を撮影した周辺画像と、前記路側装置から観測領域に位置する車両の速度情報、前記周辺画像が有する視点の高さ情報、前記路側装置の位置情報、前記路側装置によって算出された縮尺情報、及び前記路側装置によって測定された交通情報の内の少なくとも1つ以上を含む付加情報と、を受信するステップと、
現在の車両の車両に備わった画像取得装置を用いて撮影した少なくとも1つの周辺画像に基づいて、前記現在の車両に対する仮想視点画像を生成するステップと、
他の車両から該他の車両に対する仮想視点画像、及び前記他の車両から付加情報を受信するステップと、
前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像と前記路側装置から受信した前記路側装置の周辺領域を撮影した周辺画像と、を結合して拡張された仮想視点画像を生成するステップと、
前記拡張された仮想視点画像を出力するステップと、を有し、
前記他の車両から受信した付加情報は、前記他の車両の識別情報、前記他の車両の速度情報、前記他の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記他の車両に対する仮想視点画像が有する仮想視点の角度情報、前記他の車両に対する仮想視点画像の解像度情報、前記他の車両によって算出された縮尺情報、前記他の車両の位置情報、及び前記他の車両によって測定された交通情報の内の少なくとも1つを含み、
前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像の画像情報及び前記他の車両に対する仮想視点画像の画像情報を、前記他の車両から受信した1つ以上の付加情報と結合させるステップを含み、
前記拡張された仮想視点画像を出力するステップは、前記拡張された仮想視点画像をディスプレイに出力するステップと、を含み、
前記拡張された仮想視点画像を生成するステップは、前記現在の車両と前記他の車両との間の位置関係、又は前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の相関度に基づいて、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像を整列させるステップを含み、
前記拡張された仮想視点画像を生成するステップは、前記整列させた結果に基づいて前記他の車両に対する仮想視点画像が有する仮想視点の位置を前記現在の車両に対する仮想視点画像が有する仮想視点の位置に調整するステップをさらに含むことを特徴とする車両周辺画像提供方法。 - 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも1つの仮想視点画像の仮想視点位置を調整するステップと、
前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことを特徴とする請求項1に記載の車両周辺画像提供方法。 - 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも1つの仮想視点画像の画像サイズを調整するステップと、
前記調整した結果に基づいて前記拡張された仮想視点画像を生成するステップと、を含むことを特徴とする請求項1又は2に記載の車両周辺画像提供方法。 - 前記画像サイズを調整するステップは、仮想視点画像が有する仮想視点の位置情報、前記仮想視点の角度情報、及び縮尺情報の内の少なくとも1つに基づいて前記画像サイズを調整することを特徴とする請求項3に記載の車両周辺画像提供方法。
- 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択するステップと、
前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成するステップと、を含むことを特徴とする請求項1に記載の車両周辺画像提供方法。 - 前記重複領域に適用される仮想視点画像を選択するステップは、画像解像度又は通信品質の少なくとも1つに基づいて前記重複領域に適用される仮想視点画像を選択することを特徴とする請求項5に記載の車両周辺画像提供方法。
- 前記拡張された仮想視点画像を生成するステップは、前記現在の車両に対する仮想視点画像、前記他の車両に対する仮想視点画像、及び前記路側装置から受信した周辺画像を結合して前記拡張された仮想視点画像を生成することを特徴とする請求項1乃至6のいずれか一項に記載の車両周辺画像提供方法。
- 前記現在の車両に対する仮想視点画像を、前記他の車両及び路側装置の内の少なくとも1つに送信するステップをさらに含むことを特徴とする請求項1乃至7のいずれか一項に記載の車両周辺画像提供方法。
- 前記他の車両の位置に基づいて、前記現在の車両に対する仮想視点画像が有する仮想視点の位置を調整するステップと、
前記仮想視点の位置が調整された現在の車両に対する仮想視点画像を前記他の車両に送信するステップと、をさらに有することを特徴とする請求項1乃至8のいずれか一項に記載の車両周辺画像提供方法。 - 前記他の車両に付加情報を送信するステップをさらに有し、
前記他の車両に送信される付加情報は、前記現在の車両の識別情報、前記現在の車両の速度情報、前記現在の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記現在の車両に対する仮想視点画像が有する仮想視点の角度情報、前記現在の車両に対する仮想視点画像の解像度情報、前記現在の車両によって算出された縮尺情報、前記現在の車両の位置情報、及び前記現在の車両によって測定された交通情報の内の少なくとも1つを含むことを特徴とする請求項1乃至9のいずれか一項に記載の車両周辺画像提供方法。 - 前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも1つの周辺画像に基づいて前記現在の車両のトップビュー画像を生成するステップを含むことを特徴とする請求項1乃至10のいずれか一項に記載の車両周辺画像提供方法。
- 前記現在の車両に対する仮想視点画像を生成するステップは、前記少なくとも1つの周辺画像において、前記現在の車両の位置を中心に近距離領域に対応するピクセル間の距離を減少させ、前記現在の車両の位置を中心に遠距離領域に対応するピクセル間の距離を増加させることによって前記トップビュー画像を生成するステップを含むことを特徴とする請求項11に記載の車両周辺画像提供方法。
- 前記拡張された仮想視点画像は、前記現在の車両に対する仮想視点画像が示す領域よりさらに広い領域を全方向に表示することを特徴とする請求項1乃至12のいずれか一項に記載の車両周辺画像提供方法。
- 前記現在の車両と区別される路側装置から前記現在の車両の少なくとも1つの周辺画像を受信するステップをさらに有することを特徴とする請求項1乃至13のいずれか一項に記載の車両周辺画像提供方法。
- ハードウェアと結合して請求項1乃至14のいずれか一項に記載の車両周辺画像提供方法を実行させるプログラムが記録されたことを特徴とするコンピュータ読取可能記録媒体。
- 路側装置から該路側装置の周辺領域を撮影した周辺画像と、前記路側装置から観測領域に位置する車両の速度情報、前記周辺画像が有する視点の高さ情報、前記路側装置の位置情報、前記路側装置によって算出された縮尺情報、及び前記路側装置によって測定された交通情報の内の少なくとも1つ以上を含む付加情報と、他の車両から該他の車両に対する仮想視点画像と、前記他の車両から付加情報と、を受信する受信器と、
現在の車両の車両に備わった画像取得装置を用いて撮影した少なくとも1つの周辺画像に基づいて前記現在の車両に対する仮想視点画像を生成する仮想視点画像生成器と、
前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像と前記路側装置から受信した前記路側装置の周辺領域を撮影した周辺画像とを結合して拡張された仮想視点画像を表示するディスプレイと、を有し、
前記他の車両から受信した付加情報は、前記他の車両の識別情報、前記他の車両の速度情報、前記他の車両に対する仮想視点画像が有する仮想視点の高さ情報、前記他の車両に対する仮想視点画像が有する仮想視点の角度情報、前記他の車両に対する仮想視点画像の解像度情報、前記他の車両によって算出された縮尺情報、前記他の車両の位置情報の内の少なくとも1つを含み、
前記仮想視点画像生成器は、現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内の少なくとも1つの仮想視点画像の、仮想視点位置及び画像サイズの内の少なくとも1つを調整する画像変換器と、
前記調整した結果及び前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の相関度に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを整列させる画像整列器と、
前記現在の車両に対する仮想視点画像及び前記他の車両に対する仮想視点画像の内、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像との間の重複領域に適用される仮想視点画像を選択する画像選択器と、
前記選択した結果に基づいて、前記現在の車両に対する仮想視点画像と前記他の車両に対する仮想視点画像とを結合して前記拡張された仮想視点画像を生成する画像構成器と、を含み、
画像変換器は、前記画像整列器から出力された整列結果に基づいて、他の車両に対する仮想視点画像の仮想視点位置の調整、又は全体画像が1つの統一された仮想視点を有するように他の車両に対する仮想視点画像の仮想視点位置を現在の車両に対する仮想視点画像の視点位置の調整をさらに行うことを特徴とする車両周辺画像提供装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150065607A KR102375411B1 (ko) | 2015-05-11 | 2015-05-11 | 차량 주변 영상 제공 방법 및 장치 |
KR10-2015-0065607 | 2015-05-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016213815A JP2016213815A (ja) | 2016-12-15 |
JP6836327B2 true JP6836327B2 (ja) | 2021-02-24 |
Family
ID=55221268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016048068A Active JP6836327B2 (ja) | 2015-05-11 | 2016-03-11 | 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9884590B2 (ja) |
EP (1) | EP3094087B1 (ja) |
JP (1) | JP6836327B2 (ja) |
KR (1) | KR102375411B1 (ja) |
CN (1) | CN106162072B (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101795180B1 (ko) * | 2015-12-11 | 2017-12-01 | 현대자동차주식회사 | 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법 |
US10062290B2 (en) * | 2015-12-16 | 2018-08-28 | Ford Global Technologies, Llc | Convoy vehicle look-ahead |
WO2017155219A1 (en) * | 2016-03-07 | 2017-09-14 | Lg Electronics Inc. | Vehicle control device mounted in vehicle and control method thereof |
US9671785B1 (en) * | 2016-03-29 | 2017-06-06 | Delphi Technologies, Inc. | V2X object-location verification system for automated vehicles |
US11092446B2 (en) | 2016-06-14 | 2021-08-17 | Motional Ad Llc | Route planning for an autonomous vehicle |
US10126136B2 (en) | 2016-06-14 | 2018-11-13 | nuTonomy Inc. | Route planning for an autonomous vehicle |
US10309792B2 (en) | 2016-06-14 | 2019-06-04 | nuTonomy Inc. | Route planning for an autonomous vehicle |
US10473470B2 (en) | 2016-10-20 | 2019-11-12 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10331129B2 (en) | 2016-10-20 | 2019-06-25 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10857994B2 (en) | 2016-10-20 | 2020-12-08 | Motional Ad Llc | Identifying a stopping place for an autonomous vehicle |
US10681513B2 (en) | 2016-10-20 | 2020-06-09 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10647289B2 (en) | 2016-11-15 | 2020-05-12 | Ford Global Technologies, Llc | Vehicle driver locator |
DE102016222746A1 (de) * | 2016-11-18 | 2018-05-24 | Conti Temic Microelectronic Gmbh | Dreidimensionales Rundumsichtsystem für ein Fahrzeug |
GB2575378B (en) * | 2017-03-30 | 2022-02-16 | Mitsubishi Heavy Ind Mach Systems Ltd | Vehicle management system, vehicle-mounted device, vehicle management method, and program |
EP3392801A1 (en) * | 2017-04-21 | 2018-10-24 | Harman International Industries, Incorporated | Systems and methods for driver assistance |
US10331125B2 (en) * | 2017-06-06 | 2019-06-25 | Ford Global Technologies, Llc | Determination of vehicle view based on relative location |
JP7033865B2 (ja) * | 2017-08-10 | 2022-03-11 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP6825710B2 (ja) * | 2017-08-25 | 2021-02-03 | 日産自動車株式会社 | 周囲車両表示方法及び周囲車両表示装置 |
US10134285B1 (en) * | 2017-12-29 | 2018-11-20 | Forward Thinking Systems, LLC | FleetCam integration |
US10423886B2 (en) | 2017-12-29 | 2019-09-24 | Forward Thinking Systems, LLC | Electronic logs with compliance support and prediction |
JP6815338B2 (ja) * | 2018-01-10 | 2021-01-20 | 株式会社日立製作所 | 画像合成システムおよび画像合成方法 |
KR102554594B1 (ko) * | 2018-07-09 | 2023-07-12 | 현대모비스 주식회사 | 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법 |
KR102521834B1 (ko) * | 2018-08-21 | 2023-04-17 | 삼성전자주식회사 | 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치 |
US11170638B2 (en) * | 2018-12-19 | 2021-11-09 | International Business Machines Corporation | Look ahead auto dashcam (LADCAM) for improved GPS navigation |
US10754893B1 (en) | 2019-09-09 | 2020-08-25 | Forward Thinking Systems, LLC | Providing access to vehicle videos |
KR20210112672A (ko) * | 2020-03-05 | 2021-09-15 | 삼성전자주식회사 | 객체를 검출하기 위한 프로세서 및 객체 검출 방법 |
WO2021192655A1 (ja) * | 2020-03-27 | 2021-09-30 | 日立建機株式会社 | 作業機械 |
JP7351805B2 (ja) * | 2020-07-01 | 2023-09-27 | トヨタ自動車株式会社 | 情報処理方法、プログラム、車載装置及び車両 |
US11610342B2 (en) * | 2020-09-17 | 2023-03-21 | Ford Global Technologies, Llc | Integrated augmented reality system for sharing of augmented reality content between vehicle occupants |
CN112085960A (zh) * | 2020-09-21 | 2020-12-15 | 北京百度网讯科技有限公司 | 车路协同信息处理方法、装置、设备及自动驾驶车辆 |
CN112714282A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 远程控制中的图像处理方法、装置、设备和程序产品 |
US11351932B1 (en) * | 2021-01-22 | 2022-06-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicles and methods for generating and displaying composite images |
KR20230070397A (ko) * | 2021-11-12 | 2023-05-23 | 충북대학교 산학협력단 | 차량 추월 제어 방법 및 이를 지원하는 차량 추월 제어 장치 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5259037A (en) * | 1991-02-07 | 1993-11-02 | Hughes Training, Inc. | Automated video imagery database generation using photogrammetry |
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
JP2001283381A (ja) | 2000-03-30 | 2001-10-12 | Toshiba Corp | 車車間通信システム |
JP3972722B2 (ja) * | 2002-04-24 | 2007-09-05 | 株式会社エクォス・リサーチ | 車載画像処理装置 |
US6970102B2 (en) | 2003-05-05 | 2005-11-29 | Transol Pty Ltd | Traffic violation detection, recording and evidence processing system |
KR100534698B1 (ko) | 2003-07-11 | 2005-12-07 | 현대자동차주식회사 | 연료전지 시스템 |
US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
JP4339178B2 (ja) | 2004-05-12 | 2009-10-07 | アルパイン株式会社 | 駐車場空きスペース案内装置及び駐車場空きスペース案内方法 |
JP4681432B2 (ja) | 2005-11-28 | 2011-05-11 | アルパイン株式会社 | 車載周辺画像表示装置 |
JP4715479B2 (ja) | 2005-12-02 | 2011-07-06 | アイシン・エィ・ダブリュ株式会社 | 車車間通信システム |
JP4752486B2 (ja) | 2005-12-15 | 2011-08-17 | 株式会社日立製作所 | 撮像装置、映像信号の選択装置、運転支援装置、自動車 |
JP4254887B2 (ja) | 2006-07-06 | 2009-04-15 | 日産自動車株式会社 | 車両用画像表示システム |
JP4265662B2 (ja) * | 2007-02-06 | 2009-05-20 | 株式会社デンソー | 車両用通信装置 |
JP4893945B2 (ja) * | 2007-02-06 | 2012-03-07 | 株式会社デンソー | 車両周辺監視装置 |
KR100851900B1 (ko) | 2007-03-29 | 2008-08-13 | 건아정보기술 주식회사 | 이동식 교통정보 검지 시스템 |
US20100118116A1 (en) * | 2007-06-08 | 2010-05-13 | Wojciech Nowak Tomasz | Method of and apparatus for producing a multi-viewpoint panorama |
JP2009173122A (ja) * | 2008-01-23 | 2009-08-06 | Toyota Motor Corp | 駐車支援システム、及び車両用駐車支援装置 |
KR20090109312A (ko) | 2008-04-15 | 2009-10-20 | 주식회사 현대오토넷 | 실시간 촬영 영상을 이용한 실시간 교통정보 제공 시스템 |
US20100238161A1 (en) | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
US20110221901A1 (en) * | 2010-03-11 | 2011-09-15 | Gm Global Technology Operations, Inc. | Adaptive Scene Rendering and V2X Video/Image Sharing |
KR101015952B1 (ko) | 2010-07-30 | 2011-02-23 | 주식회사 한진이엔씨 | 교통 상황 관제 시스템 |
US8643715B2 (en) | 2010-09-25 | 2014-02-04 | Kyu Hwang Cho | Real-time remote-viewing digital compass |
KR101097063B1 (ko) | 2010-12-30 | 2011-12-22 | 주식회사 와이즈오토모티브 | 사각 지대 표시 장치 및 방법 |
KR101834014B1 (ko) | 2011-06-13 | 2018-04-13 | 현대모비스 주식회사 | 차량정보 제공시스템 및 그의 제어방법 |
KR101359660B1 (ko) | 2011-07-26 | 2014-02-07 | 한국과학기술원 | 헤드업 디스플레이를 위한 증강현실 시스템 |
KR101272257B1 (ko) * | 2011-08-30 | 2013-06-19 | 에스엘 주식회사 | 차량의 주변 영상 보정 장치 및 방법 |
US20130083061A1 (en) * | 2011-09-30 | 2013-04-04 | GM Global Technology Operations LLC | Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers |
DE102012200731A1 (de) * | 2012-01-19 | 2013-07-25 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Visualisieren der Umgebung eines Fahrzeugs |
TWI469886B (zh) | 2012-04-25 | 2015-01-21 | Ind Tech Res Inst | 協同式行車記錄系統與方法 |
JP5890294B2 (ja) * | 2012-10-29 | 2016-03-22 | 日立マクセル株式会社 | 映像処理システム |
JP6032141B2 (ja) * | 2013-07-02 | 2016-11-24 | 株式会社デンソー | 走行路面標示検知装置および走行路面標示検知方法 |
KR102045088B1 (ko) * | 2013-08-13 | 2019-11-14 | 현대모비스 주식회사 | 영상 표시 방법 및 이를 위한 위한 장치 |
KR101544854B1 (ko) * | 2013-09-30 | 2015-08-19 | 주식회사 비트컴퓨터 | 차량 주변의 도로 교통 정보 제공 방법 및 이를 이용한 도로 교통 정보 시스템 |
-
2015
- 2015-05-11 KR KR1020150065607A patent/KR102375411B1/ko active IP Right Grant
- 2015-11-12 US US14/939,399 patent/US9884590B2/en active Active
-
2016
- 2016-01-12 EP EP16150890.8A patent/EP3094087B1/en active Active
- 2016-01-19 CN CN201610032910.7A patent/CN106162072B/zh active Active
- 2016-03-11 JP JP2016048068A patent/JP6836327B2/ja active Active
-
2018
- 2018-02-05 US US15/888,369 patent/US10501015B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160332574A1 (en) | 2016-11-17 |
US20180154832A1 (en) | 2018-06-07 |
CN106162072B (zh) | 2020-05-26 |
EP3094087A1 (en) | 2016-11-16 |
US10501015B2 (en) | 2019-12-10 |
EP3094087B1 (en) | 2020-06-10 |
US9884590B2 (en) | 2018-02-06 |
CN106162072A (zh) | 2016-11-23 |
JP2016213815A (ja) | 2016-12-15 |
KR20160133072A (ko) | 2016-11-22 |
KR102375411B1 (ko) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6836327B2 (ja) | 車両周辺画像提供方法及びその装置並びにコンピュータ読取可能記録媒体 | |
EP3339999B1 (en) | Information processing apparatus, information processing method, and recording medium storing programm | |
US10031526B1 (en) | Vision-based driving scenario generator for autonomous driving simulation | |
JP7029910B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN109937568B (zh) | 图像处理装置和图像处理方法 | |
KR101675306B1 (ko) | 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법 | |
KR101656808B1 (ko) | 사고 정보 관리 장치, 이를 포함하는 차량 및 사고 정보 관리 방법 | |
EP3378033B1 (en) | Systems and methods for correcting erroneous depth information | |
KR101665553B1 (ko) | 사고 정보 분석 장치, 이를 포함하는 서버 및 사고 정보 분석 방법 | |
JP2021535507A (ja) | 車両の複合現実の条件付き利用可能性 | |
CN107211085B (zh) | 摄像装置和摄像方法 | |
JP2018032402A (ja) | 車載拡張現実システム向けの遮蔽調整システム | |
US20100315215A1 (en) | Blind spot display apparatus | |
JP5886688B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20200234497A1 (en) | Moving body image generation recording display device and program product | |
WO2018034211A1 (en) | Imaging device and imaging method | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
US10748264B2 (en) | Image processing apparatus and image processing method | |
WO2018034210A1 (en) | Imaging device for obtaining polarized and non-polarized images | |
JP2020065141A (ja) | 車両の俯瞰映像生成システム及びその方法 | |
KR101241661B1 (ko) | 무선통신을 이용한 주변 차량 화면 표시 시스템 및 그 방법 | |
JP6221562B2 (ja) | 車両用情報提示装置 | |
KR20200143554A (ko) | 증강 현실 기반 운전 보조 장치 및 그 방법 | |
JP2013062657A (ja) | 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム | |
CN114755670A (zh) | 用于协助驾驶员和乘客彼此定位的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6836327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |