JP2020065141A - 車両の俯瞰映像生成システム及びその方法 - Google Patents

車両の俯瞰映像生成システム及びその方法 Download PDF

Info

Publication number
JP2020065141A
JP2020065141A JP2018195310A JP2018195310A JP2020065141A JP 2020065141 A JP2020065141 A JP 2020065141A JP 2018195310 A JP2018195310 A JP 2018195310A JP 2018195310 A JP2018195310 A JP 2018195310A JP 2020065141 A JP2020065141 A JP 2020065141A
Authority
JP
Japan
Prior art keywords
vehicle
bird
eye view
view image
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018195310A
Other languages
English (en)
Inventor
和之 濱田
Kazuyuki Hamada
和之 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Priority to JP2018195310A priority Critical patent/JP2020065141A/ja
Priority to KR1020180170097A priority patent/KR20200043252A/ko
Priority to US16/591,157 priority patent/US11082616B2/en
Publication of JP2020065141A publication Critical patent/JP2020065141A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5915—Inter vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】自車周囲の交通状況を的確に把握可能な車両の俯瞰映像生成システム及びその方法を提供する。【解決手段】本発明の俯瞰映像生成システムは、自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、広域俯瞰映像を表示する表示装置と、を備え、俯瞰映像生成装置は、車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像信号を取得し、取得された他車の撮影映像信号をイメージ合成して自車及び周囲車両を含む広域俯瞰映像を生成し、生成された自車及び周囲車両を含む広域俯瞰映像を表示装置に表示する。【選択図】図１

Description

本発明は、車両の俯瞰映像生成システム及びその方法に係り、より詳しくは、視点変換を用いて、高い位置、前方、後方、側方位置等の任意の視点からの俯瞰映像を生成する車両の俯瞰映像生成システム及びその方法に関する。
従来、この種の技術としては、例えば以下に示す文献に記載されたものが知られている。特許文献１には、自車に設置された前後左右の複数のカメラで撮影して得られた映像を合成し、自車上空の視点から見た俯瞰映像に変換し、例えば一部又は全部を含む自車の前後左右の周囲状況が一目でわかるトップビューの映像としてこれをディスプレイに表示し、駐車支援を行なうことが示されている。
また、特許文献２には、前後左右のカメラ及び屋根に設置された広角のカメラで撮像した映像を１つの画像に合成して運転支援を行なうことが示されている。遠景カメラ映像、左カメラ映像、前カメラ映像、及び右カメラ映像を合成してディスプレイに表示することで、例えば狭い道を前進走行する場合に、自車前方の障害物を含めて車両の左右が確認しやすいとしている。
しかし、いずれも自車周辺の限定された領域のみを表示するものであって、限定された領域外の周辺状況を表示することができないため、自車の比較的近い領域に存在しているにも拘わらず、自車に接近する車両や、障害物、路面状況等の周辺環境と自車との関係を含む自車周囲の交通状況を的確に運転者に知らせることができなかった。
特開２０１３−１３３０９８号公報 特開２０１０−１６６１９６号公報
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、自車周囲の交通状況を的確に把握可能な車両の俯瞰映像生成システム及びその方法を提供することにある。
上記目的を達成するためになされた本発明の一態様による車両の俯瞰映像生成システムは、自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、前記広域俯瞰映像を表示する表示装置と、を備え、前記俯瞰映像生成装置は、車両とモノとの通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像信号を取得し、前記取得された他車の撮影映像信号をイメージ合成して自車及び周囲車両を含む広域俯瞰映像を生成し、前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする。
前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された他車の撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成し得る。
前記俯瞰映像生成装置は、自車の撮影映像信号及び前記取得された他車の撮影映像信号から車両及び運転に関連する情報を抽出し、前記抽出された車両及び運転に関連する情報に基づいて、周囲車両の動き予測に関する情報を前記広域俯瞰映像に重畳して表示し得る。
前記俯瞰映像生成装置は、自車及び前記Ｖ２Ｘを利用した他車のナビゲーション情報を含む情報信号、及び通信手段を介したクラウド上の情報信号の中の１つ以上を取得する情報信号受信部を更に備え、前記取得された情報信号を処理して前記広域俯瞰映像に重畳して表示し得る。
前記俯瞰映像生成装置は、前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、前記広域俯瞰映像上に前記他車の動き予測の表示を行い得る。
前記俯瞰映像生成装置は、前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、予測から外れた他車情報を挙動が不自然な車両として前記広域俯瞰映像上に表示し得る。
前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像として異なる地点又は異なる視点位置の俯瞰映像を生成し得る。
前記俯瞰映像生成装置は、前記広域俯瞰映像の他車の映像を、該他車の映像に関連して付与された車両の位置情報に基づいて取捨選択して表示し得る。
前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像の映像範囲の移動、拡大、縮小表示を行い得る。
前記俯瞰映像生成装置は、インフラに設置されたカメラからの映像信号によって他車の撮影映像信号を取得し得る。
前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、前記Ｖ２Ｘを利用して他車に提供され得る。
前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、通信手段を介して接続された外部の電子装置に提供され得る。
上記目的を達成するためになされた本発明の他の態様による車両の俯瞰映像生成システムは、自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、前記広域俯瞰映像を表示する表示装置と、を備え、前記俯瞰映像生成装置は、車両とモノとの通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得し、前記取得された道路撮影映像信号をイメージ処理して自車及び周囲車両を含む広域俯瞰映像を生成し、前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする。
前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された道路撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成し得る。
上記目的を達成するためになされた本発明の一態様による車両の俯瞰映像生成方法は、俯瞰映像生成装置及び表示装置を備える車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像を取得する段階と、自車の撮影映像信号と前記取得された他車の撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を有することを特徴とする。
上記目的を達成するためになされた本発明の他の態様による車両の俯瞰映像生成方法は、俯瞰映像生成装置及び表示装置を備えた車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、車両とモノとの通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得する段階と、自車の撮影映像信号と前記取得された道路撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を備えることを特徴とする。
本発明の車両の俯瞰映像生成システムによれば、自車及び他車に搭載されたカメラの撮影映像信号を基に車両の走行状況が把握可能な広域俯瞰映像を生成することから、自車の周囲の交通状況が正確に把握でき、例えば車線変更や右折左折などを容易に行なうことができ、特に車線数が多い幹線道路及び混雑した道路、複合交差路、高速道路などで有効であり、事故防止につながる。
また、自車の表示装置で自車周辺の俯瞰映像をモニターしながら、スマートフォン等で自車周辺以外の映像、例えば自車の更に前方の映像を同時にモニタリングすることができ、究極的には自車を走行させなくても目的地までの道路状況を経路に沿って俯瞰映像としてモニタリングすることができる。また、具体的な目的地が無くてもスマートフォンなどのスクロール機能などを用いて俯瞰映像を移動させながらモニタリングするというアプリケーションとしての利用も可能になる。
本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成システムとその処理の流れを示す全体構成図である。 従来のＡＶＭ映像を生成するために自車に設置されたカメラ位置とその撮影映像を示す図である。 本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成のフローチャートである。 本発明の一実施形態による道路に設置された交通監視カメラを利用した俯瞰映像生成のフローチャートである。 本発明の一実施形態による俯瞰映像の例である。 本発明の一実施形態による道路脇の交通監視カメラと車両との通信状況を示す図である。 本発明の一実施形態による車両間の通信状況を示す図である。 本発明の一実施形態による特徴点（量）抽出によるイメージ合成の一例を示す図である。
以下、本発明の車両の俯瞰映像生成システム及びその方法を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
Ｖ２Ｘ（Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ：車両とモノとの通信）は、Ｖ２Ｎ（Ｖｅｈｉｃｌｅ ｔｏ Ｎｅｔｗｏｒｋ：コネクテッドカー）、Ｖ２Ｖ（Ｖｅｈｉｃｌｅ ｔｏ Ｖｅｈｉｃｌｅ：車々間通信）、Ｖ２Ｉ（Ｖｅｈｉｃｌｅ ｔｏ ｒｏａｄｓｉｄｅ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ：路車間通信）、Ｖ２Ｐ（Ｖｅｈｉｃｌｅ ｔｏ Ｐｅｄｅｓｔｒｉａｎ：車両とスマートフォン等との通信）の全てを総称し、第５世代（５Ｇ）移動無線通信方式によるギガビット通信技術の進行や自動運転車の技術開発に伴い、自動車等の車両用の無線通信技術として、車々間のみならず、道路に設置された機器や歩行者が保有するスマートフォンなどと通信するＶ２Ｘの研究が進められている。
図１は、本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成システムとその処理の流れを示す全体構成図であり、図２は、従来のＡＶＭ（Ａｒｏｕｎｄ ｖｉｅｗ ｍｏｎｉｔｏｒ）映像を生成するために自車に設置されたカメラ位置とその撮影映像を示す図である。
図１を参照すると、俯瞰映像生成システムは、自車１０、自車の周辺に存在する複数の他車２０、俯瞰映像生成装置３０、及び表示装置５０で構成される。
自車１０は、俯瞰映像生成システムを構成するために必要な、例えば車両の前後左右に複数のカメラを備え、自車１０及び他車２０を含む周囲の撮影映像を取得し、取得された撮影映像を俯瞰映像生成部３０に提供する。
他車２０は、自車１０の周辺に存在する複数からなる自車１０以外の車両であり、予め俯瞰映像生成システムに接続されるように構成された他車２０は、Ｖ２Ｘを利用して俯瞰映像生成装置３０と通信し、俯瞰映像生成装置３０からの要請に基づいて、自車１０と同様に、俯瞰映像生成システムを構成するために必要な、例えば車両の前後左右に備えられた複数のカメラから、他車２０自身を含む周囲の撮影映像を取得し、取得された撮影映像を俯瞰映像生成装置３０に提供する。
自車１０又は他車２０の車両に備えられたカメラとしては、例えば図２に示すような駐停車支援のためのＡＶＭ（Ａｒｏｕｎｄ ｖｉｅｗ ｍｏｎｉｔｏｒ）用のカメラで撮影された映像が利用される。車両に備えられたカメラとしては、図２のＡＶＭ用カメラに限定されるものではなく、車間距離の維持や自動ブレーキ用に設けられたカメラ、ドライブレコーダーのカメラ等、車両に備えられたカメラであれば全て利用可能である。
俯瞰映像生成装置３０は、特徴点（量）抽出部３２、一致点判定部３４、映像合成部３６、俯瞰映像生成部３８、情報信号受信部４２、情報信号処理部４４、重畳情報生成部４６、表示映像生成部４８を含む。俯瞰映像生成装置３０は、自車１０のカーナビゲーション装置等に組み込まれて備えられるか、或いは自車１０に備えられた無線通信手段を介して接続されるクラウド上のサーバー（図示せず）内に設けられたＰＣ（パーソナルコンピュータ）やワークステーション等のハードウエア及びソフトウエアで構成される。
特徴点（量）抽出部３２は、図８を参照して後述する特徴量抽出方法を用いて対応点探索を行って特徴点（量）を抽出する。
一致点判定部３４は、図８を参照して後述する対応点探索により抽出された対応点を利用して映像信号間の一致点を判定する。
映像合成部３６は、一致点判定部３４の結果を利用して映像信号の合成を行う。
俯瞰映像生成部３８は、映像合成処理後の映像の視点変換を行って俯瞰映像を生成する。また、ユーザ操作に従って、俯瞰映像の位置情報の変更、視点位置の変更、拡大縮小などの処理を行う。俯瞰映像として表示される車両は、車両から取得された撮影映像に関連する情報として付与されたその車両のＧＰＳ等の位置情報に基づいて、要求される範囲で取捨選択される。
情報信号受信部４２は、自車及び他車に搭載されたカーナビゲーション装置等から、車両に関する外形等の車両関連情報と共に、ＧＳＰ等による位置情報、車速、操舵角情報、ナビゲーション情報、アクセル、ブレーキ、方向指示器などの運転関連情報の信号を受信する。
情報信号処理部４４は、情報信号受信部４２で得られた情報信号を統合して自車の走行の補助となる情報に変換処理する。
重畳情報生成部４６は、情報信号処理部４４で処理された情報を、俯瞰映像上に分かり易く表示するための重畳情報を生成する。また、ユーザ操作に従って、俯瞰映像に重畳される情報を変更する。
表示映像生成部４８は、俯瞰映像生成部３８で生成された映像と重畳情報生成部４６で生成された重畳情報を表示映像として表示する信号に変換し、表示装置５０に表示映像を提供する。
表示装置５０は、自車１０に備えられたカーナビゲーション装置、ドライブレコーダー、バックミラーに内蔵された表示装置、或いはカーナビゲーション装置等に備わる近接無線通信やクラウド上のサーバーを介して無線通信手段により接続されるスマートフォン等の無線通信手段を有する電子装置に備えられた表示装置である。俯瞰映像生成装置３０をクラウド上に備える場合は、外出先のスマートフォンのみならず、自宅やオフィスのＰＣにより、目的とする車両の俯瞰映像の場所及びその範囲等の位置情報の変更、視点位置の変更、拡大縮小表示も可能になる。
図示していないが、俯瞰映像生成システムには、タッチパネルや音声認識装置等による入力手段、各構成要素を制御する制御手段、フラッシュメモリやＳＳＤ等の記憶手段、近距離無線通信や携帯電話通信網、インターネット等による外部との有線無線通信手段、各種センサーを含む車内機器との接続手段等が含まれる。
図３は、本発明の一実施形態による個々の車両のカメラ映像を利用した俯瞰映像生成のフローチャートである。
道路を走行中の複数の車両（自車１０、他車２０）は、各々の車両に搭載された車載カメラ、例えばＡＶＭ用のカメラを用いて自身を含む前後左右の周囲をそれぞれ撮影してカメラ映像信号を取得し（ステップＳ３０１）、撮影された前後左右の周囲のカメラ映像信号からＡＶＭ映像信号を生成する（ステップＳ３０２）。
自車１０は、Ｖ２Ｘを利用して周囲を走行中の複数の車両（他車２０）と通信し、各々の車両（他車２０）からＡＶＭ映像信号を受信して自車１０に取り込む。或いは、生成されたＡＶＭ映像信号に代えて、カメラで撮影された前後左右の周囲の撮影映像信号をそのまま受信して自車１０の俯瞰映像生成装置３０に取り込む（ステップＳ３０３）。
自車１０に取り込まれた複数の車両（他車２０）の撮影映像信号は、俯瞰映像生成装置３０の特徴点（量）抽出部３２、一致点判定部３４、映像合成部３６、俯瞰映像生成部３８、及び表示映像生成部４８によって、視点変換及びイメージ合成されて自車の上空又は自車を含む更に後方から見た広域俯瞰映像を生成する（ステップＳ３０４）。生成された広域俯瞰映像は、自車のナビケーション装置、近距離無線接続されたスマートフォン、インターネット接続されたクラウド上のＰＣ等の表示装置に提供される。
俯瞰映像生成装置３０は、カメラの撮影映像信号以外に、自車及び他車に搭載されたカーナビゲーション装置等から、車両に関する情報、撮影映像に関連付けられたＧＳＰ等による位置情報、車速、操舵角情報、ナビゲーション情報、アクセル、ブレーキ、方向指示器などの運転関連情報の信号を情報信号受信部４２で受信し、情報信号処理部４４、重畳情報生成部４６、及び表示映像生成部４８によって、広域俯瞰映像に重畳して表示する。広域俯瞰映像に重畳される情報のうち、ユーザ操作によって必要な情報が取捨選択される。
俯瞰映像生成装置３０に取り込まれる情報は、自車１０及び他車２０のカメラ撮影映像信号、自車１０及び他車２０のナビゲーション情報等の車両からの情報以外に、他の通信手段を介したクラウド上の情報信号、インフラストラクチャー（以下、単に「インフラ」と称す）情報信号として、屋外に設置された監視カメラの映像信号、以下に説明する道路に設置された交通監視カメラの道路撮影映像信号等を含む。
図４は、本発明の一実施形態による道路に設置された交通監視カメラを利用した俯瞰映像生成のフローチャートである。
本実施形態では、インフラ情報信号として、道路上空に設置された交通監視カメラを想定する。図３で説明した内容と重複する説明は、簡略に説明するか又は省略する。道路上空に設置された交通監視カメラは、道路上の走行車両を撮影してカメラ映像信号を取得する（ステップＳ４０１）。
自車１０は、Ｖ２Ｘを利用して道路上空に設置された交通監視カメラと通信し、交通監視カメラで撮影された走行車両の監視映像信号を受信して必要な範囲の撮影映像を自車１０の俯瞰映像生成装置３０に取り込む（ステップＳ４０２）。
自車１０に取り込まれた交通監視カメラの監視映像信号は、俯瞰映像生成装置３０の特徴点（量）抽出部３２、一致点判定部３４、映像合成部３６、俯瞰映像生成部３８、及び表示映像生成部４８によって、視点変換及びイメージ処理されて自車の上空又は自車を含む更に後方から見た広域俯瞰映像を生成する（ステップＳ４０３）。生成された広域俯瞰映像は、自車のナビケーション装置、近距離無線接続されたスマートフォン、インターネット接続されたクラウド上のＰＣ等の表示装置に提供される。
俯瞰映像生成装置３０に取り込まれる情報は、自車１０及び交通監視カメラの監視映像信号、自車１０のナビゲーション情報等の車両からの情報以外に、他の通信手段を介したクラウド上の情報信号、屋外に設置された監視カメラの映像信号等の他のインフラ情報信号を含む。
図５は、本発明の一実施形態による俯瞰映像の例である。
図５は、カーナビゲーション装置等のフロントディスプレイ装置を用いて自社のコンソールに自車１０を含む広域俯瞰映像を表示した例であり、右側上図及び右側下図に拡大表示した例を示す。自車１０に搭乗しているユーザは、視点変換を用いて高い位置、後方位置からの俯瞰映像を見ることで、他車２０の動きを把握することが容易になる。また、各車両のカメラの撮影情報及び運転関連情報或いはインフラからの情報によって周囲車両の移動ベクトルを検出して後方を含む周囲車両の移動状況を把握することができ、更に前方の道路状況を事前に把握することもできる。
例えば、自車１０の後方１０ｍからの自車１０を含む前方映像を表示することで、自車１０を含む周辺の全体状況を俯瞰的に確認可能になり、後方車両の接近状況を含む周囲状況も確認可能になる。俯瞰映像生成装置３０は、ユーザ操作に従って、速度が速いほど前方から遠くまで表示するなど、運転者の好みや車速に応じた俯瞰位置を調節する機能を有する。例えば、方向指示器と連動することで表示範囲を変更し、移動方向側の映像や後方映像を広く表示する。また、カーナビゲーション装置等の地図情報と連携することで道路のカーブ状況によって地面表示の角度調節等を行う。
広域俯瞰映像上には、俯瞰映像に関連する情報として各種属性情報が表示される。例えば、右側上図及び右側下図の俯瞰映像を参照すると、自車１０が他車２０との識別が可能なように枠で囲まれて表示される。自車１０を区別するための識別表示は、枠で囲むことに限定されるものではなく、例えば、ハイライト、フラッシュ、色変更、他のマーキング手段等が使用される。また、自車の撮影映像信号及び取得された他車の撮影映像信号から車両及び運転に関連する情報を抽出することで、広域俯瞰映像上には、周囲車両の動き予測に関する情報が表示される。例えば、取得された対象となる車両の方向指示器の映像から、右側上図には「合流」しようとする車両、「進路変更」しようとする車両がその方向と共に表示される。更に、Ｖ２Ｘを利用した他車のナビゲーション情報を含む情報信号や通信手段を介したクラウド上の情報信号を取得して多様な情報信号を処理することで、広域俯瞰映像上には、より詳細且つより正確な情報が表示される。例えば右側下図には「左折車線が停滞」しており、「左折」しようとする複数の車両が表示され、俯瞰映像生成装置３０は、自車１０の前方の車両の殆どが「左折」すると判断して「車線変更指示」を表示して右車線に変更させようとする。
従来は、直進したくても前方に左折車が多いか否かが分からなかったが、Ｖ２Ｘとカーナビゲーション装置とを連携させることで、俯瞰映像生成装置３０は、左折車が多いレーンを自車１０が走行している場合に、走行レーンを変更するように予め指示することが可能になる。
他車２０のナビゲーション情報などから車の車線変更などの運転関連情報を収集することで、このような車両の動きを推定して表示することが可能になる。また、道路の混雑等でバイク等の小型車両が大型車両によって隠れる場合には、隠れた部分の死角に過去の映像を合成して補完表示すると共に、隠れた死角であることを明示する。
広域俯瞰映像上に表示される上述した属性情報は、自車１０及び他車２０の撮影映像信号から撮影映像に関する情報、例えば車両間の空きスペースを抽出し、車両が隠れないように重畳して貼り付けられる。或いは、自車１０及び他車２０の車両に関する外形等の情報や位置情報、車速、ナビゲーション情報、ターンシグナルなどの運転関連情報に基づいて重畳スペースを抽出する。
スマートフォンと連携することで、自車１０のカーナビゲーション装置等の表示装置で自車周辺の俯瞰映像をモニターしながら、補助席や後部シートのユーザが映像を自由に変更して見ることができ、複数のユーザが多様な角度や多様な視点で運転状況をモニターすることができる。更に、スマートフォン等で自車周辺以外の映像、例えば自車よりも１００ｍ前方の映像や更に前方の映像を同時にモニタリングすることも可能であり、究極的には自車を走行させなくても目的地までの道路状況を経路に沿って俯瞰映像としてモニタリングすることもできる。また、具体的な目的地が無くてもスマートフォンなどのスクロール機能などを用いて俯瞰映像を移動させながらモニタリングするというアプリケーションとしての利用も可能になる。
本発明の車両の俯瞰映像生成システムを搭載していない車両に対しても、Ｖ２Ｘを利用して自車１０で利用している俯瞰映像を他車２０に提供することで、広く安全走行のための情報提示に貢献することができる。また、上述した俯瞰映像をクラウド上に保存することで、事故時の状況を把握することもでき、事故以外にも道路整備者が道路状況をモニタリングし、道路の補修点検作業にも応用することができる。更に、前方のナンバープレートを読み取り、ビッグデータ等のクラウド上の情報及び人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を活用することで、ナンバープレート情報を基に過去の運転状況に関する情報から要注意車両を特定して表示すると共に、その情報を基に運転補助のナビゲーションを行うように構成することもできる。また、クラウド上のサーバーに俯瞰映像生成装置３０を設置する場合は、道路上空や道路脇等のインフラに設置された交通情報表示用の大型ディスプレイ上に、交通渋滞情報と共に交通関連情報が重畳された俯瞰映像を表示することもできる。
図６は、本発明の道路脇の交通監視カメラと車両との通信状況を示す図であり、図７は、本発明の一実施形態による車両間の通信状況を示す図である。
図６及び図７を参照しながら自車１０位置及び他車２０位置を特定する方法について説明する。各車両はカーナビゲーション装置に備えられたＧＰＳ等を用いて位置情報を特定する。自車１０の位置情報は自車１０の道路上の位置を推定するために使用し、他車２０の位置情報はＶ２Ｘを利用して取得して他車２０の道路上の位置を推定するために使用する。ＧＰＳ情報を取得できない場合は、ジャイロセンサー、加速度センサー、ＬＩＤＡＲ（ＬＩｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ ）等の車載センサーと、マップマッチング技術等を利用して位置情報を補完する。俯瞰映像生成装置３０は、自車１０及び他車２０のカーナビゲーション装置等から位置情報、予測進行方向を取得することで、カーナビゲーション装置等の表示装置に表示される俯瞰映像に重畳して、推定された予測移動方向を表示する。
図６に示すように、俯瞰映像生成装置３０は、自車１０及のカメラの撮影映像信号を受信して取得すると共に、Ｖ２Ｘ（Ｖ２Ｖ）を利用して他車２０と通信して他車２０のカメラの撮影映像信号を受信して取得するか、或いはＶ２Ｘ（Ｖ２Ｉ）を利用して道路に設置された交通監視カメラ等のインフラ設備と通信して道路撮影映像を取得する。この時、俯瞰映像生成装置３０は、同時に自車１０及び他車２０の車両に関する情報、位置情報、ナビゲーション情報等の運転関連情報を取得し、インフラ設備又は他の通信手段を介してクラウドから多地点のインフラ設備の情報を含む多様な交通関連情報信号を取得する。俯瞰映像生成装置３０は、複数の他車２０の撮影映像をイメージ合成及び視点変換を行って広域俯瞰映像を生成するか、或いはＶ２Ｘ（Ｖ２Ｉ）を利用してインフラ設備から取得された道路撮影映像をイメージ処理して視点変換された広域俯瞰映像を生成する。他車２０からの情報及びインフラ設備からの情報は、どちらか一方に限定されるものではなく、両者の情報を統合的に利用することもできる。
図５に示したような俯瞰映像に重畳する情報する情報について更に説明する。Ｖ２Ｘによる周辺車両からの車両関連情報やナビゲーション情報等の運転関連情報、Ｖ２Ｘによるインフラ設備からの情報、クラウド上に保存された過去の渋滞情報等を統合的にクラウド上にビッグデータとして蓄積し、ＡＩを利用してビッグデータを解析することで目的に合った情報を取得して俯瞰映像上に重畳して表示する。例えば、左折車、直進車、右折車等の車両進行情報を統合し、左折車、右折車の減速によって速度低下に巻き込まれないように直進車に対して早めに進路変更を指示することで、全体の通行車両の流れを円滑にする。
これらの応用例を更に挙げると、例えば、左折車が多いために左側走行レーンに停滞発生が予測される場合、左側レーンの車両に追い越し車線を通行するように早めに指示すると共に、スムーズに合流できるように周辺の車両にも指示する。例えば、道路に設置された交通情報表示板にも、直進車は現在の車線を走行するように指示する。例えば、各車両のナビゲーション情報及び現在迄の走行履歴を用いて、方向指示を出さない車両の走行経路を推定して早めに走行経路を指示する。例えば、予測から外れた車両を挙動が不自然な車両として表示する。例えば、左折する場合よりも直進及び右折して別の経路がより速く目的地まで着くと想定される場合、左折しない方がエコ運転になる場合など、運転者が選びやすいように経路情報を表示する。例えば、運転者の走行経路の選好度を学習し、停滞の状況でも進路の変更をしたくない場合や、新たな道路を開拓することが好きなユーザに対しては、その好みに合わせたナビゲーションを実行する。
図８は、本発明の一実施形態による特徴点（量）抽出によるイメージ合成の一例を示す図である。
俯瞰映像生成装置３０は、自車１０のカメラの撮影映像信号、Ｖ２Ｘを利用して取得された他車２０のカメラの撮影映像信号、Ｖ２Ｘを利用して取得された交通監視カメラ等のインフラ設備からの道路撮影映像信号を入力し、特徴点（量）抽出部３２で、各イメージ別に検出した特徴量に対応する局所特徴量によるイメージ間の対応点探索を行う。特徴点（量）抽出部３２で抽出された各特徴点に対して、一致点判定部３４で、イメージ間の移動量、射影変換（ホモグラフィ）推定等を用い、対応点を利用したイメージ間移動、変更量の推定を行って各イメージに対する一致点の判定を行う。映像合成部３６は、一致点判定部３４で求めた移動、変更量を利用して特徴点のマッチング処理を行い、各イメージの画素値をブレンド処理して自然なパノラマイメージになるように合成処理して合成映像を生成する。
特徴量、特徴点を抽出してイメージ認識やイメージ合成するアルゴリズムの詳細な説明は、公知の文献や資料を参照することで理解される。本明細書では、本発明の要旨を曖昧にする虞があるため、特徴量の抽出方法について以下に簡単に説明する。
特徴量としては、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）などが、回転、拡大・縮小、照明変化等に強いロバストな特徴量として知られており、これらを利用してイメージ合成に使用するための特徴量抽出を行う。
例えば、ＳＩＦＴ（スケール不変の特徴変換）特徴量を使用する場合、ヘッセ行列及びコントラストを基にキーポイント（特徴点）を検出してキーポイントのオリエンテーションを算出し、周辺領域をオリエンテーション方向に回転させ、キーポイントを中心として、キーポイントを有するスケールをガウス窓内の円領域内で勾配情報を求める。例えば、周辺領域を１辺当たり４ブロックの合計１６ブロックに分割し、ブロック毎に８方向（４５度ずつ）の勾配方向ヒストグラムを作成し、ヒストグラム＝４ブロック×４ブロック×８方向＝１２８次元の特徴ベクトルを生成する。１２８次元の各特徴ベクトルの長さをベクトルの総和で正規化し、照明変化に強い特徴量を取得する。
異なるイメージ間で抽出されたキーポイントの特徴量を比較することでイメージ間の対応点の探索が可能になる。ＳＩＦＴ特徴量を使用する対応点の探索でイメージマッチングを行い、２イメージ間に抽出されたキーポイントの特徴量の距離計算で対応点を探索し、例えば１２８次元のＳＩＦＴ特徴量間のユークリッド距離を算出し、算出された距離の最も小さい点を対応点とする。
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
１０ 自車
２０ 他車
３０ 俯瞰映像生成装置
３２ 特徴点（量）抽出部
３４ 一致点判定部
３６ 映像合成部
３８ 俯瞰映像生成部
４２ 情報信号受信部
４４ 情報信号処理部
４６ 重畳情報生成部
４８ 表示映像生成部
５０ 表示装置

Claims (16)

  1. 自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、
    前記広域俯瞰映像を表示する表示装置と、を備え、
    前記俯瞰映像生成装置は、
    車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像信号を取得し、
    前記取得された他車の撮影映像信号をイメージ合成して自車及び周囲車両を含む広域俯瞰映像を生成し、
    前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする車両の俯瞰映像生成システム。
  2. 前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された他車の撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
  3. 前記俯瞰映像生成装置は、
    自車の撮影映像信号及び前記取得された他車の撮影映像信号から車両及び運転に関連する情報を抽出し、
    前記抽出された車両及び運転に関連する情報に基づいて、周囲車両の動き予測に関する情報を前記広域俯瞰映像に重畳して表示することを特徴とする請求項１又は２に記載の車両の俯瞰映像生成システム。
  4. 前記俯瞰映像生成装置は、
    自車及び前記Ｖ２Ｘを利用した他車のナビゲーション情報を含む情報信号、及び通信手段を介したクラウド上の情報信号の中の１つ以上を取得する情報信号受信部を更に備え、
    前記取得された情報信号を処理して前記広域俯瞰映像に重畳して表示することを特徴とする請求項１乃至３のいずれか一項に記載の車両の俯瞰映像生成システム。
  5. 前記俯瞰映像生成装置は、
    前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、
    前記広域俯瞰映像上に前記他車の動き予測の表示を行うことを特徴とする請求項４に記載の車両の俯瞰映像生成システム。
  6. 前記俯瞰映像生成装置は、
    前記取得された他車の撮影映像信号及び前記取得された情報信号に基づいて他車の動き予測を行い、
    予測から外れた他車情報を挙動が不自然な車両として前記広域俯瞰映像上に表示することを特徴とする請求項４に記載の車両の俯瞰映像生成システム。
  7. 前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像として異なる地点又は異なる視点位置の俯瞰映を生成することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
  8. 前記俯瞰映像生成装置は、前記広域俯瞰映像の他車映像を、該他車の映像に関連して付与された車両の位置情報に基づいて取捨選択して表示することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
  9. 前記俯瞰映像生成装置は、ユーザ操作により、前記広域俯瞰映像の映像範囲の移動、拡大、縮小表示を行うことを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
  10. 前記俯瞰映像生成装置は、インフラに設置されたカメラからの映像信号によって他車の撮影映像信号を取得することを特徴とする請求項１に記載の車両の俯瞰映像生成システム。
  11. 前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、前記Ｖ２Ｘを利用して他車に提供されることを特徴とする請求項２に記載の車両の俯瞰映像生成システム。
  12. 前記広域俯瞰映像及び前記広域俯瞰映像に関する情報は、通信手段を介して接続された外部の電子装置に提供されることを特徴とする請求項２に記載の車両の俯瞰映像生成システム。
  13. 自車及び周囲車両の走行状況が把握可能な広域俯瞰映像を生成する俯瞰映像生成装置と、
    前記広域俯瞰映像を表示する表示装置と、を備え、
    前記俯瞰映像生成装置は、
    車両とモノとの通信通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得し、
    前記取得された道路撮影映像信号をイメージ処理して自車及び周囲車両を含む広域俯瞰映像を生成し、前記生成された自車及び周囲車両を含む広域俯瞰映像を前記表示装置に表示することを特徴とする車両の俯瞰映像生成システム。
  14. 前記俯瞰映像生成装置は、自車の撮影映像信号に前記取得された道路撮影映像信号をイメージ合成して自車を他車との識別が可能なように表示する前記広域俯瞰映像を生成することを特徴とする請求項１３に記載の車両の俯瞰映像生成システム。
  15. 俯瞰映像生成装置及び表示装置を備える車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、
    車両とモノとの通信（Ｖ２Ｘ）を利用して他車と通信して複数の撮影映像を含む他車の撮影映像を取得する段階と、
    自車の撮影映像信号と前記取得された他車の撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、
    前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を有することを特徴とする車両の俯瞰映像生成方法。
  16. 俯瞰映像生成装置及び表示装置を備えた車両の俯瞰映像生成システムにおける前記俯瞰映像生成装置の俯瞰映像生成方法であって、
    車両とモノとの通信（Ｖ２Ｘ）を利用して道路に設置された交通監視カメラと通信して道路撮影映像信号を取得する段階と、
    自車の撮影映像信号と前記取得された道路撮影映像信号とをイメージ合成して自車を他車との識別が可能なように表示する広域俯瞰映像を生成する段階と、
    前記生成された広域俯瞰映像を前記表示装置に表示する段階と、を有することを特徴とする車両の俯瞰映像の生成方法。

JP2018195310A 2018-10-16 2018-10-16 車両の俯瞰映像生成システム及びその方法 Pending JP2020065141A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018195310A JP2020065141A (ja) 2018-10-16 2018-10-16 車両の俯瞰映像生成システム及びその方法
KR1020180170097A KR20200043252A (ko) 2018-10-16 2018-12-27 차량의 부감 영상 생성 시스템 및 그 방법
US16/591,157 US11082616B2 (en) 2018-10-16 2019-10-02 Overlooking image generation system for vehicle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018195310A JP2020065141A (ja) 2018-10-16 2018-10-16 車両の俯瞰映像生成システム及びその方法

Publications (1)

Publication Number Publication Date
JP2020065141A true JP2020065141A (ja) 2020-04-23

Family

ID=70160978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018195310A Pending JP2020065141A (ja) 2018-10-16 2018-10-16 車両の俯瞰映像生成システム及びその方法

Country Status (3)

Country Link
US (1) US11082616B2 (ja)
JP (1) JP2020065141A (ja)
KR (1) KR20200043252A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028819A (ko) * 2021-08-19 2023-03-03 한국생산기술연구원 무인 자율주행 차량의 안전성 확보를 위한 관제차량

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US11346685B2 (en) * 2018-11-09 2022-05-31 Toyota Motor North America, Inc. Parking exit coordination systems and methods
WO2020241955A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010166196A (ja) 2009-01-14 2010-07-29 Clarion Co Ltd 車両周辺監視装置
US8526342B2 (en) 2011-04-22 2013-09-03 Qualcomm Incorporated Methods and apparatus for adaptive resource multiplexing in a peer-to-peer network
KR101327736B1 (ko) 2011-12-23 2013-11-11 현대자동차주식회사 Ａｖｍ탑뷰 기반 주차지원 시스템
US9639968B2 (en) * 2014-02-18 2017-05-02 Harman International Industries, Inc. Generating an augmented view of a location of interest
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230028819A (ko) * 2021-08-19 2023-03-03 한국생산기술연구원 무인 자율주행 차량의 안전성 확보를 위한 관제차량
KR102560104B1 (ko) * 2021-08-19 2023-07-31 한국생산기술연구원 무인 자율주행 차량의 안전성 확보를 위한 관제차량

Also Published As

Publication number Publication date
US11082616B2 (en) 2021-08-03
US20200120273A1 (en) 2020-04-16
KR20200043252A (ko) 2020-04-27

Similar Documents

Publication Publication Date Title
US10896310B2 (en) Image processing device, image processing system, and image processing method
CN108496178B (zh) 用于估计未来路径的***和方法
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
WO2016186039A1 (ja) 自動車周辺情報表示システム
JP4895313B2 (ja) ナビゲーション装置およびその方法
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP6311646B2 (ja) 画像処理装置、電子ミラーシステム、及び画像処理方法
JP4719590B2 (ja) 車載周辺状況提示装置
CN111915915A (zh) 驾驶场景重构方法、装置、***、车辆、设备及存储介质
JP2008123215A (ja) 運転支援装置、運転支援方法、及び、プログラム
JP4601505B2 (ja) トップビュー画像生成装置及びトップビュー画像表示方法
EP3859390A1 (en) Method and system for rendering a representation of an evinronment of a vehicle
JP2008293095A (ja) 運転支援システム
JP2019109707A (ja) 表示制御装置、表示制御方法および車両
US11697425B1 (en) Method and system for assisting drivers in locating objects that may move into their vehicle path
JP2009074888A (ja) 車間距離計測装置
JP5825713B2 (ja) 車両用危険場面再現装置
JP4848644B2 (ja) 障害物認識システム
JP6733277B2 (ja) 画像表示方法及び画像表示装置
JP4986070B2 (ja) 車両用周囲監視装置
JP2009105741A (ja) 車載周辺監視装置
JP2010262665A (ja) 車載装置及び車両認識方法
JP2022006844A (ja) 物体検出方法及び物体検出装置
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치