CN107465890B - 车辆的图像处理装置 - Google Patents

车辆的图像处理装置 Download PDF

Info

Publication number
CN107465890B
CN107465890B CN201710413871.XA CN201710413871A CN107465890B CN 107465890 B CN107465890 B CN 107465890B CN 201710413871 A CN201710413871 A CN 201710413871A CN 107465890 B CN107465890 B CN 107465890B
Authority
CN
China
Prior art keywords
virtual
vehicle
bird
image
eye view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710413871.XA
Other languages
English (en)
Other versions
CN107465890A (zh
Inventor
渡边一矢
田中优
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN107465890A publication Critical patent/CN107465890A/zh
Application granted granted Critical
Publication of CN107465890B publication Critical patent/CN107465890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0239—Electronic boxes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10—Automatic or semi-automatic parking aid systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一种车辆(1)的图像处理装置(11)包括：获取单元(31)，获取车辆周围的拍摄图像，所述拍摄图像由配置在车辆中的成像单元(12)拍摄；鸟瞰视角图像生成单元(32、1501)，生成鸟瞰视角图像，在鸟瞰视角图像中，拍摄图像被投射到3D虚拟投射平面(600、800)，该3D虚拟投射平面设置在相对于地面与车辆相对侧，并且以距车辆的距离与地面分开；引导线生成单元(33)，生成表示车辆的预测路线的引导线(420、720、820)；转换单元(34、1502)，将引导线转换成表示虚拟投射平面上的预测路线的虚拟引导线；以及叠加单元，将虚拟引导线叠加在鸟瞰视角图像上。

Description

车辆的图像处理装置
技术领域
本公开涉及一种用于车辆的图像处理装置。
背景技术
在相关技术中，已知一种图像处理装置，其生成将拍摄图像投射到三维物体上的图像数据，将该图像数据转换成从视角的设定点来观察的图像，并且输出图像作为输出图像。参见例如JP 2006-253872A(参考文献1)和WO2012/017560(参考文献2)。
在这类图像处理装置中，例如，更容易地识别输出图像中所包括的物体的位置是有意义的。
发明内容
根据本公开方案的一种车辆的图像处理装置，包括：获取单元，所述获取单元获取所述车辆周围的拍摄图像，所述拍摄图像由配置在所述车辆中的成像单元拍摄；鸟瞰视角图像生成单元，所述鸟瞰视角图像生成单元生成鸟瞰视角图像，在所述鸟瞰视角图像中，所述拍摄图像被投射到三维(3D)虚拟投射平面，所述3D虚拟投射平面设置在相对于地面与所述车辆相对侧，并且以距车辆的距离与地面分开；引导线生成单元，所述引导线生成单元生成表示所述车辆的预测路线的引导线；转换单元，所述转换单元将引导线转换成表示虚拟投射平面上所述车辆的预测路线的虚拟引导线；以及叠加单元，所述叠加单元将虚拟引导线叠加在所述鸟瞰视角图像上。因此，可以防止站立物体被延长，并且可以防止引导线的不适感，例如，通过使用鸟瞰视角图像，在该鸟瞰视角图像中，拍摄图像被投射到3D虚拟投射平面，该3D虚拟投射平面设置在相对于地面与所述车辆相对侧，并且以距车辆的距离与地面分开，因而，可以更容易地识别周围情形。
在根据本公开方案的车辆的图像处理装置中，例如，所述鸟瞰视角图像生成单元可以生成虚拟透镜形状的鸟瞰视角图像，在所述鸟瞰视角图像中，所述拍摄图像通过对应地面的虚拟平面被投射到虚拟投射平面。借助该配置，例如，将拍摄图像投射到具有虚拟球形的3D虚拟投射平面之前，拍摄图像被投射到虚拟平面，以便防止在显示车辆周围时出现故障。
在根据本公开方案的车辆的图像处理装置中，所述鸟瞰视角图像生成单元可以基于取决于虚拟透镜类型的多个转换技术中的任意一种，来生成虚拟透镜类型的鸟瞰视角图像。借助该配置，例如，由于能够实现根据情形的显示，所以可以容易地识别车辆的周围情形。
附图说明
根据参考附图所做的下述详细说明，本公开的上述特征和特点及附加特征和特点将变得更为清楚，其中：
图1是根据第一实施例的图像显示***的示例性示意图；
图2是示出了根据第一实施例图像显示***的成像单元的成像范围的一个示例的平面视图；
图3是根据第一实施例的ECU的示例性和示意性框图；
图4是相关技术中使用的描述虚拟投射平面是虚拟平面的情况的示图；
图5是相关技术中使用的示出了在虚拟投射平面是虚拟平面的情况下生成的鸟瞰视角图像的示图；
图6是相关技术中使用的描述虚拟投射平面具有虚拟碗(bowl)形状的情况的示图；
图7是相关技术中使用的示出了在虚拟投射平面具有虚拟碗形状的情况下生成的鸟瞰视角图像数据的示图；
图8是描述虚拟投射平面具有根据第一实施例的虚拟球形的情况的示图；
图9是示出了在虚拟投射平面是根据第一实施例的虚拟球(弯曲)形的情况下生成的鸟瞰视角图像数据的示图；
图10是描述根据第一实施例的在存储单元中存储的图像转换表的示图；
图11是示出了理想图像高度与实际图像高度之间的关系的示图；
图12是示出了道路表面上的实际位置的示图；
图13是示出了由成像单元拍摄的图像数据被投射到虚拟弯曲表面的方案的解释性示图；
图14是示出了第一实施例中直到ECU输出了鸟瞰视角图像数据的处理的顺序的流程图；
图15是根据第二实施例的ECU的示例性和示意性框图；以及
图16是示出了将鸟瞰视角图像数据转换成正交投射的鱼眼透镜形状以及将鸟瞰视角图像数据转换成等立方角投射的鱼眼透镜形状的示图。
具体实施方式
在下文中，将要公开本文公开的示例性实施例。下面所示实施例的组件，以及由相应组件产生作用、结果和效果是示例。可以通过除了下文给出的实施例中公开的组件之外的组件来实现本文公开的实施例。此外，根据本文公开的实施例，可以获取由各组件获取的各种效果和衍生效果中的至少一种。
相同的组件包括在下文公开的各实施例和各示例中。在下文中，相同附图标号将表示相同的元件，并且将省略重复的描述。
(第一实施例)
图1是根据第一实施例的图像显示***的示例性示意图。如图1所示，安装在车辆1中的图像显示***10包括电控单元(ECU)11。ECU 11图像处理由成像单元12拍摄的拍摄图像以生成输出图像。该ECU 11控制显示器24a以显示所示输出图像。ECU 11是图像处理装置或显示控制器的一个示例。
将要描述图像显示***。图像显示***10显示根据车辆1的情形的输出图像。该图像显示***10可以被实现在使用用于控制车辆1的输出图像的***中，例如驱动辅助***或停车辅助***。
如图1所示，通过例如车载网络23电连接或可通信地连接图像显示***10中包括的装置或电子组件。所述装置或电子组件是例如非接触测量装置13、转向角传感器14、GPS16、轮速传感器17、制动传感器18a、方向指示器22以及输入单元24b。车载网络23例如是控制器区域网络(CAN)。此外，可以通过不是CAN的网络来电连接或可通信地连接每个电子组件。
成像单元12是具有诸如在其中实现有电荷耦合器件(CCD)或CMOS图像传感器(CIS)的成像器件的数字摄像机。成像单元12可以输出图像数据，即，预定帧速率下的运动图片数据。
图2是示出了成像单元12的成像范围的一个示例的平面视图。如图2所示，在车体2中，对车辆外部进行成像的成像单元12被配置在车体2的前部、右部、左部和后部中的每一个部分中。车体2前部配置的成像单元12被安装在例如前格栅处。车体2左和右部配置的成像单元12分别安装在例如门镜处。车体2后部配置的成像单元12被安装在例如后舱处。此外，尽管未示出，成像单元12可以被安装在例如车体2后端的左和右角中的每一个角处。成像单元12例如是广角透镜或鱼眼透镜。成像单元12获取车体2(车辆1)周围的拍摄图像的数据。另外，可以配置三个或更少的成像单元12或者五个或更多的成像单元12。此外，多个成像单元12中每一个的成像范围可以改变。
非接触测量装置13例如是辐射超声波或无线电波的传感器或雷达，以便获取其反射波。ECU 11可以通过非接触测量装置13的检测结果测量定位在车辆1附件的障碍物是否存在或者到障碍物的距离。也就是说，非接触测量装置13也被称作物体检测单元或距离测量单元。
转向角传感器14是检测作为转向单元的手柄(未示出)的转向量的传感器，其通过使用例如霍尔元件等而构成。
全球定位***(GPS)16可以基于从人造卫星接收的无线电波获取当前位置。
轮速传感器17是检测车轮转动量或每单位时间旋转数量的传感器，其由例如霍尔元件等构成。ECU 11可以基于从轮速传感器17获取的数据计算车辆1的移动量。轮速传感器17可以安装在制动***18中。
制动***18是防止制动死锁的防抱死制动***(ABS)、防止车辆1在转弯期间侧滑的防止侧滑装置(电子稳定性控制(ESC))、增加制动力的电制动***、或线控制动(BBW)等。制动***18向车轮施加制动力，以便通过致动器(actuator,未示出)使车辆1减速。制动传感器18a例如是检测制动踏板的操作量的传感器。
加速器传感器19是检测加速踏板的操作量的传感器。转矩传感器20a检测由驾驶员向转向单元施加的转矩。变速传感器21例如是检测变速操作单元的驱动单元的位置的传感器，其由位移传感器等构成。驱动单元例如是控制杆、臂、或按钮等。上述各种传感器或致动器的构成、布局、电连接形式均如示例所表示，且可以被不同地设置或改变。方向指示器22输出用于指示方向指示灯的打开、关闭、以及闪烁等的信号。
输入单元10a可以安装在图像显示***10中。在此情况下，输入单元10a例如由按钮、开关、手柄等构成。
监控装置24包括显示器24a、输入单元24b、以及声音输出装置24c。显示器24a例如是液晶显示器(LCD)。声音输出装置24c例如是扬声器。输入单元24b是透明的，且包覆显示器24a。输入单元24b例如是触控面板等。用户可以通过输入单元24b可视化识别显示器24a的显示屏幕上显示的图像。在显示器24a的显示屏幕上显示的与图像对应的位置处用户还可以通过使用手指等触摸、按压、或移动输入单元24b的操作来执行输入。此外，显示器24a、输入单元24b、声音输出装置24c等被安装在例如放置在车辆宽度方向(即，仪表盘的水平方向)的中心的监控装置24中。监控装置24可以具有诸如开关、刻度盘、操纵杆、或按钮等的输入单元(未示出)。监控装置24被连带地用作导航***或音频***。
ECU 11包括例如中央处理单元(CPU)11a、只读存储器(ROM)11b、随机存取存储器(RAM)11c、闪速存储器11d、显示控制器11e、以及声音控制器11f等。闪速存储器11d可以是固态驱动器(SSD)。CPU 11a可以执行各种操作。CPU 11a可以读取诸如ROM 11b或闪速存储器11d的非易失性存储器中安装并存储的程序，并且执行根据相应程序的操作处理。RAM11c暂时存储用于CPU 11a中的操作的各种数据。闪速存储器11d还可以是可重写非易失性存储单元，并且即便ECU 11的电源被关闭时，闪速存储器11d也可以存储数据。此外，显示控制器11e可以使用由成像单元12获取的图像数据来主要执行一般的图像处理，或者主要执行显示器24a中显示的图像数据的一般的图像处理。另外，声音控制器11f可以主要执行从声音输出装置24c输出的声音数据的处理。此外，CPU 11a、ROM 11b、以及RAM 11c等可以被集成在同一封装中。此外，ECU 11可以使用诸如数字信号处理器(DSP)或逻辑电路的另一种逻辑操作处理器以代替CPU 11a。此外，ECU 11可以使用硬盘驱动器(HDD)以代替闪速存储器11d，或者闪速存储器或HDD可以独立于ECU 11而被配置。
图3是ECU 11的示例性和示意性框图。ECU 11可以通过结合硬件和软件(程序)来充当图像处理装置。如图1所示，ECU 11可以包括显示控制器11e和声音控制器11f，并且如图3所示，ECU 11可以包括图像处理单元30和存储单元40。例如通过CPU 11a来配置图像处理单元30。在此情况下，CPU 11a充当图像处理单元30的各相应单元，即获取单元31、鸟瞰视角图像生成单元32、引导线生成单元33、引导线转换单元34、叠加单元35、以及输出单元36等。存储单元40包括ROM 11b、RAM 11c、以及闪速存储器11d。此外，至少部分由图像处理单元30执行的图像处理可以由显示控制器11e来执行。图像处理单元30的每个单元可以对应程序的模块，并且至少部分图像处理单元30可以被配置为硬件。
获取单元31获取车辆1周围的拍摄图像，该拍摄图像由安装在车辆1中的多个成像单元12来拍摄。
存储单元40存储图像转换表41，该图像转换表用于将由获取单元31获取的拍摄图像数据转换成被投射到虚拟投射平面的鸟瞰视角图像。此外，存储单元40存储引导线转换表42，该引导线转换表用于赋予与鸟瞰视角图像相似的畸变，以便在鸟瞰视角图像上叠加用于引导车辆1的引导线。
本实施例的图像转换表被设置为用于生成鸟瞰视角图像数据的表，在该鸟瞰视角图像数据中，拍摄图像数据看起来像是透过鱼眼透镜的。首先，描述相关技术中使用的鸟瞰视角图像数据。
图4是相关技术中使用的描述虚拟投射平面是虚拟平面的情况的示图。如图4所示，当虚拟投射平面是虚拟平面400时，使用相关技术中生成并显示从车辆410上方提供的虚拟视点401参看的鸟瞰视角图像数据的技术。
图5是相关技术中使用的示出了在虚拟投射平面是虚拟平面的情况下生成的鸟瞰视角图像的示图。在图5所示的示例中，重现分割线的直线。在其上，还显示表示车辆410的预测路线的引导线420等，同时基于车辆410的转向角将引导线叠加在鸟瞰视角图像数据。由于相应的引导线420还被投射到虚拟平面上，所以驾驶员可以容易地识别车辆410的预测路线。
同时，延长站在车辆410附近的人(例如，孩子501)或物体。原因是比如孩子501，与车辆410中安装的成像单元高度一样的位置被投射在无限远处。因此，在一些情况下，基于拍摄图像数据来确定站在车辆410附近的人或物体可能是困难的。
图6是相关技术中使用的描述虚拟投射平面具有虚拟碗形状的情况的示图。如图6所示，当虚拟投射平面600具有虚拟碗形状时，虚拟投射平面600包括平面部601和弯曲部602。然后，所用技术是生成并显示从车辆610上方提供的虚拟视点605参看的鸟瞰视角图像数据。
图7是相关技术中使用的示出了在虚拟投射平面600具有虚拟碗形状的情况下生成的鸟瞰视角图像数据的示图。在图7所示的示例中，由于拍摄图像数据被投射为虚拟碗形状，因而可以防止车辆610附近存在的人(例如，孩子710)或物体被延长，结果是容易确定该人或该物体。
在图7所示的示例中，当通过多个成像单元拍摄图像时，在预定点处彼此交叉的多个成像单元的成像方向在该预定点处彼此偏离，因而，成像方向在另一个地方彼此偏离。因此，道路表面上的直线型白线在相邻成像单元的边界处在中间被扭曲成弯曲的，或者一条白线在相邻成像单元的边界处趋于被分叉。
此外，引发不适的引导线720可以被叠加在鸟瞰视角图像数据上是可能的。在此情况下，当叠加引导线以便引导道路表面的车辆610时，视点中的差异出现在相应道路表面(平面)与布置在虚拟碗形状的空中的投射表面之间。因而，由于视点中相应差异的影响而在所述引导线上出现了不适的感觉。
因此，在本实施例中，拍摄图像数据被投射到通过鱼眼透镜参看的投射平面。
图8是描述虚拟投射平面具有根据实施例的虚拟球形的情况的示图。如图8所示，在本实施例中，具有虚拟球形的虚拟投射平面800根据车辆810的信息的虚拟视点801生成并显示鸟瞰视角图像数据。
在本实施例中，由多个成像单元12拍摄的多个拍摄图像数据不直接投射到虚拟投射平面800，但是由多个成像单元12拍摄的多个拍摄图像数据一旦被投射到虚拟平面802，此后，被投射到相应虚拟平面802的图像数据就被投射到虚拟投射平面800。如图4和图5所示，当拍摄图像数据被投射到虚拟平面时，图6和图7所述的多个摄像机导致的各图像视点中的偏差或差异不出现。
因此，在本实施例中，拍摄图像数据一旦被投射到虚拟平面802，被投射到虚拟平面802的拍摄图像数据就被再次投射到虚拟投射平面800。
图9是示出了在虚拟投射平面具有虚拟球(弯曲)形的情况下生成的鸟瞰视角图像数据的示图。在图9所示的示例中，拍摄图像数据被投射到虚拟平面802，并且被投射到虚拟平面802的拍摄图像数据被再次投射到虚拟投射平面800。该拍摄图像数据通过虚拟平面802，以便可以防止由于各图像的视点中的偏差或差异所引发的不适感。其后，拍摄图像数据被投射到虚拟投射平面800，以便防止车辆810附近存在的人(例如，孩子803)或物体被延长，并且因而，容易确定人或物体。
在图9所示的示例中，将叠加到虚拟平面上的引导线820投射到虚拟投射平面800的处理，用以抑制不适感。
因此，在本实施例中，图像转换表被存储在存储单元40以完成用于将拍摄图像数据投射到虚拟表面802的转换，以及完成用于将被投射到虚拟平面802的拍摄图像数据再次投射到虚拟投射平面800的转换。
将要描述本实施例的图像转换表。图10是描述在存储单元40中存储的图像转换表的示图。如图10所示，通过使用图像转换表将拍摄图像数据的像素(坐标(Un,Vn))转换成输出图像数据的像素(坐标(Xn,Yn))。然后，将要描述图像转换表的转换算法。首先，将要描述从输出图像数据的像素(坐标(Xn,Yn))一直到拍摄图像数据的像素(坐标(Un,Vn))的转变。而且，用于转换相应图像转换表的操作不是特定由ECU 11来执行，任何计算单元均可以执行该处理。
计算单元(未示出)将输出图像数据的像素(坐标(Xn,Yn))转换成原点位于鱼眼透镜的中心坐标(坐标(Xc,Yc))的坐标(坐标(X'n,Y'n))。而且，输出图像数据的像素(坐标(Xn,Yn))具有原点位于图10的输出区域中左上角的坐标。计算单元使用公式(1)和公式(2)来计算原点位于鱼眼透镜的中心坐标(坐标(Xc,Yc))的坐标(坐标(X'n,Y'n))。
X'n＝Xn–Xc (1)
Y'n＝Yn–Yc (2)
进一步地，计算单元使用公式(3)计算来自透镜中心的输出图像数据的像素的距离y。
y＝sqrt((X'n×X'n)+(Y'n×Y'n)) (3)
在本实施例中，描述鱼眼透镜处于正交投射状态的情况。在正交投射的情况中，建立下述公式(4)。进一步地，假设被摄体侧(subject side)到光轴的角(入射角)由θ来表示，距图像侧中心(在由鱼眼透镜转换以后)的距离(实际图像高度)是y，焦距是f。
y＝f×sinθ (4)
因此，入射角θ可以由公式(5)来表示
θ＝asin(y/f) (5)
图11是示出了理想图像高度I与实际图像高度y之间的关系的示图。如图11所示，理想图像高度I表示在与鱼眼透镜间隔焦距f平面上不进行鱼眼透镜1101的转换时距中心的距离，并且实际图像高度y表示在与鱼眼透镜1101间隔焦距f的平面上进行鱼眼透镜的转换时距中心的距离。如图11所示，理想图像高度I可以使用公式(6)根据入射角θ来计算
I＝f×tanθ (6)
将实际图像高度y设置为理想图像高度的放大率α可以由公式(7)来表示。
α＝I/y (7)
此外，计算单元使用公式(8)和(9)将实际图像高度的坐标(坐标(X′n,Y′n))转换成理想图像高度的坐标(坐标(X″n,Y″n))。
X″n＝X′n×α (8)
Y″n＝Y′n×α (9)
理想图像高度I的坐标(坐标(X″n,Y″n))表示当图像不通过鱼眼透镜时虚拟平面上的坐标。换句话说，公式(8)和(9)的处理表示将被投射到虚拟弯曲表面的坐标转换成被投射到虚拟平面的坐标。
图12是示出了道路表面上的实际位置的示图。如图12所示，道路表面上的位置被设置为其中心点位于透镜中心点(PXc,0,PZc)的坐标系(PX轴,PZ轴)。
在本实施例中，计算单元基于表示实际图像高度y与道路表面之间的距离差的比例(Scale)，将理想图像高度的坐标(坐标X″n,Y″n)转换成如图12所示的道路表面上的位置(PXn,0,PZn))。以下所述公式(10)和(11)用于相应的转换。
PXn＝-X”n×Scale+PXn (10)
PZn＝-Y”n×Scale+PZn (11)
计算单元将道路表面上的位置(PXn,0,PZn)投射并转换到成像装置的拍摄图像上，以导出拍摄图像数据的像素(坐标(Un,Vn))。而且，相关技术中的技术可以用于成像单元12的投射转换方法，并且省略该技术的描述。
计算单元执行处理以导出拍摄图像数据的像素(坐标(Un,Vn))与输出图像数据的像素(坐标(Xn,Yn))之间的对应关系。本实施例的图像转换表存储了相应的对应关系。而且，基于此，本实施例可以将拍摄图像数据的像素(坐标(Un,Vn))转换成正交投射的鱼眼透镜形状的输出图像数据的像素(坐标(Xn,Yn))。此外，本实施例将拍摄图像数据的像素(坐标(Un,Vn))转换成输出图像数据的像素(坐标(Xn,Yn))，而不是实际地生成或者使用由理想图像高度的坐标(坐标(X″n,Y″n))或实际图像高度的坐标(坐标(X’n,Y’n))在中间生成的图像数据。
接下来描述引导线转换表42。首先，计算单元使用公式(12)和(13)将由引导线表示的道路表面上的轨迹点((PXm,0,PZm)转换成其原点位于透镜中心(PXc,0,PZc)的坐标(PX′m,0,PZ′m)。
PX′m＝PXm–PXc (12)
PZ′m＝PZm–PZc (13)
进一步地，计算单元使用公式(14)和(15)将道路表面上的轨迹点(PXm,0,PZm)转换成显示屏幕上的理想图像高度的坐标(坐标(X”m,Y”m))。
X″m＝-PX′m/Scale (14)
Y″m＝-PZ’m/Scale (15)
可以从公式(16)获取来自理想图像高度的坐标(坐标(X”m,Y”m))的理想图像高度Im。
Im＝sqrt((X″m×X″m)+(Y″m×Y″m)) (16)
进一步地，可以使用下列公式(17)来导出入射角θm。进一步地，焦距f与图像转换表41所使用的值相同。
θm＝atan(Im/f) (17)
由于鱼眼透镜与图像转换表41类似，所以建立公式(18)。进一步地，由ym表示实际图像高度。
ym＝f×sinθm (18)
将理想图像高度Im设置成实际图像高度ym的缩小率β可以由公式(19)表示。
β＝ym/Im (19)
计算单元通过使用公式(20)和(21)(即使用缩小率β)将理想图像高度的坐标(坐标(X″m,Y″m))转换成实际图像高度的坐标(坐标(X′m,Y′m))。
X′m＝X″m×β (20)
Y′m＝Y″m×β (21)
计算单元使用公式(22)和(23)将鱼眼透镜的透镜中心坐标(Xc,Yc)添加到实际图像高度坐标(坐标(X’m,Y’m))，从而将实际图像高度的坐标(坐标(X’m,Y’m))转换成其原点位于输出区域上左上角的坐标(Xm,Ym)。
Xm＝X′m+Xc (22)
Ym＝Y′m+Yc (23)
计算单元执行处理以导出引导线的道路表面上的轨迹点(PXm,0,PZm)与输出图像数据的坐标值(坐标(Xm,Ym))之间的对应关系。本实施例的引导线转换表存储了相应的对应关系。因而，用于引导车辆1的引导线的轨迹可以被转换成输出图像数据的虚拟引导线的轨迹。
回来参照图3，通过使用图像转换表41来转换获取单元31所获取的拍摄图像数据，鸟瞰视角图像生成单元32生成基于虚拟视点的鱼眼透镜形状的鸟瞰视角图像数据。在本实施例中，描述生成鱼眼透镜形状的鸟瞰视角图像的示例，但是鸟瞰视角图像不限于鱼眼透镜形状的鸟瞰视角图像，其可以是虚拟透镜形状的鸟瞰视角图像。例如，考虑广角虚拟透镜形状的鸟瞰视角图像。
图像转换表41不需要具有对应所有像素的相应关系，并且为每一个三角形剪切出拍摄图像数据，图像转换表41的值可以具有关于三角形各个顶点的对应关系。
图13是示出了将由成像单元12拍摄的图像数据投射到虚拟弯曲表面(虚拟投射平面)的解释性示图。如图13所示，图像转换表41基于对应关系完成转换。鸟瞰视角图像生成单元32生成鱼眼透镜形状的鸟瞰视角图像数据，在其中，将拍摄图像数据投射到对应于地面的虚拟平面SP1，并且还使用图像转换表41将被投射到虚拟平面SP1的拍摄图像数据投射到虚拟弯曲表面SP2。
虚拟平面SP1是正交于车辆1的垂直方向Y的水平平面，并且对应于与轮胎接触的地面。虚拟弯曲表面SP2表示相对于地面设置在车辆1相对侧的、且以距车辆1的距离与地面分开的虚拟球形3D虚拟投射平面。虚拟弯曲表面SP2在存在于成像单元1301成像方向1302上的延长线上的点1303处与虚拟平面SP1接触。在本实施例中，描述将拍摄图像数据投射到球形虚拟弯曲表面SP2的示例，但虚拟弯曲表面不限于虚拟球形，并且虚拟弯曲表面可以具有非球形。
在成像单元1301的视场角1361内，只有由线1352表示的范围可以显示在虚拟平面SP1上，但是，比由线1351表示的范围大的范围可以显示在虚拟平面SP2上。如上所述，生成鱼眼透镜类型的鸟瞰视角图像数据以检验更大的范围。
在本实施例中，拍摄图像数据在通过虚拟平面SP1之后被投射到虚拟弯曲表面SP2。因而，在生成的鸟瞰视角图像数据中，在多个成像单元的边界处可以防止直线在中部被弯曲，或者可以防止该线在中部被分叉。
引导线生成单元33基于车辆1的转向角生成表示车辆1的预测路线的引导线。
引导线转换单元34使用引导线转换表42将由引导线生成单元33生成的引导线转换成虚拟引导线，该虚拟引导线在球形虚拟投射平面(虚拟弯曲表面)SP2上表示车辆1的预测路线。
叠加单元35将虚拟引导线叠加在鱼眼透镜形状的鸟瞰视角图像数据上。在本实施例中，由于未出现视点的差异，所以相比于在相关技术中使用的将虚拟引导线叠加到具有虚拟碗形状的虚拟投射平面上的情况，可以避免不适感。
输出单元36向显示器24a输出鱼眼透镜形状的鸟瞰视角图像数据，在该鸟瞰视角图像数据上叠加了虚拟引导线。
接下来，将要描述本实施例的ECU 11中直到输出鸟瞰视角图像数据的处理。图14是示出了本实施例ECU 11中的处理的顺序的流程图。
首先，获取单元31获取车辆1周围的拍摄图像数据，该拍摄图像数据是由多个成像单元12拍摄(S1401)。
然后，鸟瞰视角图像生成单元32使用图像转换表41将拍摄图像数据转换成鸟瞰视角图像数据(S1402)。
接下来，引导线生成单元33基于车辆1的转向角生成引导线(S1403)。
引导线转换单元34使用引导线转换表将生成的引导线转换成取决于鸟瞰视角图像数据的畸变的虚拟引导线(S1404)。
叠加单元35将虚拟引导线叠加在鸟瞰视角图像数据上(S1405)。
输出单元36向显示器24a输出鱼眼透镜形状的鸟瞰视角图像数据，在该鸟瞰视角图像数据上叠加了虚拟引导线(S1406)。
根据本实施例，借助上述配置，可以在鸟瞰视角图像数据上叠加合适的虚拟引导线。因而，即便使用鱼眼透镜形状的鸟瞰视角图像数据，也可以识别车辆1的预测路线。
(第二实施例)
在第一实施例中，已经描述了鱼眼透镜的图案仅是一种类型的情况。然而，鱼眼透镜(虚拟透镜)的图案不限于一种类型，并且用户可以从多个类型中任意选择鱼眼透镜的图案。因此，在第二实施例中，将参照可以从多个类型中选择鱼眼透镜的图案的情况来进行描述。
图15是根据第二实施例的ECU的示例性和示意性框图。通过结合硬件或软件(程序)，ECU 11可以充当图像处理装置。在此情况下，CPU 11a充当图像处理单元30的各个单元，即，获取单元31、鸟瞰图像生成单元1401、引导线生成单元33、引导线转换单元1502、叠加单元35、选择单元1503、输出单元36等。
存储单元40存储第一图像转换表1551、第二图像转换表1552、第一引导线转换表1553和第二引导线转换表1554。
第一图像转换表1551被设置作为将拍摄图像数据的像素(坐标(Un,Vn))转换成正交投射鱼眼透镜形状的输出图像数据的像素(坐标(Xn,Yn))的表，如同图像转换表41。
第二图像转换表1552被设置作为将拍摄图像数据的像素(坐标(Un,Vn))转换成等立方角投射鱼眼透镜形状的输出图像数据的像素(坐标(X″′n,Y″′n))的表。
第二图像转换表1552被设置作为使用等立方角y＝2×f×sin(θ/2)以代替第一实施例所示的正交投射y＝f×sinθ的转换表。而且，另一个与第一实施例相似。
第一引导线转换表1553被设置作为用于生成叠加在正交投射鱼眼透镜形状的输出图像数据上的引导线的转换表，其与第一实施例的引导线转换表42类似。
第二引导线转换表1554被设置作为用于生成叠加在等立方角投射鱼眼透镜形状的输出图像数据上的引导线的转换表。第二引导线转换表1554被设置作为使用等立方角投射y＝2×f×sin(θ/2)以代替第一实施例所示的正交投射y＝f×sinθ的转换表。而且，另一个与第一实施例类似。
当转换显示在显示器24a中的鸟瞰视角图像数据时，选择单元1503根据驾驶员通过输入单元10a的操作从待使用的正交投射鱼眼透镜和等立方角投射鱼眼透镜中选择任意一个。
鸟瞰视角图像生成单元1501基于取决于鱼眼透镜类型的多个转换技术中的任意一种，来生成鱼眼透镜形状的鸟瞰视角图像。
当选择单元1503选择正交投射的鱼眼透镜时，本实施例的鸟瞰视角图像生成单元1501使用第一图像转换表1551将拍摄图像数据转换成鸟瞰视角图像数据。而且，当选择单元1503选择等立方角投射时，鸟瞰视角图像生成单元1501使用第二图像转换表1552将拍摄图像数据转换成鸟瞰视角图像数据。
引导线转换单元1502基于取决于鱼眼透镜类型的多个转换技术中的任意一种，将引导线转换成取决于鱼眼透镜形状的鸟瞰视角图像的虚拟引导线。
当选择单元1503选择正交投射的鱼眼透镜时，第一实施例的引导线转换单元1502使用第一引导线转换表1553将引导线转换成虚拟引导线(在被转换成正交投射的鱼眼透镜形状的道路表面上)。而且，当选择单元1503选择等立方角投射的鱼眼透镜时，鸟瞰视角图像生成单元1501使用第二引导线转换表1554将引导线转换成虚拟引导线(在被转换成等立方角投射的鱼眼透镜形状的道路表面上)。
叠加单元35将由引导线转换单元1502转换的虚拟引导线叠加在由第一实施例所述的鸟瞰视角图像生成单元1501转换的鸟瞰视角图像数据上。
图16是示出了将鸟瞰视角图像数据1601转换成正交投射的鱼眼透镜形状以及将鸟瞰视角图像数据1602转换成等立方角投射的鱼眼透镜形状的示图。在图16所示的示例中，描绘了车辆1和引导线1621。
如图16所示，在鸟瞰视角图像数据1601中，人1611与参照线1651接触，并且白线的端部与参照线1652接触。
就此而言，在鸟瞰视角图像数据1602中，人1612根据参照线1651表示在中心侧处，并且白线的端部根据参照线1652表示在中心侧处。
也就是说，在被转换成正交投射的鱼眼透镜形状的鸟瞰视角图像数据1601中，宽广地表示车辆1的周围。就此而言，在被转换成等立方角投射的鱼眼透镜形状的鸟瞰视角图像数据1602中，显示了比鸟瞰视角图像数据1601的范围更广的范围。如上所述，驾驶员可以选择显示的鸟瞰视角图像数据，在本实施例中，由于驾驶员可以根据情况选择显示，因而对于驾驶员来说容易确定周围的环境。
在本实施例中，已经参照从正交投射的鱼眼透镜形状和等立方角投射的鱼眼透镜形状中选择鸟瞰视角图像数据的情况进行描述。但是不限制于此，例如，可以制作等距投射的鱼眼透镜形状或立体投射的鱼眼透镜形状的鸟瞰视角图像数据以备选择。
如上所述，根据上述实施例，可以实现即使在成像单元边界也不出现故障的显示，同时抑制由于显示鱼眼透镜形状的鸟瞰视角图像数据而使周围物体被延伸。而且，相比于相关技术中将鸟瞰视角图像数据投射到具有碗形状的投射平面的技术，根据鱼眼透镜形状的鸟瞰视角图像数据转换虚拟引导线，以便防止虚拟引导线上的不适感。因而更容易识别周围情形。
在本实施例中，已经针对从鱼眼透镜形状的鸟瞰视角图像数据中选择鸟瞰视角图像数据的示例进行了描述。但是，并不局限于此，可以制作虚拟透镜形状的鸟瞰视角图像数据以备选择。
尽管已经描述了本公开的多个实施例，但是所示实施例作为示例，并非旨在限制本公开的范围。新的实施例可以被实现为各种其它形式，并且，在不脱离本公开的主旨的情况下可以做出实施例的各种省略、代替和改变。这些实施例或其修改包括在本公开的范围或主旨中，并且包括在等同于本公开实施例的范围中，其公开在权利要求的范围中。
在上述说明书中已经描述了本发明的操作的原理、优选实施例和模型。但是，旨在进行保护的本发明不能被解释为限制为所公开的特定实施例。而且，本文所描述的实施例被认为是说明性的，而不是限制性的。在不脱离本发明精神的情况下，其他人可以做出变化和改变并采用等同物。因此，明确的指出，如权利要求所定义的落在本发明的精神和范围内的这类变化、改变以及等同物也包含在其中。

Claims (6)

1.一种车辆(1)的图像处理装置(11)，包括：
获取单元(31)，所述获取单元获取车辆周围的拍摄图像；
鸟瞰视角图像生成单元(32、1501)，所述鸟瞰视角图像生成单元生成鸟瞰视角图像，在所述鸟瞰视角图像中，所述拍摄图像被投射到3D虚拟投射平面(800)，所述车辆和所述3D虚拟投射平面设置在该车辆的轮胎所接触的地面的相对两侧，并且所述3D虚拟投射平面在地面之下远离所述车辆延伸；
引导线生成单元(33)，所述引导线生成单元生成表示所述车辆的预测路线的引导线(420、720、820)；
转换单元(34、1502)，所述转换单元将所述引导线转换成表示所述虚拟投射平面上所述车辆的预测路线的虚拟引导线；以及
叠加单元，所述叠加单元将所述虚拟引导线叠加在所述鸟瞰视角图像上。
2.根据权利要求1所述的车辆的图像处理装置，其中，所述鸟瞰视角图像生成单元生成虚拟透镜形状的鸟瞰视角图像，在所述鸟瞰视角图像中，所述拍摄图像通过对应地面的虚拟平面(400、802)被投射到所述虚拟投射平面。
3.根据权利要求1或2所述的车辆的图像处理装置，其中，所述鸟瞰视角图像生成单元基于取决于虚拟透镜类型的多个转换技术中的任意一种，生成虚拟透镜类型的鸟瞰视角图像。
4.一种车辆(1)的图像处理方法，包括：
获取车辆周围的拍摄图像；
生成鸟瞰视角图像，在所述鸟瞰视角图像中，所述拍摄图像被投射到3D虚拟投射平面(800)，所述车辆和所述3D虚拟投射平面设置在该车辆的轮胎所接触的地面的相对两侧，并且所述3D虚拟投射平面在地面之下远离所述车辆延伸；
生成表示所述车辆的预测路线的引导线(420、720、820)；
将所述引导线转换成表示所述虚拟投射平面上所述车辆的预测路线的虚拟引导线；以及
将所述虚拟引导线叠加在所述鸟瞰视角图像上。
5.根据权利要求4所述的车辆的图像处理方法，其中，生成虚拟透镜形状的鸟瞰视角图像，在所述鸟瞰视角图像中，所述拍摄图像通过对应地面的虚拟平面(400、802)被投射到所述虚拟投射平面。
6.根据权利要求4或5所述的车辆的图像处理方法，其中，基于取决于虚拟透镜类型的多个转换技术中的任意一种，生成虚拟透镜类型的鸟瞰视角图像。
CN201710413871.XA 2016-06-06 2017-06-05 车辆的图像处理装置 Active CN107465890B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016112943A JP6699370B2 (ja) 2016-06-06 2016-06-06 車両用画像処理装置
JP2016-112943 2016-06-06

Publications (2)

Publication Number Publication Date
CN107465890A CN107465890A (zh) 2017-12-12
CN107465890B true CN107465890B (zh) 2021-03-12

Family

ID=60327688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710413871.XA Active CN107465890B (zh) 2016-06-06 2017-06-05 车辆的图像处理装置

Country Status (4)

Country Link
US (1) US10467789B2 (zh)
JP (1) JP6699370B2 (zh)
CN (1) CN107465890B (zh)
DE (1) DE102017112188A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878219B2 (ja) 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
JP2019125193A (ja) * 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置
JP6990849B2 (ja) * 2018-03-15 2022-01-12 パナソニックＩｐマネジメント株式会社 駐車支援装置、駐車支援方法、及び駐車支援プログラム
US11926339B2 (en) 2018-09-30 2024-03-12 Great Wall Motor Company Limited Method for constructing driving coordinate system, and application thereof
CN110379155B (zh) * 2018-09-30 2021-01-26 长城汽车股份有限公司 用于确定道路目标坐标的方法及***
CN109300322B (zh) * 2018-10-31 2021-05-04 百度在线网络技术（北京）有限公司 引导线绘制方法、装置、设备和介质
JPWO2020105698A1 (ja) * 2018-11-22 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、カメラシステム及び画像処理方法
US11143514B2 (en) * 2019-01-17 2021-10-12 GM Global Technology Operations LLC System and method for correcting high-definition map images
CN112099031B (zh) * 2020-11-09 2021-02-02 天津天瞳威势电子科技有限公司 一种车辆测距方法及装置
JP7375792B2 (ja) * 2021-05-26 2023-11-08 トヨタ自動車株式会社 駐車支援装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055480A (ja) * 2009-08-03 2011-03-17 Aisin Seiki Co Ltd 車両周辺画像生成装置
WO2012017560A1 (ja) * 2010-08-06 2012-02-09 富士通株式会社 画像処理装置および画像処理プログラム
CN104271406A (zh) * 2012-05-08 2015-01-07 丰田自动车株式会社 俯瞰图像显示装置
CN104380724A (zh) * 2012-06-08 2015-02-25 日立建机株式会社 自行式工业机械的显示装置
CN104859542A (zh) * 2015-05-26 2015-08-26 寅家电子科技（上海）有限公司 车载监控***及车载监控处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4907883B2 (ja) 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
US7856370B2 (en) * 2007-06-15 2010-12-21 Saama Technologies, Inc. Method and system for displaying predictions on a spatial map
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
US8325177B2 (en) * 2008-12-29 2012-12-04 Microsoft Corporation Leveraging graphics processors to optimize rendering 2-D objects
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
JP5516992B2 (ja) * 2010-11-30 2014-06-11 アイシン精機株式会社 駐車位置調整装置
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置
JP2012209733A (ja) * 2011-03-29 2012-10-25 Fuji Xerox Co Ltd 色域外郭情報生成装置、及びプログラム
JP5124672B2 (ja) * 2011-06-07 2013-01-23 株式会社小松製作所 作業車両の周辺監視装置
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置
CN104085395A (zh) * 2013-04-01 2014-10-08 德尔福电子(苏州)有限公司 一种基于鸟瞰***的辅助泊车方法
KR101491324B1 (ko) * 2013-10-08 2015-02-06 현대자동차주식회사 차량용 영상 획득 장치
US10449900B2 (en) * 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
US9558411B1 (en) * 2014-08-29 2017-01-31 Google Inc. Plane estimation for contextual awareness
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055480A (ja) * 2009-08-03 2011-03-17 Aisin Seiki Co Ltd 車両周辺画像生成装置
WO2012017560A1 (ja) * 2010-08-06 2012-02-09 富士通株式会社 画像処理装置および画像処理プログラム
CN104271406A (zh) * 2012-05-08 2015-01-07 丰田自动车株式会社 俯瞰图像显示装置
CN104380724A (zh) * 2012-06-08 2015-02-25 日立建机株式会社 自行式工业机械的显示装置
CN104859542A (zh) * 2015-05-26 2015-08-26 寅家电子科技（上海）有限公司 车载监控***及车载监控处理方法

Also Published As

Publication number Publication date
JP2017220760A (ja) 2017-12-14
US20170352176A1 (en) 2017-12-07
US10467789B2 (en) 2019-11-05
DE102017112188A1 (de) 2017-12-07
CN107465890A (zh) 2017-12-12
JP6699370B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
CN107465890B (zh) 车辆的图像处理装置
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
KR102275310B1 (ko) 자동차 주변의 장애물 검출 방법
JP6575445B2 (ja) 車両用画像処理装置
US9479740B2 (en) Image generating apparatus
JP6310652B2 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
US9294733B2 (en) Driving assist apparatus
US11383642B2 (en) Display control apparatus
JP2016119570A (ja) 車両周辺監視装置
CN107818581B (zh) 车辆的图像处理***
EP3687165B1 (en) Display control device
JP6554866B2 (ja) 画像表示制御装置
JP4154980B2 (ja) 移動体周辺監視装置
CN111094898A (zh) 用于控制用于机动车辆的增强现实抬头显示设备的显示的方法、设备和具有指令的计算机可读存储介质
WO2017056989A1 (ja) 車両用画像処理装置
JP2012037924A (ja) 運転支援装置
JP4310987B2 (ja) 移動体周辺監視装置
US10986286B2 (en) Image creation device
JP6601097B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant