CN116137655A - 用于环绕视图增强的智能车辆***和控制逻辑 - Google Patents

用于环绕视图增强的智能车辆***和控制逻辑 Download PDF

Info

Publication number
CN116137655A
CN116137655A CN202211240544.6A CN202211240544A CN116137655A CN 116137655 A CN116137655 A CN 116137655A CN 202211240544 A CN202211240544 A CN 202211240544A CN 116137655 A CN116137655 A CN 116137655A
Authority
CN
China
Prior art keywords
camera
image
target object
vehicle
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211240544.6A
Other languages
English (en)
Inventor
M.斯勒茨基
A.沙鲁莫夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116137655A publication Critical patent/CN116137655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

提出了具有联网的具有相机视图增强能力的车载相机的智能车辆***、制造/使用这种***的方法以及配备有这种***的车辆。一种用于操作机动车辆的方法包括***控制器从车载相机网络接收包含从一个或多个相机的视角的目标对象的相机图像数据。控制器分析相机图像以识别目标对象的特性，并将这些特性分类到与目标对象的类型相关联的对应模型收集集。然后，控制器识别分配给与目标对象类型相关联的模型收集集的3D对象模型。通过用定位在新朝向上的3D对象模型替换目标对象来生成新的“虚拟”图像。控制器使用新的图像命令驻留车辆***执行控制操作。

Description

用于环绕视图增强的智能车辆***和控制逻辑
技术领域
本公开总体上涉及机动车辆的控制***。更具体地，本公开的各方面涉及具有图像分段、深度推断和对象识别能力的高级驾驶***。
背景技术
当前生产的机动车辆(诸如现代汽车)可以配备有车载电子设备的网络，其提供自动驾驶能力以帮助最小化驾驶员的努力。例如，在汽车应用中，最可识别类型的自动驾驶特征之一是巡航控制***。巡航控制允许车辆操作者设置特定的车辆速度，并使车载车辆计算机***保持该速度，而无需驾驶员操作加速器或制动踏板。下一代自适应巡航控制(ACC)是一种自动驾驶特征，其调节车辆速度，同时管理主车辆和领先的“目标”车辆之间的车头间距。另一种类型的自动驾驶特征是防撞***(CAS)，其检测即将发生的碰撞状况并向驾驶员提供警告，同时还采取预防措施，例如，在没有驾驶员输入的情况下通过转向或制动。智能停车辅助***(IPAS)、车道监控和自动转向(“自动转向”)***、电子稳定控制(ESC)***和其他高级驾驶员辅助***(ADAS)也可用于许多现代汽车。
随着车辆处理、通信和感测能力不断改善，制造商将继续提供更多的自动化驾驶能力，希望生产能够在城市和农村场景中在异构车辆类型之间操作的完全自主的“自动驾驶”车辆。原始设备制造商(OEM)正朝着具有更高级别的驾驶自动化的车辆对车辆(V2V)和车辆对基础设施(V2I)“谈话”汽车发展，其采用智能控制***来实现具有转向、车道变换、场景规划等的车辆路线。自动路径规划***利用车辆状态和动态传感器、地理定位信息、地图和道路状况数据以及路径预测算法来提供具有自动车道中心和车道变换预测的路线推导。计算机辅助重选路线技术提供了可以例如基于实时和虚拟车辆数据来更新的替代行进路线预测。
许多汽车现在配备有车载车辆导航***，其利用全球定位***(GPS)收发器与导航软件和地理定位地图服务协作来获得与车辆的实时位置相关联的道路地形、交通和速度限制数据。自主驾驶和高级驾驶员辅助***通常能够基于由车载导航***获得的道路信息来适应自动驾驶操纵。例如，基于自组织网络的ADAS可以采用GPS和地图数据结合多跳geocast V2V和V2I数据交换来促进自动车辆操纵和动力***控制。在辅助和无辅助车辆操作期间，居民导航***可以基于给定行程的路线起点和路线目的地之间的估计最短行进时间或估计最短行进距离来识别推荐的行进路线。然后，该推荐的行驶路线可以在地理编码和注释的地图上显示为地图轨迹或导航驾驶方向，其中车载音频***输出可选的语音命令。
自动化和自主车辆***可以采用各种感测部件来提供目标对象检测和测距。例如，无线电检测和测距(RADAR)***通过将从对象反射的高频电磁波的脉冲放电回到合适的无线电接收器来检测目标对象的存在、距离和/或速度。作为另一种选择，车辆可以采用激光检测和测距(LADAR)反向散射***，其发射和检测脉冲激光束以进行精确的距离测量。与基于LADAR的检测同义并且通常用作基于LADAR的检测的总称的是光检测和测距(LIDAR)技术，其使用各种形式的光能(包括不可见、红外光谱和近红外激光光谱)来确定到静止或移动目标的距离。具有各种数码相机、超声波传感器等的车载传感器群也提供实时目标数据。历史上，这些对象检测和测距***可能由于车辆近场中的窄视场而在精确性和应用方面受到限制，并且由于对总传感器计数和可用包装位置的约束而在固有***限制方面受到限制。
发明内容
本文提出了智能车辆***、制造和使用这种***的方法以及配备有这种***的机动车辆，所述智能车辆***具有联网的车载车辆相机和用于使用对象识别和模型替换进行相机视图增强的伴随控制逻辑。作为示例，提出了采用自然环绕视觉(NSV)技术以基于对象识别、图像分段和深度推断，用从模型集合数据库检索的3D模型替换环绕相机视图中的检测到的对象的***和方法。这样的对象分类和替换对于对象的部分从驻留相机***模糊或对驻留相机***不可见并且因此从期望视点的对象渲染是部分的场景可能是特别有用的。对于模型收集，计算机视觉技术识别可识别的对象(例如，车辆、行人、自行车、灯柱等)并将它们聚合到对应的对象集中以供将来参考。实现图像分段以将二维(2D)相机图像划分为单独的片段；然后在逐段的基础上评估图像，以将每个像素分组成对应的类。另外，深度推断通过向每个图像像素分配范围(深度)来推断2D图像中的3D结构。使用AI神经网络(NN)，对象识别分析2D相机生成的图像以对来自图像的特性进行分类，并将目标对象的特性与对应的模型收集集相关联。目标对象被移除并用对该集通用的3D对象模型替换，例如，在新的“虚拟”图像中。
所公开的概念中的至少一些的伴随益处包括目标获取***，其更精确地检测和分类二维(2D)相机图像内的目标对象，例如，以提供更全面的情境感知，并且因此实现更直观的驾驶员和车辆响应。其他伴随的益处可以包括提供虚拟相机感测能力，以使用由驻留相机网络捕获的真实世界图像从辅助有利位置(例如，鸟瞰视图视角或尾随车辆“追逐视图”或“行车记录仪”视角)导出虚拟视角。其他益处可包括车辆***能够从由物理相机捕获的数据生成具有改善的虚拟场景质量的虚拟视图，同时保留所捕获场景的3D结构并实现对虚拟场景视角的实时改变。
本公开的各方面涉及用于制造和/或用于操作任何所公开的车辆传感器网络的***控制逻辑、智能控制技术和计算机可读介质(CRM)。在示例中，提出了一种用于控制机动车辆的操作的方法，该机动车辆具有传感器阵列，该传感器阵列包括安装在车辆上的离散位置处的相机网络。此代表性方法以任何次序且以与上文及下文所揭示的选项及特征中的任一个的任何组合包括：例如经由一个或多个驻留或远程***控制器从传感器阵列接收指示具有从相机的一个或多个的一个或多个相机视角的目标对象的一个或多个相机图像的相机数据；例如经由***控制器使用对象识别模块分析相机图像，以识别目标对象的特性并将特性分类到从多个预定义模型收集集中选择的与目标对象的类型相关联的对应模型收集集；例如经由控制器从驻留或远程存储器存储的对象库检索对于与目标对象类型相关联的对应模型收集集通用的三维(3D)对象模型；通过用定位在不同朝向上的3D对象模型替换目标对象来生成一个或多个新的图像(例如，虚拟图像)；以及例如经由***控制器将一个或多个命令信号发送到一个或多个驻留车辆***，以使用新的图像执行一个或多个控制操作。
还提出了存储指令的非暂时性CRM，所述指令可由机动车辆的***控制器的一个或多个处理器执行，所述机动车辆包括具有安装在车身上的离散位置处的相机网络的传感器阵列。这些指令在由一个或多个处理器执行时使得控制器执行包含以下各项的操作：从传感器阵列接收指示具有从相机中的一个的相机视角的目标对象的相机图像的相机数据；分析相机图像以识别目标对象的特性并将特性分类到与目标对象的类型相关联的多个模型收集集中的对应一个；确定与目标对象的类型相关联的对应模型收集集的3D对象模型；通过用定位在不同朝向上的3D对象模型替换目标对象来生成新的图像；以及将命令信号发送到驻留车辆***以使用新的图像执行控制操作(例如，将新的图像显示为虚拟图像)。
本公开的附加方面涉及配备有智能控制***的机动车辆，该智能控制***采用具有相机视图增强能力的联网的车载相机。如本文所使用的，术语“车辆”和“机动车辆”可以互换且同义地使用，以包括任何相关的车辆平台，诸如乘用车(ICE、HEV、FEV、燃料电池、完全和部分自主等)、商用车辆、工业车辆、履带式车辆、越野和全地形车辆(ATV)、摩托车、农用设备、船只、飞机等。诸如电牵引电动机和/或内燃机组件的原动机驱动一个或多个车轮，从而推进车辆。传感器阵列也被安装到车身，该传感器阵列包括安装在车身上的离散位置处的相机网络(例如，前端、后端、左舷侧和右舷侧相机)。
继续以上示例的论述，车辆还包括一个或多个驻留或远程电子***控制器，该一个或多个驻留或远程电子***控制器与传感器阵列通信以接收指示具有从相机的一个或多个的视角的目标对象的一个或多个相机图像的相机数据。使用对象识别模块，控制器分析相机图像以识别目标对象的特性，并将这些特性分类到与该类型的目标对象相关联的对应模型收集集。然后，控制器访问存储器存储的对象库，以检索与目标对象类型相关联的预定义模型收集集通用的3D对象模型。然后通过用3D对象模型替换目标对象来生成新的图像，诸如尾随车辆追逐视图虚拟图像，3D对象模型定位在与相机朝向不同的新朝向中。此后，可以将一个或多个命令信号发送到一个或多个驻留车辆***，以使用新的图像执行一个或多个控制操作。
对于任何公开的车辆、***和方法，***控制器可以实现图像分段模块，以将相机图像划分为多个不同的片段。然后评估片段以将包含在其中的像素分组成对应的预定义类。在这种情况下，图像分段模块可以可操作以执行计算机视觉算法，该计算机视觉算法单独分析每个不同的片段以识别片段中共享至少一个预定义属性的像素。然后，分段模块分配边界框以描绘共享与目标对象相关联的一个或多个预定义属性的像素。
对于任何公开的车辆、***和方法，***控制器可以实现深度推断以导出每个图像像素在3D空间中的相应深度光线。在这种情况下，深度推断模块可操作以接收指示包含从多个相机的多个相机视角的目标对象的重叠相机图像的相机数据。深度推断模块然后通过神经网络处理此相机数据，所述神经网络被训练以使用组合包括语义分段损失项和全景损失项的多个损失项的损失函数输出深度数据和语义分段数据。全景损失项为相机数据的重叠块提供相似性度量，每个重叠块对应于相机的重叠视场的区域。
对于任何公开的车辆、***和方法，***控制器可以实现对极重投影模块，以从虚拟相机的替代视角生成目标对象的虚拟图像(例如，作为新的图像)。在这种情况下，对极重投影模块可以可操作以确定捕获相机图像的相机的实时朝向和用于从虚拟图像中的替代视角呈现目标对象的虚拟相机的期望朝向。然后，重投影模块定义物理相机的实时朝向与虚拟相机的期望朝向之间的对极几何。基于相机的实时朝向与虚拟相机的期望朝向之间的计算的对极关系来生成虚拟图像。
对于任何公开的车辆、***和方法，***控制器可以被编程为实现对象朝向推断模块，以估计目标对象在3D空间中相对于传感器阵列的预定义原点轴的朝向。在这种情况下，使用目标对象在3D空间中的估计朝向来确定新的图像内的3D对象模型的朝向。作为又一选项，***控制器可以与机动车辆的乘员输入设备通信，以接收具有定义如何和/或何时由3D对象模型替换目标对象的规则集的化身(avatar)使用协议。生成新的图像可以进一步基于化身使用协议。***控制器还可以导出目标对象的大小、位置和/或朝向，并且使用目标对象的导出特性来计算3D对象模型的渲染参数。这些渲染参数可以包括3D对象模型在一个或多个新的图像中的2D投影。
对于任何公开的车辆、***和方法，驻留车辆***可以包括虚拟图像模块，其显示虚拟图像和基于这些虚拟图像的驾驶员提示。在这种情况下，控制操作包括同时显示来自尾随车辆行车记录仪视图的虚拟图像和基于该虚拟图像向车辆的驾驶员采取驾驶动作的提示。可选地，驻留车辆***可以包括自动控制机动车辆的高级驾驶员辅助***控制模块。作为又一选项，驻留车辆***可以包括具有车载显示设备的车辆导航***。在这种情况下，控制操作可以包括显示设备显示具有3D对象模型的新的图像，例如，作为集成增强现实(AR)追逐视图。
以上发明内容并非旨在表示本公开的每个实施例或每个方面。相反，前述发明内容仅提供了本文阐述的一些新颖概念和特征的示例。当结合附图和所附权利要求考虑时，本公开的上述特征和优点以及其他特征和伴随的优点将从用于执行本公开的所示示例和代表性模式的以下详细说明书中变得显而易见。此外，本公开明确地包括上文和下文呈现的元件和特征的任何和所有组合和子组合。
附图说明
图1是根据本公开的各方面的代表性智能机动车辆的示意图，该智能机动车辆具有用于使用可识别对象模型执行环绕视图增强的车载控制器、感测设备和通信设备的网络。
图2是示出用于操作具有联网相机的车辆传感器阵列的代表性对象识别和模型替换协议的流程图，其可以对应于根据所公开概念的各方面的可由驻留或远程控制器、控制逻辑电路、可编程控制单元或其他集成电路(IC)设备或设备网络执行的存储器存储的指令。
本公开适合于各种修改和替代形式，并且一些代表性实施例在附图中以示例的方式示出并且将在本文中详细描述。然而，应理解，本发明的新颖方面不限于上文列举的附图中所示出的特定形式。相反，本公开将覆盖落入例如由所附权利要求所涵盖的本公开的范围内的所有修改、等同物、组合、子组合、置换、分组和替代方案。
具体实施方式
本公开容许许多不同形式的实施例。本公开的代表性实施例在附图中示出并且将在本文中详细描述，应理解，这些实施例是作为所公开原理的示例而提供的，而不是对本公开的广泛方面的限制。在这种程度上，例如在摘要、介绍、发明内容和具体实施方式部分中描述但未在权利要求中明确阐述的元件和限制不应通过暗示、推断或其他方式单独地或共同地并入权利要求中。
出于本详细说明书的目的，除非特别否认：单数包括复数，反之亦然；词语“和”和“或”应既是连接的又是分离的；词语“任何”和“所有”均应表示“任何和所有”；此外，诸如“约”、“几乎”、“基本上”、“通常”、“大约”等的近似词语在本文中可以各自在例如“在、接近或几乎在”或“在0-5％内”或“在可接受的制造公差内”或其任何逻辑组合的意义上使用。最后，方向性形容词和副词，例如前、后、内侧、外侧、右舷、左舷、垂直、水平、向上、向下、前、后、左、右等，可以是相对于机动车辆，诸如当车辆在水平驾驶表面上可操作地朝向时机动车辆的向前驾驶方向。
现在参考附图，其中在几个视图中相同的附图标记表示相同的特征，在图1中示出了代表性的汽车，其总体上用10表示，并且为了讨论的目的在本文中描绘为轿车式电动驱动乘用车。所示的汽车10(在本文中也简称为“机动车辆”或“车辆”)仅仅是可以实践本公开的新颖方面的示例性应用。同样地，将本概念并入全电动车辆动力***中也应当被理解为所公开的特征的非限制性实施方式。因此，应当理解，本公开的方面和特征可以应用于其他动力***架构，可以针对任何逻辑相关类型的车辆实现，并且可以用于各种导航和自动化车辆操作。此外，本文中仅额外详细地示出和描述了机动车辆和车辆控制***的选定部件。然而，下面讨论的车辆和车辆***可以包括用于执行本公开的各种方法和功能的许多附加和替代特征以及其他可用的***组件。
图1的代表性车辆10最初配备有车辆电信和信息(“远程信息处理”)单元14，其例如经由小区塔、基站、移动交换中心、卫星服务等与远程或“车外”云计算主机服务24(例如，
Figure BDA0003884051680000071
)无线通信。作为非限制性示例，图1中总体示出的一些其他车辆硬件组件16包括电子视频显示设备18、麦克风28、音频扬声器30和各种用户输入控件32(例如，按钮、旋钮、踏板、开关、触摸板、操纵杆、触摸屏等)。这些硬件组件16部分地用作人机接口(HMI)，以使得用户能够与远程信息处理单元14和车辆10内的其他***组件通信。麦克风28为车辆乘员提供输入口头或其他听觉命令的手段；车辆10可以配备有利用音频滤波、编辑和分析模块的嵌入式语音处理单元。相反，扬声器30向车辆乘员提供可听输出，并且可以是专用于与远程信息处理单元14一起使用的独立扬声器，或者可以是音频***22的一部分。音频***22可操作地连接到网络连接接口34和音频总线20，以经由一个或多个扬声器组件接收模拟信息，将其呈现为声音。
通信地耦合到远程信息处理单元14的是网络连接接口34，其合适的示例包括双绞线/光纤以太网交换机、并行/串行通信总线、局域网(LAN)接口、控制器局域网(CAN)接口、面向媒体的***传输(MOST)接口、本地互连网络(LIN)接口等。其他适当的通信接口可以包括符合ISO、SAE和/或IEEE标准和规范的通信接口。网络连接接口34使得车辆硬件16能够彼此发送和接收信号，并且能够与在车身12内或“驻留”到车身12以及在车身12外部或“远离”车身12的各种***和子***发送和接收信号。这允许车辆10执行各种车辆功能，诸如调制动力***输出、控制车辆变速器的操作、选择性地接合摩擦和再生制动***、控制车辆转向、调节车辆电池模块的充电和放电以及其他自动驾驶功能。例如，远程信息处理单元14向动力***控制模块(PCM)52、高级驾驶员辅助***(ADAS)模块54、电子电池控制模块(EBCM)56、转向控制模块(SCM)58、制动***控制模块(BSCM)60和各种其他车辆ECU(诸如变速器控制模块(TCM)、发动机控制模块(ECM)、传感器***接口模块(SSIM)等)发送信号和数据/从其接收信号和数据。
继续参考图1，远程信息处理单元14是机载计算设备，其单独地和通过其与其他联网设备的通信提供混合服务。该远程信息处理单元14通常由一个或多个处理器40组成，每个处理器40可以体现为离散微处理器、专用集成电路(ASIC)或专用控制模块。车辆10可以经由中央处理单元(CPU)36提供集中式车辆控制，中央处理单元(CPU)36可操作地耦合到实时时钟(RTC)42和一个或多个电子存储器设备38，每个电子存储器设备38可以采用CD-ROM、磁盘、IC设备、闪存、半导体存储器(例如，各种类型的RAM或ROM)等的形式。
可以经由蜂窝芯片组/组件、导航和定位芯片组/组件(例如，全球定位***(GPS)收发器)或无线调制解调器中的一个或多个或全部来提供与远程、非车载联网设备的远程车辆通信能力，所有这些都在44处共同表示。近距离无线连接可以经由短距离无线通信设备46(例如，
Figure BDA0003884051680000081
单元或近场通信(NFC)收发器)、专用短距离通信(DSRC)组件48和/或双天线50来提供。应当理解，车辆10可以在没有上面列出的组件中的一个或多个的情况下实现，或者可选地，可以包括特定最终用途所需的附加组件和功能。上述各种通信设备可以被配置为在车辆到车辆(V2V)通信***或车辆到万物(V2X)通信***(例如，车辆到基础设施(V2I)、车辆到行人(V2P)、车辆到设备(V2D)等)中交换数据作为周期性广播的一部分。
CPU 36从一个或多个感测设备接收传感器数据，所述一个或多个感测设备使用例如光检测、雷达、激光、超声、光学、红外或其他合适的技术，包括短程通信技术(例如，DSRC)或超宽带(UWB)无线电技术，用于执行自动驾驶操作或车辆导航服务。根据所示示例，汽车10可以配备有一个或多个数字相机62、一个或多个范围传感器64、一个或多个车辆速度传感器66、一个或多个车辆动态传感器68以及用于处理原始传感器数据的任何必要的过滤、分类、融合和分析硬件和软件。车载传感器的分布式阵列的类型、放置、数量和互操作性可以单独地或共同地适应于给定的车辆平台，以实现期望水平的自主车辆操作。
数字相机62可以使用互补金属氧化物半导体(CMOS)传感器或其他合适的光学传感器来生成指示车辆10的视场的图像，并且可以被配置用于连续图像生成，例如，每秒至少约35+个图像。作为比较，距离传感器64可以发射和检测反射的无线电、红外、基于光的或其他电磁信号(例如，短程雷达、远程雷达、EM感应感测、光检测和测距(LIDAR)等)，以检测例如目标对象的存在、几何尺寸和/或接近度。车辆速度传感器66可以采用各种形式，包括测量车轮速度的车轮速度传感器，车轮速度传感器然后用于确定实时车辆速度。另外，车辆动态传感器68可以具有单轴或三轴加速度计、角速率传感器、倾斜仪等的性质，用于检测纵向和横向加速度、偏航、滚动和/或俯仰速率，或其他动态相关参数。使用来自感测设备62、64、66、68的数据，CPU36识别周围驾驶状况，确定道路特性和表面状况，识别车辆的可检测范围内的目标对象，确定目标对象的属性，诸如尺寸、相对位置、朝向、距离、接近角度、相对速度等，并基于这些执行的操作执行自动控制操纵。
这些传感器可以相对于车辆的前方或后方或左舷侧或右舷侧在操作上无障碍的位置分布在整个机动车辆10中。每个传感器生成指示主车辆或一个或多个目标对象的特性或状况的电信号，通常作为具有对应标准偏差的估计。虽然这些传感器的操作特性通常是互补的，但是一些传感器在估计某些参数方面比其他传感器更可靠。大多数传感器具有不同的操作范围和覆盖区域，并且能够检测其操作范围内的不同参数。例如，基于雷达的传感器可以估计对象的距离、距离变化率和方位角位置，但是在估计检测到的对象的范围时可能不是鲁棒的。另一方面，具有光学器件处理的相机在估计对象的形状和方位角位置方面可能更稳健，但在估计目标对象的范围和范围变化率方面可能效率较低。基于扫描型激光雷达的传感器可以相对于估计距离和方位角位置有效且精确地执行，但是可能无法精确地估计距离变化率，并且因此可能相对于新对象获取/识别不精确。相比之下，超声传感器能够估计距离，但通常不能精确地估计距离变化率和方位角位置。此外，许多传感器技术的性能可能受到不同环境条件的影响。因此，传感器通常呈现参数方差，其操作重叠提供了感觉融合的机会。
为了推进电动驱动车辆10，电动动力***可操作以产生牵引扭矩并将牵引扭矩传递到车辆的车轮26中的一个或多个。动力***在图1中通常由可再充电能量存储***(RESS)表示，该可再充电能量存储***可以具有底盘安装的牵引电池组70的性质，其可操作地连接到电牵引电动机78。牵引电池组70通常由一个或多个电池模块72组成，每个电池模块72具有电池单元74的堆叠，诸如袋、罐或棱柱型的锂离子、锂聚合物或镍金属氢化物电池单元。一个或多个电机，诸如牵引电动机/发电机(M)单元78，从RESS的电池组70汲取电力，并且可选地将电力输送到RESS的电池组70。专用功率逆变器模块(PIM)80将电池组70电连接到电动机/发电机(M)单元78，并调制其间的电流传输。所公开的概念类似地适用于HEV和基于ICE的动力***架构。
电池组70可以被配置为使得模块管理、单元感测和模块到模块或模块到主机通信功能直接集成到每个电池模块72中，并且经由启用无线的单元监测单元(CMU)76无线地执行。CMU 76可以是基于微控制器的印刷电路板(PCB)安装的传感器阵列。每个CMU 76可以具有GPS收发器和RF能力，并且可以封装在电池模块外壳上或电池模块外壳中。电池模块单元74、CMU76、壳体、冷却剂管线、汇流条等共同限定单元模块组件。
接下来参考图2的流程图，根据本公开的方面，总体上在100处描述了用于主车辆(诸如图1的车辆10)的环绕视图增强的目标获取、对象识别和3D模型替换的改进方法或控制策略。图2中示出并且在下面进一步详细描述的操作中的一些或全部可以表示与处理器可执行指令相对应的算法，该处理器可执行指令例如存储在主存储器或辅助存储器或远程存储器(例如，图1的存储器设备38)中，并且例如由电子控制器、处理单元、逻辑电路或其他模块或设备或模块/设备的网络(例如，图1的CPU 36和/或云计算服务24)执行，以执行与所公开的概念相关联的上述和下述功能中的任何或全部。应当认识到，可以改变所示出的操作框的执行顺序，可以添加额外的操作框，并且可以修改、组合或消除所描述的操作中的一些操作。
图2的方法100在开始终端框101处开始，其中存储器存储的处理器可执行指令用于可编程控制器或控制模块或类似的合适处理器调用用于通过通用对象模型协议的相机视图增强的初始化过程。该例程可以在机动车辆10的正常和正在进行的操作期间实时地、接近实时地、连续地、***地、零星地和/或以规则间隔(例如，每10或100毫秒)执行。作为又一选项，终端框101可以响应于从“车外”集中式车辆服务***(例如，主机云计算服务24)接收的用户命令提示、驻留车辆控制器提示或广播提示信号而初始化。在完成图2中呈现的控制操作时，方法100可以前进到结束终端框121并暂时终止，或者可选地，可以循环回到终端框101并以连续循环运行。
方法100从终端框101进行到传感器数据输入框103，以从一个或多个可用的车身上的传感器获取图像数据。例如，图1的汽车10最初可以配备或改装成包括安装在车身的前端附近(例如，在前格栅罩上)的前相机102、安装在车身的后端附近(例如，在后提升门或行李箱盖上)的后相机104、以及分别安装在车身的相应横向侧附近(例如，在右舷和左舷后视镜上)的驾驶员侧相机106和乘客侧相机108。根据所示示例，前相机102捕获来自车辆的实时的面向前方的视图(例如，指向前保险杠组件前方的外侧视场)，并且后相机104捕获来自车辆的实时的面向后方的视图(例如，指向后保险杠组件后方的外侧视场)。同样，左侧相机106捕获来自车辆的实时左舷视图(例如，横向于驾驶员侧门组件的外侧视场)，并且右侧相机108捕获来自车辆的实时右舷视图(例如，横向于乘客侧门组件的外侧视场)。每个相机生成并输出指示其相应视图的信号。这些信号可直接从相机或从任务为接收、分类和存储此类数据的存储器装置检索。
在对从传感器数据框103接收的图像数据进行聚合、滤波和预处理时，方法100通过执行深度和分段预定义处理框105和对极重投影预定义处理框107来发起自然环绕视觉(NSV)协议。深度推断通常可以表示为可以通过向每个图像像素分配相应的范围(深度)来推断2D图像的3D结构的过程。对于车辆校准的相机，每个像素可以具有方向信息，其中图像中的像素位置对应于3D空间中的方向射线，例如，由像素坐标和相机固有参数定义。可以通过专门训练的神经网络(例如，使用深度学***均光量的单个灰度阴影。这样做有助于一个目标对象相对于另一个目标对象的像素深度的分界。在至少一些实施方式中，“灰度图像”不被显示给驾驶员，也不以其他方式对车辆乘员可见。另外，给定图像片段内的每个像素可以被分配其被分段成的数个类。
图像分段可以表示为计算机视觉算法，其将2D图像划分为离散的片段并评估分解图像的片段以将具有相似属性的每个相关像素分组成对应的类(例如，将骑自行车者的所有像素分组成类)。在分段评估期间，对象检测可以构建与图像中的每个类相对应的边界框。在图2中，由车载相机102、104、106、108输出的2D相机图像118可以被转换为计算机增强的灰度图像118b，其中与特定目标相关联的所有像素被分配单个灰度阴影。这样做有助于将一个目标对象与包含在同一图像中的其他目标对象区分开来。
对于深度推断，可以从由车载相机102、104、106和/或108输入的图像数据估计密集深度图。可以部分地通过使用深度神经网络(DNN)处理一个或多个相机图像来估计密集深度图，所述深度神经网络的示例可以包括被编程以产生深度数据和语义分段数据的编码器-解码器架构。可以基于组合损失项的损失函数来训练DNN，所述损失项包括深度损失、深度平滑度损失、语义分段损失和全景损失。在该示例中，损失函数是单个多任务学习损失函数。由被训练的DNN输出的深度数据可以用于各种车辆应用，包括拼接或接合车辆相机图像、估计主机与检测到的对象之间的距离、密集深度预测、修改透视图以及生成环绕视图。
来自车辆的环绕视图相机的图像数据可以由DNN处理以强制深度估计的一致性，所述环绕视图相机可以具有高清晰度、宽镜头相机(例如，180°+1080p+和60/30fps+分辨率)的性质。全景损失项可以使用到环绕相机的图像的公共视点的重投影作为损失函数的一部分。特别地，可以采用相似性度量，其比较来自相邻环绕视图相机的重叠图像块。DNN采用多任务学***面以提供全景图像。全景损失项评估全景图像的重叠区域的相似性，作为损失函数的一部分。损失函数可以将视差、其平滑度、语义分段和全景损失组合在单个损失函数中。与深度估计和图像分段有关的附加信息可以在例如Albert Shalumov等人共同拥有的题为“Systems and Methods for Depth Estimation in a Vehicle”的美国专利申请第17/198,954号中找到，其全部内容通过引用并入本文并用于所有目的。
使用从传感器数据框103输出的图像数据以及从预定义处理框105输出的图像深度和分段数据，对极重投影预定义处理框107可以使用对极几何来将空间中的3D点的投影与2D图像相关联，以便使多视图相机图像中的对应点相关。在非限制性示例中，对极重投影模块可以使用共置深度传感器来处理由物理相机102、104、106、108中的一个或多个捕获的图像以及分配给这些捕获图像中的像素的深度信息。确定捕获图像的每个相机的物理朝向；在物理相机和虚拟相机之间建立对极几何。生成由虚拟相机输出的虚拟图像可以涉及在对极坐标中重新采样捕获图像的像素深度信息，识别物理相机的指定对极上的目标像素，导出虚拟相机的输出对极的视差图，以及基于这些输出对极中的一个或多个产生输出图像。***控制器可从位姿测量传感器或位姿估计模块获得物理相机和/或深度传感器的朝向数据。与使用对极重投影来生成虚拟相机视图有关的附加信息可以在例如MichaelSlutsky等人的共同拥有的第17/189,877号美国专利申请中找到，其标题为“UsingEpipolar Reprojection for Virtual View Perspective Change”，并且其全部内容通过引用并入本文并用于所有目的。
在虚拟图像数据显示框109处，从自预定义处理框107输出的对极重投影数据生成从一个或多个虚拟相机的一个或多个替代视角的一个或多个虚拟图像。例如，从第三人“追逐视图”视角的第一虚拟图像116A(例如，好像从位于主车辆110正后方的尾随车辆观察主车辆110)示出了由边界框114描绘并且与主车辆110的驾驶员侧挡泥板相邻的目标对象112。可以产生从相同虚拟视角的第二虚拟图像116b以示出从边界框114移除的目标对象112。这些图像116A、116B中的一个或两个可以呈现给主车辆的乘员(例如，在图1的视频显示设备18或远程信息处理单元14上)。
在执行NSV协议之前、同时或之后，方法100通过执行对象分类和朝向推断预定义处理框111来启动环绕视图增强协议。使用主车辆的环绕视图的捕获图像118，对象分类模块识别图像内的一个或多个目标对象(例如，行人112)，然后将每个目标分配给来自各种预定义类(例如，机动车辆、步行行人、骑自行车者和其他有轮行人、灯柱和其他标牌、房屋宠物和其他动物等)的对应类。作为非限制性示例，AI NN分析由单个车辆相机或多个车辆相机生成的多个2D图像，以定位预期目标，划分图像内的每个预期目标的特性，然后***地将这些特性与对应的模型收集集相关联，以相应地表征每个预期目标。例如，虽然呈现为2D图像，但是捕获图像内的几乎所有对象都是固有三维的。
在预定义处理框111中的对象分类期间，朝向推断模块导出3D空间中的每个目标对象相对于主车辆的相应朝向。一般而言，在不将目标与其对应的对象类相关联的情况下仅检测预期目标对象可能是不够的。为了用计算机生成的3D对象模型适当地替换目标对象，如下面进一步详细描述的，目标在空间中朝向，例如，相对于车辆传感器阵列的预定义原点轴。作为非限制性示例，卷积神经网络通过产生围绕靠近主机的目标车辆的边界框并导出每个目标车辆相对于主车辆的方向或行驶来对图像内的车辆的视点(例如，前、后、左舷、右舷)进行分类。使用主车辆的相对视点和大规模目标数据集，朝向推断模块可以识别这些目标车辆相对于主机的朝向。还可以使用单个单目图像和逆透视映射来估计目标对象位置、大小和朝向，以估计到图像的指定部分的距离。特别地，使用惯性偏移单元消除相机的俯仰和滚动运动；然后使用逆透视映射(例如，通过鸟瞰视图)投影校正的相机图像。卷积NN同时检测车辆的位置、大小和朝向数据。通过逆投影矩阵转换来自鸟瞰视图图像的预测朝向边界框。通过该过程，投影的鸟瞰图图像可以被对准为与通用坐标系的x-y平面平行且线性，可以针对该通用坐标系的x-y平面评估目标对象朝向。
一旦在预定义处理框111处对目标对象进行了分类，方法100就调用对象提取预定义处理框113的处理器可执行指令，以检索计算机生成的3D对象模型，该3D对象模型对于与目标对象的分类类型相关联的模型收集集是通用的。例如，车辆传感器***可以通过指定3D对象模型的“密钥”来从存储器存储的3D对象库中“获取”3D对象模型；然后，合适的数据库管理***(DBMS)例程从模型集合数据库中取出分配给该密钥的3D对象。通常遇到和可识别的对象(诸如车辆、行人、自行车、灯柱等)被聚合到对应的对象集中，以用于来自模型收集数据库的后续参考。然后可以将“通用”3D对象模型分配给集合内的每个对象集；该3D对象替换来自虚拟(AR)图像中的相机图像的目标对象。例如，具有对应的车辆特性(例如，车轮、窗户、后视镜等)并且适合在指定的轿车车辆尺寸范围(例如，长度大约13-16英尺)内的所有目标车辆可以与对应的“轿车车辆”对象集相关联，并且用基本轿车机动车辆的3D模型替换。同样地，具有对应的人类特性(例如，头部、脚、手臂、躯干、腿等)并且适合指定的“大型成人”人类高度(例如，超过5英尺10英寸)的所有行人可以与对应的“大型成人”对象集相关联，并且用基本大型成人112a的3D模型替换。
在使用协议输入/输出数据框117处，主车辆的用户或乘员可以采用任何上述输入设备(例如，图1的车辆10的用户输入控件32)或个人计算设备(例如，智能电话、膝上型计算机、平板计算机等)来定义化身使用协议。用户定义的化身使用协议可以包含一个或多个规则集，其定义目标对象被3D对象模型替换(如果有的话)的方式。一般而言，可以使得驾驶员能够输入定制的规则集，该规则集确定周围相机视图中的目标对象将如何以及何时被计算机图形图像替换，包括该替换图像的“外观和感觉”。在这方面，可以允许驾驶员选择将分配给给定收集集的3D对象模型或该3D对象模型的特性。在这方面，可以允许驾驶员禁用目标对象替换特征，将其使用限制于仅某些对象，限制其使用时间，将其使用限制于某些驾驶条件，将其使用限制于某些驾驶设置等。
方法100从处理框113前进到渲染参数预定义处理框115，以计算将替换虚拟相机视图的虚拟图像内的目标对象的3D对象模型的渲染参数。根据所示示例，对象渲染模块确定待替换的目标对象112的估计尺寸、目标对象112在主车辆的环绕视图内的估计位置以及目标对象112相对于主车辆110的估计朝向。使用目标对象的估计尺寸、位置和朝向，计算机图形例程在图像上渲染具有对应尺寸、位置和朝向的3D对象模型112a的2D投影，并将3D对象模型112a叠加在虚拟图像上的适当位置中。
在虚拟图像数据显示框119处，从预定义处理框107输出的对极重投影数据和从预定义处理框117输出的渲染参数数据生成从虚拟相机的替代视角的虚拟图像。例如，从第三人“行车记录仪”视角的第三虚拟图像116c示出了***到与主车辆110的驾驶员侧挡泥板相邻的虚拟图像中的3D对象模型112a。作为又一选项，计算机控制机动车辆的操作的ADC模块可以基于包含3D对象模型的虚拟图像来管理车辆操纵。可选地，计算机控制机动车辆的操作的ASAS模块可以使用虚拟图像来执行车辆操纵。此时，方法100可以进行到终端框121并暂时终止。
在一些实施例中，本公开的各方面可以通过指令的计算机可执行程序来实现，诸如程序模块，其通常被称为由本文描述的控制器或控制器变型中的任一个执行的软件应用或应用程序。在非限制性示例中，软件可以包括执行特定任务或实现特定数据类型的例程、程序、对象、组件和数据结构。软件可以形成界面以允许计算机根据输入源做出反应。软件还可以与其他代码段协作，以响应于所接收的数据结合所接收的数据的源来发起各种任务。软件可以存储在各种存储介质中的任何一种上，诸如CD-ROM、磁盘和半导体存储器(例如，各种类型的RAM或ROM)。
此外，本公开的各方面可以用各种计算机***和计算机网络配置来实践，包括多处理器***、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等。另外，本公开的各方面可以在分布式计算环境中实践，其中任务由通过通信网络链接的驻留和远程处理设备执行。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。因此，本公开的各方面可以结合计算机***或其他处理***中的各种硬件、软件或其组合来实现。
本文描述的任何方法可以包括用于由以下各项执行的机器可读指令：(a)处理器，(b)控制器，和/或(c)任何其他合适的处理设备。本文公开的任何算法、软件、控制逻辑、协议或方法可以体现为存储在有形介质上的软件，诸如例如闪存、固态驱动器(SSD)存储器、硬盘驱动器(HDD)存储器、CD-ROM、数字通用盘(DVD)或其他存储器设备。整个算法、控制逻辑、协议或方法和/或其部分可以替代地由除控制器之外的设备执行和/或以可用的方式体现在固件或专用硬件中(例如，由专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程逻辑器件(FPLD)、离散逻辑等实现)。此外，尽管可以参考本文描绘的流程图和/或工作流程图描述特定算法，但是可以替代地使用用于实现示例机器可读指令的许多其他方法。
已经参考所示实施例详细描述了本公开的各方面；然而，本领域技术人员将认识到，在不脱离本公开的范围的情况下，可以对其进行许多修改。本公开不限于本文公开的精确构造和组合物；从前述描述显而易见的任何和所有修改、改变和变化都在由所附权利要求限定的本公开的范围内。此外，本概念明确地包括前述元件和特征的任何和所有组合和子组合。

Claims (10)

1.一种用于控制机动车辆的操作的方法，所述机动车辆具有传感器阵列，所述传感器阵列包括安装在所述机动车辆上的离散位置处的相机网络，所述方法包括：
经由电子***控制器从所述传感器阵列接收指示具有从所述相机中的一个的相机视角的目标对象的相机图像的相机数据；
经由所述***控制器使用对象识别模块分析所述相机图像以识别所述目标对象的特性并将所述特性分类到与所述目标对象的类型相关联的多个模型收集集中的对应一个；
经由所述控制器从存储器存储的对象库检索对与所述目标对象的所述类型相关联的对应模型收集集通用的3D对象模型；以及
使用来自至少一个车辆相机的相机数据从所选视点生成新的虚拟图像，并用定位在不同朝向的所述3D对象模型替换所述虚拟图像中的所述目标对象。
2.根据权利要求1所述的方法，还包括：
经由所述***控制器使用图像分段模块将所述相机图像划分为多个不同的片段；以及
评估所述片段以将包含在其中的像素分组成多个预定义类中的对应类。
3.根据权利要求2所述的方法，其中，所述图像分段模块可操作以执行计算机视觉算法，所述计算机视觉算法个别地分析所述不同的片段中的每一个以识别所述片段中共享预定义属性的像素。
4.根据权利要求2所述的方法，还包括经由所述***控制器使用深度推断模块导出对应于所述物理相机图像映射的每个像素的相应密集深度。
5.根据权利要求4所述的方法，其中，所述深度推断模块可操作以：
从所述相机中的多个相机的多个相机视角接收指示相机图像与所述目标对象重叠的补充相机数据；以及
通过神经网络处理所述补充相机数据，所述神经网络被训练以使用损失函数输出深度数据和语义分段数据，所述损失函数组合包括语义分段损失项和全景损失项的多个损失项，所述全景损失项包括所述相机数据的重叠块的相似性度量，所述相机数据的重叠块各自对应于所述多个相机的重叠视场的区域。
6.根据权利要求4所述的方法，还包括经由所述***控制器使用对极重投影模块生成从虚拟相机的替代视角的虚拟图像，其中，新的图像是所述虚拟图像。
7.根据权利要求6所述的方法，其中，所述对极重投影模块可操作以：
当捕获所述相机图像时接收所述相机的实时朝向；
接收用于在所述虚拟图像中从所述替代视角呈现所述目标对象的所述虚拟相机的期望朝向；以及
定义所述相机的所述实时朝向与所述虚拟相机的所述期望朝向之间的对极几何，
其中，所述虚拟图像是基于所述相机的所述实时朝向与所述虚拟相机的所述期望朝向之间的计算的对极关系而生成的。
8.根据权利要求1所述的方法，还包括：
经由所述***控制器使用对象朝向推断模块估计所述目标对象在3D空间中相对于所述传感器阵列的预定义原点轴的朝向；以及
使用所述目标对象在3D空间中的估计的朝向确定新的图像内的所述3D对象模型的所述不同朝向。
9.根据权利要求1所述的方法，还包括经由所述***控制器从所述机动车辆的乘员输入设备接收化身使用协议，所述化身使用协议具有定义所述目标对象如何和/或何时被所述3D对象模型替换的规则集，其中生成新的图像还基于所述化身使用协议。
10.根据权利要求1所述的方法，还包括：
确定所述目标对象的大小、位置和朝向；以及
使用所述目标对象的所述大小、位置和朝向计算用于所述3D对象模型的渲染参数，所述渲染参数包括所述3D对象模型在新的图像中的2D投影，其中生成所述新的图像还基于计算的渲染参数。
CN202211240544.6A 2021-11-17 2022-10-11 用于环绕视图增强的智能车辆***和控制逻辑 Pending CN116137655A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/528,715 US11691566B2 (en) 2021-11-17 2021-11-17 Intelligent vehicle systems and control logic for surround view augmentation with object model recognition
US17/528,715 2021-11-17

Publications (1)

Publication Number Publication Date
CN116137655A true CN116137655A (zh) 2023-05-19

Family

ID=86144346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211240544.6A Pending CN116137655A (zh) 2021-11-17 2022-10-11 用于环绕视图增强的智能车辆***和控制逻辑

Country Status (3)

Country Link
US (1) US11691566B2 (zh)
CN (1) CN116137655A (zh)
DE (1) DE102022123822A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097878A (zh) * 2023-10-16 2023-11-21 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240095997A1 (en) * 2022-09-21 2024-03-21 Qualcomm Incorporated Systems and methods of image reprojection

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7991551B2 (en) * 2008-11-06 2011-08-02 Ford Global Technologies, Llc System and method for determining a collision status of a nearby vehicle
US9741147B2 (en) * 2008-12-12 2017-08-22 International Business Machines Corporation System and method to modify avatar characteristics based on inferred conditions
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
US9626766B2 (en) * 2014-02-28 2017-04-18 Microsoft Technology Licensing, Llc Depth sensing using an RGB camera
US9530218B2 (en) * 2014-04-04 2016-12-27 Hrl Laboratories, Llc Method for classification and segmentation and forming 3D models from images
EP3338136B1 (en) * 2015-08-04 2022-09-14 Yasrebi, Seyed-Nima Augmented reality in vehicle platforms
US20210237716A1 (en) 2020-02-03 2021-08-05 GM Global Technology Operations LLC Intelligent vehicles, control logic, and advanced park assist systems with camera-based automated vehicle alignment
US11225153B2 (en) 2020-02-03 2022-01-18 GM Global Technology Operations LLC Intelligent vehicles with advanced vehicle camera systems for underbody hazard and foreign object detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097878A (zh) * 2023-10-16 2023-11-21 杭州穿石物联科技有限责任公司 一种基于超低延迟视频传输技术的云控交互***

Also Published As

Publication number Publication date
DE102022123822A1 (de) 2023-05-17
US11691566B2 (en) 2023-07-04
US20230150429A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
US20210342608A1 (en) Segmentation of lidar range images
US20200324795A1 (en) Neural network training using ground truth data augmented with map information for autonomous machine applications
CN113792566B (zh) 一种激光点云的处理方法及相关设备
US11125567B2 (en) Methods and systems for mapping and localization for a vehicle
CN110901648A (zh) 用于实时生态路线选择和自适应驱动控制的车辆、***和逻辑
CN112208533B (zh) 车辆控制***、车辆控制方法及存储介质
CN116137655A (zh) 用于环绕视图增强的智能车辆***和控制逻辑
WO2020259284A1 (zh) 一种障碍物检测方法及装置
US20220073104A1 (en) Traffic accident management device and traffic accident management method
US20230316458A1 (en) Image stitching with dynamic seam placement based on object saliency for surround view visualization
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
US11954914B2 (en) Belief propagation for range image mapping in autonomous machine applications
CN108958908A (zh) 用于对感知***的传感器进行优先排序的方法和***
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
CN113435224A (zh) 用于获取车辆3d信息的方法和装置
US12014552B2 (en) Intelligent vehicle systems and control logic for incident prediction and assistance in off-road driving situations
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
WO2023192754A1 (en) Image stitching with an adaptive three-dimensional bowl model of the surrounding environment for surround view visualization
KR20210100777A (ko) 차량의 위치를 결정하는 장치 및 그의 동작 방법
US20230294679A1 (en) Driving assistance device, driving assistance method, and storage medium
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
US20230294676A1 (en) Driving assistance device, driving assistance method, and storage medium
WO2023206236A1 (zh) 一种目标的检测方法及相关装置
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
EP4148600A1 (en) Attentional sampling for long range detection in autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination