CN112906450A - 确定车辆附近的占用地图的条目的车辆、***和方法 - Google Patents

确定车辆附近的占用地图的条目的车辆、***和方法 Download PDF

Info

Publication number
CN112906450A
CN112906450A CN202011393711.1A CN202011393711A CN112906450A CN 112906450 A CN112906450 A CN 112906450A CN 202011393711 A CN202011393711 A CN 202011393711A CN 112906450 A CN112906450 A CN 112906450A
Authority
CN
China
Prior art keywords
sensor data
sensor
data portion
computer
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011393711.1A
Other languages
English (en)
Inventor
M·科莫基维兹
D·德沃拉克
M·沃伊齐克
F·塞培拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN112906450A publication Critical patent/CN112906450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及确定车辆附近的占用地图的条目的车辆、***和方法，尤其涉及一种用于确定车辆附近的占用地图的条目的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：获取第一传感器的车辆附近的第一传感器数据；获取第二传感器的车辆附近的第二传感器数据；确定第一传感器数据中与车辆附近的潜在对象相对应的第一传感器数据部分；基于所述第一传感器数据部分，确定第二传感器数据中与潜在对象的位置相对应的第二传感器数据部分；以及基于第一传感器数据部分和第二传感器数据部分确定占用地图的条目。

Description

确定车辆附近的占用地图的条目的车辆、***和方法
技术领域
本公开涉及用于确定车辆附近的占用地图的条目的车辆、***和方法。
背景技术
占用网格(OG，其也可以称为占用地图网格或占用地图)是包含被某种对象占用的单元的信息(例如概率)的单元(例如具有固定宽度和高度)的地图。通常使用Dempster-Shafer(DS)理论的变型来确定占用网格地图。
占用网格被广泛地用于高级驾驶员辅助***和自主驾驶中，因为占用网格可以被解释成车辆周围的障碍物地图(其中，被占用的单元是不可驾驶的区域)。存在需要占用网格作为输入信息的几种高级功能，诸如交通拥堵辅助或超车避免碰撞。
因此，需要用于确定占用网格的有效且可靠的方法和***。
发明内容
本公开提供了一种计算机实现的方法、计算机***、车辆和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。
在一个方面，本公开涉及一种用于确定车辆附近的占用地图的条目的计算机实现的方法，该方法包括由计算机硬件组件执行的以下步骤：获取第一传感器的车辆附近的第一传感器数据(换句话说：由第一传感器获取车辆附近的第一传感器数据)；获取第二传感器的车辆附近的第二传感器数据(换句话说：由第二传感器获取车辆附近的第二传感器数据)；确定第一传感器数据中与车辆附近的潜在对象(例如，建筑物、树木、其它车辆或行人)相对应的第一传感器数据部分；基于所述第一传感器数据部分，确定第二传感器数据中与潜在对象的位置相对应的第二传感器数据部分；以及基于第一传感器数据部分和第二传感器数据部分来确定占用地图的条目。
换句话说，如果在由第一传感器获取的第一传感器数据中检测到潜在对象(换句话说：确定对象潜在地存在或以高概率存在)，则确定由第二传感器获取的第二传感器数据的与第一传感器数据的表示潜在对象的部分相对应的一部分，并且基于第一传感器数据和第二传感器数据的相应部分来确定占用网格地图的一个或多个条目。第一传感器数据部分和第二传感器数据部分可以表示车辆附近的至少基本相同的区域(2D或3D)。
将理解的是，占用地图可以由矩阵(对于二维占用地图)或张量(对于三维占用地图)表示，其中，矩阵的两个维度中的各个维度(或张量的三个维度中的各个维度)对应于空间中的维度(对于2D占用地图，在平面中，对于3D占用地图，在三维空间中)。矩阵或张量的在特定行或列(或大致位置)处的值(换句话说：条目)可以对应于对象是否(潜在地)存在于该位置的信息，并且可以由布尔值表示值(例如，对于对象存在为“真(true)”，对于对象不存在为“假(false)”)，或者可以由与对象存在的概率相对应的值(例如，介于0至1之间(或介于0％至100％之间)的指示概率的数字，或者模糊值(例如，“不存在”、“最可能不存在”、“最可能存在”或“存在”))表示，或者指示没有关于对象存在的信息可用。此外，不同的对象可以由占用网格的不同值或条目表示，例如，针对移动对象的特定值和针对不移动对象的另一值，或者针对建筑物、车辆或行人的不同值。
第一传感器数据部分也可以被称为块(patch)。块可以是(第一传感器数据的)(在空间上)连接的(适当)子集，例如图像的裁剪，或者是在空间上相邻雷达测量结果的子集。
第二传感器数据部分可以是(第二传感器数据的)(在空间上)连接的(适当)子集，例如图像的裁剪，或者是在空间上相邻雷达测量结果的子集。
确定占用地图的条目可以包括确定占用地图的多于仅一个条目(即，占用地图的多于一个单元的条目)。例如，可以确定占用地图的与第一传感器数据部分(并且因此第二传感器数据部分)所对应的位置对应的块。例如，一旦确定了块，就可以确定要在占用地图中将块包括在何处。例如，块可以被包括在占用地图中的一位置处，该位置是基于车辆的位置以及(潜在)对象的确定的距离和角度(相对于车辆)来确定的，或者例如块可以被包括在占用地图中的一位置处，以使得其适合先前确定的占用地图的条目。
根据另一方面，第一传感器包括雷达(雷达检测和测距)传感器。根据另一方面，第二传感器包括摄像头。
已经发现，使用雷达数据作为第一传感器数据并且使用图像数据作为第二传感器数据提供了用于可靠地确定占用地图(或占用地图的条目)的数据。例如，雷达传感器数据可以用于确定对象可能潜在地位于何处，并且可以将图像数据的与该位置相对应的一部分与雷达数据一起使用来确定占用地图的条目。
根据另一方面，第一传感器数据包括第一传感器的随时间堆叠的多个测量结果，并且第二传感器数据包括第二传感器的随时间堆叠的多个测量结果。另选地，第一传感器数据包括第一传感器的已经由第一(人工)神经网络处理并随时间堆叠的多个测量结果，和/或第二传感器数据包括第二传感器的已经由第二(人工)神经网络处理并随时间堆叠的多个测量结果。例如，当第一传感器包括雷达传感器时，第一人工神经网络可以被称为雷达块网络。例如，当第二传感器包括摄像头时，第二人工神经网络可以被称为摄像头块网络。
通过堆叠传感器数据，可以将在各种时间实例(换句话说：时间点)处获取的传感器数据组合成一个数据集，从而可以得到与仅一个时间实例的传感器数据相比更可靠的信息。
根据另一方面，该计算机实现的方法还包括由计算机硬件组件执行的以下步骤：基于第二传感器数据(其可以是输入摄像头图像)确定分割图像；以及确定分割图像的分割图像部分；其中，进一步基于分割图像部分来确定占用地图的条目。将理解的是，整个第二传感器数据可以被分割，或者仅第二传感器数据部分可以被分割来获得分割图像部分。分割图像部分可以包括与第二传感器数据部分的像素相对应的像素(换句话说：可以具有相同的大小或维度并且与第二传感器数据中的相同位置相对应)。
分割图像部分可以具有与第二传感器数据部分相同的维度。第二传感器数据部分和分割图像部分可以被拼接(concatenate)(使得可以使用拼接结果来代替第二传感器数据部分)。
已经发现，使用分割图像来确定占用地图的条目可以改进占用地图的确定。
根据另一方面，使用第三神经网络来确定分割图像。
根据另一方面，第一传感器数据部分包括预定的第一传感器数据部分大小的第一传感器块，第二传感器数据部分包括预定的第二传感器数据部分维度大小的第二传感器块。
例如，如果第一传感器数据或第二传感器数据由矩阵表示，则维度大小可以指列数或行数。
根据另一方面，第一传感器数据部分大小和第二传感器数据部分大小是在至少一个维度上具有相同大小的多维数据。
根据另一方面，多维数据包括与时间、宽度、高度和特征相关的维度，其中，第一传感器数据部分大小的多维数据和第二传感器数据部分的多维数据在与宽度和高度相关的维度上具有相同大小。
这可以允许将第一传感器数据部分的多维数据和第二传感器数据部分的多维数据组合成组合数据集。已经发现，当使用人工神经网络对数据集进行处理时，使用组合数据集可以增强结果。
根据另一方面，第二传感器数据部分被确定成使得由第二传感器数据部分覆盖的车辆附近的区域与由第一传感器数据部分覆盖的车辆附近的区域相关。
根据另一方面，基于第一传感器数据部分的拐角点到第二传感器数据的映射来确定第二传感器数据部分。确定第二传感器数据部分还可以包括：基于映射的拐角点确定第二传感器数据的相关部分；以及基于调整相关部分的大小来确定第二传感器数据部分。
根据另一方面，基于第一传感器数据部分的每个点到第二传感器数据的映射来确定第二传感器数据部分。
根据另一方面，基于第一传感器数据部分和第二传感器数据部分使用人工神经网络来确定占用地图的条目。
已经发现，利用基于(人工)神经网络的低能级(low level)融合方法(例如，摄像头-雷达低能级融合方法)，可以有效且可靠地确定占用网格。
根据另一方面，基于手动标记的占用网格地图数据中的至少一个或基于根据第三传感器确定的占用网格地图数据来训练人工神经网络。
该方法可以提供在计算上有效的、基于人工神经网络的摄像头-雷达低能级融合占用网格确定方法。
该方法提供了基于神经网络的方法，例如用于摄像头-雷达融合(或雷达-摄像头融合)。例如，可以在低能级上提供雷达-摄像头融合，并且可以以块(而不是在全局上)来对融合进行处理。
在另一方面，本公开涉及计算机***，所述计算机***包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现的方法的几个或全部步骤。
该计算机***可以包括多个计算机硬件组件(例如，处理单元、至少一个存储单元和至少一个非暂时性数据存储器)。将理解的是，可以提供进一步的计算机硬件组件并将其用于执行计算机***中的计算机实现的方法的步骤。该非暂时性数据存储器和/或存储单元可以包括计算机程序，该计算机程序用于指示计算机例如使用处理单元和至少一个存储单元来执行本文所描述的计算机实现的方法的几个或全部步骤或方面。
在另一方面，本公开涉及一种车辆，该车辆包括：如上所述的计算机***、第一传感器和第二传感器。
在另一方面，本公开涉及一种非暂时性计算机可读介质，该非暂时性计算机可读介质包括用于执行本文所描述的计算机实现的方法的几个或全部步骤或方面的指令。计算机可读介质可以被配置成：诸如光盘(CD)或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁性介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等。此外，计算机可读介质可以被配置成经由诸如互联网连接的数据连接能够访问的数据存储器。计算机可读介质可以例如是在线数据存储库或云存储。
本公开还涉及一种计算机程序，该计算机程序用于指示计算机执行本文所描述的计算机实现的方法的几个或全部步骤或方面。
附图说明
本文结合示意性示出的以下附图来描述本公开的示例实施方式和功能：
图1是根据各种实施方式的用于使用神经网络确定占用地图的摄像头-雷达融合的图示；
图2A是根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示；
图2B是根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示；
图3是根据各种实施方式的集中式ADAS/AD控制器中的低能级融合占用网格确定方法的硬件实现的图示；以及
图4是例示根据各种实施方式的用于确定车辆附近的占用地图的条目的方法的流程图。
参考编号列表
100根据各种实施方式的用于使用神经网络确定占用地图的摄像头-雷达融合的图示
102 LIDAR检测
104 由摄像头和雷达传感器提供的数据
106 GPS数据
108 LIDAR占用地图
110 堆叠的雷达检测
112 堆叠的摄像头图像
114 框
116 数据
118 LIDAR地面真值
120 传感器读数
122 (人工)神经网络
124 输出地图
126 指示训练的箭头
128 指示切片成块和推导的箭头
130 指示将块重组到地图的箭头
200 根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示
202 摄像头图像
204 雷达检测
206 用于堆叠的模块
208 块提取器
210 摄像头块网络
212 雷达块网络
214 融合网络
216 占用网格块
250 根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示
252 分割神经网络
254 分割图像
256 块提取器
300 根据各种实施方式的集中式ADAS/AD控制器中的低能级融合占用网格确定方法的硬件实现的图示
302 摄像头
304 雷达传感器
306 ADAS/AD控制器
308 用于块准备和堆叠的模块
310 用于批形成的模块
312 用于推导神经网络的模块
400 例示了根据各种实施方式的用于确定车辆附近的占用地图的条目的方法的流程图
402 获取第一传感器的车辆附近的第一传感器数据的步骤
404 获取第二传感器的车辆附近的第二传感器数据的步骤
406 确定第一传感器数据的第一传感器数据部分的步骤
408 确定第二传感器数据的第二传感器数据部分的步骤
410 基于第一传感器数据部分和第二传感器数据部分来确定占用地图的条目
具体实施方式
根据各种实施方式，可以通过累积来自各种传感器(例如，雷达、摄像头、LIDAR(光检测和测距))的读数并将所累积的读数变换成随时间变化的概率来确定占用网格地图(换句话说，可以确定占用网格的条目)。
根据各种实施方式，可以使用机器学习方法(例如人工神经网络(简言之，其也可以称为神经网络，例如递归神经网络或长期短期记忆网络))来确定占用网格。神经网络的输入可以是来自传感器的原始数据。可以提供低能级的融合，从而导致提高性能。中央ADAS(高级驾驶员辅助***)/AD(自主驾驶)控制ECU(电子控制单元)可以用于接收雷达检测和摄像头视频流，以提供低能级融合。
图1示出了根据各种实施方式的用于使用神经网络确定占用地图的摄像头-雷达融合的图示100。
可以适时地堆叠由摄像头和(例如具有前覆盖或360度覆盖的)雷达传感器提供的数据104，以便获得堆叠的雷达检测110和堆叠的摄像头图像112。对于每个有效的雷达检测，(从堆叠的雷达检测110中)截出NxWxHxC大小的周围环境块(patch)，其中，N是堆叠的读数的数量，WxH是块网格大小(W是宽度，h是高度)并且C是特征通道的数量(检测存在、速度等)，如框114所示。
此外，准备来自摄像头图像(换言之：堆叠的摄像头图像112)的对应的2D块。对于每个变量N和C，索引R用于雷达数据，并且索引C用于摄像头数据。
例如，可以使用允许将3D雷达检测(x，y和z坐标，如果没有可用的雷达高程，则z＝0)映射到图像平面上对应的2D点的摄像头/雷达校准矩阵。
可以例如通过使用以下方法中的一个来对准两个块(即，雷达块和图像块)。
在可能比第二方法快的用于对准的第一方法中，可以在图像平面上计算雷达块的(例如四个)拐角点的像素位置，并且可以截出覆盖所有(例如四个)标记的界定框。通过使用图像调整大小操作，可以使图像块的大小与雷达块的大小相同。
在用于对准的第二方法中，其在计算上可能比第一方法昂贵，但是其可以提供更好的结果，每个点(x，y，z)都可以从雷达网格单独映射到图像平面。一旦知道了雷达网格的所有像素位置，就可以应用图像扭曲(warp)技术(具有或不具有插值或其它深度完成技术)以获得最终图像块，该最终图像块可以与雷达块很好地对准。
基于以上所述，(大小为NRxWxHxCR的)雷达块和(大小为NCxWxHxCC的)摄像头块都可以具有相同的空间大小(WxH)。然而，时间和通道大小可能不同。来自两个传感器的数据可以被整形以进行拼接，以将时间通道并入到特征通道(WxHxN*C)中。这可导致两个块的大小均允许拼接(WxHx(NR*CR+NC*CC))。
为了有效地训练神经网络，可能需要地面真值标记。根据各种实施方式，提供了一种用于有效数据标记的方法，该方法可以改进训练数据准备时间。根据各种实施方式，可以通过手动场景标记来获得地面真值，或者例如，如果在数据收集车辆中LIDAR传感器可用，则可以提供半自动方法。首先，可以使用基于卫星的无线电导航数据(如GPS(全球定位***))在整个日志(记录的连续行驶)持续时间内堆叠LIDAR检测102，以获得堆叠的LIDAR扫描和GPS数据106。在第二步骤中，地面去除方法可以拒绝属于路面的不相关检测。在进一步的步骤中，过滤方法可以去除移动的对象。结果可以是累积的LIDAR OG地图108。可以利用矢量图形工具非常高效地手动标记获得的2D鸟瞰图，因为整个场景只需要进行一次即可。
可以使用包括数据(雷达块和图像块)和标记(基于累积的LIDAR OG地图108)两者的数据116来训练神经网络122，如箭头126所示。可以针对每个新传感器读数120执行推导(即，使用经训练的人工神经网络)，如箭头128所示。每个新传感器读数120可以包括雷达块和图像块，它们可以被切片(slice)成块。切片可以指从全局鸟瞰图图像中截出各雷达检测周围的数据块。NN(神经网络)输出的块可以利用加权方法重组(recast)到输出地图124上，如箭头130所示，该加权方法用于出现在几个块中并由多于一个的网络推导预测的点。
将理解的是，如果将NN 122用于训练数据中的输入数据120，即针对训练数据存在根据LIDAR GT(地面真值)118的情况，则基于NN输出确定的地图124和LIDAR GT 118可能相似或相同。
可以使用Pandora LIDAR(具有5个摄像头)和6xSRR4雷达。
图2A示出了根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示200。例如，可以使用前置雷达和摄像头数据。在检测被模块206堆叠之后，摄像头图像202和雷达检测204可以被提供给块提取器208。块提取器208可以接收堆叠的雷达检测和摄像头图像202作为输入，并且可以将块提供给摄像头块网络210和雷达块网络212。
各传感器网络(CP_Net–摄像头块网络210、RP_Net–雷达块网络212)提供的数据可以使用融合网络214进行融合，以便确定占用网格块216。图2A所示的低能级摄像头-雷达融合网络也可以称为后期低能级融合网络，因为这两个数据通道(摄像头和雷达)都在第一阶段(分别由摄像头块网络210和由雷达块网络212)单独地进行处理并且在稍后阶段(由融合网络212)进行融合。如图2A所示的融合仍然是低能级融合网络，因为不存在两个占用网格地图的融合，而是由两个先前网络(分别由摄像头块网络210和雷达块网络212)提取的特征的融合。可以在以前未经任何其它方法或算法处理的原始传感器数据上训练摄像头块网络210和雷达块网络212，并且可以一次训练所有三个子网络(摄像头块网络210、雷达块网络212和融合网络214)。
可以使用在各个雷达检测周围覆盖6x6 m的块的61x61个单元(各个单元的大小为0.1m x 0.1m)的矩形网格大小(WxH)。雷达的堆叠历史可以设置为以每秒10个样本的频率记录的5个样本，其中，检测存在(例如，对象是否潜在地存在的指示)、检测速度(例如，潜在对象的速度)作为特征。对于摄像头，只能使用具有RGB颜色空间的一个图像(换句话说：摄像头图像可能不会及时(或随着时间)堆叠)。
图2B示出了根据各种实施方式的用于占用网格确定的低能级摄像头-雷达融合网络的图示250。图2B所示的各种要素与图2A所示的要素相似或相同，因此可能使用相同的附图标记，并且可能省略重复的描述。
类似于图2A所示的块提取器208，图2B所示的各块提取器256可以接收堆叠的雷达检测和摄像头图像202作为输入，并且可以将块提供给摄像头块网络210和雷达块网络212。此外，块提取器256可以接收分割图像254作为输入数据，该分割图像254可以使用神经网络基于摄像头图像202来确定，该神经网络可以被称为分割神经网络252。
分割神经网络252可以执行原始图像的高级分割。然后，分割图像(换句话说：分割图像254)也可以由块提取器256进行处理，以便在各个对象检测周围截出块(类似于来自原始图像202的块)。
然后可以将例如可以以RGB(红绿蓝)或灰度级提供的分割图像与原始图像RGB通道(换句话说：摄像头图像202的RGB通道)拼接，以便获得RGBC图像，其中C是对象类别通道。例如，对象类别通道可以包括针对各个对象类别的预定义值。
分割神经网络252可以改进(占用网格)块的确定，因为分割神经网络252可以包含对场景的高级了解(因为各个对象类别都标记为不同的颜色)，并且可以提高给定占用网格地图中的边缘的清晰度(sharpness)。
图3示出了根据各种实施方式的集中式ADAS/AD控制器306中的低能级融合占用网格确定方法的硬件(HW)实现的图示300。
对于根据各种实施方式的能级融合方法，摄像头数据(来自摄像头302)和雷达数据(来自雷达传感器304)二者都由单个单元(例如集中式ADAS/Ad控制器306)接收。由于形成图像块需要了解雷达块，因此可能难以在两个传感器中单独实现初始神经网络处理。集中式ADAS/AD控制器306可以接收原始雷达和摄像头流二者，并且可以具有足够的处理能力以能够执行NN推导。
雷达中的检测数可能会受到限制(例如，由CAN连接限制为64个，或者由以太网连接限制为128个)，以使得给定雷达的所有块可以形成一个大批(batch)，这可以缩短专用加速器的推导时间。批是存储器组织单元，其允许一次处理所有数据(例如，通过去除对多个CPU-GPU(中央处理单元–图形处理单元)传输的需求)，并且另外允许优化计算时间。
通过不为每个雷达检测创建块，而是通过将整个检测地图划分成块大小的网格，可以减少所需计算的数量。这可能会导致多个雷达检测属于一个网格块。最终处理可能只需要推导实际上在其中具有雷达检测的网格块。
根据各种实施方式，NN块处理允许限制所需的计算数量，并且不需要处理稀疏数据，这继而允许在集中式ADAS/AD控制器306中进行有效的计算。
集中式ADAS/AD控制器306可以包括用于块准备和堆叠的模块308、用于批形成的模块310以及用于推导神经网络的模块312。
图4示出了例示根据各种实施方式的用于确定车辆附近的占用地图的条目的方法的流程图400。在402处，可以获取第一传感器的车辆附近的第一传感器数据。在404处，可以获取第二传感器的车辆附近的第二传感器数据。在406处，可以确定第一传感器数据中与车辆附近的潜在对象相对应的第一传感器数据部分。在408处，可以基于第一传感器数据部分来确定第二传感器数据中与潜在对象的位置相对应的第二传感器数据部分。在410处，可基于第一传感器数据部分和第二传感器数据部分来确定占用地图的条目。
根据各种实施方式，第一传感器可以包括或可以是雷达传感器。根据各种实施方式，第二传感器可以包括或可以是摄像头。
根据各种实施方式，第一传感器数据可以包括或可以是第一传感器的随时间堆叠的多个测量结果，或者可以包括或可以是第一传感器的已经由第一神经网络处理并随时间堆叠的多个测量结果，并且第二传感器数据可以包括或可以是第二传感器的随时间堆叠的多个测量结果，或者可以包括或可以是第二传感器的已经由第二神经网络处理并且随时间堆叠的多个测量结果。
根据各种实施方式，该方法还可以包括：基于第二传感器数据确定分割图像；以及确定分割图像的分割图像部分。可以进一步基于分割图像部分来确定占用地图的条目。
根据各种实施方式，可以使用第三神经网络来确定分割图像。
根据各种实施方式，第一传感器数据部分可以包括或可以是预定的第一传感器数据部分大小的第一传感器块，并且第二传感器数据部分可以包括或可以是预定的第二传感器数据部分维度大小的第二传感器块。
根据各种实施方式，第一传感器数据部分大小和第二传感器数据部分大小可以是在至少一个维度上具有相同大小的多维数据。
根据各种实施方式，多维数据可以包括与时间、宽度、高度和特征相关的维度，其中，第一传感器数据部分大小的多维数据和第二传感器数据部分的多维数据在与宽度和高度相关的维度上具有相同大小。
根据各种实施方式，第二传感器数据部分可以被确定成使得由第二传感器数据部分覆盖的车辆附近的区域与由第一传感器数据部分覆盖的车辆附近的区域相关。
根据各种实施方式，可以基于第一传感器数据部分的拐角点到第二传感器数据的映射来确定第二传感器数据部分。
根据各种实施方式，其中，可以基于第一传感器数据部分的每个点到第二传感器数据的映射来确定第二传感器数据部分。
根据各种实施方式，可以基于第一传感器数据部分和第二传感器数据部分使用人工神经网络来确定占用地图的条目。
根据各种实施方式，可以基于手动标记的占用网格地图数据中的至少一个或基于根据第三传感器确定的占用网格地图数据来训练人工神经网络。
上述步骤402、404、406、408、410和其它步骤中的各个步骤都可以由计算机硬件组件执行。

Claims (15)

1.一种确定车辆附近的占用地图的条目的计算机实现的方法，
所述方法包括由计算机硬件组件执行的以下步骤：
获取(402)第一传感器(304)的所述车辆附近的第一传感器数据；
获取(404)第二传感器(302)的所述车辆附近的第二传感器数据；
确定(406)所述第一传感器数据中与所述车辆附近的潜在对象相对应的第一传感器数据部分；
基于所述第一传感器数据部分，确定(408)所述第二传感器数据中与所述潜在对象的位置相对应的第二传感器数据部分；
基于所述第一传感器数据部分和所述第二传感器数据部分，确定(410)所述占用地图的条目。
2.根据权利要求1所述的计算机实现的方法，
其中，所述第一传感器(304)包括雷达传感器。
3.根据权利要求1或2所述的计算机实现的方法，
其中，所述第二传感器(302)包括摄像头。
4.根据权利要求1所述的计算机实现的方法，
其中，所述第一传感器数据包括所述第一传感器的随时间堆叠的多个测量结果(110)，或者包括所述第一传感器的已经由第一神经网络处理并随时间堆叠的多个测量结果(110)；并且
其中，所述第二传感器数据包括所述第二传感器的随时间堆叠的多个测量结果(112)，或者包括所述第二传感器的已经由第二神经网络处理并随时间堆叠的多个测量结果(112)。
5.根据权利要求1所述的计算机实现的方法，所述计算机实现的方法还包括由所述计算机硬件组件执行的以下步骤：
基于所述第二传感器数据来确定分割图像(252)；以及
确定所述分割图像(252)的分割图像部分；
其中，进一步基于所述分割图像部分来确定所述占用地图的所述条目。
6.根据权利要求5所述的计算机实现的方法，
其中，使用第三神经网络来确定所述分割图像。
7.根据权利要求1所述的计算机实现的方法，
其中，所述第一传感器数据部分包括预定的第一传感器数据部分大小的第一传感器块；并且
其中，所述第二传感器数据部分包括预定的第二传感器数据部分大小的第二传感器块。
8.根据权利要求1所述的计算机实现的方法，
其中，所述第一传感器数据部分和所述第二传感器数据部分是在至少一个维度上具有相同大小的多维数据。
9.根据权利要求8所述的计算机实现的方法，
其中，所述多维数据包括与时间、宽度、高度和特征相关的维度，其中，所述第一传感器数据部分大小的多维数据和所述第二传感器数据部分大小的多维数据在与宽度和高度相关的维度上具有相同大小。
10.根据权利要求1所述的计算机实现的方法，
其中，所述第二传感器数据部分被确定成使得所述车辆附近由所述第二传感器数据部分覆盖的区域与所述车辆附近由所述第一传感器数据部分覆盖的区域相关；和/或
其中，所述第二传感器数据部分是基于所述第一传感器数据部分的拐角点到所述第二传感器数据的映射来确定的；和/或
其中，所述第二传感器数据部分是基于所述第一传感器数据部分的每个点到所述第二传感器数据的映射来确定的。
11.根据权利要求1所述的计算机实现的方法，
其中，所述占用地图的所述条目是基于所述第一传感器数据部分和所述第二传感器数据部分使用人工神经网络(122)来确定的。
12.根据权利要求11所述的计算机实现的方法，
其中，所述人工神经网络(122)是基于手动标记的占用网格地图数据和根据第三传感器确定的占用网格地图数据(108)中的至少一者训练的。
13.一种计算机***(300)，所述计算机***(300)包括被配置成执行根据权利要求1至12中任一项所述的计算机实现的方法的步骤的多个计算机硬件组件。
14.一种车辆，所述车辆包括：
根据权利要求13所述的计算机***(300)；
第一传感器(304)；以及
第二传感器(302)。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行根据权利要求1至12中任一项所述的计算机实现的方法的指令。
CN202011393711.1A 2019-12-03 2020-12-03 确定车辆附近的占用地图的条目的车辆、***和方法 Pending CN112906450A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP19213307.2 2019-12-03
EP19213307.2A EP3832525A1 (en) 2019-12-03 2019-12-03 Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
EP20204096.0A EP3832531A1 (en) 2019-12-03 2020-10-27 Vehicles, systems, and methods for determining an entry of an occupancy map of a vicinity of a vehicle
EP20204096.0 2020-10-27

Publications (1)

Publication Number Publication Date
CN112906450A true CN112906450A (zh) 2021-06-04

Family

ID=68771360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011393711.1A Pending CN112906450A (zh) 2019-12-03 2020-12-03 确定车辆附近的占用地图的条目的车辆、***和方法

Country Status (3)

Country Link
US (1) US11610407B2 (zh)
EP (2) EP3832525A1 (zh)
CN (1) CN112906450A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230195854A1 (en) * 2021-12-22 2023-06-22 Julien Ip Filtering of dynamic objects from vehicle generated map
US20230294671A1 (en) * 2022-03-21 2023-09-21 Volvo Car Corporation Fast sensor fusion for free space detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106546977A (zh) * 2015-09-16 2017-03-29 福特全球技术公司 车辆雷达感知和定位
CN109425855A (zh) * 2017-08-31 2019-03-05 福特全球技术公司 使用模拟传感器数据扩增现实传感器记录
US20190161002A1 (en) * 2012-03-07 2019-05-30 Zipcar, Inc. Apparatus and methods for renting and controlling occupancy of a vehicle
CN109844562A (zh) * 2016-10-21 2019-06-04 伟摩有限责任公司 用于自主车辆感知和计划的雷达生成的占用网格
CN110494863A (zh) * 2018-03-15 2019-11-22 辉达公司 确定自主车辆的可驾驶自由空间

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7188397B2 (ja) * 2017-12-04 2022-12-13 ソニーグループ株式会社 画像処理装置及び画像処理方法
US20200074233A1 (en) * 2018-09-04 2020-03-05 Luminar Technologies, Inc. Automatically generating training data for a lidar using simulated vehicles in virtual space
CN112930554A (zh) * 2018-09-12 2021-06-08 丰田自动车欧洲公司 用于确定车辆环境的语义网格的电子设备、***和方法
US10928508B2 (en) * 2019-04-12 2021-02-23 Ford Global Technologies, Llc Camera and radar fusion
US11403853B2 (en) * 2019-08-30 2022-08-02 Waymo Llc Occupancy prediction neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190161002A1 (en) * 2012-03-07 2019-05-30 Zipcar, Inc. Apparatus and methods for renting and controlling occupancy of a vehicle
CN106546977A (zh) * 2015-09-16 2017-03-29 福特全球技术公司 车辆雷达感知和定位
CN109844562A (zh) * 2016-10-21 2019-06-04 伟摩有限责任公司 用于自主车辆感知和计划的雷达生成的占用网格
CN109425855A (zh) * 2017-08-31 2019-03-05 福特全球技术公司 使用模拟传感器数据扩增现实传感器记录
CN110494863A (zh) * 2018-03-15 2019-11-22 辉达公司 确定自主车辆的可驾驶自由空间

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SANG-I1 OH ET AL.: "Fast Occupancy Grid Filtering Using Grid Cell Clusters From LIDAR and Stereo Vision Sensor Data", IEEE SENSORS JOURNAL, vol. 16, no. 19, 8 August 2016 (2016-08-08), pages 7258 - 7265 *

Also Published As

Publication number Publication date
EP3832525A1 (en) 2021-06-09
EP3832531A1 (en) 2021-06-09
US20210165093A1 (en) 2021-06-03
US11610407B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
CN109934163B (zh) 一种基于场景先验和特征再融合的航空图像车辆检测方法
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
US11151734B2 (en) Method and system for generating synthetic point cloud data using a generative model
Yao et al. Estimating drivable collision-free space from monocular video
CN105825173A (zh) 通用道路和车道检测***与方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN115049700A (zh) 一种目标检测方法及装置
CN105718872A (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及***
CN112906450A (zh) 确定车辆附近的占用地图的条目的车辆、***和方法
CN112287824A (zh) 基于双目视觉的三维目标检测方法、装置及***
CN115861799A (zh) 基于注意力梯度的轻量化空对地目标检测方法
CN115457354A (zh) 融合方法、3d目标检测方法、车载设备及存储介质
CN110991414A (zh) 一种交通要素高精度分割方法、电子设备及存储介质
Zhang et al. Lateral distance detection model based on convolutional neural network
US20220292806A1 (en) Methods and Systems for Object Detection
CN115512330A (zh) 基于图像分割与激光雷达点云补全的物体检测方法
CN113343817A (zh) 一种面向目标区域的无人车路径检测方法、装置及介质
CN113196746A (zh) 在摄像机***之间转移附加信息
KR102540629B1 (ko) 교통 시설물에 대한 학습 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540636B1 (ko) 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540634B1 (ko) 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540624B1 (ko) 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540632B1 (ko) 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US20240177499A1 (en) Method for detecting lane lines and electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20240227

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240321

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right