CN113330454A - 用于自动化和自主车辆的多传感器数据融合的方法和装置 - Google Patents

用于自动化和自主车辆的多传感器数据融合的方法和装置 Download PDF

Info

Publication number
CN113330454A
CN113330454A CN202080010137.9A CN202080010137A CN113330454A CN 113330454 A CN113330454 A CN 113330454A CN 202080010137 A CN202080010137 A CN 202080010137A CN 113330454 A CN113330454 A CN 113330454A
Authority
CN
China
Prior art keywords
road
measurement data
computer
implemented method
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080010137.9A
Other languages
English (en)
Inventor
S·布朗
F·基德尔
S·劳赫
A·伯恩
A·詹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN113330454A publication Critical patent/CN113330454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889—Transmission of selected map data, e.g. depending on route
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/30—Road curve radius
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Transportation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明实施例提供一种计算机实现的方法(30)，该方法用于基于描述道路走向的状态函数来估计在车辆(11)环境中的道路走向。在此，状态函数包括回旋样条(20)。所述计算机实现的方法(30)还包括提供(31)环境测量数据，其描述在车辆(11)当前位置处的道路走向。环境测量数据在此包括至少一个多项式函数。所述计算机实现的方法(30)还包括将状态函数和环境测量数据变换(32)到共同的坐标系中。所述方法(30)还包括检查(33a)测量数据的错误，并且如果没有识别到错误，则在共同的坐标系中基于环境测量数据调整(33)状态函数，如果识别到错误，则存储(33b)该错误。

Description

用于自动化和自主车辆的多传感器数据融合的方法和装置
技术领域
本发明实施例涉及用于估计道路走向的计算机实现的方法、车辆、计算机程序和装置。所述道路走向在此通过状态函数来描述，该状态函数包括回旋样条。
背景技术
在控制一些自动化车辆或自主行驶的车辆时使用用于估计道路走向的方法，对这种车辆的控制基于所述方法做出驾驶决策。
在此，道路走向可以通过确定对应于状态函数的道路模型来近似描述。由此，可以确定尤其是相对于车辆的位置和/或定向的道路走向。道路走向的特征例如可以是宽度、方向、曲率或相邻车道的数量或者车辆相对于车道的位置(例如车辆位于三个车道中的右侧、中间或左侧车道上)。
然后可以这样控制车辆，使得车辆例如跟随道路走向、避开障碍物或者可以变道。为了高度可用、安全且舒适地运行车辆，可以在确定道路走向或道路模型时将多个数据源的环境测量数据组合(融合)。数据源的组合(也称为数据融合)在此指的是多个数据源的数据的组合。典型的数据源例如可以是传感数据源，如摄像机或数字地图的航点。这种数字地图尤其可以是低分辨率(SD)地图或高分辨率(HD)地图。这种数据融合具有多种不同的可能性。
文献WO2018/019454描述了一种用于确定道路模型的方法。在此，借助对地图数据和观察数据的不同参数化生成用于道路模型的多种假设。基于假设的置信度值来选择用于道路模型的一种假设。在这里没有考虑用于观察数据和摄像机数据的数据融合的方法，该方法确保高度可用地确定道路走向。
发明内容
其它常规的控制装置通常仅使用单个数据源(摄像机、数字地图)的数据来构建道路模型。在此不能确保道路走向的高度可用的确定，因为在数据源出现功能故障时不再能够确定道路走向。此外，一些数据源可能产生受噪声污染的或部分错误的环境测量数据，从而对道路走向的估计可能不准确。因此，需要提供一种用于估计道路走向的计算机实现的方法，该方法确保高度可用地且精确地确定道路走向。根据独立权利要求所述的计算机实现的方法、装置、计算机程序以及车辆满足了所述需求。本发明的实施例提供用于估计在车辆环境中的道路走向的计算机实现的方法、车辆、计算机程序和装置。借助多个数据源的环境测量数据与描述道路走向的状态函数(道路模型)的数据融合，能够确保估计的高度可用性和高精确度。
在此，各个数据源的环境测量数据是道路走向测量的输出参量并且包括至少一个多项式函数。所述状态函数包括回旋样条。在此，环境数据与状态函数的数据融合意味着，通过实时滤波器根据环境测量数据调整状态函数或回旋样条。对于道路走向的估计，例如卡尔曼滤波器被证实为是有利的实时滤波器。
用卡尔曼滤波器来调整状态函数通常需要将状态函数从状态空间变换到测量空间。在本发明的实施例中可以涉及状态函数在不同坐标系之间的变换。在测量空间中，可以利用多个数据源或传感器的环境测量数据来校正由卡尔曼滤波器的预测得出的状态函数。结合卡尔曼滤波器，这通常被称为新息(Innovation)。通过调整或新息而更新的状态函数对应于道路走向的近似估计。通过在时间上重复地根据环境测量数据调整状态函数，不断地更新估计，从而例如能够精确地并且可靠地估计公路的道路走向。根据多个数据源的环境测量数据调整状态函数确保了在估计道路走向时的高度可用性和高精确度。本发明的第一方面涉及一种基于描述道路走向的状态函数来估计在车辆环境中的道路走向的计算机实现的方法。状态函数在此包括回旋样条。
此外，所述计算机实现的方法包括提供环境测量数据，所述环境测量数据描述在车辆当前位置的特定环境中的道路走向。环境测量数据在此包括至少一个多项式函数。所述多项式函数例如可以从多段线出发借助曲线回归方法生成。这样的多段线在此表示一系列连续的线段。所述计算机实现的方法还包括将状态函数和环境测量数据变换到一个共同的坐标系中并且在该共同的坐标系中基于环境测量数据来调整状态函数。
例如，所述计算机实现的方法基于递归方法、诸如卡尔曼滤波器，其可以具有相继的递归步骤。在此，每个递归步骤可以用于估计道路走向，该道路走向将通过状态函数来描述。因为在交通建设中在计算道路走向时经常使用回旋曲线，因此能再次精确地通过相继的回旋段估计或近似重建道路走向。因此，可以有利的是，在估计道路走向时为状态函数采用回旋样条。在此，回旋样条可以完全通过如曲率、曲率变化、角度和y轴截距的参数来确定。
用于估计道路走向的输入参量是环境测量数据。环境测量数据可以以多项式函数或多项式样条的形式存在，它们可以由车辆外部的和/或车辆内部的传感器的测量数据得出。环境测量数据例如近似地映射在车辆环境中观察到的道路走向。
然后可以将环境测量数据与状态函数进行比较。为此有利的是，状态函数和环境测量数据存在于一个共同的测量空间中。通常为此合适的是，将状态函数变换到另一坐标系中。例如，回旋样条可以在具有曲率值和弧长的坐标系中表示，而环境测量数据存在于具有位置坐标的坐标系中。出于这个原因，例如将测量模型应用于状态函数，以便在具有位置坐标的坐标系中至少近似地表示状态函数。回旋样条(通常表示为弧长的函数)例如可以通过一个或多个三阶多项式或以位置坐标中的参数表示近似地表示。接着可以在卡尔曼滤波器中用环境测量数据更新在预测时获得的状态函数。
作为递归步骤的输出参量，通常得到经更新的状态函数。对于用于确定道路走向的高度可用且精确的计算机实现的方法，在此可以有利的是，对于递归步骤的数据融合考虑多个可能不同类型的数据源或传感器的环境数据。这种数据融合被称为多传感器数据融合。
在每个递归步骤中可以附加地检查在所基于的环境数据中是否存在错误。例如在由于建筑工地改变了车道标线的情况下可能存在这种错误。在这种情况下，地图和摄像机的环境数据是不同的。此外，车道标线的质量也可能是差的，或者摄像机实施错误测量。
所述检查可以这样进行，即，确定在卡尔曼滤波器的预测步骤中所确定的状态函数值与当前环境数据之间的偏差并且将所述偏差与预先给定的阈值进行比较。如果所确定的偏差大于预先给定的(上)阈值或者小于预先给定的(下)阈值，则存在错误。
随后可以存储所述错误，并且不再继续将当前环境数据用于更新状态函数。所述存储也可以包括对与所述错误相对应的错误车道标线进行标记。
此外，可以接着将错误和对应的数据(如所标记的错误车道标线)发送给设置在车辆外部的接收单元。根据错误能够简单地使用所传输的数据，例如用于道路行政机关以改进在公路上的错误车道标线，和/或用于车辆制造商以改进摄像机/LIDAR(激光雷达)车道标线识别功能，尤其是用于手工标记以改进学习算法。此外，所传输的数据可以用于判断是否应在所述错误车道标志处停用自主行驶运行。因此，这些数据可以用于提高自主行驶功能的可靠性和安全性。此外，可以检查所发送的数据，以便识别错误是由于摄像机的错误数据还是由于数字地图的错误数据而产生。
所述发送例如可以自动地在识别错误之后进行。替代地或附加地，所述发送可以集中地、例如总是夜间或者总是在停放车辆之后等进行。此外也可以给其它车辆发送。
在一些实施例中，环境测量数据可以由至少一个摄像机检测。例如，一个摄像机可以作为多个传感器之一用于多传感器数据融合或者多个摄像机可以用于多传感器数据融合。在此，可以考虑由所述至少一个摄像机所拍摄的道路照片，以便借助合适的图像处理应用来探测道路走向。由所述照片例如可以确定道路标线或者道路边界的走向并且通过至少一个多项式函数近似地表示。所述至少一个多项式函数对应于环境测量数据。为了更精确的估计，道路走向也可以通过多个连续的多项式函数来逼近或者说近似。
借助多个摄像机检测道路走向同样可以有助于更精确地估计道路走向。
附加地或替代地，可以由地图提供环境测量数据。地图例如作为具有特定位置分辨率的数字地图存在。高分辨率地图(HD地图，即高清地图)例如具有10至25cm的位置分辨率，这意味着其尺寸至少在一个维度上对应于相应位置分辨率的结构或物体可用位置分辨率的精度来表示。例如，因此可以探测道路、道路边界或道路标线。可以从地图中获取表征道路走向的航点。借助对航点的内插可以确定一个多项式或者如通常那样确定包括多个多项式的一个多项式样条，所述多个多项式借助地图的航点近似地确定道路走向。所述多项式或多项式样条被称为地图数据。在本发明的一些实施方式中，可以由至少一个摄像机检测第一环境测量数据并且由地图提供第二环境测量数据。借助由摄像机检测到的或从地图确定的环境测量数据可以分别确定多项式或多项式样条，所述多项式或多项式样条分别近似描述在车辆环境中的道路走向。在此可以根据第一环境测量数据并且附加地根据第二环境测量数据来调整状态函数。通过根据多个不同类型的传感器或数据源(摄像机和地图)的环境测量数据来调整状态函数，能够在确定道路走向时得到高度可用性和提高的精确度。高度可用性在此意味着，即使在一个数据源失效的情况下也能够继续可靠地估计道路走向，从而在这种情况下车辆例如仍然能够被驾驶到安全的停车位置或车间。
在另外的实施例中，所述计算机实现的方法可以包括将状态函数和环境数据变换到一个具有位置坐标的共同的坐标系中。卡尔曼滤波器的新息通常需要将状态函数变换到测量空间中，以便用环境测量数据来更新状态函数。典型地，摄像机的环境测量数据已经存在于具有位置坐标的坐标系中。因此，状态函数的变换指的是借助测量模型的转换，从而可以在测量空间、即具有位置坐标的坐标系中表示状态函数。在此，例如通过一个或多个三阶多项式或者在参数表示中通过菲涅尔积分来描述回旋样条。为了降低在数据融合时的数值复杂性，菲涅尔积分可以分别通过泰勒级数近似计算。在具有位置坐标的坐标系中进行数据融合的优点是，可以确定车辆在道路上的定向和绝对位置。因此，例如可以确定车辆位于多车道道路的哪个车道上和/或车辆是沿着道路运动还是横向于道路运动。
本发明的另外的实施例还包括用于确定用于调整状态函数的采样点的采样方法。在相应存在多个采样点的情况下可以有利的是，在相邻采样点之间存在恒定的曲线长度。所述采样点例如可以通过合适的数学方法来确定。恒定的曲线长度可以用作数学方法的输入参量并且例如可以预先给定或者根据道路走向的特征、例如道路曲率来确定。
对于通过卡尔曼滤波器进行调整而言可以有利的是，状态函数和/或环境测量数据存在于测量空间的点空间中。这意味着，例如为了有利于调整，不仅状态函数而且环境测量数据都分别通过多个采样点来表示。借助这些采样点，卡尔曼滤波器可以根据环境测量数据来调整状态函数。典型地，采样点存在于具有位置坐标的坐标系中。
可选地，可以仅针对状态函数确定采样点。然后，例如通过与环境测量数据的多项式具有相同阶数的多项式对所述采样点进行内插。然后可以这样设计卡尔曼滤波器，使得在每个递归步骤中经变换的状态函数的多项式参数逼近环境测量数据的其它多项式参数。通过测量模型可以从多项式参数确定状态函数的参数，使得具有这些参数的状态函数近似地对应于环境测量数据。
在状态函数和环境测量数据的多个采样点的情况下，可以根据采样方法这样选择采样点，使得有利于根据环境测量数据调整状态函数。在此，这样选择待比较的采样点，使得这些采样点处于状态函数或环境测量数据的相同弧长处。此外，在相应多个采样点的情况下可以这样选择这些采样点，使得在一条曲线(状态函数、环境测量数据)的相邻采样点之间分别存在该曲线的恒定弧长。
由此，能够根据摄像机的环境测量数据精确地调整具有大曲率的状态函数。因此，在一些实施例中，能够确保可靠地估计可能高度弯曲的道路走向。
在另外的实施例中，所述计算机实现的方法可以包括将状态函数和环境数据变换到一个具有曲率值的共同的坐标系中。测量空间在此包括二维坐标系，该二维坐标系通过曲率值和弧长来确定。回旋样条通常位于所述测量空间中。地图数据典型地作为多项式样条存在于具有位置坐标的坐标系中，所述多项式样条可以从对航点的内插得出。多项式样条可以这样变换，使得可以根据多项式样条的弧长来确定多项式样条的曲率值。由此可以在包括具有曲率值和弧长的坐标系的测量空间中表示状态函数和多项式样条。因此，对于卡尔曼滤波器，状态函数的曲率值可与多项式样条的曲率值进行比较。
在本发明的一些实施方式中，根据环境测量数据对状态函数的调整可以规定：根据环境测量数据的至少一个另外的曲率值对状态函数的至少一个曲率值的调整。在卡尔曼滤波器的新息中，例如可以考虑将状态函数和多项式样条的曲率值作为输入参量。地图数据与卡尔曼滤波器的数据融合在此意味着，根据经变换的地图数据的曲率值调整状态函数的一个点或多个点的曲率值。
在这里所描述的计算机实现的方法在此尤其是可以设计用于确定普通公路或道路的道路走向。通常，尤其是在高速公路、类似高速公路的公路上和在城市区域中的道路设有道路标线，以便例如使车辆驾驶员能够识别出道路走向。道路标线例如可以被考虑用于估计道路走向。
根据另外的实施例，状态函数可以表征道路的道路标线的走向。为此可以由所述至少一个摄像机拍摄道路标线。借助所述至少一个摄像机对道路走向的检测通常通过图像处理应用来实现，该图像处理应用可以从所述至少一个摄像机的照片中确定道路标线或道路边界的走向。由此，所述至少一个摄像机的环境测量数据可以表征道路标线或道路边界的走向。这种估计在控制车辆时可以有利于例如确定道路宽度或车辆与道路边界的距离。
在另外的实施例中可以有利的是，通过变换状态函数来确定车道中心的走向。在一些情况下，为了控制车辆需要车道中心的走向。所述至少一个摄像机的环境测量数据例如描述道路边界或位于道路侧边的道路标线的走向。因此，在这些环境测量数据的数据融合时可以估计道路标线或道路边界的走向。
在已知道路宽度的情况下，可以借助所述估计确定描述车道中心走向的状态函数。通过变换和改变曲率值，可以从道路标线和道路边界的走向推断出描述车道中心走向的状态函数。
可选地，在另外的实施例中，所述计算机实现的方法还可以包括提供验证测量数据并且借助验证数据验证对道路走向的估计。其它传感器(例如激光雷达传感器、雷达传感器和/或超声传感器)可以提供验证测量数据，所述验证测量数据例如借助位置坐标来表征道路的边缘建筑物的位置和/或走向。边缘建筑物例如可以是护栏、噪音防护壁或导向柱。
因此，所述验证测量数据表征对于车辆可通行的区域。在验证对道路走向的估计时，可以确定状态函数是否处于可通行的区域内，并且由此得出关于所估计的道路走向是否可能切合实际的结论。该验证提高了所述计算机实现的方法在估计道路走向时针对错误的鲁棒性。例如，在控制车辆时可以不考虑有错误的估计，即不考虑不在可通行的区域内的状态函数。本发明的第二方面涉及一种用于估计在车辆环境中的道路走向的装置。该装置包括用于获取环境测量数据的一个或多个接口。此外，该装置包括处理单元，该处理单元被构造用于实施用于估计在车辆环境中的道路走向的计算机实现的方法。
在此，环境测量数据例如可以是地图数据或摄像机的环境测量数据。与此对应地，所述装置的一个接口例如是与存储介质的连接部，在所述存储介质上存储有地图数据并且可以从所述存储介质那里调用或传输所述地图数据。其它接口可以是与提供环境测量数据的一个或多个摄像机的连接部。
所述处理单元例如可以是计算机、微控制器、处理器或可编程硬件组件，其被配置用于实施计算机实现的方法。由接口获取的环境测量数据在此从接口传输给处理单元，从而环境测量数据用作用于估计道路走向的输入参量。
第三方面涉及一种车辆，该车辆具有用于估计在车辆环境中的道路走向的装置。车辆可以是任何地面车辆，尤其是轿车、货车、摩托车或农业机械。
附图说明
下面参考附图详细阐述各实施例。在附图中：
图1示出多车道公路的示意图，在该多车道公路上存在车辆。
图2示出具有n个回旋段的回旋样条的一个示例。
图3示出用于估计在车辆环境中的道路走向的计算机实现的方法的示意性流程图。
图4示出多传感器数据融合的流程图。
图5示出回旋样条和环境测量数据的采样方法的示意图。
图6示出用于逼近回旋样条的两种逼近方法的图形比较。
图7示出两种采样方法的图形比较。
图8示出通过道路标线标记的道路的示意图。
图9示出地图数据和位于道路上的车辆的视图。
图10示出具有用于估计道路走向的装置的车辆的示意图。
具体实施方式
现在将参考附图详细地描述各种实施例，在附图中示出一些实施例。在附图中，为了清晰起见，线、层和/或区域的厚度尺寸可以夸大地示出。
在自主行驶设计领域中，对于控制例如自主行驶的车辆来说，估计周围环境和道路走向可能是非常重要的。因此，例如可以这样操控车辆，使得车辆自主地在没有驾驶员参与的情况下这样调节转向、加速度、速度和其它车辆参数或行驶参数，使得车辆例如安全地跟随所估计的道路走向和/或能够避开障碍物。
在图1中示例性地示出道路14的示意性道路走向，车辆11位于该道路上和/或在该道路上运动。在这里所描述的本发明的实施例可以设计用于在两个平移方向上、即在两个维度上估计道路走向。图1在两个维度中以俯视图示出道路。车辆11在此位于道路14的三个车道中的中间车道上，所述车道例如允许沿一个或两个方向的行驶。在这里所描述的本发明的有利实施例中，例如可以估计道路14或车道的走向。在进一步的意义中，在本公开中，道路走向不仅可以指道路的走向而且可以指车道的走向。
车道的车道中心和/或车道中心走向可以通过中心线12来表征。然而，公路通常没有中心线12，因此车道中心不是“可见的”。各个车道典型地分别通过道路标线、如边界线13来限定。
现有技术中的常用方法例如借助基于多项式或多项式样条的道路模型来确定道路走向，所述多项式或多项式样条例如可以直接由摄像机的照片或由数字地图得出。
然而，在建筑设计时，道路14典型地基于行驶舒适性和出于安全性原因根据具有连续回旋段的样条(回旋样条)来构建。道路14的这种构建的优点在于道路曲率的线性变化，从而能够以高的行驶舒适性驶过弯道并且能够为非自主行驶的车辆的驾驶员很好地估计弯道。根据基于回旋样条的结构方式可以被证实为有利的是，在估计道路走向时采用基于回旋样条的道路模型。例如，因此能够提高估计的准确性和可靠性。
在图2中示例性地示出道路14的基于回旋样条20的道路模型。回旋样条20包括回旋段21和在两个回旋段21之间的过渡点22。各回旋段21对应于回旋函数的一部分。
回旋函数或回旋函数的曲率值c(s)可以按照以下表达式根据弧长s来表示：
c(s)＝c0+c1,m*s (1)
在此，c0代表初始曲率，c1,m代表具有弧长s的第m个回旋段41的恒定曲率变化。借助(1)可以看出，回旋函数的曲率值c(s)随着c1,m线性变化。
在图2所示的回旋样条20中，可以附加地给出回旋段21的定向θ0和y轴截距y0。亦即，回旋样条20的回旋段21中的每个回旋段一般可以通过参数c0、c1、θ0和y0来完整表征。对于具有n(n∈N)个回旋段21的回旋样条20，这将意味着回旋样条20可以通过4*n个参数描述。
图2所示的回旋样条20满足在各回旋段21之间的连接条件，所述连接条件可以减少为了描述回旋样条20所需的参数的数量，从而减少用于确定回旋样条20的计算耗费。回旋样条20例如在过渡点22处是连续的、可微分的，并且两个相继的回旋段21的曲率值在过渡点22处是相等的。在所提及的连接条件下，为了描述回旋样条20所需的参数的数量能够减少到n+3。因此，回旋样条20可以通过减少的参数组(c来完整表征。
回旋样条20可以很近似地映射例如在车辆11前方和后方的道路14的道路走向。为了确定回旋样条20，考虑多个可能不同类型的数据源或传感器的环境测量数据。尤其是在使用不同类型的传感器时，可能需要这样确定回旋样条20，使得将不同类型的传感器的环境测量数据一起纳入对回旋样条20的确定中。例如可以通过图3所示的用于估计道路走向的计算机实现的方法30的实施例来满足该需求。
用于估计在车辆环境中的道路走向的计算机实现的方法30基于对描述道路走向的状态函数的确定。状态函数在此包括回旋样条20。
所述计算机实现的方法30包括提供31环境测量数据，所述环境测量数据描述在车辆11的当前位置处的道路走向。环境测量数据在此包括至少一个多项式函数。该计算机实现的方法30还包括将状态函数和环境测量数据变换32到共同的坐标系中并且在所述共同的坐标系中基于环境测量数据来调整33状态函数。
车辆自身的传感器装置(如一个摄像机或多个摄像机)的环境测量数据可以如在一种实施例中那样借助多项式函数或多项式样条来描述道路的边界线13的走向或车道中心12的走向。
此外，地图制造商的HD地图可被考虑用于估计道路走向。基于能从HD地图获得的道路航点可以确定环境测量数据。所述航点例如可以表征车道中心。由此产生的地图数据通常借助另一个多项式样条来描述道路走向。
实时滤波器、如卡尔曼滤波器例如能够实现，如果状态函数和环境测量数据位于共同的坐标系中，则利用环境测量数据更新状态函数或回旋样条20。例如，状态函数如在表达式(1)中那样存在于包括曲率值的状态空间中。环境测量数据例如存在于具有位置坐标的测量空间中。状态函数可以通过变换32例如被映射在共同的坐标系中，该坐标系可以包括曲率值或位置坐标。
在共同的坐标系中，卡尔曼滤波器例如可以使用环境测量数据，以便根据环境测量数据调整33回旋样条20。
例如，计算机实现的方法30可以描述递归方法的单个递归步骤。递归方法例如包括多个相继的递归步骤，它们分别用于估计道路走向。递归方法例如可以通过卡尔曼滤波器或者通过其它实时滤波器实现。在一些实施例中，卡尔曼滤波器被证实是有利的。
各个递归步骤的输入参量是来自在先递归步骤之一的状态函数和环境测量数据，所述环境测量数据可以通过借助所述至少一个摄像机和HD地图提供31环境测量数据来检测。
检测和变换32在先递归步骤的状态函数表征卡尔曼滤波器的第一阶段。该阶段被称为预测。
在卡尔曼滤波器的预测期间，可以确定对于回旋样条20的当前状态的估计。为此可以将回旋样条置于状态动态下。所述状态动态例如通过车辆11的运动来确定。例如，如果车辆11沿着道路14运动，则回旋样条20可以在车辆11的前方延长，而在车辆11的后方缩短。
因为回旋样条20通常由各个段21组成，所以回旋样条20例如可以不是在每个递归步骤中连续延长或缩短，而是仅针对车辆11驶过其中一个过渡点22的情况下延长或缩短。
在每个递归步骤中可以附加地检查33a在所基于的环境数据中是否存在错误。所述检查可以这样进行，即，确定在卡尔曼滤波器的预测步骤中所确定的状态函数值与当前环境数据之间的偏差并且将所述偏差与预先给定的阈值进行比较。如果所确定的偏差大于预先给定的(上)阈值或者小于预先给定的(下)阈值，则存在错误。该错误接着可以被存储33b并且不被继续用于状态函数，即不在被称为新息的阶段中被使用。所述存储也可以包括对与所述错误相对应的错误车道标线进行标记。此外，可以接着将错误和对应的数据(如所标记的错误车道标线)发送给设置在车辆外部的接收单元。根据错误能够简单地利用所传输的数据，例如用于道路行政机关以改进在公路上的错误车道标线和/或用于车辆制造商以改进摄像机/LIDAR(激光雷达)车道标线识别功能，尤其是用于手工标记以改进学习算法。此外，所传输的数据可以用于判断是否应在所述错误车道标志处停用自主行驶运行。因此，这些数据可以用于提高自主行驶功能的可靠性和安全性。此外，可以检查所发送的数据，以便识别错误是由于摄像机的错误数据还是由于数字地图的错误数据而产生。
如果不存在错误，则进行下面描述的过程。
在每个递归步骤中通过根据环境测量数据的调整33来更新在先递归步骤的状态函数。调整33对应于卡尔曼滤波器的被称为新息的第二阶段。为了调整33，例如将状态函数与环境测量数据进行比较。例如，为此将状态函数的各个值与环境测量数据的其它值进行比较。这些值可以根据测量空间例如是状态函数和环境测量数据的位置坐标或曲率值。通常，状态函数的值具有不精确性，或者环境测量数据的值具有测量不确定性，它们可以分别通过概率分布、例如高斯分布来表示。在卡尔曼滤波器的第二阶段中，可以利用状态函数和环境测量数据作为输入参量进行状态函数的调整33。输入参量在调整33状态函数时的权重在此可以与测量不确定性或不精确性有关。环境测量数据的测量不确定性越小，则在预测时所确定的状态函数例如可以越接近环境测量数据。环境测量数据14的测量不确定性越大，则环境测量数据在调整33时的权重可以越小。作为输入参量存在的状态函数的不精确性例如基于回旋样条20的参数的平均值和数值分散数据(例如协方差)。平均值和协方差可以由在先递归步骤的参数确定。状态函数的不精确性例如可以通过协方差来确定。在协方差高的情况下，可以为在预测时所检测的状态函数赋予低的权重。
而在协方差小的情况下，则赋予状态函数高的权重。因此，根据不精确性和测量不确定性，从环境测量数据和用作输入变量的状态函数中得出经更新的状态函数或回旋样条20。在接着的递归步骤中，将最后更新的状态函数再次用于预测。
一些传感器(地图制造商的传感器装置和车辆自身的传感器装置)的环境数据不能精确地确定道路走向。传感器装置的环境测量数据例如可能部分被噪声污染或者有错误。而多个不同类型的传感器(数据源)的环境数据的数据融合能够确保鲁棒地、高度可用地并且少有错误地估计道路走向。在图3中示出多传感器数据融合的这种构想。
在多传感器数据融合中，多个传感器的数据、尤其是环境测量数据可以被融合成道路模型。在图4所示的实施例中，环境测量数据可以借助摄像机41和HD地图43来提供。
摄像机41例如可以固定在车辆上并且沿行驶方向定向。如已经提到的那样，可以从摄像机41的照片借助图像处理应用以一个或多个相继的多项式函数的形式近似地表示道路标线、道路边界以及其走向。典型地，摄像机41的有效范围或测量半径受限于障碍物或摄像机41的光学有效范围。
HD地图43典型地基于地图制造商的传感器装置42的输出参量。通过对能从HD地图获得的航点进行内插可以确定一个或多个连续的多项式函数，以便近似地描述道路走向。HD地图43或对应的地图数据例如可以存在于安装在车辆11上的存储介质上。
替代地或附加地，HD地图43或地图数据可以从发射器被传输给车辆11的接收模块或用于估计道路走向的装置。
通过在卡尔曼滤波器的第二阶段中调整33状态函数，例如根据多传感器数据融合40，将HD地图43和摄像机41的环境测量数据纳入到道路走向或道路模型45的估计中，其可通过状态函数或回旋样条20来表示。尽管在此描述的实施例规定使用一个单个摄像机，但是其它实施例可以包括多个摄像机41，所述多个摄像机必要时可以沿不同的方向定向。
利用卡尔曼滤波器，例如可以尤其是根据摄像机41的环境数据调整回旋样条20。下面应借助图5所示的曲线20和50更详细地探讨摄像机41的环境测量数据的数据融合44。
为了在卡尔曼滤波器的第二阶段中调整33状态函数20，将状态函数20、也就是回旋样条20和环境测量数据50变换到一个点空间中。这意味着，不仅环境测量数据50而且回旋样条20可以分别通过点空间的多个点来描述。这些点可以通过采样方法从回旋样条20和环境测量数据50确定。因此，这些点也被称为采样点51和52。
借助对于回旋样条20常见的表达式(1)不能确定采样点51或采样点51的位置坐标。因此需要变换32回旋样条20。为了变换32回旋样条20，可以确定测量模型，借助该测量模型可以将回旋样条20变换到环境测量数据50的测量空间中，从而回旋样条20可以通过位置坐标来表示。
在此存在用于变换32回旋样条20的多个测量模型，以便通过位置坐标而不是如在(1)中那样通过弧长和曲率值来表示回旋样条。下面应示例性地借助图6所示的图示60-1和60-2讨论两个测量模型，这两个测量模型可以被用于变换32回旋样条20。
用于变换32回旋样条20的第一测量模型通过由三阶多项式62逼近回旋段21来规定回旋样条20的近似表示。该表示在图示60-1中示出。三阶多项式62在此可以表示如下：
y(x)＝ax3+bx2+cx+d (2)
a、b、c和d对应于确定多项式62的形式的参数。对于回旋段21的近似表示，参数a、b、c和d可以通过回旋段21的参数c0、c1,m、θ0和y0以如下方式代替：
a＝c1,m，b＝c0，c＝atan(θ0)，d＝y0 (3)
通过代入根据(3)的参数，例如获得近似地映射回旋曲线或例如回旋段21的走向的多项式62。
因此，采样点61近似地对应于采样点51。由此，通过利用(2)和(3)近似地表示回旋段21，可以给每个采样点61配设位置坐标。通过在此描述的第一测量模型可以在点空间中在卡尔曼滤波器中表示回旋样条20。使用点空间的采样点61和采样点52作为输入参量，卡尔曼滤波器可以使多项式62逼近环境测量数据50。在此可以确定回旋样条20的参数c0、θ0、y0和c1,1...c1,n的值。通过代入这些值可以确定对道路走向的估计，所述估计通过根据摄像机41的环境测量数据50调整33回旋样条20而得出。
回旋段21可以在曲率小的情况下很好地通过所描述的根据(2)和(3)的测量模型近似表示。在曲率大的情况下，根据(2)和(3)近似表示回旋样条20的精确度可能不足以确保根据环境测量数据50调整33回旋样条20的高精确度。
为了在曲率大的情况下的更优近似，可以代替第一测量模型将第二测量模型应用于回旋样条20。例如，回旋段21可以通过回旋函数的参数表示来表示。
这在图示60-2中示出。在例如回旋段21的参数表示中，以向量表示来表示每个采样点63。这样的采样点63的向量例如包括两个分量，所述分量可以通过菲涅尔积分来表达。为了减少菲涅尔积分的数值计算耗费，可以取代菲涅尔积分而例如使用菲涅尔积分的五阶泰勒展开。从回旋段21的该近似中例如可以得到函数64，该函数64基于五阶泰勒展开对应于泰勒多项式64。如在图6中可以看出，该多项式64相对精确地描述回旋段21的走向。借助第二测量模型确定的采样点63即使在曲率大的情况下也很好地近似描述回旋段21和/或回旋样条20。通过第二测量模型产生的采样点63可以尤其是在曲率大的情况下比通过第一测量模型产生的采样点61更好地近似表示回旋样条20。因此，相比于利用第一测量模型，借助第二测量模型通常能够以更高的精确度来确定道路走向。总的来说，两个测量模型都可以被用于估计道路走向。
可以使用不同的采样方法来确定相应的测量模型的采样点61和63以及环境测量数据50的采样点52。在图7中示出采样方法的两种可能性。在第一种常见的采样方法中(在图7的左侧)，可以这样选择采样点61、63和52，使得采样点在x方向上的距离是恒定的。已被证明的是，在借助卡尔曼滤波器调整33回旋函数20或多项式62和64时，该采样方法对于高度弯曲的道路走向而言不是最佳的。在该采样方法中，由于基于几何给定条件的***误差，在道路走向高度弯曲时采样点61或63与采样点52之间的距离可能相对大，尽管多项式62或64近似对应于环境测量数据50。接着卡尔曼滤波器在新息时将会“过多”地移动回旋样条20。例如，在图7左图所示的示例中，回旋样条20将被过于向下移动，因为采样点61或63与采样点52的距离d相对大。
这种***误差可以通过在其它实施例的意义上选择第二种采样方法(在图7的右侧)来减少。在图7右图所示的采样方法中，这样选择采样点61、63和52，使得在相应的多项式62、64或环境测量数据50的相邻采样点61、63和52之间存在恒定的弧长Δs。通过这种方式，即使在道路走向强烈弯曲时也存在这样的采样点61、63和52，使得采样点61或63与采样点52之间的距离d由此例如比在图7左图中更小。对应地，回旋样条20通过卡尔曼滤波器例如被较不强烈地向下移动。与使用第一种采样方法的调整33相比，在使用第二种采样方法的情况下利用卡尔曼滤波器调整33回旋样条20能够获得更高的精确度。第二种采样方法还稳定地影响卡尔曼滤波器的功能，并且因此在控制车辆时也稳定地影响侧向引导特性，因为在调整33时使用第二种采样方法稍微校正回旋样条20。由此能够实现在各个递归步骤中不太“强烈”地调整状态函数，并且由此被称为“更稳定”。
在一些实施例中，摄像机41可以检测道路标线12或13的走向，并且图像处理应用可以被设计用于检测这样的道路标线12或13并且通过多项式或多项式样条近似地描述它们。道路标线13在此表征道路的道路边界。道路标线12表征道路的中心线，该中心线在一些情况下是不可见的。在图8中示出由道路标线12和13表征的道路的示意图。借助道路标线12和/或13的走向，例如可以借助合适的图像处理应用从摄像机41的照片确定道路宽度或车道宽度。在一些情况下，道路走向的估计可以对应于道路标线13的走向。这对于车辆的控制可以是有利的。由向右和向左限定车道的两条道路标线13的走向例如可确定车道宽度或从中推导出中心线12的走向。
在控制车辆时可能需要确定车道中心的走向。在缺少中心线12的情况下，不能通过摄像机的环境测量数据50的数据融合44直接确定车道中心的走向。在这种情况下，可以借助数据融合44确定道路标线或道路边界13的走向，并且由此出发在考虑车道宽度的情况下推导出车道中心或中心线12的走向。待确定道路的车道宽度要么可以从存在于车辆中的数据组中获取，要么可以借助道路标线13的走向来确定。为了确定中心线12的走向，可以对例如描述道路中心走向的回旋样条20进行变换，使得经变换的回旋样条描述道路标线13之一的走向，以便能够实现根据摄像机的环境测量数据调整33回旋样条20。在调整33回旋样条20之后，可以通过逆变换确定再次表征车道中心走向的回旋样条。由于几何原因，以平移方式、即在x和y方向上移动回旋样条20对于变换和逆变换而言可能是不够的。
为此，例如还可能需要借助数学方法来调整参数c0、c1,m，使得经变换的回旋样条对应于中心线12的走向并且由此平行于道路边界13延伸。
替代地，为了调整33回旋样条20，可以在考虑车道宽度的情况下这样变换摄像机的环境测量数据，使得所述摄像机的环境测量数据近似表征道路中心的走向。卡尔曼滤波器接着可以根据经变换的测量数据调整33回旋样条20。对于在图4中示意性地示出的多传感器数据融合，通常考虑来自另一个与摄像机不同的数据源的环境测量数据。在图4所示的实施例中，为此使用HD地图43的地图数据。在图9中示出这种地图数据的一个示例。地图制造商的传感器装置42提供航点91，这些航点位于车辆11的道路上。在考虑到其它连接条件的情况下可以通过内插来连接所述航点。在内插时，航点例如可以通过多项式92连接。因此，可以由多个多项式函数92产生一个多项式样条90。该多项式样条90例如可以对应于地图数据。
在这里所描述的本发明的一些实施例中，多项式样条90可以表示为以位置坐标的函数。在数据融合44时可以通过卡尔曼滤波器根据多项式样条90调整的回旋样条20在此通常也作为参数y0、θ0、c0和c1,1...c1,n的参数组存在，所述参数可以借助由(1)得出的曲率值c(s)映射回旋样条20。
相对于摄像机41的环境测量数据50，在摄像机41能够检测道路之前早就已经能够获得地图数据。这样，例如可以根据高度弯曲的和/或不可见的弯道估计道路14的道路走向。因此，例如可以使用地图数据很好地近似确定在车辆11前方很远处的道路走向。
借助地图数据有时不能确定或不能精确地确定车辆的定向。车辆11相对于道路14的定向通常不能由车辆11的位置数据和多项式样条90来确定，因为不能从中得到关于车辆11定向的提示。因此，通常在卡尔曼滤波器中不考虑地图数据的位置坐标来根据地图数据调整回旋样条20。在此，可以应用另一个测量模型，在该另一个测量模型中在测量空间中表示地图数据，所述测量空间包括具有曲率值的坐标系。
对于在具有带曲率值的坐标系的测量空间中的上述数据融合44，例如有利地根据(1)表示回旋样条20。因此，回旋样条20的状态空间已经可以对应于测量空间。
由HD地图43所提供的多项式样条90通常作为在具有位置坐标的坐标系中的映射存在。因此，在此处公开的本发明的有利实施方式中，可能需要将地图数据变换32到具有带曲率值的坐标系的测量空间中。地图数据的合适的映射例如可以是地图数据的弧长s的函数，其中，根据弧长s得出地图数据的曲率值k。
为了根据多项式样条90调整33回旋样条20，例如在卡尔曼滤波器的新息中使回旋样条20的曲率值逼近多项式样条90的曲率值k。例如，为此考虑在地图数据的航点处的曲率值k。该调整33可以通过调整参数y0、θ0、c0和c1,1...c1,n来实现。
所描述的借助曲率值k的数据融合44的优点是，该数据融合44相对于角度误差和偏移误差具有鲁棒性。假设定位确定了车辆11实际所在的车道，则例如可以借助曲率值k准确地估计道路走向，即使车辆11不是准确地位于车道中心或者不是平行于中心线12定向。
在此处公开的本发明的有利实施方式中，计算机实现的方法可以包括多传感器数据融合40。在此能够从环境测量数据50和地图数据的多传感器数据融合40中得到优点。
在环境测量数据的数据融合44中，例如可以确定车辆11相对于道路14的位置和定向。因此，在控制车辆11时，例如能够防止车辆11偏离道路14。
借助地图数据的数据融合44可以提前很多地确定道路走向，从而对车辆11的控制例如可以足够早地降低车辆速度，以便安全地驶过不可见的高度弯曲的弯道。
此外，数据融合44在估计道路走向时提供相对于角度误差和偏移误差的鲁棒性，由此能够减小估计的测量误差。计算机实现的方法30可被用于控制任何地面车辆11。在图10中示出这种车辆11的一个示例。车辆11在此可以配备有用于估计道路走向的装置100。在此，装置100包括处理单元(在此未示出)和多个用于获取环境测量数据的接口。这种接口例如可以是处理单元与一个或多个摄像机41的连接部。摄像机41例如可以沿行驶方向、逆着行驶方向或朝向侧面定向并且能够提供31环境测量数据50。其它接口可以将处理单元与诸如硬盘驱动器或光存储器的存储介质103连接并且附加地或备选地与接收单元102连接。可以通过如下方式实现提供31地图数据90，即，地图数据90可以位于存储介质103上或者由接收单元102接收并且提供给处理单元。地图数据例如可以由发射器110传输给接收单元。利用环境测量数据50和地图数据，装置100可以通过实施计算机实现的方法10来确定对道路走向的估计。
处理单元为此被设计用于实施回旋样条20和环境测量数据50和/或地图数据的变换32。此外，处理单元被配置用于根据环境测量数据调整33回旋样条20。处理单元例如可以是处理器、微控制器、现场可编程门阵列(FPGA)、计算机或可编程硬件组件。
结合一个或多个前面详述的示例和附图描述的方面和特征也可以与一个或多个其它示例中的组合，以代替所述其它示例的相同特征，或者附加地将特征引入到所述其它示例中。
示例还可以是或可以涉及具有程序代码的计算机程序，所述程序代码用于，当在计算机或处理器上执行该计算机程序时，执行上述方法中的一个或多个。上述各种方法的步骤、操作或过程可以通过编程的计算机或处理器执行。示例还可以覆盖程序存储装置、例如数字数据存储介质，其是机器可读的、处理器可读的或计算机可读的，并且对机器可执行的、处理器可执行的或计算机可执行的程序进行指令编码。所述指令执行上述方法的一些或全部步骤或引起其执行。程序存储装置例如可以包括或可以是数字存储器、磁性存储介质(例如磁盘和磁带)、硬盘驱动器或光学可读数字数据存储介质。其它示例还可以覆盖被编程用于执行上述方法的步骤的计算机、处理器或控制单元，或者被编程用于执行上述方法的步骤的(现场)可编程的逻辑阵列((F)PLA)或(现场)可编程的门阵列((F)PGA)。
通过说明书和附图仅示出本公开的原理。此外，在此列举的所有示例应该原则上明确仅用于说明目的，以帮助读者理解本公开的原理和由发明人为进一步改进技术而贡献的构想。所有在此关于本公开的原理、方面和示例以及其具体示例的陈述包括其等效方案。
被称为“用于执行特定功能的模块”的功能块可以涉及构造用于实施特定功能的电路。因此，“用于某事的模块”可以被实现为“构造用于或适合于某事的模块”，例如构造用于或适合于相应任务的结构元件或电路。附图中所示的各种元件(包括被称为“模块”、“用于提供信号的模块”、“用于生成信号的模块”等的任何功能块)的功能可以以专用硬件的形式、例如“信号提供者”、“信号处理单元”、“处理器”、“控制装置”等实现以及被实现为能够结合相关软件执行软件的硬件。当由处理器提供时，所述功能可以由单个专用处理器、由单个共享处理器、或者由多个单独的处理器提供，所述多个单独的处理器中的一些或全部处理器可以共享。
然而，术语“处理器”或“控制装置”绝不仅限于能够仅执行软件的硬件，而可以包括数字信号处理器硬件(DSP硬件)、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置(storage)。还可以包括常规的和/或客户定制的其它硬件。
框图例如可以表示实现本公开原理的粗略电路图。类似地，流程图、过程图、状态过渡图、伪代码等可以代表各种不同的过程、操作或步骤，它们例如基本上可以在计算机可读介质中表示并且因此由计算机或处理器执行，无论这样的计算机或处理器是否明确地示出。在说明书中或者在权利要求中公开的方法可以通过具有用于执行该方法的各个步骤中的每个步骤的模块的结构元件来实现。
可以理解的是，在说明书或权利要求中公开的多个步骤、过程、操作或功能的公开不应被解释为处于特定顺序，只要这没有明确地或隐含地例如出于技术原因另行说明。因此，多个步骤或功能的公开不将它们限于特定顺序，除非这些步骤或功能由于技术原因不可互换。此外，在一些示例中，单个步骤、功能、过程或操作可以包括和/或可以被分解成多个子步骤、子功能、子过程或子操作。这些子步骤可以被包括并且是所述单个步骤的公开内容的一部分，只要其没有被明确地排除。
此外，以下权利要求由此被纳入详细的说明书中，每项权利要求可以独立作为单独的示例。虽然每项权利要求可以独立地作为单独的示例，但是应当注意，尽管权利要求中的从属权利要求可以涉及与一项或多项其它权利要求的特定组合，但是其它示例也可以包括从属权利要求与任何其它从属或独立权利要求的技术方案的组合。除非指出不考虑特定组合，否则在此明确提出这些组合。此外，一项权利要求的特征也应被包括在任何其它独立权利要求中，即使该权利要求没有直接从属于该独立权利要求。
附图标记列表
11 车辆
12 中心线
13 道路边界
14 道路
20 回旋样条
21 回旋段
22 过渡点
30 计算机实现的方法
31 提供环境测量数据
32 变换状态函数和环境测量数据
33 调整状态函数
33a 检查环境测量数据的错误
33b 存储错误
33c 使用错误
40 多传感器数据融合
41 摄像机
42 地图制造商的传感器装置
43 HD地图
44 数据融合
45 道路模型
50 摄像机的环境测量数据
51 回旋样条的采样点
52 摄像机的环境测量数据的采样点
60-1 第一种采样方法的图示
60-2 第二种采样方法的图示
61 多项式的采样点
62 多项式
63 泰勒多项式的采样点
64 泰勒多项式
90 多项式样条
91 航点
92 多项式函数
100 装置
102 接收单元
103 存储介质
110 发射器。

Claims (16)

1.一种基于描述道路走向的状态函数来估计车辆(11)环境中的道路走向的计算机实现的方法(30)，所述状态函数包括回旋样条(20)，所述方法(30)包括：
提供(31)描述在车辆(11)当前位置处的道路走向的环境测量数据，所述环境测量数据包括至少一个多项式函数；
将所述状态函数和所述环境测量数据变换(32)到共同的坐标系中；并且
检查(33a)环境测量数据的错误；
如果没有识别到错误，则在共同的坐标系中基于环境测量数据调整(33)状态函数，
如果识别到错误，则存储(33b)该错误。
2.根据权利要求1所述的计算机实现的方法(30)，其中，所述检查包括：确定在卡尔曼滤波器的预测步骤中所确定的值与所述环境数据之间的偏差并且随后将所述偏差与预先给定的阈值进行比较。
3.根据权利要求1或2所述的计算机实现的方法(30)，其中，将所存储的值发送给设置在车辆(11)外部的接收单元。
4.根据权利要求1、2或3所述的计算机实现的方法(30)，其中，使用(33c)所存储的值用于改进道路标线和/或用于改进地图数据和/或用于改进车道标线识别功能和/或用于改进自主行驶功能。
5.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，由至少一个摄像机(41)检测所述环境测量数据(50)。
6.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，由地图(43)提供所述环境测量数据。
7.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，由至少一个摄像机(41)检测第一环境测量数据(50)并且由地图(43)提供第二环境测量数据。
8.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，所述共同的坐标系包括位置坐标。
9.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，对状态函数的调整(33)包括用于确定采样点(51)、(52)、(61)和(63)的采样方法，其中，在相应多个采样点的情况下在相邻采样点之间存在恒定的曲线长度。
10.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，所述共同的坐标系包括曲率值。
11.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，根据环境测量数据对状态函数的调整(33)规定根据环境测量数据的至少一个另外的曲率值对状态函数的至少一个曲率值的调整。
12.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，所述状态函数表征道路的道路标线(12)、(13)的走向。
13.根据权利要求12所述的计算机实现的方法(30)，还包括通过变换所述状态函数来确定车道中心(12)的走向。
14.根据前述权利要求中任一项所述的计算机实现的方法(30)，其中，该计算机实现的方法(30)还包括提供验证测量数据并且借助验证数据验证对道路走向的估计。
15.一种用于估计在车辆(11)环境中的道路走向的装置(100)，该装置包括：
一个或多个接口，所述接口被构造用于获取环境测量数据；
处理单元，该处理单元被构造用于实施根据权利要求1至14所述的计算机实现的方法。
16.车辆(11)，该车辆包括根据权利要求15所述的装置(100)。
CN202080010137.9A 2019-05-13 2020-02-19 用于自动化和自主车辆的多传感器数据融合的方法和装置 Pending CN113330454A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019112413.1 2019-05-13
DE102019112413.1A DE102019112413A1 (de) 2019-05-13 2019-05-13 Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
PCT/EP2020/054290 WO2020229002A1 (de) 2019-05-13 2020-02-19 Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge

Publications (1)

Publication Number Publication Date
CN113330454A true CN113330454A (zh) 2021-08-31

Family

ID=69701164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010137.9A Pending CN113330454A (zh) 2019-05-13 2020-02-19 用于自动化和自主车辆的多传感器数据融合的方法和装置

Country Status (4)

Country Link
US (1) US20220169280A1 (zh)
CN (1) CN113330454A (zh)
DE (1) DE102019112413A1 (zh)
WO (1) WO2020229002A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114906155A (zh) * 2022-05-31 2022-08-16 重庆长安汽车股份有限公司 预期转弯速度确定方法、***、电子设备及可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997429B2 (en) * 2018-04-11 2021-05-04 Micron Technology, Inc. Determining autonomous vehicle status based on mapping of crowdsourced object data
US11702098B2 (en) * 2021-03-23 2023-07-18 The Regents Of The University Of Michigan Roadmanship systems and methods
DE102021116286A1 (de) 2021-06-23 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm, Verfahren zum zumindest teilweisen Kompensieren eines Beobachtungsfehlers beim Schätzen eines Fahrbahnverlaufs
DE102021116283A1 (de) 2021-06-23 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug, Vorrichtung, Computerprogramm, Verfahren zum Schätzen eines Fahrbahnverlaufs
DE102021208245A1 (de) 2021-07-29 2023-02-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems, Fahrerassistenzsystem und Kraftfahrzeug mit einem Fahrerassistenzsystem
US11845429B2 (en) * 2021-09-30 2023-12-19 GM Global Technology Operations LLC Localizing and updating a map using interpolated lane edge data
US11987251B2 (en) 2021-11-15 2024-05-21 GM Global Technology Operations LLC Adaptive rationalizer for vehicle perception systems toward robust automated driving control
CN114332647B (zh) * 2021-12-31 2022-10-21 合肥工业大学 一种用于无人船的河道边界检测与跟踪方法及***
DE102022112745A1 (de) * 2022-05-20 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum erkennen einer fehlfunktion eines umfeldmodells einer automatisierten fahrfunktion
CN118025207A (zh) * 2022-11-07 2024-05-14 罗伯特·博世有限公司 驾驶员辅助***及其安全性监控单元和方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144031A1 (en) * 2007-12-04 2009-06-04 Tele Atlas North America, Inc. System for applying clothoid curve values to roadways in a geographic data information system
CN101793528A (zh) * 2009-01-26 2010-08-04 通用汽车环球科技运作公司 使用传感器融合来估计车道路径的***和方法
CN103884342A (zh) * 2012-12-19 2014-06-25 奥迪股份公司 用于提供前方道路走向的方法和控制装置
DE102015013085A1 (de) * 2015-10-08 2016-03-31 Daimler Ag Verfahren zum Bestimmen eines Soll-Fahrspurverlaufs eines Kraftfahrzeugs
CN106164930A (zh) * 2014-04-04 2016-11-23 戴尔菲技术公司 用于车道检测的方法
CN106842231A (zh) * 2016-11-08 2017-06-13 长安大学 一种道路边界检测及跟踪方法
US20170202131A1 (en) * 2016-01-14 2017-07-20 Cnh Industrial America Llc System and method for generating and implementing an end-of-row turn path
CN107646114A (zh) * 2015-05-22 2018-01-30 大陆-特韦斯贸易合伙股份公司及两合公司 用于估计车道的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6751547B2 (en) * 2001-11-26 2004-06-15 Hrl Laboratories, Llc Method and apparatus for estimation of forward path geometry of a vehicle based on a two-clothoid road model
US7522091B2 (en) * 2002-07-15 2009-04-21 Automotive Systems Laboratory, Inc. Road curvature estimation system
US6718259B1 (en) * 2002-10-02 2004-04-06 Hrl Laboratories, Llc Adaptive Kalman filter method for accurate estimation of forward path geometry of an automobile
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
DE102013003944A1 (de) * 2013-03-08 2014-09-11 Volkswagen Ag Verfahren und Vorrichtung zum Bereitstellen von Fahrerassistenzfunktionalität
US9283967B2 (en) * 2014-07-16 2016-03-15 GM Global Technology Operations LLC Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
US10060749B2 (en) * 2015-02-19 2018-08-28 Here Global B.V. Method and apparatus for creating a clothoid road geometry
FR3033912B1 (fr) * 2015-03-18 2018-06-15 Valeo Schalter Und Sensoren Gmbh Procede d'estimation de parametres geometriques representatifs de la forme d'une route, systeme d'estimation de tels parametres et vehicule automobile equipe d'un tel systeme
JP6517561B2 (ja) * 2015-03-27 2019-05-22 クラリオン株式会社 車両制御装置
JP6501602B2 (ja) * 2015-04-23 2019-04-17 本田技研工業株式会社 レーン検出装置及びその方法、カーブ開始点検出装置及びその方法、並びに操舵アシスト装置及びその方法
DE102016214045A1 (de) 2016-07-29 2018-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln eines Fahrbahnmodells für ein Fahrzeugumfeld
DE102016220581A1 (de) * 2016-10-20 2018-04-26 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur bestimmung eines umfeldmodells
DE102017005921A1 (de) * 2017-06-23 2017-12-21 Daimler Ag Verfahren zur autonomen Erkennung eines Fahrspurverlaufs zumindest einer Fahrspur
DE102017212254A1 (de) * 2017-07-18 2019-01-24 Volkswagen Aktiengesellschaft Prädiktive Streckenführung eines Fahrzeugs

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090144031A1 (en) * 2007-12-04 2009-06-04 Tele Atlas North America, Inc. System for applying clothoid curve values to roadways in a geographic data information system
CN101793528A (zh) * 2009-01-26 2010-08-04 通用汽车环球科技运作公司 使用传感器融合来估计车道路径的***和方法
CN103884342A (zh) * 2012-12-19 2014-06-25 奥迪股份公司 用于提供前方道路走向的方法和控制装置
CN106164930A (zh) * 2014-04-04 2016-11-23 戴尔菲技术公司 用于车道检测的方法
CN107646114A (zh) * 2015-05-22 2018-01-30 大陆-特韦斯贸易合伙股份公司及两合公司 用于估计车道的方法
DE102015013085A1 (de) * 2015-10-08 2016-03-31 Daimler Ag Verfahren zum Bestimmen eines Soll-Fahrspurverlaufs eines Kraftfahrzeugs
US20170202131A1 (en) * 2016-01-14 2017-07-20 Cnh Industrial America Llc System and method for generating and implementing an end-of-row turn path
CN106842231A (zh) * 2016-11-08 2017-06-13 长安大学 一种道路边界检测及跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTINA GACKSTATTER; PATRICK HEINEMANN; SVEN THOMAS; BODO ROSENHAHN; GUDRUN KLINKER: "Fusion of clothoid segments for a more accurate and updated prediction of the road geometry", 《13TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》, pages 1 - 6 *
MANOLIS TSOGAS; ARIS POLYCHRONOPOULOS; ANGELOS AMDITIS: "Using digital maps to enhance lane keeping support systems", 《2007 IEEE INTELLIGENT VEHICLES SYMPOSIUM》, pages 148 - 153 *
王静楠: "融合语音识别的车载辅助驾驶***设计与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, pages 1 - 59 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114906155A (zh) * 2022-05-31 2022-08-16 重庆长安汽车股份有限公司 预期转弯速度确定方法、***、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2020229002A1 (de) 2020-11-19
DE102019112413A1 (de) 2020-11-19
US20220169280A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN113330454A (zh) 用于自动化和自主车辆的多传感器数据融合的方法和装置
US9283967B2 (en) Accurate curvature estimation algorithm for path planning of autonomous driving vehicle
RU2727164C1 (ru) Способ и устройство коррекции картографических данных
CN109477728B (zh) 用于确定车辆相对于路面行车道的横向位置的方法和装置
US20220270358A1 (en) Vehicular sensor system calibration
US11512975B2 (en) Method of navigating an unmanned vehicle and system thereof
Matthaei et al. Map-relative localization in lane-level maps for ADAS and autonomous driving
US20180154901A1 (en) Method and system for localizing a vehicle
US11143511B2 (en) On-vehicle processing device
CN113330279A (zh) 用于确定车辆的位置的方法和***
KR20180103462A (ko) 라이더 스캔 데이터의 누적에 의한 자율주행 자동차의 위치인식 시스템 및 그 방법
US20190266419A1 (en) Method, Device And Computer-Readable Storage Medium With Instructions For Determining The Lateral Position Of A Vehicle Relative To The Lanes Of A Road
JP7419359B2 (ja) 異常診断装置
CN114174137A (zh) Adas或ad特征的源横向偏移
US20220205804A1 (en) Vehicle localisation
CN110637209B (zh) 估计机动车的姿势的方法、设备和具有指令的计算机可读存储介质
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、***、设备和介质
CN113261007A (zh) 用于自动和自主车辆的多传感器数据融合的方法和装置
JP6115429B2 (ja) 自車位置認識装置
Meis et al. A new method for robust far-distance road course estimation in advanced driver assistance systems
RU2751734C2 (ru) Способы и процессоры для управления рулением беспилотным автомобилем
CN113306559A (zh) 在路形估计中对于垂直道路曲度的补偿
Park et al. Vehicle localization using an AVM camera for an automated urban driving
JP2010176592A (ja) 車両用運転支援装置
US11987251B2 (en) Adaptive rationalizer for vehicle perception systems toward robust automated driving control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination