CN115790616A - 车辆绝对初始位置的确定 - Google Patents

Abstract

本发明涉及一种用于确定车辆的绝对初始位置的方法。为此，使车辆从绝对初始位置开始沿轨迹(1)运动。通过里程计从定义的初始位置(2)开始采集(S2)所述轨迹(1)，所述定义的初始位置(2)与绝对初始位置相对应。从位于轨迹(1)上的车辆检测三个对象(O1、O2、O3)。在每个检测中采集检测线(3)。将具有检测线(3)的轨迹(1)与地图进行比较。最后，从比较确定绝对初始位置。

Description

车辆绝对初始位置的确定

技术领域

本发明涉及一种用于确定车辆的绝对初始位置的方法。此外，本发明涉及一种相应的设备，利用该设备能确定车辆的绝对初始位置。此外，本发明涉及一种相应的车辆。

背景技术

对于车辆的导航重要的是，车辆的自身位置是已知的。尤其地，知晓自身位置对于自主或半自主驾驶的车辆来说是至关重要的。绝对的自身位置至少可以通过全球定位***粗略地确定。然而，这种粗略的定位对于自主驾驶来说往往是不够的。此外，全球定位***在停车楼中通常是不可用的。因此在这些情况下必须使用基于摄像机的定位或其他的相对定位。

基于摄像机利用地标进行车辆定位的多种方法首先需要车辆的初始位置和方位/取向/姿态，以便在进一步的图像序列中利用对自身位置估计的改进来执行跟踪。辅助工具是如下的地标：其检测能够利用地图的对象被单义地识别出。为此的示例是所谓的AR标记(增强现实)，但也可以是其他的不可混淆的对象、例如停车位号码。总体的目标是，识别出一些这样的对象，并且通过与地图的比较来计算初始位姿或位置。

对于基于地标的全球定位，存在不同的在现有技术中使用的方法。这种已知的方法基于AR标记。根据检测图像中的AR标记的四个角并且将其与3D地图中的同一标记的四个角进行比较，可以通过经典的PnP(perspective-n-point)方法确定初始位姿。这例如在可公开访问的OpenCV Aruco库中完成。这些方法特别是在远处的标记中是相对不准确的，并且不仅需要了解3D地图中的标记的位置，而且还需要了解其准确的定向和尺寸。这些方法不适用于无法提取精确轮廓的对象。

所提到的PnP方法基于n点位姿问题，根据该问题，借助世界中的一定量的n个3D点及其在图像中的相应的2D投影来估计标定的摄像机的位姿。摄像机位置通常具有6个自由度，其由摄像机相对于世界的三个旋转和三个平移组成。对于经典的PnP方法，在单个摄像机图像中提取多个(至少3个)对象，并且将其与地图进行比较。由此可以确定位姿。缺点在此是，三个对象为此必须是同时可见的，这对地标的几何形状造成了严重的限制。此外，该方法不能推广到多摄像机***(例如环视***)，因为检测的观察线必须在一个点相遇。

这种P3P方法例如在Nistér,David&Stewénius,Henrik，(2007)，“A MinimalSolution to the generalized 3-Point Pose Problem”，Journal of MathematicalImaging and Vision；27；第67至79页中描述。

一种所谓的广义的PnP方法在Camposeco等人的“Minimal Solvers forGeneralized Pose and Scale Estimation from Two Rays and One Point”，ECCV 2016中描述。在这种广义的PnP方法中，观察线不相交。

相应地，在Nishimura等人的“A linear Generalized Camera Calibration fromThree Intersecting Reference Planes”，ICCV 2015中提出了一种所谓的“广义的摄像机”，其中，也产生不相交的观察线。该概念为此在Grossberg,Nayar的“The Raxel ImagingModel and Ray Based Calibration”，International Journal of Computer Vision 61(2)2005中被引用。

基于地标的定位的另外的方法是，利用车辆经过一定的距离，并且在此执行提取的对象在车辆坐标系中的3D重建。因此形成的3D地图可以通过3D-3D映射方法与外部地图进行比较，以便因此确定车辆的位置。在此的缺点是，为此必须以足够的精度执行3D重建，这又需要的是，必须在更长的时间内跟踪对象。尤其地，不能使用对象的单个检测。

从文献US 10 21 55 71 B2已知一种用于定位和映射的方法，该方法包括利用安置在车辆上的摄像机来拍摄图像。全局***地点被分配给车辆。利用车辆的地标识别模块识别在图像中示出的地标。识别的地标具有地理地点和已知的参数。利用特征提取模块，从图像提取一组地标参数。基于提取的一组地标参数与已知的参数之间的比较来确定车辆与地标的地理位置之间的相对位置。全局***地点基于相对位置进行更新。

此外，文献US 9 488 483 B2公开了一种用于建立道路标记的分类模型并且用于借助这种道路标记来定位车辆的***。具有用于分类道路标记的模板的数据库包含来自于不同的导航环境的训练图像的模板。具有道路标记的训练图像被校正和改进。根据校正或改进的图像，可以计算出道路标记的角/拐角。对于角，可以确定位置并且将其存储为模型的一部分。此外，可以计算用于运行时间图像的角，并且将其与来自模型数据库的模型的角进行比较。根据比较，可以确定车辆的地点或位置。以该方式，能够实现车辆定位，在车辆定位中，减轻漂移或其他的GPS问题(例如遮蔽)。

发明内容

本发明的任务是，能够可靠地确定车辆的初始位置。

根据本发明，该任务通过根据独立权利要求的方法和设备来实现。本发明的有利的扩展方案由从属权利要求得到。

根据本发明，因此提供一种用于确定车辆的绝对初始位置的方法。初始位置例如是车辆的轨迹或任意的运动的开始时的位置，并且用作在其他的时间点计算车辆的自身位置的基础。

首先，使车辆从绝对初始位置开始沿一轨迹运动。这意味着，车辆例如驶过特定的路线，并且该行驶路线对应于轨迹。行驶路线或轨迹的起点是绝对初始位置。然而，车辆或用户还不知道该绝对初始位置、尤其是其坐标。为了确定该绝对初始位置，通过相对导航从相对初始位置开始采集轨迹。例如，相对初始位置通过将其坐标设置为0或其他的预设的值来确定。由车辆的运动产生的轨迹通过所谓的相对导航，借助适当的传感器、优选车辆的适当的传感器来采集。在此，相对初始位置设置为轨迹的起点。

在根据本发明的方法的另一步骤中，通过里程计，从与绝对初始位置相对应的定义的初始位置开始采集轨迹。因为绝对初始位置还不是已知的，所以轨迹的起点被定义为初始位置，其方法是例如将坐标0/0分派给该初始位置。定义的初始位置原则上可以包含任意的坐标。因此定义的坐标形成定义的初始位置，在初始位置处可以启动里程计。通过里程计记录车辆的运动。由于里程计，移动***的位置以及必要时还有方位可以由该移动***本身来估计。最后，可以从该估计中获得在定义的初始位置处开始的轨迹。

然后，从位于轨迹上的车辆检测到(至少)三个对象，其中，在每个检测中采集检测线。非接触地检测对象。在此，例如获得来自车辆环境的图像，并且在图像中识别出预定的对象。从被检测的对象采集检测方向、例如关于车辆或轨迹的检测方向。因此，针对每个被检测的对象产生检测线，该检测线从车辆的当前的位置(检测位置)或轨迹上的检测装置出发，并且指向被检测的对象的方向。也可以检测多于三个的对象，并且将其用于利用其相应的检测线进行进一步的评估。从轨迹的至少两个不同的位置采集至少三个对象。这导致的是，至少三个对象的检测线至少不会全部相交。此外这意味着，轨迹和尤其是检测线并非全部同时被采集。相反，由轨迹和来自在时间上错开的拍摄或采集的检测线产生一虚拟的图像。

此外，将包括被采集的检测线的被采集的轨迹(虚拟图像)与数字地图进行比较，用以确定定义的初始位置相对于对象的位移，在该数字地图中三个对象的相应绝对位置被表示出。因为至少三个对象的绝对位置由数字地图已知，并且在对象与定义的初始位置之间的相对关系也是已知的，所以可以根据该数据给定义的初始位置关联绝对初始位置。因此，可以估计在轨迹上运动的车辆的绝对初始位置。

在根据本发明的方法的一种有利的设计方案中，除车辆的绝对初始位置外，还从比较中获得相关联的方位。为此，在采集轨迹时显然也一起采集位姿。与绝对初始位置同时，因此还可以确定在初始位置中的车辆的方位、即初始位姿。因此，可以获得车辆在轨迹开始时的绝对位姿。

在相应的实施例中，里程计是光学里程计、雷达里程计或车轮里程计。在光学里程计中确定图像中的对象流。从对象流可以获得对自身运动的推断。在流中对象的相应数量足够的情况下，可以估计车辆的位置和方位。类似地，里程计也可以基于雷达，而不是光学方式。在此，也可以监控雷达图像中的对象流，并且从中推断出车辆的位置和方位。然而，最普遍地使用的是所谓的车轮里程计，其中，可以借助车辆的推进***的数据估计车辆的位置和方位。在此，例如考虑到车轮转数和转向角以用于估计。

在用于确定车辆的绝对初始位置的方法的实施方式中，对所述对象中的至少一个进行多次检测。如果至少三个对象中的一个被多次检测，那么针对相关的对象产生相应多个检测线。检测线的更高的数量提高了在确定绝对初始位置时的精度。必要时，在与数字地图进行比较时，也可以使用检测到共同对象的那些检测线的交叉点。尤其地，除了检测错误之外，相应的对象应该位于交叉点上。在比较时，可以使用相应的优化算法。

如上所述，可以通过光学检测、雷达检测和/或超声波检测来检测三个对象。光学检测可以优选通过一个或多个摄像机进行。该检测可以基于相应的图像评估。这同样适用于雷达检测和超声波检测。在此，也可以获得车辆环境的相应雷达图像或超声图像，以便在其中通过适当的图像评估确定预定的对象或对象类型。

在根据本发明的方法的一种优选的设计方案中，所述比较包括广义的PnP方法(n点透视定位算法)，并且尤其是包括广义的P3P方法(三点透视定位算法)。PnP(Perspective-n-Point)方法涉及的是，对于世界中的一定量的n个3D点及其在图像中的相应的2D投影来估计标定的摄像机的位姿的问题。摄像机位姿具有六个不同的旋转和平移的自由度。特别是在三个对象中，即当n＝3时，可以使用通常已知的P3P方法，该方法作为开源软件是可用的。在“广义的PnP方法”中，检测线或观察线不相交，至少不全部相交。因此，检测线例如由多摄像机***(“广义的摄像机”)的多个摄像机拍摄。在当前的情况下，检测线通常从轨迹上的不同的地点在时间上依次被拍摄，因此可以提到“虚拟的广义的摄像机”。

在方法的一种特殊的设计方案中规定，在三维空间中采集检测线和轨迹。因此，可以获得关于绝对初始位置或初始位姿的相应的3D信息。因此，可以确定关于初始位置或初始位姿的相应的空间信息。

特别地，在本发明的范围内，可以提供一种用于确定车辆的自身位置的方法，该方法以上述方式确定车辆的绝对初始位置，并从初始位置开始通过里程计和/或基于摄像机的定位来获得自身位置。因此，在此在车辆本身中使用所确定的绝对初始位置，以便能够尤其绝对地确定自身位置或自身位姿。自身位置或自身位姿的这种确定在车辆的自动或半自动运行中是非常重要的。特别是在停车楼中，以这种方式确定自身位置或自身位姿可以是特别有利的，因为在那里通常不能够使用其他的***。

根据本发明，上述的任务还通过用于确定车辆的绝对初始位置的设备来实现，该设备具有：

-用于通过里程计从定义的初始位置开始采集轨迹的采集装置，其中，采集装置可以从绝对初始位置开始沿轨迹运动，

-用于由位于轨迹上的检测装置检测三个对象的检测装置，其中，在每个检测中采集检测线，

-比较装置，其用于将包括被采集的检测线的被采集的轨迹与数字地图比较，用于确定定义的初始位置相对于对象的位移，在该数字地图中三个对象的相应绝对位置被表示出，和

-确定装置，其用于基于定义的初始位置相对于对象的位移确定绝对初始位置。

此外，根据本发明还提供具有这种用于确定绝对初始位置或自身位置的设备的车辆。

本发明还包括根据本发明的设备或根据本发明的车辆的扩展方案，其具有与已经结合根据本发明的方法的扩展方案描述的特征相同的特征。由于该原因，在此不再描述根据本发明的设备或根据本发明的车辆的相应的扩展方案。

本发明还包括所描述的实施方式的特征的组合。

附图说明

下面描述本发明的实施例。为此：

图1示出了根据本发明的方法的实施例的示意性的框图；

图2示出了轨迹连同检测线；

图3示出了数字地图中的对象；

图4示出了图2的轨迹与图3的数字地图的比较；

图5示出了具有示例性的用于确定初始位置的设备的车辆的示意图。

具体实施方式

下面阐述的实施例是本发明的优选的实施例。在实施例中，所描述的各部件分别表示本发明的各个相互独立地考虑的特征，其也分别相互独立地扩展本发明，并且因此也单独地或以与所示组合不同的组合被视为本发明的组成部分。此外，所描述的实施例还可以通过本发明的已经描述的特征的另外的特征来补充。

在附图中，功能相同的元件分别设有相同的附图标记。

车辆的位置及可能的方位应该通过例如从摄像机图像中进行提取以及将其与环境地图进行比较来估计。优选地，利用所估计的位置(和可选的方位)来初始化下游的基于地标的定位。

在下面描述的实施例中组合有三个技术，以便能够借助外部的3D地图对装备有摄像机的车辆进行初始定位。第一技术是从摄像机图像中提取对象，这些对象能够利用来自地图的对象被单义地识别出(例如AR标记；增强现实)。为了提取对象，必须预设这些对象的类型。作为应该与第一技术相结合的第二技术，使用的是一种用于车辆在一路段上的“相对导航”(即里程计)的方法用作该第二技术，该路段长到足以在摄像机数据(通常是图像数据)中提取出至少三个不同的对象。在此，可以通过车辆里程计(即车轮里程计)、通过基于摄像机的方法或光学里程计(例如SLAM；即时定位与地图构建/同时定位与地图构建)、通过雷达里程计或通过其组合来进行相对导航。作为第三技术，用于解决三点位姿问题的广义的方法(也已知为术语“Perspective-3-Point”(三点透视)或一般的“Perspective-n-Point”(n点透视))与上述的两种技术相结合，该方法能够利用对已知的对象或地标的至少三次观察来定位通用的或广义的摄像机。这样的PnP方法例如在Nistér等人的上述的公开文献中有所描述。

在这种技术组合中，可以将整个拍摄的轨迹及其在时间上不同的观察视为单个“虚拟的广义的摄像机”的产物，并且使用“广义的PnP方法”来进行定位。

在图1中，各个方法步骤示意性地示出为框图，以便确定车辆的绝对初始位置或其自身位置。在第一步骤S1中，车辆从绝对初始位置(其坐标在开始时是未知的)开始沿轨迹1(见图2)运动。在通常与第一方法步骤S1同时进行的第二方法步骤S2中，通过里程计从定义的初始位置2或初始位姿开始采集轨迹1。该定义的初始位姿或初始位置2对应于起始位姿或起始位置，例如在车辆***中作为沿轨迹运动的起点。因此，车辆运动，并且例如利用摄像机拍摄其环境的图像(积累阶段)。

随后，在步骤S3中，从位于轨迹上或在轨迹上运动的车辆中检测出至少三个对象。在此，在每次检测(通常来自轨迹的不同的位置或点的)对象时，分别采集检测线，该检测线具有起点(车辆的当前的位置)和方向，并且可能具有终点。因此，从图像中提取先前已知的类型的对象。积累阶段一直持续到，存在对足够多的不同对象的足够多的“观察”。

在图2的示例中，在轨迹1的点P1、P2和P3处观察第一对象。从每个点P1到P3确定相应的观察线或检测线3。这种检测线3由其起点P1、P2、P3以及可能地相对于初始位置2或初始位姿的相应的定向来定义。此外，相应的检测线3至少由其方向定义，并且必要时还由终点定义。

在轨迹的进程中，车辆到达点P4，在该点处，它利用检测线3检测第二对象。在进一步的行驶中，车辆到达轨迹2上的点P5和P6。从那里，车辆利用相应的检测线3检测第三对象。在轨迹的所有点处(在这些点处进行对象的观察或检测)，优选不是仅仅记录车辆的位置，而是记录车辆的位姿。

图3以符号方式示出了数字地图4。在其中标记三个对象O1、O2和O3。这些对象O1至O3对应于可以由车辆检测的预设的对象类型。在本示例中，对象O1在点P1至P3处被车辆检测或观察。第二对象O2仅在轨迹2的点P4处被检测一次。对象O3在轨迹2上的点P5和P6处被检测两次。

在另外的步骤S4中，将采集的轨迹2和检测线3与数字地图4进行比较。数字地图4包含对象O1至O3的相应的绝对位置。当然，数字地图也可以包含另外的对象及其绝对位置。根据图4的示意图进行比较。这意味着，轨迹2及其检测线3根据图2被定位和取向，从而使得相应的检测线3与相关的对象O1至O3(例如地标)相关联。在本示例中，检测线3延伸穿过对象O1至O3。为了比较，可以使用例如基于最小二乘法的优化方法。也可以为此使用其他的所谓的地图映射方法。

通过相对导航或上述的里程计方法，可以定位车辆相对于轨迹的起点、即定义的初始位置2的位姿。每个观察对应于优选在三维空间中的观察线或检测线，其中，检测线3在进行观察的时间点穿过例如摄像机的光学中心。

如果一个对象被多次观察，那么可以由多个观察线或检测线3确定一平均线。在图4的示例中，关于对象O1，例如可以由三条检测线3平均得到一条线。可以由两条检测线3平均得到一条关于对象O3的线，这是因为对象3被检测两次。由于相对导航或里程计，每条检测线3因此可以必要时在3D***中与轨迹相关。从外部的或数字的地图4形成(3D)检测线3(没有共同的起点)和相关的3D点的***。利用广义的PnP方法，可以记录相对于外部地图的相对车辆轨迹，并且因此确定车辆的期望的绝对初始位姿或初始位置(步骤S5)。

最后，在另外的步骤S6中，可以基于车辆的如上面确定的绝对初始位姿来确定车辆的自身位置。在此，可以从初始位置开始，通过里程计和/或通过基于摄像机的定位来获得自身位置。

图5示意性示出了一种车辆7，其能够根据上述的方法确定绝对初始位置或初始位姿，并且必要时还确定当前的自身位置。为此，车辆具有含下面阐述的装置8至13的设备。设备或车辆7的采集装置8用于通过里程计，从定义的初始位置2开始采集轨迹1。采集装置或者设备或车辆7从绝对初始位置开始沿轨迹1运动。

此外，设备或车辆7具有用于检测的检测装置9。在此，检测装置9、即设备或车辆7位于轨迹上。在每次检测中采集检测线3。在图5中，检测装置9象征性地表示为外后视镜14上的摄像机。

此外，设备或车辆7具有比较装置10，用于将包含所采集的检测线3在内的轨迹2与数字地图4进行比较，在数字地图中，三个对象O1、O2、O3的相应的绝对位置被表示出，以用于确定定义的初始位置2相对于对象O1、O2、O3的位移。

此外，设备或车辆7具有确定设备12，用于基于定义的初始位置相对于对象的位移来确定绝对初始位置。最后，设备或车辆7还具有处理装置13，用于基于所确定的绝对初始位置或初始位姿以及可能的另外的里程计数据或其他的检测器数据来确定车辆的(当前的)自身位置或自身位姿。

如上述实施例所示，在本发明的范围内，实现了将相对导航(里程计)、对象检测(地标提取)和三角测量或三边测量(例如广义的PnP方法)的组合用于估计车辆位姿。为此尤其地，在行驶期间在不同的时间被检测的对象被解释为在初始位姿中或初始位置处的单个虚拟的广义的摄像机的对象。

特别地，因此可以提供具有环视摄像机和车辆里程计的***的相应车辆。此外，通过SLAM方法的相对导航和通过车辆里程计的尺度估计/比例估计因此也是可能的。在此，特殊的AR标记可以用作单义的地标。

作为所述对象或地标，可以使用能单义对应的地标(例如停车位的号码)，但也可以使用单义性略差的地标(例如交通标志)。后者此外需要下游的用于消除错误对应的方法。以特别有利的方式，可以使用对象或地标的单次观察，也可以使用在不同时间对地标的多次观察。相反，易出错的3D重建不是必需的。

附图标记列表：

1 轨迹

2 初始位置

3 检测线

4 数字地图

6 广义的摄像机

7 车辆

8 采集装置

9 检测装置

10 比较装置

12 确定装置

13 处理装置

14 外后视镜

O1 对象

O2 对象

O3 对象

P1 点

P2 点

P3 点

P4 点

P5 点

P6 点

S1 步骤

S2 步骤

S3 步骤

S4 步骤

S5 步骤

S6 步骤

Claims (10)

1.一种用于确定车辆(7)的绝对初始位置的方法，其特征在于，

-使车辆(7)从绝对初始位置开始沿一轨迹运动(S1)，

-通过里程计从定义的初始位置(2)开始采集(S2)所述轨迹(1)，所述定义的初始位置(2)与绝对初始位置(2)相对应，

-从位于轨迹(1)上的车辆(7)对三个对象(O1、O2、O3)进行检测(S3)，其中，在每个检测中采集检测线(3)，

-将包括被采集的检测线(3)的被采集的轨迹(1)与数字地图(4)进行比较(S4)，用以确定定义的初始位置(2)相对于对象(O1、O2、O3)的位移，在该数字地图中三个对象(O1、O2、O3)的相应绝对位置被表示出，

-基于定义的初始位置(2)相对于对象的位移确定(S5)绝对初始位置。

2.根据权利要求1所述的方法，其特征在于，除车辆(7)的绝对初始位置外，还从所述比较中获得相关联的方位。

3.根据权利要求1或2所述的方法，其特征在于，里程计是光学里程计、雷达里程计或车轮里程计。

4.根据前述权利要求中任一项所述的方法，其特征在于，对所述对象中的至少一个进行多次检测。

5.根据前述权利要求中任一项所述的方法，其特征在于，通过光学检测、雷达检测和/或超声波检测来检测三个对象(O1、O2、O3)。

6.根据前述权利要求中任一项所述的方法，其特征在于，所述比较包含广义的PnP方法，尤其包含广义的P3P方法。

7.根据前述权利要求中任一项所述的方法，其特征在于，检测线(3)在变换中被变换为3D线。

8.一种用于确定(S6)车辆(7)的自身位置的方法，该方法通过根据前述权利要求中任一项所述的方法来确定车辆(7)的绝对初始位置(2)，并从初始位置(2)开始通过里程计和/或基于摄像机的定位来获得自身位置。

9.一种用于确定车辆(7)的绝对初始位置的设备，其特征在于，

-采集装置(8)，该采集装置用于通过里程计从定义的初始位置(2)开始采集轨迹(1)，其中，采集装置(8)能够从绝对初始位置开始沿轨迹(1)运动，

-检测装置(9)，该检测装置用于从位于轨迹(1)上的检测装置检测三个对象(O1、O2、O3)，其中，在每个检测中采集检测线，

-比较装置(10)，该比较装置用于将包括被采集的检测线(3)的被采集的轨迹(1)与数字地图(4)进行比较，用以确定定义的初始位置(2)相对于对象(O1、O2、O3)的位移，在该数字地图中三个对象(O1、O2、O3)的相应绝对位置被表示出，

-变换装置(11)，该变换装置用于将被采集的检测线(3)变换为与定义的初始位置(2)相关的、相应变换的线(5)，

-确定装置(12)，该确定装置用于通过三角测量或三边测量、基于定义的初始位置(2)相对于对象(O1、O2、O3)的位移从所述变换的线确定绝对初始位置。

10.一种车辆(7)，其具有根据权利要求9所述的设备。

Images