CN109844457B - 用于产生数字道路模型的***和方法 - Google Patents

Abstract

本发明涉及一种用于针对至少一个道路段生成数字道路模型的方法，其包括接收车辆外部数据库中的用于至少一个道路段的、车辆的至少一个轨迹，和接收至少一个图像，该图像至少显示至少一个道路段的一部分，其中，该图像具有与从提高的位置大致垂直向下拍摄的图像相符的视角。将至少一个轨迹与至少一个图像叠放成，使得至少一个轨迹与在至少一个图像中的道路的走向一致。在沿着轨迹延伸且包围该轨迹的廊道中分析至少一个图像，以便识别出道路段的在廊道中的与行驶或定位相关的特征。由已在借助至少一个轨迹对齐的至少一个图像中在包围轨迹的廊道中识别出的、与行驶或定位相关的特征产生数字道路模型。

Description

用于产生数字道路模型的***和方法

技术领域

本发明涉及借助于空中图像或卫星图像和由车辆在道路行驶的情形中所检测/采集到的数据(例如摄像头图像或探测传感器、即雷达、激光雷达、超声波和类似物的数据)的组合产生数字道路模型，空中图像或卫星图像代表鸟瞰地看向风景的一部分的大致竖直的俯视图。

背景技术

数字道路模型对于在移动领域中的许多应用目的而言是必要的，例如对于导航***、驾驶员辅助***、自动驾驶车辆而言。尤其对于驾驶员辅助***和自动驾驶车辆而言，在数字道路模型中需要通常较高的精度和尽可能大数量的在道路上或沿着道路的显著特征，以便相比于已知的定位方法例如卫星导航或耦合方法，能实现更精确的位置确定。

数字道路模型的提供者为了检测和更新作为道路模型的基础的数据，让特殊的装备有一系列不同传感器的车辆行驶经过道路。因为被用于该目的的车辆的数量较小，所以道路数据的更新可能需要较长的时间。此外，车辆的位置数据由于定位传感器的不精确性而经常是不精确的，从而总的来说得出不精确的数字道路模型。

数字道路模型的由空中摄影图片或卫星摄影图片的产生要求拼接各个图像。虽然在足够的图像分辨率和交叠的情形中拼接显得是可能的，但这在在检测中有缺口的情形中仅是有条件地可能的；无论如何在连结中可能形成不连续性，其降低了整个模型的精度。由于所使用的光学***的尤其在图像边缘处的失真和在来自不同源头的图像中的不同分辨率，也使得空中图像或卫星图像的高精度拼接变得困难。最后，在合成的图像中还须实现道路和路径的复杂寻找，而不会错误地将河流或渠道识别为道路，且不忽略被树木遮住的道路。

发明内容

本发明的目的在于，给出一种使得高精度数字道路模型的产生和及时更新成为可能的***和方法。

该目的通过在独立权利要求中所说明的***或者方法来实现。***或者方法的有利的设计方案在相应的从属权利要求中进行说明。

在本说明书的上下文中，轨迹与一系列路径点相符，在所述路径点处车辆在某一时刻实际处在车道或道路上。每个路径点可例如通过相对坐标被明确确定，例如通过对相应的路径点关于道路边缘、或者关于车道或道路上或车道或道路旁的标记、或者相对于另一可明确地定位的参考点的距离和方向进行描述的矢量来代表。对于该形式的位置确定而言可例如使用车辆的成像传感器，例如摄像头或探测的激光雷达***。道路标记的识别可例如通过识别出在车道表面与标记之间的色差来实现，或通过识别出不同的表面结构来实现。对识别出的标记的描述可通过相应的特征或参数实现，所述特征或参数适合于相对定位。第一轨迹的路径点的确定然而也可通过获得如例如由卫星导航***所提供的那样的绝对坐标来实现。用于确定位置的其它***和方法同样可被应用，例如通过检测加速度和减速度关于时间的变化、通过检测转向角、速度或通过用于提高精度的不同方法的组合而实现的位置获得。在路径点的不连续检测的情形中，一轨迹可通过连接各个路径点来逼近，例如通过多项式函数产生的曲线或样条曲线形式的线。第一轨迹可具有始端和终端；然而不强制预先给定确定的长度。

在本说明书的上下文中，与行驶相关或与定位相关的道路特征此外包括车道标记、车行道或车道的醒目的几何形状、路缘石的位置、井盖、道路轨道和铁路轨道等等。如果上下文中不另外指出，则与行驶相关的术语在此和与定位相关的术语可互换，这是因为与行驶相关的道路特征通常也可被用于确定车辆的位置，且反之亦然。

根据本发明的用于产生和及时更新高精度的数字道路模型的***除了用于可调用地存储轨迹和图像的数据库之外还包括用于针对至少一个道路段接收车辆的至少一个轨迹和用于将至少一个轨迹存储在数据库中的第一模块。该***的第二模块被设置用于接收至少一个图像，该图像至少显示至少一个道路段的一部分，其中，该图像具有与从提高的位置大致垂直向下所拍摄的图像相符的视角，且第二模块被设置用于将至少一个图像存储在数据库中。该用于接收轨迹或图像的模块可包括一个或多个带有发射器和/或接收器的数字式数据接口，其被构造成相对于一种或多种通信标准兼容且与***的其它部件通信连接。

该***的第三模块被设置用于将至少一个轨迹与至少一个图像叠放/重叠/叠加成，使得至少一个轨迹与在至少一个图像中的道路的走向一致。此外，该***包括用于在沿着轨迹延伸且包围该轨迹的廊道中分析至少一个图像且用于识别出在廊道中的道路段的与行驶或定位相关的特征的第四模块，和用于由与行驶或定位相关的特征产生数字道路模型的第五模块，所述与行驶或定位相关的特征已在借助至少一个轨迹对齐/定向的至少一个图像中且在包围轨迹的廊道中被识别出。

该***的第五模块被设置用于由与行驶或定位相关的特征产生数字道路模型，所述与行驶或定位相关的特征已在借助至少一个轨迹对齐的至少一个图像中且在包围轨迹的廊道中被识别出。

该***的至少两个模块经由相应的物理或逻辑接口和/或总线***彼此通信连接以进行数据交换。***模块中的一个或多个可包括一个或多个计算机，其实施相应的计算机程序，该计算机程序执行根据本发明的方法的由相应模块所实施的部分以生成用于至少一个道路段的数字道路模型。然而***模块中的一个或多个也可作为相应的计算机程序来实现，其中多个计算机程序在一个计算机中被实施且协同工作，以便实施根据本发明的方法的至少部分。

该***还可被理解为由在功能模块架构的意义上的一个或多个功能块构成。在此，相应的功能块代表用于实施相应功能的器件。这些器件如在模块的情形中所说明的那样可通过一个或多个、通过计算机程序被设置用于执行相应功能的计算机或数据处理单元来实现。

该***的一个或多个计算机可包括一个或多个微处理器，微处理器与主内存和/或非易失性的存储器件以及其它***部件经由一个或多个数据总线通信连接，其在实施计算机程序指令之前且/或期间接收和/或发送数据，由此计算机或处理单元实施该方法的至少部分。非易失性的存储器件包括不同的存储介质、例如光存储器或磁存储器、相变存储器或闪存。多个模块或功能块可在一个计算机或一个数据处理单元中被实现。

实现根据本发明的方法的相应部分的计算机程序指令可被存储在一个或多个数据载体上或存储器件中。计算机程序指令可在使用无线接口或借助于电缆或导线相连接的接口的条件下被传递到存储器件中。计算机程序指令在***外部作为计算机程序产品存在，该计算机程序产品被持久地存储在可计算机读取的介质或可机器读取的介质上，且计算机程序产品可被理解为被存储在载体介质上的计算机程序。

计算机程序产品也可以以非持久性的、暂时的形式存在，例如作为电磁信号或光信号存在，电磁信号或光信号通过其调制暂时表示计算机程序指令。通过调制，计算机程序指令因此暂时可读取地被施加到信号上，例如在计算机程序指令由数据载体到***中的传递期间。在该情况中，例如通过经调制的载体所表示的信号是计算机程序产品的具体实体，由该实体可取出或截取信号。

在车辆外部数据库中所实施的根据本发明的用于生成用于至少一个道路段的数字道路模型的方法包括对用于至少一个道路段的、车辆的至少一个轨迹的接收。当多个车辆的用于相同车道和相同行驶方向的相同路段的多个轨迹被接收时，这些轨迹可以用统计学方法被概括为唯一的轨迹，此后该合成的轨迹被用于该方法的目的。此外，合适的统计学方法包括中间轨迹或中位数轨迹的形成，中间轨迹或中位数轨迹由用于相应的在沿着路段的纵向上的位置的大量轨迹的横向于行驶方向的位置值形成。

此外至少一个图像被接收，该图像至少显示轨迹所处的道路段的一部分，其中，该图像具有与由提高的位置大致垂直向下所拍摄的图像相符的视角。这样的图像可例如是空中摄影图片或卫星摄影图片，或通常是与由上方看的俯视图相符的图像。当图像不具有与向下的大致竖直的视线相符的视角时，倾斜向下拍摄的图像也可通过使用相应的变换而被换算成具有期望的视角的图像。

将至少一个轨迹与至少一个图像如此地叠放，即，使得至少一个轨迹与在至少一个图像中的道路的走向一致。为了可使轨迹和道路的走向达到一致，除了图像或轨迹的移动或转动之外还可在一个或两个维度上执行拉伸或压缩。当一个轨迹延伸经过多个彼此毗邻或部分重叠的图像时，该轨迹可与这些图像中的每个图像分别单独地叠放且这些图像然后借助该轨迹彼此对齐，从而使得在完成叠放之后得到由各单个图像组合成的总图像。当一个轨迹延伸经过多个不具有共同棱边或不具有重叠部的图像时，相应的区域可在总图像中保持空着。

使所述至少一个图像或总图像经受图像分析，该图像分析识别至少一个道路段的与行驶相关的特征。在此，该分析仅在图像的一区域中被执行，该区域沿着轨迹横向于轨迹在单侧或两侧延伸经过了第一距离，即近似于在轨迹周围设置一个廊道或包络线。在彼此毗邻的或重叠的图像区域中的被识别出的与行驶或定位相关的特征可被用于图像彼此间的还更精确的对齐，例如连续的道路标记、边线、路缘石棱边或护栏。

最后，由已在借助至少一个轨迹对齐的至少一个图像中且在包围轨迹的廊道中被识别出的、道路段的与行驶或定位相关的特征产生数字道路模型。该数字道路模型可以以不同的形式存在，例如作为矢量模型存在，在该矢量模型中道路边缘和其它可在车辆位置确定中被使用的特征作为对象连同其彼此间的相对位置被存储在矢量图中。为此，各个对象可具有一个或多个参考点，其相对于其它对象的距离和角度被确定，和/或其在地面上的绝对位置是已知的。

数字道路模型的高度分量、也被称作Z分量或地形分量/地貌起伏分量在本方法的一个方面中可由至少一个轨迹、地形数据库或数字高度模型来补充。

根据本方法的一个方面，除了至少一个轨迹之外，还接收与道路段的通过车辆所检测的与行驶或定位相关的特征有关的信息。这些信息可例如作为摄像头的图像或探测传感器(例如雷达传感器、激光雷达传感器或超声波传感器)的图像被传递。这些特征例如包括道路上的标记、界桩、交通标志或其它类似的仅缓慢变化或不变的特征。这些信息或特征具有关于相应的检测地点或检测位置的信息，从而使得所接收的信息或特征可被用于对齐所接收的图像或可被采用到数字道路模型中。所接收的与道路段的与行驶或定位相关的特征有关的信息可例如在彼此毗邻的图像中被使用，以使这些图像被更精确地彼此对齐，例如当一个特征可完全或部分地在两个图像中被识别出时。

在上面所说明的方面的一个实施例中，额外接收的信息以描述对象的矢量格式被接收。在该实施例中，车辆分析传感器数据且由与行驶相关的特征产生这些特征的矢量模型，且可选地对于每个矢量模型确定至少一个参考点。以描述对象的矢量格式所接收的信息同样可被用于与所接收的图像对齐或被采用到数字道路模型中。当例如已存在道路段的一数字道路模型且关于特征的新的信息以描述对象的矢量格式被接收时，相比在另一图示的情形中可实现的方案来说，可以以更小的计算成本实现对以描述对象的矢量格式表示的特征的对齐。当已接收了与多个以这样的格式存在的特征有关的信息(包括其彼此间的相对定位在内)时，可通过在数字道路模型上矢量模型的对齐来补偿在检测时所使用的定位的不准确性。

在该方法的一个方面的情形中，根据本发明所产生的数字道路模型例如作为矢量模型被传递到车辆(其轨迹已被接收)处。在相应车辆合适地装备有传感器和适用于分析图像的计算机的情形中，以描述对象的矢量格式存在的与道路段的特征有关的信息可被用于在确定车辆位置时改善精度。这相应地引起轨迹精度的改善。由此可以，进一步将根据本发明待分析的区域例如限制到多车道道路的一个车道上，且在该受限的区域中进行更精确的分析。

该方法和相应的***简化了在卫星摄影图片和空中摄影图片中识别和提取道路和道路特征且在此降低了错误率。同样地，空中摄影图片或卫星摄影图片彼此间的对齐和合成也被简化，例如当一个轨迹延伸经过多个彼此毗邻的或重叠的图像时。在此可取消使用显著的处在路径上的点，如例如在借助于三角测量法确定车辆位置时由车辆所使用的那样的点。由车辆所使用的显著的点(也被称作地标)通常由车辆可占据的某一视角来说明，而空中摄影图片或卫星摄影图片一般而言提供完全不同的看向地标的视图。即使地标的图示原则上可被换算成另一视角，在此也可能产生不准确性。而车辆轨迹与之相反至少在一些段上足够精确，一般而言不具有不连续性且此外已在一个平面中存在，从而使得空中摄影图片或卫星摄影图片的对齐需要较少的变换。因为车辆轨迹首先仅被用于确定廊道，在该廊道内然后进行对空中摄影图片的分析，所以最初所要求的精度同样不特别大。此外，在需要时由用于相同路段的大量车辆轨迹可确定共同的轨迹，其然后被用于确定该分析廊道。甚至当仅轨迹的一部分可与在空中摄影图片或卫星摄影图片中可识别出的道路达成一致时、例如当一道路在空中摄影图片或卫星摄影图片中在一些段上或局部地被树木遮住且因此不可立即被识别为道路时，轨迹的重叠同样可导致成果。在围绕轨迹的廊道内仍可进行详细分析，以便识别出部分可见的特征。

附图说明

下面参照附图对本发明的这些方面进行描述。其中：

图1显示了空中摄影图片和轨迹的第一示例性图示，

图2显示了根据图1的空中摄影图片的图示，在其中轨迹已与在空中摄影图片中可识别出的道路达到一致，

图3显示了轨迹周围的廊道的示例性图示，在该廊道内寻找道路特征，

图4以放大的图像片段显示了根据图3的廊道的一部分，

图5显示了根据本发明的***的示例性框图，

图6显示了根据本发明的***的一模块的示例性框图，且

图7显示了根据本发明的方法的简化的示例性流程图。

在附图的这些图中，相同的或类似的元件设有相同的附图标记。

具体实施方式

图1显示了空中摄影图片100和由车辆所记录的轨迹102的第一示例性图示，该轨迹已被根据本发明的***接收。轨迹102不按比例地示出且为了清晰起见在白色背景上示出。该***实施多个方法步骤，以便使该轨迹与在空中摄影图片中所成像出的道路达到一致。为此可借助于例如来自卫星导航***的绝对坐标实现起始定位，由此简化和加速对具有匹配于轨迹的走向的道路的寻找。此外，这些方法步骤包括至少分段直线的拉伸和压缩操作以及旋转操作。在上半图像中的虚线椭圆指示了在图4中放大示出的图像片段。

图2显示了根据图1的空中摄影图片的图示，在其中已使轨迹102与一在空中摄影图片100中可识别出的道路达到一致。相比图1可清楚地看到，轨迹102通过在两个维度上的拉伸操作被放大了，以便匹配于道路走向。

图3显示了围绕轨迹102的、在其内寻找道路特征的廊道104的示例图示。廊道104通过平行延伸的线示出，这些线包围轨迹102(未显示)和道路。

图4以放大的图像片段显示了根据图3的廊道的一部分。可清楚地看出，轨迹102在道路的一个车道上延伸。廊道104的外边界平行于轨迹延伸且包围道路的大部分。用于识别出可被用于定位车辆的道路特征(例如车道标记)的、对空中摄影图片的分析处理仅在廊道104内进行，由此用于识别的成本被明显减少且结果变得更可靠，这是因为例如错误的关联/对应可更容易被避免。

图5显示了根据本发明的***的一部分500的示例性框图。数据库502、第一模块504和第二模块506经由一个或多个总线***514彼此通信连接，该第一模块用于为至少一个道路段接收车辆的至少一个轨迹并将该至少一个轨迹存储在数据库中，该第二模块用于接收对至少一个道路段的至少部分进行显示的至少一个图像。此外，该一个或多个总线***514将第三模块508、第四模块510以及第五模块512彼此连接或者与第一模块504、第二模块506和/或数据库502连接，该第三模块用于将至少一个轨迹与至少一个图像叠放，该第四模块用于在沿着轨迹延伸且包围该轨迹的廊道中分析至少一个图像并用于在廊道中识别出道路段的与行驶或定位相关的特征，该第五模块用于从在借助至少一个轨迹对齐的至少一个图像中且在包围轨迹的廊道中已被识别出的、与行驶或定位相关的特征产生数字道路模型。

图6显示了该***的适用于至少执行部分根据本发明的方法的模块600的示例性框图。该模块600包括微处理器602、RAM604、非易失性的存储器606、一个或多个接口608和数据库610，它们经由一个或多个总线***612彼此通信连接。非易失性的存储器606包含计算机程序指令，当由微处理器602结合主内存604且必要时在动用另外的***部件的条件下实施时，这些计算机程序指令实施根据本发明的方法的一个或多个方面的至少部分。

图7显示了根据本发明的方法的一个方面的简化的示例性流程图。在此，该流程图也可被理解为功能模块的图示，其中，每个模块实施该方法的相应部分。在步骤或模块702中，接收对于至少一个道路段的、车辆的至少一个轨迹。在步骤或模块706中，接收至少一个图像，该至少一个图像显示至少一个道路段的至少部分并且具有如下视角，该视角与从提高的位置大致垂直向下拍摄的图像相符。在可选的步骤或模块704中，接收与道路段的行驶相关的特征有关的信息和关于相应的检测地点或检测位置的信息且/或接收或从外部数据库调用至少一部分道路段的高度分量。在步骤或模块708中，这些数据被存储且以可被调用用于在步骤或模块710中所实施的叠放的方式被提供。在沿着轨迹横向于轨迹延伸了第一距离且包围该轨迹的廊道中对至少一个图像的分析和在该廊道中对道路段的与行驶或定位相关的特征的识别在步骤或模块712中实现。最后，由在步骤或模块712中识别出的与行驶或定位相关的特征，在步骤或模块714中产生且以可调用的方式存储数字道路模型。

Claims (8)

1.一种用于针对至少一个道路段生成数字道路模型的方法，该方法包括：

-接收车辆外部数据库中的用于所述至少一个道路段的、车辆的至少一个轨迹，

-接收至少一个图像，图像至少显示了所述至少一个道路段的一部分，其中，图像具有与从提高的位置大致垂直向下拍摄的图像相符的视角，

-将所述至少一个轨迹与所述至少一个图像叠放成，使得所述至少一个轨迹与在所述至少一个图像中的道路的走向一致，

-在沿着轨迹延伸且包围轨迹的廊道中分析所述至少一个图像，并识别出道路段的在所述廊道中的与行驶或定位相关的特征，其中，利用由用于相同道路段的大量车辆轨迹确定的共同的轨迹确定所述廊道，所述分析和所述识别仅在所述廊道内进行，

-由已在借助所述至少一个轨迹对齐的所述至少一个图像中在包围轨迹的廊道中识别出的、与行驶或定位相关的特征，产生所述数字道路模型。

2.根据权利要求1所述的方法，该方法此外包括：

-接收与通过车辆检测到的、道路段的与行驶或定位相关的特征有关的信息，其中，所述特征包含关于相应的检测地点或检测位置的信息。

3.根据权利要求2所述的方法，其特征在于，以对对象进行描述的矢量格式来接收与道路段的特征有关的所述信息。

4.根据权利要求3所述的方法，其特征在于，为每个通过对对象进行描述的矢量格式所代表的特征确定至少一个参考点。

5.根据权利要求1所述的方法，其特征在于，由所述至少一个轨迹的数据、地形数据库或数字高度模型来为所述数字道路模型的部段补充高度分量。

6.一种用于针对至少一个道路段生成数字道路模型的***，该***包括：

-用于以可调用的方式存储轨迹和图像的数据库，

-第一模块，其用于针对所述至少一个道路段接收车辆的至少一个轨迹且用于将所述至少一个轨迹存储在所述数据库中，

-用于接收至少一个图像且用于将所述至少一个图像存储在所述数据库中的第二模块，图像至少显示了所述至少一个道路段的一部分，其中，图像具有与从提高的位置大致垂直向下拍摄的图像相符的视角，

-第三模块，其用于将所述至少一个轨迹与所述至少一个图像叠放成，使得所述至少一个轨迹与在所述至少一个图像中的道路的走向一致，

-第四模块，其用于在沿着轨迹延伸且包围轨迹的廊道中分析所述至少一个图像，且在所述廊道中识别出道路段的与行驶或定位相关的特征，其中，利用由用于相同道路段的大量车辆轨迹确定的共同的轨迹确定所述廊道，所述分析和所述识别仅在所述廊道内进行，

-第五模块，其用于由与行驶或定位相关的特征产生所述数字道路模型，所述行驶或定位相关的特征已在借助所述至少一个轨迹对齐的所述至少一个图像中在包围轨迹的廊道中被识别出。

7.根据权利要求6所述的***，该***此外包括：

-第六模块，其用于接收与通过所述车辆检测到的、道路段的与行驶或定位相关的特征有关的信息，其中，所述特征包含关于相应的检测地点或检测位置的信息。

8.根据权利要求6所述的***，该***此外包括：

-第七模块，其用于由所述至少一个轨迹的数据、由地形数据库或数字高度模型提取出所述数字道路模型的部段的高度分量，且用于给数字道路模型的部段相应补充所述高度分量。

Images