CN110023988B - 用于生成道路的组合俯视图像的方法和*** - Google Patents

Abstract

根据由车载的面向前的相机以相对于车辆在其上移动的表面非垂直的透视图拍摄的至少两个图像组合成道路的至少一部分的组合俯视图像。在车辆移动的同时，记录车辆在三维空间的每个主轴线中和/或周围的速度和/或加速度和/或三维空间中车辆的定向、以及至少两个图像的一个系列。从至少两个图像的系列选择第一图像，以用于进一步处理，并且在选定的第一图像中确定选定的第一区域，选定的第一区域位于图像的其中相机镜片造成最小失真的区域中。从至少两个图像的系列中选择在选定的第一图像之后捕捉的第二图像，以用于进一步处理。第二图像被选择为使得在选定的第二图像中能够选择第二区域，选定的第二区域位于图像的其中相机镜片造成最小失真的区域中并且该第二区域被定位为使得在第二区域的下边界处示出的图像内容与在选定的第一图像中的选定的第一区域的上边界处示出的图像内容邻接。选定的第一区域和选定的第二区域被转换为俯视透视图，并且转换的选定的第一区域和选定的第二区域被拼接在一起，以用于生成组合俯视图像。

Description

用于生成道路的组合俯视图像的方法和***

技术领域

本发明涉及绘制或扫描道路的至少一部分，具体地，通过将由在该道路上行驶的车辆捕捉的图像拼接在一起。

背景技术

高级驾驶员辅助***和自动驾驶汽车需要车辆可以在其上行驶的道路和其他区域的高精确度地图。使用例如GPS、伽利略***、GLONASS的常规卫星导航***或者像三角测量等一样的其他已知的定位技术不能实现以几厘米的准确度确定车辆在道路车道内的道路上的位置。然而，具体地，当自动驾驶车辆在具有多车道的道路上移动时，需要准确地确定它在该车道内的横向和纵向位置。一个确定车辆位置的已知方式涉及一个或多个相机捕捉道路标记的图像并且将捕捉图像中的道路标记的独特特点与数据库中的对应条目及其相应的位置进行比较。这种确定位置的方式只有当数据库提供高度准确的位置数据并且被定期或以适当的间隔更新时才能提供充分准确的结果。可以通过在行驶时捕捉道路的图像的专用车辆捕捉和记录道路标记，或者可以从航空照片或卫星图像提取道路标记。因为垂直视图或俯视图像示出了基本上平坦表面上几乎不失真的道路标记和其他特征，因此可以有利地考虑后者变形。然而，航空照片和卫星图像不能针对生成道路标记和其他道路特征的高度准确的地图提供足够的细节。

发明内容

本发明的目标是提供用于生成或组合道路的至少一部分的俯视图像的改进的方法和***。通过所附权利要求所要求保护的方法和***实现其目标和变化以及开发。

根据本发明的一方面，一种根据由车载的面向前的相机以相对于车辆在其上移动的表面非垂直的透视图拍摄的至少两个图像生成道路的至少一部分的组合俯视图像的方法包括：记录车辆在三维空间的每个主轴线中和/或周围的速度和/或加速度。可替换地或此外，记录三维空间和/或覆盖距离中的车辆的定向。

该方法还包括在车辆移动的同时记录至少两个图像的一个系列。在相机的帧频被固定的情况下，对应的时间戳被添加至每个记录图像。与车辆速度结合，这允许选择待在生成或组合过程中使用的图像，该生成或组合过程从图像的该系列中产生道路的至少一部分的俯视图像。在相机的帧频不固定的情况下，如将参考附图说明的，在相对于车辆的速度、覆盖距离、车辆围绕横向轴线的旋转、车辆沿着垂直轴线的平移或者它们的组合中的一个或多个所确定的时间点捕捉每个图像。

该方法还包括从至少两个图像的系列中选择第一图像，以用于进一步处理，并且选择选定的第一图像中的选定的第一区域。选定的第一区域位于图像的其中相机镜片造成失真最小的区域中。

该方法还包括从至少两个图像的系列中选择第二图像，以用于进一步处理，其中，第二图像是晚于选定的第一图像而捕捉的。第二图像被选择为使得能够在选定的第二图像中选择第二区域，该选定的第二区域位于图像的其中相机镜片造成失真最小的区域中。此外，第二区域被定位为使得在第二区域的下边界处示出的图像内容与在选定的第一图像中的选定的第一区域的上边界处示出的图像内容邻接。

在该上下文中，图像内容指的是图像的场景中可见的对象或特征。在第二区域的下边界处和在第一区域的上边界处示出的图像内容的邻接意味着第一图像的选定的第一区域内的像素和第二图像的选定的第二区域内的像素(这些像素部分地表示特征或对象)可被处理为使得合在一起的选定的第一区域和选定的第二区域的像素表示特征或对象的更大、连贯的部分。换言之，在处理之后，可以结合第一区域和第二区域以示出比第一区域或第二区域中的每一个单独示出的更大部分的特征或对象，在中间没有缝隙。按照上述定义，邻接可包括选定的第一区域和选定的第二区域的部分重叠。

选定的第一区域和选定的第二区域可以位于选定的第一图像和选定的第二图像内的相同位置处。术语“上”和“下”指示相对于二维图像的相应的边界的位置，其中，水平轴线或x轴线从图像的左侧延伸至图像的右侧，并且垂直轴线或y轴线沿向上方向从图像的下侧延伸至图像的上侧。相对于选定区域的表述“选定图像内的位置”指示选定区域在x位置和y位置处的地点，覆盖x位置和y位置的范围，或者通过使用x方向和y方向上的区域的参考点和延长。选定的第一区域和选定的第二区域的边界不必与图像的x方向和y方向正交对准。相反地，选定的第一区域和选定的第二区域还可以以相对于x方向和y方向的角度定位。另外，所选择的区域不必具有相同的大小。通常，所选择的区域具有其中至少两个对边彼此平行的四边形形状，包括梯形或矩形。可以取决于相机视角将形状选择为使得选定区域转换为俯视图产生矩形形式。可以取决于车辆围绕图像被捕捉时有效的、纵向轴线的旋转来选定区域，以便补偿由于车辆的移动导致的相机视角的变化。

在相机的帧频被固定的情况下，可以根据车辆的速度、车辆围绕纵向轴线的旋转、车辆围绕横向轴线的旋转以及车辆沿着垂直轴线的平移中的一个或多个选择图像，使得可以在当前选定的图像中失真最小的区域内选择示出与先前选定的图像中选定区域的图像内容邻接的图像内容的区域。在这种情况下，不必选择图像系列的每个图像，并且即使假设车辆的速度恒定，在两个相继选定的图像之间未使用的图像的数量也不一定固定。这允许补偿例如由减速带、路面的坑洼或其他变形导致的其中相机被固定安装的车辆的不均匀移动，这可能使得相机捕捉的场景发生偏移，并且因此使相机失真最小的区域偏移。

在相机的帧频未固定的情况下，可以通过取决于车辆的速度、车辆围绕纵向轴线的旋转、车辆围绕横向轴线的旋转和车辆沿着垂直轴线的平移中的一个或多个来控制捕捉触发器以捕捉图像，与在前述实例中一样，使得能够在当前选定的图像中失真最小的区域内选择示出与先前选定的图像中选定区域的图像内容邻接的图像内容的区域。此外，这允许补偿例如由减速带或坑洼导致的其中相机被固定安装的车辆的不均匀移动，这可能使相机捕捉的场景发生偏移，并且因此使相机失真最小的区域偏移。然而，因为图像被捕捉的时间点被控制，因此在这种情况下，被捕捉的每个图像被用于根据本发明方法进行进一步处理。这两种情况将根据本方法经受进一步处理的图像的数量减至最小。

该方法还包括将选定的第一区域和选定的第二区域转换为俯视透视图，并且将所转换的选定的第一区域和选定的第二区域拼接在一起，以用于生成组合俯视图像。转换尤其包括旋转、缩放、伸展，还包括校正桶形失真、枕形失真、梯形失真或透视失真的操作。

组合俯视图像可以经受对象识别，以用于识别道路的特征和/或元素。例如，可以从表示车辆速度或加速度的数据、相机的光学特性、应用于生成俯视图像的转换特性以及从在组合图像中识别的参考特征，针对道路的每一个识别的特征和元素确定地点，其中以高精确度的方式了解其位置或地点。可以通过访问数据库获得参考特征。识别的特征和元素可以添加至道路的数字表示，例如，作为其摄影表示，或者在数字表示中，例如，作为3d-CAD向量或者线框模型。

执行该方法的***包括捕捉图像的相机、用于确定车辆的移动和/或位置和/或定向的传感器、以及执行图像选择、区域选择、期望俯视图像的转换和/或组合或生成的一个或多个处理单元。一个或多个处理单元可包括适用于执行相应功能的模块，这些模块可以是软件模块或硬件模块、或者它们的组合。

附图说明

在以下部分中，将参考附图描述本发明，在附图中

图1a至图1e示出了根据本发明的第一方面的由相机捕捉的第一简化场景以及区域的选择和连接，

图2a至图2c示出了根据本发明的第二方面的由相机捕捉的第二简化场景和区域的选择，

图3a至图3c示出了根据本发明的第三方面的由相机捕捉的第三简化场景和区域选择，

图4示出了根据本发明的一方面的方法的示例性简化流程图，并且

图5示出了根据本发明的一个或多个方面的***的示例性简化框图。

具体实施方式

在附图中，相同或相似的元件由相同的参考符号指示。

图1a示出了由车载相机捕捉的第一简化场景。在该场景中可见的是分别位于双车道道路106的左侧和右侧的两个建筑物102、104。点划线108指示其中相机镜片造成失真最小的区域。选择第一区域110a用于进一步处理，第一区域由虚线指示。做出该选择使得道路106的特征位于第一区域110内，在这个实例中，左车道限制线112和车道分离线114。

随着车辆向前移动，场景中的特征朝向车辆移动并且最终经过车辆，该车辆离开由相机捕捉的场景。在图1b中，车辆向前移动了某个距离，并且建筑物现在更接近车辆并且因此看起来比在图1a中大。位于选定的第一区域110a内的场景部分现在更接近图像的下边界，在其中相机镜片造成失真最小的区域的最外部。然而，这无关紧要，因为该部分在图1a中被捕捉并且它的内容被进一步处理或存储以用于进一步处理。选择由虚线指示的第二区域110b，使得与第一区域共享边界，即，选定的第一区域110a的上边界处的道路106的特征应该与选定的第二区域110b的下边界处的相同特征无缝邻接。反复执行该过程以选择大量选定区域，当排列起来或连接时，这些选定区域沿着道路的一区段或一部分提供道路特征的无缝图像。

因为相机以面向前的方式安装至车辆，道路上的并行结构将以透视图出现，即，平行线看起来并入远点中。为了允许生成道路特征的俯视图像，选定的第一区域和选定的第二区域经受转换，产生选定区域的虚拟俯视图。在图1c和图1d中示出了转换的简化表示。图1c示出了来自图1a和图1b的选定区域110a或110b的图像内容。图1d示出了图1c的转换的图像内容，其中，汇合线112和114现在彼此平行对齐，因为它们将出现在从面向下的升高视点截取的俯视图像中。由于转换，选定区域的形状现在是梯形。

如图1e所示，所转换的图像被对齐和排列起来，以便形成位于沿着道路的一部分或一区段的选定区域内的道路特征的虚拟俯视图像。

连接图1b至图1e的细实线仅用作用于追循穿过附图的特征的光学指引并且不会形成处理过程的一部分。

图2a至图2c示出了根据本发明的第二方面的由相机捕捉的第二简化场景和区域的选择。图2a中示出的场景对应于图1a中示出的场景。选定的第一区域110a位于距图像的下边界的距离d1处，仅在其中相机镜片造成失真最小的区域108的下边界以上。

在图2b中，车辆仅向前移动足够远以便需要捕捉新的图像，但是减速带或路面的其他变形(在附图中未示出)使得车辆的前部低于后部。如图2b所示，因为相机固定安装至车辆，因此被捕捉的场景相应地偏移。车辆位置的变化并且因此相机位置的变化可以被描述为车辆围绕横向轴线的旋转和/或沿着垂直轴线的平移。出于参考目的，在附图中示出了选定的第一区域110a。如果第二区域被选择为在与相对于图像的边界的选定的第一区域相似的地点中，则它将位于由点线区域110b指示的位置中。然而，这在选定的第一区域和选定的第二区域之间不会提供无缝连接使得在选定的第一区域110的上边界处发现的图像内容与在选定的第二区域110b的下边界处发现的图像内容邻接。实际上，图2b的选定的第二区域110b将部分覆盖已经在先前时间点捕捉的图像内容。

为了补偿车辆和相机的运动，选定的第二区域可以偏移至根据本方法的要求在第一区域和第二区域之间提供无缝连接的地点，或者可以摈弃该图像。图2c示出了偏移的选定的第二区域110c被定位为使得在其下边界处的图像内容与选定的第一区域110a的上边界处的内容无缝邻接。选定的第二区域110c现在位于距图像的下边界的距离d2处，同时还位于其中相机镜片造成失真最小的区域108内。可以使用诸如加速计和陀螺仪等车载传感器检测车辆的运动，但是也可以通过使用图像识别技术或者其他合适的装置。

图3a至图3c示出了根据本发明的第三方面的由相机捕捉的第三简化场景和区域的选择。图3a中示出的场景对应于图1a或图2a中示出的场景。

与在前述实例中一样，在图3b中，车辆向前移动足够远以便需要捕捉新的图像，但是现在例如由于路面的变形(在附图中未示出)导致车辆围绕纵向轴旋转。因为相机被固定安装至车辆，因此被捕捉的场景相应地被旋转或倾斜。出于参考目的，在附图中示出了选定的第一区域110a。

如果第二区域110b被选择为处于与相对于图像的边界的选定的第一区域相似的地点中，则它将位于由点线区域110b指示的位置中。然而，这在选定的第一区域和选定的第二区域之间不会提供无缝连接使得在选定的第一区域110的上边界处发现的图像内容与在选定的第二区域110b的下边界处发现的图像内容邻接。实际上，图3b的选定的第二区域110b将部分覆盖已经在先前时间点捕捉的图像内容，并且部分留有间隙。

为了补偿车辆和相机的运动，可以以某一角度旋转选定的第二区域，并且如果需要，可以旋转至根据本方法的要求在第一区域和第二区域之间提供无缝连接的地点。图3c示出了旋转的选定的第二区域110c被定位为使得在其下边界处的图像内容与选定的第一区域110a的上边界处的内容无缝邻接。选定的第二区域110c仍然位于其中相机镜片造成失真最小的区域108内。可以使用诸如加速计和陀螺仪等车载传感器检测车辆的运动，但是也可以通过使用图像识别技术或者其他合适的装置。

图4示出了根据本发明的一方面的方法的示例性简化流程图。在步骤402中，记录车辆在三维空间的每个主轴线中和/或周围的速度和/或加速度和/或三维空间中的车辆的定向。在步骤404中，在车辆移动的同时记录至少两个图像的一个系列。步骤402和404反复执行并且可以同时执行。在步骤406中，在步骤402和404中记录的数据至少暂时存储。在步骤408中，从至少两个图像的系列中选择第一图像，以用于进一步处理，并且在步骤410中，在选定的第一图像中选择选定的第一区域。选定的第一区域位于图像的其中相机镜片造成失真最小的区域中。在步骤412中，从至少两个图像的系列中选择第二图像，以用于进一步处理。在选定的第一图像之后被捕捉第二图像并且第二图像被选择为使得能够在选定的第二图像中选择第二区域，步骤414，该选定的第二区域位于图像的其中相机镜片造成失真最小的区域中并且该第二区域被定位为使得在第二区域的下边界处示出的图像内容与在选定的第一图像中的选定的第一区域的上边界处示出的图像内容邻接。在步骤416中，选定的第一区域和选定的第二区域被转换为俯视透视图，并且在步骤418中，所转换的选定的第一区域和选定的第二区域被拼接在一起，以用于生成组合俯视图像。

图5示出了根据本发明的一个或多个方面的***500的示例性简化框图。相机502、一个或多个传感器504、用于选择图像的第一模块506、用于选择图像中的区域的第二模块508、用于将选定区域转换为其俯视表示的第三模块510、以及用于将所转换的选定区域组合为组合俯视图像的第四模块512经由一个或多个总线***514通信连接。

一个或多个传感器504适用于确定车辆的移动和/或位置和/或定向。第一模块506适用于选择第一图像和第二图像，使得由选定的第二图像中的相机镜片所造成的最小失真区域允许第二模块508在第二图像该区域内选择选定的第二区域，该选定的第二区域被定位为使得在第二区域的下边界处示出的图像内容与在选定的第一图像中失真最小的对应区域中选择的选定的第一区域的上边界处示出的图像内容邻接。第三模块510适用于通过应用对应图像转换功能将选定区域的图像内容转换为俯视图。第四模块512适用于将所转换的选定区域的图像内容放在一起为俯视图像，使得以无缝且无失真的方式表示道路的覆盖两个或更多个选定区域的特征和/或元素。

第一至第四模块可包括一个或多个微处理器、随机存取存储器、非易失性存储器和软件和/或硬件通信接口。非易失性存储器可以存储计算机程序指令，当协同随机存取存储器由一个或多个微处理器执行时，计算机程序指令执行在上文中提出的方法的一个或多个处理步骤。

Claims (11)

1.一种根据由车载的面向前的相机以相对于车辆在其上移动的表面的非垂直的透视图而拍摄的至少两个图像生成道路的至少一部分的组合俯视图像的方法，所述方法包括：

—在所述车辆移动的同时，记录所述车辆在三维空间的每个主轴线中和/或周围的速度和/或加速度，和/或所述车辆在所述三维空间中的定向，

—在所述车辆移动的同时，记录至少两个图像的系列，

—从所述至少两个图像的系列中选择第一图像，以用于进一步处理，

—在选定的第一图像中选择选定的第一区域，所述选定的第一区域位于图像的其中相机镜片造成最小失真的区域中，

—从所述至少两个图像的系列中选择第二图像，以用于进一步处理，所述第二图像是晚于所述选定的第一图像而捕捉的，其中，所述第二图像被选择为使得能够在选定的第二图像中选择第二区域，其中，选定的第二区域位于图像的其中所述相机镜片造成最小失真的区域中，并且其中，所述第二区域被定位为使得在所述第二区域的下边界处示出的图像内容与在所述选定的第一图像中的所述选定的第一区域的上边界处示出的图像内容邻接，

—将所述选定的第一区域和所述选定的第二区域转换为俯视透视图，

—将转换的所述选定的第一区域和所述选定的第二区域拼接在一起，以用于生成组合俯视图像。

2.根据权利要求1所述的方法，其中，取决于所述车辆的速度、所述车辆围绕纵向轴线、横向轴线和/或垂直轴线的旋转以及所述车辆沿垂直轴线的平移中的一个或多个，选择所述至少两个图像的系列中用于进一步处理的图像。

3.根据权利要求1所述的方法，其中，针对每个图像，该图像是通过取决于所述车辆的速度、所述车辆围绕纵向轴线、横向轴线和/或垂直轴线的旋转以及所述车辆沿垂直轴线的平移中的一个或多个来控制捕捉触发器而被捕捉的。

4.根据权利要求1所述的方法，其中，所述选定的第一区域和所述选定的第二区域中的任一个具有其中至少两个对边彼此平行的四边形形状。

5.根据权利要求4所述的方法，其中，所述四边形形状的宽度大于其高度。

6.根据权利要求4或5所述的方法，其中，针对每个图像，取决于在该图像被捕捉时所述车辆围绕纵向轴线的旋转来选择所述选定的第一区域和所述选定的第二区域中的任一个。

7.根据权利要求1所述的方法，还包括使所述组合俯视图像进行对象识别，以用于识别所述道路的特征。

8.根据权利要求7所述的方法，其中，针对道路的每个识别的所述特征，根据记录的表示车辆速度和加速度的数据、所述相机的光学特性、应用于生成所述俯视图像的转换特性以及在组合图像中识别的参考特征来确定地点。

9.根据权利要求8所述的方法，还包括：针对确定地点的道路的每个识别的所述特征，确定所述特征的三维向量格式的数字表示。

10.一种用于根据由车载的面向前的相机以相对于车辆在其上移动的表面的非垂直的透视图而拍摄的至少两个图像生成组合俯视图像的***，所述***包括：

—相机，适用于在所述车辆移动的同时记录至少两个图像的系列，

—传感器，用于确定所述车辆的移动和/或位置和/或定向，以及

—存储装置，用于记录传感器数据和相机图像，其中，所述***还包括：

—第一模块，适用于选择第一图像和第二图像，

—第二模块，适用于在所述第一图像中选择选定的第一区域和在所述第二图像中选择选定的第二区域，

其中，所述第一模块选择所述第二图像，使得所述选定的第二区域中由相机镜片造成失真最小的区域允许所述第二模块在所述第二图像的该区域内选择选定的第二区域，所述选定的第二区域被定位为使得在所述选定的第二区域的下边界处示出的图像内容与在选定的第一图像中失真最小的对应区域中选择的所述选定的第一区域的上边界处示出的图像内容邻接，

—第三模块，适用于通过应用对应图像转换功能将选定区域的图像内容转换为俯视图，以及

—第四模块，适用于将所转换的选定区域的图像内容放在一起为组合俯视图像。

11.一种用于生成组合俯视图像的***，所述***包括：

一个或多个微处理器；

软件和/或硬件通信接口；以及

随机存取存储器和非易失性存储器，其中，所述非易失性存储器存储计算机程序指令，当由所述一个或多个微处理协同所述随机存取存储器执行时，所述计算机程序指令执行权利要求1-9中的任一项所述的方法。

Images