CN109074653B - 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助***以及机动车辆 - Google Patents

Abstract

本发明涉及一种用于基于用于至少一个相机(4)的外部校准的、由至少一个车辆侧相机(4)连续地捕获的机动车辆(1)的环境区域(9)的至少两个图像(13)检测机动车辆(1)的道路(10)旁边的物体(12)方法，其中图像(13)至少部分地显示路面(11)的纹理，并且其中以下步骤被执行：a)基于至少两个图像(13)确定至少两个相互对应的块(14)；b)确定至少两对相互对应的块(14)中的每一个的相应运动矢量；c)基于所述至少两个运动矢量确定关于所述至少两个图像(13)的深度信息；d)基于深度信息检测物体(12)。本发明还涉及计算设备(3)、驾驶员辅助***(2)以及机动车辆(1)。

Description

用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶 员辅助***以及机动车辆

技术领域

本发明涉及一种用于基于用于对所述至少一个相机进行外部校准的、机动车辆的环境区域的至少两个图像来检测机动车辆的道路旁边的物体的方法，所述至少两个图像由至少一个车辆侧相机连续捕获。此外，本发明涉及计算设备、驾驶员辅助***以及具有驾驶员辅助***的机动车辆。

背景技术

目前，兴趣集中在机动车辆的相机上。相机适于捕获图片或图像中的环境区域。从图像中提取的信息可以提供给机动车辆的驾驶员辅助***。这种信息可以包括机动车辆附近的物体或障碍物的存在。物体检测是现有技术中已知的，例如，US2007/127778A1描述了一种物体检测***，其包括设置在车辆上的成像设备和控制器，该控制器从成像设备接收表示车辆前方的场景的二维图像。

此外，物体可以从通过立体相机、LIDAR激光雷达或其他装置获得的3D范围数据导出，所述其他装置通常适合于作为来自前或后面相机的道路边界的路缘的远程检测和区域化。这种现有技术通常涉及通常与图像-亮度边缘信息相结合的3D点云的复杂分析，以便成功地局部化和表征路缘。对于某些应用，检测相机捕获的图像中物体的存在将是主要的兴趣。特别是，应检测在平均地面以上或以下的道路旁边存在细长的环境特征。那些细长的特征可以是墙壁、路缘、沟渠、植被或站立的车辆。在这种情况下，不需要复杂分析，因为不需要对这些物体的属性进行分类或表征。

发明内容

本发明的目的是提供一种解决方案，即如何以特别快速和可靠的方式并且以低成本来检测图像中的物体。

根据本发明，该目的通过一种方法、一种计算设备、一种驾驶员辅助***以及一种包括根据各个独立权利要求的特征的机动车辆来解决。本发明的有利实施例是从属权利要求、说明书和附图的主题。

在本发明的一个实施例中，提供了一种方法，其用于特别是基于用于外部校准至少一个相机的、由至少一个车辆侧相机连续捕获的机动车辆的环境区域的至少两个图像检测机动车辆的道路旁边的物体。其中，图像至少部分地显示路面的纹理。此外，可以确定基于至少两个图像的至少两个相互对应的块，确定用于至少两对相互对应的块中的每一个的相应运动矢量，并且确定基于至少两个运动矢量关于至少两个图像的深度信息。此外，可以基于深度信息来检测物体。

在本发明的优选实施例中，提供了一种方法，其用于基于用于外部校准至少一个相机的、机动车辆的环境区域的至少两个图像来检测机动车辆的道路旁边的物体，所述至少两个图像由至少一个车辆侧相机连续捕获。其中，图像至少部分地显示路面的纹理。此外，确定基于至少两个图像的至少两个相互对应的块。确定用于至少两对相互对应的块中的每一对的各个运动矢量，并确定基于至少两个运动矢量的关于至少两个图像的深度信息。此外，基于深度信息检测物体。

借助于该方法，可以提供机动车辆的至少一个相机的可靠运行状态。车辆可以包括形成环绕视野相机***的四个相机，其中第一相机可以设置在机动车辆的前部区域中，第二相机可以设置在机动车辆的后部区域中，第三相机可以设置在机动车辆的驾驶员侧，特别是设置在驾驶员侧翼镜上，并且第四相机可以设置在机动车辆的乘客侧，特别是设置在乘客侧翼镜上。相机可以包括鱼眼镜头，以便扩大视角并因此扩大相机的检测范围。

相机适于在二维图像或图片中表示机动车辆的三维环境区域。因此，通常提供相机模型以将环境区域的3D世界坐标映射到图像的2D像素坐标。相机型号通常取决于固有的相机参数，如焦距、图像传感器格式和主要点、以及外部相机参数，如相机的空间定位和高度，也称为相机的姿势，其中外部参数通常默认设置。这些外部参数可能不代表相机的实际和当前外部参数，例如由于车辆制造过程中的机械公差，由于空气悬架或由于车辆中的负载变化，例如乘客数量或车辆的行李箱中的重量。那些错误的外部参数会对渲染过程或图像合成产生负面影响。因此，需要校准相机以获得可以提供给机动车辆的驾驶员辅助***的可靠图像。

为了提供可靠且有效的操作校准方法，根据本发明的方法的一个目的是检测在平均地面上方或下方的道路旁边的细长环境特征或物体的存在，例如墙壁、路缘、沟渠、植被或站立车辆，因为它们对校准方法有负面影响。在此，特别不需要对这些物体的属性进行分类或表征，而是仅检测它们在从安装在车辆上的至少一个相机获取的一对图像帧中的存在，同时车辆特别几乎垂直于或与物体平行地行进，例如路缘。因此，可以提供基于由相机捕获的图像的基于自主道路的校准方法，其不会因这些物体的存在而偏向。特别地，包括这种细长特征的识别图像被标记为不合适的帧，因此被拒绝。该方法可以由车辆侧计算设备执行，该车辆侧计算设备适于基于由至少一个相机捕获的至少两个图像来识别这样的物体。

首先，基于至少两个图像执行所谓的块匹配操作，以便找到图像内的对应块。对应块被理解为两个图像或视频帧的图像区域，其至少部分地显示相同的环境区域。换句话说，每对包括第一块作为描绘相应的路面区域的第一图像的第一图像区域，第二块包括作为至少部分地描绘对应第一块的路面区域的第二图像的第二图像区域。对于块匹配，可以选择至少两个第一块作为在第一图像中的预定义固定位置处的参考块。参考块可以是相邻的或重叠的，并且它们的形状可以是矩形、圆形或任何其他形状。优选地，相邻的矩形块排列在规则网格上，或者更确切地说排列成行和列。块大小可以变化，例如8x8像素、16x16像素、24x24像素、32x32像素或更多，特别是取决于图像质量。然后，至少一个第二图像，例如，前一帧，至少部分地搜索包括与对应的第一块相同的描绘的这些第二块。在匹配操作期间可以跳过或子采样每个块内的像素，以有利地加速计算。

这种块匹配操作可以是全搜索操作，也称为其中检查图像内或图像中的指定搜索区域内的所有可能位置的穷举搜索操作算法、以及诸如菱形搜索或基于六边形的搜索的基于梯度下降的方法。为了识别至少两个图像中的对应块，也称为块失真度量的成本函数可以被使用，诸如互相关、绝对差之和、平方差之和或更高级的方法，诸如绝对变换差之和、等级、人口普查、频域方法及更多。

如果第二图像的部分区域被定义为搜索第二块的搜索区域以便识别对应于各个第一块的这些第二块，则证明是有利的。搜索区域是包括第二块的预期位置的至少一个第二图像中的图像区域。通过定义该搜索区域，可以以非常快的方式找到第二块。特别地，至少一个第二图像中的搜索区域的位置和/或尺寸是根据机动车辆的当前速度确定的，或者搜索区域的预定位置和/或尺寸被预定在至少一个第二图像中。根据从机动车辆的速度的当前值导出的预测，搜索区域可以动态地定位在每个帧中。或者，可以使用固定的搜索区域，其中预设位置和/或尺寸，使得覆盖机动车辆的预定操作速度范围和两个图像内的块的预期位移。

在识别出至少两个图像中的相互对应的块之后，为每对相互对应的块确定运动矢量或位移矢量。对于两对相互对应的块，确定两个运动矢量。运动矢量由车辆的运动产生，并描述两个顺序图像之间的两个相应的块的像素位置或地点的位移。运动矢量可以通过在图像坐标中给出的具有第一x分量和第二y分量的二维矢量来描述。x轴特别对应于机动车辆的近似直的行驶方向，并且平定向行于细长物体的定向方向，或者更确切地说平行于道路的边缘。

借助于运动矢量，可以从至少两个图像中提取深度信息。本发明基于以下认识：从一对帧导出的运动矢量实际上是立体对应并且包含3D深度信息，例如，可以经由三角测量和已知的自我运动来提取3D深度信息。车辆以及因此相机自我运动可以从机动车辆的车载里程传感器导出，或者可以从运动矢量计算地估计。这也称为视觉测距。还可以经由束调整同时获得深度和自我运动信息。由于对于相机校准，仅道路旁边的物体的存在是决定性的，因此可以放弃对地面的适当3D重建。相反，借助于运动矢量来检测指示路缘或类似特征的存在的、沿着道路的深度的突然变化。

总之，根据本发明的方法具有以下优点：它仅分析深度信息而不对物体进行分类。因此，可以非常快速地并且以低计算量来检测图像中的物体。

特别优选地，为了确定深度信息，确定至少两个运动矢量中的每一个的长度，并且基于至少两个运动矢量的长度之间的差来检测物体。本发明的优点在于，较高的物体，例如沿着道路的细长特征，更靠近相机，因此产生比地面上的特征(如路面的纹理)更长的运动矢量，或者更大的差异。因此，通过分析或比较两个运动矢量的长度值，可以以容易的方式导出深度信息。

在有利实施例中，将至少两个图像划分为按列和行排列的多个块，其中确定与每个特定行和列相关的确定的运动矢量，并通过从前一相邻行的运动矢量中减去每行的运动矢量，确定与两个相邻行相关的两个运动矢量之间的差。这意味着每对对应块涉及图像之一(特别是第二图像)中的特定行和特定列。由于可以通过相邻行之间的运动矢量的长度的突然变化来推断在一对帧中存在细长物体，因此从前一行中的对应运动矢量中减去每行上的运动矢量。换言之，从与相同列和前一行相关的运动中减去与特定列和特定行相关的每个运动矢量。因此，对于两个相邻的行，确定了许多符合列数的差。优选地，中值滤波器应用于每行的所有差，以便去除异常值。换句话说，中值滤波器应用于为两个相邻行确定的所有差。异常值的移除防止计算设备错误地检测特征。

证明有利的是，对于两个相邻行，基于针对两个相邻行计算的差来计算平均差，其中如果平均差超过预定阈值则检测物体。换句话说，计算平均差以获得两个相邻行的单个分数。将该分数与阈值进行比较，其中如果分数超过阈值则检测细长物体的存在，并且如果分数低于阈值则检测到不存在。因此，该分数给出了二元分类器，用于路缘的存在或通常地面的深度的突然变化。

在本发明的改进方案中，为了检测物体，仅在机动车辆的预定最小速度的情况下基于至少两个图像确定运动矢量。这意味着由于机动车辆的最小速度的条件，输入帧被最小所需行进距离分开。这导致提取的运动矢量具有几个像素的最小长度，因此携带较小的相对误差。这可以在车辆的正常行驶速度和/或通过以非常低的速度跳过帧来实现。通过确保机动车辆的最小速度，减少了由观察噪声的影响、地面的不规则性和由短运动矢量引起的车辆振荡所引起的误差。

优选地，确定描述每对运动矢量与预定矢量之间的偏差的成本函数，通过最小化成本函数确定每对的部分旋转补偿的运动矢量，并且基于部分旋转补偿的运动矢量确定深度信息。在该步骤中，通过分析由块匹配操作产生的运动矢量，通过特别地找到至少一个相机相对于地平面的3-DOF(自由度)空间定向的两个空间定向分量来执行部分外部校准。而且，相机的定向是要校准的第一外部参数。该定向可以例如以围绕世界坐标系的固定的X、Y和Z轴顺序旋转的滚转-俯仰-偏航旋转方案来表示，其中X轴沿着纵向车辆轴线定向，Y轴沿横向车辆轴线定向，Z轴沿垂直车辆轴线定向。

要最小化的成本函数或损失函数被公式化，其特别利用路面或地平面上的运动矢量的几何特性以及近似直线驱动的约束。校准***应该产生没有透视失真的运动矢量，即，都与水平x轴平行(在图像帧中)并且具有相等长度的运动矢量，同时在平坦地面上直线行驶。因此，成本函数表示当前实际情况和理想条件之间的差。因此，预定矢量是平行于水平轴的无失真矢量。为了补偿三个未知的外部旋转中的两个，仅仅基于描述沿预定方向的两个对应块的位移的运动矢量的第一分量来确定成本函数。特别地，成本函数取决于运动矢量的y分量来确定。使成本函数最小化以使所有运动矢量水平，特别是不使其长度均衡。具有平行于水平x轴定向的方向的运动矢量是部分旋转补偿的运动矢量。特别地，这些部分旋转补偿用于提取深度信息。更确切地说，确定部分旋转补偿矢量的长度值。通过从前一行中的对应旋转校准运动矢量减去每行上的旋转校准运动矢量来确定差。特别是，中值滤波器应用于每行的这些差以去除异常值。然后，计算平均差以获得该行的单个分数，以与预定阈值进行比较。通过部分校准相机，可以避免误报检测，或者更确切地说，避免错误检测细长物体的存在。

在本发明的有利改进中，在检测到物体不存在的情况下，执行基于至少两个图像的相机的外部校准，其中通过均衡部分旋转补偿的运动矢量的长度，基于部分旋转补偿的运动矢量来校准至少一个相机的旋转，并且通过根据均衡长度和均衡长度的期望值确定相机的当前高度来校准相机的高度。在该步骤中，通过完成定向校准并另外执行高度校准来完成外部校准。

特别地，相机的外部校准，即所谓的运动跟踪校准(MTC)操作，是基于由至少一个相机捕获的图像来执行的，该图像至少部分地示出了机动车辆附近的路面或地面。以及存在于面上的纹理(如沥青碎石地面)，但不显示物体。使用显示路面纹理的那些图像，计算设备还适于校准相机，特别是不需要任何存在于图像上的感兴趣的特定特征，例如角落、轮廓、边缘或线条。

首先，通过均衡运动矢量的长度来导出旋转补偿矢量。然后，通过分析从成本函数的最小化导出的均衡旋转补偿运动矢量来确定作为要校准的第二外部参数的相机的高度。高度可以是每个相机距离地面的绝对高度或机动车辆的相机之间的相对高度。

相机的校正的旋转校准运动矢量的长度与车辆的速率或速度成比例，并且与相机距地平面的高度成反比。预期长度对应于预定矢量的长度并且取决于机动车辆的速率。因此，有利地根据车辆的速率预设长度的预期值。特别地，机动车辆的速率通过机动车辆的里程计和/或基于至少一个另外的运动矢量来确定，该至少一个另外的运动矢量是基于由机动车辆的至少一个另外的相机捕获的图像确定的。里程计是使用来自机动车辆的运动传感器的数据，例如，车轮旋转、转向角等，以估计车辆随时间的位置变化。附加地或替代地，可以考虑来自多于一个相机的运动矢量。因此，可以通过调整每个相机的高度值来确定相机的高度，使得重新投影的运动矢量在所有相机中具有相等的长度。为此目的，如果将镜子左和镜子右相机的运动矢量的平均长度作为参考并且调整其他相机的高度值以匹配它，则证明是有利的，因为镜子相机至少受到通过加载机动车辆的变化的影响。

仅基于图像或图像区域执行相机的外部校准，其中细长物体的不存在的图像或图像区域被检测。因此，MTC仅需要诸如沥青碎石路面的纹理表面，其上同时跟踪大量特征而不是线或点状特征。这些特征在网格上的预定义位置处是特别小的纹理块，其总是可以在不等待的情况下呈现。它们使用块匹配操作在一对帧中匹配，给出一组运动矢量作为校准的输入。换句话说，它不等待好的强大特征在图像中随机出现。在使用运动矢量的校准期间，可以借助于由运动矢量提供的深度信息来识别显示细长物体的图像并且被有效地拒绝。

由于大多数基于自主道路的校准算法寻求相机相对于道路或地面的3-DOF定向特别需要通过匹配或跟踪有关地面的特征或特征子集来在某一点获得地面参考，由于对特征和观察噪声的稀疏检测，可能难以区分真正有关地面的特征和与其紧密相邻的特征。然而，无条件地接受所有特征匹配可能在计算外部校准时导致显著的误差，尤其是当离开地面的特征持续出现在多个帧中时，例如当沿着路缘行驶时。因此，识别并且特别地去除显示这种特征的那些帧是非常有益的。

如果在由包括鱼眼镜头的相机捕获的图像的情况下，在识别相互对应的块之前去除图像的鱼眼失真，则证明是有利的。在该步骤中，在执行块匹配操作之前，生成由鱼眼相机捕获的环境区域或者更确切地说是路面的所谓虚拟平面图。因此，可以根据每个相机的已知固有校准或固有参数来变换鱼眼失真图像形式的相机图像，并且最初例如在未校准的相机中的当前外部校准等于标称的默认外部校准。因此，可以完全从图像中去除鱼眼失真。可以在查找表的帮助下生成虚拟平面视图，并且可以在渲染期间结合抗混叠滤波器以改善图像质量并因此跟踪性能。这是非常有益的，因为它允许图像中的矩形感兴趣区域(ROI)或块。它使帧之间的纹理外观正常化，从而大大提高了跟踪性能，并消除了校准中的像素级偏差或***误差。因此，虚拟平面视图为地面上的所有特征提供自动缩放、旋转、仿射和透视不变性。

本发明还涉及一种用于机动车辆的驾驶员辅助***的计算设备，其适于执行根据本发明的方法。计算设备可以集成到车辆侧控制单元中。计算设备适于检测由至少一个车辆侧相机捕获的图像中是否存在细长物体。此外，计算设备适于在车辆运动期间借助于图像单独地校准至少一个相机，特别是每个车辆侧相机，其中图像特别地显示纹理而没有细长物体。

此外，本发明还涉及一种用于机动车辆的驾驶员辅助***，其包括至少一个相机和根据本发明的计算设备。驾驶员辅助借助于监控车辆的环境区域的相机支持车辆的驾驶员。驾驶员辅助***可包括形成环视相机***的四个相机。相机还可以包括鱼眼镜头，其扩大了相机的检测区域。驾驶员辅助***可以可靠地检测由校准相机捕获的图像中的物体，并且因此可以支持车辆的驾驶员，例如通过产生警告信号或者在检测到机动车辆与检测到的物体即将发生碰撞时自动制动机动车辆。

根据本发明的机动车辆包括根据本发明的驾驶员辅助***。机动车辆尤其构造为乘用车。

关于根据本发明的方法呈现的优选实施例及其优点相应地适用于计算设备、根据本发明的驾驶员辅助***以及根据本发明的机动车辆。

从权利要求、附图和附图的描述中，本发明的其他特征是显而易见的。在说明书中上面提到的特征和特征组合以及下面在附图说明中和/或在附图中示出的特征和特征组合不仅可以在相应指定的组合中使用，而且可以在其他组合中使用或者单独使用，而不脱离本发明的范围。因此，实施方式也被认为是由本发明所涵盖和公开的，这些实施方式未在附图中明确示出并且被解释，而是起因于与所解释的实施方式的分离的特征组合并且可以由其产生。实施例和特征组合也被认为是公开的，因此不具有最初制定的独立权利要求的所有特征。此外，还应当考虑所公开的实施方式和特征组合，特别是通过上面给出的解释，其超出或偏离权利要求的关系中阐述的特征组合。

现在，基于优选实施例以及参考附图更详细地解释本发明。

附图说明

这些显示在：

图1是根据本发明的机动车辆的实施例的示意图；

图2是根据本发明的方法的实施例的流程图的示意图；

图3是分成块的图像的示意图以及运动矢量的示意图。

具体实施方式

图1示出了根据本发明的机动车辆1。在当前情况下，机动车辆1被配置为乘用车。机动车辆1具有用于支撑机动车辆1的驾驶员的驾驶员辅助***2。驾驶员辅助***2包括计算设备3，该计算设备3例如可以由车辆侧控制单元形成。另外，驾驶员辅助***2包括至少一个相机4。在当前情况下，驾驶员辅助***2包括四个相机4，其中第一相机4布置在机动车辆1的前部区域5中，第二相机布置在机动车辆1的后部区域6中，第三相机4布置在机动车辆1的驾驶员侧7上，特别是在驾驶员侧7的后视镜上，并且第四相机4布置在机动车1的乘客侧8上，特别是在乘客侧8的后视镜上。布置在驾驶员侧7和乘客侧8上的相机4也可以代替后视镜，由此机动车1可以设计为无反光镜车辆1，实现无反光镜驾驶。借助于相机4，可以在图像中捕获机动车辆1的环境区域9。相机4可以包括鱼眼镜头，以便扩大视角并因此扩大相机4的检测范围。

相机4适于以二维图像的形式显示机动车辆1的三维环境区域9。因此，相机4可以基于相机4的内部和外部参数的知识将3D世界坐标变换为2D像素坐标。例如，这样的内部参数是相机4的焦距和图像传感器格式。外部参数特别地包括相机4的姿势，其描述相机4的空间定向和在滚动俯仰-偏航坐标系X、Y、Z中给出的相机4的高度。因为相机4可以改变其姿势，由于车辆的负载或由于在机动车辆1的运动期间的冲击，计算设备3适于在车辆1在道路10上的运动期间单独地执行每个相机4的外部校准，特别是在近似直线运动期间。

因此，待校准的相机4依次捕获至少两个图像，其中图像至少部分地显示道路10的路面11的纹理。纹理特别包括沥青碎石路面。为了使用至少两个图像校准相机4，计算设备3适于执行基于自主道路的外部校准方法，即所谓的运动跟踪校准MTC。校准方法通过分析一对连续图像或图像帧，特别是来自每个相机4，在机动车辆1移动时，特别是在可接受的速度和转向公差范围内，产生单个校准结果。

这里，机动车辆1沿着道路10平行于细长物体12行进。在当前情况下，物体12是路缘。物体12也可以是墙壁、沟渠、植被或直立车辆。在这些物体12存在于由相机4捕获的图像中的情况下，校准可能是偏向的。因此，应检测在平均地平面上方或下方的道路10旁边的那些细长环境物体12或特征的存在。它不试图对这些物体的属性进行分类或表征，而只是为了检测它们在一对图像帧中的存在，例如，从安装在车辆1上的未校准相机4获取，同时车辆1大致笔直地并平行于路缘或物体12行进。在识别出这种细长特征12的情况下，各个帧可以被标记为不合适的帧，因此，被拒绝以便产生不被这种物体12的存在而偏离的校准。为了检测这些物体12，计算设备3适于执行图2中示意性示出的方法。

在第一步骤S1中，来自相同相机4的两个帧可以使用该相机4的已知的固有和标称外部校准被校正成虚拟平面视图，即所谓的俯视透视图。具体地，在相机4具有鱼眼镜头的情况下执行步骤S1，以便消除由相机4捕获的图像的鱼眼失真。标称的外部校准由机械说明给出，并且特别地由于相机4的安装中的机械公差而包含一些误差。可能导致非理想的倾斜虚拟平面视图呈现出一些透视变形。

在第二步骤S2中，执行块匹配操作，其匹配在与每个相机4相关的部分中的两个图像13(特别是虚拟平面视图)之间的像素的小矩形块14(参见图3)。图像13在图像坐标x、y中描述。

参考块可以在一帧中，第一图像中，的预定义固定位置被选择，并且在另一帧，例如在前第二图像，中的指定搜索区域内被搜索。参考块可以是相邻的或重叠的，并且它们的形状可以是矩形、圆形或任何其他形状。通常，使用布置在规则网格上的相邻矩形块。块大小可以变化(例如8x8、16x16、24x24、32x32像素或更多)，这取决于图像质量和平面视图的比例。在匹配操作期间，每个块14内的像素可以被跳过，特别是被子采样，以加速计算。在识别两个图像中的两个相互对应的块14之后，对于对应块14的每对，由于车辆运动，确定运动矢量或位移矢量，其描述在图像13之间显示特定路面区域的一个图像区域的位置的位移。换句话说，块匹配步骤S3为每个相机4产生一组运动矢量。

搜索区域可以根据从当前校准得到的预测和可以在车辆侧网络(CAN或FlexRay)上公布的车辆里程计动态地定位在每个帧中。使用车辆里程计不是强制性的，但简化了算法设计。或者，可以使用大的固定搜索区域，其覆盖预定的操作速度范围，并因此覆盖两个图像13内的块14的预期位移。多标度块匹配方法或其他智能方法也可用于加速搜索而不使用里程计。

可以使用典型的块匹配算法，例如用于视频压缩的运动估计的那些。这些包括但不限于全搜索，也称为其中检查指定搜索区域内的所有可能位置的穷举搜索算法，以及基于梯度下降的方法，例如菱形搜索或基于六边形的搜索。还可以使用典型的成本函数，也称为块失真度量，例如互相关、绝对差之和、平方差之和或更先进的方法，例如绝对变换差的总和、秩、普查、频域方法或更多。

特别地，图像或输入帧由最小所需行进距离分开，使得提取的运动矢量具有几个像素的最小长度，因此携带较小的相对误差。这在机动车辆1的正常行驶速度(也取决于虚拟平面图的比例)和/或通过在机动车辆1的极低速度下跳过帧自然地实现。这是基于如下认知：对于短运动矢量，观测噪声、地面11的不规则性和车辆振荡注入计算中的误差的影响更为显著。

第三步骤S3形成部分校准步骤，该部分校准步骤对提取的运动矢量执行以校正相对于车辆横向轴线Y和垂直轴线Z(分别使滚动旋转相对于纵向轴线X不变)的俯仰和偏航相机旋转。可以正确地执行该校准，而不需要由运动矢量表示的特征位于地面11上，即它不受路缘12或类似物体的影响。其优点是它可以消除大部分可能导致后来误报检测的透视错误。为了校准，制定要最小化的成本函数，其利用地平面11上的运动矢量的几何特性，特别是考虑到近似直线驱动的约束。

当在平地上直线行驶时，校准***应该在虚拟平面视图上产生没有透视失真的运动矢量，即全部平行于水平x轴并且具有相等长度的运动矢量。最简单地，该目标可以通过y分量的平方和和所有运动矢量的x分量的方差来表示。对于理想条件下的校准相机，这将为零。这里，通过仅使用运动矢量的y分量来特别地校准运动矢量，以使它们全部水平而不均衡它们的长度。通过最小化成本函数，运动矢量可以被映射到部分旋转补偿和校准的运动矢量v_i,c1、v_i,c2，如图3所示。运动矢量v_i,c1、v_i,c2没有透视失真和都平行于水平x轴。与多个对应块相关的部分旋转补偿的运动矢量可以重新投影在路面11或地平面的平面上，其中重新投影的、部分校准的运动矢量特别是定向平行于纵向车辆轴线X。

从一对帧导出的运动矢量实际上是立体对应并且包含3D深度信息，其可以通过三角测量和已知的自我运动来提取。因此，在第四步骤S4中，基于运动矢量v_i,c1、v_i,c2从图像中提取深度信息，以便检测细长物体12。车辆1以及因此相机自我运动可以从车载里程计传感器导出或从运动矢量计算估计，也称为视觉测距。还可以通过束调整同时获得深度和自我运动信息。然而，考虑到可预测的车辆运动、近似已知的外部相机校准和汽车1附近的地面附近的特征，可以显著地约束任何形式的计算。例如，当车辆1转弯时，相机4大约仅围绕垂直轴Z旋转，可以从车载里程计传感器充分预测车辆运动。外部校准尤其从机械规范中已知，在任何轴X、Y、Z中通常具有+/-3度误差的公差。考虑到这些因素并将它们作为计算中的约束结合可以导致非常稳定的解，否则将很难实现。

由于特别是主要是直线车辆运动被涉及，自我运动减少到简单的转变并且不需要进一步的补偿。对于经校正的立体图像对，特征点的深度，或者更确切地说，与物体12相关联的检测点，与其视差成反比。

特别地，相关性是z＝f*b/d，其中z是未知深度，d是已知视差，f是虚拟相机的焦距，b是基线。线性运动和虚拟平面图容易提供校正的立体图像对，其中基线等于两帧之间的行进距离，并且通过用于生成虚拟平面图的虚拟相机的规范已知焦距。然后可以根据其视差来计算特征点的深度，该视差等于对应的运动矢量v_i,c1、v_i,c2的长度。

较小深度的特征通常具有较大的差异。换句话说，更靠近相机4的特征，例如路缘12，产生比有关地面11的特征更长的运动矢量v_i,c2，如图3所示。类似地，低于地面11的特征，例如沟渠，产生较短的运动矢量。从图3中可以看出，包括第一和第二行R1、R2的第一块区域15中的运动矢量v_i,c1的长度l₁大于包括第三、第四、第五和第六行R3、R4、R5、R6的第二块区域16中的运动矢量v_i,c2的长度l₂。因此，第一块区域15中的运动矢量v_i,c1由沿着道路10的细长物体12产生，并且第二块区域16中的运动矢量v_i,c2属于路面11。

换句话说，一对帧中的路缘12的存在可以通过相邻行之间，这里在由线17视觉上分开的第二和第三行R2、R3之间，的运动矢量v_i,c1、v_i,c2的长度l₁、l₂的突然变化来推断。由于兴趣仅针对深度的相对变化，因此不必计算每个特征的实际深度。相反，统计数据可以直接应用于运动矢量v_i,c1、v_i,c2的长度l₁、l₂。

为此，可以使用启发式方法。从前一行R1至R6中的对应运动矢量v_i,c1、v_i,c2中减去每行R1至R6上的运动矢量v_i,c1、v_i,c2。中值滤波器可以应用于每行R1至R6的这些差以去除异常值。然后，可以计算平均差以获得该行R1至R6的单个分数。在两个连续行之间，这里行R2和R3之间，的深度的突然变化产生更高的分数。对分数的方差进行阈值处理给出了用于存在路缘12的二元分类器或者通常是地面11的深度的突然变化。该启发式可以容忍相机4的滚动中的校准误差，即关于车辆纵向轴X，因为这以均匀的方式改变不同行R1至R6之间的运动矢量v_i,c1、v_i,c2的长度l₁、l₂。在步骤S3中已经去除了俯仰和偏转旋转中的校准误差。

此外，深度图可以直接从运动矢量v_i,c1、v_i,c2中提取，或者更确切地说是差异，如前所述。然后，可以在深度图上拟合3D路缘模型。该模型将包括处于不同高度的两个平面中最简单的一个平面，其中一个平面假定为Z＝0处的地平面。路缘边缘的位置可以通过约束为与纵向轴X平行的线或线来参数化。这将需要用于平面之间的高度差的一个参数和用于线的一个或两个参数。可以从模型参数和拟合优度推断出路缘12的存在和位置。更复杂的模型也是可能的，例如考虑倾斜的平面或弯曲的表面和/或弯曲的路缘。

Claims (12)

1.一种用于基于用于对至少一个相机(4)进行外部校准的、由至少一个车辆侧相机(4)连续地捕获的机动车辆(1)的环境区域(9)的至少两个图像(13)检测机动车辆(1)的道路(10)旁边的物体(12)方法，其中图像(13)至少部分地显示路面(11)的纹理，并且其中以下步骤被执行：

a)基于至少两个图像(13)确定至少两个相互对应的块(14)；

b)确定至少两对相互对应的块(14)中的每一个的相应运动矢量；

c)基于所述至少两个运动矢量确定关于所述至少两个图像(13)的深度信息；

d)基于深度信息检测物体(12)，

其中，确定描述每对运动矢量与预定矢量之间的偏差的成本函数，通过最小化成本函数对于对应块(14)的每对确定部分旋转补偿的运动矢量，以及基于部分旋转补偿的运动矢量确定深度信息，

其特征在于，在步骤d)中检测物体(12)的不存在的情况下，执行步骤f)，包括基于所述至少两个图像的相机(4)的外部校准，其中通过均衡部分旋转补偿的运动矢量的长度，基于部分旋转补偿的运动矢量，校准所述至少一个相机(4)的旋转，以及通过根据均衡的长度和均衡的长度的期望值确定相机(4)的当前高度，校准相机(4)的高度。

2.根据权利要求1所述的方法，

其特征在于

为了确定深度信息，确定所述至少两个运动矢量中的每一个的长度，并且基于所述至少两个运动矢量的长度之间的差来检测所述物体(12)。

3.根据权利要求2所述的方法，

其特征在于

所述至少两个图像(13)被分成以列和行排列的多个块(14)，其中与每个特定行和列相关的所确定的运动矢量被确定，并通过从前一相邻行的运动矢量减去每行的运动矢量而确定与两个相邻行相关的两个运动矢量之间的差。

4.根据权利要求3所述的方法，

其特征在于

中值滤波器被应用于每行的所有差，以便去除异常值。

5.根据权利要求3或4所述的方法，

其特征在于

对于两个相邻行，基于为两个相邻行计算的差计算平均差，其中如果平均差超过预定阈值，则物体(12)被检测。

6.根据前述权利要求1-4中任一项所述的方法，

其特征在于

为了检测物体(12)，仅在机动车辆(1)的预定最小速度的情况下，基于至少两个图像(13)确定运动矢量。

7.根据权利要求1所述的方法，

其特征在于

仅基于描述沿预定方向的两个对应块的位移的运动矢量的第一分量来确定成本函数。

8.根据权利要求1所述的方法，

其特征在于

根据机动车辆(1)的速度预设均衡的长度的预期值，其中通过里程计和/或基于根据由机动车辆(1)的至少一个另外的相机(4)捕获的图像(13)确定的至少一个另外的运动矢量来确定机动车辆(1)的速度。

9.根据前述权利要求1-4中任一项所述的方法，

其特征在于

在由包括鱼眼镜头的相机(4)捕获的图像(13)的情况下，在步骤a)之前执行步骤e)，其中步骤e)去除图像(13)的鱼眼失真。

10.一种用于机动车辆(1)的驾驶员辅助***(2)的计算设备(3)，其适于执行根据前述权利要求中任一项所述的方法。

11.一种用于机动车辆(1)的驾驶员辅助***(2)，包括至少一个相机(4)和根据权利要求10所述的计算设备(3)。

12.一种具有根据权利要求11所述的驾驶员辅助***(2)的机动车辆(1)。

Images