CN116348915A

CN116348915A - 用于计算与对象和相机之间的相对速度相关的信息的方法、用于车辆的控制方法、计算机程序、计算机可读记录介质、对象运动分析以及控制

Info

Publication number: CN116348915A
Application number: CN202080105838.0A
Authority: CN
Inventors: 尼古拉·丘梅林; 马克·佩罗曼斯
Original assignee: Katholieke Universiteit Leuven; Toyota Motor Europe NV SA
Current assignee: Katholieke Universiteit Leuven; Toyota Motor Europe NV SA
Priority date: 2020-08-04
Filing date: 2020-08-04
Publication date: 2023-06-27
Also published as: WO2022028673A1; US20230289983A1

Abstract

计算机实现的方法，用于基于由相机获取的对象的两个图像(I_k,I_k+1)来计算与对象(200)和相机(30)之间的相对速度相关的信息。该方法包括：S41)确定两个图像(I_k,I_k+1)之间的光流(F)的值；并且，与确定光流的值一起或者在确定光流的值之后，使用光流来确定变换的至少一个参数(s,tx,ty)；以及S42)基于变换的所述至少一个参数(s,tx,ty)来计算与对象和相机之间的相对速度相关的信息(RVD,TtC)。还公开了用于车辆的控制方法和基于上述方法的对象运动分析***，以及实现上述方法的计算机程序和计算机可读记录介质。

Description

用于计算与对象和相机之间的相对速度相关的信息的方法、用于车辆的控制方法、计算机程序、计算机可读记录介质、对象运动分析***以及控制***

技术领域

本公开主要涉及用于估计在由一个或多个相机输出的图像序列中检测到的对象的速度的方法。通过扩展，还涉及使用由该方法估计的相对速度信息的车辆控制。

背景技术

当车辆正在移动时，检测在车辆周围移动的独立移动的对象对于安全地驾驶车辆是至关重要的。估计这些对象相对于车辆的相对速度当然也是非常重要的。

该相对速度通常可以由安装在车辆上的雷达来确定。

然而，在移动对象不在车辆的雷达的获取区域的情况下，或者在这些雷达中的一个雷达发生故障的情况下，可能有必要使用替代方法来获得关于车辆和车辆周围移动的移动对象之间的相对速度的信息。

因此，需要一种能够提供关于对象和车辆之间的相对速度的信息的方法和设备，特别是当这种信息不能由车辆的雷达提供时。

发明内容

本发明是考虑到现有技术的上述问题而构思的，因此本公开的第一目的是提出用于计算与对象和“观察者”(其可以是例如车辆，但是观察者可以更一般地是场景的任何静态观察者)之间的相对速度相关的信息的方法，该方法不依赖于雷达。

根据本公开，提出了用于计算与对象和相机之间的相对速度相关的信息的计算机实现的方法。

该方法基于从由相机输出的图像帧导出的对象的初始图像I_k和最终图像I_k+1，并且包括以下步骤：

S41)确定初始图像和最终图像之间的光流的值，该光流针对初始图像的像素定义其在初始图像变换为最终图像的变换期间的估计运动；以及，

与确定光流的值一起或在确定光流的值之后，使用光流来确定变换的至少一个参数；以及

S42)基于变换的至少一个参数来计算与对象和相机之间的相对速度相关的信息。

与车辆和对象之间的相对速度相关的信息可以是例如指示检测到的对象是移动远离还是移动朝向车辆的值；它可以是检测到的对象相对于车辆的深度相对速度(relative velocity in depth)；与检测到的车辆碰撞的时间；或者检测到的对象相对于车辆的(深度)相对加速度；等。

在根据本公开的方法中，可以不仅基于变换的所述至少一个参数的单个值，而且基于变换的所述至少一个参数的多个值，来计算与对象和相机之间的相对速度相关的信息。在这种情况下，可以通过多次执行步骤S41来计算该多个值，以获得变换的(一个或多个)参数的多个估计(然后对多对图像执行步骤S41，每对图像包括初始图像和最终图像)；以及基于变换的(一个或多个)参数的所述多个估计来计算与相对速度相关的信息。

有利的是，该方法仅使用非常便宜和通用的传感器：相机。

该方法仅使用基于由相机输出的一对帧的一对图像来计算与对象和相机之间的相对速度相关的信息。从其中导出初始图像和最终图像的这一对帧通常由相机在两个不同时间点处获取的两个帧组成(这里k是指在由相机输出的图像序列中的帧的编号)。

重要的是，在本公开的方法中，初始图像可以在时间上在最终图像之前或之后表示对象：这两个图像的顺序(相对于时间)并不重要。

该方法不使用由相机输出的整个帧，而是仅使用这些帧中表示相对速度将被估计的对象的部分。

因此，初步步骤包括从该一对帧中提取表示这两个帧中的对象的两个图像(“子图像”或“分块”)。这两个子图像或分块是本方法所依赖的初始图像和最终图像。

根据本公开，已经观察到，可以在(至少)两个步骤中，使用光流来计算与对象和相机之间的相对速度相关的信息。如本领域所公知的，光流包括运动矢量(u,v)的坐标，运动矢量(u,v)的坐标定义了像素(x,y)在初始图像变换为最终图像的变换中的运动。因此，光流在以下光流方程中由函数F定义：

(u,v)＝F(x,y)

检测感兴趣的对象(例如，车辆)，并且使用对象检测算法在连续帧中的每一帧中确定其边界框。几种这样的检测算法是众所周知的，例如SSD、Yolo、AdaBoost等)。使用已经确定的边界框将以这种方式识别出的并且表示对象的子图像从帧中裁剪出来。此外，3D对象检测的最新进展，例如MonoDis，可以用作该方法的先前步骤。并且，诸如Mask-RCNN的实例分割方法也可以用于在背景和前景之间做出区分。

假设所观察到的对象是刚性的，并且因此，对其在图像中的投影视图进行约束变换。在更一般或更极端的情况下，这可以由透视或仿射变换来表示，但是，特别是对于在大距离处观看的对象，该变换优选地由相似性变换来表示，该相似性变换仅涉及缩放(扩展)和平移(tx,ty)。

在这些假设下，从表示对象的像素(x,y)的前一帧到当前帧的表观运动(光流)(u,v)可以表示为：

(x,y)→(x+u,y+v)＝s·(x,y)+(tx,ty)，或

注意，(1)中的扩展和平移被认为对于分块的所有点都是相同的。扩展s的值通常接近于1，并且s>1的情况对应于扩展(接近)对象，而0<s<1的情况对应于收缩(离开)对象。

因此，在微分光流方程中，(u,v)可以被替换为s、tx以及ty的函数。

这可以得到不同的差分光流方程；在霍恩-舒克(Horn-Schunck)算法的情况下，这种微分光流方程可以表示为：

在一些实施例中，本公开提出了一种针对分块内的每个点(x,y)对该方程进行估计的方法，该方法提供了针对三个变量s、tx和ty的超定方程***。

通过求解上述针对整个分块或其重要部分的方程，可以高精度地获得关于与对象和相机之间的相对速度相关的信息。

所提出的方法的两个步骤S41和S42可以描述如下。

在S41中，首先，针对初始图像或最终图像之一的像素确定光流的值；并且与确定光流的值一起或者在确定光流的值之后，使用光流来确定变换的至少一个参数。

这里，术语“使用”意味着在确定变换的(一个或多个)参数期间，光流被用作输入或用作中间变量。

在该步骤中，变换的(一个或多个)参数是与确定光流的值一起或在确定光流的值之后被确定。

然后，在S42中，基于在第一个步骤中确定的变换的(一个或多个)参数，计算与对象和相机之间的相对速度相关的信息。

直接方法

第一实施例定义了“直接方法”，将其称为“直接方法”是因为变换的(一个或多个)参数是在一个步骤(下面的步骤S412)中计算的。

在该方法中，步骤S41包括两个子步骤：

S411)确定两个图像之间的光流的值；以及，

变换后的像素是通过将变换应用于相应的先前像素而获得的像素，

变换后的像素的坐标因此是通过将相应的先前像素的光流F的值与相应的先前像素的坐标相加而获得的；

S412)求解使用变换的所述至少一个参数将变换后的像素的坐标表示为对应的先前像素的坐标的函数的方程组，并且从而确定变换的所述至少一个参数。

在步骤S411期间，可以通过任何已知的方法来计算光流。例如可以使用卢卡斯-卡纳德(Lucas-Kanade)算法、Horn-Schunck算法等来计算光流。

然后，在步骤S412期间，基于光流，计算变换的(一个或多个)参数。在该步骤期间，例如通过对线性模型进行鲁棒拟合，例如通过RANSAC方法或IRLS方法(“迭代重加权最小二乘”方法)，可以求解该方程组。

迭代方法

作为直接方法的替代方法，在第二或替代方法中，变换的(一个或多个)参数被迭代地计算。在该方法中，总共计算了变换的(一个或多个)参数以及光流。

迭代方法定义如下：

变换后的像素是通过将变换应用于相应的先前像素而获得的像素；

第一方程是使用变换的所述至少一个参数将变换后的像素的坐标表示为相应的先前像素的坐标的函数的方程，并且

第二方程是表示针对所考虑像素，关于所考虑像素处的像素强度I的空间-时间信息、关于偏离所考虑像素估计偏移值的另一像素处的像素强度的空间-时间信息以及变换的所述至少一个参数之间的关系的光流方程；

步骤S41包括执行如下初始化步骤：

S415)确定变换的所述至少一个参数和光流的初始值；

步骤S41还包括迭代地执行以下步骤：

S416)基于针对所述所考虑像素的光流F的估计值，通过求解针对初始图像的所考虑像素建立的第二方程组，来确定变换的所述至少一个参数的更新值；

S417)确定是否有必要执行(算法的)新的迭代；以及，

S418)使用针对所述所考虑像素的第一方程组以及在步骤S416中确定的(一个或多个)变换参数的值，来确定针对所述所考虑像素的光流F的更新的估计值。

步骤S418优选地是条件步骤，其仅当如果在步骤S417中确定有必要执行另一迭代时才执行。

空间-时间信息可以包括例如在所考虑像素处的像素强度的空间-时间导数。

在步骤S417中，在一些实施例中，当确定(一个或多个)参数的更新值和先前计算的(一个或多个)参数的值之间的差值超过预定阈值时，确定有必要执行算法的新的迭代。

替代地或附加地，在其它实施例中，只要(或仅当)没有超过迭代的最大次数i_max，则确定有必要执行算法的新的迭代。

在本第二方法中，与直接方法相反，光流F不是自由定义的“每像素流场”，而是由为对整个子图像的运动建模而选择的变换来定义。

因此，光流F可以用函数表示。可以使用许多不同的功能。

例如，在一实施例中，按照连续帧中子图像中心之间的扩展s以及位移矢量(tx,ty)来表示流。然而，可以选择任何其他合适的表达式来对光流F建模。

有利地，已经发现用本方法识别的变换的(一个或多个)参数(诸如膨胀率等)在数值上非常稳定——至少对于小位移——甚至在输入图像中存在噪声、衰减或压缩伪像的情况下也是如此。

在该方法中，使用称为“双局部算法”的算法，与变换的(一个或多个)参数一起并由变换的(一个或多个)参数约束地逐步地估计初始图像的像素的光流F的值。

在光流的值大的情况下，即像素从初始图像到最终图像的运动大的情况下，双局部算法尤其适用。当光流的初始估计可以从由相机获取的先前的帧导出时，该算法可以以特别有效的方式实现。

在通常的光流确定方法中，基于两个图像之间的位移，通过考虑在两个图像中的单个位置处的空间-时间导数，假设运动小，来确定光流。

相反，第二方法是“双局部”方法。术语“双局部”意味着光流方程现在被公式化为考虑图像中两个不同位置处(上述“所考虑像素”以及“另一像素”)的空间-时间信息。

另一像素是通过将“所考虑像素”移位一估计偏移值而获得的。该偏移值是基于光流的当前值而计算的；例如，它可以等于光流的当前值。

归功于该特征，即使在从一帧到下一帧的位移大的情况下也可以使用第二方法。

当然，不需要为初始图像或最终图像的所有像素(或像素组合)建立方程。然而，所使用的像素的数量越多，在确定变换的(一个或多个)参数时的精确度越高。

在一实施例中，针对所述所考虑像素中的每一个所考虑像素，第二方程组表示在所述所考虑像素处的初始图像中的空间-时间信息与最终图像中的所述另一像素处的空间-时间信息之间的关系。

在一实施例中，其中，变换是由变换参数s、tx和ty定义的相似性，第二方程组定义为：

其中，针对当前迭代I，双局部空间导数

和/>

以及双局部时间导数/>

定义为：

其中，u_i、v_i是针对当前迭代i的光流F的值。

根据本公开的计算方法(具体地，直接方法和迭代方法)可以针对多种变换来实现。例如，该变换可以是透视变换、与平移相结合的相似性变换、仿射变换、与平移相结合的刚性对象的旋转。

在计算出与对象和相机之间的相对速度相关的信息之后，在步骤S42中，这种信息可以用于各种目的。

在一个特别感兴趣的实施例中，该信息用于控制至少一个设备，例如车辆的至少一个设备。

例如，控制方法可以包括以下步骤：

S10)利用至少一个相机获取所述至少一个相机的环境的相机图像；

S20)在由所述至少一个相机中的一个相机获取的至少一相机图像对中识别对象；

S30)提取对象的初始图像和最终图像，该初始图像和最终图像是所述相机图像对中由识别出的所述对象的边界框定义的部分；

S40)使用上述定义的方法中的一个方法来计算与对象和所述至少一个相机之间的相对速度相关的信息；

S50)基于与对象和所述至少一个相机之间的相对速度相关的所述信息来控制所述至少一个车辆设备。

在一个特定实施方式中，所提出的控制方法由计算机程序指令确定。

因此，本公开的另一目的是提出计算机程序，该计算机程序存储在非暂时性计算机可读存储介质上，并且适于在处理器上执行，该程序包括指令，该指令在处理器上运行时，适于执行如上定义的方法的步骤。

该计算机程序可以使用任何编程语言，并且可以是源代码、目标代码或者在源代码和目标代码之间的中间代码的形式，诸如以部分编译的形式，或者以任何其它期望的形式。

上述处理器可以是任何数据处理装置，例如个人计算机、配置成安装在汽车中的电子控制单元等。

本公开还包括计算机可读介质，该计算机可读介质存储有指令该指令在由处理器执行时，致使处理器执行上述计算机程序。

该计算机可读介质可以是能够存储程序的实体或设备。例如，计算机可读介质可以包括存储装置，诸如只读存储器(Read Only Memory，ROM)，例如光盘(Compact Disk，CD)ROM，或微电子电路ROM，或者实际上是磁记录装置，例如软盘或硬盘。

替代地，计算机可读介质可以是其中包含有程序的集成电路，该电路适于执行或用于执行所讨论的控制方法。

本公开的另一目的是提出对象运动分析***。该对象运动分析***包括电子控制单元，该电子控制单元配置为，基于从由相机输出的图像帧导出的对象的初始图像和最终图像：

S41)确定初始图像和最终图像之间的光流的值，该光流针对初始图像的像素定义其在初始图像变换为所述最终图像的变换期间的估计运动；以及，

S42)基于变换的所述至少一个参数来计算与对象和相机之间的相对速度相关的信息。

更广泛地，本发明包括对象运动分析***，该对象运动分析***包括电子控制单元，该电子控制单元配置为，基于从由相机输出的图像帧导出的对象的初始图像和最终图像来执行上述方法中的一个方法。

在一实施例中，电子控制单元配置为：

S411)确定两个图像之间的光流的值；并且，

S412)求解使用变换的所述至少一个参数将变换后的像素的坐标表示为相应的先前像素的坐标的函数的方程组，并且从而确定变换的所述至少一个参数。

例如，电子控制单元可以配置为通过对线性模型进行鲁棒拟合，例如通过RANSAC方法或IRLS方法，来求解方程组。

替代地，在一实施例中，并且基于如上呈现的第一方程和第二方程的定义，电子控制单元配置为执行以下初始化步骤：

S415)确定变换的所述至少一个参数和光流的初始值；

电子控制单元还配置为迭代地执行以下步骤：

S416)基于针对所述所考虑像素的光流F的估计值，并通过求解针对初始图像的所考虑像素建立的第二方程组，来确定变换的所述至少一个参数的更新值；

S417)确定是否有必要执行新的迭代；以及

该变换特别地可以是透视变换、与平移相结合的相似性变换、仿射变换、与平移相结合的刚性对象的旋转。

只有在步骤417中确定有必要执行另一迭代时，才优选地在步骤S418中确定针对所述所考虑像素的光流F的更新的估计值。

对象运动分析***可以特别地集成在控制***中，特别是用于车辆的自动驾驶***中。

在这种情况下，控制***包括至少一个相机，该至少一个相机配置为获取图像；并且电子控制单元配置为：

S10)利用所述至少一个相机获取所述至少一个相机的环境的相机图像；

S20)在由所述(一个或多个)相机中的一个相机获取的至少一相机图像对中识别对象；

S40)使用上述定义的方法中的一个方法来计算与对象和所述至少一个相机之间的相对速度相关的信息；以及

S50)基于与对象和所述至少一个相机之间的相对速度相关的所述信息来控制自动控制***的至少一个车辆设备。

附图说明

通过参考附图，本领域技术人员可以更好地理解本公开内容，并且其许多其它目的和优点将变得显而易见，在附图中，相似的附图标记表示几个附图中的相似要素，并且其中：

图1是基本示出根据本公开的装备有自动驾驶***的汽车的示意图；

图2是示出根据按照本公开的方法的第一实施例的用于确定与移动对象和车辆的相机之间的相对速度相关的信息的方法的步骤的框图；以及

图3是示出根据按照本公开的方法的第二实施例的用于确定与移动对象和车辆的相机之间的相对速度相关的信息的方法的步骤的框图。

具体实施方式

现在将描述配置为实现所提出的用于控制至少一个设备的方法的自动驾驶***10(作为根据本公开的控制***的示例)。

图1示意性地示出了装配有自动驾驶***10的汽车100，该自动驾驶***10形成了根据本公开的控制***的示例性实施例。汽车100在道路上移动(箭头A)；在相反的方向上，在另一车道中另一汽车200正在驶来。

自动驾驶***10(或者简称，***10)包括对象运动分析***，该对象运动分析***包括电子控制单元20、相机30以及几个其它未示出的传感器。

由相机30产生的图像被发送到电子控制单元20(ECU 20)。

ECU 20总体上具有计算机的硬件架构。ECU 20包括微处理器22、随机存取存储器(Random Access Memory，RAM)24、只读存储器(Read Only Memory，ROM)26、接口28。

ECU 20的硬件元件可选地与自动驾驶***10的其它单元和/或汽车100的其它***共享。

接口28特别地包括安装在汽车的仪表板中或汽车的仪表板上的触觉显示器以及各种显示器。

接口28包括具有(未示出的)显示器的驾驶员接口，以向汽车100的驾驶员发送信息，以及与汽车的致动器和其它车辆设备的接口连接。特别地，接口28包括与汽车100的多个驱动致动器(即，发动机32、转向柱34和制动器36)的连接。

存储器26中存储有计算机程序，该计算机程序配置为通过执行车辆的横向和纵向控制来部分地承担驾驶任务。该程序配置为计算与在由相机30发送的图像中检测到的汽车100和周围对象之间的相对速度相关的信息。该程序还配置为输出至少在一些驾驶时段期间控制主车辆的驱动致动器的命令。

该程序和存储器26分别是根据本公开的计算机程序和非暂时性计算机可读介质的示例。

ECU 20的只读存储器26确实构成了根据本公开的可由处理器22读取的非暂时性计算机可读介质。它存储有指令，该指令在由处理器执行时，致使处理器22执行根据本公开的控制方法。

更具体地，存储在存储器26中的程序包括用于执行方法的指令，该方法用于基于与车辆和在车辆之外移动的“独立移动对象”(Independently Moving Object，IMO)之间的相对速度相关的信息来控制车辆100的多个设备。在本实施例中，将在相反方向上驶来的车辆200作为车辆100之外的IMO的示例。在本实施例中，自动驾驶***10构成根据本公开的示例性对象运动分析***。

为了执行其功能，***10使用由相机30提供的图像，在ECU 20中处理这些图像，并且基于由ECU 20计算的与车辆和在车辆周围检测到的“独立移动对象”之间的相对速度相关的信息来控制车辆100。

根据本公开，可以在驾驶期间特别地根据图2和图3所示的控制方法中的一个方法来控制车辆100，图2和图3表示根据本公开的控制方法的示例性实施例。

在图2的控制方法中，以直接两步方法计算将初始图像变换为最终图像的变换的(一个或多个)参数。相反，在图3的控制方法中，迭代地计算该(一个或多个)参数。

现在将描述图2和图3所示的控制方法的步骤。

步骤S10-S30：准备

在图2和图3所示的控制方法中，控制方法首先包括以下准备步骤：

S10)通过相机30连续获取车辆的环境的相机图像。对于这些连续获取中的每一个获取，递增主索引k的值。实际上，相机30连续地监视汽车100前方的场景，并因此以每秒30帧的速率将图像帧发送到电子控制单元20。

S20)在这些图像的每一个图像中，电子控制单元识别存在的对象。这种识别是使用神经网络进行的，并且集中在识别特别是行人、其它车辆等。

在本示例中，在由相机30发送的连续图像中识别即将驶来的汽车200。

S30)当在图像中识别出对象时，从相机图像中提取对象的图像。为此目的，针对这些相机图像中的每一个相机图像中的对象确定边界框。然后，从相机图像中裁剪出显示图像中的对象的子图像，以便由对象的边界框来定义。

根据该过程，两个图像(本示例中的I_k和I_k+1，其中k和k+1对应于相机30的连续的两次获取)因此是从由相机30获取的帧中提取的，并且表示具有本公开含义的对象的初始图像和最终图像。

这些图像中的每一个图像形成像素强度I(x,y)的矩阵。

步骤S40：计算与相对速度相关的信息

S40)然后，在两个步骤S41以及S42中计算与对象和相机之间的相对速度相关的信息。

步骤S41

在步骤S41，确定两个图像I_k和I_k+1之间的光流F；然后，一旦确定了光流F，就使用光流F计算将初始图像(I_k)变换为最终图像(I_k+1)的变换的(一个或多个)参数。

光流针对初始图像(I_k)的像素(x,y)，定义这些像素在初始图像(I_k)和最终图像(I_k+1)之间的估计运动(u,v)。如前所述，一般地说，光流由函数F定义，该函数F提供作为(x,y)的函数的(u,v)：

(u,v)＝F(x,y)

在该表达式中，对(x,y)表示初始图像中的像素的坐标。通常，通过做出一些假设来简化计算，从而对光流进行建模。

在一些实施例中，例如，在此结合图2和图3考虑的实施例中(在本公开的范围内当然也可能有其它可能性)，假设图像的变换是与平移(tx,ty)相结合的比率s的相似性。因此，变换后的像素的位置由以下方程定义：

更一般地，在根据本公开的方法中，可以使用任何种类的函数来定义图像的变换。例如，变换可以被定义为透视变换、仿射变换、与平移相结合的刚性对象的旋转等。

因此，在本实施例中，光流F由下面的方程组(1')表示，其等价于***(1)：

可以针对初始图像中其光流(u,v)能够被计算的任何像素(x,y)建立***(1')。

步骤41可以以不同的方式实现。下面将更详细地给出步骤S41的两个优选实施方式：图2所示的“直接方法”，以及图3所示的“迭代方法”。

步骤S41-直接方法(图2)

在该控制方法的实施方式中，步骤S41包括两个子步骤。

在第一子步骤S411中，确定光流F。这里，可以使用任何已知的方法来计算光流F。

然后，在子步骤S412中，确定变换的(一个或多个)参数。

例如，如果变换是与如上所构思的由参数s、tx、ty定义的平移相结合的相似性，则通过组合针对初始图像中其光流能够被计算的所有像素(x,y)建立的所有***(1')，即得到一个大的方程组。这个方程组仅包括三个未知数，s、tx和ty。

在步骤S412期间，通过任何已知的方法求解该方程组。它可以例如通过最小二乘法经典地求解；然而，优选地使用鲁棒拟合方法，例如RANSAC方法、IRLS方法等。

步骤S41-迭代方法(图3)

在如前所述的步骤S41中，基于初始图像(I_k)和最终图像(I_k+1)来确定变换的(一个或多个)参数(s,tx,ty)。

在步骤S41的该实施方式中，步骤S41包括初始化子步骤S415，随后是迭代执行的几个子步骤。在每次迭代时，索引i递增，该索引i是在步骤S41中嵌套的本地循环的索引。

首先，在初始化步骤S415(i＝0)中，针对估计的光流F设定初始值。

在迭代方法中，光流F由变换的(一个或多个)参数约束(或定义)。因此，通过初始化变换的(一个或多个)参数来执行流的初始化。

因此，初始化包括针对变换的(一个或多个)参数设定初始值。在本示例性实施例中，可以例如选择以下值：

(s,tx,ty)₀＝(1,0,0)。

因此，针对子图像中的每个像素，u₀＝v₀＝0(这里，在变量(s,tx,ty)₀、u₀和v₀中，下标指的是i，其中i＝0)。

光流的初始化不限于u₀＝v₀＝0。可以使用u₀和v₀的任何合理的初始值。例如，可以通过执行上述直接方法来初始化它们的值。

然后，在步骤S416中，计算变换的(一个或多个)参数的更新值(s,tx,ty)_i+1。

在应用先前提出的“双局部算法”的原理时，步骤S416基于以下计算：

针对初始图像I_k中能够被计算的像素，引入双局部空间导数，针对当前迭代i双局部空间导数表示为

和/>

并且被定义如下：

在上述方程中，值u_i、v_i是针对当前迭代(针对索引i的待决值)的光流F的值。

此外，还引入了下面的双局部时间导数

其定义如下：

上述双局部时间导数

也可以以如下简化形式表示：

双局部空间导数

和/>

和双局部时间导数/>

是根据本公开的空间-时间信息的示例。

在数值侧，对于该实施方式，通过简单的[-1,0,1]卷积模板(convolution mask)来评估上述空间导数

和/>

使用双线性内插执行(x+u_i,y+v_i)处的空间-时间信息的评估。

为了用公式表示双局部光流，例如基于Horn-Schunck算法，使用基本(局部)光流方程来表示在跨越连续帧的像素的亮度强度的守恒。这得到：

当然，除了跨越帧的像素的亮度强度守恒之外的其它标准可以用于计算双局部公式(其定义了第二方程2d₁)。

作为示例，可以在强度变化上增加加性缩放和乘性缩放的可能性。此外，上面的Horn和Schunck方程仅对一阶效应进行建模，忽略了泰勒展开中的高阶项(方程2d₂)。同样从这个角度来看，有可能在光流方程中增加二阶项和高阶项。

给定在所考虑像素处的光流的估计(u_i,v_i)，可以使用当前帧I_k和下一帧I_k+1(下一帧I_k+1与该初始估计一起“扭曲”(“warped”))来重新形成上述方程(2d₁)。因此，双局部光流方程可以如下公式表示，其中，将方程(2d₁)应用于残余流(u-u_i，v-v_i)：

上述方程解释如下：

注意：在下面的描述中，光流估计被标注为

而不涉及迭代过程，因为数学描述是通用的并且不依赖于迭代。

让我们考虑向量

以及在距离/>

上平移并且在两个连续帧k和k+1中的位置/>

处被观察的强度图像I(这里针对两个帧给出分析，但是可以将其应用到多于两个的帧中)：

·跨越连续帧的亮度守恒规则强制

对于小位移，可以使用泰勒展开来近似该方程，从而，

当省略二阶效应时，方程(2d₂)等价于1D方程

其等价于涉及x处的空间和时间信息的方程(2d₁)的标量公式。时间导数/>

表示两个选择的连续帧之间的强度变化。

·此外，从方程(2d₂)开始，还可以将k+1视为参考并且表达从帧k+1至k的观察到的运动–u，即

这得到：

从(2d₂)和(2d₃)得出：

这证实了在亮度守恒假设下，梯度保持恒定。

·给定针对实际运动

的估计/>

以及残余运动/>

其遵循方程(2d₂)和(2d₃)：

方程(2d₄)在

和/>

处建立了残余运动/>

和空间-时间信息之间的双局部关系。

在该公式中，存在

较小的隐含假设，但是对/>

或/>

的大小没有限制。方程(2d₅)描述了帧I_k和I_k+1之间的等效前/后扭曲以及相应的运动。

方程(2d₄)等价于方程(2d)的标量公式。

然后可以通过用其作为(x,y)和变换的(一个或多个)参数的函数的表达式代替其中的光流(u,v)来简化上述方程。在所提出的实施例中，变换是由方程(1)定义的相似性变换，其参数是(s,tx,ty)。

因此，双局部光流方程(2d)可以用参数(s,tx,ty)表示为：

/>

方程(2d')构成具有本公开的含义的第二方程。

这些第二方程是针对能够被计算的所有像素所写的。由此获得一方程组，其表示关于在所考虑像素处的像素强度I的空间-时间信息、针对所述所考虑像素中的每一个所考虑像素的关于在另一像素处的像素强度I的空间-时间信息以及变换的(一个或多个)参数(s,tx,ty)之间的关系。

更具体地，针对所述所考虑像素中的每一个所考虑像素，这些第二方程表示在所述所考虑像素

处的初始图像I_k中的空间-时间信息与最终图像(I_k+1)中的所述另一像素

处的空间-时间信息之间的关系。

所述另一像素是从所考虑像素偏移估计偏移值，该估计偏移值基于所考虑像素的光流的当前值(u_i,v_i)。在本实施例中，估计偏移值等于光流的当前估计(u_i,v_i)。

该方程组(2d')是线性***(针对参数(s,tx,ty))，然后其被通过任何适当的方法求解，从而针对变换的参数s、tx和ty提供新的(或更新的)估计(s,tx,ty)_i+1。

然后，基于该更新的估计(s,tx,ty)_i+1，并且使用方程(1')，计算光流的更新值(u_i+1,v_i+1)。

然后，在步骤S417中，将参数(s,tx,ty)_i+1的新估计与先前估计(s,tx,ty)_i进行比较。如果差值超过预定阈值，则得出该算法还没有收敛的结论。

因此，该算法跳到步骤S418。在步骤S418中，针对初始图像中能够计算这些值的每个像素(x,y)，基于方程(1')，计算光流的更新值(u_i+1,v_i+1)。

然后，算法继续到步骤S416处，如上所述。

相反，如果在步骤S1417中，确定(s,tx,ty)_i+1和(s,tx,ty)_i之间的差值低于预定阈值，则得出该算法已经充分收敛的结论。因此得出结论，值(s,tx,ty)_i+1是将初始图像变换为最终图像的变换的(一个或多个)参数的值。

步骤S42

然后，该算法继续到步骤S42处。

在步骤S42中，将在步骤S412中计算出的变换的(一个或多个)参数的值用于计算与对象和相机之间的相对速度相关的信息。

该信息可以非常简单。例如，取决于相似性比率s的值，可以确定检测到的对象是移动远离(s<1)还是移动朝向(s>1)车辆。这种信息是与车辆和对象之间的相对速度相关的信息，并且有时足以决定停止跟踪对象(如果它移动远离的话)，或者相反地，如果它变得更接近的话，增加向对象投入的注意等级。

实际上，相似性比率s是视觉扩展参数：它表征对象的图像在由相机30获取的图像中增长或相反收缩得有多快。

作为可能从变换的(一个或多个)参数中提取到的与对象和相机之间的相对速度相关的另一信息，基于从车辆100到对象200的距离的相似性比率s以及估计D(其可以是粗略估计)，可以使用以下公式来计算对象相对于车辆的深度相对速度RVD：

RVD＝D·(1–s)/(T₁–T₀)

其中T₀和T₁是获取初始图像I_k和最终图像I_k+1的时刻。

作为可能从变换的(一个或多个)参数中提取到的与对象和相机之间的相对速度相关的另一信息，基于深度相对速度RVD，可以使用以下公式估计与对象(汽车200)碰撞的时间：

TtC＝D/RVD

还可以考虑在不同的时间步长T₀、……、T_n上的RVD和TtC的上述方程，假设例如在时段上的恒定相对速度。该组合导致方程组：

RVD＝D₀·(1–s_k)/(T_k–T₀),k＝1,…,n

其中s_k是不同时间步长T_k处的扩展速率，k＝1,…,n，并且都是相对于T₀处的初始帧计算的。

然后直接求解该联合齐次方程组以计算TtC：给定作为针对D的估计，RVD被计算为：

RVD＝D/TtC。

该特定公式通过TtC稳定了D和RVD的数值输出。

此外，除了相对速度RVD之外，在公式中还可以考虑相对加速度RAC以计算碰撞的时间TtC。

在这种情况下，速度不被认为是恒定的；在不同的时间步长T₀、……、T_n上且在给定用于每个时间步长的扩展s_k下的到对象的距离D_k可以表示为：

D_k＝D₀–RVD(T_k–T₀)–RAC(T_k–T₀)²/2＝s_k D₀

(上述方程可以被认为是汽车的运动学行为的泰勒展开：其当然可以包括(一个或多个)附加项)。

可以求解上述齐次方程组以确定RVD/D和RAC/D的值。由于存在两个未知数，所以必须使用至少3个观测值(例如，k＝1,2，还有用作参考的0)来获得解。

如果对于距离D₀存在适当的估计(例如，借由汽车宽度以及相机固有特性)，则可以基于RVD和RAC的值来计算碰撞的时间TtC。

最终步骤S50：控制至少一个车辆设备

S50)最后，电子控制单元20基于与对象和相机之间的相对速度相关的所述信息，例如基于视觉扩展s、汽车200的深度相对速度RVD和/或与汽车200的碰撞的时间TtC，输出命令以控制汽车100的至少一个车辆设备(32,34,36)。

尽管根据本公开的方法的实施例仅针对从由(单个)相机获取的相机图像导出的对象的两个图像的获取来呈现，但是应当理解，这些方法通常基于由一个或多个相机在连续的时间步长处获取的一连串图像来迭代地实现。

因此，在一些实施例中，基于多个初始图像和最终图像对，可以执行步骤S41几次。由此获得变换的(一个或多个)参数的几个值。然后，在步骤S42中，可以基于这些不同的值来计算与对象和相机之间的相对速度相关的信息。

此外，可以执行上述定义的方法，以不仅基于单个相机，而且基于多个(两个或更多个)相机来计算与对象和相机之间的相对速度相关的信息。在这种情况下，所有相机必须相对于彼此保持在固定位置。此外，相机必须具有重叠的视场，使得对象出现在不同相机的图像中。

在这种情况下，可以基于初始图像和最终图像对来执行步骤S41，其中，所述初始图像和最终图像对基于不同相机的相机图像。由此获得变换的(一个或多个)参数的几个值。然后，在步骤S42中，可以基于这些不同的值来计算与对象和相机之间的相对速度相关的信息。

Claims

1.计算机实现的方法，用于基于从由相机(30)输出的图像帧导出的对象的初始图像I_k和最终图像I_k+1来计算与所述对象(200)和所述相机(30)之间的相对速度相关的信息，所述方法包括：

S41)确定所述初始图像(I_k)和所述最终图像(I_k+1)之间的光流(F)的值，所述光流针对所述初始图像的像素(x,y)定义其在所述初始图像(I_k)变换为所述最终图像(I_k+1)的变换期间的估计运动(u,v)；以及，

与确定所述光流的值一起或在确定所述光流的值之后，使用所述光流来确定所述变换的至少一个参数(s,tx,ty)；以及

S42)基于所述变换的所述至少一个参数(s,tx,ty)来计算与所述对象和所述相机之间的相对速度相关的信息(RVD,TtC)。

2.如权利要求1所述的计算机实现的方法，其中，步骤S41包括：

S411)确定两个所述图像(I_k,I_k+1)之间的所述光流的值；并且，

变换后的像素是通过将所述变换应用于相应的先前像素而获得的像素；

变换后的像素的坐标因此是通过将所述相应的先前像素的所述光流F的值(u,v)与所述相应的先前像素的坐标(x,y)相加而获得的；

S412)求解使用所述变换的至少一个参数(s,tx,ty)将变换后的像素的坐标(x+u,y+v)表示为相应的先前像素的坐标(x,y)的函数的方程组，并且从而确定所述变换的所述至少一个参数(s,tx,ty)。

3.根据权利要求1所述的计算机实现方法，其中：

变换后的像素是通过将所述变换应用于相应的先前像素而获得的像素，

第一方程(1)是使用所述变换的所述至少一个参数(s,tx,ty)将变换后的像素的坐标(x+u,y+v)表示为相应的先前像素的坐标(x,y)的函数的光流方程；

第二方程(2d')是表示针对所考虑像素(x,y)，关于所述所考虑像素处的像素强度I的空间-时间信息

关于偏离所述所考虑像素估计偏移值(u_i,v_i)的另一像素处的像素强度的空间-时间信息/>

以及所述变换的所述至少一个参数(s,tx,ty)之间的关系的光流方程；

步骤S41包括执行如下初始化步骤：

S415)确定所述变换的所述至少一个参数((s,tx,ty)₀)和所述光流(u₀,v₀)的初始值；

步骤S41还包括迭代地执行以下步骤：

S416)基于针对所述所考虑像素的所述光流(F)的估计值(u_i,v_i)，通过求解针对所述初始图像的所考虑像素建立的第二方程组(2d')，来确定所述变换的所述至少一个参数((s,tx,ty)_i+1)的更新值；

S417)确定是否有必要执行新的迭代；

S418)使用针对所述所考虑像素的第一方程组(1)以及在步骤S416中确定的所述一个或多个变换参数((s,tx,ty)_i+1)的值，来确定针对所述所考虑像素的所述光流(F)的更新的估计值(u_i+1,v_i+1)。

4.如权利要求3所述的计算机实现的方法，其中，针对所述所考虑像素中的每一个所考虑像素，所述第二方程组表示所述所考虑像素

处的所述初始图像(I_k)中的空间-时间信息与所述最终图像(I_k+1)中的所述另一像素/>

处的空间-时间信息之间的关系。

5.如权利要求3或4所述的计算机实现的方法，其中：

所述变换是由变换参数s、tx和ty定义的相似性；并且

所述第二方程组定义为：

(2d')

其中，针对当前迭代i，双局部空间导数

和/>

以及双局部时间导数/>

定义为：

(2a)

(2b)

(2c)

其中，u_i、v_i是针对所述当前迭代i的所述光流F的值。

6.如权利要求1至5中任一项所述的计算机实现的方法，其中，所述变换是透视变换、与平移(tx,ty)相结合的相似性变换(s)、仿射变换或者与平移相结合的刚性对象的旋转。

7.用于控制至少一个设备(100)的控制方法，所述控制方法包括以下步骤：

S10)利用至少一个相机(30)获取所述至少一个相机(30)的环境的相机图像；

S20)在由所述至少一个相机(30)中的一个相机获取的至少一相机图像对中识别对象(200)；

S30)提取所述对象的初始图像(I_k)和最终图像(I_k+1)，所述初始图像(I_k)和所述最终图像(I_k+1)是所述相机图像对中由识别出的所述对象(200)的边界框定义的部分；

S40)使用根据权利要求1至6中任一项所述的方法来计算与对象和所述至少一个相机之间的相对速度相关的信息(RVD,TtC)；

S50)基于与所述对象和所述至少一个相机之间的所述相对速度相关的所述信息来控制所述至少一个设备(32、34、36)。

8.计算机程序，其存储在计算机可读存储介质上，并且适于在处理器上执行，所述程序包括指令，所述指令在所述处理器上运行时，适于执行根据权利要求1至7中任一项所述的方法的步骤。

9.计算机可读介质，其存储有指令，所述指令在由处理器执行时，致使所述处理器执行根据权利要求8所述的计算机程序。

10.对象运动分析***(10)，所述对象运动分析***(10)包括电子控制单元(20)，所述电子控制单元(20)配置为，基于从由相机输出的图像帧导出的所述对象的初始图像I_k和最终图像I_k+1：

与确定所述光流的值(u,v)一起或在确定所述光流的值(u,v)之后，使用所述光流来确定所述变换的至少一个参数(s,tx,ty)；以及

11.根据权利要求10所述的对象运动分析***(10)，其中，所述电子控制单元(20)配置为：

S411)确定两个所述图像(I_k,I_k+1)之间的所述光流的值；并且，

S412)求解使用所述变换的所述至少一个参数(s,tx,ty)将变换后的像素的坐标(x+u,y+v)表示为相应的先前像素的坐标(x,y)的函数的方程组，并且从而确定所述变换的所述至少一个参数(s,tx,ty)。

12.根据权利要求11所述的对象运动分析***(10)，其中，所述电子控制单元配置为通过对线性模型进行鲁棒拟合，例如通过RANSAC方法或IRLS方法，来求解所述方程组。

13.根据权利要求10所述的对象运动分析***(10)，其中：

变换后的像素的坐标因此是通过将所述相应的先前像素的所述光流F的值(u(x,y),v(x,y))与所述相应的先前像素的坐标(x,y)相加而获得的；

第一方程(1)是使用所述变换的所述至少一个参数(s,tx,ty)将变换后的像素的坐标(x+u,y+v)表示为相应的先前像素的坐标(x,y)的函数的方程；

第二方程(2d')是表示针对所考虑像素(x,y)，关于所述所考虑像素处的像素强度的空间-时间信息

关于偏离所述所考虑像素以估计偏移值(u_i,v_i)的另一像素处的像素强度I的空间-时间信息/>

以及所述变换的所述至少一个参数(s,tx,ty)之间的关系的光流方程；所述电子控制单元(20)配置为执行如下初始化步骤：

所述电子控制单元(20)配置为还迭代地执行以下步骤：

S416)基于针对所述所考虑像素的所述光流F的估计值(u_i,v_i)，并通过求解针对所述初始图像的所考虑像素建立的第二方程组(2d')，来确定所述变换的所述至少一个参数((s,tx,ty)_i+1)的更新值；

S417)确定是否有必要执行新的迭代；以及

S418)使用针对所述所考虑像素的第一方程组(1)以及在步骤S416中确定的所述一个或多个变换参数((s,tx,ty)_i+1)的值，来确定针对所述所考虑像素的所述光流F的更新的估计值(u_i+1,v_i+1)。

14.根据权利要求10至13中任一项所述的对象运动分析***(10)，其中，所述变换是透视变换、与平移(tx,ty)相结合的相似性变换(S)、仿射变换或者与平移相结合的刚性对象的旋转。

15.控制***(10)，其包括根据权利要求10至14中任一项所述的对象运动分析***(10)，其中：

所述控制***(10)包括至少一个相机(30)，所述至少一个相机(30)配置为获取图像(I_k,I_k+1)；

所述电子控制单元配置为：

S10)利用所述至少一个相机(30)获取所述至少一个相机的环境的相机图像；

S20)在由所述至少一个相机中的一个相机获取的至少一相机图像对中识别对象(200)；

S40)使用根据权利要求1至6中任一项所述的方法来计算与对象和所述至少一个相机之间的相对速度相关的信息(RVD,TtC)；以及

S50)基于与所述对象和所述至少一个相机之间的所述相对速度相关的所述信息来控制所述控制***(10)的至少一个设备(32、34、36)。