CN105006175B - 主动识别交通参与者的动作的方法和***及相应的机动车 - Google Patents

Abstract

本发明涉及主动识别交通参与者的动作的方法和***及相应的机动车。为了在道路交通中主动识别交通参与者的动作，借助至少一个照相机检测交通参与者的一个按像素点结构化的图像并且产生相应的图像数据；将多个像素点的图像数据分别按单元分组，其中，所述图像包括多个单元；分别根据一个单元内部的图像数据确定一个重心；对于每一像素点分别确定到多个单元的各重心的距离，其中，根据相应像素点和各重心的坐标构造一个配置于该像素点的特征矢量；以及，比较所述特征矢量与至少一个参考矢量簇，并且基于该比较给交通参与者配置一个姿势，该姿势表示该交通参与者将要实施的动作。

Description

主动识别交通参与者的动作的方法和***及相应的机动车

技术领域

本发明涉及用于在道路交通中主动识别交通参与者的动作的方法和***。本发明还涉及相应装备的机动车。

背景技术

为了避免机动车和其他交通参与者(例如不具有用于避免碰撞的相应安全***的行人或者骑自行车的人或者还有动物)之间的碰撞，在机动车内总是经常使用驾驶员辅助***，该***对驾驶员警告这样的碰撞和/或且至少部分自动地控制机动车。为此通常提供相应的传感器，使用这些传感器，通过测量技术来检测交通参与者。根据在此情况下所形成的测量数据，驾驶员辅助***于是便有效作用。

为了通过测量技术检测交通参与者，已经有人建议了各种传感器，例如包括视频摄像机的光学照相机、雷达传感器、激光射线传感器或者红外线(IR)照相机。

特别有意义的是识别在行人过道上例如斑马线上的交通参与者的动作。在这些位置经常发生这样的情况，其中，临近的机动车驾驶员并未察觉到行人要横过马路，因为他例如背对斑马线站立，然而却突然转身并且立即不加注意地横过马路，因为他认为在斑马线上是安全的。即使在谨慎驾驶的情况下，此时也可能会导致机动车和行人之间发生碰撞。

由WO 2009/141092 A1已知一种用于避免机动车与行人碰撞的驾驶员辅助***，其中，借助一个照相机传感器和/或一个射线传感器例如毫米波雷达检测一个要向行人过道上运动的对象的速度，并且确定该对象横过该行人过道的概率。在超过预先规定的概率值的情况下，向驾驶员发出警告。

在EP 1 095 832 A1中同样公开了一种用于避免车辆和行人之间碰撞的***，其中，使用测量技术来检测行人数据以及另外一些数据，例如公路表面的数据。基于对这些数据的处理，必要时实施向驾驶员的警告和/或介入车辆控制***的控制干预，例如自动地制动。

上述公开文献的内容在此通过引用被收录到本说明书当中。

发明内容

本发明的任务是，致力于提出一种解决方案，使得能够避免机动车和其他交通参与者之间的碰撞。

该任务通过按照本发明的实施方案得以实现。

根据本发明提供了在道路交通中针对交通参与者的动作的主动(proaktiv，主动提前地)识别。在此，

-借助至少一个照相机检测交通参与者的一个按像素点结构化的图像并且产生相应的图像数据，

-将多个像素点的图像数据分别按单元分组，其中，所述图像包括多个单元，

-分别根据一个单元内部的图像数据确定一个重心，

-对于每一像素点分别确定到多个单元的各重心的距离，其中，根据相应像素点和各重心的坐标构造一个配置于该像素点的特征矢量，和

-比较所述特征矢量与至少一个参考矢量簇，并且基于该比较给交通参与者配置一个姿势，该姿势表示该交通参与者将要实施的动作。

所述特征矢量(英语为“feature vector”)特别是具有如同图像的单元那样多的维度。

作为交通参与者，特别是可以设定行人、动物、骑自行车的人、乘轮椅的人、或者包括摩托车驾驶员的其他机动车司机。作为交通参与者的动作，特别是可以设定横过行车道。借助根据本发明识别的姿势，能够有利地做到：在动作开始前就已经识别出交通参与者的相应的意图，例如横过道路意图。这里本发明是基于这样的认识，即根据交通参与者的姿势在实施真正的动作之前就已经能够识别出他的意图，也就是说，能够根据交通参与者的姿势的正确的配置关系主动地识别出他将要实施的确定的动作。根据该姿势识别，然后便同样能够在动作进行之前就已经主动地采取措施，例如向驾驶员和/或向通过测量技术检测到的交通参与者发出声学的和/或光学的警告和/或实现介入车辆***的例如介入制动或者转向的控制干预。

在所述姿势识别的范围内，也可以识别或者说配置交通参与者的姿势序列、运动和/或局部运动序列。例如，在行人真正横过人行横道之前就已经能够在马路牙子的区域内由照相机确定或者说配置行人的各个肢体的姿势或者局部运动。在这种情况下，特别能够检测行人相对照相机的定向和/或行人的运动方向。还可以对一组交通参与者进行检测并且针对这些交通参与者鉴于他们可能潜在的意图相应地配置要实施的相应的动作。例如，可以检测诸如可能在将来的一个时间段内欲要横过道路的行人的各个肢体的姿势以及局部运动的方向和速度的参数。如果***此时确认了某个行人想要横过道路，则例如可以向机动车的驾驶员发出一个警告，在制动时加强制动作用和/或直接干预制动***。可以给一个姿势或者多个相继的姿势配置时间数据，例如一个时间段的开始、持续时间和/或结束，到该时间段预计由通过测量技术所检测的交通参与者要实施的动作。根据相应的时间数据，可以起动和/或控制另外一些处理过程，特别是在机动车中用于避免碰撞的控制处理过程。

本发明的***尤其可以是驾驶员辅助***，或者在其内集成。它特别可以设置在机动车内。

利用本发明还能够有利地实现：借助具有相对较小的(例如仅为数万或者十万像素点)分辨率的照相机就已经能够正确地配置交通参与者的姿势。

另一方面由此能够做到：能够以高的速度并且特别是实时地进行图像处理。由此能够对于交通参与者有利地实现极为有效的碰撞保护。此外，图像信号可以具有高的噪声成分，而不会对识别质量产生大的影响。由此能够在不良光线和/或天气状况下可靠地主动地识别交通参与者的动作或者说相应的意图。

在本发明的一个优选的实施例中，为确定相应的单元重心，对由照相机检测的图像数据如下进行过滤：产生一个关联的图像区域的数据，即所谓的前景图像数据，其中，在该图像区域内成像描绘交通参与者，并且其他由照相机检测的图像组分的至少一部分被滤除。在此，所述单元包括交通参与者的关联的图像区域，其中，特别是每一单元或者仅微小的一部分例如少于10％的单元包括该关联的图像区域的至少一个像素点。

在本发明的另一个优选的实施例中，在比较相应像素点的相应特征矢量与相应的至少一个参考矢量簇的过程中，分别按像素点配置交通参与者相对于照相机的一个定向。基于该按像素点的配置关系来配置交通参与者的一个定向。交通参与者的定向的最终配置关系总体上特别是可以基于按像素点的配置关系的多数予以实现。

在本发明的另一个优选的实施例中，基于配置的定向按像素点来比较特征矢量与它们各自的参考矢量簇和/或对应于交通参与者的可能的姿势并且特别是对应于配置的定向加以分类的另外的参考矢量簇。借助该比较结果然后配置姿势。定向和姿势也可以在一个步骤中进行配置，例如通过将两个用于配置定向或者用于配置姿势的所述步骤合并在一个步骤中。两个相应的参考矢量簇可以为此对应地被合并或者组合成一个组合式的参考矢量簇。

利用本发明，在配置交通参与者的姿势时可以有利地如此实现一种两阶段性或者说两分，即一方面或者首先进行交通参与者相对于照相机的定向的配置，特别是包括预先给定数目的定向，并且特别是如下所述在两个方向上，交通参与者是从照相机背离还是朝向照相机。另一方面或者在那之后进行交通参与者的姿势的配置，特别基于第一次的定向配置并且特别是包括预先给定数目的姿势。

在配置姿势时，通过这种两分或者说两阶段性能够实现姿势的高的配置精度，因为，当交通参与者的定向已经确定时，图像数据的评估相对于姿势的配置来说要简单得多。

根据本发明的另一个优选的实施例，特征矢量与参考矢量簇的比较借助一种随机森林方法进行。在这种分类方法中，特别是在学习过程中以规定类型的随机化使用生长的、包括参考矢量簇的决策树。在这种情况下，所述参考矢量簇可以分别配置给交通参与者相对于照相机的一个定向和/或交通参与者的一个姿势。

为了主动地识别交通参与者的动作还可以有利地检测和使用另外一些数据，特别是周围环境数据如对于红绿灯、对于交通标志或者对于斑马线的数据；地理数据例如使用全球定位***(GPS)确定的位置数据、来自导航***的地图数据和/或来自二维或者三维地图的道路图像。还可以使用对于交通参与者的测量数据例如激光雷达测量装置、超声测量装置或者红外测量装置的数据和/或机动车的数据例如其速度。

本发明可应用于许多种交通状况，例如在行人横过斑马线的情况或者还有在检测在汽车之间玩耍并且突然横过道路的儿童的情况。

有利的是，对于本发明可以使用包括两个照相机的立体照相机***。由此能够从交通参与者拍摄三维图像并加以应用，并且进一步提高了识别可靠性。像素点和它们各自的特征矢量于是也同样对应于这三个空间维度构成。

此外，本发明涉及一种用于在道路交通中主动识别交通参与者的动作的***，包括：

-至少一个照相机，用它能够检测交通参与者的一个按像素点结构化的图像并且产生相应的图像数据，和

-一个数据处理***，该数据处理***

--将多个像素点的图像数据分别按单元分组，其中，所述图像包括多个单元，

--分别根据一个单元内部的图像数据确定一个重心，

--对于每一像素点分别确定到多个单元的各重心的距离，其中，根据相应像素点和各重心的坐标构造一个配置于该像素点的特征矢量，和

--比较所述特征矢量与至少一个参考矢量簇，并且基于该比较给交通参与者配置一个姿势，该姿势表示该交通参与者将要实施的动作。

本发明还涉及一种包括上述***的机动车。

附图说明

下面根据附图详细说明本发明的其他实施例。附图中：

图1示出一个用于确定一个姿势的流程图，

图2示出一个流程图，具有对用于像素点的特征性矢量的构成的图解说明，

图3示出一个流程图，具有对图像定向的分类的图解说明，

图4示出一个流程图，具有对基于特征性像素点矢量确定一个姿势的图解说明，

图5示出在一条斑马线旁的交通状况。

具体实施方式

图1中用流程图表示用于确定在道路交通中交通参与者例如行人的姿势的粗略的上位步骤。在起动步骤S1，例如通过一个在机动车上所设的照相机***提供相应的交通状况的图像数据。该图像或者说图像数据按像素点结构化。为此，该照相机***例如具有一个或者多个照相机，它们分别具有一个电荷耦合元件(CCD)芯片，该芯片具有例如1176×640像素点的空间分辨率和每像素点2字节的颜色和/或亮度分辨率。然而分别具有另外的、尤其更高的分辨率也是可以的。

如果使用立体照相机则能够提供相应的图像处理算法，以便从立体图像中获得对各成像描绘对象的距离信息和/或深度信息。

在步骤S2按像素点确定特征性矢量，在步骤S3分类到图像的定向中并且在步骤S4确定行人的姿势。

图2中所示的流程图表示在图1中说明的上位步骤S2的详细的方法步骤。分别在对应的方法步骤的右边表示有图像，这些图像图示出对应的方法步骤的作用。这些方法步骤特别是能够全部或者部分地借助在车辆内部的计算机***中加载和执行的计算机程序来实施。在步骤S2.1，例如由计算机程序读入图像18的按点结构化的图像数据到计算机存储器中。图像18包括一个行人的图像20和背景中其他的图像元素例如太阳19。

在步骤S2.2，以程序控制的方式通过对图像18内部的图像数据的处理来辨识一个其内存在着该行人的成像的前景20。作为前景，例如可以辨识行人的形式上为关联域的图像区域。在步骤S2.3，在一个图像区域21内产生一个包围前景20的具有n×m个单元的(其中n、m是自然数)格网22，其中，必要时可以事先在一个中间步骤中设定一个紧紧围绕所辨识的前景20的矩形。当矩形的整体尺寸-与其实际尺寸无关-被划分为预先规定的、每次相同数目的单元时，或者说当格网具有预先规定的、每次相同数目的单元时，这种分割编制可以有利地分度不变地构成。由此最后在辨识处理过程中所确定的姿势因而相对于各个被检测的交通参与者例如行人的实际尺寸是恒定不变的。

在图2的例子中，格网22包括5×7个单元。每一单元例如可以包括10×15个像素点。在步骤2.4，然后为格网22的每一单元计算出相应的图像重心并且存储各重心的分别计算出的坐标。在所示图像区域21内，对于单元24产生重心24a，对于单元25产生重心25a。这样确定的单元结构表示被检测交通参与者的外形的一种非常简单的编码。

在步骤S2.5，为前景20的每一像素点，计算出到单元24、25等等的所有重心的相应距离。在所示图像区域21内，例如对于单元27的像素点27a产生一个到单元28的重心28a的线段29a。与此对应，对于格网22的所有单元，为像素点27产生许多个距离或者说对应的线段，它们在该图例中作为线段群29表示。由这许多个距离，在步骤S2.6按像素点为前景20的每一像素点27等等计算并且存储相应像素点的一个特征性矢量。虽然在图2中是从二维的图像出发，但显然，所述这些方法步骤也可以相应地应用于三维的图像数据，特别是来自立体照相机***的图像数据。如此按像素确定的特征性矢量可以特别有利地针对具有相对较高的噪声成分的立体图像被确定。

图3中所示流程图示出了在图1中说明的上位步骤S3的详细的方法步骤。方法步骤S3.2和S3.4右边表示了图示出对应数据的图像。这些方法步骤特别可以借助计算机程序全部或者部分地实施。在起动步骤S3.1，对于所有像素点读入在步骤S2.6中所构成的特征性矢量。在步骤S3.2读入分类数据30，它们例如在经验尝试中获得并且它们对相应特征性矢量为图像定向而说明相应的定向模式。在用于构成分类数据30的经验尝试中，试验人员例如可以按某一确定的定向相对拍摄照相机摆出预先规定的不同姿势，由此确定相应的特征性簇数据。在此可以提供n个定向，其中n是大于1的自然数。例如可以为“从前面拍摄”和“从后面拍摄”设定两个定向。然后可以将在此所构成的分类数据分成簇，例如分成一个前面簇，其内包含了所有在“从前面拍摄”的定向的情况下所拍摄的姿势和它们对应的特征性矢量；以及一个后面簇，其内包含了所有在“从后面拍摄”的定向的情况下所拍摄的姿势和它们对应的特征性簇数据。为了构成相应的特征性簇数据，可以对姿势分别计算出在相邻的交叉点之间的角度。通过针对共同的角度应用k均值算法，能够自动实现簇的构成。k均值算法是一种公知的用于矢量量化的方法。其中，从大量类似的对象中构成事先已知数目的k个组，其中k是自然数。

有利的是，所述k均值算法并不针对2D或者3D空间中共同位置的欧几里得距离应用。因此，该算法并不根据不同身材尺寸的人员加以区分，而仅仅根据姿势。通过仅使用共同的角度并且以适宜方式忽略肢体的长度，可以鉴于一个人的整体定向针对不同姿势产生一致的簇，与人的身材尺寸无关。

为了产生用于分类的随机树，可以有利地规定：将每一像素点分类到一个正确的簇中。在按像素点对像素点的相应特征性矢量应用随机树的情况下，便能够以高的可靠性实现成像描绘的对象或者说交通参与者相对于照相机的定向的配置。在图3中，例如对簇数据中的各簇示出了多个图像，其中簇31在步骤S3.4中得以配置。

图4中所示流程图示出了在图1中说明的上位步骤S4的详细的方法步骤。在此，在起动步骤S4.1中读入像素点的所有特征性矢量。在步骤S4.2中读入对不同定向簇的姿势预先规定的、事先对应训练的分类数据。

在步骤S4.3中读入先前在步骤S3.4中确定的图像定向或者说属于该图像定向的定向簇。在步骤S4.4中，基于读入的姿势分类数据在预先给定的或者读入的定向簇内部根据特征性矢量为每一像素点按像素点配置姿势。基于所有像素点分别配置的姿势，在步骤S4.5确定一个最终的姿势40，例如根据关于遍历所有像素点的简单的多数决定法(Mehrheitsentscheidung)。该最终配置的姿势40特别是得自于预定数目的、分别配置有交通参与者例如行人的骨架式的、简化的示意图的姿势中的一个姿势。该姿势又可以配置给所述交通参与者的一个预期的动作，根据该动作估计一种交通状况，推出一种可能的危险并且在必要时完全或者部分自动开启进一步的控制措施。例如，可以在道路交通中把人们通常将要开始跑动的部分弯腰的姿势认为是一种危险，若该姿势在一种“从前面”的定向中被检测到的话，也就是说人朝向车辆运动。

姿势分类数据可以有利地作为用于一组随机树的回归数据(英语为“regressionforest”)确定和提供。为了构造或者训练随机树的分类数据而使用训练数据记录，它们分别属于对训练图像的一次随机的选择，这些训练图像又属于一个预先给定的簇。训练图像特别是可以由一照相机提供，该照相机的图像分辨率高于在步骤S4或者S4.4中借以进行姿势配置的照相机的图像分辨率。在此，对于每一训练图像都可以给相应的实际姿势提供或者说配置一个简化的结构图像，亦即所谓的基础实况骨架(ground truth skeleton)。

在图5中示出了机动车50在道路51上向斑马线53运动的交通状况。有一行人位于道路边缘，对于该行人应该确定：他是否要在斑马线53上横过道路51。为此，在机动车50中设有照相机***54，它包括一个第一照相机54a和一个第二照相机54b，它们检测在机动车50前面包括斑马线53和行人52所在道路边缘处的区域前面的交通空间。每一照相机54a、54b检测一个二维图像并且由此构成对应的图像数据。由照相机***54检测的图像数据被输送给机动车50的一个控制和图像处理单元55，它对应于上述方法步骤处理这些数据并且必要时在该车辆内起动进一步的处理过程，以便当检测到的姿势配置了一种危险时例如能够向车辆驾驶员发出警告和/或能够实现介入车辆控制部件例如制动***的自动干预。

所述设备和***特别是用完全或者部分实施各相应方法步骤的计算机程序进行控制，并且为此可以具有另外一些公知的计算机元件和数字控制装置元件，如微处理器、易失和非易失的存储器、接口等等。因此，本发明也可以完全或者部分地以计算机程序产品的形式实现，该计算机程序产品在计算机上加载和实施时完全或者部分地引起/实现本发明提出的流程。所述计算机程序产品例如可以以数据载体如CD/DVD的形式提供，或者也可以是在服务器上的一个或多个文件的形式，计算机程序可从该服务器下载。

Claims (12)

1.用于在道路交通中主动识别交通参与者(52)的动作的方法，其中，

-借助至少一个照相机(54a、54b)检测交通参与者(52)的一个按像素点结构化的图像并且产生相应的图像数据(S2.1)，

-将多个像素点的图像数据分别按单元分组，其中，所述图像包括多个单元(S2.2)，

-分别根据一个单元(24、25)内部的图像数据确定一个重心(24a、25a)(S2.4)，

-对于每一像素点(27a)分别确定到多个单元(24、28)的各重心(24a、25a、28a)的距离，其中，根据相应像素点(27a)和各重心(24a、25a、28a)的坐标构造一个配置于该像素点(27a)的特征矢量(29)，和

-比较所述特征矢量(29)与至少一个参考矢量簇(30)，并且基于该比较给交通参与者(52)配置一个姿势(40)，该姿势表示该交通参与者(52)将要实施的动作。

2.根据权利要求1所述的方法，其特征在于，为确定相应的单元重心(24a、25a)，

-对由照相机(54a、54b)检测的图像数据如下进行过滤：产生一个关联的图像区域(20)的数据，即所谓的前景图像数据，其中，在该图像区域(20)内成像描绘交通参与者(52)，并且其他由照相机(54a、54b)检测的图像组分的至少一部分被滤除(S2.2)，和

-所述单元(24、25)包括该关联的图像区域。

3.根据权利要求2所述的方法，其特征在于，每一单元(24、25)均包括该关联的图像区域的至少一个像素点(27a)。

4.根据权利要求1至3之一所述的方法，其特征在于，在比较相应像素点的相应特征矢量(29)与相应的至少一个参考矢量簇的过程中，分别按像素点配置交通参与者(52)相对于照相机(54a、54b)的一个定向，并且基于该按像素点的配置关系来配置交通参与者的一个定向(S3.4)。

5.根据权利要求4所述的方法，其特征在于，基于配置的定向按像素点比较各特征矢量(29)与它们各自的参考矢量簇和/或对应于交通参与者(52)的可能的姿势加以分类的另外的参考矢量簇(S4.4)，并且借助该比较结果来配置姿势(S4.5)。

6.根据权利要求5所述的方法，其特征在于，所述另外的参考矢量簇对应于配置的定向加以分类。

7.根据权利要求1至3之一所述的方法，其特征在于，所述特征矢量(29)与参考矢量簇(30)的比较借助一种随机森林方法进行，其中，使用在学习过程中生长的、包括所述参考矢量簇(30)的决策树。

8.根据权利要求1至3之一所述的方法，其特征在于，为主动识别交通参与者的动作而检测和使用另外的数据。

9.根据权利要求8所述的方法，其特征在于，所述另外的数据包括周围环境数据、地理数据、对交通参与者的测量数据和/或机动车的数据。

10.根据权利要求1至3之一所述的方法，其特征在于，设置一个立体照相机***(54)，它包括所述照相机(54a、54b)和另一照相机(54a、54b)，并且其中，用图像数据三维地检测交通参与者(52)的图像。

11.用于在道路交通中主动识别交通参与者(52)的动作的***，包括：

-至少一个照相机(54a、54b)，用它能够检测交通参与者(52)的一个按像素点结构化的图像并且产生相应的图像数据，和

-一个数据处理***(55)，该数据处理***

--将多个像素点的图像数据分别按单元分组，其中，所述图像包括多个单元，

--分别根据一个单元(24、25)内部的图像数据确定一个重心(24a、25a)，

--对于每一像素点(27a)分别确定到多个单元(24、28)的各重心(24a、25a、28a)的距离，其中，根据相应像素点(27a)和各重心(24a、25a、28a)的坐标构造一个配置于该像素点(27a)的特征矢量(29)，和

--比较所述特征矢量(29)与至少一个参考矢量簇(30)，并且基于该比较给交通参与者(52)配置一个姿势(40)，该姿势表示该交通参与者(52)将要实施的动作。

12.机动车，包括根据权利要求11所述的***。