CN105283883A - 用于检测非机动车道路使用者的方法和装置 - Google Patents

Abstract

本发明涉及一种用于根据图像自动检测行驶的机动车辆(2)附近的非机动车道路使用者(3)的方法，其中图像通过安装在机动车辆(2)中或安装到机动车辆(2)上的至少一个摄像机(1)来记录并且分析包含在其中的进一步信息。根据本发明，分析检测到的机动车辆(2)附近的非机动车道路使用者(3)的图像以确定该道路使用者(3)是否明显打算在那时传达交通相关的视觉消息至机动车辆(2)的驾驶员(9)和/或其他道路使用者。如果检测到这种类型的消息，则通知机动车辆(2)的驾驶员(9)。

Description

用于检测非机动车道路使用者的方法和装置

说明书

本发明涉及一种根据专利权利要求1的前序部分的使用图像来自动检测行驶的机动车辆附近的非机动车道路使用者的方法，其中通过安装在机动车辆中或安装到机动车辆上的至少一个摄像机来记录图像并且分析包含在其中的进一步信息，本发明还涉及一种实施该方法的装置。

这种类型的方法从DE102007052093A1中已知。当信息扩展超出道路使用者——例如，行人或骑自行车的人——的实际检测时，在指示检测到的道路使用者的运动变化的图像中搜索指标。这种类型的指标是如指示预期的运动顺序和直接涉及道路使用者的继续运动的身体部位的运动或姿势。这意味着搜索肯定或至少具有很高的概率表明前瞻性运动行为的指标，因为所述行为服从物理定律。变量指标，例如，重心位置的变化、手臂或腿运动的变化、头部取向和视线方向的变化特别适用于预测运动的自发变化。考虑到机动车辆的运动顺序，此外确定与检测到的非机动车道路使用者的碰撞是否是可能的，并且在适当情况下提醒机动车辆的驾驶员。

通用方法也从EP2023267B1中已知。根据运动周期性来检测和识别机动车辆附近的生物，例如行人、骑自行车的人和动物。此外，确定检测到的生物的运动方向。如果检测到碰撞的风险，则提醒机动车辆的驾驶员。

US2006/0187305A1公开了一种用于检测和跟踪脸、面部朝向和情绪的类似的通用方法。提出了观察机动车辆的驾驶员并提醒他关于他自己的不专注。此外，提出了观察周围交通并在危险的情况下——如涉及行人或障碍物——提醒驾驶员。

US2010/0185341A1公开了一种用于检测位于机动车辆中或靠近机动车辆的人的手势以便机动车辆对此做出反应的方法。该方法也可以检测位于靠近车辆的人的威胁性手势，如，尝试盗窃，并且可以在适当的情况下采取威慑措施。

本发明的目的是为行驶中的机动车辆的驾驶员提供更进一步的支持以确保道路安全性。

这个目的是通过如专利权利要求1所述的方法和如专利权利要求9所述的***来实现的。本发明的进一步有利发展在从属专利权利要求中表明。

本发明使得机动车辆的驾驶员能够警惕以下事实：非机动车道路使用者希望通知他一些信息，他应该可能对此做出反应。如果非机动车道路使用者希望传达消息给在他们附近的一个特定的机动车辆驾驶员或所有的机动车辆驾驶员，则他们通常用手势来引人注意。因此，例如，骑自行车的人可以用手部信号表明转弯的意图，使得后面的或迎面而来的机动车辆驾驶者可以相应地做出反应。

专注于驾驶本身的机动车辆驾驶员很容易忽视这样的消息，尤其是在复杂的交通情况下或者如果他们分心。

根据本发明，仅提醒机动车辆驾驶员交通相关的视觉消息的存在使得他必须为他自己检查该消息需要什么，而且还优选通过语音合成或诸如此类如视觉或听觉通知他检测到的消息的内容是可能的。这意味着消息优选不仅被这样检测，而且也被解读。

本发明不仅提高了交通安全性，而且一般来说也提高了非机动车道路使用者与机动车辆驾驶员的通信。因此，本发明可以例如使出租车驾驶员更容易地知道站在路边并且通过手部信号表明希望运输的潜在客户。或者，例如，可以检测通过手部信号指示机动车辆驾驶员停车的交警。此外，本发明可以为驾驶员辅助***或车辆安全***提供有用的附加信息。

非机动车道路使用者在此被理解为是指位于道路上或靠近道路(即，其行车道)以及在摄像机(一个或多个)的视野范围内的人，例如行人和骑自行车的人，无论他们当前正在移动与否。此外，在本发明中仅考虑整个身体对摄像机可见的人。紧邻机动车辆的人，如在不到10米的距离处，不应被考虑在内，因为在这样的情况下，自动消息检测将是不可靠的并且通常是不必要的。高于人不被考虑在内的距离的距离也可以根据周围条件或行驶状况来修改和/或改变。

交通相关的视觉消息在此被理解为主要是指在摄像机图像中可见的人的特定手势，特定的手势表明某人希望特别提醒机动车辆的驾驶员或普通提醒任何其他道路使用者可能需要来自驾驶员或其他道路使用者的响应的一些消息。

然而，在一个优选的示例实施例中，不仅根据手势来检测交通相关的消息，还考虑进一步的视觉指标，特别是打手势的人的类型、位置、身体朝向、头部朝向、视线方向、手势和/或装备(即，特殊服装、头罩和/或手中的物体)。如果这种类型的指标存在于多个预先存储的组合中的任何一个中，其中指标的类型、数目和/或强度可以发挥作用，这被假设为涉及与机动车辆的驾驶员相关的消息。

在每种情况下，交通相关的视觉消息是有人完全有意而为以便传达一些信息至一个或多个其它道路使用者的一些消息，并且因此完全不同于运动的或多或少随机发生的变化，例如在上述现有技术中所观察到的那些。

在一个优选的实施例中，仅考虑本质上是静态——即不如此快速地变化以至于他们往往会被识别为运动——的指标。

在一个优选的实施例中，通过非机动车道路使用者的轮廓与预先存储的模型的比较来检测非机动车道路使用者的类型、身体朝向、头部朝向、视线方向、手势和/或装备。

在一个优选的实施例中，如果传达给机动车辆驾驶员的消息是特定的预先存储的交通相关的消息之一并且机动车辆驾驶员不对该消息做出适当地反应，则这种情况被报告至机动车辆的驾驶员辅助***以便预先激活它。

在一个优选的实施例中，对检测到的消息的响应在于以依赖情况的方式通知或提醒驾驶员和/或驾驶员辅助***的预激活或激活。

在进一步优选的实施例中，机动车辆驾驶员和/或自适应算法可以配置将要提供通知、提醒或驾驶员辅助的情况。

参照附图，示例实施例的描述如下。在附图中：

图1示出了机动车辆中用于非机动车道路使用者的消息的自动检测的***的概况图；

图2a-2c示出了可能相关的道路使用者的不同的轮廓；

图3示出了从在道路上行驶的机动车辆看到的道路和非机动车道路使用者的透视图；

图4a-4c示出了非机动车道路使用者的一些可能的头部朝向和视线方向；

图5a-5c示出了非机动车道路使用者的一些可能的身体朝向；

图6a-6d示出了非机动车道路使用者的一些可能的手臂位置；

图7示出了用于涉及非机动车道路使用者的三种情形的指标评价的分类矩阵的示例；以及

图8示出了用于根据摄像机图像来自动检测行驶的机动车辆附近的非机动车道路使用者的方法的示例的流程图。

图1所示的消息检测***包含安装在机动车辆2中或机动车辆2上并且可以视觉检测机动车辆的周围环境的一个或多个摄像机1。特别地，监测行人、骑自行车的人和其他非机动车道路使用者3可以位于的周围区域。为此，至少一台摄像机1记录机动车辆2的行驶方向上的图像。

图像记录模块4通过滤波等进行所记录的图像的预处理。

图像分析和特征提取模块5首先进行预处理的图像的预分析，以便确定任何非机动车道路使用者3是否本质上可见同时他们的整个身体在其中、他们是否位于机动车辆2正在行驶的道路上或靠近机动车辆2正在行驶的道路、这种类型的道路使用者3是否正在进行特定的预先存储的手势或信号，以及特定的手势或信号是否明显适用于机动车辆2的驾驶员9或与他相关(这可以根据非机动车道路使用者3的类型和位置以及视线方向和身体或手臂朝向来建立)。图像分析和特征提取模块5然后如果必要的话使用相同或不同的摄像机1的进一步图像来进行图像的细节分析，以便完善该分析并根据他们的类型通过预分析将发现的手势或信号进行分类。

分类模块6根据相关性将发现的手势或信号分类。例如，交警指示驾驶员9应该使机动车辆停车的手势是高度相关的，而任何给定的打招呼不是高度相关的。对于这种分类，也考虑打手势的人的装备，例如特殊的服装、头罩和/或手中的物体，例如交通牌(eineWinkerkelle)。

可以使用存储在数据库7中的历史数据和参考数据，例如参考图像和分类树，以便促进分类工作。

适合的人机界面8通过听觉或视觉信号通知机动车辆2的驾驶员9他应该注意非机动车道路使用者3的手势，并且如果***还检测到手势的含义，如，搭便车的人希望被搭载，则手势的特定含义也可以被报告给驾驶员9。如果机动车辆2配备有增强现实技术，则也可以视觉上突出非机动车道路使用者3，并且可以如通过特定的颜色指示手势的类型和/或意义，其中，如，红色代表高度重要。

如果机动车辆2配备有任何给定的驾驶员辅助***10，例如车道改变辅助或制动辅助，则驾驶员辅助***10可以使用分类模块6的分类结果来改进和完善决策和措施。

这方面的一个示例是机动车辆2靠近学校，此处协管员正站在道路上或道路旁并正在挥舞交通牌。机动车辆1内置的消息检测***可以根据协管员的特殊服装(黄背心)和交通牌来检测其中包含的更缓慢地行驶以及停车的消息。这种重要的消息经由人机界面8被传达给机动车辆2的驾驶员9。如果驾驶员9没有立即做出反应，则预激活制动辅助，并且如果驾驶员仍未做出反应，则制动辅助可以使机动车辆2自动制动以便避免碰撞。

一般而言，从非机动车道路使用者3到机动车辆驾驶员9的视觉消息的解读以三个步骤发生：

第一步是在视觉传达一些信息到机动车辆驾驶员9的过程中识别可能的非机动车道路使用者3。

第二步是识别和解读至机动车辆驾驶员9的视觉消息。

第三步是通知机动车辆驾驶员9所识别的消息。

以下更详细地说明这三个步骤。

很多人往往在城市环境中四处奔波。有些人可能向某人挥手或疯狂地打手势。在大多数情况下，这些手势或信号不适用于机动车辆驾驶员9并且可以从搜索中排除。

对于与机动车辆驾驶员9相关的手势的或其中包含消息的搜索，通过机动车辆2中的摄像机(一个或多个)获取的图像通过不同的图像处理算法来评价，如下所述。

在现有技术中有许多用于检测包含大量对象的图像中的人或其他生物的方法。在本发明的背景下，提出了根据非机动车道路使用者的类型将他们分为四组：静止或行走的行人、骑自行车的人、骑马的人以及其他。

然而，这种类型的道路使用者究竟是否与机动车辆驾驶员9相关取决于他相对于机动车辆2运动的方向和朝向。从机动车辆2可以看到，在前方骑自行车的人通常具有如图2a所示的轮廓。从机动车辆2可以看到，面向机动车辆2的静止的人通常具有如图2b所示的轮廓。例如图2c所示的轮廓将被识别为另一道路使用者。

这种类型的道路使用者究竟是否与机动车辆驾驶员9相关还取决于他/它在道路上或道路旁的位置。如图3所示，在本发明的背景下，仅考虑位于图3中的行车道A上或图3中右侧邻接行车道A的窄带B上的非机动车道路使用者。带A和B可以有差别，如根据路边边缘。在图3中，骑自行车的人11正在带A中在机动车辆2前方骑行以及行人12正站在带B中。不考虑进一步远离行车道A的人，如图所示。

在图3中从后面看到的骑自行车的人11在任何情况下都是相关的。行人12相关的程度取决于他的身体朝向、头部朝向和视线方向。图4a到4c示出了人相对于拍摄人的机动车辆2的不同的头部朝向和视线方向。如可以看到，仅图4b中所示的人明显注意机动车辆2，在图4b的情况下他的头部朝向和视线方向二者均指向机动车辆2。

图5a-5c示出了行人相对于机动车辆2的不同的可能的身体朝向和视线方向，即，在图5a中行人相对于机动车辆2侧向定向，在图5b中行人正面朝向机动车辆2定向以及在图5c中行人部分朝向机动车辆2定向。在图5b所示的行人的情况下，最有可能的是，他希望与机动车辆驾驶员9通信。为了提取行人给机动车辆驾驶员9的潜在消息，在每种情况下，生成通过每个行人的肩部的平面，在图5a-5c中所述平面在行人轮廓下方用虚线绘制。在每种情况下，然后生成垂直于各自的肩部平面并且通过行人的垂直对称轴的矢量，如在图5a-5c中行人轮廓下方用箭头绘制。然后，确定该矢量是否指向机动车辆2。如果是，则行人朝向机动车辆2定向并且可能希望与机动车辆驾驶员9通信。这最有可能适用于图5b中所示的行人并且不太适用于图5c中所示的行人。

然后进行指标评价，其中所获取的非机动车道路使用者可以被考虑为消息提供者的指示被认为是彼此组合。为此，根据道路使用者的类型、位置和朝向的预先限定的特征组合进行搜索。适合的训练算法，如以神经网络的形式，可以提高对于不确定或非决定性的情况的决策逻辑。一些指标可以给予比其他更高的权重。例如，在道路上的行人可以给予比在人行道上的行人更高的权重。

图7示出了用于涉及与消息检测***相关并且因为他们可能希望视觉传达一些信息至机动车辆驾驶员9所以可以被考虑为消息提供者的非机动车道路使用者的三种情形的指标评价的分类矩阵的示例。

在图7中，细的短虚线表示位于道路上并且看向机动车辆2的方向的行人。粗的长虚线表示在靠近路边的人行道上并且视线方向朝向机动车辆2的行人，类似于图3中的行人12。粗的实线表示在道路前方骑行的骑自行车的人，例如图3中的骑自行车的人11。

在图7所示的分类矩阵的示例中，仅前三行中的线用于识别推测当前希望传达一些信息给机动车辆驾驶员9的非机动车道路使用者的上述步骤。图7中没有这种类型的线存在的区域可以被忽略。在线穿过的区域中的特征组合与预先存储的特征组合进行比较以便确定这些特征组合的指标强度，其中各个特征可以给予不同的权重。

在图7所示的分类矩阵中另外的行和绘制的线用于识别和解读给机动车辆驾驶员9的视觉消息。

对于识别和解读，首先使用手臂位置，在图6a-6d中示出了一些手臂位置，如图5b中看到的行人，即两只手臂下垂(图6a)，一只手臂微微抬起，即达到30°(图6b)，一只手臂抬起到中等高度，即30°到60°，一只手臂抬起很高，即超过60°(图6c)，以及一只手臂抬起到空中，即挥舞(图6d)。

对于识别和解读，也考虑非机动车道路使用者的左臂或右臂是否正在移动。例如，在前方或迎面而来的骑自行车的人伸出左臂希望表明他希望左转并且后面的或迎面而来的车辆应该考虑这一点。

对于识别和解读，进一步考虑特定的头部装备，例如头盔或尖顶帽，为此目的，图像分析集中于图5b中描绘的头部区域。

对于识别和解读，进一步考虑特定的身体装备，例如条纹、徽章或特定的词语，例如“警察”，为此目的，图像分析集中于图5b中描绘的核心区域14。

对于视觉消息的识别和解读，进一步考虑特定的手部装备，例如交通牌、具有城镇名称的标志、一件行李、担架等，为此目的，图像分析集中于图5b中描绘的手部区域。

对于识别和解读，也可以考虑颜色和颜色图案，例如交警、消防队员、道路工人等的制服的颜色和颜色图案特性，颜色和颜色图案也可能取决于车辆位置，因为这样的颜色和颜色图案是国家特有的。

如果所有这些指标通过线连接，如图7所示，则这产生与预先存储的特征组合比较的特征组合的矢量顺序。由于特定的特征也经常彼此相关，如交警穿着特有的服装并戴着头罩或骑自行车的人往往戴着头盔，这可靠地表明非机动车道路使用者是否正在传达消息至机动车辆驾驶员9以及该消息是什么。

在图7中通过细的短虚线表示的、位于道路上并且正看向机动车辆9的方向的行人正在抬起他的右臂、手里拿着交通牌并且戴着尖顶帽且穿着蓝色衣服。这些都是交警当前正在指示机动车辆驾驶员9停车的明确的指标。

在图7中通过粗的长虚线表示的、位于靠近路边的人行道上并且正看向机动车辆9的行人正挥舞着他的右手并且可能携带一件行李。这意味着这是出租车驾驶员的潜在客户。

在图7中通过粗的实线表示的在前方骑行的骑自行车的人正在水平地伸出他的左臂并且正戴着头盔。这意味着该骑自行车的人希望左转并且推测即将横穿机动车辆2的路径。

对于每个类别的消息，多个特征组合是可能的，并且对于某些类别，不是所有可能的特征必须必然地存在。因此，仅根据几个特征来确定某些类别的消息是可能的。分类算法需要的时间和所要求的处理能力从而可以减少。

在下表中列出了图7中用线表示的三类消息的强制性的和可选的特征：

表

另外可能的情况将是例如：

-在道路上没有特定的手臂运动、戴着头盔且穿着红色衣服并且手里还举着管状物体的行人可能是本身传达小心的消息的消防员。

-在道路上挥舞着一只手臂并且戴着头盔且穿着橙色的条纹衣服的行人可能是发信号给机动车辆驾驶员9以停车或采取规避措施的道路工人。

-靠近道路稍微抬起一只手臂并且手中举着写着城镇名字的牌子的行人可能是搭便车的人，特别是如果一件行李就在附近。

-在道路上没有特定的手臂运动、穿着白色衣服并且不是一个人的行人可能是医务人员，特别是如果担架就在附近。

不一致并且不能够清楚的解读的情况将不被消息检测***考虑，或将进行进一步分析，例如如下：

-任何特定对象(如，发生故障的机动车辆，三角警示牌等)位于打手势的人附近？

-人移动与否？

-人朝向车辆还是远离车辆移动？

-人移动得多快？

-机动车辆的外部扩音器拾取任何特定的噪音(如哨子、风钻等)？

-闪烁的灯光可见？

-与另外的人交互的人在行车道上(如协管员)？

-面部检测：驾驶员认识的人仅希望和他打招呼？

根据所识别的消息，***可以以不同的方式通知驾驶员。例如，可以有三种不同的反应方式：

1.通知：驾驶员接收已经检测到特定消息的听觉和视觉通知。可以通知驾驶员该消息的存在或内容，即，谁正在传达什么样的消息以及为什么等等。例如，驾驶员接收搭便车的人希望被搭载的通知，或出租车驾驶员接收潜在客户的指示。

2.提醒：驾驶员接收需要驾驶员的响应的特定的消息已被检测到的特别清晰的听觉或视觉通知。例如，驾驶员接收到道路工人正在要求他缓慢驾驶或交警正在指示他停车的通知。

3.驾驶员辅助：如果驾驶员没有对提醒做出反应并且太分心而不能做出反应，则预激活驾驶员辅助***。在这样的情况下，例如，制动辅助可以将制动衬块更紧密地施加到盘。或者，在检测到正在转弯的骑自行车的人的情况下，驾驶员的超车操纵可以被强制延迟。

给予通知、提醒或驾驶员辅助的情况可以通过驾驶员可配置。另外或可选择地，这种类型的配置可以通过在相当长的时间段内观察和分析驾驶员对任何给定的消息的响应的自适应算法来补充或完善。这种类型的算法也可以用已识别出类似的驾驶员行为的情况来补充情况的类别，或者可以创建新类别的情况或修改根据所识别的驾驶员行为做出反应的默认方式。

在图8所示的消息检测方法的示例中，在步骤S1中从一个或多个摄像机读入视频图像。在步骤S2中，根据他们的轮廓从图像中提取非机动车道路使用者。在平行的步骤S3、S4和S5中，从轮廓确定检测到的道路使用者的类型、位置和朝向，并且在步骤S6中根据此将道路使用者分类。在步骤S7中，确定道路使用者中的一个是否可以被认为是消息提供者。如果不是，则该方法返回到步骤S2，如果是，则在步骤S8中存储所述道路使用者的特征并且在步骤S9中从其确定可能的消息。在步骤S10到S15中，进行可以被认为是消息提供者的道路使用者的手臂位置、手臂运动、头部装备、手部装备、身体装备和颜色图案的平行分析，并且在步骤S16中将该消息进行分类。在步骤S17中，确定是否一切都是决定性的。如果是，则在步骤S18中限定通知驾驶员的方式，在步骤S19中通知驾驶员检测到的消息，并且在步骤S20中，该方法返回到步骤S1。如果在步骤S17中确定不是一切都是决定性的，则在步骤S21中观察驾驶员的反应并且在步骤S22中根据驾驶员的反应补充或修改分类和解读方法。

Claims (9)

1.一种用于根据图像自动检测行驶的机动车辆(2)附近的非机动车道路使用者(3)的方法，所述图像通过安装在所述机动车辆(2)中或安装到所述机动车辆(2)上的至少一个摄像机(1)来记录，其中分析检测到的所述机动车辆(2)附近的所述非机动车道路使用者(3)的所述图像中包含的信息，

其特征在于，

分析检测到的所述机动车辆(2)附近的所述非机动车道路使用者(3)的所述图像以确定所述道路使用者(3)是否明显打算在那时传达交通相关的视觉消息至所述机动车辆(2)的驾驶员(9)和/或其他道路使用者，并且如果检测到这种类型的消息，则通知所述机动车辆(2)的所述驾驶员(9)。

2.根据权利要求1所述的方法，

其特征在于，

解读检测到的所述交通相关的视觉消息并且听觉或视觉通知所述机动车辆(2)的所述驾驶员(9)所述消息的内容。

3.根据权利要求1或2所述的方法，

其特征在于，

分析所述图像以确定检测到的所述非机动车道路使用者(3)的类型、位置、身体朝向、头部朝向、视线方向、手势和/或装备是否表示交通相关的消息的指标，并且如果所述指标的类型、数目和/或强度匹配特定的默认设置，则通知所述机动车辆(2)的所述驾驶员(9)所述消息。

4.根据权利要求3所述的方法，

其特征在于，

所述指标本质上是静态的。

5.根据前述权利要求之一所述的方法，

其特征在于，

通过比较所述非机动车道路使用者(3)的轮廓与预先存储的模式来检测所述非机动车道路使用者(3)的所述类型、身体朝向、头部朝向、视线方向、手势和/或装备。

6.根据前述权利要求之一所述的方法，

其特征在于，

如果传达给所述机动车辆驾驶员的所述消息是特定的预先存储的交通相关的消息之一并且所述机动车辆驾驶员没有对所述消息做出适当地反应，则将这种情况报告给所述机动车辆的驾驶员辅助***(10)，从而预激活所述驾驶员辅助***(10)。

7.根据前述权利要求之一所述的方法，

其特征在于，

对检测到的消息的响应在于以依赖情况的方式通知或提醒所述驾驶员(9)和/或所述驾驶员辅助***的预激活或激活。

8.根据权利要求7所述的方法，

其特征在于，

所述驾驶员和/或自适应算法可以配置将要提供通知、提醒或驾驶员辅助的情况。

9.一种用于根据图像自动检测行驶的机动车辆(2)附近的非机动车道路使用者(3)的装置，所述图像通过安装在所述机动车辆(2)中或安装到所述机动车辆(2)上的至少一个摄像机(1)来记录，

其特征在于，

所述装置被配置为实施如前述权利要求中的一个或多个所述的方法。