CN115675479A - 用于利用对象分类器运行机动车中的自动驾驶功能的方法和处理器设备、及机动车 - Google Patents

Abstract

本发明涉及一种用于运行机动车(10)中的自动驾驶功能(12)的方法，由机动车(10)的处理器设备(11)借助于至少一个对象分类器(21)从机动车(10)的至少一个传感器(15)的传感器数据(16)识别出在传感器数据(16)所描述的、机动车(10)环境的单图像中的各单对象(18)。本发明规定，借助于至少一个关系分类器(30)，根据至少一部分所述单对象(18)的对象数据(22)，以及根据从所述传感器数据确定的单对象(18)关系特征，在相应的单图像(17)中识别出相应配对的对象关系(74)，该对象关系通过关系数据(31)来描述，借助于聚合模块(32)，跨越多个相继的单图像(17)将关系数据(31)聚合成聚合数据(33)，该聚合数据说明聚合的对象关系(80)。

Description

用于利用对象分类器运行机动车中的自动驾驶功能的方法和 处理器设备、及机动车

技术领域

本发明涉及一种用于运行机动车中的自动驾驶功能的方法。通过处理器设备接收传感器数据，该传感器数据描述机动车环境的单图像。在单图像中借助于至少一个对象分类器识别相应的单对象。本发明还涉及处理器设备和机动车。

背景技术

在具有自动驾驶功能的机动车中，需要探测在机动车的环境中的对象，例如另外的交通参与者或基础设施组成部分，从而能够预先规划自动驾驶功能，例如用于引导机动车的行驶轨迹。通常，对象的探测基于机动车的至少一个传感器的传感器数据，例如摄像机和/或雷达和/或激光雷达。在单个测量周期中产生传感器数据，其代表了在相应的传感器的探测区域中的环境的瞬时摄影或单图像。在这种单图像中，对象可单独地借助于对象分类器识别，例如借助于人工神经网络。这样，每个对象例如可通过所谓的边框(包围该对象的尽可能小的矩形)的坐标来标记，以用于后续处理传感器数据。于是，这使得对象的对象数据可用于后续处理，以了解单对象在单图像中的位置。因为由此仅使得关于每个单对象的单独认识是单独可用的，所以该单独标识的对象这里在下文中被称为单对象。

根据现有技术如此处理由车辆拍摄的传感器数据，即，在传感器数据中找到与自动驾驶功能相关的单对象，并且通过在时间上观察(追踪)来确定典型的特性，例如距离、速度、等级等。对单对象的整体的解释主要是根据确定的特性。成功解释对象关系的一个明显要求是，必须以必要的质量来确定所有必需的特性，并且以对于进一步处理适宜的形式描述所述特性。在此，对象关系总是与多个单对象相关，例如，哪个单对象相对于哪个其他单对象定位，哪个单对象属于一个公共设备，例如交通灯设施。在车辆的复杂环境下(例如交叉路口、环形交通、遮蔽物、没有行车道标记)，完全评估数据带来高计算成本。

例如US2018/0341822A1公开了单对象追踪以及对象特性的逐渐深化的识别。

但是，对于轨迹规划还需要知晓单对象彼此的几何和/或功能上的对象关系，以便例如识别哪个车道通到哪个交通灯，以便例如提前计划机动车是否在当前行驶的车道上驶向红色的交通灯。

出于这个原因，通常在用于探测单对象的实际对象分类后接入周围区域地图，其中根据单对象的地理位置输入单对象，以便解释它们彼此的几何关系，从而解释它们的相关性。然而，这样的周围区域地图在计算上非常复杂，并且还需要输入许多单对象，这些对象随后不再与要行驶的轨迹的决定相关。例如，为了识别曲线走向，周边建筑物的走向的绘制通常也很重要，以便在环境地图中识别道路本身的弯曲走向。这需要不必要地使用在机动车辆中的计算资源。

发明内容

本发明要解决的技术问题是，以少量的计算资源为自动驾驶功能识别出单对象的相关性。

该技术问题通过独立权利要求的主题解决。本发明的有利的改进方案通过从属权利要求、下文的说明以及附图来说明。

作为一种解决方案，本发明包括一种用于运行在机动车中的自主和/或辅助的驾驶功能的方法。在下文中，术语“自主和/或辅助”被概括为“自动”。自动驾驶功能能够在无驾驶员干预的情况下，通过轨迹规划以及操控用于纵向引导(加速和制动)和/或横向引导(转向)的执行器来使机动车行驶或引导机动车。为此，必须探测存在于机动车的环境中的单对象。辅助驾驶功能例如可通过交通灯助手来实现。该方法包括，机动车的处理器设备从机动车的至少一个传感器的传感器数据中借助于至少一个对象分类器识别出在机动车环境的单图像(例如摄像机图像、雷达图像、红外图像、超声波图像)或点云(激光雷达)中的相应的单对象，所述单图像通过传感器数据描述。这里，激光雷达的测量周期的点云或单图像的传感器数据被统称为单图像。这里，术语“单图像”还应包括三维图像，其例如来自立体摄像机。单图像还可以是雷达信号的内部表示。

作为单图像中的对象分类的结果得到的是，相应通过对象数据给出单对象的至少一个识别的对象特征(例如边框和/或对象类型)，并且将其提供给用于轨迹规划的自动驾驶功能。因此，用于自动驾驶功能平台的已知的架构设置成，在单图像中，借助于至少一个对象分类器，即，例如一个或多个人工神经网络和/或其他的机器学习方法，在单图像中识别单对象，例如另外的交通参与者、基础设施组成部分(例如交通灯和/或交通指示牌)和/或车道组成部分(例如箭头和/或行车道标记和/或护栏)。然后为单对象提供相应的对象数据，例如边框的坐标，其在相应单图像中给出相应识别的单对象在该单图像中定位在哪里或在哪里被识别到。可附加地或替代地给出对象类型，例如它是交通指示牌、交通灯、还是人、或是机动车，这仅仅是举出的示例。还可以进一步地分类，如现有技术已知的那样，例如以便识别当前的对象状态(例如“交通灯是红色的”)。

对象数据可以被直接提供给驾驶功能，也可以将对象数据的一部分或所有对象数据间接通过追踪模块传送给驾驶功能。借助于追踪模块，可通过对象追踪跨越多个相继的单图像来追踪单对象，并且追踪模块可确定被追踪或跟踪的单对象的追踪数据。追踪模块对于说明的方法很有帮助，但不是必需的。从技术上讲，仅对象之间的关联的必须的。借助于追踪模块可以附加地以已知的方式跨越多个单图像进行跟踪或追踪：相应的单对象相对于机动车做出何种相对运动。因此，可以相应彼此独立地针对各个单对象提供它们的位置信息，以供自动驾驶功能使用。

如上所述，现在，为了识别在这些单对象之间的对象关系或关联或联系，即，对于场景解释，需要使用周围区域地图或环境地图，在其中首先必须引入所有识别的单对象，以便识别它们彼此的关系。通过本发明将替代地以更少的计算资源来实现这一点。为此，不是在追踪之后动用周围区域地图或环境地图，而是(在对象追踪之后)便已经针对每幅单图像确定，可在单图像中探测或提取出单对象彼此间的哪种对象关系。

为了以低的计算资源需求确定在单对象之间的关系，根据本发明，以单图像为基础便已经基于在单图像中探测的关系特征、例如几何关系，来识别在与驾驶功能相关的单对象之间的对象关系。与在周围区域地图中对整个环境特征进行识别相比其复杂性更低，由此在所需的计算时间和数据量方面具有优势。

为此，方法包括，借助于至少一个关系分类器，根据所述单对象中的至少一部分单对象的对象数据，以及根据从所述传感器数据确定的单对象关系特征，在相应单图像中识别出相应配对的对象关系(这里也被称为VRC-Visual Relation Classification，视觉关系分类)，该对象关系通过关系数据来描述，借助于聚合模块，跨越多个相继的单图像将关系数据聚合成聚合数据，该聚合数据说明重复观察的或被聚合的对象关系，将聚合数据提供给追踪模块和/或自动驾驶功能。因此，对象关系是基于单图像来确定。合适的关系特征是几何关系或相对的几何布置。然而，一般而言，单图像中直至完整图像内容的预定对象环境也可以用作定义关系特征的基础。因此，这是从单图像中学习到的关系特征，其例如可借助于机器学习模型来提取。图像元素/对象的背景可包括来自几何位置(图像顶部、图像底部)和/或图像背景，例如来自在对象附近的其他对象。

这一点基于如下认识：仅仅从单图像中的单对象的几何关系和/或其他关系特征便可以识别出与规划轨迹相关的信息。在此可利用以前的知识，即，例如，如果传感器例如从摄像机顶部或从挡风玻璃探测前方的环境，在前方平坦的道路上，相同对象类型的、与机动车相距不同距离的两个单对象(例如两个施工现场信标)在单图像中大小不同，并且由于透视对齐而布置成不同的y分量(竖向分量)。因此，例如对各对象的边框的上边缘的相对布置的评估可提供关于哪个对象布置得更靠近机动车以及哪个对象相对于机动车布置得更远的信息。

跨越多个单图像，可借助于聚合模块针对所识别的对象关系(例如对象A位于对象B后面)的可靠性有多高，来形成假设或概率结论或置信度值。提供聚合防止在单图像中的错误识别导致对驾驶情况的错误解释。聚合数据说明聚合的对象关系，即，例如与识别的单对象处于什么样的几何关系，和/或它们彼此处于什么样的关系特征，例如对象B(另一车辆)在对象C(另一车辆)旁边行驶。

为此，为自动驾驶提供了环境的传感器数据的解释，目的是确定不同对象/实体(单对象)相对于彼此以及相对于本车(实施方法的机动车)的关系，并且可根据逻辑标准和空间标准对其进行分组。除了识别在传感器数据中的对象/实体之外，还对此形成对象关系和组的假设，这还将结合对象组进行阐述。“形成假设”是指，可确定假设或概率说明，以给出关于识别的对象关系的说明的可靠性或置信度。为此，对跨越多个单图像的对象关系进行聚合或确认，从而在重复识别对象关系时，可区分是识别错误还是就是(在多次确认识别相同的对象关系时)在环境中的实际观察。为此，本方法说明了一可行方案：通过从传感器测量中在考虑对象环境的情况下识别对象关系图(关系数据)来形成假设，并且通过在时间上追踪关系来管理该假设。

本发明还包括具有给出附加优点的特征的改进方案。

聚合数据例如可说明如下的定向关系图：其从作为对象的一个单对象指向作为对象的另一单对象，并且指示关系类型(例如：“在……的后面”或“在……的前面”)。因此，可以通过定向的关系图说明它们的对象关系单对象。

一种改进方案包括，聚合模块根据相应的对象关系的重复频率和/或识别质量确定相应的聚合的对象关系的加权值，并且通过聚合数据对其进行说明。如果在多个相继的单图像中确认或重复识别对象关系，则提高加权值，使得还在聚合数据中给出关于对象关系的说明的置信度或可靠性。这有利于驾驶情况的统计评估。

附加地或替代地可规定，针对单对象中的多个单对象产生对象关系的闭合的关系图的、聚合的对象关系使这些单对象作为相关的对象组得到说明。尤其对于静态的单对象(例如基础设施组成部分和/或行车道说明和/或行车道标记)，可在聚合的对象关系中产生固定的或恒定的对象关系或关系图，其通过机动车在靠近包括由多个单对象组成的对象组时被重复观察到，或者可逻辑推断出来。此时，如果针对对象组的每个单对象已知与对象组的每个其他单对象的对象关系，则得到闭合的图，其可借助于图论算法自动识别为完整图。如果存在这种闭合的关系图，则可以信号的形式发出，并且将对象组例如识别或以信号的形式发出或说明为包括多个单对象的上级结构单元。因此，例如可仅仅基于单图像，在不使用周围区域地图的情况下，将交通灯组或具有进入车道、车道箭头、行车道标记和/或交通灯的交叉路口探测为闭合的关系图，并且作为对象组进行说明。闭合的图还可以由相继的多个单图像形成或导出。此外，相应可在不同的单图像中识别出闭合的图的一部分。然后，同样可通过逻辑关系(例如A≥B并且B≥C，从中还得到A≥C)组合成闭合的逻辑图。

一种改进方案包括，从多个传感器相应接收单图像，并且对于每个传感器运行自己的关系分类器，聚合模块执行多个关系分类器的关系数据的关系数据融合。换句话说，针对每个传感器及其传感器数据进行的对象关系识别单独地或分开地或分离地实现。因此，这种关系分类器例如可集成到传感器的数据处理电路中，即，传感器的相应的控制器。然后可通过聚合模块对各传感器的单图像中的关系执行数据融合，即，识别的各个关系或对象关系的组合和/或合理性检查。总体而言，因此可以更低的花费实施相应的关系分类器，这是因为其仅须与各传感器的传感器数据相匹配。然后，可独立于传感器类型并且因此同样以可简单实现的方式，实现后续在聚合模块中进行的聚合以及关系数据的融合。

一种改进方案包括，由对象分类器借助于对象数据将边框和/或对象类型作为相应的对象特征给出。要注意的是，如果将摄像机用作传感器，单图像可基于可见光。但是，附加地或替代地，单图像还可基于不同的测量原理，于是以已经提到的方式是雷达图像或超声波图像或激光雷达图像，这仅仅是举出的示例。边框可根据生成的传感器坐标系被定义成是二维的或三维的，例如矩形或长方体。可通过选择对象分类器来确定识别哪种对象类型。可使用现有技术的对象分类器。可在一方面为交通参与者和另一方面为静止的对象之间进行区分。也可以通过对象分类器执行已知的其他分类(在车辆、行人、骑行车、交通灯、交通指示牌、行车道标记、行车道、行车道上的箭头之间进行区分)。边框可通过两个或三个角的坐标来定义，对于二维边框例如是左上角和右下角。

一种改进方案包括，在追踪模块中借助于聚合数据在来自多个相继单图像的至少一个单图像中对被遮蔽的单对象执行对象追踪。这里，在对象追踪时已经利用聚合的对象关系的聚合数据，从而使得在跟踪被遮蔽的单对象时仍然能做出关于它们的下落或它们的处在的说明，而不必在环境地图中进行录入，所述被遮蔽的单对象在一个或多个相继的单图像中被暂时遮蔽，因此相比于以前的单图像不再能被识别出来(因为它们例如布置在商用车的后面)。因此，还可在没有环境地图的情况下跟踪被遮蔽的单对象。为此例如可使用对象关系，其说明了被遮蔽的单对象布置在当前单图像中仍然可见的单对象的“旁边”。附加地或替代地，可在聚合模块中借助于来自追踪模块的追踪数据形成跨越多个相继的单图像的关系数据，因为通过追踪模块识别出了被遮蔽的单对象。

一种改进方案包括，由关系分类器，借助于定向的关系说明，尤其是左右并排、前后相继、前导者、跟随者，和/或非定向的关系说明，将相应的单对象的相对布置作为配对的对象关系以信号的形式发出。对象关系的说明需要更少的存储空间，尤其是少于1000字节就足够了，这是因为仅需给出对象关系的方向(主体到客体)和/或关系类型(例如“在......旁边”或“在……后面”)。如上所述，已经发现，这种定向的关系说明例如已经可以从单图像中的单对象的几何关系或相对布置来识别。在此，“定向”指的是，一单对象作为主体，另一单对象作为客体，从而使得例如可以说：在单对象的队列布置中，“单对象A是单对象B的前导者”。以所说明的方式，从单图像中，例如基于相对的布置，因为例如一单对象比另一单对象布置得更高或具有更大的y坐标，和/或边框的尺寸比例，已经可给出对象关系的指示。与给定对象类型(例如车辆)更远的另一单对象比布置成更靠近机动车的相同对象类型的单对象具有更小的边框。通过评估边框的坐标还可识别，两个单对象是否在已配对的对象关系中并排布置。“前导者”和“跟随者”指的是，机动车沿着其行驶方向首先到达的是前导者，然后到达的是跟随者。给出的关系说明或关系类型具有的优点是，通过单对象和对象关系的分类，已经可以得出关于驾驶情况的结论，例如识别到施工现场屏障，为此识别到例如呈信号牌或信标的形式的同类的单对象，并且识别到相应作为对象关系的例如“是......的跟随者”，从而识别到一系列具有信号特征的一个接一个放置单对象，并且然后例如将其识别为在施工现场区域中的临时的车道边界。这已经可以根据单图像或通过聚合的对象关系从多个相继接收的单图像中识别出来，而无需为此形成环境地图。非定向的关系说明例如可给出：“A和B属于相同的通道”。给出的方法的一特别的优点是，在关系识别中包含对象环境直至整个单图像，由此还可以正确分配无法从几何关系中明确导出的情况。在此，一示例是在狭窄转弯处的车道箭头的关系。

一改进方案相应地包括，关系分类器与自动驾驶功能的下级的环境地图和/或在没有关于自动驾驶功能的计划的轨迹的信息的情况下执行相应的对象关系的识别。因此，以所说明的方式，无需使用环境地图，并且因此也无需为了执行方法而形成或产生环境地图。同样，不必已知自动驾驶功能规划了哪个轨迹，即，无需反馈或所谓的自上而下地用信号给出轨迹规划的计算结果，以根据方法进行单图像评估。替代地，可为所有识别的或所有可能行驶的行道产生聚合的对象关系的聚合数据。因此，然后在自动驾驶功能中为所有可能选择的轨迹提供信息或聚合数据。

一种改进方案包括，自动驾驶功能包括针对至少一个驾驶情况的情况识别，相应的驾驶情况以单对象与其聚合的对象关系的组合的形式得到描述。

如上所述，例如可形成对象组，以便识别驾驶情况，例如具有交通灯设施的交叉路口。单对象及其聚合的对象关系如何分配给驾驶情况例如可以通过机器学习方法、例如借助人工神经网络根据训练数据确定或预定。作为训练数据，一方面可提供聚合数据和对象数据，例如是手动地由操作者预定的、所谓的标记数据，其给出待识别的或正确的驾驶情况。因此，可根据对象数据和聚合数据例如重新识别交叉路口类型，例如具有附加的右转车道的交叉路口。在此，可考虑识别的单对象的相应的对象类型(例如对象类型：交通灯、行车道上的拐弯箭头、停车线)和单对象的聚合的对象关系。

驾驶情况例如可通过以下方式被重新识别：对象数据和聚合数据与已知的驾驶情况的关系样式的预定的样式数据进行比较，并且识别到大于预定的最小值的一致性。

一种改进方案包括，将驶入交叉路口探测为驾驶情况，其中，将关于在静止的基础设施对象、尤其车道边界和/或车道箭头之间的聚合的对象关系、和/或在基础设施对象和车辆之间的聚合的对象关系、和/或在车辆之间的聚合的对象关系相应组合成关于现有行道的行道假设。在此，通过从在交通灯和说明相应的行道的单对象之间的聚合的对象关系的关系识别，将可能的行道分配给交通灯的交通灯组。如上所述，将“假设”理解成具有关于陈述的准确性或可信度的附加提供的概率值或置信度值的陈述。在此，可使用已经说明的加权值，其可用作概率陈述或置信度值。可通过以下方式将行道分配给交通灯组，即，行道例如被识别为在行驶面上的一系列箭头，其中，对象关系“是......的跟随者”作为队列或箭头的序列，最后，作为“跟随者”的最后一个箭头具有停车线，并且在停车线上方识别到交通灯组。除此之外或作为替代方案，行道例如还可以在没有行道标记时根据一个接一个行驶的交通参与者的排列或队列来识别，其作为单对象与对象类型(“交通参与者”或“机动车”)一起被识别，并且具有对象关系(“是......的跟随者”)。因此还可通过很少的数据量说明驶入交叉路口，因为仅需用于说明单对象的对象数据、和用于说明配对的对象关系的聚合数据和/或用于说明对象组的组数据。

一种改进方案包括，单对象的对象数据还说明其识别的对象属性和/或状态，尤其是空间取向、预定的光信号，它们在识别驾驶情况时被考虑。用于单对象的状态已被证明对于识别或重新识别驾驶情况特别有意义。可给出关于行车道或方位的说明。预定的光信号例如可以是：激活的刹车灯、行驶方向指示器(左转向灯、右转向灯)、紧急任务车辆的警告信号。状态与对象属性的不同之处在于，状态随时间变化，即，状态可改变。而对象类型，例如对象类型机动车，对于单对象来说不变。对象属性同样是单对象的恒定的配置特征，例如交通灯是具有三种颜色红、黄、绿，还是仅具有颜色黄和绿。作为对象属性的空间取向例如可给出交通灯或交通指示牌指向哪个方向。关于是否和/或何时允许在具有可能目的地方向的已识别的行道上行驶的假设(“绿色交通灯”)，优选地在对象跟踪之后形成，以便聚合关于交通灯状态的时间信息。

一种改进方案包括，作为驾驶情况通过以下方式在没有行道标记的情况下对行道进行探测，为此，作为单对象识别在行道上在一条队列中前后相继地行驶的车辆，并且根据聚合的对象关系识别出前后相继地行驶的车辆的队列，将队列的几何走向作为行道以信号的形式发出。因此，基于如下信息来识别行道：由前后相继行驶的车辆形式的交通参与者组成的队列前后相继地行驶。于是，并排的两个队列表示双车道的行道。

一种改进方案包括，作为驾驶情况对由离散的相同类型的单对象构成的行道边界进行探测，尤其是在施工现场中和/或在乡村道路上(例如在严重脏污或积雪的行车道上)，其中，通过单对象的聚合的对象关系确定边界的走向，尤其根据聚合的对象关系与相应的单对象在相应的前导对象后方的说明。因此，行道边界独立于在行车道上可识别的标记根据尤其直立的单对象来识别，例如柱子、信标或标记带或林荫道的树木。通过相同类型的多个单对象可以所说明的方式将障碍物探测或解释为这种对象类型的前后相继布置的单对象。通过对象关系的方案提供的优点是，它能对于非常短的区段起作用，因此对于在接近时仅能在有限的时段内被观察到的区段起作用。

一种改进方案包括，自动驾驶功能包括针对至少一个预定的环境对象、例如车辆的对象识别，并且将相应的环境对象描述为单个组成部分与其聚合的对象关系的组合。事实证明，这是一种特别灵活的对象识别方案。因此，例如可首先通过对象分类识别单个组成部分，例如前灯和/或轮胎和/或车牌和/或后视镜，然后通过对象关系(例如并排的两个前灯和中间的车牌)将车辆识别为环境对象。因此，还可以将这种车辆识别成，其具有在其他方面对于机动车来说非典型的形状，例如嘉年华花车。然后，环境对象的识别可通过对象分类器限制于交通规定的单个组成部分，例如前灯和/或车牌，和/或技术上必需的单个组成部分，例如轮胎，并且作为车辆的实际识别可根据对象关系来进行。因此，必须通过对象分类器仅将单个组成部分识别为单对象，并且然后根据对象关系执行环境对象的实际识别。这还使得有利于探测或识别对象分类本身不明确或没有专门训练的环境对象。

一种改进方案包括，为了产生和/或更新数字道路地图，通过机动车并且通过至少一个另外的机动车，相应的机动车借助于其自己的处理器设备根据根据上述权利要求中任一项所述的方法确定聚合的对象关系的聚合数据，并将聚合数据借助于预定的通信方法(例如Car2X通信方法和/或移动通信和/或WiFi)发送给车外服务器，服务器确定聚合的对象关系的置信度值，，该置信度值与相应报告所述对象关系的机动车的数量相关，在相应的对象关系的置信度值大于预定义的阈值时，将相应的对象关系录入数字道路地图中。因此可通过聚合数据补充数字道路地图，使得能够基于聚合数据实现预定的所谓的兴趣点(Point of Interest，POI)或地方的重新识别。在此，每辆机动车仅须驶过地区的相应地点一次，因为置信度值可基于多辆机动车的聚合数据产生。然后，就可以将具有聚合数据或数字关系模型(在其中概括和/或抽象地表示聚合数据)的数字道路地图发送给机动车，机动车接着可比较其自己的聚合数据与数字道路地图，从而使得机动车可再次识别相应的地点。

其中存储有对象关系的道路地图还可以在机动车中被用于初始化聚合模块，为此从道路地图中读取已存储在其中的初始对象关系的初始对象数据，并通过机动车的处理器设备以上述方式将初始对象数据与机动车的另外的传感器数据一起进行聚合。因此，这里方法是相反的：将地图作为一种类型的传感器，并且读取已经存储在其中的对象关系，使该对象关系与新的传感器数据相聚合。因此可有利地更好地解决例如遮蔽问题。在例如可以从服务器下载的道路地图中，预定了表征性的或初始的对象关系。然后，可根据机动车的当前地理位置读取存在于当前环境中的对象关系的地图数据以用于初始化。例如，在遮拦和相应视觉障碍的情况下，可从地图中得到补充。

本发明的另一解决方案包括用于机动车的处理器设备，其中，该处理器设备设置成执行根据本发明的方法的实施方式。处理器设备是数据处理装置或处理器装置，并且设置成执行根据本发明的实施方式的方法。为此，处理器设备可具有至少一个微处理器和/或至少一个微控制器和/或至少一个FPGA(Field Programmable Gate Array，现场可编程门阵列)和/或至少一个DSP(Digital Signal Processor，数字信号处理器)。此外，处理器设备可具有程序代码，该程序代码设置成在由处理器设备执行时执行根据本发明的实施方式的方法。程序代码可存储在处理器设备的数据存储器中。

本发明的另一解决方案包括机动车，其具有根据本发明的实施方式的处理器设备。根据本发明的机动车优选地设计为汽车，尤其是乘用车或商用车，或者是客车或摩托车。

本发明还包括所述实施方式的特征的组合。本发明还包括多个所说明的实施方式中的特征的任意组合方案，只要这些实施方式没有被说明为是相互排斥的。

附图说明

下面说明本发明的实施例。为此附图中：

图1示出了根据本发明的机动车的实施方式的示意图，该机动车具有根据本发明的实施方式的处理器设备，该处理器设备可执行根据本发明的实施方式的方法；

图2示出了用于阐明根据本发明的方法的实施方式的信号流图，其中，各传感器的单图像在对象关系方面单独分析；

图3示出了用于阐明关系分类器的实施的信号流图；

图4示出了用于阐明对象追踪的两幅示意图，对象追踪借助于聚合的对象关系的聚合数据来稳定或支持；

图5示出了用来阐明驶入交叉路口的驾驶情况识别的示意图；

图6示出了用来阐明在没有行车道标记的情况下识别车道或行车道的驾驶情况识别的示意图，

图7示出了用来阐明具有改变的车道导向的施工现场屏障的驾驶情况识别的示意图；

图8示出了用来阐明如下驾驶情况识别的示意图：其中将前后相继行驶的机动车队列用作行道假设。

具体实施方式

下文中阐述的实施方式为本发明的优选的实施方式。在这些实施方式中所描述的组成部分相应地构成本发明的可彼此独立地考虑的单独特征，它们也相应彼此独立地改进本发明，因此，本公开文本还应包括不同于实施方式所示的特征组合。此外，所说明的实施方式还可通过本发明的已经说明的特征中的其他特征来补充。

在附图中，相同的附图标记相应表示功能相同的元素。

图1示出了机动车10，其可为汽车，尤其是乘用车或商用车。在机动车10中可提供有处理器设备11，该处理器设备例如可基于一个控制器或通过通信网络彼此互联的多个控制器的组合形成。借助于处理器设备11可实现机动车10的自动驾驶功能12。基于自动驾驶功能12，可借助于控制指令14操控执行器13，以自动执行机动车10的纵向引导(加速和制动)和/或横向引导(转向)，而无需机动车10的乘员的干预。为此，自动驾驶功能12可以已知的方式产生用于执行器13的控制指令14。

为了探测环境U中的对象，自动驾驶功能12可借助于至少一个传感器15接收来自环境U的信号。传感器15的示例相应是：用于可见光的摄像机、红外摄像机、雷达、激光雷达、超声波传感器等。传感器15可相应产生传感器数据16，其可由处理器设备11接收。传感器数据16可在单独的测量周期中相继地产生，从而始终产生更新的传感器数据16。于是，一个测量周期的传感器数据16相应产生环境U的单图像17，即，彩色图像或黑白图像或雷达图像或激光雷达图像或超声波反射图像等。以已知的方式，可通过处理器设备11以下文说明的方式对环境U中的单对象18进行对象探测，但这从现有技术中是已知的。可实施特征提取19，其例如可基于人工神经网络20针对每个传感器15分开地或单独地实施。这里，人工神经网络20通过特征提取19的符号化的特征矩阵来表示。基于特征提取19，例如可在单图像17中探测和识别在单图像17中的图像特征，例如边缘走向和/或深度信息和/或分段的表面，其满足同质性标准(例如单色性或相同的样式)。基于单图像17和/或特征提取19，一个或多个对象分类器21可针对单图像17中的各子区域实施对象探测，以探测单对象18。这种对象分类器21可基于机器学习算法、尤其人工神经网络以已知的方式实现。基于对象分类器21的对象探测可产生对象数据22，其给出在相应的单图像17中在哪里探测到了哪个单对象18。基于对象分类器21的对象数据22，追踪模块23可执行对象追踪24，其跨越多个单图像17、即跨越多个测量周期地对单对象18的位置进行跟踪或追踪。这可针对每个传感器15单独完成，或者也可以以与传感器功能相组合的方式组合来自多个传感器15的对象数据22，并且通过追踪模块23在共同的对象追踪24中执行对单对象18的追踪。相应的追踪模块23在现有技术中是已知的。在追踪中可产生追踪数据25，其可被提供给自动驾驶功能12以用于驾驶任务(纵向引导和/或横向引导)，即，以产生控制指令14。在此，自动驾驶功能12可包括多个子功能26，它们在这里示例性地作为子功能F1、F2、……、Fn。示例性的子功能26可以是驶向交通灯识别27或施工现场屏障识别，如下所述。

另一子功能26可以是产生环境地图或周围区域地图28，在其中可基于追踪数据25在周围区域地图28中相对于机动车10(在周围区域地图28中，以鸟瞰视角符号化地示出了车辆前部)绘制出所探测的单对象18的位置。基于这种周围区域地图28可实施作为另一子功能26的、例如用于驾驶轨迹29的轨迹规划，然后，可通过该子功能或根据根子功能产生控制指令14。

在用于自动驾驶功能12的信号流中，例如可以针对每个传感器15单独实施关系分类器30，其既不依赖于周围区域地图28，也不依赖于规划的驾驶轨迹29。关系分类器30可分别对传感器数据16和/或单图像17的对象数据22进行加工或处理。各关系分类器30可基于机器学习算法(例如人工神经网络)和/或基于几何关系的算法评估来实施。技术人员可根据来自试驾的单图像确定合适的几何标准。

通过关系分类器30可针对单图像17为单对象18产生或以信号的形式发送关系数据31，其对在单图像17中的探测的单对象18的对象关系作出描述。在图1中示出的追踪模块还可以附加地设计为聚合模块32，其基于关系数据31产生聚合数据33，该聚合数据针对单对象18的对象关系对聚合的对象关系作出描述，该对象关系跨越多个单图像17以连续的、或被确认的或可靠的形式被识别到。聚合模块32例如还可以被实施为单独的软件模块。它可基于用于对象追踪的算法和/或用于统计分析的算法来实现。它例如可实现为移动平均和/或ML(ML–MachineLearning，机器学习)模型。ML模型尤其适于处理序列。这里特别优选的是具有注意力机制的循环网络和/或模型。通过可在聚合数据33中用信号表示的聚合的对象关系例如可说明，确定的单对象18停留、位于或布置在另一单对象18的旁边。

下面根据图2和图3阐述关系数据31和聚合数据33的产生。接下来根据图4至图8阐述聚合数据33的使用。

图2针对单个的传感器15示出了如何在单摄像机处理器40情况下例如借助于机器学习算法的所谓的深度学习模型来处理其原始数据或传感器数据16。示出了，通过例如基于人工神经网络20的特征提取19，可通过对象分类器21执行对象探测，并且附加地例如可执行语义分割42和/或其他探测43。以已知的方式，可针对单对象通过特性分类器44确定探测的单对象18的其他特性，如例如在开头说明的文献中实施的那样。在这种单摄像机处理器40中，例如还可以训练作为深度学习模型DL的组成部分的关系分类器30，其在这里还被称为VRC(Visual Relationship Classification，视觉关系分类)，因为它是基于在单图像中可识别的几何关系和/或单对象的通常至少一个关系特征，即，单对象18在相应的传感器15的传感器坐标系中可识别的相对位置或相对情况。然后，产生的关系数据或(如果聚合模块32实施为VRC的组成部分)聚合数据可通过例如追踪模块23与来自其他传感器15的信息一起进行融合，和/或跨越单图像17进行追踪。在信号流中同样可实现其他模块45，如对于自动驾驶功能12已知的那样。

图3说明了如何能实施关系分类器30和/或聚合模块32，即，VRC。在图2的进一步的深化中示出了，在特征提取19中，可如何通过该深化，除了用于关系分类器30的对象数据22之外还提供单图像17的图像数据60。针对关系分类器30示出了，可示例性地利用哪些输入信号或输入数据61。一方面，对于当前的单图像17，边框62可包含在对象数据22中，其给出了相应识别的单对象18在单图像17中布置在何处。基于此，可对例如空间关系或几何关系实施解释或评估，以作为空间特征提取63(提取空间对象关系(例如“旁边”、“后面”)，例如通过对边框62彼此的几何分析或几何比较来实施。例如可基于边框62通过空间特征提取63确定，边框62彼此之间具有哪种几何样式或哪种几何分组。可基于单独识别的单对象18的对象属性66确定语义特征提取65。针对每个可能的或可识别的对象类型67，作为对象属性66一识别值或者是概率或假设值68例如可以给出，其说明了单对象18以多大概率对应于相应的对象类型67(例如交通灯：0.01，交通指示牌：0.09，车辆：0.8，交通信号灯：0.1……)。借助于图像数据60还可表示或指示出单图像17的通过相应的边框62说明的图像部分。通过结合边框可形成结合的边框69，该结合的边框例如包括两个或通常更多个边框62，以便还因此评估或解释两个单对象18的图像背景或图像关系。结合的边框69例如可通过多个边框62的限值(左上角的坐标和右下角的坐标，其分别具有最小值和最大值，这作为这种计算的示例提出)实现。

对象类型67(例如对象类型“交通灯”)、对象属性66(例如“交通灯”向南取向)以及对象状态(例如“交通灯”当前是红色)是所述的对象特征。

来自图像数据60的视觉特征提取70以及空间特征提取63、背景特征提取64和/或语义特征提取65可用作用于人工神经网络72的输入数据，人工神经网络执行关系分类器VRC或关系分类器30的实际功能。在人工神经网络72中，还可实现聚合模块32。代替人工神经网络或附加于人工神经网络地，可为所述评估设置另外的机器学习算法和/或程序编程。然后，作为输出数据可提供关系数据31或聚合数据33，该关系数据或聚合数据例如可给出在相应两个单对象18之间的配对的对象关系74，其在此示出为定向的图形75，该定向的图形从作为对象的一个单对象18(通过其边框62表示)指向作为对象的另一单对象18(通过其边框62表示)。对象关系74可通过假设值或概率值来描述，该值可针对可能的关系类型76(例如“并排”、“紧邻”、“前导者”、“跟随者”)分别给出分类结果或识别结果的假设值或概率值77。然后可以所说明的方式将关系数据31或聚合数据33传送给追踪模块23和/或(如果后置有聚合模块32)聚合模块32。

图4说明了，例如如何跨越两个单图像17，即，单图像或帧F(n-1)和F(n)，针对两个单对象18进行对象追踪，即使其在单图像F(n)中被遮蔽，其存在和/或其位置仍能被监测，并且在此可通过聚合数据33进行支持。这里，标记F代表帧，即单图像。标记n-1和n意味着，在单图像17的序列中，当前的测量周期n之前的是紧邻在前的测量周期n-1。示出了可如何通过聚合数据33确定在单对象18(例如交通灯和/或车道箭头)之间的聚合的对象关系80。聚合的对象关系80例如可说明以哪种几何关系(例如并排或紧邻或隔一位相邻)来布置。此外示出了，通过边框62由对象数据以信号的形式发出：单对象在相应的单图像中位于何处。与单图像F(n-1)相比较地，在单图像F(n)中示出了，尽管单对象18由于例如其他交通参与者的遮蔽85而在单图像F(n)中不可见，但是仍然可以通过聚合的对象关系80在单图像F(n)中也呈现出单对象18‘的存在。甚至还可以在遮蔽85期间为被遮蔽的单对象18‘形成或计算附加的对象关系86。

图5示出了，如何能够在自动驾驶功能中通过子功能26执行在单图像17中的驾驶情况识别90。作为驾驶情况在这里可识别出驶入交叉路口91。通过单对象18的边框和为该单对象18确定的聚合的对象关系80(例如“是…的跟随者”、“是相同对象类型的系列中的最后一个”、“在……的下面”)，可识别出单对象的相互联系或单对象的队列92，由此，基于单图像17尤其在不使用周围区域地图28的情况下，可探测车道93的走向和交通灯设施94与车道93的相关性。要注意的是，这里的术语“车道”、“行道”、“行车道”同义且同等地使用。

图6说明了，在没有行车道标记100的情况下，如何能基于单对象18的相应的队列92(通过由相应的边框62标记对象数据)和聚合的对象关系80(例如对象关系类型中的“是……的跟随者”、“紧邻于”)识别出两个车道或行道101并排伸延。同样，相应的交通信号灯与行道101的相关性可基于几何关系来识别，所述几何关系通过队列92内的聚合的对象关系80所表示。

图7说明了，针对类型是施工现场信标或施工现场分界物的相同对象类型的单对象18，如何能够通过聚合的对象关系80，例如类型是“是……的跟随者”，识别出例如呈施工现场信标形式的相同类型的单对象18的队列92，并且基于聚合的对象关系80解释为车道或行道101的分界物，或者在轨迹规划时被加以利用。然后，这可以所说明的方式例如被发送给自动驾驶功能12的轨迹规划功能。

图8以类似的方式示出了，对于无行车道标记的道路表面，如果针对单对象18识别出：通过它们的聚合的对象关系80相关地例如识别到关系类型“是......的跟随者”或“是......的前导者”(对象关系103)、“相邻于”(对象关系104)，如何能够根据呈车辆形式的同类型单对象18的队列92识别出单个行道或行车道。

因此，自动驾驶功能的基于所识别的对象/实体信息的现有子功能从融合附加地获得对象/实体及其属性。此外，使用关系图的功能获得关系和关系属性。在此，识别的关系在聚合/融合中被传递给融合的对象/实体，并且处理在融合源之间的可能的矛盾。

该基本思想通过关于对象关系的附加信息扩展了对象探测，该对象关系的确定可通过对在实时***中习得的对象特征的再利用来实现。

关系图为如何在其背景中解释对象提供了一种紧凑但全面的表示，这使得实现所基于的功能变得容易。此外，关系图允许将对象分成独立的或重叠的组，由此可针对不同的驾驶功能导出不同的语义关系。通过共同地确定而在所需的计算工作量方面提供了优势。

对象关系可简单地与相关的对象一起被跟踪，这使得能够将在传感器中识别的背景信息传递给时间上一致的环境模型。对象关系还可以相同的方式在不同的传感器源之间融合。此外，与在追踪下游的模块或处理单元中确定关系的可行方案相比，在各传感器测量中识别关系具备延时优势。

对于静态对象，例如优选在电子地图中存在的对象，对象关系可独立于图像处理方法来确定，例如可通过手动标记来创建，并且将其一起包含在地图数据中。因此，一方面可进行地图数据与实时确定的数据的融合，以导出例如由于遮蔽而无法得到的信息，另一方面来自地图的关系使得能够简化地将所观察的对象分配给地图对象，这是因为不仅对象、而且对象的关系可在分配中加以利用。

借助对象关系图能够有利地实现如下的具体应用：

用于识别关于驶入交叉路口情况的功能可如此来设计，即，其可区分在传感器数据中的多种交叉路口，以便例如可在岔路口处针对可能的方向提供对后方的交通灯设施的描述。该功能可输出关于推荐的行道的数量、其可能的出口方向以及相关灯信号状态的假设。对于行道的假设，可使用在车道边界、箭头和车辆之间的关系信息，并且考虑如下的情形：行道指示中的每一个在具体情况下能被使用或不能被使用(不存在、被遮蔽、退色、未被识别等)的情况。在此，“离散”的对象(即，箭头和车辆)的行道假设通过识别的关系来建立。可能的行道与交通灯组的对应关系应通过在交通灯和对行道作出描述的对象之间的关系识别来进行。关于是否允许在具有可能的目的地方向的已识别的行道上行驶的假设是在对象追踪之后形成的，以便聚合有关交通灯状态的时间信息。

可提供用于建立关于包括离散的同类对象的行道边界的假设的功能。这例如发生在施工现场中或乡村道路上，并且能够在严重脏污或积雪的行车道上实现行道的感知。通过利用追踪或对象融合来对单对象进行三维定位，来确定边界的走向。与例如通过曲线来描述对象的走向，通过对象关系进行说明的优势在于，其对于以这种方式界定的非常短的区段以相同的方式起作用。

以将导引信标用于行道边界的情况为例，对象及其待识别的排列关系可用作车道信息，而无需针对施工现场情况的单独的车道标记。

第三种可行应用方案是，将上述说明的方法在众包环境下用于产生和/或更新地图。示例：作为车队的一部分的一辆车辆行驶通过交叉路口。在那里，车辆借助于上述的方法计算在例如车道和交通灯之间的对象关系。车辆借助于例如Car2X方法将对象关系发送给外部的服务器。然后，第二车辆同样行驶通过交叉路口，并且同样计算对象关系，并且将其发送给服务器。于是，服务器可为对象关系分配“置信度”，该“置信度”取决于有多少车辆报告了对象关系。如果置信度超过预定义的阈值，便可在地图中使用该对象关系(从而例如对地图进行更新)。

总体而言，所述示例展示出如何能够将从环境摄像机的单图像中提取的对象关系作为用于环境观察的其他输入信息来提供。

Claims (15)

1.一种用于运行机动车(10)中的自动驾驶功能(12)的方法，由机动车(10)的处理器设备(11)借助于至少一个对象分类器(21)从机动车(10)的至少一个传感器(15)的传感器数据(16)识别出在传感器数据(16)所描述的、机动车(10)环境的单图像中的各个单对象(18)，通过对象数据(22)分别给出单对象(18)的被识别的至少一个对象特征，

其特征在于，

借助于至少一个关系分类器(30)，根据所述单对象(18)中的至少一部分单对象的对象数据(22)以及根据从所述传感器数据确定的单对象(18)关系特征，在各单图像(17)中识别出相应配对的对象关系(74)，该对象关系通过关系数据(31)来描述，

借助于聚合模块(32)，跨越多个相继的单图像(17)将关系数据(31)聚合成聚合数据(33)，该聚合数据说明聚合的对象关系(80)，将聚合数据(33)提供给用于对象追踪的追踪模块(23)和/或用于轨迹规划(12)的自动驾驶功能。

2.根据权利要求1所述的方法，其特征在于，所述聚合模块(32)根据相应对象关系的识别质量和/或重复频率确定相应的聚合的对象关系(80)的加权值，并通过加权值来描述聚合数据(33)，和/或

聚合的对象关系(80)针对单对象(18)中的多个单对象产生一闭合的、对象关系的关系图，该聚合的对象关系将这些单对象(18)描述为配套的对象组。

3.根据上述权利要求中任一项所述的方法，其特征在于，从多个传感器(15)接收各单图像(17)的相应的传感器数据(16)，针对每个传感器(15)运行单独的关系分类器(30)，聚合模块(32)对多个关系分类器(30)的关系数据(31)进行关系数据融合。

4.根据上述权利要求中任一项所述的方法，其特征在于，由对象分类器(21)借助于对象数据(22)给出边框(62)和/或对象类型(67)作为相应的对象特征。

5.根据上述权利要求中任一项所述的方法，其特征在于，在追踪模块(23)中，借助于所述聚合数据(33)，在来自多个相继单图像的至少一个单图像(17)中对被遮蔽的单对象(18)执行对象追踪(24)，和/或

在所述聚合模块(32)中，通过由追踪模块识别出被遮蔽的单对象(18)，借助于来自所述追踪模块的追踪数据跨越多个相继的单图像(17)形成关系数据(31)。

6.根据上述权利要求中任一项所述的方法，其特征在于，由所述关系分类器(30)，借助于定向的关系说明，尤其是左右并排、前后相继、前导者、跟随者，和/或非定向的关系说明，将各单对象(18)的相对布置作为配对的对象关系(74)以信号形式发出。

7.根据上述权利要求中任一项所述的方法，其特征在于，关系分类器(30)与所述驾驶功能(12)的下级的环境地图无关地和/或在没有关于驾驶功能(12)的规划轨迹信息的情况下执行相应的对象关系(74)的识别。

8.根据上述权利要求中任一项所述的方法，其特征在于，所述驾驶功能(12)包括针对至少一个驾驶情况的情况识别，相应的驾驶情况以单对象(18)与其聚合的对象关系(80)的组合的形式得到描述。

9.根据权利要求8所述的方法，其特征在于，作为驾驶情况对驶入交叉路口(91)进行探测，其中，将关于在静止的基础设施对象、尤其是车道边界和/或车道箭头之间的对象关系、和/或在基础设施对象与车辆之间的对象关系和/或在车辆之间的对象关系的聚合数据(33)组合成关于现有的行道(101)的行道假设，其中，通过来自在交通灯和说明行道(101)的单对象(18)之间的聚合的对象关系(80)的关系识别，将可能的行道(101)与交通灯的交通灯组相关联。

10.根据权利要求8至9中任一项所述的方法，其特征在于，作为驾驶情况通过以下方式在没有行道标记的情况下对行道(101)进行探测：作为单对象(18)识别在行道(101)上在一个队列(92)中前后相继地行驶的车辆，根据聚合的对象关系(80)识别出前后相继地行驶的车辆的队列(92)，并将所述队列(92)的几何走向作为行道(101)以信号的形式发出。

11.根据权利要求8至10中任一项所述的方法，其特征在于，作为驾驶情况对由离散的相同类型的单对象(18)构成的行道边界进行探测，尤其是在施工现场中和/或在乡村道路上，其中，通过所述单对象(18)的聚合的对象关系(80)确定所述边界的走向，尤其是根据给出了各单对象(18)在相应的前导对象之后的聚合的对象关系(80)确定所述边界的走向。

12.根据上述权利要求中任一项所述的方法，其特征在于，所述驾驶功能(12)包括针对至少一个预定的环境对象的对象识别，将相应的环境对象描述为单个组成部分与其聚合的对象关系(80)的组合。

13.根据上述权利要求中任一项所述的方法，其特征在于，为了产生和/或更新数字道路地图，通过所述机动车(10)并且通过至少一辆另外的机动车(10)，各机动车(10)借助于其自己的处理器设备(11)根据上述权利要求中任一项所述的方法确定聚合的对象关系(80)的聚合数据(33)，并将所述聚合数据(33)借助于预定的通信方法发送给车外的服务器，所述服务器确定所述聚合的对象关系(80)的置信度值，该置信度值与相应报告所述对象关系的机动车(10)的数量相关，在相应的对象关系的置信度值大于预定义的阈值时，则将相应的对象关系录入数字道路地图中，和/或，

为了初始化所述聚合模块(32)，从道路地图中读取已经存储在其中的初始对象关系，并将该初始对象关系与传感器数据聚合。

14.一种用于机动车(10)的处理器设备(11)，其中，所述处理器设备(11)设置成执行根据权利要求1至12中任一项所述的方法。

15.一种具有根据权利要求14所述的处理器设备(11)的机动车(10)。

Images