CN111868641A - 用于产生用于训练车辆控制设备的人工智能模块的训练数据组的方法 - Google Patents

Abstract

提供一种用于产生用于训练人工智能模块KI模块(1)的训练数据集的方法。该方法设置，首先提供图像序列(5)，在该图像序列中检测机器人的周围环境(6)。然后，确定能够布置在所检测的机器人的周围环境(6)中的至少一个轨迹(14a‑14e)。此外设置，生成至少一个未来的图像序列，该至少一个未来的图像序列延伸到相对于序列结束时刻(t0)而言未来的时间区段(t0+n)上，并且基于至少一个所确定的轨迹(14a‑14e)包括针对以下情况的对图像的预测：在未来的时间区段(t0+n)期间将遵循所确定的轨迹(14a‑14e)。如果通过遵循轨迹(14a‑14e)预测的运动对应于有效的运动状况，则将包含在所生成的图像序列中的所确定的轨迹(14a‑14e)的至少一个子区段评估为正面，或者如果通过遵循轨迹(14a‑14e)预测的运动对应于无效的运动状况，则将其评估为负面，并且将所生成的未来的图像序列与分配给该图像序列的轨迹(14a‑14e)评估相结合来产生用于KI模块(1)的训练数据集(2)。由此能够通过行驶模拟器来训练KI模块(1)，该行驶模拟器基于所记录的以及切合实际的图像序列(5)结合能够以相对较低的计算开销实现的预测。

Description

用于产生用于训练车辆控制设备的人工智能模块的训练数据 组的方法

技术领域

本发明涉及人工智能领域，尤其涉及一种用于产生训练数据组的方法，训练数据集用于训练人工智能模块，即KI(Künstliche-Intelligenz，人工智能)模块。KI模块例如可以在用于至少部分自动化运动的设备的控制设备中实现，例如至少部分自主的机器人或至少部分自动化行驶的车辆。

背景技术

例如在自动化技术、机器人技术、自主驾驶等中经常将人工智能模块(在下文中也称为KI模块)用于例如至少部分自主的机器人的自动化控制。人工智能模块基于经训练的数据，并且例如在机器人的至少部分自主的实际运行中应确保进行尤其考虑到机器人的周围环境的控制，例如，在至少部分自动化行驶的车辆中同样应确保进行交通安全的控制，其方式为：人工智能模块针对出现的行驶事件采取适合的反应。关于车辆技术，例如应如此控制车辆，使得阻止与障碍物和/或其他交通参与者发生碰撞，或者车道稳定地(spurtreu)遵循持续变化的行车道走向。

为此，这种KI模块可以例如包括至少一个人工神经网络，该人工神经网络在下文中也称为KNN。借助训练数据集来训练KNN，以便逐步地教授KI模块交通安全的自主运动(例如行驶)。

但是至今还尚已知这种模拟器：该模拟器能够足够切合实际地描绘环境(尤其是可能的机器人周围环境，例如车辆周围环境)，以便教授尤其是模拟机器人安全的运动，例如教授机动车交通安全的行驶。如此，用于这种切合实际的模拟器的计算开销将相对较高，因为在车辆技术方面必须至少对道路、静态对象和动态对象以及动态对象的运动行为进行模拟。因此，在实践中将环境缩小或简化为模型，基于该模型创建用于训练KI模块的模拟。为此，例如可以训练KNN，使得将环境缩小为这种简化的模型。已经示出，借助缩小的模拟来进行训练的KI模块的训练成果是值得改善的。

发明内容

本发明的实施方式为更好地训练KI模块以及以此为基础使用KI模块提供了可能性。由从属权利要求、说明书以及附图得出本发明的有利扩展方案。

所提出的方法适合于产生用于训练人工智能模块即KI模块的训练数据集。替代地或附加地，所提出的方法也能够适合于训练KI模块。KI模块例如可以涉及用于机器人(例如至少部分自动化行驶的机动车)的计算机辅助的控制设备的软件程序。在此，KI模块可以设置为用于产生输出项并且将该输出项提供给机器人，所述输出项通过控制设备、通过例如至少部分自动化驾驶的机动车的控制设备电子地操控机器人，机器人可以基于该输出项求取例如绕行策略和/或制动操作。控制设备还可以通过操控执行器或类似物促使机器人(例如机动车)执行绕行策略和/或制动操作。为此，KI模块可以包括程序代码，并且尤其还可以包括多层的和/或卷积的人工神经网络(KNN)。

根据本发明的方法能够计算机辅地在例如数据处理装置(该数据处理装置也可以具有至少一个存储器单元和计算单元)中实现并且包括以下步骤：

-首先，提供图像序列，在该图像序列中通常在图像中检测到了环境，尤其是机器人周围环境。换句话说，图像序列包括环境或周围环境(机器人能够在该环境或周围环境中停留、运动等)的图像。可以预先借助例如车辆来检测图像序列，车辆具有例如摄像机、激光雷达传感器等的图像检测装置。在实际的行驶运行中，图像检测装置可以行驶通过不同的周围环境并且创建一个或多个图像序列，该一个或多个图像序列在此可以作为图像序列提供给所描述的方法。

-然后，确定能够布置在机器人周围环境中的至少一个轨迹。在这种情况下，“轨迹”可以理解为一类空间曲线，即，机器人或其他(尤其动态的)对象在包含在图像序列中的环境或车辆周围环境中的可能的路线或路径或穿过包含在图像序列中的环境或车辆周围环境的可能的路线或路径。如果轨迹能够被所分配的对象、即应遵循该轨迹的对象例如在物理界限方面视为可实现的，则可以将该轨迹视为可布置的。换句话说，对于所有任意的动态对象产生至少一个任意轨迹，所述动态对象从所提供的对其中检测的机器人周围环境的图像序列中针得知。因此，一方面可以考虑动态对象的所有可能的运动(除了精度限制之外有限多的轨迹，即不同的轨迹配置)，但是也可以考虑机器人本身相对于其周围环境的运动。

-生成至少一个未来的、尤其是人工的图像序列，该图像序列延伸到相对于序列结束时刻的未来时间区段上并且基于至少一个所确定的轨迹包括针对以下情况的对图像的预测：在未来的时间区段期间将遵循所确定的轨迹。换句话说，基于所选择的可能的轨迹人工地产生一个或多个未来的图像序列。也可以将图像序列视为模拟，尤其是短期模拟，在该模拟中对基于图像序列和/或预测得出的整个场景进行模拟。该模拟可以包括图像序列的或在图像序列中检测到的机器人周围环境的所有动态和非动态的部分。

-然后，评估包含在所生成的图像序列中的所确定的轨迹的至少一个子区段。如果通过遵循该轨迹来预测的运动相当于有效的运动状况，则评估的结果或评估为正面的，或者，如果通过遵循该轨迹来预测的运动相当于无效的运动状况，则为评估的结果或评估负面的。换句话说，基于所生成的图像序列估计：在图像序列中可辨识的特征(例如行车道标记、路堤或诸如其他交通参与者等的对象)尤其相对于轨迹可能如何改变、如何运动，或者可能表示障碍物。例如，在预测中，动态对象可以从第一点A运动到沿着轨迹布置的第二点B，则表示潜在的障碍物。但是，在预测中，轨迹也可能与行车道标记(例如道路的路肩)相切或相交。相应地，所预测的运动状况可以涉及与其他静态或动态对象碰撞、偏离道路或类似情况。例如，关于车辆技术中的应用，“运动状况”可以理解为行驶事件、行驶状况等。

-然后，为了产生用于待训练的KI模块的训练数据集，将所生成的未来的图像序列与分配给该图像序列的轨迹评估相结合，以产生用于KI模块的训练数据集。这意味着，训练数据集基于图像序列形式的导入数据或基于该图像序列的、生成的未来图像序列结合对于超过该图像序列的、即未来的时间区段的经评估的预测。

借助这种配置，所提出的方法使得能够改善KI模块的训练，因为该方法使用“伪”或“离线”行驶模拟器，其中，“伪”或“离线”在此要表明：训练数据基于所记录的实际环境的图像序列，而不是基于相对于实际环境已简化的纯模拟。由于比简化的模拟更接近现实，能够实现高的训练质量。尤其可以对于在机器人周围环境中辨识出的每个对象确定一个或多个轨迹。在理想情况下，视质量而定，以此为基础的图像形式的切合实际的场景可能与所提供的实际记录的图像序列没有区别。由于通过所述确定得知机器人周围环境中的各个对象的轨迹，预测能够得到显著的改善。由此也能够进一步改善人工产生的将来时间区段的图像序列的质量。同时能够将用于训练KI模块的计算开销保持得低，因为不再需要对车辆周围环境进行广泛的模拟，而是仅需要对于相对较短的时间区段进行预测，该相对较短的时间区段相应地要求较少的计算开销。

在一种特别有利的扩展方案中设置，将训练数据集馈入到KI模块中。因此，所产生的训练数据集可以用作KNN的、尤其KNN的输入层的输入变量，和/或用作KI模块的学习算法的输入变量，该学习算法例如使用强化学习、监督式学习等机器学习方案。由于该训练数据集接近现实，能够更流畅地产生KI模块的学习成果。作为对训练数据集的处理和/或解释的结果，KI模块的神经网络可以求取、提供和/或输出一个输出项。

为了尽可能高效地利用该图像序列，可以提供唯一的图像序列，在确定彼此分别不同的轨迹情况下由该图像序列产生多个训练数据集。这意味着，在再次使用该一个图像序列情况下重复执行“提供图像序列”之后的上述方法步骤。因此，逐步地确定不同的轨迹，为此分别进行超出图像序列的预测，基于相应的预测对轨迹进行评估，并且如上所述，将这些知识组合为训练数据或由该组合产生训练数据。例如能够设想，逐步地改变原始确定的轨迹的不同几何变量，例如角度、曲率等。为此，例如根据速度保持不变情况下的不同转向角，能够实现所提供的图像序列中辨识出的动态对象的轨迹的变化和/或机器人例如车辆(从其角度出发产生图像序列)的轨迹的改变，例如以5°或尤其以1°的步长实现该改变。同时或作为进一步的变型，还可以在选择轨迹时连同将可能的速度变化考虑在内，例如在以切合实际的减速值进行减速的同时进行所提及的转向角变化(例如，基于当前的行驶状况，根据机器人例如车辆，该机器人的速度和外部情况，例如行车道的湿度)。以这种方式产生多个可能的轨迹，所有这些轨迹都可以是随后的对人工产生的图像序列进行预测的基础。还能够以这种方式和方法改变自身运动的对象的所有其他轨迹，并且对预测产生影响。以这种方式产生有限数量的轨迹配置，所有这些轨迹配置都可以引起不同的预测，从而对于每个轨迹配置能够预测或产生不同的图像序列。

因此，在另一有利的扩展方案中，从所提供的图像序列中能够基于所确定的第一轨迹产生至少一个第一训练数据集，并且能够基于所确定的第二轨迹产生第二训练数据集。不言而喻，此外也还可以产生其他训练数据集，其中，连同其评估和图像序列组合成其他训练集的其他轨迹在轨迹的至少一个特征和/或特性上不同于前述轨迹。

根据一种扩展方案，针对相应的确定的轨迹所生成的图像序列可以包括沿着相同轨迹的一定数量的深度图像、实际图像和/或语义分割的图像。换句话说，对于每个轨迹配置的输出项可以是沿着相同轨迹的深度图像、实际图像和/或语义分割的图像的一定数量的图像序列。由此能够产生针对不同的场景和/或用于训练不同的传感器等的特别接近现实的训练数据。

在一种扩展方案中，可以确定包含在所提供的图像序列中的动态对象的轨迹，并且可以基于该轨迹生成未来的图像序列。换句话说，可以在所提供的图像序列中辨识动态对象，针对该动态对象首先确定一个或多个不同的轨迹，并且针对所述轨迹产生未来的图像序列，所述未来的图像序列带有沿相应的轨迹的相应的预测。如果已知各个对象的轨迹，则这导致预测得到显著改善，即人工产生的未来的图像序列得到显著改善。

根据一种扩展方案，可以确定机器人的轨迹并且基于该轨迹生成未来的图像序列。

为了避免确定轨迹时的不必要的计算开销，可以对可能的轨迹进行预选择。如此，在考虑预确定的概率分布情况下，可以优选地根据交通状况进行轨迹的预选择。例如，在考虑当前的车辆速度(例如能够通过计算从图像序列中求取该车辆速度)情况下，如果轨迹由于所学习或所定义的概率分布而不能够布置在图像的图像序列中所检测的环境或车辆周围环境中，则可以将该轨迹作为不切实际的而去掉。例如，以在物理上不可实现的转弯力为前提的轨迹(这例如也可以基于行驶动态模型或其他计算上的考虑来确定)因此将是不可能的。在基于概率分布的预选择中将不考虑该轨迹。因此可以实现，仅针对导致定性地有意义的训练数据集的这种轨迹执行该方法。

替代地或附加地，还可以根据预确定的概率分布进行轨迹的随机选择来实现轨迹的确定。因此，可以随机地考虑多个轨迹，其中，选择限于以下轨迹：基于概率分布，在通过图像序列预给定的机器人周围环境或环境中至少在很大程度上能够切合实际地实现该轨迹。由此可以节省计算开销，因为仅针对导致定性地有意义的训练数据集的轨迹执行该方法。

可以通过以下方式预选择待确定的轨迹：仅针对在考虑行驶动态模型情况下根据行驶状况能够实现的那些轨迹实施所述确定。因此，能够设想，在车辆平面中弯曲走向的轨迹具有半径，该半径对于通常的车辆或若干车辆类型在行驶动态上是不能够实现的，因为例如沿该轨迹得出的转弯行驶在物理上无法实现。然后，可以在进行确定之前去除这种轨迹，而不必完全运行该方法直至因此对仅能够被评估为负面的轨迹进行评估。行驶动态模型可以例如是所谓的Kamm圆，其中，也可以使用更详细的模型。

令人惊讶地示出，用于预测的相对较短的时间区段已经足以实现训练数据集的良好质量并且同时将计算开销保持得低。因此，在本发明的一种有利的扩展方案中，可以将随着序列结束时刻开始或在序列结束时刻之后开始的用于预测的时间区段确定为0.5s至1.5s之间的持续时间，优选大约1s的持续时间。该持续时间已经证明为训练品质与所需计算开销之间的良好折中。此外，对于这样的时间间隔能够使用具有足够好的预测精度的常见的图像处理方法。

本发明的一种有利的扩展方案设置，预测包含以下方法中的至少一个或多个：单眼深度估计、立体深度估计、激光雷达数据处理和/或根据光流进行的估计。例如可以根据图像序列的多个单个图像的光流对于超出序列结束时刻而不再包含在图像序列中的其他单个图像进行预测或预报。视方法而定，不必强制性地处理图像序列的所有单个图像，而是仅处理单个图像的子集。这些用于深度预测的方法例如也能够被作为工具箱提供，并且因此可以简单地获得并用于该目的。

为了能够对对象(例如障碍物或其他交通参与者)和/或在图像序列中所检测的车辆周围环境的特征进行分类，预测可以包含产生图像序列的至少若干单个图像的语义分割。因此，不仅能够更准确地预报行驶事件，而且能够改善对行驶事件的评估。显然，能够将深度预测的方法和语义分割的方法相结合，使得能够再次改善预测精度。如此，可以例如仅针对语义分割的特定类别执行根据光流进行的估计，例如针对动态对象。

本发明的另一有利的扩展方案设置，在评估中，使用从语义分割中获得的对象识别和/或特征识别，以便对从评估中获得的正面的或负面的评估进行加权。如果在没有加权的情况下，在示例性标度上，对于预报行驶事件的负面评估，评估值为例如零或-1，而对于预报行驶事件的正面评估，评估值为例如+1，则能够基于对象识别和/或特征识别在不同的行驶事件之间进行区分。例如相比于“驶过路缘石”(例如可以具有值-0.7)，“与分类为行人的对象碰撞”可以被评估为更加负面(例如评估以-1)。因此，在该示例中，后果不太严重的“与路缘石碰撞”的评估相比于“与行人碰撞”在量值方面负面程度较低。因此，该对象识别和/或特征识别能够进一步改善KI模块的训练质量。

根据本发明的方法不仅适用于针对本车辆所检测的轨迹，通过驶入周围环境引起从本车辆的角度出发检测图像序列或在其中检测的车辆周围环境。因此，本发明的一种有利的扩展方案设置，针对在图像序列中辨识出的动态对象(该动态对象因此与本车辆不同)确定至少一个轨迹、预测时间区段内的行驶事件以及基于该预测评估轨迹。如此，例如可以借助语义分割和/或预测将运动的行人辨识为动态对象。类似于上文所述，然后针对该行人确定至少一个轨迹，针对该轨迹执行预测和评估，并且由此同样产生训练数据集。

一种特别有利的扩展方案设置，在此所描述的方法使用所谓的强化学习方案(在英语中称为“reinforcement learning”)来训练KI模块。强化学习是一种本身已知的机器学习方法，在该方法中，上述评估也被看作正面或负面的“奖励”(在英语中称为“reward”)。

作为强化学习方法的替代，在此所描述的方法也可以基于所谓的监督式学习(在英语中也称为“supervised learning”)方案进行，监督式学习方案又是一种本身已知的机器学习方法。根据该扩展方案，可以将正面评估的轨迹作为有效的行驶状况提供给监督式学习算法。例如，可以将正面评估的轨迹与预测一起作为用于有效行驶状况的一种序列/标签对来进行处理。

本发明还涉及一种数据处理装置，该数据处理装置例如还可以具有至少一个存储器单元以及计算单元，并且设置用于实施上述方法。

此外，本发明还涉及一种用于控制至少部分自主的机器人的设备，尤其控制设备，其中，该设备设置用于执行根据权利要求1至13中任一项所述的方法，由此选择经评估的轨迹并且相应于所选择的轨迹操控机器人。

下面基于附图进一步示出改善本发明的其他措施和本发明的优选实施例的描述。

附图说明

在下文中参考附图详细地描述本发明的实施例。附图示出：

图1示出根据本发明的用于训练KI模块的方法的应用方案的示意图；

图2示出流程图，用于图解根据本发明的用于训练KI模块的方法的步骤。

附图仅是示意性的，而非按比例的。在附图中，相同的、作用相同的或类似的元件都设有相同的附图标记。

具体实施方式

为了更好地进行说明，图1示出示意性示出的方案100，该方案用于应用根据本发明的用于训练人工智能模块1(在下文中简称为KI模块1)的方法。KI模块例如具有一个或多个多层的KNN，该KNN能够为用于控制至少部分自主的机器人的设备产生信号形式的输出项。该输出项能够促使用于控制机器人的设备操控执行器和类似的装置，以便自动地实施由计算机控制的运动。在此，机器人仅示范性地涉及至少部分自动化行驶的车辆。替代于此，至少部分自主的机器人还可以涉及其他移动机器人(未示出)，例如涉及通过飞行、游泳、潜水或步行而向前运动的机器人。移动机器人例如还可以涉及至少部分自主的割草机或至少部分自主的清洁机器人。在这些情况下，也可以如此电子地操控一个或多个执行器(例如移动机器人的驱动装置和/或转向装置)，使得机器人至少部分自主地运动。

在下文中，仅示范性地将机器人描述为车辆。如下所述，借助多个训练数据集2来训练车辆的KI模块1，这些训练数据集例如被提供给KNN的输入层。

根据本发明的用于训练KI模块1的方法首先在可选的步骤S0中(另参见图2中的流程图)设置，例如借助车辆3在实际的行驶条件下(即在为训练而使用的车辆3的实际行驶运行中)，在实际行驶运行期间借助图像检测装置4创建车辆周围环境6的至少一个图像序列5。为此，图像检测装置4包括例如一个或多个摄像机、激光雷达传感器等。图像序列5则作为例如视频文件存在，并且因此能够计算机辅助地处理该图像序列。

在步骤S1中(另参见图2中的流程图)，提供图像序列5连同其中包含车辆周围环境6，用于进一步处理，其中，图像序列5具有序列开始时刻(即车辆周围环境6的检测的开始)和序列结束时刻t0(即车辆周围环境6的检测的结束)。车辆周围环境6在此例如是公共道路(例如公路)并且示范性地具有多个静态和动态对象7、8、9以及多个特征10、11、12，所述静态和动态对象以及多个特征涉及其他车辆形式的交通参与者(＝动态对象7)、行车道左右边缘处的两棵树(＝静态对象8、9)，以及行车道中心标记和行车道边缘标记(＝特征10、11、12)。为了更好地说明，在此也还示出车辆3(在车辆周围环境6之外)作为本车辆，通过该车辆，在图像序列被作为视频文件提供之前已经驶入该图像序列并且从该图像序列的角度描述在此简化示出的车辆周围环境6。

然后，例如借助数据处理装置13，使用相应的计算指令对所提供的图像序列5进行进一步处理，该数据处理装置在图1中示范性地示出为具有至少一个存储器单元以及计算单元的计算机或工作站。在此描述的方法的随后描述的其他步骤也借助数据处理装置13来执行。

因此，在步骤S2中，在考虑学习到的或限定的概率分布的情况下，通过例如交通情况选择、与行驶动态相关的选择和/或行驶情况选择来确定能够布置在所提供的车辆周围环境中的至少一个轨迹14a、14b、14c、14d。因此，在此优选地对轨迹做出预选择，其中，例如在步骤S2中进行确定之前，去除行驶情况不切实际的轨迹。在图1所示的示例中，示范性地确定四个轨迹14a、14b、14c、14d，因为这些轨迹能够布置在预给定的车辆周围环境6中，并且在行驶情况方面、即在考虑物理边界条件的情况下原则上也能够驶过这些轨迹。

在该实施例中，在此始于本车辆的轨迹14a与动态对象7的预计的行驶路径相交，在此附加地将该行驶路径确定为轨迹14d。轨迹14e同样始于对象7，并且通过行车道边缘标记11进入例如所描绘道路的路缘中。从本车辆开始，轨迹14b在相同的无障碍的车道中笔直向前。轨迹14c从相同的原点通向对象10，即静态对象。

对于这些轨迹14a至14e中的每个，在步骤S3中(另参见图2中的流程图)生成至少一个未来的图像序列，该未来的图像序列在相对于序列开始时刻t0处于未来的时间区段t0+n上延伸，并且基于至少一个所确定的轨迹14a至14e包括针对以下情况的对图像的预测：在未来的时间区段t0+n期间，由本车辆或(在轨迹14d和14e的情况下)由动态对象7遵循所确定的轨迹14a至14e。这意味着，依据包括本车辆在内的动态对象，计算出对于这些对象而言可能的(例如在行驶动态方面可能的)那些轨迹14a至14e。这些轨迹14a至14e代表一种参数化，以便借助KI或借助其他已知的预测方法形成未来的预测图像序列。针对轨迹14a至14e中的每个的输出项是沿着分别相同的轨迹14a至14e的深度图像、实际图像和/或语义分割的图像的人工产生的图像序列。因此模拟相应的图像序列的整个场景，其中，图像序列5中所检测的机器人周围环境中包含尽可能多的或全部的动态和非动态部分。图像序列的模拟以不同的方式进行，即，作为具有多个图像的语义分割、作为具有多个图像的实际图像和/或作为具有多个图像的深度图像。

但是，在此仅考察相对较短的时间区段t0+n，该时间区段在序列结束时刻t0处或之后开始，从那里延伸到未来的例如0.5s到1.5s。根据能够接受的计算开销而定，借助随后阐述的预测方法也能够预测较长的时间区段，从而也能够延长所考察的时间区段t0+n。然而，在该实施例中，将时间区段t0+n确定为1s，这对于很多实际情况在计算开销和可实现的收益方面已经证明是有利的。

为了预测图像序列，通过合适的图像处理方法和/或预测方法(该图像处理方法和/或预测方法可以以软件包或类似形式提供)，计算机辅助地在数据处理装置13中借助所确定的轨迹14a至14e(作为一种参数)进一步处理所提供的图像序列5。

为了尽可能准确地预测未来的运动状况，例如行驶事件，可以将对象7、8、9和特征10、11、12分类为例如对象和特征这两个类别，或者更准确地分类为类别车辆、树木、行车道中心标记和行车道边缘标记。分类还可以包括用于语义分割的合适方法，这些方法通常是已知的并且例如可以是基于像素或基于体像素的，其中，将类似的区域(即，例如相应的对象7、8、9的在内容上相邻的所有像素)合并为在内容上相关的区域。

作为语义分割的替代或附加，例如基于图像序列5执行适合于该目的的图像预测和/或深度预测。深度预测优选包含单眼深度估计或立体深度估计、根据光流进行的估计和/或激光雷达估计，例如通过使用卡尔曼滤波器，基于图像序列5的若干或全部单个图像或类似方法进行。深度预测使用例如KNN，尤其是自回归卷积神经网络，该自回归卷积神经网络从图像序列5的给定的单个图像超过序列结束时刻t0对时间区段t+n回归地进行预测。实际而言，序列结束时刻t0处的图像序列5能够用作时刻t0+l处的预测的输入变量，由此获得的时刻t0+1处的预测(该预测已经位于所考察的时间区段t0+n中并且因此不再包含在图像序列5中)又能够用作时刻t0+2处的进一步预测的输入变量，以此类推，以便如此进行预测直至时刻t0+n，即在整个待预报的时间区段上。但是，此外也能够设想其他预测方法，为了清楚起见此处不再对其他预测方法进行描述。因此，对于时间区段t0+n估计沿着和/或相邻于相应的轨迹14a至14e的车辆周围环境的可能变化。

在该实施例中，预报或预测的结果可以是：与轨迹14a有关的行驶事件是与自身运动的、即动态的对象7碰撞。依据图1很容易理解这一点，因为在那里示为虚线的轨迹14a和14d相交。为对象7所确定的轨迹14d单独来考察的话笔直地向前并且原则上意味着对象7不受干扰地继续行驶。然而，对于本车辆3而言，轨迹14d如上所述与本车辆3的轨迹14a相交，并且因此导致预计与本车辆碰撞。然而应该注意，明确地确定轨迹14d对于该预测不是强制性必要的，而是能够直接从预测中估计出对象7的运动。相反，关于轨迹14b的预报行驶事件原则上将是不受干扰的继续行驶。相反，关于轨迹14c的预报行驶事件将是与静态对象9的碰撞。

在步骤S4中(另参见图2中的流程图)，评估相应的所生成的图像序列和/或其中所包含的确定的轨迹14a至14e的至少一个子区段。在此，如果所预测的运动状况，例如预报的行驶事件(参见步骤S3和S4，另参见图2)相应于有效的运动状况，例如有效的行驶状况，则将相应的子区段或整个轨迹14a至14e评估为正面。与此相反，如果所预测的运动状况，例如预报行驶事件，对应于无效的运动状况，例如无效的行驶状况，则将相应的子区段或整个轨迹14a至14e评估为负面。

在该实施例中，由于针对其预报的与对象7的碰撞，轨迹14a或者遵循轨迹14a或驶过轨迹14a被负面地评估为无效的行驶状况。同样地，将轨迹14c负面地评估为无效的行驶状况，因为在此也预测与对象9碰撞。涉及对象7的轨迹14e也应评估为负面，因为在此驶过作为行车道的边缘标记的特征11，在这种情况下对象7将偏离行车道。然而将本车辆的轨迹14b和对象7的轨迹14d评估为正面，在这些轨迹中预期自由的直线行驶，这相当于有效的行驶状况。

值得注意的是，所述评估正面加权和负面加权地进行，即也可以使该评估相对化。在该实施例中，根据与其他交通参与者(＝对象7)的碰撞的严重程度，将轨迹14a评估为比轨迹14c更负面，轨迹14c虽然同样导致碰撞，但是例如不涉及其他交通参与者或者必要时也可以提供更长的制动距离等。因此，根据行驶状况的相应的有效性或无效性的程度，可以对行驶事件的相应评估进行加权。

在步骤S5中(另参见图2中的流程图)，通过数据处理设备13中的相应的计算指令，将人工生成的图像序列与来自步骤S4的相应的评估相组合，该图像序列具有来自步骤S3的对于相应的轨迹14a至14e的预测。然后，借助该组合或由该组合产生训练数据集2，该训练数据集因此原则上同样由导入数据(即图像序列5)、基于该导入数据的图像序列组成，图像序列包括针对时间区段t0+n对于相应的轨迹14a至14e的预测和对于相应的轨迹的相应的评估。如此，由该组合产生的训练数据集2对当于一种伪行驶模拟器，该伪行驶模拟器基于图像序列5的实际的车辆周围环境6并且包括人工产生的图像序列，在图像序列中考虑动态对象(包括相对于周围环境运动的本车辆3)的尽可能多的不同运动。针对每个轨迹14a至14e的输出项是沿着相同轨迹的深度图像、实际图像和/或语义分割的图像的图像序列。

在可选的步骤S6中(另参见图2中的流程图)，将来自步骤S5的该训练数据集2作为例如KI模块的KNN的输入变量(即例如KNN的输入层的输入变量或KNN的其他学习算法的输入变量)提供给KI模块1或馈入到那里。在此设置，在使用用于强化学习的方案情况下将训练数据集2用于机器学习，以便借助该方案训练KI模块1的KNN。

图2以流程图的形式示出根据本发明的方法的流程，该方法具有可选的步骤S0、步骤S1至S5和可选的步骤S6。值得注意的是，如上所述，用于KI模块1的这种训练方法基于所记录的图像序列结合由图像序列获得的针对超出图像序列的预定时间区段t0+n的预测来进行。

从所示的实施例出发，能够在许多方面改动根据本发明的方法。因此例如能够设想，在可选的步骤S6中，所述评估不是被用于上述的强化学习，而是与人工产生的图像序列或预测一起作为有效行驶状况的序列/标签对用于训练监督式学习算法。此外能够设想，由用于控制机器人的设备(例如车辆等中的控制器等)实时地执行上述方法，并且基于对不同轨迹的评估(根据上述方法对轨迹进行评估)来选择轨迹，并且电子地操控机器人以根据所选择的轨迹运动。

Claims (15)

1.一种用于产生训练数据组的方法，所述训练数据集用于训练人工智能模块，即KI模块(1)，所述方法包括以下步骤：

提供图像序列(5)，在所述图像序列中检测了机器人的周围环境(6)，

确定至少一个轨迹(14a-14e)，所述至少一个轨迹能够布置在所述机器人的所检测的周围环境(6)中，

生成至少一个未来的图像序列，所述至少一个未来的图像序列延伸到相对于序列结束时刻(t0)而言未来的时间区段(t0+n)上，并且基于所确定的所述至少一个轨迹(14a-14e)包括针对以下情况对图像的预测：在所述未来的时间区段(t0+n)期间将遵循所确定的轨迹(14a-14e)，

如果通过遵循所述轨迹(14a-14e)来预测的运动相当于有效的运动状况，则将包含在所生成的图像序列中的所确定的轨迹(14a-14e)的至少一个子区段评估为正面的，或者，如果通过遵循所述轨迹(14a-14e)来预测的运动相当于无效的运动状况，则将包含在所生成的图像序列中的所确定的轨迹的至少一个子区段评估为负面的，

将所生成的未来的图像序列与分配给所述未来的图像序列的对所述轨迹(14a-14e)的评估相结合来产生用于所述KI模块(1)的训练数据集(2)。

2.根据权利要求1所述的方法，其特征在于，将所述训练数据集(2)馈入到所述KI模块(1)中。

3.根据以上权利要求中任一项所述的方法，其特征在于，仅提供唯一的图像序列(5)，在确定彼此分别不同的轨迹(14a-14e)的情况下，由所述唯一的图像序列产生多个未来的图像序列。

4.根据以上权利要求中任一项所述的方法，其特征在于，针对相应的确定的轨迹(14a-14e)生成的所述图像序列包括沿着同一轨迹的一定数量的深度图像、实际图像和/或语义分割的图像。

5.根据以上权利要求中任一项所述的方法，其特征在于，针对包含在所提供的图像序列(5)中的动态对象确定所述轨迹(14a-14e)，并且基于所述轨迹生成所述未来的图像序列。

6.根据以上权利要求中任一项所述的方法，其特征在于，针对所述机器人确定所述轨迹(14a-14e)，并且基于所述轨迹生成所述未来的图像序列。

7.根据以上权利要求中任一项所述的方法，其特征在于，在进行所述确定之前，在考虑预确定的概率分布情况下，对能够实现的、能够布置在所述周围环境中的所述轨迹(14a-14e)进行预选择。

8.根据以上权利要求中任一项所述的方法，其特征在于，所述确定仅针对一个或多个轨迹(14a-14e)进行，根据行驶状况，所述一个或多个轨迹在考虑构造为车辆的所述机器人的所分配的行驶动态模型情况下是能够实现的。

9.根据以上权利要求中任一项所述的方法，其特征在于，将时间区段(t+n)确定为具有0.5s至1.5s之间的持续时间，优选具有大约1s的持续时间。

10.根据以上权利要求中任一项所述的方法，其特征在于，所述预测包含以下方法中的至少一个或多个：单眼深度估计、立体深度估计、激光雷达数据处理和/或根据光流进行的估计。

11.根据以上权利要求中任一项所述的方法，其特征在于，所述预测包含：产生所述图像序列(5)的至少若干单个图像的语义分割。

12.根据权利要求11所述的方法，其特征在于，在所述评估中使用从所述语义分割中获得的对象识别和/或特征识别，以便对正面的或负面的评估进行加权。

13.根据以上权利要求中任一项所述的方法，其特征在于，所述有效的运动状况包括沿着所确定的轨迹(14a-14e)的避免碰撞的继续运动和/或遵循道路的继续运动，而所述无效的行驶状况包括偏离行车道、离开车道和/或与其他对象(7，8，9)碰撞。

14.一种用于训练人工智能模块(1)的数据处理装置(13)，所述数据处理装置设置为用于执行根据以上权利要求中任一项所述的方法。

15.一种用于控制至少部分自主的机器人的设备，其中，所述设备设置为用于执行根据权利要求1至13中任一项所述的方法，由此选择经评估的轨迹，并且相应于所选择的轨迹来操控所述机器人。

Images