CN110781908A - 传感器数据中的改善的对象标记 - Google Patents

Abstract

本发明能够实现传感器数据(101)中的更高效的对象标记。为此，提供一种用于传感器数据(101)中的对象标记的方法，在该方法中，首先将传感器数据(101)提供(S1)给人工智能模块(114)——KI模块。根据本发明，然后通过KI模块(114)将第一对象标记(103)自动地分配(S2)给在传感器数据(101)中识别到和/或推测出的至少一个对象。最后，为了检查第一对象标记(103)，将包括第一对象标记(103)的传感器数据(101)提供(S3)给检查装置(113)。可以借助数据处理装置(110)来执行该方法。

Description

传感器数据中的改善的对象标记

技术领域

本发明涉及人工智能领域，本发明尤其涉及用于传感器数据中的对象标记或注释的一种计算机支持的方法以及一种数据处理装置，所述传感数据例如可以作为图像数据存在。

背景技术

自动的对象识别可以以多种方式应用于人工智能领域。因此，在机动车的自主驾驶运行中，为了使机动车安全地运动穿过道路交通，传感器数据中的自动对象识别是一项基本任务。

为此，机动车可以包括一个或多个传感器和以及人工智能模块——在下文中也称为KI模块，该KI模块识别传感器数据中的对象并且在此基础上控制行驶操作。为了提供用于该任务的KI模块，尤其在开始运行之前(必要时也在运行期间)，可以借助训练数据组来训练该KI模块，以便例如确保可靠的对象识别或对象分类。为了训练这种能力，例如可以首先给由传感器数据获得的图像中识别到的对象设置对象标记(即所谓的标签)，以便从图像与对象标记的组合中产生例如用于KI模块的训练数据组。

通常由操作人员借助为此设置的(带有图形用户界面的)计算机程序来进行对象标记或注释。在此，操作人员分析处理传感器数据，并且给其中能够辨识出的对象设置相应的对象标记或标签。这也可以通过所谓的众包(Crowdsourcing)来成本有利地实现，在众包的情况下，例如将对象标记或标签作为部分任务通过互联网分配给多个操作人员。虽然可以通过提供这种计算机程序和/或借助众包来节省对象标记情况下的成本。然而，仍期望一种更高效的(尤其时间更高效和/或成本更高效的)对象标记的可能性。

发明内容

因此，本发明的任务是提供如下可能性：更高效地对传感器数据中包含的对象进行对象标记。

该任务通过根据本发明的用于进行对象标记的一种方法和一种数据处理装置来实现。本发明有利的扩展方案从说明书和附图中得出。

所提出的方法适用于产生基于传感器数据的数据(也称为训练数据)，在所述传感器数据中，给至少基本上辨识出的对象分配第一对象标记(也可以称为预标签)。

用于对传感器数据中的对象进行对象标记或添加标签的根据本发明的方法例如可以计算机支持地在数据处理装置中实现，该数据处理装置具有至少一个存储单元和计算单元或处理器，所述方法包括以下步骤：

-首先，将在所包含的对象方面待检查的传感器数据提供给人工智能模块(简称KI模块)。传感器数据例如可以作为图像数据存在于文件中。KI模块可以作为程序代码存储在存储单元中并且由计算单元实施。在此，KI模块可以包括一个或多个(尤其多层的和/或折叠的)人工神经网络，并且该KI模块因此包括至少一个输入层、中间层以及输出层。例如，为了进一步处理，将传感器数据提供给输入层。传感器数据可以由机动车获取并且尤其作为图像数据存在。这些传感器数据可以来自诸如摄像机、激光雷达传感器等的检测装置。传感器数据还可以通过或针对语义区段(sematische Segmentierung)进行预处理。

-根据本发明，然后通过KI模块将第一对象标记自动地分配给在传感器数据中识别到的和/或推测出的至少一个对象。换句话说，给至少部分地识别到的对象分配第一对象标签(即预标签)。因此，例如可以(预先)标识静态的对象(例如树或路灯)或动态的对象(例如另一机动车)。传感器数据例如可以包含交通情况，从而在其中检测到多个对象，这些对象能够被分配给相同的和不同的对象类别，并且这些对象因此具有相同的和不同的第一对象标记(即预标签)。

-然后，为了检查第一对象标记和/或第一对象标记的分配，通过一个另外的尤其第二KI模块和/或通过操作人员(例如通过人机界面)将包含第一对象标记的传感器数据提供给或提供用于检查装置，所述传感器数据必要时可能具有减少的或集中的信息内容(但所述传感器数据被补充有第一对象标记)。换句话说，在自动分配之后通过另一装置进行检查，所述另一装置例如可以电子地构造成KI模块、是操作人员等。该检查装置可以是计算机***或上述数据处理装置的一部分，或者必要时该检查装置也可以单独地作为远程***或完全独立地被提供。在上下文中，人机界面尤其可以理解为一个或多个计算机应用形式的图形用户界面。

借助这种配置，根据本发明的方法可以同时实现多个有利的效果。对象标记(即注释)变得更高效，这是因为当检查装置仅对第一对象标记(即预标签)进行基本验证或轻微校正时，所需的总时间显著减少。此外，可以实现更高的质量，因为尤其与众包情况下(当检查装置不是电子构造的时)的无经验的操作人员相比，KI模块能够更加一致地分配第一对象标签。此外，可以借助机器学习方法连续地进一步训练KI模块，以便随时间推移实现更好的对象标记。此外，尤其在检查装置构型成人机界面的情况下，该检查装置可以通过互联网连接，以便因此将预标签的自动产生与通过众包的成本降低相结合。

本发明的一种扩展方案设置，如果认为第一对象标记至少基本上是正确的，则由操作人员将第一对象标记确认成第二对象标记，或者如果认为第一对象标记至少能够改善，则将该第一对象修正成第二对象标记。换句话说，操作人员将标签确认成预标签并且因此完成注释，或者操作人员完全修正或丢弃预标签，并且然后在必要时重新手动分配预标签。由此，提供一种具有修正可能性的检查装置。

为了在设置第一对象标记时提高质量，可以在将传感器数据提供给KI模块之前，使传感器数据与第一辅助数据相关联。由此，例如可以增加传感器数据的信息内容，以便对第一对象标记进行自动分配。

为了增加信息内容可以设置，由至少一个第二检测装置提供第一辅助数据，该第二检测装置与提供传感器数据的第一检测装置不同。换句话说，可以通过传感器融合来增加传感器数据的信息内容。仅示例性的，传感器数据例如可以来自机动车的摄像机，该摄像机例如是受激光雷达图像支持的。

也证明有利的是：第一辅助数据包括分配给传感器数据的时间信息。换句话说，由时间信息例如可以推导出传感器数据的各个对象的相关性，其中，例如可以自动地移除不重要的部分并且突出重要的部分。

替代地或附加地，借助第一辅助数据，也可以提供关于深度(例如图像深度)或者关于传感器数据的其他能够分析处理的信息。

已证明有利的是：第一辅助数据以至少一个之前的和/或一个之后的附加图像来补充包含在传感器数据中的单个图像。

如果第一辅助数据包括道路地图信息，则例如可以提高针对静态对象的识别质量或分配质量。因此，通过传感器数据和地图信息的数据融合，例如可以更可靠地给路口的固定对象(例如交通牌等)分配正确的第一对象标记。

为了减少操作人员的开销，KI模块可以根据第一辅助数据将能够丢弃的传感器信息移除。由此，可以更高效地构型该方法。

替代地或附加地，也可以在分配第一对象标记之后，使第一辅助数据与传感器数据相关联。

还可以进一步支持操作人员的任务。例如，可以在一种扩展方案中设置，在分配第一对象标记之后，使传感器数据与第二辅助数据相关联。

一种扩展方案设置，第二辅助数据可以包括由KI模块产生的并且至少部分地包围对象的轮廓线。因此，在分配第一对象标记(即预标签)之后，KI模块可以借助轮廓线包围如此标识的对象。为清楚起见，可以给识别为对象的机动车设置轮廓线，该轮廓线至少粗略地描述车身的外边缘。或者，可以给行人设置轮廓线，该轮廓线沿着衣物与邻接衣物的周围环境之间的边界区域延伸。在此，可以为检查装置预给定自动产生的轮廓线，例如在人机界面上能够视觉感知的强调显示或者对于其他的KI模块机器可读地标识轮廓线。

对于对象标记的质量而言已证明有利的是：之前自动地产生的轮廓线能够通过检查装置(例如自动地通过其他的KI模块或通过人机界面)进行匹配。例如，人机界面可以设置用于例如借助诸如计算机鼠标等的输入设备来(以改变、删除和重新绘制等形式)逐段地或逐点地移动轮廓线。例如，然后可以再次自动地填充修正的图像区段。

还可能的是：当对象无法分配有对象标记和/或仅分配有与不确定因素相关联的第一对象标记时，第二辅助数据还可以包括修正提示。为此，KI模块可以配置用于(例如通过合适的深度学习算法)进行错误识别。修正提示例如可以(例如通过包围对象的框)标识对于操作人员而言能够被视觉感知的不确定区域。

替代地或附加地，还可以给未知对象分配针对不确定性或不可识别性而保留的类别名称(例如“其他类”等)，以便使操作人员清楚，在此推荐或期望手动的后续处理。

替代地或附加地，第二辅助数据还可以包括所谓的不确定性地图，在该不确定地图中，必要时自动地去除边缘不确定性。

为了更高效地实现操作人员的处理，在分配之后，可以按照对象类别来对包括第一对象标记的传感器数据进行单独划分。换句话说，可以对由操作人员待验证和/或待修正的数据进行分级、按照复杂性或准确度要求进行预先分类，并且相应地将所述数据提供给操作人员(必要时在相应的划分的情况下提供给多个操作人员)。因此，还可以针对确定的对象类别和/或准确度要求将所述数据分配给专家。

可以将由操作人员检查过的传感器数据重新提供给KI模块，以便实现重新训练。附加地或替代地，也可以将这些检查过的传感器数据分配给在机动车中应用的或待应用的KI模块，以便使机动车准备就绪用于自主行驶运行或改善自主行驶运行。

本发明还涉及一种用于传感器数据中的对象标记的数据处理装置。该数据处理装置具有存储单元、计算单元(例如处理器)和检查装置。检查装置例如是由硬件和/或软件构成的KI模块、人机界面等。在此，数据处理装置设置用于在一个或多个上述的实施变型方案中执行上述方法。

因此，数据处理装置原则上能够实现与上述方法相同的优点。

下面将参考附图与本发明的优选实施例的描述一起更详细地描述改善本发明的措施。

附图说明

下面将参考附图详细地描述本发明的实施例。在附图中示出：

图1示出如下使用方案的示意性概览：该使用方案用于在使用根据本发明的数据处理装置的情况下执行根据本发明的用于传感器数据中的对象标记的方法；

图2示出用于支持操作人员的示例性工具；

图3示出用于支持操作人员的另一示例性工具；

图4示出用于说明根据本发明的用于传感器数据中的对象标记的方法的步骤的流程图。

这些附图仅仅是示意性的而不是按比例绘制的。在附图中，相同的、具有相同效果的或相似的元件始终设有相同的附图标记。

具体实施方式

为清楚起见，图1示出示意性方案100，该方案用于应用根据本发明的用于传感器数据101中的对象标记的方法。在使用数据处理装置110的情况下实施方案100，该数据处理装置包括存储单元111、具有处理器的计算单元112、(未进一步示出的)数据接口以及检查装置113。在此，检查装置113通过虚线与数据处理装置110的其余部件分开，以便表明这些不一定构成构件单元，而是例如仅通过通信网络(例如互联网)互相连接。应当注意，检查装置113在此仅示例性地构造成人机界面，但是也可以构造成部分自动的或全自动的计算机***。

在数据处理装置110中实现有人工智能模块(KI模块)114，该人工智能模块例如作为程序代码存储在存储单元111中并且能够由计算单元112实施。KI模块114在此示例性地包括人工神经网络(KNN)，该人工神经网络在此示例性地作为带有中间层的所谓的深层神经网络实现。可以通过数据接口给该深层神经网络提供数据或从该深层神经网络移除数据。

用于传感器数据101中的对象标记的方法可以首先在可选的步骤S0(也参见图4中的流程图)中设置，在提供待分析处理的传感器数据101之前，借助一定数量的训练数据组102来训练该KI模块114。符合目的地，训练数据组102在内容上类似于传感器数据101。在下文中，假设KI模块114已训练过。

然后在步骤S1中(也参见图4中的流程图)，将传感器数据101提供给KI模块114用于进一步处理，这例如通过如下方式实现：将传感器数据馈送到KNN的输入层中。由第一检测装置(未示出)提供传感器数据101，该第一检测装置例如包括一个或多个摄像机、激光雷达传感器等。在该实施例中，传感器数据101因此包括图像数据，在该图像数据中检测到具有多个静态和/或动态对象的车辆周围环境或交通情况。传感器数据101作为图像文件存在，该图像文件可以相应地受计算机支持地进行处理。

在步骤S2中(也参见图4中的流程图)，在识别或近似识别之后，通过KI模块114分别给传感器数据101中包含的一个或多个对象自动地分配第一对象标记103。也就是说，对传感器数据101中自动识别到的对象进行分类——即分配给相应的对象类别，然后，分别相应地借助第一对象标记103来标识所述对象。在该方法中，第一对象标记103是预标识并且因此也称为预标签。

然后在步骤S3中(也参见图4中的流程图)，将包括第一对象标记103的传感器数据101提供给检查装置113，以便通过一个另外的第二KI模块和/或操作人员来检查第一对象标记103。在操作人员的情况下，操作人员例如在屏幕上至少检查：说明确定对象类别的第一对象标记103是否正确地标识相应的对象。在此，检查装置113也可以通过互联网连接。该检查装置具有图形用户界面并且在其中提供软件工具，以便能够图形地示出连同第一对象标记103的传感器数据101，并且处理该传感器数据。操作人员检查由KI模块114自动分配的第一对象标记103，并且将该第一对象标记修正成和/或确认成原则上最终的第二对象标记115，该第二对象标记因此可以称为标签。标签或第二对象标记115分别说明相应对象的类别。

可以通过多种方式修改所述方法。例如如图1所示，可以在步骤S1中在提供给KI模块114之前，使传感器数据101与第一辅助数据116相关联。这在图1中通过KI模块114的附加输入路径表明，从而除了训练数据组102以外，还将传感器数据101和第一辅助数据116馈送到KI模块中。原则上，在分配第一对象标记103的情况下，第一辅助数据116支持KI模块114的定性结果，并且第一辅助数据可以在此进行多个不同的方案。例如，借助第一辅助数据116，可以由至少一个(未示出的)第二检测装置提供附加数据，该第二检测装置与上面阐述的、提供传感器数据的第一检测装置不同。因此，将传感器数据101与理想地来自另一传感器的其他数据融合。替代地或附加地，第一辅助数据116还可以包括分配给传感器数据101的时间信息，为此，第一辅助数据116例如以至少一个之前的和/或之后的附加图像来补充包含在传感器数据101中的单个图像。替代地，传感器数据101还可以包括考虑附加图像的图像序列。附加地或替代地，第一辅助数据116还可以包括关于传感器数据101的图像深度的信息。第一辅助数据116还可以包括道路地图信息，以便尤其支持第一对象标记103至静态对象的分配。

根据第一辅助数据116，也可以使KI模块114以更高的质量突出显示传感器数据101重要图像部分，并且在提供给检查装置113之前自动地去除不太重要的图像部分。为此，例如可以使用3D-CRF方法。在人工修正过程中，即在为了通过操作人员检查第一对象标记13而将其提供给检查装置113时或之后，不太重要的图像部分的去除能够使分配标签的效率的提高，因为无须手动地移除耗时的轮廓修正或预标签元素(即第一对象标记103)。通过检查装置113可以作为选项/建议(例如以待移除对象的可视化/强调/覆盖的形式)来提供这种功能，并且根据操作人员的评估，自动地(优选针对整个类别或对象类型)去除所述元素。

为了通过检查装置113支持操作人员的处理，在将传感器数据101(该传感器数据补充有一个或多个第一对象标记103并且必要时由第一辅助数据116进一步改善)提供给检查装置之前，可以使该传感器数据与第二辅助数据117相关联。第二辅助数据117可以作为工具以不同的方式支持操作人员。因此，第二辅助数据117可以包括由KI模块114产生的、并且至少部分地包围相应对象的轮廓线。为了尽可能准确地检测对象的轮廓线，并且因此能够特别精确地分配第一对象标记103，该轮廓线在理想情况下是可编辑和可匹配的。替代地或附加地，当相应的对象无法分配有和/或仅分配有与不确定因素相关联的第一对象标记103时，则第二辅助数据117还可以包括修正提示。修正提示例如可以是推测对象存在于其中的图像区域(例如因为多个像素指出该对象)，例如通过图形标记(例如框架等)突出多个像素。还可能的是，对象标记103表明针对这种情况预确定的类别(例如“其他类”)。还可以将传感器数据102与多个对象标记103一起分配给不同的操作人员——例如确定类别的专家。在此，可以按照复杂性、类别层级等对传感器数据102进行划分。

图2和图3分别示出示例性工具的一种实施例，可以借助第二辅助数据117来提供该工具。这两个实施例的共同之处在于，通过KI模块114将传感器数据101划分成不同的层(Layer)118，这些层至少部分地包含不同的对象类别。单个层118尤其不包含所有待标记的对象，而是仅包含待标记的对象的子集，以便示出没有重叠的并且因此更易于识别的对象。

在图2所示的实施例中，可以示例性地设置三个层118，其中，图2的左侧层118仅包含第一对象类别的对象119。因此，可以清楚地示出对象119，并且可以通过操作人员高精度地标记该对象，这尤其包含轮廓线的精确标记。现在，除第一对象119以外，图2中的中间层118包含两个另外的第二对象120，因为它们不受第一对象119覆盖。相应地，KI模块114将这两个对象119、120保留在一个共同的层118中。现在，也可以通过操作人员高精度地处理(即标记)对象120。现在，除对象119、120之外，图2中的右侧层118还包含两个另外的第三对象121，因为这两个第三对象不受对象119、120覆盖。相应地，现在也可以通过操作人员来标记对象121。

图3中所示的实施例与前述实施例的不同之处在于，三个示例性的层118现在分别仅包含一个唯一的对象类别。因此，图3中的左侧层118仅包含第一对象119，图3中的中间层118仅包含第二对象120，图3中的右侧层118仅包含第三对象121。因此，相互分开地示出这些层，并且可以以更高的精度单独标记这些层。然后，在标记单个层118之后，使单个层与具有第二对象标记115的传感器数据101相关联。

在可选的步骤(未示出)中，如图1中箭头122所示，将经处理的传感器数据101(即具有第二对象标记115、即具有针对所包含的一个或多个对象的标签的传感器数据)重新提供给KI模块114。或者如图1中箭头123所示，将传感器数据101例如作为训练数据组提供给为此设置的应用(例如设置用于机动车的KI模块)。

Claims (14)

1.一种用于传感器数据(101)中的对象标记的方法，所述方法包括以下步骤：

将所述传感器数据(101)提供(S1)给人工智能模块(114)——KI模块，

其特征在于，

通过所述KI模块(114)将第一对象标记(103)自动地分配(S2)给在所述传感器数据(101)中识别到的和/或推测出的至少一个对象，

为了检查所述第一对象标记(103)，将包括所述第一对象标记(103)的传感器数据(101)提供(S3)给检查装置(113)。

2.根据权利要求1所述的方法，其特征在于，如果认为所述第一对象标记(103)至少基本上是正确的，则通过所述检查装置(113)优化所述第一对象标记(103)，或者，如果认为所述第一对象标记至少能够改善，则将所述第一对象修正成第二对象标记(115)。

3.根据权利要求1或2所述的方法，其特征在于，在将所述传感器数据(101)提供(S1)给所述KI模块(114)之前，使所述传感器数据与第一辅助数据(116)相关联。

4.根据权利要求3所述的方法，其特征在于，由至少一个第二检测装置提供所述第一辅助数据(116)，所述第二检测装置与提供所述传感器数据(101)的第一检测装置不同。

5.根据权利要求3或4所述的方法，其特征在于，所述第一辅助数据(116)包括分配给所述传感器数据(101)的时间信息。

6.根据权利要求5所述的方法，其特征在于，所述第一辅助数据(116)以至少一个之前的和/或之后的附加图像来补充包含在所述传感器数据(101)中的单个图像。

7.根据权利要求3至6中任一项所述的方法，其特征在于，所述第一辅助数据(116)包括道路地图信息。

8.根据权利要求3至7中任一项所述的方法，其特征在于，所述KI模块(114)根据所述第一辅助数据(116)将能够丢弃的传感器信息去除。

9.根据以上权利要求中任一项所述的方法，其特征在于，在分配所述第一对象标记(103)之后，使所述传感器数据(101)与第二辅助数据(117)相关联。

10.根据权利要求9所述的方法，其特征在于，所述第二辅助数据(117)包括由所述KI模块(114)产生的至少部分地包围所述对象的轮廓线。

11.根据权利要求10所述的方法，其特征在于，所述轮廓线能够通过所述检查装置(113)进行匹配。

12.根据权利要求9至11中任一项所述的方法，其特征在于，如果所述对象无法分配有和/或仅分配有与不确定因素相关联的第一对象标记(113)，则所述第二辅助数据(117)包括修正提示。

13.根据以上权利要求中任一项所述的方法，其特征在于，在所述分配(S2)之后，按照对象类别来对包括所述第一对象标记(103)的传感器数据(102)单独地进行划分。

14.一种用于传感器数据(101)中的对象标记的数据处理装置(110)，所述数据处理装置具有存储单元(111)、计算单元(112)和检查装置(113)，其中，所述数据处理装置(110)设置用于执行根据以上权利要求中任一项所述的方法。

Images