CN116157702A - 由交通基础设施的传感器***执行的方法及传感器*** - Google Patents

Abstract

本发明涉及一种由用于交通基础设施的传感器***执行的方法，通过该方法，基于通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者的关联来确定通过雷达设备获取的雷达数据和通过摄像机获取的视频数据的坐标转换的转换规则。本发明还涉及一种对应的传感器***。

Description

由交通基础设施的传感器***执行的方法及传感器***

技术领域

本发明涉及一种根据权利要求1的前序部分的由用于交通基础设施的传感器***执行的方法以及一种对应的传感器***。

背景技术

在道路交通的智能基础设施***领域，高性能相机和雷达***的使用越来越普遍。这些高性能相机和雷达***使得能够在广阔的检测区域内自动检测和定位车辆和其他道路使用者，从而实现广泛的应用，比如对灯光信号装置的智能控制和对交通流量的长期优化分析。目前正在开发用于驾驶辅助***和自动驾驶的辅助功能，尤其在使用车辆对X无线通信，或者在这方面特别是基础设施对X通信的情况下。

如果并行使用相机和雷达，则将这两个子***的数据集合(也就是说融合)是有意义的，并且根据应用甚至是绝对必要的。为了关联以这种方式获取的对象数据，通常需要已知各个传感器之间(“交叉校准”)或这些传感器与另一个共同已知的坐标系之间的转换规则，尤其是为了能够将通过相机和雷达并行检测到的对象(例如道路使用者)的数据彼此关联。

在此，这些传感器通常利用放置在传感器视野中的测量位置处并且能够在传感器数据中手动或自动识别的参考对象来校准。对于参考对象的静态定位，在此在某些情况下甚至必须干预当前的交通流量，例如必须暂时关闭车道或整条道路。

作为替代方案，可以手动标记相机和雷达的重叠的检测区域中的相对容易识别的静态对象(例如交通标志的底座)，并且将它们彼此关联。然而，这需要这些对象在传感器的重叠视野中存在足够数量，并且在两种传感器类型的数据中也可以清楚地识别它们。尤其是路面通常不会提供任何能够在雷达数据中识别的静态对象。

因此，所描述的方法通常需要相对广泛的手动配置支持，例如用于手动定位参考对象或用于标记传感器数据中的位置。

有时还需要一种高质量且因此高成本的***来例如通过差分GPS确定参考对象在全球坐标系中的位置。

因此，需要一种克服所述缺点的解决方案。

根据由用于交通基础设施的传感器***执行的方法的一个实施方式，通过传感器***的至少一个摄像机检测道路使用者，至少一个摄像机具有交通基础设施的第一检测区域，并且通过传感器***的至少一个雷达设备检测道路使用者，该至少一个雷达设备具有交通基础设施的第二检测区域，其中，第一检测区域和第二检测区域至少部分重叠并且检测交通基础设施的至少一条具有多个车道的道路。在此，基于通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者的关联来确定通过雷达设备获取的数据和通过摄像机获取的数据的坐标转换的转换规则。通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者的关联以及转换规则的确定在此自动进行。

例如，雷达检测发生在雷达坐标系的坐标、例如x-y坐标中，而相机检测有利地发生在摄像机的像素网格或像素坐标系中。根据至少一个实施方式，转换规则定义了获取雷达数据的雷达坐标系与获取视频数据的相机坐标系之间的坐标转换和/或从雷达坐标系和相机坐标系到第三坐标系的坐标转换。在到第三坐标系的转换的情况下，规定从相应的坐标系到第三坐标系的转换规则。借助确定的转换规则，因此可以将在一个坐标系中检测到的对象或道路使用者与在另一坐标系中检测到的可能相同的对象或道路使用者相关联。检测到的道路使用者原则上可以在不同于雷达坐标系和相机坐标系的第三坐标系中显示，以供进一步处理。

根据至少一个实施方式，从通过摄像机检测到的道路使用者随时间累积地获取位置信息，并且从通过雷达设备检测到的道路使用者随时间累积地获取位置信息。在这种情况下，尤其基于由摄像机提供的视频数据或基于由雷达设备提供的雷达数据进行检测。随时间累积地获取位置信息的结果尤其分别针对雷达数据和视频数据表示道路使用者在观察时间段内的在相关的坐标系中可显示的复合运动走向。换言之，通过道路使用者位置的累积检测或他们的运动走向的检测来识别车道走向，其中，所获取的位置信息尤其首先涉及相应的坐标系，即相机坐标系和/或雷达坐标系。

根据至少一个实施方式，基于通过摄像机随时间累积地获取的位置信息来识别道路的各个车道，并且与其并行地，基于通过雷达设备随时间累积地获取的位置信息来识别道路的各个车道。因此尤其相互独立地，在摄像机的图像中或基于视频数据以及基于雷达数据识别各个车道。位置信息的相应的累积获取意味着尤其是在道路车道的中心轴线上形成清晰的检测积累。这些最大值可以相应用于识别相应的道路。

根据至少一个实施方式，通过摄像机随时间累积地获取的位置信息的确定最大值和/或通过雷达设备随时间累积地获取的位置信息的确定最大值由折线、尤其是样条线近似表示。如前所述，在车道的中心轴线上通常形成显著的检测积累。根据该实施例，这些积累的确定最大值由折线近似表示，这些折线因此在数学上表示相应的传感器坐标系中的车道走向。

根据改进方案，在预设的和/或可调整的时间段内，从通过摄像机检测到的道路使用者随时间累积地获取位置信息和/或从通过雷达设备检测到的道路使用者随时间累积地获取位置信息。在该意义中，可调整尤其理解为可手动改变的可预设的时间间隔，和/或根据指定条件来自动调整时间段或者自动调整时间段直到达到指定条件。转换规则或校准尤其可以在当前的道路交通期间确定。不需要额外的参考对象，并且不需要高精度测量的参考位置。也可以规定在定义的时间段后(例如在几分钟到几小时的范围内)完成转换规则的自动确定，然后将其用于检测。

另一方面，校准也可以在交通基础设施的持续运行期间永久地或重复地进行。由此可以必要时补偿随时间发生的任何变化或执行持续优化，为此尤其可以规定将这种重新校准与原始校准的结果或前一次校准结果进行比较。由此可以建立对传感器的未对准(“Misalignment”)的自动识别。

根据至少一个实施方式，使用通过摄像机随时间累积地获取的位置信息和通过雷达设备随时间累积地获取的位置信息来确定道路使用者关于各个车道的停车位置。在此尤其检测道路使用者的前方停车位置。例如，当道路使用者停在十字路口的停车线处时就是这种情况。

根据至少一个实施方式，确定这些车道的前方停车位置，其中，确定关于相关的车道的随时间累积的位置信息的最大值。在此，检测结果的最大值尤其来自在某个位置的与移动的道路使用者的检测相比在时间上更长的停车时间，并且因此在该位置在相关的时间段内更频繁的检测。根据改进方案可以规定，如果能够确定对象的速度，则针对该目的直接确定在相关的车道中的基本上静止的对象。替代地或补充地，可以规定最靠近摄像机和/或最靠近雷达设备的局部最大值用作各个车道的停车位置。然而，这样做的先决条件是传感器和对应的检测区域在检测到的具有最近停车线的道路的方向上的相应的布置。该过程还可以用作标准，或用于支持与上述过程中的至少一个过程(例如作为对应的搜索的起点)组合地找到对应的最大值。

根据至少一个实施方式，在通过摄像机确定的停车位置与通过雷达设备确定的停车位置之间建立关联。

根据改进方案，为此，基于视频数据识别的停车位置的时间占用尤其与基于雷达数据识别的停车位置相组合。这产生了可能的关联的数量，该数量对应于视频数据中识别的停车位置的数量与雷达数据中识别的停车位置的数量的乘积。

对于这种组合，例如，相应可以通过异或非运算在例如几分钟的一定的时间间隔内组合二元占用状态——车辆是否处于停车位置，即是或否。异或非运算在相同状态的情况下产生1，而在非相同状态的情况下产生0。在预设的检测时间期间未达到占用状态的变化(0→1，1→0)的预设的最小次数的停车位置将尤其被忽略，或相应延长检测时间，以确保充分的统计评估基础。可能的组合可以尤其根据时间份额或对应的初始值的数量来分类，并且例如可以从中创建包含来自雷达数据和视频数据的停车位置的最可能关联的至少一个关联表。

一种可以补充或替代地应用的并且也特别适用于能够提供非二元数据或连续数据(例如停车位置的占用概率)的传感器的方法是考虑互协方差。其可以被确定为不同的传感器输出之间的横向关联度，以便根据视频数据和雷达数据建立停车位置的关联。

根据至少一个实施方式，基于道路使用者的相关联的停车位置在通过摄像机识别的车道与通过雷达设备识别的车道之间建立关联。

根据改进方案，在这种情况下，考虑相关联的车道来在通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者之间建立关联。

根据至少一个实施方式，为了通过累积检测道路使用者位置来识别车道走向，根据正在移动或先前已经移动的道路使用者和/或已被归类为车辆的道路使用者来选择由摄像机和雷达设备检测到的道路使用者。为此，使用相机数据和/或雷达数据中检测到的道路使用者的归类或通过处理计算设备接收相应归类的对象数据可能被证明是有利的。

根据至少一个实施方式，通过比较道路使用者位于停车位置和/或移动到停车位置和/或离开停车位置的被检测的时间点来在通过摄像机确定的停车位置与通过雷达设备确定的停车位置之间建立关联。当例如通过雷达设备和摄像机仅检测到道路上的一名道路使用者时，存在比较清楚的情况。如果所述道路使用者在特定的时间点移动到识别的停车位置，则该停车位置已经可以基本上被认定为与通过雷达设备和摄像机的检测是相同的。由于通过雷达设备和摄像机检测到的道路使用者原则上还不能关联并且情况可能很少被证明是如此清楚，因此尤其规定对时间点进行统计评估。在此可以假设，在现实中，道路使用者在所考虑的时间段内在相同的时间点驶向停车位置的可能性相对较小。在所考虑的时间段内，由于关于多个道路使用者驾驶通过停车位置的时间差也相对较小，因此产生通过雷达设备和摄像机检测到的停车位置的统计上可能的关联。这同样适用于停留在停车位置的情况和离开停车位置的情况或者同时考虑这些事件的情况。

根据至少一个实施方式，基于相关联的停车位置，在通过摄像机识别的车道与通过雷达设备识别的车道之间建立关联。因此，这是有效可能的，因为停车位置形成已经确定的车道的最大值并且因此与其直接相关联，并且不同的传感器坐标系的停车位置的关联因此使得车道得以关联。

根据至少一个实施方式，考虑相关联的车道来在通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者之间建立关联，其方式为使得通过雷达设备检测到的、在最接近停车位置的时间点位于特定车道中的道路使用者对应于通过摄像机检测到的、位于与该车道相关联的车道中、最接近与该停车位置相关联的停车位置的道路使用者。

根据改进方案，还可以规定相应将布置成第二、第三等接近停车位置的道路使用者关联。然而，这可能潜在地导致更高的错误率，因为由于通过位于更靠近相关的停车位置的道路使用者的(部分)遮挡可能导致对相关的道路使用者的检测不太精确。

根据至少一个实施方式，由雷达设备和/或摄像机提供的归类信息被用于检测和/或关联和/或验证道路使用者的关联。

根据至少一个实施方式，在至少一个时间点，至少一对关联点存储在雷达坐标和相机坐标中，以便为至少一个相关联的道路使用者确定转换规则。在这种情况下，点表示坐标系中的被检测的元素，例如摄像机的像素和雷达设备情况下的测量点。因此，在所考虑的时间段内产生两个点集合，其分别在另一集合中具有一对一关联的(对应的)点。根据改进方案，从以这种方式生成的点集合中确定雷达检测平面与相机图像平面之间的单应性矩阵。单应性是摄像机图像坐标与雷达设备检测平面之间的投影转换，或图像坐标与雷达设备前方的地平面之间的投影转换。当安装位置(例如雷达设备的高度和倾斜角度)是已知的时，第二实施方式尤其是有利的。

根据至少一个实施方式，使用至少一种优化方法(例如RANSAC)来避免被检测点的检测错误和关联错误。由于通常生成的点对明显多于单应性计算所需的点对(例如四个对应的点对)，因此也不会导致计算出的转换规则或单应性矩阵的准确性的任何恶化。

如果通过相机光学器件引起的可能存在的畸变能够被评估为对特定应用而言微不足道和/或能够通过内部校准提前校正和/或能够例如通过Bouguet方法直接从生成的点对确定，则在这种情况下这种畸变可以被视为是可忽略的。

根据至少一个实施方式，相对于雷达确定摄像机的外部校准，其中，对应的点对被视为透视n点(PnP)问题。这种问题可以例如通过RANSAC解决，例如通过Bouguet方法解决。摄像机的外部校准尤其描述了相机在空间中的精确位置和取向。固有的相机参数可有利地用于此目的。

根据改进方案，可以规定使用其他信息源、尤其是通过车对X通信接收的信息，以用于确定转换规则。

本发明还涉及一种用于交通基础设施的传感器***，该传感器***包括具有该交通基础设施的第一检测区域的至少一个摄像机和具有该交通基础设施的第二检测区域的至少一个雷达设备，其中，第一检测区域和第二检测区域至少部分重叠并且检测交通基础设施的至少一条具有多个车道的道路，其中，传感器***配置为执行根据所描述的方法的所描述的实施方式或改进方案中的至少一个的方法。

根据至少一个实施方式，所描述的传感器***包括用于执行该方法的一个或多个计算设备。

所提出的方法和传感器***能够克服现有解决方案的缺点。特别地，可以自动确定交通基础设施的摄像机的相机坐标系与雷达设备的雷达坐标系之间的转换规则，由此，例如能够将视频图像的各个像素与雷达数据中的对应物相关联，反之亦然。为此，视频数据和雷达数据有利地可在同一时间***中获得。由此可以显著减少或完全避免对手动辅助的需要，因为例如不再需要对数据进行手动标记(所谓的标注)。

传感器***尤其是用于交通基础设施的固定的传感器***。这种传感器***尤其理解为为了相应的交通基础设施的相关使用目的而设置为固定的传感器***。该传感器***尤其与目的是旨在移动使用(例如在车辆中或通过车辆移动使用)的传感器***不同。

交通基础设施例如理解为是指陆上、水上或空中交通路线，例如道路、铁路轨道、水路、空中交通路线或所述交通路线的十字路口，或任何其他的适合运输人员或有效载荷的交通基础设施。将传感器***用于道路十字路口，尤其是具有多个进入车道的道路十字路口和进入车道的在传感器的检测区域中的前方停车位置已被证明是特别有利的。

道路使用者例如可以是车辆、骑自行车的人或行人。车辆例如可以是机动车辆，尤其是客运车辆、卡车、摩托车、电动车辆或混合动力车辆、船只或飞行器。

在说明的传感器***的改进方案中，该说明的***具有存储器。在这种情况下，说明的方法以计算机程序的形式存储在存储器中，并且计算设备设置用于当计算机程序从该存储器加载到该计算设备中时执行该方法。

根据本发明的另一方面，计算机程序包括程序代码装置，以便当计算机程序由***的计算设备执行时执行说明的方法之一的所有步骤。

根据本发明的另一方面，计算机程序产品包含存储在计算机可读的数据载体上的程序代码，并且当程序代码在数据处理设备上执行时，该程序代码执行说明的方法之一。

附图说明

在从属权利要求中说明了本发明的一些特别有利的设计方案。进一步优选的实施方式也从随后借助附图对实施例的描述得到。

在示意图中：

图1示出了该方法的一个实施方式，

图2示出了该方法的另一实施方式，

图3a)示出了由来自雷达设备的检测区域的雷达数据形成的随时间积累的合成图像，其中，未示出的雷达设备利用向右的观察方向布置在图像的左侧，

图3b)示出了由来自在同一坐标系中相互校准的多个雷达设备的雷达数据形成的交通十字路口的合成图像，

图4示出了道路使用者的前方停车位置的关联，

图5示出了道路使用者的车道的关联，

图6示出了道路使用者本身的关联，以及

图7示出了传感器***的一个示例性的实施方式。

具体实施方式

为了允许简短地描述实施例，基本上功能相同的元件提供有相同的附图标记。

图1示出了由用于在道路交通十字路口的示例中的图3至图6的交通基础设施300、400、500和600的如参考图7的实施例中所描述的传感器***700执行的方法100的一个实施方式。在步骤102a中，通过根据图7的传感器***700的雷达设备770检测道路使用者620、640、660，该雷达设备具有图3、图4、图5和图6的交通基础设施300、400、500和600的第一检测区域，并且与此分开地，在步骤102b中，通过图7的传感器***700的摄像机760检测道路使用者620、640、660，该摄像机具有图3、图4、图5和图6的交通基础设施300、400、500和600的第二检测区域，其中，第一检测区域和第二检测区域至少部分重叠并且检测交通基础设施300、400、500和600的至少一条具有多个车道的道路。在此，基于通过摄像机760检测到的道路使用者620、640、660与通过雷达设备770检测到的道路使用者620、640、660的关联来确定通过雷达设备770获取的雷达数据和通过摄像机760获取的视频数据的坐标转换的转换规则。

根据该实施例，雷达检测发生在雷达坐标系的x-y坐标中，如图3a)和图3b)所示。根据示例，相机检测发生在摄像机的像素坐标(视频图像)中，如从图4、图5和图6中的示意图可见。根据至少一个实施方式，通过方法100和200确定的转换规则定义了雷达坐标系与获取视频数据的相机坐标系之间的坐标转换。替代地或补充地，发生从雷达坐标系和相机坐标系到第三坐标系的坐标转换，数据在该第三坐标系中被集合。为此尤其规定了从相应的坐标系到第三坐标系的相应的转换规则。借助确定的转换规则，因此可以将在一个坐标系中检测到的对象或道路使用者与在另一坐标系中检测到的可能相同的对象或道路使用者相关联。

在步骤104中，将通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者相关联。这被理解为是指视频数据和雷达数据中的相同道路使用者的关联，而不管为此选择了哪个过程以及关联的起点是什么。

在步骤106中，在至少一个时间点，检测雷达坐标和相机坐标中的至少一个点对，以便为至少一个相关联的道路使用者确定转换规则，其中，因此在所考虑的时间段内产生两个点集合，其分别在另一集合中具有一对一关联的(对应的)点。根据该示例，由此确定单应性矩阵作为雷达检测平面与相机图像平面之间的转换规则。此外，可以使用优化方法(例如RANSAC)来避免被检测点的检测错误和关联错误。由于通常生成的点对明显多于单应性计算所需的点对，因此通常也不会导致计算出的转换规则或单应性矩阵的准确性的任何恶化。

图2示出了该方法的另一实施方式。在步骤202a中，通过具有交通基础设施300、400、500和600的第一检测区域的雷达设备770随时间累积地检测道路使用者620、640、660，并且与此分开，在步骤202b中，通过具有交通基础设施300、400、500和600的第二检测区域的摄像机760随时间累积地检测道路使用者620、640、660，其中，第一检测区域和第二检测区域至少部分重叠并且检测交通基础设施300、400、500和600的至少一条具有多个车道的道路320、420、520、620。

在这种情况下，尤其基于由摄像机760提供的视频数据762或基于由雷达设备770提供的雷达数据772进行检测。随时间累积地获取位置信息的结果尤其分别针对雷达数据772和视频数据762表示道路使用者在观察时间段内的在相关的坐标系中可显示的复合运动走向。换言之，通过道路使用者位置的累积检测或他们的运动走向的检测来识别车道走向，其中，所获取的位置信息尤其首先涉及相应的坐标系，即相机坐标系和/或雷达坐标系。为了雷达检测，图3a)和图3b)示例性示出了累积检测。在此，图3a)示出了通过单个雷达设备770对十字路口支路进行检测的结果，并且图3b)示出了多个雷达设备对整个十字路口的融合检测的结果。

根据改进方案，在预设的和/或可调整的时间段内，从通过摄像机760检测到的道路使用者随时间累积地获取位置信息和/或从通过雷达设备770检测到的道路使用者随时间累积地获取位置信息。在该意义中，可调整尤其理解为可手动改变的可预设的时间间隔，和/或根据指定条件(例如检测的质量水平)来自动调整时间段或者自动调整时间段直到达到指定条件。

在步骤204a中，基于通过摄像机760随时间累积地获取的位置信息来识别道路的各个车道，并且与其并行地，在步骤204b中，基于通过雷达设备770随时间累积地获取的位置信息来识别道路的各个车道。因此尤其相互独立地，在摄像机760的图像中或基于视频数据762和基于雷达设备770的雷达数据772识别各个车道。位置信息的相应的累积获取意味着尤其是在道路车道的中心轴线上形成清晰的检测积累。这些最大值可以相应用于识别相应的道路。

根据至少一个实施方式，为了通过累积检测道路使用者位置来识别车道走向，根据正在移动或先前已经移动的道路使用者和/或已被归类为车辆的道路使用者来选择由摄像机和雷达设备检测到的道路使用者。为此，使用相机数据和/或雷达数据中检测到的道路使用者的归类或通过处理计算设备接收相应归类的对象数据可能被证明是有利的。

根据至少一个实施方式，通过摄像机随时间累积地获取的位置信息的确定最大值和/或通过雷达设备随时间累积地获取的位置信息的确定最大值由折线、尤其是样条线近似表示。如前所述，在车道的中心轴线上通常形成显著的检测积累。根据该实施例，这些确定最大值由折线近似表示，这些折线因此在数学上表示相应的传感器坐标系中的车道走向。在这方面的折线近似结果的一个示例可以在图5的左侧部分图像中看到，该图像基于视频数据生成。

在步骤206a中，使用通过摄像机760随时间累积地获取的位置信息和通过雷达设备770随时间累积地获取的位置信息来单独确定道路使用者关于各个识别的车道的停车位置。在此尤其检测道路使用者的前方停车位置。例如，当道路使用者停在十字路口的停车线处时是这种情况。

根据至少一个实施方式，为了确定车道的前方停车位置，确定关于相关的车道的随时间累积的位置信息的最大值。在此，检测结果的最大值尤其来自在某个位置的与移动的道路使用者的检测相比在时间上更长的停车时间，并且因此在该位置在相关的时间段内更频繁的检测。根据改进方案可以规定，如果能够确定对象的速度，则针对该目的直接确定在相关的车道中的基本上静止的对象。替代地或补充地，可以规定最靠近摄像机760和/或最靠近雷达设备770的局部最大值用作各个车道的停车位置。然而，这样做的先决条件可以是传感器和对应的检测区域在检测到的具有最近停车线的道路的方向上的相应的布置。该过程还可以用作标准，或用于支持与上述过程中的至少一个过程(例如作为对应的搜索的起点)组合地找到对应的最大值。

在步骤208中，在通过摄像机760或视频数据762确定的停车位置401a、402a、403a(如图4所示)与通过雷达设备770或雷达数据772确定的停车位置401b、402b、403b(同样如图4所示)之间建立如对应的箭头所示的关联。这在图4中以四个摄像机和四个雷达设备对十字路口的检测Cam1到Cam4为例进行示出。为了清楚起见，未用附图标记

标识所示出的其他停车位置。根据改进方案，为此，基于视频数据762

识别的停车位置的时间占用尤其与基于雷达数据772识别的停车位置相组合。这产生了可能的关联的数量，该数量对应于从视频数据762中识别的停车位置的数量与从雷达数据772中识别的停车位置的数量的乘积。

根据至少一个实施方式，通过比较道路使用者位于停车位置和/或移动到停车位置和/或离开停车位置的被检测的时间点来在通过视频数据762确定的停车位置与通过雷达数据772确定的停车位置之间建立关联。

对于这种组合，例如，相应可以通过异或非运算在例如几分钟的一定的时间间隔内组合二元占用状态——车辆是否处于停车位置，即是或否。异或非运算在相同状态的情况下产生1，而在非相同状态的情况下产生0。在预设的检测时间期间未达到占用状态的变化(0→1，1→0)的预设的最小次数的停车位置将尤其被忽略，或相应延长检测时间，以确保充分的统计评估基础。可能的组合可以尤其根据时间份额或对应的初始值的数量来分类，并且例如可以从中创建包含来自雷达数据和视频数据的停车位置的最可能关联的至少一个关联表。

一种可以补充或替代地应用的并且也特别适用于能够提供非二元数据或连续数据(例如停车位置的占用概率)的传感器的方法是考虑互协方差。其可以被确定为不同的传感器输出之间的横向关联度，以便根据视频数据和雷达数据建立停车位置的关联。

在步骤210中，如图5所示，基于道路使用者的相关联的停车位置在通过视频数据762识别的车道501a、502a、503a与通过雷达数据772识别的车道501b、502b、503b之间建立如对应的箭头所示的关联，其中，与图4相比，检测的关联仅通过摄像机760和雷达设备770示出。根据改进方案，在这种情况下，考虑相关联的车道来在通过摄像机760检测到的道路使用者与通过雷达设备770检测到的道路使用者之间建立关联。因此，这是有效可能的，因为停车位置形成已经确定的车道的最大值并且因此与其直接相关联，并且不同的传感器坐标系的停车位置的关联因此使得车道得以关联。

在步骤212中，考虑相关联的车道来在通过摄像机760检测到的道路使用者620a、640a、660a与通过雷达设备770检测到的道路使用者620b、640b、660b之间建立关联，其方式为使得通过雷达设备770检测到的、在最接近停车位置的时间点位于特定车道中的道路使用者对应于通过摄像机760检测到的、位于与该车道相关联的车道中、最接近与该停车位置相关联的停车位置的道路使用者。根据改进方案，还可以规定相应将布置成第二、第三等接近停车位置的道路使用者关联。

在步骤214中，基于通过摄像机760检测到的道路使用者620a、640a、660a与通过雷达设备770检测到的道路使用者620b、640b、660b的关联来确定通过雷达设备770获取的雷达数据772和通过摄像机760获取的视频数据762的坐标转换的转换规则，例如已经针对参考图1的实施例进行了描述。利用自动确定的转换规则，随后尤其可以将利用摄像机660和雷达设备670单独检测到的道路使用者彼此相关联，并且可以例如将他们的位置信息转换到匹配的坐标系。

图7示出了用于交通基础设施的传感器***的一个实施方式，该传感器***包括具有该交通基础设施的第一检测区域的至少一个摄像机760和具有该交通基础设施的第二检测区域的至少一个雷达设备770，其中，第一检测区域和第二检测区域至少部分重叠并且检测该交通基础设施的至少一条具有多个车道的道路，其中，传感器***配置为执行根据所描述的方法的所描述的实施方式或改进方案中的至少一个的方法，其例如如参考图1和图2来描述。

根据至少一个实施方式，所描述的传感器***700包括用于执行该方法的一个或多个计算设备，例如控制器720。根据示例，控制器720包括处理器722和数据存储器724。此外，传感器***700的根据示例的实施方式包括关联设备，用于将通过摄像机760检测到的道路使用者与通过雷达设备770检测到的道路使用者相关联。该传感器***还包括确定设备728，用于确定通过雷达设备770获取的雷达数据772和通过摄像机760获取的视频数据762的坐标转换的转换规则。控制器720能够将处理后的数据输出到信号接口730以用于传输到评估设备800，或从评估设备接收数据。

利用所提出的方法和传感器***尤其可以自动确定交通基础设施的摄像机760的相机坐标系与雷达设备770的雷达坐标系之间的转换规则，由此，例如能够将视频图像的各个像素与雷达数据中的对应物相关联，反之亦然。为此，视频数据762和雷达数据772有利地可在同一时间***中获得。由此可以改进对车辆和其他道路使用者的自动检测和定位，尤其是通过智能基础设施对灯光信号装置的智能控制和对交通流量的长期优化分析。

如果在方法的运行中发现一个特征或一组特征不是绝对必要的，则申请人当即希望至少一项独立权利要求的表述不再具有该特征或该组特征。在此，这例如可以是在申请日存在的权利要求的子组合或者在申请日存在的权利要求的受其他特征限制的子组合。这种需要重新表述的权利要求或特征组合理解为也被本申请的披露内容覆盖。

还应指出，在各种实施方案或实施例中描述的和/或在附图中示出的本发明的设计方案、特征和变体可以任意地彼此组合。单个或多个特征可以任意地彼此互换。由此产生的特征组合理解为也被本申请的披露内容覆盖。

在从属权利要求中的引用不理解为放弃获得对于引用的从属权利要求的特征的独立的实质性保护。这些特征也可以任意地与其他特征组合。

仅在说明书中披露的特征或仅结合其他特征在说明书或权利要求中披露的特征原则上可以具有独立的对于本发明重要的意义。因此，为了区别于现有技术，它们也可以单独包括在权利要求中。

一般地，应指出的是，车辆对X通信尤其理解为车辆之间和/或车辆与基础设施之间的直接通信。例如，该通信因此可以是车辆对车辆通信或者车辆对基础设施通信。如果在该申请的范围内参考车辆之间的通信，那么该通信原则上例如可以作为车辆对车辆通信的一部分而发生，该车辆对车辆通信通常在没有通过移动无线电网络或类似的外部基础设施进行切换的情况下实现，并且因此可与例如基于移动无线电网络的其他解决方案区分开。例如，可以使用IEEE 802.11p或者IEEE 1609.4标准来实施车辆对X通信。车辆对X通信还可以被称为C2X通信或V2X通信。这些子域可以被称为C2C(汽车对汽车)、V2V(车辆对车辆)或C2I(汽车对基础设施)、V2I(车辆对基础设施)。然而，本发明明确不排除具有例如经由移动无线电网络进行切换的车辆对X通信。

在此描述的***和技术的不同的实施方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些不同的实施方式可以包括在一个或多个计算机程序中的实施方式，该一个或多个计算机程序能够在可编程***上执行和/或解释，该可编程***包括至少一个可编程处理器，该可编程处理器可以具有特殊或通用用途，外加从存储***、至少一个输入设备和至少一个输出设备接收数据和指令以及向存储***传输数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包含用于可编程处理器的机器指令，并且可以以高级程序的和/或面向对象的编程语言和/或以汇编/机器语言来实现。在此使用的术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序(例如磁盘、光学数据载体、存储器、SPS)，包括包含作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

可以在数字电子电路中、或者在计算机软件、固件或硬件(包括在本说明书和其结构对应物中说明的结构)中、或者在其一种或多种的组合中实现主题和在本说明书中所描述的功能流程的实施方式。此外，本说明书中所描述的内容可以实现为一个或多个计算机程序产品，即，在计算机可读数据载体上编码的计算机程序指令的一个或多个模块，以便由数据处理设备执行或控制数据处理设备的运行。计算机可读介质可以是机器可读存储设备、机器可读存储衬底、存储设备、启动机器可读传播信号的材料结构，或其一种或多种的组合。术语“数据处理设备”、“计算设备”和“计算处理器”包括所有数据处理设备、设备和机器，例如可编程处理器、计算机或多个处理器或计算机。除了硬件以外，该设备还可以包含为相关的计算机程序创建执行环境的代码，例如表示处理器固件、协议栈、数据库管理***、操作***、或其一种或多种的组合的代码。传播的信号是人为生成的信号，例如机器生成的电、光或电磁信号，其生成是为了对信息进行编码以便传输到合适的接收器设备。

在这种情况下，计算设备可以是设计成处理所述信号中的至少一种信号的任何设备。特别地，计算设备可以是处理器，例如ASIC、FPGA、数字信号处理器、中央处理单元(CPU)、多用途处理器(MPP)等。

尽管在附图中以特定顺序示出了这些过程，但这不应理解为必须以所述的顺序或顺序次序执行这些过程，或者必须执行所有示出的过程以便取得期望的结果。在一些情况下，多重任务处理和并行处理可能是有利的。另外，上述实施例中的不同的***部件的分离不应理解为在所有实施例中都存在这种分离，并且应理解的是，所描述的程序部件和***通常可以集成在单个软件产品中或封装进多个软件产品中。

已经描述了多种实施方式。然而，假设可以做出各种修改而不脱离本披露内容的精神和范围。其他的实施方式相应落入以下语句的范围内。

已经描述了多种实施方式。然而，假设可以做出各种修改而不脱离本披露内容的精神和范围。其他的实施方式相应落入以下语句的范围内。

Claims (11)

1.一种由用于交通基础设施的传感器***(700)执行的方法(100)，其中，通过该传感器***(700)的至少一个摄像机(760)检测(102a)道路使用者，该至少一个摄像机具有交通基础设施的第一检测区域，并且通过传感器***(700)的至少一个雷达设备(770)检测(102b)道路使用者，该至少一个雷达设备具有交通基础设施的第二检测区域，其中，该第一检测区域和该第二检测区域至少部分重叠并且检测交通基础设施的至少一条具有多个车道的道路，其特征在于，基于通过摄像机(760)检测到的道路使用者与通过雷达设备(770)检测到的道路使用者的关联(104)来确定(106)通过雷达设备(770)获取的雷达数据(772)和通过摄像机(760)获取的视频数据(762)的坐标转换的转换规则。

2.根据权利要求1所述的方法，其特征在于，从通过摄像机检测到的道路使用者随时间累积地获取位置信息，并且从通过雷达设备检测到的道路使用者随时间累积地获取位置信息，并且基于通过摄像机随时间累积地获取的位置信息识别各个车道并基于通过雷达设备随时间累积地获取的位置信息识别各个车道。

3.根据权利要求2所述的方法，其特征在于，使用通过摄像机随时间累积地获取的位置信息来确定这些道路使用者关于各个车道的停车位置，并且使用通过雷达设备随时间累积地获取的位置信息来确定这些道路使用者关于各个车道的停车位置，并且在通过摄像机确定的停车位置与通过雷达设备确定的停车位置之间建立关联。

4.根据权利要求3所述的方法，其特征在于，基于相关联的停车位置，在通过摄像机识别的车道与通过雷达设备识别的车道之间建立关联，并且考虑相关联的车道来在通过摄像机检测到的道路使用者与通过雷达设备检测到的道路使用者之间建立关联。

5.根据前述权利要求中至少一项所述的方法，其特征在于，由摄像机和雷达设备检测到的道路使用者根据正在移动或之前已经移动和/或已被归类为车辆的道路使用者来选择。

6.根据权利要求2至5中至少一项所述的方法，其特征在于，在预设的和/或可调整的时间段内，从通过摄像机检测到的道路使用者随时间累积地获取位置信息和/或从通过雷达设备检测到的道路使用者随时间累积地获取位置信息。

7.根据前述权利要求2至6中至少一项所述的方法，其特征在于，通过摄像机随时间累积地获取的位置信息的确定最大值和/或通过雷达设备随时间累积地获取的位置信息的确定最大值由折线近似表示。

8.根据前述权利要求3至7中至少一项所述的方法，其特征在于，确定这些车道的前方停车位置，其中，确定关于相关的车道的随时间累积的位置信息的最大值。

9.根据权利要求3至8中至少一项所述的方法，其特征在于，通过比较道路使用者位于停车位置和/或正在移动到停车位置和/或离开停车位置的被检测的时间点来在通过摄像机确定的停车位置与通过雷达设备确定的停车位置之间建立关联。

10.根据前述权利要求中至少一项所述的方法，其特征在于，在至少一个时间点，检测雷达坐标和相机坐标中的至少一对关联点，以便为至少一个相关联的道路使用者确定转换规则，并且从这方面的多个点对确定雷达检测平面与相机图像平面之间的单应性矩阵。

11.一种用于交通基础设施的传感器***(700)，该传感器***包括具有交通基础设施的第一检测区域的至少一个摄像机(760)和具有交通基础设施的第二检测区域的至少一个雷达设备(770)，其中，该第一检测区域和该第二检测区域至少部分重叠并且检测交通基础设施的至少一条具有多个车道的道路，其中，该传感器***(700)配置为执行根据前述权利要求中至少一项所述的方法。

Images