CN112304356B - 用于检查环境传感器的校准的方法和装置 - Google Patents

Abstract

本发明涉及一种用于检查环境传感器(2‑x)的校准的方法，其中，环境传感器(2‑x)至少部分检测相同环境且相应地提供相对彼此时间同步的传感器数据(3‑x)，其中，在环境传感器(2‑x)的属于相同环境的传感器数据(3‑x)中识别出至少对于至少一个被标出的区域(24)而言的周期性特征(21)，其中，相应地执行与至少一个被标出的区域(24)对应的传感器数据(2‑x)至少对于至少一个被标出的区域(24)而言到频域中的变换，其中，在相应被变换到频域中的传感器数据(30‑x)中相应地确定周期性特征(21)的频率(f)和/或相位(

)，其中，环境传感器(2‑x)的校准失效基于比较经相应确定的频率(f)和/或经相应确定的相位(

)来确认，并且其中，提供检查结果(6)。此外，本发明涉及一种装置(1)和一种机动车(50)。

Description

用于检查环境传感器的校准的方法和装置

技术领域

本发明涉及一种用于检查环境传感器的校准的方法和装置。

背景技术

当前和未来的机动车大多数装备有大量车辆***(例如驾驶员辅助***和/安全***)，其评估机动车的检测环境的大量传感器的传感器数据。这样的驾驶员辅助***实现了在不同驾驶情况中支持驾驶员的功能。为此示例性地提到避让-和泊车辅助装置、用于机动车纵向控制的距离自适应调节器(ACC自适应巡航控制)、横向控制***(例如车道保持***或车道偏离警报装置)以及在未来还有全自动的横向和纵向控制装置。这些驾驶员辅助***和其余车辆***中的每个对于正确的功能性而言在受物理限制的不确定性情况下依赖于精确的传感器数据。

为了在传感器方面确保所要求的精度已知的是，关于在机动车中的安装位置及其检测范围精确地校准传感器。这意味着，检测描述安装位置和因此也描述检测范围的外来校准参数，其中，安装位置也包括相应传感器的定向。该校准通常对于每个传感器而言在机动车的制造期间发生。

在此然而有问题的是，在机动车的使用寿命期间由于不同的影响可能出现环境传感器鉴于由环境传感器自身的评估单元和/或车辆***的评估单元利用的外来校准参数的校准失效。属于这些影响的尤其有传感器取向的几何变化，例如由于设置行为或事故，或环境影响(例如落石、露水或污染)。由此可能造成所要求的精度的损失，由此车辆***的任何功能、尤其任何驾驶员辅助功能经历功能性的退化。

尤其在机动车环境中基于检测到的传感器数据所执行的对象识别的情况中，校准失效的环境传感器的传感器数据可能导致由多个环境传感器在环境中检测的对象的不合理化(Deplausibilisierung)。同样地在多个环境传感器的传感器数据融合的情况中，已唯一的环境传感器的校准失效对经融合的传感器数据的质量具有负面影响。

由DE 10 2014 014 295 A1已知一种用于监控安装在车辆中的通过外来校准参数所描述的安装位置处的多个传感器关于外来校准参数的校准的方法。传感器从机动车的周围环境中检测出传感器数据。为了测定至少一个传感器的校准失效，通过比较传感器数据的至少一个校准失效标准评估描述在相同特性中的周围环境的相同特征的不同周围环境传感器的传感器数据。

发明内容

本发明的目的在于改善用于检查环境传感器的校准的方法和装置。

根据本发明，该目的通过下文描述的方法和装置来实现。

尤其地，提供一种用于检查环境传感器的校准的方法，其中，环境传感器至少部分检测相同环境且相应地提供相对彼此时间同步的传感器数据，其中，在环境传感器的属于相同环境的传感器数据中识别出至少对于至少一个被标出的区域而言的周期性特征，其中，相应地执行与至少一个被标出的区域对应的传感器数据至少对于至少一个被标出的区域而言到频域中的变换，其中，在相应被变换到频域中的传感器数据中相应地确定周期性特征的频率和/或相位，其中，环境传感器的校准失效基于比较经相应确定的频率和/或经相应确定的相位来确认，并且其中，提供检查结果。

另外尤其地提供一种用于检查环境传感器的校准的装置，其中，环境传感器至少部分检测相同环境且相应地提供相对彼此时间同步的传感器数据，该装置包括控制设备，其中，该控制设备构造成获得环境传感器的传感器数据，在环境传感器的属于相同环境的传感器数据中识别出至少对于至少一个被标出的区域而言的周期性特征，相应地执行与至少一个被标出的区域对应的传感器数据至少对于至少一个被标出的区域而言到频域中的变换，相应地在被相应变换到频域中的传感器数据中确定周期性特征的频率和/或相位，并且基于比较经相应确定的频率和/或经相应确定的相位来确认环境传感器的校准失效，并且提供检查结果。

该方法和装置使得如下成为可能，即，经改善地检查环境传感器的校准。这以如下方式实现，即，在环境中至少在至少一个被标出的区域中识别出局部周期性特征。局部周期性特征可例如是护栏的立柱、在车道中间的虚线标记或斑马线。为了识别出局部周期性特征，尤其评估传感器数据。在此，周期性特征在环境的由所有待检查的环境传感器检测的部分中被搜寻和识别。相应地属于环境的至少一个被标出的区域或者属于被识别出的周期性特征的传感器数据紧接着被变换到频域中，尤其借助于傅里叶变换或者快速傅里叶变换(FFT)。在此尤其进行从空间域到频域中的变换。备选地也可执行从时域到频域中的变换。在该情况中，取决于位置的传感器数据预先被变换或者被映射到时基(Zeitbasis)上。由经(傅里叶)变换的传感器数据出发，相应地(对于环境传感器中的每个)确定周期性特征的频率和/或相位。环境传感器的校准失效然后基于比较经相应确定的频率和/或经相应确定的相位来确认。在此，本发明基于如下知识，即，环境传感器在校准失效的情形中检测在环境中带有不同的(局部)频率和/或相位的局部周期性特征，例如因为环境传感器的取向在校准失效之后相对彼此不同。本发明以如下方式利用该区别，即，校准失效基于比较经相应确定的频率和/或经确定的相位来确认。如果例如斑马线由摄像头和/或由LIDAR传感器(这两者相对彼此校准失效、例如具有不同的取向)检测，则摄像头基于不同的取向或者不同的取向角度以不同于LIDAR传感器的周期检测斑马线的周期性特征。由于被检测的斑马线的不同周期，在被检测的传感器数据中的频率和/或相位是不同的。因此，校准失效可经由比较经确定的频率和/或相位来确认。

环境传感器可例如是如下传感器：摄像头、激光扫描器或者光探测和测距(LIDAR)传感器、雷达传感器和/或超声波传感器。传感器数据尤其二维或三维地描绘了被检测的环境，例如以二维或三维的摄像头图像形式或以三维点云的形式。在该方法的情况中所使用的在传感器数据中的测量变量尤其取决于传感器来选择。如果环境传感器是摄像头，则被用于识别在传感器数据中的周期性特征的测量变量可例如是在被检测的摄像头图像中的色值或亮度值。在LIDAR传感器中，作为测量变量例如使用深度值或反射率。

传感器数据关于位置尤其以二维或三维形式存在。环境传感器的传感器数据尤其在时间上同步，从而引起如下，即，频率和/或相位的比较基于时间一致地检测的周期性特征而进行。在时间同步的情况中可设置成，对传感器数据进行插值，以便于例如使时基彼此适应。换而言之，传感器数据应尤其包括环境的相同部分。

周期性特征的识别可例如借助于机器学习和计算机视觉的方法实现。也可设置成，例如准备好在其中存储合适的周期性特征的数据库。例如，在环境地图中可存储合适的周期性特征且在需要时根据位置来查询和选出。

被标出的区域尤其是由环境传感器所检测的环境的在其中找到周期性特征的区域或者一部分。与被标出的区域相应地对应有环境传感器中的每个的被检测的传感器数据的一部分或者选择(Auswahl)。

周期性特征尤其是一个或多个对象的特性，其引起如下，即，所述对象或多个对象的一个特征或多个特征以规则的间距重复。对于周期性特征而言的示例尤其是护栏的立柱、车道标记、栅栏桩、斑马线的条纹、停车场标记、铺路石、隧道中的天花板-或墙壁照明等等。

校准失效尤其关于外来校准参数来确认。尤其环境传感器相对于参考对象的位置和取向被称为外来校准参数。该参考对象可尤其是机动车。在此，外来校准参数对于所有环境传感器而言涉及相同的坐标系。

在确认校准失效时，尤其确认环境传感器相对彼此的校准失效。绝对的校准失效与之相反不可被确定，也就是说当多个环境传感器中的所有以相同的方式关于外来校准参数校准失效，则这不可借助于该方法来确认。然而根据本发明可宁愿假定如下，即，在多个环境传感器的情形中出现如下情况，即，环境传感器中的一个或仅几个校准失效。

可设置成，环境传感器共同以某一速度移动。共同的速度定义了速度矢量。环境传感器以其共同移动的速度尤其是环境传感器布置在其上或在其处的机动车的速度。

该方法尤其借助于控制设备来实施。控制设备可构造为硬件和软件的组合，例如构造为在微控制器或微处理器上实施的程序编码。尤其地，控制设备包括存储设备或可访问到存储设备上。在存储设备中，用于实施该方法的计算设备可实施计算操作。

该变换尤其从空间域到频域中进行，这也就是说在频域中映射了在至少一个被标出的区域中出现的位置频率。

该至少一个被标出的区域尤其是矩形的且沿着或者平行于与环境传感器的共同速度对应的速度矢量延伸。如果环境传感器布置在机动车处或在其中，则这意味着如下，即，被标出的区域的取向以探测条纹的形式理想地沿着机动车的行驶方向或者说速度矢量。

可设置成，至少与周期性特征对应的传感器数据或者与至少一个被标出的区域对应的传感器数据的频率滤波在执行比较之前进行。例如，带通滤波能够以对于周期性特征而言预期的频率实现。由此，同样在传感器数据中出现的其他频率可被过滤出。这简化且改善了频率和/或相位的随后的比较。

在一实施形式中设置成，如果在经确定的频率之间的频率差超过预设的频率阈值并且/或者如果在经确定的相位之间的相差超过预设的相阈值，确认校准失效。校准失效的确认可由此以特别简单的方式实现。例如可设置成，如果对于环境传感器而言被确定的差中的至少一个超过频率阈值或者相阈值，确认校准失效。在此也可设置成，频率阈值或者相阈值根据相应的环境传感器来选择或者预设。由此，可考虑传感器特定的特性。

在一实施形式中设置成，环境传感器的传感器数据被投影到图像空间中到与速度对应的速度矢量上，其中，到频域中的变换基于被投影的传感器数据进行。由此可尤其获得在确认校准失效的情形中的高精度。例如，作为环境传感器工作的摄像头的被检测的摄像头图像可用作对于(透视的)投影而言的基础。利用摄像头的已知的成像特性，与速度对应的速度矢量可被透视地投影到摄像头图像的图像空间中。这尤其在被标出的区域中实现。与周期性特征对应的传感器数据然后被投影到被如此投影的速度矢量上。因为这对于所有传感器数据而言都进行且紧接着的比较基于被投影到速度矢量上的传感器数据进行，该比较在变换到频域中之后能够以特别简单的方式实现。

在一实施形式中设置成，如果在环境传感器中的至少一个的传感器数据中至少在至少一个被标出的区域中识别出周期性特征，开始该方法。由此可节约或者暂时降低控制设备的计算功率，因为其只有当该方法也可实施时、也就是说当合适的周期性特征(例如带有周期性立柱的护栏、斑马线、周期性的车道标记)在环境中或者在被检测的传感器数据中存在时才被需要。

在一实施形式中设置成，环境传感器中的至少一个是摄像头，其中，该摄像头提供摄像头图像作为传感器数据，并且其中进行摄像头图像的语义分割，其中，至少一个被标出的区域基于语义分割被识别出且被确认。由此，机器学习和/或计算机视觉的已知的方法能够以有利的方式来使用。

可设置成，至少一个被标出的区域备选地或额外地基于被存储在存储设备中的环境地图来测定和确认。在所存储的环境地图中可例如存储从例如环境传感器的当前位置出发鉴别并且从环境地图中调用的周期性特征。

对于装置的设计方案的另外特征由方法的设计方案的描述得出。在此，装置的优点相应地与在方法的设计方案中一样。

此外还提供了一种机动车，其包括环境传感器和至少一个根据所说明的实施形式中的任一个所述的装置。

附图说明

下面，本发明借助优选的实施例在参照附图的情况下详细阐述。其中：

图1示出了用于检查环境传感器的校准的装置的实施形式的示意图；

图2a示出了用于阐明对用于两个环境传感器的示例的方法的实施形式的示意图；

图2b示出了两个环境传感器的被检测的传感器数据的示意图；

图2c示出了经变换的传感器数据(频谱)的示意图；

图2d示出了经变换的传感器数据(相谱)的示意图；

图3示出了该方法的实施形式的示意性流程图。

具体实施方式

在图1中示出了用于检查环境传感器2-x的校准的装置1的实施形式的示意图。装置1和环境传感器2-x布置在机动车50中，该机动车以某一速度沿着速度矢量Vk朝行驶方向51移动。环境传感器2-x例如检测位于机动车50前面的环境，其中，所有环境传感器至少部分检测相同环境。环境传感器2-x提供时间上同步的传感器数据3-x。

装置1包括控制设备4和存储设备5，其中，控制设备4可访问到存储设备5上且为了实施该方法可实施在存储设备5中的计算操作。

控制设备4接收环境传感器2-x的传感器数据3-x。至少对于至少一个被标出的区域而言在环境传感器2-x的属于相同环境的传感器数据3-x中，控制设备4识别出周期性特征，例如护栏的立柱或斑马线的条纹的周期性布置(参见图2a)。

在与至少一个被标出的区域对应的传感器数据3-x处，控制设备4至少对于至少一个被标出的区域而言尤其以如下方式执行到频域中的变换，即，在相应地与至少一个被标出的区域对应的传感器数据3-x处执行傅里叶变换或者快速傅里叶变换，从而使得然后存在经变换的传感器数据30-x。

在完成变换之后，控制设备4相应地在被相应变换到频域中的传感器数据30-x中确定周期性特征的频率和/或相位。

控制设备4基于比较经相应确定的频率和/或经相应确定的相位确认环境传感器2-x的校准失效。

尤其设置成，如果在经确定的频率之间的频率差超过预设的频率阈值时和/或当在经确定的相位之间的相差超过预设的相阈值，确认校准失效。

控制设备4紧接着提供检查结果6，例如作为检查结果信号7，其尤其以数字数据包的形式来提供。

可设置成，控制设备4将环境传感器2-x的传感器数据3-x投影到图像空间中到与速度对应的速度矢量上，其中，到频域中的变换基于经投影的传感器数据实现。

此外可设置成，如果在环境传感器2-x中的至少一个的传感器数据3-x中至少在至少一个被标出的区域中识别出周期性特征，开始该方法。

另外可设置成，环境传感器2-x中的至少一个是摄像头，其中，摄像头提供摄像头图像作为传感器数据3-x，并且其中，进行摄像头图像的语义分割，其中，至少一个被标出的区域基于语义分割被识别出且被确认。

在图2a中示出了用于阐明用于两个环境传感器的方法的实施形式的示意图。两个环境传感器例如是摄像头和LIDAR传感器。在摄像头中提供位置分辨的亮度值和/或色值作为传感器数据，在LIDAR传感器中提供位置分辨的反射率值。

在图2a中示出了环境20，在其中存在周期性特征21，例如在左侧上的护栏的立柱22和在右侧上的斑马线的条纹23。此外，被标出的区域24被示意性地示出。左侧被标出的区域24包括护栏的立柱22，右侧被标出的区域24包括斑马线的条纹23的右侧外部区域。接下来观察尤其地与被标出的区域24对应的传感器数据3-1,3-2。

在经校准的状态中，环境传感器朝速度矢量Vk的方向取向。由于两个环境传感器中的一个的校准失效(其通过相对于速度矢量Vk不同地定向的检测矢量Vm来阐明)，校准失效的环境传感器然而从另一方向或者在另一方向上检测环境。尤其地，周期性特征21由此由两个环境传感器在位置或者空间上相应地以不同的周期来检测。相应地由用于右侧被标出的区域24的两个传感器检测出的传感器数据3-1,3-2作为取决于在图2b中的位置坐标x的振幅25来示出。在经校准的状态中，矩形信号须处于彼此相叠。由于两个环境传感器中的一个的校准失效，其中一个环境传感器的传感器数据3-1然而相对于另一个环境传感器的传感器数据3-2关于位置坐标x移动。

两个环境传感器的传感器数据3-1,3-2经历傅里叶变换、尤其离散的快速傅里叶变换。由空间域到频域中的变换的结果在图2c和2d中被示出。在图2c中示出了频谱，也就是说经傅里叶变换的传感器数据30-1,30-2取决于频率f的功率26(或振幅)。在图2d中示出了经傅里叶变换的传感器数据30-1,30-2取决于相的功率26(或振幅)。

在图2c中借助经变换的传感器数据30-1,30-2明显地识别出如下，即，传感器数据3-1,3-2具有不同的频率f，这也就是说关于频率f彼此隔开频率差Δf，虽然引起的周期性特征21(即在右侧被标出的区域24中的斑马线的条纹23)是相同的。

在图2d中借助经变换的传感器数据30-1,30-2同样明显地识别出如下，即，传感器数据3-1,3-2具有不同的相位，这也就是说关于相彼此隔开相差Δ，虽然引起的周期性特征21(即在右侧被标出的区域24中的斑马线的条纹23)是相同的。

将频率差Δf和/或相差Δ与频率阈值31或者相阈值32比较。如果频率阈值31和/或相阈值32被超过，则确认两个环境传感器的校准失效并且提供相应的检查结果。

如果存在另外的环境传感器，则属于右侧被标出的区域24的传感器数据相应地彼此比较，尤其相应成对地。尤其地，如果环境传感器中的至少一个的传感器数据3-1,3-2超过频率阈值31或者相阈值32，可确认校准失效。

在图3中示出了该方法的实施形式的示意流程图。该方法例如对于机动车的多个环境传感器而言在机动车中实施。如果满足开始条件，该方法例如借助于方法步骤100开始。这种开始条件可例如是在被检测的传感器数据中(例如在借助于摄像头被检测的摄像头图像中)存在或者识别出合适的周期性特征(例如斑马线的条纹等等)。备选地，该方法也可被连续地执行，例如对于固定预设的被标出的区域而言；然后例如在起动机动车时开始该方法。

在方法步骤101中，检测环境传感器的传感器数据。如果被检测的传感器数据在时间上不同步或其具有不同的时基，则在方法步骤102中进行时间上的同步。时间上的同步可包括传感器数据的插值。

在方法步骤103中，机动车的速度矢量经由在考虑环境传感器的相应的成像条件的情况下的透视成像被变换到环境传感器的相应的坐标系中(在作为环境传感器的摄像头中例如到摄像头的图像坐标系中)。

在方法步骤104中提取出环境传感器的与在其中可找到周期性特征的被标出的区域对应的传感器数据。这尤其以如下方式实现，即，提取出在投影中处在被相应地投影到环境传感器的坐标系中的速度矢量上的传感器数据。

被提取出的传感器数据在方法步骤105中被变换到频域中。这尤其从空间域实现。然而也可设置成，被提取出的传感器数据预先被变换或者映射到时基上，从而使得实现从时域到频域中的变换。该变换借助于傅里叶变换、尤其借助于离散的快速傅里叶变换实现。

在方法步骤106中检查是否在频域中能可靠地探测到在经变换的传感器数据中的频率。对于相位而言这可同样地实现。如果频率和/或相位不能被可靠地确定，又跳回至方法步骤101。

在方法步骤107中可设置成，执行频率滤波(例如带通滤波)，以便于过滤出不期望的频率且使得由周期性特征所产生的信号的信号处理变得容易。

如果频率和/或相位能相应地被可靠地确定，则在方法步骤108中进行在环境传感器的传感器数据的频率和/或相位之间的比较。尤其地，对于环境传感器而言相应成对地确定频率差和/或相差，其相应地与频率阈值或者相阈值相比较。如果差超过相关联的阈值，则确认校准失效。

在方法步骤109中，提供且给出检查结果，例如作为检查结果信号，尤其以数字数据包的形式。

附图标记列表：

1 装置

2-x 环境传感器

3-x 传感器数据

4 控制设备

5 存储设备

6 检查结果

7 检查结果信号

20 环境

21 周期性特征

22 立柱

23 条纹

24 被标出的区域

30-x 经变换的传感器数据

31 频率阈值

32 相阈值

50 机动车

51 行驶方向

100-109 方法步骤

Vk 速度矢量

Vm 检测矢量

f 频率

Δf频率差

 相(位)

Δ 相差。

Claims (8)

1.用于检查环境传感器(2-x)的校准的方法，其中，所述环境传感器(2-x)至少部分检测相同环境且分别提供相对彼此时间同步的传感器数据(3-x)，其中，在所述环境传感器(2-x)的属于相同环境的传感器数据(3-x)中至少对于至少一个被标出的区域(24)识别出周期性特征(21)，其中所述周期性特征是一个或多个对象的特性，其引起所述一个或多个对象的一个特征或多个特征以规则的间距重复，其中，分别执行与所述至少一个被标出的区域(24)对应的传感器数据(2-x)至少对于所述至少一个被标出的区域(24)而言到频域中的变换，其中所述环境传感器(2-x)的传感器数据(3-x)被投影到图像空间中到与速度对应的速度矢量(Vk)上，其中，到频域中的变换基于经投影的所述传感器数据实现，其中，在分别被变换到频域中的所述传感器数据(30-x)中分别确定所述周期性特征(21)的频率(f)和/或相位其中，所述环境传感器(2-x)的校准失效基于比较经分别确定的频率(f)和/或经分别确定的相位来确认，并且其中，提供检查结果(6)。

2.根据权利要求1所述的方法，其特征在于，如果在经确定的频率(f)之间的频率差(Δf)超过预设的频率阈值(31)且/或如果在经确定的相位之间的相差超过预设的相阈值，确认校准失效。

3.根据前述权利要求中任一项所述的方法，其特征在于，如果在所述环境传感器(2-x)中的至少一个环境传感器的传感器数据(3-x)中至少在所述至少一个被标出的区域(24)中识别出周期性特征(21)，开始所述方法。

4.根据权利要求1或2所述的方法，其特征在于，所述环境传感器(2-x)中的至少一个是摄像头，其中，所述摄像头提供摄像头图像作为传感器数据(3-x)，并且其中，进行所述摄像头图像的语义分割，其中，所述至少一个被标出的区域(24)基于语义分割来识别和确定。

5.用于检查环境传感器(2-x)的校准的装置(1)，其中，所述装置(1)设立成执行根据权利要求1-4中任一项所述的方法，其中，所述环境传感器(2-x)至少部分检测相同环境且分别提供相对彼此时间同步的传感器数据(3-x)，所述装置包括：

控制设备(4)；

其中，所述控制设备(4)构造成使得获得所述环境传感器(2-x)的传感器数据(3-x)，在所述环境传感器(2-x)的属于相同环境的传感器数据(3-x)中至少对于至少一个被标出的区域(24)而言识别出周期性特征(21)，其中所述周期性特征是一个或多个对象的特性，其引起所述一个或多个对象的一个特征或多个特征以规则的间距重复，分别执行与所述至少一个被标出的区域(24)对应的传感器数据(3-x)至少对于所述至少一个被标出的区域(24)而言到频域中的变换，分别在分别被变换到频域中的所述传感器数据(30-x)中确定所述周期性特征(21)的频率(f)和/或相位且基于比较经分别确定的频率(f)和/或经分别确定的相位确认所述环境传感器(2-x)的校准失效，并且提供检查结果(6)，其中所述控制设备(4)此外构造成使得将所述环境传感器(2-x)的传感器数据(3-x)投影到图像空间中到与速度对应的速度矢量(Vk)上，并且基于经投影的所述传感器数据执行到频域中的变换。

6.根据权利要求5所述的装置(1)，其特征在于，所述控制设备(4)此外构造成使得如果在经确定的频率(f)之间的频率差(Δf)超过预设的频率阈值(31)并且/或者如果在所述相位之间的相差超过预设的相阈值(32)，确认校准失效。

7.根据权利要求5或6所述的装置(1)，其特征在于，所述控制设备(4)此外构造成使得如果在所述环境传感器(2-x)中的至少一个环境传感器的传感器数据(3-x)中至少在所述至少一个被标出的区域(24)中识别出周期性特征(21)，开始所述方法。

8.机动车(50)，包括：

环境传感器(2-x)，和

至少一个根据权利要求5至7中任意一项所述的装置(1)。

Images