CN112489416A - 使用来自交通镜中的信息用于自动化驾驶 - Google Patents

Abstract

使用来自交通镜中的信息用于自动化驾驶。公开了一种用于通过控制设备来使用图像数据的方法，所述图像数据根据在交通枢纽处的至少一个交通镜的反射来被确定，其中接收测量数据，并且在分析所述测量数据时识别在车辆的预测轨迹上的具有至少一个交通镜的交通枢纽；输出用于使所述车辆的速度适配或者用于使所述车辆在所述交通枢纽之前的所确定的停车点处停下的控制指令；接收关于车辆周围环境的周围环境信息；从所述至少一个交通镜的反射中确定和接收关于在车辆周围环境中能受损地看清的区域的图像数据；依据关于所述车辆的周围环境的所确定的周围环境信息和/或从所述至少一个交通镜中所确定的图像数据来做出驶入到所述交通枢纽中的决策。

Description

使用来自交通镜中的信息用于自动化驾驶

技术领域

本发明涉及一种用于通过控制设备来使用图像数据的方法，所述图像数据根据在交通枢纽处的至少一个交通镜的反射来被确定。本发明还涉及一种控制设备、一种计算机程序以及一种机器可读存储介质。

背景技术

交通枢纽常常难以看清并且对于可自动化运行的车辆来说是特别的挑战。由于常常在驶入到交通枢纽中时才能通观的交通情况，几乎不可能通过难以看清的区域来预测最佳的并且安全的轨迹。此外，在驶入到交通枢纽中之后需要对所发现的情况快速做出反应，以便避免由于车辆而引起的交通流、例如在交叉路口上的交通流的中断。

仅仅使用常见的车辆传感装置结合基于GPS的定位以及使用数字地图尤其在由于车辆抛锚或者事故而引起的紧急的特殊情况下无法提供对于停车或者安全的继续行驶来说准确的估计。为了扩展驾驶员的视野而常常在交通枢纽处安置交通镜，所述交通镜使得驾驶员能够看见难以看清的区域并且估计是否可能安全地驶入到交通枢纽中。

在自动化运行的车辆的情况下，在这种情况下通常必须诉诸于驾驶员的估计或者在有疑问的情况下将车辆置于安全状态直至能明确地估计情况。

发明内容

本发明所基于的任务可在于：提出一种用于有效使用从交通镜中确定的图像数据来控制可自动化运行的车辆的方法。

该任务借助于独立权利要求的相应的主题来解决。本发明的有利的设计方案是相应从属权利要求的主题。

根据本发明的一个方面，提供了一种用于通过控制设备来使用图像数据的方法，所述图像数据根据在交通枢纽处的至少一个交通镜的反射来被确定。

在一个步骤中，接收测量数据。在这种情况下，优选地在分析测量数据时识别沿着车辆的预测轨迹的具有至少一个交通镜的交通枢纽。

输出用于使车辆的速度适配或者用于使车辆在交通枢纽之前的所确定的或所限定的停车点处停下的控制指令。

在接下来的步骤中，接收关于车辆周围环境的周围环境信息。在此，从该至少一个交通镜的反射中确定和接收关于在车辆周围环境中能受损地看清（beeinträchtigteinsehbar）的区域或者不能看清的区域的图像数据。

可选地，可以对在能受损地看清的区域中所确定的交通情况进行分类。在这种情况下，对于借助于该交通镜的图像信息对交通情况的分类来说，可以考虑对象、尺寸、接近或远离交通枢纽的交通成员、封道情况等等。

接着，依据关于车辆的周围环境的所确定的周围环境信息和/或从该至少一个交通镜中所确定的图像数据来做出驶入到交通枢纽中的决策。为了做出驶入决策，也可以考虑可选地执行的对所确定的交通情况的分类。

根据本发明的另一方面，提供了一种控制设备，其中该控制设备被设立为实施该方法。该控制设备例如可以是车辆侧控制设备或车辆外部控制设备。例如，该控制设备可以与用于实施自动化驾驶功能的车辆控制器能连接或者集成到这样的车辆控制器中。设计在外部的控制设备例如可以是车辆外部的服务器单元，该车辆外部的服务器单元基于云技术。

根据本发明的一个方面，还提供了一种计算机程序，该计算机程序包括如下指令，在通过计算机或控制设备来实施该计算机程序时，所述指令促使该计算机或该控制设备来实施按照本发明的方法。根据本发明的另一方面，提供了一种机器可读存储介质，在其上存储有按照本发明的计算机程序。

在这种情况下，车辆可以按照BASt标准能被辅助地、部分自动化地、高度自动化地和/或全自动化地或无驾驶员地来运行。

车辆周围环境的测量数据可以通过至少一个传感器来收集。周围环境传感装置的至少一个传感器例如可以是激光雷达（LIDAR）传感器、雷达传感器、超声传感器、摄像机传感器、GNSS传感器等等。

通过该方法，可以实现自动化运行的车辆在不能通观的交通枢纽处的驶入决策。对于驶过交通枢纽来说所需的起车放行（Anfahrfreigabe）可以基于如下信息来被确定，该信息根据在交通枢纽处的交通镜的反射来被确定。尤其是可以分析交通镜的镜图像并且将其分配给交通枢纽的路段，使得车辆也可以以传感器方式正常地考虑不能看清的区域。

通过该方法来提高客户价值，因为通过可自动化运行的车辆可以舒适地掌握不能看清的交通枢纽。由此，也可以对可自动化运行的车辆的社会认可度产生积极影响。此外，对于乘客来说可以避免令人不舒服的情况，诸如全制动或者突然加速，因为车辆还可以在驶入到交通枢纽中之前分析交通镜的图像信息。

根据一个实施方式，依据所确定的周围环境信息和从该至少一个交通镜中所确定的图像信息来检查轨迹的可实施性或者对轨迹进行计划。通过从该至少一个交通镜的反射中提取图像数据，可以检查可通行性和继续遵循所计划的轨迹的可能性。例如，可以在交通镜的反射中探测并且在继续驶过该轨迹时考虑交通障碍物或者其它交通成员。

按照另一实施方式，依据车辆的所确定的周围环境信息并且依据从该至少一个交通镜中所确定的图像信息来产生用于对所识别出的交通情况做出取决于情况的反应的控制指令。基于从交通镜的反射中所确定的信息，可能需要对轨迹的适配。在这种情况下，也可以使用替选的轨迹来继续行驶。此外，也可以选择减速或者使车辆在驶入到交通枢纽中之前停下，作为其它反应。

根据另一实施例，从数字地图中调用关于交通镜的位置和取向的数据。通过该措施，可以接收交通镜的已经保存在该地图中的特征。基于交通镜的位置和取向，可以将从反射中所确定的图像数据分配给交通枢纽的路段。交通镜的取向用于：确定被反射的图像数据所走过的路线并且因此给这些图像数据分配实际位置。

按照另一实施方式，通过该控制设备借助于车辆的车辆传感装置的测量数据来确定交通镜的位置和取向以及来自交通镜的反射中的图像数据。由此，可以通过车辆的周围环境传感装置来确定对于分配图像数据来说所需的信息。例如可以分析摄像机传感器或者雷达传感器的测量数据。通过交通镜的取向，可以执行所传送的交通状况与当前的交通路线的关联。

按照另一实施例，依据交通镜的特征和交通镜的取向来使由图像数据所监控的区域与交通枢纽的路段关联。因此，交通镜的取向、大小或面积以及交通镜相对于车辆的周围环境传感装置的位置可以被算法使用，以便将依据交通镜的反射所确定的图像数据例如分配给在交通枢纽的区域内的车道。

根据另一实施方式，将所确定的图像数据经由通信单元传送给遥控操作器（Teleoperator）。从交通镜中提取的信息可以与在交通镜的区域内的周围环境信息一起被传送给遥控操作器。优选地，遥控操作器可以设计为相对于该控制设备具有更高的计算能力的计算机或外部服务器单元。因此，通过遥控操作器可以实施相对于该控制设备而言更复杂并且计算更密集的算法。因此，遥控操作器也可以被用于监控该控制设备以及因此该车辆的操作。还可以将车辆的决策做出转移给外部单元。这尤其可以在分析测量数据时的确定的不可靠性的情况下是有利的。该措施可以提高车辆的交通安全性。按照一个替选的或附加的实施方式，遥控操作器的功能可以由一个或多个人类来实施。

按照另一实施方式，通过遥控操作器来确定是否有其它交通成员接近车辆的所计划的轨迹或者在针对该车辆所计划的轨迹上的行车道是否空闲，其中遥控操作器的以信息为形式的反馈被传送给该控制设备。遥控操作器可以基于所传送的图像数据来检查是否有交通成员从不能看清的交通路段逼近或者沿着所计划的轨迹是否存在交通障碍物。该控制设备可以将这些信息与周围环境传感装置的信息一起用于推导驶入到交通枢纽中的决策。

在一个附加的或替选的可能性中，遥控操作器可以超越整个交通情况地确定起车放行或驶入决策。

根据另一实施方式，根据周围环境信息、来自交通镜的反射中的图像数据以及其它数据、例如遥控操作器的信息来创建融合的周围环境模型。对在交通镜的镜图像中的对象、诸如交通成员的识别可以借助于周围环境传感器及其到真实交通情况的转换来被实现。通过交通镜的取向来规定其中所识别出的对象在哪个车道上接近交通枢纽。借助于该信息，可以进行所识别的对象与道路交通路线的关联。在这种情况下可以检查是否有交通成员接近交通枢纽或者交通枢纽是否能自由通行。在补充以交通镜信息的特征根据常规的周围环境传感装置的信息来推导融合的周围环境模型之后，可以确定如下轨迹，该轨迹能够实现车辆在遵守安全性和舒适性条件的情况下的驶入。优选地，被用于融合的周围环境模型的其它数据可以由遥控操作器的输入来组成。这样的输入例如可以由人类遥控操作器或者被设计为计算机的遥控操作器或机器遥控操作器从该控制设备接收。

按照另一实施方式，通过该控制设备依据所确定的数据和遥控操作器的信息来做出驶入决策。由此，可以补充性地使用遥控操作器的信息，以便做出驶入决策。

附图说明

在下文，依据非常简化的示意图来详细地阐述本发明的优选的实施例。

在这种情况下：

图1示出了用于阐明按照实施例的方法的示意性布局；以及

图2示出了用于描述按照实施例的方法的示意性流程图。

具体实施方式

在图1中示出了用于阐明按照实施例的方法2的示意性布局1。尤其示出了车辆4接近交通枢纽6的交通情况。车辆4具有经计划的轨迹5，车辆4自动化地沿该轨迹行驶。

车辆4被设计为可自动化运行的车辆并且具有周围环境传感装置8。周围环境传感装置8例如可以具有摄像机传感器、超声传感器、雷达传感器和/或激光雷达传感器，并且与控制设备10以传导数据的方式连接。

因此，控制设备10可以接收并且分析周围环境传感装置8的测量数据。此外，控制设备10与机器可读存储介质12连接。

机器可读存储介质12具有计算机程序，该计算机程序能由控制设备10来实施。通过实施该计算机程序，可以将控制设备10用于执行方法2。

控制设备10可以经由通信连接14来与遥控操作器16联系并且促使信息交换。遥控操作器16可以设计为人类或机器遥控操作器。例如，遥控操作器16可以以车辆外部的服务器单元的形式来实施。

交通枢纽6设计为能有条件地看清的交叉路口。辅助性地，在交通枢纽6处布置交通镜18。

交通镜18布置和取向为使得交通枢纽6的路段20的图像数据能被周围环境传感装置8检测。

箭头22阐明了被反射的图像信息的光路，这些被反射的图像信息由周围环境传感装置8从路段20收集。路段20设计为具有坡度的难以看清的道路走向。为了足够及时地识别逼近的交通成员24，可以考虑沿着反射路径22被反射的图像信息。因此，可以通过控制设备10基于周围环境传感装置8的测量数据来生成可靠的起车放行。

图2示出了用于阐明按照实施例的方法2的示意性流程图。方法2尤其是用于通过控制设备10来使用图像数据，所述图像数据根据在交通枢纽6处的至少一个交通镜18的反射来被确定。

在第一步骤30中，从周围环境传感装置8接收测量数据。根据补充性地具有用于实施先行权判断的至少一个交通镜18的交通枢纽6的特征来对前方的交通情况进行归类。

这样的交通情况例如可以通过调用具体的地图信息或者通过借助于车辆4的周围环境传感装置8的探测来被标识。为此，例如可以通过机器学习或者对交通镜18的外轮廓的光学识别以及相对应的分类来执行对所接收到的测量数据的分类。

基于交通镜18的所识别出的轮廓，可以确定交通镜18相对于车辆4的取向。为此，表面法线可以被计算并且相对于车辆4进行比较。

在识别出交通情况之后，通过控制设备10根据交通状况的道路交通规则来输出用于减小车辆4的速度的控制指令。如果没有明确确定先行情况，则可以产生用于使车辆4在停车点处停下的控制指令31。

在接下来的步骤37中，可以基于周围环境信息并且基于通过来自交通镜18的反射中的图像数据来补充的信息做出起车决策或驶入决策。这些图像数据可以由控制设备10从测量数据中提取。

为此，可以依据这些图像数据来探测交通成员24。交通成员24例如可以是车辆、行人、骑自行车的人等等。这些交通成员也可以与交通枢纽6的交通区、诸如车道和人行道相关联。这些车道可以通过地图信息或者通过对周围环境传感装置8的测量数据的分析来被识别。在识别交通枢纽6的交通区之后，这些交通区可以优选地通过坐标变换来被变换、例如被变换到车辆4的坐标系中，并且与交通成员24相关联。在这种情况下，可以优选地基于从交通镜18提取的图像数据来纳入关于周围环境对象或交通成员24的信息、诸如分类、尺寸、位置、速度。这样的步骤32以及接下来的做法可以通过对周围环境传感装置33的测量数据的分析和对交通情况的接下来在车辆侧的操作或者通过使用遥控操作器16来被实现。

所确定的图像数据和测量数据可以通过控制设备10经由通信连接14传送给遥控操作器14。接着，遥控操作器14判断交通成员24妨碍了车辆4的继续行驶还是继续行驶可以不受阻碍地继续进行。控制设备10可以将该信息与周围环境传感装置8的测量数据相结合地用于推导驶入决策35。

替选地或附加地，遥控操作器16可以超越整个交通情况地为控制设备10做出驶入决策36。

作为另一种可能性，控制设备10可以独立地或者凭借遥控操作器16的信息35来确定驶入决策37。为此，在交通镜18的镜图像中的对象和交通成员24可以借助于周围环境传感装置8来被识别并且被转换成真实的交通情况。这可以通过对交通镜18的取向的了解以及交通成员24与所识别出的交通区的关联来进行。

交通镜18的取向例如可以相对于车辆4的车辆法线来被确定并且基于该信息通过反向投影被变换到车辆坐标系中。关于交通镜18的取向的信息可以从基于位置的数据库中被确定或者通过分析在车辆侧的传感器测量数据、例如激光雷达传感器的传感器测量数据来被确定。

基于从交通镜18的镜图像中推导出的信息进行的测距例如可以通过大小比较来进行。为此，例如可以执行比例尺比较。通过摄像机传感器和/或激光雷达传感器或雷达传感器可以对交通镜18进行探测，并且可以确定在交通镜18与车辆4之间的距离。基于车辆4距交通镜18的所确定的距离，可以确定镜面。交通成员24的在该镜面之内所确定的信息或图像可以接着被测量。尤其可以测量交通成员24的图像的尺寸并且基于这些尺寸来确定或者至少估计交通成员24距交通镜18并且因此也距车辆4的实际距离。因此，依据车辆4距交通镜18的距离和镜面的大小可以根据交通成员24在镜面中的图像大小来重构交通成员24的距离。

替选地或附加地，具有相对应的距离点的镜图像或交通成员24的图像也可以存储在用于每个单个的交通镜18的表格或数据库中。基于交通成员24在镜图像中的图像的位置，可以估计该交通成员在车辆坐标系中的位置。

在接下来的步骤38中，例如可以通过分类方法来确定：是否有交通成员24出现在所传输的镜图像中、是否接近交通枢纽6或者交通路线是否空闲。这样确定的信息在转换到真实存在的交通路线之后被用于推导驶入决策。

接着，可以根据常规的周围环境传感装置8的信息补充以来自交通镜18的反射中的图像数据的特征来实现对融合的周围环境模型39的推导。在此，可以通过控制设备10来确定对交通情况的反应40。作为可能的反应，可以在遵守安全性和舒适性条件的情况下继续沿轨迹5行驶或者计算经适配的轨迹5。

Claims (13)

1.用于通过控制设备（10）来使用图像数据的方法（2），所述图像数据根据在交通枢纽（6）处的至少一个交通镜（18）的反射来被确定，其中

- 接收测量数据，并且在分析所述测量数据时识别（30）在车辆（4）的预测轨迹（5）上的具有至少一个交通镜（18）的交通枢纽（6）（30）；

- 输出用于使所述车辆（4）的速度适配或者用于使所述车辆（4）在所述交通枢纽（6）之前的所确定的停车点处停下的控制指令（31）；

- 接收关于车辆周围环境（U）的周围环境信息；

- 从所述至少一个交通镜（18）的反射中确定和接收关于在车辆周围环境（U）中能受损地看清的区域（20）的图像数据（32）；

- 依据关于所述车辆（4）的车辆周围环境（U）的所确定的周围环境信息和/或从所述至少一个交通镜（18）中所确定的图像数据来做出驶入到所述交通枢纽（6）中的决策（37）。

2.根据权利要求1所述的方法，其中依据所确定的周围环境信息和从所述至少一个交通镜（18）中所确定的图像信息来检查轨迹（5）的可实施性或者对轨迹（5）进行计划。

3.根据权利要求1或2所述的方法，其中依据所述车辆（4）的所确定的周围环境信息并且依据从所述至少一个交通镜（18）中所确定的图像信息来产生用于对所识别出的交通情况做出取决于情况的反应的控制指令。

4.根据权利要求1至3中任一项所述的方法，其中从数字地图中调用关于所述交通镜（18）的位置和取向的数据。

5.根据权利要求1至4中任一项所述的方法，其中通过所述控制设备（10）借助于所述车辆（4）的周围环境传感装置（8）的测量数据来确定所述交通镜（18）的位置和取向以及来自所述交通镜（18）的反射中的图像数据。

6.根据权利要求5所述的方法，其中依据所述交通镜（18）的特征和所述交通镜（18）的取向来使由所述图像数据所监控的区域与所述交通枢纽（6）的路段（20）关联。

7.根据权利要求1至6中任一项所述的方法，其中将所确定的图像数据经由通信连接（14）发送给遥控操作器（16）。

8.根据权利要求7所述的方法，其中通过所述遥控操作器（16）来确定是否有其它交通成员（24）接近所述车辆（4）的所计划的轨迹（5）或者在针对所述车辆（4）所计划的轨迹（5）上的行车道是否空闲，其中所述遥控操作器（16）的以信息为形式的反馈被传送给所述控制设备（10）。

9.根据权利要求7或8中任一项所述的方法，其中根据所述周围环境信息、来自所述交通镜（18）的反射中的图像数据以及其它数据、例如所述遥控操作器（16）的信息来创建融合的周围环境模型。

10.根据权利要求7至9中任一项所述的方法，其中通过所述控制设备（10）依据所确定的数据和所述遥控操作器（16）的信息来做出驶入决策。

11.控制设备（10），所述控制设备被设立为实施根据上述权利要求中任一项所述的方法（2）。

12.计算机程序，所述计算机程序包括如下指令，在通过计算机或控制设备（10）来实施所述计算机程序时，所述指令促使所述计算机或所述控制设备来实施根据权利要求1至10中任一项所述的方法（2）。

13.机器可读存储介质（12），在其上存储有根据权利要求12所述的计算机程序。

Images