CN112747757A - 用于提供雷达数据的方法和设备、计算机程序和计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种用于提供雷达数据的计算机实现的方法，所述方法具有以下步骤：接收输入数据，其中，所述输入数据包括卫星图像；通过使用经训练的机器学习算法的生成雷达数据，将所述经训练的机器学习算法应用于所述输入数据；输出所生成的雷达数据。

Description

用于提供雷达数据的方法和设备、计算机程序和计算机可读 存储介质

技术领域

本发明涉及一种用于提供雷达数据的计算机实现的方法、一种用于提供雷达数据的设备、一种计算机程序和一种非易失性计算机可读存储介质。

背景技术

在自动化驾驶领域中，需要对车辆进行准确定位，由此能够估计车辆部件的位置。可将雷达数据用于定位。雷达数据可以包括密集点云，这些密集点云基于雷达测量而产生。车辆可以行驶通过应检测的区域，其中，基于车辆的雷达测量生成雷达地图。然而，产生雷达地图因为以下原因而是耗费时间的：必须驶过待检测区域中的所有路线。同样地，产生雷达地图是昂贵的，因为对于车辆、燃料和驾驶员可能产生高成本。

从Carle等人的《Global rover localization by matching lidar and orbital3D maps》(IEEE国际机器人与自动化大会，2010年)已知基于3D地图的定位。

从Vysotska等人的《Exploiting Building Information from PubliclyAvailable Maps in Graph-Based SLAM》(IEEE/RSJ国际智能机器人和***国际会议，2016年)已知一种用于改善现有地图的方法。

从Wang等人的《A review of road extraction from remote sensing images》(交通运输工程学报，2016年3月3日，271-282页)已知一种用于道路分割的方法。在Mnih等人的《Learning to Detect Roads in High-Resolution Aerial Images》(欧洲计算机视觉会议(ECCV)，2010年)中可以找到另一这种类型的方法。

从Xia等人的《Road Extraction from High Resolution Image with DeepConvolution Network—A Case Study of GF-2Image》(国际遥感电子会议，2018年)已知一种基于神经网络的方法。

发明内容

根据第一方面，本发明涉及一种用于提供雷达数据的计算机实现的方法。接收输入数据，其中，该输入数据包括卫星图像。通过使用经训练的机器学习算法来生成雷达数据，其中，将经训练的机器学习算法应用于输入数据。输出所生成的雷达数据。

根据第二方面，本发明涉及一种用于提供雷达数据的设备，该设备具有输入接口、计算装置和输出接口。输入接口构造为用于接收输入数据，其中，该输入数据包括卫星图像。计算装置构造为：通过使用经训练的机器学习算法来生成雷达数据，其中，将经训练的机器学习算法应用于输入数据。输出接口构造为用于输出所生成的雷达数据。

根据第三方面，本发明涉及一种计算机程序，当在计算机上实施时，该计算机程序促使该计算机控制根据第一方面的计算机实现的方法的步骤的实施。

根据第四方面，本发明涉及一种非易失性计算机可读存储介质，该存储介质存储可实施的计算机程序，在计算机上实施时，该可实施的计算机程序促使该计算机控制根据第一方面的计算机实现的方法的步骤的实施。

优选的实施方式是相应的扩展方案的主题。

本发明的优点

卫星图像非常适合于检测大的区域。此外，通常能够成本有利地提供卫星图像。本发明的好处在于：在卫星图像中以及在雷达测量中都能够良好地识别确定的结构。借助两种方法尤其良好地探测如立柱、防撞栏或交通标志的道路结构。由此能够计算机实现地将卫星图像传输到雷达数据中。

此外，无需大的时间开销即能够生成雷达数据，因为不必驶过待检测区域中的道路。

根据本发明，“所生成的雷达数据”应理解为基于卫星图像生成的合成雷达数据。这些所生成的雷达数据应尽可能精确地对应于通过雷达测量生成的真实雷达数据。

根据该计算机实现的方法的一种实施方式，通过机动车的雷达传感器产生雷达数据。将基于机动车的雷达传感器所产生的雷达数据与基于卫星图像产生的雷达数据进行比较。基于该比较对机动车进行定位。在此，良好的可缩放性(Skalierbarkeit)是有利的。如果卫星图像在一个区域中可用，则可以在那里直接执行定位。由此能够在许多区域中进行定位。

根据该计算机实现的方法的一种实施方式，将经训练的机器学习算法应用于输入数据包括：对卫星图像进行语义分割。尤其可以自动识别确定的结构，例如行车道标记、道路标志、防撞栏等。

根据该计算机实现的方法的一种实施方式，基于语义分割产生雷达部分图像(Radarsegmentbild)，在这些雷达部分图像中能够预期雷达测量。通过机器学习算法为雷达部分图像中的像素分配雷达截面(英：radar cross section，RCS)值。

根据该计算机实现的方法的一种实施方式，卫星图像的像素最初是二维的。将分配给像素的雷达截面值转换为三维世界坐标系中的雷达测量的点云。

根据该计算机实现的方法的一种实施方式，在将二维坐标转换成三维坐标时考虑高度信息。

根据该计算机实现的方法的一种实施方式，所生成的雷达数据包括点云。替代地或附加地，所生成的雷达数据可以包括高斯分布。

根据该计算机实现的方法的一种实施方式，基于点云和/或高斯分布、通过提取特征来产生雷达地图。

根据该计算机实现的方法的一种实施方式，通过监督学习(überwachtes Lernen)训练机器学习算法。机器学习算法尤其能够基于用于语义分割的深度学习模型。

根据该计算机实现的方法的一种实施方式，通过监督学习、基于训练数据来进行机器学习算法的训练，其中，该训练数据包括卫星图像作为输入数据和真实雷达数据作为输出数据。真实雷达数据对应于以下雷达部分图像：这些雷达部分图像对应于真实雷达测量的雷达截面值的投影。在真实雷达测量中所检测的雷达数据通常存在于雷达坐标系中。将雷达数据从雷达坐标系转换为世界坐标系。由此能够将雷达数据直接映射到卫星图像上。

附图说明

附图示出：

图1示出根据本发明的一种实施方式的用于提供雷达数据的设备的示意性方框图。

图2示出用于阐述基于以下雷达数据进行机动车定位的示意性方框图：基于卫星图像生成所述雷达数据；

图3示出用于阐述基于卫星图像来生成雷达数据的示意性方框图；

图4示出根据本发明的一种实施方式的用于提供雷达数据的计算机实现的方法的流程图；

图5示出根据本发明的一种实施方式的计算机程序的示意性方框图；

图6示出根据本发明的一种实施方式的非易失性计算机可读存储介质的示意性方框图。

方法步骤的编号是为了清楚起见，并且一般不应暗示确定的时间顺序。多个方法步骤尤其也能够同时执行。

具体实施方式

图1示出根据本发明的一种实施方式的用于提供雷达数据的设备1的示意性方框图。设备1包括用于提供输入数据的输入接口11。输入接口能够通过电缆连接或无线连接与至少一个外部设备、尤其与卫星***或服务器相连接，以便接收输入数据。输入数据包括卫星图像。在此，卫星图像可以理解为单个卫星图像或多个卫星图像。输入数据可以包括附加的信息，例如高度信息或卫星图像的语义标签。

设备1还具有存储器12，在该存储器中存储所接收的输入数据。在存储器12中还可以存储以下数据：这些数据对于实施经训练的机器学习算法是必需的。

设备1还具有计算装置13，该计算装置构造为用于实施经训练的机器学习算法。计算装置13可以包括处理器、微处理器、集成电路、ASIC或类似物中的至少之一。计算装置13访问存储在存储器12中的输入数据。通过使用经训练的机器学习算法，计算装置13识别卫星图像中的以下部分(Segment)：在这些部分中可能发生雷达测量。因此，这些部分对应于以下对象或结构：雷达射束在这些对象或结构上反射。计算装置13可以辨识卫星图像中与这些部分相对应的像素。所述像素对应于可能发生雷达反射的空间位置。

在此，能够已经基于训练数据对机器学习算法进行训练，该训练数据包括卫星图像作为输入数据和真实雷达数据作为输出数据。计算装置13可以构造为自身实施机器学习算法的训练。替代地也可以设置，已经提供经训练的机器学习算法。

计算装置13可以给为对应于可能发生雷达反射的空间位置的相像素分配一个雷达截面值。同样能够基于经训练的机器学习算法来生成这些值。

计算装置13还可以构造为用于将分配给二维像素的雷达反射值转换为三维点云，其中，可以考虑高度信息。

最后，计算装置13可以构造为用于基于三维点云来创建雷达地图，其中，可以提取特征。

可以以***示方式提供雷达地图。替代点云或除点云之外，例如可以产生高斯分布。

此外，输入接口11可以接收通过机动车的雷达传感器产生的真实雷达数据。计算装置13构造为用于将所接收的真实雷达数据与基于卫星图像生成的合成雷达数据进行比较。基于该比较(例如通过配准(Registrierung)真实雷达数据和合成雷达数据)可以对机动车进行定位。计算装置13可以输出机动车的位置。驾驶员辅助***尤其可以基于机动车的定位来控制机动车的功能。

设备1还包括用于输出合成雷达数据或机动车的定位的输出接口14。输出接口14可以与输入接口11相同。

图2示出用于阐述基于以下雷达数据的机动车定位的示意性方框图：所述雷达数据已经基于卫星图像生成。提供卫星图像21。将转换算法22应用于卫星图像21，所述转换算法生成合成雷达数据23。转换算法基于上述经训练的机器学习算法。还提供由机动车的雷达传感器生成的真实雷达数据24。基于比较执行机动车的定位25。基于机动车的定位能够求取机动车的位姿26。

图3示出用于阐述基于卫星图像来生成雷达数据的示意性方框图。提供卫星图像31，在该卫星图像中能够识别确定的结构，例如行车道边界。通过语义分割，借助经训练的机器学习算法辨识与使雷达射束反射的结构相对应的像素或部分。此外，为像素分配雷达截面值。由此生成点云33。通过提取特征产生雷达地图34。

图4示出根据本发明的一种实施方式的用于提供雷达数据的计算机实现的方法的流程图。该方法可以由上述设备1执行。反过来，设备1可以构造为用于执行以下所描述的方法。

在第一方法步骤S1中，接收输入数据，所述输入数据包括卫星图像。

在方法步骤S2中，训练机器学习算法。为此，提供确定的卫星图像作为输入数据并且提供与所述卫星图像相对应的雷达数据作为输出数据，以便执行监督学习。于是，如此训练的机器学习算法能够应用于任何卫星图像。可选地，可以预处理雷达数据以用于训练。例如可以通过使用者执行注释。也可以设置执行自动的注释。由此能够以降低的工作开销实现雷达数据的良好的全局定位。

在方法步骤S3中生成合成雷达数据，其方式是，将经训练的机器学习算法应用于输入数据。为此，首先可以辨识与将雷达辐射反射的对象相对应的雷达部分或像素。此外，针对这些像素说明雷达截面值。例如基于高度信息能够产生例如点云和/或高斯分布形式的三维雷达数据。通过提取特征还能够产生雷达地图，该雷达地图附加地包括关于确定结构的信息。

在方法步骤S4中，输出所生成的雷达数据。

该方法还可以用于定位机动车。为此，在第五方法步骤S5中，通过机动车的雷达传感器产生真实雷达数据。

在方法步骤S6中，将基于雷达传感器产生的真实雷达数据与基于卫星图像产生的合成雷达数据进行比较。尤其可以执行配准，即将真实雷达数据如此旋转和移动，使得真实雷达数据与合成雷达数据尽可能准确地一致或重合。

由此能够在进一步的方法步骤S7中定位机动车。尤其能够计算机动车的位姿。通过使用机动车的定位能够自动控制确定的驾驶功能。

图5示出根据本发明的一种实施方式的计算机程序5的示意性方框图。计算机程序5包括可实施的程序代码51，在计算机上实施时，该可实施的程序代码促使该计算机控制或执行上述用于提供雷达数据的计算机实现的方法。

图6示出根据本发明的一种实施方式的非易失性计算机可读存储介质6的示意性方框图。存储介质6包括可实施的程序代码61，在计算机上实施时，该可实施的程序代码促使该计算机控制或执行上述用于提供雷达数据的计算机实现的方法。

Claims (10)

1.一种用于提供雷达数据的计算机实现的方法，所述方法具有以下步骤：

接收(S1)输入数据，其中，所述输入数据包括卫星图像；

通过使用经训练的机器学习算法生成(S3)雷达数据，其中，将所述经训练的机器学习算法应用于所述输入数据；

输出(S4)所生成的雷达数据。

2.根据权利要求1所述的方法，所述方法还具有以下步骤：

通过机动车的雷达传感器产生(S5)雷达数据；

将基于所述机动车的所述雷达传感器所产生的雷达数据与基于所述卫星图像所产生的雷达数据进行比较(S6)；

基于所述比较定位(S7)所述机动车。

3.根据权利要求1或2所述的方法，其中，将所述经训练的机器学习算法应用于所述输入数据包括：对所述卫星图像进行语义分割。

4.根据以上权利要求中任一项所述的方法，其中，所生成的雷达数据包括点云和/或高斯分布。

5.根据权利要求4所述的方法，其中，基于所述点云和/或高斯分布、通过提取特征来产生雷达地图。

6.根据以上权利要求中任一项所述的方法，所述方法还具有以下步骤：

通过监督学习训练(S2)所述机器学习算法。

7.根据权利要求6所述的方法，其中，通过监督学习、基于训练数据来进行所述机器学习算法的训练，其中，所述训练数据包括卫星图像作为输入数据和真实雷达数据作为输出数据。

8.一种用于提供雷达数据的设备(1)，所述设备具有：

输入接口(11)，所述输入接口构造为用于接收输入数据，其中，所述输入数据包括卫星图像；

计算装置(13)，所述计算装置构造为用于通过使用经训练的机器学习算法生成雷达数据，其中，将所述经训练的机器学习算法应用于所述输入数据；

输出接口(14)，所述输出接口构造为用于输出所生成的雷达数据。

9.一种计算机程序(5)，当在计算机上实施时，所述计算机程序促使所述计算机控制根据权利要求1至8中任一项所述的方法的步骤的实施。

10.一种非易失性计算机可读存储介质(6)，所述计算机可读存储介质存储可实施的计算机程序，当在计算机上实施时，所述可实施的计算机程序促使所述计算机控制根据权利要求1至8中任一项所述的方法的步骤的实施。

Images