CN110415297B - 定位方法、装置及无人驾驶设备 - Google Patents

Abstract

本申请提供一种定位方法、装置及无人驾驶设备，所述方法的一具体实施方式包括：针对当前的目标视觉图像，提取视觉图像特征；从预先构建的特征库中查找与所述视觉图像特征匹配的目标点云图像特征；其中，所述特征库包括针对多帧激光点云数据提取的点云图像特征；确定所述目标点云图像特征关联的目标定位数据；基于所述目标定位数据确定当前的定位信息。该实施方式无需先估算位姿，再基于估算的位姿进行定位，提高了定位信息的精确度，使得无人驾驶设备对定位精度的需求得到了满足。

Description

定位方法、装置及无人驾驶设备

技术领域

本申请涉及无人驾驶技术领域，特别涉及一种定位方法、装置及无人驾驶设备。

背景技术

目前来说，在涉及无人驾驶设备的定位方面，一般是先在一些特定的区域环境内，利用视觉摄像设备采集视觉图像，并确定视觉图像对应的位姿标签，从而得到训练数据集，利用训练数据集训练得到目标模型。在对无人驾驶设备进行定位时，将无人驾驶设备当前采集到的视觉图像输入至目标模型，得到无人驾驶设备当前的位姿信息，并基于无人驾驶设备当前的位姿信息对无人驾驶设备进行定位。但是，通过上述方式进行定位，需要先估算位姿，再基于估算的位姿进行定位，因此，得到的定位信息精度较低，难以满足无人驾驶设备对定位精度的需求。

发明内容

为了解决上述技术问题之一，本申请提供一种定位方法、装置及无人驾驶设备。

根据本申请实施例的第一方面，提供一种定位方法，包括：

针对当前的目标视觉图像，提取视觉图像特征；

从预先构建的特征库中查找与所述视觉图像特征匹配的目标点云图像特征；其中，所述特征库包括针对多帧激光点云数据提取的点云图像特征；

确定所述目标点云图像特征关联的目标定位数据；

基于所述目标定位数据确定当前的定位信息。

可选的，所述点云图像特征利用预先训练的第一目标神经网络提取得到；

所述视觉图像特征利用预先训练的第二目标神经网络提取得到；

其中，所述第一目标神经网络和所述第二目标神经网络满足以下条件：对于任意一个定位点，利用所述第一目标神经网络，针对该定位点对应的激光点云数据提取的点云图像特征，和利用所述第二目标神经网络，针对该定位点对应的视觉图像提取的视觉图像特征，之间的差异在预设误差范围内。

可选的，所述第一目标神经网络和所述第二目标神经网络均为深度卷积神经网络；

通过如下方式利用所述第一目标神经网络提取点云图像特征：将一帧激光点云数据输入至所述第一目标神经网络，由所述第一目标神经网络的反卷积层输出该一帧激光点云数据对应的点云图像特征；

通过如下方式利用所述第二目标神经网络提取视觉图像特征：将一帧视觉图像输入至所述第二目标神经网络，由所述第二目标神经网络的反卷积层输出该一帧视觉图像对应的视觉图像特征。

可选的，所述第一目标神经网络和所述第二目标神经网络通过如下方式训练：

确定样本序列，所述样本序列包括多个采集时刻中的每个采集时刻对应的一帧样本激光点云数据、一帧样本视觉图像及一组语义标签；

基于所述样本序列，迭代执行对第一神经网络和第二神经网络的更新操作，直至满足停止条件，分别将迭代更新后的第一神经网络和第二神经网络作为所述第一目标神经网络和所述第二目标神经网络；所述更新操作包括：

将从所述样本序列中随机选取的任一采集时刻所对应的样本激光点云数据输入至当前的第一神经网络，得到样本点云图像特征及第一语义；所述样本点云图像特征及第一语义分别由当前的第一神经网络的反卷积层及输出层输出；

将所述样本序列中该采集时刻所对应的样本视觉图像输入至当前的第二神经网络，得到样本视觉图像特征及第二语义；所述样本视觉图像特征及第二语义分别由当前的第二神经网络的反卷积层及输出层输出；

确定所述样本序列中该采集时刻所对应的语义标签，作为当前语义标签；

根据所述样本点云图像特征、所述第一语义、所述样本视觉图像特征、所述第二语义以及所述当前语义标签，更新当前的第一神经网络和当前的第二神经网络；

其中，所述停止条件包括：所述第一语义和所述当前语义标签之间的差异函数收敛、所述第二语义和所述当前语义标签之间的差异函数收敛以及所述样本点云图像特征和所述样本视觉图像特征之间的差异函数收敛。

可选的，在所述针对当前的目标视觉图像，提取视觉图像特征之前，还包括：

获取当前采集的视觉图像；

将所述当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像。

可选的，所述预设拍摄条件包括预设光照和/或预设拍摄角度。

可选的，所述将所述当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像，包括：

将所述当前采集的视觉图像输入至预先训练的生成器，得到满足预设拍摄条件的目标视觉图像；其中，所述生成器通过生成式对抗网络训练得到。

根据本申请实施例的第二方面，提供一种定位装置，包括：

提取模块，用于针对当前的目标视觉图像，提取视觉图像特征；

查找模块，用于从预先构建的特征库中查找与所述视觉图像特征匹配的目标点云图像特征；其中，所述特征库包括针对多帧激光点云数据提取的点云图像特征；

确定模块，用于确定所述目标点云图像特征关联的目标定位数据；

定位模块，用于基于所述目标定位数据确定当前的定位信息。

根据本申请实施例的第三方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

根据本申请实施例的第四方面，提供一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请的实施例提供的定位方法和装置，通过针对当前的目标视觉图像，提取视觉图像特征，从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征，该特征库包括针对多帧激光点云数据提取的点云图像特征。确定目标点云图像特征关联的目标定位数据，并基于目标定位数据确定当前的定位信息。从而无需先估算位姿，再基于估算的位姿进行定位，提高了定位信息的精确度，使得无人驾驶设备对定位精度的需求得到了满足。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是本申请根据一示例性实施例示出的一种定位方法的流程图；

图2是本申请根据一示例性实施例示出的另一种定位方法的流程图；

图3是本申请根据一示例性实施例示出的一种定位装置的框图；

图4是本申请根据一示例性实施例示出的另一种定位装置的框图；

图5是本申请根据一示例性实施例示出的另一种定位装置的框图；

图6是本申请根据一示例性实施例示出的一种无人驾驶设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

如图1所示，图1是根据一示例性实施例示出的一种定位方法的流程图，该方法可以应用于无人驾驶设备中。本领域技术人员可以理解，该无人驾驶设备可以包括但不限于无人车、无人操作机器人、无人机、无人船等等。该方法包括以下步骤：

在步骤101中，针对当前的目标视觉图像，提取视觉图像特征。

在本实施例中，在无人驾驶设备上安装有图像采集装置(例如，摄像头等)，可以采用该图像采集装置实时采集无人驾驶设备周围环境的视觉图像，并利用采集到的视觉图像进行定位。

在一种实现方式中，可以将上述图像采集装置当前采集的视觉图像作为当前的目标视觉图像。在另一种实现方式中，还可以是对上述图像采集装置当前采集的视觉图像进行转换处理，将经过转换处理后得到的视觉图像作为当前的目标视觉图像。可以理解，本申请对此方面不限定。

在本实施例中，可以针对当前的目标视觉图像，提取视觉图像特征。可以采用本领域中已知的以及将来可能出现的任意合理方式提取视觉图像特征。可选地，可以采用机器学习的方式，利用预先训练的神经网络模型，提取目标视觉图像对应的视觉图像特征。可以理解，本申请对提取视觉图像特征的具体方式方面不限定。

在步骤102中，从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征。

在本实施例中，上述特征库可以包括针对多帧激光点云数据提取的点云图像特征。具体来说，可以通过如下方式预先构建上述特征库：首先，可以在测试设备上安装激光雷达等传感器以及安装定位装置。然后，使测试设备在特定的场景(即需要应用本申请提供的方法进行定位的场景)下行驶。同时，可以采用激光雷达实时采集测试设备周围环境的激光点云数据，并在采集激光点云数据的相同时刻，采用定位装置采集定位数据。接着，可以针对采集到的每帧激光点云数据，提取对应的点云图像特征。并将每帧激光点云数据对应的点云图像特征与该帧激光点云数据对应的定位数据进行关联地存储，得到上述特征库。

其中，可以采用本领域中已知的以及将来可能出现的任意合理方式提取点云图像特征。可选地，可以采用机器学习的方式，利用预先训练的神经网络模型，提取激光点云数据对应的点云图像特征。可以理解，本申请对提取点云图像特征的具体方式方面不限定。

可选地，可以预先针对多个不同的区域，构建每个区域对应的特征库。在进行定位时，根据无人驾驶设备所处区域，选取该区域对应的特征库。

需要说明的是，上述测试设备可以是人工驾驶的设备，该测试设备与应用本申请的无人驾驶设备为相同类型的设备。例如，如果应用本申请的无人驾驶设备为无人车，则上述测试设备可以是与上述无人车类型相同的车辆。又例如，如果应用本申请的无人驾驶设备为无人机，则上述测试设备可以是与上述无人机类型相同的飞行设备。再例如，如果应用本申请的无人驾驶设备为无人操作机器人，则上述测试设备可以是与上述无人操作机器人类型相同的机器人。

需要说明的是，虽然视觉图像和激光点云数据为不同类型的数据，但视觉图像和激光点云数据均能够通过不同的方式表达周围环境的信息和周围物体的影像。因此，视觉图像和激光点云数据中一定包含相同类型的信息。针对在同一定位点所采集的视觉图像和激光点云数据，可以分别从该视觉图像和该激光点云数据中提取出相同的特征信息。所以，对视觉图像和激光点云数据进行特征提取，得到视觉图像特征和点云图像特征，可以利用视觉图像特征和点云图像特征进行匹配，从而进行定位。

在本实施例中，在获取到目标视觉图像对应的视觉图像特征后，可以从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征。具体来说，可以遍历上述特征库中的每个点云图像特征，将上述视觉图像特征与每个点云图像特征进行比较。选取与上述视觉图像特征的相似度最大，且该相似度大于等于预设相似度的点云图像特征，作为与上述视觉图像特征匹配的目标点云图像特征。

在步骤103中，确定目标点云图像特征关联的目标定位数据。

在步骤104中，基于目标定位数据确定当前的定位信息。

在本实施例中，由于在构建特征库时，将每帧激光点云数据对应的点云图像特征与该帧激光点云数据对应的定位数据进行关联地存储，因此，可以从特征库中查找出目标点云图像特征关联的定位数据，作为目标定位数据。然后，可以将该目标定位数据作为当前的定位信息，或者也可以将该目标定位数据进行微小的调整，并将经过调整的目标定位数据作为当前的定位信息。

本申请的上述实施例提供的定位方法，通过针对当前的目标视觉图像，提取视觉图像特征，从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征，该特征库包括针对多帧激光点云数据提取的点云图像特征。确定目标点云图像特征关联的目标定位数据，并基于目标定位数据确定当前的定位信息。从而无需先估算位姿，再基于估算的位姿进行定位，提高了定位信息的精确度，使得无人驾驶设备对定位精度的需求得到了满足。

在一些可选实施方式中，点云图像特征利用预先训练的第一目标神经网络提取得到，视觉图像特征利用预先训练的第二目标神经网络提取得到。其中，第一目标神经网络和第二目标神经网络满足以下条件：对于任意一个定位点，利用第一目标神经网络，针对该定位点对应的激光点云数据提取的点云图像特征，和利用第二目标神经网络，针对该定位点对应的视觉图像提取的视觉图像特征，之间的差异在预设误差范围内。

具体来说，在本实施例中，在预先构建上述特征库时，需要针对采集到的每帧激光点云数据，提取对应的点云图像特征，可以利用预先训练的第一目标神经网络提取每帧激光点云数据对应的点云图像特征。在基于上述特征库进行定位时，需要针对当前的目标视觉图像，提取视觉图像特征，可以利用预先训练的第二目标神经网络提取目标视觉图像对应的视觉图像特征。

其中，第一目标神经网络和第二目标神经网络可以是通过一起训练得到的，第一目标神经网络和第二目标神经网络需要满足以下条件：对于任意一个定位点(如，能够应用本申请提供的方法进行定位的指定场景下的定位点)，如果利用第一目标神经网络，针对该定位点对应的激光点云数据提取点云图像特征。利用第二目标神经网络，针对该定位点对应的视觉图像提取视觉图像特征。那么，利用第一目标神经网络提取得到的点云图像特征和利用第二目标神经网络提取得到的视觉图像特征，之间的差异在预设误差范围内。

需要说明的是，如果在测试设备上安装有图像采集装置以及激光雷达，对于任意一个定位点，该测试设备在该定位点上同时采用图像采集装置以及激光雷达分别采集视觉图像以及激光点云数据。则该测试设备在该定位点上采集的激光点云数据为该定位点对应的激光点云数据。该测试设备在该定位点上采集的视觉图像为该定位点对应的视觉图像。

由于本实施例，分别利用第一目标神经网络和第二目标神经网络提取点云图像特征以及视觉图像特征，使得提取的点云图像特征以及视觉图像特征维度高，表达能力强，包含的信息更加丰富，抗干扰能力更强。并且，由于第一目标神经网络和第二目标神经网络满足上述条件，因此，在特征库中查找与视觉图像特征匹配的目标点云图像特征时，可以基于视觉图像特征与点云图像特征的相似度，更直接快速的进行查找，提高了查找效率和查找的准确度。

在另一些可选实施方式中，第一目标神经网络和第二目标神经网络还可以进一步满足以下条件：对于任意一个定位点，利用第一目标神经网络，针对该定位点对应的激光点云数据，得到第一语义分割结果(将该定位点对应的激光点云数据输入至第一目标神经网络，可以得到第一目标神经网络的输出层输出的第一语义分割结果)。利用第二目标神经网络，针对该定位点对应的视觉图像，得到第二语义分割结果(将该定位点对应的视觉图像输入至第二目标神经网络，可以得到第二目标神经网络的输出层输出的第二语义分割结果)。其中，第一语义分割结果和第二语义分割结果之间的差异在预设差异范围内。

由于本实施例中，第一目标神经网络和第二目标神经网络进一步满足上述条件，使得利用第一目标神经网络和第二目标神经网络提取的视觉图像特征点云图像特征所表达的特征信息更为接近。在特征库中查找与视觉图像特征匹配的目标点云图像特征时，进一步提高了查找效率和查找的准确度。

在另一些可选实施方式中，第一目标神经网络和第二目标神经网络均为深度卷积神经网络。

在本实施例中，第一目标神经网络可以是具有处理三维图像功能的深度卷积神经网络，第二目标神经网络可以是具有处理二维图像功能的深度卷积神经网络。

在本实施例中，可以通过如下方式利用第一目标神经网络提取点云图像特征：将一帧激光点云数据输入至第一目标神经网络，由第一目标神经网络的反卷积层输出该一帧激光点云数据对应的点云图像特征。

在本实施例中，可以通过如下方式利用第二目标神经网络提取视觉图像特征：将一帧视觉图像输入至第二目标神经网络，由第二目标神经网络的反卷积层输出该一帧视觉图像对应的视觉图像特征。

由于本实施例中，分别利用第一目标神经网络和第二目标神经网络的反卷积层，得到点云图像特征和视觉图像特征。使得点云图像特征和视觉图像特征包含更多的物体边缘细节信息，在特征库中查找与视觉图像特征匹配的目标点云图像特征时，有助于提高查找效率和查找的准确度。

在另一些可选实施方式中，第一目标神经网络和第二目标神经网络是利用相同的训练数据集，一起训练得到的，第一目标神经网络和第二目标神经网络的训练过程并不是独立的。

具体来说，首先，可以在样本采集设备上安装激光雷达和图像采集装置。然后，使样本采集设备在特定的场景下行驶，并在多个预设的采集时刻，针对周围环境，同时采用激光雷达以及图像采集装置，分别采集样本激光点云数据和采集样本视觉图像。接着，可以针对每个采集时刻，得到该采集时刻对应的一组语义标签，该语义标签可以是针对该采集时刻对应的样本激光点云数据和样本视觉图像，得到的标注好的图像语义分割的结果。最后，得到样本序列，该样本序列对应于多个采集时刻，该样本序列包括每个采集时刻对应的样本数据，任意一个采集时刻对应的样本数据包括一帧样本激光点云数据、一帧样本视觉图像及一组语义标签。

需要说明的是，上述样本采集设备可以是人工驾驶的设备，该样本采集设备与应用本申请的无人驾驶设备为相同类型的设备。

在一种实现方式中，可以基于该样本序列，同时训练第一目标神经网络和第二目标神经网络。具体来说，可以基于该样本序列，迭代执行对第一神经网络和第二神经网络的更新操作，直至满足停止条件，分别将迭代更新后的第一神经网络和第二神经网络作为第一目标神经网络和第二目标神经网络。

该更新操作包括：首先，将从该样本序列中随机选取的任一采集时刻对应的一帧样本激光点云数据输入至当前的第一神经网络，得到样本点云图像特征及第一语义。其中，该样本点云图像特征由当前的第一神经网络的反卷积层输出，第一语义由当前的第一神经网络的输出层输出。将该样本序列中该采集时刻对应的一帧样本视觉图像输入至当前的第二神经网络，得到样本视觉图像特征及第二语义。其中，该样本视觉图像特征由当前的第二神经网络的反卷积层输出，第二语义由当前的第二神经网络的输出层输出。并获取该采集时刻对应的语义标签，作为当前语义标签。

接着，根据该样本点云图像特征、第一语义、该样本视觉图像特征、第二语义以及该当前语义标签，更新当前的第一神经网络和当前的第二神经网络(即调整当前的第一神经网络和当前的第二神经网络中的网络参数)。并在上述更新后，判断是否满足停止条件。如果未满足停止条件，继续执行该更新操作。如果满足停止条件，停止执行该更新操作，并将迭代更新后的第一神经网络和第二神经网络作为第一目标神经网络和第二目标神经网络。

其中，该停止条件包括：第一语义和当前语义标签之间的差异函数收敛、第二语义和当前语义标签之间的差异函数收敛以及该样本点云图像特征和该样本视觉图像特征之间的差异函数收敛。

由于本实现方式，通过上述方式将第一目标神经网络和第二目标神经网络放在一起同时训练，使得第二目标神经网络提取的视觉特征的信息含量更丰富，并且使得该视觉特征信息能够和第一目标神经网络提取的点云图像特征维度一致。在特征库中查找与视觉图像特征匹配的目标点云图像特征时，有助于提高查找效率和查找的准确度。

在另一种实现方式中，还可以先用该样本序列，训练得到第一目标神经网络，然后，基于该样本序列和第一目标神经网络，训练得到第二目标神经网络。或者，先用该样本序列，训练得到第二目标神经网络，然后，基于该样本序列和第二目标神经网络，训练得到第一目标神经网络。

可以理解，还可以通过其它方式训练得到第一目标神经网络和第二目标神经网络，本申请对训练第一目标神经网络和第二目标神经网络的具体方式方面不限定。

如图2所示，图2根据一示例性实施例示出的另一种定位方法的流程图，该实施例描述了获取目标视觉图像的过程，该方法可以应用于无人驾驶设备中，包括以下步骤：

在步骤201中，获取当前采集的视觉图像。

在本实施例中，在无人驾驶设备上安装有图像采集装置，可以采用该图像采集装置实时采集无人驾驶设备周围环境的视觉图像，并利用采集到的视觉图像进行定位。在进行定位时，获取该图像采集装置当前采集的视觉图像。

在步骤202中，将当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像。

在本实施例中，发明人发现不同的拍摄条件(如，光照因素，或图像拍摄角度因素等)，会对针对视觉图像提取的视觉图像特征产生较大的影响。使得在不同拍摄条件下，同一定位点的视觉图像所对应的视觉图像特征缺乏统一性，从而影响到最终的定位结果。因此，可以将当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像，从而使得在不同拍摄条件下，同一定位点的目标视觉图像所对应的视觉图像特征差异较小。其中，预设拍摄条件可以包括预设光照，或者包括预设拍摄角度，或者包括预设光照和预设拍摄角度。

具体来说，可以将当前采集的视觉图像输入至预先训练的生成器，得到生成器输出的满足预设拍摄条件的目标视觉图像。其中，该生成器可以通过生成式对抗网络训练得到。

在步骤203中，针对当前的目标视觉图像，提取视觉图像特征。

在步骤204中，从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征。

在步骤205中，确定目标点云图像特征关联的目标定位数据。

在步骤206中，基于目标定位数据确定当前的定位信息。

需要说明的是，对于与图1实施例中相同的步骤，在上述图2实施例中不再进行赘述，相关内容可参见图1实施例。

本申请的上述实施例提供的定位方法，通过获取当前采集的视觉图像，将当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像，针对当前的目标视觉图像，提取视觉图像特征，从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征，确定目标点云图像特征关联的目标定位数据，并基于目标定位数据确定当前的定位信息。由于本实施例将当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像，从而将视觉图像进行统一，避免了拍摄条件对定位产生的影响，提高了定位的准确度。

应当注意，尽管在上述实施例中，以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

与前述定位方法实施例相对应，本申请还提供了定位装置的实施例。

如图3所示，图3是本申请根据一示例性实施例示出的一种定位装置框图，该装置可以包括：提取模块301，查找模块302，确定模块303和定位模块304。

其中，提取模块301，用于针对当前的目标视觉图像，提取视觉图像特征。

查找模块302，用于从预先构建的特征库中查找与上述视觉图像特征匹配的目标点云图像特征。其中，特征库包括针对多帧激光点云数据提取的点云图像特征。

确定模块303，用于确定上述目标点云图像特征关联的目标定位数据。

定位模块304，用于基于目标定位数据确定当前的定位信息。

在一些可选实施方式中，点云图像特征利用预先训练的第一目标神经网络提取得到，视觉图像特征利用预先训练的第二目标神经网络提取得到。

其中，第一目标神经网络和第二目标神经网络满足以下条件：对于任意一个定位点，利用第一目标神经网络，针对该定位点对应的激光点云数据提取的点云图像特征，和利用第二目标神经网络，针对该定位点对应的视觉图像提取的视觉图像特征，之间的差异在预设误差范围内。

在另一些可选实施方式中，第一目标神经网络和第二目标神经网络均为深度卷积神经网络。

可以通过如下方式利用第一目标神经网络提取点云图像特征：将一帧激光点云数据输入至第一目标神经网络，由第一目标神经网络的反卷积层输出该一帧激光点云数据对应的点云图像特征。

可以通过如下方式利用第二目标神经网络提取视觉图像特征：将一帧视觉图像输入至第二目标神经网络，由第二目标神经网络的反卷积层输出该一帧视觉图像对应的视觉图像特征。

在另一些可选实施方式中，第一目标神经网络和第二目标神经网络通过如下方式训练：确定样本序列，该样本序列包括多个采集时刻中的每个采集时刻对应的一帧样本激光点云数据、一帧样本视觉图像及一组语义标签。基于该样本序列，迭代执行对第一神经网络和第二神经网络的更新操作，直至满足停止条件，分别将迭代更新后的第一神经网络和第二神经网络作为第一目标神经网络和第二目标神经网络。

该更新操作包括：将从样本序列中随机选取的任一采集时刻所对应的样本激光点云数据输入至当前的第一神经网络，得到样本点云图像特征及第一语义。该样本点云图像特征及第一语义分别由当前的第一神经网络的反卷积层及输出层输出。将该样本序列中该采集时刻所对应的样本视觉图像输入至当前的第二神经网络，得到样本视觉图像特征及第二语义。该样本视觉图像特征及第二语义分别由当前的第二神经网络的反卷积层及输出层输出。确定该样本序列中该采集时刻所对应的语义标签，作为当前语义标签。根据该样本点云图像特征、第一语义、该样本视觉图像特征、第二语义以及当前语义标签，更新当前的第一神经网络和当前的第二神经网络。

其中，上述停止条件包括：第一语义和当前语义标签之间的差异函数收敛、第二语义和当前语义标签之间的差异函数收敛以及样本点云图像特征和样本视觉图像特征之间的差异函数收敛。

如图4所示，图4是本申请根据一示例性实施例示出的另一种定位装置框图，该实施例在前述图3所示实施例的基础上，该装置还可以进一步包括：获取模块305和转换模块306。

其中，获取模块305，用于获取当前采集的视觉图像。

转换模块306，用于将当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像。

在另一些可选实施方式中，上述预设拍摄条件可以包括预设光照和/或预设拍摄角度。

如图5所示，图5是本申请根据一示例性实施例示出的另一种定位装置框图，该实施例在前述图4所示实施例的基础上，转换模块306可以包括：输入子模块501。

其中，输入子模块501，用于将当前采集的视觉图像输入至预先训练的生成器，得到满足预设拍摄条件的目标视觉图像。其中，该生成器通过生成式对抗网络训练得到。

应当理解，上述装置可以预先设置在无人驾驶设备中，也可以通过下载等方式而加载到无人驾驶设备中。上述装置中的相应模块可以与无人驾驶设备中的模块相互配合以实现定位方案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1至图2任一实施例提供的定位方法。

对应于上述的定位方法，本申请实施例还提出了图6所示的根据本申请的一示例性实施例的无人驾驶设备的示意结构图。请参考图6，在硬件层面，该无人驾驶设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成定位装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种定位方法，其特征在于，所述方法包括：

针对当前的目标视觉图像，提取视觉图像特征，所述视觉图像特征利用预先训练的第二目标神经网络提取得到；

从预先构建的特征库中查找与所述视觉图像特征匹配的目标点云图像特征；其中，所述特征库包括针对多帧激光点云数据提取的点云图像特征，所述特征库中，每帧激光点云数据对应的点云图像特征与该帧激光点云数据对应的定位数据进行关联地存储，所述点云图像特征利用预先训练的第一目标神经网络提取得到，所述第一目标神经网络和所述第二目标神经网络满足以下条件：对于任意一个定位点，利用所述第一目标神经网络，针对该定位点对应的激光点云数据提取的点云图像特征，和利用所述第二目标神经网络，针对该定位点对应的视觉图像提取的视觉图像特征，之间的差异在预设误差范围内，所述第二目标神经网络是具有处理二维图像功能的深度卷积神经网络；

确定所述目标点云图像特征关联的目标定位数据；

基于所述目标定位数据确定当前的定位信息。

2.根据权利要求1所述的方法，其特征在于，所述第一目标神经网络和所述第二目标神经网络均为深度卷积神经网络；

通过如下方式利用所述第一目标神经网络提取点云图像特征：将一帧激光点云数据输入至所述第一目标神经网络，由所述第一目标神经网络的反卷积层输出该一帧激光点云数据对应的点云图像特征；

通过如下方式利用所述第二目标神经网络提取视觉图像特征：将一帧视觉图像输入至所述第二目标神经网络，由所述第二目标神经网络的反卷积层输出该一帧视觉图像对应的视觉图像特征。

3.根据权利要求2所述的方法，其特征在于，所述第一目标神经网络和所述第二目标神经网络通过如下方式训练：

确定样本序列，所述样本序列包括多个采集时刻中的每个采集时刻对应的一帧样本激光点云数据、一帧样本视觉图像及一组语义标签；

基于所述样本序列，迭代执行对第一神经网络和第二神经网络的更新操作，直至满足停止条件，分别将迭代更新后的第一神经网络和第二神经网络作为所述第一目标神经网络和所述第二目标神经网络；所述更新操作包括：

将从所述样本序列中随机选取的任一采集时刻所对应的样本激光点云数据输入至当前的第一神经网络，得到样本点云图像特征及第一语义；所述样本点云图像特征及第一语义分别由当前的第一神经网络的反卷积层及输出层输出；

将所述样本序列中该采集时刻所对应的样本视觉图像输入至当前的第二神经网络，得到样本视觉图像特征及第二语义；所述样本视觉图像特征及第二语义分别由当前的第二神经网络的反卷积层及输出层输出；

确定所述样本序列中该采集时刻所对应的语义标签，作为当前语义标签；

根据所述样本点云图像特征、所述第一语义、所述样本视觉图像特征、所述第二语义以及所述当前语义标签，更新当前的第一神经网络和当前的第二神经网络；

其中，所述停止条件包括：所述第一语义和所述当前语义标签之间的差异函数收敛、所述第二语义和所述当前语义标签之间的差异函数收敛以及所述样本点云图像特征和所述样本视觉图像特征之间的差异函数收敛。

4.根据权利要求1-3中任一所述的方法，其特征在于，在所述针对当前的目标视觉图像，提取视觉图像特征之前，还包括：

获取当前采集的视觉图像；

将所述当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像。

5.根据权利要求4所述的方法，其特征在于，所述预设拍摄条件包括预设光照和/或预设拍摄角度。

6.根据权利要求4所述的方法，其特征在于，所述将所述当前采集的视觉图像转换为满足预设拍摄条件的目标视觉图像，包括：

将所述当前采集的视觉图像输入至预先训练的生成器，得到满足预设拍摄条件的目标视觉图像；其中，所述生成器通过生成式对抗网络训练得到。

7.一种定位装置，其特征在于，所述装置包括：

提取模块，用于针对当前的目标视觉图像，提取视觉图像特征，所述视觉图像特征利用预先训练的第二目标神经网络提取得到；

查找模块，用于从预先构建的特征库中查找与所述视觉图像特征匹配的目标点云图像特征；其中，所述特征库包括针对多帧激光点云数据提取的点云图像特征，所述特征库中，每帧激光点云数据对应的点云图像特征与该帧激光点云数据对应的定位数据进行关联地存储，所述点云图像特征利用预先训练的第一目标神经网络提取得到，所述第一目标神经网络和所述第二目标神经网络满足以下条件：对于任意一个定位点，利用所述第一目标神经网络，针对该定位点对应的激光点云数据提取的点云图像特征，和利用所述第二目标神经网络，针对该定位点对应的视觉图像提取的视觉图像特征，之间的差异在预设误差范围内，所述第二目标神经网络是具有处理二维图像功能的深度卷积神经网络；

确定模块，用于确定所述目标点云图像特征关联的目标定位数据；

定位模块，用于基于所述目标定位数据确定当前的定位信息。

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-6中任一项所述的方法。

9.一种无人驾驶设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-6中任一项所述的方法。

Images