CN112991440B - 车辆的定位方法和装置、存储介质和电子装置 - Google Patents
车辆的定位方法和装置、存储介质和电子装置 Download PDFInfo
- Publication number
- CN112991440B CN112991440B CN201911275755.1A CN201911275755A CN112991440B CN 112991440 B CN112991440 B CN 112991440B CN 201911275755 A CN201911275755 A CN 201911275755A CN 112991440 B CN112991440 B CN 112991440B
- Authority
- CN
- China
- Prior art keywords
- target
- dimensional
- image
- information
- unmanned vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000000007 visual effect Effects 0.000 claims abstract description 99
- 230000033001 locomotion Effects 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Navigation (AREA)
Abstract
本发明提供了一种车辆的定位方法和装置、存储介质和电子装置，其中，该方法包括：通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；通过无人驾驶车辆上的第一相机获取目标视觉图像，目标视觉图像中包含第一对象；确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；根据第一对象在目标视觉图像中的位置信息以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种车辆的定位方法和装置、存储介质和电子装置。
背景技术
目前，用于室外无人驾驶车辆的定位方法一般依赖于多线束激光雷达和RTK(Real-Time Kinematic，实时动态载波相位差分定位)。上述定位方法如下：首先，根据RTK得到的经纬度信息，按照坐标换算关系，得到车辆在事先建立好的激光高精地图坐标系下的位置；然后，根据这一位置作为初始值，在该初始值附近一定范围内，用当前激光雷达返回的点云信息进行进一步匹配，得当前车辆高精度的位姿信息。通过上述方式，可以实时得到无人驾驶车辆在高精地图坐标系下的位置。
然而，上述方法需要车辆配备多线束激光雷达和RTK，在大规模部署阶段会造成较高的成本。并且，该方法需要高精地图中存在足够的环境信息，在过于空旷的场景下(如开阔的草坪、开阔的广场中)，缺乏足够的环境信息供激光雷达完成定位。
因此，相关技术中的车辆的定位方法，在空旷场景下存在无法准确定位车辆的问题。
发明内容
本申请实施例提供了一种车辆的定位方法和装置、存储介质和电子装置，以至少解决相关技术中的车辆的定位方法，在空旷场景下存在无法准确定位车辆的问题。
本申请实施例的一个方面，提供了一种车辆的定位方法，包括：通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
本申请实施例的另一个方面，提供了一种车辆的定位装置，包括：第一获取单元，用于通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；第一确定单元，用于根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；第二获取单元，用于通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；第二确定单元，用于确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；第三确定单元，用于根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
可选地，第一获取单元包括：获取模块，用于通过无人驾驶车辆上设置的全球定位***GPS和/或第一激光雷达，获取无人驾驶车辆的初始定位信息，其中，定位装置包括GPS和/或第一激光雷达。
可选地，第一确定单元包括：第一确定模块，用于根据初始定位信息，从多个候选图像中确定出获取位置位于目标范围内的目标候选图像，其中，候选图像的位置信息用于表示候选图像的获取位置，获取位置为获取候选图像的第二相机在获取候选图像时所在的位置，目标范围以无人驾驶车辆为圆心，以预定长度为半径的圆形范围。
可选地，第二确定单元包括：匹配模块，用于对目标视觉图像和目标候选图像进行二维特征匹配，得到二维特征匹配对，其中，二维特征匹配对包括用于表示第一对象在目标视觉图像中的位置信息的第一二维特征和用于表示第二对象在目标候选图像中的位置信息的第二二维特征；第二确定模块，用于根据目标候选图像上的二维特征与三维地图上的三维特征点之间的对应关系，确定三维地图上与第二二维特征对应的目标三维特征点的目标三维坐标信息。
可选地，匹配模块包括：匹配子模块，用于在目标候选图像有多个的情况下，对目标视觉图像和每个目标候选图像分别进行二维特征匹配，得到多个二维特征匹配对，其中，每个二维特征匹配对包括用于表示第一对象在目标视觉图像中的位置信息的第一二维特征和用于表示第二对象在一个目标候选图像中的位置信息的第二二维特征。
可选地，第三确定单元包括：输入模块，用于将二维特征匹配对和目标三维特征点输入到多点透视成像PnP算法中，确定第一相机在三维地图中的目标位姿信息，其中，目标位姿信息用于表示目标定位信息。
可选地，上述装置还包括：采集单元，用于在通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息之前，在使用目标车辆进行激光地图构建的过程中，通过设置在目标车辆上的第二激光雷达和第二相机在多个采集点分别进行采集，得到时间轴对齐的三维点云和视觉图像；第三获取单元，用于在使用三维点云按照第二激光雷达的第一运动轨迹构建激光地图完成之后，获取第二激光雷达在各个采集点上的第一位姿信息；第四确定单元，用于根据第一位姿信息，以及第二激光雷达与第二相机之间的空间变换关系，确定出第二相机在各个采集点上的第二位姿信息；第一构建单元，用于根据第二相机的第二运动轨迹、视觉图像的二维特征、以及第二位姿信息，构建三维地图。
可选地，上述装置还包括：第四获取单元，用于在获取第二激光雷达在各个采集点上的第一位姿信息之前，在目标车辆的运行过程中，获取第二激光雷达的第三运动轨迹，以及设置在目标车辆上的实时动态载波相位差分定位RTK的第四运动轨迹，其中，第三运动轨迹表示为一段具有六自由度的位姿信息，第四运动轨迹表示为一段经纬度信息；调整单元，用于在将第三运动轨迹和第四运动轨迹进行轨迹对齐之后，使用第四运动轨迹上的经纬度信息对第三运动轨迹上的位姿信息进行调整，得到第一运动轨迹；第二构建单元，用于根据第一运动轨迹与三维点云之间的对应关系，构建出激光地图。
根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述车辆的定位方法。
根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的车辆的定位方法。
通过本发明，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息，由于通过定位装置进行初始定位，再结合视觉定位方式(通过相机进行视觉定位)得到精度较高的定位结果，可以结合相机的摄像头可探测范围大的特点，在空旷场景下依然能捕捉到远处的环境信息(第一对象)，提高了车辆的定位精度，进而解决了相关技术中的车辆的定位方法，在空旷场景下存在无法准确定位车辆的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本申请实施例的一种可选的无人驾驶车辆的硬件结构框图；
图2是根据本申请实施例的一种可选的车辆的定位方法的流程示意图；
图3是根据本发明实施例的一种可选的车辆的定位装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中涉及到的技术术语包括：
(1)光学雷达(Light Detection and Ranging，LiDAR)，是一种光学遥感技术，它通过向目标照射一束光，通常是一束脉冲激光来测量目标的距离等参数。激光雷达在测绘学、考古学、地理学、地貌、地震、林业、遥感以及大气物理等领域都有应用。近年来，该技术作为重要的传感器单元被大量应用于无人驾驶汽车。
(2)运动恢复结构(Structure from Motion，简称为SfM)是一种从二维图像序列中估计三维结构的图像技术。该技术属于计算机视觉和视觉感知领域。在生物视觉中，SfM通常指人类或其他生物能够从环境投影出的二维运动场中恢复出三维结构的现象。
(3)Perspective-n-Point(PnP)，定义了一类如下一类问题：给定n对世界坐标系下的三维点以及其相机中二维对应点，如何求相机在世界坐标系下的位姿，其中，相机的位姿有六个自由度，包含三个平移的自由度(x，y，z)和三个旋转自由度。这类问题在计算机视觉，物体三维位姿估计，机器人以及增强现实中较为常见。
根据本申请实施例的一个方面，提供了一种车辆的定位方法。可选地，本申请实施例中所提供的方法实施例可以在无人驾驶车辆、无人驾驶车辆的后台服务器或者无人驾驶车辆上的控制设备中执行。以运行在无人驾驶车辆上为例，图1是根据本申请实施例的一种可选的无人驾驶车辆的硬件结构框图。如图1所示，除了保证车辆运行所需的硬件部件以外(例如，车辆的车身、车轮、车架、动力***等)，无人驾驶车辆10还可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述无人驾驶车辆还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述无人驾驶车辆的结构造成限定。例如，无人驾驶车辆10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的车辆的定位方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括无人驾驶车辆10的通信供应商(无人驾驶车辆与后台服务器之间通信的通信供应商)提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network InterfaceController，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为RF(Radio Frequency，射频)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于无人驾驶车辆、无人驾驶车辆的后台服务器或者无人驾驶车辆上的控制设备上的车辆的定位方法，图2是根据本申请实施例的一种可选的车辆的定位方法的流程示意图，如图2所示，该流程包括如下步骤：
步骤S202，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；
步骤S204，根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；
步骤S206，通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；
步骤S208，确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；
步骤S210，根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
可选地，上述步骤的执行主体可以为无人驾驶车辆、无人驾驶车辆的后台服务器或者无人驾驶车辆上的控制设备等，但不限于此。
通过本实施例，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息，解决了相关技术中的车辆的定位方法，在空旷场景下存在无法准确定位车辆的问题，提高了车辆的定位精度。
下面结合图2对本示例中的车辆的定位方法进行解释说明。
在步骤S202中，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息。
无人驾驶车辆可以是根据配送任务进行任务物品配送的无人驾驶车辆，也可以是按照预约行程进行人员接送的无人驾驶车辆。无人驾驶车辆或者无人驾驶车辆的后台服务器可以根据配送任务或者预约行程生成预定运动轨迹，并控制无人驾驶车辆在室内或者室外的场景下按照预定运动轨迹进行移动。
无人驾驶车辆在室外移动的过程中，可以进行无人驾驶车辆定位，以保证无人驾驶车辆的运行安全。上述定位过程至少可以依据预先构建的激光地图，还可以依据预先构建的三维地图。
在获取所述第二激光雷达在各个所述采集点上的所述第一位姿信息之前，可以使用目标车辆进行激光地图构建。该目标车辆上可以设置有第二激光雷达(例如，多线束激光雷达和RTK)，还可设置有第二相机(视觉图像获取装置)。
作为一种可选的实施方案，在目标车辆的运行过程中，获取第二激光雷达的第三运动轨迹，以及设置在目标车辆上的实时动态载波相位差分定位RTK的第四运动轨迹，其中，第三运动轨迹表示为一段具有六自由度的位姿信息，第四运动轨迹表示为一段经纬度信息；在将第三运动轨迹和第四运动轨迹进行轨迹对齐之后，使用第四运动轨迹上的经纬度信息对第三运动轨迹上的位姿信息进行调整，得到第一运动轨迹；根据第一运动轨迹与三维点云之间的对应关系，构建出激光地图。
可以结合激光雷达里程计、基于ICP(Iterative Closest Point，迭代最近点)的闭环纠正、RTK实现大范围的激光雷达建图。在目标车辆的运行过程中，激光雷达里程计实时估计相对于启动位置的空间变换，得到一段激光雷达的运动轨迹(第三运动轨迹)，即一段具有六自由度的位姿。
为了提高激光地图构建的准确性，可以将目标车辆上的RTK的轨迹(第四运动轨迹，可以是一段经纬度坐标)和该轨迹在二维平面上通过ICP方法计算相对转换，将RTK轨迹和激光雷达对齐。在轨迹对齐之后，可以将每个RTK点加入到激光雷达位姿所构成的位姿图中进行优化，以减少激光雷达里程计的误差。
可选地，当车辆再次行驶到曾经行驶到的位置时，可将当前的激光点云和已经构造的点云地图进行匹配，优化累计误差，如此，得到用于构建激光地图的激光雷达位姿。
在构建激光地图的过程中，可以通过第二激光雷达实时采集的激光雷达图像，得到三维点云。根据第二激光雷达的运动轨迹(第二运动轨迹)以及在第二运动轨迹上的采集点以及采集到的三维点云，构建出激光地图。
通过本实施例，使用RTK点对激光雷达位姿所构成的位姿图进行轨迹优化，可以减少激光雷达的运动轨迹的计算误差，提高激光地图构建的准确性。
除了激光地图以外，还可以构建三维地图(三维特征地图)，以便对无人驾驶车辆进行定位。
作为一种可选的实施方案，在使用目标车辆进行激光地图构建的过程中，通过设置在目标车辆上的第二激光雷达和第二相机在多个采集点分别进行采集，得到时间轴对齐的三维点云和视觉图像；在使用三维点云按照第二激光雷达的第一运动轨迹构建激光地图完成之后，获取第二激光雷达在各个采集点上的第一位姿信息；根据第一位姿信息，以及第二激光雷达与第二相机之间的空间变换关系，确定出第二相机在各个采集点上的第二位姿信息；根据第二相机的第二运动轨迹、视觉图像的二维特征、以及第二位姿信息，构建三维地图。
激光雷达和视觉特征点可以同时建图：在构建激光地图的同时，构建三维地图(用于视觉定位的三维特征地图)。
在建图(激光地图和三维地图)的过程中，可以实时采集激光雷达(第二激光雷达)和图像(第二相机)，得到时间戳对齐的图像(视觉)和三维点云(第二激光雷达和第二相机同时采集)。
在激光雷达的地图构造完成之后，可获取激光雷达在建图的过程中每一时刻(可以对应于一个采集点)对应的六自由度位姿(第一位姿信息)，再根据激光雷达传感器和相机之间的空间变换关系，可以得到相机在采集过程中任一时刻的六自由度位姿(第二位姿信息)。
根据第二相机的第二运动轨迹、视觉图像的二维特征、以及第二位姿信息，可以进行多个视觉图像的二维特征点提取、基于第二运动路径进行图像间的特征匹配，结合第二位姿信息进行三维点的三角化，还可以进行捆绑调整等流程，得到三维地图。
例如，可以将相机的六自由度位姿作为SfM算法的初始值，再通过二维图像的特征点提取、图像间的特征匹配、三维点的三角化、捆绑调整等流程，得到环境的三维特征点地图。
通过本实施例，通过同时进行激光地图和三维地图的构建，节省了地图构建的时间，避免了环境信息在激光地图和三维地图中的偏移，提高了定位的精度。
在激光地图和三维地图构建完成之后，无人驾驶车辆可以使用构建的地图进行定位。
在环境信息密集的场景中，可以采用依赖于多线束激光雷达和RTK的车辆定位方式，具体定位方式可以参考相关技术，在此不做赘述。
在检测到环境信息量(二维特征)小于预定信息量阈值，或者，在自动驾驶车辆的整个运行过程中，可以基于三维特征点进行无人驾驶车辆的视觉定位。无人驾驶车辆可以通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息。
作为一种可选的实施方案，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息包括：通过无人驾驶车辆上设置的全球定位***(Global Position System，简称为GPS)和/或第一激光雷达(多线束激光雷达)，获取无人驾驶车辆的初始定位信息，其中，定位装置包括GPS和/或第一激光雷达。
无人驾驶车辆上可以设置有GPS或者多线束激光雷达。在无人驾驶车辆的运行过程中，可以通过GPS或激光雷达进行精度较低的初始定位。
通过本实施例，通过使用GPS或激光雷达进行精度较低的初始定位，可以为基于三维特征点的视觉定位提供参考，提高视觉定位的效率以及定位准确度。
在步骤S204中，根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息。
在得到初始定位信息之后，可以使用初始定位信息从目标图像库中获取目标候选图像。目标图像库可以保存有在地图构建的阶段获取的全部或者部分视觉图像(多个候选图像)。由于激光地图和三维地图同时构建，因此，目标图像库中的视觉图像可以对应于激光雷达获取的位置信息，该位置信息可以作为视觉图像的位置信息。根据多个候选图像的每个候选图像的位置信息，可以从多个候选图像中确定出与初始定位信息对应的目标候选图像。
作为一种可选的实施方案，根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像包括：根据初始定位信息，从多个候选图像中确定出获取位置位于目标范围内的目标候选图像，其中，候选图像的位置信息用于表示候选图像的获取位置，获取位置为获取候选图像的第二相机在获取候选图像时所在的位置，目标范围以无人驾驶车辆为圆心，以预定长度为半径的圆形范围。
候选图像的位置信息可以用于表示候选图像的获取位置，而获取的初始位置信息用于表示无人驾驶车辆的当前位置。
在得到初始定位信息之后，根据目标图像库中每个候选图像的获取位置，可以确定获取位置距离无人驾驶车辆最近的N个候选图像作为目标候选图像，N个候选图像均位于以无人驾驶车辆为圆心，以预定长度为半径的圆形范围内，其中，预定长度大于或者等于距离无人驾驶车辆最近的第N个候选图像与无人驾驶车辆之间的距离，且小于距离无人驾驶车辆最近的第N+1个候选图像与无人驾驶车辆之间的距离。
在得到初始定位信息之后，根据目标图像库中每个候选图像的获取位置，还可以确定获取位置与无人驾驶车辆之间的距离小于或者等于预定距离阈值的候选图像作为目标候选图像，N为大于或者等于1的正整数。目标候选图像均位于以无人驾驶车辆为圆心，以预定距离阈值为半径的圆形范围内。
上述圆形范围即为目标范围。目标范围可以根据需要进行设定，本实施例中对此不作具体限定。
例如，在得到初始定位之后，可以从检索图片库(目标图像库)中通过快速检索得到当前相机对应的前N张候选图片。
通过本实施例，通过候选图像的获取位置与初始定位之间的距离确定目标候选图像，可以提高目标候选图像获取的效率，提高车辆定位的速度。
在步骤S206中，通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象。
在得到初始定位信息之后，可以通过无人驾驶车辆上设置的视觉图像获取装置(例如，第一相机)进行视觉图像获取，得到目标视觉图像。目标视觉图像中至少包含有第一对象(例如，电线杆，建筑物，路灯等)，以便进行车辆定位。
在步骤S208中，确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息。
在得到目标候选图像和视觉图像之后，可以进行对象的图像特征匹配，得到目标候选图像与视觉图像匹配的对象(第一对象和第二对象)。
作为一种可选的实施方案，确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息包括：对目标视觉图像和目标候选图像进行二维特征匹配，得到二维特征匹配对，二维特征匹配对包括用于表示第一对象在目标视觉图像中的位置信息的第一二维特征和用于表示第二对象在目标候选图像中的位置信息的第二二维特征；根据目标候选图像上的二维特征与三维地图上的三维特征点之间的对应关系，确定三维地图上与第二二维特征对应的目标三维特征点的目标三维坐标信息。
通过目标候选图像与目标视觉图像进行二维特征匹配，可得到二维特征匹配对和对应的三维特征点。
在进行二维特征匹配时，可以首先提取出目标视觉图像和目标候选图像中包含的二维特征。目标视觉图像包含的二维特征(第一二维特征)可以用于表示第一对象以及第一对象在目标视觉图像中的位置信息，目标候选图像包含的二维特征(第二二维特征)可以用于表示第二对象以及第二对象在目标候选图像中的位置信息，由于第一对象和第二对象匹配，用于表示相同的环境信息(例如，电线杆)，因此，第一二维特征和第二二维特征为匹配出的二维特征匹配对。
通过本实施例，通过对视觉图像和候选图像先进行二维特征匹配，再进行三维特征点对应的方式进行车辆定位，可以提高定位效率。
与初始定位信息对应的目标候选图像可以有一个或多个。在目标候选图像有多个的情况下，作为一种可选的实施方案，对目标视觉图像和每个目标候选图像分别进行二维特征匹配，得到多个二维特征匹配对，其中，每个二维特征匹配对包括用于表示第一对象在目标视觉图像中的位置信息的第一二维特征和用于表示第二对象在一个目标候选图像中的位置信息的第二二维特征。
对于每一个目标候选图像，可以分别与目标视觉图像进行二维特征匹配，得到对应的一个或多个二维特征匹配对(一个目标候选图像对应于一个或多个二维特征匹配对)。
对于每个二维特征匹配对，其中的一个二维特征对应于目标视觉图像，一个二维特征对应于多个目标候选图像中的一个。因此，可以根据预先确定的每个目标候选图像中的二维特征与三维地图中的三维特征点之间的对应关系，确定与每个二维特征匹配对对应的三维特征点。根据一个或多个二维特征匹配对(可以属于相同的目标候选图像，也可以属于不同的目标候选图像)以及其对应的三维特征点，可以确定出第二相机的位姿信息(目标位姿信息)，可以将第二相机的位姿作为无人驾驶车辆的位姿。
通过本实施例，将多个目标候选图像与目标视觉图像分别进行二维特征匹配，可以结合不同目标候选图像包含的二维特征进行车辆定位，提高定位的准确性。
在步骤S210中，根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
第一对象在目标视觉图像中的位置信息可以通过目标特征的二维特征来表示。
作为一种可选的方案，根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息包括：将二维特征匹配对和目标三维特征点输入到多点透视成像PnP算法中，确定第一相机在三维地图中的目标位姿信息，其中，目标位姿信息用于表示目标定位信息。
在得到一个或多个二维特征匹配和对应的三维特征点之后，可以将目标三维特征点输入到PnP算法中，可以得到第二相机在三维地图中的位姿信息。
例如，基于三维模型的视觉定位方法可以首先从检索图片库中得到N张检索图片，对于这N张候选图片，通过和当前图片的二维特征匹配，可得到特征匹配对和对应的三维特征点，最后，将二维特征匹配对和三维特征点输入PnP算法中，可得到相机在世界坐标系中的位姿。
通过本实施例，根据PnP算法计算相机在世界坐标系中的位姿，可以兼容已有的位姿确定方式，提高车辆定位的兼容性。
下面结合可选示例对上述车辆的定位方法进行解释说明。
摄像头具有成本低廉，可探测范围大的优点，高分辨率图像可观察到较远范围的物体，在空旷场景下，相机依然能捕捉到远处的环境信息，例如电线杆、建筑物、路灯等等。
在本示例中，对激光雷达和视觉特征点同时建图，在空旷场景下，依赖雷达定位算法得到初始定位值，再通过视觉定位算法得到精度较高的定位结果，提高定位算法整体定位精度。
本示例中的车辆的定位方法首先从二维图像中提取出环境的特征信息，并恢复到三维空间下；在定位过程中，将二维图像的特征和三维特征点进行匹配，可得到当前车辆的在空间坐标中的位姿信息。
与基于激光雷达的定位方法相比，本示例中的车辆的定位方法在空旷场景也可达到较高的精度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本申请实施例的另一个方面，还提供了一种车辆的定位装置。该装置可以用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种可选的车辆的定位装置的结构框图，如图3所示，该装置包括：
(1)第一获取单元302，用于通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；
(2)第一确定单元304，与第一获取单元302相连，用于根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；
(3)第二获取单元306，与第一确定单元304相连，用于通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；
(4)第二确定单元308，与第二获取单元306相连，用于确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；
(5)第三确定单元310，与第二确定单元308相连，用于根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
可选地，本申请实施例中的第一获取单元302可以用于执行本申请实施例中的步骤S202，本申请实施例中的第一确定单元304可以用于执行本申请实施例中的步骤S204，本申请实施例中的第二获取单元306可以用于执行本申请实施例中的步骤S206，本申请实施例中的第二确定单元308可以用于执行本申请实施例中的步骤S208，本申请实施例中的第三确定单元310可以用于执行本申请实施例中的步骤S210。
通过本实施例，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息，解决了相关技术中的车辆的定位方法，在空旷场景下存在无法准确定位车辆的问题，提高了车辆的定位精度。
作为一种可选的实施方案，第一获取单元302包括：
(1)获取模块，用于通过无人驾驶车辆上设置的全球定位***GPS和/或第一激光雷达，获取无人驾驶车辆的初始定位信息，其中，定位装置包括GPS和/或第一激光雷达。
作为一种可选的实施方案，第一确定单元304包括：
(1)第一确定模块，用于根据初始定位信息，从多个候选图像中确定出获取位置位于目标范围内的目标候选图像，其中，候选图像的位置信息用于表示候选图像的获取位置，获取位置为获取候选图像的第二相机在获取候选图像时所在的位置，目标范围以无人驾驶车辆为圆心，以预定长度为半径的圆形范围。
作为一种可选的实施方案，第二确定单元308包括：
(1)匹配模块，用于对目标视觉图像和目标候选图像进行二维特征匹配，得到二维特征匹配对，其中，二维特征匹配对包括用于表示第一对象在目标视觉图像中的位置信息的第一二维特征和用于表示第二对象在目标候选图像中的位置信息的第二二维特征；
(1)第二确定模块，与匹配模块相连，用于根据目标候选图像上的二维特征与三维地图上的三维特征点之间的对应关系，确定三维地图上与第二二维特征对应的目标三维特征点的目标三维坐标信息。
作为一种可选的实施方案，匹配模块包括：
(1)匹配子模块，用于在目标候选图像有多个的情况下，对目标视觉图像和每个目标候选图像分别进行二维特征匹配，得到多个二维特征匹配对，其中，每个二维特征匹配对包括用于表示第一对象在目标视觉图像中的位置信息的第一二维特征和用于表示第二对象在一个目标候选图像中的位置信息的第二二维特征。
作为一种可选的实施方案，第三确定单元310包括：
(1)输入模块，用于将二维特征匹配对和目标三维特征点输入到多点透视成像PnP算法中，确定第一相机在三维地图中的目标位姿信息，其中，目标位姿信息用于表示目标定位信息。
作为一种可选的实施方案，上述装置还包括：
(1)采集单元，用于在通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息之前，在使用目标车辆进行激光地图构建的过程中，通过设置在目标车辆上的第二激光雷达和第二相机在多个采集点分别进行采集，得到时间轴对齐的三维点云和视觉图像；
(2)第三获取单元，与采集单元相连，用于在使用三维点云按照第二激光雷达的第一运动轨迹构建激光地图完成之后，获取第二激光雷达在各个采集点上的第一位姿信息；
(3)第四确定单元，与第三获取单元相连，用于根据第一位姿信息，以及第二激光雷达与第二相机之间的空间变换关系，确定出第二相机在各个采集点上的第二位姿信息；
(4)第一构建单元，与第四确定单元相连，用于根据第二相机的第二运动轨迹、视觉图像的二维特征、以及第二位姿信息，构建三维地图。
作为一种可选的实施方案，上述装置还包括：
(1)第四获取单元，用于在获取第二激光雷达在各个采集点上的第一位姿信息之前，在目标车辆的运行过程中，获取第二激光雷达的第三运动轨迹，以及设置在目标车辆上的实时动态载波相位差分定位RTK的第四运动轨迹，其中，第三运动轨迹表示为一段具有六自由度的位姿信息，第四运动轨迹表示为一段经纬度信息；
(2)调整单元，与第四获取单元相连，用于在将第三运动轨迹和第四运动轨迹进行轨迹对齐之后，使用第四运动轨迹上的经纬度信息对第三运动轨迹上的位姿信息进行调整，得到第一运动轨迹；
(3)第二构建单元，与调整单元相连，用于根据第一运动轨迹与三维点云之间的对应关系，构建出激光地图。
需要说明的是，本实施例中的上述装置可以是：无人驾驶车辆、无人驾驶车辆的后台服务器、或者其组合，。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本申请实施例的又一个方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；
S2，根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；
S3，通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；
S4，确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；
S5，根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
根据本申请实施例的又一个方面，还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，通过无人驾驶车辆上的定位装置获取无人驾驶车辆的初始定位信息；
S2，根据多个候选图像中的每个候选图像的位置信息，确定多个候选图像中与初始定位信息对应的目标候选图像，其中，多个候选图像预先保存在目标图像库中，目标图像库中还保存有每个候选图像中包含的对象在三维地图中的三维坐标信息；
S3，通过无人驾驶车辆上的第一相机获取目标视觉图像，其中，目标视觉图像中包含第一对象；
S4，确定目标候选图像中与第一对象图像特征匹配的第二对象在三维地图中的目标三维坐标信息；
S5，根据第一对象在目标视觉图像中的位置信息，以及目标三维坐标信息，确定无人驾驶车辆在三维地图中的目标定位信息。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种车辆的定位方法，其特征在于，包括：
通过无人驾驶车辆上的定位装置获取所述无人驾驶车辆的初始定位信息；
根据多个候选图像中的每个候选图像的位置信息，确定多个所述候选图像中与所述初始定位信息对应的目标候选图像，其中，多个所述候选图像预先保存在目标图像库中，所述目标图像库中还保存有每个所述候选图像中包含的对象在三维地图中的三维坐标信息；
通过所述无人驾驶车辆上的第一相机获取目标视觉图像，其中，所述目标视觉图像中包含第一对象；
确定所述目标候选图像中与所述第一对象的图像特征匹配的第二对象在所述三维地图中的目标三维坐标信息；
根据所述第一对象在所述目标视觉图像中的位置信息，以及所述目标三维坐标信息，确定所述无人驾驶车辆在所述三维地图中的目标定位信息；
其中，确定所述目标候选图像中与所述第一对象图像特征匹配的所述第二对象在所述三维地图中的所述目标三维坐标信息包括：对所述目标视觉图像和所述目标候选图像进行二维特征匹配，得到二维特征匹配对，其中，所述二维特征匹配对包括用于表示所述第一对象在所述目标视觉图像中的位置信息的第一二维特征和用于表示所述第二对象在所述目标候选图像中的位置信息的第二二维特征；根据所述目标候选图像上的二维特征与所述三维地图上的三维特征点之间的对应关系，确定所述三维地图上与所述第二二维特征对应的目标三维特征点的所述目标三维坐标信息。
2.根据权利要求1所述的方法，其特征在于，通过所述无人驾驶车辆上的所述定位装置获取所述无人驾驶车辆的所述初始定位信息包括：
通过所述无人驾驶车辆上设置的全球定位***GPS和/或第一激光雷达，获取所述无人驾驶车辆的所述初始定位信息，其中，所述定位装置包括所述GPS和/或所述第一激光雷达。
3.根据权利要求1所述的方法，其特征在于，根据多个所述候选图像中的每个所述候选图像的位置信息，确定多个所述候选图像中与所述初始定位信息对应的所述目标候选图像包括：
根据所述初始定位信息，从多个所述候选图像中确定出获取位置位于目标范围内的所述目标候选图像，其中，所述候选图像的位置信息用于表示所述候选图像的所述获取位置，所述获取位置为获取所述候选图像的第二相机在获取所述候选图像时所在的位置，所述目标范围以所述无人驾驶车辆为圆心，以预定长度为半径的圆形范围。
4.根据权利要求1所述的方法，其特征在于，在所述目标候选图像有多个的情况下，对所述目标视觉图像和所述目标候选图像进行二维特征匹配，得到所述特征匹配对包括：
对所述目标视觉图像和每个所述目标候选图像分别进行二维特征匹配，得到多个二维特征匹配对，其中，每个所述二维特征匹配对包括用于表示所述第一对象在所述目标视觉图像中的位置信息的所述第一二维特征和用于表示所述第二对象在一个所述目标候选图像中的位置信息的所述第二二维特征。
5.根据权利要求1所述的方法，其特征在于，根据所述第一对象在所述目标视觉图像中的位置信息，以及所述目标三维坐标信息，确定所述无人驾驶车辆在所述三维地图中的目标定位信息包括：
将所述二维特征匹配对和所述目标三维特征点输入到多点透视成像PnP算法中，确定所述第一相机在所述三维地图中的目标位姿信息，其中，所述目标位姿信息用于表示所述目标定位信息。
6.根据权利要求1至5中任一项所述的方法，其特征在于，在通过所述无人驾驶车辆上的所述定位装置获取所述无人驾驶车辆的所述初始定位信息之前，所述方法还包括：
在使用目标车辆进行激光地图构建的过程中，通过设置在所述目标车辆上的第二激光雷达和第二相机在多个采集点分别进行采集，得到时间轴对齐的三维点云和视觉图像；
在使用所述三维点云按照所述第二激光雷达的第一运动轨迹构建所述激光地图完成之后，获取所述第二激光雷达在各个所述采集点上的第一位姿信息；
根据所述第一位姿信息，以及所述第二激光雷达与所述第二相机之间的空间变换关系，确定出所述第二相机在各个所述采集点上的第二位姿信息；
根据所述第二相机的第二运动轨迹、所述视觉图像的二维特征、以及所述第二位姿信息，构建所述三维地图。
7.根据权利要求6所述的方法，其特征在于，在获取所述第二激光雷达在各个所述采集点上的所述第一位姿信息之前，所述方法还包括：
在目标车辆的运行过程中，获取所述第二激光雷达的第三运动轨迹，以及设置在所述目标车辆上的实时动态载波相位差分定位RTK的第四运动轨迹，其中，所述第三运动轨迹表示为一段具有六自由度的位姿信息，所述第四运动轨迹表示为一段经纬度信息；
在将所述第三运动轨迹和所述第四运动轨迹进行轨迹对齐之后，使用所述第四运动轨迹上的经纬度信息对所述第三运动轨迹上的位姿信息进行调整，得到所述第一运动轨迹；
根据所述第一运动轨迹与所述三维点云之间的对应关系，构建出所述激光地图。
8.一种车辆的定位装置，其特征在于，包括：
第一获取单元，用于通过无人驾驶车辆上的定位装置获取所述无人驾驶车辆的初始定位信息；
第一确定单元，用于根据多个候选图像中的每个候选图像的位置信息，确定多个所述候选图像中与所述初始定位信息对应的目标候选图像，其中，多个所述候选图像预先保存在目标图像库中，所述目标图像库中还保存有每个所述候选图像中包含的对象在三维地图中的三维坐标信息；
第二获取单元，用于通过所述无人驾驶车辆上的第一相机获取目标视觉图像，其中，所述目标视觉图像中包含第一对象；
第二确定单元，用于确定所述目标候选图像中与所述第一对象图像特征匹配的第二对象在所述三维地图中的目标三维坐标信息；
第三确定单元，用于根据所述第一对象在所述目标视觉图像中的位置信息，以及所述目标三维坐标信息，确定所述无人驾驶车辆在所述三维地图中的目标定位信息；
其中，所述第二确定单元包括：匹配模块，用于对所述目标视觉图像和所述目标候选图像进行二维特征匹配，得到二维特征匹配对，其中，所述二维特征匹配对包括用于表示所述第一对象在所述目标视觉图像中的位置信息的第一二维特征和用于表示所述第二对象在所述目标候选图像中的位置信息的第二二维特征；第二确定模块，用于根据所述目标候选图像上的二维特征与所述三维地图上的三维特征点之间的对应关系，确定所述三维地图上与所述第二二维特征对应的目标三维特征点的所述目标三维坐标信息。
9.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至7中任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911275755.1A CN112991440B (zh) | 2019-12-12 | 2019-12-12 | 车辆的定位方法和装置、存储介质和电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911275755.1A CN112991440B (zh) | 2019-12-12 | 2019-12-12 | 车辆的定位方法和装置、存储介质和电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991440A CN112991440A (zh) | 2021-06-18 |
| CN112991440B true CN112991440B (zh) | 2024-04-12 |
Family
ID=76331639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911275755.1A Active CN112991440B (zh) | 2019-12-12 | 2019-12-12 | 车辆的定位方法和装置、存储介质和电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991440B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610967B (zh) * | 2021-08-13 | 2024-03-26 | 北京市商汤科技开发有限公司 | 三维点检测的方法、装置、电子设备及存储介质 |
| CN113932793B (zh) * | 2021-09-24 | 2024-03-22 | 江门职业技术学院 | 三维坐标定位方法、装置、电子设备和存储介质 |
| CN114119759B (zh) * | 2022-01-28 | 2022-06-14 | 杭州宏景智驾科技有限公司 | 多位置机动车定位方法和装置、电子设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及*** |
| CN108917761A (zh) * | 2018-05-07 | 2018-11-30 | 西安交通大学 | 一种无人车在地下车库中的精确定位方法 |
| CN109341706A (zh) * | 2018-10-17 | 2019-02-15 | 张亮 | 一种面向无人驾驶汽车的多特征融合地图的制作方法 |
| CN109443369A (zh) * | 2018-08-20 | 2019-03-08 | 北京主线科技有限公司 | 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法 |
| CN109540148A (zh) * | 2018-12-04 | 2019-03-29 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及*** |
| CN109887033A (zh) * | 2019-03-01 | 2019-06-14 | 北京智行者科技有限公司 | 定位方法及装置 |
| CN110221623A (zh) * | 2019-06-17 | 2019-09-10 | 酷黑科技（北京）有限公司 | 一种空地协同作业***及其定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064506B (zh) * | 2018-07-04 | 2020-03-13 | 百度在线网络技术（北京）有限公司 | 高精度地图生成方法、装置及存储介质 |
-
2019
- 2019-12-12 CN CN201911275755.1A patent/CN112991440B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及*** |
| CN108917761A (zh) * | 2018-05-07 | 2018-11-30 | 西安交通大学 | 一种无人车在地下车库中的精确定位方法 |
| CN109443369A (zh) * | 2018-08-20 | 2019-03-08 | 北京主线科技有限公司 | 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法 |
| CN109341706A (zh) * | 2018-10-17 | 2019-02-15 | 张亮 | 一种面向无人驾驶汽车的多特征融合地图的制作方法 |
| CN109540148A (zh) * | 2018-12-04 | 2019-03-29 | 广州小鹏汽车科技有限公司 | 基于slam地图的定位方法及*** |
| CN109887033A (zh) * | 2019-03-01 | 2019-06-14 | 北京智行者科技有限公司 | 定位方法及装置 |
| CN110221623A (zh) * | 2019-06-17 | 2019-09-10 | 酷黑科技（北京）有限公司 | 一种空地协同作业***及其定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991440A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| CN110446159B (zh) | 一种室内无人机精确定位与自主导航的***及方法 | |
| CN108401461B (zh) | 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品 | |
| CN112991440B (zh) | 车辆的定位方法和装置、存储介质和电子装置 | |
| CN109813319B (zh) | 一种基于slam建图的开环优化方法及*** | |
| KR20220028042A (ko) | 포즈 결정 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN111936821A (zh) | 用于定位的***和方法 | |
| CN110443850B (zh) | 目标对象的定位方法及装置、存储介质、电子装置 | |
| CN112634370A (zh) | 一种无人机打点方法、装置、设备及存储介质 | |
| CN113989450A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN111380515B (zh) | 定位方法及装置、存储介质、电子装置 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| CN110749308B (zh) | 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法 | |
| CN112652062B (zh) | 一种点云地图构建方法、装置、设备和存储介质 | |
| CN115222808B (zh) | 基于无人机的定位方法、装置、存储介质和电子设备 | |
| CN114459467B (zh) | 一种未知救援环境中基于vi-slam的目标定位方法 | |
| JP2021193538A (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
| CN113252066B (zh) | 里程计设备参数的标定方法及装置、存储介质、电子装置 | |
| Sokolov et al. | Development of software and hardware of entry-level vision systems for navigation tasks and measuring | |
| CN112651991A (zh) | 视觉定位方法、装置及计算机*** | |
| CN113433566B (zh) | 地图建构***以及地图建构方法 | |
| CN116136408A (zh) | 室内导航方法、服务器、装置和终端 | |
| CN113469495A (zh) | 一种视觉定位***的自动化评估方法及其*** | |
| Jonas et al. | IMAGO: Image-guided navigation for visually impaired people | |
| CN117690095B (zh) | 一种基于三维场景的智慧社区管理*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |