CN114200481A - 一种定位方法、定位***和车辆 - Google Patents

一种定位方法、定位***和车辆 Download PDF

Info

Publication number
CN114200481A
CN114200481A CN202010884916.3A CN202010884916A CN114200481A CN 114200481 A CN114200481 A CN 114200481A CN 202010884916 A CN202010884916 A CN 202010884916A CN 114200481 A CN114200481 A CN 114200481A
Authority
CN
China
Prior art keywords
semantic information
pose
positioning
road surface
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010884916.3A
Other languages
English (en)
Inventor
薛常亮
俞彦辉
王化友
周彦兴
温丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010884916.3A priority Critical patent/CN114200481A/zh
Priority to PCT/CN2021/082388 priority patent/WO2022041706A1/zh
Publication of CN114200481A publication Critical patent/CN114200481A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种定位方法、定位***和车辆。其中，该方法包括在初始位姿周围生成N个采样点C1～CN，分别基于激光特征的匹配确定各采样点对应的当前估计位姿的第一权值，基于视觉语义信息和路面语义信息的匹配(即视觉特征的匹配)确定各采样点对应的当前估计位姿的第二权值，然后根据的第一权值和第二权值对当前估计位姿加权求平均，得到车辆的实际位姿，从而实现了将基于激光特征的激光定位技术和基于特征的视觉定位技术进行融合，提高了定位效率。并且，本申请实施例提供的技术方案将激光特征和视觉语义信息编码存储在同一张定位地图中，实现了地图数据的融合，降低了定位过程中产生的数据开销和计算开销。

Description

一种定位方法、定位***和车辆
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种定位方法、定位***和车辆。
背景技术
自动驾驶需要解决驾驶的三个核心问题：在哪里？(车辆定位)；去哪里？(确定目的地)；怎么去？(路径规划)。其中，定位技术主要用于解决“在哪里？”的问题，是实现自动驾驶必不可少的关键技术之一。
基于信号的定位技术使用卫星信号或5G信号实现车辆的定位，因此具备全局定位的能力，是目前最广泛使用的定位技术。然而，由于GNSS的卫星信号容易受到高楼、山脉等遮挡的影响，使得车辆在行驶在城市、隧道等路况时，基于信号的定位技术无法提供准确的定位，因此不能满足实现全场景自动驾驶的需求。为解决这一问题，目前自动驾驶领域的研究方向是将基于信号的定位技术、基于航位推算的定位技术、基于特征匹配的定位技术进行融合，以弥补基于信号的定位技术的不足。
目前，对基于环境特征匹配的定位技术来说，基于激光特征匹配的激光定位技术补充或替代基于信号的定位技术，或基于视觉特征匹配的视觉定位技术补充或替代基于信号的定位技术，是两条独立的技术路线，激光定位和视觉定位所依赖的地图数据分别存储、算法独立运行，导致其数据存储开销和计算开销过大，对车辆的控制单元ECU等硬件***要求高，并且效率低下。
发明内容
本申请实施例提供了一种定位方法、定位***和车辆，能够将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合，以提高定位效率，并且能够减少定位过程中产生的数据和计算开销。
第一方面，本申请实施例提供了一种定位方法，该方法包括：确定车辆的初始位姿，在初始位姿周围生成N个采样点C1～CN，N为正整数；根据车辆的当前预测位姿P从定位地图中提取第一激光特征和至少一个视觉语义信息；对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定当前估计位姿Pn的第一权值，第二激光特征是从激光雷达采集的点云数据中提取的；以及，对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值，至少一个路面语义信息是从摄像头采集的图像数据中提取的；根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿；其中，定位地图包括相互拼接的多张定位图片，定位图片包括色彩通道，第一激光特征的编码和视觉语义信息的编码存储在色彩通道中。
本申请实施例提供的技术方案，能够分别基于激光特征的匹配确定当前估计位姿的第一权值，基于视觉语义信息和路面语义信息的匹配(即视觉特征的匹配)确定当前估计位姿的第二权值，然后根据的第一权值和第二权值计算当前估计位姿的加权平均值，以加权求平均值作为车辆的当前位姿，从而实现了将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合，提高了定位效率。并且，本申请实施例提供的技术方案将激光特征和视觉语义信息编码存储在同一张定位地图中，实现了地图数据的融合，降低了定位过程中产生的数据开销和计算开销。
在一种可选择的实现方式中，定位图片包括第一色彩通道，第一色彩通道用于存储视觉语义信息的编码。这样，本申请实施例提供的方法就可以对第一色彩通道进行解码以获取视觉语义信息。
在一种可选择的实现方式中，定位图片还包括第二色彩通道，第二色彩通道用于存储第一激光特征的编码。这样，本申请实施例提供的方法就可以对第二色彩通道进行解码以获取第一激光特征。
在一种可选择的实现方式中，视觉语义信息的编码包括标志位、类型编码和亮度编码中的至少一种；标志位用于表示路面标志的类型，类型编码用于表示路面标志的内容，亮度信息编码用于表示图片的亮度信息。这样，通过视觉语义信息的编码就可以确定视觉语义信息包含什么样的路面标志，例如白色虚线、白色实线、直行标志等，以利于与路面语义信息进行匹配。
在一种可选择的实现方式中，至少一个视觉语义信息通过以下步骤提取：根据当前预测位姿从定位地图中提取局部定位地图，局部定位地图包含M张定位图片，M张定位图片包含当前预测位姿所在的第一图片，以及第一图片附近的M-1张第二图片，M为大于1的正整数；从局部定位地图中提取至少一个视觉语义信息。这样，视觉语义信息就可以包含当前预测位姿周围的路面标志等信息，以便于与摄像头采集到的车辆周围的图像数据中的路面语义信息进行匹配，以确定第二权值。
在一种可选择的实现方式中，对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值，包括：从至少一个路面语义信息中确定至少一个有效路面语义信息，每一个有效路面语义信息的像素数量在预设范围内；根据当前估计位姿Pn将至少一个有效路面语义信息投影到局部定位地图的坐标系中；确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系；对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值。这样，通过确定有效路面语义信息可以滤除一些不完整或者尺寸过大的误检视觉语义信息，提高语义匹配效率，减小语义匹配的计算量。
在一种可选择的实现方式中，确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系，包括：计算任意有效路面语义信息ai的语义权值和任意视觉语义信息bj的语义权值；根据有效路面语义信息ai的语义权值和视觉语义信息bj的语义权值的差值，确定有效路面语义信息ai和视觉语义信息bj的语义关联度；当语义关联度小于预设第一阈值时，确定有效路面语义信息ai和视觉语义信息bj具有语义关联。这样，语义关联度小于第一阈值时，说明有效路面语义信息ai的语义权值和视觉语义信息bj的语义权值比较接近，进而说明有效路面语义信息ai和视觉语义信息bj具有语义关联。
在一种可选择的实现方式中，对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值，包括：分别计算每一对语义关联的有效路面语义信息和视觉语义信息的匹配距离；将计算得到的各个匹配距离的加权求和得到总匹配距离；根据总匹配距离确定第二权值。这样，第二权值能够体现出当前估计位姿Pn与车辆真实位姿的接近程度。
在一种可选择的实现方式中，根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿，包括：使用当前估计位姿P1-PN的第一权值对当前估计位姿P1-PN加权求平均，得到第一加权平均值；使用当前估计位姿P1-PN的第二权值对当前估计位姿P1-PN加权求平均，得到第二加权平均值；对第一加权平均值和第二加权平均值加权求平均，得到加权平均值，以加权求平均值作为车辆的当前位姿。这样，通过使用第一权值和第二权值对当前估计位姿加权求平均，实现了将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合。
在一种可选择的实现方式中，路面语义信息包括：包含有至少一个路面标志的像素块、像素块的像素数量、每个像素所属的路面标志的类型。这样，通过路面语义信息可以确定路面标志的类型、大小等，以利于与路面语义信息进行匹配。
在一种可选择的实现方式中，当前预测位姿通过以下步骤确定：根据里程计数据确定车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿；将采样点Cn在第一历史时刻t-1对应的预测位姿与相对位姿相加得到当前预测位姿。
在一种可选择的实现方式中，当有预设比例的第一权值或者第二权值低于第二阈值时，重新生成N个采样点C1～CN。这样，可以消除采样点随着定位次数的增加而出现的发散现象。
第二方面，本申请实施例提供了一种定位***，包括：安装于车辆的GNSS/INS组合模块、控制单元、存储器、激光雷达和摄像头；GNSS/INS组合模块，用于确定车辆的初始位姿；存储器，用于存储定位地图，定位地图包括相互拼接的多张定位图片，定位图片包括色彩通道，色彩通道存储有第一激光特征的编码和视觉语义信息的编码；激光雷达，用于采集点云数据，点云数据包含第二激光特征；摄像头，用于采集图像数据，图像数据包含至少一个路面语义信息；控制单元，用于在初始位姿周围生成N个采样点C1～CN，N为正整数；控制单元，还用于根据车辆的当前预测位姿从定位地图中提取第一激光特征和至少一个视觉语义信息；控制单元，还用于对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定当前估计位姿Pn的第一权值，第二激光特征是从激光雷达采集的点云数据中提取的；控制单元，还用于对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值，至少一个路面语义信息是从摄像头采集的图像数据中提取的；控制单元，还用于根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿。
本申请实施例提供的技术方案，能够分别基于激光特征的匹配确定当前估计位姿的第一权值，基于视觉语义信息和路面语义信息的匹配(即视觉特征的匹配)确定当前估计位姿的第二权值，然后根据的第一权值和第二权值计算当前估计位姿的加权平均值，以加权求平均值作为车辆的当前位姿，从而实现了将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合，提高了定位效率。并且，本申请实施例提供的技术方案将激光特征和视觉语义信息编码存储在同一张定位地图中，实现了地图数据的融合，降低了定位过程中产生的数据开销和计算开销。
在一种可选择的实现方式中，定位图片包括第一色彩通道，第一色彩通道用于存储视觉语义信息的编码。这样，本申请实施例提供的定位***就可以对第一色彩通道进行解码以获取视觉语义信息。
在一种可选择的实现方式中，定位图片还包括第二色彩通道，第二色彩通道用于存储第一激光特征的编码。这样，本申请实施例提供的定位***就可以对第二色彩通道进行解码以获取第一激光特征。
在一种可选择的实现方式中，视觉语义信息的编码包括标志位、类型编码和亮度编码中的至少一种；标志位用于表示路面标志的类型，类型编码用于表示路面标志的内容，亮度信息编码用于表示图片的亮度信息。这样，通过视觉语义信息的编码就可以确定视觉语义信息包含什么样的路面标志，例如白色虚线、白色实线、直行标志等，以利于与路面语义信息进行匹配。
在一种可选择的实现方式中，当控制单元用于根据车辆的当前预测位姿从定位地图中提取至少一个视觉语义信息时：控制单元，具体用于根据当前预测位姿从定位地图中提取局部定位地图，局部定位地图包含M张定位图片，M张定位图片包含当前预测位姿所在的第一图片，以及第一图片附近的M-1张第二图片，M为大于1的正整数；控制单元，还用于从局部定位地图中提取至少一个视觉语义信息。这样，视觉语义信息就可以包含当前预测位姿周围的路面标志等信息，以便于与摄像头采集到的车辆周围的图像数据中的路面语义信息进行匹配，以确定语义关联关系和第二权值。
在一种可选择的实现方式中，当控制单元用于对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值时：控制单元，具体用于从至少一个路面语义信息中确定至少一个有效路面语义信息，每一个有效路面语义信息的像素数量在预设范围内；控制单元，还用于根据当前估计位姿Pn将至少一个有效路面语义信息投影到局部定位地图的坐标系中；控制单元，还用于确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系；控制单元，还用于对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值。这样，通过确定有效路面语义信息可以滤除一些不完整或者尺寸过大的误检视觉语义信息，提高语义匹配效率，减小语义匹配的计算量。
在一种可选择的实现方式中，当控制单元用于确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系时：控制单元，具体用于计算任意有效路面语义信息ai的语义权值和任意视觉语义信息bj的语义权值；控制单元，还用于根据有效路面语义信息ai的语义权值和视觉语义信息bj的语义权值的差值，确定有效路面语义信息ai和视觉语义信息bj的语义关联度；控制单元，还用于当语义关联度小于预设第一阈值时，确定有效路面语义信息ai和视觉语义信息bj具有语义关联。这样，语义关联度小于第一阈值时，说明有效路面语义信息ai的语义权值和视觉语义信息bj的语义权值比较接近，进而说明有效路面语义信息ai和视觉语义信息bj具有语义关联。
在一种可选择的实现方式中，当控制单元用于对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值时：控制单元，具体用于分别计算每一对语义关联的有效路面语义信息和视觉语义信息的匹配距离；控制单元，还用于将计算得到的各个匹配距离的加权求和得到总匹配距离；控制单元，还用于根据总匹配距离确定第二权值。这样，第二权值能够体现出当前预测位姿Pn与车辆真实位姿的接近程度。
在一种可选择的实现方式中，当控制单元用于根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿时：控制单元，具体用于使用当前估计位姿P1-PN的第一权值对当前估计位姿P1-PN加权求平均，得到第一加权平均值；控制单元，还用于使用当前估计位姿P1-PN的第二权值对当前估计位姿P1-PN加权求平均，得到第二加权平均值；控制单元，还用于对第一加权平均值和第二加权平均值加权求平均，得到加权平均值，以加权求平均值作为车辆的当前位姿。这样，通过使用第一权值和第二权值对当前估计位姿加权求平均，实现了将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合。
在一种可选择的实现方式中，路面语义信息包括：包含有至少一个路面标志的像素块、像素块的像素数量、每个像素所属的路面标志的类型。这样，通过路面语义信息可以确定路面标志的类型、大小等，以利于与路面语义信息进行匹配。
在一种可选择的实现方式中，定位***还包括里程计；控制单元，还用于根据里程计数据确定车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿；控制单元，还用于将采样点Cn在第一历史时刻t-1对应的预测位姿与相对位姿相加得到当前预测位姿。
在一种可选择的实现方式中，控制单元，还用于当有预设比例的第一权值或者第二权值低于第二阈值时，重新生成N个采样点C1～CN。这样，可以消除采样点随着定位次数的增加而出现的发散现象。
第三方面，本申请实施例提供了一种车辆，该车辆包括本申请实施例第二方面及其各个实现方式提供的定位***。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式的方法。
第五方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式的方法。
第六方面，本申请实施例还提供了一种芯片***，该芯片***包括处理器，用于支持上述装置或***实现上述方面中所涉及的功能，例如，生成或处理上述方法中所涉及的信息。
附图说明
图1是点云式定位地图的示意图；
图2是图片式定位地图的示意图
图3是稀疏特征地图、半稠密地图和稠密地图的像素量示意图；
图4是自动驾驶车辆的定位***模块配置图；
图5是激光地图的示意图；
图6是本申请实施例提供的视觉语义信息的编码格式图；
图7是定位地图上的不同区域的像素对应的视觉语义信息的8比特编码的示意图；
图8是本申请实施例提供用于实现定位方法的定位***硬件框架图；
图9是本申请实施例提供的定位方法的流程图；
图10是本申请实施例提供的定位方法涉及到的数据流转框图；
图11示例性地提供了生成采样点的方案；
图12是里程计坐标系的示意图；
图13是本申请实施例提供的确定第一权值的过程示意图；
图14是本申请实施例提供的确定第二权值的过程示意图；
图15是本申请实施例提供的语义匹配的流程图；
图16是本申请实施例提供的定位方法的步骤S201的流程图；
图17是本申请实施例提供的计算路面语义信息的像素面积的示意图；
图18是本申请实施例提供的定位方法的步骤S203的流程图；
图19是本申请实施例提供的定位方法的步骤S204的流程图；
图20是本申请实施例提供的匹配距离的示意图；
图21是本申请实施例提供的定位方法的步骤S502的流程图；
图22是本申请实施例提供的定位方法的步骤S105的流程图；
图23是本申请实施例提供的定位***的软件模块框图。
具体实施方式
自动驾驶(autonomous vehicles或self-driving automobile)，也称无人驾驶、电脑驾驶等。自动驾驶能够以传感器、全球导航卫星***(global navigation satellitesystem，GNSS)及机器视觉等技术感测其周围环境，并根据感测数据确定自身位置、规划导航路线、更新地图信息、躲避障碍等，最终实现在没有任何人类主动操作或者少有人类主动操作的情况下自动地驾驶车辆。
一般来说，自动驾驶需要解决驾驶的三个核心问题：在哪里？(车辆定位)；去哪里？(确定目的地)；怎么去？(路径规划)。其中，定位技术主要用于解决“在哪里？”的问题，是实现自动驾驶必不可少的关键技术之一。
目前，根据所依赖的传感器不同，自动驾驶的定位技术主要可以包括以下三种：
1、基于信号的定位技术。
该技术主要基于卫星信号或5G信号实现车辆的定位。目前主流的方案是在车辆内安装全球卫星导航***(global navigation satellite system，GNSS)接收机，以接收多个GNSS的卫星信号，利用接收的卫星信号计算出车辆在空间环境中的全局位置，并且也可以利用GNSS地面站配合GNSS卫星以提高定位精度。常见的GNSS***例如：北斗卫星导航***(beidou navigation satellite system，BDS)，全球卫星定位***(globalpositioning system，GPS)等。
2、基于航位推算的定位技术。
该技术需要车辆配备惯性测量单元(inertial measurement unit，IMU)和轮速计等传感器。其中，IMU可以测量车辆行驶的角速度、加速度等信息，轮速计则可以测量车轮的转速。基于传感器数据，在确定了车辆的初始位置之后，则可以根据车辆的动力学方程，估计出车辆的当前位姿(位置和姿态)。
3、基于环境特征匹配的定位技术。
目前，该技术主要包括激光定位和视觉定位两种形式，分别基于激光传感器和视觉传感器实时获取车辆周围的环境信息，将获取的环境信息处理后与预先存储的定位地图进行匹配，从而确定车辆的位姿。可以理解的是，该技术的实现需要预先构建定位地图，根据使用的传感器的不同，定位地图也具有不同的构建方式。
当采用激光定位时，定位地图主要有点云式和图片式。
①点云式：利用激光传感器采集点云数据，然后对点云数据进行过滤等操作以去除噪声，最后将处理后的点云数据拼接叠加到一起，形成如图1所示的点云地图。
②图片式：将①中拼接后的点云数据进行栅格处理，将每一个栅格对应为一个像素进行编码，以将拼接后的点云数据转化成如图2所示的图片格式的定位地图。其中，图片格式的激光地图可以是单通道的灰度图片，也可以是三通道的彩色图片。图片式的定位地图占用存储空间小，可以解决点云地图存储资源开销大的问题。
当采用视觉定位时，根据构建时从视觉传感器采集的原始图像中选取像素的方式和数量多少，定位地图(视觉地图)如图3所示，可以包括稀疏特征地图、半稠密地图和稠密地图三种形式，目前也主要以点云形式保存。
①稀疏特征地图：将原始图像中的特征点对应的像素保存到地图中，因此像素数量最少。
②半稠密地图：将原始图像中的部分像素，例如带有梯度的像素保存到地图中，因此像素数量中等。
③稠密地图：将原始图像中的全部像素保存到地图中，因此像素数量最多。
基于信号的定位技术由于具备全局定位的能力，是目前最广泛使用的定位技术。然而，由于GNSS的卫星信号容易受到高楼、山脉等遮挡的影响，使得车辆在行驶在城市、隧道等路况时，基于信号的定位技术无法提供准确的定位，因此不能满足实现全场景自动驾驶的需求。为解决这一问题，目前自动驾驶领域的研究方向是将基于信号的定位技术、基于航位推算的定位技术、基于特征匹配的定位技术进行融合，以弥补基于信号的定位技术的不足。
目前，对基于环境特征匹配的定位技术来说，采用激光特征匹配的激光定位技术补充或替代基于信号的定位技术，以及，采用视觉特征匹配的视觉定位技术补充或替代基于信号的定位技术，是目前融合定位的两条独立的技术路线。由于技术路线相互独立，激光定位和视觉定位的地图数据分别存储、算法相互独立，导致其数据存储开销和计算开销过大，对车辆的控制单元ECU等硬件***要求高，并且效率低下。
为解决现有技术中存在的问题，本申请实施例提供了一种定位方法。
本申请实施例的技术方案可以应用在各种采用自动驾驶技术或者定位技术的载具之上，包括但不限于各种交通工具：例如车辆(汽车)、轮船、火车、地铁、飞机等，以及各种机器人，例如：服务机器人、运输机器人、自主导引机器人(automated guided vehicle，AGV)、无人地面车(unmanned ground vehicle，UGV)等，以及各种工程机械，例如：隧道掘进机等。
下面以车辆为例，对本申请实施例的技术方案所实施的硬件环境进行说明。
如图4所示，该车辆配置有以下模块：激光雷达LiDAR 110、摄像头120、GNSS/惯性导航***(inertial navigation system，INS)组合模块130、控制单元140。其中：
激光雷达110，用于采集环境周围的元素(例如：车辆、障碍物、行人、路牌等)距离本车辆的距离信息。激光雷达110可以对环境周围进行360度的全向扫描，也可以只扫描车头前方部分范围(例如180度)内的环境信息。
摄像头120，用于采集车辆周围的图像信息。摄像头120可以具有一个(即单目摄像头)或者多个(即多目摄像头)，可以对周围进行360度的全景图像采集，也可以只采集车头前方部分范围的图像。
GNSS/INS组合模块130，可以包括GNSS接收机和惯性测量单元IMU等器件，用于实现基于卫星信号和IMU的融合定位。
控制单元140，可以是整个自动驾驶车辆的电子***的核心计算单元，例如：移动数据中心(mobile data center，MDC)、电子控制单元(electronic control unit，ECU)等，用于处理其他各个模块产生的数据，并基于处理结果生成车辆的控制信息。
此外，为实现车辆的其他辅助驾驶功能，该车辆还可以配置以下模块：
超声波传感器150，用于短距离测距，例如在辅助泊车时开启，以提供短距离告警信息等。
毫米波雷达160，用于长距离测距，由于毫米波抗干扰能力强，穿透雾、烟和尘土等能力强，因此毫米波雷达可以全天候工作，例如用于在恶劣天气情况下辅助对障碍物测距。
可以理解的是，本申请实施例示意的硬件环境并不构成对本申请实施例的技术方案的具体限定。在本申请另一些实施例中，本申请实施例的技术方案所实施的硬件环境可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本申请实施例中，为实现激光定位与视觉定位技术的融合，减少存储开销和计算开销，基本思路是：将激光定位的定位地图(以下简称激光地图)与视觉定位的定位地图(以下简称视觉地图)中的地图数据融合进一张定位地图中，这样在同时应用激光定位与视觉定位技术时，就可以从融合后的定位地图中获取这两种定位方式需要的数据，从而减少数据存储的开销和计算开销，提高定位效率。
下面结合一些示例具体阐述本申请实施例是如何得到定位地图的。
本申请实施例得到定位地图的基本思路是：将路面标志的视觉语义信息整合添加到激光地图中，以得到定位地图。其中，路面标志包括用于辅助确定车辆的位置和所在车道等信息，例如：单黄线、双黄线、白色虚线、白色实线、直行标志、左转标志、右转标志、调头标志等。为减小存储开销，本申请实施例优选使用图片格式的激光地图。激光地图由可以单色彩通道的灰度图片构成，也可以由多色彩通道的彩色图片构成。
在一个实施例中，如图5所示，激光地图以三通道的彩色图片实现，例如包括一个R通道(red红色通道)、一个G通道(green绿色通道)和一个B通道(blue蓝色通道)，每个通道中还可以添加一些激光地图的特征信息。作为一种可选择的实现方式，R通道中可以添加有激光特征，例如地图中各种元素的线特征、角点特征、梯度特征、高度特征等；G通道可以添加有激光地图的亮度信息；B通道可以添加相对高度信息，例如像素相对地面的高度等。
另外，除包含上述RGB通道以外，激光地图还可以包括更多的通道，例如alpha通道等，本申请实施例不做限定。在一些其他的实现方式中，激光地图还可以通过其他的色彩模式实现，例如RYYB格式等，此时，激光地图可以相应地包括四个通道。
在一个实施例中，激光地图的像素中的每一个通道都可以包含一定数量的比特信息bit，例如8bit(8个比特信息)、16bit、32bit等。因此，如上述激光特征、亮度信息和相对高度信息等特征信息可以在像素的bit位中进行编码表示。例如亮度信息就可以通过1个bit编码来表示，如以比特值1表示有亮度信息，0表示没有亮度信息。
本申请实施例为了将视觉地图和激光地图融合在一张地图中，将通常位于视觉地图中的视觉语义信息融合进激光地图中。具体实现中，可以根据路面标志、道路交通标志内容在激光地图中对应的位置，确定激光地图中将会包含视觉语义信息的像素，然后将视觉语义信息编码后存储到这些像素的某个或者某些通道的比特信息中。
在一个实施例中，视觉语义信息可以采用8位二进制编码格式表示，占据其所在通道的8个比特长度。图6是视觉语义信息采用8位编码格式的一个示例图。如图6所示，8位编码格式可以由标志位、类型编码和亮度编码三个部分中的至少一种组成，其中，标志位可以用于表示路面标志的类型；类型编码用于表示路面标志的内容；亮度信息编码可以用于表示图片的亮度信息。
在一种实现方式中，标志位如图6所示占据1个比特，例如8位编码的第一个比特，或者其他比特。此时，标志位可以有0和1两个取值，最多表示两个种类。示例地，如果将视觉语义信息划分位文字类元素和图形标线类元素，那么，0可以表示文字类元素，1可以表示图形标线类元素，或者，1表示文字类元素，0表示图形标线类元素。示例地，如果将视觉语义信息划分为路面标志类元素和其他标志类元素，那么，0可以表示路面标志类元素，1可以表示其他标志类元素，或者，1表示路面标志类元素，0表示其他标志类元素。
在一些其他的实现方式中，标志位可以占据大于1个比特，例如2个比特、3个比特等，从而可以表示更多的视觉语义信息的种类，例如2个比特最多可以表示4个种类，3个比特最多可以表示8个种类。在具体实践中，本领域技术人员可以根据实际分类的需求确定标志位的长度，本申请实施例对标志位的长度不做具体限定。
在一种实现方式中，类型编码如图6所示占据6个比特，例如标志位后面的连续6个比特，或者其他的比特。此时类型编码的取值范围可以从000000至111111，最多能够表示26种内容类型。示例地：000000可以表示路面、000001可以表示路面标志等；更具体地：000001可以表示白色虚线、000010表示白色实线、000011表示直行标志、000100表示左转标志、000101表示警告标志、000110表示指路标志等。本申请实施例中，类型编码是视觉语义信息的8位编码中的必要部分。
在一些其他的实现方式中，类型编码可以占据大于6个比特，例如7个比特，从而可以表示更多的内容类型；也可以小于6个比特，例如5个比特、4个比特等，从而在能够表示所需的全部路面标志和/或道路交通标志的情况下，减小类型编码的比特长度，以减小数据开销，并使得8位编码中能够保留出更多的比特信息来表示其他的信息。在具体实践中，本领域技术人员可以根据需要区分的路面标志和/或道路交通标志的数量确定类型编码的长度，本申请实施例对类型编码的长度不做具体限定。
在一种实现方式中，亮度编码如图6所示占据1个比特，例如8位编码的最后一个比特，或者其他比特。此时，标志位可以有0和1两个取值，0表示没有亮度信息，1表示有亮度信息。以车道线为例，其相比于路面的亮度更高，因此其亮度信息可以是1；以路面标志为例，其可能包括喷绘的白线部分和路面部分，那么白线部分的亮度信息即可以是1，路面部分的的亮度信息即可以是0。
在一些其他的实现方式中，亮度信息可以占据大于1个比特，例如2个比特、3个比特等，从而可以更细分地表示亮度。在具体实践中，本领域技术人员可以根据实际分类的需求确定亮度信息的长度，本申请实施例对亮度信息的长度不做具体限定。
在一个实施例中，视觉语义信息的二进制编码可以仅包含标志位、类型编码和亮度编码中的一部分，例如仅包含类型编码和亮度编码，或者，仅包含标志位和类型编码，或者，仅包含类型编码。并且，视觉语义信息的二进制编码还可以是除8位编码格式以外的其他编码格式，例如大于8位的编码，如16位编码，或者小于8位的编码，如4位编码等，本申请实施例对此不做限定。
在一个实施例中，编码后的视觉语义信息可以存储在像素的G通道中，这样，当像素的G通道包含8个比特信息时，这8个比特信息从前到后可以依次包括标志位、类型编码和亮度编码。
图7是定位地图上的不同区域的像素对应的视觉语义信息的8比特编码的示意图。如图6所示，根据上述示例的编码规则，区域①的像素对应路面，其标志位为0，类型编码为000000，亮度编码为0，因此视觉语义信息为00000000；区域②的像素对应直行标志，其标志位为1，类型编码为000011，亮度编码为1，因此视觉语义信息为10000111；区域③的像素对应白色实线标志，其标志位为1，类型编码为000010，亮度编码为1，因此视觉语义信息为10000101。
可以理解的是，本申请实施例将原本位于视觉地图中的视觉语义信息编码存储到激光地图的像素的通道中，实现了激光地图与视觉地图的融合，得到了同时包含视觉地图特征和激光地图特征的定位地图，减少了地图的存储开销。
下面对本申请实施例提供的定位方法的技术方案进行具体说明。
图8是本申请实施例提供用于实现定位方法的定位***硬件框架图。如图8所示，该定位***可以包括控制单元140、GNSS/INS组合模块130、轮速计170、里程计180、激光雷达110、摄像头120和存储器190等。其中，GNSS/INS组合模块、轮速计、里程计、激光雷达、摄像头等模块用于各自采集数据，将数据发送给控制单元进行处理，存储器可以用于存储定位地图、存储上述各个模块采集到的数据、存储用于控制单元执行的程序指令以及存储控制单元在数据处理过程中产生的数据等。
下面基于图8所示的硬件结构，以被定位的目标为车辆为例，对本申请实施例提供的定位方法的步骤流程进行具体说明，可以理解的是，除车辆以外，本申请实施例的方法的定位目标还可以是轮船、火车等其他交通工具、各种机器人、以及工程机械等。
图9是本申请实施例提供的定位方法的流程图，图10是该定位方法涉及到的数据流转框图。如图9和图10所示，该定位方法可以通过以下步骤S101-步骤S109实现：
步骤S101，确定车辆的初始位姿，在初始位姿周围生成N个采样点C1～CN，N为正整数。
其中，初始位姿可以包括车辆的初始位置和初始姿态。
具体实现中，控制单元可以获取GNSS/INS组合模块采集的数据。然后，控制单元可以根据GNSS的天线信号确定车辆的初始位置，一般来说，车辆的初始位置可以是一个全局位置。另外，控制单元还可以根据INS模块的惯性测量单元IMU测量的车辆的角速度和加速度等信息确定车辆的初始姿态，一般来说车辆的初始姿态可以由车辆初始的航向角、俯仰角和滚转角中的一个或者多个参数组成，由于车辆定位和导航中主要使用航向角，因此车辆的初始姿态也可以仅包含航向角。
在一个实施例中，控制单元在确定了车辆的初始位姿之后，还可以以车辆初始位置为中心，在车辆附近的一定范围内以及车辆航向角附近的一定范围内生成N个采样点C1～CN。
图11示例性地提供了生成采样点的方案。如图11所示，控制单元可以以车辆初始位置为中心，确定半径为R＝5米的圆形范围，以及，以航向角yaw的指向(车辆前进方向)为中心，选取左右偏离2°的扇形范围，即yaw±2°，然后圆形范围和扇形范围的重合区域(即图11中的灰色阴影区域)内生成离散的N＝1000个采样点。在一些实现方式中，这1000个采样点可以采用均匀分布的方式生成，使得这1000个采样点在其分布区域内分布比较均匀。可以理解的是，在采样点选定之后，采样点的初始位姿也随即根据车辆的初始位姿确定。在另一些实现方式中，这1000个采样点也可以采用非均匀的方式生成，例如正态分布等，本申请实施例对此不做限定。
需要补充说明的是，本申请实施例围绕车辆的初始位姿选取大量的采样点，可以实现对车辆位姿的多重采样，多重计算，并结合采样点滤波技术提高定位精度。具体实现中，控制单元可以对每个采样点分别执行步骤S102-步骤S108。
步骤S102，根据车辆的当前预测位姿从定位地图中提取第一激光特征和至少一个视觉语义信息。
这里需要说明的是，由于车辆在行驶过程中的位姿是不断变化的，因此各种定位方法都被要求能够对车辆进行实时定位，以利于自动驾驶***实现实时路径规划和导航功能。为实现实时定位的目的，控制单元可以周期性地对车辆进行定位，每个周期的定位行为可以称作一个定位帧。具体描述时，为了区分不同时刻的定位帧，如果设置当前时刻为t，那么当前时刻t对应的定位帧可以称作当前帧，将当前帧的前一个定位帧称作第一历史帧，将第一历史帧的时刻记作第一历史时刻t-1。
可以理解的是，在车辆的行驶过程中，控制单元每次对车辆每进行一次定位，都会得到一个车辆的预测位姿。为便于描述，本申请实施例将第一历史时刻t-1的得到的车辆的位姿称作第一历史位姿，那么根据第一历史位姿和里程计参数，可以预测得到车辆在当前时刻t的当前预测位姿Pt。需要说明的是，如果第一历史时刻t-1是初始时刻，那么第一历史位姿为车辆的初始位姿。
基于上述定义，本申请实施例可以采用以下方式确定车辆的当前预测位姿：
步骤a，获取车辆的初始位姿。
其中，如前文，初始位姿可以是定位方法初始化执行时根据GNSS/INS组合模块采集的数据确定的位姿。步骤a仅用于在该方法初始化时执行。
步骤b，根据里程计数据确定车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿。
在一种实现方式中，本申请实施例利用里程坐标系得到相对位姿。
图12是里程计坐标系的示意图。如图12所示，里程计坐标系可以以车辆的初始位姿作为原点Odom，以车辆在初始位姿下的车体正前方向作为X轴方向，以垂直于车体正前方向并且指向车体左侧的方向作为Y轴方向。
车辆在里程计坐标系中的局部位姿，可以由里程计根据轮速计和惯性测量单元IMU的测量数据计算得到。在计算的局部位姿时，里程计可以采用以下运动学模型：
S＝V*Δt (1)
Figure BDA0002655277730000111
其中，S表示车辆相对于初始位姿的运动里程，V表示车辆的运动速度，Δt表示车辆的运动时间；
Figure BDA0002655277730000112
表示车辆相对于初始位姿的航向角的变化值，ω表示车辆的角速度。
根据上述运动模型(1)(2)可以得到：
x0＝V*cos(yaw)*Δt (3)
y0＝V*sin(yaw)*Δt (4)
其中，x0为车辆运动时的X轴坐标值，y0为车辆运动时的Y轴坐标值，yaw表示车辆的航向角，在里程计坐标系中yaw的取值为
Figure BDA0002655277730000113
根据上述运动模型(1)(2)和公式(3)(4)即可得到车辆运动时，在任意时刻的以第一局部坐标系的参数表示的局部位姿，例如局部位姿可以包括(x0，y0，yaw)。
这里需要说明的是，局部位姿中仅表示车辆在里程计坐标系中的位姿，并不表示车辆在空间环境中的绝对位姿。
需要补充说明的是，除了采用里程计坐标系之外，本申请实施例还可以采用其他的坐标系得到相对位姿，例如GNSS坐标系、IMU坐标系、车辆后轮轴地面投影坐标系等，本申请实施例对此不做限定。
基于里程计坐标系，里程计可以将车辆在当前时刻t的局部位姿和第一历史时刻t-1的局部位姿发送给控制单元。那么，控制单元就可以根据车辆在当前时刻t的局部位姿和第一历史时刻t-1的局部位姿计算车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿。具体计算方法如公式(5)：
ΔP＝ot-ot-1 (5)
其中，ΔP为车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿，ot为车辆在当前时刻t的局部位姿，ot-1为车辆在第一历史时刻t-1的局部位姿。
步骤c，将车辆在第一历史时刻t-1对应的第一历史位姿与相对位姿相加得到车辆的当前预测位姿Pt。
如以下公式(6)
Pt＝Pt-1+ΔP (6)
其中，Pt-1为车辆在第一历史时刻t-1对应的第一历史位姿。
可以理解的是，采样点Cn的当前估计位姿Pn也通过上述步骤c进行估计，即：
Pn＝Pn(t-1)+ΔP
其中，Pn(t-1)为采样点Cn在第一历史时刻t-1对应的估计位姿。
进一步地，控制单元可以根据车辆的当前预测位姿Pt，从定位地图中获取当前预测位姿Pt附近的一块区域，为便于描述，可以将该区域称作局部定位地图，然后从局部定位地图中提取第一激光特征。
在一个实施例中，定位地图可以由大量的预设尺寸的图片拼接构成，每一张图片对应空间环境中指定大小的范围。示例地，定位地图的每一张图片均为长宽相等的正方形图片，每一张图片对应长100米、宽100米的正方形范围。
在一个实施例中，当定位地图由大量图片构成时，控制单元可以从定位地图中获取当前预测位姿Pt所在的图片和附近的至少一张图片，作为局部定位地图。示例地，如图13或14所示，控制单元可以获取当前预测位姿Pt所在的和附近的3×3共计9张图片，如果每张图片对应的范围是100m×100m，那么局部定位地图就包括了当前预测位姿Pt附近300m×300m的区域。
基于上述提取的定位地图的图片，控制单元可以从图片的存储有激光特征的通道中提取第一激光特征，例如从R通道中提取第一激光特征。
另外，控制单元可以局部定位地图的从存储有视觉语义信息的通道中提取至少一个视觉语义信息，例如对图片的G通道数据进行解码，以提取G通道中的至少一个视觉语义信息。
步骤S103，对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定当前估计位姿Pn的第一权值。
其中，第二激光特征可以从激光雷达采集的点云数据中提取。
具体实现中，控制单元可以对激光雷达在当前时刻t采集到的点云数据进行采样，以得到第二激光特征，其采样方式可以根据定位地图的具体形式确定。例如：当定位地图为稀疏特征地图时，控制单元可以对点云数据进行稀疏特征采样；当定位地图为半稠密地图时，控制单元可以对点云数据进行半稠密特征采样；当定位地图为稠密地图时，控制单元可以对点云数据进行稠密特征采样。这样，便于第一激光特征与第二激光特征进行匹配。
接下来，控制单元根据当前估计位姿Pn将激光特征投影到局部定位地图的坐标系中，对于不同的采样点Cn来说，由于其当前估计位姿Pn不同，因此上述激光特征根据不同采样点Cn的当前估计位姿Pn进行投影之后，会在局部定位地图中对应不同的坐标分布。
接下来，控制单元可以基于第一激光特征与第二激光在局部定位地图中的坐标分布，将第一激光特征与第二激光特征进行匹配，计算出第一激光特征与第二激光特征之间的匹配距离，并且根据匹配距离确定出当前估计位姿Pn的第一权值
Figure BDA0002655277730000121
其中，匹配距离代表了基于激光特征确定的车辆实际位姿与采样点Cn的当前估计位姿Pn之间的接近程度，而接近程度越高，第一权值
Figure BDA0002655277730000122
就越大，接近程度越低，第一权值
Figure BDA0002655277730000123
就越小。
在一些实施例中，匹配距离可以是余弦距离，也可以是欧拉距离，本申请实施例对获得匹配距离所采用的算法不做限定。例如：当匹配距离是余弦距离时，匹配距离的数值范围可以为[0，1]，数值越大，表示基于激光特征确定的车辆实际位姿与采样点Cn的当前估计位姿Pn之间的接近程度越低，数值越小，表示基于激光特征确定的车辆实际位姿与采样点Cn的当前估计位姿Pn之间的接近程度越高。
步骤S104，对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值。
其中，上述至少一个路面语义信息是从摄像头采集的图像数据中提取的。
具体实现中，如图14所示，控制单元可以首先对摄像头采集的图像数据进行预处理，例如去除噪声、裁切、灰度处理等等。接下来，控制单元可以使用预先训练好的深度神经网络对预处理之后的图像进行像素级的语义分割，以从图像中提取至少一个路面语义信息，路面语义信息可以是像素级信息，每个路面语义信息可以包括：包含有至少一个路面标志的像素块、像素块中的像素的数量、每个像素所属的路面标志的类型和概率等。其中，该像素块应该至少包含路面标志的全部像素，在一些实施例中，像素块可以是矩形、圆形等规则形状，或者其他形状，优选为规则形状，以便于数据处理。另外，在保证像素块包含路面标志的全部像素的情况下，像素块优选尽量少地包含非路面标志的像素。
本申请实施例使用的深度神经网络例如可以是：卷积神经网络(convolutionalneural network，CNN)、长短期记忆网络(long short-term memory，LSTM)、循环神经网络(recurrent neural network，RNN)或者其他神经网络，也可以是多种神经网络的组合。深度神经网络在训练阶段使用训练语料作为输入，该训练语料可以是事先采集的路面图片，并且路面图片中的路面标志被进行像素级标注；深度神经网络在训练阶段的输出是训练语料的标注结果，例如被标注的路面标志的类型等。神经网络在使用阶段的输入为摄像头采集到的图像，输出则为图像中包含的路面标志的像素级信息。使用深度神经网络进行信息提取的具体方法不是本申请实施例的重点讨论内容，因篇幅所限，此处就不再赘述。
另外，需要补充说明的是，路面语义信息实际上也属于视觉语义信息，区别之处在于：是从摄像头采集的图像中提取的，而不是存储在定位地图中。
基于上述提取的路面语义信息和视觉语义信息，步骤S104可以通过如图15所示的以下步骤S201-步骤S204实现：
步骤S201，从至少一个路面语义信息中确定至少一个有效路面语义信息，建立有效路面语义信息集合，其中，每个有效路面语义信息的像素数量在预设范围内。
在一个实施例中，步骤S201如图16所示具体可以通过以下步骤S301-步骤S303实现：
步骤S301，分别计算每一个路面语义信息的像素面积。
具体实现中，路面语义信息的像素面积可以是像素块的像素数量。以矩形的像素块为例，假设像素块的分辨率大小为W像素×H像素，W和H分别为像素块水平方向和垂直方向的像素数量，那么该像素块的像素面积S＝W×H。
示例地，如图17所示，在步骤S105中，控制单元从摄像头采集的图像中获取到了多个路面语义信息，例如包含：路面语义信息L0、路面语义信息L1和路面语义信息L2。那么，在步骤S301中，则可以分别计算L0、L1、L2的像素块的像素量，以得到L0的像素面积为S0＝W0×H0、L1的像素面积为S1＝W1×H1、L2的像素面积为S2＝W2×H2。
步骤S302，根据像素面积确定有效路面语义信息。
具体实现中，本申请实施例可以设置用于确定有效路面语义信息的一个像素面积下限阈值T1和一个像素面积上限阈值T2，控制单元使用下限阈值T1和上限阈值T2分别与每个路面语义信息的像素面积S(例如：S0、S1、S2等)进行比较，当T1<S<T2时，路面语义信息即为有效语义信息，当S<T1或者S>T2时，路面语义信息即为无效语义信息。其中，下限阈值T1和上限阈值T2可以是预先设置的值，也可以是动态生成的值。
在一个实施例中，当下限阈值T1和上限阈值T2为动态生成的值时，控制单元可以统计一段时间内所有路面语义信息的像素面积，得到像素面积的分布范围，然后在像素面积的分布范围中选取一定的范围作为有效路面语义信息的范围，进而确定下限阈值T1和上限阈值T2。
步骤S303，对有效路面语义信息建立有效路面语义信息集合。
其中，根据步骤S302确定的有效语义路面信息结果的不同，有效路面语义信息集合中包含的有效路面语义信息的数量也不同。例如：当步骤S302确定路面语义信息中不包含有效路面语义信息集合时，有效路面语义信息集合为空集合；当步骤S302确定一部分路面语义信息是有效路面语义信息时，有效路面语义信息集合是路面语义信息集合的子集，当步骤S302确定所有的路面语义信息都是有效路面语义信息时，有效路面语义信息集合与路面语义信息集合相同。
示例地，有效路面语义信息集合中的任意一个有效路面语义信息可以是如下形式：
ai＝[M，p1～pM，Kai]
其中，ai表示有效路面语义信息集合中的第i个有效路面语义信息，M表示ai包含的像素点的数量，Kai表示ai对应的语义类型值(例如路面标志的类型值)，不同的语义类型具有不同的类型值，p1～pM分别表示ai中第1至第M个像素点属于Kai的概率，p1～pM可由深度神经网络的输出结果得到。
以上步骤S301-步骤S303即为步骤S201示例性的可实现方式。
步骤S202，统一有效路面语义信息与视觉语义信息的坐标系。
具体实现中，控制单元可以根据当前估计位姿Pn将上述至少一个有效路面语义信息投影到局部定位地图的坐标系中，对于不同的采样点Cn来说，由于其当前估计位姿Pn不同，因此上述至少一个有效路面语义信息根据不同采样点Cn的当前估计位姿Pn进行投影之后，会在局部定位地图中对应不同的坐标分布。
在一个实施例中，局部定位地图可以使用GNSS坐标系等已知的坐标系，也可以单独具有自己的坐标系，例如控制单元可以以局部定位地图的中心点为原点，以水平方向和垂直方向为X轴和Y轴，建立局部定位地图的坐标系。
进一步地，在确定了局部定位地图的坐标系之后，控制单元可以通过矩阵变换的方式将有效路面语义信息从摄像头坐标系投影到局部定位地图的坐标系。其中，变换矩阵例如可以是一个大小为4×4的矩阵，其数学意义表示一次平移和一次旋转的空间变换过程，也就是说，有效路面语义信息中的任意像素点均可以经过一次平移和一次旋转投影到局部定位地图的坐标系中。空间点在不同坐标系之间的投影变换是导航定位领域的常见手段，此处不在赘述。
步骤S203，确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系。
步骤S203所要实现的目的是：对于有效路面语义信息集合中的任意一个有效路面语义信息ai(ai∈A)，从局部定位地图的视觉语义信息集合B中找到一个与ai语义关联的视觉语义信息bj(bj∈B)。
在一个实施例中，步骤S203如图18所示可以通过以下步骤S401-步骤S404实现：
步骤S401，计算有效路面语义信息ai的语义权值。
具体实现中，可以采用以下公式：
Figure BDA0002655277730000141
其中，
Figure BDA0002655277730000142
表示ai的语义权值，M表示ai包含的像素点的数量，pm表示ai中第m个像素点属于Kai的概率，Kai表示ai对应的语义类型值。
步骤S402，计算视觉语义信息bj的语义权值。
具体实现中，可以采用以下公式：
Figure BDA0002655277730000143
其中，
Figure BDA0002655277730000151
表示bj的语义权值，G表示bj包含的像素点的数量，pg表示bj中第g个像素点属于
Figure BDA0002655277730000152
的概率，
Figure BDA0002655277730000153
表示bj对应的语义类型值。
这里需要补充说明的是，在局部地图中，一个像素点是否属于路面标志或者道路交通标志是已知的，因此对于bj中第g个像素点来说，其pg值只有两种0和1两种可能，如果该像素点属于路面标志或者道路交通标志，那么其pg＝1，否则pg＝0。
步骤S403，根据有效路面语义信息ai的语义权值和视觉语义信息bj的语义权值的差值，确定有效路面语义信息ai和视觉语义信息bj的语义关联度。
具体实现中，对于任意有效路面语义信息ai和任意视觉语义信息bj，语义关联度Δw是有效路面语义信息ai和任意视觉语义信息bj的差值的绝对值，即采用以下公式：
Figure BDA0002655277730000154
步骤S404，当语义关联度小于预设第一阈值时，确定有效路面语义信息ai和视觉语义信息bj具有语义关联。
具体实现中，对于任意有效路面语义信息ai和任意视觉语义信息bj，如果其语义关联度Δw小于预设的第一阈值σ，则有效路面语义信息ai和任意视觉语义信息bj具有语义关联；如果其语义关联度Δw大于或者等于预设的第一阈值σ，则有效路面语义信息ai和任意视觉语义信息bj不具有语义关联。
本申请实施例通过多次执行步骤S401-步骤S404的操作，最终可以得到至少一对具有语义关联的有效路面语义信息和视觉语义信息，为便于描述，具有语义关联的有效路面语义信息和视觉语义信息可以被称作语义关联组。
以上步骤S401-步骤S404即为步骤S203示例性的可实现方式。
步骤S204，对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值。
具体实现中，步骤S204如图19所示可以通过以下步骤S501-步骤S503实现：
步骤S501，分别计算每一对语义关联的有效路面语义信息和视觉语义信息的匹配距离。
其中，对于每一对具有语义关联的有效路面语义信息和视觉语义信息，匹配距离可以是有效路面语义信息和视觉语义信息的欧几里得距离(即欧式距离)，或者余弦距离等，本申请实施例不做具体限定。
下面结合图20对欧几里得距离和余弦距离的数学意义进行说明。图20在局部定位地图的坐标系中示出了有效路面语义信息ai和视觉语义信息bj的位置。那么欧几里得距离是有效路面语义信息ai和视觉语义信息bj在局部定位地图的坐标系中的直线距离。余弦距离是有效路面语义信息ai和视觉语义信息bj与坐标系原点连线夹角αij的余弦值。
步骤S502，将各个匹配距离的加权求和得到总匹配距离。
为得到总匹配距离，步骤S502如图21所示可以通过以下步骤S601-步骤S602实现。
步骤S601，计算每个语义关联组的权重。
具体可以采用以下公式：
Figure BDA0002655277730000155
其中，K表示语义关联组的数量，w′k表示第k个语义关联组的权重，Δwk表示第k个语义关联组的语义关联度。
步骤S602，根据所有语义关联组的权重和匹配距离确定总匹配距离。
其中，可以分别将每个语义关联组的权重和匹配距离相乘，然后对所有的相乘结果求和，得到总匹配距离E，即采用以下公式：
Figure BDA0002655277730000161
其中，K表示语义关联组的数量，w′k表示第k个语义关联组的权重，Ek表示第k个语义关联组的匹配距离。
步骤S503，根据总匹配距离确定当前估计位姿Pn的第二权值
Figure BDA0002655277730000162
总匹配距离代表了基于视觉特征确定的车辆实际位姿与采样点Cn的当前估计位姿Pn之间的接近程度，而接近程度越高，第二权值
Figure BDA0002655277730000163
就越高，接近程度越低，第二权值
Figure BDA0002655277730000164
就越低。
在一个实施例中，当匹配距离是欧几里得距离时，总匹配距离的数值越小，表示基于视觉特征确定的车辆实际位姿与采样点Cn的当前估计位姿Pn之间的接近程度越高，因此相应的第二权值
Figure BDA0002655277730000165
越大；总匹配距离的数值越大，表示基于视觉特征确定的车辆实际位姿与采样点Cn的当前估计位姿Pn之间的接近程度越低，因此相应的第二权值
Figure BDA0002655277730000166
越小。
在一个实施例中，当匹配距离是余弦距离时，总匹配距离的数值越小，表示基于视觉特征确定的采样点Cn的实际位姿与当前预测位姿Pn之间的接近程度越高，因此相应的第二权值
Figure BDA0002655277730000167
越大；总匹配距离的数值越大，表示基于视觉特征确定的采样点Cn的实际位姿与当前预测位姿Pn之间的接近程度越低，因此相应的第二权值
Figure BDA0002655277730000168
越小。
基于上述总匹配距离与第二权值
Figure BDA0002655277730000169
之间的数值变换关系，控制单元可以采用任意的算法确定第二权值
Figure BDA00026552777300001610
本申请实施例对此不做限定。第二权值
Figure BDA00026552777300001611
的取值范围例如可以是[0，1]，或者其他范围，本申请实施例对此不做限定。示例地，第二权值
Figure BDA00026552777300001612
可以通过对总匹配距离取补、取倒数、数值范围归化等方式得到。
以上步骤S501-步骤S504即为步骤S204示例性的可实现方式。
步骤S105，根据所述N个采样点C1～CN的当前估计位姿P1-PN及其所述第一权值和所述第二权值，计算所述当前估计位姿P1-PN的加权平均值，以所述加权求平均值作为所述车辆的当前位姿。
具体实现中，步骤S105如图22所示可以通过以下步骤S701-步骤S703实现：
步骤S701，使用当前估计位姿P1-PN的第一权值对当前估计位姿P1-PN加权求平均，得到第一加权平均值。
在一个实施例中，第一加权平均值可以通过以下公式得到：
Figure BDA00026552777300001613
其中，Pl表示第一加权平均值，N为采样点的数量；Pn表示第n个采样点的当前估计位姿；
Figure BDA00026552777300001614
为第n个采样点的当前估计位姿对应的第一权值，
Figure BDA00026552777300001615
为采样点C1～CN的当前估计位姿P1-PN对应的第一权值
Figure BDA00026552777300001616
之和。
步骤S702，使用当前估计位姿P1-PN的第二权值对当前估计位姿P1-PN加权求平均，得到第二加权平均值。
在一个实施例中，第二加权平均值可以通过以下公式得到：
Figure BDA00026552777300001617
其中，Oc表示第二加权平均值，N为采样点的数量；Pn表示第n个采样点的当前估计位姿；
Figure BDA00026552777300001618
为第n个采样点的当前估计位姿对应的第二权值，
Figure BDA00026552777300001619
为采样点C1～CN的当前估计位姿P1-PN对应的第二权值
Figure BDA00026552777300001620
之和。
其中，步骤S701和步骤S702仅用于描述方法步骤，不代表步骤的先后顺序，一般来说，控制单元可以并行执行步骤S701和步骤S702，也可以先后执行S701和步骤S702。另外，本申请实施例中，第一加权平均值和第二加权平均值均为位姿。
步骤S703，对第一加权平均值和第二加权平均值加权求平均，得到加权平均值，以加权求平均值作为车辆的当前位姿。
具体实现中，车辆的定位结果可以通过以下公式得到：
P＝αl·Pl+αc·Pc (14)
其中，P为车辆的当前位姿，即定位***本次定位输出的车辆实际位姿；Pl表示第一加权平均值，Pc表示第二加权平均值；αl表示第一加权平均值的权值，αc表示第二加权平均值的权值，αl+αc＝1。其中，αl和αc的取值可以根据实际需求确定，αl或αc的数值越大，表示第一加权平均值或第二加权平均值的权重越高。具体实践时，如果技术人员希望以激光特征主导定位结果，则可以增大αl的取值，例如αl取值为0.7、0.8等；如果技术人员希望以视觉特征主导定位结果，则可以增大αc的取值，例如αc取值为0.7、0.8等；如果技术人员希望激光特征和视觉特征对定位结果起到均等的作用，则αl和αc的取值可以均为0.5。
可以理解的是，在步骤S101-步骤S105执行完成之后，定位***即完成了一次完整的定位过程。在车辆的行驶过程中，由于车辆的位姿时刻变化，定位过程也是不断进行的。
可以理解的是，受里程计误差或者其他因素的影响，随着定位次数的增加，采样点的分布可能会出现发散的现象。其中，采样点的发散条件可以由本领域技术人员自行设置，例如：当有预设比例的采样点对应的当前估计位姿的第二权值低于预设阈值时，认为采样点发散；或者，当有预设比例的采样点对应的当前估计位姿的第一权值低于预设阈值时，认为采样点发散。当采样点发散时，控制单元可以重新选与之前数量相同的采样点，本申请实施例对重选采样点的方式同样不做限定，例如：在第一权值和/或者第二权值较高的一个或者多个当前估计位姿周围选取一定比例(例如：90％)的采样点，在GNSS/INS组合模块输出的位姿周围选取剩余比例(例如：10％)的采样点。另外，控制单元还可以周期性地重选采样点，例如每隔100个定位帧作为一个重选周期，重选采样点。
本申请实施例提供的定位方法，能够分别基于激光特征的匹配确定当前估计位姿的第一权值，基于视觉语义信息和路面语义信息的匹配(即视觉特征的匹配)确定当前估计位姿的第二权值，然后根据的第一权值和第二权值对当前估计位姿加权求平均，得到车辆的定位结果，从而实现了将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合，提高了定位效率。并且，本申请实施例提供的定位方法将激光特征和视觉语义信息编码存储在同一张定位地图中，实现了地图数据的融合，降低了定位过程中产生的数据开销和计算开销。
上述本申请提供的实施例对定位方法的各方案进行了介绍。可以理解的是，定位***为了实现上述功能，可以包含执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在一个实施例中，定位***可以通过如图8所示的硬件结构实现相应的功能，该定位***可以安装在车辆中，一些器件的安装方式可以如图4所示。其中，GNSS/INS组合模块130，用于确定车辆的初始位姿；存储器190，用于存储定位地图，定位地图包括相互拼接的多张定位图片，定位图片包括色彩通道，色彩通道存储有第一激光特征的编码和视觉语义信息的编码；激光雷达110，用于采集点云数据，点云数据包含第二激光特征；摄像头120，用于采集图像数据，图像数据包含至少一个路面语义信息；控制单元140，用于在初始位姿周围生成N个采样点C1～CN，N为正整数；控制单元140，还用于根据车辆的当前预测位姿从定位地图中提取第一激光特征和至少一个视觉语义信息；控制单元140，还用于对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定当前估计位姿Pn的第一权值，第二激光特征是从激光雷达采集的点云数据中提取的；控制单元140，还用于对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值，至少一个路面语义信息是从摄像头采集的图像数据中提取的；控制单元140，还用于根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿。
在一个实施例中，定位图片包括第一色彩通道，第一色彩通道用于存储视觉语义信息的编码。
在一个实施例中，定位图片还包括第二色彩通道，第二色彩通道用于存储第一激光特征的编码。
在一个实施例中，视觉语义信息的编码包括标志位、类型编码和亮度编码中的至少一种；标志位用于表示路面标志的类型，类型编码用于表示路面标志的内容，亮度信息编码用于表示图片的亮度信息。
在一个实施例中，当控制单元140用于根据车辆的当前预测位姿从定位地图中提取至少一个视觉语义信息时：控制单元140，具体用于根据当前预测位姿从定位地图中提取局部定位地图，局部定位地图包含M张定位图片，M张定位图片包含当前预测位姿所在的第一图片，以及第一图片附近的M-1张第二图片，M为大于1的正整数；控制单元140，还用于从局部定位地图中提取至少一个视觉语义信息。
在一个实施例中，当控制单元140用于对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值时：控制单元140，具体用于从至少一个路面语义信息中确定至少一个有效路面语义信息，每一个有效路面语义信息的像素数量在预设范围内；控制单元140，还用于根据当前估计位姿Pn将至少一个有效路面语义信息投影到局部定位地图的坐标系中；控制单元140，还用于确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系；控制单元140，还用于对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值。
在一个实施例中，当控制单元140用于确定至少一个有效路面语义信息和至少一个视觉语义信息的语义关联关系时：控制单元140，具体用于计算任意有效路面语义信息ai的语义权值和任意视觉语义信息bj的语义权值；控制单元140，还用于根据有效路面语义信息ai的语义权值和视觉语义信息bj的语义权值的差值，确定有效路面语义信息ai和视觉语义信息bj的语义关联度；控制单元140，还用于当语义关联度小于预设第一阈值时，确定有效路面语义信息ai和视觉语义信息bj具有语义关联。
在一个实施例中，当控制单元140用于对每一对语义关联的有效路面语义信息和视觉语义信息进行语义匹配，根据语义匹配结果确定第二权值时：控制单元140，具体用于分别计算每一对语义关联的有效路面语义信息和视觉语义信息的匹配距离；控制单元140，还用于将计算得到的各个匹配距离的加权求和得到总匹配距离；控制单元140，还用于根据总匹配距离确定第二权值。
在一个实施例中，当控制单元140用于根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿时：控制单元140，具体用于使用当前估计位姿P1-PN的第一权值对当前估计位姿P1-PN加权求平均，得到第一加权平均值；控制单元140，还用于使用当前估计位姿P1-PN的第二权值对当前估计位姿P1-PN加权求平均，得到第二加权平均值；控制单元140，还用于对第一加权平均值和第二加权平均值加权求平均，得到加权平均值，以加权求平均值作为车辆的当前位姿。
在一个实施例中，路面语义信息包括：包含有至少一个路面标志的像素块、像素块的像素数量、每个像素所属的路面标志的类型。
在一个实施例中，定位***还包括里程计180；控制单元140，还用于根据里程计180数据确定车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿；控制单元140，还用于将采样点Cn在第一历史时刻t-1对应的预测位姿与相对位姿相加得到当前预测位姿。
在一个实施例中，控制单元140，还用于当有预设比例的第一权值或者第二权值低于第二阈值时，重新生成N个采样点C1～CN。
在另一个实施例中，定位***可以通过图23所示的软件模块实现相应的功能。如图23所示，定位***可以包括采样点生成模块810、提取模块820、第一匹配模块830、第二匹配模块840、求解模块850。下面对上述模块的功能进行具体说明：
采样点生成模块810，用于确定车辆的初始位姿，在初始位姿周围生成N个采样点C1～CN，N为正整数；
提取模块820，用于根据车辆的当前预测位姿从定位地图中提取第一激光特征和至少一个视觉语义信息。
第一匹配模块830，用于对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定当前估计位姿Pn的第一权值，第二激光特征是从激光雷达采集的点云数据中提取的。
第二匹配模块840，用于对于任意采样点Cn，根据当前估计位姿Pn，将至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定当前估计位姿Pn的第二权值，至少一个路面语义信息是从摄像头采集的图像数据中提取的。
求解模块850，用于根据N个采样点C1～CN的当前估计位姿P1-PN及其第一权值和第二权值，计算当前估计位姿P1-PN的加权平均值，以加权求平均值作为车辆的当前位姿。
其中，定位地图包括相互拼接的多张定位图片，定位图片包括色彩通道，第一激光特征的编码和视觉语义信息的编码存储在色彩通道中。
本申请实施例提供的定位***，能够分别基于激光特征的匹配确定当前估计位姿的第一权值，基于视觉语义信息和路面语义信息的匹配(即视觉特征的匹配)确定当前估计位姿的第二权值，然后根据的第一权值和第二权值计算当前估计位姿的加权平均值，以加权求平均值作为车辆的当前位姿，从而实现了将基于激光特征匹配的激光定位技术和基于视觉特征匹配的视觉定位技术进行融合，提高了定位效率。并且，本申请实施例提供的技术方案将激光特征和视觉语义信息编码存储在同一张定位地图中，实现了地图数据的融合，降低了定位过程中产生的数据开销和计算开销。
本申请实施例还提供了一种车辆，该车辆可以包含前述各实施例提供的定位***，并且用户执行前述各个实施例提供的定位方法。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面的方法。
以上的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims (27)

1.一种定位方法，其特征在于，包括：
确定车辆的初始位姿，在所述初始位姿周围生成N个采样点C1～CN，N为正整数；
根据所述车辆的当前预测位姿从定位地图中提取第一激光特征和至少一个视觉语义信息；对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定所述当前估计位姿Pn的第一权值，所述第二激光特征是从激光雷达采集的点云数据中提取的；以及，
对于任意采样点Cn，根据所述当前估计位姿Pn，将所述至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定所述当前估计位姿Pn的第二权值，所述至少一个路面语义信息是从摄像头采集的图像数据中提取的；
根据所述N个采样点C1～CN的当前估计位姿P1-PN及其所述第一权值和所述第二权值，计算所述当前估计位姿P1-PN的加权平均值，以所述加权求平均值作为所述车辆的当前位姿；
其中，所述定位地图包括相互拼接的多张定位图片，所述定位图片包括色彩通道，所述第一激光特征的编码和所述视觉语义信息的编码存储在所述色彩通道中。
2.根据权利要求1所述的方法，其特征在于，所述定位图片包括第一色彩通道，所述第一色彩通道用于存储所述视觉语义信息的编码。
3.根据权利要求2所述的方法，其特征在于，所述定位图片还包括第二色彩通道，所述第二色彩通道用于存储所述第一激光特征的编码。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述视觉语义信息的编码包括标志位、类型编码和亮度编码中的至少一种；所述标志位用于表示路面标志的类型，所述类型编码用于表示路面标志的内容，所述亮度信息编码用于表示图片的亮度信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述至少一个视觉语义信息通过以下步骤提取：
根据所述当前预测位姿从所述定位地图中提取局部定位地图，所述局部定位地图包含M张定位图片，所述M张定位图片包含所述当前预测位姿所在的第一图片，以及所述第一图片附近的M-1张第二图片，M为大于1的正整数；
从所述局部定位地图中提取所述至少一个视觉语义信息。
6.根据权利要求5所述的方法，其特征在于，所述对于任意采样点Cn，根据所述当前估计位姿Pn，将所述至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定所述当前估计位姿Pn的第二权值，包括：
从所述至少一个路面语义信息中确定至少一个有效路面语义信息，每一个所述有效路面语义信息的像素数量在预设范围内；
根据所述当前估计位姿Pn将所述至少一个有效路面语义信息投影到所述局部定位地图的坐标系中；
确定所述至少一个有效路面语义信息和所述至少一个视觉语义信息的语义关联关系；
对每一对语义关联的所述有效路面语义信息和所述视觉语义信息进行语义匹配，根据语义匹配结果确定所述第二权值。
7.根据权利要求6所述的方法，其特征在于，所述确定所述至少一个有效路面语义信息和所述至少一个视觉语义信息的语义关联关系，包括：
计算任意有效路面语义信息ai的语义权值和任意视觉语义信息bj的语义权值；
根据所述有效路面语义信息ai的语义权值和所述视觉语义信息bj的语义权值的差值，确定所述有效路面语义信息ai和所述视觉语义信息bj的语义关联度；
当所述语义关联度小于预设第一阈值时，确定所述有效路面语义信息ai和所述视觉语义信息bj具有语义关联。
8.根据权利要求6或7所述的方法，其特征在于，所述对每一对语义关联的所述有效路面语义信息和所述视觉语义信息进行语义匹配，根据语义匹配结果确定所述第二权值，包括：
分别计算每一对语义关联的所述有效路面语义信息和所述视觉语义信息的匹配距离；
将计算得到的各个所述匹配距离的加权求和得到总匹配距离；
根据所述总匹配距离确定所述第二权值。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述根据所述N个采样点C1～CN的当前估计位姿P1-PN及其所述第一权值和所述第二权值，计算所述当前估计位姿P1-PN的加权平均值，以所述加权求平均值更新所述当前预测位姿，包括：
使用所述当前估计位姿P1-PN的所述第一权值对所述当前估计位姿P1-PN加权求平均，得到第一加权平均值；
使用所述当前估计位姿P1-PN的所述第二权值对所述当前估计位姿P1-PN加权求平均，得到第二加权平均值；
对所述第一加权平均值和所述第二加权平均值加权求平均，得到所述加权平均值，以所述加权求平均值作为所述车辆的当前位姿。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述路面语义信息包括：包含有至少一个路面标志的像素块、所述像素块的像素数量、每个像素所属的路面标志的类型。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述当前预测位姿通过以下步骤确定：
根据里程计数据确定车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿；
将所述采样点Cn在所述第一历史时刻t-1对应的预测位姿与所述相对位姿相加得到所述当前预测位姿。
12.根据权利要求1-11任一项所述的方法，其特征在于，还包括：
当有预设比例的所述第一权值或者所述第二权值低于第二阈值时，重新生成所述N个采样点C1～CN。
13.一种定位***，其特征在于，包括：
安装于车辆的GNSS/INS组合模块、控制单元、存储器、激光雷达和摄像头；
所述GNSS/INS组合模块，用于确定车辆的初始位姿；
所述存储器，用于存储定位地图，所述定位地图包括相互拼接的多张定位图片，所述定位图片包括色彩通道，所述色彩通道存储有第一激光特征的编码和视觉语义信息的编码；
所述激光雷达，用于采集点云数据，所述点云数据包含第二激光特征；
所述摄像头，用于采集图像数据，所述图像数据包含至少一个路面语义信息；
所述控制单元，用于在所述初始位姿周围生成N个采样点C1～CN，N为正整数；
所述控制单元，还用于根据所述车辆的当前预测位姿从定位地图中提取第一激光特征和至少一个视觉语义信息；
所述控制单元，还用于对于任意采样点Cn，n为正整数，n≤N，根据其对应的当前估计位姿Pn，将提取自定位地图的第一激光特征与第二激光特征进行匹配，以确定所述当前估计位姿Pn的第一权值，所述第二激光特征是从激光雷达采集的点云数据中提取的；
所述控制单元，还用于对于任意采样点Cn，根据所述当前估计位姿Pn，将所述至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定所述当前估计位姿Pn的第二权值，所述至少一个路面语义信息是从摄像头采集的图像数据中提取的；
所述控制单元，还用于根据所述N个采样点C1～CN的当前估计位姿P1-PN及其所述第一权值和所述第二权值，计算所述当前估计位姿P1-PN的加权平均值，以所述加权求平均值作为所述车辆的当前位姿。
14.根据权利要求13所述的定位***，其特征在于，所述定位图片包括第一色彩通道，所述第一色彩通道用于存储所述视觉语义信息的编码。
15.根据权利要求13所述的定位***，其特征在于，所述定位图片还包括第二色彩通道，所述第二色彩通道用于存储所述第一激光特征的编码。
16.根据权利要求13-15任一项所述的定位***，其特征在于，所述视觉语义信息的编码包括标志位、类型编码和亮度编码中的至少一种；所述标志位用于表示路面标志的类型，所述类型编码用于表示路面标志的内容，所述亮度信息编码用于表示图片的亮度信息。
17.根据权利要求13-16任一项所述的定位***，其特征在于，当所述控制单元用于根据所述车辆的当前预测位姿从定位地图中提取所述至少一个视觉语义信息时：
所述控制单元，具体用于根据所述当前预测位姿从所述定位地图中提取局部定位地图，所述局部定位地图包含M张定位图片，所述M张定位图片包含所述当前预测位姿所在的第一图片，以及所述第一图片附近的M-1张第二图片，M为大于1的正整数；
所述控制单元，还用于从所述局部定位地图中提取所述至少一个视觉语义信息。
18.根据权利要求13所述的定位***，其特征在于，当所述控制单元用于对于任意采样点Cn，根据所述当前估计位姿Pn，将所述至少一个视觉语义信息与至少一个路面语义信息进行匹配，以确定所述当前估计位姿Pn的第二权值时：
所述控制单元，具体用于从所述至少一个路面语义信息中确定至少一个有效路面语义信息，每一个所述有效路面语义信息的像素数量在预设范围内；
所述控制单元，还用于根据所述当前估计位姿Pn将所述至少一个有效路面语义信息投影到所述局部定位地图的坐标系中；
所述控制单元，还用于确定所述至少一个有效路面语义信息和所述至少一个视觉语义信息的语义关联关系；
所述控制单元，还用于对每一对语义关联的所述有效路面语义信息和所述视觉语义信息进行语义匹配，根据语义匹配结果确定所述第二权值。
19.根据权利要求18所述的定位***，其特征在于，当所述控制单元用于确定所述至少一个有效路面语义信息和所述至少一个视觉语义信息的语义关联关系时：
所述控制单元，具体用于计算任意有效路面语义信息ai的语义权值和任意视觉语义信息bj的语义权值；
所述控制单元，还用于根据所述有效路面语义信息ai的语义权值和所述视觉语义信息bj的语义权值的差值，确定所述有效路面语义信息ai和所述视觉语义信息bj的语义关联度；
所述控制单元，还用于当所述语义关联度小于预设第一阈值时，确定所述有效路面语义信息ai和所述视觉语义信息bj具有语义关联。
20.根据权利要求18或19所述的定位***，其特征在于，当所述控制单元用于对每一对语义关联的所述有效路面语义信息和所述视觉语义信息进行语义匹配，根据语义匹配结果确定所述第二权值时：
所述控制单元，具体用于分别计算每一对语义关联的所述有效路面语义信息和所述视觉语义信息的匹配距离；
所述控制单元，还用于将计算得到的各个所述匹配距离的加权求和得到总匹配距离；
所述控制单元，还用于根据所述总匹配距离确定所述第二权值。
21.根据权利要求13-20任一项所述的定位***，其特征在于，当所述控制单元用于根据所述N个采样点C1～CN的当前估计位姿P1-PN及其所述第一权值和所述第二权值，计算所述当前估计位姿P1-PN的加权平均值，以所述加权求平均值作为所述车辆的当前位姿时：
所述控制单元，具体用于使用所述当前估计位姿P1-PN的所述第一权值对所述当前估计位姿P1-PN加权求平均，得到第一加权平均值；
所述控制单元，还用于使用所述当前估计位姿P1-PN的所述第二权值对所述当前估计位姿P1-PN加权求平均，得到第二加权平均值；
所述控制单元，还用于对所述第一加权平均值和所述第二加权平均值加权求平均，得到所述加权平均值，以所述加权求平均值作为车辆的当前位姿。
22.根据权利要求13-21任一项所述的定位***，其特征在于，所述路面语义信息包括：包含有至少一个路面标志的像素块、所述像素块的像素数量、每个像素所属的路面标志的类型。
23.根据权利要求13-21任一项所述的定位***，其特征在于，还包括：里程计；
所述控制单元，还用于根据里程计数据确定车辆在当前时刻t和第一历史时刻t-1之间产生的相对位姿；
所述控制单元，还用于将所述采样点Cn在所述第一历史时刻t-1对应的预测位姿与所述相对位姿相加得到所述当前预测位姿。
24.根据权利要求13-23任一项所述的定位***，其特征在于，
所述控制单元，还用于当有预设比例的所述第一权值或者所述第二权值低于第二阈值时，重新生成所述N个采样点C1～CN。
25.一种车辆，其特征在于，包括如权利要求13-24任一项所述的定位***。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-12任一项所述的方法。
27.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-12任一项所述的方法。
CN202010884916.3A 2020-08-28 2020-08-28 一种定位方法、定位***和车辆 Pending CN114200481A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010884916.3A CN114200481A (zh) 2020-08-28 2020-08-28 一种定位方法、定位***和车辆
PCT/CN2021/082388 WO2022041706A1 (zh) 2020-08-28 2021-03-23 一种定位方法、定位***和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010884916.3A CN114200481A (zh) 2020-08-28 2020-08-28 一种定位方法、定位***和车辆

Publications (1)

Publication Number Publication Date
CN114200481A true CN114200481A (zh) 2022-03-18

Family

ID=80354480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010884916.3A Pending CN114200481A (zh) 2020-08-28 2020-08-28 一种定位方法、定位***和车辆

Country Status (2)

Country Link
CN (1) CN114200481A (zh)
WO (1) WO2022041706A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294527A (zh) * 2022-08-09 2022-11-04 中铁隧道局集团有限公司 一种基于计算机视觉的地铁隧道破损检测方法
CN115965682A (zh) * 2022-12-16 2023-04-14 镁佳(北京)科技有限公司 一种车辆可通行区域确定方法、装置及计算机设备
CN116559928A (zh) * 2023-07-11 2023-08-08 新石器慧通（北京）科技有限公司 激光雷达的位姿信息确定方法、装置、设备及存储介质
WO2024066980A1 (zh) * 2022-09-26 2024-04-04 华为云计算技术有限公司 一种重定位方法以及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115435795B (zh) * 2022-09-21 2024-05-03 苏州轻棹科技有限公司 一种基于环视图像和语义地图的车辆定位方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9989969B2 (en) * 2015-01-19 2018-06-05 The Regents Of The University Of Michigan Visual localization within LIDAR maps
CN105865449B (zh) * 2016-04-01 2020-05-05 深圳市杉川机器人有限公司 基于激光和视觉的移动机器人的混合定位方法
US10816654B2 (en) * 2016-04-22 2020-10-27 Huawei Technologies Co., Ltd. Systems and methods for radar-based localization
CN108732603B (zh) * 2017-04-17 2020-07-10 百度在线网络技术（北京）有限公司 用于定位车辆的方法和装置
EP3656138A4 (en) * 2017-07-17 2021-05-12 Kaarta, Inc. ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES
CN109781119B (zh) * 2017-11-15 2020-01-21 百度在线网络技术（北京）有限公司 一种激光点云定位方法和***
CN108319976B (zh) * 2018-01-25 2019-06-07 北京三快在线科技有限公司 建图方法及装置
CN111323004B (zh) * 2018-12-16 2022-05-13 北京魔门塔科技有限公司 初始位置的确定方法及车载终端
CN109752724A (zh) * 2018-12-26 2019-05-14 珠海市众创芯慧科技有限公司 一种图像激光一体式导航定位***
CN109887003B (zh) * 2019-01-23 2021-11-19 亮风台（上海）信息科技有限公司 一种用于进行三维跟踪初始化的方法与设备
CN110389348B (zh) * 2019-07-30 2020-06-23 四川大学 基于激光雷达与双目相机的定位与导航方法及装置
CN110986966B (zh) * 2019-12-17 2021-06-22 苏州智加科技有限公司 一种用于长距离隧道的自动驾驶定位方法及***
CN111429574B (zh) * 2020-03-06 2022-07-15 上海交通大学 基于三维点云和视觉融合的移动机器人定位方法和***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294527A (zh) * 2022-08-09 2022-11-04 中铁隧道局集团有限公司 一种基于计算机视觉的地铁隧道破损检测方法
WO2024066980A1 (zh) * 2022-09-26 2024-04-04 华为云计算技术有限公司 一种重定位方法以及装置
CN115965682A (zh) * 2022-12-16 2023-04-14 镁佳(北京)科技有限公司 一种车辆可通行区域确定方法、装置及计算机设备
CN115965682B (zh) * 2022-12-16 2023-09-01 镁佳(北京)科技有限公司 一种车辆可通行区域确定方法、装置及计算机设备
CN116559928A (zh) * 2023-07-11 2023-08-08 新石器慧通（北京）科技有限公司 激光雷达的位姿信息确定方法、装置、设备及存储介质
CN116559928B (zh) * 2023-07-11 2023-09-22 新石器慧通（北京）科技有限公司 激光雷达的位姿信息确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2022041706A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
US11676296B2 (en) Augmenting reality using semantic segmentation
CN114200481A (zh) 一种定位方法、定位***和车辆
US10929713B2 (en) Semantic visual landmarks for navigation
EP3137850B1 (en) Method and system for determining a position relative to a digital map
WO2019092149A1 (en) Automatic occlusion detection in road network data
US11231283B2 (en) Localization with neural network based image registration of sensor data and map data
WO2019092418A1 (en) Method of computer vision based localisation and navigation and system for performing the same
CA3029124A1 (en) Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation
US11280630B2 (en) Updating map data
WO2020186444A1 (zh) 物体检测方法、电子设备与计算机存储介质
CN113916242A (zh) 车道定位方法和装置、存储介质及电子设备
US20230222671A1 (en) System for predicting near future location of object
GB2609060A (en) Machine learning-based framework for drivable surface annotation
Jiménez et al. Improving the lane reference detection for autonomous road vehicle control
US11754415B2 (en) Sensor localization from external source data
US11821752B2 (en) Method for localizing and enhancing a digital map by a motor vehicle; localization device
EP4285083A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
US20240104757A1 (en) Systems and methods for using image data to identify lane width
CN114341939A (zh) 作为数据增强方法的真实世界图像道路曲率生成
Bao et al. Vehicle positioning with the integration of scene understanding and 3D map in urban environment
CN111754388A (zh) 一种建图方法及车载终端
CN114730521A (zh) 使用统计模型的碰撞监测
CN115917255A (zh) 基于视觉的位置和转弯标记预测
Li et al. Improving Vehicle Localization with Lane Marking Detection Based on Visual Perception and Geographic Information
US20240101147A1 (en) Systems and methods for using image data to analyze an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination