CN110147094A - 一种基于车载环视***的车辆定位方法及车载终端 - Google Patents

一种基于车载环视***的车辆定位方法及车载终端 Download PDF

Info

Publication number
CN110147094A
CN110147094A CN201811330157.5A CN201811330157A CN110147094A CN 110147094 A CN110147094 A CN 110147094A CN 201811330157 A CN201811330157 A CN 201811330157A CN 110147094 A CN110147094 A CN 110147094A
Authority
CN
China
Prior art keywords
pose
vehicle
target
signature
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811330157.5A
Other languages
English (en)
Inventor
李天威
谢国富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co Ltd
Original Assignee
Beijing Initial Speed Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Initial Speed Technology Co Ltd filed Critical Beijing Initial Speed Technology Co Ltd
Priority to CN201811330157.5A priority Critical patent/CN110147094A/zh
Publication of CN110147094A publication Critical patent/CN110147094A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

一种基于车载环视***的车辆定位方法及车载终端，该方法包括：从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿。实施本发明实施例，能够在卫星定位信号缺失或者较弱的情况下，只利用摄像头提供的视觉信息，完成车辆定位，从而可以提高自动驾驶时车辆定位的准确率。

Description

一种基于车载环视***的车辆定位方法及车载终端
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种基于车载环视***的车辆定位方法及车载终端。
背景技术
在自动驾驶导航过程中，需要对车辆位置进行实时定位，当前市面上提供的车辆实时定位方案有：基于卫星导航***的车辆定位方案。利用卫星导航***给出的卫星定位信息，结合惯性测量单元等传感器的测量数据，可以得到较为准确的车辆定位位置。
然而，在实践中发现，在上述基于卫星导航的车辆定位方案中，当车辆驶入地下车库等特殊环境时，难以接收到卫星定位信号；并且，如果只依靠惯性测量单元的测量数据进行定位计算，容易产生累积误差，此时车辆定位的准确率较低，难以满足自动驾驶对定位精度的要求。
发明内容
本发明实施例公开了一种基于车载环视***的车辆定位方法及车载终端，能够提高自动驾驶时车辆定位的精度。
本发明实施例第一方面公开一种基于车载环视***的车辆定位方法，所述方法包括：
从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第一方面中，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：
获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
对所述多张目标图像进行拼接，得到俯视拼接图；
将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；
其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
作为一种可选的实施方式，在本发明实施例第一方面中，
所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；
判断所述第一误差是否小于指定阈值；
当所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
当所述第一误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿；
或者，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断所述第二误差是否小于指定阈值；
当所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
当所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第一方面中，在所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，所述方法还包括：
以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
以及，所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
作为一种可选的实施方式，在本发明实施例第一方面中，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
本发明实施例第二方面公开一种车载终端，包括：
识别单元，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
匹配单元，用于从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；
确定单元，用于根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第二方面中，所述识别单元，包括：
获取子单元，用于获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
拼接子单元，用于对所述多张目标图像进行拼接，得到俯视拼接图；
识别子单元，用于将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；
其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
作为一种可选的实施方式，在本发明实施例第二方面中，所述确定单元，包括：
第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
第二计算子单元，用于计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；或者，计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断子单元，用于判断所述第一误差或者所述第二误差是否小于指定阈值；
调整子单元，用于在所述判断子单元判断出所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的操作；或者，在所述判断子单元判断出所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的操作；
确定子单元，用于在所述判断子单元判断出所述第一误差或者所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
作为一种可选的实施方式，在本发明实施例第二方面中，所述车载终端还包括：
位姿计算单元，用于在所述第一计算子单元根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的方式具体为：
所述第一计算子单元，用于以位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
所述第一计算子单元，用于根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的方式具体为：
所述第一计算子单元，用于以所述位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
作为一种可选的实施方式，在本发明实施例第二方面中，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
本发明实施例第三方面公开一种车载终端，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的任一项方法。
本发明第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比，本发明的发明点及实现的有益效果：
1、利用多个摄像头组成摄像头的环视***，根据摄像头环视***拍摄车辆四周的环境，结合自动驾驶导航电子地图，可以利用环境中的特征在图像中的位置以及这些特征在地图中的位置确定出车辆当前时刻的位姿。实施本发明实施例，可以只利用视觉信息完成车辆定位，并且基于环视的摄像头设置方案，单次图像信息采集即可获得车辆四周的环境信息，从而可以使得车辆定位的精度较高。
2、利用神经网络从俯视拼接图中识别出预设的视觉特征，以利用视觉特征进行定位。相比传统的图像识别算法，采用识别网络识别视觉特征可以使得特征的识别更加准确。先对采集到的目标图像进行拼接，再对俯视拼接图进行视觉特征提取，相比逐张提取的方案，可以加快特征提取的速度。
3、利用惯性测量单元和轮速计的采集数据建立运动模型，结合车辆在上一时刻的位姿预估出车辆在当前时刻的预估位姿，并以预估位姿为初值，迭代调整车辆位姿的取值，直至得到一个精度较高的定位结果，可以进一步提高车辆实时定位的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于车载环视***的车辆定位方法的流程示意图；
图2是本发明实施例公开的另一种基于车载环视***的车辆定位方法的流程示意图；
图3是本发明实施例公开的一种停车场的自动驾驶导航电子地图的示例图；
图4是本发明实施例公开的一种车载终端的结构示意图；
图5是本发明实施例公开的另一种车载终端的结构示意图；
图6是本发明实施例公开的另一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于车载环视***的车辆定位方法及车载终端，能够提高自动驾驶时车辆定位的准确率。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于车载环视***的车辆定位方法的流程示意图。其中，图1所描述的基于车载环视***的车辆定位方法适用于车载电脑、车载工业控制计算机(Industrial personal Computer， IPC)等车载终端，本发明实施例不做限定。如图1所示，该基于车载环视***的车辆定位方法可以包括以下步骤：
101、车载终端从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征。
本发明实施例中，车载终端可以与摄像头进行数据传输，摄像头可以按照一定的频率采集图像，并将采集到的图像传输至车载终端，以供车载终端对图像进行处理。此外，上述的多个摄像头具体可以为分别设置于车辆的前、后、左、右四个方向上的摄像头，每个摄像头的取景范围至少包括该摄像头下方的地面。本发明实施例中，在当前时刻，每个摄像头都可以拍摄到至少一张目标图像，多个摄像头一共拍摄到的目标图像的数量至少不低于摄像头的数量。作为一种可选的实施方式，上述的摄像头可以为鱼眼摄像头，鱼眼摄像头的视场(Field OF View，FOV)较大，从而可以使得单个鱼眼摄像头拍摄到的目标图像中尽可能多地包括车辆的周边环境，提高目标图像中包含的信息量，这也属于本发明的发明点之一。
本发明实施例中，视觉特征可以为经过经验筛选具有特殊含义并有助于车辆定位的图像语义特征。作为一种可选的实施方式，视觉特征可以为地面上的车道线、库位线、库位点、车道箭头等，本发明实施例不做限定。每张目标图像中可能存在多个视觉特征，也可能不存在视觉特征，因此，本发明实施例采用多张目标图像进行车辆定位，多张目标图像之间可以进行信息互补，提高定位***的稳定性，这也属于本发明的发明点之一。
此外，车载终端对于每个摄像头拍摄到的每张目标图像，均进行视觉特征的识别。可选的，车载终端识别某一张目标图像中视觉特征的方式具体可以为：车载终端通过深度学习或图像分割等图像识别算法从目标图像中识别出视觉特征，本发明实施例不做限定。
102、车载终端从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征。
本发明实施例中，自动驾驶导航电子地图是预先构建的电子地图，特别的，自动驾驶导航电子地图可以为二维图像，并且该地图由多个图像语义特征构建而成。举例来说，请一并参阅图3，图3是本发明实施例公开的一种停车场的自动驾驶导航电子地图，地图中可以包括停车场的车道线、库位线、库位点等特征。
作为一种可选的实施方式，各个图像语义特征在自动驾驶导航电子地图中的位置可以使用基于世界坐标系的绝对坐标进行表示，具体的坐标值可以通过全球卫星定位***(Global Positioning System，GPS)测量得出。作为另一种可选的实施方式，各个图像语义特征在自动驾驶导航电子地图中的位置还可以使用相对坐标进行表示，即每个图像语义特征相对于预设的坐标原点的相对位置，该坐标原点可以根据不同的场景设定。举例来说，在构建自动驾驶导航电子地图时，可以将停车场的入口设置为坐标原点，对于每个用于构建自动驾驶导航电子地图的图像语义特征，均测量该图像语义特征相对于停车场入口的相对位置。
本发明实施例中，对于自动驾驶导航电子地图中的某一个图像语义特征，当车辆途经该特征所在位置时，车辆的摄像头可能拍摄到包含该特征的目标图像。因此，车载终端识别与目标图像中的视觉特征相匹配的目标特征时，具体可以使用尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速稳健特征((Speeded Up RobustFeatures，SURF)等图像匹配算法从自动驾驶导航电子地图中识别出与目标图像中的视觉特征相匹配的目标特征，具体的匹配算法本发明实施例不做限定。
103、车载终端根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿。
本发明实施例中，车辆在当前时刻的位姿包括车辆在当前时刻的位置和姿态。可以理解的是，如果自动驾驶导航电子地图中各个图像语义特征的位置使用绝对坐标进行表示，那么车辆在当前时刻的位置也相应地使用绝对坐标进行表示；如果自动驾驶导航电子地图中各个图像语义特征的位置使用相对坐标进行标识，那么车辆在当前时刻的位置也相应地使用相对坐标进行表示。
对于自动驾驶导航电子地图中的某一目标特征，与之相匹配的视觉特征实际为该目标特征在摄像头成像平面(即拍摄得到的目标图像)上的投影，具体的投影位置根据摄像头拍摄到目标头像时车辆的位姿确定。因此，可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿。根据从目标图像中识别出的多个视觉特征以及每个视觉特征相匹配的目标特征在自动驾驶导航电子地图中的位置，可以计算出车辆在当前时刻的多个位姿，车载终端可以进一步根据车辆在当前时刻的多个位姿，计算出一个在当前时刻车辆最终的位姿。
可见，在图1所描述的方法中，车载终端可以识别多个摄像头拍摄到的多张目标图像中的视觉特征，并且从预先构建的自动驾驶导航电子地图中识别出与上述的视觉特征相匹配的多个目标特征，从而可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿，可以在不依赖卫星定位信号的情况下得到精度较高的车辆定位结果。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于车载环视***的车辆定位方法。如图2所示，该基于车载环视***的车辆定位方法可以包括以下步骤：
201、车载终端获取多个摄像头在当前时刻拍摄到的多张目标图像。
202、车载终端对多张目标图像进行拼接，得到俯视拼接图。
本发明实施例中，车载终端按照一定的映射规则，将目标图像投影到地平面上，并根据各个目标图像之间可能存在的重叠区域，对多张目标图像进行拼接，得到包含以车辆为中心360的环境信息的俯视拼接图。
203、车载终端将俯视拼接图输入至语义特征检测模型，并基于该语义特征检测模型的输出结果，确定俯视拼接图中的视觉特征。
本发明实施例中，语义特征检测模型可以为适用于深度学习的神经网络模型，该模型采用标注有视觉特征的样本图像作为模型输入训练得到。
该神经网络模型如下：该网络结构采用Encoder-Decoder模型，主要包括两个部分：编码(Encoder)部分和解码(Decoder)部分。
本发明实施例中将拼接好的图像输入至网络中，其中编码部分网络主要通过卷积和池化层提取图像的特征。网络通过有标记大规模样本的训练，调整网络参数使得编码网络准确的语义特征和非语义特征。编码网络通过两次卷积提取特征之后，通过池化进行下采样。通过级联四个两层卷积加一层池化的结构使得编码网络顶层的神经元的感受野能够覆盖本发明示例中的不同尺度的语义元素。
解码网络是与编码网络对称的结构，其中编码网络的池化层改为上采样层。在解码部分中经过四次上采样，将编码抽取的特征放大到原图尺寸，从而实现像素语义分类。上采样是通过反卷积实现的，这种操作能够得到输入数据的大部分信息，但仍会造成部分信息的丢失，因此我们引入了底层的特征来补充解码过程中丢失的细节。这些底层特征主要来自编码网络中不同尺度的卷积层，在同一个尺度上编码网络卷积层提取的特征正好可以与反卷积合并生成更准确度的特征图。网络训练主要采用交叉熵来来衡量网络的预测值与实际值的差异，交叉熵公式如下：
其中y为图像元素的标记值，即图像的一个像素是语义元素还是非语义元素，一般用1表示语义元素，0表示非语义元素；n为图像的像素总数，x 为输入，a为神经元的输出a＝σ(z),z＝∑jwjxj+b，它可以克服网络权值更新过慢的问题。网络模型训练完成之后，在本发明示例实际使用时，网络针对输入图像的每一个像素都进行预测，输出每个像素对应的属性值为0或是1，标记为1的图像元素的连通块即为有意义的语义图像结构，至此实现了图像的语义分割。上述网络结构是针对拼接图像语义特征提取而专门设计的，保证语义特征提取的准确，属于本发明的发明点之一。此外，先对目标图像进行拼接，再从俯视拼接图中提取图像语义特征，而非逐张提取目标图像中的图像语义特征，可以提高图像语义特征的提取效率，也属于本发明的发明点之一。
204、车载终端从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征。
205、车载终端以车辆在上一时刻的位姿为基准，结合运动模型计算车辆在当前时刻的预估位姿。
本发明实施例中，车载终端可以根据一定的频率定时计算车辆的定位位姿，上述的运动模型可以由车辆的惯性测量单元(Inertial Measurement Unit， IMU)和/或轮速计采集的数据确定得到。六轴惯性测量单元可以测量车辆的三轴加速度和角速率，轮速计可以测量车辆的车轮转速；根据车辆上一时刻的位姿，利用惯性测量单元和/或轮速计的测量数据对时间进行积分，可以计算出车辆在当前时刻的预估位姿。实施上述的实施方式，本发明构建了一个基于IMU数据和/或论速计数据的运动模型。与匀速模型(即相邻两个时刻车辆的相对运动速度相同)相比，该运动模型的精度高于匀速模型的精度，可以更好地表征车辆实际的运动情况。然而，由于积分的误差会随着时间的增加而逐渐积累为了进一步提高最终的车辆定位位姿的精度，本发明可以根据由上述的运动模型计算出的预估位姿确定出车辆定位位姿的估计范围，从而在该范围内进一步确定出精度较高的定位位姿。这也属于本发明的发明点之一。
206、车载终端以上述的预估位姿的取值作为估计位姿的初值。
207、车载终端根据估计位姿的当前取值以及上述的视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置。
本发明实施例中，当车载终端首次计算视觉特征的映射位置时，使用步骤205确定出的预估位姿的取值作为估计位姿的初值；当车辆终端执行下述的步骤209判断出映射位置和实际位置之间的误差大于或等于指定阈值，并且调整了估计位姿的取值之后，车载终端执行步骤207使用的估计位姿的当前取值为调整之后的值。在另一些可能的实施例中，车载终端可以使用任意的取值作为估计位姿的初值。
208、车载终端计算视觉特征的映射位置与目标特征在自动驾驶导航电子地图中的实际位置之间的第一误差。
209、车载终端判断该第一误差是否小于指定阈值，如果是，执行步骤 210，如果否，调整估计位姿的取值并继续执行步骤207。
本发明实施例中，当误差小于指定阈值时，可以认为该误差是可以被接受的，此时定位的精度较高。
210、车载终端根据估计位姿的当前取值确定车辆在当前时刻的位姿。
本发明实施例中，执行上述的步骤206～步骤209，车载终端可以根据目标特征在自动驾驶导航电子地图中的位置、视觉特征在目标图像中的位置确定车辆在当前时刻的位姿，具体地可以使用步骤204确定出的预估位姿的取值作为车辆在i时刻的位姿信息Pi的初值，并不断迭代调整Pi的取值，直至视觉特征在地图中的映射位置与目标特征的实际位置之间的误差最小，并将误差最小时Pi的取值确定为车辆在当前时刻的位姿。
本发明实施例中，作为另一种可选的实施方式，上述的步骤207～步骤 209可以替换成以下步骤：
车载终端根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
车载终端计算目标特征的投影位置与视觉特征在目标图像中的实际位置之间的第二误差；
车载终端判断第二误差是否小于指定阈值，如果是，执行步骤210，如果否，调整估计位姿的取值并继续执行根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的步骤。
上述的步骤具体可以表述为以下的数学模型：
Pi＝argmin(||Xij-f(Pi，Aj)||)；
其中，Pi为i时刻车辆的位姿信息，Aj为第j个目标特征在自动驾驶电子导航地图中的位置，Xij为与上述的第j个目标特征相匹配的视觉特征在目标图像中的位置，f(，)为投影方程，用于将Aj投影到Pi的成像平面，使其投影结果成为和Xij一样形式的表达，从而能得到估计位姿的当前取值映射的观测和实际观测的误差，通过非线性优化的方式优化摄像头位姿(即车辆位姿) 和观测来迭代地降低误差，以求得最大似然的位姿。也就是说，在本发明实施例中，还可以使用步骤204确定出的预估位姿的取值作为车辆在i时刻的位姿信息Pi的初值，并不断迭代调整Pi的取值，直至目标特征在图像中的投影位置与视觉特征的实际位置之间的误差最小，并将误差最小时Pi的取值确定为车辆在当前时刻的位姿。结合上述的数据模型可以看出，本发明实施例在确定出定位位姿的估计范围之后，进一步采用数值优化的算法确定出精度较高的车辆定位位姿，也属于本发明的发明点之一。
可见，在图2所描述的方法中，车载终端可以使用经过训练的神经网络模型从俯视拼接图中识别出视觉特征，可以快速准确的从图像中提取出预设的视觉特征。进一步地，车载终端还可以根据惯性测量单元和/或轮速计的测量数据建立运动模型，结合运动模型计算出车辆当前时刻的预估位姿，并将预估位姿的取值作为估计位姿的初值，通过不断迭代调整估计位姿的取值，最终确定出精度较高的车辆定位位姿。
实施例三
请参阅图4，图4是本发明实施例公开的一种车载终端的结构示意图。如图4所示，该车载终端可以包括：
识别单元401，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征。
本发明实施例中，上述的多个摄像头具体可以为分别设置于车辆的前、后、左、右四个方向上的摄像头，每个摄像头的取景范围至少包括该摄像头下方的地面。视觉特征可以为经过经验筛选具有特殊含义并有助于车辆定位的图像语义特征。作为一种可选的实施方式，视觉特征可以为地面上的车道线、库位线、库位点、车道箭头等，本发明实施例不做限定。每张目标图像中可能存在多个视觉特征，也可能不存在视觉特征，因此，本发明实施例采用多张目标图像进行车辆定位，多张目标图像之间可以进行信息互补，提高定位***的稳定性。可选的，识别单元401可以通过深度学习或图像分割等图像识别算法从目标图像中识别出视觉特征。
匹配单元402，用于从自动驾驶导航电子地图中识别出与识别单元401 识别出的视觉特征相匹配的目标特征。
本发明实施例中，匹配单元402具体可以使用SIFT、SURF等图像匹配算法从驾驶导航电子地图中识别出与目标图像中的视觉特征相匹配的目标特征，具体的匹配算法本发明实施例不做限定。
确定单元403，用于根据匹配单元402识别出的目标特征在自动驾驶导航电子地图中的位置以及识别单元401识别出的视觉特征在目标图像中的位置确定车辆在当前时刻的位姿。
本发明实施例中，根据从目标图像中识别出的多个视觉特征以及每个视觉特征相匹配的目标特征在自动驾驶导航电子地图中的位置，确定单元403 可以计算出车辆在当前时刻的多个位姿，进一步地，确定单元403可以根据车辆在当前时刻的多个位姿，计算出一个在当前时刻车辆最终的位姿。
可见，实施图4所示的车载终端，可以识别多个摄像头拍摄到的多张目标图像中的视觉特征，并且从预先构建的自动驾驶导航电子地图中识别出与上述的视觉特征相匹配的多个目标特征，从而可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在目标图像中的位置确定车辆在当前时刻的位姿，可以在不依赖卫星定位信号的情况下得到精度较高的车辆定位结果。
实施例四
请参阅图5，图5是本发明实施例公开的另一种车载终端的结构示意图。其中，图5所示的车载终端是由图4所示的车载终端进行优化得到的。如图 5所示，该车载终端中，上述的识别单元401，可以包括：
获取子单元4011，用于获取多个摄像头在当前时刻拍摄到的多张目标图像。
拼接子单元4012，用于对获取子单元4011获取到的多张目标图像进行拼接，得到俯视拼接图。
识别子单元4013，用于将拼接子单元4012得到的俯视拼接图输入至语义特征检测模型，并基于该语义特征检测模型的输出结果，确定俯视拼接图中的视觉特征。其中，上述的语义特征检测模型为采用标注有视觉特征的样本图像作为模型输入训练得到的神经网络模型。该神经网络模型的结构如实施例二所述，本发明实施例不再赘述。
可选的，在本发明实施例中，上述的确定单元403，可以包括：
第一计算子单元4031，用于根据估计位姿的取值以及识别单元401识别出的视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及匹配单元402识别出的目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置；
第二计算子单元4032，用于计算第一计算子单元4031确定出的视觉特征的映射位置与匹配单元402识别出的目标特征在自动驾驶导航电子地图中的实际位置之间的第一误差；或者，用于计算计算第一计算子单元4031确定出的目标特征的投影位置与识别单元401识别出的视觉特征在目标图像中的实际位置之间的第二误差；
判断子单元4033，用于判断第二计算子单元计算出的第一误差或者第二误差是否小于指定阈值；
调整子单元4034，用于在判断子单元4033判断出上述的第一误差大于或等于指定阈值时，调整估计位姿的取值，并触发第一计算子单元4031执行根据估计位姿的取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置的操作；或者，在判断子单元4033判断出上述的第二误差大于或等于指定阈值时，调整估计位姿的取值，并触发第一计算子单元4031执行根据估计位姿的取值以及匹配单元402识别出的目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置的操作；
确定子单元4035，用于在在判断子单元4033判断出上述的第一误差或者第二误差小于指定阈值时，根据估计位姿的当前取值确定车辆在当前时刻的位姿。
进一步可选的，在图5所示的车载终端中，还可以包括：
位姿计算单元404，用于在第一计算子单元4031根据估计位姿的取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置之前，以车辆在上一时刻的位姿为基准，结合运动模型计算车辆在当前时刻的预估位姿；其中，上述的上一时刻为在时间上在当前时刻之前的时刻，上述的运动模型由车辆的惯性测量单元和/或轮速计采集的数据确定得到。
本发明实施例中，惯性测量单元可以测量车辆的三轴加速度和角速率，轮速计可以测量车辆的车轮转速，位姿计算单元404具体可以利用惯性测量单元和/或轮速计的测量数据对时间进行积分，计算出车辆在当前时刻的预估位姿。
相应地，上述的第一计算子单元4031用于根据估计位姿的取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置的方式具体为：
第一计算子单元4031，用于以位姿计算单元404计算出的预估位姿的取值作为估计位姿的初值，并根据估计位姿的当前取值以及视觉特征在目标图像中的位置计算视觉特征映射至自动驾驶导航电子地图中的映射位置；
以及，第一计算子单元4031用于根据估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置的方式具体可以为：
第一计算子单元4031，用于以位姿计算单元404计算出的预估位姿的取值作为估计位姿的初值，并根据估计位姿的当前取值以及目标特征在自动驾驶导航电子地图中的位置计算目标特征投影至目标图像中的投影位置。
可见，在本发明实施例中，位姿计算单元404可以计算预估位姿的取值，第一计算子单元4031以预估位姿的取值作为估计位姿的初值，并根据第一计算子单元4031、判断子单元4033和调整子单元4034执行的相应操作，不断迭代调整估计位姿的取值，直至视觉特征的映射位置和目标特征的实际位置之间的误差最小。当误差最小时，确定子单元4035根据估计位姿的当前取值确定车辆在当前时刻的位姿，从而可以计算出一个精度较高的车辆定位位姿。
综上所述，实施图5所示的车载终端，可以使用经过训练的神经网络模型从俯视拼接图中识别出视觉特征，从而快速准确的从图像中提取出预设的视觉特征。进一步地，还可以根据惯性测量单元和/或轮速计的测量数据建立运动模型，结合运动模型计算出车辆当前时刻的预估位姿，并将预估位姿的取值作为估计位姿的初值，通过不断迭代调整估计位姿的取值，最终确定出精度较高的车辆定位位姿。
实施例五
请参阅图6，图6是本发明实施例公开的另一种车载终端的结构示意图。如图6所示，该车载终端可以包括：
存储有可执行程序代码的存储器601；
与存储器601耦合的处理器602；
其中，处理器602调用存储器601中存储的可执行程序代码，执行图1 或图2所示的基于车载环视***的车辆定位方法。
需要说明的是，图6所示的车载终端还可以包括电源、扬声器、屏幕、 Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1或图2所示的基于车载环视***的车辆定位方法。
本发明实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行图1或图2所示的基于车载环视***的车辆定位方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器 (One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory， EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于车载环视***的车辆定位方法及车载终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于车载环视***的车辆定位方法，其特征在于，包括：
从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿。
2.根据权利要求1所述的基于车载环视***的车辆定位方法，其特征在于，所述从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征，包括：
获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
对所述多张目标图像进行拼接，得到俯视拼接图；
将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；
其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
3.根据权利要求1或2所述的基于车载环视***的车辆定位方法，其特征在于，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；
判断所述第一误差是否小于指定阈值；
当所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
当所述第一误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿；
或者，所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿，包括：
根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断所述第二误差是否小于指定阈值；
当所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
当所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
4.根据权利要求3所述的基于车载环视***的车辆定位方法，其特征在于，在所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，所述方法还包括：
以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿，并执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
以及，所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置，包括：
以所述预估位姿的取值作为所述估计位姿的初值；
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
5.根据权利要求1～4任一项所述的基于车载环视***的车辆定位方法，其特征在于，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
6.一种车载终端，其特征在于，包括：
识别单元，用于从车辆的多个摄像头在当前时刻拍摄到的多张目标图像中识别出预设的视觉特征；
匹配单元，用于从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征；
确定单元，用于根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述目标图像中的位置确定所述车辆在当前时刻的位姿。
7.根据权利要求6所述的车载终端，其特征在于，所述识别单元，包括：
获取子单元，用于获取所述多个摄像头在当前时刻拍摄到的多张目标图像；
拼接子单元，用于对所述多张目标图像进行拼接，得到俯视拼接图；
识别子单元，用于将所述俯视拼接图输入至语义特征检测模型，并基于所述语义特征检测模型的输出结果，确定所述俯视拼接图中的视觉特征；
其中，所述语义特征检测模型为采用标注有所述视觉特征的样本图像作为模型输入训练得到的神经网络模型。
8.根据权利要求6或7所述的车载终端，其特征在于，所述确定单元，包括：
第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；或者，根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置；
第二计算子单元，用于计算所述视觉特征的所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差；或者，计算所述目标特征的所述投影位置与所述视觉特征在所述目标图像中的实际位置之间的第二误差；
判断子单元，用于判断所述第一误差或者所述第二误差是否小于指定阈值；
调整子单元，用于在所述判断子单元判断出所述第一误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的操作；或者，在所述判断子单元判断出所述第二误差大于或等于所述指定阈值时，调整所述估计位姿的取值，并触发所述第一计算子单元执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的操作；
确定子单元，用于在所述判断子单元判断出所述第一误差或者所述第二误差小于所述指定阈值时，根据所述估计位姿的当前取值确定所述车辆在当前时刻的位姿。
9.根据权利要求8所述的车载终端，其特征在于，所述车载终端还包括：
位姿计算单元，用于在所述第一计算子单元根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前，以所述车辆在上一时刻的位姿为基准，结合运动模型计算所述车辆在所述当前时刻的预估位姿；所述上一时刻为在时间上在所述当前时刻之前的时刻，所述运动模型由所述车辆的惯性测量单元和/或轮速计采集的数据确定得到；
以及，所述第一计算子单元，用于根据估计位姿的取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的方式具体为：
所述第一计算子单元，用于以位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述视觉特征在所述目标图像中的位置计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置；
所述第一计算子单元，用于根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置的方式具体为：
所述第一计算子单元，用于以所述位姿计算单元计算出的所述预估位姿的取值作为所述估计位姿的初值，并根据所述估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置计算所述目标特征投影至所述目标图像中的投影位置。
10.根据权利要求6～9任一项所述的车载终端，其特征在于，所述视觉特征至少包括：车道线、库位线、库位点、车道箭头中的一种或多种。
CN201811330157.5A 2018-11-08 2018-11-08 一种基于车载环视***的车辆定位方法及车载终端 Pending CN110147094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811330157.5A CN110147094A (zh) 2018-11-08 2018-11-08 一种基于车载环视***的车辆定位方法及车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811330157.5A CN110147094A (zh) 2018-11-08 2018-11-08 一种基于车载环视***的车辆定位方法及车载终端

Publications (1)

Publication Number Publication Date
CN110147094A true CN110147094A (zh) 2019-08-20

Family

ID=67588454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811330157.5A Pending CN110147094A (zh) 2018-11-08 2018-11-08 一种基于车载环视***的车辆定位方法及车载终端

Country Status (1)

Country Link
CN (1) CN110147094A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567475A (zh) * 2019-09-19 2019-12-13 北京地平线机器人技术研发有限公司 导航方法、装置、计算机可读存储介质及电子设备
CN110967018A (zh) * 2019-11-25 2020-04-07 斑马网络技术有限公司 停车场定位方法、装置、电子设备及计算机可读介质
CN111508258A (zh) * 2020-04-17 2020-08-07 北京三快在线科技有限公司 一种定位方法及装置
CN111750891A (zh) * 2020-08-04 2020-10-09 博泰车联网(南京)有限公司 用于信息处理的方法、计算设备和计算机存储介质
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及***
WO2020253842A1 (zh) * 2019-06-20 2020-12-24 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
CN112446915A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112530270A (zh) * 2019-09-17 2021-03-19 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
CN112577513A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 一种状态量误差确定方法及车载终端
CN112577512A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 一种基于轮速融合的状态量误差确定方法及车载终端
CN112749584A (zh) * 2019-10-29 2021-05-04 北京初速度科技有限公司 一种基于图像检测的车辆定位方法及车载终端
CN112837365A (zh) * 2019-11-25 2021-05-25 北京初速度科技有限公司 一种基于图像的车辆定位方法及装置
CN114111774A (zh) * 2021-12-06 2022-03-01 纵目科技（上海）股份有限公司 车辆的定位方法、***、设备及计算机可读存储介质
CN114323020A (zh) * 2021-12-06 2022-04-12 纵目科技（上海）股份有限公司 车辆的定位方法、***、设备及计算机可读存储介质
WO2022116572A1 (zh) * 2020-12-02 2022-06-09 魔门塔(苏州)科技有限公司 一种目标定位方法及装置
CN115359460A (zh) * 2022-10-20 2022-11-18 小米汽车科技有限公司 用于车辆的图像识别方法、装置、车辆和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008566A (zh) * 2007-01-18 2007-08-01 上海交通大学 基于地面纹理的智能车视觉装置及其全局定位方法
CN104833370A (zh) * 2014-02-08 2015-08-12 本田技研工业株式会社 用于映射、定位和位姿校正的***和方法
US20170249751A1 (en) * 2016-02-25 2017-08-31 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位***和自动驾驶车辆
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法
CN108537197A (zh) * 2018-04-18 2018-09-14 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法
US20200124421A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for estimating position

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008566A (zh) * 2007-01-18 2007-08-01 上海交通大学 基于地面纹理的智能车视觉装置及其全局定位方法
CN104833370A (zh) * 2014-02-08 2015-08-12 本田技研工业株式会社 用于映射、定位和位姿校正的***和方法
US20170249751A1 (en) * 2016-02-25 2017-08-31 Technion Research & Development Foundation Limited System and method for image capture device pose estimation
CN107328411A (zh) * 2017-06-30 2017-11-07 百度在线网络技术（北京）有限公司 车载定位***和自动驾驶车辆
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法
CN108537197A (zh) * 2018-04-18 2018-09-14 吉林大学 一种基于深度学习的车道线检测预警装置及预警方法
US20200124421A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for estimating position

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董海鹰: "3.自动编码器", 《智能控制理论及应用》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020253842A1 (zh) * 2019-06-20 2020-12-24 杭州海康威视数字技术股份有限公司 一种车辆位姿确定方法、装置及电子设备
CN112446915B (zh) * 2019-08-28 2024-03-29 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112446915A (zh) * 2019-08-28 2021-03-05 北京初速度科技有限公司 一种基于图像组的建图方法及装置
CN112530270B (zh) * 2019-09-17 2023-03-14 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
CN112530270A (zh) * 2019-09-17 2021-03-19 北京初速度科技有限公司 一种基于区域分配的建图方法及装置
CN110567475B (zh) * 2019-09-19 2023-09-29 北京地平线机器人技术研发有限公司 导航方法、装置、计算机可读存储介质及电子设备
CN110567475A (zh) * 2019-09-19 2019-12-13 北京地平线机器人技术研发有限公司 导航方法、装置、计算机可读存储介质及电子设备
CN112577513A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 一种状态量误差确定方法及车载终端
CN112577512A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 一种基于轮速融合的状态量误差确定方法及车载终端
CN112749584B (zh) * 2019-10-29 2024-03-15 北京魔门塔科技有限公司 一种基于图像检测的车辆定位方法及车载终端
CN112749584A (zh) * 2019-10-29 2021-05-04 北京初速度科技有限公司 一种基于图像检测的车辆定位方法及车载终端
CN112837365B (zh) * 2019-11-25 2023-09-12 北京魔门塔科技有限公司 一种基于图像的车辆定位方法及装置
CN112837365A (zh) * 2019-11-25 2021-05-25 北京初速度科技有限公司 一种基于图像的车辆定位方法及装置
CN110967018B (zh) * 2019-11-25 2024-04-12 斑马网络技术有限公司 停车场定位方法、装置、电子设备及计算机可读介质
CN110967018A (zh) * 2019-11-25 2020-04-07 斑马网络技术有限公司 停车场定位方法、装置、电子设备及计算机可读介质
CN111508258A (zh) * 2020-04-17 2020-08-07 北京三快在线科技有限公司 一种定位方法及装置
CN111750891B (zh) * 2020-08-04 2022-07-12 上海擎感智能科技有限公司 用于信息处理的方法、计算设备和计算机存储介质
CN111750891A (zh) * 2020-08-04 2020-10-09 博泰车联网(南京)有限公司 用于信息处理的方法、计算设备和计算机存储介质
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及***
WO2022116572A1 (zh) * 2020-12-02 2022-06-09 魔门塔(苏州)科技有限公司 一种目标定位方法及装置
CN114323020B (zh) * 2021-12-06 2024-02-06 纵目科技（上海）股份有限公司 车辆的定位方法、***、设备及计算机可读存储介质
CN114111774A (zh) * 2021-12-06 2022-03-01 纵目科技（上海）股份有限公司 车辆的定位方法、***、设备及计算机可读存储介质
CN114323020A (zh) * 2021-12-06 2022-04-12 纵目科技（上海）股份有限公司 车辆的定位方法、***、设备及计算机可读存储介质
CN114111774B (zh) * 2021-12-06 2024-04-16 纵目科技（上海）股份有限公司 车辆的定位方法、***、设备及计算机可读存储介质
CN115359460A (zh) * 2022-10-20 2022-11-18 小米汽车科技有限公司 用于车辆的图像识别方法、装置、车辆和存储介质

Similar Documents

Publication Publication Date Title
CN110147094A (zh) 一种基于车载环视***的车辆定位方法及车载终端
CN110136199A (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN107742311B (zh) 一种视觉定位的方法及装置
US10319107B2 (en) Remote determination of quantity stored in containers in geographical region
JP6926335B2 (ja) 深層学習における回転可変物体検出
CN110148170A (zh) 一种应用于车辆定位的定位初始化方法及车载终端
CN111856963B (zh) 一种基于车载环视***的泊车仿真方法及装置
CN105608417B (zh) 交通信号灯检测方法及装置
CN108256411A (zh) 由摄像机图像车辆定位的方法和***
CN108168539A (zh) 一种基于计算机视觉的盲人导航方法、装置及***
CN105955308A (zh) 一种飞行器的控制方法和装置
CN110136058A (zh) 一种基于俯视拼接图的建图方法及车载终端
CN103929597A (zh) 一种辅助拍摄的方法及其装置
CN109073385A (zh) 一种基于视觉的定位方法及飞行器
CN111104867A (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN112771576A (zh) 位置信息获取方法、设备及存储介质
CN110832494A (zh) 一种语义生成方法、设备、飞行器及存储介质
EP3537310A1 (en) Methods for navigating through a set of images
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及***
CN110799983A (zh) 一种地图生成方法、设备、飞行器及存储介质
CN109740479A (zh) 一种车辆重识别方法、装置、设备及可读存储介质
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
CN112766206A (zh) 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN114972646B (zh) 一种实景三维模型独立地物的提取与修饰方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220303

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20190820

RJ01 Rejection of invention patent application after publication