CN110207714A - 一种确定车辆位姿的方法、车载***及车辆 - Google Patents

一种确定车辆位姿的方法、车载***及车辆 Download PDF

Info

Publication number
CN110207714A
CN110207714A CN201910576519.7A CN201910576519A CN110207714A CN 110207714 A CN110207714 A CN 110207714A CN 201910576519 A CN201910576519 A CN 201910576519A CN 110207714 A CN110207714 A CN 110207714A
Authority
CN
China
Prior art keywords
pose
vehicle
conversion
monocular cam
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910576519.7A
Other languages
English (en)
Other versions
CN110207714B (zh
Inventor
柴文楠
刘中元
蒋少峰
李良
周建
潘力澜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201910576519.7A priority Critical patent/CN110207714B/zh
Publication of CN110207714A publication Critical patent/CN110207714A/zh
Application granted granted Critical
Publication of CN110207714B publication Critical patent/CN110207714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种确定车辆位姿的方法、用于车载***及车辆,根据各单目***的位姿输出融合以得到车辆的融合位姿,从而提高车辆的位姿估计精度。本发明实施例方法包括:获取车辆的第一惯性导航信息和第一汽车里程计信息;根据第一惯性导航信息和第一汽车里程计信息,确定车辆的第一当前估计位姿;获取车辆的N个单目摄像头外参,N为大于1的整数;根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;根据所述N个转换位姿,得到所述车辆的融合位姿。

Description

一种确定车辆位姿的方法、车载***及车辆
技术领域
本发明涉及智能汽车技术领域,具体涉及确定车辆位姿的方法、车载***及车辆。
背景技术
在自动驾驶领域,单目视觉同步定位与地图创建(Simultaneous Localizationand Mapping,SLAM)是指自动驾驶车辆利用单个视觉传感器(如单目摄像头)创建一个与真实环境相一致的地图,并同时确定自身在地图中的位置。
单目视觉同步定位与建图(simultaneous localization and mapping,SLAM)与惯性导航***融合可以对车辆进行定位。但单目摄像头的视野范围通常有限,有时会因检测到的图像特征或视差太少,影响单目SLAM定位的精度和连续性。
发明内容
本发明实施例提供了一种确定车辆位姿的方法、车载***及车辆,用于可以根据车辆的多个单目摄像头的外参得到转换位姿,进行融合,得到车辆的融合位姿,从而,提高车辆的位姿估计精度。
有鉴于此,本发明第一方面提供了一种确定车辆位姿的方法,可以包括:
获取车辆的第一惯性导航信息和第一汽车里程计信息;
根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;
获取所述车辆的N个单目摄像头外参,N为大于1的整数;
根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;
对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;
根据所述N个转换位姿,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
所述根据所述N个车辆的转换位姿,得到所述车辆的融合位姿,包括:
根据所述N个转换位姿和所述车辆的第一当前估计位姿,确定各个转换位姿的权重;
根据所述各个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
所述根据所述N个车辆的转换位姿,得到所述车辆的融合位姿,包括:
根据预置算法和所述N个转换位姿,确定每个转换位姿的权重;
根据所述每个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,所述方法还包括:
根据所述N个单目摄像头外参,将所述惯导里程计输出信息与各单目摄像头的SLAM算法融合,构建N个单目摄像头视觉特征地图。
可选的,在本发明的一些实施例中,所述方法还包括:
根据所述N个单目摄像头视觉特征地图中共同的车辆轨迹,将所述N个单目摄像头视觉特征地图融合为参考视觉特征地图。
可选的,在本发明的一些实施例中,所述获取所述车辆的N个单目摄像头外参,包括:
获取视觉里程计信息;
根据所述视觉里程计信息和所述车辆的第一当前估计位姿,确定所述车辆的N个单目摄像头外参。
可选的,在本发明的一些实施例中,所述方法还包括:
获取所述车辆的第二惯性导航信息和第二汽车里程计信息;
根据所述车辆的融合位姿、所述车辆的第二惯性导航信息和第二汽车里程计信息,确定所述车辆的第二当前估计位姿。
本发明第二方面提供一种车载***,可以包括:
获取模块,用于获取车辆的第一惯性导航信息和第一汽车里程计信息;获取所述车辆的N个单目摄像头外参,N为大于1的整数;
处理模块,用于根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;根据所述N个转换位姿,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
所述处理模块,具体用于根据所述N个转换位姿和所述车辆的第一当前估计位姿,确定各个转换位姿的权重;根据所述各个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
所述处理模块,具体用于根据预置算法和所述N个转换位姿,确定每个转换位姿的权重;根据所述每个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
所述处理模块,还用于根据所述N个单目摄像头外参,将所述惯导里程计输出信息与各单目摄像头的SLAM算法融合,构建N个单目摄像头视觉特征地图。
可选的,在本发明的一些实施例中,
所述处理模块,还用于根据所述N个单目摄像头视觉特征地图中共同的车辆轨迹,将所述N个单目摄像头视觉特征地图融合为参考视觉特征地图。
可选的,在本发明的一些实施例中,
所述获取模块,具体用于获取视觉里程计信息;根据所述视觉里程计信息和所述车辆的第一当前估计位姿,确定所述车辆的N个单目摄像头外参。
可选的,在本发明的一些实施例中,
所述获取模块,还用于获取所述车辆的第二惯性导航信息和第二汽车里程计信息;
所述处理模块,还用于根据所述车辆的融合位姿、所述车辆的第二惯性导航信息和第二汽车里程计信息,确定所述车辆的第二当前估计位姿。
本发明第三方面提供一种车辆,可以包括如本发明第二方面及第二方面任一可选方式中所述的车载***。
本发明第四方面提供一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种确定车辆位姿的方法。
从以上技术方案可以看出,本发明实施例具有以下优点:
在本发明实施例中,获取车辆的第一惯性导航信息和第一汽车里程计信息;根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;获取所述车辆的N个单目摄像头外参,N为大于1的整数;根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;根据所述N个转换位姿,得到所述车辆的融合位姿。可以根据车辆的多个单目摄像头的外参得到转换位姿,进行融合,得到车辆的融合位姿,从而,提高车辆的位姿估计精度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,还可以根据这些附图获得其它的附图。
图1为本发明实施例中确定车辆位姿的方法的一个实施例示意图;
图2为本发明实施例所应用的一个工作流程示意图;
图3为本发明实施例中车载***的一个实施例示意图;
图4为本发明实施例中车辆的一个实施例示意图;
图5为本发明实施例中车载***的一个实施例示意图。
具体实施方式
本发明实施例提供了一种确定车辆位姿的方法、车载***及车辆,用于可以根据车辆的多个单目摄像头的外参得到转换位姿,进行融合,得到车辆的融合位姿,从而,提高车辆的位姿估计精度。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,都应当属于本发明保护的范围。
下面对本发明实施例中所涉及的专业术语做一个简单的说明:
惯性导航***(INS,以下简称惯导)是一种不依赖于外部信息、也不向外部辐射能量的自主式导航***,包括惯性测量单元。其工作环境不仅包括空中、地面,还可以在水下。惯导的基本工作原理是以牛顿力学定律为基础,通过测量载体在惯性参考系的加速度,将它对时间进行积分,且把它变换到导航坐标系中,就能够得到在导航坐标系中的速度、偏航角和位置等信息。
汽车里程计:指(如装在汽车上的)测量行程的装置,例如轮脉冲计数器。
需要说明的是,在本发明实施例中,通常将惯性导航***和汽车里程计简称为惯导里程计。
针对现有技术的缺陷,本发明提出一种基于多单目摄像头进行多单目SLAM与惯导融合的方法用于改进车辆位姿估计的方案。下面以实施例的方式,对本发明技术方案做进一步的说明,如图1所示,为本发明实施例中确定车辆位姿的方法的一个实施例示意图,可以包括:
101、获取车辆的第一惯性导航信息和第一汽车里程计信息。
车载***获取车辆的第一惯性导航信息和第一汽车里程计信息。
示例性的,车辆上可以装设有惯性测量单元(Inertial measurement unit,IMU)、轮脉冲计数器等传感器,这些传感器可以作为车辆的定位模块(如车身里程计)计算车辆的行驶距离,进一步地还可以对车辆进行位置定位。如图2所示,为本发明图1所示实施例所应用的一个工作流程示意图。
102、根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿。
车载***根据所述第一惯性导航信息和所述第一汽车里程计信息,预估计所述车辆在全局坐标系下的第一当前估计位姿。
其中,第一惯性导航信息可以包括通过积分提供姿态、速度及位置变化信息,利用卡尔曼滤波等算法与汽车里程计所提供的位移信息融合,可以确定所述车辆在全局坐标系下的第一当前估计位姿。
103、获取所述车辆的N个单目摄像头外参,N为大于1的整数。
所述获取所述车辆的N个单目摄像头外参,可以包括:获取视觉里程计信息;根据所述视觉里程计信息和所述车辆的第一当前估计位姿,确定所述车辆的N个单目摄像头外参。进一步的,根据所述视觉里程计信息和所述车辆的第一当前估计位姿,利用在线外参标定算法(如手眼标定法),确定所述车辆的N个单目摄像头外参。
其中,可以理解的是,单目摄像头外参表示的是单目摄像头的坐标系相对车辆惯性坐标系的旋转信息和平移信息。
需要说明的是,单目摄像头可以为设置于车辆前挡风玻璃或者设置于车辆后视镜的单个单目摄像头。即如果在车辆上安装了超过一个单目摄像头,如前视、后视、侧视,都适用于本发明所提供的技术方案。
可选的,车载电子设备从车辆的单目摄像头拍摄到的真实环境图像序列中确定出至少两个初始帧,并通过车辆的定位模块获取在至少两个初始帧的拍摄时刻之间车辆的实际移动距离。
本发明实施例中,单目摄像头可以为设置于车辆前挡风玻璃或者设置于车辆后视镜的单目摄像头。初始帧为用于单目视觉SLAM初始化的图像帧,通过对比相同的特征点在至少两个初始帧中的图像位置的差距,确定单目摄像头在初始帧之间的相对位姿变化,从而完成单目视觉SLAM初始化。可以理解的是,为了提高单目视觉SLAM初始化的成功率,初始帧应该满足一定要求。比如,可以设定初始帧为特征点数目分别大于预设阈值(如100)的两个连续的图像帧。
单目视觉SLAM初始化包括以下步骤:1、在至少两个初始帧中进行特征点匹配;2、基于已匹配的特征点,利用对几何原理可以根据初始帧确定出的单目摄像头的帧间位姿,即单目摄像头在初始帧之间的相对位姿变化(包括平移量和旋转量);3、基于单目摄像头在至少两个初始帧之间的帧间位姿,利用三角测量原理确定图像中特征点的深度;4、根据单目摄像头在至少两个初始帧之间的帧间位姿,以及图像中特征点的深度,构建初始SLAM地图。
进一步地在后续的建图过程中,每个图像帧对应的单目摄像头的位姿可以表示为单目摄像头在该图像帧以及该图像帧的前一个图像帧之间的相对位姿变化。一般来说,该图像帧以及前一个图像帧之间的相对位姿变化具体可以表示为单目摄像头在初始帧之间的相对位姿变化的M倍,M为实数。因此,如果初始化时直接将单目摄像头的平移量t进行归一化,导致初始化时单目摄像头的帧间位姿以及恢复出的特征点深度均不包含尺度信息,那么最终得到的SLAM地图也只能确定单目摄像头相对位置变化准确,并不能反映真实的地理环境。
可见,最终构建出的SLAM地图包含了单目摄像头位姿以及特征点三维空间位置之间的对应关系,该对应关系以真实环境图像序列中的图像为约束,当单目摄像头位于某一位姿拍摄某一特征点时,得到的图像为真实环境图像序列中的某一帧图像。也就是说,SLAM地图包括单目摄像头的位姿序列,以及真实环境图像序列中各个图像包含的特征点的三维空间位置。
104、根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿。
车载***可以根据N个单目摄像头外参和车辆的第一当前估计位姿,确定各个单目摄像头的当前位姿。
示例性的,对单目摄像头***,如摄像头1,如果摄像头外参(摄像头相对车体/惯导***的位姿)未标定,则车载***可以根据视觉里程计和惯导里程计预估计的位姿,即第一当前估计位姿用优化法标定摄像头外参。
如果摄像头外参已经标定,则可根据当前比较成熟的各单目摄像头的视觉SLAM算法与惯导里程计融合的算法(如单目版VI-ORB-SLAM2或VINS等)实时估计摄像头的当前位姿并建立视觉特征地图。可以理解的是,其他的单目摄像头也是上述所述的原理,确定对应的当前位姿。
105、对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿。
再将单目SLAM***所得摄像头的当前位姿,根据其外参,分别进行坐标系转换,求出所对应车辆在全局坐标系下的N个转换位姿。
可以理解的是,SLAM***求出了摄像头在视觉全局坐标系下的当前位姿。通过摄像头外参,也就是摄像头相对车辆惯性坐标系的相对位姿,可以得到视觉坐标系到车辆坐标系的转换矩阵;再利用此转换矩阵和一开始提到的摄像头在视觉坐标系下的当前位姿,可求出车辆在车辆全局坐标系(即本方案中的导航坐标系)中的转换位姿。
106、根据所述N个转换位姿,得到所述车辆的融合位姿。
所述根据所述N个车辆的转换位姿,得到所述车辆的融合位姿,包括:
根据所述N个转换位姿和所述车辆的第一当前估计位姿,确定各个转换位姿的权重;根据所述各个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿;
或者,
根据预置算法和所述N个转换位姿,确定每个转换位姿的权重;根据所述每个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。如果N个位姿之间存在时间同步问题,则要在位姿融合前,进行位姿同步处理,如利用惯导进行位姿推算或插值以得到时间同步的位姿。
可以理解的是,车载***可以根据各单目摄像头***的过程参数(如外参可信度,视觉里程计与惯导预估位姿残差,后端优化尺度,有无检测到闭环等)计算其各自位姿估计权重(反映其位姿估计精度),以此由加权平均法求出各***融合后的当前车辆位姿。如果当前时刻某单目SLAM失效,则将其忽略,如果其过程参数过差,也可以将其权重设为零。其中,外参可信度的信息是获取每个单目摄像头外参时,获取的对应单目摄像头的外参可信度。视觉里程计与惯导预估位姿残差、后端优化尺度、有无检测到闭环等信息,是在单目SLAM与惯导融合的过程中获取的。
示例性的,如图N个摄像头分别对应的转换位姿为:A1,A2,A3…AN,分别对应的权重为M1,M2,M3…MN,且权重之和为1,那么车辆的融合位姿为:
A1*M1+A2*M2+A3*M3+…+AN*MN。
可选的,在本发明的一些实施例中,根据所述N个单目摄像头外参,将所述惯导里程计输出信息与各单目摄像头的视觉SLAM算法融合,构建N个单目摄像头视觉特征地图。进一步的,根据所述N个单目摄像头视觉特征地图中共同的车辆轨迹,将所述N个单目摄像头视觉特征地图融合为参考视觉特征地图。
示例性的,为方便各单目摄像头***直接复用其所建视觉特征地图(如用于地图匹配重定位),可保持各套视觉特征地图的独立。如果有场景建图需求,也可将这多套视觉特征地图根据共同的车辆轨迹,融合到同一视觉特征地图中。
其中,可以理解的是,本发明实施例中的视觉特征地图是通过SLAM算法构建的由视觉特征(例如ORB(Oriented FAST and Rotated BRIEF)特征点)构成的地图。其中,FAST是一种常用视觉角点的提取方法,BRIEF是一种常用的特征点的描述方式。
进一步的,车载***得到车辆的融合位姿后,车载***还可以获取所述车辆的第二惯性导航信息和第二汽车里程计信息;根据所述车辆的融合位姿、所述车辆的第二惯性导航信息和第二汽车里程计信息,确定所述车辆的第二当前估计位姿。
示例性的,已知当前位姿,下一步位姿预估为x(k+1)=x(k)+dx(k)。其中dx(k)由惯导和里程计输出在间隔时间dt内推算出。
其中,x包含位置和姿态向量,x(k+1)与x(k)之间的dx(k)的姿态变化由IMU中的陀螺仪输出(转角速度)随时间积分求得,位置变化由里程计输出(运行距离)与姿态的三角函数相乘求得。
车载***输出为车辆的融合位姿和多摄像头***所建的多套独立的视觉特征地图。融合位姿将用于下一步惯导位姿预估计,而下一步惯导位姿预估计又可以对应进行融合位姿的计算,相当于利用了多单目摄像头SLAM***的输出融合,迭代优化了各子***,可减少其定位漂移误差。
在本发明实施例中,获取车辆的第一惯性导航信息和第一汽车里程计信息;根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;获取所述车辆的N个单目摄像头外参,N为大于1的整数;根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;根据所述N个转换位姿,得到所述车辆的融合位姿。可以根据车辆的多个单目摄像头的外参得到转换位姿,进行融合,得到车辆的融合位姿,从而,提高车辆的位姿估计精度。克服了单目摄像头视野有限的缺点,基于比较成熟的单目摄像头的视觉SLAM算法(如单目版ORB-SLAM2,VINS等),易于从单摄像到任意多个摄像头***的算法集成和移植。不需要多摄像头有共视区域,不要求多摄像头之间相互的外参标定。即车载***上实现并行多单目摄像头视觉SLAM算法和惯导里程计算法融合的***设计;根据各单目摄像头SLAM***过程参数计算权重并根据权重计算融合位姿;当前融合位姿被用于下一步位姿预估计,可迭代优化各单目SLAM减少其漂移误差。
如图3所示,为本发明实施例中车载***的一个实施例示意图。可以包括:
获取模块301,用于获取车辆的第一惯性导航信息和第一汽车里程计信息;获取所述车辆的N个单目摄像头外参,N为大于1的整数;
处理模块302,用于根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;根据所述N个转换位姿,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
处理模块302,具体用于根据所述N个转换位姿和所述车辆的第一当前估计位姿,确定各个转换位姿的权重;根据所述各个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
处理模块302,具体用于根据预置算法和所述N个转换位姿,确定每个转换位姿的权重;根据所述每个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
可选的,在本发明的一些实施例中,
处理模块302,还用于根据所述N个单目摄像头外参,将所述惯导里程计输出信息与各单目摄像头的SLAM算法融合,构建N个单目摄像头视觉特征地图。
可选的,在本发明的一些实施例中,
处理模块302,还用于根据所述N个单目摄像头视觉特征地图中共同的车辆轨迹,将所述N个单目摄像头视觉特征地图融合为参考视觉特征地图。
可选的,在本发明的一些实施例中,
获取模块301,具体用于获取视觉里程计信息;根据所述视觉里程计信息和所述车辆的第一当前估计位姿,确定所述车辆的N个单目摄像头外参。
可选的,在本发明的一些实施例中,
获取模块301,还用于获取所述车辆的第二惯性导航信息和第二汽车里程计信息;
处理模块302,还用于根据所述车辆的融合位姿、所述车辆的第二惯性导航信息和第二汽车里程计信息,确定所述车辆的第二当前估计位姿。
如图4所示,为本发明实施例中车辆的一个实施例示意图,该车辆包括如图3所示的车载***。
如图5所示,为本发明实施例中车载***的一个实施例示意图。可以包括:
存储有可执行程序代码的存储器501;
与存储器501耦合的处理器502;
车辆定位模块503;
其中,车辆定位模块503获取车辆的第一惯性导航信息和第一汽车里程计信息传输至处理器502,处理器502调用存储器501中存储的可执行程序代码,执行图1所示的任一种确定车辆位姿的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种确定车辆位姿的方法,其特征在于,包括:
获取车辆的第一惯性导航信息和第一汽车里程计信息;
根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;
获取所述车辆的N个单目摄像头外参,N为大于1的整数;
根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;
对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;
根据所述N个转换位姿,得到所述车辆的融合位姿。
2.根据权利要求1所述的方法,其特征在于,所述根据所述N个转换位姿,得到所述车辆的融合位姿,包括:
根据所述N个转换位姿和所述车辆的第一当前估计位姿,确定各个转换位姿的权重;
根据所述各个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
3.根据权利要求1所述的方法,其特征在于,所述根据所述N个车辆的转换位姿,得到所述车辆的融合位姿,包括:
根据预置算法和所述N个转换位姿,确定每个转换位姿的权重;
根据所述每个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
根据所述N个单目摄像头外参,将所述惯导里程计输出信息与各单目摄像头的SLAM算法融合,构建N个单目摄像头视觉特征地图。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述N个单目摄像头视觉特征地图中共同的车辆轨迹,将所述N个单目摄像头视觉特征地图融合为参考视觉特征地图。
6.根据权利要求1-3中任一项所述的方法,其特征在于,所述获取所述车辆的N个单目摄像头外参,包括:
获取视觉里程计信息;
根据所述视觉里程计信息和所述车辆的第一当前估计位姿,确定所述车辆的N个单目摄像头外参。
7.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括:
获取所述车辆的第二惯性导航信息和第二汽车里程计信息;
根据所述车辆的融合位姿、所述车辆的第二惯性导航信息和第二汽车里程计信息,确定所述车辆的第二当前估计位姿。
8.一种车载***,其特征在于,包括:
获取模块,用于获取车辆的第一惯性导航信息和第一汽车里程计信息;获取所述车辆的N个单目摄像头外参,N为大于1的整数;
处理模块,用于根据所述第一惯性导航信息和所述第一汽车里程计信息,确定所述车辆的第一当前估计位姿;根据所述N个单目摄像头外参和所述第一当前估计位姿,将惯导里程计算法与各单目摄像头的视觉SLAM算法融合,以估计N个单目摄像头的当前位姿;对所述N个单目摄像头的当前位姿分别进行坐标转换,得到所述车辆的N个转换位姿;根据所述N个转换位姿,得到所述车辆的融合位姿。
9.根据权利要求8所述的车载***,其特征在于,
所述处理模块,具体用于根据所述N个转换位姿和所述车辆的第一当前估计位姿,确定各个转换位姿的权重;根据所述各个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
10.根据权利要求8所述的车载***,其特征在于,
所述处理模块,具体用于根据预置算法和所述N个转换位姿,确定每个转换位姿的权重;根据所述每个转换位姿的权重和所述N个转换位姿,采用加权平均法,得到所述车辆的融合位姿。
11.根据权利要求8-10中任一项所述的车载***,其特征在于,
所述处理模块,还用于根据所述N个单目摄像头外参,将所述惯导里程计输出信息与各单目摄像头的SLAM算法融合,构建N个单目摄像头视觉特征地图。
12.根据权利要求11所述的车载***,其特征在于,
所述处理模块,还用于根据所述N个单目摄像头视觉特征地图中共同的车辆轨迹,将所述N个单目摄像头视觉特征地图融合为参考视觉特征地图。
13.根据权利要求8-10中任一项所述的车载***,其特征在于,
所述获取模块,具体用于获取视觉里程计信息;根据所述视觉里程计信息和所述车辆的第一当前估计位姿,确定所述车辆的N个单目摄像头外参。
14.根据权利要求8-10中任一项所述的车载***,其特征在于,
所述获取模块,还用于获取所述车辆的第二惯性导航信息和第二汽车里程计信息;
所述处理模块,还用于根据所述车辆的融合位姿、所述车辆的第二惯性导航信息和第二汽车里程计信息,确定所述车辆的第二当前估计位姿。
15.一种车辆,其特征在于,包括如权利要求8-14中任一项所述的车载***。
CN201910576519.7A 2019-06-28 2019-06-28 一种确定车辆位姿的方法、车载***及车辆 Active CN110207714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910576519.7A CN110207714B (zh) 2019-06-28 2019-06-28 一种确定车辆位姿的方法、车载***及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910576519.7A CN110207714B (zh) 2019-06-28 2019-06-28 一种确定车辆位姿的方法、车载***及车辆

Publications (2)

Publication Number Publication Date
CN110207714A true CN110207714A (zh) 2019-09-06
CN110207714B CN110207714B (zh) 2021-01-19

Family

ID=67795335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910576519.7A Active CN110207714B (zh) 2019-06-28 2019-06-28 一种确定车辆位姿的方法、车载***及车辆

Country Status (1)

Country Link
CN (1) CN110207714B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127584A (zh) * 2019-11-19 2020-05-08 奇点汽车研发中心有限公司 建立视觉地图的方法和装置、电子设备和存储介质
CN112577479A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 基于地图元素数据的多传感器融合车辆定位方法及装置
CN112965076A (zh) * 2021-01-28 2021-06-15 上海思岚科技有限公司 一种用于机器人的多雷达定位***及方法
CN113074726A (zh) * 2021-03-16 2021-07-06 深圳市慧鲤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN113203428A (zh) * 2021-05-28 2021-08-03 拉扎斯网络科技(上海)有限公司 里程统计装置、基于里程统计装置的数据统计方法及接口
CN113340313A (zh) * 2020-02-18 2021-09-03 北京四维图新科技股份有限公司 导航地图参数确定方法及装置
CN113390411A (zh) * 2021-06-10 2021-09-14 中国北方车辆研究所 基于变构型感知装置的足式机器人导航及定位方法
CN113884098A (zh) * 2021-10-15 2022-01-04 上海师范大学 一种基于具体化模型的可迭代的卡尔曼滤波定位方法
CN113899363A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 车辆的定位方法、装置及自动驾驶车辆
CN114001742A (zh) * 2021-10-21 2022-02-01 广州小鹏自动驾驶科技有限公司 车辆定位方法、装置、车辆和可读存储介质
CN114170320A (zh) * 2021-10-29 2022-03-11 广西大学 一种基于多传感器融合的打桩机自动定位和工况自适应方法
CN114199275A (zh) * 2020-09-18 2022-03-18 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167814A1 (en) * 2006-12-01 2008-07-10 Supun Samarasekera Unified framework for precise vision-aided navigation
CN102768042A (zh) * 2012-07-11 2012-11-07 清华大学 一种视觉-惯性组合导航方法
CN103940434A (zh) * 2014-04-01 2014-07-23 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测***
CN104748727A (zh) * 2013-12-31 2015-07-01 中国科学院沈阳自动化研究所 阵列式高速视觉里程计及其实现方法
CN106406338A (zh) * 2016-04-14 2017-02-15 中山大学 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法
CN106708037A (zh) * 2016-12-05 2017-05-24 北京贝虎机器人技术有限公司 自主移动式设备定位的方法、装置及自主移动式设备
CN107229063A (zh) * 2017-06-26 2017-10-03 奇瑞汽车股份有限公司 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN108759815A (zh) * 2018-04-28 2018-11-06 温州大学激光与光电智能制造研究院 一种用于全局视觉定位方法中的信息融合组合导航方法
CN109387198A (zh) * 2017-08-03 2019-02-26 北京自动化控制设备研究所 一种基于序贯检测的惯性/视觉里程计组合导航方法
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167814A1 (en) * 2006-12-01 2008-07-10 Supun Samarasekera Unified framework for precise vision-aided navigation
CN102768042A (zh) * 2012-07-11 2012-11-07 清华大学 一种视觉-惯性组合导航方法
CN104748727A (zh) * 2013-12-31 2015-07-01 中国科学院沈阳自动化研究所 阵列式高速视觉里程计及其实现方法
CN103940434A (zh) * 2014-04-01 2014-07-23 西安交通大学 基于单目视觉和惯性导航单元的实时车道线检测***
CN106406338A (zh) * 2016-04-14 2017-02-15 中山大学 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法
CN106708037A (zh) * 2016-12-05 2017-05-24 北京贝虎机器人技术有限公司 自主移动式设备定位的方法、装置及自主移动式设备
CN107229063A (zh) * 2017-06-26 2017-10-03 奇瑞汽车股份有限公司 一种基于gnss和视觉里程计融合的无人驾驶汽车导航定位精度矫正方法
CN107504969A (zh) * 2017-07-24 2017-12-22 哈尔滨理工大学 基于视觉和惯性组合的四旋翼室内导航方法
CN109387198A (zh) * 2017-08-03 2019-02-26 北京自动化控制设备研究所 一种基于序贯检测的惯性/视觉里程计组合导航方法
CN108759815A (zh) * 2018-04-28 2018-11-06 温州大学激光与光电智能制造研究院 一种用于全局视觉定位方法中的信息融合组合导航方法
CN109887032A (zh) * 2019-02-22 2019-06-14 广州小鹏汽车科技有限公司 一种基于单目视觉slam的车辆定位方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TURNER J. MONTGOMERY, MEIR PACHTER: "Visual-Aided INS Using Converted Measurements", 《IFAC-PAPERSONLINE》 *
张建越: "基于嵌入式并行处理的视觉惯导SLAM算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
茹祥宇等: "单目视觉惯性融合方法在无人机位姿估计中的应用", 《控制与信息技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577479A (zh) * 2019-09-27 2021-03-30 北京初速度科技有限公司 基于地图元素数据的多传感器融合车辆定位方法及装置
CN112577479B (zh) * 2019-09-27 2024-04-12 北京魔门塔科技有限公司 基于地图元素数据的多传感器融合车辆定位方法及装置
CN111127584A (zh) * 2019-11-19 2020-05-08 奇点汽车研发中心有限公司 建立视觉地图的方法和装置、电子设备和存储介质
CN113340313A (zh) * 2020-02-18 2021-09-03 北京四维图新科技股份有限公司 导航地图参数确定方法及装置
CN113340313B (zh) * 2020-02-18 2024-04-16 北京四维图新科技股份有限公司 导航地图参数确定方法及装置
CN114199275A (zh) * 2020-09-18 2022-03-18 阿里巴巴集团控股有限公司 传感器的参数确定方法和装置
CN112965076A (zh) * 2021-01-28 2021-06-15 上海思岚科技有限公司 一种用于机器人的多雷达定位***及方法
CN112965076B (zh) * 2021-01-28 2024-05-24 上海思岚科技有限公司 一种用于机器人的多雷达定位***及方法
CN113074726A (zh) * 2021-03-16 2021-07-06 深圳市慧鲤科技有限公司 位姿确定方法及装置、电子设备和存储介质
CN113203428A (zh) * 2021-05-28 2021-08-03 拉扎斯网络科技(上海)有限公司 里程统计装置、基于里程统计装置的数据统计方法及接口
CN113390411A (zh) * 2021-06-10 2021-09-14 中国北方车辆研究所 基于变构型感知装置的足式机器人导航及定位方法
CN113899363A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 车辆的定位方法、装置及自动驾驶车辆
US11953609B2 (en) 2021-09-29 2024-04-09 Beijing Baidu Netcom Science Technology Co., Ltd. Vehicle positioning method, apparatus and autonomous driving vehicle
CN113884098B (zh) * 2021-10-15 2024-01-23 上海师范大学 一种基于具体化模型的可迭代的卡尔曼滤波定位方法
CN113884098A (zh) * 2021-10-15 2022-01-04 上海师范大学 一种基于具体化模型的可迭代的卡尔曼滤波定位方法
CN114001742A (zh) * 2021-10-21 2022-02-01 广州小鹏自动驾驶科技有限公司 车辆定位方法、装置、车辆和可读存储介质
CN114001742B (zh) * 2021-10-21 2024-06-04 广州小鹏自动驾驶科技有限公司 车辆定位方法、装置、车辆和可读存储介质
CN114170320A (zh) * 2021-10-29 2022-03-11 广西大学 一种基于多传感器融合的打桩机自动定位和工况自适应方法

Also Published As

Publication number Publication date
CN110207714B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN110207714A (zh) 一种确定车辆位姿的方法、车载***及车辆
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及***
CN109887032B (zh) 一种基于单目视觉slam的车辆定位方法及***
CN109887057B (zh) 生成高精度地图的方法和装置
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN109885080B (zh) 自主控制***及自主控制方法
CN107478220B (zh) 无人机室内导航方法、装置、无人机及存储介质
EP3864623A1 (en) System, device and method of generating a high resolution and high accuracy point cloud
CN110100190A (zh) 用于在视觉惯性测距中使用全球定位历元的滑动窗口的***和方法
CN112074875B (zh) 构造3d特征图的组优化深度信息方法和***
JP2020528994A (ja) ポイントクラウドに基づく姿勢推定を用いた車両ナビゲーションシステム
JP2021508814A (ja) LiDARを用いた車両測位システム
CN113678079A (zh) 从车辆传感器和相机阵列生成结构化地图数据
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
CN112212852B (zh) 定位方法、移动设备及存储介质
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、***、终端和存储介质
KR102219843B1 (ko) 자율주행을 위한 위치 추정 장치 및 방법
US20210183100A1 (en) Data processing method and apparatus
EP2175237B1 (en) System and methods for image-based navigation using line features matching
KR101909953B1 (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、***及无人机
CN114638897B (zh) 基于无重叠视域的多相机***的初始化方法、***及装置
CN109490931A (zh) 飞行定位方法、装置及无人机
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
CN113503873A (zh) 一种多传感器融合的视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210106

Address after: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province 510000

Applicant after: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Address before: Room 245, No. 333, jiufo Jianshe Road, Zhongxin Guangzhou Knowledge City, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190906

Assignee: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Assignor: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Contract record no.: X2021440000219

Denomination of invention: A method for determining vehicle posture, on-board system and vehicle

Granted publication date: 20210119

License type: Common License

Record date: 20211220

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240228

Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU XIAOPENG MOTORS TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: Room 46, room 406, No.1, Yichuang street, Zhongxin knowledge city, Huangpu District, Guangzhou City, Guangdong Province 510000

Patentee before: Guangzhou Xiaopeng Automatic Driving Technology Co.,Ltd.

Country or region before: China