CN111932637B - 一种车身相机外参自适应标定方法和装置 - Google Patents

Abstract

本发明实施例提供一种车身相机外参自适应标定方法和装置，全过程无需人工干预，并按照车体运动对相机外参的约束强弱进行参数解耦，分别针对性的建立约束代价函数，相比于传统方法中对外参中的各个分量不加区分统一解算，初值的选取往往会影响非线性优化的效果，分层解耦解决了传统位姿优化约束方程里相机到车体的相对位姿各参数权重难以有效权衡的问题，提升了外参标定的精度。同时，此类方法不需要额外的控制场或者标定板，数据采集和参数解算均可以在线自动化完成，实车大量数据的冗余观测又进一步增加了该标定算法本身的可靠性。

Description

一种车身相机外参自适应标定方法和装置

技术领域

本发明实施例涉及自动驾驶导航及高精度地图技术领域，尤其涉及一种车身相机外参自适应标定方法和装置。

背景技术

在自动驾驶导航及高精度地图等相关领域，相机由于相比激光雷达成本低廉，也能够提供较丰富的环境信息，已经成为自动驾驶传感器的标配，在车辆建图和定位领域都得到了广泛的应用。

为了有效融合相机的感知数据，在利用相机进行建图及定位时，一般需和车身惯导结合，从而为相机坐标系下的相对测量值提供绝对基准，将不同时间段的感知测量数据统一到绝对坐标系下，精确求解相机到车体惯导之间的相对位姿关系，是保证车辆高精度定位的前提。

当前主要有两类方法来解决相机到车体的外参标定，一类是利用环境的先验信息，提前选好标定场地，人工打一些控制点或者制作人工靶板，这类方法在标定过程中需要人工监督，依据控制点在相机中视场的位置，对其分布进行人工干预和调整，再筛选出好的网形，标定精度能够得到保证，但是实际效果好坏比较依赖操作员的专业技能熟练程度，这种手工作业方式自动化程度和稳定性均不理想，给实际的应用带来了较大的不便，很难标准化作业，特别是相机在长期业务化运行中，由于车辆长期行驶过程中的颠簸，很容易发生相机相对车体的偏转，使得原来的标定参数失效，又需要重新标定，不能满足量产解决方案自动化的需要，由于外界环境先验信息这一条件并不总是能够及时满足的，也限制了这类方法的实际使用。另外一类基于传感器运动约束的方法不需要提前准备标定场地，这类方法的原理是通过对运动平台进行充分的平移和旋转，分别计算运动平台上各传感器的运动轨迹，进一步基于不同传感器刚体运动轨迹的相似性，这类标定操作相对简单，自动化程度较高，全程基本不需要人工干预，然而由于单相机不可避免的尺度漂移问题，通过视觉里程计的方式得到的运动轨迹尺度是不断变动的，这给相机到车身惯导基于轨迹的对齐标定带来困难。

考虑到车辆主要在地面上进行***面运动，对相机沿着车辆正上方(Z轴)的偏移量、滚转角和俯仰角这三个自由度参量都很难进行充分的运动约束，常规基于传感器运动标定的方法需要运动平台在三维平移和旋转方向上进行充分的扰动，比较适合无人机运动平台传感器之间的标定，并不完全适用于车辆在***面条件下的运动约束估计。

当前解决相机车体外参的标定方法难以同时兼顾自动化、精度和可靠性的需求，而相机内外参标定是构建以视觉为核心的自动驾驶高精度定位应用服务的基础，而当前标定方法的局限性对量产应用的建图定位解决方案提出了较大的挑战。

发明内容

本发明实施例提供一种车身相机外参自适应标定方法和装置，解决了传统位姿优化约束方程里相机到车体的相对位姿各参数权重难以有效权衡的问题，提升了外参标定的精度。

第一方面，本发明实施例提供一种车身相机外参自适应标定方法，包括：

基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；

基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参。

作为优选的，还包括：

基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

作为优选的，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解前，还包括：

基于6自由度的车体运动模型获取车身惯导数据并进行航迹推算，同时获取视频数据，并基于改进的orb-slam算法获取车身相机的不带尺度约束的单目视觉序列数据。

作为优选的，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算，具体包括：

分别构建相机和车体惯导各自相对基准面的向上偏移量、翻滚角和俯仰角的姿态分量的约束方程；

基于所述约束方程解算对应个参数分量的信息矩阵，基于所述信息矩阵得到不同轨迹段的信息量；

基于信息量最高的轨迹段进行航迹推算，求解相机相对于基准面法向量的向上偏移量Z_oc，相对于基准面的翻滚角Roll_oc和俯仰角Pitch_oc，求解车体惯导相对于基准面法向量的向上偏移量Z_ov，相对于基准面的翻滚角Roll_ov和俯仰角Pitch_ov。

作为优选的，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数前，还包括：

基于解耦出的相机和车身惯导相对基准面的倾斜度和高程得到的相机和车身惯导投影到基准面的二维平面运动分量，以采样频率最高的车身惯导时间作为基准，在车身惯导的二维平面运动分量中内插对应时刻的相机平面运动分量。

作为优选的，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数，具体包括：

基于时间对齐下的车身惯导和相机在二维平面运动的对应关系，构建基准面约束下的相机相对车身惯导的平面手眼标定约束方程，同时解算参数的不确定度矩阵，解算相机相对车身惯导的平移量、偏航角和比例系数。

作为优选的，基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量，具体包括：

筛选出多个单目视觉里程轨迹段，解算出每个单目视觉里程轨迹段的外参分量初值，并建立代价函数，基于所述代价函数对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

第二方面，本发明实施例提供一种车身相机外参自适应标定装置，包括：

倾斜度及高程解算模块，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；

外参初值获取模块，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参；

外参优化模块，基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优化的外参分量。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述车身相机外参自适应标定方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述车身相机外参自适应标定方法的步骤。

本发明实施例提供的一种车身相机外参自适应标定方法和装置，全过程无需人工干预，并按照车体运动对相机外参的约束强弱进行参数解耦，分别针对性的建立约束代价函数，相比于传统方法中对外参中的各个分量不加区分统一解算，初值的选取往往会影响非线性优化的效果，分层解耦解决了传统位姿优化约束方程里相机到车体的相对位姿各参数权重难以有效权衡的问题，提升了外参标定的精度。同时，此类方法不需要额外的控制场或者标定板，数据采集和参数解算均可以在线自动化完成，实车大量数据的冗余观测又进一步增加了该标定算法本身的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的车身相机外参自适应标定方法流程框图；

图2为根据本发明实施例的车身相机外参自适应标定方法具体流程图；

图3为根据本发明实施例的视觉里程计递推解算位姿效果图；

图4为根据本发明实施例的相机惯导手眼标定平面版示意图；

图5为根据本发明实施例的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的***、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

当前解决相机车体外参的标定方法难以同时兼顾自动化、精度和可靠性的需求，而相机内外参标定是构建以视觉为核心的自动驾驶高精度定位应用服务的基础，而当前标定方法的局限性对量产应用的建图定位解决方案提出了较大的挑战。

因此，本发明实施例提供一种车身相机外参自适应标定方法和装置，全过程无需人工干预，并按照车体运动对相机外参的约束强弱进行参数解耦，分别针对性的建立约束代价函数，相比于传统方法中对外参中的各个分量不加区分统一解算，初值的选取往往会影响非线性优化的效果，分层解耦解决了传统位姿优化约束方程里相机到车体的相对位姿各参数权重难以有效权衡的问题，提升了外参标定的精度。同时，此类方法不需要额外的控制场或者标定板，数据采集和参数解算均可以在线自动化完成，实车大量数据的冗余观测又进一步增加了该标定算法本身的可靠性。以下将通过多个实施例进行展开说明和介绍。

图1和图2为本发明实施例提供一种车身相机外参自适应标定方法，包括：

基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；

基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参。

在本实施例中，作为一种优选的实施方式，按照参数的可观性特征对车体运动进行相应的分解，对参数的不同部分按照各自的特点进行了充分约束，另外基于参数的不确定性特征对车体运动段进行自适应筛选，提升了参数整体估计的精度和有效性；相机相对车体的自动化标定的专利技术支持拓展到多相机、激光雷达等其他类型的车体传感器相互之间的外参标定中，降低传统多相机外参标定中对不同传感器共视的要求；相机相对车体的自动化标定的专利技术支持车体参数的在线标定，能够及时动态监测车身多传感器***的状态参数，避免长期业务化运行中的参数变化对成果质量的影响，提升了车身传感器***的稳定性。

在上述实施例的基础上，还包括：

基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

在上述各实施例的基础上，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解前，还包括：

基于6自由度的车体运动模型获取车身惯导数据并进行航迹推算，同时获取视频数据，并基于改进的orb-slam算法获取车身相机的不带尺度约束的单目视觉序列数据。

自由度的概念是从解析几何中导出的：在一根轴上确定一个点的位置需要一个坐标，在一个面上需要两个坐标，在三维空间中需要三个坐标，这种数学上的确定点位置的独立坐标的最低个数在对应的物理问题中就是质点的自由度。对于质点，空间中最少需要三个坐标(X、Y、Z三个互相垂直的坐标轴，X方向移动、Y方向移动、Z方向移动)，也就是自由度为三。

对于刚体，由于不再是一个质点，三维问题中在质心位置不变的情形下可能处于不同的状态，这种状态称为姿态，这种姿态也需要用三个坐标来表示。对于刚体需要确定其姿态及位置，在三维中姿态坐标与位置坐标各三个，一共六个坐标，也就是说空间刚体问题是有六个自由度。位置坐标可以是刚体上任意一点的三个空间坐标，用来描述刚体的平动；姿态坐标用于描述转动，以X轴为轴心转动、以Y轴为轴心转动、以Z轴为轴心转动。

在本实施例中，作为一种优选的实施方式，首先基于通用6自由度的车体运动模型假设中获取车身惯导数据进行航迹推算，同时获取视频数据，并基于改进的orb-slam算法获取车身相机的不带尺度约束的单目视觉里程信息；

步骤1：视觉里程计

VO(Visual Odometry,视觉里程计)是利用相机在场景的连续拍摄，不断采集序列影像，通过场景特征在序列影像上位置的变化来计算相邻帧的相对位置关系，通过与上一时刻相机的影像进行关联，渐进的递推相机的当前位置，如图3所示，其中，T_k＝argmin∫∫ρ[I_k(π(T·π^-1(u,d_u)))-I_k-1(u)]du，这里，I_k和I_k-1分别表示相邻影像，u是特征点的影像位置，π和π^-1分别表示场景特征点到影像的投影和影像特征点到场景空间的逆向投影。

单相机VO计算的轨迹是自由尺度的，一般需要和其他带尺度约束的传感器(比如惯性测量单元、激光雷达)联合使用，本发明实施例中的绝对尺度是通过车端惯导的尺度约束来确定的。

考虑到车端相机VO解算的效率，通过性能改进后的ORB-SLAM算法，关联滑动窗口内的共视特征，渐进的计算车端相机的位置。

在上述各实施例的基础上，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算，具体包括：

分别构建相机和车体惯导各自相对基准面的向上偏移量、翻滚角和俯仰角的姿态分量的约束方程；

基于所述约束方程解算对应个参数分量的信息矩阵，基于所述信息矩阵得到不同轨迹段的信息量；

基于信息量最高的轨迹段进行航迹推算，求解相机相对于基准面法向量的向上偏移量Z_oc，相对于基准面的翻滚角Roll_oc和俯仰角Pitch_oc，求解车体惯导相对于基准面法向量的向上偏移量Z_ov，相对于基准面的翻滚角Roll_ov和俯仰角Pitch_ov。

在本实施例中，作为一种优选的实施方式，构建相机和车体惯导各自相对地平面向上偏移分量、翻滚角和俯仰角的姿态分量的约束方程，并解算对应各参数分量解算的信息矩阵，依据该信息矩阵求解不同轨迹段的信息量并自适应过滤，最终基于信息量高的轨迹段进行相应航迹推算，分别求解相机车体惯导相对地平面法向量的向上偏移量Z_oc、相对地平面的翻滚角Roll_oc和俯仰角Pitch_oc，车体惯导相对地平面法向量的向上偏移量Z_ov、相对地平面的翻滚角Roll_ov和俯仰角Pitch_ov，进一步计算求解相机相对车体惯导的外参(λZ_vc，Roll_vc，Pitch_vc)，这里的比例系数λ待后面解求。

在上述各实施例的基础上，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数前，还包括：

基于解耦出的相机和车身惯导相对基准面的倾斜度和高程得到的相机和车身惯导投影到基准面的二维平面运动分量，以采样频率最高的车身惯导时间作为基准，在车身惯导的二维平面运动分量中内插对应时刻的相机平面运动分量。

在本实施例中，作为一种优选的实施方式，从相机和车身惯导通用的6自由度运动中解耦各自相对地平面向上偏移分离、翻滚角和俯仰角分量的影响，建立投影到该基准地平面的二维运动，并以采样频率较高的车身惯导时间作为基准，内插对应该时刻的相机平面相对运动分量。

步骤2：传感器相对基准面倾斜度及高程解算

为了从6自由度的平台运动中有效分离出平面运动，需要解算传感器i相对基准面的倾斜度和离基准面的高差ⁱx＝(x_poll，x_pitch，x_z)，这里，参数x_z代表基准面的垂直高度，x_poll和x_pitch分别是传感器相对基准面的侧滚角和俯仰角，更具体来讲，可以做如下定义：

R_i＝R_y(x_pitch)R_x(x_roll)，t_i＝[00x_z]^T (1.1)

另外，定义m_j ⁱ为传感器i观察到的第j个特征点，于是有如下关系：

基于本发明实施例上述步骤的视觉里程计可以构建出一系列相机视场内的特征点，基于这些视场点定义如下代价函数：

这里，

表示相机视场内的特征点到基准地平面的法向距离，w_j代表相应权重。

在上述各实施例的基础上，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数，具体包括：

基于时间对齐下的车身惯导和相机在二维平面运动的对应关系，构建基准面约束下的相机相对车身惯导的平面手眼标定约束方程，同时解算参数的不确定度矩阵，解算相机相对车身惯导的平移量、偏航角和比例系数。

在本实施例中，作为一种优选的实施方式，基于时间对齐下的惯导和相机平面航迹对应关系，构建地平面约束下的相机相对车体惯导的平面手眼标定约束方程，同时解算参数的不确定度矩阵，自适应筛选信息量大的路段，解算相机相对车身惯导的平移量、偏航角和比例系数。

步骤3：平面运动投影及时间对齐

对应各传感器，从步骤1中的3D增量运动(R_I ^k,t_i ^k)∈SE(3)中解耦各自对应基准面的倾斜度和高程，得到传感器运动相对基准平面上的二维平面运动：

步骤4：相机惯导平面手眼标定

目前，现有视觉引导***中，标定是一项基础且关键的问题。标定分为两类：一是三维空间的手眼标定，直接标定出相机坐标系和机器人坐标系的关系矩阵，将视觉识别的位置信息转换到机器人坐标系下；二是将三维空间的问题转化为二维平面的问题，进行工作平面标定，标定出图像平面和工作平面的关系，将图像坐标转换为机器人坐标。本发明实施例采用第二类方案。

平面投影解决了车体运动对不可观参数约束弱的问题，针对投影后的运动，我们需要解决一个手眼标定问题的平面版本，如图4所示，就是通过相机-车体变换将相机运动与车体运动联系起来，估计相机到车体的变换关系^o _xc＝(x_x,x_y,x_θ,x_scale)∈Sim(2)。

从著名的手眼标定问题开始使用四元数进行表示：

其中，

和

分别表示相机从第i帧变换到第i+1帧的旋转分量和平移分量，

和

分别表示对应时刻的旋转分量和平移分量，R(q)表示q对应的旋转矩阵，I表示3×3的单位矩阵，给定

本发明实施例中利用上述公式，能够得到^Oq_C和^Ot_C，即^ox_c。

在上述各实施例的基础上，基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量，具体包括：

筛选出多个单目视觉里程轨迹段，解算出每个单目视觉里程轨迹段的外参分量初值，并建立代价函数，基于所述代价函数对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

在本实施例中，作为一种优选的实施方式，基于筛选后信息量大的所有路段进行后处理平差解算，进一步得到优化后的平移量、偏航角(X_vc，Y_vc，Yaw_vc)和比例系数λ，将该比例系数应用到步骤2中解算的无比例系数的相机相对地平面的高程，最终得到相机相对车体惯导的6自由度的外参(X_vc,Y_vc,Z_vc,Roll_vc,Pitch_vc,Yaw_vc)。

步骤5：后处理外参优化

步骤4可以解算出相机相对车体外参的初值，但是考虑到不同的运动轨迹对参数估计的信息量是不同的，特别是对单相机尺度误差的影响是不同的，为了提高参数估计的有效性，筛选合适路段整体进行非线性外参优化，假设共筛选n个VO轨迹段，各个轨迹段分别有n₁≥2,…,n_m≥2,总体建立

个方程，解算出m个初值，引入RANSAC策略，建立如下所示的代价函数：

据此筛选出最优化的外参分量。

本发明实施例还提供一种车身相机外参自适应标定装置，基于上述各实施例中的车身相机外参自适应标定方法，包括：

倾斜度及高程解算模块，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；

外参初值获取模块，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参；

外参优化模块，基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优化的外参分量。

基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图5所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：

基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；

基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参；

基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述车身相机外参自适应标定方法的步骤。例如包括：

基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；

基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参；

基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。

所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。

基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。

综上所述，本发明实施例提供的一种车身相机外参自适应标定方法和装置，全过程无需人工干预，并按照车体运动对相机外参的约束强弱进行参数解耦，分别针对性的建立约束代价函数，相比于传统方法中对外参中的各个分量不加区分统一解算，初值的选取往往会影响非线性优化的效果，分层解耦解决了传统位姿优化约束方程里相机到车体的相对位姿各参数权重难以有效权衡的问题，提升了外参标定的精度。同时，此类方法不需要额外的控制场或者标定板，数据采集和参数解算均可以在线自动化完成，实车大量数据的冗余观测又进一步增加了该标定算法本身的可靠性。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种车身相机外参自适应标定方法，其特征在于，包括：

基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；具体包括：

分别构建相机和车体惯导各自相对基准面的向上偏移量、翻滚角和俯仰角的姿态分量的约束方程；

基于所述约束方程解算对应各参数分量的信息矩阵，基于所述信息矩阵得到不同轨迹段的信息量；

基于信息量最高的轨迹段进行航迹推算，求解相机相对于基准面法向量的向上偏移量Z_oc、相对于基准面的翻滚角Roll_oc和俯仰角Pitch_oc，求解车体惯导相对于基准面法向量的向上偏移量Z_ov、相对于基准面的翻滚角Roll_ov和俯仰角Pitch_ov，进一步求解相机相对车体惯导的向上偏移量λZ_vc、翻滚角Roll_vc和俯仰角Pitch_vc，其中，比例系数λ为未知量；

基于解耦出的相机和车身惯导相对基准面的倾斜度和高程得到的相机和车身惯导投影到基准面的二维平面运动分量，以采样频率最高的车身惯导时间作为基准，在车身惯导的二维平面运动分量中内插对应时刻的相机平面运动分量；

基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参；具体包括：

基于时间对齐下的车身惯导和相机在二维平面运动的对应关系，构建基准面约束下的相机相对车身惯导的平面手眼标定约束方程，同时解算参数的不确定度矩阵，解算相机相对车身惯导的平移量（X_vc，Y_vc）、偏航角Yaw_vc和比例系数λ；

将比例系数λ代入相机相对车体惯导的向上偏移量λZ_vc，得到有比例系数时相机相对车身惯导的6自由度的外参（X_vc，Y_vc，Z_vc，Roll_vc，Pitch_vc，Yaw_vc）。

2.根据权利要求1所述的车身相机外参自适应标定方法，其特征在于，还包括：

基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

3.根据权利要求1所述的车身相机外参自适应标定方法，其特征在于，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解前，还包括：

基于6自由度的车体运动模型获取车身惯导数据并进行航迹推算，同时获取视频数据，并基于改进的orb-slam算法获取车身相机的不带尺度约束的单目视觉序列数据。

4.根据权利要求1所述的车身相机外参自适应标定方法，其特征在于，基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量，具体包括：

筛选出多个单目视觉里程轨迹段，解算出每个单目视觉里程轨迹段的外参分量初值，并建立代价函数，基于所述代价函数对不同运动轨迹的外参进行非线性优化，筛选出最优的外参分量。

5.一种车身相机外参自适应标定装置，其特征在于，包括：

倾斜度及高程解算模块，基于单目视觉序列数据获取相机相对基准面的倾斜度及高程解算；基于惯导数据获取车身惯导相对基准面的倾斜度及高程解算；具体包括：

分别构建相机和车体惯导各自相对基准面的向上偏移量、翻滚角和俯仰角的姿态分量的约束方程；

基于所述约束方程解算对应各参数分量的信息矩阵，基于所述信息矩阵得到不同轨迹段的信息量；

基于信息量最高的轨迹段进行航迹推算，求解相机相对于基准面法向量的向上偏移量Z_oc 、相对于基准面的翻滚角Roll_oc和俯仰角Pitch_oc，求解车体惯导相对于基准面法向量的向上偏移量Z_ov、相对于基准面的翻滚角Roll_ov和俯仰角Pitch_ov，进一步求解相机相对车体惯导的向上偏移量λZ_vc、翻滚角Roll_vc和俯仰角Pitch_vc，其中，比例系数λ为未知量；

基于解耦出的相机和车身惯导相对基准面的倾斜度和高程得到的相机和车身惯导投影到基准面的二维平面运动分量，以采样频率最高的车身惯导时间作为基准，在车身惯导的二维平面运动分量中内插对应时刻的相机平面运动分量；

外参初值获取模块，基于时间对齐下车身惯导和相机在基准面的轨迹对应关系，得到相机相对于车身惯导的平移量、偏航角和比例系数；基于所述比例系数和无比例系数时相机相对于基准面的高程解算，得到相机相对车身惯导的6自由度的外参；具体包括：

基于时间对齐下的车身惯导和相机在二维平面运动的对应关系，构建基准面约束下的相机相对车身惯导的平面手眼标定约束方程，同时解算参数的不确定度矩阵，解算相机相对车身惯导的平移量（X_vc，Y_vc）、偏航角Yaw_vc和比例系数λ；

将比例系数λ代入相机相对车体惯导的向上偏移量λZ_vc，得到有比例系数时相机相对车身惯导的6自由度的外参（X_vc，Y_vc，Z_vc，Roll_vc，Pitch_vc，Yaw_vc）；

外参优化模块，基于RANSAC模型的轨迹段筛选策略，筛选多个路段，对不同运动轨迹的外参进行非线性优化，筛选出最优化的外参分量。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述车身相机外参自适应标定方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述车身相机外参自适应标定方法的步骤。

Images