CN118154700A - 车辆传感器外参准确性的在线监测方法 - Google Patents
车辆传感器外参准确性的在线监测方法 Download PDFInfo
- Publication number
- CN118154700A CN118154700A CN202410574023.7A CN202410574023A CN118154700A CN 118154700 A CN118154700 A CN 118154700A CN 202410574023 A CN202410574023 A CN 202410574023A CN 118154700 A CN118154700 A CN 118154700A
- Authority
- CN
- China
- Prior art keywords
- road
- feature point
- image
- accuracy
- imu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012544 monitoring process Methods 0.000 title claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000013519 translation Methods 0.000 claims abstract description 14
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000000546 chi-square test Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 241000287196 Asthenes Species 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车辆传感器外参准确性的在线监测方法，包括：根据IMU的测量数据，计算出IMU的旋转矩阵和平移向量；计算出相邻两个图像之间的基本矩阵；利用卡方检验法去除图像特征点集Qk中的非道路特征点，得到图像特征点集Pk；对于图像特征点集Pk，利用相邻两个图像中与道路特征点不共线的两个道路特征点拟合出一个道路平面，并计算该拟合道路平面的道路法向量；获取在k‑1时刻的相机坐标系下的道路法向量，利用区分函数得到最终的道路特征点集U；若道路特征点集U不为空，则计算匹配质量，若匹配质量满足匹配精度，则表明外参准确，否则需要重新校准外参。本发明有利于提高外参监测的实时性和准确性，有利于提高自动驾驶的精度。
Description
技术领域
本发明涉及传感器监测技术领域，具体涉及一种车辆传感器外参准确性的在线监测方法。
背景技术
自动驾驶***是一个汇集众多高新技术的综合***。目前，车辆的自动驾驶技术是一个研究热点。自动驾驶***的关键技术包括环境感知、逻辑推理和决策、运动控制、处理器性能等等。其中，环境感知主要依靠相机、IMU、激光雷达等传感器来实现。
车辆传感器相对于车体中心的外参的标定精度，影响传感器的测量，进而对后续的决策、控制等环节产生影响。例如，从相机采集的道路图像中可以检测出的车道线、停止线、箭头等道路标识信息，用于判断车辆在行驶过程中的位置；IMU用于测量车辆的角速度、加速度等运动参数。由于传感器的检测结果需要通过其外参矩阵转换到车体坐标系（即世界坐标系）下予以应用，因此，传感器外参的好坏将影响后续的应用效果。传感器应用到车辆内之前，都会进行预校准以保证外参的准确。
但是，车辆在行驶过程中经过减速带、凹凸不平的砂石路时产生的震动，会导致预校准的传感器的外参不再准确，进而影响车辆自动驾驶时的性能。目前，常用的车辆传感器外参校准的方式是在固定周期内定期对传感器外参进行校准。这种方式不仅工作效率较低，而且不能及时发现问题。
发明内容
为了解决现有技术中存在的问题，本发明提供一种车辆传感器外参准确性的在线监测方法。
本发明解决其技术问题所采用的技术方案是：一种车辆传感器外参准确性的在线监测方法，车辆传感器包括：单目相机和IMU，
所述方法包括以下步骤：
S1、获取所述单目相机采集的图像I、所述IMU测得的测量数据以及离线预标定好的单目相机转换到IMU的外参矩阵；
S2、根据所述IMU的测量数据，计算出IMU的旋转矩阵和平移向量/>；
S3、根据单目相机采集到的图像特征点集Qk、旋转矩阵和平移向量/>估算单目相机的相对姿态后，计算出相邻两个图像之间的基本矩阵/>；
S4、利用卡方检验法去除所述图像特征点集Qk中的非道路特征点，得到图像特征点集Pk；
S5、对于图像特征点集Pk，利用相邻两个图像中与道路特征点不共线的两个道路特征点拟合出一个道路平面，并计算该拟合道路平面的道路法向量；
S6、获取在k-1时刻的相机坐标系下的道路法向量，利用区分函数得到最终的道路特征点集U；
S7、若道路特征点集U不为空，则计算匹配质量，若匹配质量满足匹配精度，则表明外参准确，否则需要重新校准外参。
进一步的，步骤S4具体包括：
建立原假设，即，H0：和/>是道路特征点；H1：/>和/>不是道路特征点；其中，/>表示在时刻k的图像Ik中的第j个特征点，/>表示在图像Ik-1中与/>对应的特征点；
假设为极线/>上到特征点/>距离最近的点，特征点/>与/>之间的欧式几何距离为/>，统计量/>，当/>时，拒绝H0，否则接受H0，其中，/>表示特征点到极线的距离的方差，/>表示显著性水平，这个过程中卡方检验的自由度为2；
将通过卡方检验的特征点对组成图像特征点集Pk：
。
进一步的，步骤S5具体包括：
道路法向量在k=1时刻与IMU的z轴对齐，对道路特征进行三角测量，在相机坐标系/>中进行道路平面的拟合；
根据反对称矩阵性质得到：，
表示基本矩阵F的行列式，/>表示斜对称矩阵，将齐次特征向量/>代入上式的右侧的两端，因齐次特征向量/>与道路法法向量垂直，得到下式：
，
设，/>是图像Ik-1上的点，经过基本矩阵F转换后，/>变为图像Ik上的极线，/>是图像Ik-1上的与/>对应的极线，/>表示任何不经过图像Ik-1的极线e的线，/>可以表示为/>，则公式/>可整理为：/>；
定义，/>为从图像特征点集Pk中选取的点和非共归一化线，/>是图像Ik中相应的特征点，通过下式的SVD奇异值分解得到拟合道路平面的道路法向量/>：
。
进一步的，步骤S6具体包括：
在k-1时刻相机坐标系下的道路法向量为：
，
表示从相机坐标系转换到IMU坐标系的旋转矩阵的估算值，/>表示的旋转矩阵算子；
区分函数定义如下：
当时，表明特征点/>、/>、/>均为道路特征点，否则三个特征点中至少有一个点不在道路平面上，/>为限制道路特征点选择的阈值，/>表示的绝对值范数。
进一步的，步骤S7具体包括：计算道路特征点集U中相邻两个道路特征点之间的三种误差参数、/>、/>，若这三个误差参数的均值/>大于最大误差值/>，则表明匹配质量不满足匹配精度，需要重新校准外参。
进一步的，三种误差参数分别为：辛普森距离、对称极线距离/>和残差/>。
进一步的，辛普森距离，其中，
。
进一步的，对称极线距离，/>和/>满足，/>是Pk,j周围点的平均值，/>是Pk-1,j周围点的平均值。
进一步的，残差。
进一步的，所述基本矩阵，K表示单目相机的内参矩阵，表示图像Ik-1到Ik的平移向量，/>表示图像Ik-1到Ik的旋转矩阵。
本发明的有益效果是，本发明的车辆传感器外参准确性的在线监测方法，基于单目相机和IMU实时采集的数据，计算出相邻两个图像之间的基本矩阵，然后利用卡方检验法初步筛选出道路特征，再利用道路法向量、基本矩阵进一步细化道路特征，得到最终的道路特征集，对最终的道路特征集进行匹配质量计算，判断外参是否准确。本发明是在线监测方法，能够在自动驾驶车辆行驶过程中实时进行判断外参的准确性，这样可以及时发现问题并进行修正，提高自动驾驶车辆的精度和安全性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的车辆传感器外参准确性的在线监测方法的流程图。
图2是本发明的坐标系的示意图。
图3是本发明的平面拟合的示意图。
图4是本发明的车辆传感器外参准确性的在线监测方法的具体处理流程。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明中，车辆传感器包括：单目相机和IMU，主要针对这两种传感器的外参校准。
如图1至图4所示，本发明的车辆传感器外参准确性的在线监测方法，包括以下步骤：S1、获取单目相机采集的图像I、IMU测得的测量数据以及离线预标定好的单目相机转换到IMU的外参矩阵。S2、根据IMU的测量数据，计算出IMU的旋转矩阵和平移向量/>。S3、根据单目相机采集到的图像特征点集Qk、旋转矩阵/>和平移向量/>估算单目相机的相对姿态后，计算出相邻两个图像之间的基本矩阵/>。S4、利用卡方检验法去除图像特征点集Qk中的非道路特征点，得到图像特征点集Pk。S5、对于图像特征点集Pk，利用相邻两个图像中与道路特征点不共线的两个道路特征点拟合出一个道路平面，并计算该拟合道路平面的道路法向量/>。S6、获取在k-1时刻的相机坐标系下的道路法向量/>，利用区分函数得到最终的道路特征点集U。S7、若道路特征点集U不为空，则计算匹配质量，若匹配质量满足匹配精度，则表明外参准确，否则需要重新校准外参。
需要说明的是，本发明利用单目相机和IMU采集到的数据，排除其中的非道路特征点，再对道路特征点进行匹配质量量化，根据匹配质量来判断当前车辆传感器的外参是否准确。本发明是一种在线监测方法，能够及时发现车辆传感器的外参变化，进而能够及时进行校准，保证车辆自动驾驶的精度以及安全性。
需要解释的是，表示相机坐标系，/>表示IMU坐标系，/>表示世界坐标系，世界坐标系与IMU坐标系重合。离线预标定好的单目相机转换到IMU的外参矩阵（包含基础旋转矩阵/>和基础平移向量/>），用于在车辆正常行驶中计算单目相机的图像中经过筛选后的道路图像特征点的法向量转换到IMU坐标系下和IMU纵向z轴向量之间的差值，正常行驶时，差值很小是准确的。如果车辆经过路障减速带或者石子路，底盘缓冲性不好的车辆，就会造成单目相机和IMU的相对位置发生变化，这个差值就会变大，就需要进行重新标定单目相机和IMU的外参矩阵。
当自动驾驶车辆在行驶时，处理器会以很高的频率接收来自单目相机的图像以及来自IMU的测量数据，本发明基于扩展卡尔曼滤波的估计器来跟踪在IMU坐标系下的关键帧相对于世界坐标系/>的姿态，以及获得单目相机中相邻两个图像的基本矩阵。然后，利用卡方检验法结合极线约束来初步筛选道路特征点，再比较道路法向量，利用卡尔曼滤波后的IMU数据计算的基本矩阵来进一步细化道路特征集。
具体的，IMU的工作状态可以描述为：
（1）
其中，表示从世界坐标系转换到IMU坐标系的四元数，/>和/>分别表示IMU相对于世界坐标系的位置和速度的转置，/>和/>分别表示影响陀螺仪和加速度计（这两个是IMU的内部元件）测量的偏差向量的转置，IMU的偏差是随机游走的过程，分别由白高斯噪声/>和/>驱动。k表示单目相机的图像的序号，i表示单目相机接收的关键帧的序号。
在IMU坐标系下，在图像和/>之间，IMU测得的第i个角速度/>和加速度/>分别为：
（2）
其中，表示四元数/>的旋转矩阵算子，/>表示世界坐标系下的重力，/>和/>分别表示零均值高斯噪声，用于模拟测量噪声。/>和/>分别表示世界坐标系下的加速度和角速度。/>和/>分别表示影响陀螺仪和加速度计测量的偏差向量。
IMU的误差状态可以表示为：
（3）
其中，表示旋转角度的估计误差的转置，/>和/>分别表示影响陀螺仪和加速度计测量的偏差向量的估计误差的转置，/>和/>分别表示IMU相对于世界坐标系的位置和速度的估计误差的转置。
IMU的误差运动方程可以表示为：
（4）
其中，表示***噪声，A和G均表示矩阵。通过对公式（4）积分处理可以得到IMU的标称状态。
（5）
（6）
其中，表示3*3的单位矩阵，0表示3*3的全零矩阵，/>表示斜对称矩阵，/>表示参数/>的斜对称矩阵，/>，/>表示四元数/>的旋转矩阵算子，，/>表示参数/>的斜对称矩阵，/>，/>和/>分别表示/>和/>的估计值。
卡尔曼测量模型为：
（7）
其中，，/>表示白色零均值高斯噪声，H表示矩阵，
（8）
对于公式（3）中的误差估量值，/>，/>，/>表示四元数乘法，/>和/>分别表示四元数/>的估计误差和估计值，/>和/>分别表示IMU相对于世界坐标系的位置的估计误差和估计值。根据公式（4）至（7），通过离散时间积分可以得到旋转矩阵，以及得到图像Ik的四元数/>和平移向量。进而可以得到IMU的旋转矩阵/>和平移向量/>：
（9）
图像Ik-1到图像Ik之间的旋转矩阵和平移向量/>为：
（10）
表示从相机坐标系转换到IMU坐标系的旋转矩阵的估计值，/>表示从相机坐标系转换到IMU坐标系的平移向量的估计值。
得到单目相机的相对姿态后，可以构建相邻两个图像Ik-1和Ik之间的基本矩阵：
（11）
K表示单目相机的内参矩阵，表示图像Ik-1到Ik的平移向量，/>表示图像Ik-1到Ik的旋转矩阵。根据基本矩阵/>可以构建图像Ik-1与Ik之间的特征关系。
构建好相邻两个图像之间的基本矩阵后，需要对图像中的道路特征进行筛选。自动驾驶车辆在行驶过程中，单目相机拍摄到的图中会包含路面特征（策车道线、箭头等等）、物体特征等。对于外参的监测来说，为了提高监测方法的准确性，需要去除图像中的非道路特征。本发明利用卡方检验法来初步筛选出图像中的道路特征。具体包括：
S4.1、建立原假设。
H0：和/>是道路特征点；H1：/>和/>不是道路特征点；其中，/>表示在时刻k的图像Ik中的第j个特征点，/>表示在图像Ik-1中与/>对应的特征点。
S4.2、假设为极线/>上到特征点/>距离最近的点，/>，，/>和/>表示齐次特征向量，特征点/>与/>之间的欧式几何距离为，“/>”表示欧几里德范数，统计量/>，当/>时，拒绝H0，否则接受H0，其中，/>表示特征点到极线的距离的方差（本发明中设为1），/>表示显著性水平（本发明中设为0.05），这个过程中卡方检验的自由度为2。统计量阈值设为5.99，即，当统计量/>时，表明该特征点为非道路特征点，需要去除。
S4.3、将通过卡方检验的特征点对组成图像特征点集Pk：
（12）。
图像特征点集Pk为初步的道路特征点集，和/>分别表示k，j的取值。
然后，借助道路法向量来进一步选择图像特征点集Pk中的道路特征点。道路法向量/>在k=1时刻与IMU的z轴对齐。在k-1时刻的相机坐标系下的道路法向量/>可设为：
（13）
然后，用图像特征点集Pk对道路特征进行三角测量，在相机坐标系中进行道路平面拟合，推导出在k-1时刻的拟合道路平面的法向量。具体推导过程如下：
根据反对称矩阵性质得到：
（14）
其中，表示基本矩阵F的行列式，/>表示斜对称矩阵，将齐次特征向量/>代入公式（14）的右侧的两端，因齐次特征向量/>与道路法法向量垂直，可以得到下式：
（15）
设，/>是图像Ik-1上的点，经过基本矩阵F转换后，/>变为图像Ik上的极线。/>是图像Ik-1上的与/>对应的极线，/>表示任何不经过图像Ik-1的极线e的线，/>可以表示为/>，公式（15）可以整理为：
（16）
通过三条线可以求解出法向量，线/>、/>、/>可以利用图像Ik-1中三个非共线的特征点来构造。定义/>，/>为从图像特征点集Pk中选取的点和非共归一化线，/>是图像Ik中相应的特征点，通过公式（17）的SVD奇异值分解可以得到拟合道路平面的道路法向量/>。
（17）
为了便于提取道路特征，定义特征点对和/>的区分函数/>为：
（18）
当时，表明特征点/>、/>、/>均为道路特征点，否则三个特征点中至少有一个点不在道路平面上。/>为限制道路特征点选择的阈值，/>表示的绝对值范数。通过区分函数可以进一步筛选出道路特征点。
需要说明的是，由于自动驾驶车辆在行驶时，单目相机拍摄到的连续画面中，相邻帧中地面道路的法线方向是重合的。通过公式（13）可以把IMU的z轴法线向量转换到相机坐标系下。通过公式（14）、（15）、（16）、（17）可以在相机坐标系中用三个不共线的点连出的三条线求解出相机坐标系中拟合平面的法向量。由于图像特征点集Pk中可能还包含一些非道路特征点（例如位于道路上的物体，通过卡方检验没有完全滤除的非道路特征点），拟合平面包含道路平面，也可能包含物体平面，正常情况下，道路平面和物体平面不会处于同一个平面。通过公式（18）的比较，可以进一步排除非道路特征，得到最终的道路特征点集U。
获得道路特征点集U后可以进行外参准确性的判断。判断过程包括：计算道路特征点集U中相邻两个道路特征点之间的三种误差参数、/>、/>，若这三个误差参数的均值大于最大误差值/>（/>可以设为0.832），则表明匹配质量不满足匹配精度，需要重新校准外参。利用三种误差的均值来综合判断，可以避免误判，提高判断结果的准确性。三种误差参数分别为：辛普森距离/>、对称极线距离/>和残差/>。
辛普森距离是通过比较两个样本之间的距离来表征两个样本的相似度，距离越小，表明相邻两个时刻间的图像特征点的样本集越相似。辛普森距离，其中，
。
对称极线距离是度量点到极线的距离。对称极线距离越小，代表两个时刻的图像中物体几何关系更对应。对称极线距离，/>和/>满足/>。连续两帧图像中， k时刻图像的Pk,j点就是k-1时刻图像的Pk-1,j点的对极映射点。/>是Pk,j周围点的平均值，/>是Pk-1,j周围点的平均值，也满足对极映射关系。因此对称极线距离越小，代表两帧图像的物体空间几何越对应，进而图像越相似。
残差，图像/>和/>之间的残差是图像中每一个点的极线和另一张图中匹配点之间距离的平方，因此残差越小，代表两帧图像之间的位移间隔越小。图像间的位移间隔越小，两帧图像就越相似。
图像和/>之间的误差越小，表明外参变化越小或基本无变化。三种误差值的平均值如果超过0.832，则认为外参不准确，需要重新校准单目相机与IMU之间的外参。
综上所述，本发明的车辆传感器外参准确性的在线监测方法，基于单目相机和IMU实时采集的数据，计算出相邻两个图像之间的基本矩阵，然后利用卡方检验法初步筛选出道路特征，再利用道路法向量、基本矩阵进一步细化道路特征，得到最终的道路特征集。对最终的道路特征集进行匹配质量计算，判断外参是否准确。本发明是在线监测方法，能够在自动驾驶车辆行驶过程中实时进行判断外参的准确性，这样可以及时发现问题并进行修正，提高自动驾驶车辆的精度和安全性。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要如权利要求范围来确定其技术性范围。
Claims (10)
1.一种车辆传感器外参准确性的在线监测方法，其特征在于，
车辆传感器包括：单目相机和IMU，
所述方法包括以下步骤：
S1、获取所述单目相机采集的图像I、所述IMU测得的测量数据以及离线预标定好的单目相机转换到IMU的外参矩阵；
S2、根据所述IMU的测量数据，计算出IMU的旋转矩阵和平移向量/>；
S3、根据单目相机采集到的图像特征点集Qk、旋转矩阵和平移向量/>估算单目相机的相对姿态后，计算出相邻两个图像之间的基本矩阵/>；
S4、利用卡方检验法去除所述图像特征点集Qk中的非道路特征点，得到图像特征点集Pk；
S5、对于图像特征点集Pk，利用相邻两个图像中与道路特征点不共线的两个道路特征点拟合出一个道路平面，并计算该拟合道路平面的道路法向量；
S6、获取在k-1时刻的相机坐标系下的道路法向量，利用区分函数/>得到最终的道路特征点集U；
S7、若道路特征点集U不为空，则计算匹配质量，若匹配质量满足匹配精度，则表明外参准确，否则需要重新校准外参。
2.如权利要求1所述的车辆传感器外参准确性的在线监测方法，其特征在于，步骤S4具体包括：
建立原假设，即，H0：和/>是道路特征点；H1：/>和/>不是道路特征点；其中，/>表示在时刻k的图像Ik中的第j个特征点，/>表示在图像Ik-1中与/>对应的特征点；
假设为极线/>上到特征点/>距离最近的点，特征点/>与/>之间的欧式几何距离为/>，统计量/>，当/>时，拒绝H0，否则接受H0，其中，表示特征点到极线的距离的方差，/>表示显著性水平，这个过程中卡方检验的自由度为2；
将通过卡方检验的特征点对组成图像特征点集Pk：
。
3.如权利要求2所述的车辆传感器外参准确性的在线监测方法，其特征在于，步骤S5具体包括：
道路法向量在k=1时刻与IMU的z轴对齐，对道路特征进行三角测量，在相机坐标系中进行道路平面的拟合；
根据反对称矩阵性质得到：，
表示基本矩阵F的行列式，/>表示斜对称矩阵，将齐次特征向量/>代入上式的右侧的两端，因齐次特征向量/>与道路法法向量垂直，得到下式：
，
设，/>是图像Ik-1上的点，经过基本矩阵F转换后，/>变为图像Ik上的极线，/>是图像Ik-1上的与/>对应的极线，/>表示任何不经过图像Ik-1的极线e的线，/>可以表示为，则公式/>可整理为：/>；
定义，/>为从图像特征点集Pk中选取的点和非共归一化线，/>是图像Ik中相应的特征点，通过下式的SVD奇异值分解得到拟合道路平面的道路法向量/>：
。
4.如权利要求3所述的车辆传感器外参准确性的在线监测方法，其特征在于，步骤S6具体包括：
在k-1时刻相机坐标系下的道路法向量为：
，
表示从相机坐标系转换到IMU坐标系的旋转矩阵的估算值，/>表示的旋转矩阵算子；
区分函数定义如下：
当时，表明特征点/>、/>、/>均为道路特征点，否则三个特征点中至少有一个点不在道路平面上，/>为限制道路特征点选择的阈值，/>表示的绝对值范数。
5.如权利要求1所述的车辆传感器外参准确性的在线监测方法，其特征在于，步骤S7具体包括：计算道路特征点集U中相邻两个道路特征点之间的三种误差参数、/>、/>，若这三个误差参数的均值/>大于最大误差值/>，则表明匹配质量不满足匹配精度，需要重新校准外参。
6.如权利要求5所述的车辆传感器外参准确性的在线监测方法，其特征在于，三种误差参数分别为：辛普森距离、对称极线距离/>和残差/>。
7.如权利要求6所述的车辆传感器外参准确性的在线监测方法，其特征在于，辛普森距离，其中，
。
8.如权利要求6所述的车辆传感器外参准确性的在线监测方法，其特征在于，对称极线距离，/>和/>满足/>，/>是Pk,j周围点的平均值，/>是Pk-1,j周围点的平均值。
9.如权利要求6所述的车辆传感器外参准确性的在线监测方法，其特征在于，残差。
10.如权利要求1所述的车辆传感器外参准确性的在线监测方法，其特征在于，所述基本矩阵，K表示单目相机的内参矩阵，/>表示图像Ik-1到Ik的平移向量，/>表示图像Ik-1到Ik的旋转矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410574023.7A CN118154700A (zh) | 2024-05-10 | 2024-05-10 | 车辆传感器外参准确性的在线监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410574023.7A CN118154700A (zh) | 2024-05-10 | 2024-05-10 | 车辆传感器外参准确性的在线监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118154700A true CN118154700A (zh) | 2024-06-07 |
Family
ID=91295170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410574023.7A Pending CN118154700A (zh) | 2024-05-10 | 2024-05-10 | 车辆传感器外参准确性的在线监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118154700A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018196391A1 (zh) * | 2017-04-28 | 2018-11-01 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
| CN112785655A (zh) * | 2021-01-28 | 2021-05-11 | 中汽创智科技有限公司 | 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 |
| JP2022039906A (ja) * | 2020-08-28 | 2022-03-10 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
| CN114842093A (zh) * | 2022-05-18 | 2022-08-02 | 重庆长安汽车股份有限公司 | 基于关键点的车载单目相机外参自动标定***及标定方法 |
| US20230104188A1 (en) * | 2021-09-28 | 2023-04-06 | Here Global B.V. | Method, apparatus, and system for calibrating vehicle motion data based on mobile device sensor data |
| CN116433762A (zh) * | 2023-03-14 | 2023-07-14 | 东南大学 | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 |
| CN117745845A (zh) * | 2023-12-21 | 2024-03-22 | 亿咖通(湖北)技术有限公司 | 一种外参信息确定方法、装置、设备和存储介质 |
-
2024
- 2024-05-10 CN CN202410574023.7A patent/CN118154700A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018196391A1 (zh) * | 2017-04-28 | 2018-11-01 | 华为技术有限公司 | 一种车载摄像机的外部参数标定方法及装置 |
| JP2022039906A (ja) * | 2020-08-28 | 2022-03-10 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
| CN112785655A (zh) * | 2021-01-28 | 2021-05-11 | 中汽创智科技有限公司 | 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 |
| US20230104188A1 (en) * | 2021-09-28 | 2023-04-06 | Here Global B.V. | Method, apparatus, and system for calibrating vehicle motion data based on mobile device sensor data |
| CN114842093A (zh) * | 2022-05-18 | 2022-08-02 | 重庆长安汽车股份有限公司 | 基于关键点的车载单目相机外参自动标定***及标定方法 |
| CN116433762A (zh) * | 2023-03-14 | 2023-07-14 | 东南大学 | 激光雷达与相机标定状态检测方法、校正方法、装置及存储介质 |
| CN117745845A (zh) * | 2023-12-21 | 2024-03-22 | 亿咖通(湖北)技术有限公司 | 一种外参信息确定方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 吴祥飞: "基于视觉点线特征与IMU融合的移动机器人定位方法研究", 《 中国优秀硕士论文电子期刊网》, no. 1, 15 January 2023 (2023-01-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452999B2 (en) | Method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle | |
| CN113819914B (zh) | 一种地图构建方法及装置 | |
| CN113514806B (zh) | 自动驾驶过程中障碍物确定方法、装置及电子设备 | |
| JP3736346B2 (ja) | 車線検出装置 | |
| CN108596058A (zh) | 基于计算机视觉的行车障碍物测距方法 | |
| CN111986506A (zh) | 基于多视觉***的机械式停车位泊车方法 | |
| CN108345855B (zh) | 一种车道压线检测方法及*** | |
| CN113903011A (zh) | 一种适用于室内停车场的语义地图构建及定位方法 | |
| CN112880642A (zh) | 测距***和测距方法 | |
| CN115371665B (zh) | 一种基于深度相机和惯性融合的移动机器人定位方法 | |
| CN110412603A (zh) | 一种用于车道偏离计算的标定参数自适应更新方法 | |
| CN110415298A (zh) | 一种用于车道偏离的计算方法 | |
| CN107492123A (zh) | 一种利用路面信息的道路监控摄像机自标定方法 | |
| CN110888441B (zh) | 一种基于陀螺仪的轮椅车控制*** | |
| CN112862818B (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
| CN118154700A (zh) | 车辆传感器外参准确性的在线监测方法 | |
| CN112116644B (zh) | 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置 | |
| CN106909903B (zh) | 一种基于图像的路径识别方法及*** | |
| CN108773377A (zh) | 一种基于移动终端的汽车油耗实时估计方法及装置 | |
| CN114279452B (zh) | 无人集卡挂车姿态检测方法及检测*** | |
| CN111539278A (zh) | 一种用于目标车辆的检测方法及*** | |
| CN112161685A (zh) | 一种基于表面特征的车辆荷载测量方法 | |
| CN114475581B (zh) | 基于轮速脉冲和imu卡尔曼滤波融合的自动泊车定位方法 | |
| CN112798020B (zh) | 一种用于评估智能汽车定位精度的***及方法 | |
| CN110779511B (zh) | 位姿变化量的确定方法、装置、***和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |