CN116957958A - 一种基于惯性先验校正图像灰度的vio前端改良方法 - Google Patents
一种基于惯性先验校正图像灰度的vio前端改良方法 Download PDFInfo
- Publication number
- CN116957958A CN116957958A CN202310751164.7A CN202310751164A CN116957958A CN 116957958 A CN116957958 A CN 116957958A CN 202310751164 A CN202310751164 A CN 202310751164A CN 116957958 A CN116957958 A CN 116957958A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- camera
- correction
- gray scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012937 correction Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006872 improvement Effects 0.000 title claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 19
- 230000010354 integration Effects 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims abstract description 3
- 238000005286 illumination Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 230000000052 comparative effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 230000001133 acceleration Effects 0.000 claims 1
- 238000004806 packaging method and process Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于惯性先验校正图像灰度的VIO前端改良方法。首先读入相机采集的图像信息，对图像进行特征提取与跟踪，在VIO完成初始化后，以已知深度的特征点为被跟踪点，通过IMU预积分结果预测相机的姿态变化，作为先验估计得到被跟踪点在当前相机输入图像中的像素位置，并取邻域范围内的像素信息与被跟踪点对应的邻域像素信息计算结构相似性衡量指标结果，根据结果选择不同策略对图像区域进行灰度变化处理图像，在L‑K光流金字塔中使用被跟踪点的预测位置为初始值以得到跟踪结果更加准确的特征点对，筛选得到关键帧后作为视觉前端几何约束进入后端优化得到位姿估计结果。应用本发明的方法求解的轨迹进度较VINS‑Mono算法的轨迹精度提升最高达55.7%。
Description
技术领域
本发明属于车辆平台的VIO技术领域，涉及一种在隧道内的定位方法，具体涉及一种基于惯性先验校正图像灰度的VIO前端改良方法。
背景技术
VIO技术视觉前端主要分为直接法和特征点法.在封闭环境导致相机光照条件不佳的情况下，与直接法相比，特征点法在面对图像低质量问题时的表现更为鲁棒.特征点法根据匹配方法不同又可分为光流匹配和特征描述符匹配，光流法相比于后者运行效率更快，却对照明变化和快速运动较为敏感，而剧烈的照明变化可能会导致VIO缺少足够的视觉几何约束来参与优化而出现***发散。因此，对VIO视觉前端图像增强的改进有重要意义。
目前已有许多致力于改进视觉前端的图像增强方法，例如经典的Retinex理论的图像增强算法，包括单尺度增强和多尺度增强，其将原始图像分解为照度分量和反射分量，由反射分量作为增强结果；暗通道先验去雾算法，利用暗通道图复原清晰图像，并结合导向滤波提升算法效果；最经典并且广泛应用的直方图均衡化算法等。高扬等人将图像转换到HSV空间，对V通道中的亮度信息进行处理，使用伽马校正和直方图均衡化加权融合的方式增强图像，在改良随机抽样一致性(RANSAC)算法处理后，提高了特征点提取数量以及匹配的成功率。在2021年，尹胜楠等人对自动彩色增强(automatic color enhancement，ACE)算法进行改进，使用快速ACE算法在提升特征点提取的数量和匹配成功的数量上都取得了很大进步。或是从深度学习角度改进视觉前端，以自适应地改变相机曝光时间和增益，从而增加了高质量特征点的数量。但以上技术往往只适应单一场景，且存在算力消耗较大等问题。而以往的图像增强策略旨在对单帧图像中进行处理以提升特征点的质量与数量，并没有将图像前后帧间特征点存在的联系有效利用起来以提升特征跟踪的稳定性。
发明内容
为解决上述问题，本发明公开了一种基于惯性先验校正图像灰度的VIO前端改良方法，利用IMU先验预测图像特征点位置，并根据预测点对图像灰度进行校正，使得VIO前端视觉几何约束更加鲁棒和可靠。
为达到上述目的，本发明的技术方案如下：
一种基于惯性先验校正图像灰度的VIO前端改良方法，具体方法如下：
(1)读入相机采集的图像信息和IMU采集的惯性信息；
VIO***需要对齐图像信息和惯性信息时间戳，因为IMU采集频率(100Hz)要高于相机采集频率(10Hz)，需要对数据进行对齐和打包；
(2)根据IMU预积分和图像特征进行里程计初始化；
在里程计正式运行前需要初始化以得到地图点位置、深度信息，根据惯性积分结果和视觉几何约束估计旋转外参数，利用旋转约束估计陀螺仪的偏差，利用平移约束估计重力方向，速度，以及尺度初始值。求解世界坐标系和初始相机坐标系之间的旋转矩阵，并将轨迹对齐到世界坐标系(航向角不可观)。
(3)利用IMU预积分结果，预测地图点位置；
通过对两帧图像时间内的IMU预积分，初步估计得到两个时刻间的相机位姿变化，对应公式为：
式中，表示世界坐标系下载体在k+1时刻的位置、速度、姿态，表示t时刻世界坐标系下的旋转矩阵，/>和/>表示加速度计和陀螺仪在t时刻的测量值，bat和bωt表示加速度计和陀螺仪在t时刻的零偏，na，nω表示加速度计和陀螺仪噪声，gw为世界系下的重力。
若有前一帧图像中已知深度的特征点Ppre＝[X,Y,Z]T，则其在当前帧的预测像素位置可以由以下公式预测：
s[u,v，1]T＝πc(Rpc(Rpre·Ppre+tpre)+tpc) (4)
式中，u，v表示预测像素坐标；s表示尺度因子；πc(·)表示相机投影函数，其中包括了相机内参和畸变运算；Rpre和tpre表示前一帧时刻相机在世界坐标系下的位姿估计；和表示两个时刻间的相机位姿变化。
(4)根据地图点预测位置与已知位置计算其邻域像素相似性；
选取两点已知深度特征点与预测特征点相应邻域位置大小一致的邻域像素，计算两区域的灰度、对比度和结构相似性，并得到图像相似性衡量指标；图像相似性衡量指标计算公式如下：
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]λ (5)
式中，l(x,y)表示x，y的灰度相似性；c(x,y)表示x，y的对比相似性；s(x,y)表示x，y的结构相似性；α，β，λ分别表示相似性中几个方面相似性的比重，通常取值为α＝β＝λ＝1。
l(x,y)，c(x,y)和s(x,y)的计算公式如下：
式中，μx，μy表示预测点与已知点邻域的平均灰度值；σx，σy，σxy表示前、后两帧邻域的标准差和协方差；C1，C2，C3分别为控制三个相似性大小的参数，本方法分别设置为：
式中，k1＝0.01，k2＝0.03，L取图像灰度最大值255。特征点邻域图像相似性越高，特征跟踪成功率越高，同时根据结果对结构相似性低的预测点进行筛除，也能剔除对比度过低和纹理缺失的预测点，当s(x,y)小于某值时，说明对应区域的结构相似较低，匹配成功几率小。根据实验经验，在s(x,y)低于0.3时将对应预测点剔除，不参加视觉几何约束。
(5)在筛选合适的特征点对之后，需要对SSIM结果进行评估，对当前图像的预测点所在区域进行自适应灰度校正，可分为三种情况分别处理：光照条件大幅变化情况、光照条件不佳情况和对比度变化情况；
光照条件大幅变化情况：
在评估预测点与已知特征点两者邻域像素的相似性时，能够跟踪成功的情形往往出现灰度、对比、结构相似性结果都接近于1的SSIM结果，为保证两者邻域内信息只存在灰度上差异，在对比、结构相似性结果都较大且灰度相似性较小时要对图像进行伽马校正，光照条件大幅变化情况的校正结果由下式计算得到：
式中，伽马校正中的γ设为目的是为了以指数形式求得两帧间的灰度差距，且在校正后，为避免区域边缘出现分层现象，需要对校正区域进行取值调整：
式中，*符号表示矩阵对应位置元素乘法；G表示尺寸与特征点邻域一致的高斯矩阵，Sigma取值为矩阵尺寸的1/2，并乘以增益k，使得矩阵中最大值为1；max函数与min函数分别对应不同的光照变化情况，意在避免分层现象产生并保留区域中更亮(暗)的像素。
光照条件不佳情况：
在相机采集图像的过程中还有一种情况，则是前后两帧图像都处于过亮或过暗的情况，则采取的伽马校正由如下公式表示：
式中，M表示对应图像的灰度值中位数。同样地，也需要式(10)对校正区域进行调整。
对比度变化情况：
在相机光照条件发生变化时，伴随着灰度变化，采集图像的对比度往往也会出现变化，因此，当邻域像素的对比相似性较低而结构相似性较高时，根据对比度进行伽马校正，但只针对对比度降低的情况进行校正，判断依据为是否大于，对应的伽马校正公式相对也略有不同：
式中，c表示区域内像素的对比相似度。
综上所述，根据SSIM计算得出的不同结果，选取不同策略伽马校正方法。
作为本发明进一步改进，步骤(1)所述读入相机采集的图像信息和IMU采集的惯性信息，VIO***需要对齐图像信息和惯性信息时间戳，因为IMU采集频率(100Hz)要高于相机采集频率(10Hz)，需要对数据进行对齐和打包。
作为本发明进一步改进，步骤(2)所述，根据IMU预积分和图像特征进行里程计初始化，在里程计正式运行前需要初始化以得到地图点位置、深度信息，根据惯性积分结果和视觉几何约束估计旋转外参数，利用旋转约束估计陀螺仪的偏差，利用平移约束估计重力方向，速度，以及尺度初始值。求解世界坐标系和初始相机坐标系之间的旋转矩阵，并将轨迹对齐到世界坐标系(航向角不可观)。
作为本发明进一步改进，步骤(3)所述方法通过对两帧图像时间内的IMU预积分，初步估计得到两个时刻间的相机位姿变化，预测地图点位置。
作为本发明进一步改进，步骤(4)中所述的根据选取规则选取地图点预测位置与已知位置相应邻域计算其邻域像素相似性。
作为本发明进一步改进，步骤(5)中所述的在筛选合适的特征点对之后，需要对SSIM结果进行评估，对当前图像的预测点所在区域进行自适应灰度校正，分为三种情况分别处理：光照条件大幅变化情况、光照条件不佳情况和对比度变化情况。
本发明的有益效果是：
本发明提出的一种基于惯性先验校正图像灰度的VIO前端改良方法，利用IMU先验预测图像特征点位置，并根据预测点SSIM结果对图像灰度进行校正和预测点筛选，使得VIO前端视觉几何约束更加鲁棒和可靠，从而完成精确的定位，对比VINS-Mono在数据集和实测数据中，本发明算法估计轨迹的精度均有提升，最高可达到55.7％。
附图说明
图1是本发明的伽马校正流程图；
图2是预测点邻域选取规则；
图3是灰度校正效果图；
图4是实验设备安装图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明所述的一种基于惯性先验校正图像灰度的VIO前端改良方法，具体方法如下：
(1)读入相机采集的图像信息和IMU采集的惯性信息；
VIO***需要对齐图像信息和惯性信息时间戳，因为IMU采集频率(100Hz)要高于相机采集频率(10Hz)，需要对数据进行对齐和打包；
(2)根据IMU预积分和图像特征进行里程计初始化；
在里程计正式运行前需要初始化以得到地图点位置、深度信息，根据惯性积分结果和视觉几何约束估计旋转外参数，利用旋转约束估计陀螺仪的偏差，利用平移约束估计重力方向，速度，以及尺度初始值。求解世界坐标系和初始相机坐标系之间的旋转矩阵，并将轨迹对齐到世界坐标系(航向角不可观)。
(3)利用IMU预积分结果，预测地图点位置；
通过对两帧图像时间内的IMU预积分，初步估计得到两个时刻间的相机位姿变化，对应公式为：
式中，表示世界坐标系下载体在k+1时刻的位置、速度、姿态，表示t时刻世界坐标系下的旋转矩阵，/>和/>表示加速度计和陀螺仪在t时刻的测量值，bat和bωt表示加速度计和陀螺仪在t时刻的零偏，na，nω表示加速度计和陀螺仪噪声，gw为世界系下的重力。
若有前一帧图像中已知深度的特征点Ppre＝[X,Y,Z]T，则其在当前帧的预测像素位置由以下公式预测：
s[u,v，1]T＝πc(Rpc(Rpre·Ppre+tpre)+tpc) (4)
式中，u，v表示预测像素坐标；s表示尺度因子；πc(·)表示相机投影函数，其中包括了相机内参和畸变运算；Rpre和tpre表示前一帧时刻相机在世界坐标系下的位姿估计；和表示两个时刻间的相机位姿变化。
(4)根据地图点预测位置与已知位置计算其邻域像素相似性；
选取两点相应邻域位置，计算其邻域像素相似性，图像相似性衡量指标为：
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]λ (5)
式中，l(x,y)表示x，y的灰度相似性；c(x,y)表示x，y的对比相似性；s(x,y)表示x，y的结构相似性；α，β，λ分别表示相似性中几个方面相似性的比重，通常取值为α＝β＝λ＝1。
l(x,y)，c(x,y)和s(x,y)的计算公式如下：
式中，μx，μy表示预测点与已知点邻域的平均灰度值；σx，σy，σxy表示前、后两帧邻域的标准差和协方差；C1，C2，C3分别为控制三个相似性大小的参数，本方法分别设置为：
式中，k1＝0.01，k2＝0.03，L取图像灰度最大值255。特征点邻域图像相似性越高，特征跟踪成功率越高，同时根据结果对结构相似性低的预测点进行筛除，也能剔除对比度过低和纹理缺失的预测点，当s(x,y)小于某值时，说明对应区域的结构相似较低，匹配成功几率小。根据实验经验，在s(x,y)低于0.3时将对应预测点剔除，不参加视觉几何约束。
(5)在筛选合适的特征点对之后，需要对SSIM结果进行评估，对当前图像的预测点所在区域进行自适应灰度校正，可分为三种情况分别处理：光照条件大幅变化情况、光照条件不佳情况和对比度变化情况；
光照条件大幅变化情况：
在评估预测点与已知特征点两者邻域像素的相似性时，能够跟踪成功的情形往往出现灰度、对比、结构相似性结果都接近于1的SSIM结果，为保证两者邻域内信息只存在灰度上差异，在对比、结构相似性结果都较大且灰度相似性较小时要对图像进行伽马校正，光照条件大幅变化情况的校正结果可由下式计算得到：
式中，伽马校正中的设为，目的是为了以指数形式求得两帧间的灰度差距，且在校正后，为避免区域边缘出现分层现象，需要对校正区域进行取值调整：
式中，*符号表示矩阵对应位置元素乘法；G表示尺寸与特征点邻域一致的高斯矩阵，Sigma取值为矩阵尺寸的1/2，并乘以增益k，使得矩阵中最大值为1；max函数与min函数分别对应不同的光照变化情况，意在避免分层现象产生并保留区域中更亮(暗)的像素。
光照条件不佳情况：
在相机采集图像的过程中还有一种情况，则是前后两帧图像都处于过亮或过暗的情况，则采取的伽马校正由如下公式表示：
式中，M表示对应图像的灰度值中位数。同样地，也需要式(10)对校正区域进行调整。
对比度变化情况：
在相机光照条件发生变化时，伴随着灰度变化，采集图像的对比度往往也会出现变化，因此，当邻域像素的对比相似性较低而结构相似性较高时，根据对比度进行伽马校正，但只针对对比度降低的情况进行校正，判断依据为是否大于，对应的伽马校正公式相对也略有不同：
式中，c表示区域内像素的对比相似度。
综上所述，根据SSIM计算得出的不同结果，选取不同策略伽马校正方法。
下面根据实际环境下的实验对本发明的技术方案验证效果与精度，对比改进算法与原VINS-Mono算法计算得到的轨迹精度。首先在TUM数据集中对算法的轨迹估计精度进行评估，评估策略为通过evo轨迹定位精度评估工具将数据集真值与算法输出轨迹进行对比，求取RMSE值。采用的电脑配置如下：处理器为IntelCorei7-11700 2.50GHz，内存为16GB。
另一组测试为实测数据，实验场地为南京市东南大学四牌楼校区停车场，利用精度在10cm以内的GNSS/INS组合导航定位结果作为真值，评估轨迹精度。采用了海康工业相机相机(型号：MV-CA016-10UC，分辨率：1440×1080)，***运行配置为CPU：IntelCorei7-117002.50GHz，显卡：GTX1060，内存为16GB。
数据集测试结果如下表1所示：
表1在TUM数据集上轨迹估计结果RMSE对比
在实测数据集中，其估计轨迹的结果如下表2：
表2实测数据轨迹估计结果RMSE对比
从表1和表2可以看出，改进算法得到的轨迹精度对比VINS-Mono算法有了较为明显的提升效果。在数据集测试中，10组数据集中轨迹精度提升幅度最大可达到57.9％，并且有提升。并且在实测数据中，测试场环境下，改进算法的轨迹估计精度提升幅度高达31.0％，通过测试结果可见，本发明提出的一种基于惯性先验校正图像灰度的VIO前端改良方法的轨迹估计精度，相对于VINS-Mono算法有较大幅度的提升，并且最高提升幅度可达57.9％。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。
Claims (6)
1.一种基于惯性先验校正图像灰度的VIO前端改良方法，其特征在于，具体方法如下：
(1)读入相机采集的图像信息和IMU采集的惯性信息；
VIO***以相机采集图像与IMU采集的加速度值与角速度值作为输入，最终输出***位姿；
(2)根据IMU预积分和图像特征进行里程计初始化；
对图像数据作为输入，进行全局结构重建，得到***视觉位姿估计，再根据时间戳与IMU数据进行对齐，联合优化估计得到尺度，完成***的初始化；
(3)利用IMU预积分结果，预测地图点位置；
通过对两帧图像时间内的IMU预积分，初步估计得到两个时刻间的相机位姿变化，对应公式为：
式中，表示世界坐标系下载体在k+1时刻的位置、速度、姿态，/>表示t时刻世界坐标系下的旋转矩阵，/>和/>表示加速度计和陀螺仪在t时刻的测量值，bat和bωt表示加速度计和陀螺仪在t时刻的零偏，na，na表示加速度计和陀螺仪噪声，gw为世界系下的重力；
若有前一帧图像中已知深度的特征点Ppre＝[X,Y,Z]T，则其在当前帧的预测像素位置由以下公式预测：
s[u,v，1]T＝πc(Rpc(Rpre·Ppre+tpre)+tpc) (4)
式中，u，v表示预测像素坐标；s表示尺度因子；πc表示相机投影函数，其中包括了相机内参和畸变运算；Rpre和Ppre表示前一帧时刻相机在世界坐标系下的位姿估计；Rpc和tpc表示两个时刻间的相机位姿变化；
(4)根据地图点预测位置与已知位置计算其邻域像素相似性
选取已知深度特征点与预测特征点位置大小一致的邻域像素，计算两区域的图像相似性；
图像相似性衡量指标为：
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]λ (5)
式中，l(x,y)表示x，y的灰度相似性；c(x,y)表示x，y的对比相似性；s(x,y)表示x，y的结构相似性；α，β，λ(α≥0,β≥0,λ≥0)分别表示相似性中几个方面相似性的比重，取值为α＝β＝λ＝1；
l(x,y)，c(x,y)和s(x,y)的计算公式如下：
式中，μx，μy表示预测点与已知点邻域的平均灰度值；σx，σy，σxy表示前、后两帧邻域的标准差和协方差；C1，C2，C3分别为控制三个相似性大小的参数，本方法分别设置为：
C1＝(k1*L)2,C2＝(k2*L)2,
式中，k1＝0.01，k2＝0.03，L取图像灰度最大值255；特征点邻域图像相似性越高，特征跟踪成功率越高，同时根据结果对结构相似性低的预测点进行筛除，也能剔除对比度过低和纹理缺失的预测点，当s(x,y)小于某值时，说明对应区域的结构相似较低，匹配成功几率小；根据实验经验，在s(x,y)低于0.3时将对应预测点剔除，不参加视觉几何约束；
(5)在筛选合适的特征点对之后，对SSIM结果进行评估，对当前图像的预测点所在区域进行自适应灰度校正，然后分为三种情况分别处理：光照条件大幅变化情况、光照条件不佳情况和对比度变化情况；
光照条件大幅变化情况：
在评估预测点与已知特征点两者邻域像素的相似性时，能够跟踪成功的情形往往出现灰度、对比、结构相似性结果都接近于1的SSIM结果，为保证两者邻域内信息只存在灰度上差异，在对比、结构相似性结果都较大且灰度相似性较小时要对图像进行伽马校正，光照条件大幅变化情况的校正结果由下式计算得到：
式中，伽马校正中的γ设为目的是为了以指数形式求得两帧间的灰度差距，且在校正后，为避免区域边缘出现分层现象，需要对校正区域进行取值调整：
式中，*符号表示矩阵对应位置元素乘法；G表示尺寸与特征点邻域一致的高斯矩阵，Sigma取值为矩阵尺寸的1/2，并乘以增益k，使得矩阵中最大值为1；max函数与min函数分别对应不同的光照变化情况，意在避免分层现象产生并保留区域中更亮/暗的像素；
光照条件不佳情况：
在相机采集图像的过程中还有一种情况，则是前后两帧图像都处于过亮或过暗的情况，则采取的伽马校正由如下公式表示：
式中，表示对应图像的灰度值中位数；同样地，也需要式(10)对校正区域进行调整；
对比度变化情况：
在相机光照条件发生变化时，伴随着灰度变化，采集图像的对比度往往也会出现变化，因此，当邻域像素的对比相似性较低而结构相似性较高时，根据对比度进行伽马校正，但只针对对比度降低的情况进行校正，判断依据为σx是否大于σy，对应的伽马校正公式为：
式中，c表示区域内像素的对比相似度。
2.根据权利要求1所述的一种基于惯性先验校正图像灰度的VIO前端改良方法，其特征在于，步骤(1)读入相机采集的图像信息和IMU采集的惯性信息，IMU采集频率(100Hz)要高于相机采集频率(10Hz)，需要对数据进行时间戳对齐和打包。
3.根据权利要求1所述的一种基于惯性先验校正图像灰度的VIO前端改良方法，其特征在于，步骤(2)所述，根据IMU预积分和图像特征进行里程计初始化，在里程计正式运行前需要初始化以得到地图点位置、深度信息，根据惯性积分结果和视觉几何约束估计旋转外参数，利用旋转约束估计陀螺仪的偏差，利用平移约束估计重力方向，速度，以及尺度初始值；根据重力方向求解世界坐标系和初始相机坐标系之间的俯仰、翻滚角，转化为旋转矩阵后将轨迹对齐到世界坐标系。
4.根据权利要求1所述的一种基于惯性先验校正图像灰度的VIO前端改良方法，其特征在于，步骤(3)所述方法通过对两帧图像时间范围内的IMU数据进行预积分，得到两个时刻间的相机位姿变化，并根据***位姿变化预测当前帧中已知深度特征点在后一帧图像中的像素位置。
5.根据权利要求4所述的一种基于惯性先验校正图像灰度的VIO前端改良方法，其特征在于，步骤(4)所述的根据地图点预测像素与已知像素计算其邻域图像相似性衡量指标SSIM，得出灰度、对比度和结构相似性结果。
6.根据权利要求5所述的一种基于惯性先验校正图像灰度的VIO前端改良方法，其特征在于，步骤(5)所述的在筛选合适的特征点对之后，对SSIM结果进行评估，根据不同结果分为三种情况：光照条件大幅变化情况、光照条件不佳情况和对比度变化情况，并根据结果选择不同策略对图像进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310751164.7A CN116957958A (zh) | 2023-06-25 | 2023-06-25 | 一种基于惯性先验校正图像灰度的vio前端改良方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310751164.7A CN116957958A (zh) | 2023-06-25 | 2023-06-25 | 一种基于惯性先验校正图像灰度的vio前端改良方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116957958A true CN116957958A (zh) | 2023-10-27 |
Family
ID=88455625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310751164.7A Withdrawn CN116957958A (zh) | 2023-06-25 | 2023-06-25 | 一种基于惯性先验校正图像灰度的vio前端改良方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116957958A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862768A (zh) * | 2021-01-28 | 2021-05-28 | 重庆邮电大学 | 一种基于点线特征的自适应单目vio初始化方法 |
| CN116205947A (zh) * | 2023-01-03 | 2023-06-02 | 哈尔滨工业大学 | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 |
-
2023
- 2023-06-25 CN CN202310751164.7A patent/CN116957958A/zh not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862768A (zh) * | 2021-01-28 | 2021-05-28 | 重庆邮电大学 | 一种基于点线特征的自适应单目vio初始化方法 |
| CN116205947A (zh) * | 2023-01-03 | 2023-06-02 | 哈尔滨工业大学 | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐锦乐等: "基于惯性先验校正图像灰度的VIO 前端改良方法", 全球定位***, vol. 48, no. 3, 15 June 2023 (2023-06-15), pages 1 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862201B (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
| CN109325444B (zh) | 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法 | |
| CN107808161A (zh) | 一种基于光视觉的水下目标识别方法 | |
| CN111798485B (zh) | 一种利用imu增强的事件相机光流估计方法及*** | |
| CN105760898A (zh) | 一种基于混合组回归方法的视觉映射方法 | |
| CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
| Zhao et al. | A robust stereo feature-aided semi-direct SLAM system | |
| CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及*** | |
| CN111369570A (zh) | 一种视频图像的多目标检测跟踪方法 | |
| CN116643291A (zh) | 一种视觉与激光雷达联合剔除动态目标的slam方法 | |
| CN106023256B (zh) | 面向增强现实辅助维修***平面目标粒子滤波跟踪的状态观测方法 | |
| CN112288726B (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN116740332B (zh) | 基于区域检测的星上空间目标部件中心定位和测角方法 | |
| CN117870659A (zh) | 基于点线特征的视觉惯性组合导航算法 | |
| CN111089586B (zh) | 一种基于多帧累加算法的全天时星敏感器星点提取方法 | |
| CN110599407B (zh) | 基于向下倾角方向的多台tof相机人体降噪方法及*** | |
| CN115861352A (zh) | 单目视觉、imu和激光雷达的数据融合和边缘提取方法 | |
| CN116665097A (zh) | 一种结合上下文感知的自适应目标跟踪方法 | |
| CN116957958A (zh) | 一种基于惯性先验校正图像灰度的vio前端改良方法 | |
| CN103473753A (zh) | 一种基于多尺度小波阈值去噪的目标检测方法 | |
| CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及*** | |
| CN110047103A (zh) | 从图像中去除杂乱背景以进行对象检测 | |
| CN112417948B (zh) | 一种基于单目视觉的水下航行器精确导引入环的方法 | |
| CN113532446A (zh) | 一种基于迭代遍历的星敏感器抗杂光星点提取方法及装置 | |
| CN117808847B (zh) | 融合仿生动态视觉的空间非合作目标特征跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231027 |