CN116182855B - 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法 - Google Patents

一种弱光强环境下仿复眼偏振视觉无人机组合导航方法 Download PDF

Info

Publication number
CN116182855B
CN116182855B CN202310474059.3A CN202310474059A CN116182855B CN 116182855 B CN116182855 B CN 116182855B CN 202310474059 A CN202310474059 A CN 202310474059A CN 116182855 B CN116182855 B CN 116182855B
Authority
CN
China
Prior art keywords
polarization
image
camera
navigation
polarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310474059.3A
Other languages
English (en)
Other versions
CN116182855A (zh
Inventor
郭雷
赵岩
杨健
张腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202310474059.3A priority Critical patent/CN116182855B/zh
Publication of CN116182855A publication Critical patent/CN116182855A/zh
Application granted granted Critical
Publication of CN116182855B publication Critical patent/CN116182855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，主要包括以下步骤：首先，利用理想瑞利散射模型中偏振矢量与太阳矢量垂直关系，选择惯导误差和相机位姿为状态向量建立偏振量测方程；然后，针对弱光强场景图像特征不明显的问题，利用偏振相机获得的每一帧的偏振度图像和偏振角图像进行图像融合增强图像特征；再次，在针孔模型投影下，根据测量得到的特征点投影位置信息与惯导预测得到的相机投影点位置信息得到的重投影误差建立视觉量测方程；最后，采用偏振传感器与偏振相机得到的量测信息进行多状态约束卡尔曼滤波得到无人机组合导航信息。本发明具有计算量小、精度高和鲁棒性强等优点。

Description

一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
技术领域
本发明属于组合导航领域，具体涉及一种弱光强环境下仿复眼偏振视觉无人机组合导航方法。
背景技术
组合导航技术是无人机导航领域的一项关键技术。VINS导航***短时间内精度较高，但长时间误差会随时间积累逐渐变大且在弱光强场景下精度较低甚至不可用。根据理想瑞利散射模型得到的偏振信息可以为组合导航***提供航向约束，并且具有自主性强、无误差积累等优点。对于弱光强场景下相机获取图像纹理不清晰导致VINS导航***精度大幅度下降的问题，偏振相机在弱光强场景下获取的偏振度图像所含目标信息量大、偏振角图像目标边缘和轮廓清晰，融合偏振度图像与偏振角图像后获得偏振图像，可以在弱光强场景下大幅度提高VINS***的导航精度。为充分发挥组合导航***各个子***的优点，设计一种仿复眼偏振视觉无人机组合导航方法，对完成卫星导航失灵、强干扰环境和复杂位置环境的自主导航和定位任务具有重大意义。
单一导航有优势也有劣势，利用多状态约束卡尔曼滤波对各个子导航***进行紧组合滤波来达到信息融合的目的，可以提高导航***精度和可靠性。中国专利申请“一种基于天顶点矢量的偏振/VIO三维姿态确定方法”（申请号：CN202111381893.5），该方法仅考虑了利用偏振修正三维姿态，未考虑位置信息的修正；中国专利申请“一种基于视觉惯性偏振光融合的无人机位姿估计方法”（申请号：CN202010623718.1），该方法利用偏振导航提供航向约束修正惯导逐渐累积的误差；论文《基于偏振成像的双目立体视觉应用技术研究》，利用偏振成像提升双目视觉导航精度但无法进行长航时导航；中国专利申请“一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法”（申请号：CN202011289488.6），该方法通过优化的方法进行信息融合并利用光流失量进行位置修正。
以上发明均使用可见光视觉相机获取视觉图像并进行视觉更新，未考虑可见光视觉***在弱光强场景下的精度下降问题。本发明使用偏振相机获取偏振图像并进行融合来进行视觉测量更新，偏振相机可在弱光强环境下提供清晰的视觉图像进行视觉测量更新，对比于可见光相机获取的视觉信息可大幅提高导航精度。
发明内容
为解决在GNSS拒止环境弱光强场景下长航时无人机高精度导航问题，克服VINS导航***长时间误差累积的不足以及弱光强场景下导航精度大幅下降问题，本发明提供一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，采用多状态约束卡尔曼滤波对组合导航信息进行滤波紧组合实现信息融合，保证无人机组合导航***在面对弱光强环境的长航时精度。本发明为研究弱光强环境下无人机导航提供了新的思路，解决在面对弱光强长航时导航场景时VINS***导航精度下降的问题。
为达到上述目的，本发明采用的技术方案为：
一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，包括如下步骤：
步骤1、通过点源式偏振传感器获得偏振方位角
Figure SMS_1
，计算求得导航系下的偏振矢量 />
Figure SMS_2
，通过太阳年历计算得到导航系下太阳矢量/>
Figure SMS_3
，基于理想瑞利散射模型中偏振矢量 />
Figure SMS_4
与导航系下太阳矢量/>
Figure SMS_5
的垂直关系，结合惯导状态与相机位姿为状态向量建立***状态方程与偏振量测方程；
步骤2、在弱光强场景下，偏振相机得到偏振度图像
Figure SMS_13
、偏振角图像/>
Figure SMS_7
，将二者均值滤波后得到偏振度图像 />
Figure SMS_20
与偏振角图像 />
Figure SMS_8
，相减分解得到偏振度细节图像/>
Figure SMS_16
与偏振角细节图像/>
Figure SMS_11
，将偏振度图像/>
Figure SMS_22
与偏振角图像/>
Figure SMS_17
加权融合后得到图像/>
Figure SMS_19
，将原偏振图像形态开运算得到选通区域 />
Figure SMS_6
与选通区域/>
Figure SMS_24
，利用选通区域/>
Figure SMS_10
与选通区域 />
Figure SMS_15
对偏振度细节图像 />
Figure SMS_18
与偏振角细节图像/>
Figure SMS_21
进行优化后得到图像 />
Figure SMS_9
，将加权融合后得到图像/>
Figure SMS_14
与图像/>
Figure SMS_12
融合后得到融合后的偏振图像/>
Figure SMS_23
；
步骤3、结合步骤2中的偏振图像
Figure SMS_25
，在针孔模型下，偏振相机得到视觉整体测量
Figure SMS_26
并提供相机的运动信息，惯导得到预测视觉测量 />
Figure SMS_27
，二者相减得到 />
Figure SMS_28
时刻第/>
Figure SMS_29
个特征点的重投影误差 />
Figure SMS_30
，通过累积叠加与QR分解得到视觉量测方程；
步骤4、结合步骤1与步骤3建立的偏振量测方程与视觉量测方程，利用多状态约束卡尔曼滤波对各个导航子***获得的数据进行信息融合，修正惯导逐渐累积的误差，解算无人机组合导航信息。
进一步地，所述步骤1包括：
选择导航系到载体系的小角度旋转
Figure SMS_32
，载体在导航系下的估计速度与真实速度差 />
Figure SMS_35
和估计位置与真实位置差 />
Figure SMS_38
，陀螺仪测量的角速度与真实角速度零偏差/>
Figure SMS_31
，加速度计测量的线速度与真实线速度零偏差/>
Figure SMS_34
以及每个时刻相机的位姿
Figure SMS_39
作为组合导航***的状态变量 />
Figure SMS_40
，其中/>
Figure SMS_33
和
Figure SMS_36
分别表示相机在导航系下的姿态与位置，/>
Figure SMS_37
具体形式如下：
Figure SMS_41
，
Figure SMS_42
，
***状态方程为：
Figure SMS_43
，
其中，
Figure SMS_44
为状态转移矩阵，/>
Figure SMS_45
为***噪声驱动阵，/>
Figure SMS_46
为***噪声；
定义载体系下的偏振矢量为
Figure SMS_47
，太阳矢量为/>
Figure SMS_48
，/>
Figure SMS_49
为从载体系到导航系的坐标转换矩阵；点源式偏振传感器首先测得偏振方位角/>
Figure SMS_50
之后，得到在载体系下的偏振矢量
Figure SMS_51
：
Figure SMS_52
，
根据理想瑞利散射模型，导航系中的偏振矢量
Figure SMS_53
垂直于太阳矢量/>
Figure SMS_54
，得到：
Figure SMS_55
，
基于此偏振测量方程为：
Figure SMS_56
，
其中，
Figure SMS_57
，/>
Figure SMS_58
， />
Figure SMS_59
为偏振量测噪声。
进一步地，所述步骤2包括：
偏振相机获得偏振度图像
Figure SMS_60
与偏振角图像 />
Figure SMS_61
，首先分别对二者进行均值滤波部分消除偏振图像的噪声，滤波后得到偏振度图像 />
Figure SMS_62
与偏振角图像/>
Figure SMS_63
，原偏振图像与均值滤波后的偏振图像相减分解获得偏振度细节图像与偏振角细节图像：
Figure SMS_64
，
Figure SMS_65
，
其次将均值滤波后的偏振图像加权融合得到图像
Figure SMS_66
，即：
Figure SMS_67
，
其中，系数
Figure SMS_68
与/>
Figure SMS_69
应满足/>
Figure SMS_70
；
再次将偏振度图像
Figure SMS_71
与偏振角图像/>
Figure SMS_76
进行形态开运算后得到偏振度图像/>
Figure SMS_80
与偏振角图像/>
Figure SMS_73
，计算 />
Figure SMS_75
与/>
Figure SMS_78
的灰度均值，分别为/>
Figure SMS_82
与/>
Figure SMS_74
，将形态开运算后的偏振度图像 />
Figure SMS_79
中的各像素灰度值/>
Figure SMS_83
与 />
Figure SMS_84
比较，将形态开运算后的偏振角图像/>
Figure SMS_72
中的各像素灰度值/>
Figure SMS_77
与/>
Figure SMS_81
比较，具体规则如下：
Figure SMS_85
，
将
Figure SMS_86
各个像素点整合得到偏振度图像选通区域/>
Figure SMS_87
；将 />
Figure SMS_88
各个像素点整合得到偏振角图像选通区域/>
Figure SMS_89
；对偏振度细节图像 />
Figure SMS_90
与偏振角细节图像
Figure SMS_91
进行选通加权融合得到偏振图像/>
Figure SMS_92
：
Figure SMS_93
，
将
Figure SMS_94
与/>
Figure SMS_95
融合得到最终融合后的偏振图像/>
Figure SMS_96
，即：
Figure SMS_97
。
进一步地，所述步骤3包括：
将特征点的位置信息通过投影模型在像素平面得到位置坐标，该像素平面的位置坐标对相机的运动信息和特征点的位置信息提供测量，利用特征点三角化得到特征点的三维位置坐标，在针孔模型投影下，视觉整体测量为：
Figure SMS_98
，
其中，
Figure SMS_99
表示第 />
Figure SMS_100
时刻对第/>
Figure SMS_101
个特征点的测量，/>
Figure SMS_102
表示相机在第/>
Figure SMS_103
时刻对于第 />
Figure SMS_104
个特征点三角化得到特征点的三维位置坐标，/>
Figure SMS_105
表示特征点投影在像素平面的横纵坐标；
根据惯导预测得到相机投影点位置信息视觉测量
Figure SMS_106
，得到重投影误差为：
Figure SMS_107
，
其中，
Figure SMS_110
表示对应的噪声，/>
Figure SMS_111
为/>
Figure SMS_114
时刻***的状态， />
Figure SMS_109
为 />
Figure SMS_113
时刻相机在导航系下观测的第 />
Figure SMS_115
个特征点的坐标，/>
Figure SMS_117
、/>
Figure SMS_108
分别为与/>
Figure SMS_112
、/>
Figure SMS_116
对应的雅克比矩阵；
在一段累积更新的时刻会观测到
Figure SMS_118
个特征点，将/>
Figure SMS_119
个特征点的观测叠加得到累积误差为：
Figure SMS_120
，
其中，
Figure SMS_121
表示对应的噪声， />
Figure SMS_122
为***的状态， />
Figure SMS_123
为相机在导航系下观测到的特征点的坐标，/>
Figure SMS_124
和/>
Figure SMS_125
分别为与/>
Figure SMS_126
和/>
Figure SMS_127
对应的雅克比矩阵；
采用QR分解 矩阵，最后得到的视觉量测方程为：
Figure SMS_128
，
其中，
Figure SMS_129
为上述视觉量测方程的观测矩阵并由/>
Figure SMS_130
得到，/>
Figure SMS_131
与/>
Figure SMS_132
为QR分解中间过程变量，对得到/>
Figure SMS_133
具体形式无影响， />
Figure SMS_134
为相对应的噪声。
进一步地，所述步骤4包括：
选择多状态约束卡尔曼滤波方法进行无人机组合导航***的信息组合，其中***状态预测协方差矩阵为：
Figure SMS_135
，
其中，
Figure SMS_136
为第/>
Figure SMS_137
时刻惯导状态预测协方差矩阵， />
Figure SMS_138
为状态转移矩阵，
Figure SMS_139
为第/>
Figure SMS_140
时刻相机系与惯导系之间的旋转和平移量的协方差矩阵，/>
Figure SMS_141
为第/>
Figure SMS_142
时刻相机位姿的协方差矩阵；
随着时间的累积相机位姿的积累完成状态增强，状态增强后的协方差矩阵变为：
Figure SMS_143
，
其中，
Figure SMS_144
为新增相机误差状态对原***误差状态的雅克比矩阵， />
Figure SMS_145
为
Figure SMS_146
维度的单位矩阵，/>
Figure SMS_147
为/>
Figure SMS_148
时刻观测某个特征点时相机的状态个数；
在无人机组合导航***中进行导航信息更新时，卡尔曼增益
Figure SMS_149
，新息/>
Figure SMS_150
和协方差状态更新矩阵分别为：
Figure SMS_151
，
Figure SMS_152
， />
Figure SMS_153
，
其中，
Figure SMS_155
，/>
Figure SMS_159
为视觉量测方程的输出矩阵，/>
Figure SMS_160
为偏振量测方程的输出矩阵， />
Figure SMS_156
为/>
Figure SMS_158
时刻的协方差矩阵，/>
Figure SMS_163
为量测噪声矩阵，/>
Figure SMS_164
，/>
Figure SMS_154
为视觉的量测， />
Figure SMS_157
为偏振的量测，/>
Figure SMS_161
为与/>
Figure SMS_162
维度相同的单位矩阵。
本发明与现有技术相比优点在于：
偏振相机获得的偏振图像在弱光强环境下图像纹理相较于可见光图像有较大提升。使用融合后的偏振度图像和偏振角图像完成特征点提取进而完成视觉量测的获取，弥补VINS导航***在弱光强场景下精度较低的缺陷，融合点源式偏振传感器提供的偏振量测，实现无人机VINS***在弱光强长航时场景下的高精度导航。本发明具有精度高、稳定性好、抗干扰能力强等优点。
附图说明
图1为本发明的一种弱光强环境下仿复眼偏振视觉无人机组合导航方法流程图。
具体实施方式
下面结合图1以及实例对本发明的具体实现步骤说明如下：
如图1所示，本发明的一种弱光强环境下仿复眼偏振视觉无人机组合导航方法包括如下步骤：
步骤1、通过点源式偏振传感器获得偏振方位角
Figure SMS_165
，计算求得导航系下的偏振矢量 />
Figure SMS_166
，通过太阳年历可以计算得到导航系下太阳矢量/>
Figure SMS_167
，基于理想瑞利散射模型中偏振矢量/>
Figure SMS_168
与导航系下太阳矢量 />
Figure SMS_169
的垂直关系，结合惯导状态与相机位姿为状态向量建立***状态方程与偏振量测方程；
步骤2、在弱光强场景下，偏振相机得到偏振度图像
Figure SMS_184
、偏振角图像/>
Figure SMS_172
，将二者均值滤波后得到偏振度图像/>
Figure SMS_188
与偏振角图像/>
Figure SMS_176
，相减分解得到偏振度细节图像/>
Figure SMS_181
与偏振角细节图像 />
Figure SMS_182
，将偏振度图像/>
Figure SMS_183
与偏振角图像/>
Figure SMS_175
加权融合后得到图像/>
Figure SMS_178
，将原偏振图像形态开运算得到选通区域 />
Figure SMS_170
与选通区域 />
Figure SMS_185
，利用选通区域/>
Figure SMS_174
与选通区域 />
Figure SMS_180
对偏振度细节图像/>
Figure SMS_177
与偏振角细节图像 />
Figure SMS_186
进行优化后得到图像/>
Figure SMS_171
，将加权融合后得到图像/>
Figure SMS_179
与图像 />
Figure SMS_173
融合后得到融合后的偏振图像/>
Figure SMS_187
；
步骤3、结合步骤2中的偏振图像
Figure SMS_189
，在针孔模型下，偏振相机得到视觉整体测量
Figure SMS_190
并提供相机的运动信息，惯导得到预测视觉测量/>
Figure SMS_191
，二者相减得到 />
Figure SMS_192
时刻第/>
Figure SMS_193
个特征点的重投影误差 />
Figure SMS_194
，通过累积叠加与QR分解得到视觉量测方程；
步骤4、结合步骤1与步骤3建立的偏振量测方程与视觉量测方程，利用多状态约束卡尔曼滤波对各个导航子***获得的数据进行信息融合，修正惯导逐渐累积的误差，解算无人机组合导航信息。
具体实施步骤如下：
在步骤1中选择导航系到载体系的小角度旋转
Figure SMS_197
，载体在导航系下的估计速度与真实速度差 />
Figure SMS_199
和估计位置与真实位置差/>
Figure SMS_203
，陀螺仪测量的角速度与真实角速度零偏差/>
Figure SMS_196
，加速度计测量的线速度与真实线速度零偏差/>
Figure SMS_200
以及每个时刻相机的位姿
Figure SMS_202
作为组合导航***的状态变量/>
Figure SMS_204
，其中/>
Figure SMS_195
和/>
Figure SMS_198
分别表示相机在导航系下的姿态与位置，/>
Figure SMS_201
具体形式如下：
Figure SMS_205
,
Figure SMS_206
,
***状态方程为：
Figure SMS_207
,
其中，
Figure SMS_208
为状态转移矩阵， />
Figure SMS_209
为***噪声驱动阵， />
Figure SMS_210
为***噪声。
定义载体系下的偏振矢量为
Figure SMS_211
，太阳矢量为/>
Figure SMS_212
，/>
Figure SMS_213
为从载体系到导航系的坐标转换矩阵；点源式偏振传感器首先测得偏振方位角/>
Figure SMS_214
之后，得到在载体系下的偏振矢量
Figure SMS_215
：
Figure SMS_216
，
根据理想瑞利散射模型，导航系中的偏振矢量
Figure SMS_217
垂直于太阳矢量/>
Figure SMS_218
，得到：
Figure SMS_219
，
基于此偏振测量方程为：
Figure SMS_220
，
其中，
Figure SMS_221
，/>
Figure SMS_222
， />
Figure SMS_223
为偏振量测噪声。
在步骤2中偏振相机获得偏振度图像
Figure SMS_224
与偏振角图像/>
Figure SMS_225
，首先分别对二者进行均值滤波部分消除偏振图像的噪声，滤波后得到偏振度图像 />
Figure SMS_226
与偏振角图像/>
Figure SMS_227
，原偏振图像与均值滤波后的偏振图像相减分解获得偏振度细节图像与偏振角细节图像：
Figure SMS_228
，
Figure SMS_229
，
其次将均值滤波后的偏振图像加权融合得到图像
Figure SMS_230
，即：
Figure SMS_231
，
其中，系数
Figure SMS_232
与/>
Figure SMS_233
应满足/>
Figure SMS_234
；
再次将偏振度图像
Figure SMS_237
与偏振角图像/>
Figure SMS_239
进行形态开运算后得到偏振度图像
Figure SMS_242
与偏振角图像 />
Figure SMS_236
，计算/>
Figure SMS_240
与/>
Figure SMS_243
的灰度均值，将形态开运算后的偏振度图像
Figure SMS_246
中的各像素灰度值/>
Figure SMS_238
与 />
Figure SMS_241
比较，将形态开运算后的偏振角图像
Figure SMS_244
中的各像素灰度值/>
Figure SMS_245
与/>
Figure SMS_235
比较，具体规则如下：
Figure SMS_247
，
将
Figure SMS_248
各个像素点整合得到偏振度图像选通区域/>
Figure SMS_249
；将 />
Figure SMS_250
各个像素点整合得到偏振角图像选通区域 />
Figure SMS_251
。对偏振度细节图像 />
Figure SMS_252
与偏振角细节图像
Figure SMS_253
进行选通加权融合得到偏振图像/>
Figure SMS_254
：
Figure SMS_255
，
将
Figure SMS_256
与/>
Figure SMS_257
融合得到最终融合后的偏振图像/>
Figure SMS_258
，即：
Figure SMS_259
，
在步骤3中，将特征点的位置信息通过投影模型在像素平面得到位置坐标，该像素平面位置坐标对相机的运动信息和特征点的位置信息提供测量，利用特征点三角化得到特征点的三维位置坐标，在针孔模型投影下，视觉整体测量为：
Figure SMS_260
，
其中，
Figure SMS_261
表示第 />
Figure SMS_262
时刻对第/>
Figure SMS_263
个特征点的测量， />
Figure SMS_264
表示相机在第
Figure SMS_265
时刻对于第 />
Figure SMS_266
个特征点三角化得到特征点的三维位置坐标，/>
Figure SMS_267
表示特征点投影在像素平面的横纵坐标；
根据惯导预测得到相机投影点位置信息视觉测量
Figure SMS_269
，得到重投影误差为：
Figure SMS_272
，其中， />
Figure SMS_277
表示对应的噪声，/>
Figure SMS_268
为/>
Figure SMS_274
时刻***的状态， />
Figure SMS_276
为 />
Figure SMS_278
时刻相机在导航系下观测的第 />
Figure SMS_271
个特征点的坐标，/>
Figure SMS_273
、/>
Figure SMS_275
分别为与
Figure SMS_279
、/>
Figure SMS_270
对应的雅克比矩阵。
在一段累积更新的时刻会观测到
Figure SMS_280
个特征点，将 />
Figure SMS_281
个特征点的观测叠加得到累积误差为：
Figure SMS_282
，
其中，
Figure SMS_283
表示对应的噪声， />
Figure SMS_284
为***的状态， />
Figure SMS_285
为相机在导航系下观测到的特征点的坐标，/>
Figure SMS_286
和/>
Figure SMS_287
分别为与 />
Figure SMS_288
和/>
Figure SMS_289
对应的雅克比矩阵；
在实际计算过程中，由于
Figure SMS_290
的维度太大，采用QR分解 />
Figure SMS_291
矩阵，最后得到的视觉量测方程为：
Figure SMS_292
，
其中，
Figure SMS_293
为上述视觉量测方程的观测矩阵并由/>
Figure SMS_294
得到，/>
Figure SMS_295
与/>
Figure SMS_296
为QR分解中间过程变量，对得到/>
Figure SMS_297
具体形式无影响， />
Figure SMS_298
为相对应的噪声。
在步骤4中选择多状态约束卡尔曼滤波方法进行无人机组合导航***的信息组合，其中***状态预测协方差矩阵为：
Figure SMS_299
，
其中，
Figure SMS_300
为第/>
Figure SMS_301
时刻惯导状态预测协方差矩阵， />
Figure SMS_302
为状态转移矩阵，
Figure SMS_303
为第/>
Figure SMS_304
时刻相机系与惯导系之间的旋转和平移量的协方差矩阵，/>
Figure SMS_305
为第/>
Figure SMS_306
时刻相机位姿的协方差矩阵；
随着时间的累积相机位姿的积累需要完成状态增强，状态增强后的协方差矩阵变为：
Figure SMS_307
，
其中，
Figure SMS_308
为新增相机误差状态对原***误差状态的雅克比矩阵， />
Figure SMS_309
为
Figure SMS_310
维度的单位矩阵，/>
Figure SMS_311
为/>
Figure SMS_312
时刻观测某个特征点时相机的状态个数。
在无人机组合导航***中进行导航信息更新时，卡尔曼增益
Figure SMS_313
，新息/>
Figure SMS_314
和协方差状态更新矩阵分别为：
Figure SMS_315
，
Figure SMS_316
， />
Figure SMS_317
，
其中，
Figure SMS_320
， />
Figure SMS_322
为视觉量测方程的输出矩阵， />
Figure SMS_325
为偏振量测方程的输出矩阵， />
Figure SMS_319
为/>
Figure SMS_324
时刻的协方差矩阵， />
Figure SMS_327
为量测噪声矩阵，/>
Figure SMS_328
，
Figure SMS_318
为视觉的量测，/>
Figure SMS_321
为偏振的量测，/>
Figure SMS_323
为与/>
Figure SMS_326
维度相同的单位矩阵。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，其特征在于，包括如下步骤：
步骤1、通过点源式偏振传感器获得偏振方位角
Figure QLYQS_1
，计算求得导航系下的偏振矢量/>
Figure QLYQS_2
，通过太阳年历计算得到导航系下太阳矢量/>
Figure QLYQS_3
，基于理想瑞利散射模型中偏振矢量/>
Figure QLYQS_4
与导航系下太阳矢量/>
Figure QLYQS_5
的垂直关系，结合惯导状态与相机位姿为状态向量建立***状态方程与偏振量测方程；
步骤2、在弱光强场景下，偏振相机得到偏振度图像
Figure QLYQS_11
、偏振角图像/>
Figure QLYQS_8
，将二者均值滤波后得到偏振度图像/>
Figure QLYQS_18
与偏振角图像/>
Figure QLYQS_14
，相减分解得到偏振度细节图像/>
Figure QLYQS_20
与偏振角细节图像/>
Figure QLYQS_10
，将偏振度图像/>
Figure QLYQS_19
与偏振角图像 />
Figure QLYQS_9
加权融合后得到图像/>
Figure QLYQS_21
，将原偏振图像形态开运算得到选通区域/>
Figure QLYQS_6
与选通区域/>
Figure QLYQS_16
，利用选通区域/>
Figure QLYQS_15
与选通区域 />
Figure QLYQS_24
对偏振度细节图像/>
Figure QLYQS_13
与偏振角细节图像 />
Figure QLYQS_23
进行优化后得到图像/>
Figure QLYQS_7
，将加权融合后得到图像/>
Figure QLYQS_17
与图像/>
Figure QLYQS_12
融合后得到融合后的偏振图像/>
Figure QLYQS_22
；
步骤3、结合步骤2中的偏振图像
Figure QLYQS_25
，在针孔模型下，偏振相机得到视觉整体测量/>
Figure QLYQS_26
并提供相机的运动信息，惯导得到预测视觉测量/>
Figure QLYQS_27
，二者相减得到/>
Figure QLYQS_28
时刻第/>
Figure QLYQS_29
个特征点的重投影误差/>
Figure QLYQS_30
，通过累积叠加与QR分解得到视觉量测方程；
步骤4、结合步骤1与步骤3建立的偏振量测方程与视觉量测方程，利用多状态约束卡尔曼滤波对各个导航子***获得的数据进行信息融合，修正惯导逐渐累积的误差，解算无人机组合导航信息。
2.根据权利要求1所述的一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，其特征在于：所述步骤1包括：
选择导航系到载体系的小角度旋转
Figure QLYQS_33
，载体在导航系下的估计速度与真实速度差
Figure QLYQS_36
和估计位置与真实位置差/>
Figure QLYQS_39
，陀螺仪测量的角速度与真实角速度零偏差/>
Figure QLYQS_32
，加速度计测量的线速度与真实线速度零偏差/>
Figure QLYQS_34
以及每个时刻相机的位姿
Figure QLYQS_37
作为组合导航***的状态变量/>
Figure QLYQS_40
，其中/>
Figure QLYQS_31
和/>
Figure QLYQS_35
分别表示相机在导航系下的姿态与位置， />
Figure QLYQS_38
具体形式如下：
Figure QLYQS_41
,
Figure QLYQS_42
,
***状态方程为：
Figure QLYQS_43
,
其中，
Figure QLYQS_44
为状态转移矩阵，/>
Figure QLYQS_45
为***噪声驱动阵，/>
Figure QLYQS_46
为***噪声；
定义载体系下的偏振矢量为
Figure QLYQS_47
，太阳矢量为/>
Figure QLYQS_48
，/>
Figure QLYQS_49
为从载体系到导航系的坐标转换矩阵；点源式偏振传感器首先测得偏振方位角/>
Figure QLYQS_50
之后，得到在载体系下的偏振矢量/>
Figure QLYQS_51
：
Figure QLYQS_52
,
根据理想瑞利散射模型，导航系中的偏振矢量
Figure QLYQS_53
垂直于太阳矢量/>
Figure QLYQS_54
，得到：
Figure QLYQS_55
,
基于此偏振量测方程为：
Figure QLYQS_56
，
其中，
Figure QLYQS_57
，/>
Figure QLYQS_58
，/>
Figure QLYQS_59
为偏振量测噪声。
3.根据权利要求2所述的一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，其特征在于：所述步骤2包括：
偏振相机获得偏振度图像
Figure QLYQS_60
与偏振角图像/>
Figure QLYQS_61
，首先分别对二者进行均值滤波部分消除偏振图像的噪声，滤波后得到偏振度图像/>
Figure QLYQS_62
与偏振角图像/>
Figure QLYQS_63
，原偏振图像与均值滤波后的偏振图像相减分解获得偏振度细节图像与偏振角细节图像：
Figure QLYQS_64
，
Figure QLYQS_65
，
其次将均值滤波后的偏振图像加权融合得到图像
Figure QLYQS_66
，即：
Figure QLYQS_67
，
其中，系数
Figure QLYQS_68
与/>
Figure QLYQS_69
应满足/>
Figure QLYQS_70
；
再次将偏振度图像
Figure QLYQS_73
与偏振角图像/>
Figure QLYQS_78
进行形态开运算后得到偏振度图像/>
Figure QLYQS_82
与偏振角图像/>
Figure QLYQS_72
，计算 />
Figure QLYQS_76
与/>
Figure QLYQS_80
的灰度均值，分别为/>
Figure QLYQS_84
与/>
Figure QLYQS_71
，将形态开运算后的偏振度图像 />
Figure QLYQS_75
中的各像素灰度值/>
Figure QLYQS_79
与 />
Figure QLYQS_83
比较，将形态开运算后的偏振角图像/>
Figure QLYQS_74
中的各像素灰度值/>
Figure QLYQS_77
与/>
Figure QLYQS_81
比较，具体规则如下：
Figure QLYQS_85
，
将
Figure QLYQS_86
各个像素点整合得到偏振度图像选通区域/>
Figure QLYQS_87
；将 />
Figure QLYQS_88
各个像素点整合得到偏振角图像选通区域/>
Figure QLYQS_89
；对偏振度细节图像/>
Figure QLYQS_90
与偏振角细节图像/>
Figure QLYQS_91
进行选通加权融合得到偏振图像/>
Figure QLYQS_92
：
Figure QLYQS_93
，
将
Figure QLYQS_94
与/>
Figure QLYQS_95
融合得到最终融合后的偏振图像/>
Figure QLYQS_96
，即：
Figure QLYQS_97
。
4.根据权利要求3所述的一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，其特征在于：所述步骤3包括：
将特征点的位置信息通过投影模型在像素平面得到位置坐标，该像素平面的位置坐标对相机的运动信息和特征点的位置信息提供测量，利用特征点三角化得到特征点的三维位置坐标，在针孔模型投影下，视觉整体测量为：
Figure QLYQS_98
，
其中，
Figure QLYQS_99
表示第 />
Figure QLYQS_100
时刻对第/>
Figure QLYQS_101
个特征点的测量，/>
Figure QLYQS_102
表示相机在第/>
Figure QLYQS_103
时刻对于第 />
Figure QLYQS_104
个特征点三角化得到特征点的三维位置坐标，/>
Figure QLYQS_105
表示特征点投影在像素平面的横纵坐标；
根据惯导预测得到相机投影点位置信息视觉测量
Figure QLYQS_106
，得到重投影误差为：
Figure QLYQS_107
，
其中，
Figure QLYQS_109
表示对应的噪声，/>
Figure QLYQS_113
为/>
Figure QLYQS_116
时刻***的状态，/>
Figure QLYQS_110
为 />
Figure QLYQS_112
时刻相机在导航系下观测的第 />
Figure QLYQS_115
个特征点的坐标，/>
Figure QLYQS_117
、/>
Figure QLYQS_108
分别为与/>
Figure QLYQS_111
、/>
Figure QLYQS_114
对应的雅克比矩阵；
在一段累积更新的时刻会观测到
Figure QLYQS_118
个特征点，将 />
Figure QLYQS_119
个特征点的观测叠加得到累积误差为：
Figure QLYQS_120
，
其中，
Figure QLYQS_121
表示对应的噪声，/>
Figure QLYQS_122
为***的状态，/>
Figure QLYQS_123
为相机在导航系下观测到的特征点的坐标，/>
Figure QLYQS_124
和/>
Figure QLYQS_125
分别为与 />
Figure QLYQS_126
和/>
Figure QLYQS_127
对应的雅克比矩阵；
采用QR分解 矩阵，最后得到的视觉量测方程为：
Figure QLYQS_128
，
其中，
Figure QLYQS_129
为上述视觉量测方程的观测矩阵并由/>
Figure QLYQS_130
得到，/>
Figure QLYQS_131
与/>
Figure QLYQS_132
为QR分解中间过程变量，对得到 />
Figure QLYQS_133
具体形式无影响，/>
Figure QLYQS_134
为相对应的噪声。
5.根据权利要求4所述的一种弱光强环境下仿复眼偏振视觉无人机组合导航方法，其特征在于：所述步骤4包括：
选择多状态约束卡尔曼滤波方法进行无人机组合导航***的信息组合，其中***状态预测协方差矩阵为：
Figure QLYQS_135
，
其中，
Figure QLYQS_136
为第/>
Figure QLYQS_137
时刻惯导状态预测协方差矩阵，/>
Figure QLYQS_138
为状态转移矩阵，
Figure QLYQS_139
为第/>
Figure QLYQS_140
时刻相机系与惯导系之间的旋转和平移量的协方差矩阵，/>
Figure QLYQS_141
为第/>
Figure QLYQS_142
时刻相机位姿的协方差矩阵；
随着时间的累积相机位姿的积累完成状态增强，状态增强后的协方差矩阵变为：
Figure QLYQS_143
，
其中，
Figure QLYQS_144
为新增相机误差状态对原***误差状态的雅克比矩阵，/>
Figure QLYQS_145
为/>
Figure QLYQS_146
维度的单位矩阵，/>
Figure QLYQS_147
为/>
Figure QLYQS_148
时刻观测某个特征点时相机的状态个数；
在无人机组合导航***中进行导航信息更新时，卡尔曼增益
Figure QLYQS_149
，新息/>
Figure QLYQS_150
和协方差状态更新矩阵分别为：
Figure QLYQS_151
，
Figure QLYQS_152
，
Figure QLYQS_153
，
其中，
Figure QLYQS_155
，/>
Figure QLYQS_159
为视觉量测方程的观测矩阵，/>
Figure QLYQS_162
为偏振量测方程的输出矩阵，/>
Figure QLYQS_156
为/>
Figure QLYQS_158
时刻的协方差矩阵，/>
Figure QLYQS_161
为量测噪声矩阵，/>
Figure QLYQS_164
，/>
Figure QLYQS_154
为视觉的量测，/>
Figure QLYQS_157
为偏振的量测，/>
Figure QLYQS_160
为与/>
Figure QLYQS_163
维度相同的单位矩阵。
CN202310474059.3A 2023-04-28 2023-04-28 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法 Active CN116182855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474059.3A CN116182855B (zh) 2023-04-28 2023-04-28 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310474059.3A CN116182855B (zh) 2023-04-28 2023-04-28 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法

Publications (2)

Publication Number Publication Date
CN116182855A CN116182855A (zh) 2023-05-30
CN116182855B true CN116182855B (zh) 2023-07-07

Family

ID=86452727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310474059.3A Active CN116182855B (zh) 2023-04-28 2023-04-28 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法

Country Status (1)

Country Link
CN (1) CN116182855B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117191047B (zh) * 2023-11-03 2024-02-23 南京信息工程大学 弱光环境下无人机自适应主动视觉导航方法、装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113739795A (zh) * 2021-06-03 2021-12-03 东北电力大学 一种基于偏振光/惯性/视觉组合导航的水下同步定位与建图方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9562764B2 (en) * 2012-07-23 2017-02-07 Trimble Inc. Use of a sky polarization sensor for absolute orientation determination in position determining systems
CN106767752B (zh) * 2016-11-25 2020-01-14 北京航空航天大学 一种基于偏振信息的组合导航方法
CN108387206B (zh) * 2018-01-23 2020-03-17 北京航空航天大学 一种基于地平线与偏振光的载体三维姿态获取方法
CN111504312B (zh) * 2020-07-02 2020-09-15 中国人民解放军国防科技大学 一种基于视觉惯性偏振光融合的无人机位姿估计方法
CN112066979B (zh) * 2020-08-27 2021-12-28 北京航空航天大学 一种基于偏振位姿信息耦合迭代自主导航定位方法
CN112444245B (zh) * 2020-11-17 2023-06-09 大连理工大学 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法
CN113819904B (zh) * 2021-11-22 2022-02-22 北京航空航天大学 一种基于天顶点矢量的偏振/vio三维姿态确定方法
CN113819907B (zh) * 2021-11-22 2022-02-11 北京航空航天大学 一种基于偏振和太阳双矢量切换的惯性/偏振导航方法
CN113834483B (zh) * 2021-11-23 2022-03-25 北京航空航天大学 一种基于可观测度的惯性/偏振/地磁容错导航方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113739795A (zh) * 2021-06-03 2021-12-03 东北电力大学 一种基于偏振光/惯性/视觉组合导航的水下同步定位与建图方法

Also Published As

Publication number Publication date
CN116182855A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110243358B (zh) 多源融合的无人车室内外定位方法及***
CN112902953B (zh) 一种基于slam技术的自主位姿测量方法
CN109631887B (zh) 基于双目、加速度与陀螺仪的惯性导航高精度定位方法
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及***
CN111595333A (zh) 视觉惯性激光数据融合的模块化无人车定位方法及***
CN114199259B (zh) 一种基于运动状态与环境感知的多源融合导航定位方法
CN111024066A (zh) 一种无人机视觉-惯性融合室内定位方法
CN112556719B (zh) 一种基于cnn-ekf的视觉惯性里程计实现方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN113763548B (zh) 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及***
CN116182855B (zh) 一种弱光强环境下仿复眼偏振视觉无人机组合导航方法
CN112669354A (zh) 一种基于车辆非完整约束的多相机运动状态估计方法
CN112444245B (zh) 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN115127554B (zh) 一种基于多源视觉辅助的无人机自主导航方法与***
CN113503873A (zh) 一种多传感器融合的视觉定位方法
CN115560760A (zh) 一种面向无人机的视觉/激光测距高空导航方法
CN114964276A (zh) 一种融合惯导的动态视觉slam方法
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
CN115218889A (zh) 一种基于点线特征融合的多传感器室内定位方法
CN115015956A (zh) 一种室内无人车的激光与视觉slam***
CN113819904A (zh) 一种基于天顶点矢量的偏振/vio三维姿态确定方法
CN113503872A (zh) 一种基于相机与消费级imu融合的低速无人车定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant