CN115574816B - 仿生视觉多源信息智能感知无人平台 - Google Patents

仿生视觉多源信息智能感知无人平台 Download PDF

Info

Publication number
CN115574816B
CN115574816B CN202211481989.3A CN202211481989A CN115574816B CN 115574816 B CN115574816 B CN 115574816B CN 202211481989 A CN202211481989 A CN 202211481989A CN 115574816 B CN115574816 B CN 115574816B
Authority
CN
China
Prior art keywords
unmanned platform
inertial sensor
laser radar
coordinate system
bionic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211481989.3A
Other languages
English (en)
Other versions
CN115574816A (zh
Inventor
程向红
刘丰宇
钟志伟
李艺恒
龙腾飞
柳婷
何祉其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202211481989.3A priority Critical patent/CN115574816B/zh
Publication of CN115574816A publication Critical patent/CN115574816A/zh
Application granted granted Critical
Publication of CN115574816B publication Critical patent/CN115574816B/zh
Priority to PCT/CN2023/101257 priority patent/WO2024109002A1/zh
Priority to US18/545,993 priority patent/US20240184309A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/80—Specific applications of the controlled vehicles for information gathering, e.g. for academic research
    • G05D2105/87—Specific applications of the controlled vehicles for information gathering, e.g. for academic research for exploration, e.g. mapping of an area
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/50—Internal signals, i.e. from sensors located in the vehicle, e.g. from compasses or angular sensors
    • G05D2111/52—Internal signals, i.e. from sensors located in the vehicle, e.g. from compasses or angular sensors generated by inertial navigation means, e.g. gyroscopes or accelerometers

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)

Abstract

本发明公开一种仿生视觉多源信息智能感知无人平台，属于计算机视觉和深度学***台搭载了仿生偏振视觉/惯性/激光雷达组合导航模块、深度学***台进行实时定位定向；深度学***台周围的环境进行感知；自主避障模块，在无人平台行驶过程中，根据目标识别的物体判断周围是否有障碍物，并结合获得的载体导航定位信息进行自主避障。本发明提高无人平台在复杂环境下的隐蔽性与自主导航能力以及无人平台的目标探测以及自主避障能力。

Description

仿生视觉多源信息智能感知无人平台
技术领域
本发明涉及一种仿生视觉多源信息智能感知无人平台，属于计算机视觉和深度学习技术领域。
背景技术
现代作战对情报侦搜尤为重视。近年来，随着装备技术的发展，具有目标探测、环境感知与自主导航定位等功能的无人平台被越来越多的应用到军事侦搜中，无人平台的定位精度、作业自主性以及隐蔽性成为亟待发展的关键技术。
传统的惯性导航、地磁导航等导航方式存在误差累积、易受干扰等缺点，难以在复杂环境中获得精确稳定的航向、位置信息。因此，需寻求其他传感器来辅助提高定位精度。偏振视觉导航是一种借鉴昆虫的新型仿生导航方式，具有无误差积累、不易受到干扰，且不向外发射信号，不会暴露运载器自身存在的特性，在野外环境下，将其与惯性组合可实现无人平台高精度定位与隐蔽性作业。然而，当无人平台进入到位置封闭环境中，偏振视觉传感器失锁，需要其他传感器提供导航定位信息，传统单一传感器的导航方式无法满足复杂环境变化场景下的导航定位需求。
此外，实现高效侦搜，需提高无人平台的环境感知能力，目标识别技术是关键。随着深度学习技术的不断发展，避免了繁琐的人工设计特征过程。相比于传统的目标检测技术，基于深度学习的目标检测技术被证明具备更高的精度与更强的鲁棒性。随着深度神经网络的发展，目标检测领域的研究基本分为两个方向，一个是基于候选区域的双阶段目标检测算法，如Faster-RCNN；另外一个是基于回归计算的单阶段目标检测方法，如YOLOv7。基于候选区域的双阶段目标检测算法虽然精度很高，但是检测效率不高。而单阶段目标检测方法如2022年提出的YOLOv7，在5 FPS到160FPS范围内，速度和精度都超过了所有已知的目标检测器。
目前国内还没有基于自主导航、目标探测以及环境感知的无人平台的相关研究。
发明内容
本发明的目的是针对当前缺乏基于自主导航、目标探测以及环境感知的无人平台的相关研究的问题，提供一种仿生视觉多源信息智能感知无人平台，将基于仿生偏振视觉/惯性/激光雷达的组合导航技术、基于深度学***台上，一方面可避免战时卫星导航易被反侦察与干扰的问题，提高无人平台在复杂环境下（野外环境与封闭未知环境）的隐蔽性与自主导航能力，增强组合导航***的稳定性与鲁棒性；另一方面针对复杂环境利用视觉相机进行智能感知，提高无人平台的目标探测以及自主避障能力。
上述目的通过以下技术方案实现：
一种仿生视觉多源信息智能感知无人平台，该无人平台搭载了仿生偏振视觉/惯性/激光雷达组合导航模块、深度学习目标探测模块、自主避障模块；
其中所述仿生偏振视觉/惯性/激光雷达组合导航模块用来对无人平台进行实时定位定向；
深度学***台周围的环境进行感知；
自主避障模块，在无人平台行驶过程中，根据目标识别的物体判断周围是否有障碍物，并结合偏振视觉/惯性/激光雷达组合导航模块获得的载体导航定位信息进行自主避障。
所述的一种仿生视觉多源信息智能感知无人平台，所述仿生偏振视觉/惯性/激光雷达组合导航模块包括仿生偏振视觉传感器、激光雷达传感器、惯性传感器以及单目视觉相机传感器；
其中仿生偏振相机用来感知大气偏振状态，解算航向角信息；
激光雷达传感器用来获取周围环境的点云信息并构建稠密地图；
惯性传感器用来更新无人平台的位姿；
单目视觉相机传感器用来对周围环境进行目标探测。
所述的一种仿生视觉多源信息智能感知无人平台，仿生偏振视觉/惯性/激光雷达组合导航模块包含两种应用场景：野外环境和未知封闭环境；
其中，野外环境中采用偏振视觉相机与惯性传感器进行组合提高无人平台的导航定向精度；未知封闭环境中仿生偏振视觉相机失锁时，采用激光雷达与惯性传感器进行组合提高无人平台的导航定位与建图能力。
所述的一种仿生视觉多源信息智能感知无人平台，仿生偏振视觉/惯性/激光雷达组合导航模块在野外环境下进行组合提高无人平台的导航定向精度的工作步骤如下：
（101）利用仿生偏振相机获取天空偏振模式，解算得到水平状态下无人平台的航向角信息；利用惯性传感器测量无人平台的横滚角，俯仰角以及航向角信息，对水平状态下的航向角进行倾角补偿，获得非水平状态下的无人平台航向角信息；
（102）通过径向基函数神经网络辅助容积卡尔曼滤波算法将步骤（1）中获得的水平状态下无人平台的航向角信息和非水平状态下的无人平台航向角信息进行融合，输出最优的航向角信息。
所述的一种仿生视觉多源信息智能感知无人平台，步骤（101）的具体方法是：
由于水平状态下地理坐标系下载体的航向角φ=α s -α b ，其中α b 和α s 为太阳子午线在载体坐标系和地理坐标系下的方位角，若已知载体当地的经纬度信息和观测时的准确时间信息，太阳的高度角h s 和地理坐标系下的方位角α s 分别为：
Figure 783138DEST_PATH_IMAGE001
其中，δ，β，t s 分别代表太阳赤纬角、观测点的纬度和太阳时角；
然后，通过无人平台所搭载的仿生偏振相机采集三通道偏振图片，利用“太阳子午线方向的E矢量与散射平面垂直”这一特征，基于全天域偏振数据搜索特征点集，并对这些特征点进行一次线性拟合来求解α b ，最终可解算获得水平状态下地理坐标系下载体的航向角φ；
当无人平台处于非水平状态时，E矢量方向将不垂直于太阳子午线，但其垂直于太阳矢量，如下式：
Figure 788003DEST_PATH_IMAGE002
其中，n表示导航坐标系，b表示载体坐标系，
Figure 68681DEST_PATH_IMAGE003
表示导航坐标系中的太阳矢量，
Figure 524851DEST_PATH_IMAGE004
表示导航坐标系中的E矢量；载体坐标系中E矢量方向被定义为
Figure 544890DEST_PATH_IMAGE005
，其中α表示仿生偏振相机参考方向与入射光的E矢量方向的顺时针角度，
Figure 861602DEST_PATH_IMAGE006
表示从载体坐标系到导航坐标系的方向余弦矩阵，有
Figure 177046DEST_PATH_IMAGE007
；则在导航坐标系中，太阳矢量
Figure 821260DEST_PATH_IMAGE003
通过太阳方位角α s 和太阳高度角h s 计算，如下式所示：
Figure 272970DEST_PATH_IMAGE008
其中
Figure 386682DEST_PATH_IMAGE009
,
Figure 268050DEST_PATH_IMAGE010
,
Figure 420683DEST_PATH_IMAGE011
, 分别表示太阳矢量在导航系下的投影；
结合上式解算出非水平状态下经过倾角补偿的航向角ψ：ψ=arcsinc+arctand，其中，c，d为解算的中间参数，且
Figure 524354DEST_PATH_IMAGE012
式中，φ,θ分别表示载体处于非水平状态下的横滚角与俯仰角，通过惯性传感器进行解算获得。
所述的一种仿生视觉多源信息智能感知无人平台，步骤（102）的具体方法是：
首先惯性传感器通过仿生偏振相机提供的航向角信息进行初始对准，然后建立仿生偏振视觉/惯性组合模型，以惯性***输出的航向角信息为状态量，以仿生偏振相机经过倾角补偿得到的航向角信息为量测量，采用容积卡尔曼滤波算法进行数据融合；
离散形式的状态模型表示为：
Figure 665092DEST_PATH_IMAGE013
其中，x k 、x k-1分别表示k时刻、k-1时刻的状态量；u k-1为滤波器输入；z k 为量测量；f()和h()为状态转移方程和量测方程；w k-1和v k 是不相关的零均值高斯过程噪声和量测噪声；
将径向基函数神经网络引入到容积卡尔曼滤波框架中对滤波器进行误差补偿：
首先设定窗口大小h，其反映了在一个窗口大小内，容积卡尔曼滤波算法迭代估计了h个时刻的最优航向角信息时，将一个窗口内的状态量、容积卡尔曼滤波的新息以及最优估计航向角信息作为输入到径向基函数神经网络中进行训练，当收到下一时刻数据时，将该时刻的状态量、容积卡尔曼滤波的增益与新息输入到上一个窗口内经过训练的径向基函数神经网络中，输入输出如下所示：
Figure 33757DEST_PATH_IMAGE014
其中，r表示窗口内第r个数据来临的时刻，K r ,I r 分别表示窗口内容积卡尔曼滤波的增益与新息，p r ,v r ,q r 分别表示窗口内惯性传感器位置，速度，姿态的状态量，z r 表示窗口内仿生偏振相机采集的量测量，y r 表示神经网络的补偿输出，b bias表示网络节点的偏置矩阵，W表示网络节点的权重矩阵，
Figure 22704DEST_PATH_IMAGE015
表示高斯核函数，其中μ和σ分别表示高斯核函数的中心和宽度，|| ∙ ||表示欧氏距离；
然后通过神经网络的输出的误差值，对容积卡尔曼滤波算法当前时刻的估计值进行补偿与修正，从当前修正时刻开始利用下一个窗口大小为h的数据继续对径向基函数神经网络进行训练，当第二个窗口结束后下一个时刻数据来临时，通过再训练的径向基函数神经网络输出的误差值对容积卡尔曼滤波算法的估计值进行再次补偿与修正，如此迭代，实现径向基函数神经网络对容积卡尔曼滤波的优化。
所述的一种仿生视觉多源信息智能感知无人平台，仿生偏振视觉/惯性/激光雷达组合导航模块在未知封闭环境下进行组合提高无人平台的导航定位与建图能力的工作步骤如下：
（201）对惯性传感器进行预积分，并且通过中值法进行离散化得到两个惯性传感器量测值时刻位置、速度与姿态之间的关系；
（202）通过步骤（201）中的惯性传感器预积分设计残差项并计算残差项关于待优化变量的雅可比，得到预积分相对约束，与激光雷达的相对位姿约束进行融合，构建非线性优化模型，构建激光/惯性里程计，求解最优位姿；
（203）根据步骤（202）中激光/惯性里程计得到的路标点对未知封闭环境进行建图。
所述的一种仿生视觉多源信息智能感知无人平台，步骤（201）的具体方法是：
在步骤（201）中，当无人平台进入到未知封闭环境下时，仿生偏振相机失效，此时根据惯性传感器与激光雷达的量测信息进行导航，首先进行对惯性传感器进行预积分，预积分法的连续型表达式为：
Figure 917847DEST_PATH_IMAGE016
其中上标b为载体坐标系，w为世界坐标系，两帧之间的时间间隔为
Figure 747263DEST_PATH_IMAGE017
，
Figure 232252DEST_PATH_IMAGE018
分别表示k+1时刻和k时刻世界坐标系下的位置，
Figure 789004DEST_PATH_IMAGE019
分别表示k+1时刻和k时刻世界坐标系下的速度，
Figure 414020DEST_PATH_IMAGE020
分别表示k+1时刻和k时刻世界坐标系下的姿态，
Figure 571595DEST_PATH_IMAGE021
与
Figure 773906DEST_PATH_IMAGE022
分别表示t时刻加速度计与陀螺输出，
Figure 23097DEST_PATH_IMAGE023
分别表示t时刻加速度计与陀螺的零偏，n a ,n ω 分别表示加速度计与陀螺的随机噪声，
Figure 502620DEST_PATH_IMAGE024
表示世界坐标系下的重力加速度；
采用中值法将进行离散化，则第i+1与第i个惯性传感器输出间的关系为：
Figure 955729DEST_PATH_IMAGE025
其中，
Figure 262646DEST_PATH_IMAGE026
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的位置，
Figure 52879DEST_PATH_IMAGE027
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的速度，
Figure 806815DEST_PATH_IMAGE028
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的姿态，δt表示第i+1与第i个惯性传感器输出之间的时间间隔；加速度
Figure 539147DEST_PATH_IMAGE029
与角速度
Figure 14253DEST_PATH_IMAGE030
为两个量测量的均值，即：
Figure 388603DEST_PATH_IMAGE031
其中，
Figure 330801DEST_PATH_IMAGE032
分别表示第i+1和第i个惯性传感器输出时刻加速度计的输出，
Figure 811198DEST_PATH_IMAGE033
分别表示第i+1和第i个惯性传感器输出时刻陀螺的输出，
Figure 678660DEST_PATH_IMAGE034
分别表示第i+1和第i个惯性传感器输出时刻加速度计的零偏，
Figure 154903DEST_PATH_IMAGE035
分别表示第i+1和第i个惯性传感器输出时刻陀螺的零偏。
所述的一种仿生视觉多源信息智能感知无人平台，步骤（202）的具体方法是：
在步骤（202）中，定义滑动窗口内***的待优化估计的状态量为：
Figure 150277DEST_PATH_IMAGE036
其中，滑动窗口内有s个时刻惯性传感器预积分的状态量与s个时刻激光雷达的状态量，激光雷达频率为10Hz，惯性传感器的频率为200Hz，每两帧激光雷达之间通过惯性传感器进行预积分；
Figure 522615DEST_PATH_IMAGE037
分别为初始时刻，即第一时刻、k时刻与s时刻惯性传感器预积分的状态量；
Figure 80635DEST_PATH_IMAGE038
分别为初始时刻，即第一时刻、k时刻s时刻激光雷达的状态量；
Figure 327946DEST_PATH_IMAGE039
分别为k时刻加速度计与陀螺的零偏，
Figure 599396DEST_PATH_IMAGE040
分别为k时刻激光雷达所估计的位置与姿态；
定义完状态变量之后，设计惯性传感器与激光雷达的残差项并计算残差项关于待优化变量的雅可比，构建激光雷达/惯性组合导航的非线性优化函数：
Figure 641170DEST_PATH_IMAGE041
式中
Figure 889749DEST_PATH_IMAGE042
表示向量的马氏距离，
Figure 179566DEST_PATH_IMAGE043
表示惯性传感器量测残差，
Figure 744670DEST_PATH_IMAGE044
表示激光雷达的点云量测残差，
Figure 754084DEST_PATH_IMAGE045
表示k和k-1时刻之间惯性传感器相对量测变化，m k 表示k时刻激光雷达的量测信息；
最终通过高斯牛顿方法求解该非线性优化函数，得到最优位姿估计。
所述的一种仿生视觉多源信息智能感知无人平台，深度学习目标探测模块的具体工作方法是：
首先通过单目视觉相机传感器采集周围环境的RGB图像，采集频率为30赫兹；然后采用双线性插值算法将灰度图像调整为大小为 640×640，再利用中值滤波算法对图像进行平滑去噪，完成对图像的预处理；
然后，通过多向模糊叠加算法来模拟真实环境中视觉相机造成的图像模糊问题，如下式所示：
Figure 693221DEST_PATH_IMAGE047
其中，
Figure 984131DEST_PATH_IMAGE048
分别表示在RGB三通道上经过叠加后对应坐标的像素值，
Figure 574382DEST_PATH_IMAGE049
分别表示在在RGB三通道上原始坐标的像素值，γ j 表示所叠加图片的透明度因子，T j 表示模糊叠加位移矩阵，由叠加的方向、步长和图像的叠加数量决定；将经过多向模糊叠加算法模拟的图像数据集输入到YOLOv7深度学习网络中进行训练，将经过增强的图像输入到训练完成的YOLOv7深度学习网络中获得图像中各类物体的目标检测框与顶点坐标。
有益效果：
（1）本发明提出的仿生视觉多源信息智能感知无人平台，能够提高无人平台在复杂环境中的综合能力；
（2）本发明提出的仿生偏振视觉/惯性/激光雷达组合导航模块，可避免战时卫星导航易被反侦察与干扰的问题，提高无人平台在复杂环境下（野外环境与封闭未知环境）的隐蔽性与自主导航能力，增强组合导航***的稳定性与鲁棒性；
（3）本发明提出的深度学***台对复杂环境的智能感知能力，结合组合导航定位信息，可提高自主避障能力。
附图说明
图1仿生视觉多源信息智能感知无人平台硬件平台；
图2本发明原理示意图；
图3野外环境下仿生偏振视觉/惯性组合导航框架；
图4惯性传感器/激光雷达输出与预积分对应关系示意图；
图5深度学习目标探测模块流程图；
图6 仿生偏振相机解算的航向角、惯性传感器解算的航向角、高精度导航定向***基准航向角与容积卡尔曼滤波融合优化的航向角跑车实验对比图；
图7无人平台行进过程中深度学习目标探测模块进行目标识别的结果；
图8无人平台行进过程中周围环境的深度信息。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
如图1所示，本发明提供了一种仿生视觉多源信息智能感知无人平台。该无人平台搭载了仿生偏振视觉传感器、激光雷达传感器、惯性传感器以及单目视觉相机传感器。
其中仿生偏振相机用来感知大气偏振状态，解算航向角信息；激光雷达传感器用来获取周围环境的点云信息并构建稠密地图；惯性传感器用来更新无人平台的位姿；单目视觉相机传感器用来对周围环境进行目标探测。
如图2所示，所述的仿生视觉多源信息智能感知无人平台，该无人平台包含三大模块：仿生偏振视觉/惯性/激光雷达组合导航模块、深度学***台的多源信息智能感知功能。
其中，仿生偏振视觉/惯性/激光雷达组合导航模块用来对无人平台进行实时定位定向，深度学***台周围的环境进行感知，自主避障模块结合自身定位信息与环境中识别的目标物体实现无人平台的自主避障。
所述仿生偏振视觉/惯性/激光雷达组合导航模块包含两种应用场景：野外环境和未知封闭环境。其中，野外环境中采用偏振视觉相机与惯性传感器进行组合提高无人平台的导航定向精度；未知封闭环境中仿生偏振视觉相机失锁时，采用激光雷达与惯性传感器进行组合提高无人平台的导航定位与建图能力。
进一步的，所述仿生偏振视觉/惯性/激光雷达组合导航模块在野外环境下的工作步骤如下：
（101）利用仿生偏振相机获取天空偏振模式，解算得到水平状态下无人平台的航向角信息；利用惯性传感器测量无人平台的横滚角，俯仰角以及航向角信息，对水平状态下的航向角进行倾角补偿，获得非水平状态下的无人平台航向角信息；
（102）通过径向基函数神经网络辅助容积卡尔曼滤波算法将步骤（101）中惯性传感器和仿生偏振相机经过倾角补偿得到的航向角信息进行融合，输出最优的航向角信息。
野外环境下仿生偏振视觉/惯性组合导航***整体框架如图3所示，仿生偏振相机通过检测大气偏振模式的偏振信息提供航向角信息，惯性传感器由仿生偏振相机提供初始的航向角对准。将两者融合，一方面通过惯性***提供的俯仰角和横滚角对仿生偏振相机进行倾角补偿，用来提高无人平台在非水平状态下的航向角解算精度；另一方面建立仿生偏振视觉/惯性组合模型，以传感器输出的航向角信息为状态量，以仿生偏振相机解算得到的航向角量测量，通过容积卡尔曼滤波算法进行融合，为了克服由于滤波器产生的最优估计误差，利用径向基函数神经网络辅助容积卡尔曼滤波，最终输出最优的航向角信息。
进一步的，步骤（101）中，根据大气偏振的分布模式可得，载体航向发生变化时，其获取的偏振模式会随太阳空间位置的变化而变化。通过太阳子午线在载体坐标系下的方位信息解算得到地理坐标系下载体的航向角φ=α s -α b ，其中α b 和α s 为太阳子午线在载体坐标系和地理坐标系下的方位角。若已知载体当地的经纬度信息和观测时的准确时间信息，太阳的高度角h s 和地理坐标系下的方位角α g 分别为：
Figure 302166DEST_PATH_IMAGE050
其中，δ，β，t s 分别代表太阳赤纬角、观测点的纬度和太阳时角。
然后，通过无人平台所搭载的仿生偏振相机采集三通道偏振图片，利用“太阳子午线方向的E矢量与散射平面垂直”这一特征，基于全天域偏振数据搜索特征点集，并对这些特征点进行一次线性拟合来求解α b 。最终可解算获得水平状态下地理坐标系下载体的航向角φ。
当无人平台处于非水平状态时，E矢量方向将不垂直于太阳子午线，但其垂直于太阳矢量，如下式：
Figure 948173DEST_PATH_IMAGE051
其中，n表示导航坐标系，b表示载体坐标系，
Figure 872136DEST_PATH_IMAGE003
表示导航坐标系中的太阳矢量，
Figure 75148DEST_PATH_IMAGE004
表示导航坐标系中的E矢量；载体坐标系中E矢量方向被定义为
Figure 521304DEST_PATH_IMAGE005
，其中α表示仿生偏振相机参考方向与入射光的E矢量方向的顺时针角度，
Figure 917256DEST_PATH_IMAGE006
表示从载体坐标系到导航坐标系的方向余弦矩阵，有
Figure 723538DEST_PATH_IMAGE007
；则在导航坐标系中，太阳矢量
Figure 993108DEST_PATH_IMAGE003
通过太阳方位角α s 和太阳高度角h s 计算，如下式所示：
Figure 878674DEST_PATH_IMAGE008
其中
Figure 279700DEST_PATH_IMAGE009
,
Figure 247262DEST_PATH_IMAGE010
,
Figure 964814DEST_PATH_IMAGE011
, 分别表示太阳矢量在导航系下的投影；
结合上式解算出非水平状态下经过倾角补偿的航向角ψ：ψ=arcsinc+arctand，其中，c，d为解算的中间参数，且
Figure 595515DEST_PATH_IMAGE012
式中，φ,θ分别表示载体处于非水平状态下的横滚角与俯仰角，通过惯性传感器进行解算获得。
进一步的，步骤（102）中，首先惯性传感器通过仿生偏振相机提供的航向角信息进行初始对准，然后建立仿生偏振视觉/惯性组合模型，以惯性***输出的航向角信息为状态量，以仿生偏振相机经过倾角补偿得到的航向角信息为量测量，采用容积卡尔曼滤波算法进行数据融合。
离散形式的状态模型可表示为：
Figure 280574DEST_PATH_IMAGE013
其中，x k 、x k-1 表示k、k-1时刻的状态量；u k-1 为滤波器输入；z k 为量测量；f()和h()为状态转移方程和量测方程；w k-1 和v k 是不相关的零均值高斯过程噪声和量测噪声。
将径向基函数神经网络引入到容积卡尔曼滤波框架中来对滤波器进行误差补偿。首先设定窗口大小h，其反映了在一个窗口大小内，容积卡尔曼滤波算法迭代估计了h个时刻的最优航向角信息时，将一个窗口内的状态量、容积卡尔曼滤波的新息以及最优估计航向角信息作为输入到径向基函数神经网络中进行训练。当下一时刻数据来临时，将该时刻的状态量、容积卡尔曼滤波的增益与新息输入到上一个窗口内经过训练的径向基函数神经网络中，输入输出如下所示：
Figure 194040DEST_PATH_IMAGE014
其中，r表示窗口内第数据来临的某个时刻，K r ,I r 分别表示窗口内容积卡尔曼滤波的增益与新息，p r ,v r ,q r 分别表示窗口内惯性传感器位置，速度，姿态的状态量，z r 表示窗口内仿生偏振相机采集的量测量。y r 表示神经网络的补偿输出，b bias表示网络节点的偏置矩阵，W表示网络节点的权重矩阵。
Figure 375885DEST_PATH_IMAGE015
表示高斯核函数，其中μ和σ分别表示高斯核函数的中心和宽度。|| ∙ ||表示欧氏距离。
然后通过神经网络的输出的误差值对容积卡尔曼滤波算法当前时刻的估计值进行补偿与修正。从当前修正时刻开始利用下一个窗口大小为h的数据继续对径向基函数神经网络进行训练，当第二个窗口结束后下一个时刻数据来临时，通过再训练的径向基函数神经网络输出的误差值对容积卡尔曼滤波算法的估计值进行再次补偿与修正。如此迭代，实现径向基函数神经网络对容积卡尔曼滤波的优化。
进一步的，所述仿生偏振视觉/惯性/激光雷达组合导航模块在未知封闭环境下的工作步骤如下：
（201）对惯性传感器进行预积分，并且通过中值法进行离散化得到两个惯性传感器量测值时刻位置、速度与姿态之间的关系。
（202）通过步骤（201）中的惯性传感器预积分设计残差项并计算残差项关于待优化变量的雅可比，得到预积分相对约束，与激光雷达的相对位姿约束进行融合，构建非线性优化模型，构建激光/惯性里程计，求解最优位姿。
（203）根据步骤（202）中激光/惯性里程计得到的路标点对未知封闭环境进行建图。
进一步的，步骤（201）中，当无人平台进入到未知封闭环境下时，仿生偏振相机失效，此时根据惯性传感器与激光雷达的量测信息进行导航。首先进行对惯性传感器进行预积分，预积分法的连续型表达式为：
Figure 443067DEST_PATH_IMAGE016
其中上标b为载体坐标系，w为世界坐标系，两帧之间的时间间隔为
Figure 97646DEST_PATH_IMAGE017
，
Figure 377317DEST_PATH_IMAGE018
分别表示k+1时刻和k时刻世界坐标系下的位置，
Figure 475985DEST_PATH_IMAGE019
分别表示k+1时刻和k时刻世界坐标系下的速度，
Figure 670993DEST_PATH_IMAGE020
分别表示k+1时刻和k时刻世界坐标系下的姿态，
Figure 19060DEST_PATH_IMAGE021
与
Figure 102423DEST_PATH_IMAGE022
分别表示t时刻加速度计与陀螺输出，
Figure 724772DEST_PATH_IMAGE023
分别表示t时刻加速度计与陀螺的零偏，n a ,n ω 分别表示加速度计与陀螺的随机噪声，
Figure 461652DEST_PATH_IMAGE024
表示世界坐标系下的重力加速度；
采用中值法将进行离散化，则第i+1与第i个惯性传感器输出间的关系为：
Figure 234699DEST_PATH_IMAGE025
其中，
Figure 200381DEST_PATH_IMAGE026
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的位置，
Figure 506597DEST_PATH_IMAGE027
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的速度，
Figure 500530DEST_PATH_IMAGE028
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的姿态，δt表示第i+1与第i个惯性传感器输出之间的时间间隔；加速度
Figure 869195DEST_PATH_IMAGE029
与角速度
Figure 858141DEST_PATH_IMAGE030
为两个量测量的均值，即：
Figure 907613DEST_PATH_IMAGE031
其中，
Figure 658400DEST_PATH_IMAGE032
分别表示第i+1和第i个惯性传感器输出时刻加速度计的输出，
Figure 874880DEST_PATH_IMAGE033
分别表示第i+1和第i个惯性传感器输出时刻陀螺的输出，
Figure 447943DEST_PATH_IMAGE034
分别表示第i+1和第i个惯性传感器输出时刻加速度计的零偏，
Figure 197594DEST_PATH_IMAGE035
分别表示第i+1和第i个惯性传感器输出时刻陀螺的零偏。
进一步的，步骤（202）中，首先定义滑动窗口内***的待优化估计的状态量为：
Figure 184529DEST_PATH_IMAGE052
其中，滑动窗口内有s个时刻惯性传感器预积分的状态量与s个时刻激光雷达的状态量，激光雷达频率为10Hz，惯性传感器的频率为200Hz，每两帧激光雷达之间通过惯性传感器进行预积分；
Figure 183578DEST_PATH_IMAGE053
分别为初始时刻，即第一时刻、k时刻与s时刻惯性传感器预积分的状态量；
Figure 983169DEST_PATH_IMAGE038
分别为初始时刻，即第一时刻、k时刻s时刻激光雷达的状态量；
Figure 509963DEST_PATH_IMAGE054
分别为k时刻加速度计与陀螺的零偏，
Figure 602553DEST_PATH_IMAGE040
分别为k时刻激光雷达所估计的位置与姿态，惯性传感器输出，激光雷达输出与预积分的对应关系如图4所示。
定义完状态变量之后，设计惯性传感器与激光雷达的残差项并计算残差项关于待优化变量的雅可比，构建激光雷达/惯性组合导航的非线性优化函数：
Figure 321854DEST_PATH_IMAGE055
式中
Figure 971141DEST_PATH_IMAGE042
表示向量的马氏距离，
Figure 649378DEST_PATH_IMAGE056
表示惯性传感器量测残差，
Figure 257077DEST_PATH_IMAGE044
表示激光雷达的点云量测残差，
Figure 27456DEST_PATH_IMAGE057
表示k和k-1时刻之间惯性传感器相对量测变化，m k 表示k时刻激光雷达的量测信息。
最终通过高斯牛顿方法求解该非线性优化函数，得到最优位姿估计。
进一步的，所述的仿生视觉多源信息智能感知无人平台，深度学习目标探测模块的具体工作方法是：
整体流程如图5所示，首先通过视觉相机采集周围环境的RGB图像，采集频率为30赫兹；然后采用双线性插值算法将灰度图像调整为大小为 640×640，再利用中值滤波算法对图像进行平滑去噪，完成对图像的预处理。
然后，通过多向模糊叠加算法来模拟真实环境中视觉相机造成的图像模糊问题，如下式所示：
Figure 109462DEST_PATH_IMAGE047
其中，
Figure 219370DEST_PATH_IMAGE058
分别表示在RGB三通道上经过叠加后对应坐标的像素值，
Figure 624068DEST_PATH_IMAGE059
分别表示在在RGB三通道上原始坐标的像素值，γ j 表示所叠加图片的透明度因子，T j 表示模糊叠加位移矩阵，由叠加的方向、步长和图像的叠加数量决定；将经过多向模糊叠加算法模拟的图像数据集输入到YOLOv7深度学习网络中进行训练，将经过增强的图像输入到训练完成的YOLOv7深度学习网络中获得图像中各类物体的目标检测框与顶点坐标。
自主避障模块在无人平台行驶过程中根据目标识别的物体判断周围是否有障碍物，并结合偏振视觉/惯性/激光雷达组合导航模块获得的载体导航定位信息进行自主避障。
仿真实验：
仿生视觉多源信息智能感知无人平台实验所采用的硬件平台如图1所示。载体为RIA-E100无人车，其上搭载了IntelD435i视觉相机，VelodyneVLP-16激光雷达，Ublox-RTK-GNSS，SonyLucid偏振相机以及Pix-IMU惯性传感器。
首先通过实验验证野外环境下仿生偏振视觉/惯性组合导航方案，在室外进行1200秒的跑车实验，实验结果如图6所示。图中由点虚线表示惯性传感器解算得到的航向角信息，虚线表示仿生偏振相机解算得到的航向角信息，粗实线表示高精度导航定向***提供的航向角基准信息，星实线表示仿生偏振视觉/惯性组合后的最优航向角信息。从图6中可以看出本发明所采用的仿生偏振视觉/惯性组合导航方案有效提高了航向角的精度。表1显示了仿生偏振相机，惯性传感器和容积卡尔曼滤波与基准航向角的最大误差，标准差，均方根误差与平均误差，通过量化的对比结果验证了仿生偏振视觉/惯性组合导航方案在野外环境下的可行性。
表1 仿生偏振视觉/惯性组合导航误差对比
Figure 927749DEST_PATH_IMAGE060
然后通过实验验证未知封闭环境下激光雷达/惯性组合导航方案，选择在室内模拟仿生偏振相机失锁的情况。
最后通过实验验证深度学***台的自主避障。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (3)

1.一种仿生视觉多源信息智能感知无人平台，其特征在于，该无人平台搭载了仿生偏振视觉/惯性/激光雷达组合导航模块、深度学习目标探测模块、自主避障模块；
其中所述仿生偏振视觉/惯性/激光雷达组合导航模块用来对无人平台进行实时定位定向；
深度学***台周围的环境进行感知；
自主避障模块，在无人平台行驶过程中，根据目标识别的物体判断周围是否有障碍物，并结合偏振视觉/惯性/激光雷达组合导航模块获得的载体导航定位信息进行自主避障；
所述仿生偏振视觉/惯性/激光雷达组合导航模块包括仿生偏振视觉传感器、激光雷达传感器、惯性传感器以及单目视觉相机传感器；
其中仿生偏振相机用来感知大气偏振状态，解算航向角信息；
激光雷达传感器用来获取周围环境的点云信息并构建稠密地图；
惯性传感器用来更新无人平台的位姿；
单目视觉相机传感器用来对周围环境进行目标探测；
仿生偏振视觉/惯性/激光雷达组合导航模块包含两种应用场景：野外环境和未知封闭环境；
其中，野外环境中采用偏振视觉相机与惯性传感器进行组合提高无人平台的导航定向精度；未知封闭环境中仿生偏振视觉相机失锁时，采用激光雷达与惯性传感器进行组合提高无人平台的导航定位与建图能力；
仿生偏振视觉/惯性/激光雷达组合导航模块在野外环境下进行组合提高无人平台的导航定向精度的工作步骤如下：
(101)利用仿生偏振相机获取天空偏振模式，解算得到水平状态下无人平台的航向角信息；利用惯性传感器测量无人平台的横滚角，俯仰角以及航向角信息，对水平状态下的航向角进行倾角补偿，获得非水平状态下的无人平台航向角信息；
(102)通过径向基函数神经网络辅助容积卡尔曼滤波算法将步骤(1)中获得的水平状态下无人平台的航向角信息和非水平状态下的无人平台航向角信息进行融合，输出最优的航向角信息；
步骤(101)的具体方法是：
由于水平状态下地理坐标系下载体的航向角
Figure FDA0004058701910000011
其中αb和αs为太阳子午线在载体坐标系和地理坐标系下的方位角，若已知载体当地的经纬度信息和观测时的准确时间信息，太阳的高度角hs和地理坐标系下的方位角αs分别为：
sin(hs)＝sinδsinβ+cosδcosβcosts
Figure FDA0004058701910000021
其中，δ，β，ts分别代表太阳赤纬角、观测点的纬度和太阳时角；
然后，通过无人平台所搭载的仿生偏振相机采集三通道偏振图片，利用“太阳子午线方向的E矢量与散射平面垂直”这一特征，基于全天域偏振数据搜索特征点集，并对这些特征点进行一次线性拟合来求解αb，最终可解算获得水平状态下地理坐标系下载体的航向角
Figure FDA0004058701910000022
当无人平台处于非水平状态时，E矢量方向将不垂直于太阳子午线，但其垂直于太阳矢量，如下式：
Figure FDA0004058701910000023
其中，n表示导航坐标系，b表示载体坐标系，
Figure FDA0004058701910000024
表示导航坐标系中的太阳矢量，
Figure FDA0004058701910000025
表示导航坐标系中的E矢量；载体坐标系中E矢量方向被定义为
Figure FDA0004058701910000026
其中α表示仿生偏振相机参考方向与入射光的E矢量方向的顺时针角度，
Figure FDA0004058701910000027
表示从载体坐标系到导航坐标系的方向余弦矩阵，有
Figure FDA0004058701910000028
则在导航坐标系中，太阳矢量
Figure FDA0004058701910000029
通过太阳方位角αs和太阳高度角hs计算，如下式所示：
Figure FDA00040587019100000210
其中
Figure FDA00040587019100000211
分别表示太阳矢量在导航系下的投影；
结合上式解算出非水平状态下经过倾角补偿的航向角ψ：ψ＝arcsinc+arctand，其中，c，d为解算的中间参数，且
Figure FDA00040587019100000212
Figure FDA00040587019100000213
式中，φ,θ分别表示载体处于非水平状态下的横滚角与俯仰角，通过惯性传感器进行解算获得；
步骤(102)的具体方法是：
首先惯性传感器通过仿生偏振相机提供的航向角信息进行初始对准，然后建立仿生偏振视觉/惯性组合模型，以惯性***输出的航向角信息为状态量，以仿生偏振相机经过倾角补偿得到的航向角信息为量测量，采用容积卡尔曼滤波算法进行数据融合；
离散形式的状态模型表示为：
xk＝f(xk-1,uk-1)+wk-1
zk＝h(xk)+vk
其中，xk、xk-1分别表示k时刻、k-1时刻的状态量；uk-1为滤波器输入；zk为量测量；f()和h()为状态转移方程和量测方程；wk-1和vk是不相关的零均值高斯过程噪声和量测噪声；
将径向基函数神经网络引入到容积卡尔曼滤波框架中对滤波器进行误差补偿：
首先设定窗口大小h，其反映了在一个窗口大小内，容积卡尔曼滤波算法迭代估计了h个时刻的最优航向角信息时，将一个窗口内的状态量、容积卡尔曼滤波的新息以及最优估计航向角信息作为输入到径向基函数神经网络中进行训练，当收到下一时刻数据时，将该时刻的状态量、容积卡尔曼滤波的增益与新息输入到上一个窗口内经过训练的径向基函数神经网络中，输入输出如下所示：
Figure FDA0004058701910000031
其中，r表示窗口内第r个数据来临的时刻，Kr,Ir分别表示窗口内容积卡尔曼滤波的增益与新息，pr,vr,qr分别表示窗口内惯性传感器位置，速度，姿态的状态量，zr表示窗口内仿生偏振相机采集的量测量，yr表示神经网络的补偿输出，bbias表示网络节点的偏置矩阵，W表示网络节点的权重矩阵，
Figure FDA0004058701910000032
表示高斯核函数，其中μ和σ分别表示高斯核函数的中心和宽度，||·||表示欧氏距离；
然后通过神经网络的输出的误差值，对容积卡尔曼滤波算法当前时刻的估计值进行补偿与修正，从当前修正时刻开始利用下一个窗口大小为h的数据继续对径向基函数神经网络进行训练，当第二个窗口结束后下一个时刻数据来临时，通过再训练的径向基函数神经网络输出的误差值对容积卡尔曼滤波算法的估计值进行再次补偿与修正，如此迭代，实现径向基函数神经网络对容积卡尔曼滤波的优化；
仿生偏振视觉/惯性/激光雷达组合导航模块在未知封闭环境下进行组合提高无人平台的导航定位与建图能力的工作步骤如下：
(201)对惯性传感器进行预积分，并且通过中值法进行离散化得到两个惯性传感器量测值时刻位置、速度与姿态之间的关系；
(202)通过步骤(201)中的惯性传感器预积分设计残差项并计算残差项关于待优化变量的雅可比，得到预积分相对约束，与激光雷达的相对位姿约束进行融合，构建非线性优化模型，构建激光/惯性里程计，求解最优位姿；
(203)根据步骤(202)中激光/惯性里程计得到的路标点对未知封闭环境进行建图；
深度学习目标探测模块的具体工作方法是：
首先通过单目视觉相机传感器采集周围环境的RGB图像，采集频率为30赫兹；然后采用双线性插值算法将灰度图像调整为大小为640×640，再利用中值滤波算法对图像进行平滑去噪，完成对图像的预处理；
然后，通过多向模糊叠加算法来模拟真实环境中视觉相机造成的图像模糊问题，如下式所示：
Figure FDA0004058701910000041
其中，
Figure FDA0004058701910000042
分别表示在RGB三通道上经过叠加后对应坐标的像素值，
Figure FDA0004058701910000043
分别表示在在RGB三通道上原始坐标的像素值，γj表示所叠加图片的透明度因子，Tj表示模糊叠加位移矩阵，由叠加的方向、步长和图像的叠加数量决定；将经过多向模糊叠加算法模拟的图像数据集输入到YOLOv7深度学习网络中进行训练，将经过增强的图像输入到训练完成的YOLOv7深度学习网络中获得图像中各类物体的目标检测框与顶点坐标。
2.根据权利要求1所述的一种仿生视觉多源信息智能感知无人平台，其特征在于，步骤(201)的具体方法是：
在步骤(201)中，当无人平台进入到未知封闭环境下时，仿生偏振相机失效，此时根据惯性传感器与激光雷达的量测信息进行导航，首先进行对惯性传感器进行预积分，预积分法的连续型表达式为：
Figure FDA0004058701910000044
Figure FDA0004058701910000045
Figure FDA0004058701910000046
其中上标b为载体坐标系，w为世界坐标系，两帧之间的时间间隔为Δt，
Figure FDA0004058701910000047
分别表示无人平台在k+1时刻和k时刻世界坐标系下的位置，
Figure FDA0004058701910000048
分别表示无人平台在k+1时刻和k时刻世界坐标系下的速度，
Figure FDA0004058701910000051
分别表示无人平台在k+1时刻和k时刻世界坐标系下的姿态，
Figure FDA0004058701910000052
与
Figure FDA0004058701910000053
分别表示t时刻加速度计与陀螺输出，
Figure FDA0004058701910000054
分别表示t时刻加速度计与陀螺的零偏，na,nω分别表示加速度计与陀螺的随机噪声，gw表示世界坐标系下的重力加速度；
采用中值法将进行离散化，则第i+1与第i个惯性传感器输出间的关系为：
Figure FDA0004058701910000055
Figure FDA0004058701910000056
Figure FDA0004058701910000057
其中，
Figure FDA0004058701910000058
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的位置，
Figure FDA0004058701910000059
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的速度，
Figure FDA00040587019100000510
分别表示离散化后第i+1与第i个惯性传感器输出时刻世界坐标系下的姿态，δt表示第i+1与第i个惯性传感器输出之间的时间间隔；加速度
Figure FDA00040587019100000511
与角速度
Figure FDA00040587019100000512
为两个量测量的均值，即：
Figure FDA00040587019100000513
Figure FDA00040587019100000514
其中，
Figure FDA00040587019100000515
分别表示第i+1和第i个惯性传感器输出时刻加速度计的输出，
Figure FDA00040587019100000516
分别表示第i+1和第i个惯性传感器输出时刻陀螺的输出，
Figure FDA00040587019100000517
分别表示第i+1和第i个惯性传感器输出时刻加速度计的零偏，
Figure FDA00040587019100000518
分别表示第i+1和第i个惯性传感器输出时刻陀螺的零偏。
3.根据权利要求1所述的一种仿生视觉多源信息智能感知无人平台，其特征在于，步骤(202)的具体方法是：
在步骤(202)中，定义滑动窗口内***的待优化估计的状态量为：
Figure FDA0004058701910000061
Figure FDA0004058701910000062
Figure FDA0004058701910000063
其中，滑动窗口内有s个时刻惯性传感器预积分的状态量与s个时刻激光雷达的状态量，激光雷达频率为10Hz，惯性传感器的频率为200Hz，每两帧激光雷达之间通过惯性传感器进行预积分；
Figure FDA0004058701910000064
分别为初始时刻，即第一时刻、k时刻与s时刻惯性传感器预积分的状态量；
Figure FDA0004058701910000065
分别为初始时刻，即第一时刻、k时刻s时刻激光雷达的状态量；
Figure FDA0004058701910000066
分别为k时刻加速度计与陀螺的零偏，
Figure FDA0004058701910000067
分别为k时刻激光雷达所估计的位置与姿态；
定义完状态变量之后，设计惯性传感器与激光雷达的残差项并计算残差项关于待优化变量的雅可比，构建激光雷达/惯性组合导航的非线性优化函数：
Figure FDA0004058701910000068
式中
Figure FDA0004058701910000069
表示向量的马氏距离，
Figure FDA00040587019100000610
表示惯性传感器量测残差，
Figure FDA00040587019100000611
表示激光雷达的点云量测残差，
Figure FDA00040587019100000612
表示k和k-1时刻之间惯性传感器相对量测变化，mk表示k时刻激光雷达的量测信息；
最终通过高斯牛顿方法求解该非线性优化函数，得到最优位姿估计。
CN202211481989.3A 2022-11-24 2022-11-24 仿生视觉多源信息智能感知无人平台 Active CN115574816B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211481989.3A CN115574816B (zh) 2022-11-24 2022-11-24 仿生视觉多源信息智能感知无人平台
PCT/CN2023/101257 WO2024109002A1 (zh) 2022-11-24 2023-06-20 仿生视觉多源信息智能感知无人平台
US18/545,993 US20240184309A1 (en) 2022-11-24 2023-12-19 Unmanned platform with bionic visual multi-source information and intelligent perception

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211481989.3A CN115574816B (zh) 2022-11-24 2022-11-24 仿生视觉多源信息智能感知无人平台

Publications (2)

Publication Number Publication Date
CN115574816A CN115574816A (zh) 2023-01-06
CN115574816B true CN115574816B (zh) 2023-03-14

Family

ID=84590616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211481989.3A Active CN115574816B (zh) 2022-11-24 2022-11-24 仿生视觉多源信息智能感知无人平台

Country Status (3)

Country Link
US (1) US20240184309A1 (zh)
CN (1) CN115574816B (zh)
WO (1) WO2024109002A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115574816B (zh) * 2022-11-24 2023-03-14 东南大学 仿生视觉多源信息智能感知无人平台
CN118052963B (zh) * 2024-04-16 2024-06-25 山东金东数字创意股份有限公司 一种降低xr长时间误差积累的方法、介质及***

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015108591A2 (en) * 2013-10-22 2015-07-23 Polaris Sensor Technologies Inc. Sky polarization and sun sensor system and method
CN106643709A (zh) * 2016-10-10 2017-05-10 东南大学 一种海上运载体的组合导航方法及装置
CN107553490A (zh) * 2017-09-08 2018-01-09 深圳市唯特视科技有限公司 一种基于深度学习的单目视觉避障方法
CN108225335A (zh) * 2018-01-23 2018-06-29 中国人民解放军国防科技大学 一种用于多目偏振视觉的航向角求解方法
CN108387236A (zh) * 2018-02-08 2018-08-10 北方工业大学 一种基于扩展卡尔曼滤波的偏振光slam方法
CN109933086A (zh) * 2019-03-14 2019-06-25 天津大学 基于深度q学习的无人机环境感知与自主避障方法
CN110689000A (zh) * 2018-07-05 2020-01-14 山东华软金盾软件股份有限公司 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN111238467A (zh) * 2020-02-07 2020-06-05 西北工业大学 一种仿生偏振光辅助的无人作战飞行器自主导航方法
CN111337029A (zh) * 2020-01-10 2020-06-26 中北大学 基于自学习多速率残差校正的偏振光惯性严密组合导航方法
CN111504312A (zh) * 2020-07-02 2020-08-07 中国人民解放军国防科技大学 一种基于视觉惯性偏振光融合的无人机位姿估计方法
CN111650601A (zh) * 2020-06-01 2020-09-11 杭州爱莱达科技有限公司 车载相干激光雷达高分辨3d成像方法及装置
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112697138A (zh) * 2020-12-07 2021-04-23 北方工业大学 一种基于因子图优化的仿生偏振同步定位与构图的方法
CN113091738A (zh) * 2021-04-09 2021-07-09 安徽工程大学 基于视觉惯导融合的移动机器人地图构建方法及相关设备
WO2022028286A1 (zh) * 2020-08-04 2022-02-10 东南大学 一种运动约束辅助的基于改进Sage-Husa自适应滤波的水下组合导航方法
CN114459474A (zh) * 2022-02-16 2022-05-10 北方工业大学 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100202674A1 (en) * 2007-11-21 2010-08-12 Parascript Llc Voting in mammography processing
US20120053446A1 (en) * 2007-11-21 2012-03-01 Parascript Llc Voting in image processing
US10578457B2 (en) * 2016-09-15 2020-03-03 Syracuse University Robust and stable autonomous vision-inertial navigation system for unmanned vehicles
CN107643762A (zh) * 2017-08-07 2018-01-30 中国兵器工业计算机应用技术研究所 自主导航的无人机***及其导航方法
CN108303081B (zh) * 2017-12-29 2021-09-07 郭晓宇 一种仿生偏振/惯性/大气数据组合导航***
CN108362288B (zh) * 2018-02-08 2021-05-07 北方工业大学 一种基于无迹卡尔曼滤波的偏振光slam方法
CN109376785B (zh) * 2018-10-31 2021-09-24 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
US11396354B2 (en) * 2020-04-15 2022-07-26 Bae Systems Information And Electronic Systems Integration Inc. Covert underwater navigation via polarimetry
CN111578940B (zh) * 2020-04-24 2021-05-11 哈尔滨工业大学 一种基于跨传感器迁移学习的室内单目导航方法及***
CN115574816B (zh) * 2022-11-24 2023-03-14 东南大学 仿生视觉多源信息智能感知无人平台

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015108591A2 (en) * 2013-10-22 2015-07-23 Polaris Sensor Technologies Inc. Sky polarization and sun sensor system and method
CN106643709A (zh) * 2016-10-10 2017-05-10 东南大学 一种海上运载体的组合导航方法及装置
CN107553490A (zh) * 2017-09-08 2018-01-09 深圳市唯特视科技有限公司 一种基于深度学习的单目视觉避障方法
CN108225335A (zh) * 2018-01-23 2018-06-29 中国人民解放军国防科技大学 一种用于多目偏振视觉的航向角求解方法
CN108387236A (zh) * 2018-02-08 2018-08-10 北方工业大学 一种基于扩展卡尔曼滤波的偏振光slam方法
CN110689000A (zh) * 2018-07-05 2020-01-14 山东华软金盾软件股份有限公司 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN109933086A (zh) * 2019-03-14 2019-06-25 天津大学 基于深度q学习的无人机环境感知与自主避障方法
CN111337029A (zh) * 2020-01-10 2020-06-26 中北大学 基于自学习多速率残差校正的偏振光惯性严密组合导航方法
CN111238467A (zh) * 2020-02-07 2020-06-05 西北工业大学 一种仿生偏振光辅助的无人作战飞行器自主导航方法
CN111650601A (zh) * 2020-06-01 2020-09-11 杭州爱莱达科技有限公司 车载相干激光雷达高分辨3d成像方法及装置
CN111504312A (zh) * 2020-07-02 2020-08-07 中国人民解放军国防科技大学 一种基于视觉惯性偏振光融合的无人机位姿估计方法
WO2022028286A1 (zh) * 2020-08-04 2022-02-10 东南大学 一种运动约束辅助的基于改进Sage-Husa自适应滤波的水下组合导航方法
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112697138A (zh) * 2020-12-07 2021-04-23 北方工业大学 一种基于因子图优化的仿生偏振同步定位与构图的方法
CN113091738A (zh) * 2021-04-09 2021-07-09 安徽工程大学 基于视觉惯导融合的移动机器人地图构建方法及相关设备
CN114459474A (zh) * 2022-02-16 2022-05-10 北方工业大学 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于仿射因子补偿的改进地形匹配ICCP算法";程向红,等;《中国惯性技术学报》;20220630;第30卷(第3期);352-358 *

Also Published As

Publication number Publication date
CN115574816A (zh) 2023-01-06
US20240184309A1 (en) 2024-06-06
WO2024109002A1 (zh) 2024-05-30

Similar Documents

Publication Publication Date Title
CN110243358B (zh) 多源融合的无人车室内外定位方法及***
CN112347840B (zh) 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN103033189B (zh) 一种深空探测巡视器惯性/视觉组合导航方法
CN110095116A (zh) 一种基于lift的视觉定位和惯性导航组合的定位方法
CN109991636A (zh) 基于gps、imu以及双目视觉的地图构建方法及***
CN111426320B (zh) 一种基于图像匹配/惯导/里程计的车辆自主导航方法
CN113781582A (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN112697138B (zh) 一种基于因子图优化的仿生偏振同步定位与构图的方法
CN114019552A (zh) 一种基于贝叶斯多传感器误差约束的定位置信度优化方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
CN115183762A (zh) 一种机场仓库内外建图方法、***、电子设备及介质
CN110736457A (zh) 一种基于北斗、gps和sins的组合导航方法
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN117685953A (zh) 面向多无人机协同定位的uwb与视觉融合定位方法及***
CN114459474B (zh) 一种基于因子图的惯性/偏振/雷达/光流紧组合导航的方法
CN115930948A (zh) 一种果园机器人融合定位方法
CN113503872B (zh) 一种基于相机与消费级imu融合的低速无人车定位方法
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案
CN114234967A (zh) 一种基于多传感器融合的六足机器人定位方法
Mirisola et al. Trajectory recovery and 3d mapping from rotation-compensated imagery for an airship
Wei Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework
CN110887475A (zh) 一种基于偏振北极点及偏振太阳矢量的静基座粗对准方法
Arai et al. Fast vision-based localization for a mars airplane

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant