CN113821044A - 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 - Google Patents
基于强化学习的桥梁检测无人机自主导航与稳定控制方法 Download PDFInfo
- Publication number
- CN113821044A CN113821044A CN202110760963.1A CN202110760963A CN113821044A CN 113821044 A CN113821044 A CN 113821044A CN 202110760963 A CN202110760963 A CN 202110760963A CN 113821044 A CN113821044 A CN 113821044A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- bridge
- control
- bridge detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000002787 reinforcement Effects 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 230000009471 action Effects 0.000 claims description 31
- 238000007689 inspection Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000004069 differentiation Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract description 7
- 230000008034 disappearance Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004971 IR microspectroscopy Methods 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012060 immune response imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
- G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
- G05D1/0825—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability using mathematical models
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于强化学习的桥梁检测无人机自主导航与稳定控制方法，包括：步骤一、基于牛顿‑欧拉法对检测桥梁的四旋翼无人机进行动力学建模；步骤二、考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络强化学习实现无人机自主避障飞行；步骤三、采用桥梁建筑信息模型辅助下的双目视觉与IMU组合自主导航；步骤四、***内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控制进行位置控制，实现桥梁检测无人机在强风干扰下的稳定控制。解决了针对无人机桥梁检测技术存在的桥下定位信号缺失、强风干扰下无法稳定飞行控制的问题。
Description
技术领域
本发明属于桥梁检测技术领域，具体涉及基于强化学习的桥梁检测无人机自 主导航与稳定控制方法。
背景技术
我国交通基础设施建设飞速发展，桥梁建设以平均每年2万座的速度快速地 增长，截止2018年底，我国已建成大跨度桥梁9万余座，特大跨度桥梁5千余 座，其中主跨超过400米的特大跨度桥梁105座。既有桥梁安全问题成为关系国 民经济、国家安全的核心问题。
当前，我国桥梁检测作业多数仍采用3种传统的技术方式：
(1)桥梁检测车：是当前桥梁检测的主题手段，该类方法借助于桥梁检测车， 登高车或搭设支架，将检测人员送到被观测对象附近，进行抵近检查和 测量，缺点是费时费力，对正常交通干扰较大。
(2)桥底检测通道：与桥梁同期建设，检测工作对交通影响小，但检测范围 有限。同时受年限限制，检测通常在设计年限内发生老化，失去作用。
(3)桥梁综合检测车：主要依靠汽车搭载的检测设备，以超声波、振动等手 段穿透桥面检测桥梁，优点是对交通干扰小，但其检测波穿透能力有限， 准确性难以保证，无法实现对桥梁、桥柱的检测。在检测效率方面。
总之，上述传统桥梁检测方式存在费用高、专业性强等特点，不适合管养部 门作为日常检测技术手段加以应用。此外，采用上述方式的检测人员通常处于数 十米的高空中，受风力、桥梁振动影响大，属高危作业，安全隐患高。
桥梁检测无人机以其机动性强、体积小、效率高、使用成本较低、模块化维 修保养方便、安全风险低等优势，近年来受到桥梁养护业界的广泛关注。具体来 说，相比于传统检测手段，无人机桥梁检测优势如下：
(1)技术层面：无人机挂载测量设备在空中进行工作，机动性能好，可到达 传统设备难以抵达的盲区，弥补常规检查死角与短板；
(2)操作层面：由于无人机的构造比较简单，质量轻、体积小，运输和维护 比较容易，同时无人机可实现快速拆装，操作方便；
(3)经济层面：无人机检测设备相比于传统专业检测设备成本低，，同时其 检测过程中无需封闭交通，不影响现有行车秩序；
(4)安全层面：无人机可替代检测人员进行高空作业，检测人员在安全位置 操控无人机即可，无人身安全隐患。
完整的无人机桥梁检测***由无人机、数据传输***、任务载荷***、地面 站***、分析处理***等组成。桥梁检测无人机可挂载各类检测设备，如全球定 位***模块(GPS)、惯性测量单元(IMU)、距离传感器(TOF)、高清摄像装置 等，数据传输***用于***控制信号、检测数据的传输。地面站***用于实时监 控无人机飞行、分析处理***负责对采集数据进行分析、诊断和量化病害程度， 对桥梁实施评估。
桥梁检测无人机，弥补了传统桥梁检测存在盲区、费用高、检测人员安全风 险大的弊端，以其良好的机动性、安全性和经济性广受业界关注，但其也存在 技术瓶颈，主要包括：
(1)桥下定位信号缺失：对于桥梁检测无人机，由于桥梁结构的遮挡，特别 是当无人机在大跨度、宽幅桥下检测时，易导致无人机GPS设备在检 测中通信失联，无法收到信号，导致***瘫痪；再者，桥梁多采用钢筋 混凝土结构或钢结构，结构内钢筋网产生的强磁场严重影响无人机磁罗 盘性能，也会导致***的准确性及鲁棒性降低；
(2)复杂环境下的多源干扰：无人机桥梁检测远距离飞行中，存在着对于同 时来源于外部环境、传感器噪声和模型误差的多源干扰。长距离桥检过 程中，发动机的不对称高频振动，穿越冷/暖气团、强阵风、小尺度湍 流等多类干扰源同时作用，将影响无人机导航与控制***的精度。
非结构化环境下的自主导航与控制：在复杂环境下，特别是桥梁附近的强风 场对无人机桥梁检测易产生较大的干扰，不但降低了无人机的检测效率，也增加 了无人机碰壁风险。同时，大跨度复杂桥梁结构形式，特别是钢桁架等空间结构， 对桥梁检测无人机的避障能力提出了更高的要求。
发明内容
本发明的目的是提供基于强化学习的桥梁检测无人机自主导航与稳定控制 方法，以解决针对无人机桥梁检测技术存在的桥下定位信号缺失、强风干扰下无 法稳定飞行控制的问题。本发明对四旋翼无人机在桥梁检测中自主导航和飞行控 制方法进行了分析，提出了包含运动规划、导航和控制的闭环***，无人机桥梁 检测闭环***模型结构如附图1所示。
本发明采用以下技术方案：基于强化学习的桥梁检测无人机自主导航与稳 定控制方法，包括：
步骤一：基于牛顿-欧拉法对检测桥梁的四旋翼无人机进行动力学建模；
步骤二：考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络强 化学习实现无人机自主避障飞行；
步骤三：采用桥梁建筑信息模型辅助下的双目视觉与IMU组合自主导航；
步骤四：***内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控 制进行位置控制，实现桥梁检测无人机在强风干扰下的稳定控制。
进一步的，步骤一的具体方法为：
为确定无人机飞行中的位置，建立机体坐标系E-XYZ，其原点是无人机起飞 时的质心，X轴的正方向是无人机头的航向正方向，Y轴的正方向是无人机水平 向左的方向，Z轴的正方向是无人机垂直向上的方向；
为确定四旋翼无人机的姿态，建立机体坐标系B-X'Y'Z'，其原点是无人机的 质心，X'轴的正方向是机头的方向，Z'轴的正方向是垂直于机体平面向上，Y'轴 的正方向由右手准则确定；
则，四旋翼无人机的动力学模型如下：
其中，m为无人机质量，x,y,z为距四旋翼中心点的平移位置；φ为桥梁检测 无人机的横滚角，其角速度为p；θ为桥梁检测无人机俯仰角；ψ为桥梁检测无人 机偏航角，其角速度为r，n3为平动拖曳力系数，n3x,n3y,n3z分别为X轴，Y轴和Z的 平动拖曳系数，g为重力加速度，，IXX,IYY,IZZ分别为X轴，Y轴和Z轴的转动惯量， H为角动量，Ω＝[p q r]T为角速度，HR为角动量变化率，l为桥梁检测无人机的 质心到中心点的距离。
进一步的，步骤二中基于神经网络强化学习的方法具体为：
步骤1：初始化神经网络和运行中所用到的参数；
步骤2：初始化用于桥梁检测的无人机的状态；
步骤3：获得无人机的当前状态信息st；
步骤4：把当前状态信息输入到步骤1的神经网络中，根据获得的Q值选择 动作；
步骤5：执行动作使得无人机达到一个新的状态st+1，同时获得反馈强化信号 值；若发生碰撞，则返回无人机的初始位置再重新开始；
步骤6：训练神经网络；
步骤7：重复步骤3-6直到学习完毕。
进一步的，步骤二中自主避障的方法为：
采用Boltzmann分布实现无人机初始阶段对动作随机选择，某个动作被选择 的概率为：
式中，T为虚拟问题，随着T增加，选择的随机性越强；
随着学习的进行，Q值慢慢趋向于所期望的状态-动作值，根据贪婪策略来选 择动作，即选择最大Q值所对应的动作；
s为强化学习***接受环境状态的输入，a为***输出相应的行为动作。
进一步的，步骤三中自主导航算法的具体方法为：
根据桥梁检测无人机***导航的框架模型，给出建筑信息模型辅助下的无人 机双目视觉导航***中相机坐标系到世界坐标系的转换，然后确定特征点的三维 坐标，最后确定非线性优化所需要的初速度、陀螺仪的零偏，以及重力方向。
进一步的，步骤四的具体方法为：基于桥梁桥底的实时风场估计，桥检无人 机控制***内环采用自抗扰算法进行姿态控制，外环采用PID方法进行位置控 制，实现强风场干扰下的快速稳定控制。
本发明的有益效果是：(1)本发明采用BIM模型辅助下的无人机双目视觉 鲁棒SLAM导航方法，可实现无人机卫星定位信号缺失条件下的自主导航与定 位；(2)本发明基于实时风场估计，内环采用自抗扰算法进行姿态控制，外环采 用PID方法进行位置控制，实现了强风场干扰下的快速稳定飞行控制。
附图说明
图1为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的无 人机桥梁检测闭环***模型结构示意图；
图2为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的桥 检检测桥梁检测无人机坐标系示意图；
图3为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的无 人机桥梁检测双目视觉惯性导航***结构图；
图4为本发明基于强化学习的桥梁检测无人机自主导航与稳定控制方法的基 于自抗扰控制算法的桥检无人机姿态控制器结构图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供了基于强化学习的桥梁检测无人机自主导航与稳定控制方法， 具体包括以下步骤：
步骤一：基于牛顿-欧拉法对桥梁检测无人机进行动力学建模；
步骤二：基于神经网络强化学习的桥梁检测无人机自主避障；
步骤三：设计BIM下的双目视觉与IMU组合自主导航算法；
步骤四：设计桥梁检测无人机强风场干扰下的稳定控制方案。
在一些实施例中，步骤一中需对检测桥梁检测无人机进行动力学模型:
考虑到桥梁检测无人机是非线性、强耦合、欠驱动的***，同时无人机在桥 梁检测过程中存在复杂的外界干扰，为建立较为实用的数学模型，同时便于控制 算法设计，本发明做以下假设：
(1)将机体结构和旋翼都视为刚体，忽略机体的弹性形变及振动；
(2)四个电机及螺旋桨均对称安装，且除正反极性外其他参数均相同；
(3)机体的质量分布均匀且质心与外形中心重合。
无人机在桥梁检测过程中主要受力：桥梁检测无人机本体的重力、旋翼产生 的升力、空气阻力等。主要的力矩：旋翼的升力产生的空气动力矩、旋转产生的 反扭力、空气阻力以及摩擦力产生的阻力矩等。
下面，建立机体坐标系和地面坐标系，其中：
为确定无人机飞行中的位置，建立机体坐标系E-XYZ，其原点是无人机起飞 时的质心，X轴的正方向是无人机头的航向正方向，Y轴的正方向是无人机水平 向左的方向，Z轴的正方向是无人机垂直向上的方向。
为确定无人机的姿态，建立机体坐标系B-X'Y'Z'，其原点是无人机的质心，X' 轴的正方向是机头的方向，Z'轴的正方向是垂直于机体平面向上，Y'轴的正方向 由右手准则确定。
如附图2所示。附图2中，φ为桥梁检测无人机绕O-X'轴转动的横滚角，其 角速度为p；θ为桥梁检测无人机绕O-Y'轴转动的俯仰角；ψ为桥梁检测无人机绕 O-Z'轴转动的偏航角，其角速度为r。则机体坐标系到惯性坐标系的转换矩阵为：
旋翼产生的升力与其转速平方成正比，空气阻力与转速的平方成正比具体关 系如下所示：
考虑桥梁检测无人机重力、四旋翼的升力和空气阻力，通过牛顿-欧拉方程 可得：
其中X＝[x,y,z]T为距四旋翼中心点的平移位置，n3为平动拖曳力系数，g＝[0,0,g]T为 重力加速度。将旋转矩阵
代入上式方程中，可得：
其中n3x,n3y,n3z分别为X轴，Y轴和Z的平动拖曳系数。
将桥梁检测无人机看作一个刚体来看，由刚体力学可知，四旋翼受到的外力 通过四旋翼的角速度和其对轴的转动惯量的乘积来得到。设转动惯量为：
其中，IXX,IYY,IZZ分别为X轴，Y轴和Z轴的转动惯量，就可以得出四旋翼的角 动量，如下公式所示：
记H为角动量，Ω＝[p q r]T为角速度，HR为角动量变化率，M为总外力矩，可得M＝Ω×H+HR，
由上式可得总力矩为
进行转换后可得出：
又由四旋翼的转动角速度Ω＝[p q r]T可得旋翼的姿态角速度为
进而求得
其中，
桥梁检测无人机由横滚通道、俯仰通道和偏航通道单个姿态，横滚通道对应 的力矩为M1，俯仰通道对应的力矩为M2，偏航通道对应的力矩为 M3.-IRq(-ω1+ω2-ω3+ω4)和IRp(-ω1+ω2-ω3+ω4)为桥梁检测无人机的自旋效应，IR是每个 电机的转动惯量。其中，
式中：l为桥梁检测无人机的质心到中心点的距离。
整合以上公式，可得桥梁检测无人机姿态运动方程为：
综上，可得桥梁检测无人机的动力学模型如下：
在一些实施例中，步骤二中，为基于神经网络强化学习的桥梁检测无人机自 主避障的具体内容如下：
桥梁检测无人机的在检测过程需要考虑大量的现实情况和约束条件，主要包 括：
(1)环境信息：包括桥址地形信息、桥梁风场信息及其他可能发生的突发情 况；
(2)约束条件：包括桥检检测无人机最长续航时间、飞行速度、与桥墩、拉 索等障碍物的安全距离、实时风场、桥梁裂纹拍照距离等。
本发明综合考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络 强化学习的激光雷达感知与决策方法。该方法以一种通用的形式将卷积神经网络 的感知能力与强化学习的决策能力结合在一起，通过端对端的学习方式实现从桥 梁周围环境的感知输入到桥检无人机飞行动作的直接输出控制，其中最优决策策 略是通过最大化桥梁检测无人机与动力学模型交互的累计回报中学习获得。
2.1、强化Q学习:
强化学习***接受环境状态的输入为s，根据内部的推理机制，***输出相 应的行为动作为a。环境在***动作作用a下，变迁到新的状态s'。***接受环 境新状态的输入，同时得到环境对于***的顺时奖惩反馈r。对于强化学习*** 来讲，其目标是学习一个行为策略τ:s→a，使***选择的动作能够获得环境奖赏 的累计值最大。在学习过程中，强化学习技术的基本原理是：如果***某个动作 导致环境正的奖赏，那么***以后产生这个动作的趋势便会加强，反之***产 生这个动作的趋势便减弱。这与生物的条件反射机理相似。
Q学习是一类被广泛应用的强化学习，其利用一个函数，表达式如下：
Q(st,at)←rt+γ(rt+γrt+1+γ2rt+2+…)，
式中at是时刻t从动作集A被选中的动作。由于***的目的是使总的奖励值为最大，因此用
取代rt+γrt+1+γ2rt+2+…，得到表达式为
在时刻t无人机根据当前所处的状态选择一个动作a，然后根据以下的表达式 更新Q值
b为在t+1状态所选择的动作。
2.2、基于神经网络的强化学习的桥检无人机避障:
本发明采用基于神经网络强化学习实现桥检无人机避障。基于神经网络强化 学习的具体执行步骤如下：
步骤1：初始化神经网络和运行中所用到的参数；
步骤2：初始化桥梁检测无人机的状态；
步骤3：获得无人机的当前状态信息st；
步骤4：把状态信息输入到神经网络中，根据获得Q值选择动作；
步骤5：执行动作使得桥检无人机达到一个新的状态st+1，同时获得反馈强化 信号值。若发生碰撞，则返回桥检无人机的初始位置再重新开始。
步骤6：训练神经网络；
步骤7：重复步骤3-6直到学习完毕。
2.3行为选择策略:
本发明采用Boltzmann分布实现桥检无人机初始阶段对动作随机选择，某个 动作被选择的概率为：
式中T为虚拟问题，随着T增加，选择的随机性越强。
随着学习的进行，Q值慢慢趋向于所期望的状态-动作值，这时根据贪婪策略 来选择动作，即选择最大Q值所对应的动作，
在一些实施例中个，步骤三中，设计BIM辅助下的双目视觉与IMU组合自 主导航算法，具体内容如下：
针对无人机桥梁检测卫星定位信号缺失条件下的导航定位问题，本发明提出 BIM辅助下的桥梁检测无人机双目视觉鲁棒SLAM导航。采用IMU与双目视觉 组合导航，实现桥梁检测无人机的自主导航。提出的导航框架如附图3所示。
下面，本发明根据***导航的框架模型，给出BIM辅助下的双目视觉导航 ***中相机坐标系到世界坐标系的转换；确定特征点的三维坐标，最后确定非线 性优化所需要的初始初速、陀螺仪的零偏，以及重力方向。
3.1、IMU测量模型:
IMU一般是由三轴陀螺仪和三轴加速度计组成，在不考虑地球自转的前提 下，IMU的模型如下：
式中，上标B代表IMU的输出是在载体体系的数据；
和
表示在t时刻的IMU角度和加速度的测量值，ωB(t)和aB(t)表示在t时刻的IMU的角度和加速度的 实际值，bω(t)和ba(t)代表载体运动角速度和加速度的零偏值，nω和na代表测量时存 在的高斯白噪声。
3.2、双目视觉与惯性的组合导航:
本发明采用松耦合方法对视觉与惯导进行融合，即把两个***都视为独立 的，求取出相机位姿后再与IMU测量值采取融合策略。它的核心状态是：
其中，下标iw表示世界坐标系到IMU坐标系的转换，
表示世界坐标系原点相 对于IMU坐标系的位置，v,q表示速度以及姿态，
和
表示陀螺仪和加速度计 偏差。最终运动方程如下：
根据上式，把状态误差向量表示为：
其中，
表示估计值与真实值二者的差值，
融合后***状态为IMU和视觉里程计状态集合，表示为：
相机姿态测量模型为：
式中，
是从世界到IMU坐标系的旋转转换，
和pcw表示世界到相机系的旋转矩阵和平移向量，
和
为噪声。测量误差表示为：
将其线性化后得：
然后通过EKF得到更新方程：
上式下标k+m/k意思是时间点k是对于k+m的预测，和
表示状态量。基于框架能 够求取出相应的过去状态：
上式对应的协方差矩阵为：
式中
表示具体化的***动态矩阵。增量差值，协方差阵用下面表示为：
式中Rr表示视觉SLAM位姿的协方差矩阵，
包括两个所对应的雅克比矩阵，那么它相对应的卡尔曼增益为：
***最优估计方程以及协方差矩阵的更新方程为：
至此，已经可获得融合后状态估计值。
在一些实施例中，步骤四中，设计桥检桥梁检测无人机强风场干扰下的稳定 控制方案，具体内容如下：
下面，本发明根据桥检无人机的动力学模型及导航方案，设计姿态控制器和 位置控制器，内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控制进 行位置控制，以提高桥检无人机的抗干扰能力和鲁棒性。
4.1、基于自抗扰控制的桥检无人机内环姿态控制器设计:
自抗扰算法由跟踪微分器、扩张状态观测器和非线性误差反馈控制器组成。
桥检无人机有6个自由度，基于自抗扰控制的姿态控制包括俯仰、滚转和偏 航3个通道。如附图4所示，将自抗扰控制器运用到这3个通道，其中ADRC1、 ADRC2、ADRC3分别构成俯仰、滚转和偏航回路。其中
θ,ψ为传感器返回值。
4.2、桥检无人机外环位置PID控制器设计：
将姿态控制器采用自抗扰算法设计完之后，再来对位置控制器进行设计。为 减轻微型处理器的计算负荷，采用PID控制来设计外环的位置控制器。
在位置控制时，采用PID控制可以使四旋翼快速达到期望的位置，不仅可以 实现大误差时快速调整其跟踪目标位置，还可以在小误差时使得四旋翼可以很好 的稳定飞行。在惯性坐标系位置控制器设计中，应该包括X轴，Y轴和Z轴三个 方向的平移。
由上式可知，高度回路(Z轴)与侧向控制回路是独立的，所以在高度回路 中，四旋翼的总升力既可以控制，而侧向回路需要不同的旋翼升力来进行控制。 需要根据位置飞行期望去确定期望的滚转角控制量θr、期望的俯仰角控制量
和 垂向控制量总距δcol。经分析，可通过惯性坐标系与机体坐标系下的转换矩阵来求 在机体系下线速度的期望值，具体公式如下所示：
其中pd,qd,rd为四旋翼的机体坐标系下的期望线速度，
为地面坐标系到机体坐标 系的转换矩阵。
式中，ax为x轴方向的期望的线加速度的控制量，ay为y轴方向的期望的线加速度的控制量，az为z轴方向的期望的线加速度的控制量。
通过以上公式的推导，可以得到期望线加速控制量，从而将桥检无人机的姿 态的期望值求出。可以推导出期望的滚转角控制量θr、期望的俯仰角控制量
和 垂向控制量总距δcol。经简化可得：
至此，整个控制器设计完毕。
为使桥梁检测无人机能够在桥梁检测时能够安全可靠地自主飞行同时对未 知区域进行主动搜索桥梁表面损伤区域。无人机的自主飞行依赖于高精度的飞行 控制方法，稳定的飞行状态估计、稳定可靠的地图建立方法、准确的运动策略和 运动规划等技术。本发明对桥梁检测无人机在桥梁检测中自主导航和飞行控制方 法进行了分析，提出了包含运动规划、导航和控制的闭环***。
考虑全向机动性操作与悬停拍摄需求，采用大型旋翼无人机作为飞行平台； 使用基于BIM(建筑信息模型)模型和合作标识辅助的双目视觉同时定位与地图 构建(SLAM)方案解决无人机在卫星信号缺失下的导航问题；在基于实时风场 估计的自抗扰控制和基于神经网络强化学习的自主机动决策基础上，实现桥梁检 测无人机自主导航与稳定飞行控制。
Claims (6)
1.基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，包括：
步骤一：基于牛顿-欧拉法对检测桥梁的四旋翼无人机进行动力学建模；
步骤二：考虑待检桥梁周围环境信息和检测约束条件，提出基于神经网络强化学习实现无人机自主避障飞行；
步骤三：采用桥梁建筑信息模型辅助下的双目视觉与IMU组合自主导航；
步骤四：***内环控制采用自抗扰算法进行姿态控制，外环控制采用PID控制进行位置控制，实现桥梁检测无人机在强风干扰下的稳定控制。
2.如权利要求1所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述步骤一的具体方法为：
为确定无人机飞行中的位置，建立机体坐标系E-XYZ，其原点是无人机起飞时的质心，X轴的正方向是无人机头的航向正方向，Y轴的正方向是无人机水平向左的方向，Z轴的正方向是无人机垂直向上的方向；
为确定四旋翼无人机的姿态，建立机体坐标系B-X'Y'Z'，其原点是无人机的质心，X'轴的正方向是机头的方向，Z'轴的正方向是垂直于机体平面向上，Y'轴的正方向由右手准则确定；
则，四旋翼无人机的动力学模型如下：
其中，m为无人机质量，x,y,z为距四旋翼中心点的平移位置；φ为桥梁检测无人机的横滚角，其角速度为p；θ为桥梁检测无人机俯仰角；ψ为桥梁检测无人机偏航角，其角速度为r，n3为平动拖曳力系数，n3x,n3y,n3z分别为X轴，Y轴和Z的平动拖曳系数，g为重力加速度，，IXX,IYY,IZZ分别为X轴，Y轴和Z轴的转动惯量，H为角动量，Ω＝[p q r]T为角速度，HR为角动量变化率，l为桥梁检测无人机的质心到中心点的距离。
3.如权利要求1或2所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述的步骤二中基于神经网络强化学习的方法具体为：
步骤1：初始化神经网络和运行中所用到的参数；
步骤2：初始化用于桥梁检测的无人机的状态；
步骤3：获得所述无人机的当前状态信息st；
步骤4：把所述当前状态信息输入到步骤1的所述神经网络中，根据获得的Q值选择动作；
步骤5：执行动作使得所述无人机达到一个新的状态st+1，同时获得反馈强化信号值；若发生碰撞，则返回无人机的初始位置再重新开始；
步骤6：训练神经网络；
步骤7：重复步骤3-6直到学习完毕。
4.如权利要求3所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述步骤二中自主避障的方法为：
采用Boltzmann分布实现无人机初始阶段对动作随机选择，某个动作被选择的概率为：
式中，T为虚拟问题，随着T增加，选择的随机性越强；
随着学习的进行，Q值慢慢趋向于所期望的状态-动作值，根据贪婪策略来选择动作，即选择最大Q值所对应的动作；
s为强化学习***接受环境状态的输入，a为***输出相应的行为动作。
5.如权利要求1或2所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述的步骤三中自主导航算法的具体方法为：
根据桥梁检测无人机***导航的框架模型，给出建筑信息模型辅助下的无人机双目视觉导航***中相机坐标系到世界坐标系的转换，然后确定特征点的三维坐标，最后确定非线性优化所需要的初速度、陀螺仪的零偏，以及重力方向。
6.如权利要求1或2所述的基于强化学习的桥梁检测无人机自主导航与稳定控制方法，其特征在于，所述步骤四的具体方法为：基于桥梁桥底的实时风场估计，桥检无人机控制***内环采用自抗扰算法进行姿态控制，外环采用PID方法进行位置控制，实现强风场干扰下的快速稳定控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760963.1A CN113821044A (zh) | 2021-07-06 | 2021-07-06 | 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110760963.1A CN113821044A (zh) | 2021-07-06 | 2021-07-06 | 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113821044A true CN113821044A (zh) | 2021-12-21 |
Family
ID=78924157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110760963.1A Pending CN113821044A (zh) | 2021-07-06 | 2021-07-06 | 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113821044A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114578861A (zh) * | 2022-04-29 | 2022-06-03 | 北京航空航天大学 | 一种利用阵风环境的无人机飞行控制策略设计方法 |
| CN114859971A (zh) * | 2022-05-07 | 2022-08-05 | 北京卓翼智能科技有限公司 | 用于风力涡轮机监测的智能无人机 |
| CN115016291A (zh) * | 2022-07-13 | 2022-09-06 | 西北工业大学 | 一种基于风场信息的飞行器抗干扰姿态控制***和方法 |
| CN117032276A (zh) * | 2023-07-04 | 2023-11-10 | 长沙理工大学 | 基于双目视觉和惯导融合无人机的桥梁检测方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017177533A1 (zh) * | 2016-04-12 | 2017-10-19 | 深圳市龙云创新航空科技有限公司 | 基于激光雷达的微型无人机操控方法及*** |
| CN109444171A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 基于无人机的一体化桥梁检测方法 |
| CN109597425A (zh) * | 2018-10-18 | 2019-04-09 | 中国航空无线电电子研究所 | 基于强化学习的无人机导航和避障方法 |
| CN109911188A (zh) * | 2019-03-18 | 2019-06-21 | 东南大学 | 非卫星导航定位环境的桥梁检测无人机*** |
-
2021
- 2021-07-06 CN CN202110760963.1A patent/CN113821044A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017177533A1 (zh) * | 2016-04-12 | 2017-10-19 | 深圳市龙云创新航空科技有限公司 | 基于激光雷达的微型无人机操控方法及*** |
| CN109444171A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 基于无人机的一体化桥梁检测方法 |
| CN109597425A (zh) * | 2018-10-18 | 2019-04-09 | 中国航空无线电电子研究所 | 基于强化学习的无人机导航和避障方法 |
| CN109911188A (zh) * | 2019-03-18 | 2019-06-21 | 东南大学 | 非卫星导航定位环境的桥梁检测无人机*** |
Non-Patent Citations (3)
| Title |
|---|
| 管一凡: "融合双目视觉和惯性的定位技术研究", 《中国优秀硕士学位论文电子期刊》 * |
| 郝超: "一种基于自抗扰算法的四旋翼无人机控制***研究", 《中国优秀硕士学位论文电子期刊》 * |
| 陈润泽等: "旋翼无人机视觉/惯性组合导航技术研究", 《电子测量技术》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114578861A (zh) * | 2022-04-29 | 2022-06-03 | 北京航空航天大学 | 一种利用阵风环境的无人机飞行控制策略设计方法 |
| CN114578861B (zh) * | 2022-04-29 | 2022-08-16 | 北京航空航天大学 | 一种利用阵风环境的无人机飞行控制策略设计方法 |
| CN114859971A (zh) * | 2022-05-07 | 2022-08-05 | 北京卓翼智能科技有限公司 | 用于风力涡轮机监测的智能无人机 |
| CN115016291A (zh) * | 2022-07-13 | 2022-09-06 | 西北工业大学 | 一种基于风场信息的飞行器抗干扰姿态控制***和方法 |
| CN115016291B (zh) * | 2022-07-13 | 2023-11-10 | 西北工业大学 | 一种基于风场信息的飞行器抗干扰姿态控制***和方法 |
| CN117032276A (zh) * | 2023-07-04 | 2023-11-10 | 长沙理工大学 | 基于双目视觉和惯导融合无人机的桥梁检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113821044A (zh) | 基于强化学习的桥梁检测无人机自主导航与稳定控制方法 | |
| CN113945206B (zh) | 一种基于多传感器融合的定位方法及装置 | |
| CN109911188B (zh) | 非卫星导航定位环境的桥梁检测无人机*** | |
| EP4382864A1 (en) | Positioning method and positioning apparatus | |
| Paris et al. | Dynamic landing of an autonomous quadrotor on a moving platform in turbulent wind conditions | |
| Chee et al. | Control, navigation and collision avoidance for an unmanned aerial vehicle | |
| CN109460052B (zh) | 一种可拼组飞行器的控制方法 | |
| CN102809377B (zh) | 飞行器惯性/气动模型组合导航方法 | |
| CN104062977B (zh) | 基于视觉slam的四旋翼无人机全自主飞行控制方法 | |
| CN110362100B (zh) | 一种基于四旋翼无人机的大型储罐自主巡检方法 | |
| CN104236548A (zh) | 一种微型无人机室内自主导航方法 | |
| CN105759829A (zh) | 基于激光雷达的微型无人机操控方法及*** | |
| CN106643737A (zh) | 风力干扰环境下四旋翼飞行器姿态解算方法 | |
| CN105929836B (zh) | 用于四旋翼飞行器的控制方法 | |
| CN109683629B (zh) | 基于组合导航和计算机视觉的无人机电力架线*** | |
| Lawrance et al. | Path planning for autonomous soaring flight in dynamic wind fields | |
| CN105094138A (zh) | 一种用于旋翼无人机的低空自主导航*** | |
| CN104932512A (zh) | 一种基于mimo非线性不确定反步法的四旋翼位姿控制方法 | |
| CN108766035B (zh) | 一种点密度引导下的无人机地形匹配飞行控制*** | |
| Cho et al. | Autonomous ship deck landing of a quadrotor UAV using feed-forward image-based visual servoing | |
| RU195749U1 (ru) | Интеллектуальная система технического зрения беспилотного летательного аппарата для решения задач навигации, построения трехмерной карты окружающего пространства и препятствий и автономного патрулирования | |
| Trunov | Transformation of operations with fuzzy sets for solving the problems on optimal motion of crewless unmanned vehicles | |
| CN114942648B (zh) | 一种复杂风场下的桥梁检测特种无人机自主稳定方法 | |
| CN113359809B (zh) | 一种基于rbfnn辅助的桥梁检测无人机自主定位方法 | |
| AU2021102531A4 (en) | Three-dimensional wind, airspeed calculation, and prediction method for aerial drones using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211221 |