CN114089779A - Gps拒止环境下空中机器人视觉自主控制方法及*** - Google Patents

Gps拒止环境下空中机器人视觉自主控制方法及*** Download PDF

Info

Publication number
CN114089779A
CN114089779A CN202111407640.0A CN202111407640A CN114089779A CN 114089779 A CN114089779 A CN 114089779A CN 202111407640 A CN202111407640 A CN 202111407640A CN 114089779 A CN114089779 A CN 114089779A
Authority
CN
China
Prior art keywords
control
error
attitude
aerial robot
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111407640.0A
Other languages
English (en)
Other versions
CN114089779B (zh
Inventor
钟杭
范泷文
王耀南
缪志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202111407640.0A priority Critical patent/CN114089779B/zh
Publication of CN114089779A publication Critical patent/CN114089779A/zh
Application granted granted Critical
Publication of CN114089779B publication Critical patent/CN114089779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种GPS拒止环境下空中机器人视觉自主控制方法及***，包括：摄像头模块实时采集周围环境图像并发送至计算机模块，计算机模块根据周围环境图像和预设的参考图像得到单应性矩阵并发送至姿态控制器；姿态控制器根据单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将第一控制误差发送至计算机模块；计算机模块根据第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至姿态控制器；姿态控制器根据实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、第一控制误差和姿态误差控制变量得到姿态控制量，根据姿态控制量控制空中机器人的自主飞行。

Description

GPS拒止环境下空中机器人视觉自主控制方法及***
技术领域
本发明属于空中机器人自主控制领域，特别涉及一种GPS拒止环境下空中机器人视觉自主控制方法及***。
背景技术
空中机器人理论和技术得到了快速发展，其能够实现的功能愈发强大，在一些领域正渐渐取代载人飞行器，尤其是在一些人类难以到达的环境和具有挑战的项目有着很高的效率。但是空中机器人很多应用场景不仅面临GPS拒止环境的挑战，同时还面临着高效的自我姿态控制问题，于是采用基于机载视觉传感器的自我姿态控制技术成为未来空中机器人在GPS拒止环境中能否自主飞行的关键。
空中机器人的控制需要其状态信息，然后采取适当的控制操作。对于空中机器人来说，仅从机载传感中提取它们的平移速度仍然是一个悬而未决的问题。然而，平移速度是空中机器人控制的关键信息。为此目的，最常用的传感方式是GPS和视觉。GPS依赖外部源(卫星)提供车辆的全球位置信息，因此，它不能在杂乱的城市地区运行，而且在低海拔不可靠，容易遭受卫星信号切断，是一种非被动传感模态。传统空中机器人以GPS为空中机器人提供位置信息，得到位置信息，然后通过控制器的位置环控制来达到作业的目的，但在一些复杂场景中(如城市街道、房屋室内等)无法提供GPS支持，就无法为空中机器人提供稳定的定位信息，这将导致空中机器人姿态的不可控制，且这种通过位置环控制的空中机器人，具有控制滞后性和姿态不稳定性。
针对这种GPS拒止环境下且需求高动态鲁棒性的空中机器人姿态控制，传统的位置控制已无法满足这种要求，因此需要采用新的控制方法使空中机器人能够在更复杂环境依旧保持高鲁棒性的控制。
发明内容
针对以上技术问题，本发明提供一种在GPS拒止环境下可自主控制飞行的GPS拒止环境下空中机器人视觉自主控制方法及***。
本发明解决其技术问题采用的技术方案是：
GPS拒止环境下空中机器人视觉自主控制方法，方法包括以下步骤：
步骤S100：空中机器人的摄像头模块实时采集周围环境图像并发送至空中机器人的计算机模块，计算机模块实时获取周围环境图像，并根据周围环境图像和预设的参考图像得到单应性矩阵并发送至空中机器人的姿态控制器；
步骤S200：姿态控制器根据单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将第一控制误差发送至空中机器人的计算机模块；
步骤S300：空中机器人的计算机模块根据第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至姿态控制器；
步骤S400：姿态控制器根据实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、第一控制误差和姿态误差控制变量得到姿态控制量，根据姿态控制量控制空中机器人的自主飞行。
优选地，步骤S100包括：
步骤S110：获取预设的包含目标位姿的图片作为预设的参考图像，计算预设的参考图像的ORB特征点并生成参考图像对应的描述子作为后续帧的匹配对象；
步骤S120：实时获取在空中机器人飞行过程中的周围环境图像作为当前图像帧，计算当前图像帧的ORB特征点并生成当前图像帧对应的描述子，采用随机抽样一致性算法对当前图像帧对应的描述子与参考图像对应的描述子进行特征匹配，对匹配的点进行筛选，直至选出置信度最高的预设数量个匹配对；
步骤S130：根据置信度最高的预设数量个匹配对求解当前图像帧与预设的参考图像帧间的单应性矩阵；
步骤S140：将单应性矩阵发送至空中机器人的姿态控制器。
优选地，步骤S200具体为：
Figure BDA0003372905090000021
其中，e1表示预设的虚拟误差函数，
Figure BDA0003372905090000022
表示定义的意思，H为单应性矩阵，Hv为虚拟单应性矩阵，
Figure BDA0003372905090000023
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积，I3为3×3单位矩阵，m*＝[0，0，1]T，ez＝[0，0，1]T，
Figure BDA0003372905090000024
为定义的姿态误差控制变量，T表示矩阵转置，ep1为定义的第一控制误差，vex()表示将矩阵转换成向量。
优选地，步骤S300中预设的速度估计误差函数具体为：
Figure BDA0003372905090000031
其中，
Figure BDA0003372905090000032
是定义的虚拟图像平面真实误差的估计值，
Figure BDA0003372905090000033
是定义的虚拟图像平面真实速度的估计值，
Figure BDA0003372905090000034
是定义的虚拟图像平面真实误差的估计值的偏差，
Figure BDA0003372905090000035
是定义的虚拟图像平面真实速度的估计值的偏差，Vv为空中机器人虚拟图像平面真实速度值；
其中，速度值的更新函数，具体为：
Figure BDA0003372905090000036
其中，k1、k2、a*为手动设定值，
Figure BDA0003372905090000037
为计算机模块中速度估计部分的中间变量，Ωz'为空中机器人的真实偏航角速度，ez＝[0，0，1]T，Fv为虚拟图像平面的受力和，m为空中机器人实际重量，
Figure BDA0003372905090000038
表示中间变量的导数，[]×表示将向量换成反对称矩阵。
优选地，步骤S400包括：
步骤S410：根据预设的空中机器人的动态方程和第一控制误差求解得到虚拟平面的动态模型方程；
步骤S420：根据实时估计的自身速度和预设的误差控制式得到第二控制误差；
步骤S430：根据虚拟平面的动态模型方程和第二控制误差得到姿态控制率方程；
步骤S440：将第二控制误差输入至姿态控制率方程，得到空中机器人的升力、俯仰角速度和翻滚角速度，根据姿态误差控制变量得到偏航角速度，其中，升力、俯仰角速度、翻滚角速度和偏航角速度均为姿态控制量。
优选地，步骤S410中虚拟平面的动态模型方程具体为：
Figure BDA0003372905090000039
其中，
Figure BDA00033729050900000310
为第一控制误差的导数，
Figure BDA00033729050900000311
为空中机器人虚拟图像平面真实速度值，
Figure BDA00033729050900000312
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积的导数，ep1为第一控制误差，Ωz'为空中机器人的真实偏航角速度ez＝[0，0，1]T，m为空中机器人实际重量，a*为手动设定值，Vv为空中机器人虚拟图像平面真实速度值，
Figure BDA0003372905090000041
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积，I为单位矩阵，J为机体转动惯量，Γ为力矩，Fv为虚拟图像平面的受力和，
Figure BDA0003372905090000042
F＝-T‘ez+mgRTez，F为所受合力，T'为升力，g为重力常数，Ω为角速度，
Figure BDA0003372905090000043
为角速度的导数。
优选地，步骤S420具体为：
Figure BDA0003372905090000044
其中，ep1为第一控制误差，ep2为第三控制误差，ep3为第二控制误差，m为空中机器人实际重量，c、k3为调试参数。
优选地，步骤S430具体为：
Figure BDA0003372905090000045
Figure BDA0003372905090000046
其中，
Figure BDA0003372905090000047
为虚拟图像平面的受力和的导数，Fv为虚拟图像平面的受力和，m为空中机器人实际重量，Ωz'为空中机器人的真实偏航角速度，ez＝[0，0，1]T，
Figure BDA0003372905090000048
为无人机俯仰旋转矩阵和翻滚旋转矩阵的乘积，ep3为第二控制误差，k3>0、k4>0为手动设定值，Ωx为翻滚角速度，Ωy为俯仰角速度，T'为升力，
Figure BDA0003372905090000049
为升力的导数。
优选地，步骤S440中根据姿态误差控制变量得到偏航角速度，具体为：
Figure BDA00033729050900000410
其中，Ωz为偏航角速度，k5为手动设定值，
Figure BDA00033729050900000411
为姿态误差控制变量。
GPS拒止环境下空中机器人视觉自主控制***，***包括空中机器人，空中机器人包括空中机器人本体、摄像头模块、计算机模块和姿态控制器，计算机模块、摄像头模块和姿态控制器设置于空中机器人本体上，计算机模块设置于空中机器人本体正中间上方，摄像头模块设置于空中机器人本体的正下方且视野向下，摄像头模块连接计算机模块，计算机模块连接姿态控制器；
摄像头模块实时采集周围环境图像并发送至计算机模块；
计算机模块实时获取周围环境图像，并根据周围环境图像和预设的参考图像得到单应性矩阵并发送至姿态控制器；根据第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至姿态控制器
姿态控制器根据单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将第一控制误差发送至计算机模块；以及根据实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、第一控制误差和姿态误差控制变量得到姿态控制量，根据姿态控制量控制空中机器人的自主飞行。
上述方法中空中机器人无需知道自身的位置信息，仅通过视觉信息就可以实现悬停、降落、目标跟踪等多项任务。采用一个视野向下摄像头的图像输入，通过求解预设的参考图像和当前图像的单应性矩阵，提出了一种新的姿态控制器，同时在计算机模块内部设计了一个自身的速度估计模块来提高该种方法在GPS拒止环境下的鲁棒性，将单应性矩阵和自身的速度估计模块估计的速度输入至姿态控制器中，得到姿态控制量，根据姿态控制量实现目标位姿，实现了在GPS拒止环境下的鲁棒控制，解决了传统空中机器人在GPS拒止的环境中实现悬停、降落、跟踪等多种棘手的问题，实现了空中机器人进行自主控制。该方法控制的空中机器人能够在GPS拒止的条件下稳定运行，仅由空中机器人自身的计算机模块进行自主控制，相比于传统的基于GPS的控制方法，这种更能适用于复杂环境下的自主飞行，为空中机器人在GPS拒止环境下实际应用提供了可行方案。
附图说明
图1为本发明一实施例提供的GPS拒止环境下空中机器人视觉自主控制方法的流程图。
图2为本发明一实施例提供的GPS拒止环境下空中机器人视觉自主控制***的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，GPS拒止环境下空中机器人视觉伺服控制方法，方法包括以下步骤：
步骤S100：空中机器人的摄像头模块实时采集周围环境图像并发送至空中机器人的计算机模块，计算机模块实时获取周围环境图像，并根据周围环境图像和预设的参考图像得到单应性矩阵并发送至空中机器人的姿态控制器；
步骤S200：姿态控制器根据单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将第一控制误差发送至空中机器人的计算机模块；
步骤S300：空中机器人的计算机模块根据第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至姿态控制器；
步骤S400：姿态控制器根据实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、第一控制误差和姿态误差控制变量得到姿态控制量，根据姿态控制量控制空中机器人的自主飞行。
具体地，上述方法实现的硬件***包括空中机器人本体、摄像头模块、计算机模块和姿态控制器，计算机模块、摄像头模块和姿态控制器设置于空中机器人本体上，计算机模块设置于空中机器人本体正中间上方，摄像头模块设置于空中机器人本体的正下方且视野向下，摄像头模块连接计算机模块，计算机模块连接姿态控制器，进一步地，摄像头的视野范围为135°，刷新频率为60HZ，图片像素大小为1440x1080，本发明中空中机器人平台选用四旋翼无人机但不限于此。
上述方法中空中机器人无需知道自身的位置信息，仅通过视觉信息就可以实现悬停、降落、目标跟踪等多项任务。采用一个视野向下摄像头的图像输入，通过求解预设的参考图像和当前图像的单应性矩阵，提出了一种新的姿态控制器，同时在计算机模块中设计了一个自身的速度估计模块来提高该种方法在GPS拒止环境下的鲁棒性，将单应性矩阵和自身估计的速度输入至姿态控制器中，得到姿态控制量，根据姿态控制量实现目标位姿，实现了在GPS拒止环境下的鲁棒控制，解决了传统空中机器人在GPS拒止的环境中实现悬停、降落、跟踪等多种棘手的问题，实现了空中机器人进行自主控制。该方法控制的空中机器人能够在GPS拒止的条件下稳定运行，仅由空中机器人自身的机载电脑进行自主控制，相比于传统的基于GPS的控制方法，这种更能适用于复杂环境下的自主飞行，为空中机器人在GPS拒止环境下实际应用提供了可行方案。
在一个实施例中，步骤S100包括：
步骤S110：获取预设的包含目标位姿的图片作为预设的参考图像，计算预设的参考图像的ORB特征点并生成参考图像对应的描述子作为后续帧的匹配对象；
步骤S120：实时获取在空中机器人飞行过程中的周围环境图像作为当前图像帧，计算当前图像帧的ORB特征点并生成当前图像帧对应的描述子，采用随机抽样一致性算法对当前图像帧对应的描述子与参考图像对应的描述子进行特征匹配，对匹配的点进行筛选，直至选出置信度最高的预设数量个匹配对；
步骤S130：根据置信度最高的预设数量个匹配对求解当前图像帧与预设的参考图像帧间的单应性矩阵；
步骤S140：将单应性矩阵发送至空中机器人的姿态控制器。
具体地，姿态控制器需要的输入为预设的参考图片和当前图片的单应性矩阵，例如如果是跟踪，会提前获取一个包含目标的图片当作参考图像，控制器会控制无人机到达参考图像处，如果是视频帧，则让前一帧图像作为参考图像。进一步地，预设数量个匹配对为64对，并不限于此数量，可根据实际情况进行调整，如果在特征匹配过程中，没有预设数量个匹配的匹配对，则认为匹配失败，重新进行步骤S120。
在一个实施例中，步骤S200具体为：
Figure BDA0003372905090000071
其中，e1表示预设的虚拟误差函数，
Figure BDA0003372905090000072
表示定义的意思，H为单应性矩阵，Hv为虚拟单应性矩阵，
Figure BDA0003372905090000073
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积，I3为3×3单位矩阵，m*＝[0，0，1]T，ez＝[0，0，1]T，
Figure BDA0003372905090000074
为定义的姿态误差控制变量，T表示矩阵转置，ep1为定义的第一控制误差，vex()表示将矩阵转换成向量。
在一个实施例中，步骤S300中预设的速度估计误差函数具体为：
Figure BDA0003372905090000081
其中，
Figure BDA0003372905090000082
是定义的虚拟图像平面真实误差的估计值，
Figure BDA0003372905090000083
是定义的虚拟图像平面真实速度的估计值，
Figure BDA0003372905090000084
是定义的虚拟图像平面真实误差的估计值的偏差，
Figure BDA0003372905090000085
是定义的虚拟图像平面真实速度的估计值的偏差，Vv为空中机器人虚拟图像平面真实速度值；
其中，速度值的更新函数，具体为：
Figure BDA0003372905090000086
其中，k1、k2、a*为手动设定值，
Figure BDA0003372905090000087
为计算机模块中速度估计部分的中间变量，Ωz'为空中机器人的真实偏航角速度，ez＝[0，0，1]T，Fv为虚拟图像平面的受力和，m为空中机器人实际重量，
Figure BDA0003372905090000088
表示中间变量的导数，[]×表示将向量换成反对称矩阵。
具体地，当k1>0和k2>0，整个估计器会快速趋于稳定并且求取李亚普洛夫函数
Figure BDA0003372905090000089
当我们选择α＝2min(k1,k2a*)时，可以证明整个非线性估计器是稳定的。实际测试中，k1＝1.5、k2＝8.0。通过这次步骤，得到当前旋翼无人机的估计速度值。
在一个实施例中，步骤S400包括：
步骤S410：根据预设的空中机器人的动态方程和第一控制误差求解得到虚拟平面的动态模型方程；
步骤S420：根据实时估计的自身速度和预设的误差控制式得到第二控制误差；
步骤S430：根据虚拟平面的动态模型方程和第二控制误差得到姿态控制率方程；
步骤S440：将第二控制误差输入至姿态控制率方程，得到空中机器人的升力、俯仰角速度和翻滚角速度，根据姿态误差控制变量得到偏航角速度，其中，升力、俯仰角速度、翻滚角速度和偏航角速度均为姿态控制量。
进一步地，预设的空中机器人的动态方程为：
Figure BDA0003372905090000091
考虑到旋翼无人机为欠驱动模型，需要通过转化为虚拟平面的控制规律。
在一个实施例中，步骤S410中虚拟平面的动态模型方程具体为：
Figure BDA0003372905090000092
其中，
Figure BDA0003372905090000093
为第一控制误差的导数，
Figure BDA0003372905090000094
为空中机器人虚拟图像平面真实速度值，
Figure BDA0003372905090000095
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积的导数，ep1为第一控制误差，Ωz'为空中机器人的真实偏航角速度ez＝[0，0，1]T，m为空中机器人实际重量，a*为手动设定值，Vv为空中机器人虚拟图像平面真实速度值，
Figure BDA0003372905090000096
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积，I为单位矩阵，J为机体转动惯量，Γ为力矩，Fv为虚拟图像平面的受力和，
Figure BDA0003372905090000097
F＝-T‘ez+mgRTez，F为所受合力，T'为升力，g为重力常数，Ω为角速度，
Figure BDA0003372905090000098
为角速度的导数。
在一个实施例中，步骤S420具体为：
Figure BDA0003372905090000099
其中，ep1为第一控制误差，ep2为第三控制误差，ep3为第二控制误差，m为空中机器人实际重量，c、k3为调试参数。
具体地，在实际测试中，m＝2.5、c＝1.2、k3＝1.0为测试结果中最好的数据，此时，速度估计值能迅速收敛，满足了后续控制所需的要求。
在一个实施例中，步骤S430具体为：
Figure BDA0003372905090000101
Figure BDA0003372905090000102
其中，
Figure BDA0003372905090000103
为虚拟图像平面的受力和的导数，Fv为虚拟图像平面的受力和，m为空中机器人实际重量，Ωz'为空中机器人的真实偏航角速度，ez＝[0，0，1]T，
Figure BDA0003372905090000104
为无人机俯仰旋转矩阵和翻滚旋转矩阵的乘积，ep3为第二控制误差，k3>0、k4>0为手动设定值，Ωx为翻滚角速度，Ωy为俯仰角速度，T'为升力，
Figure BDA0003372905090000105
为升力的导数。
具体地，将第二控制误差的值输入至控制率方程，得到升力、俯仰角速度和翻滚角速度。
在一个实施例中，步骤S440中根据姿态误差控制变量得到偏航角速度，具体为：
Figure BDA0003372905090000106
其中，Ωz为偏航角速度，k5为手动设定值，
Figure BDA0003372905090000107
为姿态误差控制变量。
关于上述公式中的手动设定值，存在以下关系：
Figure BDA0003372905090000108
在旋翼无人机自主飞行途中，不断的解算出T、Ωy、Ωx、Ωz，同时将控制量输入控制器中，对旋翼无人机进行一个姿态的控制，从而实现旋翼无人机在GPS拒止环境下的自主飞行。
上述发明所提供的GPS拒止环境下旋翼无人机视觉伺服控制方法，提出了一种自身速度的估计器，可以快速精准的估计自身的速度信息而不需要GPS、IMU等额外传感器信息的测量数据；采用基于单应性的方法相比于基于特征、光流等方法鲁棒性更强、效率更高，更能实时估计旋翼无人机自身的速度；不仅适用于四旋翼、六旋翼、八旋翼等各类型旋翼无人机，而且速度估计方法可以应用于任意机器人装置上而且不会产生兼容性问题；通过本地视觉信息的机载电脑处理来计算自身的实际控制量，使旋翼无人机能够在GPS拒止的环境中实现自主导航、悬停、跟踪等多种操作，而不会发生坠落；该方法对场景具有很强的鲁棒性，即使在更复杂环境的条件下也能实现自主飞行。
在一个实施例中，如图2所示，GPS拒止环境下空中机器人视觉自主控制***，***包括空中机器人，空中机器人包括空中机器人本体1、摄像头模块2、计算机模块3和姿态控制器，计算机模块3、摄像头模块2和姿态控制器设置于空中机器人本体1上，计算机模块3设置于空中机器人本体1正中间上方，摄像头模块2设置于空中机器人本体1的正下方且视野向下，摄像头模块2连接计算机模块3，计算机模块3连接姿态控制器；
摄像头模块实2时采集周围环境图像并发送至计算机模块3；
计算机模块3实时获取周围环境图像，并根据周围环境图像和预设的参考图像得到单应性矩阵并发送至姿态控制器；以及根据第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至姿态控制器；
姿态控制器根据单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将第一控制误差发送至计算机模块3；以及根据实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、第一控制误差和姿态误差控制变量得到姿态控制量，根据姿态控制量控制空中机器人的自主飞行。
关于GPS拒止环境下空中机器人视觉自主控制***的具体限定可以参见上文中对于GPS拒止环境下空中机器人视觉自主控制方法的限定，在此不再赘述。
以上对本发明所提供的一种GPS拒止环境下空中机器人视觉自主控制方法及***进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.GPS拒止环境下空中机器人视觉自主控制方法，其特征在于，所述方法包括以下步骤：
步骤S100：空中机器人的摄像头模块实时采集周围环境图像并发送至所述空中机器人的计算机模块，所述计算机模块实时获取所述周围环境图像，并根据所述周围环境图像和预设的参考图像得到单应性矩阵并发送至所述空中机器人的姿态控制器；
步骤S200：所述姿态控制器根据所述单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将所述第一控制误差发送至所述计算机模块；
步骤S300：所述计算机模块根据所述第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至所述姿态控制器；
步骤S400：所述姿态控制器根据所述实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、所述第一控制误差和所述姿态误差控制变量得到姿态控制量，根据所述姿态控制量控制空中机器人的自主飞行。
2.根据权利要求1所述的方法，其特征在于，步骤S100包括：
步骤S110：获取预设的包含目标位姿的图片作为预设的参考图像，计算所述预设的参考图像的ORB特征点并生成参考图像对应的描述子作为后续帧的匹配对象；
步骤S120：实时获取在空中机器人飞行过程中的周围环境图像作为当前图像帧，计算所述当前图像帧的ORB特征点并生成当前图像帧对应的描述子，采用随机抽样一致性算法对所述当前图像帧对应的描述子与所述参考图像对应的描述子进行特征匹配，对匹配的点进行筛选，直至选出置信度最高的预设数量个匹配对；
步骤S130：根据所述置信度最高的预设数量个匹配对求解所述当前图像帧与所述预设的参考图像帧间的单应性矩阵；
步骤S140：将所述单应性矩阵发送至所述空中机器人的姿态控制器。
3.根据权利要求2所述的方法，其特征在于，步骤S200具体为：
Figure FDA0003372905080000011
其中，e1表示预设的虚拟误差函数，
Figure FDA0003372905080000012
表示定义的意思，H为单应性矩阵，Hv为虚拟单应性矩阵，
Figure FDA0003372905080000013
Figure FDA0003372905080000014
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积，I3为3×3单位矩阵，m*＝[0，0，1]T，ez＝[0，0，1]T，
Figure FDA0003372905080000015
为定义的姿态误差控制变量，T表示矩阵转置，ep1为定义的第一控制误差，vex()表示将矩阵转换成向量。
4.根据权利要求3所述的方法，其特征在于，步骤S300中预设的速度估计误差函数具体为：
Figure FDA0003372905080000021
其中，
Figure FDA0003372905080000022
是定义的虚拟图像平面真实误差的估计值，
Figure FDA0003372905080000023
是定义的虚拟图像平面真实速度的估计值，
Figure FDA0003372905080000024
是定义的虚拟图像平面真实误差的估计值的偏差，
Figure FDA0003372905080000025
为是定义的虚拟图像平面真实速度的估计值的偏差，Vv为空中机器人虚拟图像平面真实速度值；
其中，速度值的更新函数，具体为：
Figure FDA0003372905080000026
其中，k1、k2、a*为手动设定值，
Figure FDA0003372905080000027
为计算机模块中速度估计部分的中间变量，Ωz'为空中机器人的真实偏航角速度，ez＝[0，0，1]T，Fv为虚拟图像平面的受力和，m为空中机器人实际重量，
Figure FDA0003372905080000028
表示中间变量的导数，[]×表示将向量换成反对称矩阵。
5.根据权利要求4所述的方法，其特征在于，步骤S400包括：
步骤S410：根据预设的空中机器人的动态方程和所述第一控制误差求解得到虚拟平面的动态模型方程；
步骤S420：根据所述实时估计的自身速度和预设的误差控制式得到第二控制误差；
步骤S430：根据所述虚拟平面的动态模型方程和所述第二控制误差得到姿态控制率方程；
步骤S440：将所述第二控制误差输入至所述姿态控制率方程，得到空中机器人的升力、俯仰角速度和翻滚角速度，根据所述姿态误差控制变量得到偏航角速度，其中，所述升力、所述俯仰角速度、所述翻滚角速度和所述偏航角速度均为姿态控制量。
6.根据权利要求5所述的方法，其特征在于，步骤S410中虚拟平面的动态模型方程具体为：
Figure FDA0003372905080000031
其中，
Figure FDA0003372905080000032
为第一控制误差的导数，
Figure FDA0003372905080000033
为空中机器人虚拟图像平面真实速度值，
Figure FDA0003372905080000034
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积的导数，ep1为第一控制误差，Ωz'为空中机器人的真实偏航角速度ez＝[0，0，1]T，m为空中机器人实际重量，a*为手动设定值，Vv为空中机器人虚拟图像平面真实速度值，
Figure FDA0003372905080000035
为空中机器人俯仰旋转矩阵和翻滚旋转矩阵的乘积，I为单位矩阵，J为机体转动惯量，Γ为力矩，Fv为虚拟图像平面的受力和，
Figure FDA0003372905080000036
F＝-T‘ez+mgRTez，F为所受合力，T'为升力，g为重力常数，Ω为角速度，
Figure FDA0003372905080000037
为角速度的导数。
7.根据权利要求6所述的方法，其特征在于，步骤S420具体为：
Figure FDA0003372905080000038
其中，ep1为第一控制误差，ep2为第三控制误差，ep3为第二控制误差，m为空中机器人实际重量，c、k3为调试参数。
8.根据权利要求7所述的方法，其特征在于，步骤S430具体为：
Figure FDA0003372905080000039
Figure FDA00033729050800000310
其中，
Figure FDA00033729050800000311
为虚拟图像平面的受力和的导数，Fv为虚拟图像平面的受力和，m为空中机器人实际重量，Ωz'为空中机器人的真实偏航角速度，ez＝[0，0，1]T，
Figure FDA00033729050800000312
为无人机俯仰旋转矩阵和翻滚旋转矩阵的乘积，ep3为第二控制误差，k3>0、k4>0为手动设定值，Ωx为翻滚角速度，Ωy为俯仰角速度，T'为升力，
Figure FDA00033729050800000313
为升力的导数。
9.根据权利要求8所述的方法，其特征在于，步骤S440中根据所述姿态误差控制变量得到偏航角速度，具体为：
Figure FDA0003372905080000041
其中，Ωz为偏航角速度，k5为手动设定值，
Figure FDA0003372905080000042
为姿态误差控制变量。
10.GPS拒止环境下空中机器人视觉自主控制***，其特征在于，包括空中机器人，所述空中机器人包括空中机器人本体、摄像头模块、计算机模块和姿态控制器，所述计算机模块、所述摄像头模块和所述姿态控制器设置于所述空中机器人本体上，所述计算机模块设置于所述空中机器人本体正中间上方，所述摄像头模块设置于所述空中机器人本体的正下方且视野向下，所述摄像头模块连接所述计算机模块，所述计算机模块连接所述姿态控制器；
所述摄像头模块实时采集周围环境图像并发送至所述计算机模块；
所述计算机模块实时获取所述周围环境图像，并根据所述周围环境图像和预设的参考图像得到单应性矩阵并发送至所述姿态控制器；以及根据所述第一控制误差和预设的速度估计误差函数实时估计自身速度并发送至所述姿态控制器；
所述姿态控制器根据所述单应性矩阵和预设的虚拟控制误差函数得到第一控制误差和姿态误差控制变量，将所述第一控制误差发送至所述计算机模块；以及根据实时估计的自身速度、预设的误差控制式、预设的空中机器人的动态方程、所述第一控制误差和所述姿态误差控制变量得到姿态控制量，根据所述姿态控制量控制空中机器人的自主飞行。
CN202111407640.0A 2021-11-24 2021-11-24 Gps拒止环境下空中机器人视觉自主控制方法及*** Active CN114089779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111407640.0A CN114089779B (zh) 2021-11-24 2021-11-24 Gps拒止环境下空中机器人视觉自主控制方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111407640.0A CN114089779B (zh) 2021-11-24 2021-11-24 Gps拒止环境下空中机器人视觉自主控制方法及***

Publications (2)

Publication Number Publication Date
CN114089779A true CN114089779A (zh) 2022-02-25
CN114089779B CN114089779B (zh) 2024-03-19

Family

ID=80304320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111407640.0A Active CN114089779B (zh) 2021-11-24 2021-11-24 Gps拒止环境下空中机器人视觉自主控制方法及***

Country Status (1)

Country Link
CN (1) CN114089779B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149193A (zh) * 2023-04-24 2023-05-23 湖南大学 一种基于视觉的旋翼无人机抗扰动控制方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110068335A (zh) * 2019-04-23 2019-07-30 中国人民解放军国防科技大学 一种gps拒止环境下无人机集群实时定位方法及***
CN110231828A (zh) * 2019-05-31 2019-09-13 燕山大学 基于nftsm的四旋翼无人机视觉伺服控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110068335A (zh) * 2019-04-23 2019-07-30 中国人民解放军国防科技大学 一种gps拒止环境下无人机集群实时定位方法及***
CN110231828A (zh) * 2019-05-31 2019-09-13 燕山大学 基于nftsm的四旋翼无人机视觉伺服控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANG ZHONG 等: "A Homography-Based Visual Servo Control Approach for an Underactuated Unmanned Aerial Vehicle in GPS-Denied Environments", 《IEEE》, 29 March 2022 (2022-03-29) *
ZHANG, X 等: "Autonomous Flight Control of a Nano Quadrotor Helicopter in a GPS-Denied Environment Using On-Board Vision", 《IEEE》, 31 December 2015 (2015-12-31) *
杨建业;戚国庆;盛安冬;: "基于视觉伺服的无人机自主着陆仿真***设计", 电子设计工程, no. 11, 5 June 2019 (2019-06-05) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149193A (zh) * 2023-04-24 2023-05-23 湖南大学 一种基于视觉的旋翼无人机抗扰动控制方法及***
CN116149193B (zh) * 2023-04-24 2023-06-23 湖南大学 一种基于视觉的旋翼无人机抗扰动控制方法及***

Also Published As

Publication number Publication date
CN114089779B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
Mahony et al. Nonlinear complementary filters on the special orthogonal group
Mahony et al. Image-based visual servo control of aerial robotic systems using linear image features
Loianno et al. Cooperative localization and mapping of MAVs using RGB-D sensors
Hérissé et al. A terrain-following control approach for a vtol unmanned aerial vehicle using average optical flow
Romero et al. Stabilization and location of a four rotor helicopter applying vision
Xie et al. Dynamic IBVS of a rotary wing UAV using line features
Liu et al. Visual Object Tracking and Servoing Control of a Nano-Scale Quadrotor: System, Algorithms, and Experiments.
Zhao et al. Vision-based tracking control of quadrotor with backstepping sliding mode control
Abeywardena et al. Model-aided state estimation for quadrotor micro air vehicles amidst wind disturbances
Mills et al. Vision based control for fixed wing UAVs inspecting locally linear infrastructure using skid-to-turn maneuvers
Xie Dynamic visual servoing of rotary wing unmanned aerial vehicles
Lippiello et al. Wall inspection control of a VTOL unmanned aerial vehicle based on a stereo optical flow
Xie et al. Adaptive visual servoing of UAVs using a virtual camera
Wheeler et al. Cooperative tracking of moving targets by a team of autonomous UAVs
Mebarki et al. Velocity estimation of an UAV using visual and IMU data in a GPS-denied environment
Serra et al. Nonlinear IBVS controller for the flare maneuver of fixed-wing aircraft using optical flow
CN114089779B (zh) Gps拒止环境下空中机器人视觉自主控制方法及***
Hosen et al. Vision-aided nonlinear observer for fixed-wing unmanned aerial vehicle navigation
Herisse et al. A nonlinear terrain-following controller for a vtol unmanned aerial vehicle using translational optical flow
CN116149193B (zh) 一种基于视觉的旋翼无人机抗扰动控制方法及***
Andersen et al. Improving MAV pose estimation using visual information
CN113138608A (zh) 一种使用扰动观测器和非线性速度观测器的四旋翼无人机视觉伺服控制方法
Magree et al. A monocular vision-aided inertial navigation system with improved numerical stability
Fusini et al. Experimental validation of a uniformly semi-globally exponentially stable non-linear observer for gnss-and camera-aided inertial navigation for fixed-wing uavs
Gonçalves et al. Vision-based automatic approach and landing of fixed-wing aircraft using a dense visual tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant