CN109521785B - 一种随身拍智能旋翼飞行器*** - Google Patents
一种随身拍智能旋翼飞行器*** Download PDFInfo
- Publication number
- CN109521785B CN109521785B CN201811635228.2A CN201811635228A CN109521785B CN 109521785 B CN109521785 B CN 109521785B CN 201811635228 A CN201811635228 A CN 201811635228A CN 109521785 B CN109521785 B CN 109521785B
- Authority
- CN
- China
- Prior art keywords
- control
- control module
- module
- aircraft
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 9
- 210000001503 joint Anatomy 0.000 claims description 6
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000013598 vector Substances 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009347 mechanical transmission Effects 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种随身拍智能旋翼飞行器***，基于四旋翼飞行器结构进行改进设计，采用并合理分配主控制模块双核心，引入运动控制模块PL、和图像识别技术，以图像识别中的人脸定位信息为依据，交由运动控制模块PL获得对应的跟踪控制指令，再交由主控制模块解调获得PPM控制信号，最后经运动控制模块PL分别对四个旋翼电机的PWM发生器进行控制，以PWM波形控制指令针对对应旋翼电机进行控制，实现飞行控制，整个过程不仅能够实现稳定的飞行，而且基于图像识别结果，能够准确控制飞行器的飞行动作，精准实现跟踪拍摄。
Description
技术领域
本发明涉及一种随身拍智能旋翼飞行器***，属于无人机飞行航拍技术领域。
背景技术
四旋翼飞行器是由呈十字交叉结构的四螺旋桨驱动的多旋翼飞行器。四旋翼飞行器采用电子飞行控制***，彻底抛弃了传统飞行器复杂的机械传动和控制部件，在相当程度上简化了飞行器结构和重量，也极大地降低了制造成本及装配难度，除此以外，其独特的空气动力学原理也使之具备垂直起降能力，并能完成对其他飞行器而言非常困难甚至不可能完成的任务。四旋翼飞行器在机体体积、造价成本、隐蔽性、垂直起降、定点悬停和低速飞行等方面体现出来的不可置疑的优势，在军事领域(军事侦察、边境巡逻、应急救援) 和民用领域(抗险救灾、地理测绘、管线巡检、影视拍摄、资源勘探)都显示出了极高的研究和应用价值。
旋翼飞行器的基本控制原理是通过由三轴陀螺仪、加速度传感器组成的惯性测量单元，以嵌入式实时操作***为基础在嵌入式控制器的控制下利用惯性制导理论解算出飞行器的飞行姿态并根据飞行器姿态控制各旋翼的转速,最终完成旋翼飞行器的飞行控制。嵌入式技术的出现和发展大大减轻人工控制旋翼飞行器的难度，出力实现飞行器的自主飞行等其他各类应用奠定了基础。
近年来，随着微电子机械和嵌入式***的迅猛发展，旋翼飞行器逐渐向微型化、智能化、信息化、视觉化方向发展。例如，由于视觉***具有精度高，成本低廉，采集信息丰富等优点,且机载摄像机具有良好的抗干扰能力，旋翼飞行器搭载视觉***以实现基于视觉的姿态估计、自主导航和目标跟踪技术，即通过图像处理实时感知环境信息，估计飞行状态下的相对位姿，角速度等数据，进而给飞行器飞行控制***提供所需飞行参数，实现避障机动飞行、自主导航、地面目标跟踪，同时还可以弥补位置与姿态传感器失灵后所造成微小型飞行器失衡或无法飞行等缺陷。视觉位姿估计的研究与应用尚处于起步与预研阶段，有着广阔的研究和发展空间，是未来智能旋翼飞行器的重要研究方向。
2010年，法国Parrot公司在国际消费电子展上推广了第一架可以由移动终端控制的四旋翼飞行器AR.Drone。该飞行器的飞行控制***使用三轴加速度传感器、三轴陀螺仪、三轴磁阻传感器和气压传感器等,由嵌入式Linux操作***控制,可以由组括 iPhone、iPad、iPod、iTouch等运行iOS操作***的智能设备和其他运行Android操作***的智能设备控制,支持蓝牙和Wi-Fi等多种连接方式。AR.Drone在机身前方和机身下方分别内置了两枚摄像头,最高可录制高达480P的视频,视频画面会同步传送到手机或平板电脑上。由于嵌入式软/硬件的使用,AR.Drone的飞行非常稳定，在飞行控制上也无需过多人工干预，只需倾斜或轻触手机或平板电脑等智能设备即可实现控制，即使控制连接突然断开，该飞行器也可以进入自动飞行状态,在保证飞行稳定的前提下实现自主安全降落。
2012年TED演讲中，vijay kumar博士和他的团队向世界展示了他们在宾夕法尼亚的实验室做的四旋翼飞行器。他们的飞行器实现了多项创举：基于维度转换的自控飞行以及避障飞行，基于光学定位和计算机视觉的飞行器三维环境重构，以及多飞行器协作完成飞行器编队、自主建筑搭建、乐器演奏，其技术难度在于需要采用极轻的碳纤维材料构建机架，极其敏捷、平稳的基本飞行控制，精确的3D定位，以及实时的无线通讯与信息共享，当然更离不开以图像处理为基础的视觉技术的运用。
2013年，亚马逊CEO约翰·多诺霍在CBS电视台《60分钟》节目中介绍了该公司的旋翼飞行器智能快递服务，网购时消费者下单后通过选择“Prime Air”送货服务，亚马逊物流中心的智能旋翼飞行器自行起飞将快递送往目的地。8旋翼飞行器“八爪直升机”，该飞行器可携带5磅的包裹，通过GPS导航定位，可以覆盖物流中心方圆16 公里的区域，智能快递业务将引领快递业的新变革。
发明内容
本发明所要解决的技术问题是提供一种基于现有四旋翼无人机进行改进设计，能够提供稳定飞行，并能够通过图像识别，实现高效跟踪拍摄的随身拍智能旋翼飞行器***。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种随身拍智能旋翼飞行器***，基于四旋翼飞行器，实现人脸的跟踪拍摄，包括设置于飞行器上的运动控制模块PL、主控制模块、遥控器解码器、捷联惯导传感器、图像捕获装置、无线路由模块、以及分别对应于四个旋翼电机的电调；
其中，主控制模块为双核处理器，主控制模块中的其中一个处理器用于加载应用图像处理控制与无线数据传输控制，该处理器中的图像处理控制经USB接口对接图像捕获装置、实时获取图像，并对所获取图像执行人脸识别跟踪控制、获得人脸跟踪信息，以及经预设总线向运动控制模块PL发送人脸跟踪信息；该处理器中的无线数据传输控制基于预设通信模式、经网卡对接无线路由模块，并通过无线路由模块实现该处理器中***信息与外界设备的通信；
运动控制模块PL用于加载应用跟踪指令生成模块、PPM信号解调模块、总线输入接口、以及分别对应四个旋翼电机的PWM发生器；运动控制模块PL中的跟踪指令生成模块用于根据人脸跟踪信息生成跟踪控制指令，并经预设总线向主控制模块中的另一个处理器进行发送；运动控制模块PL中的PPM信号解调模块用于接收经遥控器解码器解码、并转换后的PPM控制信号，并对所接收PPM控制信号进行解调，获得分别对应预设各飞行控制通道的PPM控制信号，再经预设总线向主控制模块中的另一个处理器进行发送；运动控制模块 PL中的总线输入接口用于接收捷联惯导传感器的检测数据，并经预设总线向主控制模块中的另一个处理器进行发送；
主控制模块中的另一个处理器用于加载应用飞行控制***，飞行控制***根据跟踪控制指令、分别对应预设各飞行控制通道的PPM控制信号、以及来自捷联惯导传感器的检测数据，获得分别对应预设各飞行控制通道的电机控制信号，并经预设总线发送至运动控制模块PL中分别对应四个旋翼电机的PWM发生器中；运动控制模块PL中分别对应四个旋翼电机的PWM发生器、分别根据对应预设各飞行控制通道的电机控制信号生成相应PWM波形控制指令，并分别发送至分别对应四个旋翼电机的电调上，进而由四个电调分别根据所接收PWM波形控制指令，针对对应旋翼电机进行控制，实现飞行控制。
作为本发明的一种优选技术方案：所述主控制模块另一个处理器的飞行控制***中，根据跟踪拍摄的模式选择，将跟踪控制指令、以及分别对应预设各飞行控制通道的PPM控制信号，发送至分别对应各飞行控制通道控制的指令信号生成模块中，生成分别对应各飞行控制通道控制的设计控制信号；
同时，根据来自捷联惯导传感器的检测数据，进行飞行器三维位置校准和偏航角计算；并根据飞行器三维位置校准进行飞行器姿态解算，以及根据偏航角计算，分别得到飞行器相应飞行控制通道的状态；
根据飞行器三维位置校准进行飞行器姿态解算中，首先针对飞行器三维位置校准数据进行卡尔曼滤波，然后针对滤波结果数据应用四元数姿态解算法或二阶毕卡法进行处理，实现飞行器姿态解算，得到飞行器对应横滚控制通道、俯仰控制通道的状态，以及根据偏航角计算，得到飞行器对应偏航控制通道的状态；
根据分别对应各飞行控制通道控制的设计控制信号，以及飞行器相应飞行控制通道的状态，应用PID控制，获得电机控制信号，获得分别对应预设各飞行控制通道的电机控制信号。
作为本发明的一种优选技术方案：所述捷联惯导传感器包括惯导传感器和磁力计，所述运动控制模块PL中的总线输入接口为两个，各个总线输入接口分别一一对应、接收惯导传感器和磁力计的检测数据，并经预设总线向主控制模块中的另一个处理器进行发送，主控制模块中的另一个处理器根据来自惯导传感器的检测数据，进行飞行器三维位置校准，以及根据来自磁力计的检测数据，进行偏航角计算。
作为本发明的一种优选技术方案：所述惯导传感器为MPU6050，所述磁力计为HMC5883L。
作为本发明的一种优选技术方案：所述主控制模块中的图像处理控制针对所获取图像，应用opencv进行人脸坐标位置提取，并采用Camshift算法通过多次调用均值漂移算法，执行人脸识别跟踪控制。
作为本发明的一种优选技术方案：所述主控制模块与运动控制模块PL之间通信所经过的总线为AXI总线。
作为本发明的一种优选技术方案：所述主控制模块其中一个处理器中的无线数据传输控制基于Socket通信模式、经网卡对接无线路由模块。
作为本发明的一种优选技术方案：所述遥控器解码器、捷联惯导传感器、分别对应于四个旋翼电机的电调，均分别经PMOD接口与所述运动控制模块PL相通信。
本发明所述一种随身拍智能旋翼飞行器***采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计一种随身拍智能旋翼飞行器***，基于四旋翼飞行器结构进行改进设计，采用并合理分配主控制模块双核心，引入运动控制模块PL、和图像识别技术，以图像识别中的人脸定位信息为依据，交由运动控制模块PL获得对应的跟踪控制指令，再交由主控制模块解调获得PPM控制信号，最后经运动控制模块PL分别对四个旋翼电机的PWM 发生器进行控制，以PWM波形控制指令针对对应旋翼电机进行控制，实现飞行控制，整个过程不仅能够实现稳定的飞行，而且基于图像识别结果，能够准确控制飞行器的飞行动作，精准实现跟踪拍摄。
附图说明
图1是本发明所设计一种随身拍智能旋翼飞行器***中飞行器部分信号处理流程；
图2是本发明所设计一种随身拍智能旋翼飞行器***中飞控程序总流程。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种随身拍智能旋翼飞行器***，基于四旋翼飞行器，实现人脸的跟踪拍摄，包括设置于飞行器上的运动控制模块PL、主控制模块、遥控器解码器、捷联惯导传感器、图像捕获装置、无线路由模块、以及分别对应于四个旋翼电机的电调。
其中，如图1所示，主控制模块为双核处理器，具体实际应用中，可以应用Cortex-A9 双核ARM处理器，主控制模块中的其中一个处理器用于加载应用图像处理控制与无线数据传输控制，该处理器中的图像处理控制经USB接口对接图像捕获装置、实时获取图像，并对所获取图像执行人脸识别跟踪控制、获得人脸跟踪信息，以及经预设总线向运动控制模块PL发送人脸跟踪信息；实际应用中，主控制模块中的图像处理控制针对所获取图像，应用opencv进行人脸坐标位置提取，并采用Camshift算法通过多次调用均值漂移算法，执行人脸识别跟踪控制；且该处理器中的无线数据传输控制基于预设通信模式、经网卡对接无线路由模块，并通过无线路由模块实现该处理器中***信息与外界设备的通信。
运动控制模块PL用于加载应用跟踪指令生成模块、PPM信号解调模块、总线输入接口、以及分别对应四个旋翼电机的PWM发生器；运动控制模块PL中的跟踪指令生成模块用于根据人脸跟踪信息生成跟踪控制指令，并经预设总线向主控制模块中的另一个处理器进行发送；运动控制模块PL中的PPM信号解调模块用于接收经遥控器解码器解码、并转换后的PPM控制信号，并对所接收PPM控制信号进行解调，获得分别对应预设各飞行控制通道的PPM控制信号，再经预设总线向主控制模块中的另一个处理器进行发送；运动控制模块 PL中的总线输入接口用于接收捷联惯导传感器的检测数据，并经预设总线向主控制模块中的另一个处理器进行发送；实际应用中，预设各飞行控制通道包括油门控制通道、横滚控制通道、俯仰控制通道、偏航控制通道；捷联惯导传感器包括惯导传感器和磁力计，具体惯导传感器为MPU6050，所述磁力计为HMC5883L，运动控制模块PL中的总线输入接口为两个，各个总线输入接口分别一一对应、接收惯导传感器和磁力计的检测数据，并经预设总线向主控制模块中的另一个处理器进行发送。
主控制模块中的另一个处理器用于加载应用飞行控制***，飞行控制***根据跟踪控制指令、分别对应预设各飞行控制通道的PPM控制信号、以及来自捷联惯导传感器的检测数据，获得分别对应预设各飞行控制通道的电机控制信号，并经预设总线发送至运动控制模块PL中分别对应四个旋翼电机的PWM发生器中。
其中，具体来讲，主控制模块另一个处理器的飞行控制***中，根据跟踪拍摄的模式选择，将跟踪控制指令、以及分别对应预设各飞行控制通道的PPM控制信号，发送至分别对应各飞行控制通道控制的指令信号生成模块中，生成分别对应各飞行控制通道控制的设计控制信号；同时，根据来自捷联惯导传感器的检测数据，进行飞行器三维位置校准和偏航角计算，其中，主控制模块中的另一个处理器根据来自惯导传感器的检测数据，进行飞行器三维位置校准，以及根据来自磁力计的检测数据，进行偏航角计算；并根据飞行器三维位置校准进行飞行器姿态解算，以及根据偏航角计算，分别得到飞行器相应飞行控制通道的状态，其中，根据飞行器三维位置校准进行飞行器姿态解算中，首先针对飞行器三维位置校准数据进行卡尔曼滤波，然后针对滤波结果数据应用四元数姿态解算法或二阶毕卡法进行处理，实现飞行器姿态解算，得到飞行器相应飞行控制通道的状态，即实际应用中，得到飞行器对应横滚控制通道、俯仰控制通道的状态，以及根据偏航角计算，得到飞行器对应偏航控制通道的状态；最后根据分别对应各飞行控制通道控制的设计控制信号，以及飞行器相应飞行控制通道的状态，应用PID控制，获得电机控制信号，获得分别对应预设各飞行控制通道的电机控制信号。
四元数是由1个实数单位和3个虚数单位i，j，k构成的四个元的数，既可看作四维空间的向量，又可看作超复数，其数学表达式为：
Q＝(q0,q1,q2,q3)＝q0+q1i+q2j+q3k＝[q0 q1 q2 q3]T
四元数的乘法运算规则是相同单位向量作四元数乘法时呈虚单位特性，相异作四元数乘法呈单位向量叉乘特性，具体如下：
假设
则有
理解四元数相关的基础知识后，需要通过建模完成四元数姿态解算算法的分析。设载体坐标系为b，导航坐标系为n，rb是载体坐标系b下的矢量，rn是rb在导航坐标系n下的矢量表示形式，偏航角、俯仰角、翻滚角分别为ψ，θ，γ，定义由b系到n系的坐标转换矩阵
为运载体的姿态矩阵，因此两坐标系之间的变换关系为：
飞行器在载体坐标系下的坐标为[xn yn zn]，在导航坐标系下的坐标为[xb ybzb]，将导航坐标系n和载体坐标系b中的3维矢量分别扩展为4维矢量，可表示为：
可以证明存在四元数Q＝[q0 q1 q2 q3]T，且规范化满足q0 2+q1 2+q2 2+q3 2＝1，有以下式子成立：
公式(2.2)即为矢量坐标变换的四元数表达形式，其与方向余弦矩阵表示的坐标变换有如下对应关系：
由公式(2.3)可得四元数与姿态矩阵的关系：
根据坐标系的旋转顺序可得：
则从导航坐标系n到载体坐标系b的四元数变换与姿态角的关系为：
由上式可以求得姿态角
四元数微分方程的毕卡求解法，根据四元数性质，旋转四元数三角表示形式为
上式两边求导
求解可得式(2.9)，其中
为四元数形式的向量，表示载体相对于导航坐标转动的角速度在载体坐标系上的投影
四元数微分方程即
四元数微分方程的求解类似方向余弦矩阵微分方程，也可使用毕卡逼近法求解。四元数可以全姿态工作，不受限制；同时微分方程只有四维，相比方向余弦计算量小；且四元数法的性能优于余弦矩阵法。因此四元数法是目前姿态解算的主要方法。但是与方向余弦法一样,四元数在对角速度取积分的过程中,同样会产生不可交换性误差。因此如何消除运算中的转动不可交换性误差，是姿态解算的关键问题。
由于陀螺仪的输出一般情况下是采样间隔内的角增量，为避免噪声的微分放大，需通过角增量来确定四元数，而不应该将角增量换算成角速度，毕卡法是由角增量计算四元数的常用算法。假设角增量对应的采样时间间隔是相同的，式(2.10)是关于Q的齐次线性方程，解为式(2.11)，其中
对上式作泰勒级数展开
实际结算过程中，需要考虑按照级数展开的有限项计算，因此四元数微分方程的各阶毕卡近似算法如下所示。
一阶毕卡算法：
二阶毕卡算法：
三阶毕卡算法：
……
由于采用了状态方程，进行卡尔曼滤波的***必须是线性的；要用卡尔曼滤波来估计非线性***的状态,必须对***进行线性化。卡尔曼滤波采用和维纳滤波相同的估计准则，二者的基本原理是相同的，但卡尔曼滤波是一种时域滤波算法。卡尔曼滤波不要求保留使用过的观测数据，当测得新的使用数据，可按照递推公式算出新的估计量，不必重新计算，此外，该算法还打破平稳过程的限制，可用于对时变随机信号的滤波，在最小化协方差估计误差方面也表现出众。
卡尔曼滤波把状态空间的概念引入到随机估计理论中，把信号过程视为白噪声作用下的线性***的输出，用状态方程来描述这种输入与输出关系，估计过程中利用状态方程、观测方程和白噪声(***噪声和观测噪声)的统计特性，根据测量值重构***的状态向量，以“预测—实测—修正”的顺序递推，来消除随机干扰，再现***的状态，或根据***的测量值从被污染的***中恢复***的本来面目。由于其简单、最优、可追踪性和鲁棒性等优点，卡尔曼滤波器是目标跟踪和估计领域使用最广泛的方法之一。
基于卡尔曼滤波的定姿算法中，状态方程：
由公式(2.10)已知四元数变化规律的四元数微分方程，其中
为固联在载体上的陀螺仪测量的角速度分量，将式(2.10)作为状态方程，并取Q＝[q0 q1 q2 q3]T为状态向量，通过二阶毕卡逼近法对状态方程进行离散化，得到：
其中：
观测方程
假设磁力计固连在载体上,地磁矢量在地理坐标系下的分量为hn＝[hnx hny hnz]T，在载体坐标系下的输出hb＝[hbx hby hbz]T，已知两分量的关系是
由于状态向量是Qk，需将
变换为：
Zk＝hb＝HkQk (式2.17)
上式即为观测方程，该方程特点是H(k)矩阵中包含状态变量Q(k)，其中：
基于离散扩展卡尔曼滤波的姿态解算算法
基于离散扩展卡尔曼滤波的姿态解算算法原理，其工作核心是扩展卡尔曼滤波，算法通过两种独立地信息源计算出四元数的最优估计，并对四元数进行修正，最后由四元数计算姿态角。已知离散控制过程***是线性随机微分方程，由于实际场景都是含有噪声的，则离散控制过程***的状态方程和观测方程描述如下:
式中，Qk是k时刻的***状态，Uk是k时刻的控制量，
和Bk是***矩阵，Zk是k 时刻的观测值，Hk是观测***矩阵，w和v分别表示过程和观测噪声，其方差分别对应δ和R。
状态方程和观测方程均为离散方程，采用离散扩展卡尔曼滤波算法基本公式，对时间和观测信息进行更新，算法步骤如下：
步骤1对状态向量和方差初始化，给定初值
步骤2计算一步状态变量估计值
步骤3计算一步Qk|k-1的误差协方差Pk|k-1
步骤4计算卡尔曼增益
步骤5由观测变量更新估计值
步骤6四元数归一化
步骤7更新误差协方差
步骤8令k＝k+1，重复上述步骤。
通过以上步骤，离散扩展卡尔曼滤波算法完成对状态Qk的预测。该算法充分利用陀螺输出的角速率信号和磁力计输出的地磁信息，适当权衡两方面的信息，得到对状态Qk的最优估计，且状态每一次更新估计都是由前一次估计和新的输入数据计算得到，因此只需储存上一次估计，即可实现实时处理。
运动控制模块PL中分别对应四个旋翼电机的PWM发生器、分别根据对应预设各飞行控制通道的电机控制信号生成相应PWM波形控制指令，并分别发送至分别对应四个旋翼电机的电调上，进而由四个电调分别根据所接收PWM波形控制指令，针对对应旋翼电机进行控制，实现飞行控制。
将上述所设计随身拍智能旋翼飞行器***，在具体的应用通信方面上，主控制模块与运动控制模块PL之间通信所经过的总线为AXI总线，且主控制模块其中一个处理器中的无线数据传输控制基于Socket通信模式、经网卡对接无线路由模块；不仅如此，还设计技术方案中遥控器解码器、捷联惯导传感器、分别对应于四个旋翼电机的电调，均分别经PMOD接口与所述运动控制模块PL相通信。整个***实际应用时，按如图2所示实现跟踪拍摄。
上述技术方案所设计随身拍智能旋翼飞行器***，基于四旋翼飞行器结构进行改进设计，采用并合理分配主控制模块双核心，引入运动控制模块PL、和图像识别技术，以图像识别中的人脸定位信息为依据，交由运动控制模块PL获得对应的跟踪控制指令，再交由主控制模块解调获得PPM控制信号，最后经运动控制模块PL分别对四个旋翼电机的PWM 发生器进行控制，以PWM波形控制指令针对对应旋翼电机进行控制，实现飞行控制，整个过程不仅能够实现稳定的飞行，而且基于图像识别结果，能够准确控制飞行器的飞行动作，精准实现跟踪拍摄。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.一种随身拍智能旋翼飞行器***，基于四旋翼飞行器，实现人脸的跟踪拍摄，其特征在于：包括设置于飞行器上的运动控制模块PL、主控制模块、遥控器解码器、捷联惯导传感器、图像捕获装置、无线路由模块、以及分别对应于四个旋翼电机的电调；
其中，主控制模块为双核处理器，主控制模块中的其中一个处理器用于加载应用图像处理控制与无线数据传输控制，该处理器中的图像处理控制经USB接口对接图像捕获装置、实时获取图像，并对所获取图像执行人脸识别跟踪控制、获得人脸跟踪信息，以及经预设总线向运动控制模块PL发送人脸跟踪信息；该处理器中的无线数据传输控制基于预设通信模式、经网卡对接无线路由模块，并通过无线路由模块实现该处理器中***信息与外界设备的通信；
运动控制模块PL用于加载应用跟踪指令生成模块、PPM信号解调模块、总线输入接口、以及分别对应四个旋翼电机的PWM发生器；运动控制模块PL中的跟踪指令生成模块用于根据人脸跟踪信息生成跟踪控制指令，并经预设总线向主控制模块中的另一个处理器进行发送；运动控制模块PL中的PPM信号解调模块用于接收经遥控器解码器解码、并转换后的PPM控制信号，并对所接收PPM控制信号进行解调，获得分别对应预设各飞行控制通道的PPM控制信号，再经预设总线向主控制模块中的另一个处理器进行发送；运动控制模块PL中的总线输入接口用于接收捷联惯导传感器的检测数据，并经预设总线向主控制模块中的另一个处理器进行发送；
主控制模块中的另一个处理器用于加载应用飞行控制***，飞行控制***根据跟踪控制指令、分别对应预设各飞行控制通道的PPM控制信号、以及来自捷联惯导传感器的检测数据，获得分别对应预设各飞行控制通道的电机控制信号，并经预设总线发送至运动控制模块PL中分别对应四个旋翼电机的PWM发生器中；运动控制模块PL中分别对应四个旋翼电机的PWM发生器、分别根据对应预设各飞行控制通道的电机控制信号生成相应PWM波形控制指令，并分别发送至分别对应四个旋翼电机的电调上，进而由四个电调分别根据所接收PWM波形控制指令，针对对应旋翼电机进行控制，实现飞行控制。
2.根据权利要求1所述一种随身拍智能旋翼飞行器***，其特征在于：所述主控制模块另一个处理器的飞行控制***中，根据跟踪拍摄的模式选择，将跟踪控制指令、以及分别对应预设各飞行控制通道的PPM控制信号，发送至分别对应各飞行控制通道控制的指令信号生成模块中，生成分别对应各飞行控制通道控制的设计控制信号；
同时，根据来自捷联惯导传感器的检测数据，进行飞行器三维位置校准和偏航角计算；并根据飞行器三维位置校准进行飞行器姿态解算，以及根据偏航角计算，分别得到飞行器相应飞行控制通道的状态；
根据飞行器三维位置校准进行飞行器姿态解算中，首先针对飞行器三维位置校准数据进行卡尔曼滤波，然后针对滤波结果数据应用四元数姿态解算法或二阶毕卡法进行处理，实现飞行器姿态解算，得到飞行器对应横滚控制通道、俯仰控制通道的状态，以及根据偏航角计算，得到飞行器对应偏航控制通道的状态；
根据分别对应各飞行控制通道控制的设计控制信号，以及飞行器相应飞行控制通道的状态，应用PID控制，获得电机控制信号，获得分别对应预设各飞行控制通道的电机控制信号。
3.根据权利要求2所述一种随身拍智能旋翼飞行器***，其特征在于：所述捷联惯导传感器包括惯导传感器和磁力计，所述运动控制模块PL中的总线输入接口为两个，各个总线输入接口分别一一对应、接收惯导传感器和磁力计的检测数据，并经预设总线向主控制模块中的另一个处理器进行发送，主控制模块中的另一个处理器根据来自惯导传感器的检测数据，进行飞行器三维位置校准，以及根据来自磁力计的检测数据，进行偏航角计算。
4.根据权利要求3所述一种随身拍智能旋翼飞行器***，其特征在于：所述惯导传感器为MPU6050，所述磁力计为HMC5883L。
5.根据权利要求1所述一种随身拍智能旋翼飞行器***，其特征在于：所述主控制模块中的图像处理控制针对所获取图像，应用opencv进行人脸坐标位置提取，并采用Camshift算法通过多次调用均值漂移算法，执行人脸识别跟踪控制。
6.根据权利要求1所述一种随身拍智能旋翼飞行器***，其特征在于：所述主控制模块与运动控制模块PL之间通信所经过的总线为AXI总线。
7.根据权利要求1所述一种随身拍智能旋翼飞行器***，其特征在于：所述主控制模块其中一个处理器中的无线数据传输控制基于Socket通信模式、经网卡对接无线路由模块。
8.根据权利要求1所述一种随身拍智能旋翼飞行器***，其特征在于：所述遥控器解码器、捷联惯导传感器、分别对应于四个旋翼电机的电调，均分别经PMOD接口与所述运动控制模块PL相通信。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811635228.2A CN109521785B (zh) | 2018-12-29 | 2018-12-29 | 一种随身拍智能旋翼飞行器*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811635228.2A CN109521785B (zh) | 2018-12-29 | 2018-12-29 | 一种随身拍智能旋翼飞行器*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109521785A CN109521785A (zh) | 2019-03-26 |
| CN109521785B true CN109521785B (zh) | 2021-07-27 |
Family
ID=65798179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811635228.2A Active CN109521785B (zh) | 2018-12-29 | 2018-12-29 | 一种随身拍智能旋翼飞行器*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109521785B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111506004A (zh) * | 2020-05-28 | 2020-08-07 | 北京理工大学 | 一种无人机飞行器控制*** |
| JP7185378B2 (ja) * | 2020-09-04 | 2022-12-07 | 双葉電子工業株式会社 | 演算処理装置、無線操縦飛行機 |
| CN112947525B (zh) * | 2021-03-11 | 2023-04-07 | 广东汇天航空航天科技有限公司 | 电动载人飞行器飞行控制***及飞行控制方法 |
| CN113320679A (zh) * | 2021-07-19 | 2021-08-31 | 蔡国珍 | 两轴飞行器及其控制方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003029922A2 (en) * | 2001-10-01 | 2003-04-10 | Kline & Walker, Llc | Pfn/trac system faa upgrades for accountable remote and robotics control |
| CN101667032A (zh) * | 2008-09-03 | 2010-03-10 | 中国科学院自动化研究所 | 基于视觉的无人直升机目标跟踪*** |
| CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
| CN103853156A (zh) * | 2014-02-07 | 2014-06-11 | 中山大学 | 一种基于机载传感器的小型四旋翼飞行器控制***及方法 |
| CN104052914A (zh) * | 2013-03-14 | 2014-09-17 | 董亮 | 一种利用飞行器进行自动跟随目标拍摄*** |
| CN203865010U (zh) * | 2014-03-20 | 2014-10-08 | 南京工业职业技术学院 | 自动追踪视频识别智能航拍导航飞行器 |
| CN104460685A (zh) * | 2014-11-21 | 2015-03-25 | 南京信息工程大学 | 一种四旋翼飞行器的控制***及其控制方法 |
| CN104898681A (zh) * | 2015-05-04 | 2015-09-09 | 浙江工业大学 | 一种采用三阶近似毕卡四元数的四旋翼飞行器姿态获取方法 |
| CN105117022A (zh) * | 2015-09-24 | 2015-12-02 | 北京零零无限科技有限公司 | 一种控制无人机随脸转动的方法和装置 |
| CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
| US9442485B1 (en) * | 2014-08-13 | 2016-09-13 | Trace Live Network Inc. | Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system |
| CN206133317U (zh) * | 2016-08-11 | 2017-04-26 | 深圳职业技术学院 | 一种无人机自动跟踪目标*** |
| CN106774947A (zh) * | 2017-02-08 | 2017-05-31 | 亿航智能设备（广州）有限公司 | 一种飞行器及其控制方法 |
| CN106850523A (zh) * | 2015-12-03 | 2017-06-13 | 新唐科技股份有限公司 | 无人飞行器的电子调速器验证***及方法 |
| CN107168371A (zh) * | 2017-06-28 | 2017-09-15 | 段炜 | 一种飞行陪伴机器人控制方法及*** |
| CN107450591A (zh) * | 2017-08-23 | 2017-12-08 | 浙江工业大学 | 基于英伟达tx2处理器的无人机运动跟踪*** |
| CN108121361A (zh) * | 2018-02-10 | 2018-06-05 | 安徽工程大学 | 一种四旋翼自主飞行器 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103455797B (zh) * | 2013-09-07 | 2017-01-11 | 西安电子科技大学 | 航拍视频中运动小目标的检测与跟踪方法 |
| CN104199460A (zh) * | 2014-08-29 | 2014-12-10 | 河南科技大学 | 基于图像识别跟踪的四旋翼飞行器智能侦察*** |
| US10095942B2 (en) * | 2014-12-15 | 2018-10-09 | Reflex Robotics, Inc | Vision based real-time object tracking system for robotic gimbal control |
| CN104808674A (zh) * | 2015-03-03 | 2015-07-29 | 广州亿航智能技术有限公司 | 多旋翼飞行器的控制***、终端及机载飞控*** |
| KR102353231B1 (ko) * | 2015-04-24 | 2022-01-20 | 삼성디스플레이 주식회사 | 비행 표시장치 |
-
2018
- 2018-12-29 CN CN201811635228.2A patent/CN109521785B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003029922A2 (en) * | 2001-10-01 | 2003-04-10 | Kline & Walker, Llc | Pfn/trac system faa upgrades for accountable remote and robotics control |
| CN101667032A (zh) * | 2008-09-03 | 2010-03-10 | 中国科学院自动化研究所 | 基于视觉的无人直升机目标跟踪*** |
| CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
| CN104052914A (zh) * | 2013-03-14 | 2014-09-17 | 董亮 | 一种利用飞行器进行自动跟随目标拍摄*** |
| CN103853156A (zh) * | 2014-02-07 | 2014-06-11 | 中山大学 | 一种基于机载传感器的小型四旋翼飞行器控制***及方法 |
| CN203865010U (zh) * | 2014-03-20 | 2014-10-08 | 南京工业职业技术学院 | 自动追踪视频识别智能航拍导航飞行器 |
| US9442485B1 (en) * | 2014-08-13 | 2016-09-13 | Trace Live Network Inc. | Pixel based image tracking system for unmanned aerial vehicle (UAV) action camera system |
| CN104460685A (zh) * | 2014-11-21 | 2015-03-25 | 南京信息工程大学 | 一种四旋翼飞行器的控制***及其控制方法 |
| CN104898681A (zh) * | 2015-05-04 | 2015-09-09 | 浙江工业大学 | 一种采用三阶近似毕卡四元数的四旋翼飞行器姿态获取方法 |
| CN105117022A (zh) * | 2015-09-24 | 2015-12-02 | 北京零零无限科技有限公司 | 一种控制无人机随脸转动的方法和装置 |
| CN105447459A (zh) * | 2015-11-18 | 2016-03-30 | 上海海事大学 | 一种无人机自动检测目标和跟踪方法 |
| CN106850523A (zh) * | 2015-12-03 | 2017-06-13 | 新唐科技股份有限公司 | 无人飞行器的电子调速器验证***及方法 |
| CN206133317U (zh) * | 2016-08-11 | 2017-04-26 | 深圳职业技术学院 | 一种无人机自动跟踪目标*** |
| CN106774947A (zh) * | 2017-02-08 | 2017-05-31 | 亿航智能设备（广州）有限公司 | 一种飞行器及其控制方法 |
| CN107168371A (zh) * | 2017-06-28 | 2017-09-15 | 段炜 | 一种飞行陪伴机器人控制方法及*** |
| CN107450591A (zh) * | 2017-08-23 | 2017-12-08 | 浙江工业大学 | 基于英伟达tx2处理器的无人机运动跟踪*** |
| CN108121361A (zh) * | 2018-02-10 | 2018-06-05 | 安徽工程大学 | 一种四旋翼自主飞行器 |
Non-Patent Citations (5)
| Title |
|---|
| Implementation of Face Tracking System with a Multirotor UAV;Jingfeng Xiong等;《2018 IEEE CSAA Guidance, Navigation and Control Conference (CGNCC)》;20180812;第1-5页 * |
| 三目视觉测量***在风洞试验中的应用研究;付增良，等;《计算机工程》;20171130;第43卷(第11期);第281-285,291页 * |
| 基于cortex-a9的人脸检测项目;a185531353;《https://blog.csdn.net/a185531353/article/details/78575442》;20171119;网页全文 * |
| 基于Cortex-M4的四旋翼无人机控制***的研究与实现;李永义;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180415(第04(2018)期);第C031-135页 * |
| 基于机器视觉的无人机目标跟踪研究;刘洪生;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20180115(第01(2018)期);第C031-127页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109521785A (zh) | 2019-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109521785B (zh) | 一种随身拍智能旋翼飞行器*** | |
| US10732647B2 (en) | Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (MAV) | |
| US10037028B2 (en) | Systems, devices, and methods for on-board sensing and control of micro aerial vehicles | |
| US10565732B2 (en) | Sensor fusion using inertial and image sensors | |
| CN105022401B (zh) | 基于视觉的多四旋翼无人机协同slam方法 | |
| CN109219785B (zh) | 一种多传感器校准方法与*** | |
| Grabe et al. | On-board velocity estimation and closed-loop control of a quadrotor UAV based on optical flow | |
| Meier et al. | Pixhawk: A system for autonomous flight using onboard computer vision | |
| CN108769531B (zh) | 控制拍摄装置的拍摄角度的方法、控制装置及遥控器 | |
| CN107850436B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
| CN111792034B (zh) | 使用传感器融合估计可移动物体的状态信息的方法及*** | |
| García Carrillo et al. | Stabilization and trajectory tracking of a quad-rotor using vision | |
| Sa et al. | Build your own visual-inertial drone: A cost-effective and open-source autonomous drone | |
| CN106774378B (zh) | 一种无人机飞行控制及定位方法 | |
| CN107850899B (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
| CN109596118A (zh) | 一种用于获取目标对象的空间位置信息的方法与设备 | |
| US11556681B2 (en) | Method and system for simulating movable object states | |
| Meier et al. | The pixhawk open-source computer vision framework for mavs | |
| US20200012756A1 (en) | Vision simulation system for simulating operations of a movable platform | |
| Wang et al. | Monocular vision and IMU based navigation for a small unmanned helicopter | |
| Dickmanns et al. | Autonomous landing of airplanes by dynamic machine vision | |
| Mebarki et al. | Image moments-based velocity estimation of UAVs in GPS denied environments | |
| CN110728716A (zh) | 一种标定方法、装置及飞行器 | |
| WO2021056503A1 (zh) | 可移动平台的定位方法、装置、可移动平台及存储介质 | |
| CN114089779B (zh) | Gps拒止环境下空中机器人视觉自主控制方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |