CN107943294A - 可用手语操控的无人机飞行控制***及控制方法 - Google Patents

可用手语操控的无人机飞行控制***及控制方法 Download PDF

Info

Publication number
CN107943294A
CN107943294A CN201711209345.8A CN201711209345A CN107943294A CN 107943294 A CN107943294 A CN 107943294A CN 201711209345 A CN201711209345 A CN 201711209345A CN 107943294 A CN107943294 A CN 107943294A
Authority
CN
China
Prior art keywords
manipulator
computing terminal
control system
uav flight
cpu module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711209345.8A
Other languages
English (en)
Inventor
赵小川
刘培志
付成龙
胡雄文
吴泽
宋刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China North Computer Application Technology Research Institute
Original Assignee
China North Computer Application Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China North Computer Application Technology Research Institute filed Critical China North Computer Application Technology Research Institute
Priority to CN201711209345.8A priority Critical patent/CN107943294A/zh
Publication of CN107943294A publication Critical patent/CN107943294A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种可用手语操控的无人机飞行控制***,包括:肌电测量及反馈子***,其通过串口与计算终端双向通信连接;姿态测量子***,其通过串口与计算终端双向通信连接;电台,其通过串口与计算终端双向通信连接;无人机飞行控制***,其通过无线电与所述电台双向通信连接。本发明还公开了一种可用手语操控的无人机飞行控制方法。本发明的有益效果为:可对操控者的手势进行准确的识别判断,可靠性高,实现对无人机控制***的精确控制,并能实时对操控者反馈飞行状态,实现操控者与无人机之间良好的交互。

Description

可用手语操控的无人机飞行控制***及控制方法
技术领域
本发明涉及智能控制技术领域,具体而言,涉及一种可用手语操控的无人机飞行控制***及控制方法。
背景技术
手势识别技术是新一代自然人机交互的一项关键技术,相对于传统的鼠标,键盘等接触式的操作方式,手势具有自然直观、容易理解、操作简单、体验性好等优点,更加符合人类日常交流习惯,手势识别已经成为人机交互方案的研究热点。手势作为一门自然、方便的语言,在情感上和实用性上都非常适合用于人机交互。无人机是目前智能控制领域研究的热点,具有成本低廉、可垂直起降、易于操控等优点。将操控者与无人机之间结合应用,具有良好的应用前景。现有的手势交互中,无法将操作者脑电信号和操作者肌电信号进行适当的融合处理,对手势的识别可靠性不高,容易存在误触发。
发明内容
为解决上述问题,本发明的目的在于提供一种可用手语操控的无人机飞行控制***及控制方法,可对操控者的手势进行准确的识别判断,可靠性高,实现对无人机控制***的精确控制,并能实时对操控者反馈飞行状态,实现操控者与无人机之间良好的交互。
本发明提供了一种可用手语操控的无人机飞行控制***,包括:
肌电测量及反馈子***,其通过串口与计算终端双向通信连接,所述肌电测量及反馈子***用于采集操控者的肌电信号,将模数转换后的肌电信号输出至所述计算终端进行融合处理,并接收来自所述计算终端的反馈指令,根据该反馈指令控制用于向操控者触控反馈的震动马达的震动频率;
姿态测量子***,其通过串口与计算终端双向通信连接,所述姿态测量子***用于采集操控者的上臂和前臂运动传感信号,并将上臂和前臂运动传感信号输出至所述计算终端进行融合处理;
计算终端,其用于对肌电信号进行处理和运算,获取操作者的手部运动状态信息;所述计算终端对上臂和前臂运动传感信号进行处理及运算,获取操作者的上臂和前臂运动状态信息;所述计算终端对手部运动状态信息及上臂和前臂运动状态信息进行融合处理,获取操控者的手势信息,实现对操控者手势的识别,并将手势信息转化成对无人机飞行控制***的控制指令;所述计算终端通过电台将控制指令下发至所述无人机飞行控制***,实现对所述无人机飞行控制***的实时控制;所述计算终端接收来自所述无人机飞行控制***的状态信息,并根据状态信息下发反馈指令至所述肌电测量及反馈子***;
电台,其通过串口与计算终端双向通信连接,所述电台用于接收所述计算终端输出的控制指令,并将控制指令传输至无人机飞行控制***;
无人机飞行控制***,其通过无线电与所述电台双向通信连接,所述无人机飞行控制***用于接收控制指令,并根据控制指令进行相应的飞行动作。
作为本发明进一步的改进,所述肌电测量及反馈子***包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达;
若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上,用于采集操控者的肌电信号;
若干个肌电电极和所述驱动电路均与所述模数转换芯片相连;
所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接;
所述震动马达与所述微控制单元MCU相连;
所述微控制单元MCU通过串口与所述计算终端双向通信连接。
作为本发明进一步的改进,所述姿态测量子***包括佩戴在操控者两只手臂上的若干个惯性测量单元;
所述惯性测量单元包括电源模块、三轴加速度计、三轴陀螺仪、三轴磁强计,所述电源模块为所述惯性测量单元提供电源,所述三轴加速度计、所述三轴陀螺仪、所述三轴磁强计分别用于采集操控者左手臂或右手臂的运动时的加速度、角速度和磁场强度。
作为本发明进一步的改进,所述无人机飞行控制***包括传感器采集模块、参数记录仪模块、数传数据链模块、自驾CPU模块、主控CPU模块和舵机;
所述传感器采集模块通过SPI总线与所述自驾CPU模块相连,所述数传数据链模块和所述参数记录仪模块均通过RS232与所述自驾CPU模块相连,所述自驾CPU模块通过CAN总线与所述主控CPU模块相连,所述主控CPU模块与所述舵机相连;
所述传感器采集模块采集气压高度计、机内IMU、磁力计以及GPS的数据,并将这些传感器数据输出给所述自驾CPU模块;
所述参数记录仪模块实时记录飞机飞行过程中的传感器数据以及组合导航算法输出的各种控制量;
所述数传数据链模块与所述电台相连,通过电台与所述计算终端进行数据通信;
所述自驾CPU模块根据所述计算终端输出的控制指令及其对应的飞行动作,运算飞行控制算法及组合导航算法,并下发飞行指令即各种飞行控制量至所述主控CPU模块;
所述主控CPU模块接收所述自驾CPU模块的飞行指令,并将相应的飞行控制量输出给舵机,所述舵机根据这些飞行控制量控制飞机进行相应的飞行。
作为本发明进一步的改进,所述无人机飞行控制***还包括:
温湿度传感器,其与所述主控CPU模块相连,用于采集飞机飞行过程中的温湿度;
转速传感器,其与所述主控CPU模块相连,用于采集飞机的转速;
油量传感器,其与所述主控CPU模块相连,用于采集飞机飞行过程中的剩余油量;
激光云粒子传感器,其与所述主控CPU模块相连,用于探测飞机飞行过程中的微米云粒子的谱分布;
焰条点火控制器,其与所述主控CPU模块相连,用于对飞机搭载的焰条进行点火;
安全应急***,其与所述主控CPU模块相连,用于对飞机实施安全应急措施;
视觉传感器,其与所述主控CPU模块相连,用于采集飞机飞行过程中的图像数据,并通过图传数据链模块传输至所述计算终端;
机翼前沿除冰装置,其与所述主控CPU模块相连,用于对飞机的机翼进行除冰。
作为本发明进一步的改进,还包括:
脑电测量***,其与所述计算终端双向通信连接,所述脑电测量***用于采集操控者的脑电信号,并将采集到的脑电信号进行处理分类后输出至所述计算终端进行融合处理。
作为本发明进一步的改进,所述脑电测量***由分别粘贴在操作者脑部的右耳垂A2区域、右前额Fp2区域和右头顶中央C4区域的A2干电极、Fp2干电极、C4干电极及脑电检测与处理芯片组成,所述A2干电极、所述Fp2干电极和所述C4干电极的一端均与所述脑电检测与处理芯片的输入端相连,所述脑电检测与处理芯片的输出端与所述计算终端相连;
所述A2干电极、所述Fp2干电极和所述C4干电极分别采集A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号;
所述脑电检测与处理芯片对采集到的A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号进行处理分类,获取操作者的大脑思维信息。
本发明还提供了一种可用手语操控的无人机飞行控制方法,包括:
步骤1,根据飞机的控制模态,操控者进行多组手势动作,分别记录手势动作和控制指令,将这些手势动作和控制指令转换为对应的飞行映射关系,并存储在计算终端中;同时,根据飞机飞行过程中的状态信息,将这些状态信息和震动马达的震动频率转换为对应的反馈映射关系,并存储在计算终端中;
步骤2,采集佩戴在操控者左前臂和右前臂上的肌电电极的肌电信号,所述计算终端对肌电信号进行处理和运算,获取操作者的手部运动状态信息;
步骤3,采集佩戴在操控者左上臂、左前臂、右上臂和右前臂的惯性测量单元的运动传感信号,所述计算终端对运动传感信号进行处理及运算,获取操作者的左上臂、左前臂、右上臂和右前臂运动状态信息;
步骤4,所述计算终端对手部运动状态信息及上臂和前臂运动状态信息进行融合处理,获取操控者的手势信息,实现对操控者手势的识别,并根据步骤1中的飞行映射关系,将手势信息转化成对无人机飞行控制***的控制指令;
步骤5,所述计算终端通过电台将控制指令下发至所述无人机飞行控制***,实现对所述无人机飞行控制***的实时控制;
步骤6,所述无人机飞行控制***接收控制指令,并根据控制指令进行相应的飞行动作;
步骤7,所述计算终端接收来自飞机飞行过程中的状态信息,根据步骤1中的反馈映射关系,将状态信息转换成控制震动马达的震动频率,并下发反馈指令至所述肌电测量及反馈子***;
步骤8,所述肌电测量及反馈子***接收来自所述计算终端的反馈指令,控制佩戴在操控者腿上的震动马达按照对应的震动频率震动。
作为本发明进一步的改进,步骤1和步骤2之间还包括:
A2干电极、Fp2干电极和C4干电极分别采集A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号,经脑电检测与处理芯片处理分类后获取操控者的大脑思维信息。
作为本发明进一步的改进,步骤4替换为:
所述计算终端对大脑思维信息、手部运动状态信息及上臂和前臂运动状态信息进行融合处理,并对手部运动状态信息与大脑思维信息的相干性、上臂和前臂运动状态信息与大脑思维信息的相干性进行判断,获取操控者的手势信息,实现对操控者手势的识别,并根据步骤1中的飞行映射关系,将手势信息转化成对无人机飞行控制***的控制指令。
本发明的有益效果为:
可对操控者的手势进行准确的识别判断,可靠性高,实现对无人机控制***的精确控制,并能实时对操控者反馈飞行状态,实现操控者与无人机之间良好的交互。
附图说明
图1为本发明实施例所述的一种用手语操控的无人机飞行控制***的示意图;
图2为图1中无人机飞行控制***的示意图。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例1,如图1所示,本发明实施例的一种可用手语操控的无人机飞行控制***,包括:肌电测量及反馈子***、姿态测量子***、计算终端、电台和无人机飞行控制***。
肌电测量及反馈子***通过串口与计算终端双向通信连接,肌电测量及反馈子***用于采集操控者的肌电信号,将模数转换后的肌电信号输出至计算终端进行融合处理,并接收来自计算终端的反馈指令,根据该反馈指令控制用于向操控者触控反馈的震动马达的震动频率。
姿态测量子***通过串口与计算终端双向通信连接,姿态测量子***用于采集操控者的上臂和前臂运动传感信号,并将上臂和前臂运动传感信号输出至计算终端进行融合处理。
计算终端用于对肌电信号进行处理和运算,获取操作者的手部运动状态信息;计算终端对上臂和前臂运动传感信号进行处理及运算,获取操作者的上臂和前臂运动状态信息;计算终端对手部运动状态信息及上臂和前臂运动状态信息进行融合处理,获取操控者的手势信息,实现对操控者手势的识别,并将手势信息转化成对无人机飞行控制***的控制指令;计算终端通过电台将控制指令下发至无人机飞行控制***,实现对无人机飞行控制***的实时控制;计算终端接收来自无人机飞行控制***的状态信息,并根据状态信息下发反馈指令至肌电测量及反馈子***。
电台通过串口与计算终端双向通信连接,电台用于接收计算终端输出的控制指令,并将控制指令传输至无人机飞行控制***。
无人机飞行控制***通过无线电与电台双向通信连接,无人机飞行控制***用于接收控制指令,并根据控制指令进行相应的飞行动作。
上述各个子***的具体设计及连接如下:
肌电测量及反馈子***包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达;若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上,用于采集操控者的肌电信号;若干个肌电电极和驱动电路均与模数转换芯片相连;模数转换芯片通过SPI接口与微控制单元MCU双向通信连接;震动马达与所述微控制单元MCU相连;微控制单元MCU通过串口与计算终端双向通信连接。
这个***由于肌电电极和人体之间高的阻抗所以在共模噪声方面是很薄弱的。并且,肌电电极与身体之间的阻抗可能会变化。所以,***需要好的消除共模噪声干扰的性能。***采用驱动电路来消除共模干扰。
其中,左前臂和右前臂分别以环状阵列形式粘贴四个肌电电极(指总伸肌、拇短伸肌、指浅屈肌和尺侧腕屈肌处),用以区分左手和右手的手部动作信息。模数转换芯片优选采用ADS1298芯片,其内部集成了8个低噪音可编程增益放大器(PGA)和8个24位高分辨率模数转换器(可对应对两只手臂上8个表面肌电极的肌电信号进行模数转换,互相不干扰,提高了转换效率及准确性),共模抑制比达到-115dB,内置的驱动电路可有效抑制工频干扰。集成了SPI数字接口,采样频率最高可达32kHz。使用该芯片可以使***集成度大大提高,同时也提高了***的稳定性。ADS1298的主要功能是通过控制其内部寄存器来实现的,如信号输入模式、采样速率、放大倍数等。ADS1298通过SPI与外部处理器进行通信,实现数据的同步收发。ADS1298的参考电压可设置为2.4V或4V,因为它的分辨率为24b,所以最低可分辨的电压分别为0.286μF、0.477μF。而脑电信号的幅度一般为0.001~0.1mV,所以在信号进入ADS1298之前不需要再经过放大处理,其自带的放大模块就能满足要求,这样就大大简化了信号调理电路,极大地缩小了整体脑肌信号采集装置的面积和体积。
姿态测量子***包括佩戴在操控者两只手臂上的若干个惯性测量单元;惯性测量单元包括电源模块、三轴加速度计、三轴陀螺仪、三轴磁强计,电源模块为惯性测量单元提供电源,三轴加速度计、三轴陀螺仪、三轴磁强计分别用于采集操控者左手臂或右手臂的运动时的加速度、角速度和磁场强度。
其中,操控者每只手臂的腕关节附近、肘关节附近和肩关节附近均绑缚一个惯性测量单元。由于人的手臂包括手部、前臂和上臂,上臂运动会带动前臂运动,即肩关节的运动会影响上臂和前臂的运动,肘关节的运动影响前臂的运动,手部运动会带动前臂运动,即腕关节的运动会影响前臂和手部的运动。通过每只手臂上的三个惯性测量单元测量的数据,剔除各个关节之间相对运动的影响,可以精确解析出手臂的运动姿态信息。
如图2所示,无人机飞行控制***包括传感器采集模块、参数记录仪模块、数传数据链模块、自驾CPU模块、主控CPU模块和舵机;传感器采集模块通过SPI总线与自驾CPU模块相连,数传数据链模块和参数记录仪模块均通过RS232与自驾CPU模块相连,自驾CPU模块通过CAN总线与主控CPU模块相连,主控CPU模块与舵机相连;传感器采集模块采集气压高度计、机内IMU、磁力计以及GPS的数据,并将这些传感器数据输出给自驾CPU模块;参数记录仪模块实时记录飞机飞行过程中的传感器数据以及组合导航算法输出的各种控制量;传数据链模块与电台相连,通过电台与计算终端进行数据通信;自驾CPU模块根据计算终端输出的控制指令及其对应的飞行动作,运算飞行控制算法及组合导航算法,并下发飞行指令即各种飞行控制量至主控CPU模块;主控CPU模块接收自驾CPU模块的飞行指令,并将相应的飞行控制量输出给舵机,舵机根据这些飞行控制量控制飞机进行相应的飞行。
进一步的,无人机飞行控制***还包括:
温湿度传感器,其与主控CPU模块相连,用于采集飞机飞行过程中的温湿度;
转速传感器,其与主控CPU模块相连,用于采集飞机的转速;
油量传感器,其与主控CPU模块相连,用于采集飞机飞行过程中的剩余油量;
激光云粒子传感器,其与主控CPU模块相连,用于探测飞机飞行过程中的微米云粒子的谱分布;
焰条点火控制器,其与主控CPU模块相连,用于对飞机搭载的焰条进行点火;
安全应急***,其与主控CPU模块相连,用于对飞机实施安全应急措施;
视觉传感器,其与主控CPU模块相连,用于采集飞机飞行过程中的图像数据,并通过图传数据链模块传输至计算终端;
机翼前沿除冰装置,其与主控CPU模块相连,用于对飞机的机翼进行除冰。
温湿度传感器、转速传感器、油量传感器、视觉传感器这些传感器的设置可对飞机的飞行过程有更好的监控。同时,激光云粒子传感器可以实时探测云层中的微米云粒子的谱分布,便于操控者根据上级下发的指令控制开启搭载的焰条点火控制器,实现人工降雨的功能。安全应急***的设置保障了飞机飞行过程中的安全行,同时也避免由于误触发导致的危险事件。机翼前沿除冰装置的设置,便于操控者根据上级下发的指令控制对机翼进行除冰,保证飞机的飞行安全。
进一步的,还包括:
脑电测量***,其与计算终端双向通信连接,脑电测量***用于采集操控者的脑电信号,并将采集到的脑电信号进行处理分类后输出至计算终端进行融合处理。具体的,脑电测量***由分别粘贴在操作者脑部的右耳垂A2区域、右前额Fp2区域和右头顶中央C4区域的A2干电极、Fp2干电极、C4干电极及脑电检测与处理芯片组成,A2干电极、Fp2干电极和C4干电极的一端均与脑电检测与处理芯片的输入端相连,脑电检测与处理芯片的输出端与计算终端相连;A2干电极、Fp2干电极和C4干电极分别采集A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号;脑电检测与处理芯片对采集到的A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号进行处理分类,获取操作者的大脑思维信息。
其中,10-20标准***为:其前后方向的测量是以从鼻根到枕骨粗隆连成的正中线为基准,将该距离分成10等份,按10%、20%、20%、20%、20%、10%的顺序做好标记,在此线左右等距的相应部位标定出左右前额点(Fp1,Fp2)、额点(F3,F4)、中间点(C3,C4)、顶点(P3,P4)和枕点(O1,O2),前额点的位置在鼻根上相当于鼻根至枕骨粗隆10%处,额点在前额点之后相当于鼻根至前额点距离的两倍,即鼻根正中线距离20%处,向后中央、顶、枕诸点的间隔均为20%。由于人体的脑电信号包括自发性脑电信号和手势运动诱发性脑电信号。自发性脑电信号是大脑自发产生的有节律的电位信号,可以通过在头部的Fp2区域的脑电信号进行检测。手势运动诱发性脑电信号可以通过在头部C4区域的脑电信号进行检测。因此,在脑部布置电极时,分别布置在右耳垂A2区域、右前额Fp2区域、右头顶中央C4区域的三个爪式干电极,在后续处理中,Fp2干电极和C4干电极的电压以A2干电极的电压作为基准电压。脑电检测与处理芯片优选采用ThinkGear AM芯片,其可以直接与干电极相连,可以检测到极微弱的脑电信号,可过滤掉噪音,抗干扰,还原出原始脑电信号。
脑电信号,结合肌电信号及运动传感信号,可以对操控者的手部运动状态信息及大脑思维信息、上臂和前臂运动状态信息及大脑思维信息进行融合处理,对相干性进行判断,从而实现操控者手势动作意图的判别,获取操作者正确的手势信息。
实施例2,一种可用手语操控的无人机飞行控制方法,包括:
步骤1,根据飞机的控制模态,操控者进行多组手势动作,分别记录手势动作和控制指令,将这些手势动作和控制指令转换为对应的飞行映射关系,并存储在计算终端中;同时,根据飞机飞行过程中的状态信息,将这些状态信息和震动马达的震动频率转换为对应的反馈映射关系,并存储在计算终端中;
步骤2,采集佩戴在操控者左前臂和右前臂上的肌电电极的肌电信号,计算终端对肌电信号进行处理和运算,获取操作者的手部运动状态信息;
步骤3,采集佩戴在操控者左上臂、左前臂、右上臂和右前臂的惯性测量单元的运动传感信号,计算终端对运动传感信号进行处理及运算,获取操作者的左上臂、左前臂、右上臂和右前臂运动状态信息;
步骤4,计算终端对手部运动状态信息及上臂和前臂运动状态信息进行融合处理,获取操控者的手势信息,实现对操控者手势的识别,并根据步骤1中的飞行映射关系,将手势信息转化成对无人机飞行控制***的控制指令;
步骤5,计算终端通过电台将控制指令下发至无人机飞行控制***,实现对无人机飞行控制***的实时控制;
步骤6,无人机飞行控制***接收控制指令,并根据控制指令进行相应的飞行动作;
步骤7,计算终端接收来自飞机飞行过程中的状态信息,根据步骤1中的反馈映射关系,将状态信息转换成控制震动马达的震动频率,并下发反馈指令至肌电测量及反馈子***;
步骤8,肌电测量及反馈子***接收来自计算终端的反馈指令,控制佩戴在操控者腿上的震动马达按照对应的震动频率震动。
进一步的,步骤1和步骤2之间还包括:
A2干电极、Fp2干电极和C4干电极分别采集A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号,经脑电检测与处理芯片处理分类后获取操控者的大脑思维信息;
此时,步骤4替换为:
计算终端对大脑思维信息、手部运动状态信息及上臂和前臂运动状态信息进行融合处理,对手部运动状态信息与大脑思维信息的相干性、上臂和前臂运动状态信息与大脑思维信息的相干性进行判断,获取操控者的手势信息,实现对操控者手势的识别,并根据步骤1中的飞行映射关系,将手势信息转化成对无人机飞行控制***的控制指令。
相干性的判断方法为:
以A2干电极的电压作为基准电压;
计算Fp2区域脑电信号的功率谱函数和肌电信号的功率谱函数的相干系数,当该相干系数低于预先设定的阈值时,判定手部动作为无意动作,否则为有意动作;
计算C4区域脑电信号的功率谱函数和肌电信号的功率谱函数的相干系数,当该相干系数低于预先设定的阈值时,判定手部动作为被动动作,否则为主动动作。
同样,计算Fp2区域脑电信号的功率谱函数和传感运动信号(惯性测量单元采集的)的功率谱函数的相干系数,当该相干系数低于预先设定的阈值时,判定手臂动作为无意动作,否则为有意动作;
计算C4区域脑电信号的功率谱函数和传感运动信号的功率谱函数的相干系数,当该相干系数低于预先设定的阈值时,判定手臂动作为被动动作,否则为主动动作。
其中,在对相干系数的阈值设定时,通过多组实验数据获得。例如,让操控者做出多组的手势动作,相同的手势动作的有意动作、无意动作各做一次,分别记录做有意动作、无意动作时的Fp2区域脑电信号、肌电信号、运动传感信号的时域、频域信息,计算记录的Fp2区域脑电信号、肌电信号、运动传感信号的相干性,确定出判断主动动作和被动动作的相干系数。让操控者做出多组的手势动作,相同的手势动作的主动动作、被动动作各做一次,分别记录做主动动作与被动动作时的C4区域脑电信号、肌电信号、运动传感信号的时域、频域信息,计算记录的C4区域脑电信号、肌电信号、运动传感信号分别进行相干性,确定出判断主动动作和被动动作的相干系数。
其中,步骤1中的飞行映射关系根据飞机的控制模态来建立,可以采用符合人类表述***抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动。另外,可以采用基本手势+表示数字的手势的组合手势对以某一速度起飞、降落、前进、后退、返航,或以某一角度左转弯、右转弯等定量状态进行表示,这些状态对应的操控者控制的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字,或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字。再如,还可以采用约定手势+表示确认的手势的组合手势对例如除冰、焰条点火、紧急措施等进行表示。在实际操控中,并不仅仅限于上述列举的状态及手势组合,只要采用本发明的编码方法能实现手势和状态的对应,建立适合的飞行映射关系即可。
步骤1中的反馈映射关系根据飞行的状态信息来建立,本发明根据震动的频率来对各种状态进行区分,当然并不仅限于此,也可以利用各种状态的重要程度来对震动次数进行区分。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种可用手语操控的无人机飞行控制***,其特征在于,包括:
肌电测量及反馈子***,其通过串口与计算终端双向通信连接,所述肌电测量及反馈子***用于采集操控者的肌电信号,将模数转换后的肌电信号输出至所述计算终端进行融合处理,并接收来自所述计算终端的反馈指令,根据该反馈指令控制用于向操控者触控反馈的震动马达的震动频率;
姿态测量子***,其通过串口与计算终端双向通信连接,所述姿态测量子***用于采集操控者的上臂和前臂运动传感信号,并将上臂和前臂运动传感信号输出至所述计算终端进行融合处理;
计算终端,其用于对肌电信号进行处理和运算,获取操作者的手部运动状态信息;所述计算终端对上臂和前臂运动传感信号进行处理及运算,获取操作者的上臂和前臂运动状态信息;所述计算终端对手部运动状态信息及上臂和前臂运动状态信息进行融合处理,获取操控者的手势信息,实现对操控者手势的识别,并将手势信息转化成对无人机飞行控制***的控制指令;所述计算终端通过电台将控制指令下发至所述无人机飞行控制***,实现对所述无人机飞行控制***的实时控制;所述计算终端接收来自所述无人机飞行控制***的状态信息,并根据状态信息下发反馈指令至所述肌电测量及反馈子***;
电台,其通过串口与计算终端双向通信连接,所述电台用于接收所述计算终端输出的控制指令,并将控制指令传输至无人机飞行控制***;
无人机飞行控制***,其通过无线电与所述电台双向通信连接,所述无人机飞行控制***用于接收控制指令,并根据控制指令进行相应的飞行动作。
2.根据权利要求1所述的无人机飞行控制***,其特征在于,所述肌电测量及反馈子***包括佩戴在操控者两只手臂上的若干个肌电电极、用以消除共模干扰的驱动电路、模数转换芯片、微控制单元MCU以及佩戴在操控者腿上的震动马达;
若干个肌电电极以环状阵列形式粘贴在操控者左前臂和右前臂上,用于采集操控者的肌电信号;
若干个肌电电极和所述驱动电路均与所述模数转换芯片相连;
所述模数转换芯片通过SPI接口与所述微控制单元MCU双向通信连接;
所述震动马达与所述微控制单元MCU相连;
所述微控制单元MCU通过串口与所述计算终端双向通信连接。
3.根据权利要求1所述的无人机飞行控制***,其特征在于,所述姿态测量子***包括佩戴在操控者两只手臂上的若干个惯性测量单元;
所述惯性测量单元包括电源模块、三轴加速度计、三轴陀螺仪、三轴磁强计,所述电源模块为所述惯性测量单元提供电源,所述三轴加速度计、所述三轴陀螺仪、所述三轴磁强计分别用于采集操控者左手臂或右手臂的运动时的加速度、角速度和磁场强度。
4.根据权利要求1所述的无人机飞行控制***,其特征在于,所述无人机飞行控制***包括传感器采集模块、参数记录仪模块、数传数据链模块、自驾CPU模块、主控CPU模块和舵机;
所述传感器采集模块通过SPI总线与所述自驾CPU模块相连,所述数传数据链模块和所述参数记录仪模块均通过RS232与所述自驾CPU模块相连,所述自驾CPU模块通过CAN总线与所述主控CPU模块相连,所述主控CPU模块与所述舵机相连;
所述传感器采集模块采集气压高度计、机内IMU、磁力计以及GPS的数据,并将这些传感器数据输出给所述自驾CPU模块;
所述参数记录仪模块实时记录飞机飞行过程中的传感器数据以及组合导航算法输出的各种控制量;
所述数传数据链模块与所述电台相连,通过电台与所述计算终端进行数据通信;
所述自驾CPU模块根据所述计算终端输出的控制指令及其对应的飞行动作,运算飞行控制算法及组合导航算法,并下发飞行指令即各种飞行控制量至所述主控CPU模块;
所述主控CPU模块接收所述自驾CPU模块的飞行指令,并将相应的飞行控制量输出给舵机,所述舵机根据这些飞行控制量控制飞机进行相应的飞行。
5.根据权利要求4所述的无人机飞行控制***,其特征在于,所述无人机飞行控制***还包括:
温湿度传感器,其与所述主控CPU模块相连,用于采集飞机飞行过程中的温湿度;
转速传感器,其与所述主控CPU模块相连,用于采集飞机的转速;
油量传感器,其与所述主控CPU模块相连,用于采集飞机飞行过程中的剩余油量;
激光云粒子传感器,其与所述主控CPU模块相连,用于探测飞机飞行过程中的微米云粒子的谱分布;
焰条点火控制器,其与所述主控CPU模块相连,用于对飞机搭载的焰条进行点火;
安全应急***,其与所述主控CPU模块相连,用于对飞机实施安全应急措施;
视觉传感器,其与所述主控CPU模块相连,用于采集飞机飞行过程中的图像数据,并通过图传数据链模块传输至所述计算终端;
机翼前沿除冰装置,其与所述主控CPU模块相连,用于对飞机的机翼进行除冰。
6.根据权利要求1所述的无人机飞行控制***,其特征在于,还包括:
脑电测量***,其与所述计算终端双向通信连接,所述脑电测量***用于采集操控者的脑电信号,并将采集到的脑电信号进行处理分类后输出至所述计算终端进行融合处理。
7.根据权利要求6所述的无人机飞行控制***,其特征在于,所述脑电测量***由分别粘贴在操作者脑部的右耳垂A2区域、右前额Fp2区域和右头顶中央C4区域的A2干电极、Fp2干电极、C4干电极及脑电检测与处理芯片组成,所述A2干电极、所述Fp2干电极和所述C4干电极的一端均与所述脑电检测与处理芯片的输入端相连,所述脑电检测与处理芯片的输出端与所述计算终端相连;
所述A2干电极、所述Fp2干电极和所述C4干电极分别采集A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号;
所述脑电检测与处理芯片对采集到的A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号进行处理分类,获取操作者的大脑思维信息。
8.一种可用手语操控的无人机飞行控制方法,其特征在于,包括:
步骤1,根据飞机的控制模态,操控者进行多组手势动作,分别记录手势动作和控制指令,将这些手势动作和控制指令转换为对应的飞行映射关系,并存储在计算终端中;同时,根据飞机飞行过程中的状态信息,将这些状态信息和震动马达的震动频率转换为对应的反馈映射关系,并存储在计算终端中;
步骤2,采集佩戴在操控者左前臂和右前臂上的肌电电极的肌电信号,所述计算终端对肌电信号进行处理和运算,获取操作者的手部运动状态信息;
步骤3,采集佩戴在操控者左上臂、左前臂、右上臂和右前臂的惯性测量单元的运动传感信号,所述计算终端对运动传感信号进行处理及运算,获取操作者的左上臂、左前臂、右上臂和右前臂运动状态信息;
步骤4,所述计算终端对手部运动状态信息及上臂和前臂运动状态信息进行融合处理,获取操控者的手势信息,实现对操控者手势的识别,并根据步骤1中的飞行映射关系,将手势信息转化成对无人机飞行控制***的控制指令;
步骤5,所述计算终端通过电台将控制指令下发至所述无人机飞行控制***,实现对所述无人机飞行控制***的实时控制;
步骤6,所述无人机飞行控制***接收控制指令,并根据控制指令进行相应的飞行动作;
步骤7,所述计算终端接收来自飞机飞行过程中的状态信息,根据步骤1中的反馈映射关系,将状态信息转换成控制震动马达的震动频率,并下发反馈指令至所述肌电测量及反馈子***;
步骤8,所述肌电测量及反馈子***接收来自所述计算终端的反馈指令,控制佩戴在操控者腿上的震动马达按照对应的震动频率震动。
9.根据权利要求8所述的无人机飞行控制方法,其特征在于,步骤1和步骤2之间还包括:
A2干电极、Fp2干电极和C4干电极分别采集A2区域脑电信号、Fp2区域脑电信号和C4区域脑电信号,经脑电检测与处理芯片处理分类后获取操控者的大脑思维信息。
10.根据权利要求9所述的无人机飞行控制方法,其特征在于,步骤4替换为:
所述计算终端对大脑思维信息、手部运动状态信息及上臂和前臂运动状态信息进行融合处理,并对手部运动状态信息与大脑思维信息的相干性、上臂和前臂运动状态信息与大脑思维信息的相干性进行判断,获取操控者的手势信息,实现对操控者手势的识别,并根据步骤1中的飞行映射关系,将手势信息转化成对无人机飞行控制***的控制指令。
CN201711209345.8A 2017-11-27 2017-11-27 可用手语操控的无人机飞行控制***及控制方法 Pending CN107943294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711209345.8A CN107943294A (zh) 2017-11-27 2017-11-27 可用手语操控的无人机飞行控制***及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711209345.8A CN107943294A (zh) 2017-11-27 2017-11-27 可用手语操控的无人机飞行控制***及控制方法

Publications (1)

Publication Number Publication Date
CN107943294A true CN107943294A (zh) 2018-04-20

Family

ID=61949136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711209345.8A Pending CN107943294A (zh) 2017-11-27 2017-11-27 可用手语操控的无人机飞行控制***及控制方法

Country Status (1)

Country Link
CN (1) CN107943294A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085766A (zh) * 2018-08-24 2018-12-25 赵小川 一种多模态无人机人机交互操控半实物仿真***及方法
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控***交互方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718032A (zh) * 2014-12-05 2016-06-29 常州大学 隔空操控自拍飞行器
KR101658332B1 (ko) * 2016-03-31 2016-09-20 송주희 근전도를 이용한 드론 제어장치
CN105955306A (zh) * 2016-07-20 2016-09-21 西安中科比奇创新科技有限责任公司 可穿戴设备、基于可穿戴设备的无人机控制方法及***
CN106406544A (zh) * 2016-11-21 2017-02-15 中国兵器工业计算机应用技术研究所 一种语义式人机自然交互控制方法及***
CN107193374A (zh) * 2017-05-17 2017-09-22 中国兵器工业计算机应用技术研究所 一种主动故意手势动作的检测装置及检测方法
CN107357311A (zh) * 2017-07-28 2017-11-17 南京航空航天大学 一种基于混合控制技术的无人机侦察***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718032A (zh) * 2014-12-05 2016-06-29 常州大学 隔空操控自拍飞行器
KR101658332B1 (ko) * 2016-03-31 2016-09-20 송주희 근전도를 이용한 드론 제어장치
CN105955306A (zh) * 2016-07-20 2016-09-21 西安中科比奇创新科技有限责任公司 可穿戴设备、基于可穿戴设备的无人机控制方法及***
CN106406544A (zh) * 2016-11-21 2017-02-15 中国兵器工业计算机应用技术研究所 一种语义式人机自然交互控制方法及***
CN107193374A (zh) * 2017-05-17 2017-09-22 中国兵器工业计算机应用技术研究所 一种主动故意手势动作的检测装置及检测方法
CN107357311A (zh) * 2017-07-28 2017-11-17 南京航空航天大学 一种基于混合控制技术的无人机侦察***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵小川 等: "手势识别技术研究综述与应用展望", 《计算机工程与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109085766A (zh) * 2018-08-24 2018-12-25 赵小川 一种多模态无人机人机交互操控半实物仿真***及方法
CN113419622A (zh) * 2021-05-25 2021-09-21 西北工业大学 基于手势操作的潜艇作战指控***交互方法及设备

Similar Documents

Publication Publication Date Title
CN107357311B (zh) 一种基于混合控制技术的无人机侦察***
CN103984962B (zh) 一种基于肌电信号的外骨骼行走模式识别方法
CN107817731A (zh) 融合肌电和脑电信息的无人平台操控***及操控方法
CN105615878A (zh) 一种疲劳驾驶脑电监测方法
CN106406544B (zh) 一种语义式人机自然交互控制方法及***
CN105565212B (zh) 基于肌电流和运动传感器的手势控制的搬运堆垛车及方法
CN103976739A (zh) 穿戴式摔倒动态实时检测方法和装置
CN103777752A (zh) 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN112353393B (zh) 一种智能驾驶汽车乘员状态检测***
CN107943294A (zh) 可用手语操控的无人机飞行控制***及控制方法
CN103793042A (zh) 一种人体运动信息交互及显示的***和方法
CN109498375B (zh) 一种人体运动意图识别控制装置及控制方法
CN206048251U (zh) 基于多传感器融合的手势识别仿人机械手***
Huang et al. Preliminary testing of a hand gesture recognition wristband based on emg and inertial sensor fusion
CN107193374A (zh) 一种主动故意手势动作的检测装置及检测方法
Li et al. Human posture detection method based on wearable devices
CN105718032A (zh) 隔空操控自拍飞行器
CN106974780A (zh) 基于差分航姿的智能轮椅控制方法
CN204765652U (zh) 一种全面检测手指运动功能的数据手套
CN109801709A (zh) 一种用于虚拟环境的手部姿态捕捉与健康状态感知的***
Wu et al. Fall detection monitoring system based on mems sensor
Li et al. Human-computer interaction system design based on surface EMG signals
Rovini et al. SensRing, a novel wearable ring-shaped device for objective analysis of reachto-grasp movements
Wang et al. Development of wearable miniature neural signal recording system for birds
CN110232976B (zh) 一种基于腰肩表面肌电测量的行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication