CN102219051B - 基于人机交互技术的四旋翼飞行器***控制方法 - Google Patents
基于人机交互技术的四旋翼飞行器***控制方法 Download PDFInfo
- Publication number
- CN102219051B CN102219051B CN 201110110471 CN201110110471A CN102219051B CN 102219051 B CN102219051 B CN 102219051B CN 201110110471 CN201110110471 CN 201110110471 CN 201110110471 A CN201110110471 A CN 201110110471A CN 102219051 B CN102219051 B CN 102219051B
- Authority
- CN
- China
- Prior art keywords
- quadrotor
- obtains
- computing machine
- control
- transferred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
- Selective Calling Equipment (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Toys (AREA)
Abstract
一种基于人机交互技术的四旋翼飞行器***控制方法,属于智能飞行机器人领域,特征在于操纵者可通过手势控制四旋翼飞行器。四旋翼飞行器由分布在其几何顶点的四个旋翼的协同运转完成飞行姿态控制,具有偏航角、俯仰角以及滚转角三个自由度。视觉人机交互技术中主要使用了OpenCV和OpenGL。***通过深度摄像头捕获操纵者的手的深度图像,经计算机分析处理后得到手势信息并生成与之对应的控制信号通过无线通信装置发送给飞行器执行,以此实现从操纵者手的运动状态到飞行器的运动状态的映射,完成手势控制。这种手势控制可凭借其较远的控制距离和更为直观的手势对应关系应用于执行难度较高的危险性实验和工业生产过程。
Description
技术领域
本发明属于智能飞行机器人领域,具体涉及一种利用深度摄像头捕获人体手势完成四旋翼飞行器控制的方法。
技术背景
四旋翼飞行器是本发明的操作对象,它是一种具有四个螺旋桨的飞行器,并且四个螺旋桨呈十字形交叉结构,相对的两组四旋翼具有相同的旋转方向。在国内四旋翼飞行器还出于萌芽阶段,很少有较为成熟的成果面世;但四旋翼飞行器在国际上较为流行,西方多所名牌高校都已在四旋翼飞行器控制上取得领先地位,也有不少爱好者投身到四旋翼飞行器的制作与研究当中来。四旋翼飞行器以其体积小、重量轻、灵活度高的优势博得了广大飞行器爱好者的青睐。
本发明的控制手段为深度摄像头的手势识别,利用的是Natal深度摄像头。空间图像处理已有一些成型的解决方案,但都因为其复杂的算法以及庞大的运算库将许多周边领域的研究人员拒之门外。本发明使用的Natal深度摄像头巧妙地使用了一个可见光摄像头、一个红外摄像头和一个红外点阵发生器完成了空间图像的深度处理,为手势识别提供了便利条件。目前此项技术已开始在机器视觉领域有所应用,并广受好评。
发明内容
本发明的目的在于提供一种利用深度摄像机捕获人体手势从而控制飞行器姿态的方法,充分体现操作者手势控制的灵活性与便捷性,降低普遍对于飞行器控制的难度,拓展小型飞行器的应用范围。
基于上述目的,本发明的构思方案为:以四旋翼飞行器、平面位置捕获装置以及手势识别装置构成控制***。其中平面位置捕获装置包括环境红外摄像头和一组平行放置间距可调的支架,环境红外摄像头与枢纽计算机之间通过无线视频传输模块进行通信,用来将四旋翼飞行器的实时水平面飞行状态反馈给计算机;手势识别装置由一部Natal深度摄像机和一台计算机构成,深度摄像头用来捕获人体手势,并通过有线传输方式将手势信息传输给计算机;四旋翼飞行器与计算机通过ZigBee无线数传模块进行通信。
本发明所提供的基于人机交互技术的四旋翼飞行器***控制方法,具体步骤如下:
步骤1:通过四旋翼飞行器1机载的超声波测距模块13获取四旋翼飞行器1的高度信息,该高度信息经四旋翼飞行器1的机载微控制器8处理为以ASCII码表示的十进制数通过ZigBee无线通信模块14传输给计算机7;
步骤2:通过无线环境红外摄像头5捕获四旋翼飞行器1上表面的2个红外反光布11的平面位置信息和角度信息,从而获得四旋翼飞行器1的平面位置信息和偏航角并传输给计算机7;
步骤3:计算机7将所获得的高度信息和平面位置信息综合为无线环境红外摄像头5覆盖空间内的x、y、z坐标,至此得到四旋翼飞行器1的当前位置空间坐标;
步骤4:通过Natal深度摄像机6拍摄操纵者的手的深度图像并传输给计算机7;
步骤5:计算机7对所获得的深度图像进行解析,分离出操纵者的手在Natal深度摄像机6覆盖范围内的x、y、z坐标和操纵者的拇指和食指的夹角信息;
步骤6:计算机7通过空间坐标变换将步骤5所获得的操纵者的手的当前位置空间坐标映射为四旋翼飞行器1所在空间范围的目标位置空间坐标;
步骤7:计算机7根据步骤3中所获得的四旋翼飞行器1的当前位置的空间坐标与步骤6中所获得的四旋翼飞行器1的目标位置空间坐标计算出针对四旋翼飞行器1空间位置的PID控制量,包括前进后退控制量、左右平动控制量、升高降低控制量,根据步骤5中所获得的操纵者拇指和食指的夹角信息生成控制机械手12捏合角度的控制量,根据步骤2所获得的偏航角计算出用于抑制四旋翼飞行器1自旋的偏航角控制量,通过ZigBee无线通信模块14传输给四旋翼飞行器的机载微控制器8;
步骤8:四旋翼飞行器的机载微控制器8将所获得的前进后退、左右平动、升高降低和偏航角控制量以PWM信号形式传输给飞行姿态控制器9,将所获得的机械手控制量以PWM信号形式传输给机械手12;
步骤9:飞行姿态控制器9将所获的控制信息解析为执行相应动作任务的四路电机驱动信号经电子调速器15进行处理和功率放大后最终驱动四个无刷电机10控制四旋翼飞行器1移动到指定位置,机械手按指定角度进行捏合完成抓取动作。
相比于相应领域的其它飞行器控制,本发明具有以下有益效果:
第一,由于四旋翼飞行器本身独特的结构设计,它较为适合狭小空间的灵活操作;再加以使用本发明的空间定位***,它的飞行定位操作就更为精确。以上两点使得本四旋翼飞行器能够出色的完成高难度的精细动作,例如物体抓取、文字书写等辅助性劳动。
第二,由于本四旋翼飞行器控制***的人机交互基于深度摄像机,上位机能够较为准确地获取并有效地处理手势姿态信息,从而实现操作者的实时手势控制。此项技术的应用使得本四旋翼飞行器的控制更加灵活、方便,能够通过简单的手势空间对应完成复杂的飞行器空间操控。
以下结合附图说明和具体实施方式对本发明作进一步的详细说明。
附图说明
图1是本发明所使用的基于人机交互技术的四旋翼飞行器***结构示意图;
图2是四旋翼飞行器的俯视图
图3是四旋翼飞行器的仰视图
图4是本发明的***框图
图中:1-四旋翼飞行器,2-平面位置捕获装置,3-手势识别装置,4-两个平行放置间距可调的支架,5-无线环境红外摄像头,6-Natal深度摄像机,7-计算机,8-机载微控制器,9-飞行姿态控制器,10-无刷电机,11-红外反光布,12-机械手,13-超声波测距模块,14-ZigBee无线通信模块,15-电子调速器。
具体实施方式
第一部分通过移动手的位置控制四旋翼飞行器空间位置的实现方法
步骤一:通过触发四旋翼飞行器机载的超声波测距模块13得到一个与触发信号的时间差和四旋翼飞行器高度正相关的脉冲信号,并由四旋翼飞行器的机载微控制器MC9S12XS128通过输入捕获测量这一时间差得到四旋翼飞行器的高度信息,然后处理为以ASCII码表示的十进制数通过ZigBee无线通信模块14传输给计算机;
步骤二:通过环境红外摄像头捕获四旋翼飞行器上表面中心对称排布的2个红外反光布11反射的红外光(其他波段由红外滤片滤除),经CMOS传感器将此光信号转化为红外图像视频流,此视频流通过无线视频传输模块传输给计算机;
步骤三:计算机通过OpenCV对所获得的视频流进行解析:
1、将红外图像灰度化;
2、查找ROI区域;
3、进行高斯滤波以进行二值化;
4、检测Contours轮廓并计算轮廓个数并对每个独立轮廓进行编号,以此来计算四旋翼飞行器的几何中心在环境红外摄像头视场中的x、y坐标和偏航角;
5、利用摄像头的透视原理,结合四旋翼飞行器机载微控制器传回的来自超声波测距模块的高度信息,计算出飞行器的z坐标;
步骤四:通过Natal深度摄像机拍摄操纵者的手的深度图像并传输给计算机;
步骤五:计算机对所获得的深度图像进行解析,分离出操纵者的手在Natal深度摄像机覆盖范围内的x、y、z坐标,至此获得操纵者的手的当前位置空间坐标;
步骤六:计算机通过空间坐标变换将步骤五所获得的操纵者的手的当前位置空间坐标映射为四旋翼飞行器所在空间范围的目标位置空间坐标;
步骤七:计算机根据步骤三中所获得的四旋翼飞行器的当前位置的空间坐标与步骤五中所获得的四旋翼飞行器的目标位置空间坐标计算出PID控制量,包括前进后退控制量、左右平动控制量、升高降低控制量,并通过ZigBee无线通信模块传输给四旋翼飞行器的机载微控制器;
步骤八:四旋翼飞行器的机载微控制器将所获得的前进后退、左右平动、升高降低控制量以PWM信号形式传输给飞行姿态控制器9;
步骤九:飞行姿态控制器将所获的控制信息解析执行相应动作任务的四路电机驱动信号经电子调速器15进行处理和功率放大后最终驱动四个无刷电机控制四旋翼飞行器移动到指定位置。
第二部分通过抓取手势控制四旋翼飞行器机载机械手抓取物体的实现方法
步骤一:通过Natal深度摄像机拍摄操纵者的手的深度图像并传输给计算机;
步骤二:计算机对所获得的深度图像进行解析:
1、由OpenGL还原成操纵者手的三维图像;
2、应用本田技术研究所Youding Zhu,Kikuo Fujimura研究员提出的应用贝叶斯框架对深度图像中人体姿态的追踪方法从三维图像中提取操纵者的拇指和食指的夹角信息并通过ZigBee无线通信模块传输给四旋翼飞行器的机载微控制器;
步骤三:四旋翼飞行器的机载微控制器将所获得的夹角信息处理为对应的舵机控制信号控制四旋翼飞行器机载的机械手的捏合距离,最终完成抓取动作。
Claims (1)
1.基于人机交互技术的四旋翼飞行器***控制方法,具体步骤如下:
步骤1:通过四旋翼飞行器(1)机载的超声波测距模块(13)获取四旋翼飞行器(1)的高度信息,该高度信息经四旋翼飞行器(1)的机载微控制器(8)处理为以ASCII码表示的十进制数通过ZigBee无线通信模块(14)传输给计算机(7);
步骤2:通过无线环境红外摄像头(5)捕获四旋翼飞行器(1)上表面的2个红外反光布(11)的平面位置信息和角度信息,从而获得四旋翼飞行器(1)的平面位置信息和偏航角并传输给计算机(7);
步骤3:计算机(7)将所获得的高度信息和平面位置信息综合为无线环境红外摄像头(5)覆盖空间内的x、y、z坐标,至此得到四旋翼飞行器(1)的当前位置空间坐标;
步骤4:通过Natal深度摄像机(6)拍摄操纵者的手的深度图像并传输给计算机(7);
步骤5:计算机(7)对所获得的深度图像进行解析,分离出操纵者的手在Natal深度摄像机(6)覆盖范围内的x、y、z坐标和操纵者的拇指和食指的夹角信息;
步骤6:计算机(7)通过空间坐标变换将步骤5所获得的操纵者的手的当前位置空间坐标映射为四旋翼飞行器(1)所在空间范围的目标位置空间坐标;
步骤7:计算机(7)根据步骤3中所获得的四旋翼飞行器(1)的当前位置的空间坐标与步骤6中所获得的四旋翼飞行器(1)的目标位置空间坐标计算出针对四旋翼飞行器(1)空间位置的PID控制量,包括前进后退控制量、左右平动控制量、升高降低控制量,根据步骤5中所获得的操纵者拇指和食指的夹角信息生成控制机械手(12)捏合角度的控制量,根据步骤2所获得的偏航角计算出用于抑制四旋翼飞行器(1)自旋的偏航角控制量,通过ZigBee无线通信模块(14)传输给四旋翼飞行器的机载微控制器(8);
步骤8:四旋翼飞行器的机载微控制器(8)将所获得的前进后退、左右平动、升高降低和偏航角控制量以PWM信号形式传输给飞行姿态控制器(9),将所获得的机械手控制量以PWM信号形式传输给机械手(12);
步骤9:飞行姿态控制器(9)将所获的控制信息解析为执行相应动作任务的四路电机驱动信号经电子调速器(15)进行处理和功率放大后最终驱动四个无刷电机(10)控制四旋翼飞行器(1)移动到指定位置,机械手按指定角度进行捏合完成抓取动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110110471 CN102219051B (zh) | 2011-04-29 | 2011-04-29 | 基于人机交互技术的四旋翼飞行器***控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110110471 CN102219051B (zh) | 2011-04-29 | 2011-04-29 | 基于人机交互技术的四旋翼飞行器***控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102219051A CN102219051A (zh) | 2011-10-19 |
CN102219051B true CN102219051B (zh) | 2013-01-09 |
Family
ID=44775817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110110471 Expired - Fee Related CN102219051B (zh) | 2011-04-29 | 2011-04-29 | 基于人机交互技术的四旋翼飞行器***控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102219051B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102354345A (zh) * | 2011-10-21 | 2012-02-15 | 北京理工大学 | 一种具有体感交互方式的医学影像浏览设备 |
CN103365294A (zh) * | 2012-03-29 | 2013-10-23 | 鸿富锦精密工业(深圳)有限公司 | 无人飞行载具控制***及方法 |
CN103940823A (zh) * | 2014-04-25 | 2014-07-23 | 河海大学常州校区 | 基于飞行器的铁塔缺陷检测***及飞行器定位方法 |
CN105321315A (zh) * | 2014-07-30 | 2016-02-10 | 芯讯通无线科技(上海)有限公司 | 飞行器***及其通信方法 |
CN105334851A (zh) * | 2014-08-12 | 2016-02-17 | 深圳市银星智能科技股份有限公司 | 一种可感应手势的移动设备 |
CN104581072B (zh) * | 2015-01-05 | 2018-10-02 | 嘉兴欧祥通讯设备有限公司 | 夜晚拍摄设备 |
CN104565876B (zh) * | 2015-01-05 | 2018-09-28 | 永康市华格工业产品设计有限公司 | 便携式照明设备 |
CN104590554B (zh) * | 2015-01-05 | 2017-02-22 | 张晶 | 探路照明设备 |
CN104606901A (zh) * | 2015-01-29 | 2015-05-13 | 赵旭 | 一种高度气压检测红外线反射感应式玩具飞行器结构及其应用 |
CN106143927A (zh) * | 2015-04-03 | 2016-11-23 | 云南师范大学 | 一种基于Kinect的室内四轴飞行器闭环控制*** |
CN104816829B (zh) * | 2015-05-12 | 2017-01-18 | 广东澄星航模科技股份有限公司 | 适用于侦查的天眼飞行器 |
CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
CN104898524B (zh) * | 2015-06-12 | 2018-01-09 | 江苏数字鹰科技发展有限公司 | 基于手势的无人机遥控*** |
CN104965516B (zh) * | 2015-06-15 | 2017-10-10 | 东南大学 | 一种基于视觉和力反馈的四旋翼飞行器进行空中抓取作业的控制方法 |
CN105607740A (zh) * | 2015-12-29 | 2016-05-25 | 清华大学深圳研究生院 | 一种基于计算机视觉的无人飞行器控制方法及装置 |
CN105843251B (zh) * | 2016-03-28 | 2020-04-07 | 沈阳上博智拓科技有限公司 | 控制飞行器的方法、装置及*** |
CN105843252A (zh) * | 2016-03-30 | 2016-08-10 | 乐视控股(北京)有限公司 | 无人驾驶飞机***及其飞行控制方法 |
EP3228541B1 (en) * | 2016-04-08 | 2018-06-13 | LEONARDO S.p.A. | Rotor for a hover-capable aircraft and method for detecting the attitude of a blade with respect to a hub of such a rotor |
CN105965522B (zh) * | 2016-07-12 | 2017-12-19 | 哈工大机器人集团(哈尔滨)资产经营管理有限公司 | 一种高空自动换灯泡机器人 |
CN106054911A (zh) * | 2016-07-22 | 2016-10-26 | 华南理工大学 | 一种可进行手势识别操作的四轴飞行器与方法 |
CN106774365A (zh) * | 2016-12-20 | 2017-05-31 | 华中科技大学 | 一种基于外部视觉定位的无人机调试*** |
US10409276B2 (en) * | 2016-12-21 | 2019-09-10 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
CN107645599A (zh) * | 2017-09-21 | 2018-01-30 | 宇龙计算机通信科技(深圳)有限公司 | 一种控制方法、终端及计算机可读存储介质 |
CN107831791B (zh) * | 2017-11-17 | 2020-12-15 | 深圳意动航空科技有限公司 | 一种无人机的操控方法、装置、操控设备及存储介质 |
CN110825121B (zh) * | 2018-08-08 | 2023-02-17 | 纬创资通股份有限公司 | 控制装置与无人机控制方法 |
CN109176559B (zh) * | 2018-10-24 | 2022-05-24 | 上海思依暄机器人科技股份有限公司 | 一种机器人及控制方法、*** |
CN112947589A (zh) * | 2021-03-10 | 2021-06-11 | 南京理工大学 | 基于双核dsp手势控制室内四旋翼无人机 |
CN113282109A (zh) * | 2021-07-23 | 2021-08-20 | 季华实验室 | 无人飞行器与人协同作业*** |
CN113282110B (zh) * | 2021-07-23 | 2021-10-22 | 季华实验室 | 飞行机器人与人的协同作业方法及其装置、飞行机器人 |
CN116337086B (zh) * | 2023-05-29 | 2023-08-04 | 中国人民解放军海军工程大学 | 无人机网捕最优捕获位置计算方法、***、介质及终端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4490794A (en) * | 1982-01-18 | 1984-12-25 | Sperry Corporation | Altitude preselect system for aircraft without air data computer |
FR2604001B1 (fr) * | 1986-09-15 | 1988-12-09 | Aerospatiale | Systeme de commande de vol electrique avec protection en incidence pour aeronef |
US6390417B1 (en) * | 1999-06-30 | 2002-05-21 | Honda Giken Kogyo Kabushiki Kaisha | Drag control system for flying machine, process for estimating drag of flying machine, boundary layer control system, and boundary layer control process |
CN101699510A (zh) * | 2009-09-02 | 2010-04-28 | 北京科技大学 | 视线追踪***中的基于粒子滤波的瞳孔跟踪方法 |
CN102012741A (zh) * | 2010-11-16 | 2011-04-13 | 吕文阁 | 一种基于摄像装置的多媒体人机交互方法及其*** |
-
2011
- 2011-04-29 CN CN 201110110471 patent/CN102219051B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102219051A (zh) | 2011-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102219051B (zh) | 基于人机交互技术的四旋翼飞行器***控制方法 | |
CN106826838B (zh) | 一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法 | |
CN110480634B (zh) | 一种针对机械臂运动控制的手臂引导运动控制方法 | |
CN111694428B (zh) | 基于Kinect的手势与轨迹远程控制机器人*** | |
CN205219101U (zh) | 一种家庭服务机器人 | |
CN111055281A (zh) | 一种基于ros的自主移动抓取***与方法 | |
CN104950695B (zh) | 一种通用的无人机视觉仿真平台 | |
CN104589356A (zh) | 基于Kinect人手运动捕捉的灵巧手遥操作控制方法 | |
CN104570731A (zh) | 一种基于Kinect的无标定人机交互控制***及方法 | |
CN104898524A (zh) | 基于手势的无人机遥控*** | |
CN111462154A (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
CN106020494B (zh) | 基于移动跟踪的三维手势识别方法 | |
CN106863324A (zh) | 一种基于视觉的服务机器人平台 | |
CN103894583A (zh) | 压铸六轴机械手的控制方法及压铸六轴机械手 | |
CN107450556A (zh) | 一种基于ros的自主导航智能轮椅 | |
CN103853464A (zh) | 一种基于Kinect的铁路手信号识别方法 | |
CN2645862Y (zh) | 移动机械手*** | |
CN103862476B (zh) | 一种六自由度机械手的位置逆解方法 | |
Xue et al. | Gesture-and vision-based automatic grasping and flexible placement in teleoperation | |
Teke et al. | Real-time and robust collaborative robot motion control with Microsoft Kinect® v2 | |
Yang et al. | Development of flight simulation system based on leap motion controller | |
CN107962546A (zh) | 一种图像识别元素跟随拾取机器人 | |
Gao et al. | Kinect-based motion recognition tracking robotic arm platform | |
Liu et al. | A deep-learning based multi-modality sensor calibration method for usv | |
CN116476074A (zh) | 基于混合现实技术的远程机械臂操作***及人机交互方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130109 Termination date: 20140429 |