CN109634300B - 基于隔空手势和超声波触觉反馈的多无人机操控***及方法 - Google Patents
基于隔空手势和超声波触觉反馈的多无人机操控***及方法 Download PDFInfo
- Publication number
- CN109634300B CN109634300B CN201811410383.4A CN201811410383A CN109634300B CN 109634300 B CN109634300 B CN 109634300B CN 201811410383 A CN201811410383 A CN 201811410383A CN 109634300 B CN109634300 B CN 109634300B
- Authority
- CN
- China
- Prior art keywords
- gesture
- unmanned aerial
- aerial vehicle
- ultrasonic
- main control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000000926 separation method Methods 0.000 title abstract description 6
- 230000004044 response Effects 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000003238 somatosensory effect Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000035807 sensation Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010079 rubber tapping Methods 0.000 claims description 4
- 238000003491 array Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 239000003570 air Substances 0.000 description 9
- 230000003993 interaction Effects 0.000 description 6
- 238000002604 ultrasonography Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 210000000412 mechanoreceptor Anatomy 0.000 description 3
- 108091008704 mechanoreceptors Proteins 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- YZCKVEUIGOORGS-IGMARMGPSA-N Protium Chemical compound [1H] YZCKVEUIGOORGS-IGMARMGPSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
基于隔空手势和超声波触觉反馈的无人机操控***及方法,***包括体感控制器、超声波相控阵、无人机主控计算机;无人机主控计算机通过体感控制器从不同角度实时捕获手势画面并进行识别,判断出手势类型;无人机主控计算机根据接收的手势类别发送对应的控制指令至无人机,并接收无人机的成功响应反馈信息,无人机主控计算机接收到成功响应反馈信息后,将根据识别的手势信息确定的触觉感知点作为焦点坐标下发给超声波相控阵;超声波相控阵根据焦点坐标计算每个换能器的相位延时,并触发每个换能器发射调制的超声波在焦点处聚焦,使人获得触觉感知以表明当前手势任务已顺利完成。
Description
技术领域
本发明融合体感控制器对手势命令的实时识别技术和超声波相控阵精确聚焦技术,使操控员执行隔空手势时即可通过对显示屏图形界面的操作和无线通讯,对无人机进行控制。属于人机交互领域。
背景技术
在70年代中后期,出现了图形用户界面WIMP(Windows、Menu、Icons、PointingDevices)的二维人机交互技术,从此强调将人的智能而不是技术放在了人机交互的中心位置,并导致许多硬件的发明:如鼠标等。现在人机交互技术已从触键操作发展到触摸屏技术,并在智能手机、大型显示屏、银行取款机等方面获得广泛的应用。随着多媒体计算机的发展和VR技术的出现,人机交互走向多通道交互的体系结构,如语音识别、姿势跟踪和视觉跟踪等。目前流行的3D手势交互操作***的缺陷是无法实现真实的触感,导致无法达到更加逼真的效果。因此,给浮空式的3D手势与显示屏交互操作加上“力度”反馈,从而进一步控制多任务操作,就显得尤为重要。超声波相控阵技术提供了这样一种力度反馈功能。当超声波聚焦在皮肤表面,在皮肤组织中产生剪切波。由剪切波引起的位移触发皮肤内的机械感受器,使人获得触觉感知。
2009年中国军用无人机WZ-6首次出现在建国60周年阅兵大典上,之后中国开始组建无人机作战中队。一些具有多年驾驶过歼6、歼7、歼10等多种机型的歼击机王牌飞行员,成为了中国无人机作战中队首批军用无人机操控员。当他们坐在操作室内,遥控千里之外的无人机时,才发现不能像驾驶战机一样通过身体来及时感受到飞机的飞行状态,而只能通过显示屏的细微变化来察觉周围气流、飞行姿态的变化。这就给操控员的工作提出了巨大的挑战,他们既要根据前视摄像头传来的图像及时修正无人机姿态,又要兼顾不断转动的侦察摄像头保持对目标持续监控,还要单手操作键盘来给无人机的设备输入指令。这种操作模式使具有多年飞行经验的飞行员都感到异常吃力、疲惫不堪。目前我国“侦察打击一体化”的武装无人机已进入实战演习。为此,针对飞行过程中需要完成的多任务操作,如飞行运动、发射有效载荷、多飞行器编队控制等操作,提出用隔空手势加触觉反馈实现对飞行显示屏的操作。这种方式可以提高在复杂环境下对多飞行器多任务作业控制的精准性和安全性,提高操控人员操控效率和舒适度。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种基于隔空手势和超声波触觉反馈的多无人机操控***及方法,增强无人机操控员在多任务作业下对目标控制的精准性和自身的舒适性。
本发明的技术解决方案是:基于隔空手势和超声波触觉反馈的无人机操控***,包括体感控制器、超声波相控阵、无人机主控计算机;
无人机主控计算机通过体感控制器从不同角度实时捕获手势画面并进行识别,判断出手势类型;
无人机主控计算机根据接收的手势类别发送对应的控制指令至无人机,并接收无人机的成功响应反馈信息;
无人机主控计算机接收到成功响应反馈信息后,将根据识别的手势信息确定的触觉感知点作为焦点坐标下发给超声波相控阵;
超声波相控阵根据焦点坐标通过相位延迟的方式将发射调制的超声波在焦点处聚焦,使人获得触觉感知以表明当前手势任务已顺利完成。
优选的,在无人机主控计算机上设置图形用户界面,图形用户界面上显示与无人机主控计算机接收的手势类别对应的指令按钮。
优选的,所述的体感控制器通过红外LED灯、摄像头对设备上方40毫米到600毫米的空间,呈倒立四棱锥体状空间内的动态指尖手势和手掌动作进行捕捉。
优选的,所述的体感控制器定义的手势功能,具体包括每一帧获取掌心位置、指尖位置、手掌法向量、指尖方向、指尖速度及手指画圈、平移挥手、向前屏幕敲击,向下按键敲击和自定义手势。
优选的,所述的体感控制器具体通过下述方式对从不同角度实时捕获的手势画面进行处理:
建立自定义手势库,该库中存储无人机控制过程中使用的手势样本;
通过实时获取的两帧图像的帧差,确定指尖特征向量;根据最近邻法则对当前手势进行初步分类;
根据初步分类结果,从自定义手势库中获取同类样本使用欧式距离进行相似度计算,得出平均欧式距离;
将上述平均欧式距离与识别阈值进行比较,若平均欧式距离超出识别阈值,则当前手势类别错误,不对该手势进行后续处理;否则认为手势类别正确。
优选的,所述的识别阈值通过下述方式确定:
采集大量的手势样本数据并进行数据预处理,提取出轨迹点:所述的提取为找出指尖从静止状态到运动状态再到静止状态过程中指尖的位置并记录下来;
将提取的轨迹点进行优化处理制作成手势模板;
对上述手势模板进行手势训练,确定识别阈值。
优选的,所述的超声波相控阵包括换能器阵列、放大器模块和控制模块;
换能器阵列由换能器二维数组组成,放大器模块的数量与换能器数量一致,
控制模块产生多路矩形波,并利用低频脉冲信号对其进行调制,每路调制波经放大器模块进行放大后一一输入至换能器;
控制模块根据接收到的焦点坐标以及换能器的位置计算每个换能器的相位延时,根据计算的相位延时控制换能器发射调制的超声波,超声波在焦点坐标处完成聚焦,使其在人手可检测到的频率范围内产生振动。
优选的,所述的控制模块采用CPU+FPGA的控制结构,CPU与无人机主控计算机通信;FPGA内集成配置解析模块、波形输出***控制和波束成型器模块;配置解析模块解析无人机主控计算机下发的配置,生成多路阵源的相位信息和波形参数,下发给波形输出***控制;波形输出***控制将相位信息、波形参数对应的调制信息及控制信息分发到不同的通道;波束成型器模块根据相位信息、调制信息及控制信息产生相应的波形。
优选的,所述矩形波的频率40kHz,利用1-600Hz脉冲信号进行调制。
优选的,所述的无人机主控机通过超声波相控阵动态库接口函数设置焦点坐标、函数波形选择、通道选择、设置脉冲个数、设置占空比和输入电压、调制信号的选择和启停相控阵。
所述的基于隔空手势和超声波触觉反馈的多无人机操控***建立在多无人机在线管理平台上,采用多线程技术实现主机对体感控制器、超声波相控阵和对无人机的控制。
基于隔空手势和超声波触觉反馈的多无人机操控方法,通过下述方式实现:
从不同角度实时捕获手势画面并进行识别,根据接收的手势类别发送对应的控制指令至无人机,当接收到无人机的成功响应反馈信息后执行后续步骤,否则停止当前处理;
根据识别的手势信息确定的触觉感知点作为焦点坐标;
产生多路矩形波然后利用低频脉冲信号对每路矩形波进行调制,得到调制波;
对每路调制波进行放大;
将放大后的每路调制波进行发射,产生调制的超声波在空中传播,并在焦点坐标处完成超声波聚焦,产生超声振动,使人获得触觉感知以表明当前手势任务已顺利完成。
本发明与现有技术相比有益效果为:
(1)该***使操控员在操作时不需要戴手套或装备,让空中的3D手势与显示屏的交互操作过程变得可触摸化。
(2)基于体感控制器和模板匹配的手势识别技术具有高可靠、高实时性、高识别率的特点。
(3)常规的超声波不仅超出人的听觉范围,也超出了人的触觉范围。采用低频声波信号对载波的调幅技术,获得焦点处人的手指或手掌所能感知的不同大小的声辐射力。
(4)使用红外光来检测人手,不容易受光照变化和复杂背景的干扰,采集到的帖图像具有较小的噪声。
(5)使用超广角相机快门传感器,运行时可达120帧每秒,一次性采集所有的像素,能够实时分析图像细节,并获取手势变化关键坐标信息。
(6)建立自定义手势库,便于快速操作、提高操作的精准度。在模板匹配的思想上,提出了基于体感控制器的动态手势轨迹识别方法,对自定义的手势进行识别训练,用于提高手势的有效性和高识别率。
附图说明
图1为本发明的***示意图;
图2为本发明基于体感控制器的手势识别图;
图3为超声波相控阵焦平面计算声压场的坐标***;
图4为本发明的超声波相控阵结构框图;
图5为本发明的信号调制功能时序图。
具体实施方式
下面结合附图及实例对本发明作详细说明。
本发明如图1所示,采用体感控制器作为手势输入设备,超声相控阵作为触觉感知设备。体感控制器与主机通过USB相连。超声相控阵与主机也通过USB相连。为了增加实际应用的直观显示等目的,主控计算机(亦称主机)配置无人机操纵图形用户界面。当无图形操作按钮时,手势指令与主控计算机的后台控制程序直接交互。当设置图形用户界面时,通过三维自然手势与图形用户界面进行交互。体感控制器与显示屏图形用户界面实现的交互功能包括:通过不同的手势操控按钮、菜单和直接的自定义手势指令,实现单个无人机的发射和方向控制等功能,及多个无人机编队的启动操控,同时获得手掌不同位置的触觉感知,通过力反馈显示任务完成。
一、体感控制器
体感控制器Leap Motion配置信息:三个红外LED灯,双高清摄像头,USB驱动,检测范围为设备上方40-600毫米,成倒立四棱锥体状,运行速率为120帧每秒。Leap Motion采集的基本单位是帧,能检测到10根手指和手掌,并能实时跟踪和获取它们的位置,精度可以达到毫米级。Leap Motion提供API函数可以获取Palm Position(掌心位置)和Tip Position(指尖位置)、Palm Normal(手掌法向量)、Direct(指尖方向)、Tip Velocity(指尖速度)等。通过两帧的帧差可以获得手掌的位移和旋转变化等信息,指尖坐标和指尖速度定为指尖特征向量。Leap Motion的SDK包中已定义的手势包括:TYPE_CIRCLE:手指画图、TYPE_SWIPE:平移挥手、TYPE_SCREEN_TAP:屏幕敲击、TYPE_KEY_TAP:按键敲击。用这些基本手势操控无人机图形用户界面和控件。同时设计自定义手势如简单的字母“L”、“S”、“V”和数字“1”、“2”等,用快捷手势方式实现在多任务情况下对无人机特定功能的操控,主控计算机通过体感控制器捕获手势,这个过程如图2所示,主要有以下几个部分组成:设备连接检测、手指检测、手势轨迹提取、轨迹优化、模板匹配、手势识别以及帧图像采集、图像分割及匹配识别等。
自定义手势需采集大量的手势样本数据。对数据预处理,提取出轨迹点,手势轨迹的提取就是找出指尖从静止状态到运动状态再到静止状态过程中指尖的位置并记录下来,进行优化处理制作成手势模板。经过大量的手势训练之后确定识别阈值。
对于自定义手势识别,通过最近邻法则进行手势的初步分类,然后使用欧式距离进行相似度计算。对于n维空间中的两个向量v1(x1,x2,…,xn)和v2(y1,y2,…,yn),其欧氏距离为:
在分类以后,确定所属手势类别,和自定义手势库中的同类样本进行相似性计算,得出平均欧氏距离,将上述平均欧式距离与识别阈值进行比较,若平均欧式距离超出识别阈值,则当前手势类别错误,不对该手势进行后续处理;否则认为手势类别正确。
主控计算机根据体感控制器捕获的手势类别发送对应的控制指令至无人机,并接收无人机的成功响应反馈信息;
主控计算机接收到成功响应反馈信息后,根据识别的手势信息确定触觉感知点(触觉感知点根据实际需要确定,可以为一个手指位置、手掌位置也可以为多个手指的位置分别作为触觉感知点),作为焦点坐标输入超声相控阵API函数。
二、超声波相控阵
超声波相控阵包括换能器阵列、放大器模块和控制模块;
换能器阵列由换能器二维数组组成,放大器模块的数量与换能器数量一致,
控制模块产生多路矩形波然后利用低频脉冲信号对矩形波进行调制,得到调制波;每路调制波经放大器模块进行放大后一一输入至换能器;
控制模块根据接收到的焦点坐标以及换能器的位置计算每个换能器的相位延时,根据计算的相位延时控制换能器发射调制超声波,进而将超声波在焦点坐标处完成聚焦,在焦点目标处反射时产生一种非线性声辐射力。当超声波聚焦在皮肤表面,在皮肤组织中则产生剪切波。由剪切波引起的位移触发皮肤内的机械感受器,使人获得触觉感知。人体的手不能检测到40kHz的振动。皮肤内的机械感受器对震动的反应范围在0.4Hz到500Hz之间。本发明采用低频声波信号对超声载波调幅技术,设定1-600Hz的调幅频率,使其在人手可检测到的最佳频率范围内产生振动。通过改变调制频率,使手部振动的频率改变,从而产生不同的触觉特性。在不同频率上调制不同的聚焦点,可以在每个点产生不同的感觉。
假设一平面波,其声辐射压力可以描述为:
其中E是超声能量密度;I是超声波的声强;c为超声波在空气中传播的速度;p是超声波的RMS声压;ρ是介质密度。α是1到2之间的常数,取决于物体表面的振幅反射系数R。α=1+R2。如果物体表面完全反射入射超声,α=2;而如果它吸收整个入射超声,则α=1。对于排列M行N列的换能器矩形数组,假设换能器直径是d,来自每个传感器的RMS声压在焦平面上的任何位置都是恒定的pr,坐标***如图3所示,则产生的焦平面声压场p(x0,y0)可以描述为:
其中
这里r是焦平面和换能器平面之间的距离;r1是从m行n列换能器到焦点的距离;r2则是m行n列换能器到焦平面上任意点的距离。k是波数。其中ξ1和ξ2是换能器位置的偏移量。是聚焦超声的相位控制因子,是单个换能器产生的球面波。函数sinc定义为:
sinc(x,y)=sin(x)sin(y)/xy.
变量转换vx和vy定义为:
vx=(k/r)(x0-xc);vy=(k/r)(y0-yc).
本例运用由256(16x16)个40kHz超声换能器组合的相控阵,具备在空间某一范围内(体感控制器的手势识别范围)任一位置创建焦点的功能。这个焦点是通过多个换能器的相位延时来实现的。超声波相控阵结构如图4所示,采用CPU+FPGA的控制结构。CPU负责与主控计算机通信,CPU与FPGA之间的通信采用PCIE/LOCAL BUS。
FPGA内集成配置解析模块、波形输出***控制和波束成型器模块。配置解析模块解析无人机主控计算机下发的配置,并根据焦点位置和换能器位置计算每个换能器的相位延时,下发给波形输出***控制;波形输出***控制将相位信息及控制信息分发到不同的通道;波束成型器模块根据相位信息、调制信息及控制信息产生相应的调制波形,采用1-600Hz脉冲信号对每路40KHz的矩形波进行调制,如图5所示。
换能器驱动电压范围设计为5-20Vp-p。图4中的驱动电路功能(即放大器模块)是将FPGA输出的3.3V TTL矩形波进行放大,增强驱动能力。由于超声波换能器为容性负载,选择使用MOS管来驱动。为了增强驱动能力采用MOS管半桥驱动加MOS管推挽电路组成,其中半桥驱动使用LM5106,推挽电路采用双NMOS管组成。所以推挽电路的高端MOS管电源为5-20Vp-p可调。选择带PFC功能输出电压可调的开关电源,通过CPU控制DA输出电压来调节开关电源电压。
超声波相控阵API函数包括:设置焦点坐标(采用多个焦点同时发射或者连续发射方式)、选择阵元、脉冲个数、占空比和输入电压、调制信号选择、发射函数、开关函数(启停相控阵)等。
在多无人机在线管理平台上建立基于悬空手势和超声触觉反馈的无人机控制***。采用多线程技术实现主机对体感控制器、超声波相控阵和对无人机的控制。前台运行操控界面,后台运行体感控制器、超声波相控阵及与无人机等飞行载荷的无线通讯。程序载入体感控制器和超声波相控阵C++动态数据库。
无人机管理平台能够提供实时任务管理、飞行数据同步,并具备设备和团队的管理功能。管理平台具有传递无人机实时飞行图像的功能,其大型显示器用多个窗口展现多个无人机飞行图像。
在管理平台上,用自定义字母手势快捷方式“S”(Start)在后台启动手势指令***,并触发超声波相控阵,发射超声波聚焦到手指上,手指上获得触觉感知,表明可以用手势操纵无人机的飞行。选择无人机编号,如做手势“1”,屏幕上弹出1号无人机的手势指令多按钮界面,表明进入1号无人机的控制界面,同时手指上获得触觉感知,表明这一步已完成。1号无人机控制界面将有7个按钮,分别控制无人机的发射、上升、下降、前进、后退、左转、右转命令。当用虚拟手模型触碰发射按钮,将在后台传递发射命令给无人机,得到正确的反馈后,发射超声波聚焦到手指上,使飞行员在用手势完成动作的同时,也同时感觉任务已顺利完成。同样的操作也适用于上升、下降、前进、后退、左转、右转等命令。若要操控2号无人机,则用Leap Motion自带的“SWIPE”手势返回管理平台主界面,再用自定义手势“2”进入2号无人机的控制界面,可以完成同样的操作。因此用此类手势操作可以控制多个无人机的单独飞行。在管理平台主界面上做自定义字母手势指令G(Group),则弹出多无人机编队运行操作界面,用手势指向屏幕上的启动按钮,即可启动预定义程序,控制由多个无人机起飞组成的既定图案,实现编队操作,同时操作界面上显示出无人机群的数量、速度、高度和定位。
本发明未详细说明部分属于本领域技术人员公知常识。
Claims (6)
1.基于隔空手势和超声波触觉反馈的无人机操控***,其特征在于:包括体感控制器、超声波相控阵、无人机主控计算机;
无人机主控计算机通过体感控制器从不同角度实时捕获手势画面并进行识别,判断出手势类别;
无人机主控计算机根据接收的手势类别发送对应的控制指令至无人机,并接收无人机的成功响应反馈信息;
无人机主控计算机接收到成功响应反馈信息后,将根据识别的手势类别确定的触觉感知点作为焦点坐标下发给超声波相控阵;
超声波相控阵根据焦点坐标通过相位延迟的方式将发射调制的超声波在焦点处聚焦,使人获得触觉感知以表明当前手势任务已顺利完成;
所述的超声波相控阵包括换能器阵列、放大器模块和控制模块;
换能器阵列由换能器二维数组组成,放大器模块的数量与换能器数量一致,
控制模块产生多路矩形波,并利用低频脉冲信号对其进行调制,每路调制波经放大器模块进行放大后一一输入至换能器;
控制模块根据接收到的焦点坐标以及换能器的位置计算每个换能器的相位延时,根据计算的相位延时控制换能器发射调制的超声波,超声波在焦点坐标处完成聚焦,使其在人手可检测到的频率范围内产生振动;
所述的控制模块采用CPU+FPGA的控制结构,CPU与无人机主控计算机通信;FPGA内集成配置解析模块、波形输出***控制和波束成型器模块;配置解析模块解析无人机主控计算机下发的配置,生成多路阵源的相位信息和波形参数,下发给波形输出***控制;波形输出***控制将相位信息、波形参数对应的调制信息及控制信息分发到不同的通道;波束成型器模块根据相位信息、调制信息及控制信息产生相应的波形;
换能器驱动电压范围设计为5-20Vp-p;所述矩形波的频率40kHz,利用1-600Hz脉冲信号进行调制;所述的无人机主控机通过超声波相控阵动态库接口函数设置焦点坐标、函数波形选择、通道选择、设置脉冲个数、设置占空比和输入电压、调制信号的选择和启停相控阵;
所述的体感控制器定义的手势功能,具体包括每一帧获取掌心位置、指尖位置、手掌法向量、指尖方向、指尖速度及手指画圈、平移挥手、向前屏幕敲击,向下按键敲击和自定义手势;
所述的体感控制器具体通过下述方式对从不同角度实时捕获的手势画面进行处理:
建立自定义手势库,该库中存储无人机控制过程中使用的手势样本;
通过实时获取的两帧图像的帧差,确定指尖特征向量;根据最近邻法则对当前手势进行初步分类;
根据初步分类结果,从自定义手势库中获取同类样本使用欧式距离进行相似度计算,得出平均欧式距离;
将上述平均欧式距离与识别阈值进行比较,若平均欧式距离超出识别阈值,则当前手势类别错误,不对该手势进行后续处理;否则认为手势类别正确。
2.根据权利要求1所述的***,其特征在于:在无人机主控计算机上设置图形用户界面,图形用户界面上显示与无人机主控计算机接收的手势类别对应的指令按钮。
3.根据权利要求1所述的***,其特征在于:所述的体感控制器通过红外LED灯、摄像头对设备上方40毫米到600毫米的空间,呈倒立四棱锥体状空间内的动态指尖手势和手掌动作进行捕捉。
4.根据权利要求1所述的***,其特征在于:所述的识别阈值通过下述方式确定:
采集大量的手势样本数据并进行数据预处理,提取出轨迹点:所述的提取为找出指尖从静止状态到运动状态再到静止状态过程中指尖的位置并记录下来;
将提取的轨迹点进行优化处理制作成手势模板;
对上述手势模板进行手势训练,确定识别阈值。
5.多无人机在线管理平台,其特征在于:权利要求1-4之一所述的基于隔空手势和超声波触觉反馈的无人机操控***建立在该多无人机在线管理平台上,采用多线程技术实现主机对体感控制器、超声波相控阵和对无人机的控制。
6.根据权利要求1所述的基于隔空手势和超声波触觉反馈的无人机操控***实现的多无人机操控方法,其特征在于通过下述方式实现:
从不同角度实时捕获手势画面并进行识别,根据接收的手势类别发送对应的控制指令至无人机,当接收到无人机的成功响应反馈信息后执行后续步骤,否则停止当前处理;
根据识别的手势类别确定的触觉感知点作为焦点坐标;
产生多路矩形波然后利用低频脉冲信号对每路矩形波进行调制,得到调制波;
对每路调制波进行放大;
将放大后的每路调制波进行发射,产生调制的超声波在空中传播,并在焦点坐标处完成超声波聚焦,产生超声振动,使人获得触觉感知以表明当前手势任务已顺利完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811410383.4A CN109634300B (zh) | 2018-11-23 | 2018-11-23 | 基于隔空手势和超声波触觉反馈的多无人机操控***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811410383.4A CN109634300B (zh) | 2018-11-23 | 2018-11-23 | 基于隔空手势和超声波触觉反馈的多无人机操控***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109634300A CN109634300A (zh) | 2019-04-16 |
CN109634300B true CN109634300B (zh) | 2022-08-12 |
Family
ID=66069399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811410383.4A Active CN109634300B (zh) | 2018-11-23 | 2018-11-23 | 基于隔空手势和超声波触觉反馈的多无人机操控***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109634300B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110155350B (zh) * | 2019-04-23 | 2022-07-26 | 西北大学 | 一种无人机降落装置的控制方法 |
CN110085083B (zh) * | 2019-06-05 | 2024-03-15 | 南京航空航天大学 | 一种微气流喷射阵列虚拟操控平台 |
CN110515459B (zh) * | 2019-08-21 | 2020-08-18 | 西安交通大学 | 一种辅助盲人感知的超声波触觉反馈***及其方法 |
CN110737387B (zh) * | 2019-10-09 | 2021-06-04 | Oppo广东移动通信有限公司 | 页面展示方法及相关设备 |
CN110764521B (zh) * | 2019-10-15 | 2021-09-24 | 中国航空无线电电子研究所 | 面向多无人机的地面站任务飞行一体化监控***及方法 |
CN111176449B (zh) * | 2019-12-26 | 2023-09-29 | 中国运载火箭技术研究院 | 基于超声波多普勒手势识别与多点触感融合的***及方法 |
CN111290574B (zh) * | 2020-01-19 | 2022-09-09 | 超越科技股份有限公司 | 一种利用手势控制无人机的方法,设备及可读存储介质 |
CN112214111B (zh) * | 2020-10-15 | 2021-11-19 | 西安交通大学 | 一种融合视触觉感知的超声波阵列交互方法及*** |
CN112558758B (zh) * | 2020-11-27 | 2024-03-15 | 中国运载火箭技术研究院 | 一种光照粒子声悬浮全息显示*** |
CN112764593A (zh) * | 2021-01-15 | 2021-05-07 | 安徽省东超科技有限公司 | 触控反馈控制方法、存储介质、触控反馈***和终端设备 |
CN113110734B (zh) * | 2021-03-03 | 2024-06-07 | 中国运载火箭技术研究院 | 一种基于聚焦超声波产生虚拟形状感知的*** |
CN117021117B (zh) * | 2023-10-08 | 2023-12-15 | 电子科技大学 | 一种基于混合现实的移动机器人人机交互与定位方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1588036A (zh) * | 2004-09-08 | 2005-03-02 | 华南理工大学 | 一种超声波探伤*** |
CN102999986A (zh) * | 2013-01-07 | 2013-03-27 | 山东师范大学 | 基于超声相控阵的嵌入式入侵探测***及检测方法 |
CN205199873U (zh) * | 2015-12-28 | 2016-05-04 | 杭州电子科技大学 | 阵列式换能器超声波电源装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853071B (zh) * | 2010-05-13 | 2012-12-05 | 重庆大学 | 基于视觉的手势识别方法及*** |
US9798322B2 (en) * | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
GB2530036A (en) * | 2014-09-09 | 2016-03-16 | Ultrahaptics Ltd | Method and apparatus for modulating haptic feedback |
CN105426024B (zh) * | 2015-11-25 | 2018-03-27 | 吉林大学 | 一种基于超声波聚焦的触觉反馈***及方法 |
CN106155090B (zh) * | 2016-08-29 | 2019-04-19 | 电子科技大学 | 基于体感的可穿戴无人机控制设备 |
CN107688390A (zh) * | 2017-08-28 | 2018-02-13 | 武汉大学 | 一种基于体感交互设备的手势识别控制器 |
-
2018
- 2018-11-23 CN CN201811410383.4A patent/CN109634300B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1588036A (zh) * | 2004-09-08 | 2005-03-02 | 华南理工大学 | 一种超声波探伤*** |
CN102999986A (zh) * | 2013-01-07 | 2013-03-27 | 山东师范大学 | 基于超声相控阵的嵌入式入侵探测***及检测方法 |
CN205199873U (zh) * | 2015-12-28 | 2016-05-04 | 杭州电子科技大学 | 阵列式换能器超声波电源装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109634300A (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109634300B (zh) | 基于隔空手势和超声波触觉反馈的多无人机操控***及方法 | |
US11334765B2 (en) | Training a neural network with representations of user interface devices | |
Bermejo et al. | A survey on haptic technologies for mobile augmented reality | |
US20220261112A1 (en) | Systems, devices, and methods for touch-free typing | |
US11181985B2 (en) | Dynamic user interactions for display control | |
Liu et al. | M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar | |
EP3549109B1 (en) | Virtual user input controls in a mixed reality environment | |
CN103518172B (zh) | 凝视辅助的计算机界面 | |
CN105224069B (zh) | 一种增强现实虚拟键盘输入方法及使用该方法的装置 | |
WO2018126682A1 (zh) | 用于在虚拟现实***中提供触觉反馈的方法及装置 | |
CN118295526A (zh) | 用于基于神经肌肉控制执行输入的***、方法和界面 | |
KR20150103278A (ko) | 다수의 지각 감지 입력의 상호작용 | |
WO2012119371A1 (zh) | 一种用户交互***和方法 | |
CN113110734B (zh) | 一种基于聚焦超声波产生虚拟形状感知的*** | |
CN111176449B (zh) | 基于超声波多普勒手势识别与多点触感融合的***及方法 | |
Atwood et al. | American sign language recognition system | |
CN104281301B (zh) | 一种输入方法及电子设备 | |
Ito et al. | Ui design based on traditional japanese gesture | |
Kin et al. | STMG: A Machine Learning Microgesture Recognition System for Supporting Thumb-Based VR/AR Input | |
Jaimes et al. | Hotspot components for gesture-based interaction | |
Verma et al. | 7 Machine vision for human–machine interaction using hand gesture recognition | |
Vatavu | Interfaces that should feel right: natural interaction with multimedia information | |
Wang | Application of Artificial Intelligence in Hand Gesture Recognition with Virtual Reality: Survey and Analysis of Hand Gesture Hardware Selection | |
Sachdeva et al. | A Novel Technique for Hand Gesture Recognition | |
ZHANG | Enhancing Interaction Capability for VR Handheld Controllers: Exploratory Approaches using Swept Frequency Capacitive Sensing and Vision Sensing in Real-time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |