CN106227341A - 基于深度学习的无人机手势交互方法及*** - Google Patents
基于深度学习的无人机手势交互方法及*** Download PDFInfo
- Publication number
- CN106227341A CN106227341A CN201610574793.7A CN201610574793A CN106227341A CN 106227341 A CN106227341 A CN 106227341A CN 201610574793 A CN201610574793 A CN 201610574793A CN 106227341 A CN106227341 A CN 106227341A
- Authority
- CN
- China
- Prior art keywords
- gesture
- unmanned plane
- degree
- gestures
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了基于深度学习的无人机手势交互方法及***,属于无人机控制的技术领域。本发明的方案,实时采集手势图像,采用深度学习算法识别手势图像中的手势动作,对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集,按照手势定义集将待识别的手势动作映射为飞行指令,传输飞行指令给无人机。将深度学习算法引入无人机控制领域,基于海量手势定义集的数据对深度学习网络进行训练,让***智能理解用户的手势动作并将识别的手势动作转化为无人机多通道控制的物理指令,提高了识别率。
Description
技术领域
本发明公开了基于深度学习的无人机手势交互方法及***,属于无人机控制的技术领域。
背景技术
手势交互是指利用计算机图形学等技术对人类肢体动作进行识别和分析,并转化为命令进行操作的交互方式。现今的手势交互大致分为触屏手势交互和三维手势操控两大类。触屏手势在操作方面更为直观,然而触屏手势操控缺少物理反馈,技术限制也会引发操作敏感性和响应时间长等问题.。三维手势操控作为体感交互的一种方式具有巨大的研究及应用潜力。
近年来无人机市场蓬勃发展,尤其是可垂直起降的多旋翼无人机已经成为航模和微小型无人机的主流产品,它大大降低了航拍的成本与难度,汇聚一大批消费受众,并在物流、安全等诸多领域得到广泛应用。但现有的飞控技术,源于20世纪90年代产生的微电机***,通过遥控器进行操作,专业化程度较高,用户体验亟待提高。无人机手势交互是2013年出现的一种新技术,基于该技术,用户可以可将自己的“手”视为“一架旋翼无人机”,无需在大脑中进行“操作指令与无人机飞行通道”之间的映射思考,自由实现第一人称的飞行控制。无人机手势交互技术目前处于幼年期,苏黎世联邦理工学院(ETH)在该领域处于世界前沿,他们基于深度摄像机(Kinect)在实验室环境,初步实现了手对无人机的多通道飞行控制。
名称为“基于手势的无人机遥控***”的专利(申请号为201510324347.6),采用佩戴在操作人员身上的固定设备探测人手或人手上设备的实时运动轨迹,将实时运动轨迹处理后作为无人机运动的遥控指令,此方案需要穿戴设备获取手势信息,穿戴设备的引入对于体验用户来说是累赘,人机互动效果不佳。
名称为“一种能够识别手势的无人机及其识别方法”的专利(申请号为201510257015.0),通过离线训练好的手势运动模型来识别人的手势,再将人的手势翻译为无人机控制指令,存在速度慢、识别率低的缺陷。
名称为“一种基于计算机视觉的无人飞行器控制方法和装置”的专利(申请号为201511024647.9),将手势信息中的位移信息转换为飞行器的位移以获取姿态控制信号,手势信息通过采集手部深度信息并估计手部各标定点距离手势信息采集装置的距离信息得到,计算量大。
自2006年7月28日,Hinton G.E.和Salakhutdinov R.R.在Science上发表降维论文<Reducing the Dimensionality of Data with Neural Networks>,深度学习作为一种机器学习方法引起学术界和业界的广泛兴趣。目前,深度学习已经被成功应用于分类、降维、目标跟踪、情感识别等各个领域。目前,还没有将深度学习用于无人机手势交互的方法,本申请旨在提出一种基于深度学习的无人机手势交互方法。
发明内容
本发明的发明目的是针对上述背景技术的不足,提供了基于深度学习的无人机手势交互方法及***,利用深度学习算法海量训练手势图像以获取对应于多遥控通道控制指令的手势定义集,将识别的手势动作语义映射为飞行指令,有效识别了用户的手势动作,解决了现有无人机手势识别速度慢且识别率低的技术问题。
本发明为实现上述发明目的采用如下技术方案:
基于深度学习的无人机手势交互方法,包括如下步骤:
实时采集手势图像;
采用深度学习算法识别手势图像中的手势动作,对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集;
按照手势定义集将待识别的手势动作映射为飞行指令;及,
传输飞行指令给无人机。
作为所述基于深度学习的无人机手势交互方法的进一步优化方案,采用深度学习算法识别手势图像中的手势动作,具体方法为:采用堆叠自编码器模型对手势图像数据进行无监督训练,提取使得重构数据与输入数据误差最小的特征函数,并由目标函数调整各层自编码器的参数。
作为所述基于深度学习的无人机手势交互方法的再进一步优化方案,对识别的手势动作分类的方法为:在堆叠自编码器模型顶层添加一个分类器形成输入层-多隐层-输出层结构的神经网络,以带有标签的手势图像数据为训练样本进行监督学习,微调各层自编码器的参数,手势图像数据与分类器输出数据之间的映射关系构成手势定义集。
基于深度学习的无人机手势交互***,包括:
视频采集终端,用于实时采集手势图像;
手势识别模块,采用深度学习算法识别手势图像中的手势动作,对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集;
语义映射模块,用于按照手势定义集将待识别的手势动作映射为飞行指令;及,
指令发射模块,用于传输飞行指令至无人机。
进一步的,所述基于深度学习的无人机手势交互***,还包括对语义映射模块进行纠正的纠错与检错模块。
实现所述***的无人机远程控制接口,包括:
摄像头,用于将实时采集的手势图像传输给主控制器;
主控制器,用于处理手势图像得到待识别手势动作对应的飞控指令;及,
指令发射与飞控装置,用于将主控制器输出的飞控指令通过2.4G载波发送至无人机。
本发明采用上述技术方案,具有以下有益效果:
(1)本发明涉及的交互方法和***将深度学习算法引入无人机控制领域,基于海量手势定义集的数据对深度学习网络进行训练,让***智能理解用户的手势动作并将识别的手势动作转化为无人机多通道控制的物理指令,提高了识别率。
(2)提出了一种实现交互方法和***的无人机远程控制接口,基于该硬件接口,用户将自己的“手”视为无人机,即可实现第一人称的飞行操控,使得即使是没有受过专业化训练的用户也能准确操控无人机,提高了用户体验。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为无人机远程控制接口与无人机进行手势交互的示意图。
图2为无人机阵列远程控制接口的控制模块架构。
图3为基于深度学习的手势交互***的模块图。
图4为专业型手势集合的示意图。
图5(a)、图5(b)、图5(c)为简单型手势集合的示意图。
图6为自编码器模型。
图7为多层堆叠自编码器模型。
图8为基于深度学习的多层神经网络模型。
图9为手势识别率对比图。
具体实施方式
下面结合附图对发明的技术方案进行详细说明。深度学习采用多隐层方式从海量数据中提取特征,能够在盲条件下获取能见度特征,很适合全自由度的手势交互,本发明提出了将深度学习算法应用于无人机手势交互的方案.。
如图2、图3所示,实时采集手势图像,采用深度学习算法识别手势图像中的手势动作,对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集,按照手势定义集将待识别的手势动作映射为飞行指令,传输飞行指令给无人机。
1.手势定义集
多旋翼无人机一般有前进、后退、左移、右移、上升、下降、左旋、右旋、前翻滚、后翻滚、左翻滚、右翻滚等12个通道。本发明的目的在于降低无人机操控的门槛,让用户以第一人称自由操控无人机,无需专业培训即可操控无人机。由此,从人的主观意识出发,将手视为无人机对手势进行定义,根据通道数量将所有手势归为12类并预留扩展接口。比如,对于“左移”通道,用户一般会有向左移动的动作,但使用左手还是右手、臂膀还是手掌、以及移动幅度等等各不相同。本发明将所有可示意“左移”的手势动作全部归为一类,并采集海量手势图像,基于深度学习算法进行训练学习以不断完善手势定义集。专业型手势集如图4所示,简单型手势集如图5(a)、图5(b)、图5(c)所示。
手势定义集的目的是建立各种手势动作与无人机飞行动作的关系,表征了手势动作与无人机各遥控通道控制指令的映射关系,后续识别中由手势定义集表征的映射关系将体验用户的手势动作转化为具体的飞行命令,再通过2.4G载波发送飞行命令给无人机,从而控制无人机的有效飞行。
传统遥控器控制的无人机需要操作人员在脑海中思考如何操作遥控器才能使无人机按照预定的方向飞行,操作动作与飞行方向映射关系需要通过若干次专业训练才能在大脑中形成潜意识,降低了用户的体验感和飞行乐趣,但在本发明中不需要建立遥控器操作动作与飞行方向的映射关系,通过硬件设备及烧制在核心芯片上的程序实现手势动作与飞行命令的映射,用户只需要做相应动作,即可控制飞行方向。
2.基于深度学习的手势训练与识别算法
深度学习算法的优势在于通过逐层训练实现分类,因此深度学习方法非常适合用于无人机的手势交互控制。对于深度学习而言,数据统计和训练算法最为关键,其步骤如下:
(1)初始化参数
上述手势集的定义为初始化奠定了基础。在训练阶段,对各个子集做标记,以定义手势的不同训练样本,并对隐层的数量、偏差向量等做初始化参数设定。
需要初始化的参数主要有隐层数、初始化编码矩阵及偏差向量。
假设输入信号S的训练样本为{s1,s2,s3,…,sn-1,sN,},通过图6所示框架,能够在隐层得到对输入信号的编码信号Y,Y={y1,y2,y3,…,yn-1,yn,}。通过解码得到的重构信号Z为{z1,z2,z3,…,zn-1,zn,},如果Z和S之间误差很小,甚至一致,那么该编码是有效的。
在公式(1)、(2)中,W1为编码矩阵,W2为解码矩阵,p是编码偏差向量,q是解码偏差向量:
y=f1(W1x+p) (1)
z=f2(W2x+q) (2)
通过求解输入信号与重构信号之间的误差R(S,Z),可以得到公式(3),N为输入信号S的维数:
(2)逐层训练
由于手势识别仅用一个隐层无法很好地提取其特征,本发明采用多隐层法以提取手势动作的特征。如图7所示,采用多层堆叠自编码器模型对数据进行训练,将无标记的样本数据输入***,每当输入一个数据查看重构信号与原始数据的差别,然后我们调整重构信号中编码器与解码器的参数使它们之间的误差达到最小。当重构信号Z1完成以后,对于重构信号Z2这一层来说,重构信号Z1是类似于第一层的输入数据S。然后把重构信号Z1当做第二层的输入数据,经过第二层的编码、解码形成重构信号Z2。调节编码器、解码器的参数使重构信号Z2与重构信号Z1之间的误差达到最小,然后依次进行下一层的训练直到最后一层为止。
(3)监督微调
经过前述无监督训练的自动编码器模型还不能实现分类识别。要把数据进行标签分类处理,需要在上述多层堆叠自编码器模型的顶层加上一个分类器(如:罗切斯特分类器、SVM分类器)。然后通过标准的多层神经网络的监督训练方法(梯度下降法)去训练。如图8所示,需要将最后层的特征代码输入到最后的分类器。然后以有标签样本为多层神经网络的输入数据,通过监督学习进行微调,调整各层编码器、解码器的参数。
为实现上述基于深度学习的无人机手势交互方法,本发明提出了无人机阵列远程控制接口如图2、图3所示,包括摄像头、服务器(DL server)以及指令发射与飞控装置(Control Unit和Transmission unit)。摄像头用于将实时采集的手势图像传输给服务器。服务器主板(Development mainboard)上烧制有手势识别程序、语义映射程序,对手势图像做如下处理:识别手势图像中手势动作,获取对应于无人机各遥控通道控制指令的手势定义集,将待识别的手势动作映射为飞控指令。指令发射与飞控装置用于将接收的飞控指令通过2.4G载波发送至无人机。此外,服务器主板上还烧制有对语义映射相关程序进行纠正的纠错与检错程序。
本发明提出的无人机阵列远程控制接口与无人机进行指令交互,如图1所示,该接口的输入是用户的各种手势图片,输出的控制信号通过载波输送给无人机,以实现飞行控制。
UAV阵列远程控制接口中的服务器经过深度学习后具备了手势识别的能力。操作人员只要在摄像头面前做出相应的飞行手势,交互***就能够自动识别,并根据定义好语义映射关系得到相应的飞控指令。
图9是本发明算法的识别率,上方的图像表示模型正确分类的情形,共有634例,下方的图像表示模型错误分类的情形,共78例,总数为712例。从统计的角度,可得:
综上所述,本发明具有以下有益效果:
(1)本发明涉及的交互方法和***将深度学习算法引入无人机控制领域,基于海量手势定义集的数据对深度学习网络进行训练,让***智能理解用户的手势动作并将识别的手势动作转化为无人机多通道控制的物理指令,提高了识别率。
(2)提出了一种实现交互方法和***的无人机远程控制接口,基于该硬件接口,用户将自己的“手”视为无人机,即可实现第一人称的飞行操控,使得即使是没有受过专业化训练的用户也能准确操控无人机,提高了用户体验。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器,或者网络设备等)执行本发明的实施例或实施例的某些部分所述的方法。
Claims (6)
1.基于深度学习的无人机手势交互方法,其特征在于,包括如下步骤:
实时采集手势图像;
采用深度学习算法识别手势图像中的手势动作,对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集;
按照手势定义集将待识别的手势动作映射为飞行指令;及,
传输飞行指令给无人机。
2.根据权利要求1所述基于深度学习的无人机手势交互方法,其特征在于,采用深度学习算法识别手势图像中的手势动作,具体方法为:采用堆叠自编码器模型对手势图像数据进行无监督训练,提取使得重构数据与输入数据误差最小的特征函数,并由目标函数调整各层自编码器的参数。
3.根据权利要求2所述基于深度学习的无人机手势交互方法,其特征在于,对识别的手势动作分类的方法为:在堆叠自编码器模型顶层添加一个分类器形成输入层-多隐层-输出层结构的神经网络,以带有标签的手势图像数据为训练样本进行监督学习,微调各层自编码器的参数,手势图像数据与分类器输出数据之间的映射关系构成手势定义集。
4.基于深度学习的无人机手势交互***,其特征在于,包括:
视频采集终端,用于实时采集手势图像;
手势识别模块,采用深度学习算法识别手势图像中的手势动作,对识别的手势动作分类以形成对应于无人机各遥控通道控制指令的手势定义集;
语义映射模块,用于按照手势定义集将待识别的手势动作映射为飞行指令;及,
指令发射模块,用于传输飞行指令至无人机。
5.根据权利要求4所述基于深度学习的无人机手势交互***,其特征在于,所述***还包括对语义映射模块进行纠正的纠错与检错模块。
6.实现权利要求4所述***的无人机远程控制接口,其特征在于,包括:
摄像头,用于将实时采集的手势图像传输给主控制器;
主控制器,用于处理手势图像得到待识别手势动作对应的飞控指令;及,
指令发射与飞控装置,用于将主控制器输出的飞控指令通过2.4G载波发送至无人机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610574793.7A CN106227341A (zh) | 2016-07-20 | 2016-07-20 | 基于深度学习的无人机手势交互方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610574793.7A CN106227341A (zh) | 2016-07-20 | 2016-07-20 | 基于深度学习的无人机手势交互方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106227341A true CN106227341A (zh) | 2016-12-14 |
Family
ID=57531832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610574793.7A Pending CN106227341A (zh) | 2016-07-20 | 2016-07-20 | 基于深度学习的无人机手势交互方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106227341A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778700A (zh) * | 2017-01-22 | 2017-05-31 | 福州大学 | 一种基于変分编码器中国手语识别方法 |
CN107067617A (zh) * | 2017-05-16 | 2017-08-18 | 京东方科技集团股份有限公司 | 一种基于无人机的安全监控方法及安全监控*** |
CN107239728A (zh) * | 2017-01-04 | 2017-10-10 | 北京深鉴智能科技有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
CN107291232A (zh) * | 2017-06-20 | 2017-10-24 | 深圳市泽科科技有限公司 | 一种基于深度学习与大数据的体感游戏交互方法及*** |
CN107741781A (zh) * | 2017-09-01 | 2018-02-27 | 中国科学院深圳先进技术研究院 | 无人机的飞行控制方法、装置、无人机及存储介质 |
CN107831791A (zh) * | 2017-11-17 | 2018-03-23 | 南方科技大学 | 一种无人机的操控方法、装置、操控设备及存储介质 |
CN107862252A (zh) * | 2017-10-19 | 2018-03-30 | 珠海格力电器股份有限公司 | 电暖器及其加热方法、装置、存储介质和处理器 |
WO2018116028A1 (en) * | 2016-12-21 | 2018-06-28 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
CN108248413A (zh) * | 2016-12-28 | 2018-07-06 | 广州市移电科技有限公司 | 设有充电桩的路灯 |
CN108460354A (zh) * | 2018-03-09 | 2018-08-28 | 深圳臻迪信息技术有限公司 | 无人机控制方法、装置、无人机及*** |
CN108471081A (zh) * | 2018-03-26 | 2018-08-31 | 深圳市喜悦智慧实验室有限公司 | 一种高压线巡检机器人 |
CN108496188A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 神经网络训练的方法、装置、计算机***和可移动设备 |
CN108573225A (zh) * | 2018-03-30 | 2018-09-25 | 国网天津市电力公司电力科学研究院 | 一种局部放电信号模式识别方法及*** |
CN108664119A (zh) * | 2017-10-31 | 2018-10-16 | 中国农业大学 | 一种配置体感动作与虚拟操作间映射关系的方法及装置 |
CN109033978A (zh) * | 2018-06-28 | 2018-12-18 | 济南大学 | 一种基于纠错策略的cnn-svm混合模型手势识别方法 |
CN109062400A (zh) * | 2018-07-06 | 2018-12-21 | 深圳臻迪信息技术有限公司 | 图像采集器的控制方法和装置 |
CN109492578A (zh) * | 2018-11-08 | 2019-03-19 | 北京华捷艾米科技有限公司 | 一种基于深度摄像头的手势遥控方法及装置 |
WO2019061466A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、遥控装置、遥控*** |
CN109782906A (zh) * | 2018-12-28 | 2019-05-21 | 深圳云天励飞技术有限公司 | 一种广告机的手势识别方法、交互方法、装置和电子设备 |
CN109992102A (zh) * | 2017-12-30 | 2019-07-09 | 广州大正新材料科技有限公司 | 一种手势识别与传输装置及其*** |
CN110825218A (zh) * | 2018-08-09 | 2020-02-21 | 富士施乐株式会社 | 用于执行手势检测的***和设备 |
CN111241963A (zh) * | 2020-01-06 | 2020-06-05 | 中山大学 | 基于交互建模的第一人称视角视频交互行为识别方法 |
CN112121280A (zh) * | 2020-08-31 | 2020-12-25 | 浙江大学 | 一种心音盒的控制方法及控制*** |
CN112732083A (zh) * | 2021-01-05 | 2021-04-30 | 西安交通大学 | 一种基于手势识别的无人机智能控制方法 |
CN114035689A (zh) * | 2021-11-26 | 2022-02-11 | 朱芳程 | 一种基于人工智能的可追随飞行人机交互***和方法 |
CN114281091A (zh) * | 2021-12-20 | 2022-04-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于行为识别的无人机集群内部信息传递方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5714698A (en) * | 1994-02-03 | 1998-02-03 | Canon Kabushiki Kaisha | Gesture input method and apparatus |
CN103955702A (zh) * | 2014-04-18 | 2014-07-30 | 西安电子科技大学 | 基于深度rbf网络的sar图像地物分类方法 |
CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
-
2016
- 2016-07-20 CN CN201610574793.7A patent/CN106227341A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5714698A (en) * | 1994-02-03 | 1998-02-03 | Canon Kabushiki Kaisha | Gesture input method and apparatus |
CN103955702A (zh) * | 2014-04-18 | 2014-07-30 | 西安电子科技大学 | 基于深度rbf网络的sar图像地物分类方法 |
CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
Non-Patent Citations (1)
Title |
---|
韩伟 等: "深度学习理论及其应用专题讲座(二)第3讲 深度学习中的经典网络模型及训练方法", 《军事通信技术》 * |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018116028A1 (en) * | 2016-12-21 | 2018-06-28 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
CN110300938A (zh) * | 2016-12-21 | 2019-10-01 | 杭州零零科技有限公司 | 用于免控制器式用户无人机交互的***和方法 |
CN110687902A (zh) * | 2016-12-21 | 2020-01-14 | 杭州零零科技有限公司 | 用于免控制器式用户无人机交互的***和方法 |
CN110687902B (zh) * | 2016-12-21 | 2020-10-20 | 杭州零零科技有限公司 | 用于免控制器式用户无人机交互的***和方法 |
US11340606B2 (en) | 2016-12-21 | 2022-05-24 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
US10409276B2 (en) | 2016-12-21 | 2019-09-10 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
CN108248413A (zh) * | 2016-12-28 | 2018-07-06 | 广州市移电科技有限公司 | 设有充电桩的路灯 |
CN107239728B (zh) * | 2017-01-04 | 2021-02-02 | 赛灵思电子科技(北京)有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
CN107239728A (zh) * | 2017-01-04 | 2017-10-10 | 北京深鉴智能科技有限公司 | 基于深度学习姿态估计的无人机交互装置与方法 |
CN106778700A (zh) * | 2017-01-22 | 2017-05-31 | 福州大学 | 一种基于変分编码器中国手语识别方法 |
CN107067617A (zh) * | 2017-05-16 | 2017-08-18 | 京东方科技集团股份有限公司 | 一种基于无人机的安全监控方法及安全监控*** |
CN108496188A (zh) * | 2017-05-31 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 神经网络训练的方法、装置、计算机***和可移动设备 |
CN107291232A (zh) * | 2017-06-20 | 2017-10-24 | 深圳市泽科科技有限公司 | 一种基于深度学习与大数据的体感游戏交互方法及*** |
CN107741781A (zh) * | 2017-09-01 | 2018-02-27 | 中国科学院深圳先进技术研究院 | 无人机的飞行控制方法、装置、无人机及存储介质 |
WO2019061466A1 (zh) * | 2017-09-30 | 2019-04-04 | 深圳市大疆创新科技有限公司 | 一种飞行控制方法、遥控装置、遥控*** |
CN107862252A (zh) * | 2017-10-19 | 2018-03-30 | 珠海格力电器股份有限公司 | 电暖器及其加热方法、装置、存储介质和处理器 |
CN108664119B (zh) * | 2017-10-31 | 2020-11-03 | 中国农业大学 | 一种配置体感动作与虚拟操作间映射关系的方法及装置 |
CN108664119A (zh) * | 2017-10-31 | 2018-10-16 | 中国农业大学 | 一种配置体感动作与虚拟操作间映射关系的方法及装置 |
CN107831791B (zh) * | 2017-11-17 | 2020-12-15 | 深圳意动航空科技有限公司 | 一种无人机的操控方法、装置、操控设备及存储介质 |
CN107831791A (zh) * | 2017-11-17 | 2018-03-23 | 南方科技大学 | 一种无人机的操控方法、装置、操控设备及存储介质 |
CN109992102A (zh) * | 2017-12-30 | 2019-07-09 | 广州大正新材料科技有限公司 | 一种手势识别与传输装置及其*** |
CN108460354A (zh) * | 2018-03-09 | 2018-08-28 | 深圳臻迪信息技术有限公司 | 无人机控制方法、装置、无人机及*** |
CN108460354B (zh) * | 2018-03-09 | 2020-12-29 | 深圳臻迪信息技术有限公司 | 无人机控制方法、装置、无人机及*** |
CN108471081A (zh) * | 2018-03-26 | 2018-08-31 | 深圳市喜悦智慧实验室有限公司 | 一种高压线巡检机器人 |
CN108573225B (zh) * | 2018-03-30 | 2022-01-18 | 国网天津市电力公司电力科学研究院 | 一种局部放电信号模式识别方法及*** |
CN108573225A (zh) * | 2018-03-30 | 2018-09-25 | 国网天津市电力公司电力科学研究院 | 一种局部放电信号模式识别方法及*** |
CN109033978B (zh) * | 2018-06-28 | 2023-04-18 | 济南大学 | 一种基于纠错策略的cnn-svm混合模型手势识别方法 |
CN109033978A (zh) * | 2018-06-28 | 2018-12-18 | 济南大学 | 一种基于纠错策略的cnn-svm混合模型手势识别方法 |
CN109062400A (zh) * | 2018-07-06 | 2018-12-21 | 深圳臻迪信息技术有限公司 | 图像采集器的控制方法和装置 |
CN110825218A (zh) * | 2018-08-09 | 2020-02-21 | 富士施乐株式会社 | 用于执行手势检测的***和设备 |
CN109492578A (zh) * | 2018-11-08 | 2019-03-19 | 北京华捷艾米科技有限公司 | 一种基于深度摄像头的手势遥控方法及装置 |
CN109782906A (zh) * | 2018-12-28 | 2019-05-21 | 深圳云天励飞技术有限公司 | 一种广告机的手势识别方法、交互方法、装置和电子设备 |
CN111241963A (zh) * | 2020-01-06 | 2020-06-05 | 中山大学 | 基于交互建模的第一人称视角视频交互行为识别方法 |
CN111241963B (zh) * | 2020-01-06 | 2023-07-14 | 中山大学 | 基于交互建模的第一人称视角视频交互行为识别方法 |
CN112121280A (zh) * | 2020-08-31 | 2020-12-25 | 浙江大学 | 一种心音盒的控制方法及控制*** |
CN112732083A (zh) * | 2021-01-05 | 2021-04-30 | 西安交通大学 | 一种基于手势识别的无人机智能控制方法 |
CN114035689A (zh) * | 2021-11-26 | 2022-02-11 | 朱芳程 | 一种基于人工智能的可追随飞行人机交互***和方法 |
CN114281091A (zh) * | 2021-12-20 | 2022-04-05 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于行为识别的无人机集群内部信息传递方法 |
CN114281091B (zh) * | 2021-12-20 | 2024-05-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于行为识别的无人机集群内部信息传递方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106227341A (zh) | 基于深度学习的无人机手势交互方法及*** | |
Lea et al. | Segmental spatiotemporal cnns for fine-grained action segmentation | |
Gu et al. | Human gesture recognition through a kinect sensor | |
Natarajan et al. | Hand gesture controlled drones: An open source library | |
CN109508375A (zh) | 一种基于多模态融合的社交情感分类方法 | |
CN109034376A (zh) | 一种基于lstm的无人机飞行状态预测方法及*** | |
Chen et al. | A real-time dynamic hand gesture recognition system using kinect sensor | |
CN107239728A (zh) | 基于深度学习姿态估计的无人机交互装置与方法 | |
CN106909938B (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
CN106598226A (zh) | 一种基于双目视觉和深度学习的无人机人机交互方法 | |
CN107741781A (zh) | 无人机的飞行控制方法、装置、无人机及存储介质 | |
CN105159452B (zh) | 一种基于人脸姿态估计的控制方法与*** | |
CN108288015A (zh) | 基于时间尺度不变性的视频中人体动作识别方法及*** | |
CN103123619A (zh) | 基于情感上下文的视觉语音多模态协同分析方法及*** | |
Areeb et al. | Helping hearing-impaired in emergency situations: A deep learning-based approach | |
CN109508686B (zh) | 一种基于层次化特征子空间学习的人体行为识别方法 | |
CN106709528A (zh) | 基于多目标函数深度学习的车辆重识别方法及装置 | |
Vakanski et al. | Mathematical modeling and evaluation of human motions in physical therapy using mixture density neural networks | |
CN107122050A (zh) | 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法 | |
Ezzouhri et al. | Robust deep learning-based driver distraction detection and classification | |
CN105608952A (zh) | 基于无人机的飞行模拟训练***及其飞行模拟方法 | |
CN112859898A (zh) | 一种基于双通道双向神经网络的飞行器轨迹预测方法 | |
Kishore et al. | Continuous sign language recognition from tracking and shape features using fuzzy inference engine | |
CN105894008A (zh) | 结合特征点匹配及深度神经网络检测的目标运动跟踪方法 | |
Bicer et al. | Sample efficient interactive end-to-end deep learning for self-driving cars with selective multi-class safe dataset aggregation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161214 |
|
WD01 | Invention patent application deemed withdrawn after publication |