CN109613930B - 无人飞行器的控制方法、装置、无人飞行器及存储介质 - Google Patents
无人飞行器的控制方法、装置、无人飞行器及存储介质 Download PDFInfo
- Publication number
- CN109613930B CN109613930B CN201811574717.1A CN201811574717A CN109613930B CN 109613930 B CN109613930 B CN 109613930B CN 201811574717 A CN201811574717 A CN 201811574717A CN 109613930 B CN109613930 B CN 109613930B
- Authority
- CN
- China
- Prior art keywords
- tracking target
- image
- shot image
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000009471 action Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 11
- 230000000007 visual effect Effects 0.000 abstract description 6
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种无人飞行器的控制方法、装置、无人飞行器及存储介质。其中，无人飞行器的控制方法包括：获取拍摄图像；识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；根据手势信息控制无人飞行器飞行。利用无人飞行器获取的拍摄图像做目标检测，得到跟踪目标，即特定指挥者，进一步地获取跟踪目标的手势信息，进而根据手势信息对应的控制指令来控制无人飞行器，实现基于视觉识别的无人飞行器手势控制，提供了无约束的人机交互方式，进一步实现无人飞行器的自动化。
Description
技术领域
本申请涉及无人飞行器领域，尤其涉及一种无人飞行器的控制方法、装置、无人飞行器及存储介质。
背景技术
近年来无人飞行器开始出现在人类社会生产生活的方方面面，在航拍、监控、安防、救灾等领域得到了广泛的应用，但早期各种场景下无人飞行器的实际应用多数基于人为遥控或干预，自动化程度不高。随着无人飞行器自动化工作需求的不断扩大，使操作员与无人机以更自然、简单、直观的方式进行交互，将人类自然的手势精确地应用到无人机的飞行控制的人机交互技术成为无人机的飞行控制研究的难点之一。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种无人飞行器的控制方法、装置、计算机设备及存储介质。
第一方面，本申请提供了一种无人飞行器的控制方法，包括：获取拍摄图像；识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；根据手势信息控制无人飞行器飞行。
第二方面，本申请提供了一种无人飞行器的控制装置，包括存储器、处理器、存储在存储器上并可在处理器上运行的计算机指令，处理器执行计算机指令时实现：获取拍摄图像；识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；根据手势信息控制无人飞行器飞行。
第三方面，本申请提供了一种无人飞行器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，处理器执行计算机指令时实现如第一方面的控制方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现如第一方面的无人飞行器的控制方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请实施例提供的该方法，利用无人飞行器获取的拍摄图像做目标检测，得到跟踪目标，即特定指挥者，进一步地获取跟踪目标的手势信息，进而根据手势信息对应的控制指令来控制无人飞行器，实现基于视觉识别的无人飞行器手势控制，提供了无约束的人机交互方式，进一步实现无人飞行器的自动化。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的一个实施例提供的无人飞行器的控制方法的流程图；
图2为本申请的另一个实施例提供的无人飞行器的控制方法的流程图；
图3为本申请一个实施例提供的无人飞行器的控制装置的示意框图；
图4为本申请一个具体实施例提供的基于视觉算法的无人飞行器手势控制方法的过程示意图；
图5为本申请一个具体实施例提供的指挥者检测再识别以及手势识别过程的示意框图；
图6为本申请一个具体实施例提供的预测候选框网络的结构示意图；
图7为本申请一个具体实施例提供的识别网络的结构示意图；
图8为本申请一个具体实施例提供的无人飞行器***的示意图；
图9为本申请一个实施例提供的一种无人飞行器的示意框图；
图10为本申请另一个实施例提供的一种无人飞行器的结构示意框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请的一个实施例提供的无人飞行器的控制方法的流程图，其中，该控制方法包括：
步骤102，获取拍摄图像；
步骤104，识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；
步骤106，根据手势信息控制无人飞行器飞行。
本申请实施例提供的该方法，利用无人飞行器获取的拍摄图像做目标检测，得到跟踪目标，即特定指挥者，进一步地获取跟踪目标的手势信息，进而根据手势信息对应的控制指令来控制无人飞行器，实现基于视觉识别的无人飞行器手势控制，提供了无约束的人机交互方式，进一步实现无人飞行器的自动化。
可选地，步骤104中，识别拍摄图像，获取拍摄图像的跟踪目标，具体包括：将拍摄图像划分为多个子图像帧；识别多个子图像帧中的第一子图像帧中的跟踪目标，并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪，以获取拍摄图像的跟踪目标。
在该实施例中，在第一子图像帧中的识别跟踪目标，将跟踪目标在该第一子图像帧中用跟踪框框起来，并利用跟踪框、第一子图像帧中的跟踪目标的特征信息等，在第一子图像帧以后的每个子图像帧中都获取跟踪目标，以实现对拍摄图像的跟踪目标的获取。
可选地，步骤104中，获取拍摄图像的跟踪目标的手势信息，具体包括：识别每个子图像帧中的跟踪目标的手势动作，并对每个子图像帧中的跟踪目标的手势动作进行分类，得到每个子图像帧的手势类别；将数量最多的手势类别作为手势信息。
在该实施例中，为了提升处理速度，采用基于二维图像的手势识别算法，把手势识别的问题建模成简单的图像分类问题，采用mobilenet 模块作为特征提取层，对输入的每一帧图像进行分类。由于动作是持续的，为了避免个别帧图片识别出错，引入滑窗的办法，即以预设数量(例如15帧)图像为一个窗口对识别的图像进行多数类别的投票，数量多的类别作为这一个窗口最终的动作类别。
图2为本申请的另一个实施例提供的无人飞行器的控制方法的流程图，其中，该控制方法包括：
步骤202，获取拍摄图像；
步骤204，识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；
步骤206，获取对任一子图像帧的跟踪目标的跟踪响应信息；
步骤208，根据跟踪响应信息判断是否对拍摄图像的跟踪目标跟踪失败，在对拍摄图像的跟踪目标跟踪失败的情况下，返回步骤204，在对拍摄图像的跟踪目标跟踪未失败的情况下，进入步骤210；
步骤210，根据手势信息控制无人飞行器飞行。
在该实施例中，跟踪响应信息可以为对下一个子图像帧中的跟踪目标的跟踪预测置信度(跟踪可信值)，将该预测置信度与预设值进行比较，当其低于预设值时判断对下一个子图像帧中的跟踪目标跟踪失败，若跟踪失败则重新检测拍摄图像。例如，预设值为0.5，当确定下一个子图像帧中的跟踪目标的预测置信度为0.9，则跟踪成功，当确定下一个子图像帧中的跟踪目标的预测置信度为0.3，则跟踪失败。
可选地，步骤204中，识别拍摄图像，获取拍摄图像的跟踪目标，具体包括：将拍摄图像划分为多个子图像帧；识别多个子图像帧中的第一子图像帧中的跟踪目标，并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪，以获取拍摄图像的跟踪目标。
可选地，步骤204中，获取拍摄图像的跟踪目标的手势信息，具体包括：识别每个子图像帧中的跟踪目标的手势动作，并对每个子图像帧中的跟踪目标的手势动作进行分类，得到每个子图像帧的手势类别；将数量最多的手势类别作为手势信息。
图3为本申请一个实施例提供的无人飞行器的控制装置30的示意框图，该控制装置30包括：存储器302、处理器304、存储在存储器302上并可在处理器304上运行的计算机指令，处理器304执行计算机指令时实现：
获取拍摄图像；识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；根据手势信息控制无人飞行器飞行。
本申请实施例提供的该控制装置30，利用无人飞行器获取的拍摄图像做目标检测，得到跟踪目标，即特定指挥者，进一步地获取跟踪目标的手势信息，进而根据手势信息对应的控制指令来控制无人飞行器，实现基于视觉识别的无人飞行器手势控制，提供了无约束的人机交互方式，进一步实现无人飞行器的自动化。
可选地，处理器304执行计算机指令时实现识别拍摄图像，获取拍摄图像的跟踪目标，具体包括：将拍摄图像划分为多个子图像帧；识别多个子图像帧中的第一子图像帧中的跟踪目标，并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪，以获取拍摄图像的跟踪目标。
在该实施例中，在第一子图像帧中的识别跟踪目标，将跟踪目标在该第一子图像帧中用跟踪框框起来，并利用跟踪框、第一子图像帧中的跟踪目标的特征信息等，在第一子图像帧以后的每个子图像帧中都获取跟踪目标，以实现对拍摄图像的跟踪目标的获取。
可选地，处理器304执行计算机指令时实现获取拍摄图像的跟踪目标的手势信息，具体包括：识别每个子图像帧中的跟踪目标的手势动作，并对每个子图像帧中的跟踪目标的手势动作进行分类，得到每个子图像帧的手势类别；将数量最多的手势类别作为手势信息。
在该实施例中，为了提升处理速度，采用基于二维图像的手势识别算法，把手势识别的问题建模成简单的图像分类问题，采用mobilenet 模块作为特征提取层，对输入的每一帧图像进行分类，其中mobilenet 是使用深度可分离的卷积来构建轻量级的深层神经网络。由于动作是持续的，为了避免个别帧图片识别出错，引入滑窗的办法，即以预设数量(例如15帧)图像为一个窗口对识别的图像进行多数类别的投票，数量多的类别作为这一个窗口最终的动作类别。
可选地，处理器304执行计算机指令时还实现：获取对任一子图像帧的跟踪目标的跟踪响应信息；根据跟踪响应信息判断是否对拍摄图像的跟踪目标跟踪失败；在对拍摄图像的跟踪目标跟踪失败的情况下，重新获取拍摄图像的跟踪目标。
在该实施例中，跟踪响应信息可以为对下一个子图像帧中的跟踪目标的跟踪预测置信度(跟踪可信值)，将该预测置信度与预设值进行比较，当其低于预设值时判断对下一个子图像帧中的跟踪目标跟踪失败，若跟踪失败则重新检测拍摄图像。例如，预设值为0.5，当确定下一个子图像帧中的跟踪目标的预测置信度为0.9，则跟踪成功，当确定下一个子图像帧中的跟踪目标的预测置信度为0.3，则跟踪失败。
在本发明的一个具体实施例中，提出一种基于视觉算法的无人飞行器手势控制方法，该控制方法的过程示意图如图4所示，包括：(1) 指挥者的检测再识别；(2)手势识别；(3)无人飞行器控制。具体为，对捕获的图片做目标检测，利用识别网络提取检测结果特征与目标人群列表的特征进行匹配，同时将卷积神经网络特征图通过ROI Pooling 送入手势分类器输出手势识别类别，其中，ROI Pooling层是Pooling 层的一种，ROI Pooling层的过程就是为了将proposal扣取出来的过程然后调整到统一的大小。如果存在匹配结果，则输出手势识别类别信息，否则不进行输出。并且加入了防止跟丢的再检测算法，如果跟丢目标则重新检测。进而根据手势识别的控制指令结合飞控开发来控制无人飞行器，实现最终的手势控制无人飞行器。
图5为本申请一个具体实施例提供的指挥者检测再识别以及手势识别过程的示意框图，结合图5说明指挥者检测再识别以及手势识别过程：
(1)人群中特定指挥者的识别及再检测算法：
步骤一：首先保证高精度的目标检测，采用two stage的目标检测算法，即先产生候选框，再对候选框进行识别。首先利用特征提取网络提取输入图片的语义信息。
步骤二：将提取得到的卷积网络特征图送入预测候选框网络，预测候选框网络包含3×3卷积网络和1×1卷积网络，具体结构如图6 所示。
步骤三：将候选框映射到特征图进行ROI Pooling后的固定长度特征送入识别网络，识别网络输出固定2048维的特征向量，识别网络的结构如图7所示。
步骤四：将2048维的特征向量映射到低维子空间的256维特征，再与已经存储好的目标人群特征进行余弦相似度比较并进行升序排列，设定经验阈值0.1，若排名第一的相似度小于阈值，则认为匹配。
(2)高效的手势识别算法：
步骤一：为了提升处理速度，采用基于二维图像的手势识别算法。把手势识别的问题建模成简单的图像分类问题，采用mobilenet模块作为特征提取层，对输入的每一帧图像进行分类。
步骤二：将识别网络的输出边框映射到特征图上再进行ROI Pooling提取固定维度的特征。并将特征送入手势分类器(softmax分类器)分类手势类别。由于动作是持续的，为了避免个别帧图片识别出错，引入滑窗的办法，即以15帧图像为一个窗口对识别的图像进行多数类别的投票，数量多的类别作为这一个窗口最终的动作类别。
步骤三：若特征匹配模块有输出，则将步骤二的结果作为最终结果输出，若特征匹配模块没有输出，则最终结果没有输出。
图8为本申请一个具体实施例提供的无人飞行器***的示意图，该无人飞行器***包括：深度学***台802、飞行控制器804、云台相机806、地面端电脑808、机载电脑810。无人飞行器***的工作步骤包括：
步骤一：把深度学***台802作为四轴无人飞行器的机载电脑，直接与飞行控制器804和云台相机806相连，同时地面端电脑808 与机载电脑810通过无线连接，用于启动和控制程序，机载电脑810 实时返回飞行状态信息。
步骤二：利用飞行控制器804开源的SDK(软件开发工具包)开发控制指令，接收识别出来的手势信号，转换成上、下、左、右、前、后、停止等控制信号，同时控制无人飞行器的机身转角(图中未示出) 和云台转角(图中未示出)，保证控制者始终在无人飞行器检测的画面中。
如图9所示，本实施例公开一种无人飞行器，包括：处理器901、存储器902、通信接口903和总线904；
其中，所述处理器901、存储器902、通信接口903通过所述总线904完成相互间的通信；
所述通信接口903用于外部设备之间的信息传输；所述外部设备例如为用户设备UE；
所述处理器901用于调用所述存储器902中的程序指令，以执行如各方法实施例所提供的方法，例如包括：
获取拍摄图像；
识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；
根据手势信息控制无人飞行器飞行。
本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行各方法实施例所提供的方法，例如包括：
获取拍摄图像；
识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；
根据手势信息控制无人飞行器飞行。
图10是本发明一个具体实施例提供的无人飞行器的结构示意图。图10所示的无人飞行器100包括：至少一个处理器101、存储器102、至少一个网络接口104和其他用户接口103。无人飞行器100中的各个组件通过总线***105耦合在一起。可理解，总线***105用于实现这些组件之间的连接通信。总线***105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线***105。
其中，用户接口103可以包括显示器、键盘或者点击设备，例如：鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器 (ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM， DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM， DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM， ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM) 和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本文描述的存储器102旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作***1021 和应用程序1022。
其中，操作***1021，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。
在本发明实施例中，通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行各方法实施例所提供的方法步骤，例如包括：获取拍摄图像；识别拍摄图像，获取拍摄图像的跟踪目标，以及获取拍摄图像的跟踪目标的手势信息；根据手势信息控制无人飞行器飞行。
上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101 可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecific IntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备 (DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明各个实施例所述的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法或者实施例的某些部分所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (4)
1.一种无人飞行器的控制方法，其特征在于，包括：
获取拍摄图像；
识别所述拍摄图像，获取所述拍摄图像的跟踪目标，以及获取所述拍摄图像的跟踪目标的手势信息；
其中，所述识别所述拍摄图像，获取所述拍摄图像的跟踪目标，具体包括：将所述拍摄图像划分为多个子图像帧；识别所述多个子图像帧中的第一子图像帧中的跟踪目标，并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪，以获取所述拍摄图像的跟踪目标；
其中，所述获取所述拍摄图像的跟踪目标的手势信息，具体包括：识别每个所述子图像帧中的跟踪目标的手势动作，并对每个所述子图像帧中的跟踪目标的手势动作进行分类，得到每个所述子图像帧的手势类别；将数量最多的手势类别作为所述手势信息；
根据所述手势信息控制所述无人飞行器飞行；
所述方法还包括：
获取对任一子图像帧的跟踪目标的跟踪响应信息；
根据所述跟踪响应信息判断是否对所述拍摄图像的跟踪目标跟踪失败；
在对所述拍摄图像的跟踪目标跟踪失败的情况下，重新获取所述拍摄图像的跟踪目标；
其中，重新获取所述拍摄图像的跟踪目标，包括：
利用特征提取网络提取输入图片的语义信息，得到卷积网络特征图；
将提取得到的所述卷积网络特征图送入预测候选框网络；所述预测候选框网络包含3×3卷积网络和1×1卷积网络；
将所述3×3卷积网络和所述1×1卷积网络映射到所述卷积网络特征图进行ROIPooling后的固定长度特征送入识别网络，所述识别网络输出固定2048维的特征向量；
将所述2048维的特征向量映射到低维子空间的256维特征，再与已经存储好的目标人群特征进行余弦相似度比较，得到比较结果，对所述比较结果进行升序排列，设定经验阈值0.1，若所述比较结果中排名第一的相似度小于所述经验阈值，确定所述比较结果中排名第一的目标为所述跟踪目标。
2.一种无人飞行器的控制装置，其特征在于，包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现：
获取拍摄图像；
识别所述拍摄图像，获取所述拍摄图像的跟踪目标，以及获取所述拍摄图像的跟踪目标的手势信息；
其中，所述识别所述拍摄图像，获取所述拍摄图像的跟踪目标，具体包括：将所述拍摄图像划分为多个子图像帧；识别所述多个子图像帧中的第一子图像帧中的跟踪目标，并根据第一子图像帧中的跟踪目标对其它子图像帧进行目标跟踪，以获取所述拍摄图像的跟踪目标；
其中，所述获取所述拍摄图像的跟踪目标的手势信息，具体包括：识别每个所述子图像帧中的跟踪目标的手势动作，并对每个所述子图像帧中的跟踪目标的手势动作进行分类，得到每个所述子图像帧的手势类别；将数量最多的手势类别作为所述手势信息；
根据所述手势信息控制所述无人飞行器飞行；
所述处理器执行所述计算机指令时还实现：
获取对任一子图像帧的跟踪目标的跟踪响应信息；
根据所述跟踪响应信息判断是否对所述拍摄图像的跟踪目标跟踪失败；
在对所述拍摄图像的跟踪目标跟踪失败的情况下，重新获取所述拍摄图像的跟踪目标；
其中，重新获取所述拍摄图像的跟踪目标，包括：
利用特征提取网络提取输入图片的语义信息，得到卷积网络特征图；
将提取得到的所述卷积网络特征图送入预测候选框网络；所述预测候选框网络包含3×3卷积网络和1×1卷积网络；
将所述3×3卷积网络和所述1×1卷积网络映射到所述卷积网络特征图进行ROIPooling后的固定长度特征送入识别网络，所述识别网络输出固定2048维的特征向量；
将所述2048维的特征向量映射到低维子空间的256维特征，再与已经存储好的目标人群特征进行余弦相似度比较，得到比较结果，对所述比较结果进行升序排列，设定经验阈值0.1，若所述比较结果中排名第一的相似度小于所述经验阈值，确定所述比较结果中排名第一的目标为所述跟踪目标。
3.一种无人飞行器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现如权利要求1所述的无人飞行器的控制方法的步骤。
4.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1所述的无人飞行器的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811574717.1A CN109613930B (zh) | 2018-12-21 | 2018-12-21 | 无人飞行器的控制方法、装置、无人飞行器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811574717.1A CN109613930B (zh) | 2018-12-21 | 2018-12-21 | 无人飞行器的控制方法、装置、无人飞行器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109613930A CN109613930A (zh) | 2019-04-12 |
| CN109613930B true CN109613930B (zh) | 2022-05-24 |
Family
ID=66010444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811574717.1A Active CN109613930B (zh) | 2018-12-21 | 2018-12-21 | 无人飞行器的控制方法、装置、无人飞行器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109613930B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036213A (zh) * | 2019-06-03 | 2020-12-04 | 安克创新科技股份有限公司 | 一种机器人的手势定位方法、机器人以及装置 |
| CN110276292B (zh) * | 2019-06-19 | 2021-09-10 | 上海商汤智能科技有限公司 | 智能车运动控制方法及装置、设备和存储介质 |
| WO2021072766A1 (zh) * | 2019-10-18 | 2021-04-22 | 深圳市大疆创新科技有限公司 | 飞行控制方法、***、无人飞行器及存储介质 |
| CN111062311B (zh) * | 2019-12-13 | 2023-05-23 | 东南大学 | 一种基于深度级可分离卷积网络的行人手势识别与交互方法 |
| CN114138104A (zh) * | 2020-09-04 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 电子设备的控制方法、装置及电子设备 |
| CN114615429A (zh) * | 2022-03-03 | 2022-06-10 | 深圳市明日实业有限责任公司 | 手势识别方法、***、拍摄终端、拍摄***和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831439A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势跟踪方法及*** |
| CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
| CN106127146A (zh) * | 2016-06-22 | 2016-11-16 | 电子科技大学 | 一种基于手势识别的无人机航迹指引方法 |
| CN106203299A (zh) * | 2016-06-30 | 2016-12-07 | 北京二郎神科技有限公司 | 一种可操控设备的控制方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9663227B1 (en) * | 2015-12-22 | 2017-05-30 | Gopro, Inc. | Systems and methods for controlling an unmanned aerial vehicle |
-
2018
- 2018-12-21 CN CN201811574717.1A patent/CN109613930B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831439A (zh) * | 2012-08-15 | 2012-12-19 | 深圳先进技术研究院 | 手势跟踪方法及*** |
| CN104808799A (zh) * | 2015-05-20 | 2015-07-29 | 成都通甲优博科技有限责任公司 | 一种能够识别手势的无人机及其识别方法 |
| CN106127146A (zh) * | 2016-06-22 | 2016-11-16 | 电子科技大学 | 一种基于手势识别的无人机航迹指引方法 |
| CN106203299A (zh) * | 2016-06-30 | 2016-12-07 | 北京二郎神科技有限公司 | 一种可操控设备的控制方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109613930A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109613930B (zh) | 无人飞行器的控制方法、装置、无人飞行器及存储介质 | |
| CN110473137B (zh) | 图像处理方法和装置 | |
| US9965865B1 (en) | Image data segmentation using depth data | |
| EP3338248B1 (en) | Systems and methods for object tracking | |
| CN109961009B (zh) | 基于深度学习的行人检测方法、***、装置及存储介质 | |
| JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
| US10217195B1 (en) | Generation of semantic depth of field effect | |
| US10083343B2 (en) | Method and apparatus for facial recognition | |
| US20180089534A1 (en) | Cross-modiality image matching method | |
| KR101645722B1 (ko) | 자동추적 기능을 갖는 무인항공기 및 그 제어방법 | |
| KR102486699B1 (ko) | 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치 | |
| KR102459221B1 (ko) | 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
| KR102008290B1 (ko) | 영상에서 객체의 행동을 인식하는 방법 및 그 장치 | |
| US9576214B1 (en) | Robust object recognition from moving platforms by combining form and motion detection with bio-inspired classification | |
| KR101769601B1 (ko) | 자동추적 기능을 갖는 무인항공기 | |
| JP7447302B2 (ja) | デバイスのハンドジェスチャベースの制御のための方法及びシステム | |
| CN112070044B (zh) | 一种视频物体分类方法及装置 | |
| CN111444744A (zh) | 活体检测方法、装置以及存储介质 | |
| KR20210028218A (ko) | 이미지 처리 방법과 장치, 전자 기기 및 저장 매체 | |
| KR102557561B1 (ko) | 이미지의 깊이 정보를 결정하는 방법 및 시스템 | |
| EP4006777A1 (en) | Image classification method and device | |
| WO2021012493A1 (zh) | 短视频关键词提取方法、装置及存储介质 | |
| CN113255557A (zh) | 一种基于深度学习的视频人群情绪分析方法及*** | |
| KR102160955B1 (ko) | 딥 러닝 기반 3d 데이터 생성 방법 및 장치 | |
| CN110633692A (zh) | 一种用于无人机航拍的行人识别方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 211135 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu Patentee after: Zhongke Nanjing artificial intelligence Innovation Research Institute Address before: 211135 3rd floor, building 3, 266 Chuangyan Road, Jiangning District, Nanjing City, Jiangsu Province Patentee before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES |