CN109948423B - 应用人脸及姿态识别的无人机旅游伴随服务方法及无人机 - Google Patents
应用人脸及姿态识别的无人机旅游伴随服务方法及无人机 Download PDFInfo
- Publication number
- CN109948423B CN109948423B CN201910049682.8A CN201910049682A CN109948423B CN 109948423 B CN109948423 B CN 109948423B CN 201910049682 A CN201910049682 A CN 201910049682A CN 109948423 B CN109948423 B CN 109948423B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- service object
- instruction
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 43
- 230000009471 action Effects 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000008921 facial expression Effects 0.000 claims description 25
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 22
- 230000001815 facial effect Effects 0.000 claims description 19
- 230000037237 body shape Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 7
- 210000001508 eye Anatomy 0.000 description 9
- 210000001061 forehead Anatomy 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明具体公开了应用人脸及姿态识别的无人机旅游伴随服务方法及无人机,该方法包括如下步骤:首先获取潜在对象的外部特征,并据此从潜在对象中确定伴游服务对象,然后获取伴游服务对象的手势,进而识别出相应的手势指令,手势指令包括拍照指令和录像指令,再根据手势指令,获取伴游服务对象的位置和/或朝向,并据此调整无人机的飞行位置和/或朝向,最后无人机对伴游服务对象执行与手势指令相应的动作。该方法在智慧旅游的应用场景中利用无人机为用户给与自拍、导航等方面的个性化伴随服务,增加了在这一过程中无人机与用户之间交互的便利程度和可靠性,保证了旅游自拍的拍摄效果。
Description
技术领域
本发明涉及应用计算机技术的智慧旅游技术领域,特别涉及应用人脸及姿态识别的无人机旅游伴随服务方法及无人机。
背景技术
随着人们生活水平的不断提高,利用闲暇时间外出旅游已经成为一种常态化的生活方式,根据统计数据近年来国内外旅行人数不断攀升。相应地,人们对旅游相关服务的需求也在不断提升,除了交通、住宿、饮食等方面的基本需求外,在游玩过程中如何给与用户方便、有趣、互动、个性化的辅助也是旅游服务的一个重要的发力点。随着数字芯片、信息采集与感知、移动通信、物联网等技术的成熟,各种智能终端逐步应用于旅游相关服务,催生了智慧旅游的不断发展,在改善用户旅游体验方面发挥越来越重要的作用。
无人机作为近年来新兴的高端计算机技术产品,在很多不同领域内已经有了较多的应用,例如军用的侦查无人机,以及在气象测量中作为气候数据采集设备的无人机等。而无人机在航拍方面也有较为广阔的应用前景。
将无人机应用于智慧旅游是一种有益的尝试。例如利用无人机搭载的摄像机,可以在旅游景区内对游客进行拍摄,以此来代替直接用手机自拍或用自拍杆进行辅助自拍,其拍摄视角更为不受限制,可以取得良好的视觉体验。另外无人机也可以用于景区游览路线导航等方面。
但目前的控制无人机沿预计路线飞行、对用户进行自拍以及导航的现有技术都是通过控制器(或者以手机作为控制器)对无人机进行控制,便利程度不高,用户需要时时观察和操作控制器来给无人机下达指令,稍不注意就容易出现无人机失控的风险,这无疑给用户轻松愉悦的旅程带来了不必要的麻烦,因为除了少数无人机爱好玩家以外,大多数游客并不希望在旅途中占用很多时间来应对无人机,也难以从相对比较复杂的无人机操控当中获得旅游的快乐;并且在单人自拍时,自拍者需要在用控制器控制无人机的同时对自己进行拍摄,拍摄效果无法满足用户需求。
所以,希望提供一种更为便捷的无人机伴随服务及相应的无人机设备,使得无人机可以发挥贴身旅伴的作用,伴随用户的旅程而提供导航引路、自拍、摄像等智慧旅游服务,并以简洁、高可靠性的操作方式达到随时随地一步式的人机交互。
发明内容
(一)发明目的
为克服上述现有技术存在的至少一种缺陷,在智慧旅游的应用场景中利用无人机为用户给与自拍、导航等方面的个性化伴随服务,以及增加在这一过程中无人机与用户之间交互的便利程度和可靠性,保证旅游自拍的拍摄效果,本发明提供了以下技术方案。
(二)技术方案
作为本发明的第一方面,本发明提供了应用人脸及姿态识别的无人机旅游伴随服务方法,包括:
获取潜在对象的外部特征,并依据所述外部特征从所述潜在对象中确定伴游服务对象;
获取所述伴游服务对象的手势,进而识别出相应的手势指令;
根据所述手势指令,获取所述伴游服务对象的位置和/或朝向,并依据所述伴游服务对象的位置和/或朝向调整无人机的飞行位置和/或朝向;
无人机对所述伴游服务对象执行与所述手势指令相应的动作;其中,
所述手势指令包括拍照指令和录像指令。
在一种可能的实施方式中,所述获取潜在对象的外部特征包括:
获取无人机周围环境的图像;
从所述图像中识别出各潜在对象,进而获取到各所述潜在对象的图像;
从所述各潜在对象的图像中识别出各所述潜在对象的外部特征。
在一种可能的实施方式中,在预先设定的对象识别时间内未能从所述环境图像中识别出任一潜在对象的情况下,无人机调整自身朝向,并重新获取周围环境的图像。
在一种可能的实施方式中,所述依据所述外部特征从所述潜在对象中确定伴游服务对象包括:
从各所述潜在对象的外部特征中识别出符合特征条件的外部特征;
将符合所述特征条件的潜在对象确定为伴游服务对象。
在一种可能的实施方式中,在预先设定的特征识别时间内未能从所述潜在对象中识别出符合特征条件的外部特征的情况下,无人机调整自身朝向,重新获取周围环境的图像,并依据重新获取的图像从各所述潜在对象的外部特征中重新识别符合特征条件的外部特征。
在一种可能的实施方式中,在确定出多个符合特征条件的潜在对象的情况下:选择外部特征匹配度最高的潜在对象作为伴游服务对象,或持续识别外部特征直到只存在唯一符合特征条件的潜在对象,并将该唯一潜在对象作为伴游服务对象。
在一种可能的实施方式中,所述外部特征包括以下一项或多项:面部特征、身形特征、着装特征。
在一种可能的实施方式中,与所述拍照指令对应的手势为面向无人机摆出剪刀手。
在一种可能的实施方式中,与所述录像指令对应的手势为面向无人机摆出手掌。
在一种可能的实施方式中,所述手势指令还包括:跟随指令;
在所述识别出的手势指令为所述跟随指令时,无人机将工作模式切换到跟随飞行模式,以使无人机跟随该伴游服务对象飞行。
在一种可能的实施方式中,与所述跟随指令对应的手势为面向无人机握拳。
在一种可能的实施方式中,在所述从所述潜在对象中确定出伴游服务对象之后,无人机自动将工作模式切换到所述跟随飞行模式。
在一种可能的实施方式中,通过识别所述伴游服务对象的所述外部特征来获取所述伴游服务对象的位置和/或朝向。
在一种可能的实施方式中,在所述识别出的手势指令为所述拍照指令/所述录像指令时,无人机调整自身的飞行位置和/或朝向以使自身的摄录侧面向所述伴游服务对象,之后无人机自动将工作模式切换到自拍摄录模式,并依据所述拍照指令/所述录像指令对所述伴游服务对象进行拍照/录像。
在一种可能的实施方式中,在无人机执行所述拍照指令/所述录像指令的过程中,无人机实时获取所述伴游服务对象的面部表情特征,并在所述面部表情特征符合持续摄录条件时,无人机持续对所述伴游服务对象进行拍照/录像。
在一种可能的实施方式中,所述持续摄录条件为:所述面部表情特征为笑脸特征或眼部睁大特征。
在一种可能的实施方式中,在所述面部表情特征不符合所述持续摄录条件时,无人机停止对所述伴游服务对象进行拍照和录像,并自动将工作模式切换到跟随飞行模式,以使无人机跟随所述伴游服务对象飞行。
在一种可能的实施方式中,所述手势指令还包括:降落指令,用于控制无人机降落。
在一种可能的实施方式中,与所述降落指令对应的手势为面向无人机手掌向下。
在一种可能的实施方式中,处于停飞状态的无人机因受到初始力而从着陆状态被斜向抛飞到空中的情况下,无人机检测自身在被抛飞过程中的运动参数,并根据所述被抛飞过程中的运动参数调整自身的飞行参数,以实现空中自动起飞。
在一种可能的实施方式中,处于停飞状态的无人机因受到重力而从着陆状态变为失重状态的情况下,无人机检测自身在下落过程中的运动参数,并根据所述下落过程中的运动参数调整自身的飞行参数,以实现空中自动悬停。
在一种可能的实施方式中,所述手势指令还包括:导航指令;
在所述识别出的手势指令为所述导航指令时,无人机将工作模式切换到导航模式,并按照预先设定的飞行路线飞行,以引导所述伴游服务对象经过所述飞行路线中的各途经点。
在一种可能的实施方式中,与所述导航指令对应的手势为面向无人机将手置于额头处且手掌向下。
在一种可能的实施方式中,所述手势指令还包括:航拍指令;
在所述识别出的手势指令为所述航拍指令时,无人机将工作模式切换到航拍模式,并按照预先设定的飞行动作飞行,并在飞行的同时对所述伴游服务对象进行航拍。
在一种可能的实施方式中,与所述航拍指令对应的手势为面向无人机伸出食指并使食指向上。
作为本发明的第二方面,本发明提供了应用人脸及姿态识别的旅游伴随服务无人机,包括:
伴游服务对象获取模块,用于获取潜在对象的外部特征,并依据所述外部特征从所述潜在对象中确定伴游服务对象;
手势指令识别模块,用于获取所述伴游服务对象的手势,进而识别出相应的手势指令;
飞行控制模块,用于根据所述手势指令识别模块识别出的手势指令,获取所述伴游服务对象的位置和/或朝向,并依据所述伴游服务对象的位置和/或朝向调整无人机的飞行位置和/或朝向;
手势指令执行模块,用于对所述伴游服务对象执行与所述手势指令相应的动作,所述手势指令执行模块包括摄像头,所述摄像头用于对所述伴游服务对象进行拍照和/或录像;其中,
所述手势指令包括拍照指令和录像指令。
在一种可能的实施方式中,所述伴游服务对象获取模块包括:
图像获取单元,用于获取无人机周围环境的图像;
对象识别单元,用于从所述图像获取单元获取的环境图像中识别出各潜在对象,进而获取到所述潜在对象的图像;
第一特征识别单元,用于从所述对象识别单元识别出的各潜在对象的图像中识别出所述各潜在对象的外部特征。
在一种可能的实施方式中,所述无人机还包括第一方向调整模块,用于在所述对象识别单元在预先设定的对象识别时间内未能从所述环境图像中识别出任一潜在对象的情况下,调整无人机的朝向,并使所述伴游服务对象获取模块重新获取周围环境的图像。
在一种可能的实施方式中,所述伴游服务对象获取模块还包括:
第二特征识别单元,用于依据所述外部特征从所述第一特征识别单元识别出的所述潜在对象的外部特征中识别出符合特征条件的外部特征;
伴游服务对象确定单元,用于将符合所述特征条件的潜在对象确定为伴游服务对象。
在一种可能的实施方式中,所述无人机还包括第二方向调整模块,用于在所述第二特征识别单元在预先设定的特征识别时间内未能从所述潜在对象中识别出符合特征条件的外部特征的情况下,调整无人机的朝向,并使所述伴游服务对象获取模块重新获取周围环境的图像,并依据重新获取的图像从各所述潜在对象的外部特征中重新识别符合特征条件的外部特征。
在一种可能的实施方式中,所述伴游服务对象获取模块还包括伴游服务对象选择单元,用于在所述伴游服务对象确定单元确定出多个符合特征条件的潜在对象的情况下:选择特征条件匹配度最高的潜在对象作为伴游服务对象,或使无人机持续识别外部特征直到只存在唯一符合所述特征条件的潜在对象,并将该唯一潜在对象作为伴游服务对象。
在一种可能的实施方式中,所述伴游服务对象获取模块获取的所述外部特征包括以下一项或多项:面部特征、身形特征、着装特征。
在一种可能的实施方式中,所述手势指令识别模块将面向无人机摆出剪刀手手势识别为所述拍照指令。
在一种可能的实施方式中,所述手势指令识别模块将面向无人机摆出手掌手势识别为所述录像指令。
在一种可能的实施方式中,所述手势指令还包括:跟随指令;
所述手势指令执行模块包括目标跟随单元,所述目标跟随单元用于在所述手势指令识别模块识别出的手势指令为所述跟随指令时,将无人机的工作模式切换到跟随飞行模式,以使无人机跟随所述伴游服务对象飞行。
在一种可能的实施方式中,所述手势指令识别模块将面向无人机摆出握拳手势识别为所述跟随指令。
在一种可能的实施方式中,所述目标跟随单元还用于在所述伴游服务对象获取模块从所述潜在对象中确定出伴游服务对象之后,将无人机的工作模式切换到所述跟随飞行模式。
在一种可能的实施方式中,所述飞行控制模块通过所述伴游服务对象获取模块识别的所述伴游服务对象的所述外部特征来获取所述伴游服务对象的位置和/或朝向。
在一种可能的实施方式中,所述手势指令执行模块包括:自拍摄录单元,在所述手势指令识别模块识别出的手势指令为所述拍照指令/所述录像指令时,所述飞行控制模块调整无人机的飞行位置和/或朝向以使无人机的摄录侧面向所述伴游服务对象,之后所述自拍摄录单元将无人机的工作模式切换到自拍摄录模式,并依据所述拍照指令/所述录像指令控制所述摄像头对所述伴游服务对象进行拍照/录像。
在一种可能的实施方式中,在所述手势指令执行模块执行所述拍照指令/所述录像指令的过程中,所述伴游服务对象获取模块实时获取所述伴游服务对象的面部表情特征,并在所述面部表情特征符合持续摄录条件时,控制所述手势指令执行模块持续对所述伴游服务对象进行拍照/录像。
在一种可能的实施方式中,所述摄录条件为:所述面部表情特征为笑脸特征或眼部睁大特征。
在一种可能的实施方式中,在所述伴游服务对象获取模块获取的所述面部表情特征不符合所述持续摄录条件时,所述伴游服务对象获取模块使所述手势指令执行模块停止对所述伴游服务对象进行拍照和录像,并将无人机的工作模式切换到跟随飞行模式,以使无人机跟随所述伴游服务对象飞行。
在一种可能的实施方式中,所述手势指令还包括:降落指令,所述手势指令识别模块识别出降落指令之后,所述飞行控制模块依据所述降落指令控制无人机降落。
在一种可能的实施方式中,所述手势指令识别模块将面向无人机摆出手掌向下手势识别为所述降落指令。
在一种可能的实施方式中,所述无人机还包括:第一参数检测模块,用于在处于停飞状态的无人机因受到初始力而从着陆状态被斜向抛飞到空中的情况下,检测所述无人机在被抛飞过程中的运动参数,并根据所述被抛飞过程中的运动参数使所述飞行控制模块调整所述无人机的飞行参数,以控制无人机空中自动起飞。
在一种可能的实施方式中,所述无人机还包括:第二参数检测模块,用于在处于停飞状态的无人机因受到重力而从着陆状态变为失重状态的情况下,无人机检测自身在下落过程中的运动参数,并根据所述下落过程中的运动参数使所述飞行控制模块调整所述无人机的飞行参数,以控制无人机空中自动悬停。
在一种可能的实施方式中,所述手势指令还包括:导航指令;
所述手势指令执行模块还包括目标导航单元,所述目标导航单元用于在所述手势指令识别模块识别出手势指令为所述导航指令时,将无人机的工作模式切换到导航模式,并控制无人机按照预先设定的飞行路线飞行,以引导所述伴游服务对象经过所述飞行路线中的各途经点。
在一种可能的实施方式中,与所述导航指令对应的手势为面向无人机将手置于额头处且手掌向下。
在一种可能的实施方式中,所述手势指令还包括:航拍指令;
所述手势指令执行模块还包括目标航拍单元,所述目标航拍单元用于在所述手势指令识别模块识别出手势指令为所述航拍指令时,将无人机的工作模式切换到航拍模式,并控制无人机按照预先设定的飞行动作飞行,并控制无人机的摄像头在飞行的同时对所述伴游服务对象进行航拍。
在一种可能的实施方式中,与所述航拍指令对应的手势为面向无人机伸出食指并使食指向上。
(三)有益效果
本发明提供的应用人脸及姿态识别的无人机旅游伴随服务方法及无人机,具有以下有益效果:
1、通过无人机对伴游服务对象的旅程执行伴随飞行,并通过对无人机做出不同手势来指挥无人机进行拍照、录像、跟随、降落、导航、航拍等动作,使得旅游服务多元化,人机交互简便易用,不额外占用用户的旅游时间;并且,通过对伴游服务对象进行拍照或摄像,代替了自拍杆以及通过控制器手动控制无人机自拍等手动拍照方式,使得拍照/录像效果更好,并使得拍摄流程更加简洁顺畅。
2、通过识别伴游服务对象的面部、身形、着装等外部特征来从人群中识别出预订旅游服务的伴游服务对象,增加了识别的准确性和便利性。
3、通过检测无人机自身的运动状态,实现无人机抛飞自动起飞以及失重自动悬停,防止无人机落地受损。
附图说明
以下参考附图描述的实施例是示例性的,旨在用于解释和说明本发明,而不能理解为对本发明的保护范围的限制。
图1是本发明提供的应用人脸及姿态识别的无人机旅游伴随服务方法第一实施例的流程示意图。
图2是本发明提供的应用人脸及姿态识别的旅游伴随服务无人机第一实施例的结构框图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是:在附图中,自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例,而不是全部的实施例,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本文中,“第一”、“第二”等仅用于彼此的区分,而非表示它们的重要程度及顺序等。
本文中的模块、单元或组件的划分仅仅是一种逻辑功能的划分,在实际实现时可以有其他的划分方式,例如多个模块和/或单元可以结合或集成于另一个***中。作为分离部件说明的模块、单元、组件在物理上可以是分开的,也可以是不分开的。作为单元显示的部件可以是物理单元,也可以不是物理单元,即可以位于一个具体地方,也可以分布到网格单元中。因此可以根据实际需要选择其中的部分或全部的单元来实现实施例的方案。
下面参考图1详细描述本发明的提供的应用人脸及姿态识别的无人机旅游伴随服务方法的第一实施例。本实施例主要应用于旅游景区、户外郊游或室内旅游的场景下,通过无人机对伴游服务对象的旅程执行伴随飞行,并进行拍照、录像、旅游导航等功能,代替了自拍杆以及通过控制器手动控制无人机自拍等手动拍照方式,使得拍照/录像效果更好,并且通过对无人机做出不同手势来指挥无人机对伴游服务对象进行拍照、录像、跟随、降落、导航、航拍等动作,使得人机交互简便易用,不额外占用用户的旅游时间,拍摄流程更加简洁顺畅。
如图1所示,该方法包括如下步骤:
步骤100,获取潜在对象的外部特征,并依据外部特征从潜在对象中确定伴游服务对象。
以旅游景区为例,在景区的入口、热门景点等处可以提供无人机伴随服务,并提供扫码预定、柜台预定等预定途径。在游客预订了伴随服务后,为每个预定游客分配一台提供伴随服务的无人机。该无人机会针对预订伴随服务的游客进行伴随飞行,并且在伴随飞行过程中依据游客的指令,进行导航、拍照、录像等服务,并在伴游服务完成之后将产生的数据/照片给游客,以满足游客在热门景点处自拍留念的需求。
而在对游客进行伴游服务之前,由于入口、热门景点等预定处很可能站有多人,这些人都被称为潜在目标,即潜在对象,在这些潜在对象中,有预订本机伴游服务的游客,该名游客即伴游服务对象,还可能会有预订其他无人机服务的游客,也可能有排队游客、相关人员、围观游客等存在。因此无人机首先要从各潜在对象中确认出伴游服务对象。
无人机从各潜在对象中确认出伴游服务对象的方法为:无人机获取潜在对象的外部特征,并据此从潜在对象中确定伴游服务对象。外部特征即是人的从外表能够观察到的特征,在一种实施方式中,外部特征是面部特征、身形特征、着装特征中的任一种,也可以是上述三种特征中的任意两种或全部。
在进行伴游服务之前,工作人员可以先输入伴游服务对象的面部特征,使无人机通过人脸识别来确认伴游服务对象,也可以输入伴游服务对象的身形特征,使无人机通过人的身材体形来确认伴游服务对象,还可以输入伴游服务对象的着装颜色、着装样式等,使无人机通过颜色识别、衣服样式识别等来确认伴游服务对象,或者先给游客提供特殊的着装,例如帽子、外衣等来将伴游服务对象与其他潜在目标区分开的着装。无人机自身配备有摄像头等图像采集设备,可以通过摄像头获取伴游服务对象的图像,并将其与实现输入的外部特征进行比对,最终从各潜在对象中确认出正确的伴游服务对象。
可以理解的是,面部特征、身形特征、着装特征可以同时输入到***中,使无人机能够更加准确地辨认出伴游服务对象。
需要说明的是,无人机在确定伴游服务对象之后,会锁定该伴游服务对象,即本次伴游服务过程中的后续所有的行为动作均以该伴游服务对象为目标或主导。
步骤200,获取伴游服务对象的手势,进而识别出相应的手势指令。
无人机在确认出伴游服务对象之后,在后续的拍照、录像、跟随、导航过程中以及其他可能的伴游服务执行动作中,都会以伴游服务对象为目标执行,不会主动更换伴游服务对象。在确认出伴游服务对象之后,无人机会开始持续性地获取伴游服务对象的手势,直到识别出有效的手势,并进而得到手势指令。具体的,无人机可以通过自身配备的摄像头来以图像采集识别的形式获取伴游服务对象的手势。手势指令主要包括:和拍摄服务相关的指令,例如拍照指令、录像指令;和飞行相关的指令,例如跟随指令、导航指令;也可以是其他的辅助性指令。
在无人机执行拍照指令和录像指令之前,无人机会先将工作模式切换到自拍摄录模式,而在无人机执行跟随指令之前,无人机会先将工作模式切换到跟随飞行模式,以使无人机跟随该伴游服务对象飞行,在执行导航指令之前,无人机将工作模式切换到导航飞行模式,以使无人机执行导航飞行。
拍照指令用于指挥无人机对伴游服务对象进行拍照。在一种实施方式中,与拍照指令对应的手势为面向无人机摆出剪刀手,无人机获取并识别出该手势后,会将工作模式切换到自拍摄录模式,并对伴游服务对象进行拍照服务。
录像指令用于指挥无人机对伴游服务对象进行录像。在一种实施方式中,与录像指令对应的手势为面向无人机摆出手掌,无人机获取并识别出该手势后,会将工作模式切换到自拍摄录模式,并对伴游服务对象进行录像服务。
跟随指令用于使无人机跟随伴游服务对象移动。在一种实施方式中,与跟随指令对应的手势为面向无人机握拳。无人机进入跟随飞行模式之后,会跟随伴游服务对象位置的移动进行跟随飞行,保证无人机与伴游服务对象之间的相对位置在一定范围内。
导航指令用于指示无人机从当前位置向下一个热门景点飞行,并且飞行轨迹与景区道路等用户可行进路线相重合,飞行过程中保持飞行速度与用户行进速度匹配,保持无人机在用户的可视范围内,从而使用户能够跟随无人机前往下一个热门景点。一种实施例中,该导航指令可以是无人机将手置于额头处且手掌向下。
相比于传统的控制器控制无人机执行各类动作,本实施例提供的方法中,伴游服务对象通过对无人机摆出不同的手势来控制无人机进行一些伴游服务相关的动作,更为方便简单,易于操作。
在一种实施方式中,无人机在从各潜在对象中确定出伴游服务对象之后,无人机就会自动地直接进入跟随飞行模式或者导航飞行模式。由于无人机在确定出伴游服务对象时,伴游服务对象所处的位置可能并不是伴游服务对象欲求的自拍和录像的位置,因此在无人机确认出伴游服务对象之后,伴游服务对象才会去寻找满意的自拍和录像位置,因此通常情况下,无人机在确认出伴游服务对象之后,都会首先跟随伴游服务对象移动到其他位置或者引导该对象前往下一个热门景点,再进行拍照/录像,因此为了省去无人机确认出伴游服务对象之后,伴游服务对象需要对无人机摆出跟随手势来使无人机跟随或导航,将无人机在确认出伴游服务对象之后的缺省模式设置为跟随飞行模式或者导航飞行模式,便于操控。
步骤300,根据手势指令,获取伴游服务对象的位置和/或朝向并依据伴游服务对象的位置和/或朝向调整无人机的飞行位置和/或朝向。
由上文可知,手势指令可以是:拍照指令、录像指令、导航指令或跟随指令。根据无人机收到的手势指令的不同,无人机后续执行的动作也不同。
在一个实施方式中,在无人机识别出的手势指令为拍照指令/录像指令时,无人机开始获取伴游服务对象的位置和/或朝向,并据此调整自身的飞行位置和/或朝向,以使自身的摄录侧面向或相对面向伴游服务对象,或者进一步地使摄录侧面向伴游服务对象面部的正面,实现拍摄效果的最优化,然后无人机将工作模式切换到自拍摄录模式,并依据拍照指令/录像指令开始对伴游服务对象进行拍照/录像。可以理解的是,无人机的摄录侧即为无人机对伴游服务对象进行拍照/录像的一侧,通常为摄像头所在的一侧。
在无人机识别出的手势指令为跟随指令时,无人机不会调整自身的飞行位置和/或朝向,只是将工作模式切换到跟随飞行模式,并跟随伴游服务对象而飞行。在伴游服务对象走到满意的摄录地点,向无人机摆出拍照手势或录像手势时,无人机再获取伴游服务对象的位置和/或朝向,并据此调整自身的飞行位置和/或朝向,以使自身的摄录侧面向伴游服务对象,实现拍摄效果的最优化,然后再开始对伴游服务对象进行拍照/录像。
当无人机识别出的手势指令为导航指令时,无人机获取伴游服务对象的位置和/或朝向,并据此调整自身的飞行位置和/或朝向,以使得无人机到达伴游服务对象面部所朝方向前方一定距离处;然后按照上述导航飞行模式的方式飞行,为伴游服务对象提供向下一个热点的导航。
在一个实施方式中,无人机通过识别伴游服务对象的外部特征来获取伴游服务对象的位置和/或朝向,例如,无人机识别出伴游服务对象的面部特征和/或身形特征和/或着装特征,以此来获取伴游服务对象的所在位置,或者伴游服务对象的身体朝向,或者伴游服务对象的所在位置以及身体朝向。
步骤400,无人机对伴游服务对象执行与手势指令相应的动作。
无人机通过自身配备的摄像头等设备对伴游服务对象进行拍照、录像等服务。
手势指令为拍照指令时,无人机就对伴游服务对象进行拍照,具体的拍照形式可以进行预先设定,例如连拍设定数量的照片或者单拍一张照片。
手势指令为录像指令时,无人机就对伴游服务对象进行录像,具体的拍照形式可以进行预先设定,例如拍摄一段设定时长的小视频。
手势指令为跟随指令时,无人机就跟随伴游服务对象的移动而飞行,例如伴游服务对象在热门景点的摄录区域A内的位置P1处进行了拍照,然后欲求移动到位置P2处进行录像,此时就需要向无人机发出跟随指令,使无人机跟随伴游服务对象位置的移动进行跟随飞行,保证无人机与伴游服务对象之间的相对位置在一定范围内。
手势指令为导航指令时,无人机从当前位置向下一个热门景点飞行,并且飞行轨迹与景区道路等用户可行进路线相重合,飞行过程中保持飞行速度与用户行进速度匹配,保持无人机在用户的可视范围内,从而使用户能够跟随无人机前往下一个热门景点。
在一个实施方式中,步骤100中无人机获取潜在对象的外部特征包括如下步骤:
步骤110,获取无人机周围环境的图像。
无人机启动伴游服务后,首先通过自身配备的摄像头等图像采集设备获取到周围环境的图像,以得到周围环境中的各潜在对象的图像。
步骤120,从环境图像中识别出潜在对象,进而获取到潜在对象的图像。
无人机得到周围环境的图像之后,会对图像进行例如人型识别等识别潜在对象的识别方法,找到图像中与人类模型匹配的图像区域,并将该图像区域确定为潜在对象。人型识别可以先对该图像进行基于边缘的封闭区域检测,然后从检测的封闭区域中根据其宽高比、边缘形态特征等因素提取人类模型匹配的图像区域,由于属于现有技术在此不再赘述。
步骤130,从潜在对象的图像中识别出潜在对象的外部特征。
无人机识别出环境图像中的潜在对象之后,可以通过灰度识别、颜色识别、面部器官位置识别、面部纹理特征识别等现有方式进一步识别出潜在对象的外部特征,以用于之后确定伴游服务对象。外部特征即上文提到的面部特征、身形特征和着装特征中的一项或多项。
由于某些意外或特殊原因,例如无人机的摄像头在无人机起飞时的默认朝向为背对伴游服务对象,此时摄像头朝向的环境中可能没有任何人,也就无法识别出任何潜在对象,因此在一个实施方式中,无人机会预先设定一个对象识别时间,无人机在预先设定的对象识别时间内未能从环境图像中识别出任一潜在对象的情况下,无人机调整自身朝向,例如逆时针进行一定角度的旋转,调整摄像头的朝向,并重新进行环境图像的获取。
在一个实施方式中,从环境图像中识别出潜在对象以及潜在对象的外部特征后,无人机通过对识别出的潜在对象外部特征以及预先输入到***中的特征条件进行比对,从各潜在对象的外部特征中识别出符合特征条件的外部特征,并将符合特征条件的潜在对象确定为伴游服务对象。例如,伴游服务对象头戴红帽,身穿蓝色短袖短裤,身材高瘦,则关于伴游服务对象的上述特征被预先录入到***中,无人机在进行特征匹配时,就会在各潜在对象中找寻符合上述特征条件的潜在对象,并将其确认为伴游服务对象。
同样由于某些意外或特殊原因,例如由于天气条件恶劣乎伴游服务对象的站位被遮挡造成无人机摄像头在当前位置下无法在各潜在对象中识别出符合特征条件的外部特征,因此在一个实施方式中,无人机会预先设定一个特征识别时间,无人机在特征识别时间内未能从潜在对象中识别出符合特征条件的外部特征的情况下,无人机调整自身朝向,例如围绕着潜在对象或围绕着各潜在对象形成的封闭图形中心进行移位,更换到另一个视角或方位,重新获取周围环境的图像,并依据重新获取的图像从各潜在对象的外部特征中重新识别符合特征条件的外部特征。
在一个实施方式中,无人机在确定出不止一个符合特征条件的潜在对象的情况下:无人机会从中选择外部特征的匹配度最高的潜在对象作为伴游服务对象,或者,无人机持续识别外部特征,直到只存在一个符合特征条件的潜在对象,并将该唯一潜在对象作为伴游服务对象。
在无人机摄像头对伴游服务对象进行拍照或录像时,如上文中所述的,其可以是预先设定好的。但也可以是根据伴游服务对象的意愿结束拍照或录像。在一个实施方式中,在无人机执行拍照指令或录像指令的过程中,即无人机在对伴游服务对象进行拍照或录像时,无人机会实时获取伴游服务对象的面部表情特征,并在面部表情特征符合持续摄录条件时,无人机持续执行拍照动作或录像动作。在面部表情特征不符合持续摄录条件时,无人机停止对伴游服务对象进行拍照和录像,并自动将工作模式切换到跟随飞行模式或者导航飞行模式,以使无人机跟随伴游服务对象飞行或者提供导航。持续摄录条件可以是笑脸特征或眼部睁大特征等,例如在伴游服务对象向无人机摆出拍照手势/录像手势时,无人机识别出拍照指令/录像指令,并开始控制摄像头对伴游服务对象进行拍照/录像,同时实时检测伴游服务对象的面部表情特征,若伴游服务对象始终在保持微笑或始终睁大双眼,则无人机的摄像头持续对伴游服务对象进行拍照/录像。若伴游服务对象想停止当前的拍照/录像,则可以将面部表情变换为非笑脸或将双眼稍微眯起,此时无人机检测到伴游服务对象的面部表情不符合持续摄录条件,则停止拍照和录像,并根据情况自动将工作模式切换到跟随飞行模式或者导航飞行模式,或停止本次伴游服务。判断伴游服务对象是否始终保持持续摄录条件的具体方式是对于摄录过程中的每一个视频帧,提取描述面部器官的外形及其位置的面部特征参数,例如鼻梁、眼睛、眉毛、嘴唇、额头、下巴等面部器官的外接矩形轮廓的横纵比、相对长度、相对宽度、相对位置等特征描述参数,以及双眼间距、眉间距、眉眼间距、鼻口间距等特征描述参数;当然,提取到的面部器官特征也可以是更为精确同时运算量也更大的描述面部纹理分布特征的面部特征参数;判断相邻两个视频帧的面部特征参数的一致性是否大于预定程度,如果一致性未大于预定程度说明该对象的面部表情已经发生较大变化,故而可以作为停止当前的拍照/录像的依据。
通过无人机进行自拍摄录的应用场景除了旅游景区的工作人员对游客统一进行安排实施之外,还可能是游客自行携带无人机到某郊野公园等处进行自拍,因此还可以对无人机的起飞、降落的方式进行优化,增加无人机在停飞状态下的应急飞行预案。
在一个实施方式中,手势指令还包括:降落指令,用于控制无人机降落。与降落指令对应的手势为面向无人机握拳。在伴游服务对象完成整个旅游行程之后,或者在其他需要的场景下,可以对无人机摆出握拳的手势,无人机会识别出降落指令,从而自行降落于地面上。
在一个实施方式中,处于停飞状态的无人机因受到初始力而从着陆状态被斜向抛飞到空中的情况下,无人机检测自身在被抛飞过程中的运动参数,并根据抛出过程中的运动参数调整自身的飞行参数,以实现空中自动起飞。其中,初始力的施加方向为非竖直方向。例如,伴游服务对象将无人机拿在手中,相当于无人机的着陆位置为伴游服务对象的手,此时无人机处于停飞状态,电机未驱动旋翼转动,当伴游服务对象将无人机向斜上方抛出时,无人机受到伴游服务对象施加的初始力而做抛物线运动,此时为了防止坠落地面,无人机会检测自身在被抛飞过程中的速度、加速度、运动方向、离地高度等参数,根据这些参数启动飞控***,并据此调整自身的飞行速度、飞行加速度、飞行方向等参数,使无人机在做抛物线运动的过程中通过旋翼提供合适方向的升力,将无人机的运动状态从被抛飞平缓过渡为自起飞,保证无人机能够自动地平稳飞起而不是坠落地面。
在一个实施方式中,处于停飞状态的无人机因受到重力而从着陆状态变为失重状态的情况下,通常为突然失重的情况下,无人机检测自身在下落过程中的运动参数,并根据下落过程中的运动参数调整自身的飞行参数,以实现空中自动悬停。例如,伴游服务对象将无人机拿在手中,相当于无人机的着陆位置为伴游服务对象的手,此时无人机处于停飞状态,电机未驱动旋翼转动,当伴游服务对象突然把手撤走,无人机瞬间处于失重状态而做自由落体运动,此时为了防止坠落地面,无人机会检测自身在自由落体过程中的速度、加速度、离地高度等参数,根据这些参数启动飞控***,并据此调整自身的飞行速度、飞行加速度等参数,使无人机在做自由落体运动的过程中通过旋翼提供合适的向上的升力,将无人机的运动状态从自由落体平缓过渡为自悬停,保证无人机能够自动地处于悬停状态而不是坠落地面。
通过无人机的自动检测上述突变的被迫运动,使得伴游服务对象可以通过抛飞无人机的方式使无人机自动起飞,也可以通过撤手的方式使无人机自动悬停,保证了无人机在意外掉落或扔出的情况下不会坠落地面而是自行起飞或悬停,避免了无人机损坏。
在一种实施方式中,手势指令还包括:导航指令。在识别出的手势指令为导航指令时,无人机将工作模式切换到导航模式,并按照预先设定的飞行路线飞行,以引导伴游服务对象经过飞行路线中的各途经点。
在无人机从各潜在对象中确定出伴游服务对象之后,会实时监测伴游服务对象是否做出手势以及做出的手势是否为可识别的手势指令。若无人机检测到伴游服务对象做出了导航手势时,则无人机接收到伴游服务对象的导航指令,然后无人机切换工作模式为导航模式,并开始按照预先设定的飞行路线进行飞行。飞行路线通常为途经景区中多个热门景点的路线,伴游服务对象(即游客)可跟随无人机的飞行方向行进,以到达热门景点,在此过程中无人机起到了飞行导航的作用,能够引导游客途经各热门景点。游客可以在热门景点处对无人机下达其他手势指令,例如拍照指令、录像指令等,以进行电子图像留念。在依据拍照指令、录像指令对游客进行拍照、摄像之后,游客可以重新做出导航手势,无人机在识别出导航手势后会从当前位置继续引导游客沿飞行路线游览,直到飞行路线的终点。
在一种实施方式中,与导航指令对应的手势为面向无人机将手置于额头处且手掌向下。
在一种实施方式中,手势指令还包括:航拍指令。在识别出的手势指令为航拍指令时,无人机将工作模式切换到航拍模式,并按照预先设定的飞行动作飞行,并在飞行的同时对伴游服务对象进行航拍。
在无人机检测到伴游服务对象做出了航拍手势时,则无人机接收到伴游服务对象的航拍指令,然后无人机切换工作模式为航拍模式,并开始按照预先设定的飞行动作进行飞行。飞行动作的设置是为了实现对伴游服务对象(游客)的航拍,以区别于拍照指令和录像指令。无人机执行拍照指令/录像指令而对游客进行拍照/录像时,无人机自身基本处于悬停状态,而无人机在执行航拍指令而对游客进行航拍时,无人机处于运动状态,其运动的方向、速度等参数既由上述飞行动作限定,例如无人机可以在自身当前高度下以游客所在位置为圆心绕游客公转,同时保持摄像头适中面向游客,并对游客进行航拍,则无人机的航拍飞行动作即为绕游客所在位置公转一圈。
航拍过程也可以发生在无人机引导游客途经热门景点的过程中。例如游客首先通过摆出导航手势,使无人机引导游客到达一个热门景点后,继而摆出航拍手势,使无人机对游客进行航拍,航拍完成后,游客重新摆出导航手势,无人机继续引导游客行进。以此循环,游客可以在所有途径的热门景点处进行航拍、拍照、录像等操作。
在一种实施方式中,与航拍指令对应的手势为面向无人机伸出食指并使食指向上。
下面参考图2详细描述本发明的提供的应用人脸及姿态识别的旅游伴随服务无人机的第一实施例,用于实施上述无人机旅游伴随服务方法第一实施例提供的方法。本实施例主要应用于旅游景区、户外郊游或室内旅游的场景下,通过无人机对游客的旅程执行伴随飞行,并进行拍照、录像、旅游导航等功能,代替了自拍杆以及通过控制器手动控制无人机自拍等手动拍照方式,使得拍照/录像效果更好,并且通过对无人机做出不同手势来指挥无人机对游客进行拍照、录像、跟随、降落、导航、航拍等动作,使得人机交互简便易用,不额外占用用户的旅游时间拍摄流程更加简洁顺畅。
如图2所示,该无人机包括伴游服务对象获取模块、手势指令识别模块、飞行控制模块和手势指令执行模块。
伴游服务对象获取模块用于获取潜在对象的外部特征,并依据外部特征从潜在对象中确定伴游服务对象。在一个实施方式中,伴游服务对象获取模块获取的外部特征包括以下一项或多项:面部特征、身形特征、着装特征。
手势指令识别模块与伴游服务对象获取模块电连接,用于获取伴游服务对象的手势,进而识别出相应的手势指令。其中,手势指令为以下其中一种:拍照指令,录像指令。在一个实施方式中,手势指令识别模块将面向无人机摆出剪刀手手势识别为拍照指令。手势指令识别模块将面向无人机摆出手掌手势识别为录像指令。
飞行控制模块与手势指令识别模块电连接,用于根据手势指令识别模块识别出的手势指令,获取伴游服务对象的位置和/或朝向,并依据伴游服务对象的位置和/或朝向调整无人机的飞行位置和/或朝向。
手势指令执行模块与飞行控制模块电连接,用于对伴游服务对象执行与手势指令相应的动作。手势指令执行模块包括摄像头,摄像头用于对伴游服务对象进行拍照和/或录像。
在一个实施方式中,伴游服务对象获取模块包括图像获取单元、对象识别单元和第一特征识别单元。
图像获取单元用于获取无人机周围环境的图像。
对象识别单元与图像获取单元电连接,用于从图像获取单元获取的环境图像中识别出潜在对象,进而获取到潜在对象的图像。
第一特征识别单元与对象识别单元电连接,用于从对象识别单元识别出的潜在对象的图像中识别出潜在对象的外部特征。
在一个实施方式中,无人机还包括第一方向调整模块,第一方向调整模块与图像获取单元和对象识别单元电连接,用于在对象识别单元在预先设定的对象识别时间内未能从环境图像中识别出任一潜在对象的情况下,调整无人机的朝向,并使伴游服务对象获取模块重新获取周围环境的图像。
在一个实施方式中,伴游服务对象获取模块还包括第二特征识别单元和伴游服务对象确定单元。
第二特征识别单元用于依据外部特征从第一特征识别单元识别出的潜在对象的外部特征中识别出符合特征条件的外部特征。第二特征识别单元与第一特征识别单元可以是同一单元。
伴游服务对象确定单元与第二特征识别单元电连接,用于将符合特征条件的潜在对象确定为伴游服务对象。
在一个实施方式中,无人机还包括第二方向调整模块,第二方向调整模块与第一特征识别单元和第二特征识别单元电连接,用于在第二特征识别单元在预先设定的特征识别时间内未能从潜在对象中识别出符合特征条件的外部特征的情况下,调整无人机的朝向,并使伴游服务对象获取模块重新获取周围环境的图像,并依据重新获取的图像从各潜在对象的外部特征中重新识别符合特征条件的外部特征。
在一个实施方式中,伴游服务对象获取模块还包括伴游服务对象选择单元,伴游服务对象选择单元与伴游服务对象确定单元电连接,用于在伴游服务对象确定单元确定出多个符合特征条件的潜在对象的情况下:选择特征条件匹配度最高的潜在对象作为伴游服务对象,或使无人机持续识别外部特征直到只存在唯一符合特征条件的潜在对象,并将该唯一潜在对象作为伴游服务对象。
在一个实施方式中,手势指令还包括:跟随指令。手势指令执行模块包括目标跟随单元,目标跟随单元用于在手势指令识别模块识别出的手势指令为跟随指令时,将无人机的工作模式切换到跟随飞行模式,以使无人机跟随伴游服务对象飞行。在一个实施方式中,目标跟随单元还用于在伴游服务对象获取模块从潜在对象中确定出伴游服务对象之后,将无人机的工作模式切换到跟随飞行模式。在一个实施方式中,手势指令识别模块将面向无人机摆出握拳手势识别为跟随指令。在一个实施方式中,飞行控制模块通过伴游服务对象获取模块识别的伴游服务对象的外部特征来获取伴游服务对象的位置和/或朝向。
在一个实施方式中,手势指令执行模块包括自拍摄录单元,自拍摄录单元与摄像头电连接,在手势指令识别模块识别出的手势指令为拍照指令/录像指令时,飞行控制模块获取伴游服务对象的位置和/或朝向,并据此调整无人机的飞行位置和/或朝向,以使无人机的摄录侧面向伴游服务对象,之后自拍摄录单元将无人机工作模式切换到自拍摄录模式,并依据拍照指令/录像指令控制摄像头对伴游服务对象进行拍照/录像。在一个实施方式中,飞行控制模块通过伴游服务对象获取模块识别的伴游服务对象的外部特征来获取伴游服务对象的位置和/或朝向。
在一个实施方式中,在手势指令执行模块执行拍照指令/录像指令的过程中,伴游服务对象获取模块实时获取伴游服务对象的面部表情特征,并在面部表情特征符合持续摄录条件时,控制手势指令执行模块持续对伴游服务对象进行拍照/录像。在伴游服务对象获取模块获取的面部表情特征不符合持续摄录条件时,无人机自动退出自拍摄录模式,并将无人机的工作模式切换到跟随飞行模式,以使无人机跟随伴游服务对象飞行,同时伴游服务对象获取模块使手势指令执行模块停止执行拍照指令或录像指令。在一个实施方式中,持续摄录条件为:面部表情特征为笑脸特征或眼部睁大特征。
在一个实施方式中,手势指令还包括:降落指令。手势指令识别模块识别出降落指令之后,飞行控制模块依据降落指令控制无人机降落。手势指令识别模块将面向无人机摆出手掌向下手势识别为降落指令。
在一个实施方式中,无人机还包括第一参数检测模块,第一参数检测模块与飞行控制模块电连接,用于在处于停飞状态的无人机因受到初始力而从着陆状态被斜向抛飞到空中的情况下,检测无人机在被抛飞过程中的运动参数,并根据被抛飞过程中的运动参数使飞行控制模块调整无人机的飞行参数,以控制无人机空中自动起飞。其中,初始力的施加方向为非竖直方向。
在一个实施方式中,无人机还包括第二参数检测模块,第二参数检测模块与飞行控制模块电连接,用于在处于停飞状态的无人机因受到重力而从着陆状态变为失重状态的情况下,无人机检测自身在下落过程中的运动参数,并根据下落过程中的运动参数使飞行控制模块调整无人机的飞行参数,以控制无人机空中自动悬停。
在一种实施方式中,手势指令还包括:导航指令。手势指令执行模块还包括目标导航单元,目标导航单元用于在手势指令识别模块识别出手势指令为导航指令时,将无人机的工作模式切换到导航模式,并控制无人机按照预先设定的飞行路线飞行,以引导伴游服务对象经过飞行路线中的各途经点。
在一种实施方式中,与导航指令对应的手势为面向无人机将手置于额头处且手掌向下。
在一种实施方式中,手势指令还包括:航拍指令。手势指令执行模块还包括目标航拍单元,目标航拍单元用于在手势指令识别模块识别出手势指令为航拍指令时,将无人机的工作模式切换到航拍模式,并控制无人机按照预先设定的飞行动作飞行,并控制无人机的摄像头在飞行的同时对伴游服务对象进行航拍。
在一种实施方式中,与航拍指令对应的手势为面向无人机伸出食指并使食指向上。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种应用人脸及姿态识别的无人机旅游伴随服务方法,其特征在于,包括:
游客在景区的入口或热门景点处通过扫码预定或柜台预定的途径进行伴游服务预定;
在游客预定伴游服务后,无人机在伴游服务预定处获取潜在对象的外部特征,并依据所述外部特征从所述潜在对象中确定伴游服务对象,所述外部特征包括预先提供给预定服务游客的将其与其他潜在目标区分开的着装;
获取所述伴游服务对象的手势,进而识别出相应的手势指令;
根据所述手势指令,获取所述伴游服务对象的位置和/或朝向,并依据所述伴游服务对象的位置和/或朝向调整无人机的飞行位置和/或朝向;
无人机对所述伴游服务对象执行与所述手势指令相应的动作;其中,
所述手势指令包括拍照指令和录像指令;
所述获取潜在对象的外部特征包括:
获取无人机周围环境的图像;
从所述图像中识别出各潜在对象,进而获取到各所述潜在对象的图像;
从所述各潜在对象的图像中识别出各所述潜在对象的外部特征;其中,
从环境图像中识别出潜在对象以及潜在对象的外部特征后,无人机通过对识别出的潜在对象外部特征以及预先输入到***中的特征条件进行比对,从各潜在对象的外部特征中识别出符合特征条件的外部特征,并将符合特征条件的潜在对象确定为伴游服务对象;并且,
在预先设定的对象识别时间内未能从所述环境图像中识别出任一潜在对象的情况下,无人机调整自身朝向,并重新获取周围环境的图像;
在预先设定的特征识别时间内未能从所述潜在对象中识别出符合特征条件的外部特征的情况下,无人机调整自身朝向,重新获取周围环境的图像,并依据重新获取的图像从各所述潜在对象的外部特征中重新识别符合特征条件的外部特征;
在确定出多个符合特征条件的潜在对象的情况下:选择外部特征匹配度最高的潜在对象作为伴游服务对象,或持续识别外部特征直到只存在唯一符合特征条件的潜在对象,并将该唯一潜在对象作为伴游服务对象;
在所述识别出的手势指令为所述拍照指令/所述录像指令时,无人机调整自身的飞行位置和/或朝向以使自身的摄录侧面向所述伴游服务对象,使无人机的摄录侧面向或相对面向伴游服务对象,或者使摄录侧面向伴游服务对象面部的正面,以实现拍摄效果的最优化,之后无人机自动将工作模式切换到自拍摄录模式,并依据所述拍照指令/所述录像指令对所述伴游服务对象进行拍照/录像;
在无人机执行所述拍照指令/所述录像指令的过程中,无人机实时获取所述伴游服务对象的面部表情特征,并在所述面部表情特征符合持续摄录条件时,无人机持续对所述伴游服务对象进行拍照/录像;在所述面部表情特征不符合所述持续摄录条件时,无人机停止对所述伴游服务对象进行拍照和录像,并自动将工作模式切换到跟随飞行模式,以使无人机跟随所述伴游服务对象飞行;
所述手势指令还包括:航拍指令;在所述识别出的手势指令为所述航拍指令时,无人机将工作模式切换到航拍模式,并按照预先设定的飞行动作飞行,并在飞行的同时对所述伴游服务对象进行航拍;
所述手势指令还包括:导航指令;在所述识别出的手势指令为所述导航指令时,无人机调整自身的飞行位置和/或朝向以使得无人机到达伴游服务对象面部所朝方向前方一定距离处,然后无人机将工作模式切换到导航模式,并按照预先设定的飞行路线飞行,以引导所述伴游服务对象经过所述飞行路线中的各途经点;
所述手势指令还包括:降落指令,用于控制无人机降落;
处于停飞状态的无人机因受到初始力而从着陆状态被斜向抛飞到空中的情况下,无人机检测自身在被抛飞过程中的运动参数,并根据所述被抛飞过程中的运动参数调整自身的飞行参数,以实现空中自动起飞;
处于停飞状态的无人机因受到重力而从着陆状态变为失重状态的情况下,无人机检测自身在下落过程中的运动参数,并根据所述下落过程中的运动参数调整自身的飞行参数,以实现空中自动悬停。
2.根据权利要求1所述的无人机旅游伴随服务方法,其特征在于,所述外部特征包括以下一项或多项:面部特征、身形特征、着装特征。
3.根据权利要求1或2所述的无人机旅游伴随服务方法,其特征在于,所述手势指令还包括:跟随指令;
在所述识别出的手势指令为所述跟随指令时,无人机将工作模式切换到跟随飞行模式,以使无人机跟随该伴游服务对象飞行。
4.根据权利要求3所述的无人机旅游伴随服务方法,其特征在于,在所述从所述潜在对象中确定出伴游服务对象之后,无人机自动将工作模式切换到所述跟随飞行模式。
5.一种应用人脸及姿态识别的旅游伴随服务无人机,其特征在于,包括:
伴游服务对象获取模块,用于在游客在景区的入口或热门景点处通过扫码预定或柜台预定的途径进行伴游服务预定,在游客预定伴游服务后,在伴游服务预定处获取潜在对象的外部特征,并依据所述外部特征从所述潜在对象中确定伴游服务对象,所述外部特征包括预先提供给预定服务游客的将其与其他潜在目标区分开的着装;
手势指令识别模块,用于获取所述伴游服务对象的手势,进而识别出相应的手势指令;
飞行控制模块,用于根据所述手势指令识别模块识别出的手势指令,获取所述伴游服务对象的位置和/或朝向,并依据所述伴游服务对象的位置和/或朝向调整无人机的飞行位置和/或朝向;
手势指令执行模块,用于对所述伴游服务对象执行与所述手势指令相应的动作,所述手势指令执行模块包括摄像头,所述摄像头用于对所述伴游服务对象进行拍照和/或录像;其中,
所述手势指令包括拍照指令和录像指令;
所述伴游服务对象获取模块包括:
图像获取单元,用于获取无人机周围环境的图像;
对象识别单元,用于从所述图像获取单元获取的环境图像中识别出各潜在对象,进而获取到所述潜在对象的图像;
第一特征识别单元,用于从所述对象识别单元识别出的各潜在对象的图像中识别出所述各潜在对象的外部特征;其中,
从环境图像中识别出潜在对象以及潜在对象的外部特征后,无人机通过对识别出的潜在对象外部特征以及预先输入到***中的特征条件进行比对,从各潜在对象的外部特征中识别出符合特征条件的外部特征,并将符合特征条件的潜在对象确定为伴游服务对象;并且,
所述无人机还包括第一方向调整模块,用于在所述对象识别单元在预先设定的对象识别时间内未能从所述环境图像中识别出任一潜在对象的情况下,调整无人机的朝向,并使所述伴游服务对象获取模块重新获取周围环境的图像;
所述无人机还包括第二方向调整模块,用于在第二特征识别单元在预先设定的特征识别时间内未能从所述潜在对象中识别出符合特征条件的外部特征的情况下,调整无人机的朝向,并使所述伴游服务对象获取模块重新获取周围环境的图像,并依据重新获取的图像从各所述潜在对象的外部特征中重新识别符合特征条件的外部特征;
所述伴游服务对象获取模块还包括伴游服务对象选择单元,用于在所述伴游服务对象确定单元确定出多个符合特征条件的潜在对象的情况下:选择特征条件匹配度最高的潜在对象作为伴游服务对象,或使无人机持续识别外部特征直到只存在唯一符合所述特征条件的潜在对象,并将该唯一潜在对象作为伴游服务对象;
所述手势指令执行模块包括:自拍摄录单元,在所述手势指令识别模块识别出的手势指令为所述拍照指令/所述录像指令时,所述飞行控制模块调整无人机的飞行位置和/或朝向以使无人机的摄录侧面向所述伴游服务对象,使无人机的摄录侧面向或相对面向伴游服务对象,或者使摄录侧面向伴游服务对象面部的正面,以实现拍摄效果的最优化,之后所述自拍摄录单元将无人机的工作模式切换到自拍摄录模式,并依据所述拍照指令/所述录像指令控制所述摄像头对所述伴游服务对象进行拍照/录像;
在所述手势指令执行模块执行所述拍照指令/所述录像指令的过程中,所述伴游服务对象获取模块实时获取所述伴游服务对象的面部表情特征,并在所述面部表情特征符合持续摄录条件时,控制所述手势指令执行模块持续对所述伴游服务对象进行拍照/录像;在所述伴游服务对象获取模块获取的所述面部表情特征不符合所述持续摄录条件时,所述伴游服务对象获取模块使所述手势指令执行模块停止对所述伴游服务对象进行拍照和录像,并将无人机的工作模式切换到跟随飞行模式,以使无人机跟随所述伴游服务对象飞行;
所述手势指令还包括:航拍指令;所述手势指令执行模块还包括目标航拍单元,所述目标航拍单元用于在所述手势指令识别模块识别出手势指令为所述航拍指令时,将无人机的工作模式切换到航拍模式,并控制无人机按照预先设定的飞行动作飞行,并控制无人机的摄像头在飞行的同时对所述伴游服务对象进行航拍;
所述手势指令还包括:导航指令;所述手势指令执行模块还包括目标导航单元,所述目标导航单元用于在所述手势指令识别模块识别出手势指令为所述导航指令时,将无人机的工作模式切换到导航模式,并控制无人机按照预先设定的飞行路线飞行,以引导所述伴游服务对象经过所述飞行路线中的各途经点;
所述手势指令还包括:降落指令,所述手势指令识别模块识别出降落指令之后,所述飞行控制模块依据所述降落指令控制无人机降落;
所述无人机还包括:第一参数检测模块,用于在处于停飞状态的无人机因受到初始力而从着陆状态被斜向抛飞到空中的情况下,检测所述无人机在被抛飞过程中的运动参数,并根据所述被抛飞过程中的运动参数使所述飞行控制模块调整所述无人机的飞行参数,以控制无人机空中自动起飞;
所述无人机还包括:第二参数检测模块,用于在处于停飞状态的无人机因受到重力而从着陆状态变为失重状态的情况下,无人机检测自身在下落过程中的运动参数,并根据所述下落过程中的运动参数使所述飞行控制模块调整所述无人机的飞行参数,以控制无人机空中自动悬停。
6.根据权利要求5所述的无人机,其特征在于,所述伴游服务对象获取模块获取的所述外部特征包括以下一项或多项:面部特征、身形特征、着装特征。
7.根据权利要求5或6所述的无人机,其特征在于,所述手势指令还包括:跟随指令;
所述手势指令执行模块包括目标跟随单元,所述目标跟随单元用于在所述手势指令识别模块识别出的手势指令为所述跟随指令时,将无人机的工作模式切换到跟随飞行模式,以使无人机跟随所述伴游服务对象飞行。
8.根据权利要求7所述的无人机,其特征在于,所述目标跟随单元还用于在所述伴游服务对象获取模块从所述潜在对象中确定出伴游服务对象之后,将无人机的工作模式切换到所述跟随飞行模式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910049682.8A CN109948423B (zh) | 2019-01-18 | 2019-01-18 | 应用人脸及姿态识别的无人机旅游伴随服务方法及无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910049682.8A CN109948423B (zh) | 2019-01-18 | 2019-01-18 | 应用人脸及姿态识别的无人机旅游伴随服务方法及无人机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109948423A CN109948423A (zh) | 2019-06-28 |
CN109948423B true CN109948423B (zh) | 2020-09-11 |
Family
ID=67007866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910049682.8A Active CN109948423B (zh) | 2019-01-18 | 2019-01-18 | 应用人脸及姿态识别的无人机旅游伴随服务方法及无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109948423B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021026780A1 (zh) * | 2019-08-13 | 2021-02-18 | 深圳市大疆创新科技有限公司 | 拍摄控制方法、终端、云台、***及存储介质 |
CN112749290A (zh) * | 2019-10-30 | 2021-05-04 | 青岛千眼飞凤信息技术有限公司 | 照片展示处理方法及装置、视频展示处理方法及装置 |
WO2021217430A1 (en) * | 2020-04-28 | 2021-11-04 | SZ DJI Technology Co., Ltd. | System and method for operating a movable object based on human body indications |
CN112528822B (zh) * | 2020-12-04 | 2021-10-08 | 湖北工业大学 | 一种基于人脸识别技术的老弱人群寻路导识装置及方法 |
TWI785643B (zh) * | 2021-06-10 | 2022-12-01 | 國立虎尾科技大學 | 無人機導遊定位系統 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6199418B2 (ja) * | 2016-01-13 | 2017-09-20 | 公益財団法人鉄道総合技術研究所 | 小型無人飛行機を利用した遠隔構造物の検査システム |
CN107436608A (zh) * | 2016-05-26 | 2017-12-05 | 富士通株式会社 | 用于无人机的控制装置及用于导游的*** |
CN106056075A (zh) * | 2016-05-27 | 2016-10-26 | 广东亿迅科技有限公司 | 基于无人机的社区网格化中重点人员识别及跟踪*** |
CN107037819B (zh) * | 2016-11-24 | 2020-04-03 | 腾讯科技(深圳)有限公司 | 一种飞行器的起飞控制方法和起飞控制装置 |
CN106817541A (zh) * | 2017-01-10 | 2017-06-09 | 惠州Tcl移动通信有限公司 | 一种基于面部表情控制拍照的方法及*** |
CN106774947A (zh) * | 2017-02-08 | 2017-05-31 | 亿航智能设备(广州)有限公司 | 一种飞行器及其控制方法 |
CN109119008A (zh) * | 2018-09-28 | 2019-01-01 | 江苏派远软件开发有限公司 | 一种智能导游*** |
-
2019
- 2019-01-18 CN CN201910049682.8A patent/CN109948423B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109948423A (zh) | 2019-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948423B (zh) | 应用人脸及姿态识别的无人机旅游伴随服务方法及无人机 | |
CN110692027B (zh) | 用于提供无人机应用的易用的释放和自动定位的***和方法 | |
US20230156319A1 (en) | Autonomous media capturing | |
CN107087427B (zh) | 飞行器的控制方法、装置和设备以及飞行器 | |
CN110494360B (zh) | 用于提供自主摄影及摄像的***和方法 | |
CN110687902B (zh) | 用于免控制器式用户无人机交互的***和方法 | |
CN108702448B (zh) | 无人机图像采集方法及无人机、计算机可读存储介质 | |
US10187580B1 (en) | Action camera system for unmanned aerial vehicle | |
CN105242685B (zh) | 一种伴飞无人机航拍***及方法 | |
WO2018209702A1 (zh) | 无人机的控制方法、无人机以及机器可读存储介质 | |
JP6696118B2 (ja) | 電子機器 | |
CN108377328A (zh) | 一种直升机巡视作业的目标拍摄方法及装置 | |
WO2020249088A1 (zh) | 一种移动目标的追踪方法、装置及无人机 | |
CN106973221B (zh) | 基于美学评价的无人机摄像方法和*** | |
CN104808680A (zh) | 一种多旋翼飞行拍摄设备 | |
WO2020024104A1 (zh) | 返航控制方法、装置及设备 | |
CN114879720A (zh) | 无人飞行器的控制方法、设备及无人飞行器 | |
CN109196438A (zh) | 一种飞行控制方法、设备、飞行器、***及存储介质 | |
CN109002059A (zh) | 一种多旋翼无人机目标实时跟踪拍摄***及方法 | |
WO2022082440A1 (zh) | 确定目标跟随策略的方法、装置、***、设备及存储介质 | |
CN109121434B (zh) | 无人机交互拍摄***及方法 | |
WO2016068354A1 (ko) | 무인비행기, 타겟 자동 촬영 장치 및 방법 | |
US11434002B1 (en) | Personal drone assistant | |
CN116762354A (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
JP2019168886A (ja) | 検出体領域検出装置、撮像装置、飛行装置、検出体領域検出方法、撮像方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |