CN110637335B - 无人机的教学方法和无人机的遥控器 - Google Patents

无人机的教学方法和无人机的遥控器 Download PDF

Info

Publication number
CN110637335B
CN110637335B CN201880032474.0A CN201880032474A CN110637335B CN 110637335 B CN110637335 B CN 110637335B CN 201880032474 A CN201880032474 A CN 201880032474A CN 110637335 B CN110637335 B CN 110637335B
Authority
CN
China
Prior art keywords
rocker
standard
force feedback
remote control
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880032474.0A
Other languages
English (en)
Other versions
CN110637335A (zh
Inventor
王晓丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110637335A publication Critical patent/CN110637335A/zh
Application granted granted Critical
Publication of CN110637335B publication Critical patent/CN110637335B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/165Control of aircraft
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/003Simulators for teaching or training purposes for military purposes and tactics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/05UAVs specially adapted for particular uses or applications for sports or gaming, e.g. drone racing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例提供一种无人机的教学方法和无人机的遥控器。本发明的无人机的教学方法,包括:获取教学数据,所述教学数据包括摇杆的标准轨迹,根据所述标准轨迹,控制驱动装置带动摇杆运动。本发明实施例可以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。

Description

无人机的教学方法和无人机的遥控器
技术领域
本发明实施例涉及无人机技术,尤其涉及一种无人机的教学方法和无人机的遥控器。
背景技术
穿越机作为无人机的一种,以竞速、穿越等竞技内容为广大飞行爱好者所知,具有体积小、飞行速度快的特点。与传统消费级无人机不同的是,穿越机往往伴随着较高的技术门槛,一个熟练操控穿越机的飞手需要很长时间的飞行训练才能达到一个较高的水平。通常的训练方式是飞手观看教学视频,然后自己操控穿越机进行模仿训练以达到教学视频中同样的飞行过程。但是,这样的训练方式中,飞手并不能知道教学视频中是如何操控遥控器达到视频中各种飞行姿态的,只能自己去不断试验,这样不仅增加了飞手的训练难度,也带来了更大的飞行风险。
上述穿越机的训练方式中,飞手只能直接获得教学穿越机的飞行过程,并不能知道教学视频中的飞手是如何实际操控遥控器达到视频中各种飞行姿态的,需要飞手根据讲解去自己理解,然后不断试验,这样不仅增加了飞手的训练难度,也带来了更大的飞行风险。
发明内容
本发明实施例提供一种无人机的教学方法和无人机的遥控器,以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。
第一方面,本发明实施例提供一种无人机的教学方法,所述方法包括:
获取教学数据,其中,所述教学数据包括摇杆的标准轨迹,所述摇杆设置于遥控器上;
根据所述标准轨迹,控制驱动装置带动所述摇杆运动,其中,所述驱动装置与所述摇杆相连,用于控制所述摇杆运动。
结合第一方面,在第一方面的一种可能的实现方式中,所述标准轨迹包括各个时刻的所述摇杆的标准操作状态。
结合第一方面或者第一方面的一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述标准操作状态包括如下至少一种:标准杆量和标准方向。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述根据所述标准轨迹,控制驱动装置带动所述摇杆运动,包括:
通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述遥控器还包括力反馈装置;
所述驱动装置带动所述摇杆运动时,所述力反馈装置能够提供一反馈作用力。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述力反馈装置设于所述摇杆和所述驱动装置之间,所述驱动装置通过所述力反馈装置带动所述摇杆运动。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述力反馈装置设于所述摇杆与摇杆枢转部之间,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述力反馈装置为扭簧装置。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述力反馈装置为弹簧装置。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述力反馈装置为磁性装置。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述力反馈装置为一段弹性杆,所述弹性杆由弹性材料构成。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述根据所述标准轨迹,控制驱动装置所述摇杆运动,包括:
获取飞手当前时刻操作摇杆的实际操作状态;
根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量;
通过所述力反馈装置反馈所述操作偏移量。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述通过所述力反馈装置反馈所述操作偏移量,包括:
当所述操作偏移量大于预设阈值时,通过所述力反馈装置反馈所述操作偏移量。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述通过所述力反馈装置反馈所述操作偏移量,包括:
当所述操作偏移量大于预设阈值时,记录所述操作偏移量。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述方法还包括:
根据所述操作偏移量,确定所述飞手的操作评分。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述摇杆和所述驱动装置之间还设置有力反馈装置,所述方法还包括:
获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹;
根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值,其中,所述标准飞行轨迹为与所述摇杆的标准轨迹对应的无人机的飞行轨迹;
通过所述力反馈装置反馈所述飞行轨迹差值。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述方法还包括:
根据所述飞行轨迹差值,确定所述飞手的操作评分。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述无人机为模拟无人机,所述模拟无人机显示于一显示设备上。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述操作飞行轨迹或所述标准飞行轨迹中的至少一者显示于所述显示设备上。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述教学数据由教练控制教学遥控器生成。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述教学数据为使用视觉分析对录制视频进行处理获取的,其中,所述录制视频为教练控制教学遥控器的实际操作视频。
结合第一方面或者第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述视觉分析包括基于双目立体视觉的三维建模算法。
第二方面,本发明实施例提供一种无人机的遥控器,包括:
摇杆、驱动装置和处理器,所述驱动装置的一端与所述摇杆连接,所述驱动装置的另一端与所述处理器连接;
其中,所述处理器用于获取教学数据,所述教学数据包括摇杆的标准轨迹;
所述处理器还用于根据所述标准轨迹,控制所述驱动装置带动所述摇杆运动。
结合第二方面,在第二方面的一种可能的实现方式中,所述标准轨迹包括各个时刻的所述摇杆的标准操作状态。
结合第二方面或第二方面的一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述标准操作状态包括如下至少一种:标准杆量和标准方向。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述处理器用于:
通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述遥控器还包括力反馈装置,所述力反馈装置用于在所述驱动装置带动所述摇杆运动时,提供一反馈作用力。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述力反馈装置设置在所述摇杆和所述驱动装置之间,所述驱动装置通过所述力反馈装置带动所述摇杆运动。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述力反馈装置设于所述摇杆与摇杆枢转部之间,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述力反馈装置为扭簧装置。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述力反馈装置为弹簧装置。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述力反馈装置为磁性装置。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述力反馈装置为一段弹性杆,所述弹性杆由弹性材料构成。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述处理器用于获取所述飞手当前时刻操作摇杆的实际操作轨迹;根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量;通过所述力反馈装置反馈所述操作偏移量。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述处理器用于当所述操作偏移量大于预设阈值时,所述力反馈装置用于反馈所述操作偏移量。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述处理器用于当所述操作偏移量大于预设阈值时,记录所述操作偏移量。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述处理器还用于根据所述操作偏移量,确定所述飞手的操作评分。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述摇杆和所述驱动装置之间还设置有力反馈装置,所述处理器用于:
获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹;
根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值,其中,所述标准飞行轨迹为与所述摇杆的标准轨迹对应的无人机的飞行轨迹;
通过所述力反馈装置反馈所述飞行轨迹差值。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述处理器还用于:
根据所述飞行轨迹差值,确定所述飞手的操作评分。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述无人机为模拟无人机,所述模拟无人机显示于一显示设备上。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述操作飞行轨迹或所述标准飞行轨迹中的至少一者显示于所述显示设备上。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述教学数据由教练控制教学遥控器生成。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述教学数据为使用视觉分析对录制视频进行处理获取的,其中,所述录制视频为教练控制教学遥控器的实际操作视频。
结合第二方面或第二方面的任一种可能的实现方式,在第二方面的另一种可能的实现方式中,所述视觉分析包括基于双目立体视觉的三维建模算法。
第三方面,本发明实施例提供一种计算机存储介质,其上存储有计算机程序或指令,当所述计算机程序或指令被处理器或计算机执行时,实现如上述第一方面任一项所述的无人机的教学方法。
本发明实施例的无人机的教学方法和无人机的控制器,通过获取教学数据,所述教学数据包括摇杆的标准轨迹,根据所述标准轨迹控制驱动装置带动摇杆运动,学习操作控制的飞手可以通过该摇杆运动学习遥控器对无人机的具体操作过程。相较于飞手通过观看教学视频操作无人机,进行模仿训练的方式,本实施例的教学方法可以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种应用场景的示意图;
图2为本发明的一种无人机的教学方法的流程图;
图3A为本发明的另一种无人机的教学方法的流程图;
图3B为遥控器的摇杆的杆量和方向的示意图;
图3C为遥控器的内部结构示意图;
图4为本发明的另一种无人机的教学方法的流程图;
图5A为本发明的一种力反馈装置的结构示意图;
图5B为本发明的另一种力反馈装置的结构示意图;
图5C为本发明的另一种力反馈装置的结构示意图;
图6为本发明的另一种无人机的教学方法的流程图;
图7为本发明的一种无人机的遥控器的结构示意图;
图8为本发明的另一种无人机的遥控器的结构示意图;
图9为本发明的芯片的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文所涉及的“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1为本发明的一种应用场景的示意图,如图1所示,该应用场景包括遥控器1和外部设备2,其中,该遥控器1可以是用于控制无人机的遥控器,例如控制穿越机的遥控器、控制植保机的遥控器等,该外部设备2 可以是指向用户提供语音和/或其他业务数据连通性的设备,具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio Access Network,RAN)与一个或多个核心网进行通信,无线终端可以是移动终端,如移动电话(或称为“蜂窝”电话) 和具有移动终端的计算机,例如,可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置,它们与无线接入网交换语言和/或数据。例如,个人通信业务(Personal Communication Service,PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol,SIP)话机、无线本地环路(Wireless Local Loop,WLL)站、个人数字助理(Personal Digital Assistant, PDA)等设备。无线终端也可以称为***、订户单元(Subscriber Unit)、订户站(SubscriberStation),移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment),在此不作限定。
需要说明的是,该外部设备2也可以是有线终端,如个人计算机 (personalcomputer,PC)等。
其中,图1中外部设备2和遥控器1分离设置,其也可以是其他设置方式,例如,外部设备2可以设置在遥控器1上,图1仅为一种示意性说明,本发明不以此作为限制。
该遥控器1上设置有摇杆,飞手通过控制摇杆运动,实现对与该遥控器1通信连接的无人机的飞行控制,飞手需要学习如何控制遥控器,实现对无人机的飞行控制。本发明实施例提供一种无人机的教学方法,外部设备2或遥控器1获取教学数据,所述教学数据包括摇杆的标准轨迹,外部设备2或遥控器1根据所述标准轨迹控制遥控器1中的驱动装置带动摇杆运动,其中,所述驱动装置与所述摇杆相连,用于控制所述摇杆运动。从而使得飞手能够实时地感知标准的操控过程,提高飞行学习的效率。
在一些应用场景中,图1还可以包括无人机3,该无人机3与遥控器 1通信连接。该遥控器1可以控制该无人机3的飞行姿态、飞行速度、飞行轨迹等。
下面采用几个具体的实施例对本发明的无人机的教学方法进行具体解释说明。
图2为本发明的一种无人机的教学方法的流程图,如图2所示,本实施例的执行主体可以是处理器,该处理器可以是安装在上述遥控器1中的处理器,也可以是安装在上述外部设备2中的处理器,本实施例的方法可以包括:
步骤101、获取教学数据,所述教学数据包括摇杆的标准轨迹。
摇杆的标准轨迹可以包括摇杆的标准杆量和标准方向。这里的标准,包括标准轨迹、标准杆量或标准方向,指的是预先由教练操作遥控器摇杆(例如,教练根据一特定的飞行模式如“刷锅”模式操作遥控器摇杆控制飞行)所生成的轨迹、杆量或方向。所述摇杆设置于遥控器上。所述教学数据由教练控制教学遥控器生成,即该教学数据包括摇杆的标准轨迹,以该摇杆的标准轨迹控制无人机,可以使得无人机完成相应飞行姿态、飞行速度、飞行轨迹等。
该教学数据可以从服务器下载获取,也可以是本地存储的教学数据。
对于任意一个实施例,该教学数据由教练控制教学遥控器生成。
一种具体的实现方式,通过记录的方式记录教练控制教学遥控器时的标准轨迹,例如,其可以采用如图5A至图5C任一所示的遥控器中的角度传感器来直接记录摇杆的轨迹。
另一种具体的实现方式,通过视觉的方法来获取教学数据,该教学数据为使用视觉分析对录制视频进行处理获取的,其中,所述录制视频为教练控制教学遥控器的实际操作视频。
具体的,在教学视频拍摄中,对教练操控遥控器的过程进行拍摄,即直接通过视频的形式来获取整个教学过程教练对摇杆的操控。然后,对该视频进行视觉分析处理,处理出摇杆在每个时刻的轨迹。同样的,视觉分析的结果输出仍旧可以是上述遥控器记录文件中的杆量和方向,或者X轴的转动位移和Y轴的转动位移。
具体的,在视觉分析过程中,可以是通过基于双目立体视觉的三维建模算法,对遥控器的摇杆部分或遥控器整体进行图像分析并建模,得到每个时刻摇杆的轴线位置以及遥控器表面的位置,据此计算得出摇杆在每个时刻的具体杆量与方向从而生成教学数据。
针对具体的视觉分析,还可以是通过基于双目立体视觉的三维建模算法,对教练的双手进行建模。因为针对无人机遥控器的操控,通常会有惯用的操控手势,如会使用拇指和食指捏住摇杆顶部进行控制,因此可以通过对教练的双手进行建模,得出每个时刻操控摇杆的具***置。
具体地,对教练的双手进行建模时,可以采用基于部分亲和字段(Part AffinityField,PAF)的图像姿态估计,对手指的不同部分进行矢量估计,并通过手指关节的位置关联关系对双手进行视觉建模;在对图像建模分析后可以得到各个手指每个时刻的具***置,再结合预设的教练的操作姿势,就可以得到每个时刻摇杆所处的位置,从而分析得到教学数据。
可选的,为了得到每个时刻教练手部的具***置,还可以通过在教练手指部分佩戴相应的传感器来获得,其原理类似于在手腕处佩戴智能手环而获得手腕处的动作。
步骤102、根据所述标准轨迹,控制驱动装置带动摇杆运动,其中,所述驱动装置与所述摇杆相连,用于控制所述摇杆运动。
具体的,本申请的遥控器中设置有驱动装置,该驱动装置与摇杆相连,该驱动装置用于输出相应的扭矩以带动摇杆运动,处理器根据所述标准轨迹控制驱动装置带动摇杆运动,学习操作控制的飞手可以通过该摇杆运动学习遥控器对无人机的具体操作过程。
一种可实现方式,外部设备的处理器获取教学数据,根据教学数据所包括的标准轨迹生成控制指令,并向遥控器发送该控制指令,遥控器的微控制单元(MicrocontrollerUnit,MCU)根据该控制指令控制驱动装置带动摇杆运动。即在这种实现方式中,遥控器无需设置具有较高处理能力的处理器,由外部设备对教学数据进行处理后发送给遥控器。
另一种可实现方式,遥控器设置有较高处理能力的处理器,该遥控器的处理器可以获取教学数据,遥控器的处理器根据所述标准轨迹控制驱动装置带动摇杆运动。
上述根据所述标准轨迹控制驱动装置带动摇杆运动的过程中,外部设备可以同步播放教学视频,该教学视频可以包括无人机的飞行姿态、飞行轨迹等视频内容,该无人机的飞行姿态是教练控制教学遥控器所对应的无人机的飞行姿态,飞手在学习无人机的操作控制过程中,可以观看该教学视频,并通过上述处理步骤感受不同飞行姿态对应的遥控器的具体操作方式,从而有效学习遥控器对无人机的飞行控制。
当然可以理解的,也可以使用文字、音频、图片或其组合的方式替代上述教学视频。
在一些实施例中,也可以设置遥控器的教学模式,在教学模式下,可以通过上述方法步骤以标准轨迹控制驱动装置带动摇杆运动,同时根据标准轨迹控制无人机运动,飞手在学习无人机的操作控制过程中,可以观看该无人机运动状态,并通过上述处理步骤感受不同飞行姿态对应的遥控器的具体操作方式,从而有效学习遥控器对无人机的飞行控制。
本实施例,通过获取教学数据,所述教学数据包括摇杆的标准轨迹,根据所述标准轨迹控制驱动装置带动摇杆运动,学习操作控制的飞手可以通过该摇杆运动学习遥控器对无人机的具体操作过程。相较于飞手通过观看教学视频操作无人机,进行模仿训练的方式,本实施例的教学方法可以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。
下面采用几个具体的实施例,对图2所示方法实施例的技术方案进行详细说明。
图3A为本发明的另一种无人机的教学方法的流程图,图3B为遥控器的摇杆的杆量和方向的示意图,图3C为遥控器的内部结构示意图,在教学过程中,本实施例的遥控器的摇杆的运动仅受控于驱动装置,如图3A 所示,本实施例的方法可以包括:
步骤201、获取教学数据,所述教学数据包括摇杆的标准轨迹。
其中,步骤201的具体解释说明可以参见图2所示实施例的步骤101,此处不再赘述。
具体的,该标准轨迹包括各个时刻的摇杆的标准操作状态。
一种可实现方式,该标准操作状态包括如下至少一种:标准杆量和标准方向。例如,该标准轨迹包括各个时刻的摇杆的标准杆量和标准方向。杆量为如图3B所示的θ,方向为如图3B所示的α,标准杆量具体指由教练控制遥控器时的杆量,标准方向具体指由教练控制遥控器时的方向。遥控器通常包括如图3B所示的左右两个摇杆,相应的,该标准轨迹可以包括θi(t)和αi(t), i=1,2,i取1表示左摇杆,i取2表示右摇杆,t表示时间,即该标准轨迹可以包括各个时刻的左右摇杆的标准杆量和标准方向。
另一种可实现方式,该标准操作状态包括如下至少一种:X轴的转动位移和Y轴的转动位移。例如,该标准轨迹包括各个时刻的摇杆的X轴的转动位移和Y轴的转动位移,具体的,如图3C所示,遥控器的摇杆通过X轴与 Y轴转动而运动,从而实现摇杆在360度的角度范围内转动,该各个时刻的 X轴的转动位移和Y轴的转动位移也可以确定各个时刻的摇杆的杆量和方向。
步骤202、通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。
具体的,遥控器的处理器可以通过所述驱动装置控制所述摇杆以所述各个时刻的标准杆量和/或标准方向运动。或者,外部设备的处理器可以通过所述驱动装置控制所述摇杆以各个时刻的标准杆量和/或标准方向运动。
即本实施例的摇杆可以通过上述方法步骤自行运动,飞手通过摇杆的运动感受不同飞行姿态对应的遥控器的具体操作方式,从而有效学习对无人机的飞行控制。
本实施例,获取教学数据,所述教学数据包括摇杆的标准轨迹,通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。学习操作控制的飞手可以通过该摇杆运动学习遥控器对无人机的具体操作过程。相较于飞手通过观看教学视频操作无人机,进行模仿训练的方式,本实施例的教学方法可以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。
图4为本发明的另一种无人机的教学方法的流程图,如图4所示,本实施例与图3A所示实施例的区别在于可以根据标准轨迹和实际操作轨迹确定操作偏移量,并通过力反馈装置反馈该操作偏移量,本实施例的遥控器包括摇杆和驱动装置,驱动装置与摇杆相连,用于控制摇杆运动,该遥控器还设置有力反馈装置,在驱动装置带动摇杆运动时,力反馈装置能够提供一反馈作用力,本实施例的方法可以包括:
步骤301、获取教学数据,所述教学数据包括摇杆的标准轨迹。
其中,步骤301的具体解释说明可以参见图2所示实施例的步骤101,此处不再赘述。
步骤302、获取飞手当前时刻操作摇杆的实际操作状态。
具体的,与上述图 4 所示实施例遥控器的摇杆的运动仅受控于驱动装置不同,本实施例摇杆的运动受控于飞手的实际操作,即飞手控制摇杆,遥控器获取飞手当前时刻操作摇杆的实际操作状态。一种可实现方式,飞手可以通过外部设备观看教学视频的同时,根据教学视频讲解对遥控器进行操作,遥控器获取飞手操作摇杆的实际操作状态。
步骤303、根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量。
具体的,遥控器可以根据当前时刻的标准操作状态和实际操作状态,确定操作偏移量。即计算飞手操作摇杆的实际操作状态与标准操作状态之间的差距,并通过步骤304反馈该操作偏移量,即反馈飞手操作的错误程度。
步骤304、通过所述力反馈装置反馈所述操作偏移量。
具体的,一种可实现方式,该力反馈装置设置于摇杆与驱动装置之间,所述驱动装置通过所述力反馈装置带动所述摇杆运动。另一种可实现方式,该力反馈装置设于所述摇杆与摇杆枢转部之间,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。设置该力反馈装置可以避免飞手对遥控器的摇杆进行操作时,因用力过度而卡住摇杆。该操作偏移量可以实时地通过力反馈装置向飞手反馈其操作的错误程度。一种可实现方式,通过反馈力的方向向飞手反馈控制摇杆的方向错误的程度,通过反馈力的大小向飞手反馈控制摇杆的杆量错误的程度。
在一些实施例中,所述操作状态可以包括操作杆量和操作方向中至少一项,所述操作偏移量可以包括杆量差值和方向差值中至少一项。举例而言,标准杆量和标准方向分别为θ(t)和α(t),操作杆量和操作方向分别为θ′(t)和α′(t),则该杆量差值为θ(t)-θ′(t),该方向差值为α(t)-α′(t)。
需要说明的是,在一些实施例中,操作状态可以包括操作X轴的转动位移和操作Y轴的转动位移,操作偏移量可以包括X轴的转动位移差值和Y轴的转动位移差值,其可以根据需求进行灵活设置。
在一些实施例中,上述步骤304的一种具体的实现方式可以为,当所述操作偏移量大于预设阈值时,通过所述力反馈装置反馈所述操作偏移量。另一种具体的实现方式可以为当所述操作偏移量大于预设阈值时,记录所述操作偏移量。该预设阈值可以根据需求进行灵活设置。从而实现具有较大错误时才进行反馈,而在操作错误较小时不进行反馈。
在一些实施例中,上述步骤之后还可以根据所述操作偏移量确定所述飞手的操作评分。该操作评分可以通过遥控器或者外部设备反馈给飞手,以便飞手获取其学***,而不限制具体反映的形式;只要是能够向飞手传达其控制操作水平的形式均可,例如可以是实时显示给飞手的一个分数,如五分制、十分制、百分制等的一个具体的分数,也可以是一个等级,如ABC分级等下的一个具体的等级,也可以是通过颜色反映,如越接近红色表示错误越大等。具体地,根据所述操作偏移量确定所述飞手的操作评分,可以是评分与操作偏移量呈负相关,偏移愈大则评分愈低;这里的负相关,可以是线性或非线性的、平滑的或阶梯的等,此处不作限制。
本实施例,获取教学数据,所述教学数据包括摇杆的标准轨迹,获取飞手当前时刻操作摇杆的实际操作状态,根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量,通过所述力反馈装置反馈所述操作偏移量。学习操作控制的飞手可以通过该力反馈装置反馈的操作偏移量获知其实际操作状态与标准操作状态的差距,学习遥控器对无人机的具体操作过程。相较于飞手通过观看教学视频操作无人机,进行模仿训练的方式,本实施例的教学方法可以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。
下面对力反馈装置的几种具体形式进行具体说明。
图5A为本发明的一种力反馈装置的结构示意图,如图5A所示,该力反馈装置包括扭簧装置1和扭簧装置2,扭簧装置1的一端与X轴连接,扭簧装置1的另一端与X轴驱动装置连接,扭簧装置2的一端与Y轴连接,扭簧装置2的另一端与Y轴驱动装置连接,X轴和Y轴均与摇杆连接,X轴驱动装置和Y轴驱动装置与控制器连接,该控制器可以是处理器、或者微型处理器等。
以本实施例的装置结构对上述图3A的方法实施例进行解释说明,控制器向X轴驱动装置和Y轴驱动装置分别发送指令,以控制驱动装置通过扭簧装置带动摇杆以标准轨迹运动。飞手可以感受该标准轨迹。
以本实施例的装置结构对上述图4的方法实施例进行解释说明,控制器向X轴驱动装置和Y轴驱动装置分别发送指令,以控制驱动装置使得扭簧装置的一端以标准操作状态运动,该扭簧装置的另一端受控于摇杆,即飞手操作摇杆,当飞手的实际操作状态与标准操作状态相同时,扭簧装置两端受力相同,则该扭簧装置不会产生弹性形变,而当飞手的实际操作状态与标准操作状态不同时,扭簧装置两端受力不相同,则该扭簧装置会产生弹性形变,该扭簧装置恢复原状时,会反馈操作偏移量。
可选的,在摇杆下端还可以设置角度传感器,该角度传感器可以实时获取摇杆的实际操作状态,即该角度传感器可以实时获取摇杆的实际操作状态,该角度传感器可以将获取的实际操作状态发送给处理器,即将实际操作状态发送给处理器,处理器可以根据当前时刻的标准操作状态和实际操作状态,确定操作偏移量。该角度传感器还可以使用惯性测量单元 (Inertial measurement unit,IMU)替换。
可选的,上述驱动装置可以是舵机。
图5B为本发明的另一种力反馈装置的结构示意图,如图5B所示,该力反馈装置包括弹簧装置1、摇杆枢转部1、弹簧装置2和摇杆枢转部2,弹簧装置1与摇杆枢转部1连接,弹簧装置2与摇杆枢转部2连接。弹簧装置1的另一端与X轴驱动装置连接,摇杆枢转部1与X轴连接,弹簧装置2的另一端与Y轴驱动装置连接,摇杆枢转部2与Y轴连接,该控制器可以是处理器、或者微型处理器等。
以本实施例的装置结构对上述图3A的方法实施例进行解释说明,控制器向X轴驱动装置和Y轴驱动装置分别发送指令,以控制驱动装置通过弹簧装置和摇杆枢转部带动摇杆以各个时刻的标准操作状态运动,具体的,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。飞手可以感受该标准标准操作状态。
以本实施例的装置结构对上述图4的方法实施例进行解释说明,控制器向X轴驱动装置和Y轴驱动装置分别发送指令,以控制驱动装置使得弹簧装置的一端以各个时刻的标准操作状态运动,该弹簧装置的另一端受控于摇杆,即飞手实际操作摇杆,当飞手的实际操作状态与标准操作状态相同时,弹簧装置两端受力相同,则该弹簧装置不会产生弹性形变,而当飞手的实际操作状态与标准操作状态不同时,弹簧装置两端受力不相同,则该弹簧装置会产生弹性形变,该弹簧装置恢复原状时,会反馈操作偏移量。
可选的,在摇杆下端还可以设置角度传感器,该角度传感器可以实时获取摇杆的操作状态,即该角度传感器可以实时获取摇杆的实际操作状态,该角度传感器可以将获取的实际操作状态发送给处理器,即将实际操作状态发送给处理器,处理器可以根据当前时刻的标准操作状态和实际操作状态,确定操作偏移量。该角度传感器还可以使用惯性测量单元(Inertial measurement unit,IMU)替换。
可选的,上述驱动装置可以是伸缩气缸,该弹簧装置可以是拉伸弹簧。
图5C为本发明的另一种力反馈装置的结构示意图,如图5C所示,该力反馈装置包括磁性装置1和磁性装置2,磁性装置1的一端与X轴连接,磁性装置1的另一端与X轴驱动装置连接,磁性装置2的一端与Y轴连接,磁性装置2的另一端与Y轴驱动装置连接,X轴和Y轴均与摇杆连接,X 轴驱动装置和Y轴驱动装置与控制器连接,该控制器可以是处理器、或者微型处理器等。
以本实施例的装置结构对上述图3A的方法实施例进行解释说明,控制器向X轴驱动装置和Y轴驱动装置分别发送指令,以控制驱动装置通过磁性装置带动摇杆以各个时刻的标准操作状态运动。飞手可以感受该标准操作状态。
以本实施例的装置结构对上述图4的方法实施例进行解释说明,控制器向X轴驱动装置和Y轴驱动装置分别发送指令,以控制驱动装置使得磁性装置的一端以各个时刻的标准操作状态运动,该磁性装置的另一端受控于摇杆,即飞手实际操作摇杆,当飞手的实际操作状态与标准操作状态相同时,磁性装置两端受力相同,则该磁性装置不会产生位移形变,而当飞手的实际操作状态与标准操作状态不同时,磁性装置两端受力不相同,则该磁性装置会产生位移形变,该磁性装置恢复原状时,会反馈操作偏移量。
可选的,上述磁性装置具体可以采用如图5C所示的设置方式,即叠设的两个磁阻,其中一个磁阻的N极与另一个磁阻的S极相对,一个磁阻的S极与另一个磁阻的N极相对。
可选的,在摇杆下端还可以设置角度传感器,该角度传感器可以实时获取摇杆的操作状态,即该角度传感器可以实时获取摇杆的实际操作状态,该角度传感器可以将获取的实际操作状态发送给处理器,即将实际操作状态发送给处理器,处理器可以根据当前时刻的标准操作状态和实际操作状态,确定操作偏移量。该角度传感器还可以使用惯性测量单元(Inertial measurement unit,IMU)替换。
可选的,上述驱动装置可以是电机。
需要说明的是,上述力反馈装置还可以为弹性杆,该弹性杆由弹性材料构成,其实现原理和效果与上述力反馈装置相同,此处不再赘述。本发明的力反馈装置的具体结构不以上述实施例作为限制。
需要说明的是,上述图5A至图5C均采用一个摇杆的连接进行示意性说明,遥控器的另一个摇杆可以采用相同的连接结构,此处不再赘述。
需要说明的是,另一种可实现方式,摇杆还可以通过设置在内转子电机的转子上来实现力反馈的效果。
需要说明的是,另一种可实现方式,遥控器还可以不采用如上所述的方式在摇杆处设置力反馈装置,而是在遥控器内部设置整体的力反馈装置。飞手操控摇杆时并不会感受到阻力,但是当其操控的错误过大时,遥控器整体会对飞手进行反馈,例如遥控器发出跟错误程度成正比的震动。
图6为本发明的另一种无人机的教学方法的流程图,本实施例在图2 所示实施例的基础上,还可以通过力反馈装置反馈飞行轨迹差值,如图6 所示,本实施例的方法可以包括:
步骤401、获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹。
其中,该操作飞行轨迹具体指与飞手实际操作摇杆的操作轨迹对应的无人机的飞行轨迹。
步骤402、根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值。
其中,所述标准飞行轨迹为与所述摇杆的标准轨迹对应的无人机的飞行轨迹。一种可实现方式,本实施例中的无人机为模拟无人机,该模拟无人机可以显示在一显示设备上,例如外部设备等。
步骤403、通过所述力反馈装置反馈所述飞行轨迹差值。
可选的,还根据所述飞行轨迹差值确定所述飞手的操作评分。当该飞行轨迹差值较大时,该操作评分会降低;当该飞行轨迹差值较小时,该操作评分会增加。对整个学习过程的飞行轨迹差值进行综合评估,可以得出飞手该次学习的综合评分。
可选的,所述操作飞行轨迹或所述标准飞行轨迹中的至少一者可以显示在所述显示设备上,例如外部设备等。
该确定飞手的操作评分的机制可以在外部设备端实现。举例而言,当飞手通过外部设备观看教学视频并同时操控遥控器学习时,可以在专用的学习软件中打开相应的教学视频,此时教练的无人机的标准飞行轨迹会在视频中显示出来,飞手可以操控遥控器以期实现相同的飞行轨迹,外部设备可以通过计算飞手的操作飞行轨迹与标准飞行轨迹的差值来对飞手的学习过程进行评分。
另外,还可以根据不同的飞行情况给出不同的权重分值。例如,当是一段直线飞行轨迹时,飞手存在着一定的操控误值,此时飞手的无人机的轨迹会偏离教练的直线飞行轨迹,但由于直线飞行轨迹较为简单,且一定的偏离不会对整体的飞行产生较大影响,对于这种操控误值可以赋予较低的权重;当是一段转弯飞行或其他难度较高的飞行轨迹时,飞手的操控误值会导致实际的飞行轨迹偏离教练飞行轨迹很多,并且此时对整体的飞行产生较大影响,对于这种操控误值可以赋予较高的权重。并且,针对这种飞行难度较大的飞行部分,当飞手完成这一部分的飞行后,可以实时给出这一段的学习效果(如 good、perfect等)。
评分机制不仅可以在一段飞行学习过程结束后对整个飞行过程进行评分,还可以实时地对飞手的飞行进行评分,即可以在显示界面(可以是遥控器的显示屏,也可以是在外部设备,如观看视频的界面)显示实时的分值。实时的分值就是根据实时的飞行轨迹误差计算得出的。
本实施例,获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹,根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值,通过所述力反馈装置反馈所述飞行轨迹差值。学习操作控制的飞手可以通过该力反馈装置反馈的飞行轨迹差值获知其操作飞行轨迹与标准飞行轨迹的差距,学习遥控器对无人机的具体操作过程。相较于飞手通过观看教学视频操作无人机,进行模仿训练的方式,本实施例的教学方法可以使得飞手直观获知无人机的操控方式,从而提升无人机飞行控制的学习效率。
图7为本发明的一种无人机的遥控器的结构示意图,如图7所示,本实施例的装置可以包括:摇杆11、驱动装置12和处理器13,
其中,所述驱动装置12的一端与所述摇杆11连接,所述驱动装置12 的另一端与所述处理器13连接;其中,所述处理器13用于获取教学数据,所述教学数据包括摇杆的标准轨迹;所述处理器13还用于根据所述标准轨迹,控制所述驱动装置带动所述摇杆运动。
在一些实施例中,所述标准轨迹包括各个时刻的所述摇杆的标准操作状态。
在一些实施例中,所述标准操作状态包括如下至少一种:标准杆量和标准方向。
在一些实施例中,所述处理器13用于:通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8为本发明的另一种无人机的遥控器的结构示意图,如图8所示,本实施例的装置在图8所示装置结构的基础上,进一步地,还可以包括:力反馈装置14,该力反馈装置14用于在所述驱动装置带动所述摇杆运动时,提供一反馈作用力。
可选的,所述力反馈装置14设置在所述摇杆11和所述驱动装置12之间,所述驱动装置12通过所述力反馈装置14带动所述摇杆11运动。
可选的,所述力反馈装置14设于所述摇杆与摇杆枢转部之间,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。
可选的,所述力反馈装置14为扭簧装置。
可选的,所述力反馈装置14为弹簧装置。
可选的,所述力反馈装置14为磁性装置。
可选的,所述力反馈装置14为一段弹性杆,所述弹性杆由弹性材料构成。
可选的,所述处理器用于获取所述飞手当前时刻操作摇杆的实际操作轨迹;根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量;通过所述力反馈装置反馈所述操作偏移量。
可选的,所述处理器13用于当所述操作偏移量大于预设阈值时,所述力反馈装置用于反馈所述操作偏移量。
可选的,所述处理器13用于当所述操作偏移量大于预设阈值时,记录所述操作偏移量。
可选的,所述处理器13还用于根据所述操作偏移量,确定所述飞手的操作评分。
在一些实施例中,所述摇杆和所述驱动装置之间还设置有力反馈装置14,所述处理器用于13:获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹;根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值,其中,所述标准飞行轨迹为与所述摇杆的标准轨迹对应的无人机的飞行轨迹;通过所述力反馈装置14反馈所述飞行轨迹差值。
可选的,所述处理器13还用于:根据所述飞行轨迹差值,确定所述飞手的操作评分。
可选的,所述无人机为模拟无人机,所述模拟无人机显示于一显示设备上。
可选的,所述操作飞行轨迹或所述标准飞行轨迹中的至少一者显示于所述显示设备上。
可选的,所述教学数据由教练控制教学遥控器生成。
可选的,所述教学数据为使用视觉分析对录制视频进行处理获取的,其中,所述录制视频为教练控制教学遥控器的实际操作视频。
可选的,所述视觉分析包括基于双目立体视觉的三维建模算法。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明的芯片的结构示意图,如图9所示,本实施例的芯片可以作为遥控器或者外部设备的芯片,本实施例的芯片可以包括:存储器21 和处理器22。存储器21与处理器22通信连接。
其中,存储器21用于存储程序指令,处理器22用于调用存储器21 中的程序指令执行上述方案。
本实施例以上所述的芯片,可以用于执行本发明上述各方法实施例中的技术方案,其实现原理和技术效果类似,此处不再赘述。
可选的,上述程序指令可以以软件功能单元的形式实现并能够作为独立的产品销售或使用,所述存储器21可以是任意形式的计算机可读取存储介质。基于这样的理解,本发明的技术方案的全部或部分可以以软件产品的形式体现出来,包括若干指令用以使得一台计算机设备,具体可以是处理器22,来执行本发明各个实施例中的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本发明的实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD)) 等。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (45)

1.一种无人机的教学方法,其特征在于,所述方法包括:
获取教学数据,其中,所述教学数据包括摇杆的标准轨迹,所述摇杆设置于遥控器上;
根据所述标准轨迹,控制驱动装置带动所述摇杆运动,其中,所述驱动装置与所述摇杆相连,用于控制所述摇杆运动。
2.根据权利要求1所述的方法,其特征在于,所述标准轨迹包括各个时刻的所述摇杆的标准操作状态。
3.根据权利要求2所述的方法,其特征在于,所述标准操作状态包括如下至少一种:标准杆量和标准方向。
4.根据权利要求2所述的方法,其特征在于,所述根据所述标准轨迹,控制驱动装置带动所述摇杆运动,包括:
通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。
5.根据权利要求1所述的方法,其特征在于,所述遥控器还包括力反馈装置;
所述驱动装置带动所述摇杆运动时,所述力反馈装置能够提供一反馈作用力。
6.根据权利要求5所述的方法,其特征在于,所述力反馈装置设于所述摇杆和所述驱动装置之间,所述驱动装置通过所述力反馈装置带动所述摇杆运动。
7.根据权利要求5所述的方法,其特征在于,所述力反馈装置设于所述摇杆与摇杆枢转部之间,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。
8.根据权利要求6或7所述的方法,其特征在于,所述力反馈装置为扭簧装置。
9.根据权利要求6或7所述的方法,其特征在于,所述力反馈装置为弹簧装置。
10.根据权利要求6或7所述的方法,其特征在于,所述力反馈装置为磁性装置。
11.根据权利要求6或7所述的方法,其特征在于,所述力反馈装置为一段弹性杆,所述弹性杆由弹性材料构成。
12.根据权利要求5所述的方法,其特征在于,所述根据所述标准轨迹,控制驱动装置所述摇杆运动,包括:
获取飞手当前时刻操作摇杆的实际操作状态;
根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量;
通过所述力反馈装置反馈所述操作偏移量。
13.根据权利要求12所述的方法,其特征在于,所述通过所述力反馈装置反馈所述操作偏移量,包括:
当所述操作偏移量大于预设阈值时,通过所述力反馈装置反馈所述操作偏移量。
14.根据权利要求12所述的方法,其特征在于,所述通过所述力反馈装置反馈所述操作偏移量,包括:
当所述操作偏移量大于预设阈值时,记录所述操作偏移量。
15.根据权利要求12所述的方法,其特征在于,所述方法还包括:
根据所述操作偏移量,确定所述飞手的操作评分。
16.根据权利要求1所述的方法,其特征在于,所述摇杆和所述驱动装置之间还设置有力反馈装置,所述方法还包括:
获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹;
根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值,其中,所述标准飞行轨迹为与所述摇杆的标准轨迹对应的无人机的飞行轨迹;
通过所述力反馈装置反馈所述飞行轨迹差值。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
根据所述飞行轨迹差值,确定所述飞手的操作评分。
18.根据权利要求16所述的方法,其特征在于,所述无人机为模拟无人机,所述模拟无人机显示于一显示设备上。
19.根据权利要求16所述的方法,其特征在于,所述操作飞行轨迹或所述标准飞行轨迹中的至少一者显示于显示设备上。
20.根据权利要求1所述的方法,其特征在于,所述教学数据由教练控制教学遥控器生成。
21.根据权利要求1所述的方法,其特征在于,所述教学数据为使用视觉分析对录制视频进行处理获取的,其中,所述录制视频为教练控制教学遥控器的实际操作视频。
22.根据权利要求21所述的方法,其特征在于,所述视觉分析包括基于双目立体视觉的三维建模算法。
23.一种无人机的遥控器,其特征在于,包括:
摇杆、驱动装置和处理器,所述驱动装置的一端与所述摇杆连接,所述驱动装置的另一端与所述处理器连接;
其中,所述处理器用于获取教学数据,所述教学数据包括摇杆的标准轨迹;
所述处理器还用于根据所述标准轨迹,控制所述驱动装置带动所述摇杆运动。
24.根据权利要求23所述的遥控器,其特征在于,所述标准轨迹包括各个时刻的所述摇杆的标准操作状态。
25.根据权利要求24所述的遥控器,其特征在于,所述标准操作状态包括如下至少一种:标准杆量和标准方向。
26.根据权利要求24所述的遥控器,其特征在于,所述处理器用于:
通过所述驱动装置控制所述摇杆,以所述各个时刻的所述摇杆的标准操作状态运动。
27.根据权利要求23所述的遥控器,其特征在于,所述遥控器还包括力反馈装置,所述力反馈装置用于在所述驱动装置带动所述摇杆运动时,提供一反馈作用力。
28.根据权利要求27所述的遥控器,其特征在于,所述力反馈装置设置在所述摇杆和所述驱动装置之间,所述驱动装置通过所述力反馈装置带动所述摇杆运动。
29.根据权利要求27所述的遥控器,其特征在于,所述力反馈装置设于所述摇杆与摇杆枢转部之间,所述驱动装置带动所述摇杆枢转部转动,所述摇杆枢转部通过力反馈装置带动所述摇杆运动。
30.根据权利要求28或29所述的遥控器,其特征在于,所述力反馈装置为扭簧装置。
31.根据权利要求28或29所述的遥控器,其特征在于,所述力反馈装置为弹簧装置。
32.根据权利要求28或29所述的遥控器,其特征在于,所述力反馈装置为磁性装置。
33.根据权利要求28或29所述的遥控器,其特征在于,所述力反馈装置为一段弹性杆,所述弹性杆由弹性材料构成。
34.根据权利要求27所述的遥控器,其特征在于,所述处理器用于获取飞手当前时刻操作摇杆的实际操作轨迹;根据当前时刻的所述标准操作状态和所述实际操作状态,确定操作偏移量;通过所述力反馈装置反馈所述操作偏移量。
35.根据权利要求34所述的遥控器,其特征在于,所述处理器用于当所述操作偏移量大于预设阈值时,所述力反馈装置用于反馈所述操作偏移量。
36.根据权利要求34所述的遥控器,其特征在于,所述处理器用于当所述操作偏移量大于预设阈值时,记录所述操作偏移量。
37.根据权利要求34所述的遥控器,其特征在于,所述处理器还用于根据所述操作偏移量,确定所述飞手的操作评分。
38.根据权利要求23所述的遥控器,其特征在于,所述摇杆和所述驱动装置之间还设置有力反馈装置,所述处理器用于:
获取飞手各个时刻实际操作摇杆对应的操作飞行轨迹;
根据各个时刻的标准飞行轨迹和所述操作飞行轨迹,确定飞行轨迹差值,其中,所述标准飞行轨迹为与所述摇杆的标准轨迹对应的无人机的飞行轨迹;
通过所述力反馈装置反馈所述飞行轨迹差值。
39.根据权利要求38所述的遥控器,其特征在于,所述处理器还用于:
根据所述飞行轨迹差值,确定所述飞手的操作评分。
40.根据权利要求38所述的遥控器,其特征在于,所述无人机为模拟无人机,所述模拟无人机显示于一显示设备上。
41.根据权利要求38所述的遥控器,其特征在于,所述操作飞行轨迹或所述标准飞行轨迹中的至少一者显示于显示设备上。
42.根据权利要求23所述的遥控器,其特征在于,所述教学数据由教练控制教学遥控器生成。
43.根据权利要求23所述的遥控器,其特征在于,所述教学数据为使用视觉分析对录制视频进行处理获取的,其中,所述录制视频为教练控制教学遥控器的实际操作视频。
44.根据权利要求43所述的遥控器,其特征在于,所述视觉分析包括基于双目立体视觉的三维建模算法。
45.一种计算机存储介质,其上存储有计算机程序或指令,其特征在于,当所述计算机程序或指令被处理器或计算机执行时,实现如权利要求1至22任一项所述的无人机的教学方法。
CN201880032474.0A 2018-02-28 2018-02-28 无人机的教学方法和无人机的遥控器 Expired - Fee Related CN110637335B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/077505 WO2019165588A1 (zh) 2018-02-28 2018-02-28 无人机的教学方法和无人机的遥控器

Publications (2)

Publication Number Publication Date
CN110637335A CN110637335A (zh) 2019-12-31
CN110637335B true CN110637335B (zh) 2021-09-14

Family

ID=67804756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880032474.0A Expired - Fee Related CN110637335B (zh) 2018-02-28 2018-02-28 无人机的教学方法和无人机的遥控器

Country Status (4)

Country Link
US (1) US20200335010A1 (zh)
EP (1) EP3761290A4 (zh)
CN (1) CN110637335B (zh)
WO (1) WO2019165588A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7079345B2 (ja) * 2018-12-14 2022-06-01 株式会社Nttドコモ 情報処理装置
CN113515142B (zh) * 2020-04-10 2023-07-07 北京三快在线科技有限公司 无人机轨迹跟踪控制方法、装置、无人机和存储介质
CN111563689B (zh) * 2020-05-15 2022-11-11 吕静 一种飞行器操作评分方法及***
WO2021243624A1 (zh) * 2020-06-04 2021-12-09 深圳市大疆创新科技有限公司 展示内容的生成方法及装置和影像生成方法及装置
WO2023272446A1 (zh) * 2021-06-28 2023-01-05 深圳市大疆创新科技有限公司 通信方法、***、装置、遥控器、飞行器及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103611324A (zh) * 2013-11-14 2014-03-05 南京航空航天大学 一种无人直升机飞行控制***及其控制方法
CN104008681A (zh) * 2014-05-15 2014-08-27 成都翼胜科技有限责任公司 用于模拟飞行训练的飞行技能标准教学及实时矫正方法
CN104867371A (zh) * 2015-05-29 2015-08-26 杨珊珊 一种飞行器的训练引导装置及方法
CN205028489U (zh) * 2015-09-09 2016-02-10 滨州学院 一种飞行技术cbt教学装置
CN105721609A (zh) * 2016-04-01 2016-06-29 北京飞蝠科技有限公司 一种无人机的服务过程控制方法及***
CN105868835A (zh) * 2016-04-01 2016-08-17 北京飞蝠科技有限公司 一种无人机在线预约服务平台的评价***及方法
CN106873613A (zh) * 2017-03-07 2017-06-20 南京嘉谷初成通信科技有限公司 一种带有教练口的无人机智能地面站和控制无人机的方法
CN107016841A (zh) * 2017-03-07 2017-08-04 南京嘉谷初成通信科技有限公司 无人机智能地面站以及控制无人机的方法
CN107045354A (zh) * 2017-03-07 2017-08-15 南京嘉谷初成通信科技有限公司 带有双cpu的无人机智能地面站和控制无人机的方法
CN206726053U (zh) * 2017-04-19 2017-12-08 深圳市道通智能航空技术有限公司 无人机遥控器及无人机控制***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201307155A (zh) * 2011-08-01 2013-02-16 Hon Hai Prec Ind Co Ltd 無人飛行載具模擬飛行系統及方法
KR101676132B1 (ko) * 2014-12-22 2016-11-30 주식회사 포스코 레버 조작 훈련을 위한 상호 촉감 공유 시스템 및 방법
CN105006187A (zh) * 2015-06-26 2015-10-28 北京中科遥数信息技术有限公司 一种民用无人飞行器模拟训练***
CN106020234B (zh) * 2016-07-26 2020-09-08 北京奇虎科技有限公司 一种无人机飞行控制的方法、装置及设备
US10210905B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Remote controlled object macro and autopilot system
CN107000839B (zh) * 2016-12-01 2019-05-03 深圳市大疆创新科技有限公司 无人机的控制方法、装置、设备和无人机的控制***
CN106940564A (zh) * 2017-03-29 2017-07-11 高域(北京)智能科技研究院有限公司 无人飞行器飞行控制装置、***和控制方法
CN107331239B (zh) * 2017-06-07 2019-04-19 华南农业大学 一种农用无人机室内飞行练习的辅助装置及训练方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103611324A (zh) * 2013-11-14 2014-03-05 南京航空航天大学 一种无人直升机飞行控制***及其控制方法
CN104008681A (zh) * 2014-05-15 2014-08-27 成都翼胜科技有限责任公司 用于模拟飞行训练的飞行技能标准教学及实时矫正方法
CN104867371A (zh) * 2015-05-29 2015-08-26 杨珊珊 一种飞行器的训练引导装置及方法
CN205028489U (zh) * 2015-09-09 2016-02-10 滨州学院 一种飞行技术cbt教学装置
CN105721609A (zh) * 2016-04-01 2016-06-29 北京飞蝠科技有限公司 一种无人机的服务过程控制方法及***
CN105868835A (zh) * 2016-04-01 2016-08-17 北京飞蝠科技有限公司 一种无人机在线预约服务平台的评价***及方法
CN106873613A (zh) * 2017-03-07 2017-06-20 南京嘉谷初成通信科技有限公司 一种带有教练口的无人机智能地面站和控制无人机的方法
CN107016841A (zh) * 2017-03-07 2017-08-04 南京嘉谷初成通信科技有限公司 无人机智能地面站以及控制无人机的方法
CN107045354A (zh) * 2017-03-07 2017-08-15 南京嘉谷初成通信科技有限公司 带有双cpu的无人机智能地面站和控制无人机的方法
CN206726053U (zh) * 2017-04-19 2017-12-08 深圳市道通智能航空技术有限公司 无人机遥控器及无人机控制***

Also Published As

Publication number Publication date
US20200335010A1 (en) 2020-10-22
WO2019165588A1 (zh) 2019-09-06
EP3761290A1 (en) 2021-01-06
EP3761290A4 (en) 2021-08-25
CN110637335A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110637335B (zh) 无人机的教学方法和无人机的遥控器
US11986963B2 (en) Augmented reality coordination of human-robot interaction
CA2882968C (en) Facilitating generation of autonomous control information
Pfeil et al. Exploring 3d gesture metaphors for interaction with unmanned aerial vehicles
Ng et al. Collocated interaction with flying robots
CN106873767B (zh) 一种虚拟现实应用的运行控制方法和装置
US20200188774A1 (en) Full body movement control of dual joystick operated devices
US20220176244A1 (en) Providing automated user input to an application
CN114730391A (zh) 使用机器学习的用户输入预测的等待时间补偿
CN105630168B (zh) 一种信息处理方法、第一电子设备及第二电子设备
CN106527710A (zh) 虚拟现实交互方法及装置
CN108462729A (zh) 实现终端设备交互的方法和装置、终端设备及服务器
CN105975072A (zh) 识别手势动作的方法、装置及***
Vozar A Framework for Improving the Speed and Performance of Teleoperated Mobile Manipulators.
Pitman et al. Collaborative Exploration with a Micro Aerial Vehicle: A Novel Interaction Method for Controlling a MAV with a Hand‐Held Device
CN109076101A (zh) 云台控制方法、设备及计算机可读存储介质
CN109815557B (zh) 一种机器人模型的展示方法、装置及智能终端
Macchini et al. Does spontaneous motion lead to intuitive Body-Machine Interfaces? A fitness study of different body segments for wearable telerobotics
CN109564428B (zh) 移动物体操作***、操作信号发送***、移动物体操作方法、程序和记录介质
US11107293B2 (en) Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US20230133511A1 (en) Artisan learning system
US10242241B1 (en) Advanced mobile communication device gameplay system
Metta et al. Safe and effective learning: A case study
CN106569602B (zh) 行为数据的交互方法和装置
Suguitan et al. What is it like to be a bot? Variable perspective embodied telepresence for crowdsourcing robot movements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210914

CF01 Termination of patent right due to non-payment of annual fee