CN105425952A - 无人机操控界面交互方法和装置 - Google Patents

Abstract

本发明提供了一种无人机操控界面交互方法，所述方法包括：在便携式电子设备的触摸屏上显示图像传输界面，所述图像传输界面用于显示无人机拍摄到的画面；检测作用于所述触摸屏上的触控信号；若检测到所述触控信号，则根据所述触控信号获取操控手势；根据所述操控手势生成对应的操控命令，将所述操控命令发送到无人机。采用该方法，反应速度更快，更易于使用。此外，还提供了一种无人机操控界面交互装置。

Description

无人机操控界面交互方法和装置

技术领域

本发明涉及无人机和智能控制技术领域，特别是涉及一种无人机操控界面交互方法和装置。

背景技术

现有无人机操控方式包括使用配套遥控器发射信号对无人机进行操控和使用手机通过无人机发射的Wi-Fi或蓝牙信号对无人机进行操控。使用遥控器操控无人机，如需实时显示无人机拍摄图像，则需要加入图像传输中转器。无人机将图片转换为信号发送到中转器，手机、平板电脑等通过连接中转器发射的Wi-Fi信号实时接收无人机拍摄的图像。但这种操控方式成本高且体积大。

使用手机操控无人机通常是在手机屏幕中使用虚拟摇杆进行无人机的控制。然而这种方法需要用户的注意力在屏幕中的虚拟摇杆上。并且由于无人机操作界面与图像传输界面的分离，用户需要通过虚拟摇杆对无人机进行不断的调整操作，且由于虚拟摇杆反馈性较弱，如果用户需要进行精准操作则需要非常高的熟练度，因此不易于用户使用。

发明内容

基于此，有必要针对上述技术问题，提供一种反应速度更快，更易于使用的无人机操控界面交互方法和装置。

一种无人机操控界面交互方法，所述方法包括：

在便携式电子设备的触摸屏上显示图像传输界面，所述图像传输界面用于显示无人机拍摄到的画面；

检测作用于所述触摸屏上的触控信号；

若检测到所述触控信号，则根据所述触控信号获取操控手势；

根据所述操控手势生成对应的操控命令，将所述操控命令发送到无人机。

一种无人机操控界面交互装置，所述装置包括：

显示模块，用于在便携式电子设备的触摸屏上显示图像传输界面，所述图像传输界面用于显示无人机拍摄到的画面；

信号检测模块，用于检测作用于所述触摸屏上的触控信号；

手势获取模块，用于若检测到所述触控信号，则根据所述触控信号获取操控手势；

控制模块，用于根据所述操控手势生成对应的操控命令，将所述操控命令发送到无人机。

上述无人机操控界面交互方法和装置，通过图像传输界面显示无人机拍摄到的画面，检测作用于触摸屏上的触控信号，根据在触摸屏上产生的操控手势来控制无人机。由于操控界面与图像传输界面处于同一界面上，用户在操控无人机的同时便于实时看到无人机拍摄到的画面，并且通过对便携式电子设备的触摸屏上进行触控操作就可以实现操控无人机，反应速度更快，更易于使用。

附图说明

图1是一个实施例中无人机操控界面交互方法的应用环境图；

图2是一个实施例中便携式电子设备的内部结构图；

图3是一个实施例中无人机操控界面交互方法的流程图；

图4是一个实施例中切换控制模式的界面示意图；

图5是一个实施例中操控飞机的示意图；

图6是一个实施例中操控镜头的示意图；

图7是一个实施例中无人机操控界面交互装置的结构框图；

图8是一个实施例中控制模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的无人机操控界面交互方法可应用于如图1所示的***中。请参考图1所示，便携式电子设备102通过网络向无人机104发送操控命令，而无人机104拍摄到的画面可通过网络传输到便携式电子设备102，在便携式电子设备102上实时显示无人机104拍摄到的画面。具体的，无人机104可将图像转换为信号发送到图像传输中转器，便携式电子设备102通过连接图像传输中转器的WiFi信号接收实时的无人机拍摄到的图像。更为优选的，便携式电子设备102和无人机104上分别设置无线通信模块，通过无线通信模块建立通信通道。例如，便携式电子设备102和无人机104建立2.4G无线通信通道。通过该无线通信通道，便携式电子设备102可即时的将操控命令发送到无人机104，且无人机104可实时的将拍摄到的画面传输到便携式电子设备102上进行显示。其中，便携式电子设备102可以是但不限于各种带触摸屏的智能手机、平板电脑、穿戴式电子设备等。

在一个实施例中，如图2所示，还提供了一种便携式电子设备102，该便携式电子设备102包括通过***总线连接的处理器、图形处理单元、存储介质、内存、网络接口、显示器和输入设备，存储介质中存储有操作***和一种无人机操控界面交互装置，该无人机操控界面交互装置用于执行一种无人机操控界面交互方法。该处理器用于提高计算和控制能力，支撑整个便携式电子设备的运行。便携式电子设备中的图形处理单元用于至少提供显应用操作界面的绘制能力，比如绘制无人机操控界面中的界面元素等，内存用于为存储介质中的无人机操控界面交互装置的运行提供环境，网络接口用于与无人机进行网络通信，接收或发送数据，例如将操控命令发送到无人机，接收无人机拍摄到的图像画面等。触摸屏用于各种应用的图标和界面的显示，例如显示图像传输界面以及无人机操控界面中的各种界面元素等。触摸屏还用于检测作用于触摸屏上的触控信号，当检测到触控信号时根据在触摸屏形成的触控信号获取操控手势等，比如获取到的操控手势为向某个方向的滑动操作等。

如图3所示，在一个实施例中，提供了一种无人机操控界面交互方法，该方法以应用于图1和图2所示的便携式电子设备102中进行举例说明，包括：

步骤302，在便携式电子设备的触摸屏上显示图像传输界面，该图像传输界面用于显示无人机拍摄到的画面。

本实施例中，便携式电子设备可通过无线通信模块实时接收无人机传输的拍摄到的画面，通过便携式电子设备运行的应用提供的图像传输界面实时显示无人机拍摄到的画面。

步骤304，检测作用于触摸屏上的触控信号。

由于便携式电子设备带触摸屏，通过触摸屏可以检测到作用于其上的触控信号。比如，用户使用手指或者触控笔在触摸屏上进行点击或者滑动，则触摸屏都可以检测到触控信号。本实施例中，图像传输界面与操控界面处于同一界面上，也就是说，可直接在图像传输界面上进行触控操作。

步骤306，若检测到触控信号，则根据触控信号获取操控手势。

本实施例中，便携式电子设备通过触摸屏可检测作用于其上的触控信号的，具体的，是作用于图像传输界面上的触控信号。比如，用户可通过单只在图像传输界面上滑动，或者用户可通过双指在图像传输界面上滑动。根据作用于图像传输界面上的触控信号可获取到操控手势，这些操控手势包括但不限于单触点移动手势、双触点移动手势等。不同的操控手势对应了不同的操控命令，因此，可在图像传输界面上形成操控手势以实现对无人机的各种操控。

步骤308，根据操控手势生成对应的操控命令，将操控命令发送到无人机。

具体的，不同的操控手势对应了不同的操控命令，根据操控手势可生成对应的操控命令。比如，用户使用手指在触摸屏上显示的图像传输界面上向右滑动，则生成对应控制飞机向右平移的操控命令。进一步的，便携式电子设备将操控命令通过无线通信通道发送到无人机，以实现对无人机进行操控。

本实施例中，通过图像传输界面显示无人机拍摄到的画面，检测作用于触摸屏上的触控信号，根据在触摸屏上产生的操控手势来控制无人机。由于操控界面与图像传输界面处于同一界面上，用户在操控无人机的同时便于实时看到无人机拍摄到的画面，并且通过对便携式电子设备的触摸屏上进行触控操作就可以实现操控无人机，反应速度更快，更易于使用。

在一个实施例中，根据操控手势生成对应的操控命令的步骤，包括：检测当前控制模块；若当前控制模式为控制飞机模式，则根据操控手势生成对应的控制飞机移动的操控命令；若当前控制模式为控制镜头模式，则根据操控手势生成对应的控制镜头转动的操控命令。

要操控无人机使其能够按照用户的操控来变化拍摄位置和角度，可操控无人机的飞机和镜头，包括操控飞机移动的方向和镜头转动的方向，因此，提供的操控模式包括控制飞机模式和控制镜头模式。本实施例中，无人机操控界面提供了用于切换当前控制模式的控件，包括用于将当前控制模式切换到控制飞机模式的控件和用于将当前控制模式切换到控制镜头模式的界面控件，用户可通过点击相应控件或者作用于相应控件上的滑动操作以触发切换当前控制模式。

如图4所示，提供了一种无人机操控界面，该无人机操控界面中包含图像传输界面402，无人机操控界面还提供了用于切换到控制飞机模式的控件404和用于切换到控制镜头模式的控件406。触发控件404，则当前控制模式为控制飞机模式，在图像传输界面402上获取到的操控手势可用于控制飞机的移动。触发控件406，则当前控制模式为控制镜头模式，在图像传输界面402上获取到的操控手势可用于控制镜头的转动。

再结合图4所示，无人机操控界面通过图像传输界面402实时显示无人机拍摄到的画面，无人机操控界面还提供了一些界面元素用于实现拍摄及相关功能。例如，无人机操控界面还提供控件412用于对图像传输界面402中实时显示的图像画面进行拍照，便携式电子设备检测到对控件412的点击操作，则保存当前图像传输界面402中的图像画面到指定文件夹中，并在无人机操控界面中显示拍照得到的照片的缩略图414。缩略图414还提供了浏览照片的入口，点击缩略图414则可直接从指定文件夹中获取并显示当前拍照得到的照片。此外，无人机操控界面提供控件408用来切换为拍照模式，提供控件410用来切换为摄像模式。

进一步的，用户可使用手指在图像传输界面402上进行触控操作以产生操控手势。比如，结合图4所示，用户使用手指在图像传输界面402上向右滑动，则生成控制飞机向右移动的操控命令。

本实施例中，通过设置两种控制模式，既可以对飞机的移动进行操控，又可以对镜头转动进行操控，使得无人机拍摄到各种角度的画面，更具备灵活性。

进一步的，在一个实施例中，根据操控手势生成对应的控制飞机移动的操控命令的步骤，包括：检测单触点的移动方向，根据所述单触点的移动方向生成相应方向的控制飞机移动的操控命令。

本实施例中，在当前控制模式为控制飞机模式的情形下，用户使用一个手指或者触控笔在图像传输界面上产生单个触点。具体的，单触点的移动方向包括：向上移动、向下移动、向左移动和向右移动，则生成的操控命令相应控制飞机移动的方向为：飞机上升、飞机下降、飞机向左移动和飞机向右移动。即：参考图5所示，当检测到单触点的移动方向为向上移动时，则生成控制飞机上升的操控命令；当检测到单触点的移动方向为向下移动时，则生成控制飞机下降的操控命令；当检测到单触点的移动方向为向左移动时，则生成控制飞机向左平移的操控命令；当检测到单触点的移动方向为向右移动时，则生成控制飞机向右平移的操控命令。

应当说明的是，本申请中提及的上下左右是相对而言的，是指便携式电子设备在以最常用方式被使用的过程中所产生的上下左右四个方向。结合图5所示，用户以惯用方式使用便携式电子设备观看图像传输界面402实时显示的图像画面，则能确定出上下左右四个方向。在控制飞机模式下，当用户使用单个手指或者触控笔向不同的方向滑动时，则生成使得飞机朝着对应方向移动的操控命令。

在控制飞机朝不同方向移动的过程中，图像传输界面402实时显示无人机拍摄到的画面(图5中为便于说明操控原理未示出实际拍摄的画面)，操控与实时显示同步，且用户通过在图像传输界面402上上下左右的滑动就能实现空中飞机的移动，反应速度更快，使用起来也更加方便快捷。

在一个实施例中，根据操控手势生成对应的控制飞机移动的操控命令的步骤，包括：检测两个触点的移动方向；当两个触点朝背离的方向移动时，生成控制分机向前移动的操控命令；当两个触点朝行业龙的方向移动时，生成控制飞机向后移动的操控命令。

本实施例中，用户可使用两个手指在图像传输界面402上进行触控操作。结合图5所示，用户使用两个手指在图像传输界面402上形成两个触点，当这两个触点朝背离的方向移动时，则能控制飞机向前移动，反之控制飞机后退。本实施例通过简单的双指滑动操作，能控制飞机的前后移动，相对于虚拟摇杆的控制方式，其反应速度更快，且用户易于上手，使用起来更加方便快捷。

在一个实施例中，根据操控手势生成对应的控制镜头转动的操控命令的步骤，包括：检测单触点的移动方向，根据所述当触点的移动方向生成相应方向的控制镜头转动的操控命令。

本实施例中，在当前空中模式为控制镜头模式的情形下，用户使用一个手指或者触控笔在图像传输界面上产生单个触点。具体的，单触点的移动方向包括：向上移动、向下移动、向左移动和向右移动，则生成的操控命令相应控制镜头转动的方向为向上转动、向下转动、向左转动和向右转动。即：当检测到单触点的移动方向为向上移动时，则生成控制镜头向上转动的操控命令；当检测到单触点的移动方向为向下移动时，则生成控制镜头向下转动的操控命令；当检测到单触点的移动方向为向左移动时，则生成控制镜头向左转动的操控命令；当检测到单触点的移动方向为向右移动时，则生成控制镜头向右转动的操控命令。

由于有些镜头只支持上下转动，因此，在更为优选的实施例中，在控制镜头的模式下，单触点的移动方向包括：向上移动和向下移动，则生成的操控命令相应控制镜头转动的方向为向上转动和向下转动。

在更为优选的实施例中，在控制镜头模式下，除了可以控制镜头上下转动外，还可对控制飞机进行左右平移。具体的，根据操控手势生成对应的操控命令的步骤，还包括：若当前控制模式为控制镜头模式，则检测单触点的移动方向；当单触点的移动方向为垂直移动时，则生成相应方向的控制镜头上下转动的操控命令，当单触点的移动方向为水平移动时，则生成相应方向的控制飞机平移的操控命令。

本实施例中，结合图6所示，若当前控制模式为控制镜头模式，用户使用单个手指或者触控笔在图像传输界面402上进行触控操作，便携式电子设备的触摸屏检测单触点的移动方向。当检测到单触点的移动方向为向上移动时，则生成控制镜头向上转动(上仰)的操控命令；当检测到单触点的移动方向为向下移动时，则生成控制镜头向下转动(下俯)的操控命令；当检测到单触点的移动方向为向左移动时，则生成控制飞机向左平移的操控命令；当检测到单触点的移动方向为向右移动时，则生成控制飞机向右平移的操控命令。

在控制镜头模式下，通过在图像传输界面402上左右滑动还能实现操控飞机左右平移，而上下滑动能操控镜头上下转动，从而能够实现操控无人机进行360度无死角的拍摄。且通过在图像传输界面402上进行滑动就能实现操控飞机移动和镜头转动，相对于虚拟摇杆的操控方式，反应速度更加快，用户使用起来更加方便快捷。

在一个实施例中，根据操控手势生成对应的操控命令的步骤，还包括：检测两个触点的移动方向；当两个触点朝背离的方向移动时，生成控制镜头拉长焦距的操控命令；当两个触点朝合拢的方向移动时，生成控制镜头缩短焦距的操控命令。

本实施例中，在控制镜头模式下，用户可使用两个手指在图像传输界面402上进行触控操作，结合图6所示，当两个触点朝背离的方向移动时，控制无人机的镜头拉长焦距，这样图像传输界面402中实时显示的拍摄画面放大，视野变小。当两个触点朝合拢的方向移动时，控制无人机的镜头缩短焦距，这样图像传输界面402中实时显示的拍摄画面缩小，视野变大。

本实施例在控制镜头模式下，通过双指滑动操作，能控制镜头焦距变长和缩短，相对于虚拟摇杆的控制方式，其反应速度更快，且用户通过简单的触摸滑动操作就能控制图像传输界面中实时显示的拍摄画面的放大和缩小，使用起来更加方便快捷。

如图7所示，在一个实施例中，提供了一种无人机操控界面交互装置，该装置包括：

显示模块702，用于在便携式电子设备的触摸屏上显示图像传输界面，所述图像传输界面用于显示无人机拍摄到的画面。

信号检测模块704，用于检测作用于触摸屏上的触控信号。

手势获取模块706，用于若检测到触控信号，则根据触控信号获取操控手势。

控制模块708，用于根据操控手势生成对应的操控命令，将操控命令发送到无人机。

在一个实施例中，如图8所示，控制模块708包括：

模式检测模块718，用于检测当前控制模式。

第一控制模块728，用于若当前控制模式为飞机控制模式，则根据操控手势生成对应的控制飞机移动的操控命令。

第二控制模块738，用于若当前控制模块为控制镜头模式，则根据操控手势生成对应的控制镜头转动的操控命令。

进一步的，在一个实施例中，第一控制模块728用于检测单触点的移动方向，根据单触点的移动方向生成相应方向的控制飞机移动的操控命令。

进一步的，当触点的移动方向包括：向上移动、向下移动、向左移动和向右移动，则生成的操控命令相应控制飞机移动的方向为：飞机上升、飞机下降、飞机向左移动和飞机向右移动。

在一个实施例中，第一控制模块728用于检测两个触点的移动方向；当两个触点朝背离的方向移动时，生成控制飞机向前移动的操控命令；当两个触点朝合拢大方向移动时，生成控制飞机向后移动的操控命令。

在一个实施例中，第二控制模块738用于检测单触点的移动方向，根据单触点的移动方向生成相应方向的控制镜头转动的操控命令。

进一步的，单触点的移动方向包括：向上移动和向下移动，则生成的操控命令相应控制镜头转动的方向为：向上转动和向下转动。

在一个实施例中，第二控制模块738用于检测两个触点的移动方向；当两个触点朝背离的方向移动时，生成控制镜头拉长焦距的操控命令；当两个触点朝合拢的方向移动时，生成控制镜头缩短焦距的操控命令。

在一个实施例中，第二控制模块738还用于若当前控制模式为控制镜头模式，则检测单触点的移动方向；当当触点的移动方向为垂直移动时，则生成相应方向的控制镜头上下转动的操控命令，当单触点的移动方向为水平移动时，则生成相应方向的控制飞机平移的操控命令。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种无人机操控界面交互方法，所述方法包括：

在便携式电子设备的触摸屏上显示图像传输界面，所述图像传输界面用于显示无人机拍摄到的画面；

检测作用于所述触摸屏上的触控信号；

若检测到所述触控信号，则根据所述触控信号获取操控手势；

根据所述操控手势生成对应的操控命令，将所述操控命令发送到无人机。

2.根据权利要求1所述的方法，其特征在于，所述根据操控手势生成对应的操控命令的步骤，包括：

检测当前控制模式；

若当前控制模式为控制飞机模式，则根据所述操控手势生成对应的控制飞机移动的操控命令；

若当前控制模块为控制镜头模式，则根据所述操控手势生成对应的控制镜头转动的操控命令。

3.根据权利要求2所述的方法，其特征在于，所述根据操控手势生成对应的控制飞机移动的操控命令的步骤，包括：

检测单触点的移动方向，根据所述单触点的移动方向生成相应方向的控制飞机移动的操控命令。

4.根据权利要求3所述的方法，其特征在于，所述单触点的移动方向包括：向上移动、向下移动、向左移动和向右移动，则所述操控命令相应控制飞机移动的方向为：飞机上升、飞机下降、飞机向左移动和飞机向右移动。

5.根据权利要求2所述的方法，其特征在于，所述根据操控手势生成对应的控制飞机移动的操控命令的步骤，包括：

检测两个触点的移动方向；

当所述两个触点朝背离的方向移动时，生成控制飞机向前移动的操控命令；

当所述两个触点朝合拢的方向移动时，生成控制飞机向后移动的操控命令。

6.根据权利要求2所述的方法，其特征在于，所述根据操控手势生成对应的控制镜头转动的操控命令的步骤，包括：

检测单触点的移动方向，根据所述单触点的移动方向生成相应方向的控制镜头转动的操控命令。

7.根据权利要求6所述的方法，其特征在于，所述单触点的移动方向包括：向上移动和向下移动，则所述操控命令相应控制镜头转动的方向为：向上转动和向下转动。

8.根据权利要求2所述的方法，其特征在于，所述根据操控手势生成对应的控制镜头转动的操控命令的步骤，包括：

检测两个触点的移动方向；

当所述两个触点朝背离的方向移动时，生成控制镜头拉长焦距的操控命令；

当所述两个触点朝背合拢的方向移动时，生成控制镜头缩短焦距的操控命令。

9.根据权利要求2所述的方法，其特征在于，所述根据操控手势生成对应的操控命令的步骤，还包括：

若当前控制模式为控制镜头模式，则检测单触点的移动方向；

当所述单触点的移动方向为垂直移动时，则生成相应方向的控制镜头上下转动的操控命令，当所述单触点的移动方向为水平移动时，则生成相应方向的控制飞机平移的操控命令。

10.一种无人机操控界面交互装置，其特征在于，所述装置包括：

显示模块，用于在便携式电子设备的触摸屏上显示图像传输界面，所述图像传输界面用于显示无人机拍摄到的画面；

信号检测模块，用于检测作用于所述触摸屏上的触控信号；

手势获取模块，用于若检测到所述触控信号，则根据所述触控信号获取操控手势；

控制模块，用于根据所述操控手势生成对应的操控命令，将所述操控命令发送到无人机。

11.根据权利要求10所述的装置，其特征在于，所述控制模块包括：

模式检测模块，用于检测当前控制模式；

第一控制模块，用于若当前控制模式为控制飞机模式，则根据所述操控手势生成对应的控制飞机移动的操控命令；

第二控制模块，用于若当前控制模块为控制镜头模式，则根据所述操控手势生成对应的控制镜头转动的操控命令。

12.根据权利要求11所述的装置，其特征在于，所述第一控制模块用于检测单触点的移动方向，根据所述单触点的移动方向生成相应方向的控制飞机移动的操控命令。

13.根据权利要求12所述的装置，其特征在于，所述单触点的移动方向包括：向上移动、向下移动、向左移动和向右移动，则所述操控命令相应控制飞机移动的方向为：飞机上升、飞机下降、飞机向左移动和飞机向右移动。

14.根据权利要求11所述的装置，其特征在于，所述第一控制模块用于检测两个触点的移动方向；当所述两个触点朝背离的方向移动时，生成控制飞机向前移动的操控命令；当所述两个触点朝合拢的方向移动时，生成控制飞机向后移动的操控命令。

15.根据权利要求11所述的装置，其特征在于，所述第二控制模块用于检测单触点的移动方向，根据所述单触点的移动方向生成相应方向的控制镜头转动的操控命令。

16.根据权利要求15所述的装置，其特征在于，所述单触点的移动方向包括：向上移动和向下移动，则所述操控命令相应控制镜头转动的方向为：向上转动和向下转动。

17.根据权利要求11所述的装置，其特征在于，所述第二控制模块用于检测两个触点的移动方向；当所述两个触点朝背离的方向移动时，生成控制镜头拉长焦距的操控命令；当所述两个触点朝合拢的方向移动时，生成控制镜头缩短焦距的操控命令。

18.根据权利要求11所述的装置，其特征在于，所述第二控制模块还用于若当前控制模式为控制镜头模式，则检测单触点的移动方向；当所述单触点的移动方向为垂直移动时，则生成相应方向的控制镜头上下转动的操控命令，当所述单触点的移动方向为水平移动时，则生成相应方向的控制飞机平移的操控命令。