CN116745725A - 使用无人机确定物***置的***和方法 - Google Patents

Abstract

一种无人机(UAV)，具有位置传感器、图像传感器、一个或多个处理器、以及存储器。所述UAV从电子设备接收第一无线信号。所述第一无线信号包括第一照射方向。根据所述第一无线信号，所述UAV至少部分地基于所述第一照射方向识别目标物体。所述UAV还确定所述目标物体的位置坐标。

Description

使用无人机确定物***置的***和方法

技术领域

本公开实施例总体上涉及目标物体识别，更具体地，涉及使用无人机(UAV)技术确定目标物体的位置信息的***和方法。

背景技术

可移动物体可用于执行军事和民用应用中的监视、侦察和探索任务。无人飞行器(UAV)(例如，无人机)是可移动物体的一个示例。可移动物体可以承载有效载荷，以用于执行例如获取可移动物体周围环境的图像和视频的特定功能，或用于跟踪特定目标(例如，目标物体)。例如，可移动物体可以跟踪在地面或空中移动的目标物体。通常由可移动物体从远程设备接收和/或由可移动物体确定用于控制可移动物体的移动控制信息。

发明内容

UAV技术的进步使得UAV航空摄影和摄像成为可能。如果用户打算使用UAV航空摄影和摄像获取特定目标物体的图像和/或视频，则用户需要向UAV提供目标物体的精确位置信息。如果用户不知道目标物体的位置信息，和/或如果目标物体包括没有固定位置坐标的移动物体，这将特别具有挑战性。

因此，需要改进的***、设备和方法，以轻松精确地确定目标物体的位置(例如，位置坐标)，并就目标物体的位置与UAV通信，从而使UAV能够获取目标物体的图像和/或视频。本文中公开的各实施例描述了与电子设备通信连接的UAV。UAV从电子设备接收无线信号，并至少部分地基于接收到的信号确定目标物体的位置坐标。这样的***和方法可选地补充或替代了用于目标识别、目标跟踪和/或图像或视频获取的常规方法。

根据本公开的一些实施例，提供了一种在无人机(UAV)处执行的方法，所述无人机具有位置传感器、图像传感器、一个或多个处理器、以及存储器。所述UAV从电子设备接收第一无线信号，所述第一无线信号包括第一照射方向。根据所述第一无线信号，所述UAV至少部分地基于所述第一照射方向识别目标物体。所述UAV确定所述目标物体的位置坐标。

在一些实施例中，至少部分地基于所述第一照射方向识别目标物体还包括：根据所述第一无线信号，所述UAV将所述图像传感器朝向所述第一照射方向定向。在将所述图像传感器定向之后，所述UAV经由所述图像传感器获得视频数据。所述UAV从所述视频数据中确定所述目标物体。所述UAV识别所述目标物体。

在一些实施例中，从所述视频数据中确定所述目标物体还包括：所述UAV从所述电子设备接收包括所述目标物体的图像。所述UAV根据所述视频数据中的物体与所述图像中的物体之间的匹配，确定所述目标物体。

在一些实施例中，从所述视频数据中确定所述目标物体还包括：所述UAV检测所述视频数据中的第一预定义照射模式。所述UAV将反映所述第一预定义照射模式的物体识别为所述目标物体。

在一些实施例中，所述第一预定义照射模式包括第一时间频率。

在一些实施例中，所述第一预定义照射模式包括颜色。

在一些实施例中，在确定所述目标物体的所述位置坐标之后，从所述电子设备接收第二无线信号。所述第二无线信号包括不同于所述第一预定义照射模式的第二预定义照射模式。响应于所述第二无线信号，所述UAV在无用户发明的情况下，从多个预定义飞行路线中自动选择与所述第二时间频率对应的所述UAV的第一飞行路线。一个或多个处理器控制所述UAV根据所述第一飞行路线自主飞行。

在一些实施例中，控制所述UAV根据所述第一飞行路线自主飞行包括：由所述图像传感器获取具有所述图像传感器的视场的视频馈送。

在一些实施例中，所述第一无线信号还包括所述电子设备的位置信息。确定所述目标物体的所述位置坐标还包括：所述UAV确定所述目标物体相对于所述UAV的角度信息。所述UAV从所述第一无线信号提取所述电子设备的位置信息。所述UAV利用所述电子设备的所述位置信息，确定所述目标物体相对于所述电子设备的角度信息。所述UAV利用所述电子设备的所述位置信息、所述UAV的位置信息以及所述目标物体相对于所述电子设备和所述UAV的所述角度信息，确定所述目标物体的所述位置坐标。

在一些实施例中，确定所述目标物体的所述位置坐标还包括：所述UAV从所述电子设备接收第三无线信号。所述第三无线信号包括具有规则预定义时间间隔的照射。所述第三无线信号包括所述照射的各个时间。响应于接收到所述第三无线信号，所述UAV使用所述图像传感器获取所述照射的视频数据。对于每次照射，所述UAV确定所述照射时间和对应的视频数据获取时间之间的时间差。基于所述时间差，所述UAV确定所述电子设备与所述目标物体之间的距离以及所述UAV与所述目标物体之间的距离。所述UAV利用所述电子设备与所述目标物体之间的所述距离、所述UAV与所述目标物体之间的所述距离、所述电子设备的位置信息以及所述UAV的位置信息，确定所述目标物体的所述位置坐标。

在一些实施例中，在接收所述第三无线信号之前，所述UAV将所述UAV的时钟与所述电子设备的时钟同步。

在一些实施例中，确定所述目标物体的所述位置坐标还包括：所述UAV查询与所述第一照射方向对应的地图。所述UAV从所述地图中确定第一物体。所述UAV将所述第一物体指定为所述目标物体。所述UAV确定所述第一物体的位置坐标。所述目标物体的所述位置坐标为所述第一物体的所述位置坐标。

在一些实施例中，所述第一无线信号还包括所述电子设备的位置信息以及所述电子设备与所述目标物体之间的距离信息。识别所述目标物体还至少部分地基于所述电子设备的所述位置信息以及所述电子设备与所述目标物体之间的所述距离信息。

根据本公开的另一方面，提供了一种在电子设备处执行的方法。所述电子设备具有位置传感器、光发射器、一个或多个处理器、以及存储器。所述电子设备沿第一方向朝向目标物体进行照射。基于所述照射，所述电子设备确定所述目标物体与所述电子设备之间的距离。所述电子设备向无人机(UAV)传输无线信号。所述无线信号包括所述目标物体与所述电子设备之间的距离并且包括所述电子设备当前的位置和朝向。所述UAV被配置为基于所述目标物体与所述电子设备之间的所述距离以及所述电子设备当前的所述位置和朝向，将所述UAV的图像传感器朝向所述目标物体定向。

在一些实施例中，所述照射包括具有第一时间频率的预定义照射模式。

在一些实施例中，所述照射包括具有第一波长的预定义照射模式。

在一些实施例中，所述电子设备还包括相机。所述电子设备使用所述相机获取包含所述目标物体的图像。所述电子设备将所述图像传输到所述UAV。所述UAV被配置为基于所述图像和使用所述UAV的所述图像传感器获取的物体的图像的匹配来识别所述目标物体。

在一些实施例中，UAV包括图像传感器、距离传感器、一个或多个处理器、存储器、以及存储在所述存储器中的一个或多个程序。所述一个或多个程序被配置为由所述一个或多个处理器执行。所述一个或多个程序包括用于执行本文所述任一方法的指令。

在一些实施例中，电子设备包括一个或多个处理器、存储器、以及存储在所述存储器中的一个或多个程序。所述一个或多个程序被配置为由所述一个或多个处理器执行。所述一个或多个程序包括用于执行本文所述任一方法的指令。

在一些实施例中，提供了一种非瞬时计算机可读存储介质，存储有配置为由具有一个或多个处理器和存储器的无人机UAV执行的一个或多个程序。所述一个或多个程序包括用于执行本文所述任一方法的指令。

在一些实施例中，提供了一种非瞬时计算机可读存储介质，存储有配置为由具有一个或多个处理器和存储器的电子设备执行的一个或多个程序。所述一个或多个程序包括用于执行本文所述任一方法的指令。

由此，公开了能够更加轻松精确地确定目标物体的位置坐标的方法、***和设备，从而便于使用UAV进行航空摄影和摄像。

附图说明

为了更好地理解上述的***、方法和图形用户界面，以及提供UAV视频获取和视频编辑的附加***、方法和图形用户界面，应结合以下附图参考以下具体实施方式。在附图中，使用相同或相似的附图标记来指代对应部分。

图1示出了根据一些实施例的示例性目标识别跟踪***。

图2A至图2C分别示出了根据一些实施例的示例性可移动物体、可移动物体的示例性载体和可移动物体的示例性有效载荷。

图3示出了根据一些实施例的可移动物体的示例性感测***。

图4A和图4B示出了根据一些实施例的可移动物体的示例性存储器的框图。

图5示出了根据一些实施例的目标跟踪***的示例性控制单元。

图6示出了根据一些实施例的示例性的用于控制可移动物体的计算设备。

图7示出了根据一些实施例的可移动物体、载体和有效载荷的示例性配置。

图8示出了根据一些实施例的示例性操作环境。

图9是示出了根据一些实施例的代表性电子设备的框图。

图10示出了根据一些实施例的由可移动物体执行以确定目标物体的位置坐标的示例性方法。

图11示出了根据一些实施例的用于确定目标物体的位置的电子设备和可移动物体102的示例性配置。

图12示出了根据一些实施例的可使用可移动物体来确定目标物体的位置的示例性方法，以及由可移动物体102提供的相应信息。

图13A至图13F示出了根据一些实施例的在UAV处执行的方法的流程图。

图14A和图14B示出了根据一些实施例的在电子设备处执行的方法的流程图。

具体实施方式

现在将详细参考实施例，实施例的示例在附图中示出。在以下的描述中，阐述了许多具体细节以透彻理解本发明。然而，对于本领域普通技术人员而言显而易见的是，可以在不需要这些具体细节的情况下实施本发明。在其他情况下，没有对公知的方法、步骤、部件、电路和网络进行详细地描述，以免实施例的各方面不必要地混淆。

以下描述中，使用无人飞行器(UAV)(例如，无人机)作为可移动物体的示例。UAV可以包括固定翼飞行器和/或旋转翼飞行器，例如直升机、四旋翼机和具有其他数量和/或配置的旋翼的飞行器。对本领域技术人员而言显而易见的是，其他类型的可移动物体可以由下述的根据本发明实施例的UAV来替代。

图1示出了根据一些实施例的示例性目标识别跟踪***100。目标识别跟踪***100包括可移动物体102(例如UAV)和控制单元104。在一些实施例中，可移动物体102也称为可移动设备(例如可移动电子设备)。在一些实施例中，目标识别跟踪***100用于识别目标物体106和/或用于启动对目标物体106的跟踪。

在一些实施例中，目标物体106包括自然物和/或人造物，例如地理景观(例如山脉、植被、山谷、湖泊和/或河流)、建筑物和/或载具(例如飞机、轮船、汽车、卡车、公共汽车、货车和/或摩托车)。在一些实施例中，目标物体106包括活体，例如人和/或动物。在一些实施例中，目标物体106是例如相对于参照系(例如地球和/或可移动物体102)移动的移动物体。在一些实施例中，目标物体106是静态的。在一些实施例中，目标物体106包括主动定位和导航***(例如GPS***)，其将关于目标物体106的信息(例如位置、定位和/或速度信息)传输给可移动物体102、控制单元104和/或计算设备126。例如，如图2A所示，通过从目标物体106的通信单元到可移动物体102的通信***120的无线通信，可以将信息传输给可移动物体102。

在一些实施例中，可移动物体102包括载体108和/或有效载荷110。载体108用于将有效载荷110连接到可移动物体102。在一些实施例中，载体108包括用于将有效载荷110与可移动物体102的移动隔离的元件(例如云台和/或阻尼元件)。在一些实施例中，载体108包括用于控制有效载荷110相对于可移动物体102的移动的元件。

在一些实施例中，有效载荷110连接(例如，刚性连接)至可移动物体102(例如，经由载体108连接)，以使得有效载荷110相对于可移动物体102保持基本静止。例如，载体108可以连接至有效载荷110，以使得有效载荷相对于可移动物体102不可移动。在一些实施例中，有效载荷110直接安装至可移动物体102，而无需载体108。在一些实施例中，有效载荷106部分或全部位于可移动物体102内。

在一些实施例中，可移动物体102被配置为例如通过无线通信124与控制单元104通信。例如，可移动物体102可以(例如，通过可移动物体102的用户)从控制单元104接收控制指令和/或将数据(例如，来自可移动物体感测***122的数据，如图2A所示)发送到控制单元104。

在一些实施例中，控制指令可以包括，例如，导航指令，导航指令用于控制可移动物体102的一个或多个导航参数，例如可移动物体102的位置、朝向、高度、姿态(例如航空)和/或一个或多个移动特性。在一些实施例中，控制指令可以包括用于控制载体108和/或有效载荷110的一个或多个参数的指令。在一些实施例中，控制指令包括用于引导可移动物体102的一个或多个移动机构114(图2A)的移动的指令。例如，控制指令可用于控制可移动物体102的飞行。在一些实施例中，控制指令可包括用于控制载体108的操作(例如移动)的信息。例如，控制指令可用于控制载体108的致动机构，以使得有效载荷110相对于可移动物体102发生角移动和/或线性移动。在一些实施例中，控制指令用于调整有效载荷110的一个或多个操作参数，例如用于获取一个或多个图像、获取视频、调整缩放级别,打开或关闭有效载荷部件的电源、调整成像模式(例如获取静止图像或获取视频)、调整图像分辨率、调整焦点、调整视角、调整视场、调整景深、调整曝光时间、调整快门速度、调整镜头速度、调整ISO、调换镜头和/或移动有效载荷110(和/或有效载荷110的一部分，例如成像设备214(如图2C所示))的指令。在一些实施例中，控制指令用于控制可移动物体102的通信***120、感测***122和/或另一部件。

在一些实施例中，来自控制单元104的控制指令可以包括启动对目标物体106的跟踪的指令。例如，控制指令可以包括关于目标物体106的信息，例如目标物体106的识别、目标物体106的位置、跟踪目标物体106的时长和/或其他信息。可移动物体102根据指令进行识别并开始跟踪。在一些实施例中，在开始跟踪目标物体之后，可移动物体102可以(例如，通过用户)从控制单元104接收另一组指令以停止跟踪目标物体106。在一些情况下，当目标物体106在可移动物体102的视场中消失(或不可见)特定时间段(例如，5分钟或10分钟)后，可移动物体102可以暂停或停止跟踪目标物体106。在一些实施例中，在已经暂停或停止跟踪之后，可移动物体102可以接收进一步的指令以恢复跟踪目标物体106。

在一些实施例中，如图1所示，可移动物体102被配置为与计算设备126(例如，电子设备、计算***和/或服务器***)通信。例如，可移动物体102从计算设备126接收控制指令和/或将数据(例如，来自可移动物体感测***122的数据)发送到计算设备126。在一些实施例中，将从计算设备126到可移动物体102的通信(例如，通过互联网128和/或其他蜂窝网络，如4G和5G网络)从计算设备126传输到蜂窝塔130，再(例如，通过RF信号)从蜂窝塔130传输到可移动物体102。在一些实施例中，可以使用卫星代替或补充蜂窝塔130。

在一些实施例中，目标识别跟踪***100包括被配置为与可移动物体102通信的附加控制单元104和/或计算设备126。

图2A示出了根据一些实施例的示例性可移动物体102。在一些实施例中，可移动物体102包括通过诸如控制总线112的数据连接进行连接的(一个或多个)处理器116、存储器118、通信***120、感测***122、时钟152和(一个或多个)无线电154。可选地，控制总线112包括互连和控制***部件之间的通信的电路(有时称为芯片组)。

在一些实施例中，可移动物体102是UAV，并且包括实现飞行和/或飞行控制的部件。尽管在该示例中，可移动物体102被描述为飞行器，但该描述并非限制，而是可以使用任何合适类型的可移动物体。

在一些实施例中，可移动物体102包括多个移动机构114(例如推进机构)。尽管在本文中使用术语“多个移动机构”以便参考，但“多个移动机构114”可指单个移动机构(例如，单个螺旋桨)或多个移动机构(例如，多个旋翼)。移动机构114可以包括一种或多种移动机构类型，例如旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体和喷嘴。移动机构114在例如顶部、底部、前部、后部和/或侧部连接到可移动物体102。在一些实施例中，单个可移动物体102的移动机构114可以包括多个移动机构，每个移动机构具有相同的类型。在一些实施例中，单个可移动物体102的移动机构114包括不同移动机构类型的多个移动机构。移动机构114使用任何合适的方式，例如支撑元件(例如，驱动轴)或其他致动元件(例如，一个或多个致动器132)，来连接到可移动物体102。例如，致动器132(例如，可移动物体致动器)(例如通过控制总线112)从(一个或多个)处理器116接收控制信号，该控制信号激活致动器以使得移动机构114移动。例如，(一个或多个)处理器116包括向致动器132提供控制信号的电子控速器。

在一些实施例中，移动机构114使可移动物体102能够从表面垂直起飞或垂直降落在表面上，而无需可移动物体102进行任何水平移动(例如，无需沿跑道行进)。在一些实施例中，移动机构114可操作以允许可移动物体102在指定位置和/或朝向处悬停在空中。在一些实施例中，一个或多个移动机构114可独立于一个或多个其他移动机构114进行控制。例如，当可移动物体102是四旋翼机时，四旋翼机的每个旋翼可独立于四旋翼机的其他旋翼进行控制。在一些实施例中，多个移动机构114被配置用于同时移动。

在一些实施例中，移动机构114包括多个旋翼，其为可移动物体102提供升力和/或推力。可以致动多个旋翼，以为可移动物体102提供例如垂直起飞、垂直降落和悬停的能力。在一些实施例中，一个或多个旋翼沿顺时针方向旋转，同时一个或多个旋翼沿逆时针方向旋转。例如，顺时针旋转的旋翼的数量等于逆时针旋转的旋翼的数量。在一些实施例中，每个旋翼的旋转速率是独立可变的，以例如用于控制每个旋翼产生的升力和/或推力，从而调整可移动物体102(例如，相对于多达三个平移度和/或多达三个旋转度)的空间布局、速度和/或加速度。

在一些实施例中，存储器118存储一个或多个指令、程序(例如，指令集)、模块、控制***和/或数据结构，在本文中统称为“元件”。关于存储器118描述的一个或多个所述元件可选地由控制单元104、计算设备126和/或另一设备进行存储。在一些实施例中，成像设备214(图2C)包括存储器，其存储关于存储器118描述的一个或多个参数。

在一些实施例中，存储器118存储控制***配置，包括(例如由制造商、管理员和/或用户配置的)一个或多个***设置。例如，可移动物体102的识别信息被存储为***配置的***设置。在一些实施例中，控制***配置包括用于成像设备214的配置。用于成像设备214的配置存储诸如(例如，相对于图像传感器216的)位置、缩放级别和/或聚焦参数(例如，聚焦量、选择自动聚焦或手动聚焦和/或调整图像中的自动聚焦目标)的参数。由成像设备配置所存储的成像特性参数包括，例如，图像分辨率、图像尺寸(例如图像宽度和/或高度)、宽高比、像素数、质量、焦距、景深、曝光时间、快门速度、和/或白平衡。在一些实施例中，响应于(例如由处理器116生成和/或由可移动物体102从控制单元104和/或计算设备126接收的)控制指令，更新由成像设备配置所存储的参数。在一些实施例中，响应于从可移动物体感测***122和/或成像设备214接收到的信息，更新由成像设备配置所存储的参数。

在一些实施例中，载体108连接到可移动物体102，并且有效载荷110连接至载体108。在一些实施例中，载体108包括一个或多个机构，以使得有效载荷110能够相对于可移动物体102移动，如参照图2B的进一步描述。在一些实施例中，有效载荷110刚性连接到可移动物体102，以使得有效载荷110相对于可移动物体102保持基本静止。例如，载体108连接到有效载荷110，以使得有效载荷110相对于可移动物体102不可移动。在一些实施例中，有效载荷110连接到可移动物体102，而无需使用载体108。

如图2A中进一步描绘的，可移动物体102还包括通信***120，通信***使得可移动物体102能够(例如，通过无线信号124)与控制单元104和/或计算设备126和/或与电子设备820(图8)通信。在一些实施例中，通信***120包括用于无线通信的发射器、接收器和/或收发器。在一些实施例中，通信为单向通信，以使得数据仅从可移动物体102传输到控制单元104，反之亦然。在一些实施例中，通信为双向通信，以使得数据从可移动物体102传输到控制单元104，以及从控制单元104传输到可移动物体102。

在一些实施例中，可移动物体102与计算设备126通信。在一些实施例中，可移动物体102、控制单元104和/或计算设备126连接到互联网或其他电信网络，以例如，使得由可移动物体102、控制单元104和/或计算设备126生成的数据被传输到服务器用于数据存储和/或数据检索(例如，用于网站显示)。在一些实施例中，可移动物体102、控制单元104和/或计算设备126生成的数据局部存储在相应设备上。

在一些实施例中，可移动物体102包括感测***(例如，可移动物体感测***122)，该感测***包括参照图3进一步描述的一个或多个传感器。在一些实施例中，可移动物体102和/或控制单元104使用由感测***122的传感器产生的感测数据来确定诸如可移动物体102的位置、可移动物体102的朝向、可移动物体102的移动特性(例如角速度、角加速度、平移速度、平移加速度和/或沿一个或多个轴的运动方向)、可移动物体102与目标物体之间的距离、可移动物体102与潜在障碍物的接近度(例如距离)、天气条件、地理特征位置和/或人造结构位置的信息。

在一些实施例中，可移动物体102包括(一个或多个)无线电154。(一个或多个)无线电154启用一个或多个通信网络，并允许可移动物体102与其他设备(例如电子设备820，图8)进行通信。在一些实施例中，(一个或多个)无线电154能够使用多种自定义或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、蓝牙智能、ISA100.5A、WirelessHART、MiWi、超宽带(UWB)、软件定义无线电(SDR)等)、自定义或标准有线协议(例如以太网、HomePlug等)中的任何一种和/或任何其他合适的通信协议进行数据通信，包括截至本文件提交之日尚未制定的通信协议。

在一些实施例中，可移动物体102包括时钟152。在一些实施例中，时钟152与电子设备820(图9)的时钟912进行时间同步(例如，协调)。

图2B示出了根据一些实施例的示例性载体108。在一些实施例中，载体108将有效载荷110连接到可移动物体102。

在一些实施例中，载体108包括具有一个或多个框架构件202的框架部件。在一些实施例中，(一个或多个)框架构件202连接到可移动物体102和有效载荷110。在一些实施例中，(一个或多个)框架构件202支撑有效载荷110。

在一些实施例中，载体108包括一个或多个机构，例如一个或多个致动器204，以使载体108和/或有效载荷110移动。在一些实施例中，致动器204例如是电机，如液压电机、气动电机、电动电机、热力电机、磁力电机和/或机械电机。在一些实施例中，致动器204使(一个或多个)框架构件202移动。在一些实施例中，致动器204绕一个或多个轴，例如X轴(“俯仰轴线”)、Z轴(“横滚轴线”)和Y轴(“偏航轴线”)中的一个或多个，相对于可移动物体102旋转有效载荷110。在一些实施例中，致动器204沿一个或多个轴相对于可移动物体102平移有效载荷110。

在一些实施例中，载体108包括载体感测***206，用于确定载体108或有效载荷110的状态。载体感测***206包括运动传感器(例如加速度计)、旋转传感器(例如陀螺仪)、电位计和/或惯性传感器中的一个或多个。在一些实施例中，载体感测***206包括如以下参照图3描述的可移动物体感测***122的一个或多个传感器。由载体感测***206确定的传感器数据可以包括诸如载体108和/或有效载荷110的空间布局(例如位置、朝向或姿态)以及诸如速度(例如线速度或角速度)和/或加速度(例如线加速度或角加速度)的移动信息。在一些实施例中，感测数据以及从感测数据计算出的状态信息被用作反馈数据，以控制载体108的一个或多个部件(例如，(一个或多个)框架构件202、致动器204和/或阻尼元件208)的移动。在一些实施例中，载体感测***206连接到(一个或多个)框架构件202、致动器204、阻尼元件208和/或有效载荷110。在一些情况下，载体感测***206中的传感器(例如电位计)可以测量致动器204的移动(例如，电机转子和电机定子的相对位置)，并生成表示致动器204的移动的位置信号(例如，表示电机转子和电机定子相对位置的位置信号)。在一些实施例中，由传感器生成的数据由可移动物体102的(一个或多个)处理器116和/或存储器118接收。

在一些实施例中，载体108和可移动物体102之间的连接包括一个或多个阻尼元件208。(一个或多个)阻尼元件208被配置为减少或消除由可移动物体102的移动引起的负载(例如有效载荷110和/或载体108)的移动。(一个或多个)阻尼元件208可包括主动阻尼元件、被动阻尼元件和/或具有主动和被动阻尼特性的混合阻尼元件。由(一个或多个)阻尼元件208阻尼的运动可包括振动、震荡、晃动和/或冲击。这些运动可以源自可移动物体102的运动，其被传递到有效载荷110。例如，所述运动可包括由可移动物体102的动力***和/或其他部件的操作引起的振动。

在一些实施例中，(一个或多个)阻尼元件208通过消散或减少传递到有效载荷110的运动量，将有效载荷110与不需要的运动源隔离(例如振动隔离)，从而提供运动阻尼。在一些实施例中，(一个或多个)阻尼元件208减小了有效载荷110将经历的运动幅度(例如振幅)。在一些实施例中，由(一个或多个)阻尼元件208施加的运动阻尼用于稳定有效载荷110，从而提高由有效载荷110(例如使用成像设备214，图2C)获取的视频和/或图像的质量。在一些实施例中，提高的视频和/或图像质量降低了基于所获取的视频生成编辑视频或基于所获取的图像生成全景视像所需的处理步骤的计算复杂性。

在一些实施例中，(一个或多个)阻尼元件208可以使用任何合适的材料或材料组合来制造，所述材料包括固体、液体或气体材料。用于(一个或多个)阻尼元件208的材料可以是可压缩和/或可变形的。在一个示例中，(一个或多个)阻尼元件208可由海绵、泡沫、橡胶、凝胶等制成。在另一个示例中，(一个或多个)阻尼元件208可包括形状大致为球形的橡胶球。在其他情况下，(一个或多个)阻尼元件208的形状可以是大致球形、矩形和/或圆柱形。在一些实施例中，(一个或多个)阻尼元件208可包括压电材料或形状记忆材料。在一些实施例中，(一个或多个)阻尼元件208可包括一个或多个机械元件，例如弹簧、活塞、液压、气动、缓冲器、减震器和/或隔离物。在一些实施例中，选择(一个或多个)阻尼元件208的特性以提供预定量的运动阻尼。在一些情况下，(一个或多个)阻尼元件208具有粘弹性特性。(一个或多个)阻尼元件208的特性可以是各向同性或各向异性的。在一些实施例中，(一个或多个)阻尼元件208沿所有运动方向均等地提供运动阻尼。在一些实施例中，(一个或多个)阻尼元件208仅沿运动方向的子集(例如，沿单个运动方向)提供运动阻尼。例如，(一个或多个)阻尼元件208可主要沿Y轴(偏航轴线)提供阻尼。这样，所示(一个或多个)阻尼元件208可以减少垂直运动。

在一些实施例中，载体108还包括控制器210。控制器210可以包括一个或多个控制器和/或处理器。在一些实施例中，控制器210从可移动物体102的(一个或多个)处理器116接收指令。例如，控制器210可以通过控制总线112连接到(一个或多个)处理器116。在一些实施例中，控制器210可以控制致动器204的移动，调整载体感测***206的一个或多个参数，从载体感测***206接收数据，和/或将数据传输到(一个或多个)处理器116。

图2C示出了根据一些实施例的示例性有效载荷110。在一些实施例中，有效载荷110包括有效载荷感测***212和控制器218。有效载荷感测***212可以包括具有图像传感器216的成像设备214(例如相机)，图像传感器216具有视场。在一些实施例中，有效载荷感测***212包括如下参照图3描述的可移动物体感测***122的一个或多个传感器。

有效载荷感测***212生成静态感测数据(例如，响应于接收到的指令而获取的单个图像)和/或动态感测数据(例如，以周期速率获取的一系列图像，例如视频)。

图像传感器216例如是检测诸如可见光、红外光和/或紫外光的传感器。在一些实施例中，图像传感器216包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)技术的有源像素传感器、或任何其他类型的传感器。图像传感器216和/或成像设备214获取图像或图像流(例如，视频)。成像设备214的可调参数包括，例如，宽度、高度、宽高比、像素数、分辨率、质量、成像模式、焦距、景深、曝光时间、快门速度和/或镜头配置。在一些实施例中，成像设备214可被配置为以不同分辨率(例如，低、中、高或超高分辨率，和/或高清或超高清视频，例如720p、1080i、1080p、1440p、2000p、2160p、2540p、4000p和4320p)获取视频和/或图像。

在一些实施例中，有效载荷110包括控制器218。控制器218可以包括一个或多个控制器和/或处理器。在一些实施例中，控制器218从可移动物体102的(一个或多个)处理器116接收指令。例如，控制器218通过控制总线112连接到(一个或多个)处理器116。在一些实施例中，控制器218可以调整有效载荷感应***212的一个或多个传感器的一个或多个参数，从有效载荷感应***212的一个或多个传感器接收数据，和/或将诸如来自图像传感器216的图像数据的数据传输到(一个或多个)处理器116、存储器118和/或控制单元104。

在一些实施例中，由有效载荷感应***212的一个或多个传感器生成的数据例如由存储器118存储。在一些实施例中，由有效载荷感测***212生成的数据被(例如，通过通信***120)传输到控制单元104。例如，视频从有效载荷110(例如，成像设备214)流式传输到控制单元104。这样，控制单元104可以显示例如从成像设备214接收的实时(或稍微延迟的)视频。

在一些实施例中，至少部分地基于可移动物体102、载体108和/或有效载荷110的(例如，在***配置400中预设的和/或用户配置的，图4)配置，(例如，由(一个或多个)处理器116)生成对可移动物体102、载体108和/或有效载荷110的朝向、位置、高度和/或一个或多个移动特性的调整。例如，如果包括成像设备214的有效载荷110刚性连接到可移动物体102(并且因此相对于可移动物体102不可移动)和/或有效载荷110通过载体108连接到可移动物体102且该载体108不允许成像设备214和可移动物体102之间的相对移动，则围绕两个轴线(例如偏航轴线和俯仰轴线)的旋转仅通过可移动物体围绕两个轴线的相应旋转进行调整。如果载体108允许成像设备214相对于可移动物体102围绕至少一个轴线旋转，则可以通过，例如，将可移动物体102和载体108的调整进行组合来实现同样的两轴调整。在这种情况下，可以控制载体108围绕调整所需的两个轴线中的一个或两个进行旋转，并且可以控制可移动物体120围绕两个轴线中的一个或两个轴线进行旋转。在一些实施例中，载体108可包括单轴云台，该单轴云台允许成像设备214围绕调整所需的两个轴线之一旋转，而围绕剩余轴线的旋转通过可移动物体102实现。在一些实施例中，当载体108允许成像设备214相对于可移动物体102围绕两个或多个轴线旋转时，仅通过载体108实现同样的双轴调整。在一些实施例中，载体108可包括双轴或三轴云台，使成像设备214能够围绕两个或全部三个轴线旋转。

图3示出了根据一些实施例的可移动物体102的示例性感测***122。在一些实施例中，可移动物体感测***122的一个或多个传感器安装到可移动物体102外部，或位于可移动物体102内，或以其他方式连接到可移动物体102。在一些实施例中，可移动物体感测***的一个或多个传感器是载体感测***206和/或有效载荷感测***212的部件。在本文中将感测操作描述为由可移动物体感测***122执行的情况下，应当认识到这些操作是由载体感测***206和/或有效载荷感测***212可选地执行的。

在一些实施例中，可移动物体感测***122生成静态感测数据(例如，响应于所接收到的指令而获取的单个图像)和/或动态感测数据(例如，以周期速率获取的一系列图像，比如视频)。

在一些实施例中，可移动物体感测***122包括一个或多个图像传感器302，例如图像传感器308(例如，左立体图像传感器)和/或图像传感器310(例如，右立体图像传感器)。图像传感器302获取，例如，图像、图像流(例如视频)、立体图像和/或立体图像流(例如立体视频)。图像传感器302对诸如可见光、红外光和/或紫外光的光进行检测。在一些实施例中，可移动物体感测***122包括一个或多个光学设备(例如，透镜)，以将光聚焦或以其他方式改变到一个或多个图像传感器302上。在一些实施例中，图像传感器302包括，例如，半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(CMOS)或N型金属氧化物半导体(NMOS、Live MOS)技术的有源像素传感器、或任何其他类型的传感器。

在一些实施例中，可移动物体感测***122包括一个或多个音频换能器304。音频换能器304可以包括音频输出换能器312(例如，扬声器)和音频输入换能器314(例如，诸如抛物面麦克风的麦克风)。在一些实施例中，音频输出换能器312和音频输入换能器314用作声纳***的部件，以用于跟踪目标物体(例如，检测目标物体的位置信息)。

在一些实施例中，可移动物体感测***122包括一个或多个红外传感器306。在一些实施例中，距离测量***包括一对红外传感器，例如，红外传感器316(例如，左红外传感器)和红外传感器318(例如，右侧红外传感器)，或另一传感器或传感器对。距离测量***用于测量可移动物体102与目标物体106之间的距离。

在一些实施例中，可移动物体感测***122可以包括用于感测可移动物体102和目标物体106之间的距离的其他传感器，例如无线电探测和测距(RADAR)传感器、光探测和测距(LiDAR)传感器、或任何其他测距传感器。

在一些实施例中，生成深度图的***包括：可移动物体感测***122的一个或多个传感器或传感器对(例如，左立体图像传感器308和右立体图像传感器310)；音频输出换能器312和音频输入换能器314；和/或左红外传感器316和右红外传感器318。在一些实施例中，立体数据***(例如，立体成像***)中的一对传感器同时从不同位置获取数据。在一些实施例中，立体数据***使用同时获取的数据生成深度图。在一些实施例中，深度图用于定位和/或检测操作，例如对目标物体106进行检测和/或对目标物体106的当前位置信息进行检测。

在一些实施例中，可移动物体感测***122包括一个或多个全球定位***(GPS)传感器、运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器、距离传感器(例如，红外传感器)和/或气象传感器(例如，压力传感器、温度传感器、湿度传感器和/或风传感器)。

在一些实施例中，由可移动物体感测***122的一个或多个传感器生成的感测数据和/或使用来自可移动物体感测***122的一个或多个传感器的感测数据所确定的信息被(例如，通过通信***120)传输到控制单元104。在一些实施例中，由可移动物体感测***122的一个或多个传感器生成的数据和/或使用来自可移动物体感测***122的一个或多个传感器的感测数据所确定的信息由存储器118存储。

图4A和图4B示出了根据一些实施例的可移动物体102的示例性存储器118的框图。在一些实施例中，图4A和/或图4B中所示的一个或多个元件可以位于控制单元104、计算设备126和/或另一设备中。

在一些实施例中，存储器118存储***配置400。***配置400包括(例如，由可移动物体102的制造商、管理员和/或用户配置的)一个或多个***设置。例如，对可移动物体102、载体108和/或有效载荷110的朝向、位置、姿态和/或一个或多个运动特性中的一个或多个的约束被存储为***配置400的***设置。

在一些实施例中，存储器118存储无线电通信模块401。无线电通信模块401连接到通过通信***120(有线或无线)与一个或多个通信网络(例如(一个或多个)通信网络810，图8)耦接的其他网络设备(例如，本地网络，如提供互联网连接的路由器、联网的存储设备、网络路由设备、电子设备820等)，并与之通信。

在一些实施例中，存储器118存储运动控制模块402。运动控制模块402存储从控制模块104和/或计算设备126接收的控制指令。控制指令用于控制移动机构114、载体108和/或有效载荷110的操作。

在一些实施例中，存储器118存储跟踪模块404。在一些实施例中，跟踪模块404针对可移动物体102正在跟踪的目标物体106生成跟踪信息。在一些实施例中，基于由成像设备214获取的图像和/或基于来自视频分析模块406的输出(例如，在已经对一个或多个图像执行预处理和/或处理操作之后)和/或基于用户的输入，生成跟踪信息。可替代地或组合地，可以基于对人类目标的手势的分析生成跟踪信息，这些手势由成像设备214获取和/或由手势分析模块403分析。由跟踪模块404生成的跟踪信息可以包括在一个或多个图像内的目标物体106的位置、大小和/或其他特性。在一些实施例中，由跟踪模块404生成的跟踪信息被传输到控制单元104和/或计算设备126(例如，增强或与来自视频分析模块406的输出和/或图像进行组合)。例如，可以响应于来自控制单元104的请求和/或周期性地(例如，每2秒、5秒、10秒或30秒)将跟踪信息传输到控制单元104。

在一些实施例中，存储器118包括视频分析模块406。视频分析模块406对视频和图像(例如由成像设备214获取的视频和图像)执行处理操作。在一些实施例中，视频分析模块406对原始视频和/或图像数据执行预处理，例如重新采样，以确保图像坐标系的正确性、降噪、对比度增强和/或尺度空间表示。在一些实施例中，对视频和图像数据(包括经过预处理的视频和/或图像的数据)执行的处理操作包括特征提取、图像分割、数据验证、图像识别、图像配准和/或图像匹配。在一些实施例中，来自视频分析模块406的输出(例如，在已经执行预处理和/或处理操作之后)被传输到控制单元104和/或计算设备126。在一些实施例中，由控制单元104、可移动物体102的(一个或多个)处理器116和/或计算设备126来执行特征提取。在一些实施例中，视频分析模块406可以使用神经网络来执行图像识别和/或对包含在视频和/或图像中的物体进行分类。例如，视频分析模块406可以提取包括目标物体106的帧，分析目标物体106的特征，并将这些特征与一个或多个预定的可识别目标物体类型的特性进行比较，从而能够在一定的置信水平上识别目标物体106。

在一些实施例中，存储器118包括手势分析模块403。手势分析模块403处理一个或多个人类目标的手势。在一些实施例中，手势可以由成像设备214来获取。在一些实施例中，在对手势进行处理之后，手势分析结果可以被馈送到跟踪模块404和/或运动控制模块402中，以分别生成跟踪信息和/或控制指令，以用于控制可移动物体102的移动机构114、载体108和/或有效载荷110的操作。

在一些实施例中，在使用人类目标的手势对可移动物体102进行控制之前，可以执行校准过程。例如，在校准过程期间，手势分析模块403可以获取与某个控制命令相关联的人类手势的某些特征，并将该手势特征存储在存储器118中。当接收到人类手势时，手势分析模块403可以提取人类手势的特征，并将这些特征与所存储的特征进行比较，以确定是否可以由该用户执行所述命令。在一些实施例中，与某个人类目标相关联的手势和控制命令之间的相关性可以和与另一个人类目标相关联的这种相关性不同或相同。

在一些实施例中，存储器118包括空间关系确定模块405。空间关系确定模块405计算目标物体106和可移动物体102之间的一个或多个空间关系，如目标物体106和可移动物体102之间的水平距离，和/或目标物体106和可移动物体102之间的俯仰角。

在一些实施例中，存储器118包括信号处理模块407。信号处理模块407对由可移动物体102(例如，从电子设备802，图8)接收的信号(例如无线信号)进行处理。在一些实施例中，可移动物体102使用这些信号来确定目标物体106的位置(例如，位置坐标)。在一些实施例中，这些信号可以包括(一个或多个)照射方向、(一个或多个)照射模式、(一个或多个)照射波长(例如颜色)、和/或照射时间频率、和/或照射时间、和/或照射强度。在一些实施例中，这些信号可以包括电子设备820的位置。

在一些实施例中，存储器118存储目标信息408。在一些实施例中，目标信息408由可移动物体102(例如通过通信***120)从控制单元104、计算设备126、目标物体106和/或另一可移动物体接收。

在一些实施例中，目标信息408包括时间值(例如时长)和/或到期时间，其指示对目标物体106进行跟踪的时间周期。在一些实施例中，目标信息408包括指示目标信息条目是否包括特定被跟踪目标信息412和/或目标类型信息410的标志(例如标签)。

在一些实施例中，目标信息408包括目标类型信息410，例如，颜色、纹理、图案、大小、形状和/或尺寸。在一些实施例中，目标类型信息410包括但不限于由视频分析模块406识别的预定可识别物体类型和一般物体类型。在一些实施例中，目标类型信息410包括每种类型的目标的特征或特性，并且被预设并存储在存储器118中。在一些实施例中，目标类型信息410通过用户输入被提供给用户输入设备(例如控制单元104)。在一些实施例中，用户可以选择预先存在的目标图案或类型(例如，物体或半径大于或小于某个值的圆形物体)。

在一些实施例中，目标信息408包括被跟踪的特定目标物体106的被跟踪目标信息412。视频分析模块406可以通过对所获取的图像中的目标进行分析来识别目标信息408。被跟踪目标信息412包括，例如，一个或多个图像(例如，由成像设备214获取的图像)内的目标物体106的图像、目标物体106的初始位置(例如，图像内的像素坐标等位置坐标)和/或目标物体106的大小。目标物体106的大小被存储为，例如，长度(例如mm或其他长度单位)、面积(例如mm²或其他面积单位)、一行中的像素数量(例如，表示长度、宽度和/或直径)、图像中目标表示的长度与总图像长度的比率(例如百分比)、图像中的目标表示的面积与总图像面积的比率(例如，百分比)、表示目标物体106的面积的像素数量、和/或目标物体106和可移动物体102之间的对应空间关系(例如，垂直距离和/或水平距离)(例如，目标物体106的面积基于目标物体106与可移动物体102之间的距离而改变)。

在一些实施例中，(例如，使用图像分析技术对成像设备112获取的图像进行分析)从目标物体106的图像确定目标物体106的一个或多个特征(例如，特性)。例如，从目标物体106的朝向和/或部分或全部被识别的边界，确定目标物体106的一个或多个特征。在一些实施例中，被跟踪目标信息412包括表示，例如，目标物体106的尺寸参数、位置和/或形状的像素坐标和/或多个像素计数。在一些实施例中，在可移动物体102跟踪目标物体106时，将保持被跟踪目标信息412的一个或多个特征(例如，当成像设备214获取目标物体106的图像时，将保持被跟踪目标信息412)。在一些实施例中，被跟踪目标信息412用于调整可移动物体102、载体108和/或成像设备214，以基本上保持目标物体106的特定特征。在一些实施例中，基于目标类型410中的一个或多个来确定被跟踪目标信息412。

在一些实施例中，存储器118还包括预定可识别目标类型信息414。预定可识别目标类型信息414指定某些预定可识别目标类型(例如，目标类型1、目标类型2、...、目标类型n)的一个或多个特性。每个预定可识别目标类型可以包括一个或多个特性，例如尺寸参数(例如，面积、直径、高度、长度和/或宽度)、位置(例如，相对于图像中心和/或图像边界的位置)、移动(例如，速度、加速度、高度)和/或形状。例如，目标类型1可以是人类目标。与人类目标相关的一个或多个特性可以包括：从约1.4米到约2米的高度，包括头部、肩部、头肩比、躯干、头-躯干比、关节和/或肢体的图案，和/或从约2公里/小时到约25公里/小时的移动速度。在另一个示例中，目标类型2可以是汽车目标。与汽车目标相关的一个或多个特性可以包括：从约1.4米到约4.5米的高度，从约3米到约10米的长度、从5公里/小时到约140公里/小时的移动速度，和/或轿车、SUV、卡车或公共汽车的图案。在又一个示例中，目标类型3可以是船舶目标。其他类型的预定可识别目标物体还可以包括飞机目标、动物目标、其他移动目标、以及诸如建筑物和雕像之类的静止(例如，非移动)目标。每个预定目标类型还可以包括一个或多个子类型，每个子类型具有更具体的特性，从而提供更准确的目标分类结果。

在一些实施例中，目标信息408(包括，例如，目标类型信息410和被跟踪目标信息412)和/或预定可识别目标信息414是基于用户输入(如在控制单元104的用户输入设备506(图5)接收的用户输入)生成的。另外地或替代地，可以基于来自除控制单元104之外的源的数据生成目标信息408。例如，目标类型信息410可以基于目标物体106的先前存储图像(例如，由成像设备214获取并由存储器118存储的图像)、由存储器118存储的其他数据、和/或来自远离控制单元104和/或可移动物体102的数据存储器的数据。在一些实施例中，使用目标物体106的计算机生成的图像来生成目标类型信息408。

在一些实施例中，可移动物体102(例如，跟踪模块404)使用目标信息408来跟踪目标物体106。在一些实施例中，视频分析模块406使用目标信息408来对目标物体106进行识别和/或分类。在一些情况下，目标识别涉及基于，例如，CAD类物体模型、基于外观的方法、基于特征的方法和/或遗传算法的图像识别和/或匹配算法。在一些实施例中，目标识别包括比较两个或更多个图像，以确定、提取和/或匹配其中包括的特征。

在一些实施例中，存储器118还包括可移动物体102的飞行路线416(例如,预定义飞行路线)，如纵向飞行路线418(例如，当目标物体106是人时)、远距离飞行路线420和正常飞行路线422。每个飞行路线416包括一个或多个飞行路径，一个或多个路径中的每个路径具有对应的轨迹模式。在一些实施例中，可移动物体102根据目标物体106的目标类型自动选择预定义飞行路线之一，并根据预定义飞行路线执行自主飞行。在一些实施例中，在为可移动物体102自动选择飞行路线416之后，考虑到如可移动物体102和目标物体106之间的距离、(一个或多个)潜在障碍物和/或其他结构(例如，建筑物和树木)的出现或天气条件等因素，可移动物体102进一步进行飞行路线的自动定制。在一些实施例中，飞行路线的定制包括修改可移动物体102的上升速率、可移动物体102的初始速度和/或可移动物体102的加速度。在一些实施例中，该定制部分地由用户提供。例如，根据目标类型和距离，可移动物体102可以使计算设备126显示可由用户选择的轨迹库。然后，可移动物体102基于用户选择自动生成飞行路线的路径。

在一些实施例中，飞行路线416还包括用户定义的(一个或多个)飞行路线424，其是由用户定义和定制的路线。例如，在一些实施例中，用户可以使用控制单元104(例如，通过对显示在控制单元104上的地图上的两个或更多个兴趣点进行识别)定义飞行路线。控制单元104可以向可移动物体102传输用户定义的飞行路线424，其包括经识别的兴趣点和/或经识别的兴趣点的位置坐标。

在一些实施例中，存储器存储有自主飞行期间图像传感器216获取的数据426，其中包括视频数据428和(一个或多个)图像430。在一些实施例中，数据426还包括由可移动物体102的麦克风(例如，音频输入换能器314)获取的音频数据432。在一些实施例中，在获取数据426的同时将其存储在移动物体102中。在一些实施例中，存储器118还与数据426一起存储元数据信息。例如，视频数据428可以包括标签信息(例如，元数据)，其对与视频数据428相应段对应的飞行路径和轨迹模式进行识别。

在一些实施例中，数据426还包括映射数据434。映射数据包括飞行路线416和来自电子设备820的发射体830的照射特性(例如，时间频率、波长、照射类型和/或颜色)之间的映射关系。

上述模块或程序(即，指令集)不需要被实现为单独的软件程序、步骤或模块，因此这些模块的各子集可以在各实施例中组合或以其他方式重新布置。在一些实施例中，存储器118可以存储上述模块和数据结构的子集。此外，存储器118可以存储未在上文描述的附加模块和数据结构。在一些实施例中，存储在存储器118或存储器118的非瞬时计算机可读存储介质中的程序、模块和数据结构提供指令以实现下述方法中的各个操作。在一些实施例中，这些模块中的一些或全部可以用包含部分或全部模块功能的专用硬件电路来实现。一个或多个上述元件可以由可移动物体102的一个或多个处理器116执行。在一些实施例中，一个或多个上述元件由远离可移动物体102的设备的一个或多个处理器执行，例如控制单元104和/或计算设备126。

图5示出了根据一些实施例的目标识别跟踪***100的示例性控制单元104。在一些实施例中，控制单元104经由通信***120与可移动物体102通信，以，例如，向可移动物体102提供控制指令。虽然控制单元104通常是便携式(例如，手持)设备，但控制单元104不必须是便携式的。在一些实施例中，控制单元104是专用控制设备(例如，专用于可移动物体102的操作)、膝上型计算机、台式计算机、平板计算机、游戏***、可穿戴设备(例如，手表、眼镜、手套和/或头盔)、麦克风和/或其组合。

控制单元104通常包括(一个或多个)处理器502、通信***510(例如，包括一个或多个网络或其他通信接口)、存储器504、一个或多个输入/输出(I/O)接口(例如，输入设备506和/或显示器506)，以及用于互连这些部件的一个或多个通信总线512。

在一些实施例中，输入设备506和/或显示器508包括触摸屏显示器。尽管在其他实施例中使用了其他显示技术，触摸屏显示器可选地使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术。触摸屏显示器和(一个或多个)处理器502可选地使用现在未知或以后开发的多种触摸感测技术中的任何一种来检测接触和任何移动或其断开，包括但不限于电容、电阻、红外和表面声波技术，以及用于确定与触摸屏显示器的一个或多个接触点的其他距离传感器阵列或其他元件。

在一些实施例中，输入设备506包括操纵杆、开关、旋钮、滑动开关、按钮、拨盘、小键盘、键盘、鼠标、音频换能器(例如，用于语音控制***的麦克风)、运动传感器、和/或手势控制中的一个或多个。在一些实施例中，控制单元104的I/O接口包括传感器(例如，GPS传感器和/或加速度计)、音频输出换能器(例如，扬声器)和/或用于产生触觉输出的一个或多个触觉输出生成器。

在一些实施例中，输入设备506接收用户输入以控制可移动物体102、载体108、有效载荷110或其部件的多个方面。这些方面包括，例如，姿态(例如航空)、位置、朝向、速度、加速度、导航和/或跟踪。例如，输入设备506由用户手动设置到一个或多个位置。每个位置可以与用于控制可移动物体102的预定输入对应。在一些实施例中，输入设备506由用户操纵以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，输入设备506用于输入可移动物体102的飞行模式，如自动驾驶或根据预定导航路径的导航。

在一些实施例中，输入设备506用于输入可移动物体102的目标跟踪模式，如手动跟踪模式或自动跟踪模式。在一些实施例中，用户通过改变控制单元104的位置(例如，通过倾斜或以其他方式移动控制单元104)来控制可移动物体102，例如可移动物体102的位置、姿态和/或朝向。例如，控制单元104的位置变化可以由一个或多个惯性传感器检测，一个或多个惯性传感器的输出可用于生成命令数据。在一些实施例中，输入设备506用于调整有效载荷的操作参数，如有效载荷感测***212的参数(例如，用于调整成像设备214的缩放参数)和/或有效载荷110相对于载体108和/或可移动物体102的姿态。

在一些实施例中，输入设备506用于指示关于目标物体106的信息，例如，选择要跟踪的目标物体106和/或指示目标类型信息412。在一些实施例中，输入设备506用于与增强图像数据进行交互。例如，由显示器508显示的图像包括一个或多个目标物体106的表示。在一些实施例中，一个或多个目标物体106的表示被增强，以指示用于潜在跟踪的被识别物体和/或当前正在被跟踪的目标物体106。该增强包括，例如，与相应目标物体106相邻或围绕相应目标物体106的图形跟踪指示符(例如，框)。在一些实施例中，输入设备506用于选择待跟踪的目标物体106或改变被跟踪的目标物体。在一些实施例中，当通过例如，手指、触控笔、鼠标、操纵杆或输入设备506的其他部件选择与目标物体106的表示相对应的区域时，目标物体106被选择。在一些实施例中，当用户选择待跟踪的目标物体106时，生成特定目标信息412。

控制单元104还可以被配置为允许用户使用任何合适的方法输入目标信息。在一些实施例中，输入设备506从显示器508显示的一个或多个图像(例如，视频或快照)接收对目标物体106的选择。例如，输入设备506接收输入，该输入包括在图像中由目标物体106周围的手势和/或在与目标物体106对应的位置处的接触所做出的选择。在一些实施例中，使用计算机视觉或其他技术来确定目标物体106的边界。在一些实施例中，在输入设备506处接收的输入可以定义目标物体106的边界。在一些实施例中，同时选择多个目标。在一些实施例中，选择的目标与选择指示符(例如，边界框)一起显示，以指示该目标被选择用于跟踪。在一些其他实施例中，输入设备506接收指示如颜色、纹理、形状、尺寸和/或与目标物体106相关联的其他特性的信息的输入。例如，输入设备506包括键盘以接收键入的表示目标信息408的输入。

在一些实施例中，控制单元104提供界面，使得用户能够(例如，使用输入设备506)在手动跟踪模式和自动跟踪模式之间进行选择。当选择手动跟踪模式时，该界面允许用户选择待跟踪的目标物体106。例如，用户能够从控制单元104的显示器508显示的图像中手动选择目标物体106的表示。与所选目标物体106相关联的特定目标信息412例如，作为初始预期目标信息被传输到可移动物体102。

在一些实施例中，当选择自动跟踪模式时，用户不提供对待跟踪的目标物体106进行选择的输入。在一些实施例中，输入设备506从用户输入接收目标类型信息410。在一些实施例中，可移动物体102使用目标类型信息410，例如，以自动识别待跟踪的目标物体106和/或跟踪被识别的目标物体106。

通常，手动跟踪需要对目标的跟踪进行较多的用户控制，而可移动物体102的(一个或多个)处理器116执行较少的自动化处理或计算(例如，图像或目标识别)。自动跟踪需要对跟踪过程进行较少的用户控制，而可移动物体102的(一个或多个)处理器116执行较多的计算(例如，通过视频分析模块406)。在一些实施例中，例如，根据可移动物体102的周围环境、可移动物体102的运动、可移动物体102的高度、***配置400(例如，用户偏好)、和/或可移动物体102、控制单元104和/或计算设备126的可用计算资源(例如，CPU或存储器)等因素，调整用户和机载处理***之间对跟踪过程的控制的分配。例如，与在相对简单的环境(例如，开阔的空间或在室外)中导航时相比，当可移动物体在相对复杂的环境(例如，有许多建筑物或障碍物或在室内)中导航时，把相对更多的控制分配给用户。作为另一示例，与可移动物体102处于较高的高度时相比，当可移动物体102处于较低的高度时，分配给用户的控制更多。作为再一示例，如果可移动物体102配备有适于相对快速地进行复杂计算的高速处理器，则将更多控制分配给可移动物体102。在一些实施例中，基于本文描述的一个或多个因素，动态调整用户和可移动物体102之间对跟踪过程的控制的分配。

在一些实施例中，控制单元104包括电子设备(例如，便携式电子设备)和输入设备506，输入设备506是与电子设备通信耦合(例如，通过无线和/或有线连接)和/或机械连接的***设备。例如，控制单元104包括便携式电子设备(例如，手机或智能手机)和与便携式电子设备耦合的遥控设备(例如，带有操纵杆的标准遥控器)。在本示例中，由手机执行的应用程序基于在遥控设备处接收的输入生成控制指令。

在一些实施例中，显示设备508显示关于可移动物体102、载体108和/或有效载荷110的信息，例如可移动物体102的位置、姿态、朝向、移动特性，和/或可移动物体102与另一物体(例如，目标物体106和/或障碍物)之间的距离。在一些实施例中，由显示设备508显示的信息包括成像设备214获取的图像、跟踪数据(例如，应用于目标物体106的表示的图形跟踪指示器，例如在目标物体106周围示出以指示目标物体106当前正在被跟踪的框或其他形状)，和/或传输到可移动物体102的控制数据的指示。在一些实施例中，当从可移动物体102接收到图像数据和跟踪信息和/或当获取图像数据时，基本上实时地显示包括目标物体106的表示和图形跟踪指示器的图像。

通信***510能够通过有线或无线通信连接与移动物体102的通信***120、计算设备126的通信***610(图6)和/或基站(例如，计算设备126)进行通信。在一些实施例中，通信***510传输控制指令(例如，导航控制指令、目标信息和/或跟踪指令)。在一些实施例中，通信***510接收数据(例如，来自有效载荷成像设备214的跟踪数据和/或来自可移动物体感测***122的数据)。在一些实施例中，控制单元104(例如，通过无线通信124)从可移动物体102接收跟踪数据。跟踪数据被控制单元104用于，例如，在目标被跟踪时显示目标物体106。在一些实施例中，控制单元104接收的数据包括原始数据(例如，由一个或多个传感器获取的原始感测数据)和/或经处理的数据(例如，由跟踪模块404处理的原始数据)。

在一些实施例中，存储器504存储有用于自动和/或基于通过输入设备506接收的输入，而生成控制指令的指令。控制指令可以包括用于操作可移动物体102的移动机构114的控制指令(例如，通过向致动器132提供控制指令来调整可移动物体102的位置、姿态、朝向和/或移动特性)。在一些实施例中，控制指令以多达六个自由度调整可移动物体102的移动。在一些实施例中，生成控制指令以初始化和/或保持对目标物体106的跟踪。在一些实施例中，控制指令包括用于调整载体108的指令(例如，用于调整阻尼元件208、致动器204和/或载体感测***206的一个或多个传感器的指令)。在一些实施例中，控制指令包括用于调整有效载荷110的指令(例如，用于调整有效载荷感测***212的一个或多个传感器的指令)。在一些实施例中，控制指令包括用于调整可移动物体感测***122的一个或多个传感器的操作的控制指令。

在一些实施例中，存储器504还存储有用于进行图像识别、目标分类、空间关系确定和/或手势分析的指令，这些指令类似于参照图4所述的相应功能。存储器504还可以存储目标信息，例如，如图4所述的跟踪目标信息和/或预定的可识别目标类型信息。

在一些实施例中，输入设备506接收用户输入以控制可移动物体102的一个方面(例如，成像设备214的变焦)，同时，控制应用生成控制指令以调整可移动物体102的另一方面(例如，控制可移动物体102的一个或多个移动特性)。控制应用包括，例如，控制模块402、跟踪模块404和/或控制单元104的控制应用和/或计算设备126。例如，输入设备506接收用户输入以控制可移动物体102的一个或多个移动特性，同时控制应用生成控制指令以调整成像设备214的参数。这样，用户能够专注于控制可移动物体的导航，而不必提供用于跟踪目标的输入(例如，由控制应用自动进行跟踪)。

在一些实施例中，在输入设备506处接收的用户输入和控制应用之间对跟踪控制的分配根据如可移动物体102的周围环境、可移动物体102的运动、可移动物体102的高度、***配置(例如，用户偏好)和/或可移动物体102、控制单元104和/或计算设备126的可用计算资源(例如，CPU或存储器)的因素而变化。例如，与在相对简单的环境(例如，开阔空间或在室外)中导航时相比，当可移动物体在相对复杂的环境(例如，有许多建筑物或障碍物或在室内)中导航时，把更多的控制分配给用户。作为另一示例，与可移动物体102处于较高的高度时相比，当可移动物体102处于较低的高度时，把更多的控制分配给用户。作为又一示例，如果可移动物体102配备了适于相对快速地进行复杂计算的高速处理器，则把更多的控制分配给可移动物体102。在一些实施例中，基于本文描述的一个或多个因素，动态调整用户和可移动物体之间对跟踪过程的控制的分配。

图6示出了根据一些实施例的用于控制可移动物体102的示例性计算设备126。计算设备126可以是服务器计算机、膝上型计算机、台式计算机、平板电脑或电话。计算设备126通常包括一个或多个处理器602(例如，处理单元)、存储器604、通信***610和用于互连这些部件的一个或多个通信总线612。在一些实施例中，计算设备126包括输入/输出(I/O)接口606，如显示设备614和/或输入设备616。

在一些实施例中，计算设备126是与可移动物体102和/或控制单元104进行(例如，无线)通信的基站。

在一些实施例中，计算设备126提供数据存储、数据检索和/或数据处理操作，以例如，降低对可移动物体102和/或控制单元104的处理能力和/或数据存储的要求。例如，计算设备126(例如，通过通信610)可通信地连接到数据库，和/或计算设备126包括数据库(例如，数据库连接到通信总线612)。

通信***610包括一个或多个网络或其他通信接口。在一些实施例中，计算设备126从可移动物体102(例如，从可移动物体感测***122的一个或多个传感器)和/或控制单元104接收数据。在一些实施例中，计算设备126向可移动物体102和/或控制单元104传输数据。例如，计算设备向可移动物体102提供控制指令。

在一些实施例中，存储器604存储有用于执行图像识别、目标分类、空间关系确定和/或手势分析的指令，这些指令类似于参照图4所述的相应功能。存储器604还可以存储目标信息，例如如图4所述的跟踪目标信息408和/或预定可识别目标类型信息414。

在一些实施例中，存储器604或存储器604的非瞬时计算机可读存储介质存储有应用620，该应用620能够与可移动物体102交互并对可移动物体102进行控制，并且能够对可移动物体102获取的数据(例如，音频、视频和/或图像数据)进行显示、下载和/或后处理。应用620可包括用户界面630，其能够实现计算设备126的用户与可移动物体126之间的交互。在一些实施例中，应用630可包括视频编辑模块640，使得计算设备126的用户能够对在与目标物体102相关联的飞行期间由可移动物体102例如使用图像传感器216而获取的视频和/或图像进行编辑。

在一些实施例中，存储器604还存储有模板650，其可用于生成经编辑的视频。

在一些实施例中，存储器604还存储有在与目标物体106相关联的飞行期间由可移动物体102获取的数据660，其中包括在与目标物体106相关联的飞行期间由可移动物体102获取的视频661。在一些实施例中，可以由可移动物体102根据(例如，针对每个航线的)飞行661组织数据660。每个飞行661的数据可以包括视频数据662、图像663和/或音频数据664。在一些实施例中，存储器604还与视频数据662、图像663和音频数据664一起存储标签信息666(例如，元数据信息)。例如，与飞行1 661-1对应的视频数据662-1可以包括标签信息(例如，元数据)，以对与航班661-1对应的飞行路径和轨迹模式进行识别。

在一些实施例中，存储器604还存储有网页浏览器670(或能够显示网页的其他应用)，使得用户能够通过网络与远程计算机或设备进行通信。

上述每个可执行模块、应用或步骤集可存储在一个或多个存储装置中，并对应于用于执行上述功能的一组指令。上述模块或程序(即指令集)不需要实现为单独的软件程序、步骤或模块，因此这些模块的各子集可以在各实施例中被组合或以其他方式重新排列。在一些实施例中，存储器604存储有上述模块和数据结构的子集。此外，存储器604可存储有上文未描述的附加模块或数据结构。

图7示出了根据一些实施例的可移动物体102、载体108和有效载荷110的示例性配置700。配置700用于示出对可移动物体102、载体108和/或有效载荷110的朝向、位置、姿态和/或一个或多个移动特性的示例性调整，例如，用于执行目标跟踪的初始化和/或用于对目标物体106进行跟踪。

在一些实施例中，可移动物体102围绕多达三个正交轴旋转，例如X1轴(俯仰轴线)710、Y1轴(偏航轴线)708和Z1轴(横滚轴线)712。在本文中，围绕该三个轴的旋转分别称为俯仰旋转722、偏航旋转720和横滚旋转724。可移动物体102围绕X1轴、Y1轴和Z1轴的角速度在本文中分别称为ωX1、ωY1和ωZ1。在一些实施例中，可移动物体102分别沿X1轴、Y1轴和Z1轴进行平移运动728、726和730。可移动物体102沿X1轴、Y1轴和Z1轴的线速度(例如，平移运动728、726和730的速度)在本文中分别称为VX1、VY1和VZ1。

在一些实施例中，有效载荷110通过载体108与可移动物体102连接。在一些实施例中，有效载荷110相对于可移动物体102移动(例如，载体108的致动器204使得有效载荷110相对于可移动物体102移动)。

在一些实施例中，有效载荷110围绕和/或沿着多达三个正交轴移动，例如，X2轴(俯仰轴线)716、Y2轴(偏航轴线)714和Z2轴(横滚轴线)718。X2轴、Y2轴和Z2轴分别平行于X1轴、Y1轴和Z1轴。在一些实施例中，在有效载荷110包括成像设备214(例如，光学模块702)的情况下，横滚轴线Z2轴718大致平行于光学模块702的光路或光轴。在一些实施例中，光学模块702与图像传感器216(和/或可移动物体感测***122的一个或多个传感器)光学耦合。在一些实施例中，例如，基于提供给载体108的致动器204的控制指令，载体108使得有效载荷110围绕多达三个正交轴，即X2轴(俯仰轴线)716、Y2轴(偏航轴线)714和Z2轴(横滚轴线)718旋转。围绕该三个轴的旋转在本文中分别称为俯仰旋转734、偏航旋转732和横滚旋转736。有效载荷110围绕X2轴、Y2轴和Z2轴的角速度在本文中分别称为ωX2、ωY2和ωZ2。在一些实施例中，载体108使得有效载荷110分别沿X2轴、Y2轴和Z2轴相对于可移动物体102进行平移运动740、738和742。有效载荷110沿X2轴、Y2轴和Z2轴的线速度在本文中分别称为VX2、VY2和VZ2。

在一些实施例中，可以限制有效载荷110的移动(例如，通过限制致动器204的移动和/或通过缺少能够引起特定移动的致动器，载体108限制有效载荷110的移动)。

在一些实施例中，可将有效载荷110的移动限制为围绕和/或沿着X2、Y2和Z2三个轴的子集相对于可移动物体102移动。例如，有效载荷110可绕X2轴、Y2轴和Z2轴旋转(例如，移动732、734、736)或绕其任何组合旋转，但不可沿任何轴移动(例如，载体108不允许有效载荷110进行运动738、740、742)。在一些实施例中，有效载荷110被限制为围绕X2轴、Y2轴和Z2轴之一旋转。例如，有效载荷110仅可绕Y2轴旋转(例如，旋转732)。在一些实施例中，有效载荷110被限制为仅围绕X2轴、Y2轴和Z2轴中的两个轴旋转。在一些实施例中，有效载荷110可围绕X2轴、Y2轴和Z2轴中的全部三个轴旋转。

在一些实施例中，有效载荷110被限制为沿X2轴、Y2轴或Z2轴移动(例如移动738、740或742)或沿其任意组合移动，但有效载荷110不可绕任何轴旋转(例如，载体108不允许有效载荷110进行移动732、734或736)。在一些实施例中，有效载荷110被限制为仅可沿X2轴、Y2轴和Z2轴之一移动。例如，有效载荷110的移动被限制为沿X2轴的移动740。在一些实施例中，有效载荷110被限制为可沿X2轴、Y2轴和Z2轴中的两个轴移动。在一些实施例中，有效载荷110可沿X2轴、Y2轴和Z2轴中的全部三个轴移动。

在一些实施例中，有效载荷110能够进行相对于可移动物体102的旋转和平移运动。例如，有效载荷110能够沿着和/或围绕X2轴、Y2轴和Z2轴中的一个、两个或三个轴移动和/或旋转。

在一些实施例中，有效载荷110直接连接至可移动物体102而无需载体108，或者载体108不允许有效载荷110相对于可移动物体102移动。在一些实施例中，在这种情况下，有效载荷110的姿态、位置和/或朝向相对于可移动物体102是固定的。

在一些实施例中，通过调整可移动物体102、载体108和/或有效载荷110，如调整可移动物体102、载体108和/或有效载荷110中的两个或更多个的组合，对有效载荷110的姿态、朝向和/或位置进行调整。例如，通过将可移动物体102单独旋转60度、通过载体将有效载荷相对于可移动物体102旋转60度、或将可移动物体旋转40度并且将有效载荷110相对于可移动物体102旋转20度的组合，可以实现将有效载荷围绕给定轴(例如，偏航轴线)旋转60度。

在一些实施例中，通过调整可移动物体102、载体108和/或有效载荷110，如调整可移动物体102、载体108和/或有效载荷110中的两个或多个的组合，实现有效载荷110的平移运动。在一些实施例中，通过调整有效载荷110的操作参数，如调整成像设备214的缩放等级或焦距。来实现期望的调整。

图8示出了根据一些实施例的示例性操作环境800。在一些实施例中，如图8所示，操作环境包括可移动物体102、电子设备820和目标物体106。可移动物体102通过(一个或多个)通信网络810可通信地连接到电子设备820。在一些实施例中，电子设备820是用户操作的设备。电子设备820可以包括一个或多个发射器830。在一些实施例中，发射器830包括一个或多个照射光源(如一个或多个照射器、光源、LED、结构光、激光等)，用于照射目标物体106。发射器830可包括高强度光源和/或空间相干光源和/或(例如，具有低扩散性的)高指向性光源。在一些实施例中，发射器830可包括一种或多种激光类型，每种激光类型具有相应的工作波长。

在一些实施例中，用户可以将目标物体106识别为要执行的UAV航空摄影和/或摄像的兴趣物体。根据对目标物体106的识别，用户可以使用发射器830引导照射(例如光束)朝向目标物体106。在一些实施例中，用户还可以指示电子设备820通过(一个或多个)通信网络810将要传输的信号812(例如无线信号)传输到可移动物体102。例如，用户可以激活电子设备820上的(一个或多个)输入设备910(图9)，使电子设备820将无线信号812传输到可移动物体102。在一些实施例中，直接将无线信号812从电子设备820传输到可移动物体102。在一些实施例中，经由控制单元104将无线信号812从电子设备820传输到可移动物体102(参照图1)。在一些实施例中，电子设备820被配置为在确定发射器830已被激活时，自动将无线信号812传输到可移动物体102。在一些实施例中，电子设备820和可移动物体102彼此连续通信。电子设备820被配置为以周期性间隔和/或每当发射器830被激活时向可移动物体102传输信号。

在一些实施例中，无线信号812可以包括电子设备820的照射方向840。根据无线信号812，可移动物体102可以至少部分地基于照射方向840来对目标物体106进行识别。在一些实施例中，可移动物体102还可以确定目标物体106的位置坐标，这将在图10中进一步详细讨论。

图9是示出根据一些实施例的代表性电子设备820的框图。

在一些实施例中，电子设备820包括一个或多个处理器902、一个或多个通信接口904(例如，(一个或多个)网络接口)、存储器906和一个或多个用于互连这些部件的一个或多个通信总线908(有时称为芯片组)。

在一些实施例中，电子设备820包括便于用户输入和/或音频输入的(一个或多个)输入设备910。例如，(一个或多个)输入设备910可以包括麦克风、(一个或多个)按钮918和/或触控传感器阵列。

在一些实施例中，电子设备820包括便于视觉输出和/或音频输出的(一个或多个)输出设备916。(一个或多个)输出设备916包括图8中描述的(一个或多个)发射器830。在一些实施例中，(一个或多个)输出设备916还包括一个或多个扬声器和/或显示器328。

在一些实施例中，电子设备820包括无线电920和一个或多个传感器930。无线电920实现了一个或多个通信网络，并允许电子设备820与如可移动物体102的其他设备通信。在一些实施方式中，无线电920能够使用各种自定义或标准无线协议(例如，IEEE802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、蓝牙智能、ISA100.5A、WirelessHART、MiWi、超宽带(UWB)、软件定义无线电(SDR)等)、自定义或标准有线协议(例如，以太网、HomePlug等)中的任何一种和/或任何其他合适的通信协议进行数据通信，包括截至本文件递交之日尚未制定的通信协议。

在一些实施例中，传感器930包括一个或多个移动传感器(例如加速度计)、光传感器、飞行时间(ToF)传感器、定位传感器(例如GPS)、惯性传感器(例如，惯性测量单元或IMU)、磁力计和/或音频传感器。在一些实施方式中，定位传感器包括一个或多个位置传感器(例如，被动式红外(PIR)传感器)和/或一个或多个朝向传感器(例如，陀螺仪)。

在一些实施例中，电子设备820包括时钟912。在一些实施例中，时钟912与可移动物体102的时钟152的时间进行同步(例如，协调)。

在一些实施例中，电子设备820包括相机914。相机914包括视场，并允许获取包括该视场的图像和/或视频。

存储器906包括高速随机存取存储器(如DRAM、SRAM、DDR RAM)或其他随机存取固态存储设备；并且可选地包括非易失性存储器，如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个闪存设备或一个或多个其他非易失性固态存储设备。存储器906可选地包括远离一个或多个处理器902的一个或多个存储设备。存储器906或存储器906内的非易失性存储器包括非瞬时计算机可读存储介质。在一些实施方式中，存储器906或存储器906的非瞬时计算机可读存储介质存储以下程序、模块和数据结构，或其子集或超集：

·操作逻辑932，包括用于处理各种基本***服务和执行硬件相关任务的步骤；

·无线电通信模块934，用于连接到通过一个或多个通信接口904(有线或无线)耦合到一个或多个通信网络810的其他网络设备(例如，本地网络，如提供互联网连接的路由器、联网存储设备、网络路由设备、服务器***、可移动物体102等)并与之通信；

·定位模块936，用于确定电子设备820的位置(例如，位置坐标)；以及

·电子设备820的设备数据938，包括但不限于：

o电子设备820的设备设置3502，如默认选项和优选用户设置；

o由相机914获取的相机数据942(例如，图像和/或视频数据)；

以及

o(一个或多个)发射器830的照射设置944，如默认选项、时间设置和/或波长设置(例如，当(一个或多个)发射器包括具有不同波长的光源时)。

上述模块中的每个模块可选地存储在本文所述的一个或多个存储设备中，并对应于用于执行上述功能的一组指令。上述模块或程序不需要实现为单独的软件程序、步骤、模块或数据结构，因此这些模块的各子集可以在各实施方式中被组合或以其他方式重新排列。在一些实施例中，存储器906存储上述模块和数据结构的子集。此外，存储器906可选地存储上文未描述的附加模块或数据结构(例如，与麦克风输入设备一起获得和/或分析音频信号的麦克风模块，支持语音的智能扬声器中用于语音检测和/或语音识别的模块)。在一些实施例中，存储在存储器906中的程序、模块和/或数据的子集存储在服务器***(例如，计算设备126)上和/或由服务器***执行。

如之前在图8中所述，在一些实施例中，电子设备820使用(一个或多个)发射器830进行照射(例如，光束、激光等)。电子设备820还向可移动物体102传输信号(例如，无线信号812)。在一些实施例中，无线信号812包括照射方向840。在一些实施例中，响应于包括照射方向840的无线信号812，可移动物体102被配置为确定目标物体106的位置坐标。

图10示出了根据一些实施例的由可移动物体105执行以确定目标物体106的位置坐标的示例性方法1000。

在一些实施例中，根据接收到包括照射方向840的无线信号812，可移动物体102可以将一个或多个图像传感器(例如，图像传感器216和/或图像传感器302)朝向(例如，重新朝向)照射方向840。可移动物体102可从图像传感器的视场中检测区域1002，该区域1002具有最强照射强度和/或预定义照射强度和/或与图像传感器的视场的其他区域具有不同的照射强度。可移动物体可将区域1002关联(例如，识别)为与目标物体106相对应。

在一些实施例中，区域1002包括兴趣点(例如，光斑)。在一些实施例中，区域1002包括图像传感器上预定义数量的像素(例如，5个像素、7个像素、10个像素)。在一些实施例中，图像传感器可包括用于获取彩色图像的彩膜阵列(例如，RGB滤波阵列)，可移动物体102根据呈现出高强度且彼此相邻的R通道(例如，红色)像素对区域1002进行识别。

将区域1002识别为与目标物体106相对应之后，可移动物体102确定目标物体106的位置坐标。在一些实施例中，可移动物体102通过区域1002来(例如，使用视差法)测距。例如，如图10所示，可移动物体102可使其自身位于(例如，定位于)(例如，具有全局位置坐标(X1，Y1)的)位置1并确定其自身和目标物体106之间的角度θ2。然后，可移动物体102可使其自身位于(例如，定位于)(例如，具有全局位置坐标(X2，Y2)的)位置2并确定其自身和目标物体106之间的角度θ2。因为可移动物体102确定坐标(X1，Y1)和坐标(X2，Y2)(例如，可移动物体102可以使用其配备的GPS传感器确定这些坐标)，并且确定角度θ1和θ2，因此可移动物体102可以确定目标物体106的位置坐标(例如，(XT，YT))。

图11示出了根据一些实施例的用于确定目标物***置的电子设备820和可移动物体102的示例性配置。

在一些实施例中，如图11所示，电子设备820包括(一个或多个)发射器830。(一个或多个)发射器830可包括(一个或多个)激光和/或结构光作为照射光源(例如，光源)。(一个或多个)发射器830发射具有高强度、相干性和/或方向性的照射。在一些实施例中，(一个或多个)激光包括具有不同波长(例如，颜色)的不同类型。例如，(一个或多个)激光可包括利用650nm波长(例如，630nm至670nm波长)附近的红色激光二极管的红色激光和/或具有约510nm至570nm的波长的绿色激光和/或具有约400nm至500nm的波长的蓝色激光。在一些实施例中，传输到可移动物体的无线信号812还包括关于(一个或多个)照射光源的波长(例如颜色)的信息。

在一些实施例中，(一个或多个)发射器830包括结构光，该结构光将预定义的照射模式(例如，具有已知节距和/或间距的网格和/或条、条形码、QR码等)投影在目标物体106上。在一些实施例中，传输到可移动物体102的无线信号812还包括关于结构光的信息，如关于已知模式、网格和/或条间距等的信息，以便于可移动物体102对目标物体106的精确识别。

在一些实施例中，(一个或多个)发射器830发射具有时间频率的光。例如，(一个或多个)发射器可以有节奏地闪烁(例如，每秒一次、每三秒一次等)。在一些实施例中，信号812还包括照射的时间频率。

在一些实施例中，如图11所示，电子设备820包括飞行时间(ToF)传感器(例如，ToF相机)(例如，传感器930)，其用于确定电子设备820与目标物体106之间的距离。在一些实施例中，无线信号812包括电子设备820和目标物体106之间的距离，还包括电子设备820的位置。在一些实施例中，可移动物体102根据电子设备820和目标物体106之间的距离以及电子设备820的位置来确定目标物体106的位置(例如，位置坐标)。

在一些实施例中，电子设备820使用相机914获取目标物体106的图像。无线信号812包括目标物体106的图像。可移动物体102被配置为(例如，通过将获取的图像与使用可移动物体102的图像传感器获取的图像进行匹配)对目标物体进行识别。

在一些实施例中，电子设备820可以确定其自身的位置，并将其位置信息传输到可移动设备102(例如，电子设备102的位置包括在无线信号802中)。在一些实施例中，如图11所示，电子设备820可以包括定位传感器(例如，GPS、传感器930)，其可以独立地确定电子设备820的位置。在一些实施例中，电子设备820可以利用超宽带(UWB)(例如，通过无线电920)与可移动物体102(例如，可移动物体的定位传感器)进行组合来确定电子设备820的位置。

在一些实施例中，如图11和图9所示，电子设备820包括无线电通信模块934，其用于连接到可移动物体102并与之通信(例如，通过SDR、蓝牙、Wi-Fi、UWB)。

图12示出了根据一些实施例的可移动物体可用于确定目标物体106的位置的示例性方法，以及由可移动物体102提供的相应信息(例如，可移动物体102的姿态和/或位置)。在一些实施例中，如图12所示，方法1200包括方向搜索法1202、视差法1204、结构光法1206、激光法1208、ToF测距法1210、查询法1212和图像匹配法1214。

例如，参考图12，在使用方向搜索法1202时，电子设备820向可移动物体102传输信号(例如，无线信号812)，该信号包括关于(一个或多个)发射器830的照射的信息(例如，照射方向和/或照射的时间频率和/或照射的波长)。可移动物体102将无线信号812与通过可移动物体102(例如，可移动物体感测***122)的惯性质量单元(IMU)(例如，惯性传感器)和/或磁力计确定的有关可移动物体102自身朝向(例如，姿态)的信息进行组合，以确定目标物体106的位置。如图12中进一步指出的，在方向搜索法1202中，可移动物体102不利用有关其自身位置的信息来确定目标物体的位置。

在一些实施例中，可移动物体102使用视差法1204确定目标物体106的位置。参照图10对视差法1204的细节进行了描述，为了简洁起见，此处不再赘述。

再次参考图12，方法1200包括结构光法1206。在结构光法1206中，电子设备820向可移动物体102传输包括预定义照射模式的无线信号。例如，(一个或多个)发射器830可以将预定义照射模式投射(例如，照射、照亮、引导)到目标物体106上。电子设备820传输包括预定义照射模式的无线信号812。可移动物体102从图像传感器的视场中对该预定义照射模式进行识别，并相应地定位目标物体106。可移动物体102不需要有关其自身朝向的信息或有关其自身位置的信息来确定目标物体106的位置坐标。

方法1200包括激光法1208。在激光法1208中，电子设备820将照射引导到目标物体106上。电子设备820确定电子设备820与目标物体106之间的距离。电子设备820还确定其自身位置(例如，其自身位置坐标)和/或朝向(例如，通过GPS、传感器930)。电子设备820向可移动物体传输无线信号，该无线信号包括照射方向、电子设备820与目标物体106之间的距离信息以及有关电子设备820的位置的信息。在一些实施例中，响应于无线信号，可移动物体102将图像传感器(例如，图像传感器216)朝向照射方向定向，并根据照射方向、电子设备820和目标物体106之间的距离信息以及有关电子设备820的位置的信息对目标物体进行识别。

在一些实施例中，如图12所示，方法1200包括ToF测距法1210。如参照图11所述，在一些实施例中，电子设备820包括飞行时间(ToF)传感器(例如，ToF相机)，通过(例如，使用(一个或多个)发射器830)照射目标物体来确定电子设备820与目标物体106之间的距离。在一些实施例中，(一个或多个)发射器830以规则的预定义时间间隔照射目标物体106，并使用电子设备820的时钟912确定照射时间。电子设备820可以向可移动物体102传输包括电子设备820和目标物体106之间的距离、以及电子设备820的位置的信号。电子设备820还可以向移动设备传输目标物体106被照射的精确时间。在一些实施例中，可移动物体102可以基于这些信号及其自身位置确定可移动物体102与电子设备820之间的距离。可移动物体102还可以(例如，使用与电子设备820的时钟912同步的可移动物体102的时钟152)确定(一个或多个)发射器830照射目标物体106的时间与可移动物体102(例如，使用传感器302和/或传感器216)检测到该照射的时间之间的时间差。然后，可移动物体102可以利用电子设备802和目标物体106之间的距离、可移动物体102和目标物体106之间的距离、电子设备820的位置以及有关其自身位置的信息来确定目标物体106的位置。

方法1200还包括查询法1212。在一些实施例中，电子设备820向可移动物体102传输包括照射方向的无线信号。响应于无线信号，可移动物体102访问(例如，从存储器118下载或检索)与照射方向对应并依据可移动物体102的位置坐标的地图。可移动物体102从地图中对目标物体106进行识别。例如，可移动设备102可以将地图上距离可移动物体102最近且与照射方向对应的第一结构(例如，建筑物)识别为目标物体106。在一些情况下，可移动物体102可以确定地图上距离可移动物体最近且与照射方向对应的物体是障碍物。在这种情况下，可移动物体102可以将障碍物旁边(例如，后面)的物体识别为第一物体。

方法1200还包括图像匹配法1214。在一些实施例中，电子设备820包括相机914。电子设备820使用相机914获取包括目标物体106的图像。可移动物体102根据视频数据中的物体与图像中的物体之间的匹配来确定目标物体106。

图13A至图13F提供了根据一些实施例的方法1300的流程图。

(1302)在无人机(UAV)(例如，可移动物体102)处执行方法1300。

(1304)UAV包括位置传感器(例如，GPS传感器、可移动物体感测***122，图2A)、图像传感器(例如，图像传感器302和/或图像传感器216)、一个或多个处理器(例如，(一个或多个)处理器116)和存储器(例如，存储器118)。

(1306)UAV从电子设备接收第一无线信号。(1308)第一无线信号包括第一照射方向。

例如，参照图8，UAV(可移动物体102)通过(一个或多个)通信网络810可通信地连接到电子设备820。电子设备820包括(一个或多个)发射器830。UAV从电子设备820接收无线信号812。无线信号812包括照射方向840。

(1310)根据第一无线信号，(1312)UAV至少部分地基于第一照射方向对目标物体(例如，目标物体106)进行识别。

在一些实施例中，至少部分地基于第一照射方向对目标物体进行识别还包括：(1314)根据第一无线信号，UAV将图像传感器朝向第一照射方向定向。(1316)在将图像传感器定向之后，UAV通过图像传感器获取(例如，获得)视频数据。(1318)UAV从视频数据中确定目标物体。相应地，(1312)UAV对目标物体进行识别。

例如，参照图10，在一些实施例中，根据无线信号812，可移动物体102将图像传感器302和/或图像传感器216朝向照射方向840定向。在对图像传感器302和/或图像传感器216进行定向之后，可移动物体102通过图像传感器302和/或图像传感器216获取视频数据。可移动物体102从视频数据中确定目标物体106。在一些实施例中，可移动物体102可以将图像传感器中检测到最强照射强度的区域1002关联为与目标物体106对应。

在一些实施例中，(1318)从视频数据确定目标物体的操作(例如，步骤、过程)还包括：(1322)UAV从电子设备接收包括目标物体的图像。(1324)UAV根据视频数据中的物体和图像中的物体之间的匹配确定目标物体。

例如，参照图9、图11和图12(例如，图像匹配法1214)，在一些实施例中，电子设备820包括相机914。电子设备820使用相机914获取包括目标物体106的图像。可移动物体102根据视频数据中的物体与图像中的物体之间的匹配来确定目标物体106。

方法1300还包括：(1326)UAV确定目标物体的位置坐标。

在一些实施例中，(1318)从视频数据确定目标物体的操作(例如，步骤、过程)包括：(1328)UAV检测视频数据中的第一预定义照射模式。(1330)UAV将反映第一预定义照射模式的物体识别为目标物体。

例如，如图11和图12所述，在一些实施例中，(一个或多个)发射器830包括结构光，该结构光将第一预定义照射模式(例如，具有已知节距和/或间距的网格和/或条、条形码、QR码等)投影在目标物体106上。在一些实施例中，第一无线信号包括关于第一预定义信息模式。可移动物体102从视频数据中检测第一预定义照射模式，并将视频数据中反映第一预定义照射模式的物体识别为目标物体106。

在一些实施例中，(1332)第一预定义照射模式包括第一时间频率。

例如，在一些实施例中，(一个或多个)发射器830可以包括以第一时间频率有节奏地闪现(例如，闪烁)的激光和/或结构光。在一些实施例中，包括照射方向840的无线信号812还包括关于第一时间频率的信息。基于包括在无线信号812中的关于第一时间频率的信息与视频数据中获取的预定义照射模式的时间频率之间的匹配，UAV可以将物体确定为目标物体106。在一些实施例中，无线信号812中提供的有关照射本身的信息(例如，照射的时间频率和/或照射模式)(例如，结构光法1206和/或激光法1208，图12)使得UAV可以区分(并忽略)由其他电子设备传输并用于其他可移动物体的信号(例如照射)。在一些实施例中，电子设备820可被配置为以不同的预定义时间频率操作。例如，不同的预定义时间频率中的每个预定义时间频率可对应于从电子设备820到UAV的不同(例如，唯一或特定)指令。例如，第一时间频率可以包括对UAV的用以确定目标物体106的位置坐标的指令。确定目标物体的位置坐标之后，电子设备820可以发送包括照射的第二时间频率的另一无线信号。照射的第二时间频率可包括对UAV的用以执行特定飞行路径(例如，飞行路线416)的指令。在一些实施例中，照射的第一时间频率可包括对UAV的用以确定目标物体106的位置坐标、以及执行朝向目标物体106的飞行路线(例如，默认飞行路线)的指令。

在一些实施例中，(1334)第一预定义照射模式包括颜色。

例如，在一些实施例中，(一个或多个)发射器830包括多个光源，每个光源具有相应的波长。第一预定义照射模式可包括产生相应光谱颜色的预定义波长。在一些实施例中，(一个或多个)发射器830可以被配置为以不同的预定义波长发射光。例如，(一个或多个)发射器830可以包括具有不同波长的不同类型的激光，从而产生不同的颜色。在一些实施例中，包括第一照射方向840的无线信号812还包括关于照射颜色的信息。UAV可基于第一无线信号中包含的关于颜色的信息与视频数据中获取的颜色之间的匹配，将物体确定为目标物体。

在一些实施例中，颜色匹配使UAV能够区分(并忽略)由其他电子设备传输的用于其他可移动物体的信号。在一些实施例中，电子设备820可被配置为以不同颜色(例如，波长)操作。例如，在一些实施例中，(一个或多个)发射器830包括具有不同波长(例如，颜色)的不同类型的激光。每个波长(例如，颜色)对应于从电子设备到UAV的不同(例如，唯一或特定)指令。例如，(例如，与第一颜色对应的)第一波长可包括对UAV的用以确定目标物体的位置坐标的指令。在确定目标物体的位置坐标之后，电子设备可以发送包括(例如，与第二颜色对应的)第二预定波长的另一无线信号。第二时间波长可包括对UAV的用以执行特定飞行路径(例如，飞行路线416)的指令。

在一些实施例中，在确定目标物体的位置坐标之后，(1390)UAV从电子设备820接收第二信号。(1392)第二无线信号包括与第一预定义照射模式不同的第二预定义照射模式。在一些实施例中，第二预定义照射模式包括与第一时间频率不同的第二时间频率。(1394)响应于包括第二照射模式的第二无线信号，(1396)UAV根据第二照射模式确定多个预定义飞行路线中的第一飞行路线。(1398)控制UAV根据第一飞行路线自主飞行。

在一些实施例中，UAV存储有信号(例如无线信号)与其对应的UAV指令之间的映射关系。如图4B所示(例如，映射数据434)。例如，在一些实施例中，电子设备820可以传输包括特定时间频率和/或预定义照射模式和/或颜色(例如，波长)的无线信号，该无线信号映射到UAV的特定对应指令，如执行特定飞行路线的指令。

在一些实施例中，在确定目标物体的位置坐标之后，(1336)UAV接收第二无线信号。在一些实施例中，UAV从电子设备820接收第二无线信号。在一些实施例中，UAV从控制单元104接收第二无线信号。在一些实施例中，第二无线信号包括执行UAV飞行路线的指令。(1340)响应于第二无线信号，(1342)UAV在没有用户发明的情况下，从多个预定义飞行路线中自动选择与第二无线信号对应的UAV第一飞行路线。(1344)UAV的一个或多个处理器控制UAV根据第一飞行路线自主飞行。在一些实施例中，控制UAV根据第一飞行路线自主飞行包括(1341)控制UAV自主飞行到目标物体的位置坐标。在一些实施例中，控制UAV根据第一飞行路线自主飞行包括(1343)控制UAV自主飞行以跟踪目标物体的位置坐标。在一些实施例中，控制UAV根据第一飞行路线自主飞行包括(1345)控制UAV在目标物体附近自主飞行。

在一些实施例中，第一飞行路线包括直接飞行到目标物体。在一些实施例中，第一飞行路线包括在UAV接近目标物体时围绕目标物体的路线。在一些实施例中，目标物体是移动物体，第一飞行路线包括UAV跟随移动的目标物体的指令。

在一些实施例中，控制UAV根据第一飞行路线自主飞行包括(1346)由图像传感器(例如，图像传感器216)获取具有图像传感器的视场的视频馈送。

在一些实施例中，第一无线信号还包括(1348)电子设备的位置信息。(1326)确定目标物体的位置坐标的操作(例如，步骤、过程)还包括：(1352)UAV确定目标物体相对于UAV的角度信息。(1354)UAV从第一无线信号中提取电子设备的位置信息。(1356)UAV利用电子设备的位置信息确定目标物体相对于电子设备的角度信息。(1358)UAV还利用电子设备的位置信息、UAV的位置信息(例如，使用UAV的位置传感器，如GPS传感器)以及目标物体相对于电子设备和UAV的角度信息来确定目标物体的位置坐标。

在一些实施例中，(1326)确定目标物***置坐标的操作(例如步骤、过程)还包括：(1360)UAV从电子设备接收第三无线信号。第三无线信号包括具有规则预定义时间间隔(例如，每1秒、每3秒、每5秒等)的照射。第三无线信号包括各个照射时间。在一些实施例中，电子设备包括时钟，用于确定照射时间并将关于照射时间的信息发送给UAV。(1362)响应于接收到第三无线信号，(1364)UAV使用图像传感器获取照射的视频数据。(1366)UAV针对每次照射确定照射时间和相应视频数据获取时间之间的时间差。(1368)UAV基于所述时间差确定电子设备与目标物体之间的距离以及UAV与目标物体之间的距离。(1370)UAV利用电子设备与目标物体之间的距离、UAV与目标物体之间的距离、电子设备的位置信息和UAV的位置信息来确定目标物体的位置坐标。如图12中的ToF测距法1210所示。

在一些实施例中，(1372)在接收第三无线信号之前，UAV将UAV的时钟(例如，时钟152)与电子设备的时钟(例如，时钟912)同步。

在一些实施例中，确定目标物***置坐标的操作(例如，步骤、过程)还包括：(1374)UAV查询与第一照射方向对应的地图。(1376)UAV从所述地图中确定第一物体。(1378)UAV指定第一物体为目标物体。(1380)UAV还确定第一物体的位置坐标。(1382)目标物体的位置坐标是第一物体的位置坐标。

在一些实施例中，UAV被配置为根据(例如，由位置传感器确定的)UAV的位置(例如，从计算设备126)获得与其附近相对应的地图。在一些实施例中，第一物体可以是第一照射方向上最接近的物体。在一些实施例中，UAV可以确定最近的物体为障碍物，并将障碍物旁边(例如，后面)的物体确定为第一物体。

在一些实施例中，(1384)第一无线信号还包括(例如，从电子设备820的传感器930确定的)电子设备820的位置信息以及电子设备820与目标物体106之间的距离信息。(1386)对目标物体106进行识别还至少部分地基于电子设备的位置信息以及电子设备与目标物体之间的距离信息。

图14A和图14B提供了根据一些实施例的方法1400的流程图。

(1402)在电子设备(例如，电子设备820)处执行方法1400。

(1404)电子设备包括位置传感器(例如，传感器930)、光发射器(例如，(一个或多个)发射器830)、一个或多个处理器(例如，(一个或多个)处理器902)和存储器(例如，存储器906)。

(1406)电子设备820沿第一方向(例如，方向840)朝向目标物体(例如，目标物体106)进行照射。例如，如参照图8、图9、图11和图12所述，照射可包括具有高强度和/或空间相干的和/或高方向性的照射(例如，光)。在一些实施例中，(一个或多个)发射器830进行具有不同预定义波长的照射，从而产生不同的光谱颜色。(一个或多个)发射器830还可以以不同的时间频率发射光。

在一些实施例中，(1408)照射包括具有第一时间频率的预定义照射模式。

例如，在一些实施例中，(一个或多个)发射器830可以包括以第一时间频率有节奏地闪现(例如，闪烁)的激光和/或结构光。在一些实施例中，不同的预定义时间频率中的每个预定义时间频率可对应于从电子设备820到可移动物体102的不同(例如，唯一或特定)指令。例如，第一时间频率可以包括对UAV的用以确定目标物体106的位置坐标的指令。在确定目标物体的位置坐标之后，电子设备820可以发送包括照射的第二时间频率的另一无线信号。照射的第二时间频率可包括对可移动物体102的用以执行特定飞行路径(例如，飞行路线416)的指令。

在一些实施例中，(1410)照射包括具有第一波长(例如颜色)的预定义照射模式。例如，在一些实施例中，(一个或多个)发射器830包括多个光源，每个光源具有相应的波长。第一预定义照射模式可包括产生相应光谱颜色的预定义波长。在一些实施例中，(一个或多个)发射器830可以被配置为以不同的预定义波长发射光。例如，(一个或多个)发射器830可以包括具有不同波长的不同类型的激光，从而产生不同的颜色。

(1412)电子设备基于照射确定目标物体和电子设备之间的距离。

(1414)电子设备向无人机(UAV)(例如，可移动物体102)传输无线信号。(1416)无线信号包括目标物体和电子设备之间的距离。(1418)无线信号还包括电子设备的当前位置和朝向。(1420)UAV被配置为基于目标物体和电子设备之间的距离以及电子设备的当前位置和朝向，将UAV的图像传感器朝向目标物体定向。

在一些实施例中，(1422)电子设备还包括相机。(1424)电子设备使用相机获取包括目标物体的图像。(1424)电子设备将图像传输到UAV。(1428)UAV被配置为基于该图像和使用UAV的图像传感器获取的物体的图像之间的匹配来对目标物体进行识别。

本发明的许多特征可以在硬件、软件、固件或其组合中执行，或使用硬件、软件、固件或其组合执行，或借助硬件、软件、固件或其组合执行。因此，可以使用处理***实现本发明的特征。示例性处理***(例如，(一个或多个)处理器116、控制器210、控制器218、(一个或多个)处理器502和/或(一个或多个)处理器602)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。

本发明的特征可以在计算机程序产品中实现，或使用计算机程序产品实现，或借助计算机程序产品实现，计算机程序产品例如是存储介质或计算机可读介质，其上/其中存储有指令，可用于对处理***进行编程，以执行本文所述的任何特征。存储介质(例如，存储器118、504、604)可以包括但不限于任何类型的磁盘(包括软盘、光盘、DVD、CD-ROM、微驱动器和磁光盘)、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR-RAM、闪存设备、磁卡或光卡、纳米***(包括分子存储器IC)或适合存储指令和/或数据的任何类型的介质或设备。

本发明的特征存储在任何一种机器可读介质上，可并入软件和/或固件中，用于控制处理***的硬件，并使处理***能够利用本发明的结果与其他机制进行交互。此类软件或固件可包括但不限于应用程序代码、设备驱动程序、操作***和执行环境/容器。

本文所述的通信***(例如，通信***120、510、610)可选地通过有线和/或无线通信连接进行通信。例如，通信***可选地接收和发送射频信号，也称为电磁信号。通信***的射频电路将电信号转换为电磁信号/从电磁信号转换电信号，并通过电磁信号与通信网络和其他通信设备进行通信。射频电路可选地包括用于执行这些功能的已知电路，包括但不限于天线***、射频收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户识别模块(SIM)卡、存储器等。通信***可选地通过无线通信与网络(如因特网，也称为万维网(WWW))、内部网和/或无线网络(如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))以及其他设备进行通信。无线通信连接可选地使用多个通信标准、协议和技术中的任何一种，包括但不限于全球移动通信***(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、仅数据演进(EV-DO)、HSPA、HSPA+、双模式HSPA(DC-HSPDA)，长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE102.11a、IEEE 102.11ac、IEEE 102.11ax、IEEE 102.11b、IEEE 102.11g和/或IEEE102.11n)、互联网语音协议(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息传递(例如，可扩展消息传递和状态协议(XMPP)、用于即时消息传递和现场支持扩展的会话启动协议(SIMPLE)、即时消息传递和状态服务(IMPS))和/或短消息服务(SMS)，或任何其他合适的通信协议，包括截至本文件递交之日尚未制定的通信协议。

虽然上文已经描述了本发明的各实施例，但应该理解它们是通过示例而不是限制的方式呈现的。对于相关领域的技术人员来说显而易见的是，在不脱离本发明的精神和范围的情况下，可以对其中的形式和细节进行各种改变。

上文借助功能构建块对本发明进行了描述，这些功能构建块对特定功能的性能及其关系进行了说明。为了便于描述，这些功能构建块的边界通常在本文中被任意定义。只要特定功能及其关系可以被适当地执行，就可以限定替代边界。因此，任何这样的替代边界都在本发明的范围和精神内。

本文中描述的各实施例中使用的术语仅用于描述特定实施例，而不用于限制。如在所描述的各实施例和所附权利要求中所使用的，除非上下文另有明确指示，否则单数形式“一个”和“该”也旨在包括复数形式。还应理解，本文中使用的术语“和/或”是指并涵盖一个或多个相关列出项目的任何和所有可能的组合。应进一步理解，当在本说明书使用时，术语“包括”和/或“包含”明确了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除存在或附加一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组。

根据上下文，本文中使用的术语“如果”可解释为表示“当确定所声称的先决条件成立时”、“一旦确定所声称的先决条件成立”、“响应于确定所声称的先决条件成立”、“根据确定所声称的先决条件成立”或“响应于检测到所声称的先决条件成立”。同样地，根据上下文，短语“如果确定[所声称的先决条件成立]”、“如果[所声称的先决条件成立]”或“在[所声称的先决条件成立]时”可解释为表示“一旦确定所声称的先决条件成立”、“响应于确定所声称的先决条件成立”、“根据确定所声称的先决条件成立”、“一旦检测到所声称的先决条件成立”或“响应于检测到所声称的先决条件成立”。

为了说明和描述的目的提供本发明的前述描述，而不旨在穷举或将本发明限制为所公开的精确形式。本发明的广度和范围不应受到任何上述示例性实施例的限制。对于本领域技术人员来说，许多修改和变化将是显而易见的。修改和变化包括所公开特征的任何相关组合。选择和描述实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各实施例以及适于预期特定用途的各种修改。本发明的范围由所附权利要求及其等同物限定。

Claims (23)

1.一种在无人机UAV处执行的方法，所述无人机具有位置传感器、图像传感器、一个或多个处理器、以及存储器，所述方法包括：

从电子设备接收第一无线信号，所述第一无线信号包括第一照射方向；以及

根据所述第一无线信号：

至少部分地基于所述第一照射方向识别目标物体；以及

确定所述目标物体的位置坐标。

2.根据权利要求1所述的方法，其中，至少部分地基于所述第一照射方向识别目标物体还包括：

根据所述第一无线信号：

将所述图像传感器朝向所述第一照射方向定向；

在将所述图像传感器定向之后，从所述图像传感器获得视频数据；

从所述视频数据中确定所述目标物体；以及

识别所述目标物体。

3.根据权利要求2所述的方法，其中，从所述视频数据中确定所述目标物体还包括：

从所述电子设备接收包括所述目标物体的图像；以及

根据所述视频数据中的物体与所述图像中的物体之间的匹配，确定所述目标物体。

4.根据权利要求2所述的方法，其中，从所述视频数据中确定所述目标物体还包括：

检测所述视频数据中的第一预定义照射模式；以及

将反映所述第一预定义照射模式的物体识别为所述目标物体。

5.根据权利要求4所述的方法，其中，所述第一预定义照射模式包括第一时间频率。

6.根据权利要求4所述的方法，其中，所述第一预定义照射模式包括颜色。

7.根据权利要求4所述的方法，还包括：

在确定所述目标物体的所述位置坐标之后，从所述电子设备接收第二信号，所述第二信号包括不同于所述第一预定义照射模式的第二预定义照射模式；以及

响应于包括所述第二照射模式的所述第二无线信号：

根据所述第二照射模式确定多个预定飞行路线中的第一飞行路线；以及

控制所述UAV根据所述第一飞行路线自主飞行。

8.根据权利要求1所述的方法，还包括：

在确定所述目标物体的所述位置坐标之后，接收第二无线信号；以及

响应于所述第二无线信号：

在无用户干预的情况下，从多个预定义飞行路线中自动选择与所述第二无线信号对应的所述UAV的第一飞行路线；以及

控制所述UAV根据所述第一飞行路线自主飞行。

9.根据权利要求8所述的方法，其中，控制所述UAV根据所述第一飞行路线自主飞行包括以下一项或多项：

控制所述UAV自主飞行至所述目标物体的所述位置坐标；

控制所述UAV自主飞行以对所述目标物体的所述位置坐标进行跟踪；以及

控制所述UAV在所述目标物体附近自主飞行。

10.根据权利要求8所述的方法，其中，控制所述UAV根据所述第一飞行路线自主飞行包括：由所述图像传感器获取具有所述图像传感器的视场的视频馈送。

11.根据权利要求1所述的方法，其中，

所述第一无线信号还包括所述电子设备的位置信息；以及

确定所述目标物体的所述位置坐标还包括：

确定所述目标物体相对于所述UAV的角度信息；

利用所述电子设备的所述位置信息，确定所述目标物体相对于所述电子设备的角度信息；以及

利用所述电子设备的所述位置信息、所述UAV的位置信息以及所述目标物体相对于所述电子设备和所述UAV的所述角度信息，确定所述目标物体的所述位置坐标。

12.根据权利要求1所述的方法，其中，确定所述目标物体的所述位置坐标还包括：

从所述电子设备接收第三无线信号，所述第三无线信号包括具有规则预定义时间间隔的照射，并且所述第三无线信号包括所述照射的各个时间；以及

响应于接收到所述第三无线信号：

使用所述图像传感器获取所述照射的视频数据；

对于每次照射，确定所述照射时间和对应的视频数据获取时间之间的时间差；

基于所述时间差，确定所述电子设备与所述目标物体之间的距离以及所述UAV与所述目标物体之间的距离；以及

利用所述电子设备与所述目标物体之间的所述距离、所述UAV与所述目标物体之间的所述距离、所述电子设备的位置信息以及所述UAV的位置信息，确定所述目标物体的所述位置坐标。

13.根据权利要求12所述的方法，还包括：

在接收所述第三无线信号之前，将所述UAV的时钟与所述电子设备的时钟同步。

14.根据权利要求1所述的方法，其中，确定所述目标物体的所述位置坐标还包括：

查询与所述第一照射方向对应的地图；

从所述地图中确定第一物体；

将所述第一物体指定为所述目标物体；以及

确定所述第一物体的位置坐标，

其中，所述目标物体的所述位置坐标为所述第一物体的所述位置坐标。

15.根据权利要求1所述的方法，其中，

所述第一无线信号还包括所述电子设备的位置信息以及所述电子设备与所述目标物体之间的距离信息；以及

识别所述目标物体还至少部分地基于所述电子设备的所述位置信息以及所述电子设备与所述目标物体之间的所述距离信息。

16.一种在电子设备处执行的方法，所述电子设备具有位置传感器、光发射器、一个或多个处理器、以及存储器，所述方法包括：

沿第一方向朝向目标物体进行照射；

基于所述照射，确定所述目标物体与所述电子设备之间的距离；以及

向无人机(UAV)传输无线信号，所述无线信号包括所述目标物体与所述电子设备之间的距离并且包括所述电子设备当前的位置和朝向，其中，所述UAV被配置为基于所述目标物体与所述电子设备之间的所述距离以及所述电子设备当前的所述位置和朝向，将所述UAV的图像传感器朝向所述目标物体定向。

17.根据权利要求16所述的方法，其中，所述照射包括具有第一时间频率的预定义照射模式。

18.根据权利要求16所述的方法，其中，所述照射包括具有第一波长的预定义照射模式。

19.根据权利要求16所述的方法，其中，所述电子设备还包括相机，所述方法还包括：

使用所述相机获取包含所述目标物体的图像；以及

将所述图像传输到所述UAV，

其中，所述UAV被配置为基于所述图像和使用所述UAV的所述图像传感器获取的物体的图像的匹配来识别所述目标物体。

20.一种无人机(UAV)，包括：

一个或多个处理器；以及

耦合到所述一个或多个处理器的存储器，所述存储器存储一个或多个程序，所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至15中任一项所述方法的指令。

21.一种电子设备，包括：

一个或多个处理器；以及

耦合到所述一个或多个处理器的存储器，所述存储器存储一个或多个程序，所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求16至19中任一项所述方法的指令。

22.一种非瞬时计算机可读存储介质，存储一个或多个程序，所述一个或多个程序包括指令，所述指令在被无人机(UAV)执行时，使所述UAV执行包括权利要求1至15中任一项所述方法的操作。

23.一种非瞬时计算机可读存储介质，存储一个或多个程序，所述一个或多个程序包括指令，所述指令在被电子设备执行时，使所述电子设备执行包括权利要求16至19中任一项所述方法的操作。