CN110546459A - 具有数据融合的机器人跟踪导航 - Google Patents

具有数据融合的机器人跟踪导航 Download PDF

Info

Publication number
CN110546459A
CN110546459A CN201880021108.5A CN201880021108A CN110546459A CN 110546459 A CN110546459 A CN 110546459A CN 201880021108 A CN201880021108 A CN 201880021108A CN 110546459 A CN110546459 A CN 110546459A
Authority
CN
China
Prior art keywords
robot
local
navigable
estimate
estimates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880021108.5A
Other languages
English (en)
Other versions
CN110546459B (zh
Inventor
亨利·庞蒂·梅特罗斯
安德烈·埃切韦里·格瓦拉
胡安·塔皮罗·伯纳尔
詹姆斯·欧洛克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marquette University
Original Assignee
Marquette University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marquette University filed Critical Marquette University
Publication of CN110546459A publication Critical patent/CN110546459A/zh
Application granted granted Critical
Publication of CN110546459B publication Critical patent/CN110546459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

公开了用于与机器人导航控制一起示例性地使用的传感器融合的***和方法。***和方法包括从对传感器数据进行处理的多个专家模块提供目标地点的局部估计。基于离预期的估计值的马氏距离并且基于局部估计之间的欧几里得距离对局部估计进行加权。基于给予每个局部估计的权重将局部估计融合在贝叶斯融合中心中。

Description

具有数据融合的机器人跟踪导航
相关申请的交叉引用
本申请要求2017年2月8日提交的美国临时专利申请No.62/456,345的优先权，该申请的内容特此整个地通过引用并入本文。
背景技术
本公开涉及机器人导航领域。更具体地说，本公开涉及机器人导航的跟踪***中的数据融合的使用。
各种可导航机器人是已知的。这包括常被称为无人机的无人飞行器(UAV)。其他形式的可导航机器人包括移动式地面机器人平台。一种类型的自主或半自主导航包括跟踪或跟随物体，所述物体可以包括人、动物或物体。该跟踪可以使用某种形式的计算机视觉作为输入。对于用于物体或行人跟踪的机器人平台的兴趣一直显著增长。这样的平台的设计通常涉及几个主要元素：其灵活性足以在不同场景中检测并且跟随不同类型的目标的***；鲁棒的深度估计机制；用于检测并且移除错误肯定或异常值的鲁棒的机制；以及很好地调谐的运动控制。
许多目前的方法力图通过添加越来越多的昂贵的传感器以提供附加输入来改进计算机视觉跟踪的结果。然而就这个附加输入而言，用于处理和计算目的的各种信息源被独立处理。机器人导航***的一些例子例如在以下参考文献中提供：(参见：U.S.9,070,289、U.S.9,171,261、U.S.2007/0018890、WO 2016/131847、U.S.7,211,980、U.S.7,765,062、U.S.2016/0031559、“Sensor Fusion of Camera,GPS,and IMU Using FuzzyAdaptive Multiple Motion Models”，Bostanci等人、以及“A Fault-Tolerant MultipleSensor Fusion Approach Applied to VAV Attitude Estimation”，Gu等人)，这些参考文献的内容整个地通过引用并入本文。
近年来，视觉跟踪的发展已经使得能够以良好的结果跟随物体的新的机器人平台出现。然而，鲁棒性仍是计算机视觉团体中的主要关注的问题。这部分是由于使得难以关联未知情境内的连续的视频帧中的目标的图像的问题而导致的。这些问题包括：物体和/或相机的运动、方位和姿势改变、照明变化、遮挡、标度改变、杂乱、以及场景中的类似的物体的存在。这些常见的干扰使得用任何单一方法进行跟踪在许多短期情境中不可靠，并且在大多数长期应用中几乎是不可能的。虽然特定的算法可以为某些情境工作，但是它可能不能为其他情境工作。基于这个范例，本文章提出了通过将这些算法中的几种算法融合到唯一输出中的一般跟踪方法。融合是在边界框级别上进行的，其中由单独的跟踪算法中的每种跟踪算法提供的测量被作为传感器测量进行处理。
在文献中，传感器融合也被称为多传感器数据融合、数据融合或多传感器信息的组合。所有这些方法都旨在于从几个源创建信息的协同作用的相同目标。通常，单个的传感器执行的观测有不准确的问题。只有一个观测物理现象的传感器的***在不依赖于额外的传感器的情况下一般不能降低其不确定性。此外，传感器的故障导致作为整体的***的故障。不同类型的传感器提供具有不同的准确度水平的信息的频谱和在不同条件下操作的能力。
尽管有以上指出的进展，但是视觉跟踪的鲁棒性仍是对于机器人导航的主要关注的问题。这部分是由于使得难以关联未知情境内的连续的视频帧中的目标的图像的问题而导致的。这些问题包括：物体和/或相机的运动、方位和姿势改变、照明变化、遮挡、标度改变、杂乱、以及场景中的类似的物体的存在。这些常见的干扰使得用任何单一方法进行跟踪在许多短期情境中不可靠，并且在大多数长期应用中几乎是不可能的。虽然特定的算法可以为某些情境工作，但是它可能不能为其他情境工作。
在计算机视觉和物体跟随领域中，大多数算法已经移向机器学习融合技术。然而，这些需要大量训练。此外，所提出的这些技术的计算需求限制了它们在实时控制应用中的利用。对于多个输入源的评估的更一般化的解决方案可以提供适于实时控制应用的解决方案。
发明内容
机器人导航方法的示例性实施例包括可导航机器人。所述可导航机器人包括多个传感器和处理器。从所述多个传感器中的每个获得跟踪数据。分别从来自所述多个传感器中的每个的跟踪数据估计目标地点的局部估计。对局部估计中的每个计算估计值和局部估计之间的马氏距离(Mahalanobis distance)。马氏距离是用于每个局部估计的第一加权因子。计算局部估计中的每个之间的欧几里得距离。基于计算的欧几里得距离来计算用于每个局部估计的第二加权因子。基于用用于每个估计的相应的第一加权因子和第二加权因子加权的局部估计中的每个来将局部估计组合在自适应贝叶斯(Bayesian)融合中以生成目标地点。
可导航机器人的示例性实施例包括被配置为生成目标物体的跟踪数据的至少一个传感器。所述可导航机器人包括多个检测器模块。所述多个检测器模块中的每个检测器模块包括当被应用于跟踪数据时独立地提供目标物体的地点的局部估计的至少一个处理算法。控制器连接到所述至少一个传感器和多个检测器模块。控制器接收所述至少一个传感器获取的跟踪数据，并且将来自所述多个检测器模块的算法应用于跟踪数据以在跟踪数据中生成目标物体的地点的多个单独的估计。控制器对单独的估计进行加权。控制器基于加权的局部估计来将局部估计组合在自适应贝叶斯融合中以生成目标地点。
在可导航机器人的进一步的示例性实施例中，所述至少一个传感器包括相机，跟踪数据至少包括图像数据。控制器可以对局部估计中的每个计算估计值和局部估计之间的马氏距离(MD)。MD是用于每个局部估计的第一加权因子。控制器可以计算局部估计中的每个之间的欧几里得距离，并且基于计算的欧几里得距离来计算用于每个局部估计的第二加权因子。控制器可以基于用用于每个估计的相应的第一加权因子和第二加权因子加权的局部估计中的每个来将局部估计组合在自适应贝叶斯融合中。
在进一步的示例性实施例中，控制器可以使用用获取的数据训练的自动编码器来学习所述多个检测器中的检测器在正常操作下的模型。控制器对来自所述多个检测器模块中的每个检测器模块的局部估计进行分析以确定检测器故障的事件，并且基于确定的事件减小来自检测器的局部估计的加权。
可导航机器人的机器人导航方法的示例性实施例包括从多个传感器中的每个获得跟踪数据。分别从来自所述多个传感器中的每个的跟踪数据估计目标地点的局部估计。对局部估计中的每个计算估计值和局部估计之间的马氏距离。马氏距离是用于每个局部估计的第一加权因子。计算局部估计中的每个之间的欧几里得距离。基于计算的欧几里得距离来计算用于每个局部估计的第二加权因子。基于用用于每个估计的相应的第一加权因子和第二加权因子加权的局部估计中的每个来将局部估计组合在自适应贝叶斯融合中以生成目标地点。
附图说明
图1是分层自适应贝叶斯数据融合***的示例性实施例的示图。
图2是用于具有数据融合的机器人跟踪导航的***的示例性实施例的***图。
图3是表示马氏距离的示图。
图4是具有三个检测器的示例性情境的示图。
图5是用于具有数据融合的机器人跟踪导航的***的示例性实施例的***图。
图6是具有数据融合的机器人跟踪导航的方法的示例性实施例的流程图。
具体实施方式
除非上下文另有指定或指示，否则术语“一个”、“一种”、“所述”意指“一个或多个”。例如，“机制”应被解释为意指“一个或多个机制”。
如本文中所使用的，术语“包括”具有与术语“包含”相同的意义。术语“包含”应被解释为除了权利要求中记载的那些组件之外进一步包括附加组件的“开放式”过渡性术语。术语“由……构成”和“由…….组成”应被解释为不允许包括除了权利要求中记载的组件之外的附加组件的“封闭式”过渡性术语。术语“基本上由…….组成”应被解释为部分封闭式的并且只允许包括不会从根本上改变要求保护的主题的性质的附加组件。
在文献中，传感器融合也被称为多传感器数据融合、数据融合或多传感器信息的组合。所有这些方法都旨在于从几个源创建信息的协同作用的相同目标。通常，单个的传感器执行的观测有不准确的问题。只有一个观测物理现象的传感器的***在不依赖于额外的传感器的情况下一般不能降低其不确定性。此外，传感器的故障导致作为整体的***的故障。不同类型的传感器提供具有不同的准确度水平的信息的频谱和在不同条件下操作的能力。
本文中公开了通过将这些算法中的几种算法融合到唯一输出中的一般的跟踪方法。当一个或多个传感器或算法在跟踪导航期间可能意外地变得不可靠时，本文中所描述的融合方法可以适应该事件。本文中将更详细地描述用作输入的传感器和/或算法的特定的例子。融合示例性地是在边界框级别上执行的，其中由单个的跟踪算法中的每个跟踪算法提供的测量被作为传感器测量进行处理。
本文中公开了用于机器人导航平台中的实时应用的一般的贝叶斯方法。所述机器人导航平台可以包括各种可导航机器人平台中的任何一个，包括但不限于UAV、云台相机和移动式地面机器人平台。所提出的***和方法将***/检测器的边界框作为传感器测量进行处理。该框架是在与上述专家的混合具有一些相似性的卡尔曼(Kalman)滤波器的基础上建立的。此外，该方案解决了先前指出的常见问题中的一些，诸如数据不完美、异常值和伪造数据、测量延迟、静态对动态现象和其他问题。
在本文中所提供的描述中，生成边界框的这个工作中所用的所有的视觉***/检测器(例如，但不限于，DSSTtld、CMT、Struck、TLD、PROST、GOTURN或VTD)将被称为“检测器”。这些及其他检测器的更详细的描述可以在Reznichenko,Y；Medeiros,H.“Improvingtarget tracking robustness with Bayesian data fusion”,British Machine VisionConference(BMVC),2017年中找到，该文献整个地通过引用并入本文。这些算法被作为投下测量的传感器。因此，虽然如本文中所描述的***可以包括一个或多个传感器，但是如果传感器数据被以多种方式进行处理，则这些传感器可能导致更多的检测器。应用于传感器数据以生成不同的跟踪数据的每个不同的处理算法在本文中被认为是不同的检测器。因此，一个传感器可能导致一个或多个检测器。本文中所描述的***和方法可以被统称为分层自适应贝叶斯数据融合(HAB-DF)。虽然如本文中所给出的主要例子使用多个相机/视觉检测器，但是将认识到，在其他实施例中，传感器和/或检测器的更多样化的组合可以被使用并且被以如本文中所公开的方式组合。其他传感器和/或检测器的非限制性例子可以包括范围传感器、深度传感器、雷达、GPS、信标、或如本领域中的普通技术人员将认识到的其他导航检测器。
本文中所公开的***和方法的示例性实施例采用在线改动的贝叶斯方法，而不是传统的专家方法混合的门控网络。该贝叶斯方法不需要对***进行训练。示例性实施例按两个级别或层次组织：专家和融合中心。每个专家模块，Ki,i＝1,…n，与其他模块异步地工作。通常，当传感器在模型上不同时，应用一组估计器，因为每个传感器有不同的故障类型。在示例性实施例中，专家是卡热曼滤波器(KF)。图1示出分层自适应贝叶斯数据融合方法的表示。层次结构的第一级包括向融合中心提供局部估计的专家。融合中心是层次结构的第二级。
在分层模型中，每个专家(示例性地，K)配备有计算可靠性得分的异常值检测机制。融合中心通过采用加权多数表决方案来合并每个专家的输出。KF的状态矢量示例性地由给出，其中u、v是目标的中心的像素坐标，h和w分别是其高度和宽度，是每个维度中的矢量。此外，矩阵A被选择为采用随机加速模型。下面定义了矩阵A、B和C。
其中Im是单位方阵，0mxn是0的矩阵，1mxn是1的矩阵，其中m和n分别是行和列。以上矩阵A假定目标以恒定速率移动以使得 并且矩阵B说明PID控制器对u轴和z轴的速度的控制动作的影响，其中ki和k2是在受控变量的性质上定义的常数。机器人的旋转通过控制图像Au中的位移来实现。该关系可以被认为是ΔΘ3/4Au，因为帧之间的位移与机器人和目标之间的距离相比很小。通过试图在第一时刻保持机器人和目标之间的相对距离来执行平移。C矩阵指示在任何给定时间可用的唯一的测量是物体的当前u、v坐标(检测器的输出)和z(从机器人到物体的范围)。该信息可以从检测器和密集深度传感器中的一个或两个报告的目标的相对标度获得。密集深度传感器可以示例性地是飞行时间(ToF)或立体相机。下面详细地涵盖这两个传感器之间的数据融合。
基于以上矩阵，物体跟踪***于是被表示为：
x(t)＝Ax(t-1)+Bu(t)+w(t) Eq.2
y(t)＝Cx(t)+v(t) Eq.3
其中Eq.2表示***动态，***状态包括状态转变矩阵A、控制动作B和过程噪声w。Eq.3是测量模型，该测量模型包括观测矩阵C和测量噪声v。过程噪声和测量噪声被假定为白色的和高斯的，分别具有变量Rww和Rvv。也就是说，和
标准的贝叶斯卡尔曼滤波器由两个主要组件和三个中间计算组成。所述两个主要组件是预测步骤和更新步骤。更新步骤改善或校正前一次预测。所述三个中间计算(创新、误差协方差和卡尔曼增益)是从预测步骤移到更新步骤所必需的。下面是用于实现标准的贝叶斯卡尔曼滤波器的必要方程：
预测：
P(t\t-\)＝A(t-\)P(t-\\t-\)A(t-\)T+Rww(t) Eq.5
创新：
卡尔曼滤波器创建***状态的预测的均值和协方差的估计，分别为方程(4)和(5)。对于物体跟踪***，这包括物体的u、v和z坐标以及h、w维度(或可替代地，距离z)及其在每个方向上的速率。然后，通过使用作为测量的、物体检测器的输出(只有当前u、v坐标)以及(9)和(10)，对***均值和协方差进行更新。该更新在理论上比前面的预测更准确，因为它利用了附加信息(新的测量)。为了执行更新，必须计算创新e(t)、误差协方差Ree(t)和卡尔曼增益K(t)。这分别通过方程(6)、(7)和(8)来实现。
该模型被用于UAV实施例，而且还被用于云台***实施例。然而，UAV没有考虑由于控制器之间的高耦合而导致的矩阵B。而且，矩阵C考虑了检测器之间的融合，并且被用于融合中心中。在本公开中使用两种方法来降低传感器融合不确定性。使用马氏距离来生成关心测量的可靠性的局部估计。多数表决对传感器融合不确定性提供全局方法。解决方案分为两级层次结构：专家和融合中心。虽然每个专家为了准确性使用位置和速度，但是融合中心融合直接测量(诸如位置)，但是为了使随后的帧中的结果更好，仍预测速度。此外，构思不限于KF。在进一步的实施例中，可以使用如本领域的普通技术人员鉴于本公开认识到的贝叶斯估计器来实现融合。尽管如此，KF已知对于实时应用是高效的、快速的和理想的。
对于本***中融合传感器测量有两个主要目的。第一个是提高总体估计准确度。第二个是即使当它超过密集深度传感器的阈值时、也使得机器人可以跟随目标。当目标相对紧邻时，密集深度传感器能够一致地且精确地测量，然而，在更大的距离处，它变得非常嘈杂并且不可靠，从而产生许多错误的测量。在一些示例性实施例中，这个近距离可以小于10米、小于5米、或者小于1米。使用基于检测器测得的相对标度改变的深度估计来补偿这些错误的测量，从而有效地扩大***的操作范围。
通过对目标边界框内部的所有的非零深度像素求取平均值来计算来自密集深度传感器的深度测量(其深度不能被估计的像素(诸如超过相机范围的那些)被用零值读取)。使用检测器提供的高度和宽度(h和w)来测量目标的标度变化，因此提供间接深度估计。根据以下方程将目标的标度改变转化为真实的距离：
其中Kz是通过将来自相机的初始深度测量与初始目标边界框大小(w和h)相关而获得的常数，himg和wimg是图像的高度和宽度。密集深度传感器深度测量的可靠性根据以下s形关系确定：
其中ro是目标边界框图像中的零元素的百分比，h定义所述函数的斜率，ζ是在其上惩罚发生的值。s形函数使用以下协方差矩阵来使得卡尔曼滤波器可以在密集深度传感器和检测器距离测量之间平滑地转变：
其中diag(.)表示对角矩阵，和如下定义：
RvvTLD＝100x(1-Rvv^ Eq.15
卡尔曼滤波器像其他滤波器那样易于在估计中出现异常大的误差。这部分是由于KF对于异常值不鲁棒而导致的。在示例性实施例中，通过提供预测值与其预期分布相差多少的测度来使用马氏距离(MD)解决这个弱点。
图3中用图表示了MD。描绘了具有坐标(x,y)的点P以及由参数μ、σx和σy定义的两个变量的联合分布。点P描绘边远的预测值。如果P＝μ，则距离为零。距离随着P远离μ而增大。该方法也可以用于多于两个的维度。
异常值由于建模不确定性、错误的过程/测量噪声协方差选择和其他外部干扰而发生。如果KF的估计误差(真实的状态和估计的状态之间的差异)超过某个阈值，则MD可以惩罚专家失败或处于异常模式。可替代地，可以使用预测的测量来确定异常值。该误差于是被如下定义：给定测量y＝[yiy2...yN]T′，从该测量到具有均值μ＝[μ1 μ2 ...μN]T和协方差矩阵的一组预测值的MD由以下方程给出：
因为每个专家配备有它自己的MD计算，所以使用近似版本：
其中qi＝yi-μi，Ci是沿着创新协方差C的对角线的第i值。如果需要相当多的专家，则方程(17)减轻计算负担。通常，如果MD超过某个阈值，则估计器可以受到惩罚。然而，这样做导致硬转变。为了软化这个规则，一直采用s形函数：
其中c是使用基于***的自由度(DOF)的数量和期望的置信水平的X2分布选择的值。异常值是使用方程(18)识别的，其中wM表示局部加权函数的形式的专家的性能。
在示例性实施例中，可以通过多数表决来在所述***内进一步全局地表征传感器融合不确定性。存在用多数表决方案确定权重的许多方式。在示例性实施例中，多数表决是组合多个检测器的输出(例如，来自多个边界框的信息)的加权决策。该方法从计算边界框之间的逐对欧几里得距离开始：
d-i(p，r)＝\\p-r\\，i＝1，2，3，...，n Eq.19
其中p和r是表示用于两个不同的检测器Di和Dj的边界框的坐标和大小的矢量。可以使用统计描述符(诸如最小值)来在所有检测器之间达成共识：
mind＝min(di，...，dn)，i＝1，2，3，...，n Eq.20
图4图解地描绘具有三个边界框检测器的物体跟踪的示例性情境。图4图解地描绘边界框检测器D1、D2和D3。距离di是从每个检测器的中心追踪的。虽然这些距离被示为检测器之间的中心距离(u和v)，但是它们还包括它们的高度和宽度(h和w)。在这种情境下，Di和D2彼此接近，而D3较远。在这种情况下，共识将惩罚D3，因为di是最小距离。在图4上所描绘的情境中，检测器D3将受到惩罚，因为它离其他两个检测器较远。该方案对可以使用的检测器/传感器的数量没有施加限制。唯一限制是计算性能。在实施例中需要最少三个检测器/传感器，以使得可以达成共识。
为了计算惩罚检测器离检测器群集较远的权重，不是使用硬限制器，而是应用双曲正切，从而使得在检测器之间可以软转变：
wd＝wO+w(1+tanh(ηx mind-X) Eq.21
其中wo是与观测的现象一致的初始权重，w是惩罚函数的期望影响，其确定如果特定检测器漂移、该检测器在融合中的总体影响，λ确定该函数的斜率，l确定在其处惩罚开始发生的距离。
返回来参照图1，所述***和方法例如采用如本文中所描述的自适应融合。所述组KF由每个传感器/检测器一个滤波器组成。该组中的每个滤波器/专家给出分配给该特定滤波器的检测器/测量的局部估计。另一个KF充当融合中心，融合中心在每个测量通过根据以下方程更新其测量噪声协方差来自行改动：
RVv(wd，wM)＝Twd+AwM EQ.22
其中wd和wM分别由方程(21)和(22)给出，Γ＝diag(yi，J2，...，Jn)、Δ＝diag(5i，δ2，...，δn)和diag(.)表示其元素为函数参数的对角矩阵，如果关于***没有先验知识，则γi和δi可以被设置为1。否则，γi可以被设置为取决于传感器的噪声的知识的值，di可以被设置为取决于传感器漂移多少的值。
图2是用于具有数据融合的机器人跟踪导航的***的示例性实施例的***图。***10示例性地体现为机器人，例如无人机，所述无人机可以是，但不限于，来自Parrot SA的AR无人机2.0。虽然本例子中给出了无人飞行器(UAV)无人机的示例性实施例，但是将认识到，可以使用其他形式的无人交通工具或机器人来在保持在本公开的范围中的同时实现如本文中所描述的***的实施例。无人机10示例性地包括相机12，相机12操作为获取物体14的图像数据。物体14示例性地可以在三维空间中移动，并且其移动期望被无人机10跟踪和跟随。在示例性实施例中，相机12是提供用于定位无人机10并且跟踪物体14的数据的传感器。然而，将认识到，在其他实施例中，附加的传感器，包括，但不限于，范围传感器、深度传感器、雷达、GPS、信标、或本领域中的普通技术人员将认识的其他导航检测器。将认识到，虽然在图2中只描绘了相机12的传感器，但是与这些其他类型的检测相关联的传感器可以包括在如本文中所公开的实施例中。
相机12可以是固定的相机，或者可以连接到16处的伺服马达，该伺服马达可以操作平衡环来定向地移动相机12。在实施例中，可以使用这来使相机12朝向物体14，诸如以使物体14保持在相机12的视场的中心内。在其他实施例中，可以使用这来补偿由于无人机10的移动而导致的相机位置。
相机12将图像数据提供给控制器18。控制器18可以是处理器、微处理器或本领域中的普通技术人员将认识的其他微控制器。在一个示例性实施例中，使用Intel核i7-3630Qn CPU、2.40GHz x 8处理器和Quadro KIOOOm图形卡。控制器18通信地连接到计算机可读介质20，计算机可读介质20可以是与控制器18集成的组件，或者可以通信地连接到控制器18。CRM 20被编写计算机可读代码，例如用C++实现并且控制器18可执行的代码。当CRM20上的计算机可读代码被控制器18执行时，控制器执行如本文中更详细地描述的功能，包括执行如本文中所描述的用于多个检测器输出的分层贝叶斯数据融合的算法。
控制器18应用多个计算机模块，每个计算机模块表示本申请中所用的检测器，检测器模块包括示例性地存储在计算机可读介质(包括但不限于CRM 20)上的计算机可读代码。控制器18执行检测器模块使控制器18根据该检测器模块对来自相机12的图像数据进行处理。如以上所指出的，示例性实施例通过本申请中所描述的分层贝叶斯数据融合处理来组合至少两个、优选地多于两个的检测器输出。在示例性实施例中，检测器模块(示例性地被标识为D1、D2、D3和Dn)可以至少表示DSSTtld、CMT和Struck边界框检测器的检测器。检测器模块Dn表示附加的检测器可以进一步被用在其他实施例中，包括但不限于GOTURN。控制器18生成每个检测器的输出结果，并且根据如本文中所描述的HAB-DF方法来组合它们。
控制器18使用HAB-DF方法来生成至少一个控制命令。所述控制命令被送往控制机器人的导航的至少一个操作马达。导航可以示例性地是相机的移动、地面交通工具的移动、或空中交通工具的移动。在无人机10操作为通过相机移动使物体14保持在相机12的视线的中心中的实施例中，所述控制命令可以示例性地被发送给伺服马达16，伺服马达16可操作为控制相机12的位置，而在另一个实施例中，所述控制命令可以被发送给示例性地控制无人机俯仰(p)、滚动(r)、横摆(y)和油门(t)的两个马达或其他移动装置。这些位置控制装置可以是马达、螺旋桨、叶轮、空气喷射或本领域的普通技术人员可以认识到的其他位置控制装置。
在示例性实施例中，位置控制装置(包括，但不限于，伺服马达)可以由控制器18使用子控制器(没有描绘)驱动，所述子控制器例如是将位置命令转换为用于位置控制装置的脉冲波修正(PWM)信号的Arduino UNO。这些可以进一步使用PID或PD控制器来实现。如以上所指出的，在示例性实施例中，无人机10可以被控制为保持离物体14目标距离。在示例性实施例中，这可以基于从相机12获得的图像数据的图像分析来进行以相对于图像数据的场来保持物体14在图像数据中的相对标度。
图5描绘用于具有数据融合的机器人跟踪导航的***的附加的示例性实施例。图5的***提供替代实施例，在该实施例中，计算处理划分在无人机10和控制工作站22之间。在该实施例中，计算处理划分在无人机10和控制工作站22之间。这两个示例性地与无线天线24通信地连接，由此如本文中更详细地描述的，无人机10将传感器数据26提供给控制工作站，控制工作站22将位置控制命令28提供回无人机10。
无人机10示例性地包括如前所述的相机12，并且无人机10可以进一步包括如前所述的一个或多个附加传感器30。第一控件或传感器控制器C1从相机12和/或附加传感器30接收传感器数据，并且以使得它可以被传送给控制工作站22(例如，通过相机24之间的无线通信)的方式对传感器数据进行处理。还将认识到，无人机10和控制工作站22之间的通信可以通过其他通信平台或技术来实现，包括，但不限于，有线和无线通信连接以及光学或其他形式的无线通信。
控制工作站22的处理器32可以示例性地以与以上关于图2所描述的控制器18类似的方式操作。处理器32可以示例性地是Intel Core i7处理器，该处理器通信地连接到其上存储有计算机可读代码的计算机可读介质34，处理器32接收传感器数据26，并且执行来自CRM 34的计算机可读代码以根据多个检测器模块D1-Dn对传感器数据26进行处理并且基于以如本申请中所描述的HAB-DF方式组合的、所述多个检测器模块的输出来生成位置命令。通过应用HAB-DF处理，从检测器模块的输出生成基于多数表决表示的融合和马氏距离的位置命令。控制工作站22将位置控制命令返回给无人机10，于是，位置控制命令28被提供给无人机10的位置控制器C2。位置控制器C2可以示例性地包含在多个控制器中，每个控制器被配置为将位置命令提供给无人机的位置马达36，或者相机马达16可操作为调整相机12的位置/方位。位置控制器C2可以示例性地是PID控制器或PD控制器，并且可以操作为将位置控制命令28转换为提供给伺服马达16、36的PWM信号。如图5中所描绘的这样的实施例可以被有利地用在如下实施例中，在该实施例中，无人机10和控制工作站22之间的通信可以被可靠地提供，并且由于大小、处理、功率或其他约束，可取的是从无人机10物理地分离计算功能。
图6是描绘具有数据融合的机器人跟踪导航的方法的示例性实施例的流程图。在方法100中，在102，获取传感器数据。在102获取的传感器数据示例性地是图像数据，但是如前所述，可以是各种任何其他形式的传感器数据中的任何一个。在104，接收要跟踪的物体的标识和/或跟踪参数。示例性地，该信息提供将被跟踪的物体的初始标识及其定义。这样的标识可以包括将被跟踪的物体的模型或例子、将被跟踪的物体的标识或识别特征、和/或将被使用的特征或物体识别技术或算法。
在106，用多个检测器模块中的每个来在传感器数据中检测物体。如前所述，所述方法采用多个检测器模块，这些检测器模块的输出被以所描述的方式融合。每个检测器模块表示特定的检测算法或技术，并且认识到，一个或多个检测器模块可以被应用于同一传感器数据，以使得方法100的实施例可以采用比单个的传感器数据源更多的检测器模块。在一个示例性的非限制性实施例中，检测器模块使用任何DSSTtld、CMT和Struck边界框检测器。
就检测器模块的输出而言，方法100采用两种技术来融合检测器输出。在108，使用多数表决技术，其中，确定检测器模块输出之间的欧几里得距离，并且用加权来惩罚异常值检测器以计算所有的检测器模块输出之间的统计最小值共识。在示例性实施例中，使用双曲正切来计算加权惩罚，这使得在应用于每个检测器模块的输出的惩罚之间可以实现软转变。
在110，卡尔曼滤波器像其他滤波器那样易于有很大的估计误差或者对于异常值不鲁棒。因此，在第二种技术中，将每个检测器模块作为局部专家进行处理，并且对每个检测器的输出计算马氏距离(MD)。MD提供输出值与其预期分布的偏差的测度。这可以帮助识别异常值以使得它们可以被相应地加权。在112，将s形函数应用于对每个检测器模块输出计算的MD。s形函数提供到基于MD的、单个的检测器模块的输出的加权的软转变，而不是定义用于加权惩罚的硬阈值。
基于MD和s形函数，对检测器模块中的每个输出局部加权函数，该函数表示该检测器模块关于异常值的性能。在116，在融合中心被布置为公共滤波器的情况下计算物体地点，所述公共滤波器接收以上述方式加权的检测器模块输出，并且在从被检测器模块中的每个处理的传感器数据接收的每个测量更新该地点。
在118，使用融合中心的输出来从计算的物体地点计算位置命令。这示例性地用所述***的状态空间方程模型来进行，该模型将检测器模块的输出的观测转化为如上所述的将被马达控制器执行的位置控制命令。
在附加的实施例中，可以使用自动编码器来对在所述***中计算的MD进行分析以当各种故障情况发生时检测它们，因此当潜在的情况被检测到时，对这些故障进一步加权。特别是，当检测器中的一个或多个丢失任何大量时间时，由于卡尔曼滤波器的漂移，MD可能不能将这报告为故障。因此，用于异常数据的异常值检测的附加处理可以通过提供检测器损失的进一步确定来改进性能。一旦出现故障的或失败的检测器被识别，它就可以在所述***的其余部分中被更小地加权。在该方法中，如下计算杰卡德(Jaccard)索引：
其中bg是地面实况。获取的数据被划分为多个数据集。当一帧处的所有检测器都具有大于π的杰卡德索引时，这被归为“正常”数据：
当一帧处的所有检测器都具有小于π的杰卡德索引时，这被归为“全局异常”数据：
当除了一帧处的一个***之外的所有的***都具有大于π的杰卡德索引时，对于小于杰卡德索引的特定***，这被归为“局部异常”数据。这创建了N个不同的数据集，其中对于每个***一个数据集：
用获取的数据对深度神经网络(例如，自动编码器)进行训练以学习对检测器在正常操作下的行为进行建模。当从检测器接收的数据明显不同于建模的正常操作时，自动编码器将也不会执行，并且自动编码器的计算的重构误差的这个改变可以被用于通过与阈值(例如，杰卡德索引)进行比较来识别异常数据。
公开了一种分层自适应贝叶斯数据融合方法。虽然不限于特定的应用，但是本文中所用的一个示例性实施例是基于视觉的机器人控制，但是在保持在本公开的范围内的同时，本领域的普通技术人员将认识到其他应用和使用。示例性实验实施例被发现强于单个的检测器，准确度更好并且保持跟踪更长时间段。而且，示例性实施例不使用训练数据，而该领域中的大多数方法依赖于机器学习技术。机器学习技术需要大量训练数据来实现良好性能。即使当大量训练数据可用时，这些方法也可能不能处理在训练期间没有被适当地探索的情形。HAB-DF而是依赖于单个的数据源的局部统计性能。另外，分散式架构使得专家可以异步操作，同时惩罚以显著的延迟递送到融合中心的测量。最后，加权多数表决方案使得提供不一致的或者具有低置信度的测量的传感器可以被自动地从估计丢弃。
本领域技术人员将容易显而易见的是，在不脱离本发明的范围和精神的情况下，可以对本文中所公开的发明做出不同的替换和修改。本文中说明性地描述的发明适合地可以在本文中没有具体公开的任何一个元素或多个元素、一个限制或多个限制不存在的情况下实施。一直采用的术语和表达被用作描述术语，而非限制，并且并不意图这样的术语和表达的使用排除所示的和所描述的特征或它们的部分的任何等同形式，但是认识到，各种修改在本发明的范围内是可能的。因此，应理解，尽管已经用特定的实施例和可选的特征例示说明了本发明，但是本文中所公开的构思的修改和/或变化可以求助于本领域技术人员，并且这样的修改和变化被认为在本发明的范围内。
本文中引用了若干个文献。引用的文献整个地通过引用并入本文。在说明书中的术语的定义与该术语在引用的文献中的定义相比不一致的情况下，该术语应基于本说明书中的定义来解释。
在以上描述中，为了简洁、清晰和理解，已经使用了某些术语。没有超出现有上几乎的要求的不必要的限制从其推断出，因为这样的术语是用于描述的目的，并且意图被广泛地解释。本文中所描述的不同的***和方法步骤可以单独使用，或者与其他***和方法组合使用。将预期，各种等同、替代和修改在所附权利要求的范围内是可能的。
附图中提供的功能框图、操作序列和流程图表示用于执行本公开的新颖的方面的示例性架构、环境和方法。虽然为了简化说明的目的，本文中所包括的方法可以为功能图、操作序列或流程图的形式，并且可以被描述为一系列动作，但是要理解和意识到的是，所述方法不受动作的次序限制，因为一些动作根据其可以按与本文中所示的和所描述的次序不同的次序发生和/或与其他动作同时发生。例如，本领域技术人员将理解和意识到的是，方法可以可替代地被表示为一系列相关的状态或事件，诸如状态图中的一系列相关的状态或事件。而且，并非方法中例示说明的所有的动作都可能是新颖的实现所必需的。
撰写的本描述使用例子来公开本发明，包括具体实施方式，并且还使得本领域技术人员能够做出并且使用本发明。本发明的可取得专利权的范围由权利要求限定，并且可以包括本领域技术人员想到的其他的例子。如果这样的其他的例子具有与权利要求的字面语言相同的结构元件，或者如果它们包括与权利要求的字面语言没有实质不同的等同的结构元件，则它们意图在权利要求的范围内。

Claims (20)

1.一种可导航机器人，包括：
至少一个传感器，所述至少一个传感器被配置为生成目标物体的跟踪数据；
多个检测器模块，所述多个检测器模块中的每个检测器模块包括当被应用于所述跟踪数据时独立地提供所述目标物体的地点的局部估计的至少一个处理算法；以及
控制器，所述控制器连接到所述至少一个传感器和所述多个检测器模块，所述控制器接收所述至少一个传感器获取的跟踪数据，并且将来自所述多个检测器模块的所述算法应用于所述跟踪数据以在所述跟踪数据中生成所述目标物体的地点的多个单独的估计，所述控制器对所述单独的估计进行加权，并且基于加权的局部估计来将局部估计组合在自适应贝叶斯融合中以生成目标地点。
2.根据权利要求1所述的可导航机器人，其中所述至少一个传感器包括相机，所述跟踪数据至少包括图像数据。
3.根据权利要求1或2所述的可导航机器人，其中所述控制器对所述局部估计中的每个计算估计值和局部估计之间的马氏距离(MD)，其中所述MD是用于每个局部估计的第一加权因子。
4.根据权利要求3所述的可导航机器人，其中所述控制器计算所述局部估计中的每个之间的欧几里得距离，并且基于计算的欧几里得距离来计算用于每个局部估计的第二加权因子；
其中所述控制器基于用用于每个估计的相应的第一加权因子和第二加权因子加权的所述局部估计中的每个来将所述局部估计组合在自适应贝叶斯融合中以生成目标地点。
5.根据权利要求4所述的可导航机器人，其中所述控制器用一组卡尔曼滤波器来对所述局部估计中的每个计算MD，并且进一步用卡尔曼滤波器来组合用用于每个估计的相应的第一加权因子和第二加权因子加权的局部估计。
6.根据权利要求4所述的可导航机器人，其中所述控制器使用用获取的数据训练的自动编码器来学习所述多个检测器中的检测器在正常操作下的模型，对来自所述多个检测器模块中的每个检测器模块的局部估计进行分析以确定检测器故障的事件，并且基于确定的事件来减小来自检测器的局部估计的加权。
7.根据权利要求6所述的可导航机器人，其中所述控制器将杰卡德索引应用于每个检测器模块的输出以将所述数据分割为数据集以用于用所述自动编码器进行分析。
8.根据权利要求1-7中任一项所述的可导航机器人，进一步包括至少一个导航马达，所述控制器基于所述目标地点来生成至少一个控制命令，并且将所述至少一个控制命令提供给所述导航马达以相对于所述目标物体移动所述可导航机器人。
9.根据权利要求1-8中任一项所述的可导航机器人，其中所述多个传感器包括至少一个非相机传感器。
10.根据权利要求9所述的可导航机器人，其中所述非相机传感器包括范围传感器、深度传感器、雷达或GPS。
11.根据权利要求1-10中任一项所述的可导航机器人，其中所述可导航机器人是云台机器人、无人机(UAV)或移动式地面机器人。
12.一种根据权利要求1-11中任一项所述的可导航机器人的机器人导航方法，所述方法包括：
从所述多个传感器中的每个获得跟踪数据；
分别从来自所述多个传感器中的每个的跟踪数据估计目标地点的局部估计；
对所述局部估计中的每个计算估计值和局部估计之间的马氏距离，其中所述马氏距离是用于每个局部估计的第一加权因子；
计算所述局部估计中的每个之间的欧几里得距离，并且基于计算的欧几里得距离来计算用于每个局部估计的第二加权因子；并且
基于用用于每个估计的相应的第一加权因子和第二加权因子加权的局部估计中的每个来将局部估计组合在自适应贝叶斯融合中以生成所述目标地点。
13.根据权利要求12所述的方法，进一步包括将相对于所述目标地点移动的指令提供给所述可导航机器人。
14.根据权利要求12-13中任一项所述的方法，其中所述多个传感器包括至少一个相机。
15.根据权利要求12-14中任一项所述的方法，其中所述多个传感器包括多个相机。
16.根据权利要求15所述的方法，其中所述多个检测器包括应用于来自所述至少一个相机的图像数据的多个视觉跟踪算法。
17.根据权利要求16所述的方法，其中所述多个图像识别算法包括TLD、CMT、STRUCK和GOTURN中的一个或多个。
18.根据权利要求12-17中任一项所述的方法，其中所述目标地点的局部估计每个都是使用卡尔曼滤波器估计的。
19.根据权利要求12所述的方法，进一步包括在生成用于每个检测器的第一加权因子之前将s形函数应用于每个检测器的输出的MD。
20.根据权利要求12-19中任一项所述的方法，进一步包括从所述目标地点产生机器人控制命令。
CN201880021108.5A 2017-02-08 2018-02-06 具有数据融合的机器人跟踪导航 Active CN110546459B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762456345P 2017-02-08 2017-02-08
US62/456,345 2017-02-08
PCT/US2018/017038 WO2018148195A1 (en) 2017-02-08 2018-02-06 Robotic tracking navigation with data fusion

Publications (2)

Publication Number Publication Date
CN110546459A true CN110546459A (zh) 2019-12-06
CN110546459B CN110546459B (zh) 2024-07-09

Family

ID=

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及***
CN112003891A (zh) * 2020-07-16 2020-11-27 山东省网联智能车辆产业技术研究院有限公司 用于智能网联车辆控制器的多传感数据融合方法
CN113065277A (zh) * 2021-03-11 2021-07-02 自然资源部国土卫星遥感应用中心 协同多载荷数据的高分辨率遥感卫星颤振探测与建模的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441718A (zh) * 2008-12-19 2009-05-27 福建三元达通讯股份有限公司 传感器信息融合装置及其方法
US20090231183A1 (en) * 2006-06-13 2009-09-17 Bae Systems Plc Target tracking
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
CN104318072A (zh) * 2014-09-30 2015-01-28 杭州电子科技大学 基于qkf-mmf的多传感器量化融合方法
US20150304634A1 (en) * 2011-08-04 2015-10-22 John George Karvounis Mapping and tracking system
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231183A1 (en) * 2006-06-13 2009-09-17 Bae Systems Plc Target tracking
CN101441718A (zh) * 2008-12-19 2009-05-27 福建三元达通讯股份有限公司 传感器信息融合装置及其方法
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US20150304634A1 (en) * 2011-08-04 2015-10-22 John George Karvounis Mapping and tracking system
CN104318072A (zh) * 2014-09-30 2015-01-28 杭州电子科技大学 基于qkf-mmf的多传感器量化融合方法
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MA, JIA QING: "Research on visual tracking algorithm in complex environments", 《 XIAN JIAOTONG UNIVERSITY》 *
梁彦, 程咏梅, 贾宇岗, 潘泉: "交互式多模型算法性能分析", 控制理论与应用, no. 04 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及***
CN112003891A (zh) * 2020-07-16 2020-11-27 山东省网联智能车辆产业技术研究院有限公司 用于智能网联车辆控制器的多传感数据融合方法
CN113065277A (zh) * 2021-03-11 2021-07-02 自然资源部国土卫星遥感应用中心 协同多载荷数据的高分辨率遥感卫星颤振探测与建模的方法

Also Published As

Publication number Publication date
US11429111B2 (en) 2022-08-30
WO2018148195A1 (en) 2018-08-16
US20190361460A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US11429111B2 (en) Robotic tracking navigation with data fusion
CA2931632C (en) Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (mav)
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
Achtelik et al. Autonomous navigation and exploration of a quadrotor helicopter in GPS-denied indoor environments
US10838427B2 (en) Vision-aided inertial navigation with loop closure
Chambers et al. Robust multi-sensor fusion for micro aerial vehicle navigation in GPS-degraded/denied environments
US11300663B2 (en) Method for predicting a motion of an object
Milford et al. Aerial SLAM with a single camera using visual expectation
Daftry et al. Robust monocular flight in cluttered outdoor environments
Nguyen et al. Flexible and resource-efficient multi-robot collaborative visual-inertial-range localization
Marzat et al. Reactive MPC for autonomous MAV navigation in indoor cluttered environments: Flight experiments
Motlagh et al. Position Estimation for Drones based on Visual SLAM and IMU in GPS-denied Environment
Wu et al. Vision-based target detection and tracking system for a quadcopter
Zhou et al. Toward autonomy of micro aerial vehicles in unknown and global positioning system denied environments
Choi et al. Hybrid map-based SLAM with Rao-Blackwellized particle filters
Chen et al. Real-time tracking a ground moving target in complex indoor and outdoor environments with UAV
Catalano et al. Uav tracking with solid-state lidars: dynamic multi-frequency scan integration
Fabresse et al. Active perception for 3D range-only simultaneous localization and mapping with UAVs
CN110546459B (zh) 具有数据融合的机器人跟踪导航
Kondo et al. PUMA: Fully Decentralized Uncertainty-aware Multiagent Trajectory Planner with Real-time Image Segmentation-based Frame Alignment
Crocoll et al. Laser-aided navigation with loop closure capabilities for Micro Aerial Vehicles in indoor and urban environments
Di Castro et al. An incremental slam algorithm for indoor autonomous navigation
Cui et al. A Robust and Efficient UAV Path Planning Approach for Tracking Agile Targets in Complex Environments. Machines 2022, 10, 931
Marchant et al. Cooperative global tracking using multiple sensors
Lee et al. QP Chaser: Polynomial Trajectory Generation for Autonomous Aerial Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant