CN109859533A - 基于视觉的协作冲突避免 - Google Patents

基于视觉的协作冲突避免 Download PDF

Info

Publication number
CN109859533A
CN109859533A CN201811278816.5A CN201811278816A CN109859533A CN 109859533 A CN109859533 A CN 109859533A CN 201811278816 A CN201811278816 A CN 201811278816A CN 109859533 A CN109859533 A CN 109859533A
Authority
CN
China
Prior art keywords
unmanned plane
external source
collision
feature information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811278816.5A
Other languages
English (en)
Inventor
D·戈麦斯古铁雷斯
L·坎伯斯马西亚斯
R·阿尔达纳洛佩茨
R·德拉冈迪亚冈萨雷斯
J·扎莫拉伊奎维尔
J·帕拉比尔奇斯
D·阿尔迪奇伊里茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109859533A publication Critical patent/CN109859533A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0008Transmission of traffic-related information to or from an aircraft with other aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • B64D45/04Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08Landing aids; Safety measures to prevent collision with earth's surface optical
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

描述了用于无人机碰撞避免的方法和装置,包括使用相机捕捉环境的图像。相机定向于一方向。从外部源接收第二特征信息。第二特征信息是从环境的第二图像提取的,该第二图像由定向于该方向的第二相机捕捉。从所捕捉图像提取第一特征信息。将所述第一特征信息与所述第二特征信息进行匹配。将所述第二特征信息的第二本地参考系变换至所述第一特征信息的第一本地参考系以确定所述外部源的位置。基于所述外部源的位置和当前飞行轨迹来确定是否将发生与所述外部源的碰撞。

Description

基于视觉的协作冲突避免
技术领域
本文描述的实施例一般涉及用于飞行器(诸如,无人机)的碰撞避免。以硬件、软件、或者硬件和软件两者的混合来实现实施例。
背景技术
当前用于区域飞行器(诸如,无人机)的碰撞避免能力具有各种限制。例如,碰撞避免方法可限于检测大的物体(诸如,墙)、具有慢的反应时间、和/或依靠3D相机来定位附近的物体。这些能力可能不适用于代理-代理碰撞避免。现有方法失效的典型场景是当两个无人机在成90度的碰撞路径中飞行时。这可发生在开放的空间或诸如走廊之类的区域中。
碰撞避免的另一已知方法依靠外部定位或者同时定位和映射(SLAM)算法。然而,这种方法仅在飞行器具有公共地图之后起作用。此外,实时SLAM算法需要典型地可用于无人机上的强有力的计算机。SLAM算法在动态环境中也可能并不可靠。
附图简述
图1例示出根据示例性实施例的捕捉用于碰撞避免的图像。
图2例示出根据一些实施例的一个环境中的三个无人机。
图3A-3F例示出根据一些实施例的协作碰撞避免技术。
图4例示出根据一些实施例的将其相机对齐成指向未来位置的无人机。
图5例示出根据一些实施例的可定位彼此的两个无人机。
图6例示出根据一些实施例的微近邻定位。
图7是根据一些实施例的用于近邻定位的流程图。
图8例示出根据一些实施例的确定两个无人机之间的距离。
图9例示出根据一些实施例的共享近邻信息。
图10例示出根据一些实施例的使用虚拟力来避免碰撞。
图11例示出根据一些实施例的使用虚拟力的示例。
图12是根据一些实施例的用于使用虚拟力来进行姿态调整的流程图。
图13例示出根据一些实施例的分级轨迹计划。
图14是示出根据某些实施例的使用分级轨迹计划的流程图。
图15示出根据一些实施例的基于采样技术的轨迹计划。
图16例示出计算设备的框图,在计算设备内,可执行指令集或指令序列以使设备执行本文讨论的方法中的任一者的示例。
具体实施方式
无人机的许多当前应用(诸如,精确农业、检查、搜索和救援、仓库和库存***)可受益于多个无人机的交互。例如,诸无人机可减少当使用单个无人机时完成作业所需的时间。此外,诸无人机彼此紧密地邻近存在很多用途。例如,多个无人机可在同一封闭空间内或在小型户外区域内操作。相应地,存在对实现自主飞行的兴趣。为了安全的自主飞行,无人机应该避免与彼此或其他物体碰撞。
在示例中,公开的碰撞避免程序允许多个无人机安全地共存于混乱的环境(诸如,内部)或低空飞行中。因此,通过多无人机***来实现新的应用和效率的增加。所提出的程序比当前基于SLAM的办法简单快速,这些基于SLAM的办法在能够计划任何协操纵作之前需要在全球地图中注册代理(例如,无人机、静止物体、船只等)。各种公开的碰撞避免技术不需要公共参考系和环境地图。所公开的技术通过允许代理预期潜在的碰撞避免情况来改进基于对动态障碍物的检测和跟踪的简单反应方法,并且可装配有单眼(与惯性测量相结合)、立体或3D相机。由不同代理获取的传感器观察之间的数据关联可被解析,并且被用于确定两个代理与相应近邻之间的相对定位。
在示例中,朝下的(down-facing)相机被定向为确保碰撞轨迹中的两个无人机将提前X/2秒检测到可能的碰撞,彼此定位和跟踪以相应地进行计划。X是可基于无人机的可操纵性和/或反应时间来计算的时间量。例如,X可以是无人机所需用于移动特定距离以避免碰撞的时间量。在各实施例中,X可基于无人机的速度来改变。可在无人机之间不存在视线的情况下(诸如,在走廊中)进行碰撞检测和避免。在另一示例种,相机可被定向为向上。在各实施例中,无人机的相机的定向是相同的。此外,两个图像中的公共特征被用于定位位置。相应地,图像内的任何定向和特征可被用于所公开的碰撞避免技术。
在各实施例中,所提出的反应碰撞避免考虑近邻代理的位置和速度以创建虚拟力。虚拟力及其反作用力可被低级控制器用于操纵无人机以避免与近邻代理的碰撞。在一些实施例中,分级轨迹计划算法考虑环境中的静态和动态物体以通过将具有较高优先级的动态物体和其他代理看作4D(3D空间+时间)中的障碍来计划无碰撞轨迹。
各实施例涉及基于用相机(诸如,用平移/倾斜相机)捕捉的稀疏视觉特征的无人机-无人机通信的协作碰撞避免。在实施例中,平移/倾斜相机用以下方式来定向:指向无人机计划在接下来的X秒内飞越的地面上的区域。X可以是例如1、3、5、15、30秒。可基于无人机的可操纵性和反应时间来设置值X。例如,如果无人机需要12秒以能够移动等于一、二、三个等无人机最大尺寸的距离,则X可被设置为12秒。这保证无人机能够移出逼近的无人机或障碍的路线。在示例中,X的值被设置为移动特定量的空间所需的时间的两倍。将该值设置为此量的两倍或更多倍计及两个无人机直接朝彼此飞行的示例。
图1例示出根据示例性实施例的捕捉用于碰撞避免的图像110。无人机102可沿路径104自主飞行至目的地106。将在基于无人机沿路径104的速度、预期速度、以及路径104计算的时间到达目的地106。当无人机102到达目的地106时,无人机103将在点108正上方。图像110包括多个障碍或特征120A-120E。
障碍120A-120E可供另一无人机用来确定无人机102的位置。无人机102可与另一无人机共享与障碍120A-120E中的一个或多个相关的图像110或特征。另一无人机可使用来自其相机的图像来确定无人机102的位置。利用位置和附加信息(诸如,目的地、路径104等),另一无人机可改变其路径以避免与无人机102碰撞。
共享图像和/或特征信息允许两个无人机“看见”由对应于其相应视图的多个特征标识的其计划轨迹中的公共区域,并且将能够定位彼此。这允许任一无人机确定其是否与另一无人机处于碰撞轨迹中。如果确定基于当前计划轨迹的未来碰撞,则计划碰撞避免操纵来避免该碰撞。此外,无人机可改变关于其视场中其他无人机或物体的轨迹的信息使得当重新计划轨迹时可考虑到他们的存在。任选地,无人机的其他机载相机可被用于验证其他无人机的存在。此外,静止物体上的相机也可被使用。在此示例中,无人机可确定其轨迹是否将与静止物体碰撞并且可根据需要重新计划轨迹。
在包括多个无人机的动态环境中,每个无人机可能无法看见或定位每一个其他无人机。然而,每个无人机可共享其近邻相对于其自身参考系的位置。以此方式,一个无人机能够检测看不见的无人机并相应地进行计划。
图2例示出根据一些实施例的一个环境中的三个无人机202、204和206。在该环境中,来自第一无人机202的相机的图像212不与来自第三无人机206的图像216交迭。然而,来自第二无人机204的图像214与图像212和216交迭。相应地,第一无人机202将不能够从图像212和图像216定位第三无人机206的位置。然而,第二无人机204可定位第一无人机202和第三无人机206两者的位置。第二无人机204可与第一无人机202共享其自身的位置以及第三无人机206相对于其自身的参考系的位置。第一无人机202随后可确定其相对于第二无人机204的位置,并且随后使用共享信息来确定其相对于第三无人机的位置。
一种碰撞避免技术基于在近邻无人机的位置上放置虚拟力(其为位置和速度的函数)并且将对这些力的反应嵌入到轨迹跟踪控制器中。在第二技术中,每个无人机可经由无人机-无人机通信访问其近邻处的其他无人机的计划轨迹。利用无人机之间共享的信息,代理B的计划可被置于代理A的参考系中。可从代理B的飞行计划和代理A的飞行计划确定可能的未来碰撞。如果检测到未来碰撞,则代理A可使用分级计划器来更新其预期轨迹。
图3A-3F例示出根据一些实施例的协作碰撞避免技术。该协作碰撞避免技术允许快速近邻定位以及在线计划和碰撞避免。在图3A-3F中,第一无人机302具有与第二无人机304的双向通信。双向通信不是必需的。例如,第二无人机304可将其数据提供至第一无人机302,但不从第一无人机302接收任何数据。在此示例中,第一无人机302将改变其自身轨迹以避开第二无人机304。这允许第一无人机302不包括传送器功能和传送硬件。
返回图3A-3F,第一无人机302和第二无人机304两者能够传送其位置数据。相应地,本技术利用可包括来自万向节控制的朝下的相机的图像数据的无人机-无人机通信。以相机捕捉无人机计划在X秒内飞越的地面上的区域的方式,相机的位置可以是速度、可操纵性和无人机预期轨迹的函数。例如,使用来自第一无人机302的相机来捕捉图像312。使用来自第二无人机304的相机来捕捉图像314。在实施例中,可传送图像312或314本身。在另一实施例中,可传送提取的特征而不是整个图像。
随后使用已知方法提取每个图像312、314中的特征并通过使用短距通信或无线网络通信来将其广播至近邻无人机。通过共享这些特征,近邻无人机可分析特征匹配,检测特征的部分是否是公共的(存在图像交迭),并且使用多个视图(在此情形中是来自不同相机的视图)的几何学技术来关于其自身的参考系定位近邻无人机。使用多个近邻的视图计算,可计算无人机的相对速度。在另一实施例中,无人机可传达其速度。
此外,由于来自不同视图的几何学也可应用于其自身视图的序列,因此无人机可在其自身参考系中计算其自身速度并提取近邻速度。本技术解决了近邻的位置与近邻的ID和/或通信通道的关联的问题,这在基础结构接收信息但无法分辨传送的飞行器的V2X通信中是常见问题。
图3A示出第一无人机302和第二无人机304的位置连同无人机302和304中的每一个捕捉的图像312和314。图像312和314以每个无人机将在未来特定时间所处的位置为中心。图3B示出分别从第一无人机302和第二无人机304获取的图像312和314。图像312和314包括公共物体。在图3A-3F的示例中,无人机302和304中的每一个上的相机向下指向。在其他示例种,相机可向上、东、西、北、南等指向。无人机302和304中的每一个从其图像提取特征。图3C将从图像312和314中的每一个提取的特征示为圆形。此特征信息可被传送至其他无人机以及其他附近无人机或接收器。此外,可传送其他信息,诸如其他无人机位置、速度、当前飞行路径、无人机将通过图像中心的时间等。图3D示出从两个图像312和314生成的特征的匹配。
可使用已知特征匹配技术来匹配特征。例如,每个特征可具有可由特征提取技术(诸如,尺度不变特征变换(SIFT)或加速稳健特征(SURF))获得的描述符。用于匹配特征的暴力方式的示例是从一个图像获取一个特征,并且将该特征与其他图像种的所有该特征进行比较,选择具有最小距离或在阈值内的一个。另外一个示例是使用两个图像之间的几何学约束,定位一个图像中的特征并在第二图像中限定的极线中寻找它。再一选项是使用基于快速近似最近近邻搜索(FLANN)的匹配器。为了移除离群值,可在之后使用随机样本一致性(RANSAC)算法。
使用公共特征,无人机302和304中的每一个能够计算其他无人机的位置。此外,位置与飞行路线和/速度配对,每个无人机能够计算当无人机在相机所指的位置上方移动时,是否会发生碰撞。
如果在无人机302和304的当前飞行路径上预测到碰撞,则可改变一个或两个飞行路径。在示例中,每个无人机302和304具有优先级。此优先级信息可与其他无人机共享和通信。具有较低优先级的无人机改变其飞行路径以避免碰撞,而具有高优先级的无人机不改变其飞行路径。这帮助消除无人机两者都改变其飞行路径,但以这种方式,并未避免碰撞。图3E示出碰撞过程中的无人机302和304。无人机304具有飞行路径344以及比无人机302高的优先级。无人机302具有直面无人机的304的飞行路径(未示出)。在共享飞行路径和优先级信息之后,无人机302基于当前飞行路径确定预测到与无人机304的碰撞。由于无人机302具有较低优先级,因此无人机302将其飞行路径改变到避免碰撞的新飞行路径342。
图3F例示出另一碰撞避免技术。此技术是使用无人机302和304的速度来确定虚拟力362和364的反应碰撞避免。这些虚拟力362和364指示无人机302和304未来可占据的空间。在示例中,虚拟力362和364扩展到三维。虚拟力362和364可被传达至其他无人机,随后可被用于确定是否预测到碰撞。
在一个示例中,静止接收器从一个或多个无人机接收图像或者从图像提取的特征。静止接收器随后可进行轨迹计划和碰撞确定。如果检测到可能的碰撞,静止接收器可提供更新的飞行路线或飞行指令以避免碰撞。例如,可指令无人机减少或增加其速度以避免碰撞。作为另一示例,可指令无人机改变其高度以避免碰撞。在示例中,静止接收器制定用于区域中多个无人机的飞行计划,从而允许无人机与具有进行机载飞行计划所需的所有硬件相比具有较少硬件并且较轻。
朝下的相机定向
如上所述,使用每一个具有同一定向(例如,向下,向上)的相机。下文描述了朝下的相机定向,但也可与朝上的相机一起使用。假设无人机处于位置(x0,y0,z0)T,并且在未来的X秒具有计划位置(xp,yp,zp)T。随后无人机相机可被控制成指向(xp,yp,zg)T,其中zg是地面,例如0。图1中,无人机102正指向其(xp,yp,zg)T位置108。令为从(x0,y0,z0)T指向(xp,yp,zg)T的酉向量:
令R(ψ,φ,θ)=R(t)为定义从无人机的初始定向到给定φ,θ,ψ(滚动、俯仰、偏航,欧拉角)的当前定向的变换的旋转矩阵。
此外,表示表示从无人机起飞处指向无人机前方方向的单位向量,并且是给定时间t处指向无人机前方方向的单位向量。注意
相应地,存在变换矩阵RGGGG),万向节可执行该变换矩阵以将相机从指向定向为指向此关系可被写成:
图4例示出根据一些实施例的将其相机对齐成指向未来位置的无人机。在第一时间点,无人机402A具有与向量对齐的相机404。在未来时间T处,无人机402A计算出其将通过点406。相应地,为了捕捉包括点406的图片,无人机402A将其相机404朝点406对齐。使用上述变换,无人机402A可计算其旋转和其他飞行参数。在其相对位置的此类改变之后,无人机402B现在使其相机404指向点406,该指向沿向量
不失一般性,可被定义为指向x方向的单位向量,因此注意,由于φ,θ,ψ可从传感器得知,因此可使用已知方法来求解以得到G的分量。最终,从该分量,可获得用于万向节相机ψGGG的期望值。例如,如果G具有分量Gij,则:
θG=-arcsin(G31)
多个视图的几何学
图5例示出根据一些实施例的能够定位彼此的两个无人机502和504。无人机502和504能够将其图像上的特征与由其近邻共享的那些进行匹配来定位彼此。每个无人机502和504可共享其自身参考系上的特征。此外,无人机502和504可使用连续图像信息来计算其相对速度。由于每个无人机502和504可计算其自身的测距,因此可获得无人机502的参考系中的无人机504的速度向量。由无人机502上的相机获取图像512。如上所述,相机可指向无人机502将在未来某点所处的位置。环境内的物体520可作为所表示物体522而成为图像512的部分。同一物体520还可以是由无人机504获取的图像514的部分。物体524可被捕捉到图像514内。每个无人机502和504可进行特征提取,其中可获得物体520和其他物体的特征。可在无人机502与504之间共享此特征信息。相应地,无人机502具有其图像512、来自图像512的特征信息、以及来自图像514的特征信息。无人机502可比较来自图像512和514两者的特征信息,并将其物体520的版本522与来自无人机504的版本524进行匹配。此外,无人机502可匹配两个图像512和514之间的其他物体。这允许无人机502确定无人机504的位置。传统上,来自同一无人机的不同视图的变换可被用于计算视觉惯性测距。虽然如所描述的,但来自不同无人机的视图可被用于定位其他无人机并且随后使用其他无人机的地点和飞行计划来根据需要计划躲避操纵。
近邻定位
图6例示出根据一些实施例的近邻定位。如上所述,无人机602和604将相机定向于未来它们将飞越的位置,确保碰撞路径中的两个无人机将至少提前X/2秒计算地面的图像内的公共区域。无人机602和604随后可分别捕捉环境616的图像612和614。代理A——无人机602随后可向附近近邻共享图像的信息和/或从图像612提取的特征的信息。图像612和614捕捉某些相同物体,诸如物体620。此物体在图像612和614中分别被表示为物体622和物体624。该信息允许近邻代理B——无人机604匹配信息(诸如,与物体620相关的信息)以检测图像交迭并计算表示代理A的参考系关于代理B的参考系的平移和定向的变换(例如,单应性)。
图7是根据一些实施例的用于近邻定位的流程图。此流程图示出一个无人机定位近邻的操作。在操作702处,无人机捕捉图像。在捕捉图像之前,无人机可计算在未来时间无人机将位于何处,并将其相机定向成指向地面或天花板上的此位置。随后在操作704处,可从图像提取图像信息(诸如,特征、线等)。在操作706处,可广播无人机的本地系(localframe)中的图像信息使得附近无人机或接收器可接收该图像信息。在操作708处,无人机还可接收近邻的系内的近邻的无人机图像信息和位置。在示例中,图像信息可来自静止物体或另一无人机。在操作710处,可将来自无人机图像的图像信息与所接收的图像信息进行匹配。例如,可比较并匹配特征。在操作712处,确定图像信息内的交迭。如果不存在交迭,则无人机确定当无人机飞至其未来位置时不存在碰撞。
如果存在图像交迭,则存在无人机在其飞至其未来位置时将会碰撞的可能性。在操作714处,计算两个视图之间的变换。第一变换获得从一个相机视图到另一无人机相机视图的平移和旋转。此变换在无人机的相机系与来自从中接收图像信息的无人机的相机系之间进行变换。随后在操作716处,完成本地系之间的变换,这允许无人机使用关于其他无人机的轨迹信息以及任何近邻无人机信息。第一变换可与相机视图关于其本地系的旋转和平移连接以获得第二变换。此变换可被一个无人机使用以在其本地参考系中定位近邻的近邻。相应地,变换允许无人机确定其他无人机相对于其系的位置。
在操作720处,无人机可从近邻无人机接收已被定位的其它无人机的位置。这允许无人机计及没有图像交迭的无人机的飞行轨迹。信息关于附近无人机(例如,具有与当前无人机的图像交迭或者与近邻无人机的图像交迭的无人机)的位置。在操作722处,聚合其它无人机的位置。随后在操作724处,无人机可利用此信息更新其跟踪算法以确定是否预测到碰撞。下文公开各种碰撞算法。无人机随后可捕捉另一图像并重新开始该过程,使得无人机可继续飞行而不与其他无人机或障碍碰撞。
基于视觉的估计与距离测量的融合
如果图像中的特征是从单目相机获得的,且没有深度信息,则可计算无人机之间的相对位置,直到可以恢复的未知缩放因子。利用用于在代理之间共享信息的通信设备,可测量从接收器到传送器的距离。例如,前同步码可被包括在通信分组中以便实现RTT(往返时间)协议,该RTT(往返时间)协议可被用于估计距离。同样,可使用其他方法(诸如,RSS(接收信号强度))来确定距离。使用超宽带无线电来进行准确的距离测量也是可能的。
图8例示出根据一些实施例的确定两个无人机802与804之间的距离。为了融合此信息,两个无人机802与804之间的向量t12820在另一代理可位于的空间中定义线性曲线。可从上文关于变换714描述的变换获得向量t12。另一方面,可从无线电通信获得的到无人机804的距离d在无人机804可位于其中的空间中定义了球体810。向量820与球体810的交叉点是唯一的并且与无人机804的位置的估计相对应。
从无人机1的参考系中的无人机2获得近邻和轨迹信息
图9例示出根据一些实施例的共享近邻信息。无人机902可捕捉图像912并从此图像912提取特征。例如,物体930可被捕捉到图像912中并且可从图像912提取与物体930或其他物体相关的特征。可与无人机904共享这些特征。无人机904已获取其自己的图像914,图像914也捕捉到物体930。可与无人机902共享可从图像914提取的特征。第三无人机906也可获取图像(未示出),该图像不包括用于将其图像与来自无人机902的图像912进行匹配的任何或足够的特征。但第三无人机906可与无人机904匹配,使得无人机904可能能够确定无人机906的位置。随后可经由无人机904与无人机902共享无人机906的位置。
无人机906可与无人机904共享其飞行计划。无人机904随后可与无人机902共享其飞行计划924以及无人机906的位置和飞行计划926。无人机904接收无人机906相对于无人机906的参考系的飞行计划。在计算无人机906的位置之后,无人机904可将无人机906的飞行计划变换至无人机904的参考系中。可与无人机902共享此经变换飞行计划。替代地,可与无人机902共享无人机906相对于无人机904的位置,并且无人机902随后可使用无人机904和906的位置来进行变换以将飞行计划926变换至无人机902的参考系。
因此,无人机902可能能够考虑无人机906的飞行计划926。用于无人机的飞行计划可以是相对于无人机的系的一个或多个三维点。无人机902随后可考虑无人机904和906两者的飞行计划以确定其飞行路径以及是否存在任何可能的碰撞。无人机904可与无人机902共享无人机906相对于无人机904的位置。无人机902随后可获得变换[R12|t12],该变换在无人机902与无人机904的相机系之间进行变换。R12是两个相机视图的参考系之间的旋转。向量t12是两个无人机902与904之间的距离向量。随后,可使用[R12|t21]来变换无人机904和无人机906的轨迹信息,这允许无人机902知晓无人机906正飞往何处。
基于虚拟力的反应碰撞避免
图10例示出根据一些实施例的使用虚拟力来避免碰撞。三个代理,或即无人机1002、1004和1006正在环境内飞行。这些无人机1002、1004和1006中的每一个可分别具有虚拟力1012、1014和1016。虚拟力可基于无人机的速度。在实施例中,虚拟力可被形象化为球体。虚拟力还可被用于调整无人机的位置以避免碰撞。无人机1002和1004可具有关于无人机1002的参考系的速度如上所述,可获得相对速度以及相对位置虚拟力可基于以下公式:
其中λ是限定潜在领域的尺寸的设计参数,且标称/中心值为1。力的方向指向远离无人机1004,并且由于因子,其量值随距离以及与相对速度的方向反向/平方地减小。此项随无人机1004远离无人机1002移动而减小。当无人机1004平行于无人机1002移动时,此值为1。此项随无人机1004朝向无人机1002移动而增大。
虚拟力可被应用于任何数量的无人机或其他物体,使得无人机1002生成针对无人机和/或其他无人机中的每一个的虚拟力1014和1016。此虚拟力随后可被添加至无人机实现的默认位置控制。在实施例中,在姿态控制之上存在位置控制,其中前者生成用于后者的命令。这些虚拟力可被添加至位置控制以生成新的姿态命令。混合器获取姿态命令并生成将被应用于马达的相应功率。因此,虚拟力可影响无人机的加速度。这种改变生成姿态控制的参考的改变,这改变了无人机的移动。
图11例示出根据一些实施例的使用虚拟力的示例。无人机1102和无人机1104正飞行使得在不调整飞行路径的情况下,无人机1102和1104将在未来一点碰撞。为了避免碰撞,无人机1102和1104中的一者或两者可使用虚拟力来调整其飞行路径。如上所述,无人机1102和1104两者关于无人机1102的参考系的速度是已知的或者可被计算。随后可计算相对速度和位置可如上文描述的那样计算无人机1102的关于无人机1104的虚拟力1112。此虚拟力随后可被用于通过调整对姿态控制器的输入来更新无人机1102的飞行路径。可进行来自无人机1104的参考的相同计算以计算虚拟力1114。当无人机1102和1104朝向彼此飞行时,无人机1102和1104将基于其计算的虚拟力1112和1114而彼此排斥。从外部有利位置看,无人机1102和1104在它们飞行以彼此靠近时将看上去如同彼此排斥。每个无人机1102和1104将调整其飞行路径以避免碰撞。当无人机1102和1104飞过彼此时,虚拟力值将减小,并且无人机1102和1104中的每一个将较少地影响其他无人机的飞行路径。
图12是根据一些实施例的用于使用虚拟力来进行姿态调整的流程图。无人机具有被输入至位置控制器1206的飞行计划1202。在没有附加输入的情况下,位置控制器1206将向姿态控制器1212提供命令。姿态控制器1212向混合器1214提供命令,混合器1214确定适当的功率并将该适当的功率施加于马达1216。因此,无人机可沿其计划路线1202飞行。然而,在没有附加输入的情况下,无人机可能与其他无人机或物体碰撞。为了避免其他无人机,无人机1204的相对位置和相对速度被提供至虚拟力生成器1208。可针对位于该无人机附近的无人机生成虚拟力。虚拟力随后可被添加1210至来自位置控制器1206的命令。因此,无人机可基于附近无人机(例如,可能与当前无人机碰撞的无人机)的位置和速度来使其飞行偏离计划1202。
具有碰撞避免的分级轨迹计划
图13例示出根据一些实施例的分级轨迹计划。分级轨迹计划可被用于替代反应碰撞避免或者与反应碰撞避免一起使用。在示例中,当检测到局部最小值时,可使用分级轨迹计划。当其他无人机或障碍阻挡无人机与其目的地时,会发生局部最小值。在这种情形中,无人机可待在原地直到障碍移动或者使用另一轨迹计划(诸如,分级轨迹计划)。无人机的部分或完整轨迹能以其自己的参考系被传送至相邻无人机。
在实施例中,每个无人机具有三个相关联的球体。碰撞球体是最小球体,该球体以rc为半径、包围无人机、并且以无人机的质心为中心。重新计划球体包围碰撞球体,并且其半径为:
其中rc是碰撞球体的半径,p12,v12,a12分别是质心关于其他无人机的相对位置、速度和加速度。h是离散化时间步长而tr是无人机计算新轨迹所花费的时间。观察球体包围重新计划球体并且其半径由下式给定:
ro=rr+vlimitto
其中to是无人机接收轨迹并与其参考系对齐所花费的时间,而vlimit(v限制)是针对环境中所有无人机所允许的最大速度。
每个1302、1304和1306可计算其自己的球体。例如,无人机1302计算其重新计划球体1312、其观察球体1332、以及其碰撞球体1342的半径。无人机1302、1304和1306中的每一个计算其相对位置。当无人机1302的碰撞球体1342与无人机1304的观察球体1314相交时,无人机1302将其轨迹1324和其优先级发送至无人机1304。如果无人机1302的优先级高于无人机1304,则将无人机1304的参考系与无人机1302的参考系对齐。在对齐的参考系中将无人机1302的轨迹1322与无人机1304的轨迹1324进行比较,以确定无人机1302的碰撞球体1342是否与无人机1304的碰撞球体1344相交。如果预测到发生碰撞,则无人机1304可通过将无人机1302的轨迹看作障碍来重新计划其轨迹以避开无人机1302。
图14是示出根据某些实施例的使用分级轨迹计划的流程图。在操作1402处,无人机计算其近邻的相对位置。无人机已从其近邻接收位置。在操作1404处,无人机确定是否有任何近邻位于其观察球体内。如果其观察球体中不存在无人机或障碍,则无人机在其飞行路径上继续而不改变,并且等待重新进行操作1402。例如,无人机可基于行进距离、基于近邻数量、或这些的组合来确定在一时间调度上是否有近邻位于其观察球体内。
如果其观察球体内存在近邻,则无人机在操作1408中根据需要计算其优先级。在示例中,无人机将其优先级计算为0到1之间的具有均匀密度的随机数。无人机随后可传送其优先级和当前的计划轨迹,使得其近邻无人机可接收该优先级和该轨迹。如果无人机确定近邻无人机具有相同优先级,则无人机可计算新优先级并将新优先级传送至近邻无人机。近邻无人机也可确定该无人机位于其观察球体内并发送其优先级和轨迹。在操作1406处,无人机可由此接收其近邻的优先级和当前的计划轨迹。在操作1410处,无人机将其优先级与其近邻的优先级进行比较。如果无人机具有比近邻无人机高的优先级,则无人机可继续其轨迹,同时近邻无人机将确定是否会发生碰撞并相应地调整其轨迹。
如果无人机具有比其近邻低的优先级,则无人机将在检测到未来碰撞的情况下调整其轨迹。在操作1412处,无人机将其轨迹与其近邻无人机的轨迹对齐。一旦轨迹对齐,无人机可在操作1414处确定是否将发生与近邻无人机的未来碰撞。如果不存在碰撞,则无人机可继续且其飞行计划不变。如果存在检测到的碰撞,则在操作1416处,无人机可重新计划其轨迹以避免碰撞。存在能够在几分之一秒内生成新轨迹的已知计划算法。
图15示出根据一些实施例的基于采样技术的轨迹计划。轨迹计划考虑其他无人机的轨迹。两个无人机1502和1504飞行在同一环境中并且共享轨迹信息。无人机1504可接收无人机1502的轨迹。在此实例中,无人机1504将更新其轨迹以避免与无人机1502的可能碰撞。关于其离散化时间步长来进行参数化由将重新计划其飞行路径的无人机1504接收的轨迹。例如,无人机1504接收无人机1502的轨迹并利用无人机1504的时间步长来进行参数化。此轨迹被示为飞行路径1512,其本质上是无人机1502的当前飞行路径。随后,可使用基于采样的方法生成路径计划来为每一区段指派时间步长。如果任何生成区段的时间步长等于其他无人机的区段,则此区段被丢弃,因为将会发生碰撞。在此示例中,可能碰撞将发生在区段1556,因为时间区段相等并相交,例如4h并且交叉。以此方式,所提出的轨迹计划算法合并了动态障碍并且将无人机1502轨迹视作“暂时障碍”,因此甚至在存在冲突路径的情况下获得一个或多个无碰撞轨迹。例如,轨迹1514是避免沿区段1556的检测到的碰撞的一个示例。
示例机器描述
图16例示出计算设备1600的框图,在计算设备1600内,可执行指令集或指令序列以使设备执行本文讨论的方法中的任一者的示例。在替代实施例中,机器1600可作为独立设备或可被连接(例如,联网)至其他机器来操作。在联网的部署中,机器1600可在服务器-客户端网络环境中的服务器、客户端或其两者的能力内操作。在示例中,机器1600可充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器1600可以是用户装备(UE)、演进节点B(eNB)、Wi-Fi接入点(AP)、Wi-Fi站(STA)、个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、智能电话、网络设备、网络路由器、开关或桥、或者是能够(顺序地或以其他方式)执行规定由该机器采取的动作的指令的任何机器。此外,虽然只图示出单个机器,但是术语“机器”也应当包括单独或联合地执行一组(或多组)指令以便执行本文所讨论的方法的任何一种或多种方法的机器的任意集合,所述方法诸如云计算、软件即服务(SaaS)和其他计算机集群配置。
如本文中所描述的示例可包括逻辑或者多个组件、模块或机制,或可在逻辑或者多个组件、模块或机制上操作。模块是能够执行规定的操作的有形实体(例如,硬件),并且可以以特定的方式来配置或布置。在示例中,能以规定的方式将电路(例如,内部地或者相对于诸如其他电路之类的外部实体)布置为模块。在示例中,一个或多个计算机***(例如,独立的客户端或服务器计算机***)或一个或多个硬件处理器的全部或部分可由固件或软件(例如,指令、应用部分、或者应用)配置为操作用于执行规定操作的模块。在示例中,软件可驻留在机器可读介质上。在示例中,软件在由模块的底层硬件执行时,使得该硬件执行规定的操作。
因此,术语“模块”被理解为涵盖有形实体,该有形实体是物理地构建、具体地配置(例如,硬连线)、或者临时地(例如,瞬态地)配置(例如,编程)从而以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。考虑到其中临时配置模块的示例,这些模块中的每一个不需要在任何一个时刻进行实例化。例如,在这些模块包括使用软件配置的通用硬件处理器的情况下,通用硬件处理器可在不同的时间被配置为各个不同的模块。软件可以相应地配置硬件处理器,例如以便在一个时间实例处构成特定的模块,并且在不同的时间实例处构成不同的模块。
机器(例如,计算机***)1600可包括硬件处理器1602(例如,中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心或者其任何组合)、主存储器1604以及静态存储器1606,这些部件中的一些或全部可经由互连(例如,总线)1608彼此通信。机器1600还可包括显示单元1610、字母数字输入设备1612(例如,键盘)以及用户界面(UI)导航设备1614(例如,鼠标)。在示例中,显示单元1610、输入设备1612以及UI导航设备1614可以是触摸屏显示器。机器1600可另外包括存储设备(例如,驱动单元)1616、信号生成设备1618(例如,扬声器)、网络接口设备1620以及一个或多个传感器(诸如,全球定位***(GPS)传感器、罗盘、加速度计或其他传感器)。机器1600可包括连通或者控制一个或多个***设备(例如,打印机、读卡器等)的输出控制器1628,诸如串行(例如,通用串行总线(USB))、并行、或者其他有线或无线(例如,红外线(IR)、近场通信(NFC)等)连接。
存储设备1616可包括在其上存储一组或者多组数据结构或指令1622(例如,软件)的机器可读介质1624,该数据结构或指令1622由本文中所描述的技术或功能中的任何一者或多者体现或利用。指令1624还可在机器1600执行它的期间完全地或至少部分地驻留在主存储器1604内、在静态存储器1606内、或者在硬件处理器1602内。在示例中,硬件处理器1602、主存储器1604、静态存储器1606或存储设备1616的其中一者或任何组合都可以构成机器可读介质。
虽然机器可读介质1622被图示为单一介质,但是术语“机器可读介质”可包括被配置成用于存储一个或多个指令1624的单一介质或多个介质(例如,集中式或分布式数据库、和/或相关联的高速缓存和服务器)。
术语“机器可读介质”包括能够存储、编码或携带供机器1600执行并且使机器1600执行本公开的任何一项或多项技术的指令,或者能够存储、编码或携带此类指令所使用的或与此类指令相关联的数据结构的任何介质。非限制性的机器可读介质示例可以包括固态存储器以及光和磁介质。机器可读介质的特定示例可包括:非易失性存储器,诸如,半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))以及闪存设备;磁盘,诸如,内部硬盘和可移动盘;磁光盘;随机存取存储器(RAM);以及CD-ROM和DVD-ROM盘。在一些示例中,机器可读介质可包括非瞬态机器可读介质。在一些示例中,机器可读介质可包括不是瞬态传播信号的机器可读介质。
还可以经由利用许多传输协议(例如,帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等等)中的任何一种协议的网络接口设备1620,通过使用传输介质的通信网络1626来进一步发送或接收指令1624。示例通信网络可包括局域网(LAN)、广域网(WAN)、分组数据网络(例如,互联网)、移动电话网络(例如,蜂窝网络)、普通老式电话(POTS)网络、以及无线数据网络(例如,称为的电气与电子工程师协会(IEEE)802.11标准族、称为的IEEE 802.16标准族)、IEEE 802.15.4标准族、长期演进(LTE)标准族、通用移动电信***(UMTS)标准族、对等(P2P)网络等。在示例中,网络接口设备520可包括用于连接到通信网络526的一个或多个物理插口(jack)(例如,以太网、共轴、或电话插口)或者一根或多根天线。在示例中,网络接口设备520可包括使用单输入多输出(SIMO)、多输入多输出(MIMO),或多输入单输出(MISO)技术中的至少一种无线地通信的多根天线。在一些示例中,网络接口设备520可使用多用户MIMO技术来无线地通信。术语“传输介质”应当包括任何无形的介质,所述任何无形的介质能够存储、编码或携带由机器500执行的指令,并且“传输介质”包括数字或模拟通信信号或者用于促进此类软件的通信的其他无形的介质。
附加注解与示例:
示例1是一种用于无人机碰撞避免的***,该***包括:相机,用于捕捉环境的图像,其中该相机定向于一方向;接收器,用于从外部源接收第二特征信息,其中第二特征信息是从环境的第二图像提取的,第二图像由定向于该方向的第二相机捕捉;处理电路,用于:从所捕捉图像提取第一特征信息;将第一特征信息与第二特征信息进行匹配;将第二特征信息的第二本地参考系变换至第一特征信息的第一本地参考系以确定外部源的位置;以及基于外部源的位置和当前飞行轨迹来确定是否将发生与外部源的碰撞。
示例2中,示例1的主题包括,其中与外部源的碰撞被确定并且其中处理电路进一步被配置成基于碰撞改变无人机的当前飞行轨迹。
示例3中,示例1-2的主题包括,其中外部源是第二无人机。
示例4中,示例1-3的主题包括,其中外部源是静止物体。
示例5中,示例1-4的主题包括用于广播第一特征信息的传送器。
示例6中,示例1-5的主题包括,其中接收器进一步被配置成接收第三源的位置,第三源不具有与第一特征信息交迭的特征,并且其中处理电路进一步被配置成:基于第三源的位置和当前飞行轨迹来确定是否将发生与第三源的碰撞;以及基于与第三源的碰撞来改变当前飞行轨迹。
示例7中,示例1-6的主题包括,其中接收器进一步被配置成从外部源接收外部源的轨迹信息。
示例8中,示例7的主题包括,其中处理电路进一步被配置成:基于外部源的轨迹信息来确定外部源的相对速度;基于外部源的相对速度来确定虚拟力;基于当前飞行轨迹将虚拟力添加至一位置以创建姿态控制器输入;以及将姿态控制器输入提供至姿态控制器,其中虚拟力从当前飞行轨迹的加速度改变无人机的加速度。
示例9中,示例7-8的主题包括,接收器进一步被配置成从外部源接收外部源优先级信息,并且其中为了确定是否将发生与外部源的碰撞,处理电路被配置成:基于外部源的位置来确定外部源的观察球体;基于无人机的当前位置来确定无人机的碰撞球体;确定外部源的观察球体与无人机的碰撞球体相交;基于外部源的观察球体与无人机的碰撞球体的相交来将当前飞行轨迹与外部源的飞行轨迹对齐;以及基于经对齐轨迹的相交来确定将发生无人机与外部源之间的碰撞。
示例10中,示例7-9的主题包括,其中为了确定是否将发生与外部源的碰撞,处理电路被配置成:针对多个时间点基于当前飞行轨迹来确定无人机的第一位置;针对多个时间点基于外部源的轨迹信息来确定外部源的第二位置;如果自第一位置与第二位置起的连续点之间的路径在同一时间点交叉,则确定将发生碰撞。
示例11中,示例1-10的主题包括,其中方向是向上。
示例12中,示例1-11的主题包括,其中方向是向下。
示例13是一种用于无人机碰撞避免的机器实现方法,该方法包括:使用相机捕捉环境的图像,其中相机定向于一方向;使用接收器从外部源接收第二特征信息,其中第二特征信息是从环境的第二图像提取的,第二图像由定向于该方向的第二相机捕捉;使用处理电路从所捕捉图像提取第一特征信息;将第一特征信息与第二特征信息进行匹配;将第二特征信息的第二本地参考系变换至第一特征信息的第一本地参考系以确定外部源的位置;以及基于外部源的位置和当前飞行轨迹来确定是否将发生与外部源的碰撞。
示例14中,示例13的主题包括,其中方法进一步包括基于确定将发生与外部源的碰撞来改变无人机的当前飞行轨迹。
示例15中,示例13-14的主题包括,其中外部源是第二无人机。
示例16中,示例13-15的主题包括,其中外部源是静止物体。
示例17中,示例13-16的主题包括使用传送器广播第一特征信息。
示例18中,示例13-17的主题包括,接收第三源的位置,第三源不具有与第一特征信息交迭的特征;基于第三源的位置和当前飞行轨迹来确定是否将发生与第三源的碰撞;以及基于与第三源的碰撞来改变当前飞行轨迹。
示例19中,示例13-18的主题包括,从外部源接收外部源的轨迹信息。
示例20中,示例19的主题包括,基于外部源的轨迹信息来确定外部源的相对速度;基于外部源的相对速度来确定虚拟力;基于当前飞行轨迹将虚拟力添加至一位置以创建姿态控制器输入;以及将姿态控制器输入提供至姿态控制器,其中虚拟力从当前飞行轨迹的加速度改变无人机的加速度。
示例21中,示例19-20的主题包括,从外部源接收外部源优先级信息,并且其中确定是否将发生与外部源的碰撞包括:基于外部源的位置来确定外部源的观察球体;基于无人机的当前位置来确定无人机的碰撞球体;确定外部源的观察球体与无人机的碰撞球体相交;基于外部源的观察球体与无人机的碰撞球体的相交来将当前飞行轨迹与外部源的飞行轨迹对齐;以及基于经对齐轨迹的相交来确定将发生无人机与外部源之间的碰撞。
示例22中,示例19-21的主题包括,其中确定是否将发生与外部源的碰撞包括:针对多个时间点基于当前飞行轨迹来确定无人机的第一位置;针对多个时间点基于外部源的轨迹信息来确定外部源的第二位置;如果自第一位置与第二位置起的连续点之间的路径在同一时间点交叉,则确定将发生碰撞。
示例23中,示例13-22的主题包括,其中方向是向上。
示例24中,示例13-23的主题包括,其中方向是向下。
示例25是用于无人机碰撞避免的至少一种计算机可读介质,包括指令,指令在由机器执行时,使机器执行以下操作:捕捉环境的图像,其中相机定向于一方向;从外部源接收第二特征信息,其中第二特征信息是从环境的第二图像提取的,第二图像由定向于该方向的第二相机捕捉;从所捕捉图像提取第一特征信息;将第一特征信息与第二特征信息进行匹配;将第二特征信息的第二本地参考系变换至第一特征信息的第一本地参考系以确定外部源的位置;以及基于外部源的位置和当前飞行轨迹来确定是否将发生与外部源的碰撞。
示例26中,示例25的主题包括,其中指令进一步包括基于确定将发生与外部源的碰撞来改变无人机的当前飞行轨迹。
示例27中,示例25-26的主题包括,其中外部源是第二无人机。
示例28中,示例25-27的主题包括,其中外部源是静止物体。
示例29中,示例25-28的主题包括,其中指令进一步包括使用传送器广播第一特征信息。
示例30中,示例25-29的主题包括,其中指令进一步包括:接收第三源的位置,第三源不具有与第一特征信息交迭的特征;基于第三源的位置和当前飞行轨迹来确定是否将发生与第三源的碰撞;以及基于与第三源的碰撞来改变当前飞行轨迹。
示例31中,示例25-30的主题包括,其中指令进一步包括从外部源接收外部源的轨迹信息。
示例32中,示例30-31的主题包括,其中指令进一步包括:基于外部源的轨迹信息来确定外部源的相对速度;基于外部源的相对速度来确定虚拟力;基于当前飞行轨迹将虚拟力添加至一位置以创建姿态控制器输入;以及将姿态控制器输入提供至姿态控制器,其中虚拟力从当前飞行轨迹的加速度改变无人机的加速度。
示例33中,示例30-32的主题包括,其中指令进一步包括从外部源接收外部源优先级信息,并且其中用于确定是否将发生与外部源的碰撞的指令包括:基于外部源的位置来确定外部源的观察球体;基于无人机的当前位置来确定无人机的碰撞球体;确定外部源的观察球体与无人机的碰撞球体相交;基于外部源的观察球体与无人机的碰撞球体的相交来将当前飞行轨迹与外部源的飞行轨迹对齐;以及基于经对齐轨迹的相交来确定将发生无人机与外部源之间的碰撞。
示例34中,示例30-33的主题包括,其中用于确定是否将发生与外部源的碰撞的指令包括:针对多个时间点基于当前飞行轨迹来确定无人机的第一位置;针对多个时间点基于外部源的轨迹信息来确定外部源的第二位置;如果自第一位置与第二位置起的连续点之间的路径在同一时间点交叉,则确定将发生碰撞。
示例35中,示例25-34的主题包括,其中方向是向上。
示例36中,示例25-35的主题包括,其中方向是向下。
示例37是一种用于飞行器-飞行器通信的设备,该设备包括:用于捕捉环境的图像的装置,其中相机定向于一方向;用于从外部源接收第二特征信息的装置,其中第二特征信息是从环境的第二图像提取的,第二图像由定向于该方向的第二相机捕捉;用于从所捕捉图像提取第一特征信息的装置;用于将第一特征信息与第二特征信息进行匹配的装置;用于将第二特征信息的第二本地参考系变换至第一特征信息的第一本地参考系以确定外部源的位置的装置;以及用于基于外部源的位置和当前飞行轨迹来确定是否将发生与外部源的碰撞的装置。
示例38中,示例37的主题包括,用于基于确定将发生与外部源的碰撞来改变无人机的当前飞行轨迹的装置。
示例39中,示例37-38的主题包括,其中外部源是第二无人机。
示例40中,示例37-39的主题包括,其中外部源是静止物体。
示例41中,示例37-40的主题包括用于使用传送器广播第一特征信息的装置。
示例42中,示例37-41的主题包括,用于接收第三源的位置的装置,第三源不具有与第一特征信息交迭的特征;用于基于第三源的位置和当前飞行轨迹来确定是否将发生与第三源的碰撞的装置;以及用于基于与第三源的碰撞来改变当前飞行轨迹的装置。
示例43中,示例37-42的主题包括,用于从外部源接收外部源的轨迹信息的装置。
示例44中,示例19-43的主题包括,用于基于外部源的轨迹信息来确定外部源的相对速度的装置;用于基于外部源的相对速度来确定虚拟力的装置;用于基于当前飞行轨迹将虚拟力添加至一位置以创建姿态控制器输入的装置;以及用于将姿态控制器输入提供至姿态控制器的装置,其中虚拟力从当前飞行轨迹的加速度改变无人机的加速度。
示例45中,示例19-44的主题包括,用于从外部源接收外部源优先级信息的装置,并且其中用于确定是否将发生与外部源的碰撞的装置包括:用于基于外部源的位置来确定外部源的观察球体的装置;用于基于无人机的当前位置来确定无人机的碰撞球体的装置;用于确定外部源的观察球体与无人机的碰撞球体相交的装置;用于基于外部源的观察球体与无人机的碰撞球体的相交来将当前飞行轨迹与外部源的飞行轨迹对齐的装置;以及用于基于经对齐轨迹的相交来确定将发生无人机与外部源之间的碰撞的装置。
示例46中,示例19-45的主题包括,其中用于确定是否将发生与外部源的碰撞的装置包括:用于针对多个时间点基于当前飞行轨迹来确定无人机的第一位置的装置;用于针对多个时间点基于外部源的轨迹信息来确定外部源的第二位置的装置;用于在自第一位置与第二位置起的连续点之间的路径在同一时间点交叉的情况下确定将发生碰撞的装置。
示例47中,示例37-46的主题包括,其中方向是向上。
示例48中,示例37-47的主题包括,其中方向是向下。
示例49是至少一种机器可读介质,其包括指令,指令在被处理器电路***执行时,使得处理器电路***执行操作以便实现示例1-48中的任一示例。
示例50是一种设备,包括用于实现示例1-48中的任一示例的装置。
示例51是一种***,用于实现示例1-48中的任一示例。
示例52是一种方法,用于实现示例1-48中的任一示例。
上述详细描述包括参照附图,附图形成详细描述的一部分。附图通过图示方式示出可被实施的具体实施例。在本文中,这些实施例也被称为“示例”。此类示例可包括除所示或所述元件以外的元件。然而,也构想出包括所示和所述元件的示例。此外,还构想了或者参考特定的示例(或其一个或多个方面),或者参考本文所示或所述的其它示例(或其一个或多个方面),使用所示或所述的那些元件(或其一个或多个方面)的任意组合或排列的示例。
本文献中所涉及的公开、专利、和专利文献通过引用整体结合于此,好像通过引用单独地被结合进来一样。在本文献和通过引用所结合的那些文献之间存在不一致的用法的情况下,在所结合的引用中的用法应当被认为是对本文献的用法的补充;对于不可调和的不一致,以本文献中的用法为准。
在本文档中,术语“一”或“一个”正如在专利文件中常见的那样用于包括一个或一个以上,与“至少一个”或“一个或多个”的任何其它示例或使用无关。在本文献中,术语“或”用于指示非排他性的或,使得“A或B”包括“A而非B”、“非A”以及“A和B”,除非另外指示。在所附权利要求中,术语“包括(including)”和“其中(in which)”分别用作简明英语中术语“包括(comprising)”和“其中(wherein)”的等价词。并且,在一些权利要求书中,术语“包括”和“包含”是开放式的,即,***、设备、制品或过程包括除之后列出的那些元素之外的元素,在权利要求中的这种术语仍然被视为落在权利要求的范围之内。此外,在所附权利要求书中,术语“第一”、“第二”及“第三”等仅用作标记,而不旨在对他们的对象表明数值次序。
上述实施例可以被实现在各种硬件配置中,该硬件配置可包括用于执行实施上述技术的指令的处理器。此类指令可被包含在及其可读介质(诸如,合适的存储介质或存储器)或其他处理器可执行介质中。
上述描述旨在是示例性而非限制性的。例如,上述示例(或其一个或多个方面)可彼此组合地使用。诸如由本领域普通技术人员在仔细阅读以上描述之后实施的其他实施例也可以被使用。摘要允许读者快速地确定本技术公开的性质。提交该摘要应当理解,该摘要将不用于解释或限制权利要求的范围或含义。此外,在以上具体实施方式中,各种特征可共同成组以使本公开流畅。然而,权利要求可以不陈述本文中所公开的每一特征,因为实施例可以表征所述特征的子集。进一步地,实施例可包括比特定示例中所公开的那些特征更少的特征。因此,所附权利要求书由此被结合到具体实施方式中,一项权利要求作为单独的实施例而独立存在。本文中所公开的实施例的范围应当参照所附权利要求书连同此类权利要求所赋予权利的等价方案的完整范围来确定。

Claims (25)

1.一种用于无人机碰撞避免的装置,所述装置包括:
处理电路,用于:
从图像提取第一特征信息,所述图像是从定向于一方向的第一相机捕捉的;
从外部源接收第二特征信息,其中所述第二特征信息是从所述环境的第二图像提取的,所述第二图像由定向于所述方向的第二相机捕捉;
将所述第一特征信息与所述第二特征信息进行匹配;
将所述第二特征信息的第二本地参考系变换至所述第一特征信息的第一本地参考系以确定所述外部源的位置;以及
基于所述外部源的位置和当前飞行轨迹来确定是否将发生与所述外部源的碰撞。
2.如权利要求1所述的装置,其特征在于,与所述外部源的碰撞被确定并且其中所述处理电路进一步被配置成基于所述碰撞改变所述当前飞行轨迹。
3.如权利要求1所述的装置,其特征在于,所述外部源是第二无人机。
4.如权利要求1所述的装置,其特征在于,所述外部源是静止物体。
5.如权利要求1所述的装置,其特征在于,进一步包括用于广播所述第一特征信息的传送器。
6.如权利要求1所述的装置,其特征在于,所述处理电路进一步被配置成接收第三源的位置,所述第三源不具有与所述第一特征信息交迭的特征,并且其中所述处理电路进一步被配置成:
基于所述第三源的位置和当前飞行轨迹来确定是否将发生与所述第三源的碰撞;以及
基于确定将发生与所述第三源的碰撞来改变所述当前飞行轨迹。
7.如权利要求1-6中任一项所述的装置,其特征在于,所述处理电路进一步被配置成从所述外部源接收所述外部源的轨迹信息。
8.如权利要求7所述的装置,其特征在于,所述处理电路被进一步配置成:
基于所述外部源的所述轨迹信息来确定所述外部源的相对速度;
基于所述外部源的所述相对速度来确定虚拟力;
基于所述当前飞行轨迹将所述虚拟力添加至一位置以创建姿态控制器输入;以及
将所述姿态控制器输入提供至姿态控制器,其中所述虚拟力从所述当前飞行轨迹的加速度改变所述无人机的加速度。
9.如权利要求7所述的装置,其特征在于,所述处理电路进一步被配置成从所述外部源接收外部源优先级信息,并且其中为了确定是否将发生与所述外部源的碰撞,所述处理电路被配置成:
基于所述外部源的位置来确定所述外部源的观察球体;
基于所述无人机的当前位置来确定所述无人机的碰撞球体;
确定所述外部源的所述观察球体与所述无人机的所述碰撞球体相交;
基于所述外部源的所述观察球体与所述无人机的所述碰撞球体的相交来将当前飞行轨迹与所述外部源的飞行轨迹对齐;以及
基于经对齐轨迹的相交来确定将发生所述无人机与所述外部源之间的碰撞。
10.如权利要求7所述的装置,其特征在于,为了确定是否将发生与所述外部源的碰撞,所述处理电路被配置成:
针对多个时间点基于所述当前飞行轨迹来确定所述无人机的第一位置;
针对所述多个时间点基于所述外部源的轨迹信息来确定所述外部源的第二位置;以及
如果自所述第一位置与所述第二位置起的连续点之间的路径在同一时间点交叉,则确定将发生碰撞。
11.如权利要求1-6中任一项所述的装置,其特征在于,所述方向是向上。
12.如权利要求1-6中任一项所述的装置,其特征在于,所述方向是向下。
13.一种用于无人机碰撞避免的机器实现方法,所述方法包括:
使用相机捕捉环境的图像,其中所述相机定向于一方向;
使用接收器从外部源接收第二特征信息,其中所述第二特征信息是从所述环境的第二图像提取的,所述第二图像由定向于所述方向的第二相机捕捉;
使用处理电路从所捕捉图像提取第一特征信息;
将所述第一特征信息与所述第二特征信息进行匹配;
将所述第二特征信息的第二本地参考系变换至所述第一特征信息的第一本地参考系以确定所述外部源的位置;以及
基于所述外部源的位置和当前飞行轨迹来确定是否将发生与所述外部源的碰撞。
14.如权利要求13所述的方法,其特征在于,所述方法进一步包括基于确定将发生与所述外部源的碰撞来改变所述无人机的所述当前飞行轨迹。
15.如权利要求13所述的方法,其特征在于,所述外部源是第二无人机。
16.如权利要求13所述的方法,其特征在于,所述外部源是静止物体。
17.如权利要求13所述的方法,其特征在于,进一步包括使用传送器广播所述第一特征信息。
18.如权利要求13所述的方法,其特征在于,进一步包括:
接收第三源的位置,所述第三源不具有与所述第一特征信息交迭的特征;
基于所述第三源的位置和当前飞行轨迹来确定是否将发生与所述第三源的碰撞;以及
基于确定将发生与所述第三源的碰撞来改变所述当前飞行轨迹。
19.如权利要求13所述的方法,其特征在于,进一步包括从所述第二源接收所述第二源的轨迹信息。
20.如权利要求19所述的方法,其特征在于,进一步包括:
基于所述外部源的所述轨迹信息来确定所述外部源的相对速度;
基于所述外部源的所述相对速度来确定虚拟力;
基于所述当前飞行轨迹将所述虚拟力添加至一位置以创建姿态控制器输入;以及
将所述姿态控制器输入提供至姿态控制器,其中所述虚拟力从所述当前飞行轨迹的加速度改变所述无人机的加速度。
21.如权利要求19所述的方法,其特征在于,从所述外部源接收外部源优先级信息,并且其中确定是否将发生与所述外部源的碰撞包括:
基于所述外部源的位置来确定所述外部源的观察球体;
基于所述无人机的当前位置来确定所述无人机的碰撞球体;
确定所述外部源的所述观察球体与所述无人机的所述碰撞球体相交;
基于所述外部源的所述观察球体与所述无人机的所述碰撞球体的相交来将当前飞行轨迹与所述外部源的飞行轨迹对齐;以及
基于经对齐轨迹的相交来确定将发生所述无人机与所述外部源之间的碰撞。
22.如权利要求19所述的方法,其特征在于,确定是否将发生与所述外部源的碰撞包括:
针对多个时间点基于所述当前飞行轨迹来确定所述无人机的第一位置;
针对所述多个时间点基于所述外部源的轨迹信息来确定所述外部源的第二位置;
如果自所述第一位置与所述第二位置起的连续点之间的路径在同一时间点交叉,则确定将发生碰撞。
23.如权利要求13所述的方法,其特征在于,所述方向是向下。
24.用于无人机碰撞避免的至少一种计算机可读介质,包括指令,所述指令在由机器执行时,使所述机器执行以下操作:
捕捉环境的图像,其中所述相机定向于一方向;
从外部源接收第二特征信息,其中所述第二特征信息是从所述环境的第二图像提取的,所述第二图像由定向于所述方向的第二相机捕捉;
从所捕捉图像提取第一特征信息;
将所述第一特征信息与所述第二特征信息进行匹配;
将所述第二特征信息的第二本地参考系变换至所述第一特征信息的第一本地参考系以确定所述外部源的位置;以及
基于所述外部源的位置和当前飞行轨迹来确定是否将发生与所述外部源的碰撞。
25.一种用于飞行器-飞行器通信的设备,所述设备包括:
用于捕捉环境的图像的装置,其中所述相机定向于一方向;
用于从外部源接收第二特征信息的装置,其中所述第二特征信息是从所述环境的第二图像提取的,所述第二图像由定向于所述方向的第二相机捕捉;
用于从所捕捉图像提取第一特征信息的装置;
用于将所述第一特征信息与所述第二特征信息进行匹配的装置;
用于将所述第二特征信息的第二本地参考系变换至所述第一特征信息的第一本地参考系以确定所述外部源的位置的装置;以及
用于基于所述外部源的位置和当前飞行轨迹来确定是否将发生与所述外部源的碰撞的装置。
CN201811278816.5A 2017-11-30 2018-10-30 基于视觉的协作冲突避免 Pending CN109859533A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/828,134 2017-11-30
US15/828,134 US10657833B2 (en) 2017-11-30 2017-11-30 Vision-based cooperative collision avoidance

Publications (1)

Publication Number Publication Date
CN109859533A true CN109859533A (zh) 2019-06-07

Family

ID=65274282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811278816.5A Pending CN109859533A (zh) 2017-11-30 2018-10-30 基于视觉的协作冲突避免

Country Status (3)

Country Link
US (1) US10657833B2 (zh)
CN (1) CN109859533A (zh)
DE (1) DE102018127144A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134430A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 无人机的控制方法、装置和***
CN113497929A (zh) * 2020-04-08 2021-10-12 美光科技公司 成对或成组的无人机
CN117912309A (zh) * 2024-03-15 2024-04-19 阿斯默特(成都)科技有限公司 一种飞行器风险预警方法和装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180186472A1 (en) * 2016-12-30 2018-07-05 Airmada Technology Inc. Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system
US10657833B2 (en) 2017-11-30 2020-05-19 Intel Corporation Vision-based cooperative collision avoidance
US11423791B2 (en) * 2018-01-05 2022-08-23 Gopro, Inc. Adaptive object detection
US10733896B2 (en) 2018-03-30 2020-08-04 Intel Corporation Projection-based cooperative collision avoidance
JP6974247B2 (ja) * 2018-04-27 2021-12-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 情報処理装置、情報提示指示方法、プログラム、及び記録媒体
EP3627447B1 (en) * 2018-09-24 2022-06-29 Tata Consultancy Services Limited System and method of multirotor dynamics based online scale estimation for monocular vision
CN109358633B (zh) * 2018-10-18 2020-07-03 北京航空航天大学 基于最后通牒博弈论的飞行控制方法及装置
CN115086606A (zh) * 2018-12-05 2022-09-20 深圳阿科伯特机器人有限公司 移动目标的监控方法、装置、***、存储介质及机器人
US20220129017A1 (en) * 2019-02-18 2022-04-28 Sony Group Corporation Flight body, information processing method, and program
CN110288511B (zh) * 2019-05-10 2023-04-07 台州宏达电力建设有限公司台州经济开发区运检分公司 基于双相机图像的最小化误差拼接方法、装置、电子设备
EP3742248A1 (en) * 2019-05-20 2020-11-25 Sony Corporation Controlling a group of drones for image capture
CN110162093B (zh) * 2019-06-13 2022-02-11 中国人民解放军军事科学院国防科技创新研究院 一种基于几何相似性设计的高适应性编队控制方法
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪***
JP7206530B2 (ja) * 2019-08-27 2023-01-18 日本電信電話株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
JP2022121819A (ja) * 2021-02-09 2022-08-22 トヨタ自動車株式会社 ロボット制御システム、ロボット制御方法、及び、制御プログラム
US20220281598A1 (en) * 2021-03-04 2022-09-08 Everseen Limited System and method for avoiding collision with non-stationary obstacles in an aerial movement volume
US20240212508A1 (en) * 2021-06-07 2024-06-27 Telefonaktiebolaget Lm Ericsson (Publ) Acquisition of Flight Information for UAV Communications
CN117434967B (zh) * 2023-12-18 2024-03-15 成都正扬博创电子技术有限公司 一种无人机防撞检测方法、***、介质及设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201248347A (en) 2011-05-18 2012-12-01 Hon Hai Prec Ind Co Ltd System and method for controlling unmanned aerial vehicle
JP6584017B2 (ja) 2014-07-18 2019-10-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 航空機に基づく画像投影方法、装置及び航空機
WO2016065623A1 (en) 2014-10-31 2016-05-06 SZ DJI Technology Co., Ltd. Systems and methods for surveillance with visual marker
JP6450021B2 (ja) 2015-03-31 2019-01-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Uav相互認証のためのシステム、方法、及びコンピュータ可読媒体
WO2017057157A1 (ja) 2015-09-30 2017-04-06 株式会社ニコン 飛行装置、移動装置、サーバおよびプログラム
KR20170074453A (ko) 2015-12-22 2017-06-30 자이로캠주식회사 근거리 무선통신망 기반의 드론과 드로간 자동 충돌방지 및 회피 시스템
KR20170139326A (ko) 2016-06-09 2017-12-19 홍익대학교 산학협력단 무인 비행체의 자율비행시스템 및 자율비행방법
US10721461B2 (en) * 2017-07-28 2020-07-21 California Institute Of Technology Collaborative stereo system for three-dimensional terrain and object reconstruction
US10657833B2 (en) 2017-11-30 2020-05-19 Intel Corporation Vision-based cooperative collision avoidance
US10733896B2 (en) 2018-03-30 2020-08-04 Intel Corporation Projection-based cooperative collision avoidance

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021134430A1 (zh) * 2019-12-31 2021-07-08 华为技术有限公司 无人机的控制方法、装置和***
CN113497929A (zh) * 2020-04-08 2021-10-12 美光科技公司 成对或成组的无人机
CN113497929B (zh) * 2020-04-08 2024-07-23 美光科技公司 成对或成组的无人机
CN117912309A (zh) * 2024-03-15 2024-04-19 阿斯默特(成都)科技有限公司 一种飞行器风险预警方法和装置

Also Published As

Publication number Publication date
US20190051193A1 (en) 2019-02-14
US10657833B2 (en) 2020-05-19
DE102018127144A1 (de) 2019-06-06

Similar Documents

Publication Publication Date Title
CN109859533A (zh) 基于视觉的协作冲突避免
CN110446159B (zh) 一种室内无人机精确定位与自主导航的***及方法
CN110072749B (zh) 自主驾驶中交通动态与道路变化的检测
Wilson et al. Embedded sensors, communication technologies, computing platforms and machine learning for UAVs: A review
CN104854428B (zh) 传感器融合
US10025315B2 (en) Unmanned or optionally manned vehicle, system and methods for determining positional information of unmanned or optionally manned vehicles
US10768623B2 (en) Drone path planning
CN108780325B (zh) 用于调整无人飞行器轨迹的***和方法
CN105518555B (zh) 目标追踪***及方法
US9429945B2 (en) Surveying areas using a radar system and an unmanned aerial vehicle
US11294377B2 (en) Autonomous vehicle maneuver recognition
CN108139758A (zh) 基于显著性特征的载运工具定位
CN108885461A (zh) 用于静止对象和运动对象的无人机飞行限制的***和方法
CN114594792A (zh) 用于控制可移动物体的设备和方法
CN115220475A (zh) 用于uav飞行控制的***和方法
CN105573330A (zh) 基于智能终端的飞行器操控方法
JP2017117018A (ja) 無人小型航空機飛行ルート設定・登録システム及び方法
EP3761062A1 (en) Position determination of mobile objects
CN204660021U (zh) 一种六旋翼无人侦察直升机***
CN108235809A (zh) 端云结合定位方法、装置及电子设备、计算机程序产品
WO2020107454A1 (zh) 障碍物的精准确定方法、设备及计算机可读存储介质
CN110291480A (zh) 一种无人机测试方法、设备及存储介质
KR101716653B1 (ko) 드론 분실 추적 방법
WO2017112179A1 (en) Body-centric mobile point-of-view augmented and virtual reality
JP6689046B2 (ja) 物体検出システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination