CN109496328A - 用于立体图像的选择性配对成像元件 - Google Patents

用于立体图像的选择性配对成像元件 Download PDF

Info

Publication number
CN109496328A
CN109496328A CN201780035633.8A CN201780035633A CN109496328A CN 109496328 A CN109496328 A CN 109496328A CN 201780035633 A CN201780035633 A CN 201780035633A CN 109496328 A CN109496328 A CN 109496328A
Authority
CN
China
Prior art keywords
image
forming component
aircraft
camera
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780035633.8A
Other languages
English (en)
Inventor
S.R.哈里斯
B.J.奥布里恩
J.J.沃森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109496328A publication Critical patent/CN109496328A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)

Abstract

本公开描述了诸如无人驾驶飞行器(“UAV”)的飞行器的配置,所述飞行器包括多个相机,所述多个相机可选择性地组合以形成立体像对以用于获得立体图像,所述立体图像提供对应于那些图像中表示的物体的深度信息。依据物体与所述飞行器之间的距离,可基于这些相机之间的基线以及所述物体与所述飞行器之间的距离来为所述立体像对选择不同的相机。例如,可选择具有较小基线(靠在一起)的相机来生成靠近所述飞行器的物体的立体图像和深度信息。相比之下,可选择具有较大基线的相机以生成距所述飞行器更远的物体的立体图像和深度信息。

Description

用于立体图像的选择性配对成像元件
优先权
本申请要求2016年6月8日提交的标题为“用于立体图像的选择性配对成像元件(Selectively Paired Imaging Elements For Stereo Images)”的美国申请号15/176,734的权益,所述申请的全部内容通过引用的方式并入本文。
背景技术
数字图像是通常以阵列布置的像素集合,其定义了场景的一个或多个物体、背景或其他特征的光学形成的再现。在数字图像中,每个像素表示或标识与这些物体、背景或特征的一部分相关联的颜色或其他光照条件。例如,黑白数字图像包括用于以二进制方式(例如,黑色或白色)表示像素的光照条件的单个位,而灰度数字图像可以多个位表示光照条件(例如,用于根据黑和白的百分比或份额来定义灰色的色调的二至八个位,并且彩色数字图像可包括对应于多个基色中的每一个(例如,红色、绿色或蓝色)的位组,并且位组可共同表示与像素相关联的颜色。一种常见的数字图像是二十四位(24位)彩色数字图像,其中每个像素各自包括八个位的三个通道,包括用于描述像素内的红色程度的八个位的第一通道、用于描述像素内的绿色程度的八个位的第二通道以及用于描述像素内的蓝色程度的八个位的第三通道。
深度图像或深度图也是像素集合,其定义了场景的一个或多个物体、背景或其他特征的光学形成的再现。然而,与数字图像的像素不同,深度图像的每个像素表示或标识的不是这些物体、背景或特征的光照条件或颜色,而是物体、背景或特征的距离。例如,深度图像的像素可表示拍摄深度图像的成像装置的传感器(例如,深度相机或距离传感器)与像素所对应的相应物体、背景或特征之间的距离。
可通过比较通过由已知基线分开的相机获得的两个或更多个数字图像来确定深度图像或深度图,以确定两个或更多个数字图像的相关像素之间的视差。图像中表示的物体的信息的分辨率通常取决于相机与物体之间的距离以及两个相机之间的基线距离。
附图说明
参考附图来阐述详细描述。在图中,参考数字中最左侧的数字标识所述附图标记首次出现的图。在不同的图中使用的相同附图标记指示类似或相同的物项或特征。
图1描绘了根据一种实现方式的无人驾驶飞行器配置的视图。
图2A和图2B描绘了根据一种实现方式的飞行器的多个可选择成像元件的视图。
图3描绘了根据一种实现方式的飞行器的多个可选择成像元件的另一视图。
图4描绘了根据一种实现方式的飞行器的多个可选择成像元件的另一视图。
图5是示出根据一种实现方式的用于成像元件选择的示例性过程的流程图。
图6是可与各种实现方式一起使用的无人驾驶飞行器控制***的说明性实现方式的框图。
虽然在本文中通过举例来描述了多种实现方式,但是本领域的技术人员将认识到,所述实现方式不限于所描述的示例或附图。应理解,附图和随之的详细描述并不旨在将实现方式限制为所公开的具体形式,而正相反,其旨在涵盖落入由所附权利要求限定的精神和范围内的所有修改、等效物以及替代方案。本文中使用的标题都仅用于组织目的,并且并不旨在用于限制本说明书或权利要求的范围。如贯穿本申请所用,词语“可”是在许可的意义上(即,意指具有可能性)、而非强制的意义上(即,意指必须)使用。类似地,词语“包括”意味着包括但不限于。此外,如本文所使用的,术语“耦接”可指连接在一起的两个或更多个部件,无论所述连接是永久的(例如,焊接)或临时的(例如,螺栓连接)、直接的或间接的(即通过中间件)、机械的、化学的、光学的或电的。此外,如本文所使用的,“水平”飞行是指在基本上平行于地面的方向上(即,海平面)行进的飞行,并且“垂直”飞行是指从地球中心基本上径向向外行进的飞行。本领域普通技术人员应理解,轨迹可包括“水平”和“垂直”飞行矢量这两者的分量。
具体实施方式
本公开描述了诸如无人驾驶飞行器(“UAV”)的飞行器的配置,所述飞行器包括多个相机,所述多个相机可选择性地组合以形成立体像对以用于获得图像,所述图像可一起处理以提供对应于那些图像中表示的物体的深度信息。根据物体与飞行器之间的距离,可基于这些相机之间的基线距离来为立体像对选择不同的相机组合。例如,可选择具有较小基线距离(靠在一起)的相机来生成图像,将所述图像进行比较以确定靠近飞行器的物体的深度信息。相比之下,可选择具有较大基线距离的相机以生成图像,将所述图像进行比较以确定距飞行器更远的物体的深度信息。
图1示出了根据一种实现方式的飞行器的视图,在所述实例中是UAV 100。如图所示,UAV 100包括周边框架104,所述周边框架包括前翼120、下后翼124、上后翼122以及两个水平侧面轨道130-1、130-2。水平侧面轨道130耦接到前翼120的相对端以及上后翼122和下后翼124的相对端。在一些实现方式中,所述耦接可利用拐角接合部,诸如左前拐角接合部131-1、右前拐角接合部131-2、左后拐角接合部131-3和右后拐角接合部131-4。在这种示例中,拐角接合部也是周边框架104的一部分。
周边框架104的部件,诸如前翼120、下后翼124、上后翼122、侧面轨道130-1、130-2以及拐角接合部131,可由任何一种或多种合适的材料形成,诸如石墨、碳纤维、铝、钛等或其任何组合。在示出的示例中,UAV 100的周边框架104的部件各自由碳纤维形成,并且使用拐角联接部131在拐角处联接。可使用各种技术来耦接周边框架104的部件。例如,如果周边框架104的部件是碳纤维,则它们可装配在一起并使用二级胶合而联接,这是本领域技术人员已知的技术。在其他实现方式中,周边框架104的部件可用诸如螺钉、铆钉、闩锁、四分之一圈紧固件等的一个或多个附接机构来粘附,或者以其他方式以永久或可移除的方式固定在一起。
前翼120、下后翼124和上后翼122被定位成三翼配置,并且当UAV在包括水平分量的方向上移动时,每个翼均为UAV 100提供升力。例如,翼可各自具有翼型形状,所述翼型形状在水平飞行期间由于气流经过翼而产生升力。
前翼120的相对端可耦接到拐角接合部131,诸如左前拐角接合部131-1和右前拐角接合部131-2。在一些实现方式中,如以下讨论的,前翼可包括一个或多个襟翼127或副翼,其可用于单独地或者与提升马达106、提升螺旋桨102、推进马达110、推进螺旋桨112和/或后翼上的其他襟翼组合地来调节UAV 100的俯仰、偏航和/或侧倾。在一些实现方式中,襟翼127还可用作保护罩,以进一步阻碍UAV 100外部的物体进入提升螺旋桨102。例如,当UAV100在垂直方向上移动或悬停时,襟翼127可延伸以增加围绕提升螺旋桨102的一部分的保护屏障的高度。
在一些实现方式中,如图1所示,前翼120可包括两对或更多对襟翼127。在其他实现方式中,例如,如果没有前推进马达110-1,则前翼120可仅包括基本上在前翼120的长度上延伸的单个襟翼127。如果前翼120不包括襟翼127,则可利用提升马达106和提升螺旋桨102、推进马达110、推进螺旋桨112和/或后翼的襟翼来在飞行期间控制UAV 100的俯仰、偏航和/或侧倾。
下后翼124的相对端可耦接到拐角接合部131,诸如左后拐角接合部131-3和右后拐角接合部131-4。在一些实现方式中,下后翼可包括一个或多个襟翼123或副翼,其可用于单独地或者与提升马达106、提升螺旋桨102、推进马达110、推进螺旋桨112和/或前翼的襟翼127组合地来调节UAV 100的俯仰、偏航和/或侧倾。在一些实现方式中,襟翼123还可用作保护罩,以进一步阻碍UAV 100外部的物体进入提升螺旋桨102。例如,当UAV 100在垂直方向上移动或悬停时,襟翼123可延伸,类似于前翼120的前襟翼127的延伸。
在一些实现方式中,如图1所示,后翼124可包括两个或更多个襟翼123,或者分别包括两对或更多对襟翼。在其他实现方式中,例如,如果没有后推进马达110-2安装到下后翼,则后翼124可仅包括单个襟翼123,所述襟翼基本上延伸下后翼124的长度。在其他实现方式中,如果下后翼包括两个推进马达,则下后翼可被配置成包括三个襟翼123,一个位于下后翼124的任一端上,并且一个位于安装到下后翼124的两个推进马达之间。
上后翼122的相对端可耦接到拐角接合部131,诸如左后拐角接合部131-3和右后拐角接合部131-4。在一些实现方式中,如同下后翼,上后翼122可包括一个或多个襟翼(未示出)或副翼,其可用于单独地或者与提升马达106、提升螺旋桨102、推进马达110、推进螺旋桨112和/或其他翼的其他襟翼组合地来调节UAV 100的俯仰、偏航和/或侧倾。在一些实现方式中,襟翼还可用作保护罩,以进一步阻碍UAV 100外部的物体进入提升螺旋桨102。例如,当UAV 100在垂直方向上移动或悬停时,襟翼可延伸,类似于前翼120的前襟翼127或下后翼的襟翼123的延伸。
前翼120、下后翼124和上后翼122可成比例地定位和定尺寸,以在UAV 100在包括水平分量的方向上移动时为UAV提供稳定性。例如,下后翼124和上后翼122垂直堆叠,使得由下后翼124和上后翼122中的每一个产生的垂直升力矢量靠在一起,这可能在水平飞行期间不稳定。相比之下,前翼120纵向地与后翼分离,使得由前翼120产生的垂直升力矢量与下后翼124和上后翼122的垂直升力矢量一起起作用,从而提供效率、稳定性和控制。
在一些实现方式中,为了进一步增加UAV 100的稳定性和控制,一个或多个小翼121或稳定器臂也可耦接到周边框架104并作为其一部分被包括在内。在关于图1所示的示例中,存在两个前小翼121-1和121-2分别安装到左前拐角接合部131-1和右前拐角接合部131-2的下侧。小翼121在大致垂直于前翼120和侧面轨道130的向下方向上延伸。同样,当UAV 100在包括水平分量的方向上移动时,两个后拐角接合部131-3、131-4也形成并作为小翼来操作,从而为UAV 100提供额外的稳定性和控制。
小翼121和后拐角接合部131可具有与UAV 100的长度、宽度和高度成比例的尺寸,并且可基于UAV 100的近似重心来定位,以在水平飞行期间向UAV 100提供稳定性和控制。例如,在一种实现方式中,UAV 100从UAV 100的前部到UAV 100的后部可为约64.75英寸长并且约60.00英寸宽。在这种配置中,前翼120具有约60.00英寸乘约7.87英寸的尺寸。下后翼124具有约60.00英寸乘约9.14英寸的尺寸。上后翼122具有约60.00英寸乘约5.47英寸的尺寸。下后翼与上后翼之间的垂直间距约为21.65英寸。小翼121在与UAV的周边框架的拐角接合部处宽约6.40英寸,在小翼的相对端处宽约5.91英寸,并且长约23.62英寸。后拐角接合部131-3、131-4在与后下翼124耦接的端部处宽约9.14英寸,在相对端处宽约8.04英寸,并且长约21.65英寸。UAV 100的总重量约为50.00磅。
耦接到周边框架104的内部的是中心框架107。中心框架107包括毂108和马达臂105,所述马达臂从毂108延伸并耦接到周边框架104的内部。在所述示例中,存在单个毂108和四个马达臂105-1、105-2、105-3和105-4。马达臂105中的每一个从毂108的大约一个拐角延伸,并且耦接或端接到周边框架的相应内拐角中。在一些实现方式中,每个马达臂105可耦接到周边框架104的拐角接合部131中。如同周边框架104,中心框架107可由任何合适的材料形成,诸如石墨、碳纤维、铝、钛等或其任何组合。在所述示例中,中心框架107由碳纤维形成并且在拐角联接部131处在周边框架104的拐角处联接。将中心框架107联接到周边框架104可使用以上讨论的用于联接周边框架104的部件的任何一种或多种技术来完成。
提升马达106在每个马达臂105的大致中心处耦接,使得提升马达106和对应的提升螺旋桨102在周边框架104的大致矩形形状内。在一种实现方式中,提升马达106在向下方向上安装到每个马达臂105的下侧或底侧,使得安装到提升螺旋桨102的提升马达的螺旋桨轴面向下。在其他实现方式中,如图1所示,提升马达106可在向上方向上安装到马达臂105的顶部,使得安装到提升螺旋桨102的提升马达的螺旋桨轴面向上。在所述示例中,存在四个提升马达106-1、106-2、106-3、106-4,每个提升马达被安装到相应的马达臂105-1、105-2、105-3和105-4的上侧。
在一些实现方式中,多个提升马达可耦接到每个马达臂105。例如,虽然图1示出了四爪直升机配置,其中每个提升马达安装到每个马达臂的顶部,类似的配置可用于八爪直升机。例如,除了将马达106安装到每个马达臂105的上侧之外,另一个提升马达也可安装到每个马达臂105的下侧并且在向下方向上定向。在另一种实现方式中,中心框架可具有不同的配置,诸如附加的马达臂。例如,八个马达臂可在不同方向上延伸,并且提升马达可安装到每个马达臂。
提升马达可为任何形式的马达,其能够利用提升螺旋桨102产生足够的旋转速度以提升UAV 100和任何接合的有效载荷,从而实现有效载荷的空中运输。
安装到每个提升马达106的是提升螺旋桨102。提升螺旋桨102可为任何形式(例如,石墨、碳素纤维)的螺旋桨并且具有足以提升UAV 100以及由UAV 100接合的任何有效载荷的尺寸,使得UAV 100可在空中航行例如以将有效载荷递送至递送位置。例如,提升螺旋桨102可各自为具有二十四英寸的尺寸或直径的碳纤维螺旋桨。虽然图1的说明示出了所有相同尺寸的提升螺旋桨102,在一些实现方式中,提升螺旋桨102中的一个或多个可为不同的大小和/或尺寸。同样,虽然所述示例包括四个提升螺旋桨102-1、102-2、102-3、102-4,但在其他实现方式中,可使用更多或更少的螺旋桨来作为提升螺旋桨102。同样,在一些实现方式中,提升螺旋桨102可定位在UAV 100上的不同位置处。此外,替代性推进方法可用作本文描述的实现方式中的“马达”。例如,可使用风扇、喷气式飞机、涡轮喷气发动机、涡轮风扇、喷气发动机、内燃机等(具有螺旋桨或其他装置)来为UAV提供升力。
除了提升马达106和提升螺旋桨102之外,UAV 100还可包括一个或多个推进马达110和对应的推进螺旋桨112。推进马达和推进螺旋桨可与提升马达106和提升螺旋桨102相同或不同。例如,在一些实现方式中,推进螺旋桨可由碳纤维形成并且长约十八英寸。在其他实现方式中,推进马达可利用其他形式的推进来推进UAV。例如,可使用风扇、喷气式飞机、涡轮喷气发动机、涡轮风扇、喷气发动机、内燃机等(具有螺旋桨或者具有其他装置)作为推进马达。
推进马达和推进螺旋桨可相对于UAV 100的周边框架104和中心框架107以约九十度定向,并且用于提高包括水平分量的飞行的效率。例如,当UAV 100在包括水平分量的方向上行进时,可接合推进马达以经由推进螺旋桨提供水平推力以水平地推进UAV 100。因此,可降低提升马达106所利用的速度和功率。替代地,在选定的实现方式中,推进马达可相对于周边框架104和中心框架107以大于或小于九十度的角度定向,以提供推力和升力的组合。
在图1所示的示例中,UAV 100包括两个推进马达110-1、110-2以及对应的推进螺旋桨112-1、112-2。具体地,在示出的示例中,存在前推进马达110-1耦接到前翼120的大致中点并且定位在所述中点附近。前推进马达110-1被定向成使得对应的推进螺旋桨112-1被定位在周边框架104内。第二推进马达耦接到下后翼124的大致中点并且定位在所述中点附近。后推进马达110-2被定向成使得对应的推进螺旋桨112-2被定位在周边框架104内。
虽然图1所示的示例示出了具有两个推进马达110和对应的推进螺旋桨112的UAV,但是在其他实现方式中,可存在更少或额外的推进马达和对应的推进螺旋桨。例如,在一些实现方式中,UAV 100可仅包括单个后推进马达110和对应的推进螺旋桨112。在另一种实现方式中,可存在两个推进马达和对应的推进螺旋桨安装到下后翼124。在这种配置中,可包括前推进马达110-1或者从UAV 100中将其省略。同样,虽然图1所示的示例示出了被定向以将推进螺旋桨定位在周边框架104内的推进马达,但是在其他实现方式中,推进马达110中的一个或多个可被定向成使得对应的推进螺旋桨112被定向在保护框架104的外部。
周边框架104通过抑制从UAV 100侧进入升降螺旋桨102来为UAV 100的外部物体提供安全,为UAV 100提供保护,并且增加UAV 100的结构完整性。例如,如果UAV 100水平行进并且与外来物体(例如,墙壁、建筑物)碰撞,则UAV 100与外来物体之间的撞击将伴随周边框架104而不是螺旋桨。同样,由于框架与中心框架107互连,因此来自撞击的力跨周边框架104和中心框架107两者消散。
周边框架104还提供UAV 100的一个或多个部件可安装在其上的表面。替代地或此外,UAV的一个或多个部件可安装或定位在周边框架104的部分的空腔内。例如,一根或多根天线可安装在前翼120上或前翼中。天线可用于发送和/或接收无线通信。例如,天线可用于Wi-Fi、卫星、近场通信(“NFC”)、蜂窝通信或任何其他形式的无线通信。其他部件,诸如成像元件(例如,相机)、飞行时间传感器、加速度计、倾斜仪、距离确定元件、平衡环、全球定位***(GPS)接收器/发射器、雷达、照明元件、扬声器和/或UAV 100或飞行器控制***的任何其他部件(以下讨论)等,同样可安装到周边框架104上或周边框架中。同样,标识或反射标识符可安装到周边框架104,以帮助标识UAV 100。
在一些实现方式中,如下所述,诸如数字静态照相机,红、绿、蓝(RGB)照相机,摄像机,热成像相机等的多个成像元件150可安装到UAV 100的框架并且围绕所述框架间隔开。同样,一个或多个距离确定元件151可耦接到飞行器的框架。可使用任何类型的距离确定元件,包括但不限于飞行时间传感器、测距仪、声纳、激光雷达等。
成像元件150可被布置成使得多个成像元件的视场的至少一部分重叠。如以下进一步讨论的,成像元件150可与成像元件选择控制器通信并且由所述成像元件选择控制器控制,所述成像元件选择控制器动态地选择两个或多个成像元素作为立体像对或成像元件对。选定的成像元件组合用于获得那些所选择的成像元件的公共视场中的物体的图像,并且处理所获得的图像以生成用于在公共视场中表示的物体的深度信息,诸如视差和移位。
如图所示,成像元件150可粘附到UAV 100的框架的任何部分。例如,第一组成像元件150可沿前翼120的前部布置并且被定向成使得那些成像元件的视场至少部分地重叠(即,是公共的)。作为另一个示例,第二组成像元件150可沿着侧面轨道130-1的下方或下侧布置并且被定向成使得那些成像元件的视场至少部分地是公共的。如将理解的,任何数量的成像元件可包括在具有重叠视场的一群或一组成像元件中,并且可沿着UAV 100布置任意数量的成像元件组。如以下进一步讨论的,每组成像元件150的中成像元件可由一个或多个成像元件选择控制器控制。
在一些实现方式中,周边框架104还可包括可渗透材料(例如,网、筛),所述可渗透材料在周边框架104的顶部和/或下表面上延伸,从而包封中心框架、提升马达和/或提升螺旋桨。
飞行器控制***114也安装到中心框架107。在所述示例中,飞行器控制***114安装到毂108并且包封在保护屏障中。保护屏障可为控制***114提供天气保护,使得UAV 100可在雨和/或雪中操作而不会破坏控制***114。在一些实现方式中,保护屏障可具有空气动力学形状以在UAV在包括水平分量的方向上移动时减小阻力。保护屏障可由任何材料形成,包括但不限于石墨环氧树脂、凯夫拉尔(Kevlar)和/或玻璃纤维。在一些实现方式中,可使用多种材料。例如,可在需要发送和/或接收信号的区域中使用凯夫拉尔。
同样,UAV 100包括一个或多个电源模块153。在一些实现方式中,电源模块153可定位在侧面轨道130-1、130-2的空腔内。在其他实现方式中,电源模块153可安装或定位在UAV的其他位置处。用于UAV的电源模块153可为以下形式:电池电源、太阳能电源、天然气电源、超级电容器、燃料电池、替代性发电源或它们的组合。例如,电源模块153可各自为6000mAh的锂离子聚合物电池或聚合物锂离子(锂聚合物(Li-poly、Li-Pol、LiPo、LIP、PLI或Lip)电池。电源模块耦接到飞行器控制***114、提升马达106、推进马达110、成像元件150和有效载荷接合机构154并为它们提供电力。
在一些实现方式中,一个或多个电源模块153可配置成使得当UAV着陆或飞行时,可自主地将所述电源模块移除和/或用另一个电源模块将其替换。例如,当UAV着陆在某个位置时,UAV可在将为电源模块再充电的位置处与充电构件接合。
如上所述,UAV 100还可包括有效载荷接合机构154。有效载荷接合机构154可被配置来接合和脱离接合物品和/或存放物品(有效载荷)的容器。在所述示例中,有效载荷接合机构154定位在UAV 100的框架104的毂108的下方并且耦接到所述毂。有效载荷接合机构154可具有足以牢固地接合和脱离接合有效载荷的任何尺寸。在其他实现方式中,有效载荷接合机构154可操作为在其中存放物品的容器。有效载荷接合机构154 (经由有线或无线通信)与飞行器控制***114通信并由其进行控制。示例性有效载荷接合机构在2014年9月30日提交的标题为“无人驾驶飞行器运载***(UNMANNED AERIAL VEHICLE DELIVERYSYSTEM)”的共同未决专利申请号14/502,707中描述,所述申请的主题的全部内容通过引用的方式并入本文。
图2A和图2B描绘了根据一种实现方式的飞行器(诸如UAV)的多个可选择成像元件250或相机的视图。在所述示例中,沿着飞行器的框架210的一部分布置有七个成像元件。如将理解的,任何数量和布置的成像元件可与本文描述的实现方式一起使用。同样,可使用任何间隔开的配置。唯一的限制是所述组或多个成像元件中的每个成像元件250的视场至少部分地与所述组中的至少一个其他成像元件的视场重叠。在一些实现方式中,成像元件250的配置和间隔可使得每个成像元件的视场至少部分地与多个成像元件中的至少两个其他成像元件的视场重叠。在其他实现方式中,所述配置和间隔可使得每个成像元件的视场的至少一部分与多个成像元件中的每个其他成像元件的视场重叠。
在示出的示例中,成像元件250-1、250-2、250-3、250-4、250-5、250-6和250-7的放置和间隔使得没有两个基线距离(b1、b2、b3、b4、b5、b6、b7、b8、b9、b10、b11、b12、b13、b14、b15、b16、b17、b18、b19、b20和b21)是相同的。在其他配置中,一些或所有基线距离可为大致相同的距离。
通过使成像元件250间隔开使得每对可能的成像元件具有不同的基线,不同的可用基线距离的数量增加。例如,如果所有基线距离不同,则可用基线的数量等于二项式系数:
其中n是成像元件的数量,并且k是为组合选择的成像元件的数量(例如,两个)。在图2A-图2B所示的示例中,存在七个成像元件(n)250-1、250-2、250-3、250-4、250-5、250-6和250-7,如果采用两个(k)的组合,则产生二十一种不同的组合。通过布置成像元件的位置使得所有基线距离不同,成像元件选择控制器将具有从中可选择的二十一个不同的基线和成像元件组合。同样,通过提供在成像元件的组合之间切换的能力,无论基线距离是相同还是不同,都会增加冗余性。例如,如果成像元件中的一个变得不可操作(例如,损坏),则可从飞行器的成像元件的不同组合获得深度信息。
如本领域已知的,较小的基线通常是优选的,并且为更靠近于成像元件的物体提供更好的成像结果和深度信息。同样,较大的基线通常是优选的,并且为距成像元件更远的物体提供更好的成像结果和深度信息。在一些实现方式中,成像元件选择控制器可利用比率来确定选择哪个成像元件组合来获得图像,将所述图像进行比较以生成距离UAV一定距离的物体的深度信息。例如,成像元件选择控制器可利用1:30比率来基于物体与UAV之间的近似距离来选择成像元件的组合。例如,通过使用比率1:30,如果检测到的物体距离UAV约15米,则具有最接近0.5米的基线的成像元件将被选择为立体成像元件对。例如,如果基线距离b10约0.5米,则可选择成像元件250-2和250-4。
在其他实现方式中,可监测主要距离、不同组合之间的中间距离或者多组组合以检测距离飞行器一定距离内的物体。在物体检测时,可确定哪个成像元件的组合提供最佳深度信息,诸如比较图像的像素之间的视差。在一些实现方式中,可在来自成像元件的不同组合的一系列图像上估计UAV与物体之间的距离。例如,如果物体在具有较小基线但未在具有较大基线的第二立体像对中表示的第一立体像对中表示,则可确定所述物体在小于UAV与第二立体像对的公共视场之间的距离的限定距离内。作为另一示例,如果物体由具有较小基线的成像元件的第一组合中的几个像素表示,但是由在具有较大基线的成像元件的第二组合中的更大量的像素表示,则可假设物体离UAV更远。
无论用于选择成像元件的组合的技术如何,当物体与UAV之间的距离改变时,成像元件选择控制器可改变立体像对中的一个或两个成像元件。例如,如果物体移动得更靠近于UAV,则成像元件选择控制器可选择成像元件250-4和250-5,因为基线距离b13小于基线距离b10。较小的基线距离b13将为更近的物体提供更好的视差信息。同样,如果物体与UAV之间的距离继续减小,则成像元件选择控制器可保持成像元件250-5并选择成像元件250-6作为立体像对,因为基线距离b15小于基线距离b13
在一些实现方式中,成像元件选择控制器可从成像元件的多个组合获得图像并且确定深度信息并组合所述深度信息。例如,从由成像元件250-1和250-2的组合提供的图像生成的深度信息可与从由成像元件250-3和250-6的组合提供的图像生成的深度信息组合。不同的基线距离为深度信息提供不同级别的分辨率,并且深度信息的组合可增加深度信息的总体准确度。
在一些实现方式中,如果从成像元件的第一组合检测到深度信息中的错误或不准确,则可选择成像元件的不同组合。例如,来自成像元件的一些组合的图像可能不会产生准确的深度信息,因为例如视场被遮挡、受光(例如,阳光)等影响。在这种实现方式中,可选择成像元件的不同组合或成像元件的组合的不同组并且用于生成深度信息。
在一些情况下,也可改变成像元件的组合之间的基线的角度。例如,如图2A所示,前六个成像元件250-1至250-6被沿着UAV的部分210水平对准。因此,成像元件250-1至250-6的每个组合之间的基线距离具有大致相同的角度或对准。然而,如图2B所示,选择包括成像元件250-7的成像元件的组合产生沿着不同角度或取向延伸的基线。例如,基线距离b16 –b21中的每一个的对准彼此不同并且不同于基线距离b1 – b15中的每一个。
如将理解的,可利用其他形式的选择来确定选择哪个成像元件的组合以便对物体成像并生成深度信息。同样,在一些实现方式中,可分析所得的深度信息以评估组合结果是否可能表示物体。作为又一示例,在一些实现方式中,一些或所有成像元件250可获得图像,并且那些图像可存储在UAV的数据存储区中。成像元件选择控制器可随后确定哪些成像元件用作立体像对,并且选择由这些成像元件获得的存储图像以用于生成深度信息。
图3描绘了根据一种实现方式的飞行器的多个可选择成像元件的另一视图。继续图2A所示的示例,图3示出了沿着飞行器的部分311布置的六个成像元件350-1、350-2、350-3、350-4、350-5和350-6。如图所示,成像元件350中的每一个耦接到成像元件选择控制器310、与所述成像元件选择控制器通信并由其控制。如图所示,成像元件中的每一个具有视场360-1、360-2、360-3、360-4、360-5和360-6。这些视场部分重叠,从而形成公共视场。例如,成像元件350-1的视场360-1与成像元件350-2的视场360-2部分重叠,以形成公共视场366。同样,成像元件350-5的视场360-5与成像元件350-6的视场360-6部分重叠,以形成公共视场368。
成像元件选择控制器可确定哪些成像元件被激活为立体成像元件对。例如,成像元件的一个或多个组合,诸如成像元件350-1和350-2和/或350-5和350-6,可用于最初监测物体。如果检测到物体370,则确定UAV与物体之间的近似距离。
例如,如果在成像元件35-1和350-2的公共视场366中检测到物体370,但是没有可从由成像元件350-1和350-2中的每一个生成的图像的处理中确定的视差或其他深度信息或者仅有有限的视差或其他深度信息,则可确定物体距离UAV很远距离。在这种示例中,成像元件选择控制器可选择成像元件的另一组合,诸如成像元件350-1和350-6,并且处理来自那些成像元件的图像,以确定是否可从处理的图像获得物体的深度信息。如果仍然无法确定深度信息,则可确定所述物体超出了对UAV可能感兴趣的距离。然而,如果从由成像元件350-1和350-2生成的图像的处理来确定深度信息,则可监测物体并获得附加的深度信息。
在一些实现方式中,多个立体像对可由成像元件选择控制器激活,并且来自那些立体像对的图像被并行处理以确定哪个成像元件的组合为检测到的物体提供深度信息的最佳分辨率。例如,除了选择成像元件350-1和350-6作为立体成像元件对之外,成像元件360-3和360-4也可被激活为立体成像元件对。在这种实现方式中,可组合从两个立体像对的图像生成的深度信息,以提供关于物体距飞行器的距离的更大分辨率。同样,通过利用具有不同基线距离和不同公共视场的两个立体像对来监测物体的距离,如果物体移出其中一个立体像对的公共视场,则它可保持在第二立体像对的公共视场中。
例如,如由重叠或公共视场362所示,成像元件350-1的视场360-1与成像元件350-6的视场360-6重叠。同样,物体370位于公共视场362中。以类似的方式,如由重叠或公共视场364所示,成像元件350-3的视场360-3与成像元件350-4的视场360-4重叠。物体370也位于公共视场364中。如果物体或UAV移动使得物体370更靠近于UAV,则物体370可离开公共视场362但是保持在公共视场364中。
如在本领域中已知的,当成像元件选择控制器310选择成像元件的组合并接收或获得由这些成像元件获得的图像时,这些图像的重叠部分基于在校准成像元件时建立的像素关系来对准。选定的成像元件之间的像素信息和已知基线信息的对准用于确定两个图像中表示的物体的深度信息。在本实现方式中,多个相机被校准为具有不同基线的不同潜在组合。成像元件选择控制器可随后选择适当的成像元件的组合作为立体像对,以便获得用于形成深度信息的图像。
图4描绘了根据一种实现方式的飞行器的多个可选择相机的另一视图。在所述示例中,两对立体相机耦接到飞行器的一部分411。在第一操作模式中,包括成像元件450-1和450-2的第一立体相机布置将图像提供给处理图像的立体控制器410-1。同样,包括成像元件450-3和450-4的第二立体相机布置将图像提供给处理图像的立体控制器410-2。可分析从两对立体相机处理的图像以确定是否检测到物体。例如,像素值或深度信息的改变可指示物体的存在。替代地或此外,可利用一个或多个图像处理算法来检测图像中表示的物体。
如果在距离飞行器更远的距离处检测到物体,则成像元件选择控制器412可使用来自每个立体像对的成像元件,诸如成像元件450-2和成像元件450-3,以动态地产生可用于生成物体的成像信息的第三立体成像元件对。例如,如果物体处于成像元件450-2和成像元件450-3的公共视场464中,则成像元件选择控制器412可从那些成像元件450-2、450-3获得图像并处理这些图像,以生成所述公共视场464中的物体的深度信息。
虽然图2A-图4示出了多个成像元件的不同配置,所述多个成像元件可由成像元件选择控制器选择性地配对以基于不同的基线距离生成深度信息,但是应当理解,成像元件的任何数量、组合和/或间隔可与本文讨论的实现方式一起使用。同样,虽然讨论描述了对两个成像元件进行配对,但是在一些实现方式中,成像元件选择控制器可组合来自多于两个成像元件的图像。同样,可激活任何数量的成像元件以在大致相同的时间获得图像。成像元件选择控制器可随后处理那些图像的不同组合,以生成在那些图像上表示的物体的不同组深度信息。随后可组合不同组深度信息以提供深度信息的增加的分辨率。例如,如果激活三个成像元件,诸如成像元件350-2、350-3、350-4和350-6,并且这些成像元件中的每一个在大致相同的时间生成图像,则成像元件选择控制器可生成六组不同的深度信息,每组深度信息基于成像元件的不同组合和基线。具体地,成像元件选择控制器可基于由成像元件350-2和350-3生成的图像来生成第一组深度信息,基于由成像元件350-2和350-4生成的图像来生成第二组深度信息,基于由成像元件350-2和350-6生成的图像来生成第三组深度信息,基于由成像元件350-3和350-4生成的图像来生成第四组深度信息,基于由成像元件350-3和350-6生成的图像来生成第五组深度信息,并且基于由成像元件350-4和350-6生成的图像来生成第六组深度信息。
随后可组合那些深度信息组以提供更高分辨率的深度信息。替代地或此外,可比较不同组深度信息以选择用于连续图像生成的成像元件的组合,以便监测物体相对于UAV的位置。
图5是示出根据一种实现方式的用于成像元件选择的示例性过程的流程图。图5的过程以及本文讨论的每个其他过程和子过程可以硬件、软件或其组合来实现。在软件的上下文中,所描述的操作表示存储在一个或多个计算机可读介质上的计算机可执行指令,当由一个或多个处理器来执行时,所述计算机可执行指令执行所表述的操作。总体上,计算机可执行指令包括例程、程序、对象、部件、数据结构等,其执行具体功能或实现具体抽象数据类型。
计算机可读介质可包括非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质可包括硬盘驱动器、软盘、光盘、CD-ROM、DVD、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、闪速存储器、磁卡或光卡、固态存储器装置或适用于存储电子指令的其他类型的存储介质。此外,在一些实现方式中,计算机可读介质可包括(呈压缩或未压缩形式的)暂时性计算机可读信号。计算机可读信号(无论是否使用载体调制)的示例包括但不限于托管或运行计算机程序的计算机***可配置来存取的信号,包括通过互联网或其他网络下载的信号。最后,不希望将操作描述次序理解为限制性,并且所描述的操作的任何数量可以任何次序和/或并行组合来实现此过程。
如502中所示,示例性过程500以通过使用第一立体成像元件对来监测物体开始。例如,所述过程可利用具有最小基线和/或最大公共视场的一对成像元件来初始检测物体。替代地,可存在将要监测的主要或优选距离,并且选择一对成像元件,所述成像元件为在所述主要或优选距离处检测到的物体提供最高分辨率。如上所述,可使用所述一对成像元件来获得图像并对其进行处理以检测在组合图像中表示的物体。
此外或作为使用来自第一对成像元件的图像来检测物体的替代方案,诸如测距仪、飞行时间传感器、声纳、激光雷达和/或其他类似部件的距离确定元件可用于检测飞行器的距离内的物体的存在。作为又一示例,不是使用来自一对相机的图像,而是可获得并处理来自单个相机的图像以确定潜在物体的存在。例如,可在图像之间比较像素值以检测可表示物体的视场中的变化。如果检测到潜在物体,则可利用使用例如如上所述的一对成像元件和/或距离确定元件的附加处理来确定物体的存在。
如504中所示,基于监测来确定是否已检测到物体。如果确定未检测到物体,则示例性过程500返回方框502并继续。如506中所示,如果确定已检测到物体,则确定物体与飞行器之间的近似距离。例如,立体成像信息和已知基线可用于确定物体与飞行器之间的近似距离。同样,由距离确定元件确定的距离可用作近似距离。
基于所确定的近似距离,选择成像元件的组合以用于获得用于生成关于物体的深度信息的物体的图像。可至少部分地基于所确定的近似距离和成像元件的可用组合的基线来进行选择。例如,可利用比率,诸如比率1:30,并且基于物体与飞行器之间的所确定的近似距离,选择最接近于所述比率的成像元件组合。替代地,可选择多个成像元件组合,并生成视差信息。可选择具有最大视差信息的成像元件的组合来监测物体。同样可使用其他技术来选择成像元件的组合。
可在物体与飞行器之间的距离改变时和/或在飞行器的任何操作期间继续示例性过程500。例如,如果飞行器与物体之间的距离改变(增大或减小),则可在每次完成示例性过程500时改变选定的成像元件组合。例如,如果飞行器与物体之间的距离增加,则基于物体与飞行器之间的更新距离,可改变成像元件中的一个或多个,使得选定的成像元组合之间的基线距离对应于示例性过程500的比率和/或其他标准。
虽然本文讨论的示例描述了使用诸如无人驾驶飞行器的飞行器的实现方式,但是应理解,所描述的实现方式同样可与其他载具和/或其他情境一起使用。例如,如上所述,多个成像元件可定位在另一种类型的载具上,诸如基于地面和/或水上载具,以及用于选择成像元件的组合的成像元件选择控制器。
图6是示出示例性飞行器控制***614的框图。在各种示例中,框图可说明可用于实现本文讨论的各种***和方法和/或控制本文所述的飞行器的操作的飞行器控制***114的一个或多个方面。在示出的实现方式中,飞行器控制***614包括一个或多个处理器602,所述处理器经由输入/输出(I/O)接口610耦接到例如非暂时性计算机可读存储介质620的存储器。飞行器控制***614还可包括电子速度控件604 (ESC)、电源模块606、导航***607和/或有效载荷接合控制器612。在一些实现方式中,导航***607可包括惯性测量单元(IMU)。飞行器控制***614还可包括网络接口616以及一个或多个输入/输出装置618。
在各种实现方式中,飞行器控制***614可为包括一个处理器602的单一处理器***,或者包括若干(例如两个、四个、八个或另一合适数量)处理器602的多处理器***。处理器602可为能够执行指令的任何合适的处理器。例如,在各种实现方式中,处理器602可为实现各种指令集架构(ISA)中任何一种架构的通用或嵌入式处理器,所述架构诸如x86、PowerPC、SPARC或MIPS ISA或任何其他合适的ISA。在多处理器***中,每一个处理器602可通常但不一定实现相同的ISA。
非暂时性计算机可读存储介质620可被配置来存储可由处理器602存取的可执行指令、数据、飞行路径、飞行控制参数和/或数据项。数据项可包括例如从一个或多个成像元件获得的图像、距离信息、组合图像信息(例如,深度信息)等。
在各种实现方式中,非暂时性计算机可读存储介质620可使用任何合适的存储器技术来实现,所述存储器技术诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/快闪型存储器或任何其他类型的存储器。在示出的实现方式中,实现所需功能(诸如本文所述的那些)的程序指令和数据分别示出为存储在非暂时性计算机可读存储介质620内的程序指令622、数据存储装置624和飞行控件626。在其他实现方式中,程序指令、数据和/或飞行控件可接收、发送或存储在不同类型的计算机可存取介质(诸如非暂时性介质)上,或在与非暂时性计算机可读存储介质620或飞行器控制***614分开的类似介质上。一般来说,非暂时性计算机可读存储介质可包括诸如磁性或光学介质(例如,经由I/O接口610耦接到飞行器控制***614的磁盘或CD/DVD-ROM)的存储介质或存储器介质。经由非暂时性计算机可读介质存储的程序指令和数据可由传输介质或信号(诸如电信号、电磁信号或数字信号)来传输,所述传输介质或信号可经由通信介质(诸如网络和/或无线链路)来传送,所述通信介质诸如可经由网络接口616来实现。
在一种实现方式中,I/O接口610可被配置来协调处理器602、非暂时性计算机可读存储介质620以及任何***装置(网络接口616或诸如输入/输出装置618的其他***接口)之间的I/O通信量。在一些实现方式中,I/O接口610可执行任何必需协议、计时或其他数据转换以将来自一个部件(例如,非暂时性计算机可读存储介质620)的数据信号转化成适合于由另一个部件(例如,处理器602)使用的格式。例如,在一些实现方式中,I/O接口610可包括对通过各种类型***总线附接的装置的支持,所述总线诸如***组件互连(PCI)总线标准或通用串行总线(USB)标准的变型。例如,在一些实现方式中,I/O接口610的功能可划分为两个或更多个单独部件,诸如北桥和南桥。另外,在一些实现方式中,I/O接口610 (诸如非暂时性计算机可读存储介质620的接口)的功能的一些或全部可直接并入到处理器602中。
ESC 604与导航***607通信并且调节每个提升马达和/或推进马达的旋转速度以稳定UAV并沿着确定的飞行路径引导UAV。导航***607可包括可用于将UAV 100导航到位置和/或从位置导航的GPS、室内定位***(IPS)、IMU或其他类似***和/或传感器。有效载荷接合控制器612与用于接合和/或脱离接合物品的致动器或马达(例如,伺服马达)通信。
网络接口616可被配置来允许数据在飞行器控制***614、附接到网络的其他装置(诸如其他计算机***(例如,远程计算资源))之间和/或与其他UAV的飞行器控制***交换。例如,网络接口616可实现包括控制***614的UAV与在一个或多个远程计算资源上实现的飞行器控制***之间的无线通信。对于无线通信,可使用UAV的天线或其他通信部件。作为另一示例,网络接口616可实现许多UAV之间的无线通信。在各种实现方式中,网络接口616可支持经由无线通用数据网络(诸如Wi-Fi网络)进行通信。例如,网络接口616可支持经由诸如移动通信网络、卫星网络等的电信网络的通信。
在一些实现方式中,输入/输出装置618可包括一个或多个显示器、成像装置、热传感器、红外传感器、飞行时间传感器、加速度计、压力传感器、气象传感器、成像元件(例如,相机)、平衡环、起落架等。可存在多个输入/输出装置618并由飞行器控制***614控制。可利用这些传感器中的一个或多个来帮助着陆并且在飞行过程中避开障碍物。
如图6所示,存储器可包括可被配置来实现本文所述的示例性例程和/或子例程的程序指令622。数据存储装置624可包括用于维护数据项的各种数据存储区,所述数据项可被提供用于确定飞行路径、着陆、标识用于脱离接合物品的位置、接合/脱离接合推进马达、选择用于立体成像的成像元件的组合等。在各种实现方式中,本文示出为包含在一个或多个数据存储区中的参数值和其他数据可与未描述的其他信息组合,或者可以不同的方式划分成更多、更少或不同的数据结构。在一些实现方式中,数据存储区可物理地定位在一个存储器中,或者可分布在两个或更多个存储器上。
飞行器控制***614还可包括成像元件选择控制器628。如上所述,成像元件选择控制器与多个成像元件通信并且选择成像元件的组合以用作立体像对,以用于产生关于由选定的成像元件获得的图像中表示的物体的深度信息。在一些实现方式中,成像元件选择控制器628还与距离确定元件通信以确定飞行器与检测到的物体之间的近似距离。如上所述,可利用近似距离来基于例如近似距离与不同成像元件组合之间的基线距离之间的比率来选择成像元件的组合。
本领域的技术人员将了解,飞行器控制***614仅仅是说明性的并且不旨在限制本公开的范围。具体地,计算***和装置可包括能够执行所指示功能的硬件或软件的任何组合。飞行器控制***614还可连接到未示出的其他装置,或替代地可作为独立***运行。此外,所示出的部件所提供的功能可在一些实现方式中以较少的部件来组合或分布于另外部件中。类似地,在一些实现方式中,可不提供一些所示出部件的功能和/或可获得其他附加功能。
本领域的技术人员还应了解,虽然各种项目被示出为在使用时存储在存储器或存储装置中,但是这些物项或它们的部分可在存储器与其他存储装置之间传送,以用于存储器管理和数据完整性的目的。替代地,在其他实现方式中,一些或全部的软件部件可在另一装置上的存储器中执行,并且与所示出的飞行器控制***614通信。一些或全部的***部件或数据结构还可(例如,作为指令或者结构化数据)存储在将由适当的驱动器读取的非暂时性计算机可存取介质或便携式制品上。在一些实现方式中,存储在与飞行器控制***614分开的计算机可存取介质上的指令可经由传输介质或信号来传输到飞行器控制***614,所述传输介质或信号诸如经由通信介质(诸如无线链路)传达的电信号、电磁信号或数字信号。各种实现方式还可包括接收、发送或存储根据前述描述在计算机可存取介质上实现的指令和/或数据。因此,本文所述的技术可用其他飞行器控制***配置来实践。
本文公开的实现方式可包括一种飞行器,所述飞行器包括以下各项中的一项或多项:框架;多个相机,所述多个相机耦接到所述框架;以及相机选择控制器,所述相机选择控制器与所述多个相机中的每一个通信。所述相机选择控制器可至少被配置来:从所述多个相机中的第一相机接收第一图像;从所述多个相机中的第二相机接收第二图像,其中所述第一相机和所述第二相机分开第一基线距离;处理所述第一图像和所述第二图像以生成第一深度信息;检测所述第一个深度信息中表示的物体;确定所述飞行器与所述物体之间的近似距离;选择所述多个相机中的第三相机和所述多个相机中的第四相机作为立体像对,其中所述选择可至少部分地基于所述近似距离以及所述第三相机与所述第四相机之间的第二基线距离,其中所述第二基线距离可不同于所述第一基线距离;从所述第三相机接收第三图像;从所述第四相机接收第四图像;以及处理所述第三图像和所述第四图像以生成第二深度信息,其中所述第二深度信息包括对应于所述物体的信息。
可选地,可至少部分地基于所述第一深度信息来确定所述近似距离。可选地,所述飞行器还可包括距离确定元件,所述距离确定元件耦接到所述飞行器的所述框架,并且可至少部分地基于由所述相机选择控制器从所述距离确定元件接收的距离信息来确定所述近似距离。可选地,所述第一基线距离的第一对准可不同于所述第二基线距离的第二对准。可选地,所述相机选择控制器可进一步被配置来至少:选择所述多个相机中的所述第一相机和所述多个相机中的所述第四相机作为所述立体像对;从所述第一相机接收第五图像;从所述第四相机接收第六图像;以及处理所述第五图像和所述第六图像以生成第三深度信息,其中所述第三深度信息包括对应于所述物体的信息。
本文公开的实现方式可包括一种飞行器,所述飞行器包括以下各项中的一项或多项:推进机构;多个成像元件,所述多个成像元件围绕所述飞行器间隔开;以及成像元件选择控制器,所述成像元件选择控制器与所述多个成像元件中的每一个通信。所述成像元件选择控制器可被配置来至少:确定所述飞行器与物体之间的近似距离;选择所述多个成像元件中的第一成像元件和所述多个成像元件中的第二成像元件作为立体像对,其中所述选择可至少部分地基于所述近似距离以及所述第一成像元件与所述第二成像元件之间的第一基线距离;获得由所述第一成像元件拍摄的第一图像;获得由所述第二成像元件拍摄的第二图像;以及处理所述第一图像和所述第二图像以生成对应于所述物体的深度信息。
可选地,所述多个成像元件中的至少三个可围绕所述飞行器间隔开,使得所述多个成像元件中的所述至少三个成像元件中的每一个之间的基线距离是不同的。可选地,所述成像元件选择控制器可进一步被配置来至少:确定所述飞行器与第二物体之间的第二近似距离;选择所述多个成像元件中的所述第一成像元件和所述多个成像元件中的第三成像元件作为所述立体像对,其中所述选择可至少部分地基于所述第二近似距离以及所述第一成像元件与所述第三成像元件之间的第二基线距离;获得由所述第一成像元件拍摄的第三图像;获得由所述第三成像元件拍摄的第四图像;以及处理所述第三图像和所述第四图像以生成对应于所述第二物体的第二深度信息。可选地,所述近似距离可大于所述第二近似距离,并且所述第一基线距离可大于所述第二基线距离。可选地,所述第一成像元件与所述第二成像之间的所述第一基线距离的第一对准可不同于所述第一成像元件与所述第四成像元件之间的所述第二基线距离的第二对准。可选地,所述成像元件选择控制器可进一步被配置来至少:选择所述多个成像元件中的第三成像元件,其中所述选择可至少部分地基于所述第一成像元件、所述第二成像元件和所述第三成像元件的公共视场,并且进一步至少部分地基于所述物体的位置;获得由所述第三成像元件拍摄的第三图像;以及利用所述第一图像和所述第二图像来处理所述第三图像,以生成对应于所述物体的第二深度信息。可选地,所述物体的所述位置可在所述第一成像元件、所述第二成像元件和所述第三成像元件的所述公共视场内。可选地,所述多个成像元件中的每一个的视场的至少一部分重叠。可选地,可由所述多个成像元件中的每一个周期性地生成图像,并且所述成像元件选择控制器可响应于选择所述第一成像元件作为所述立体像对的成像元件而从所述飞行器的数据存储区获得所述第一图像。
本文公开的实现方式可包括一种方法,所述方法包括以下各项中的一项或多项:监测物体;检测在飞行器的距离内的物体的存在;确定所述物体与所述飞行器之间的近似距离;从所述飞行器的多个成像元件中选择第一成像元件和第二成像元件以形成一对成像元件,其中所述一对成像元件可至少部分地基于所述第一成像元件与所述第二成像元件之间的基线距离并且进一步至少部分地基于所述近似距离来选择;从所述第一成像元件接收第一图像并且从所述第二成像元件接收第二图像;以及处理所述第一图像和所述第二图像以生成深度信息,其中所述深度信息包括对应于所述物体的深度信息。
可选地,所述方法还可包括:确定所述物体与所述飞行器之间的第二近似距离;从所述飞行器的所述多个成像元件中选择第三成像元件和第四成像元件以形成一对成像元件,其中所述一对成像元件可至少部分地基于所述第三成像元件与所述第四成像元件之间的第二基线距离并且进一步至少部分地基于所述第二近似距离来选择;从所述第三成像元件接收第三图像并且从所述第四成像元件接收第四图像;以及处理所述第三图像和所述第四图像以生成第二深度信息,其中所述第二深度信息包括对应于所述物体的第二深度信息。可选地,所述近似距离可大于所述第二近似距离,并且所述基线距离可大于所述第二基线距离。所述方法还可包括:确定所述物体与所述飞行器之间的第三近似距离;从所述飞行器的所述多个成像元件中选择所述第一成像元件和所述第三成像元件以形成一对成像元件,其中所述一对成像元件可至少部分地基于所述第一成像元件与所述第三成像元件之间的第三基线距离并且进一步至少部分地基于所述第三近似距离来选择;从所述第一成像元件接收第五图像并且从所述第三成像元件接收第六图像;以及处理所述第五图像和所述第六图像以生成第三深度信息,其中所述第三深度信息包括对应于所述物体的第三深度信息。可选地,所述第二近似距离可大于所述第三近似距离,并且所述第二基线距离可大于所述第三基线距离。可选地,所述基线距离可不同于所述第二基线距离,所述基线距离可不同于所述第三基线距离,并且所述第二基线距离可不同于所述第三基线距离。
尽管已以特定于结构特征和/或方法动作的语言描述了主题,但是应理解,所附权利要求中限定的主题不一定限于所描述的具体特征或动作。相反,具体的特征和行为是作为实现权利要求的示例性形式而公开。

Claims (15)

1.一种飞行器,其包括:
框架;
多个相机,所述多个相机耦接到所述框架;
相机选择控制器,所述相机选择控制器与所述多个相机中的每一个通信,所述相机选择控制器被配置来至少:
从所述多个相机中的第一相机接收第一图像;
从所述多个相机中的第二相机接收第二图像,其中所述第一相机和所述第二相机分开第一基线距离;
处理所述第一图像和所述第二图像以生成第一深度信息;
检测所述第一深度信息中表示的物体;
确定所述飞行器与所述物体之间的近似距离;
选择所述多个相机中的第三相机和所述多个相机中的第四相机作为立体像对,其中所述选择至少部分地基于所述近似距离以及所述第三相机与所述第四相机之间的第二基线距离,其中所述第二基线距离不同于所述第一基线距离;
从所述第三相机接收第三图像;
从所述第四相机接收第四图像;以及
处理所述第三图像和所述第四图像以生成第二深度信息,其中所述第二深度信息包括对应于所述物体的信息。
2.根据权利要求1所述的飞行器,其还包括:
距离确定元件,所述距离确定元件耦接到所述飞行器的所述框架;并且
其中至少部分地基于由所述相机选择控制器从所述距离确定元件接收的距离信息来确定所述近似距离。
3.根据权利要求1或2中任一项所述的飞行器,其中所述第一基线距离的第一对准不同于所述第二基线距离的第二对准。
4.根据权利要求1、2或3中任一项所述的飞行器,其中所述相机选择控制器被进一步配置来至少:
选择所述多个相机中的所述第一相机和所述多个相机中的所述第四相机作为所述立体像对;
从所述第一相机接收第五图像;
从所述第四相机接收第六图像;
处理所述第五图像和所述第六图像以生成第三深度信息,其中所述第三深度信息包括对应于所述物体的信息。
5.一种飞行器,其包括:
推进机构;
多个成像元件,所述多个成像元件围绕所述飞行器间隔开;
成像元件选择控制器,所述成像元件选择控制器与所述多个成像元件中的每一个通信,所述成像元件选择控制器被配置来至少:
确定所述飞行器与物体之间的近似距离;
选择所述多个成像元件中的第一成像元件和所述多个成像元件中的第二成像元件作为立体像对,其中所述选择至少部分地基于所述近似距离以及所述第一成像元件与所述第二成像元件之间的第一基线距离;
获得由所述第一成像元件拍摄的第一图像;
获得由所述第二成像元件拍摄的第二图像;以及
处理所述第一图像和所述第二图像以生成对应于所述物体的深度信息。
6.根据权利要求5所述的飞行器,其中所述多个成像元件中的至少三个围绕所述飞行器间隔开,使得所述多个成像元件中的所述至少三个成像元件中的每一个之间的基线距离是不同的。
7.根据权利要求5或6中任一项所述的飞行器,其中所述成像元件选择控制器被进一步配置来至少:
确定所述飞行器与第二物体之间的第二近似距离;
选择所述多个成像元件中的所述第一成像元件和所述多个成像元件中的第三成像元件作为所述立体像对,其中所述选择至少部分地基于所述第二近似距离以及所述第一成像元件与所述第三成像元件之间的第二基线距离;
获得由所述第一成像元件拍摄的第三图像;
获得由所述第三成像元件拍摄的第四图像;以及
处理所述第三图像和所述第四图像以生成对应于所述第二物体的第二深度信息。
8.根据权利要求5、6或7中任一项所述的飞行器,其中所述成像元件选择控制器被进一步配置来至少:
选择所述多个成像元件中的第三成像元件,其中所述选择至少部分地基于所述第一成像元件、所述第二成像元件和所述第三成像元件的公共视场,并且进一步至少部分地基于所述物体的位置;
获得由所述第三成像元件拍摄的第三图像;以及
利用所述第一图像和所述第二图像来处理所述第三图像,以生成对应于所述物体的第二深度信息。
9.根据权利要求5、6、7或8中任一项所述的飞行器,其中:
由所述多个成像元件中的每一个周期性地生成图像;并且
所述成像元件选择控制器响应于选择所述第一成像元件作为所述立体像对的成像元件而从所述飞行器的数据存储区获得所述第一图像。
10.一种方法,其包括:
监测物体;
检测在飞行器的距离内的物体的存在;
确定所述物体与所述飞行器之间的近似距离;
从所述飞行器的多个成像元件中选择第一成像元件和第二成像元件以形成一对成像元件,其中所述一对成像元件至少部分地基于所述第一成像元件与所述第二成像元件之间的基线距离并且进一步至少部分地基于所述近似距离来选择;
从所述第一成像元件接收第一图像并且从所述第二成像元件接收第二图像;以及
处理所述第一图像和所述第二图像以生成深度信息,其中所述深度信息包括对应于所述物体的深度信息。
11.根据权利要求10所述的方法,其还包括:
确定所述物体与所述飞行器之间的第二近似距离;
从所述飞行器的所述多个成像元件中选择第三成像元件和第四成像元件以形成一对成像元件,其中所述一对成像元件至少部分地基于所述第三成像元件与所述第四成像元件之间的第二基线距离并且进一步至少部分地基于所述第二近似距离来选择;
从所述第三成像元件接收第三图像并且从所述第四成像元件接收第四图像;以及
处理所述第三图像和所述第四图像以生成第二深度信息,其中所述第二深度信息包括对应于所述物体的第二深度信息。
12.根据权利要求11所述的方法,其中:
所述近似距离大于所述第二近似距离;并且
所述基线距离大于所述第二基线距离。
13.根据权利要求11或12中任一项所述的方法,其还包括:
确定所述物体与所述飞行器之间的第三近似距离;
从所述飞行器的所述多个成像元件中选择所述第一成像元件和所述第三成像元件以形成一对成像元件,其中所述一对成像元件至少部分地基于所述第一成像元件与所述第三成像元件之间的第三基线距离并且进一步至少部分地基于所述第三近似距离来选择;
从所述第一成像元件接收第五图像并且从所述第三成像元件接收第六图像;以及
处理所述第五图像和所述第六图像以生成第三深度信息,其中所述第三深度信息包括对应于所述物体的第三深度信息。
14.根据权利要求13所述的方法,其中:
所述第二近似距离大于所述第三近似距离;并且
所述第二基线距离大于所述第三基线距离。
15.根据权利要求13所述的方法,其中所述基线距离不同于所述第二基线距离,所述基线距离不同于所述第三基线距离,并且所述第二基线距离不同于所述第三基线距离。
CN201780035633.8A 2016-06-08 2017-06-06 用于立体图像的选择性配对成像元件 Pending CN109496328A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/176,734 US10706569B2 (en) 2016-06-08 2016-06-08 Selectively paired imaging elements for stereo images
US15/176734 2016-06-08
PCT/US2017/036223 WO2017214200A1 (en) 2016-06-08 2017-06-06 Selectively paired imaging elements for stereo images

Publications (1)

Publication Number Publication Date
CN109496328A true CN109496328A (zh) 2019-03-19

Family

ID=59153288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035633.8A Pending CN109496328A (zh) 2016-06-08 2017-06-06 用于立体图像的选择性配对成像元件

Country Status (5)

Country Link
US (2) US10706569B2 (zh)
EP (2) EP3846125A1 (zh)
JP (1) JP6718018B2 (zh)
CN (1) CN109496328A (zh)
WO (1) WO2017214200A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207411A1 (zh) * 2019-04-12 2020-10-15 深圳市道通智能航空技术有限公司 一种图像数据处理方法、装置、图像处理芯片及飞行器

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10810427B1 (en) * 2017-12-15 2020-10-20 AI Incorporated Methods for an autonomous robotic device to identify locations captured in an image
WO2019133640A1 (en) * 2017-12-29 2019-07-04 PlusAI Corp Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same
JP7165012B2 (ja) * 2018-09-28 2022-11-02 株式会社Subaru 車両用ステレオカメラ装置
US10682955B1 (en) 2018-12-03 2020-06-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonomous driving vehicles
CN113496503B (zh) * 2020-03-18 2022-11-08 广州极飞科技股份有限公司 点云数据的生成及实时显示方法、装置、设备及介质
WO2021231219A1 (en) * 2020-05-11 2021-11-18 Canon U.S.A., Inc. An unmanned autonomous vehicle and method for controlling the same
JP7369094B2 (ja) * 2020-05-29 2023-10-25 株式会社日立製作所 距離計測システム、及び距離計測方法
JP2023034744A (ja) * 2021-08-31 2023-03-13 株式会社東芝 レーダ装置及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
US20120177285A1 (en) * 2010-11-10 2012-07-12 Panasonic Corporation Stereo image processing apparatus, stereo image processing method and program
US20150163478A1 (en) * 2013-12-06 2015-06-11 Google Inc. Selecting Camera Pairs for Stereoscopic Imaging

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JPH10253351A (ja) * 1997-03-14 1998-09-25 Kyocera Corp 測距装置
US7126630B1 (en) * 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
EP2461198A3 (en) * 2010-12-01 2017-03-08 BlackBerry Limited Apparatus, and associated method, for a camera module of electronic device
US8717467B2 (en) * 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
JP2012247364A (ja) * 2011-05-30 2012-12-13 Panasonic Corp ステレオカメラ装置、ステレオカメラシステム、プログラム
WO2013079660A1 (en) * 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Disparity map generation including reliability estimation
WO2014021134A1 (ja) * 2012-07-30 2014-02-06 オリンパス株式会社 撮像装置及び撮像方法
DE112013006814T5 (de) * 2013-03-12 2015-12-10 Fujifilm Corporation Bildbeurteilungseinrichtung, Aufnahmegerät, 3D-Messgerät, Bildbeurteilungsverfahren und Programm
EP2973476A4 (en) * 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) * 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP6447055B2 (ja) * 2014-01-28 2019-01-09 株式会社リコー 校正方法、校正装置、計測用具及びプログラム
US9981389B2 (en) * 2014-03-03 2018-05-29 California Institute Of Technology Robotics platforms incorporating manipulators having common joint designs
TWI524050B (zh) * 2014-04-15 2016-03-01 聚晶半導體股份有限公司 取像裝置、影像深度產生裝置及其方法
CN106471803A (zh) * 2014-12-04 2017-03-01 深圳市大疆创新科技有限公司 成像***及方法
EP3158731B1 (en) * 2014-12-31 2020-11-25 SZ DJI Technology Co., Ltd. System and method for adjusting a baseline of an imaging system with microlens array
CN104539934A (zh) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 图像采集装置和图像处理方法、***
US10565887B2 (en) * 2015-03-16 2020-02-18 Sikorsky Aircraft Corporation Flight initiation proximity warning system
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US20170289525A1 (en) * 2016-03-31 2017-10-05 Charles Wivell Personal 3d photographic and 3d video capture system
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805015A (en) * 1986-09-04 1989-02-14 Copeland J William Airborne stereoscopic imaging system
US20120177285A1 (en) * 2010-11-10 2012-07-12 Panasonic Corporation Stereo image processing apparatus, stereo image processing method and program
US20150163478A1 (en) * 2013-12-06 2015-06-11 Google Inc. Selecting Camera Pairs for Stereoscopic Imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207411A1 (zh) * 2019-04-12 2020-10-15 深圳市道通智能航空技术有限公司 一种图像数据处理方法、装置、图像处理芯片及飞行器
US11949844B2 (en) 2019-04-12 2024-04-02 Autel Robotics Co., Ltd. Image data processing method and apparatus, image processing chip, and aircraft

Also Published As

Publication number Publication date
US20210012518A1 (en) 2021-01-14
US10706569B2 (en) 2020-07-07
EP3452987B1 (en) 2021-04-14
JP2019517091A (ja) 2019-06-20
EP3452987A1 (en) 2019-03-13
US11238603B2 (en) 2022-02-01
JP6718018B2 (ja) 2020-07-08
EP3846125A1 (en) 2021-07-07
US20170358099A1 (en) 2017-12-14
WO2017214200A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
CN109496328A (zh) 用于立体图像的选择性配对成像元件
US11377232B2 (en) Combined information for object detection and avoidance
US11284056B2 (en) Aerial vehicle sensor positioning
US9739870B1 (en) Tracking unmanned aerial vehicles using reflected light
US9972212B1 (en) Unmanned aerial vehicle camera calibration as part of departure or arrival at a materials handling facility
CN108698695A (zh) 飞行器的摄像机的光调节控制
US10302452B1 (en) Unmanned aerial vehicle sensor calibration via sensor channel
EP3408176B1 (en) Six degree of freedom aerial vehicle with offset propulsion mechanisms
US10220964B1 (en) Unmanned aerial vehicle sensor calibration validation before flight
US10733738B1 (en) Image alignment correction for imaging processing during operation of an unmanned aerial vehicle
CA2977832A1 (en) Modular lidar system
US9969486B1 (en) Unmanned aerial vehicle heat sensor calibration
EP3844583B1 (en) Six degree of freedom aerial vehicle control methods responsive to motor out situations
US10032275B1 (en) Unmanned aerial vehicle sensor calibration during flight
Garg Unmanned aerial vehicles: An introduction
Janarthanan Vision Based Navigation System Design for Unmanned Aerial Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination