飞行***中用于避障的***和方法
相关申请的交叉引用
本申请要求2017年8月10日提交的序列号为62/543,671的美国临时专利申请的优先权和权益,该美国临时专利申请的全部公开内容通过引用被并入本文中。
技术领域
本申请总体上涉及飞行***领域,并且更具体地涉及一种用于在飞行***中提供深度感测和障碍物回避的***和方法。
背景技术
深度感测和障碍物回避是朝向建立完全自主飞行机器人的关键步骤。目前存在的无人机已经证明了使用声纳、接近传感器、激光扫描测距仪、基于飞行时间的传感器、基于结构光的传感器或立体摄像机对,以朝向一个特定方向(向前/向下)进行深度感测,或使用面向不同方向的多个深度传感器(例如立体摄像机对),以便在更多方向上尝试障碍物回避。然而,这种方法的根本缺陷在于,与汽车或船舶不同,旋翼式无人机(例如四轴飞行器等)能够在所有方向上行驶。立体视觉对只能覆盖有限范围的传动角。使用蛮力来堆叠多个立体视觉对是非常低效的,并且由于缺乏用于深度感测的全覆盖(360度)水平视场角而仍然无法实现障碍物回避。现有的另一种尝试是使用广角镜头或折反射镜头来捕获全向视频信息,然后使用如运动结构(SFM)或视觉惯性测距(VIO)的技术来实现单个摄像机深度感测。这种方法依靠非常精确的SFM/VIO来获得可用的绝对深度信息。这种方法也容易受到无人机几乎不断发生的***的振动和角度运动的影响。
另外,期望实现无人飞行运载器的全向障碍物回避。当前的技术是使用固定的双目摄像机,以便无人飞行运载器能够在与双目摄像机相同的方向上感测障碍物。例如,DJIMavic Air具有前置双目、后置双目和下置双目,因此它能够在向前或向后飞行时回避障碍物,但在向左或向右飞行时则不能实现障碍物回避。Skydio R1能够实现全向障碍物回避,但它具有四对双目摄像机。
发明内容
附图说明
图1是根据本发明实施例的飞行***和用于控制该飞行***的***的示意图。
图2是根据本发明实施例的示例性飞行***的图。
图3是根据本发明实施例的示例性光学***的图。
图4是根据本发明实施例的飞行***的第二示意图。
图5是根据本发明实施例的飞行***和用于控制该飞行***的***的第三示意图。
图6是根据本发明实施例的包括障碍物检测与回避***的飞行***的示意图。
图7是根据本发明实施例的图6障碍物检测与回避***的传感器壳体的框图。
图8是包括图6障碍物检测与回避***的飞行***的侧视图。
图9是图8的飞行***的俯视图。
图10是根据本发明实施例的可旋转双目摄像机***的立体图。
图11是图10的可旋转双目摄像机***的分解图。
图12是图10的可旋转双目摄像机***在第一级弹起可操作位置上的局部立体图。
图13是图10的可旋转双目摄像机***在第二级弹起可操作位置上的局部立体图。
图14是图10的可旋转双目摄像机***的内部模块的分解图。
图15是图14的内部模块的双目臂模块的分解图。
图16是图10的可旋转双目摄像机***的一部分处于下压模式中的截面图。
图17是图10的可旋转双目摄像机***的推推插座槽的一部分的立体图。
图18是图10的可旋转双目摄像机***的推推插座槽中的弯曲线钩的轨迹的立体图。
图19是图10的可旋转双目摄像机***的云台马达的分解图。
图20是图19的云台马达的马达本体的立体分解图。
图21是图14的内部模块的柔性印制电缆(FPC)的涡旋区段的立体图。
图22是图14的内部模块的FPC的S形部分的正视图。
图23是图14的内部模块的FPC的D形部分的正视图。
图24是图10的可旋转双目摄像机***的根据本发明实施例的自动双目升降结构的分解图。
图25是图24的自动双目升降结构的俯视图。
图26是图24的自动双目升降结构的一部分的立体图。
具体实施方式
对本发明的实施例的下列描述不意在将本发明限制为这些实施例,而是用于使得本领域技术人员能够实现并使用本发明。参考附图和在操作中,提供了用于控制飞行***12(例如,无人机或其他无人飞行运载器)的***10。该***10可包括具有控制客户端16的远程装置14。控制客户端16提供用户接口,该用户接口允许用户18将指令发送到飞行***12以控制飞行***12的操作。如在下面更深入地讨论的那样,飞行***12包括用于获得照片和/或视频的一个或多个摄像机,该照片和/或视频可以被发送到远程装置14并且/或者存储在飞行***12上的存储器中。
在本发明的一个方面中,飞行***12可以包括障碍物检测与回避***50。障碍物检测与回避***50可以包括用于提供障碍物检测和回避的一对摄像机52A、52B(参见下文)。障碍物检测与回避***50可以检测飞行***12的行进方向,并且可以自动调整摄像机52A、52B的方位以与飞行***12的行进方向一致。因此,摄像机52A、52B可以自动面向飞行***12移动的方向,以提高飞行***12在行进路径中的障碍物检测和回避的效率和精度。
***10和飞行***12的概述
示例性飞行***12和控制***10在图1至图5中示出。飞行***12的控制客户端16用于接收来自飞行***12的数据并控制在远程装置14上的视觉显示,所述数据包括视频图像和/或视频。控制客户端16还可以接收操作指令并基于操作指令促进飞行***12的远程控制。控制客户端16优选地被配置为在远程装置14上运行,但能够替代地被配置为在飞行***12上运行或在任何其他合适的***上运行。如上面讨论的,并且在下面更全面地讨论的,飞行***12可以在没有与远程装置14直接或物理交互的情况下被独自控制。
控制客户端16能够是本地应用(例如,移动应用)、浏览器应用、操作***应用或是任何其他合适的构造。
执行控制客户端16的远程装置14用于显示数据(例如,依照控制客户端16指示而显示数据)、接收用户输入、基于用户输入来计算操作指令(例如,依照控制客户端16指示而基于用户输入来计算操作指令)、将操作指令发送到飞行***12、存储控制客户端的信息(例如,相关联的飞行***标识符、安全密钥、用户账户信息、用户账户偏好等)或执行任何其他合适的功能。远程装置14能够是用户装置(例如,智能手机、平板电脑、膝上型计算机等)、联网的服务器***或是任何其他合适的远程计算***。远程装置14能够包括一个或多个:输出、输入、通信***、传感器、电源、处理***(例如,CPU、存储器等)或任何其他合适的部件。输出能够包括:显示器(例如,LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如,LED)、触觉输出(例如,触觉像素***、振动马达等)或任何其他合适的输出。输入能够包括:触摸屏(例如,电容式触摸屏、电阻式触摸屏等)、鼠标、键盘、运动传感器、麦克风、生物输入、摄像机或任何其他合适的输入。通信***能够包括无线连接,诸如支持以下各项的无线电:长程***(例如,Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程***(例如,BLE、BLE长程、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信***。传感器能够包括:方位传感器(例如,加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其他合适的传感器。在一个变型中,远程装置14能够包括显示器(例如,包括覆在显示器上的触摸屏的触敏显示器)、一组无线电(例如,Wi-Fi、蜂窝、BLE等)和一组方位传感器。但是,远程装置14能够包括任何合适的部件集合。
飞行***12用于在物理空间内飞行、捕获视频、接近实时地将视频流式传输到远程装置14,并基于从远程装置14接收的操作指令进行操作。
飞行***12能够附加地在将视频流式传输到远程装置14之前处理视频(例如,视频帧)和/或处理从机载音频传感器接收到的音频;生成它自己的操作指令并基于该指令自动操作(例如,以自动地跟随物体);或执行任何其他合适的功能。飞行***12能够附加地用于在物理空间内移动光学传感器的视场。例如,飞行***12能够控制宏观移动(例如,大FOV改变,米级调整)、微观移动(例如,小FOV改变,毫米或厘米级调整)或任何其他合适的移动。
飞行***12能够基于对来自机载传感器的传感器数据的机载处理来执行某种功能。
这种功能可以包括但不限于:
-起飞和降落;
-所有者识别;
-面部识别;
-语音识别;
-面部表情与手势识别;以及
-基于所有者、面部、表情与手势识别和语音识别来控制飞行***,例如控制飞行***的动作。
如在图2至图5中所示,飞行***12(例如,无人机)能够包括本体20、处理***22、通信***24、光学***26和将光学***26安装到本体20的致动机构28。飞行***12能够附加地或替代地包括一个或多个光学传感器36、电源38、升力机构40、附加传感器44、或任何其他合适的部件(见下面)。
飞行***12的本体20用于支撑、机械地保护和/或保持飞行***的部件。本体20能够限定管腔、能够是平台或能够具有任何合适的配置。本体20能够是封闭的、开放的(例如,桁架)或具有任何合适的构造。本体20能够由金属、塑料(例如,聚合物)、碳复合材料或任何其他合适的材料制成。本体20能够限定纵向轴线、横向轴线、贯穿轴线、前端、后端(例如,沿着纵向轴线与前端相反)、顶部、底部(例如,沿着贯穿轴线与顶部相反)或任何其他合适的参照部。在一个变型中,在飞行的同时,本体20的贯穿轴线能够基本上平行于重力向量(例如,垂直于地面),并且本体的纵向轴线和横向轴线能够基本上垂直于重力向量(例如,平行于地面)。但是,本体20能够以其他方式被配置。
本体20优选地基本上封装通信***24、电源38和处理***22,但是能够以其他方式配置。本体20能够包括平台、壳体或具有任何其他合适的配置。在一个变型中,本体20包括容纳通信***24、电源38和处理***22的主要部分、以及平行于旋翼旋转平面延伸并沿着主要部分20的第一侧和第二侧布置的第一框架和第二框架(例如,笼架)。这些框架能够用作在旋转的旋翼和保持机构(例如,诸如用户的手的保持机构)之间的中间部件。该框架能够沿着本体20的单侧(例如,沿着旋翼的底部、沿着旋翼的顶部)延伸,沿着本体20的第一侧和第二侧(例如,沿着旋翼的顶部和底部)延伸,封装旋翼(例如,沿着旋翼的全部侧延伸)或以其他方式配置。这些框架能够被静态地安装到本体20,或可致动地安装到本体20。
框架能够包括将所述旋翼中的一个或多个旋翼流体地连接到周围环境的一个或多个孔(例如,气流孔),所述气流孔能够用于使周围环境和旋翼之间的空气和/或其他合适的流体能够流动(例如,从而使得旋翼能够产生使飞行***1在整个周围环境中移动的空气动力)。所述孔能够是细长的,或能够具有相当的长度和宽度。所述孔能够是基本上相同的或能够彼此不同。所述孔优选地足够小,以防止保持机构的部件(例如,手的手指)穿过所述孔。框架的在旋翼附近的几何透明度(例如,开口面积与总面积之比)优选地足够大,以使得飞行***能够飞行,更优选地使得能够进行高性能的机动飞行。例如,每个孔能够小于阈值尺寸(例如,所有尺寸均小于该阈值尺寸,窄于该阈值尺寸但显著长于该阈值尺寸的细长槽等)。在一个具体的示例中,框架具有80–90%的几何透明度,并且每个孔(例如,圆形、诸如正六边形之类的多边形等)限定具有12–16毫米直径的外接圆。但是,本体能够以其他方式配置。
本体20(和/或任何其他合适的飞行***的部件)能够限定能够由保持机构(例如,人手、飞行***站台、卡爪等)保持的保持区域。保持区域优选地围绕一个或多个旋翼的一部分,更优选地完全围绕所有旋翼,由此防止旋翼与保持机构或接近飞行***12的其他物体之间的任何无意的交互。例如,保持区域在飞行***平面(例如,横向平面、旋翼平面等)上的投影能够与所述旋翼中的一个或多个旋翼的扫掠区(例如,一个旋翼的扫掠区、一组旋翼的总扫掠区域等)在同一飞行***平面上的投影(例如,部分地、完全地、大部分、至少90%等)重叠。
飞行***12的处理***22用于控制飞行***的操作。处理***22能够:在飞行期间稳定飞行***12(例如,选择性地操作旋翼以使飞行***飞行中摆动最小化);接收、解译遥控指令并基于遥控指令操作飞行***12;并从通信***24接收操作指令,将操作指令解译成机器指令,并基于机器指令(单独地或作为一组)来控制飞行***部件。处理***22能够附加地或替代地处理由摄像机记录的图像,将图像(例如,实时地或接近实时地)流式传输到远程装置14或执行任何其他合适的功能。处理***22能够包括一个或多个:处理器30(例如,CPU、GPU、微处理器等)、存储器(例如,闪存、RAM等)或任何其他合适的处理部件。在一个变型中,处理***22能够附加地包括在传输到远程装置14之前自动处理图像(例如,对图像复原、对图像滤波、对图像裁剪等)的专用硬件。处理***22优选地被连接到飞行***12的有源部件并被安装到本体20,但是能够替代地以其他方式与飞行***部件相关。
处理***22优选地被配置为接收并解译由传感器36、44采样的测量结果,更优选地通过对由不同的传感器采样的测量结果进行组合(例如,组合摄像机和加速度计数据)。飞行***12能够包括一个或多个处理***,其中不同的处理器能够执行相同的功能(例如,用作多核***)或能够被专门化。处理***22优选地由电源38供电,但是能够以其他方式供电。处理***22优选地连接到传感器36、44、通信***24和升力机构40并控制传感器36、44、通信***24和升力机构40,但是处理***22能够附加地或替代地连接到任何其他合适的部件并与任何其他合适的部件交互。
飞行***的通信***24用于发送和/或接收来自远程装置14的信息。通信***24优选地被连接到处理***22,使得通信***24发送和/或接收来自处理***22的数据,但是能够替代地被连接到任何其他合适的部件。飞行***12能够包括一个或多个类型的一个或多个通信***24。通信***24能够包括无线连接,诸如无线电支持:长程***(例如,Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程***(例如,BLE、BLE长程、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信***24。通信***24优选地与远程装置14共享至少一个***协议(例如,BLE、RF等),但是能够替代地经由中间通信***(例如,协议转换***)与远程装置14通信。但是,通信***24能够以其他方式被配置。
飞行***12的光学***26用于记录接近飞行***12的物理空间的图像。光学***26优选地经由致动机构28被安装到本体20,但是能够替代地被静态地安装到本体20、可移除地安装到本体20或以其他方式安装到本体20。光学***26被优选地安装到本体20的前端,但是可选地能够被安装到本体20的底部(例如,接近前部)、顶部、后端或任何其他合适的部分。光学***26优选地被连接到处理***30,但是能够替代地被连接到通信***24或连接到任何其他合适的***。光学***26能够附加地包括在由摄像机记录的图像传输到处理器或其他端点之前自动地处理由摄像机记录的图像的专用图像处理硬件。飞行***12能够包括安装到相同或不同位置的、相同或不同类型的一个或多个光学***26。在一个变型中,飞行***12包括安装到本体20的前端的第一光学***26和安装到本体20的底部的第二光学***26。第一光学***26能够围绕枢轴支撑而致动,而第二光学***26能够相对于本体20基本上静态地保持,其中相应的有效表面基本上平行于本体底部。第一光学传感器26能够包括高分辨率的光学传感器36,而第二光学传感器26能够包括低分辨率的光学传感器36。但是,一个或多个光学***26能够以其他方式被配置。
光学***26能够包括一个或多个光学传感器36(见图5)。该一个或多个光学传感器36能够包括:单镜头摄像机(例如,CCD摄像机、CMOS摄像机等)、立体摄像机、超光谱摄像机、多光谱摄像机或任何其他合适的图像传感器。但是,光学***26能够是任何其他合适的光学***26。光学***26能够限定接收光的一个或多个有效表面,但是能够替代地包括任何其他合适的部件。例如,摄像机的有效表面能够是摄像机传感器(例如,CCD传感器、CMOS传感器等)的有效表面,优选地包括传感器像素的规则阵列。摄像机传感器或其他有效表面优选地基本上是平面和矩形的(例如,具有第一传感器边缘、与第一传感器边缘相对的第二传感器边缘、和各自垂直于第一传感器边缘和第二传感器边缘并从第一传感器边缘延伸到第二传感器边缘的第三传感器边缘和第四传感器边缘),但能够可替代地具有任何合适的形状和/或形貌。光学传感器36能够产生图像帧。图像帧优选地与有效表面的形状(例如,矩形,具有彼此相对的第一帧边缘和第二帧边缘等)对应,更优选地限定像素位置的规则阵列,每个像素位置与有效表面的传感器像素和/或由光学传感器36采样的图像的像素对应,但是能够替代地具有任何合适的形状。图像帧优选地限定由光学传感器36采样的图像的各个方面(例如,图像尺寸、分辨率、像素大小和/或形状等)。光学传感器36能够可选地包括变焦镜头、数字变焦、鱼眼镜头、滤波器、或者任何其他合适的主动或被动光学调节。光学调节的应用能够由控制器主动地控制,由用户18手动地控制(例如,其中用户手动设置该调节),由远程装置14控制或以其他方式控制。在一个变型中,光学***26能够包括封闭光学***部件的其余部分的壳体,其中该壳体被安装到本体20。但是,光学***26能够以其他方式被配置。
飞行***12的致动机构28用于将光学***26可行动地安装到本体20。致动机构28能够附加地用于抑制光学传感器振动(例如,机械地稳定所得到的图像)、适应飞行***的滚动、或执行任何其他合适的功能。致动机构28能够是主动的(例如,由处理***控制)、被动的(例如,由一组配重、弹簧元件、磁性元件等控制)或被以其他方式控制。致动机构28能够使光学***26相对于本体围绕一个或多个轴线旋转,使光学***26相对于本体沿着一个或多个轴线平移或被以其他方式致动光学***26。一个或多个光学传感器36能够沿着第一端、沿着光学传感器后部(例如,与有效表面相对的)、通过光学传感器本体被安装到支撑件,或沿着光学传感器36的任何其他合适的部分被安装到支撑件。
在一个变型中,致动机构28能够包括连接到单枢转支撑件(例如,云台)的马达(未示出),其中该马达基于从控制器接收的指令使该支撑件围绕旋转(或云台)轴线34枢转。该支撑件优选地被布置成该旋转轴线基本上平行于本体20的横向轴线,但是能够替代地被布置成使得该旋转轴线处于相对于本体20的任何其他合适的方位。支撑件优选地被布置在由本体20限定的凹腔内,其中该凹腔还包围光学传感器36,但是能够替代地沿着本体外部被布置或布置在本体20的任何其他合适的部分处。光学传感器36优选地被安装到支撑件,其中有效表面基本上平行于旋转轴线(例如,使得本体20的横向轴线或平行于该横向轴线的轴线基本上平行于旋转轴线),但是能够替代地布置成有效表面布置在相对于旋转轴线的任何合适的角度处。
马达优选地是电动马达,但是能够替代地是任何其他合适的马达。能够使用的电动马达的示例包括:DC马达(例如,有刷马达)、EC马达(例如,无刷马达)、感应马达、同步马达、磁马达、或任何其他合适的电动马达。马达优选地被安装到本体20(例如,本体内部),电连接到处理***22并由处理***22控制,并电连接到电源或***38并由电源或***38供电。但是,马达能够以其他方式连接。致动机构28优选地包括单个马达支撑组,但是能够替代地包括多个马达支撑组,其中辅助马达支撑组能够被布置为与第一马达支撑组正交(或与第一马达支撑组成任何其他合适的角度)。
在第二变型中,致动机构28能够包括连接到光学传感器36的、偏离光学传感器重心的一组枢转支撑件和配重,其中致动机构28被动地稳定光学传感器36。
飞行***12的电源38用于对飞行***12的有源部件供电。电源38优选地被安装到本体20,并(例如,直接地或间接地)电连接到飞行***12的全部有源部件,但是能够以其他方式布置。电源38能够是一次电池、二次电池(例如,可充电电池)、燃料电池、能量采集器(例如,太阳、风等)或是任何其他合适的电源。能够使用的二次电池的示例包括:锂化学(例如,锂离子、锂离子聚合物等)、镍化学(例如,NiCad、NiMH等)或具有任何其他合适化学过程的电池。
飞行***12的升力机构40用于使飞行***能够飞行。该升力机构40优选地包括由一个或多个马达(未示出)驱动的一组螺旋桨叶片42,但是能够替代地包括任何其他合适的推进机构。升力机构40优选地被安装到本体20并由处理***22控制,但是能够替代地以其他方式安装到飞行***12和/或被以其他方式控制。飞行***12能够包括多个升力机构40。在一个示例中,飞行***12包括四个升力机构40(例如,两对升力机构40),其中升力机构40围绕飞行***12的周边基本上均匀地分布(例如,其中每对的升力机构40跨越本体20彼此相对)。但是,升力机构40能够以其他方式配置。
飞行***的附加传感器44用于记录指示飞行***操作、飞行***12周围的周围环境(例如,飞行***12近侧的物理空间)或任何其他合适的参数的信号。传感器44优选地被安装到本体20并由处理***22控制,但是能够替代地被安装到任何其他合适的部件和/或以其他方式被控制。飞行***12能够包括一个或多个传感器36、44。能够使用的传感器的示例包括:方位传感器(例如,惯性测量传感器、加速度计、陀螺仪、高度计、磁力计等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器(例如,换能器、麦克风)、电压传感器、电流传感器(例如,霍尔效应传感器)、空气流量计、触摸传感器(例如电阻式触摸传感器、电容式触摸传感器等)、接近传感器、力传感器(例如,应变计,称重传感器)、振动传感器、化学传感器、声呐传感器、位置传感器(例如,GPS、GNSS、三角测量位置传感器等)或任何其他合适的传感器。
在一个变型中,飞行***12包括:沿着飞行***本体的第一端(例如,静态地或可旋转地)安装的第一摄像机,所述第一摄像机的视场与本体的横向平面相交;沿着飞行***本体的底部安装的第二摄像机,所述第二摄像机的视场基本上平行于横向平面;和一组方位传感器,诸如高度计和加速度计。但是,该***能够包括任何合适的数量和布置的任何传感器种类。
飞行***12能够附加地包括输入(例如,麦克风、摄像机等)、输出(例如,显示器、扬声器、发光元件等)或任何其他合适的部件。
飞行***12能够可选地与远程计算***或与任何其他合适的***一起使用。飞行***12用于飞行,并且能够附加地用于拍摄照片、输送负载和/或中继无线通信。飞行***12优选地是旋翼飞机(例如,四轴飞行器、直升机、滚翼机等),但是能够替代地是固定翼飞机、浮空器或是任何其他合适的飞行***12。
远程计算***用于接收辅助用户输入,并且能够附加地用于自动生成用于一个或多个飞行***12的控制指令并将该控制指令发送到该一个或多个飞行***。每个飞行***12能够由一个或多个远程计算***控制。远程计算***优选地通过客户端(例如,本地应用、浏览器应用等)控制飞行***12,但是能够以其他方式控制飞行***12。远程计算***能够是用户装置、远程服务器***、连接的器具或是任何其他合适的***。用户装置的示例包括平板电脑、智能手机、移动电话、膝上型计算机、手表、可穿戴装置(例如,眼镜)或任何其他合适的用户装置。用户装置能够包括电力存储装置(例如,电池)、处理***(例如,CPU、GPU、存储器等)、用户输出(例如,显示器、扬声器、振动机构等)、用户输入(例如,键盘、触摸屏、麦克风等)、定位***(例如,GPS***)、传感器(例如,光学传感器(诸如光传感器和摄像机)、方位传感器(诸如加速度计、陀螺仪和高度计)、音频传感器(诸如麦克风)等)、数据通信***(例如,Wi-Fi模块、BLE、蜂窝模块等)或任何其他合适的部件。
***10可以被配置用于无控制器的用户-无人机交互。通常,飞行***或无人机12需要单独的装置,例如,远程装置14。远程装置14可以在不同类型的装置中实施,所述不同类型的装置包括但不限于地面站、遥控器或移动电话等。在一些实施例中,飞行***12的控制可以由用户通过用户表达来完成而不使用远程装置14。用户表达可以包括,但不限于,由用户执行的、不包括与远程装置14的物理交互的任何动作,包括思想(通过脑波测量)、面部表情(包括眼睛运动)、手势和/或语音。在这样的实施例中,用户指令直接经由光学传感器36、以及其他传感器44中的至少一些传感器接收,并由机载处理***22处理以控制飞行***12。
在至少一个实施例中,飞行***12可以在没有与远程装置14物理交互的情况下被控制,但是,远程装置14的显示器可以用于显示从飞行***12转发的图像和/或视频,这些图像和/或视频可以帮助用户18控制飞行***12。此外,例如当飞行***12与用户18相距太远时,与远程装置14相关联的传感器36、44(例如,一个或多个摄像机和/或麦克风(未示出))可以将数据转发到飞行***12。从远程装置14转发到飞行***12的传感器数据以与来自机载传感器36、44的传感器数据用于使用用户表达来控制飞行***12的方式相同的方式被使用。
以这种方式,飞行***12可以(1)在不使用远程装置14的情况下或(2)在没有与远程装置14物理交互的情况下从开始到结束被完全地控制。飞行***12的控制基于在各机载传感器36、44处接收的用户指令。应该注意,在下面的讨论中,使用机载传感器36、44还可以包括使用远程装置14上的对应或类似传感器。
通常,用户18可以使用某些手势和/或语音控制来控制起飞、降落、飞行***12在飞行期间的动作和其他特征,诸如照片和/或视频捕获的触发。如上面讨论的那样,飞行***12可以在不使用远程装置14的情况下或在没有由远程装置14处理的情况下提供以下特征:
-起飞和降落;
-所有者识别;
-面部识别;
-语音识别;
-面部表情和手势识别;及
-基于所有者、面部、表情和手势识别以及语音识别来控制飞行***,例如控制飞行***的动作。
如在上面详细描述的,飞行***12包括光学***26,该光学***26包括一个或多个光学传感器36,诸如摄像机。至少一个机载摄像机被配置为用于实时视频流和计算机视觉分析。可选地,飞行***12能够具有用于多像素深度感测的至少一个深度传感器(或立体视觉对)。可选地,飞行***12能够具有用于声音识别和控制的至少一个机载麦克风。
通常,为了提供飞行***12的完全控制,提供了从飞行期间的开始到结束的多个用户/无人机交互或活动。用户/无人机交互包括但不限于起飞和降落、所有者识别、手势识别、面部表情识别和声音控制。
障碍物检测与回避***
参考图6,在本发明的另一方面,飞行***12可以包括障碍物检测与回避***50。在一个实施例中,障碍物检测与回避***50包括一对广角透镜摄像机52A、52B。
所述一对摄像机52A、52B一般被安装到或静态地固定到本体20的壳体。存储器54和视觉处理器56被连接到所述一对摄像机52A、52B。***用来采样被监视区域的图像,以用于进行实时或接近实时的图像处理,诸如深度分析。***能够附加地或替代地生成3D视频、生成被监视区域的地图或者执行任何其他合适的功能。
壳体用来以预定的配置来保持所述一对摄像机52A、52B。***优选地包括保持所述一对摄像机52A、52B的单个壳体,但是***能够替代地包括多个壳体件或任何其他合适数量的壳体件。
所述一对摄像机52A、52B可以用来采样围绕***12的周围环境的信号。所述一对摄像机52A、52B被布置使得每个摄像机的相应视锥与另一个摄像机的视锥重叠(参见下文)。
每个摄像机52A、52B能够是CCD摄像机、CMOS摄像机或任何其他合适类型的摄像机。摄像机能够在可见光光谱、IR光谱或任何其他合适的光谱中是灵敏的。摄像机能够是超光谱的、多光谱的或捕获任何合适的频带子集。摄像机能够具有固定的焦距、可调节焦距或任何其他合适的焦距。然而,摄像机能够具有任何其他合适的参数值集合。多个摄像机能够是相同的或不同的。
每个摄像机优选地与相对于参考点(例如,在壳体上)的已知位置相关联,但是能够与估计的、计算的或未知的位置相关联。在一个实施例中,每个摄像机52A、52B可以实施仿生特征,例如独立的运动和定向(即,彼此独立地运动和定向的能力)。例如,应用处理***60可以向每个摄像机52A、52B发送控制信号以使每个摄像机彼此独立地定向和/或运动,以聚焦在不同的对象上,或者实现可配置的深度感测和障碍物回避。所述一对摄像机52A、52B优选地被静态地安装到壳体(例如,壳体中的通孔),但是能够替代地(例如,通过接头)被可致动地安装到壳体。摄像机能够被安装到壳体的表面、边缘、顶点或安装到任何其他合适的壳体特征。摄像机能够与壳体特征对准、沿着壳体特征居中或相对于壳体特征以其他方式布置。摄像机能够被布置成使得有效表面垂直于壳体半径或表面切线、使得有效表面平行于壳体的表面、或以其他方式布置。相邻的摄像机有效表面能够彼此平行、彼此成非零角度、位于同一平面上、相对于参考平面成角度、或以其他方式布置。相邻的摄像机优选地具有6.35cm的基线(例如,摄像机间的距离或轴向距离、各个镜头之间的距离等),但是能够更分开或更靠近在一起。
摄像机52A、52B可以被连接到同一视觉处理***和存储器,但是能够被连接到不同的视觉处理***和/或存储器。优选地,以同一时钟对摄像机采样,但是摄像机能够被连接到不同的时钟(例如,其中时钟能够被同步或以其他方式相关)。摄像机优选地由同一处理***控制,但是能够由不同的处理***控制。摄像机优选地由同一电源(例如,可充电电池、太阳能板阵列、主机机器人电源、单独的电源等)供电,但是能够由不同的电源供电或以其他方式供电。
障碍物检测与回避***50还可以包括发射器58,发射器58用来照亮由摄像机52A、52B监视的物理区域。***50能够包括用于摄像机52A、52B中的一个或多个摄像机的一个发射器58、用于摄像机52A、52B中的一个或多个摄像机的多个发射器58、发射器58或任何其他合适配置的任何合适数量的发射器58。一个或多个发射器58能够发射调制的光、结构光(例如,具有已知的模式)、准直光、漫射光或具有任何其他合适性质的光。所发射的光能够包括在可见范围、UV范围、IR范围内或在任何其他合适范围内的波长。发射器位置(例如,相对于给定摄像机的位置)优选地是已知的,但是能够替代性地被估计的、被计算的或被以其他方式确定。
在第二变型中,障碍物检测与回避***50作为非接触主动3D扫描仪操作。该非接触***是飞行时间传感器,该飞行时间传感器包括摄像机和发射器,其中摄像机记录被监视区域中的障碍物的(对发射器发射的信号的)反射并且基于反射的信号来确定***50和障碍物之间的距离。摄像机和发射器优选地被安装在彼此相距的预定距离(例如,几毫米)内,但是能够以其他方式被安装。发射的光能够是漫射光、结构光、调制光,或具有任何其他合适的参数。在第二变型中,非接触式***是三角测量***,该三角测量***也包括摄像机和发射器。发射器优选地超出摄像机的阈值距离(例如超出摄像机数毫米)被安装,并且被定向为相对于摄像机有效表面成非平行的角度(例如被安装到壳体的顶点),但是能够以其他方式被安装。发射的光能够是准直光、调制光,或具有任何其他合适的参数。但是,***50能够限定任何其他合适的非接触式主动***。然而,所述一对摄像机能够形成任何其他合适的光学测距***。
***50的存储器54用来存储摄像机测量结果。存储器能够附加地用来存储以下各项:设置;地图(例如校准地图、像素地图);摄像机位置或索引;发射器位置或索引;或任何其他合适的信息集合。***能够包括一个或多个存储器。存储器优选地是非易失性的(例如闪存、SSD、eMMC等),但是能够替代地是易失性的(例如RAM)。在一个变型中,摄像机52A、52B写入同一缓冲器,其中每个摄像机被分配有该缓冲器的不同部分。在第二变型中,摄像机52A、52B写入同一存储器或不同存储器中的不同的缓冲器。然而,摄像机52A、52B能够写入任何其他合适的存储器。存储器54优选地是***的全部处理***(例如视觉处理器、应用处理器)可访问的,但是能够替代地由处理***的子集(例如单个视觉处理器等)访问的。
***50的视觉处理***56用来确定物理点与***的距离。视觉处理***优选地确定来自像素子集的每个像素的像素深度,但是能够附加地或替代地确定对象深度或者确定物理点或其集合(例如对象)的任何其他合适的参数。视觉处理***56优选地处理来自摄像机52A、52B的传感器数据流。
视觉处理***56可以以预定的频率(例如30FPS)处理每个传感器数据流,但是能够以可变频率或以任何其他合适的频率处理传感器数据流。预定的频率能够从应用处理***60接收、从存储装置取出、基于摄像机得分或分类(例如前、侧、后等)自动确定、基于可用的计算资源(例如可用内核、剩余的电池电量等)确定、或以其他方式确定。在一个变型中,视觉处理***56以同一频率处理多个传感器数据流。在第二变型中,视觉处理***56以不同频率处理多个传感器数据流,其中,频率基于被分配给每个传感器数据流(和/或源摄像机)的分类来确定,其中,该分类基于源摄像机相对于主机机器人的行进向量的方位来分配。
***50的应用处理***60用来确定用于传感器数据流的时分复用参数。应用处理***60能够附加地或替代地执行对象检测、分类、跟踪(例如光流)或使用传感器数据流的任何其他合适的处理。应用处理***能够附加地或替代地基于传感器数据流(例如基于视觉处理器输出)来生成控制指令。例如,能够使用传感器数据流来执行(例如使用SLAM、RRT等的)导航或视觉测程,其中基于导航输出来控制***和/或主机机器人。
应用处理***60能够附加地或替代地接收控制命令并且基于该命令来操作***12和/或主机机器人。应用处理***60能够附加地或替代地接收外部传感器信息,并且基于命令来选择性地操作***和/或主机机器人。应用处理***60能够附加地或替代地基于传感器测量结果(例如使用传感器融合)来确定机器人***运动学特性(例如位置、方向、速度、加速度)。在一个示例中,应用处理***60能够使用来自加速度计和陀螺仪的测量结果来确定***和/或主机机器人的通行向量(例如***的行进方向)。应用处理***60能够可选地基于机器人***运动学特性来自动生成控制指令。例如,应用处理***60能够基于来自摄像机52A、52B的图像来确定***(在物理空间中)的位置,其中,(来自方位传感器的)相对位置以及(从图像确定的)实际位置和速度能够被馈送到飞行控制模块。在这个示例中,来自面向下方的摄像机子集的图像能够用于(例如使用光流法)确定***平移,其中***平移能够被进一步馈送到飞行控制模块中。在一个具体示例中,飞行控制模块能够综合这些信号以维持机器人的位置(例如使无人机悬停)。
应用处理***60能够包括一个或多个应用处理器。应用处理器能够是CPU、GPU、微处理器或任何其他合适的处理***。应用处理***60能够实施为是视觉处理***56的一部分、或与视觉处理***56分开、或与视觉处理***56不同。应用处理***60可以由一个或多个接口桥连接到视觉处理***56。接口桥能够是高通量和/或高带宽的连接,并且能够使用MIPI协议(例如,2输入到1输出摄像机聚合桥—扩展能够被连接到视觉处理器的摄像机的数量)、LVDS协议、DisplayPort协议、HDMI协议或任何其他合适的协议。替代地或附加地,接口桥能够是低通量和/或低带宽的连接,并且能够使用SPI协议、UART协议、I2C协议、SDIO协议或任何其他合适的协议。
***能够可选地包括图像信号处理单元(ISP)62,图像信号处理单元62用来在将摄像机信号传递到视觉处理***和/或应用处理***之前预处理摄像机信号(例如图像)。ISP 62能够处理来自所有摄像机的信号、来自摄像机子集的信号或来自任何其他合适的源的信号。ISP 62能够自动白平衡、校正场阴影、纠正镜头畸变(例如去除畸变)、裁剪、选择像素子集、应用Bayer变换、去马赛克、应用降噪、锐化图像或以其他方式处理摄像机信号。例如,ISP 62能够从相应的流的图像中选择与两个摄像机之间的重叠物理区域相关联的像素(例如,裁剪每个图像,以仅包括与立体摄像机对的摄像机之间共享的重叠区域相关联的像素)。ISP 62能够是具有多核处理器架构的片上***、是ASIC、具有ARM架构、是视觉处理***的一部分、是应用处理***的一部分或是任何其他合适的处理***。
***能够可选地包括传感器64,传感器64用来对指示***操作的信号进行采样。传感器输出能够被用于确定***运动学特性、处理图像(例如用于图像稳定化)或以其他方式使用。传感器64能够是视觉处理***56、应用处理***60或任何其他合适的处理***的***装置。传感器64优选地被静态地安装到壳体,但是能够替代地被安装到主机机器人或安装到任何其他合适的***。传感器64能够包括:方位传感器(例如IMU、陀螺仪、加速度计、高度计、磁力计)、声学传感器(例如麦克风、换能器)、光学传感器(例如摄像机、环境光传感器)、触摸传感器(例如力传感器、电容式触摸传感器、电阻式触摸传感器)、位置传感器(例如GPS***、信标***、三边测量***)或任何其他合适的传感器集合。
***能够可选地包括输入(例如键盘、触摸屏、麦克风等)、输出(例如扬声器、光、屏幕、振动机构等)、通信***(例如WiFi模块、BLE、蜂窝模块等)、能量存储装置(例如电池)或任何其他合适的部件。
***优选地与主机机器人一起使用,该主机机器人用来在物理空间内通行。主机机器人能够附加地或替代地接收遥控指令并且根据遥控指令操作。主机机器人能够附加地生成远程内容或执行任何其他合适的功能。主机机器人能够包括一个或多个:通信模块、运动机构、传感器、内容生成机构、处理***、复位机构或任何其他合适的部件集合。主机机器人能够是无人机、运载器、机器人、安全摄像机或者任何其他合适的远程可控制***。运动机构能够包括传动***、旋翼、喷射器、踏板、旋转接头或任何其他合适的运动机构。应用处理***优选地是主机机器人处理***,但是能够替代地连接到主机机器人处理***或以其他方式与主机机器人处理***相关。在一个具体的示例中,主机机器人包括具有WiFi模块、摄像机和应用处理***的飞行***(例如无人机)。该***能够被安装到主机机器人的顶部(例如,如在典型操作期间基于重力向量确定的那样)、主机机器人的底部、主机机器人的前部、在主机机器人内居中或以其他方式被安装到主机机器人。***能够与主机机器人整体形成、可移除地联接到主机机器人或以其他方式附接到主机机器人。一个或多个***能够与一个或多个主机机器人一起使用。
参考图7至图9,示出了包括障碍物检测与回避***50的具体实施例的飞行***12。在一个实施例中,障碍物检测与回避***50被配置为实现飞行***12中的双目深度感测和障碍物回避。替代地,任何合适的深度感测机构可以如期望地与云台结合使用,以执行本文所描述的障碍物回避功能。虽然参照飞行***12示出并描述了实施例,但是应当认识到,所述实施例可以例如与任何合适的无人飞行运载器、载人飞机、无人运载器、无人驾驶汽车和机器人设备一起使用。
参考图7,障碍物检测与回避***50包括联接到传感器壳体80的一对摄像机52A、52B。虽然在图7中示出了两个摄像机52A、52B,但是应当认识到,障碍物检测与回避***50可以使用任何合适数量的摄像机或将任何合适数量的摄像机包括在内。在一些实施例中,摄像机52A、52B可以由两个或更多个声呐装置、雷达装置、光成像、检测、测距(LIDAR)装置或其他合适的测距和障碍物检测装置来代替。在另一个实施例中,摄像机52A、52B可以由一个或多个基于飞行时间(TOF)的距离成像或深度摄像机来代替。在一个示例中,摄像机52A、52B可以定位在传感器壳体80的相对的端部上并且可以定向成面向相同的方向,以使飞行***12能够实现双目视觉。摄像机52A的视场82可以在与传感器壳体80相隔距离86处与摄像机52B的视场84重叠,以便产生组合的视场88。因此,障碍物检测与回避***50可以提供双目视觉或另外的深度感测机制,可用于确定定位在相隔大于距离86处的物体的深度。
在示例性实施例中,摄像机52A、52B是具有各个视场(FOV)的广角镜头摄像机,选择广角镜头摄像机以在近距离处提供足够大的FOV重叠。在一个实施例中,每个摄像机52A、52B的视场至少为60度。替代地,每个摄像机52A、52B的视场至少为80度,或者可以是任何其他合适的值。优选地,两个摄像机52A、52B应当具有相同的像素大小、像素数量和镜头设计。像素对应方法能够用于通过三角测量来获得深度信息。能够应用路径和轨迹规划算法(例如快速扩展随机树-RRT,A*等)来生成飞行***12的期望路径以回避障碍物。
参考图8,障碍物检测与回避***50被实施为飞行***12内的双轴线主动云台***。然而,应当认识到,障碍物检测与回避***50可以被实施为三轴线主动云台***,或者可以如期望地以任何其他合适的配置来实施。
参考图9,示出了包括障碍物检测与回避***50的飞行***12的俯视图。如图9中所示,障碍物检测与回避***50定位于飞行***12的顶部上(即,在本体20的上侧上)。替代地,障碍物检测与回避***50可以定位在飞行***12的底部上(即,在本体20的下侧上)。
又参照图8,障碍检测与回避***50包括联接到飞行***12的本体20上的传感器壳体80和致动机构28。如下所讨论,致动机构28包括第一马达90和第二马达92,第一马达和第二马达可使传感器壳体80围绕相应的轴线旋转。本体20包括电源38,该电源38向传感器壳体80和致动机构28内的部件供电。
电源38为飞行***12及其中的部件提供稳定的电源。例如,在过电压、过电流或电力故障的情况下,电源38包括保护功能。电源38能够安装在本体20(如图8中所示)或传感器壳体80上。
传感器壳体80包括摄像机52A、52B,并且还可以包括例如传感器64(图6中所示)和/或传感器44(图5中所示)的其他传感器。此外,传感器壳体80可以包括摄像机、图像传感器、雷达、声纳或任何其他合适的传感器的任何其他组合。传感器壳体80还可以包括视觉处理***56和应用处理***60。替代地,视觉处理***56和/或应用处理***60可以定位在本体20内。提供数据电缆94以将命令从应用处理***60发送到升力机构40(例如,发送到驱动飞行***12的螺旋桨42的马达)。在一个实施例中,传感器壳体80使用一个或多个螺丝、螺栓、粘合剂等安装在马达90上,例如马达90的转子上。
视觉处理***56分析摄像机或其他传感器数据,以便检测和便于回避障碍物并执行同步定位和绘制(SLAM)功能。视觉处理***56可以通过一个或多个有线导体(未示出)、柔性印刷电路板(PCB)的电缆(FPC)等从摄像机52A、52B接收数据。视觉处理***56还可以通过数据电缆94与应用处理***60通信以及容纳在本体20内的部件通信。
应用处理***60包括惯性动量单元(IMU)和姿态处理功能,以确定飞行***12的行进方向以及传感器壳体80和/或摄像机52A、52B在运载器坐标***96内的方位。更具体地,应用处理***60从一个或多个方位传感器(如上所描述)接收信号数据,并且确定飞行***12沿着多个轴线(如运载器坐标系96的x轴线、y轴线和z轴线)的行进方向。此外,应用处理***60可以从联接到传感器壳体80或马达90、92的一个或多个传感器接收信号,以确定传感器壳体80和/或摄像机52A、52B沿着运载器坐标系的x轴线、y轴线和z轴线中的一个或多个的方位。应当认识到,由于摄像机固定地联接到传感器壳体80,传感器壳体80的方位实际上与摄像机52A、52B的方位相同。方便起见,下面的描述将涉及传感器壳体80方位的确定和调整,应理解这也适用于摄像机52A、52B方位的确定和调整。应用处理***60可以通过一个或多个有线导体(未示出)、柔性PCB电缆(FPC)等联接到马达90、92,以控制马达90、92的操作。
在图8中所示的实施例中,可以相对于运载器坐标系96的两个轴线来确定和调整传感器壳体80的方位。例如,可以围绕z轴线(也称为偏航轴线)和围绕y轴线(也称为俯仰轴线)来确定传感器壳体80的方位。替代地,除z轴线和y轴线之外,或者代替z轴线或y轴线,传感器壳体80的方位可以围绕x轴线(也称为翻滚轴线)来确定。在一个实施例中,z轴线对应于本体20的贯穿轴线,y轴线对应于本体20的横向轴线,并且x轴线对应于本体20的纵向轴线。
致动机构28包括提供传感器壳体80的双轴线方位的第一马达90和第二马达92。第一马达90和第二马达92可以包括但不限于DC无刷马达、步进马达或伺服马达。替代地,可以使用任何其他合适的致动器来代替第一马达90或第二马达92。在示例性实施例中,第一马达90被配置为使传感器壳体80围绕y轴线(即俯仰轴线)旋转,并且因此在本文中称之为俯仰马达90。第二马达92被配置为使传感器壳体80围绕z轴线(即偏航轴线)旋转,并且因此在本文中称之为偏航马达92。因此,俯仰马达90可用于提供稳定性并抵消本体20在俯仰方向上的运动,而偏航马达92可用于提供稳定性并抵消本体20在偏航方向上的运动。俯仰马达90和偏航马达92由应用处理***60控制以实现围绕它们各自轴线的所需的旋转。更具体地,应用处理***60可以向俯仰马达90和偏航马达92发送命令信号,以使俯仰马达90和偏航马达92将传感器壳体80旋转至期望的角度。
俯仰马达90和偏航马达92可通过联接机构98(例如一个或多个螺丝、螺栓、闩锁、粘合剂等)联接在一起。在一个实施例中,俯仰马达90至少部分定位于传感器壳体80内,而偏航马达92至少部分地定位于本体20内。替代地,俯仰马达90和偏航马达92可以定位在飞行***12的任何合适的部分中。俯仰马达90和偏航马达92可以使用任何合适的机构(例如一个或多个螺丝、螺栓、粘合剂等)联接到传感器壳体80和/或本体20。尽管在图8中仅示出了两个马达,但是应当认识到,在一些实施例中可以包括第三马达(未示出)以提供传感器壳体80的三轴线方位。例如,在一些实施例中,可以提供翻滚马达以使传感器壳体80围绕x轴线(即翻滚轴线)旋转。俯仰马达90和偏航马达92使得障碍物检测与回避***50能够在两个自由度下操作,即俯仰和偏航。替代地,马达90、92可以使障碍物检测与回避***50能够在其他两个自由度(例如俯仰和翻滚或翻滚和偏航)下操作。
在操作期间,应用处理***60从方位传感器接收数据,并确定传感器壳体80(和摄像机52A、52B)相对于运载器坐标系96的姿态或方位。替代地,应用处理***60例如可以接收来自一个或多个角度编码器或附接到俯仰马达90和偏航马达92的一个或多个齿轮或轴的其他传感器的信号,并且可以基于该信号来确定传感器壳体80的方位。应用处理***60还确定飞行***12相对于运载器坐标系96的行进方向。具体地,应用处理***60可以将行进方向确定为沿运载器坐标系96的x轴线、y轴线和z轴线的方向。
应用处理***60可以确定传感器壳体80的方位是否关于至少两个轴线——俯仰轴线和偏转轴线——与行进方向匹配。如果传感器壳体80的方位与飞行***12的行进方向不一致,则应用处理***60自动调整传感器壳体80的方位以匹配行进方向。具体地,应用处理***60可以向俯仰马达90和/或偏航马达92发送一个或多个命令信号,使马达将传感器壳体80旋转到与飞行***12的行进方向相匹配的方位。
随着传感器壳体80和摄像机52A、52B的方位被自动调整以匹配飞行***12的行进方向,摄像机52A、52B提供了摄像机52A、52B的FOV内周围环境及飞行***12行进路径中的任何障碍物的双目或其他合适的深度感测视觉。视觉处理***56接收来自摄像机52A、52B的图像信号并分析图像来检测飞行***12的行进路径中的障碍物。视觉处理***56使用摄像机52A、52B的重叠FOV以感测图像数据中的深度,从而提高视觉处理***56确定是否有任何障碍物在行进路径中以及障碍物有多远的能力。视觉处理***56将表示任何检测到的障碍物的数据发送到应用处理***60,并且应用处理***60可以调整飞行***12的行进路径以回避障碍物。例如,应用处理***60可以将一个或多个命令信号发送到升力机构40(例如,螺旋桨叶片42的马达),以使升力机构40改变飞行***12的行进方向来远离检测到的障碍物。
以这种方式,物体检测与回避***50作为模仿人类检测和回避障碍物的能力的仿生活动云台***来操作。例如,人类的头部和眼睛通常面向人类正在移动的方向,并且眼睛可围绕偏航轴线和俯仰轴线旋转以检测障碍物。通过模仿人类的障碍物检测和回避能力,飞行***12能够提供鲁棒和有效的障碍物检测与回避***,所述障碍物检测与回避***仅需两个马达将摄像机52A、52B定位在最佳位置中以检测障碍物。此外,相比于其他通常需要全向摄像机或四对或更多对摄像机来以全向的方式检测障碍物的***相比,障碍物检测与回避***50仅需要两个广角摄像机52A、52B来实现障碍物检测的鲁棒水平。
在另一个实施例中,当飞行***12沿特定方向飞行时,摄像机52A、52B可以交替地处理不同方向的图像。例如,每个摄像机52A、52B可以在一部分时间内(例如,50%的时间)聚焦在行进方向上,并且可以在另一部分时间内聚焦到飞行***12的一侧或多侧(例如,每侧25%的时间)。在一个实施例中,摄像机52A、2B在面对飞行***12的行进方向时捕获的图像可以具有与摄像机52A、52B在飞行***侧面捕获的图像的分辨率或速率所不同的分辨率或速率。例如,摄像机52A、52B可以在面向行进方向时以每秒30帧(FPS)来捕获图像,并且可以在面向侧面的情况下以每秒15帧(FPS)来捕获图像。因此,障碍物检测与回避***50可以将障碍物检测和回避的焦点主要保持在行进方向上,但是也可以对不在行进方向上的对象保持察觉,以使飞行***12能够根据需要控制或者改变其在行进方向以外方向上的位置。应当认识到,本文描述的实施例仅仅是示例,并且摄像机52A、52B可以根据需要以任何合适的方式配置。
因此,本文所描述的实施例提供了稳定、可靠和低成本的障碍物检测和回避方案。本文描述的障碍物检测与回避***50可以在俯仰方向和偏航方向上保持飞行***12和摄像机52A、52B的稳定性。
障碍物检测与回避***50还可以使摄像机52A、52B或其他传感器沿着行进方向定向,使得摄像机52A、52B的组合视场(FOV)的中心区域(深度传感器精度通常最高的地方)总是面向传感器的注意力应当集中用以最佳回避障碍物的方向。在包含双目的、一对摄像机52A、52B的实施例中,障碍物检测与回避***节省成本并减轻重量,因为障碍物检测与回避***仅需要一对摄像机来实现全向的障碍物回避,而其他产品需要四对或更多对摄像机来实现类似功能。由于与其他已知实施方式相比所需零件数量减少,本文描述的实施例还提供了一种更简单的飞行运载器组件。
此外,本文描述的障碍物检测与回避***可以在应用处理***期望的任何方向上旋转,并且能够通过高度灵活的操作实现全向障碍物回避。例如,当在垂直起飞模式操作飞行运载器时,飞行***12可以检测并回避在***12上方的障碍物,因为用于检测障碍物的摄像机52A、52B被自动调整为向上聚焦。
可旋转的双目摄像机***
参考图10,在本发明的又一方面,飞行***12可以包括可旋转的双目摄像机***100,双目摄像机***主要用于与无人飞行***12协作以实现360度全向障碍物回避。无人飞行***12能够通过使用可旋转的双目摄像机***100来感知所有方向上的障碍物。在此基础上,无人飞行***12能够做出相应的障碍物回避策略和轨迹规划。在一个实施例中,可旋转的双目摄像机***100被设计成旋转至少三百六十(360)度。在另一个实施例中,可旋转的双目摄像机***100的旋转范围被设计为四百五十(450)度。即,可旋转的双目摄像机***100能够从无人飞行***12的正面方向顺时针或逆时针旋转二百二十五(225)度。应当认识到,无人飞行***12仅使用一对可旋转的双目摄像机52A和52B就实现了全向障碍物回避。
在一个实施例中,可旋转的双目摄像机***100能够相对于本体20弹起并被向下推动。首先,它便于存储。可旋转的双目摄像机***100在使用时能够从本体20弹起,并且在不使用时可以向下推入本体20。第二,当使用时,可旋转的双目摄像机***100的观看位置高于本体20的顶表面,以覆盖更宽的垂直视场,而不是被本体20很大程度地阻挡。
在一个实施例中,高精度的四百五十(450)度旋转的无刷云台马达132用于实现可旋转的双目摄像机***100的精确旋转。可旋转的双目摄像机***100能够实现全向深度感测并绘制深度信息以实现轨迹规划和全向障碍物回避。应当认识到,可旋转的双目摄像机***100允许无人飞行***12以简单、低成本和紧凑的***解决方案来实现全向障碍物回避。
可旋转的双目摄像机***100的一个实施例在图10中示出。可旋转的双目摄像机***100包括内部模块102、第一弹簧104、中间模块106、第二弹簧108和外部模块110,如图11中所示。在一个实施例中,第一弹簧104和第二弹簧108是线圈类型的。内部模块102和外部模块110每一个都具有中心部分102A和110A以及臂部分102B和110B,中心部分102A和110A分别沿轴向延伸,形状上通常为矩形,但可以是任何合适的形状,臂部分102B和110B分别沿径向从所述中心部分102A和110A向外延伸。臂部102B和110B在形状上通常为矩形,但可以是任何合适的形状。中间模块106在形状上通常为矩形,但可以是任何合适的形状,以分别与内部模块102和外部模块110的中心部分102A和110A协作。可旋转的双目摄像机***100还包括推推插座槽112、霍尔效应传感器板114、外部块116和中间块118。在一个实施例中,霍尔效应传感器板114在形状上通常为矩形,但可以是任何合适的形状。在一个实施例中,一个或多个外部块116和中间块118设置在外部模块110和中间模块106的相对侧上,并且通常为“T”形,但是可以是任何合适的形状。应当认识到,摄像机52A和52B被安装到内部模块102的臂部分102B。还应当认识到,可旋转的双目摄像机***100允许两级弹起、推推功能和四百五十(450)度旋转。
两级弹起
外部模块110配备有推推插座槽112和霍尔效应传感器板114。可以提供一个或多个霍尔效应传感器板114,使得霍尔效应传感器板114中的一个被设置在外部模块110的臂部分110B中。外部模块110和中间模块106通过第一弹簧104连接。第一弹簧104设置在外部模块110的中心部分110A的底部和中间模块106的底部之间。中间模块106包括至少一个引导滑块120,而外部模块110包括至少一个引导槽122。在一个实施例中,一对引导滑块120和引导槽122设置在外部模块110的中心部分110A和中间模块106的相对侧上,并且形状上通常为矩形,但可以是任何合适的形状。引导滑块120能够在引导槽122内滑动,并且通过第一弹簧104提供向上的力以实现第一级弹起/向上滑动,如图12中所示。应当认识到,外部块116在外部模块110的相对侧上设置在外部模块110中并且限制了向上滑动运动的端部位置。
中间模块106和内部模块102通过第二弹簧108连接。第二弹簧108设置在中间模块106的底部和内部模块102的中心部分102A的底部之间。内部模块102的底部包括向外延伸的至少一个引导滑块124,并且中间模块106包括沿轴向延伸并凹入其中的至少一个引导坡道126。在一个实施例中,一对引导滑块124和引导坡道126被设置在中间模块106和内部模块102的中心部分102A的相对侧上,并且在形状上大致为矩形,但是可以是任何合适的形状。引导滑块124和引导坡道126彼此协作,以通过第二弹簧108提供向上的力,并利用中间块118实现第二级弹起,该中间块118提供如图13中所示的限制。应当认识到,中间块118在中间模块106的相对侧上设置在中间模块106中。还应当认识到,基于两级弹起方案还能通过减少或增加弹簧104和108以及中间层的数量利用一级机构或多级机构来实现弹起。
推推功能
内部模块102是可旋转的双目摄像机***100的核心部件。在一个实施例中,内部模块102包括适配器板128、双目臂模块130、云台马达132、FPC电缆及连接器134、内底136和弯曲线钩138,如图14中所示。双目臂模块130形成内部模块102的中心部分102A和臂部分102B的两个部分,并且内底136也形成中心部分102A。双目臂模块130还包括与之联接的左摄像机模块或摄像机52A和右摄像机模块或摄像机52B、线激光器140和至少一个磁体142,如图15中所示。在一个实施例中,左摄像机52A和右摄像机52B设置在双目臂模块130的外端中并且在双目臂模块130的外端附近,且形成双目,实现对障碍物的感知。在一个实施例中,线激光器140设置在双目臂模块130中,并发射肉眼不可见的红外光。在一个实施例中,激光线140的激光表面通常垂直于双目臂模块130的轴线。在一个实施例中,一对磁体142设置在双目臂模块130的底部中并且在形状上是圆的或圆形,但可以是任何合适的形状。应当认识到,线激光器140的功能是,当无人飞行***12遇到大面积的没有图案的纯色物体/平面(例如空白墙壁)时,可旋转的双目摄像机***100利用在物体/平面上投影线图案的线激光器140,仍然能够正确地感知深度信息。还应当认识到,当磁体142接近外部模块110上的霍尔效应传感器板114时,将生成触发信号以检测双目臂模块130是否处于存储状态中。应当进一步认识到的是,适配器板128的功能是连接左摄像机模块52A和右摄像机模块52B的FPC,然后移出一个FPC电缆及连接器134,并将其连接到无人飞行***12。
参考图16,内底136设有槽144,弯曲线钩138可嵌入所述槽中,然后由压板146压紧,并且内底136和云台马达132的定子部分162通过合适的机构、例如螺丝(未示出)来固定。在一个实施例中,弯曲线钩138通常是“U”形的,但是可以是任何合适的形状。弯曲线钩138的一端夹在中间,并由槽144定位,以完成弯曲线钩138的安装和固定。弯曲线钩138的另一端向下延伸以与推拉槽112接合。推推插座槽112通过诸如螺丝(未示出)等合适的机构被固定至外部模块110。
如图16中所示,当内部模块102被下压时,弯曲线钩138逐渐接近推推插座槽112,并且当弯曲线钩138的端部进入推推插座槽112时,将产生如图18中实线和虚线所示的运动轨迹,由此实现一次下压时的自锁和再次下压时的解锁。如图17中所示,在推推插座槽112的轮廓上有三个台阶,以确保弯曲线钩138只能在单个方向上运动,由此实现图18中所示的轨迹。应当认识到,除了用于容纳双目臂模块130的推推结构之外,还可以实施其他合适的方法,例如紧固、闩锁和磁体拉入。
霍尔效应传感器
在一个实施例中,霍尔效应传感器148(图11)被安装在臂部分110B的外表面上,并且磁体142被安装在双目臂模块130上。当下压双目臂模块130时,磁体142和霍尔效应传感器148之间的距离变小。当距离达到预设阈值时,霍尔效应传感器148将生成信号,使得它能够识别双目臂模块130是否被下压。当双目臂模块130弹起时,磁体142和霍尔效应传感器148之间的距离变大。当距离达到预设阈值时,霍尔效应传感器148将生成信号,使得它能够识别双目臂模块130是否弹起。
云台马达(旋转行进范围为450度)
参考图19,云台马达132是无刷型的。云台马达132包括马达本体150、一件式FPC152、磁体154和盖板156。在一个实施例中,马达本体150在形状上通常是具有圆形形状的圆柱形,但可以是任何合适的形状。在一个实施例中,磁体154在形状上为圆的或圆形,但可以是任何合适的形状。在一个实施例中,盖板156在形状上通常是圆形,但可以是任何合适的形状。一件式FPC 152集成了霍尔效应传感器板158(霍尔效应传感器板实现了马达驱动控制)和磁性编码器板160(磁性编码器板实现了马达的高精度角度控制),实现了结构的小型化和紧凑性。应当认识到,霍尔效应传感器板158和磁性编码器板160设置在马达本体150和盖板156之间。
在一个实施例中,马达本体150包括定子部分162、转子部分164和转换环166,如图20中所示。当转子部分164旋转时,第一极限点168同时旋转。当第一极限点168接触转换环166时,第一极限点驱动转换环166旋转。在转换环166旋转一定角度并接触第二极限点170之后,旋转将停止,由此达到四百五十(450)度的角度极限。应当认识到,相对于常规角度无刷云台马达,这种构造的优点在于,在没有增加原始马达本体150的尺寸的情况下,仅一个额外的零件、即转换环166用于实现大角度限制。还应当认识到,根据实际需要,云台马达132的旋转行进范围能够从三百六十度(360°)调节到七百二十度(720°)。
信号路由方案
摄像机53A、52B的信号通过FPC 134发送到转接板,然后通过FPC 134发送到主板。如图21中所示,FPC 134的涡旋区段的起点172固定在转子部分164上,而终点174固定在定子部分162上。当云台马达132旋转时,FPC134的涡旋区段能够提供相应的旋转角度。应当认识到,FPC 134的第一连接点176连接到转接板,而FPC 134的第二连接点连接到主板。
如图22中所示,FPC 134的S形部分的起点172固定在FPC 134的内层上,而终点174固定在FPC 134的外层上。当弹起或被向下推动时,FPC 134的S形部分能够动态地弯曲。如图23中所示,FPC 134的D形部分的起点172固定在FPC 134的内层上,终点174固定在D形部分上,并且D形部分用FPC 134的外层来固定。当弹起或向下推动时,FPC 134的D形部分能够动态弯曲。应当认识到,与现有技术相比,这种配置通过使用四百五十(450)度无刷云台马达132和一件式FPC 134来提供两级弹起和推推功能,用以实现全向障碍物回避,降低无人飞行***12的复杂性。
自动双目升降结构
参照图23至图25,示出了根据本发明的用于可旋转双目摄像机***100的自动双目升降结构或机构的实施例。在一个实施例中,自动双目升降结构或机构(总体在180处表示出)位于内底136的中心部分102A处,以驱动旋转机构和双目臂模块130。可选的实施例是,旋转机构位于内底136的中心部分102A处,并且自动双目升降结构180与旋转机构的旋转电机的转子部分连接。自动双目升降结构180仅驱动双目臂模块130,并且旋转机构驱动自动双目升降结构180以便根据双目臂模块130旋转。在其他实施例中,能够通过诸如以下动力驱动方法来实现手动弹起或下压:a)马达(伺服)驱动齿轮和齿条以使双目臂模块130向上或向下运动;b)马达驱动螺丝轴和螺丝以使双目臂模块130向上或向下运动;或c)马达(伺服)驱动曲柄连杆以使双目臂模块130向上或向下运动。
参考图24,示出了可旋转双目摄像机***100的根据本发明实施例的自动双目升降结构180。在该实施例中,自动双目升降结构180包括安装在旋转的马达基座或内底136上的微型马达182。自动双目升降结构180还包括驱动齿轮184,并且微型马达182在一端处与驱动齿轮184连接。驱动齿轮84包括多个齿。自动双目升降结构180包括传动齿轮186,并且驱动齿轮184与传动齿轮186接合。传动齿轮186包括多个齿。自动双目升降结构180还包括沿轴向延伸的传动轴188,并且传动齿轮186在传动轴的轴向端部之间与传动轴188固定连接。传动轴188固定在旋转的马达座或双目臂模块130上。传动轴188具有一对轴向间隔开的轴向限制器189,轴向限制器防止传动轴188轴向运动。自动双目升降结构180包括在传动轴188的端部处的第一升降齿轮190和第二升降齿轮192,并且传动轴188被连接到第一升降齿轮190和第二升降齿轮192。第一升降齿轮190和第二升降齿轮192包括多个齿。自动双目升降结构180还包括第一升降齿条194和第二升降齿条196,并且第一升降齿轮190和第二升降齿轮192与第一升降齿条194和第二升降齿条196相接合或啮合。第一升降齿条194和第二升降齿条196形成在双目臂模块130上。第一升降齿条194和第二升降齿条196包括多个齿。
在自动双目升降结构180的操作中,微型马达182驱动所述驱动齿轮184,驱动齿轮184将旋转力传递至传动齿轮186,传动齿轮186驱动传动轴188,并且传动轴188驱动第一升降齿轮190和第二升降齿轮192。第一升降齿轮190和第二升降齿轮192同步旋转并与第一升降齿条194和第二升降齿条196啮合。第一升降齿轮190通过与第一升降齿条194相接合或啮合而在第一升降齿条194的长度内向上和向下运动,并且第二升降齿轮192通过与第二升降齿条196相接合或啮合而在第二升降齿条196的长度内向上和向下运动。应当认识到,双目旋转平台或臂模块130的自动升降是通过一个驱动马达和借助于齿轮传动装置来实现的。
尽管为了简明而省略,但是优选的实施例包括各种***部件和各种方法工艺的每种组合和排列,其中方法工艺能够以任何合适的顺序执行、按顺序执行或同时执行。
如本领域技术人员将从上文详细描述以及从附图和权利要求中认识到的那样,能够对本发明的优选实施例进行修改和改变,而不会脱离所附权利要求中限定的本发明的范围。