CN106489062B - 用于测量移动平台的位移的***和方法 - Google Patents

Abstract

本发明披露一种用于测量移动平台的位移的***以及用于制造和使用所述***的方法。所述***能够在两个时间点获取第一帧和一第二帧并且基于所述第一帧和所述第二帧来确定所述移动平台的所述位移。在一个实施例中，还可以提供其他数据以便于确定所述移动平台的所述位移。示例性的其他数据可以包括所述移动平台的高度和倾角。所述高度可以通过气压计和/或超声波装置来获得，而所述倾角可以通过惯性测量单元来获得。由此，所述***能够有利地较不容易受到外界干扰、适用于缺乏全球定位***信号的环境并且能够满足在宽泛高度范围内行进的过程中测量所述移动平台的所述位移的精度要求。

Description

用于测量移动平台的位移的***和方法

技术领域

所披露的实施例总体上涉及移动平台的运行，并且更具体地但非排他地涉及用于检测移动平台的位移的***和方法。

背景技术

对于无人飞行器(“UAV”)的导航和运行而言，需要不断地确定UAV的位移。当前可供使用的用于测量位移的技术只能在某些条件下确保性能和精度，例如在某一高度范围内。此外，这些当前可供使用的技术容易受到外界干扰。

在这些当前可供使用的技术中，一种基于单目成像装置和超声波装置的解决方案可能受到超声波装置检测距离的限制，因此，通常仅在半米到五米的低高度内适用。此外，这样的单目解决方案也可能容易受到外界环境中所存在的噪声影响。一种基于双目成像装置的替代性解决方案受到所述双目成像装置的两个镜头之间的基线长度的限制并且仅适用于一至十米的高度。另一种基于全球定位装置(“GPS”)的解决方案在室内环境下或者在复杂的外界环境下由于缺少可靠信号而是不可靠的。

鉴于上述原因，需要一种用于在宽泛高度范围内有效且高效地测量移动平台的位移的***和方法。

发明内容

根据本文披露的另一方面，提出了一种用于检测移动平台的位移的方法，所述方法包括：

用成像装置获取第一帧和第二帧；以及

基于所述第一帧和所述第二帧确定所述移动平台的位移。

在所披露方法的示例性实施例中，获取包括获得所述移动平台的高度。

在所披露方法的示例性实施例中，获得所述高度包括通过气压计和超声波装置中的至少一者来获得所述高度。

在所披露方法的示例性实施例中，获取包括获得所述成像装置相对于地平面的角度。

在所披露方法的示例性实施例中，获得所述角度包括通过惯性测量单元(“IMU”)来获得所述角度。

在所披露方法的示例性实施例中，获取还包括用所述IMU测量所述移动平台相对于所述第一帧的旋转角度以产生旋转数据。

在所披露方法的示例性实施例中，获取还包括使所述第一帧和所述第二帧相匹配，

其中所述第一帧与所述第二帧以预定百分比重叠。

在所披露方法的示例性实施例中，获取包括在不同时间点获得所述第一帧和所述第二帧。

在所披露方法的示例性实施例中，在不同时间点获得所述第一帧和所述第二帧包括以不小于六十分之一秒且不大于二十分之一秒的间隔获得所述第一帧和所述第二帧。

所披露方法的示例性实施例还包括基于所述第一帧、所述移动平台的高度以及所述移动平台的角度中的至少一者来获得立体点云，

其中所述立体点云是特征点阵列{P1,P2,P3,…,Pn}。

所披露方法的示例性实施例还包括基于所述立体点云获得x-y平面中的第二投影阵列{(x12,y12),(x22,y22),(x32,y32),…,(xm2,ym2)}。

在所披露方法的示例性实施例中，获取所述第二投影阵列包括：

基于所述立体点云获得x-y平面中的第一投影阵列{(x11,y11),(x21,y21),(x31,y31),…,(xn1,yn1)}；以及

将所述第一投影阵列的多个特征点匹配到所述第二帧上以产生所述第二投影阵列{(x12,y12),(x22,y22),(x32,y32),…,(xm2,ym2)}。

在所披露方法的示例性实施例中，匹配所述多个特征点包括：

扫描所述第二帧以识别所述第二帧的与所述第一帧的选定特征点相匹配的点；以及

计算所述第一帧的所述选定特征点与所述点之间的相似度。

在所披露方法的示例性实施例中，计算所述相似度包括将所述第一帧的所述选定特征点与以所述第二帧上的所述点为中心的三乘三像素区域进行比较。

在所披露方法的示例性实施例中，比较三乘三像素区域包括比较彩色图像的每个像素的每个颜色分量的差的和、或黑白图像的每个像素的灰度值的差的和。

所披露方法的示例性实施例还包括基于所述旋转数据、所述立体点云以及所述第二投影阵列来计算平移阵列T。

在所披露方法的示例性实施例中，计算所述平移阵列T包括应用关系式：

其中R是旋转测量值阵列，Pj是点，T表示待计算的平移阵列并且μ是随机数。

在所披露方法的示例性实施例中，应用还包括通过针对从所述立体点云中选择的至少两个点以及所述第二投影阵列的与所述至少两个点相匹配的两个点解出一组等式来计算T。

所披露方法的示例性实施例还包括通过在具有从所述立体点云中选择的多个点以及所述第二投影阵列的与所述多个点相对应的投影点的情况下将所述平移阵列T代入等式中来验证所述平移阵列T以获得匹配点计数；以及

选择具有最大匹配点计数的平移阵列T作为选定平移阵列T。

所披露方法的示例性实施例还包括用所述旋转数据、所述选定平移T以及关系式来针对所述第二帧计算立体点云。

所披露方法的示例性实施例还包括基于所述选定平移阵列T来计算所述移动平台的位移。

所披露方法的示例性实施例还包括基于所述选定平移阵列T和用于获得所述第一帧和所述第二帧的时间点之间的间隔来计算所述移动平台的速度。

所披露方法的示例性实施例还包括基于所述选定平移阵列T和所述移动平台在用于获得所述第一帧的时间点时的位置信息来计算所述移动平台的位置。

根据披露的另一方面，提出了一种用于检测移动平台的位移的设备，所述设备包括：

成像装置，所述成像装置用于获取第一帧和第二帧；以及

处理器，所述处理器用于基于所述第一帧和所述第二帧确定所述移动平台的位移。

在所披露设备的示例性实施例中，所述处理器被配置用于获得所述移动平台的高度。

在所披露设备的另一个示例性实施例中，所述高度是通过气压计和超声波装置中的至少一者来提供。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于获得所述成像装置相对于地平面的角度。

在所披露设备的另一个示例性实施例中，所述移动平台的角度是通过惯性测量单元(“IMU”)来获得。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于用所述IMU测量所述移动平台相对于所述第一帧的旋转角度以产生旋转数据。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于使所述第一帧与所述第二帧相匹配，

其中所述第一帧与所述第二帧以预定百分比重叠。

在所披露设备的另一个示例性实施例中，所述第一帧和所述第二帧是在不同时间点获得的。

在所披露设备的另一个示例性实施例中，这些不同时间点包括这些时间点之间不小于六十分之一秒且不大于二十分之一秒的间隔。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述第一帧、所述移动平台的高度以及所述移动平台的角度中的至少一者来获得立体点云，

其中所述立体点云是特征点阵列{P1,P2,P3,…,Pn}。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述立体点云获得x-y平面中的第二投影阵列{(x12,y12),(x22,y22),(x32,y32),…,(xm2,ym2)}。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述立体点云获得x-y平面中的第一投影阵列{(x11,y11),(x21,y21),(x31,y31),…,(xn1,yn1)}；并且其中所述处理器被配置用于将所述第一投影阵列的多个特征点匹配到所述第二帧上以产生所述第二投影阵列{(x12,y12),(x22,y22),(x32,y32),…,(xm2,ym2)}。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于通过扫描所述第二帧以识别所述第二帧的与所述第一帧的选定特征点相匹配的点并且计算所述第一帧的所述选定特征点与所述点之间的相似度来匹配所述多个特征点。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于通过将所述第一帧的所述选定特征点与以所述第二帧上的所述点为中心的三乘三像素区域进行比较来计算所述相似度。

在所披露设备的另一个示例性实施例中，所述第一帧和所述第二帧的这些三乘三像素区域是以彩色图像的每个像素的每个颜色分量的差的和、或黑白图像的每个像素的灰度值的差的和来进行比较的。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述旋转数据、所述立体点云以及所述第二投影阵列来计算平移阵列T。

在所披露设备的另一个示例性实施例中，所述平移阵列T是通过应用以下关系式来计算出的：

其中R是旋转测量值阵列，Pj是点，T表示待计算的平移阵列并且μ是随机数。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于通过针对从所述立体点云中选择的至少两个点以及所述第二投影阵列的与所述至少两个点相匹配的两个点解出一组等式来计算所述平移阵列T。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于通过在具有从所述立体点云中选择的多个点以及所述第二投影阵列的与所述多个点相对应的投影点的情况下将所述平移阵列T代入等式中来验证所述平移阵列T以获得匹配点计数；并且

其中所述处理器被配置用于选择具有最大匹配点计数的平移阵列T作为选定平移阵列T。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述选定平移阵列T计算所述移动平台的位移。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述选定平移阵列T和用于获得所述第一立体帧和所述第二立体帧的这两个时间点之间的间隔来计算所述移动平台的速度。

在所披露设备的另一个示例性实施例中，所述处理器被配置用于基于所述选定平移阵列T和所述移动平台在用于获得所述第一立体帧的时间点时的位置信息来计算所述移动平台的位置。

附图说明

图1是移动平台的示例性示意图。

图2是用于确定图1移动平台的位移的方法的示例性顶级流程图。

图3是图2方法的示例性实施例的示例性流程图，其中使多对帧相匹配。

图4是图3方法的替代性实施例的另一个示例性流程图，其中计算出这些帧的投影阵列。

图5是图3方法的另一个替代性实施例的另一个示例性流程图，其中测量所述第二帧的移动。

图6是图3方法的替代性实施例的示例性图示，展示了用于使具有重叠区域的两个图像相匹配的示例性方法。

图7是展示图6方法的替代性实施例的示例性图示，其中以多个特征点使第一帧与第二帧相匹配。

图8是展示图7方法的替代性实施例的示例性图示，其中通过计算相似度来匹配每个特征点。

应注意的是，这些图不是按比例绘制的，并且贯穿这些图出于展示的目的，具有相似结构或功能的元件一般用类似的参考号表示。还应注意的是，这些图仅旨在帮助描述优选实施例。这些图并未展示所描述实施例的每个方面并且不限制本披露的范围。

具体实施方式

由于当前可供使用的视觉***受到多种条件制约，能够在各种条件下在各种高度的飞行过程中满足测量移动平台位移的要求的移动平台和方法可证明是所希望的并且为诸如UAV***和其他移动平台的***提供了准确测量位移的基础。这个结果可以根据图1中披露的一个实施例来实现。

图1展示了移动平台200的示例性示意图。如图1所示，移动平台200可以检测移动平台200的位移d。成像装置886被示出为安装在移动平台200、诸如UAV 250上。当移动平台200在空中时，如图1所示，成像装置886可以相对于地平面880具有高度H及角度α。成像装置886可以包括单目成像装置或多目成像装置。换言之，成像装置886可以包括任何合适数目的镜头。优选地，可以在选定时间点使用成像装置886的一个镜头拍摄所感兴趣的物体的第一帧811a和第二帧811b(如图2所示)。地平面880可以是实际地面、水平面或具有任何结构的地面。成像装置886可以在如图1所展示的平面882处，所述平面882可以具有高度H。移动平台200可以相对于地平面880具有第一角度，并且成像装置886可以相对于移动平台200的平面具有第二角度。所述第一角度和所述第二角度可以组合成成像装置886相对于地平面880的角度α。

在一些某些实施例中，可以用气压计251和/或超声波装置252(未示出)获得高度H。角度α可以用同步定位与地图构建(SLAM)装置(未示出)按下面参考图5示出和描述的方式获得。

图2展示了一种用于检测移动平台200(图1中全体示出)的位移d的方法100的示例性实施例。图2的方法100被示出为包括在810处获得第一帧811a和第二帧811b。在850处，可以基于所述第一立体帧811a和所述第二立体帧811b来确定移动平台200的位移d。有利地，方法100可以使用具有SLAM和某一高度测量装置(诸如气压计251和/或超声波装置252)的单目成像***886。

在示例性实施例中，图像的这两帧811a、811b可以是在两个不同时间点获得的：成像装置886的行进路径的第一时间点和第二时间点。在一些某些实施例中，第一帧811a和第二帧811b可以是立体帧。在优选实施例中，这两帧811a、811b可以具有至少一个重叠区域，所述重叠区域占第一帧811a或第二帧811b的预定百分比。这两帧811a、811b的重叠区域被限定为这两帧811a、811b上反映同一物体的点。为了确保这样的重叠区域，可以将所述第一时间点与所述第二时间点之间的时间跨度调整成使得可以在这两帧811a、811b上反映出至少一个物体。此外，成像装置886相对于移动平台200保持静止或缓慢移动以便确保所述重叠。

当获取这两帧811a、811b时，第一时间点与第二时间点之间的时间跨度可以小于六十分之一秒且不大于二十分之一秒。所述时间跨度可以取决于实际应用或情况的要求。作为示例性示例，当移动平台200以较低速度飞行时，所述时间跨度可以被设定成较大值，因为即便在较大时间跨度下也可以确保这两帧811a、811b之间的重叠。另一方面，当移动平台200以较高速度飞行时，所述时间跨度可以被设定成较小值以确保这两帧811a、811b之间的重叠。

在850处，可以使用这两帧811a、811b来计算移动平台200的位移。这样的位移可以根据下面参考图3至图5示出和描述的方式来计算。

一种实现方法100的***可以有利地是可应用于一米到一百米的宽泛高度范围的并且可以是较不容易受到任何外界干扰的。此外，所述***不依赖于全球定位***(“GPS”)信号，因此，可以是可应用于缺乏GPS信号的环境中、诸如室内环境的。气压计和单目成像装置可以容易地安装在移动平台上，并且是优选是被安装在小尺寸UAV上。

图3展示了方法100的替代性实施例。在图3的方法100中，可以计算移动平台200(在图1中示出)的移动。如图3所示，当在810处获得所感兴趣的物体的两帧811a、811b之后，在820处可以基于这两帧811a、811b计算移动平台200的高度H。优选地，移动平台200的高度可以用气压计251和/或超声波装置252来确定。虽然示出并描述为是在获得这两帧811a、811b之后获得高度H，但移动平台200的高度H可以是在获得第一帧811a和/或第二帧811b之前、之中或之后获得的。

在830处，可以通过将第一帧811a上的多个特征点355(图6中示出)匹配到第二帧811b上的某些点上来使第二帧811b与第一帧811a相匹配。在本披露中，在找到这两帧811a、811b中的每一个上的反映同一物体的一个或多个点时，这两帧811a、811b相匹配。换言之，反映所述同一物体的这些点限定了这两帧811a、811b上的重叠区域。第一帧811a上的这些特征点355可以是从反映突显物体的那些点中选定的。这样的物体可以包括例如建筑物、树、路、河流或其他类型的结构。优选地，所述物体可以是稳定的物体或是缓慢移动的物体。下面参考图4示出并描述关于使这两帧811a、811b相匹配的另外细节。

在840处，可以用惯性测量单元(“IMU”)测量和/或用这两个立体帧811a、811b估算移动平台200的呈三种平移移动和三种旋转形式的六种移动。这三种平移移动可以包括移动平台200沿x轴、y轴和z轴中的每一个的平移移动。这三种旋转可以包括移动平台200对应地绕x轴、y轴和z轴的旋转。这些旋转可以是用任何常规的方式获得的。用于获得这些旋转的一种常规方式包括使用IMU 150。在一个实施例中，这些平移可以是基于旋转数据计算出的，这在下面参考图5示出并描述。下面将参考图5提供关于计算这六种移动的细节。

在850处，确定移动平台200的位移。一旦获得了这些旋转和平移，就可以例如将它们应用于计算移动平台200的位移。在一些某些实施例中，移动平台200的速度可以通过将这些平移除以用于获得这两帧811a、811b的时间跨度来计算。在另一个示例性实施例中，所述移动平台在一定时间点的位置信息可以基于所计算的平移阵列T以及所述移动平台在用于获得所述第一帧811a的时间点时的位置信息来获得。所述时间点可以是用于获得第二帧811b的时间。

在替代性实施例中，当在850处确定所述位移之后，可以获得图像的下一帧并且所述***重复所述过程以便计算新获得的一帧或多帧。所述过程一遍又一遍地继续以实现不间断的位移检测。

图5展示了方法100的另一个替代性实施例。转到图5，展示了将这两帧811a、811b进行匹配。如图5所示，在810处可以通过参考图1示出并描述的任何方法来获得两帧811a、811b。图4展示了方法100可以通过其来在830处使第二帧811b与第一帧811a匹配的一种示例性方式。转到图4，这些帧811a、811b由多个点构成，并且这些点各自是用x、y和z坐标值来表示。本文描述的这两帧811a、811b可以是在沿着成像装置100的行进路径的不同时间点获得的。

参考图4，在832处可以基于第一帧811a来获得立体点云{P1,P2,P3,…,Pn}。各点P是第一帧811a的特征点355。在x-y平面中，所述立体点云可以用{(x11,y11),(x21,y21),(x31,y31),…,(xn1,yn1)}来表示。所获得的这些特征点355的数目基于处理速度、帧的大小、帧分辨率以及处理器(未示出)的计算能力等等而不同。在此本文披露的典型实施例中，点或像素的数目可以处于一百到两百像素的示意性范围内。

在834处可以用第二帧811b计算第二投影阵列{(x12,y12),(x22,y22),(x32,y32),…,(xm2,ym2)}。所述第二投影阵列的每个点(xi2,yi2)都表示投影在x-y平面中的、与第一帧811a的立体点云的点Pj或(xj1,yj1))相对应的匹配点。在云阵列{P1,P2,P3,…,Pn}中的所有点都匹配到第二帧811b上的情况下，所述第二投影阵列的大小可以与所述云阵列的大小相同。然而，在大多数情况下，因为并不是第一帧811a的所有点都可以匹配到第二帧811b上，所述第二投影阵列的大小小于所述云阵列{P1,P2,P3,…,Pn}的大小。将第一帧811a的立体点云与第二帧811b进行匹配可以通过参考图6至图8所描述的方法100来实现，在所述方法中比较三乘三像素以确定两个点的相似度。

现在往回参考图5，展示了方法100在840处可以通过其来测量第二帧811b的移动的示例性方式。在图5中，在842处，IMU 150(未示出)可以被配置用于测量可以传递给处理器(未示出)的旋转测量值。这些旋转测量值可以用三维阵列R表示。利用旋转测量值阵列R，第一帧811a的立体点云阵列与第二帧811b的投影点阵列之间的关系可以表示为：

等式(6)

其中R是表示这些旋转测量值的三维阵列，Pj是第一帧811a的点，T表示待计算的第二帧811b的三维平移阵列并且μ是充当因子的随机数。

为了帮助确保由IMU测量的相对旋转阵列的准确度，可以拍摄第一帧811a时的第一时间点与可以拍摄第二帧811b时的第二时间点之间的间隔可以是相对短的。取决于实际应用的要求，第一帧811a与第二帧811b之间的时间间隔通常可以是在六十分之一秒到二十分之一秒的范围内，如参考图2所描述。

在等式6中，存在三个未知量(Tx、Ty、Tz)；因此，在844处，由数学原理得知，需要三个等式来联合解出具有三个未知量的所计算的平移阵列T。然而，这些投影点各自仅具有两个值xi和yi。所以，为了解出所计算的平移阵列T中的三个未知量，可以将可供用于两个这样的点的四个等式中的三个等式结合起来。

在实际应用中，由于在第一帧811a和第二帧811b之间将这些点进行匹配时的误差和/或不准确性，所计算的平移阵列T可能是不准确的。在846处，所计算的平移阵列T可以被代入等式6中，并且经计算以确定符合所述等式中所限定的关系的点的数目。然后，在844处，可以使用另一对点来解出所计算的平移阵列T，然后在846处可以用其进行计算以确定符合等式6的关系的点的数目。这一过程可以针对预定数目的点对进行迭代，并且这些结果可以是预定数目的所计算的平移阵列T连同针对每个平移阵列符合等式6的多个点。

在845处，可以在这些所计算的平移阵列T之间比较符合的点的数目。可以选择符合的点的数目最大的所计算的平移阵列T。参考图4所描述的过程可以再三地重复以执行连续的位移检测。

图6展示了用于使第二帧811b的点与第一帧811a的对应点355匹配的方法300的示例性实施例。在图6中，从这些帧811a、811b中的每一个取得三乘三像素块，其中所比较的点位于中央。当第一帧811a和第二帧811b是彩色图像时，可以将所述三乘三像素块的每个像素的颜色分量值进行比较。相反地，当这些帧811a和811b是黑白图像时，可以将每个像素的灰度值进行比较。基于等式5，可以选择对于所有九个像素而言值差的和最小的点作为匹配点。所述过程可以针对第一帧811a上的所有选定特征点重复。

可替代地，可以使用一种使用二进制稳健独立基元特征(“BRIEF”)描述符的方法来使第二帧811b的点与第一帧811a的对应点355匹配。在示例性实施例中，可以通过比较第一帧811a的选定特征点周围的第一区域的每个点对的强度来建立表示所述第一区域的第一二进制串。所述第一二进制串可以是第一帧811a的选定特征点的第一BRIEF描述符。

类似地，可以通过比较第二帧811b的点355周围的第二区域的每个点对的强度来建立表示所述第二区域的第二二进制串。所述第二二进制串可以是第二BRIEF描述符。

第一帧811a的选定特征点与第二帧811b的点355之间的相似度可以通过比较所述第一BRIEF描述符与所述第二BRIEF描述符之间的汉明距离来计算。当所述第一BRIEF描述符与所述BRIEF描述符之间的汉明距离小于第一汉明阈值时，可以将所述第二帧811b的点355确定为与所述第一帧811a的选定特征点相匹配。

现在转向图7，展示了用于通过所感兴趣的物体198的特征点355来获得视差d的方法300的示例性实施例。在922处，可以选择所感兴趣的物体198上的多个特征点355。这些特征点355可以使用多种多样不同方法中的一种或多种方法来选择。在一个示例性实施例中，这些特征点355可以作为所感兴趣的物体198的预定形状来识别。在另一个实施例中，这些特征点355可以作为所感兴趣的物体198的具有特定颜色或强度的一个或多个部分来认出。在另一个实施例中，这些特征点355可以作为所感兴趣的物体198的多个随机部分来选择。在另一个实施例中，这些特征点355可以是在所感兴趣的物体198上以规律的间隔来选择的，例如每像素、每隔一个像素、每隔两个像素、每隔三个像素，以此类推。这些特征点355可以如所希望地采取变化的形状和大小。在一些实施例中，可以使用以上披露的方法的组合来选择这些特征点355。

在924处，可以将这些选定特征点355从第一帧811a匹配到第二帧811b上。在优选实施例中，匹配这些特征点355由图8中所示的两个过程构成。在图8中，在924A处，可以选择第一帧811a的特征点355。匹配点可以是从所计算的点开始并且沿着与正用于捕获这两帧811a、811b的镜头(未示出)的中心线相平行的一条线来扫描。匹配起始点可以基于第一帧811a上的点的坐标来计算。虽然优选地限于沿着所述选定的线的仅一个方向，但可以在一个或多个预定方向中的任何方向上执行扫描。

在924B处，在针对每个点进行扫描时，以上文参照图6示出并详细描述的方式来计算两个点之间的相似度，并且可以选择第二帧811b的与第一帧811a的特征点355具有差的最小和的点355作为与选定特征点355相对应的匹配点。

回到图7，在926处可以求出这两帧811a和811b的每个特征点355之间的特征视差d。可以使用多种多样方法中的任何方法来确定视差d。在一个实施例中，可以基于这些特征点355中的每一个的视差d的平均值来求出视差d。平均值的示例性类型可以包括算术平均数、几何平均数、中值、和/或无限制模式。在另一个实施例中，可以通过选择这些特征点355中的一个或多个并且基于这些选定特征点355来获得视差d来求出视差d。

所描述的这些实施例易于有各种修改和替代形式，并且其具体示例已经在附图中通过举例的方式示出并在本文中详细进行了描述。然而应当理解，所描述的这些实施例并不限于所披露的具体形式或方法，而是相反，本披露将覆盖所有的修改、等效项和替代方案。

Claims (33)

1.一种用于检测移动平台的位移的方法，包括：

用成像装置获取第一帧和第二帧；

基于所述第一帧和所述第二帧确定所述移动平台的所述位移；

获得所述移动平台的高度；

通过IMU(“惯性测量单元”)来获得所述成像装置相对于地平面的角度；

用所述IMU测量所述移动平台相对于所述第一帧的旋转角度以产生旋转数据；

基于所述第一帧、所述移动平台的所述高度以及所述移动平台的所述角度中的至少一者来获得立体点云；

基于所述立体点云获得X-Y平面中的第二投影阵列；

基于所述旋转数据、所述立体点云以及所述第二投影阵列来计算平移阵列T；

基于所述平移阵列T计算所述移动平台的所述位移。

2.如权利要求1所述的方法，其中所述获得所述高度包括通过气压计和超声波装置中的至少一者来获得所述高度。

3.如权利要求1所述的方法，其中所述获取还包括使所述第一帧和所述第二帧相匹配，其中所述第一帧与所述第二帧以预定百分比重叠。

4.如权利要求3所述的方法，其中所述获取包括在不同时间点获得所述第一帧和所述第二帧。

5.如权利要求4所述的方法，其中所述在不同时间点获得所述第一帧和所述第二帧包括以不小于六十分之一秒且不大于二十分之一秒的间隔获得所述第一帧和所述第二帧。

6.如权利要求5所述的方法，其中，

所述立体点云是特征点阵列{P₁，P₂，P₃，...，P_N}。

7.如权利要求6所述的方法，其中所述获得所述第二投影阵列包括：

基于所述立体点云获得X-Y平面中的第一投影阵列{(X₁ ¹，Y₁ ¹)，(X₂ ¹，Y₂ ¹)，(X₃ ¹，Y₃ ¹)，...，(X_N ¹，Y_N ¹)}；以及

将所述第一投影阵列的多个特征点匹配到所述第二帧上以产生所述第二投影阵列{(X₁ ²，Y₁ ²)，(X₂ ²，Y₂ ²)，(X₃ ²，Y₃ ²)，...，(X_M ²，Y_M ²)}。

8.如权利要求7所述的方法，其中所述匹配所述多个特征点包括：

扫描所述第二帧以识别所述第二帧的与所述第一帧的选定特征点相匹配的点；以及

计算所述第一帧的所述选定特征点与所述点之间的相似度。

9.如权利要求8所述的方法，其中所述计算所述相似度包括将所述第一帧的所述选定特征点与以所述第二帧上的所述点为中心的三乘三像素区域进行比较。

10.如权利要求9所述的方法，其中所述比较三乘三像素区域包括比较彩色图像的每个像素的每个颜色分量的差的和、或黑白图像的每个像素的灰度值的差的和。

11.如权利要求10所述的方法，其中所述计算所述平移阵列T包括应用关系式：

其中R是所述旋转数据的旋转测量值阵列，P_J是所述立体点云的点，T表示待计算的平移阵列并且μ是随机数。

12.如权利要求11所述的方法，其中所述应用还包括通过针对从所述立体点云中选择的至少两个点以及所述第二投影阵列的与所述至少两个点相匹配的两个点解出一组等式来计算T。

13.如权利要求11或12所述的方法，还包括：

通过在具有从所述立体点云中选择的多个点以及所述第二投影阵列的与所述多个点相对应的投影点的情况下将所述平移阵列T代入等式中来验证所述平移阵列T以获得匹配点计数；以及

选择具有最大匹配点计数的平移阵列T作为选定平移阵列T。

14.如权利要求13所述的方法，还包括用所述旋转数据、所述选定平移阵列T以及所述关系式来针对所述第二帧计算立体点云。

15.如权利要求14所述的方法，还包括基于所述选定平移阵列T计算所述移动平台的所述位移。

16.如权利要求15所述的方法，其中，

所述第一帧和所述第二帧分别是第一立体帧和第二立体帧，

还包括基于所述选定平移阵列T和用于获得所述第一立体帧和所述第二立体帧的所述时间点之间的所述间隔来计算所述移动平台的速度。

17.如权利要求16所述的方法，还包括基于所述选定平移阵列T和所述移动平台在用于获得所述第一立体帧的时间点时的位置信息来计算所述移动平台的位置。

18.一种用于检测移动平台的位移的设备，包括：

成像装置，所述成像装置用于获取第一帧和第二帧；

处理器，所述处理器用于基于所述第一帧和所述第二帧确定所述移动平台的所述位移，

所述处理器被配置用于：

获得所述移动平台的高度；

通过IMU(“惯性测量单元”)来获得所述成像装置相对于地平面的角度；

用所述IMU测量所述移动平台相对于所述第一帧的旋转角度以产生旋转数据；

基于所述第一帧、所述移动平台的所述高度以及所述移动平台的所述角度中的至少一者来获得立体点云；

基于所述立体点云获得X-Y平面中的第二投影阵列；

基于所述旋转数据、所述立体点云以及所述第二投影阵列来计算平移阵列T；

基于所述平移阵列T计算所述移动平台的所述位移。

19.如权利要求18所述的设备，其中所述高度是通过气压计和超声波装置中的至少一者来提供。

20.如权利要求18所述的设备，其中所述处理器被配置用于使所述第一帧与所述第二帧相匹配，其中所述第一帧与所述第二帧以预定百分比重叠。

21.如权利要求20所述的设备，其中所述第一帧和所述第二帧是在不同时间点获得的。

22.如权利要求21所述的设备，其中所述不同时间点包括所述时间点之间不小于六十分之一秒且不大于二十分之一秒的间隔。

23.如权利要求22所述的设备，其中，

所述立体点云是特征点阵列{P₁，P₂，P₃，...，P_N}。

24.如权利要求23所述的设备，其中所述处理器被配置用于基于所述立体点云获得X-Y平面中的第一投影阵列{(X₁ ¹，Y₁ ¹)，(X₂ ¹，Y₂ ¹)，(X₃ ¹，Y₃ ¹)，...，(X_N ¹，Y_N ¹)}；并且

其中所述处理器被配置用于将所述第一投影阵列的多个特征点匹配到所述第二帧上以产生所述第二投影阵列{(X₁ ²，Y₁ ²)，(X₂ ²，Y₂ ²)，(X₃ ²，Y₃ ²)，...，(X_M ²，Y_M ²)}。

25.如权利要求24所述的设备，其中所述处理器被配置用于通过扫描所述第二帧以识别所述第二帧的与所述第一帧的选定特征点相匹配的点并且计算所述第一帧的所述选定特征点与所述点之间的相似度来匹配所述多个特征点。

26.如权利要求25所述的设备，其中所述处理器被配置用于通过将所述第一帧的所述选定特征点与以所述第二帧上的所述点为中心的三乘三像素区域进行比较来计算所述相似度。

27.如权利要求26所述的设备，其中所述第一帧和所述第二帧的所述三乘三像素区域是以彩色图像的每个像素的每个颜色分量的差的和、或黑白图像的每个像素的灰度值的差的和来进行比较的。

28.如权利要求27所述的设备，其中所述平移阵列T是通过应用以下关系式计算出的：

其中R是所述旋转数据的旋转测量值阵列，P_J是所述立体点云点，T表示待计算的平移阵列并且μ是随机数。

29.如权利要求28所述的设备，其中所述处理器被配置用于通过针对从所述立体点云中选择的至少两个点以及所述第二投影阵列的与所述至少两个点相匹配的两个点解出一组等式来计算所述平移阵列T。

30.如权利要求28或29所述的设备，其中所述处理器被配置用于通过在具有从所述立体点云中选择的多个点以及所述第二投影阵列的与所述多个点相对应的投影点的情况下将所述平移阵列T代入等式中来验证所述平移阵列T以获得匹配点计数；并且

其中所述处理器被配置用于选择具有最大匹配点计数的所述平移阵列T作为选定平移阵列T。

31.如权利要求30所述的设备，其中所述处理器被配置用于基于所述选定平移阵列T计算所述移动平台的所述位移。

32.如权利要求31所述的设备，其中，

所述第一帧和所述第二帧分别是第一立体帧和第二立体帧，

所述处理器被配置用于基于所述选定平移阵列T和用于获得所述第一立体帧和所述第二立体帧的所述两个时间点之间的所述间隔来计算所述移动平台的速度。

33.如权利要求32的设备，其中所述处理器被配置用于基于所述选定平移阵列T和所述移动平台在用于获得所述第一立体帧的时间点时的位置信息来计算所述移动平台的位置。