CN109325962B - 信息处理方法、装置、设备以及计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种信息处理方法、装置、设备以及计算机可读存储介质，根据本发明实施例的信息处理方法包括：检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

Description

信息处理方法、装置、设备以及计算机可读存储介质

技术领域

本申请涉及图像处理领域，并且具体涉及信息处理方法、装置、设备以及计算机可读存储介质。

背景技术

视觉里程计算方法已被广泛应用于机器人及车辆导航领域，如智能汽车、无人机等，这种方法能够根据视觉信息测算运动的距离和方向，避免了传统里程计算方法中因轮式里程计的车轮打滑造成的测量错误，也避免了因传感器精度降低等因素造成的测量误差，提高了测量精度。

然而，在现有技术常用的视觉里程计算方法中，***运行时间和精确度往往受到应用场景复杂度的影响。其中，在实际运行中较复杂的应用场景下，特别是在光照条件差、运行速度快，车辆快速转弯等情况下，视觉里程计算方法中的特征点匹配算法会受到较大的影响，从而导致了***计算准确性的降低，并且也导致了***运行时间的大幅增加。

因此，需要一种能够实时准确计算视觉里程的信息处理方法。

发明内容

根据本发明的一个方面，提供了一种信息处理方法，包括：检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

根据本发明的另一方面，提供了一种信息处理装置，包括：检测单元，配置为检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；匹配单元，配置为对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

根据本发明的再一方面，提供了一种信息处理设备，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器运行时，实现以下步骤：检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

利用根据本发明上述方面的信息处理方法、装置、设备以及计算机可读存储介质，能够利用诸如车辆等的运动信息来进行视频图像中图像帧的特征点匹配，通过缩小特征点匹配的匹配范围以提升***的运行速度，降低***处理时间，增加***的鲁棒性。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。

图1示出根据本发明一个实施例的信息处理方法的流程图；

图2示出根据本发明一个实施例的运动信息示意图；

图3示出理想情况下与训练特征点匹配的第一匹配点和第二匹配点之间的位置关系示意图；

图4示出实际中与训练特征点匹配的第一匹配点和第二匹配点之间的位置关系示意图；

图5示出根据本发明一个实施例的匹配范围示意图；

图6示出根据本发明一个实施例的信息处理装置的框图；

图7示出根据本发明另一个实施例信息处理装置的框图。

具体实施方式

下面将参照附图来描述根据本发明实施例的信息处理方法和装置。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。

本发明实施例中，为了克服现有技术中当应用场景较复杂时，对视觉里程计算方法的特征点匹配方法的较大影响，发明人考虑在进行特征点匹配时结合运动信息限制特征点的匹配范围，以提高***计算精度，缩短***运行时间。

在此，参照图1描述根据本发明实施例的信息处理方法。图1示出该信息处理方法100的流程图。

如图1所示，在步骤S101中，检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点。在本发明实施例中，可以首先获取视频图像，其中所述视频图像中至少包括之前帧和当前帧两帧图像。在本发明一个示例中，视频图像可以是物体(例如移动机器人、智能车、无人机等)上配备的拍摄单元获取的视频图像，该视频图像用于从中获取物体的运动或移动距离。其中，拍摄单元可以为单目摄像机，当然也可以为双目或多目摄像机，在此不做限定。视频图像中的当前帧可以指示在当前时刻所获取的视频帧，而之前帧则可以是在当前帧的时刻之前所获取的视频帧。可选地，之前帧和当前帧可以是相邻的两帧。当然，之前帧和当前帧之间也可以具有一定的间隔，例如，之前帧和当前帧之间可以间隔一帧，或者数帧等。上述关于之前帧和当前帧的关系和间隔帧数仅为示例，在实际应用中，可以选择任意两帧分别作为之前帧和当前帧。当用于获取视频图像的拍摄单元为双目相机或多目相机时，所得到的视频图像中的视频帧也可以分别包括左右两帧图像或多帧图像。

可选地，在获取视频图像之后，可以基于预设的特征点检测方式检测所获取的视频图像中至少之前帧的至少一个第一特征点和当前帧的至少一个第二特征点。当然，也可以检测所获取的视频图像中每一帧图像的特征点，并在后续提取所需要的相应视频帧的检测结果。在本发明实施例中，预设的特征点检测方式可以包括例如SIFT特征、SURF特征、Harris角点等各种特征点检测方法。每一帧图像的特征点均可表示为F＝{f_i,i＝1,...,K}，此处K表示这一帧图像中特征点的个数。在检测特征点后，可以对所检测的特征点进行描述，所采用的方法可以包括例如灰度特征、梯度特征、视差信息等各种用于特征描述的方法。

在本实施例的步骤S102中，对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。例如，对于之前帧中的第一特征点A，可以利用运动信息确定当前帧中与第一特征点A对应的匹配范围，该匹配范围例如可以包括匹配中心点的位置及匹配半径的取值范围。其中，匹配中心点的位置可以根据第一特征点A和运动信息所确定的运动矩阵计算来确定，而匹配半径可以通过后续步骤中的训练过程来确定。当然，在本步骤中，可以针对之前帧中的每一个第一特征点均确定与其对应的匹配范围。

其中，可以利用包括训练图像信息和运动信息的训练数据集来训练匹配特征点的匹配范围。在本发明一个实施例中，运动信息可以包括拍摄单元所在的物体(例如移动机器人、智能车、无人机等)的运动的速度(v)、角速度(ω)或者其他可以获得运行速度、角速度的信息，图2示出根据本发明实施例的信息处理方法中运动信息的示例。利用运动信息估计的旋转和位移矩阵(R,T)可以包含6个自由度(Degree of Freedom，DOF):rx、ry、rz、tx、ty、tz。这里rx、ry、rz表示x、y、z三个方向的旋转自由度，而tx、ty、tz表示x、y、z三个方向的平移自由度。在本发明实施例的方法中，在获取训练图像信息以及运动信息之后，可以通过图像分析的方法计算上述6个自由度的取值，以获取用于训练的第一训练帧和第二训练帧中的特征点匹配对(至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点)；同时也可以利用(第一训练帧到第二训练帧的)运动信息来计算上述6个自由度的取值，以获取经过运动信息估计的与训练特征点匹配的第二匹配点。

图3示出了理想情况下第一训练帧(第t-1帧)中的训练特征点在第二训练帧(第t帧)上对应的第一匹配点和第二匹配点之间的位置关系。可以看出，在理想情况下，经图像分析方法算出的第一匹配点和经运动信息算出的第二匹配点应该是重合的。但是，在实际情况中，二者一般会存在误差，如图4所示。这往往是由于如下的误差因素的影响：运动信息的测量误差，图像匹配的误差，拍摄单元和/或其它传感器标定的误差等等。

因此，在训练阶段，可以利用如下步骤获取匹配特征点的匹配范围：获取用于训练的第一训练帧(如图3-5中的t-1帧)和第二训练帧(如，图3-5中的t帧)中的特征点匹配对以及运动信息，所述特征点匹配对至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点；利用所述运动信息和所述训练特征点计算位于所述第二训练帧中与所述训练特征点对应的用于匹配所述训练特征点的第二匹配点；计算所述第二训练帧中所述第一匹配点和所述第二匹配点之间的差异(例如，距离)；根据所述差异的概率模型，获取所述匹配范围，这里，视差值也可以作为一个参数考虑进去。其中，第一匹配点和第二匹配点之间的差异一般会满足某种分布函数(例如正态分布的高斯分布函数等)，可以利用差异的分布函数获取差异概率模型。在获取差异概率模型之后，可以根据预设规则选取阈值，以限定匹配特征点查找和搜索的匹配范围。例如，当差异满足高斯分布函数时，可以根据其对应的概率密度函数选取在某一概率分布范围(如大于90％或95％)内的差异(如距离)的取值范围作为匹配半径的匹配范围。可选地，当计算得到的高斯分布的概率密度函数对应概率95％的距离取值为5mm，则根据上述训练结果所得到的匹配特征点的匹配半径的范围取值即为5mm。再例如，当计算得到的概率密度函数对应概率90％的距离取值为1mm，则所得到的匹配特征点的匹配半径的范围取值为1mm。当然，在实际应用中，还可以根据不同的向量方向规定不同方向的不同匹配半径的取值，并利用多个匹配半径确定最终的匹配范围的形状和大小。例如，匹配范围可以为圆形区域、椭圆形区域、矩形区域或正方形区域等各种区域形状。图5示出根据本发明实施例的匹配范围(虚线所示)示意图，如图5所示，匹配区域为椭圆形区域，其长轴和短轴的取值分别可以参照上述取值方法进行计算，例如可以分别为5mm和1mm。另外，需要注意的是，此匹配范围的中心点的位置可以是上述第二匹配点的位置，其中第二匹配点即为利用第一训练帧到第二训练帧的运动信息获取的与训练特征点匹配的匹配点。图5所示的匹配范围可以小于当前帧的整体范围，以达到缩小匹配特征点的搜索区域，节约搜索时间，提高效率的目的。

在本发明一个实施例中，当选定当前帧中匹配特征点的匹配范围之后，所述方法还可以包括：在所述当前帧中的所述匹配范围内搜索并获取用于匹配所述特定第一特征点的候选第二特征点；在所述候选第二特征点中选择其中之一作为所述匹配特征点。其中，当前帧中的匹配范围中的匹配半径可以根据上述训练阶段的计算结果来确定，而匹配范围的中心点则可以根据所述特定第一特征点与运动信息结合来确定。例如，匹配范围的中心点可以将所述特定第一特征点与利用运动信息估计的旋转和位移矩阵(R,T)相乘而得到。在根据如上方式所获得的最终的匹配范围中，可以获得当前帧中的n个候选第二特征点的集合。具体地，首先假设之前帧中的特定第一特征点表示为p′_i＝(x′_i,y′_i，z′_i)，当前帧视频图像中的用于匹配特定第一特征点的n个候选第二特征点的集合表示为P_cur＝(p₁,...,p_j,...,p_n)，其中p_j＝(x_j,y_j，z_j)。则可以求得之前帧图像和当前帧图像中特定第一特征点和所有候选第二特征点之间的差异，表示为：

其中m(p′_i,p_j)为特征点对，特征点对的差异一般利用特征点对之间的特征向量来表示。随后，将选取特征点对之间的总差异最小的特征点对作为匹配结果，即

所选取的候选第二特征点中间的一个即可作为匹配特征点。

在本发明另一个实施例中，当在所述当前帧中的所述匹配范围内不存在所述匹配特征点，或者无法选择符合某一预设条件的匹配特征点时，可以在整个当前帧的范围内再次选择匹配特征点，以提高***的计算精度和容错性，增加鲁棒性。其中，可以预先设置匹配特征点的匹配条件，例如可以预设特征点匹配对之间的距离或特征相似度等指标的阈值或选择范围，以判断是否能够在当前帧的匹配范围内获得满足所述匹配条件的所述匹配特征点。

在计算并获取当前帧中与特定第一特征点对应的匹配特征点之后，可以根据所获取的所述特定第一特征点和与其对应的所述匹配特征点计算运动估计矩阵。可选地，可以利用本发明实施例的方法计算出多个第一特征点和对应的多个第二特征点组成的多个特征点匹配对，然后再据此计算运动估计矩阵，以提高计算精确度。所述运动估计矩阵例如可以包括旋转矩阵R(3×3)和位移矩阵T(3×1)，以计算所述物体的旋转和位移。这里所用的运动估计方法可以基于四元数、RANSAC，也可以是常用的其他各种运动估计方法。

在本发明另一个实施例中，当对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点的匹配失败时，还可以直接利用所述运动信息计算运动估计矩阵，以增加***的鲁棒性。其中，当前帧和之前帧之间的特征点匹配失败可以是无法就其中预设个数或者预设百分比的特征点获取特征点匹配对，也可以是所计算的特定数量或比例的特征点匹配对之间的距离或特征相似度不符合预设的阈值范围等。

本发明实施例提供的信息处理方法能够利用诸如车辆等的运动信息来进行视频图像中图像帧的特征点匹配，通过缩小特征点匹配的匹配范围以提升***的运行速度。此外，通过匹配的特征点计算运动估计矩阵，降低***处理时间，其精确度高于直接使用运动信息计算运动估计矩阵，因此本发明实施例的信息处理方法还能够增加***的鲁棒性。

下面，参照图6来描述根据本发明实施例的信息处理装置。图6示出了根据本发明实施例的信息处理装置600的框图。如图6所示，信息处理装置600包括检测单元610和匹配单元620。除了这两个单元以外，装置600还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的信息处理装置600执行的下述操作的具体细节与在上文中参照图1-5描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。

图6中的信息处理装置600的检测单元610配置为检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点。在本发明实施例中，检测单元610可以首先获取视频图像，其中所述视频图像中至少包括之前帧和当前帧两帧图像。在本发明一个示例中，视频图像可以是物体(例如移动机器人、智能车、无人机等)上配备的拍摄单元获取的视频图像，该视频图像用于从中获取物体的运动或移动距离。其中，拍摄单元可以为单目摄像机，当然也可以为双目或多目摄像机，在此不做限定。视频图像中的当前帧可以指示在当前时刻所获取的视频帧，而之前帧则可以是在当前帧的时刻之前所获取的视频帧。可选地，之前帧和当前帧可以是相邻的两帧。当然，之前帧和当前帧之间也可以具有一定的间隔，例如，之前帧和当前帧之间可以间隔一帧，或者数帧等。上述关于之前帧和当前帧的关系和间隔帧数仅为示例，在实际应用中，可以选择任意两帧分别作为之前帧和当前帧。当用于获取视频图像的拍摄单元为双目相机或多目相机时，所得到的视频图像中的视频帧也可以分别包括左右两帧图像或多帧图像。

可选地，在检测单元610获取视频图像之后，可以基于预设的特征点检测方式检测所获取的视频图像中至少之前帧的至少一个第一特征点和当前帧的至少一个第二特征点。当然，检测单元610也可以检测所获取的视频图像中每一帧图像的特征点，并在后续提取所需要的相应视频帧的检测结果。在本发明实施例中，检测单元610所利用的特征点检测方式可以包括例如SIFT特征、SURF特征、Harris角点等各种特征点检测方法。每一帧图像的特征点均可表示为F＝{f_i,i＝1,...,K}，此处K表示这一帧图像中特征点的个数。在检测单元610检测特征点后，可以对所检测的特征点进行描述，所采用的方法可以包括例如灰度特征、梯度特征、视差信息等各种用于特征描述的方法。

匹配单元620配置为对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。例如，对于之前帧中的第一特征点A，可以利用运动信息确定当前帧中与第一特征点A对应的匹配范围，该匹配范围例如可以包括匹配中心点的位置及匹配半径的取值范围。其中，匹配中心点的位置可以根据第一特征点A和运动信息所确定的运动矩阵计算来确定，而匹配半径可以通过后续的训练方法来确定。当然，可选地，匹配单元620还可以针对之前帧中的每一个第一特征点均确定与其对应的匹配范围

其中，匹配单元620可以利用包括训练图像信息和运动信息的训练数据集来训练匹配特征点的匹配范围。在本发明一个实施例中，运动信息可以包括拍摄单元所在的物体(例如移动机器人、智能车、无人机等)的运动的速度(v)、角速度(ω)或者其他可以获得运行速度、角速度的信息，图2示出根据本发明实施例的信息处理方法中运动信息的示例。利用运动信息估计的旋转和位移矩阵(R,T)可以包含6个自由度(Degree of Freedom，DOF):rx、ry、rz、tx、ty、tz。这里rx、ry、rz表示x、y、z三个方向的旋转自由度，而tx、ty、tz表示x、y、z三个方向的平移自由度。在本发明实施例的方法中，在获取训练图像信息以及运动信息之后，匹配单元620可以通过图像分析的方法计算上述6个自由度的取值，以获取用于训练的第一训练帧和第二训练帧中的特征点匹配对(至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点)；同时也可以利用(第一训练帧到第二训练帧的)运动信息来计算上述6个自由度的取值，以获取经过运动信息估计的与训练特征点匹配的第二匹配点。

图3示出了理想情况下第一训练帧(第t-1帧)中的训练特征点在第二训练帧(第t帧)上对应的第一匹配点和第二匹配点之间的位置关系。可以看出，在理想情况下，经图像分析方法算出的第一匹配点和经运动信息算出的第二匹配点应该是重合的。但是，在实际情况中，二者一般会存在误差，如图4所示。这往往是由于如下的误差因素的影响：运动信息的测量误差，图像匹配的误差，拍摄单元和/或其它传感器标定的误差等等。

因此，在训练阶段，匹配单元620可以利用如下步骤获取匹配特征点的匹配范围：获取用于训练的第一训练帧(如图3-5中的t-1帧)和第二训练帧(如图3-5中的t帧)中的特征点匹配对以及运动信息，所述特征点匹配对至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点；利用所述运动信息和所述训练特征点计算位于所述第二训练帧中与所述训练特征点对应的用于匹配所述训练特征点的第二匹配点；计算所述第二训练帧中所述第一匹配点和所述第二匹配点之间的差异(例如，距离)；根据所述差异的概率模型，获取所述匹配范围，这里，视差值也可以作为一个参数考虑进去。其中，第一匹配点和第二匹配点之间的差异一般会满足某种分布函数(例如正态分布的高斯分布函数等)，可以利用差异的分布函数获取差异概率模型。在获取差异概率模型之后，可以根据预设规则选取阈值，以限定匹配特征点查找和搜索的匹配范围。例如，当差异满足高斯分布函数时，可以根据其对应的概率密度函数选取在某一概率分布范围(如大于90％或95％)内的差异(如距离)的取值范围作为匹配半径的匹配范围。可选地，当计算得到的高斯分布的概率密度函数对应概率95％的距离取值为5mm，则根据上述训练结果所得到的匹配特征点的匹配半径的范围取值即为5mm。再例如，当计算得到的概率密度函数对应概率90％的距离取值为1mm，则所得到的匹配特征点的匹配半径的范围取值为1mm。当然，在实际应用中，还可以根据不同的向量方向规定不同方向的不同匹配半径的取值，并利用多个匹配半径确定最终的匹配范围的形状和大小。例如，匹配范围可以为圆形区域、椭圆形区域、矩形区域或正方形区域等各种区域形状。图5示出根据本发明实施例的匹配范围(虚线所示)示意图，如图5所示，匹配区域为椭圆形区域，其长轴和短轴的取值分别可以参照上述取值方法进行计算，例如可以分别为5mm和1mm。另外，需要注意的是，此匹配范围的中心点的位置可以是上述第二匹配点的位置，其中第二匹配点即为利用第一训练帧到第二训练帧的运动信息获取的与训练特征点匹配的匹配点。图5所示的匹配范围可以小于当前帧的整体范围，以达到缩小匹配特征点的搜索区域，节约搜索时间，提高效率的目的。

在本发明一个实施例中，当匹配单元620选定当前帧中匹配特征点的匹配范围之后，还可以在所述当前帧中的所述匹配范围内搜索并获取用于匹配所述特定第一特征点的候选第二特征点；在所述候选第二特征点中选择其中之一作为所述匹配特征点。其中，当前帧中的匹配范围中的匹配半径可以根据上述训练阶段的计算结果来确定，而匹配范围的中心点则可以根据所述特定第一特征点与运动信息结合来确定。例如，匹配范围的中心点可以将所述特定第一特征点与利用运动信息估计的旋转和位移矩阵(R,T)相乘而得到。在根据如上方式所获得的最终的匹配范围中，可以获得当前帧中的n个候选第二特征点的集合。具体地，首先假设之前帧中的特定第一特征点表示为p′_i＝(x′_i,y′_i，z′_i)，当前帧视频图像中的用于匹配特定第一特征点的n个候选第二特征点的集合表示为P_cur＝(p₁,...,p_j,...,p_n)，其中p_j＝(x_j,y_j，z_j)。则可以求得之前帧图像和当前帧图像中特定第一特征点和所有候选第二特征点之间的差异，表示为：

其中m(p′_i,p_j)为特征点对，特征点对的差异一般利用特征点对之间的特征向量来表示。随后，将选取特征点对之间的总差异最小的特征点对作为匹配结果，即

所选取的候选第二特征点中间的一个即可作为匹配特征点。

在本发明另一个实施例中，当在所述当前帧中的所述匹配范围内不存在所述匹配特征点，或者无法选择符合某一预设条件的匹配特征点时，匹配单元620可以在整个当前帧的范围内再次选择匹配特征点，以提高***的计算精度和容错性，增加鲁棒性。其中，匹配单元620可以预先设置匹配特征点的匹配条件，例如可以预设特征点匹配对之间的距离或特征相似度等指标的阈值或选择范围，以判断是否能够在当前帧的匹配范围内获得满足所述匹配条件的所述匹配特征点。

在计算并获取当前帧中与特定第一特征点对应的匹配特征点之后，信息处理装置中的估计单元(未示出)可以根据所获取的所述特定第一特征点和与其对应的所述匹配特征点计算运动估计矩阵。可选地，估计单元还可以利用本发明实施例的方法计算出多个第一特征点和对应的多个第二特征点组成的多个特征点匹配对，然后再据此计算运动估计矩阵，以提高计算精确度。所述运动估计矩阵例如可以包括旋转矩阵R(3×3)和位移矩阵T(3×1)，以计算所述物体的旋转和位移。这里所用的运动估计方法可以基于四元数、RANSAC，也可以是常用的其他各种运动估计方法。

在本发明另一个实施例中，当对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点的匹配失败时，估计单元还可以直接利用所述运动信息计算运动估计矩阵，以增加***的鲁棒性。其中，当前帧和之前帧之间的特征点匹配失败可以是无法就其中预设个数或者预设百分比的特征点获取特征点匹配对，也可以是所计算的特定数量或比例的特征点匹配对之间的距离或特征相似度不符合预设的阈值范围等。

本发明实施例提供的信息处理装置能够利用诸如车辆等的运动信息来进行视频图像中图像帧的特征点匹配，通过缩小特征点匹配的匹配范围以提升***的运行速度，降低***处理时间，增加***的鲁棒性。

下面，参照图7来描述根据本发明实施例的信息处理设备。图7示出了根据本发明实施例的信息处理设备700的框图。如图7所示，该装置700可以是配备有摄像头的计算机或服务器。

该信息处理设备700可以包括处理器710；以及存储器720，耦合于所述处理器710，且在其中存储计算机可执行指令，用于在由所述处理器710执行时进行如在此描述各个实施例的方法的步骤，可以包括：检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

处理器710可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以包括但不限于例如一个或者多个处理器或者或微处理器等。

存储器720可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、闪存等。存储器720中可以存储有操作***721和应用程序722。

除此之外，该信息处理设备700还可以包括显示设备730、网络接口740、输入输出设备750(例如，键盘、鼠标、扬声器等)以及硬盘760等。处理器710可以通过总线770与各装置进行通信。总线770可以由单一的总线构成，也可以由装置间不同的总线构成。

其中，显示设备730可用于显示由用户输入的信息或提供给用户的信息以及信息处理设备700的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示设备730可包括显示面板，较佳地，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板。

网络接口740可以是网络设备的各种接口，可以通过有线和/或无线网络进行各设备间的通信。

输入输出设备750可以是接受来自外部的输入的输入设备(例如，键盘、鼠标、麦克风、开关、按钮、传感器等)以及实施向外部的输出的输出设备(例如，扬声器、发光二极管(LED，Light Emitting Diode)灯等)。输入输出设备750可以为各自分离的多个结构，也可以为一体的结构。

硬盘760可以是信息处理设备700用于进行数据存储的存储媒介，可以包括固态硬盘(SSD)、机械硬盘(HDD)、混合硬盘(HHD)等。

应当注意，图7所示的信息处理装置700的组件和结构只是示例性的，而非限制性的，根据需要，信息处理装置700也可以具有其他组件和结构。

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器运行时，实现以下步骤：

检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；

对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围。

因此，通过使用上述实施例详细解释了本发明；然而，本领域技术人员应清楚本发明不限于在理解释的实施例。本发明在不背离由权利要求限定的本发明的范围的情况下可以被实现为校正的、修改的模式。因此，说明书的描述仅意图解释示例，并且不对本发明施加任何限制含义。

Claims (10)

1.一种信息处理方法，包括：

检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；

对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围；

其中，所述确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围进一步包括：

获取用于训练的第一训练帧和第二训练帧中的特征点匹配对以及运动信息，所述特征点匹配对至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点；

利用所述运动信息和所述训练特征点计算位于所述第二训练帧中与所述训练特征点对应的用于匹配所述训练特征点的第二匹配点；

计算所述第二训练帧中所述第一匹配点和所述第二匹配点之间的差异；

基于根据所述差异和视差值所构建的概率模型，分别计算在不同向量方向上的匹配半径，以确定所述匹配范围。

2.如权利要求1所述的方法，其中，所述检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点包括：

获取视频图像；

基于预设的特征点检测方式检测所获取的视频图像中至少之前帧的第一特征点和当前帧的第二特征点。

3.如权利要求1所述的方法，其中，所述方法还包括：

在所述当前帧中的所述匹配范围内搜索并获取用于匹配所述特定第一特征点的候选第二特征点；

在所述候选第二特征点中选择之一作为所述匹配特征点。

4.如权利要求3所述的方法，其中，所述方法还包括：

当在所述当前帧中的所述匹配范围内不存在所述匹配特征点时，在整个当前帧的范围内选择匹配特征点。

5.如权利要求3所述的方法，其中，所述方法还包括：

根据所获取的所述特定第一特征点和与其对应的所述匹配特征点计算运动估计矩阵。

6.如权利要求1所述的方法，其中，所述方法还包括：

当对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点的匹配失败时，利用所述运动信息计算运动估计矩阵。

7.如权利要求1所述的方法，其中，

所述运动信息包括运动的速度和/或角速度。

8.一种信息处理装置，包括：

检测单元，配置为检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；

匹配单元，配置为对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围；

其中，所述确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围进一步包括：

获取用于训练的第一训练帧和第二训练帧中的特征点匹配对以及运动信息，所述特征点匹配对至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点；

利用所述运动信息和所述训练特征点计算位于所述第二训练帧中与所述训练特征点对应的用于匹配所述训练特征点的第二匹配点；

计算所述第二训练帧中所述第一匹配点和所述第二匹配点之间的差异；

基于根据所述差异和视差值所构建的概率模型，分别计算在不同向量方向上的匹配半径，以确定所述匹配范围。

9.一种信息处理设备，包括：

处理器；

和存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；

对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围；

其中，所述确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围进一步包括：

获取用于训练的第一训练帧和第二训练帧中的特征点匹配对以及运动信息，所述特征点匹配对至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点；

利用所述运动信息和所述训练特征点计算位于所述第二训练帧中与所述训练特征点对应的用于匹配所述训练特征点的第二匹配点；

计算所述第二训练帧中所述第一匹配点和所述第二匹配点之间的差异；

基于根据所述差异和视差值所构建的概率模型，分别计算在不同向量方向上的匹配半径，以确定所述匹配范围。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器运行时，实现以下步骤：

检测视频图像中至少之前帧的第一特征点和当前帧的第二特征点；

对所述视频图像中所述之前帧的至少一个第一特征点和所述当前帧的至少一个第二特征点进行匹配，其中，对于所述之前帧中的特定第一特征点，利用运动信息确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围，所述匹配范围小于整个当前帧的范围；

其中，所述确定所述当前帧中与所述特定第一特征点对应的用于匹配所述特定第一特征点的匹配特征点的匹配范围进一步包括：

获取用于训练的第一训练帧和第二训练帧中的特征点匹配对以及运动信息，所述特征点匹配对至少包括位于所述第一训练帧中的训练特征点以及与其对应的位于所述第二训练帧中的第一匹配点；

利用所述运动信息和所述训练特征点计算位于所述第二训练帧中与所述训练特征点对应的用于匹配所述训练特征点的第二匹配点；

计算所述第二训练帧中所述第一匹配点和所述第二匹配点之间的差异；

基于根据所述差异和视差值所构建的概率模型，分别计算在不同向量方向上的匹配半径，以确定所述匹配范围。

Images