CN109255801B - 视频中三维物体边缘追踪的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种视频中三维物体边缘追踪的方法、装置、设备及存储介质。该方法包括：获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与前一帧图像中的边缘点对应的匹配点；根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。能够使计算出的目标三维物体的相对姿态更加准确，进而更好地对目标三维物体的边缘进行追踪。

Description

视频中三维物体边缘追踪的方法、装置、设备及存储介质

技术领域

本申请实施例涉及视频处理技术领域，尤其涉及一种视频中三维物体边缘追踪的方法、装置、设备及存储介质。

背景技术

随着视频采集设备的技术成熟，越来越多的领域应用视频作为信息记录和分析的手段。在大量的视频中确定特定三维物体在画面中的位置，并对其进行快速定位和持续追踪，是对视频进行进一步操作与分析的基础。

由于对于视频中的三维物体，基于边缘追踪方法相较于基于点的追踪方法更具有鲁棒性。所以通常采用边缘追踪方法对视频中三维物体进行追踪。

采用边缘追踪方法对视频中三维物体进行追踪时，由于寻找前后两帧三维物体边缘轮廓的匹配点的过程中，有时会因为光照、背景变化等原因寻找到错误的匹配点对，现有技术中直接采用具有错误匹配点对的数据进行相对姿态的计算，而未对错误匹配点对进行处理，使计算出的三维物体的相对姿态不准确，从而不能更好地对三维物体的边缘进行追踪。

发明内容

本申请实施例提供一种视频中三维物体边缘追踪的方法、装置、设备及存储介质，解决了现有技术中的视频中三维物体边缘追踪的方法直接采用具有错误匹配点对的数据进行相对姿态的计算，而未对错误匹配点对进行处理，使计算出的三维物体的相对姿态不准确，从而不能更好地对三维物体的边缘进行追踪的技术问题。

本申请实施例第一方面提供一种视频中三维物体边缘追踪的方法，包括：获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。

本申请实施例第二方面提供一种视频中三维物体边缘追踪的装置，包括：边缘点获取模块，用于获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；匹配点确定模块，用于确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；匹配点对确定模块，用于根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；相对姿态计算模块，用于根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。

本申请实施例第三方面提供一种终端设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如上述第一方面所述的方法。

基于以上各方面，本申请实施例通过获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与前一帧图像中的边缘点对应的匹配点；根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。由于在确定前后两帧目标三维物体边缘轮廓的匹配点的过程中，剔除了错误匹配点对，保留了正确匹配点对，根据正确匹配点计算出目标三维物体的相对姿态，使计算出的目标三维物体的相对姿态更加准确，进而更好地对目标三维物体的边缘进行追踪。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

附图说明

图1为本申请实施例一提供的视频中三维物体边缘追踪的方法的流程图；

图2为本申请实施例二提供的视频中三维物体边缘追踪的方法的流程图；

图3为本申请实施例三提供的视频中三维物体边缘追踪的装置的结构示意图；

图4为本申请实施例四提供的视频中三维物体边缘追踪的装置的结构示意图；

图5为本申请实施例五提供的终端设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下将参照附图来具体描述本申请的实施例。

实施例一

图1为本申请实施例一提供的视频中三维物体边缘追踪的方法的流程图，如图1所示，本申请实施例的执行主体为视频中三维物体边缘追踪的装置，该视频中三维物体边缘追踪的装置可以集成在终端设备中。终端设备可以为计算机，笔记本电脑，视频处理设备等，则本实施例提供的视频中三维物体边缘追踪的方法包括以下几个步骤。

步骤101，获取前一帧图像中目标三维物体的边缘轮廓中的边缘点。

具体地，本实施例中，首先可从相机或摄像机拍摄的视频中获取前一帧图像，在前一帧图像中具有目标三维物体，可利用前一帧图像中的目标三维物体的姿态对目标三维物体的模型进行投影，从投影结果获得目标三维物体的边缘轮廓、具体地，从投影结果获得目标三维物体的边缘轮廓的方法可以为：对目标三维物体进行渲染，从渲染工具中获取zbuffer图像，再对z buffer图像进行二值化处理，最后对二值图像提取轮廓信息，其中，zbuffer是对在为目标三维物件进行着色时，执行“隐藏面消除”工作的一项技术，所以隐藏目标三维物件背后的部分就不会被显示出来。从目标三维物体的边缘轮廓中获取边缘点。

其中，边缘点的获取方式可以为沿着边缘轮廓等间隔地采集边缘点，或者采用移动边缘算法将边缘轮廓划分为一个个短小的线段，将一个个线段的中点确定为边缘轮廓的边缘点。也可采用其他方式获取边缘点，本实施例中对此不做限定。

步骤102，确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。

本实施例中，首先从相机或摄像机拍摄的视频中获取当前帧图像，在当前帧图像中具有目标三维物体。可采用点匹配的方法确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。

具体地，本实施例中，确定当前帧图像中与前一帧图像中的边缘点对应的匹配点可以为：将前一帧图像中的边缘点与当前帧图像中的点采用像素值匹配的方法进行点匹配，确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。确定当前帧图像中与前一帧图像中的边缘点对应的匹配点还可以为：计算前一帧图像中的每个边缘点与当前帧图像中对应的搜索范围内的每个像素点的相似度，将相似度最高的像素点确定为前一帧图像中的边缘点对应的匹配点。

可以理解的是，本实施例中确定当前帧图像中与前一帧图像中的边缘点对应的匹配点的方法还可以为其他方法，本实施例中对此不做限定。

步骤103，根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对。

具体地，本实施例中，首先获取到前一帧图像中的边缘点后，按照预设周围像素点的范围获取前一帧图像中每个边缘点的周围边缘点，确定每个边缘点与周围边缘点的位置关系，其中，位置关系可以为边缘点与周围每个边缘点的相对位置。其次，获取当前帧图像中的每个边缘点的匹配点后，按照同一预设周围像素点的范围获取当前帧图像中的每个匹配点的周围匹配点，确定每个匹配点与周围匹配点的位置关系，其中，位置关系可以为匹配点与周围每个匹配点的相对位置。最后根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对。若某一边缘点与周围边缘点的位置关系和匹配点与周围匹配点的位置关系满足预设正确匹配点对条件，则确定该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对，若某一边缘点与周围边缘点的位置关系和匹配点与周围匹配点的位置关系不满足预设正确匹配点对条件，则确定该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对。

步骤104，根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。

具体地，本实施例中，剔除错误匹配点对，获取正确匹配点对，根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。其中，可将正确匹配点对和目标三维物体的模型信息输入到视觉伺服的模型中，视觉伺服模型根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。

可以理解的是，计算出当前帧图像和前一帧图像中的目标三维物体的相对姿态后，根据前一帧图像的目标三维物体的姿态和相对姿态可计算出当前帧图像中目标三维物体的当前姿态。

本实施例提供的视频中三维物体边缘追踪的方法，通过获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与前一帧图像中的边缘点对应的匹配点；根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。由于在确定前后两帧目标三维物体边缘轮廓的匹配点的过程中，剔除了错误匹配点对，保留了正确匹配点对，根据正确匹配点对计算出目标三维物体的相对姿态，使计算出的目标三维物体的相对姿态更加准确，进而更好地对目标三维物体的边缘进行追踪。

实施例二

图2为本申请实施例二提供的视频中三维物体边缘追踪的方法的流程图，如图2所示，本实施例提供的视频中三维物体边缘追踪的方法，是在本申请实施例一提供的视频中三维物体边缘追踪的方法的基础上，对步骤101-步骤104的进一步细化，则本实施例提供的视频中三维物体边缘追踪的方法包括以下步骤。

步骤201，采用移动边缘算法将前一帧图像中目标三维物体的边缘轮廓划分为多个线段；将每个线段的中点确定为前一帧图像中目标三维物体的边缘轮廓中的边缘点。

本实施例中，步骤201是对本申请实施例一提供的视频中三维物体边缘追踪的方法步骤101的进一步地细化。

进一步地，本实施例中，获取前一帧图像中的目标三维物体的边缘轮廓，然后采用移动边缘算法将前一帧图像中目标三维物体的边缘轮廓划分为一个个短小线段，所有短小线段尽可能贴合边缘轮廓。提取每个线段的中点，将每个线段的中点确定为前一帧图像中目标三维物体的边缘轮廓中的边缘点。

步骤202，计算每个线段的中点与当前帧图像中对应的搜索范围内的每个像素点的相似度；将相似度最高的像素点确定为前一帧图像中的边缘点对应的匹配点。

本实施例中，步骤202是对本申请实施例一提供的视频中三维物体边缘追踪的方法步骤102的进一步地细化。

进一步地，本实施例中，对于前一帧图像中的每个线段的中点确定每个线段中点的搜索范围，如搜索范围为在当前帧图像中该线段的法向量为搜索方向，偏移量为n的线性搜索范围，其中n取值可以为3,4或其他数值。或者为其他搜索范围，本实施例中对此不做限定。然后计算每个线段的中点与对应的搜索范围内的每个像素点的相似度。其中，该线段的中点与像素点之间的相似度可以为像素值的相似度，或者为该线段的中点与像素点之间的其他特征的相似度，本实施例中对此不做限定。然后将相似度最高的像素点确定为前一帧图像中的边缘点对应的匹配点。

优选地，本实施例中，计算每个线段的中点与当前帧图像中对应的搜索范围内的每个像素点的相似度，包括：

首先，根据每个线段的方向确定对应的匹配模板。

其次，将每个线段对应的匹配模板分别与当前帧图像中对应的搜索范围内的每个像素点做卷积计算，以得到每个线段中点与对应的所有像素点的卷积值。

最后，将每个线段中点与对应的所有像素点的卷积值确定为每个线段中点与对应的所有像素点的相似度。

进一步地，本实施例中，对于每个方向的线段，均有对应的匹配模板，首先根据每个线段的方向确定与之对应的匹配模板。其次对于某一个线段，将与之对应的匹配模板分别与当前帧图像中对应的搜索范围内的每个像素点做卷积计算，每个像素点对应一个卷积值，将每个像素点对应的卷积值确定为该线段的中点与每个像素点的相似度。对于每个线段的中点，找到与该中点对应的像素点中卷积值最大的像素点，该卷积值最大的像素点即为该线段的中点对应的匹配点。

步骤203，将前一帧图像中的每个边缘点与周围边缘点的位置关系与当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系进行对比。

进一步地，本实施例中，对于某一个边缘点，可先确定前一帧图像中的该边缘点与每个周围边缘点的位置关系，并确定该边缘点对应的匹配点与每个周围匹配点的位置关系，将该边缘点与每个周围边缘点的位置关系分别与该边缘点对应的匹配点与每个周围匹配点的位置关系进行对比。确定该边缘点与每个周围边缘点的位置关系与该边缘点对应的匹配点与每个周围匹配点的位置关系相差是否在预设位置范围内，根据判断结果确定正确匹配点对和错误匹配点对。

步骤204，判断前一帧图像中的某个边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差是否大于预设位置范围，若否，则执行步骤205，否则执行步骤206。

步骤205，确定该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对。

步骤206，确定该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对。

本实施例中，步骤203-步骤206是对本申请实施例一提供的视频中三维物体边缘追踪的方法步骤103的进一步地细化。

进一步地，结合步骤204-步骤206进行说明。本实施例中，若前一帧图像中的某个边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差大于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对。若前一帧图像中的某个边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差小于或等于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对。

举例说明为：若前一帧图像中的某个边缘点与周围边缘点的位置关系使该边缘点与周围边缘点连接的线条形成了一个向外凸的圆弧形，而当前帧图像中的该边缘点对应的匹配点和周围匹配点的位置关系使该边缘点对应的匹配点和周围匹配点连接的线条形成了一个内凹的圆弧形，前一帧图像中的该边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差大于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对。

步骤207，将正确匹配点对和目标三维物体的模型信息输入到视觉伺服模型中，以计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。

步骤208，输出当前帧图像和前一帧图像中的目标三维物体的相对姿态。

本实施例中，步骤207-步骤208是对本申请实施例一提供的视频中三维物体边缘追踪的方法步骤104的进一步地细化。

进一步地，本实施例中，将正确匹配点对和目标三维物体的模型信息输入到视觉伺服模型中，视觉伺服模型根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态，在计算出当前帧图像和前一帧图像中的目标三维物体的相对姿态后，从视觉伺服模型中输出当前帧图像和前一帧图像中的目标三维物体的相对姿态。

本实施例提供的一种视频中三维物体边缘追踪的方法，通过采用移动边缘算法将前一帧图像中目标三维物体的边缘轮廓划分为多个线段；将每个线段的中点确定为前一帧图像中目标三维物体的边缘轮廓中的边缘点，计算每个线段的中点与当前帧图像中对应的搜索范围内的每个像素点的相似度；将相似度最高的像素点确定为前一帧图像中的边缘点对应的匹配点，将前一帧图像中的每个边缘点与周围边缘点的位置关系与当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系进行对比，判断前一帧图像中的某个边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差是否大于预设位置范围，若否，则确定该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对，若是，确定该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对，将正确匹配点对和目标三维物体的模型信息输入到视觉伺服模型中，以计算当前帧图像和前一帧图像中的目标三维物体的相对姿态，输出当前帧图像和前一帧图像中的目标三维物体的相对姿态。由于在确定匹配点时，根据每个线段的中点与当前帧图像中对应的搜索范围内的每个像素点的相似度进行确定的，能够使每个边缘点的匹配点确定更准确，并且能够使正确匹配点对和错误匹配点对确定的更准确，进一步提高三维物体的相对姿态计算的准确性。

实施例三

图3为本申请实施例三提供的视频中三维物体边缘追踪的装置的结构示意图，如图3所示，本实施例提供的视频中三维物体边缘追踪的装置30包括：边缘点获取模块31，匹配点确定模块32，匹配点对确定模块33及相对姿态计算模块34。

其中，边缘点获取模块31，用于获取前一帧图像中目标三维物体的边缘轮廓中的边缘点。匹配点确定模块32，用于确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。匹配点对确定模块33，用于根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对。相对姿态计算模块34，用于根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。

本实施例提供的视频中三维物体边缘追踪的装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

实施例四

图4为本申请实施例四提供的视频中三维物体边缘追踪的装置的结构示意图，如图4所示，本实施例提供的视频中三维物体边缘追踪的装置40在本申请实施例三提供的视频中三维物体边缘追踪的装置30的基础上，进一步地，匹配点确定模块32包括：相似度计算子模块321和匹配点确定子模块322。

进一步地，边缘点获取模块31，具体用于：采用移动边缘算法将前一帧图像中目标三维物体的边缘轮廓划分为多个线段；将每个线段的中点确定为前一帧图像中目标三维物体的边缘轮廓中的边缘点。

进一步地，相似度计算子模块321，用于计算每个线段的中点与当前帧图像中对应的搜索范围内的每个像素点的相似度。匹配点确定子模块322，用于将相似度最高的像素点确定为前一帧图像中的边缘点对应的匹配点。

进一步地，相似度计算子模块321，具体用于：根据每个线段的方向确定对应的匹配模板；将每个线段对应的匹配模板分别与当前帧图像中对应的搜索范围内的每个像素点做卷积计算，以得到每个线段中点与对应的所有像素点的卷积值；将每个线段中点与对应的所有像素点的卷积值确定为每个线段中点与对应的所有像素点的相似度。

进一步地，匹配点对确定模块33，具体用于：将前一帧图像中的每个边缘点与周围边缘点的位置关系与当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系进行对比；若前一帧图像中的某个边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差大于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对；若前一帧图像中的某个边缘点与周围边缘点的位置关系与当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差小于或等于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对。

进一步地，相对姿态计算模块34，具体用于：将正确匹配点对和目标三维物体的模型信息输入到视觉伺服模型中，以计算当前帧图像和前一帧图像中的目标三维物体的相对姿态；输出当前帧图像和前一帧图像中的目标三维物体的相对姿态。

本实施例提供的视频中三维物体边缘追踪的装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

实施例五

图5为本申请实施例五提供的终端设备的结构示意图，如图5所示，本实施例提供的终端设备50包括：一个或多个处理器51及存储器52。

其中，存储器52，用于存储一个或多个程序。当一个或多个程序被一个或多个处理器51执行，使得一个或多个处理器51实现如本申请实施例一提供的视频中三维物体边缘追踪的方法或本申请实施例二提供的视频中三维物体边缘追踪的方法。

相关说明可以对应参见图1至图2的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。

实施例六

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本申请实施例一提供的视频中三维物体边缘追踪的方法或本申请实施例二提供的视频中三维物体边缘追踪的方法。

本实施例提供的计算机可读存储介质，通过获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与前一帧图像中的边缘点对应的匹配点；根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。由于在确定前后两帧目标三维物体边缘轮廓的匹配点的过程中，剔除了错误匹配点对，保留了正确匹配点对，根据正确匹配点对计算出目标三维物体的相对姿态，使计算出的目标三维物体的相对姿态更加准确，进而更好地对目标三维物体的边缘进行追踪。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (12)

1.一种视频中三维物体边缘追踪的方法，其特征在于，包括：

获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；

采用点匹配的方法确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；

根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；

根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态；

所述获取前一帧图像中目标三维物体的边缘轮廓中的边缘点，包括：

采用移动边缘算法将所述前一帧图像中目标三维物体的边缘轮廓划分为多个线段；

将每个线段的中点确定为所述前一帧图像中目标三维物体的边缘轮廓中的边缘点。

2.根据权利要求1所述的方法，其特征在于，所述采用点匹配的方法确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点，包括：

计算所述每个线段的中点与所述当前帧图像中对应的搜索范围内的每个像素点的相似度；

将相似度最高的像素点确定为所述前一帧图像中的边缘点对应的匹配点。

3.根据权利要求2所述的方法，其特征在于，所述计算所述每个线段的中点与所述当前帧图像中对应的搜索范围内的每个像素点的相似度，包括：

根据每个线段的方向确定对应的匹配模板；

将所述每个线段对应的匹配模板分别与所述当前帧图像中对应的搜索范围内的每个像素点做卷积计算，以得到每个线段中点与对应的所有像素点的卷积值；

将所述每个线段中点与对应的所有像素点的卷积值确定为每个线段中点与对应的所有像素点的相似度。

4.根据权利要求1所述的方法，其特征在于，所述根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对，具体包括：

将所述前一帧图像中的每个边缘点与周围边缘点的位置关系与所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系进行对比；

若所述前一帧图像中的某个边缘点与周围边缘点的位置关系与所述当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差大于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对；

若所述前一帧图像中的某个边缘点与周围边缘点的位置关系与所述当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差小于或等于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态，具体包括：

将所述正确匹配点对和所述目标三维物体的模型信息输入到视觉伺服模型中，以计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态；

输出所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。

6.一种视频中三维物体边缘追踪的装置，其特征在于，包括：

边缘点获取模块，用于获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；

匹配点确定模块，用于采用点匹配的方法确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；

匹配点对确定模块，用于根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；

相对姿态计算模块，用于根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态；

所述边缘点获取模块，具体用于：

采用移动边缘算法将所述前一帧图像中目标三维物体的边缘轮廓划分为多个线段；将每个线段的中点确定为所述前一帧图像中目标三维物体的边缘轮廓中的边缘点。

7.根据权利要求6所述的装置，其特征在于，所述匹配点确定模块，具体包括：

相似度计算子模块，用于计算所述每个线段的中点与所述当前帧图像中对应的搜索范围内的每个像素点的相似度；

匹配点确定子模块，用于将相似度最高的像素点确定为所述前一帧图像中的边缘点对应的匹配点。

8.根据权利要求7所述的装置，其特征在于，所述相似度计算子模块，具体用于：

根据每个线段的方向确定对应的匹配模板；将所述每个线段对应的匹配模板分别与所述当前帧图像中对应的搜索范围内的每个像素点做卷积计算，以得到每个线段中点与对应的所有像素点的卷积值；将所述每个线段中点与对应的所有像素点的卷积值确定为每个线段中点与对应的所有像素点的相似度。

9.根据权利要求6所述的装置，其特征在于，所述匹配点对确定模块，具体用于：

将所述前一帧图像中的每个边缘点与周围边缘点的位置关系与所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系进行对比；若所述前一帧图像中的某个边缘点与周围边缘点的位置关系与所述当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差大于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对；若所述前一帧图像中的某个边缘点与周围边缘点的位置关系与所述当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差小于或等于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述相对姿态计算模块，具体用于：

将所述正确匹配点对和所述目标三维物体的模型信息输入到视觉伺服模型中，以计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态；输出所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。

11.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行如权利要求1-5中任一项所述的方法。

Images