CN101650778A - 一种基于特征点与单应性匹配的不变性识别方法 - Google Patents

Abstract

本发明提供了一种基于特征点与单应性匹配的不变性识别方法，本方法采用假设验证法，在已知模型各个平面的直线特征及位置关系的情况下，通过对于场景图像中不变性特征的分析，假设其中某些直线段的匹配，继而得到某一平面的匹配关系，并求出其单应矩阵。再将模型平面映射到场景，利用平面中直线段的匹配对假设进行验证。逐个识别所有平面。最后利用平面之间的不变性验证假设的正确性。相对于传统的假设验证法，本发明的方法将假设验证法中对于全局坐标系变换的求解分散在各个平面单应性变换的求解中，降低了求解的复杂度，因此能够快速准确的识别物体。

Description

一种基于特征点与单应性匹配的不变性识别方法

技术领域

本发明属于模式识别、计算机视觉、图像理解领域，通过对场景和模型图像中直线段的匹配识别基于直线段特征的人造物体。

背景技术

三维物体识别是计算机视觉领域中最活跃的研究领域之一，在机器人控制、自动导航、自动检测、装配任务与医学图像的分析等大量现实领域发挥核心作用。如精确制导武器需要运用三维物体识别技术识别并跟踪攻击目标，装配或者包装机器人需要运用三维物体识别技术对产品的姿态进行定位。现有的三维物体识别技术主要是一个利用输入的场景图像数据得到场景特征的表达，再和数据库中存储的物体模型表达相匹配的过程[1]。因此，一般而言，三维物体识别技术至少需要解决以下三个方面的问题[2]：

1.场景特征的提取和表达方法；

2.三维物体模型的构造方法；

3.场景特征与物体模型的匹配方法。

其中，特征的表达描述了场景的有效数据，对于匹配策略、匹配速度、鲁棒性等有着重要影响；而模型的构造则提供了用于识别的先验知识。在过去的半个多世纪中，三维物体识别一直受到各国视觉研究者的广泛关注，并提出了众多的理论和方法。现有的识别技术可以从以下两个角度进行分类[3]：

一种分类方法是根据识别所采用的不同特征。如一些全局特征，如颜色、纹理、致密等特征；或者局部特征，如点、线段、形状等几何属性特征。每种特征都有它的局限性，因此它们的应用领域也各不相同。另一种分类方法是根据物体模型所采用的不同表示方法[4]，如基于表面特征表达的[5]-[6]、基于体积特征表达的[7]、基于表面不连续性的表达[8]-[10]、基于定位的表达[11]、基于整体的表达等[12]-[13]。这些方法的主要区别在于存储信息的方式不同。但一般而言，这些信息都是从图像中提取得到的[3]。根据三维物体表达所使用的粒度大小的不同，可以把这些方法分成五类，分别为：基于深度点的表达方法，多采用点的位置，深度，法向量等信息进行表达；基于角点的表达方法，采用位置、曲率等信息进行表达；基于边缘的表达方法，主要使用物体的边缘信息；基于表面的表达方法，主要适用物体的表面信息，如平面信息，球面信息，甚至曲面信息，面的连接关系等，可采用超二次曲面特征[14]或者B样条表面[15]等方法拟合曲面信息；基于体的表达方法，主要使用体素[7]，体元[16]等体表达符进行表达。

物体的形状特征不受光照、表面纹理特征等条件的影响。几何不变性是物体在各种投影变换下保持不变的性质[17]，它来自于物体的形状特征，在三维物体识别中得到了广泛的应用。Arbter等对傅立叶描绘子进行了扩展，而使其具有平移、旋转、尺度和剪切不变性[18]。仿射不变量一般有共线三点的单比，共点三线夹角之比，两条平行线段的长度比，共面封闭区域的面积之比等。大量弱透视投影可以视为仿射投影，这使得仿射不变性在弱透视变换下具有很高的应用价值[19]。利用这些不变量可以确定某些特殊点或直线在场景中的位置。除此之外，Weiss提出了有关于任意3点、共线3点、任意4点、一条二次曲线和两条二次直线等仿射不变量[20]。最为基础的透视投影不变量是四点共线、四线共点的交比。在此基础上衍生处其他诸如五个点、五条直线或相邻平面之间形成的不变量等等。众多学者对此进行了研究，如Zhu等提出了一种相邻两平面共6点构成的特殊结构[21]；Song求得的相邻两平面5条直线和4平面6条直线所具有的透视不变量等[22]；Quan等提出在已知点对的对应关系的情况下可由未标定的3幅图像中对应的6对点来计算出3个透视不变量[23]；Zisserman等提出对于具有重复结构、旋转对称、管状表面及多面体等类似物体，可由单幅图像计算其透视不变量[24]。基于物体的形状特征的匹配方法可以分为以下几类[25]：

基于解释树的方法：基于解释树的方法常用于表示场景特征和模型特征间可能的匹配，且树上从根到叶子的每条路径都表示相关问题的一个可能解[11]。解释树尽可能对模型及图像特征进行表征，如其二维直线段，二维区域，三维直线段等，之后根据几何约束如平行，距离比，角度等，通过遍历树来求得场景特征和模型特征之间的一致性解释。解释树常被用于基于几何属性的三维物体分类。

假设验证法：又称为对准(alignment)，该方法通过对于图像场景特征的提取以及原先对于物体模型特征的假设，得到一组超限定线性方程或非线性方程。再根据此方程组的解得到物体参考坐标系到场景参考坐标系的变换。最后，将模型变换到场景中，利用场景图像验证假设的正确性[26]-[27]。

姿态聚类法：又称为广义霍夫变换。它是根据局部几何特征约束来进行匹配。从每一个成功的特征匹配可以计算出一个几何变换，然后在符合该几何变换的模型的位姿空间中进行累加。对于所有模型的位姿空间中最大的聚类点就是与场景一致的假设[28]。

基于图的识别方法：一般指特征关系图，图中的节点对应于场景和模型中的主要特征，而节点之间的弧则表示两个特征之间的关系。场景和模型之间的匹配均使用图论的匹配技术实现，如同构，同态等[29]。

一般而言，基于解释树的方法需要一组图像，不能用于对独立单幅图像的解释，另外由于每一条路径都有可能形成一个可能解，因此对于遍历这棵树的代价非常大。而假设验证法在场景较为复杂的情况下具有非常高的复杂度，其用于验证的代价也很大，此外，假设验证法的另一个问题是噪声的误差会转播给姿态估计，验证的质量会因此而降低。姿态聚类法对于噪音的敏感性相对于其他方法而言较高，且搜索的代价也很高；基于图的识别方法的主要困难在于难以处理物体遮挡问题和图匹配的大运算量问题。

参考文献

[1]A.K.Jain，P.J.Flynn，3D Object Recognition Systems.Elsevier Science Publishers，B.V.，1993.

[2]F.Arman，J.K.Aggarwal，Model-based object recognition in dense range images A review.ACM Computing Surveys，1993，25(1)：5-43.

[3]M.A.Vicente，P.Gil，O.Reinoso，F.Torres，Objects recognition by means of projectiveinvariants considering corner-points，SPIE，2002，4570：105-112.

[4]J.B.Paul，C.J.Ramesh，Three-dimensional object recognition，ACM Computing Surveys，1985，17(1)：75-145.

[5]W.E.L.Grimson，T.Lozano-Perez，Localizing overlapping parts by searching theinterpretation tree，IEEE Trans on PAMI，1987，9(4)：469-482.

[6]F.Stein，G.Medioni，Structural indexing：Efficient 3D object recognition，IEEE Trans onPAMI，1992，14(2)：125-145.

[7]L.Best，M.Magee，Autonomous construction of three dimensional models from range data，Pattern Recognition，1998，31(2)：121-136.

[8]S.Chen，G.Stockman，Object wings-2 1/2D primitives for 3D recognition，CVPR，1989：535-540.

[9]J.L.Chen，G.C.Stockman，3D free-form object recognition using indexing by contourfeatures，Computer Vision Image Understanding，1998，71(3)：334-335.

[10]R.J.Campbell，P.J.Flynn，A survey of free-form object representation and recognitiontechniques，Computer Vision Image Understanding，2001，81(2)：166-210.

[11]P.Liang，C.H.Taubes，Orientation-based differential geometric representations for computervision applications，IEEE Trans on PAMI，1994，16(3)：249-258.

[12]E.M.Santos，H.M.Gomes，Appearance-based object recognition using support vectormachines，Computer Graphics and Image Processing，2001：399

[13]A.Selinger，R.C.Nelson，Appearance-based object recognition using multiple views，Computer Vision and Pattern Recognition，2001，1：905-911.

[14]A.H.Barr.Superquadrics and angle-preserving transformations.IEEE Computer Graphics.andApplications，1981，3：11-23.

[15]C.W.Liao，G.Medioni，Representation Of Range Data With B-Spline Surface Patches，ICPR(C)，BibRef，1992，745-748.

[16]Q.L.Nguyen，M.D.Levine，Representing 3D objects in range images using geons.CVIU，1996，63：158-168

[17]D.A.Forsyth，J.L.Mundy，A.Zisserman，C.Coelho，A.Heller，C.Rothwell，InvariantDescriptors for 3-D Object Recognition and Pose，IEEE Transactions on Pattern Analysis andMachine Intelligence，1992，13，971-992.

[18]K.Arbter，W.E.Snyder，H.Burkhardt，Application of Affine-invariant Fourier descriptorsrecognition of 3D objects，IEEE Trans on PAMI，1990，12(7)：640-647.

[19]R.Yang and Y.Gao，“Line-Based Affine Invariant Object Location Using TransformationSpace Decomposition”，The 18th International Conference of Pattern Recognition(ICPR)，2006，2：646-649.

[20]I.Weiss，Geometric invariants and object recognition，International Journal of ComputerVision，1993，10(3)：207-231.

[21]Y.Zhu，L.D Senevirame，S.W.E.Earles，A new structure of invariant for 3D point sets froma single view，IEEE Int.Conf.Robot.Automat，1726-1731.

[22]B.S.Song，K.M.Lee，S.U.Lee，Model-based object recognition using geometric invariantsof points and lines，Computer Vision and Image Understanding，2001，84(3)，361-383.

[23]L.Quan，Invariants of six points and projective reconstruction from three uncalibratedimages，IEEE Trans on PAMI，1995，1(1)：34-46.

[24]A.Zisserman，D.A.Forsyth，J.L.Mundy，C.A.Rothwell，J.S.Liu，3D Object Recognitionusing Invariance，Artificial Intelligence，1995，78：239-288.

[25]Q.Li，M.L.Zhou，J.Liu，A review on 3D objects recognition，Journal of Image andGraphics，2000，5(12)：985-993.

[26]N.Ayache，O.D.Faugeras，HYPER：a new approach for the recognition and positioning oftwo dimensional objects，IEEE Trans on PAMI，1996，8(1)：44-54.

[27]S.Ullman，R.Basri，Recognition by linear combination of models，IEEE Trans on PAMI，1991，13(10)：992-1006.

[28]J.L.Mundy，A.J.Heller，The evolution and testing of a model-based object recognitionsystem，in：Proreedings Third International Conference on Computer Vision，1990，268-282.

[29]D.H.Kim，D.Yun，S.U.Lee，Interactive 3-D Shape Retrieval System Using the AttributedRelational Graph，Computer Vision and Pattern Recognition Workshop，2004，147-154.

发明内容

本发明的目的在于实现一种对于具有较多直线段结构的人造物体的识别方法，本方法采用假设验证法，在已知模型各个平面的直线特征及位置关系的情况下，通过对于场景图像中不变性特征的分析，假设其中某些直线段的匹配，继而得到某一平面的匹配关系，并求出其单应矩阵。再将模型平面映射到场景，利用平面中直线段的匹配对假设进行验证。逐个识别所有平面。最后利用平面之间的不变性验证假设的正确性。相对于传统的假设验证法，本方法将假设验证法中对于全局坐标系变换的求解分散在各个平面单应性变换的求解中，降低了求解的复杂度，因此能够快速准确的识别物体。

本发明的基本内容可分为如下几个部分。

1.三维模型定义技术：

在识别之前，需要对模型图像的结构进行描述以帮助之后的识别，一个常用的对三维物体的表达方法是依据平面来组织特征。本方法对于模型图像的描述由三个部分构成：面结构关系、直线段特征、透视不变量。依据可见面的相邻性将模型物体的所有平面构成图结构。

除了描述了模型物体的结构之外，我们还需给出模型中所含的不变量。这些不变量可以被简单地分为两类：定义第一类不变量(Inv I)为由点特征或直线段特征构成的在模型中共面的透视或仿射不变性特征，如最简单的四点共线、四线共点，所衍生的同一平面内五个点、同一平面内五条线等透视不变量，以及大量仿射不变量如共线三点的单比，共点三线夹角之比，两条平行线段的长度比等。定义第二类不变量(Inv II)为由点特征或直线段特征构成的在模型中不全共面的透视或仿射不变性特征。如Zhu等提出了一种相邻两平面共6点构成的特殊结构，Song求得的相邻两平面5条直线和4平面6条直线所具有的透视不变量等。对于第一类不变量，可以用来直接匹配直线段，但必须保证其共面性。而第二类不变量可以表示两平面间的位置关系。通过第二类不变量，我们可以找出一个已识别平面的相邻平面。

2.对应线段筛选技术：

一般而言，平面的单应矩阵可以由透视前后的两个平面上的4组对应点求出，且这四个点中任意三点不共线，若有更多的点对，则方程超定(over-determined)，提供合理的最优解。因此，在求出平面的单应矩阵之前需要预先匹配两平面间四个或者四个以上的点(两条无公共点的非共线直线段)。但确定点的对应关系对应在通常情况下是困难，为了解决这个问题，我们提出了利用几何不变性来选取一些特殊的点和线段的技术。

3.不变性识别技术：

本发明利用模型与场景图像间直线段的匹配程度来描述模型与场景图像中物体的识别程度。用一组直线段L＝{l₁，l₂，...，l_r}代表二维图像中人造物体的轮廓线，其中的每一条直线段都可以表示为：l_i＝[x_i，y_i，θ_i，d_i]^T，其中x_i，y_i表示直线的中点，θ_i表示直线的倾角，d_i表示直线的长度。现有已知的标准模型图像中的长直线段集L_ML＝{l_M1，l_M2，...，l_Mn}以及待识别的场景图像Img_Scene。我们可以通过边缘提取、直线链码跟踪、角点检测等步骤识别Img_Scene中的边缘直线段，并形成场景图像的长直线段集L_SL＝{l_S1，l_S2，...，l_Sm}。

对于标准模型图像某一平面中的长直线段集L_Pk中的每一条直线l_Pki，通过配准算法：

$\underset{l_{\mathrm{Sj}}\∈L_{\mathrm{SL}}}{f_{\mathrm{match}}}\left(l_{\mathrm{Pki}}\right)=l_{\mathrm{Sj}},$ (1≤i≤n，1≤j≤m)

与L_SL中的一条直线l_Sj形成匹配。再通过代价估算函数：

$f_{\cos t}(M_k,S)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{\ϵD}(l_{\mathrm{Pki}},f_{\mathrm{match}}\left(l_{\mathrm{Pki}}\right)),$ (1≤i≤n)

估算某一平面中，模型与场景之间的平均匹配代价。其中D(l_Pki，f_match(l_Pki)为单个匹配的代价估算函数，ε为加权参数。若平均匹配代价小于某一阈值，则该平面被识别。配准算法f_match直接影响模型与场景图像之间的匹配，是物体识别的关键。

本发明提供了一种基于特征点与单应性匹配的不变性识别方法，其特征在于，包含以下步骤：

1)对模型图像的结构进行描述；得到场景图像；找出场景图像中的第一类不变量和第二类不变量，直线检测算法提取场景图像中的长直线段，利用直线段共线特征找到共线组，若不具备共线条件，寻找平行线组，作为共线集；

2)对某一模型平面中所有第一类不变量，找出共线集中与其匹配的直线段对的端点，把匹配的直线段对的端点添加到该平面的配准点集；

3)取配准点集中尚未取过的非共线点所组成的最大子集，判断非共线点的数量是否小于4，如果是，转到步骤6)；否则，根据配准点集计算该平面的单应矩阵；

4)匹配该平面中所有直线，判断匹配代价是否小于预期，如果是，判断该平面匹配成功，转到步骤6)，如果不是，判断该平面匹配失败，判断是否所有相邻平面都经过了匹配，判定匹配失败，如果还有相邻平面没有经过匹配，配准点集清空，对相邻平面进行步骤5)；

5)对于相邻平面中所有第二类不变量，找出共线集中与其匹配的直线段对的端点，把匹配的直线段对的端点添加到该平面的配准点集，转到步骤3)；

6)判断匹配的平面集是否满足模型识别条件，如果满足，判定匹配成功；如果不满足，判断是否所有相邻平面都经过了匹配，如果没有相邻平面还没经过匹配，判定匹配失败，如果还有相邻平面没有经过匹配，配准点集清空，对相邻平面进行步骤5)。

本发明地主要贡献在于提出了一种基于直线特征人造物体识别的新方法，通过对场景和模型图像中直线段的匹配识别人造物体。相对于基于特征点的识别，线段数量较少且具有较强的鲁棒性，因此在匹配过程中发生错误的概率较低。

本发明相对于基于特征点的识别，线段数量较少且具有较强的鲁棒性，因此在匹配过程中发生错误的概率较低。相对于传统的假设验证法，本方法将假设验证法中对于全局坐标系变换的求解分散在各个平面单应性变换的求解中，降低了求解的复杂度，因此这项发明能够有效提高计算效率、减少计算资源的消耗，快速准确的识别物体。

附图说明

图1是示意性说明本发明的基于特征点与单应性匹配的不变性识别方法的一个具体实例的物体结构描述的示意图，其中(a)为模型图像，(b)为三维物体平面连通图描述，(c)为直线所在面的表示；

图2是示意性说明本发明的不变性识别方法的具体实施中透视不变量描述的示意图；

图3是本发明的不变性识方法的具体实施例的流程图。

具体实施方式

现结合附图和实施例对本发明作进一步的描述。现以图1所示的模型为例具体说明本发明的不变性识别方法。

1.三维模型定义实施方案

可以将一个具有三个可见面的汽车模型图像(a)描述为(b)结构，如图1所示。对于模型图像中长轮廓线集L_ML中的每一条直线段，我们都需指明其所在的平面。让每个平面P_k都分别维护一个直线组L_Pk，而L_Pk中的每一个元素都是指向L_ML中某一直线段，代表该直线属于这个平面，如图1的(c)所示。

假设一共有K个平面，有L_ML＝L_P1∪L_P2∪…∪L_PK。L_ML中的某些直线段可能同时拥有多个指针，因为它可能是多个平面的交线。

对于第一类不变量Inv I，我们首先选用共线四点的交比值，它由一个特征值以及指向同一平面内两条共线直线段的指针组成：invI＝[(l₁，l₂)，ivI]^T，其中(l₁，l₂)＝l_Ipair为组成交比的两条线段，ivI表示两共线直线段所形成四点的交比值。

如果模型不含在同一平面内两条共线直线段这一特征，可采用仿射不变量，两条平行线段的长度比代替。它由一个特征值以及指向同一平面内两条平行直线段的指针组成：invI′＝[(l₁，l₂)，ivI′]，其中l₁，l₂为两条平行的直线段，ivI′表示他们长度的单比值。

对于第二类不变量Inv II，我们选用相邻两平面中六个点，即三条线段所形成的不变量，它由一个特征值以及三个指针组成，其中两个指针分别指向两个不同平面内的直线段，另一个指向这两个平面的交线：invII＝[(l_F，l_S，l_I)，ivII]，ivII表示不同平面内两直线l_F，l_S以及两平面交线l_I的所构成的六点的不变量的值，如图2所示。

第一类不变量、第二类不变量的选取有多种可能，它们几乎都适用于我们的方法：如第一类不变量中的：共线三点单比(仿射)，共点三线夹角比(仿射)，两条平行线段长度比(仿射)，四点共线交比(透视)、四线共点交比(透视)等；第二类不变量中的：相邻两平面共六点构成的特殊结构(透视)，相邻两平面间五条直线(透视)等。

2.基于第一类不变量的共面不变性直线段筛选方案

对应线段筛选旨在得到模型与场景图像间少量直线段间所存在的可能的匹配，以帮助完成场景平面与模型平面间的映射。共面不变性直线段筛选f_select ^InvI所得到的匹配是一个集合。共面不变性直线段筛选通过在场景图像中寻找到与标准模型中已知的交比相符的共线组。当使用共线四点定义共面不变量时，我们可以采用如下三个条件中判据两直线段l₁，l₂共线(l₁，l₂∈L_SL)：

1)两直线夹角小于θ_μ度，或者在两直线长度比相差较大的情况下夹角约束适当放宽

|θ₁-θ₂|＜θ_μ or [(d₁/d₂＜0.15 or d₂/d₁＜0.15) and |θ₁-θ₂|＜ε₁θ_μ]  (1)

2)任一直线的中点到另一直线的距离需小于一个阈值，同理该条件在夹角足够小时适当放宽。

$({\mathrm{mid}}_1+{\mathrm{mid}}_2)/2<{\mathrm{mid}}_{\mathrm{\&mu;}}\mathrm{or}\left(\right|{\mathrm{\&theta;}}_1-{\mathrm{\&theta;}}_2|<\frac{1}{2}{\mathrm{\&theta;}}_{\mathrm{\&mu;}}\mathrm{and}({\mathrm{mid}}_1+{\mathrm{mid}}_2)/2<{\mathrm{\&epsiv;}}_2{\mathrm{mid}}_{\mathrm{\&mu;}})---\left(2\right)$

mid₁，mid₂分别表示一直线的中点到另一直线的距离。

3)两直线最外端点的长度必须大于两直线长度和。

d_max＞d₁+d₂   (3)

d_max表示两直线最外端点构成的直线l_max的长度。

场景图像的长直线段集L_SL中所有同时满足上述三个判据条件的共线组l′_pair＝[l₁，l₂]构成共线集L_pair。对于每一个共线组，计算它们的交比，得到不变量特征值ivalue(l′_pair)。如果我们使用两平行线间单比的仿射不变量定义共面不变量，我们只需参考两线夹角这一约束条件。即，在一组线段符合两线夹角小于θ_μ的条件下，计算两线单比的不变量特征值ivalue(l′_pair)。得到不变量特征值之后，须与InvI中的值比较，与特征值最为接近的G₁个共线组为可能的匹配，用一个集合表示：

将这些筛选出的线段的端点与l_pair的端点一起加入配准点集Pair_k。当同一平面内有两组或者两组以上元素找到可能的匹配之后，该平面进行单应性匹配。事实上，在定义模型图像时，必定需要有一个平面拥有两个或者两个以上的共线不变量组以支持后续的识别，我们将这个平面称为起始平面，在图2用*P1表示。

3.基于第二类不变量的非共面不变性直线段筛选方案

当一个平面匹配成功之后，若已识别的平面集未满足模型识别条件，需要完成对其相邻平面直线段的匹配。同样，我们无须利用不变量去寻找所有相邻平面中的直线，因为只要获得四个非共线点就可以利用平面单应性完成该相邻平面内所有直线的配准。在已知两相邻平面的公共边的情况下，理论上我们只需要筛选出一条直线段即可，其过程称为非共面不变性直线段筛选f_select ^InvII。

对于一个第二类不变量invII＝[(l₁，l₂，l₀)，ivII]，其中l₁代表模型图像已知平面中的直线，l₀模型图像中两平面的公共交线，由于一个平面已经被识别，其单应性矩阵H₁已知，因此l₁，l₀在场景中的像， ${l_1}^{\&prime;}=H_1^{-1}\left(l_1\right),$ ${l_0}^{\&prime;}=H_1^{-1}\left(l_0\right),$ 则：

即，可能的匹配为与不变量都最为接近的G₂组直线段。

4.基于平面单应性的单个平面不变性识别方案

单个平面的不变性识别f_match ^H旨在利用平面的单应性配准模型图像中一个平面内的所有直线段。求平面单应矩阵

$H=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right],$

需要预先配准4个或者4个以上的非共线点。这些点的配准我们利用不变性匹配来完成。

在模型的某一平面P_k的配准点集Pair_k中，尽可能多的抽取n个已知可能的配准点，n≥4。对于这n个点，有 $p_M\&cong;{\mathrm{Hp}}_S,$ 即

$\mathrm{\&lambda;}\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

可以得到两个有关平面单应矩阵H的方程

h₁₁x+h₁₂y+h₁₃＝h₃₁xx′+h₃₂yx′+h₃₃x′

h₂₁x+h₂₂y+h₂₃＝h₃₁xy′+h₃₂yy′+h₃₃y′

因此，当具有4个或者4个以上的非共线点时，我们可以在||H||＝1的约束下采用SVD法求解平面单应矩阵H。

在求出平面单应矩阵H之后，我们将该模型平面中所有直线段集L_Pk按长度由长到短排序之后映射到场景图像中，形成映射后的直线段集，L_Sk＝H^-1L_Pk。对于映射后直线段集L_Sk中的每一条直线，我们要依次在场景图像长直线集L_SL中找到适合的匹配，使得它们的匹配代价f_cost最小。

我们从中点纵向距离偏差、横向距离偏差、直线长度偏差、角度偏差四个方面来估算两条直线段的匹配程度：

$d_{\mathrm{ver}}(l_1,l_2)=\frac{v_1+v_2}{2}$

$d_{\mathrm{hor}}(l_1,l_2)=\sqrt{{d_{\mathrm{mid}}}^2(l_1,l_2)-{d_{\mathrm{ver}}}^2(l_1,l_2)}$

d_len(l₁，l₂)＝|d₁-d₂|

d_θ(l₁，l₂)＝|θ₁-θ₂|

$D(l_1,l_2)=\sqrt{{d_{\mathrm{ver}}}^2(l_1,l_2)+\frac{{d_{\mathrm{hor}}}^2(l_1,l_2)}{W_{\mathrm{hor}}^2}+\frac{{d_{\mathrm{len}}}^2(l_1,l_2)}{W_{\mathrm{len}}^2}+\frac{{d_{\mathrm{\&theta;}}}^2(l_1,l_2)}{W_{\mathrm{\&theta;}}^2}}$

v₁为直线段l₁中点到直线段l₂的距离，v₂为l₂中点到l₁的距离，d_ver计算两直线段纵向距离偏差，d_mid为两直线段中点的距离，d_hor计算两直线段横向距离偏差。d_len为长度偏差，d_θ为角度偏差。W_hor、W_len、W_θ为各项偏差的权重因子，视情况而定。一般而言，纵向偏差为直线段的主要偏差即W_hor＞1，W_len＞1。对于L_Sk中的每一条线，依次从场景图像长直线集L_SL找出匹配代价最小的直线段，匹配方式为：

$f_{\mathrm{match}}^H\left(l_{\mathrm{Sk}}\right)=\left\{\begin{array}{cc}\underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)& \underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)\&le;G_3\\ \min (\underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right),2G_3)& \underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)\&GreaterEqual;G_3\end{array}\right.l_{\mathrm{Sk}}\&Element;L_{\mathrm{Sk}}$

G₃为最大匹配阈值，当 $\underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)>G_3$ 时，f_match ^H(l_Sk)取

和2G₃中的较小值。当一条直线段的配准f_match ^H(l_Sk)完成之后，将配准的l_SL从场景图像长直线集L_SL中取出，并将它们放入集合L′_Sk。当所有直线都完成配准，估算L_Sk与L′_Sk之间的平均匹配代价，

$f_{\cos t}(L_{\mathrm{Sk}},{L^{\&prime;}}_{\mathrm{Sk}})=\frac{1}{\mathrm{num}}\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\&Sigma;}}}\mathrm{\&epsiv;}{f}_{\mathrm{match}}^H\left(l_{\mathrm{Sk}}\right)$

如果该代价小于阈值G₄，则该平面中所有直线段匹配成功。如果该代价大于阈值G₄，则考虑其他可能的n个配准点。

5.三维物体整体不变性识别方案

当模型的一个平面的到匹配后，判断已识别的平面集是否满足识别模型所需要的条件，如果是，模型识别成功；否则，对其他相邻平面进行识别。若所有相邻平面在识别后仍无法满足模型识别条件，则识别失败。模型识别条件即模型所具有的可见面组成的所有情况集合，一般与已识别平面的单应矩阵H有关。利用单应矩阵H中反映变形变换的四个量h₁₁，h₁₂，h₂₁，h₂₂来表示可见平面的变形程度，可以帮助构造模型识别条件Cond。对于简单的模型，可以给出一个较为简单的模型识别条件Cond的定义：

1：有两个或两个以上的平面被识别；

2：有一个平面被识别，且这个平面的单应矩阵满足 $\sqrt{\left|(h_{11}-h_{22})(h_{12}-h_{21})\right|}<0.5.$ 条件二表示场景图像的视角接近正于对该平面时。以上两个条件满足任意一个即可，更为复杂的模型识别条件也可以通过类似方法定义。

可以用以下算法大致描述三维物体整体不变性识别方法：

输入：Img_Scene，Model＝{P_K，L_P1，...，L_PK，InvI，InvII，Cond}，取共线直线检测参数θ_μ＝π/20，ε₁＝1.2，mid_μ＝2.0，ε₂＝0.5，直线匹配权重参数W_hor＝3.0，W_len＝10.0，W_θ＝2.0，匹配阈值参数G₁＝3，G₂＝15，G₃＝20.0，G₄＝25.0

步骤1：利用直线检测算法找出场景图像Img_Scene的长直线集L_SL，然后利用直线段共线特征判据找出共线组L_pair，若不具备共线条件，则寻找平行线组L_pair。

步骤2：对于某一模型平面中所有第一类不变量InvI，找出L_pair中满足条件

的G₁个候选直线对，将它们的端点添加到该平面的配准点集，对于该平面，完成步骤3-4操作。

步骤3：取该平面P_k的配准点集Pair_k中尚未取过的非共线点所组成的最大子集，如果点的数量小于四，转到步骤6；否则，根据配准点集Pair_k计算平面P_k的单应矩阵H。

步骤4：对于模型平面L_Pk中的每一条直线l_Pk，将其映射到场景图像：l_Sk＝H^-1l_Pk，根据条件f_match ^H(l_Sk)找场景中可能的匹配。如果匹配程度满足f_cost(L_Sk，L′_Sk)＜G₄，平面P_k匹配成功，转到步骤6；否则，转回到步骤3。

步骤5：对于该相邻平面P_j中所有第二类不变量Inv II，找出L_SL中满足条件

的G₂个候选直线对，将它们的端点添加到配准点集Pair_j，对于该平面完成步骤3-4操作。

步骤6：如果匹配的平面集满足模型识别条件Cond，则识别成功，否则，对于该匹配平面的所有相邻平面依次进行步骤5操作，若没有相邻平面，则识别失败。

根据算法，整个识别过程可以用图3描述。

Claims (6)

1、一种基于特征点与单应性匹配的不变性识别方法，其特征在于，包含以下步骤：

1)对模型图像的结构进行描述；得到场景图像；找出场景图像中的第一类不变量和第二类不变量，直线检测算法提取场景图像中的长直线段，利用直线段共线特征找到共线组，若不具备共线条件，寻找平行线组，作为共线集；

2)对某一模型平面中所有第一类不变量，找出共线集中与其匹配的直线段对的端点，把匹配的直线段对的端点添加到该平面的配准点集；

3)取配准点集中尚未取过的非共线点所组成的最大子集，判断非共线点的数量是否小于4，如果是，转到步骤6)；否则，根据配准点集计算该平面的单应矩阵；

4)匹配该平面中所有直线，判断匹配代价是否小于预期，如果是，判断该平面匹配成功，转到步骤6)，如果不是，转到步骤3)；

5)对于相邻平面中所有第二类不变量，找出共线集中与其匹配的直线段对的端点，把匹配的直线段对的端点添加到该平面的配准点集，转到步骤3)；

6)判断匹配的平面集是否满足模型识别条件，如果满足，判定匹配成功；如果不满足，判断是否所有相邻平面都经过了匹配，如果没有相邻平面还没经过匹配，判定匹配失败，如果还有相邻平面没有经过匹配，配准点集清空，对相邻平面依次进行步骤5)。

2、如权利要求1所述的基于特征点与单应性匹配的不变性识别方法

所述模型图像的结构由三个部分构成：面结构关系、直线段特征、透视不变量。

3、如权利要求1所述的基于特征点与单应性匹配的不变性识别方法，其特征在于，第一类不变量为由点特征或直线段特征构成的在模型中共面的透视或仿射不变性特征。

4、如权利要求1所述的基于特征点与单应性匹配的不变性识别方法，其特征在于，第二类不变量为由点特征或直线段特征构成的在模型中不全共面的透视或仿射不变性特征。

5、如权利要求1所述的基于特征点与单应性匹配的不变性识别方法，其特征在于，在步骤6)中，当有两个或两个以上的平面被识别，或有一个平面被识别，且这个平面的单应矩阵满足 $\sqrt{\left|(h_{11}-h_{22})(h_{12}-h_{21})\right|}<0.5,$ 认为该平面集满足模型识别条件。

6、如权利要求1所述的基于特征点与单应性匹配的不变性识别方法，其特征在于，在步骤4)中，对于模型平面L_Pk中的每一条直线l_Pk，将其映射到场景图像：l_Sk＝H^-1l_Pk，根据条件f_match ^H(l_Sk)找场景中可能的匹配，

$f_{\mathrm{match}}^H\left(l_{\mathrm{Sk}}\right)=\left\{\begin{array}{cc}\underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)& \underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)\&le;G_3\\ \min (\underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right),2G_3)& \underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)\&GreaterEqual;G_3\end{array}\right.l_{\mathrm{Sk}}\&Element;L_{\mathrm{Sk}}$

G₃为最大匹配阈值，当 $\underset{l_{\mathrm{SL}}\&Element;L_{\mathrm{SL}}}{\min }\left(D(l_{\mathrm{Sk}},l_{\mathrm{SL}})\right)>G_3$ 时，f_match ^H(l_Sk)取

和2G₃中的较小值。当一条直线段的配准f_match ^H(l_Sk)完成之后，将配准的l_SL从场景图像长直线集L_SL中取出，并将它们放入集合L′_Sk。当所有直线都完成配准，估算L_Sk与L′_Sk之间的平均匹配代价，

$f_{\cos t}(L_{\mathrm{Sk}},{L^{\&prime;}}_{\mathrm{Sk}})=\frac{1}{\mathrm{num}}\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\&Sigma;}}}\mathrm{\&epsiv;}{f}_{\mathrm{match}}^H\left(l_{\mathrm{Sk}}\right)$

如果该代价小于阈值匹配G₄，则判断匹配代价是否小于预期。

Images