CN105354578B - 一种多目标物体图像匹配方法 - Google Patents
一种多目标物体图像匹配方法 Download PDFInfo
- Publication number
- CN105354578B CN105354578B CN201510712952.0A CN201510712952A CN105354578B CN 105354578 B CN105354578 B CN 105354578B CN 201510712952 A CN201510712952 A CN 201510712952A CN 105354578 B CN105354578 B CN 105354578B
- Authority
- CN
- China
- Prior art keywords
- local
- affine
- matching
- density
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 198
- 230000009466 transformation Effects 0.000 claims abstract description 138
- 238000000844 transformation Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 88
- 238000013507 mapping Methods 0.000 claims description 69
- 239000013598 vector Substances 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 230000007423 decrease Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 241000764238 Isis Species 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000003491 array Methods 0.000 claims 1
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000007704 transition Effects 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 29
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 229910052799 carbon Inorganic materials 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-SMLHJDAJSA-N Affinine Chemical compound C1C(C2=CC=CC=C2N2)=C2C(=O)C[C@@H]2C(=C/C)\CN(C)[C@H]1C2CO PXFBZOLANLWPMH-SMLHJDAJSA-N 0.000 description 1
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 description 1
- 241000132023 Bellis perennis Species 0.000 description 1
- 101000912561 Bos taurus Fibrinogen gamma-B chain Proteins 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多目标图像匹配方法，包括了以下步骤：步骤1，图像预匹配；步骤2，估算初始匹配特征区域的局部仿射变换；步骤3，定义任意两对局部特征匹配对间的局部仿射变换距离；步骤4，基于仿射变换距离定义仿射变换空间密度函数；步骤5，进行基于密度的仿射变换空间聚类，定位密度较大的所有簇；步骤6，结果呈现。有益的技术效果：本发明克服了现有基于优化的图像匹配算法中优化收敛速度慢且难以获得全局最优解及通常只能处理单目标物体匹配的问题，有效提高了多目标图像匹配的准确性和效率。
Description
技术领域
本发明属于图像处理、计算机视觉、多媒体信息技术领域，具体涉及一种多目标物体图像匹配方法。
背景技术
随着智能手机的普及和互联网信息技术的快速发展，数字图像已成为现代社会人们日常交流中不可或缺的媒介，图像资源也成为一种至关重要的信息资源。与此同时，针对图像的相关研究正受到广泛的重视。这其中，多目标物体图像匹配是一项研究已久的课题，相关技术在物体识别、图像检索、图像分类、近似复制图像检测等图像处理和计算机视觉等研究中均有较强的应用，是相关领域中理论研究和实际应用价值兼具的基础性工作。图像匹配的相关研究在近年来取得了较大发展，涌现了一大批优秀的局部特征检测和描述算子。代表性的局部区域检测子如：MSER、Harris-Hessian Affine和DoG等，局部区域特征描述子如：SIFT、SURF、DAISY等。局部特征检测子用于检测图像中具有可区分性特质的代表性局部区域，如角点区域等，特征描述子则量化所检测出局部区域的信息，生成局部特征向量。图像的匹配基于局部特征描述向量的匹配进行，所得到的特征匹配对集合构成局部特征初始匹配集。鉴于局部特征描述具有较好的可区分性和不变性，初始匹配集中通常包含大量正确的匹配对，与此同时，由于图像内容的复杂多样以及局部区域信息量化误差的存在，大量错误的局部特征匹配也存在于初始特征匹配集中。因此后续算法通过引入匹配特征间的局部几何映射关系约束优选出正确的局部特征匹配。其常用策略是采用图匹配(Graph Matching)方法实现特征初始匹配集的优化，其中，图中的每个结点表示单个匹配对的匹配度，点与点之间的关联对应两对匹配特征间局部几何映射关系的一致性，通过最大化整个匹配图的能量确定联系紧密的结点，确定最终特征匹配。该问题本质上是个二次优化的问题，其求解需要较大的时间开销，因此无法应用于大规模匹配的应用任务中，如近似复制图像检测等。此外，此类方法通常只能处理单个目标物体的匹配问题，无法进行多目标物体匹配。
针对上述问题，发明人在安徽大学信息安全振兴计划专业改造与新专业建设项目No.J05201380、国家自然科学基金青年基金No.61502005、南京大学软件新技术重点实验室开放基金KFKT2015B03以及安徽大学学术与技术带头引进工程的支持下，进行了技术攻关。
发明内容
发明目的：本发明所要解决的技术问题是针对现有方法技术的不足，提出一种多目标物体图像匹配方法。
技术方案：本发明公开了一种多目标物体图像匹配方法，该方法的特征在于提取图像的局部特征并进行预匹配获取初始局部特征匹配集，估算每对匹配特征区域的局部映射仿射矩阵，定义仿射矩阵距离并构建仿射空间，基于正确的局部特征匹配对具有较为一致的仿射变换并在空间中聚类成密度较大的簇这一观察，定义密度函数并估算每个仿射矩阵的密度值，确定空间中各聚类簇的模态点及所有点的聚类路径进而实现基于密度的聚类，通过各聚类簇的边界实现聚类优化，最后由各仿射矩阵所属聚类关系确定正确的局部特征匹配和分组。具体包括以下步骤：通过计算机将一对待匹配图像依次如下处理：
步骤1，局部特征提取与预匹配。步骤2，估算初始匹配区域局部仿射变换。步骤3，计算仿射变换距离。步骤4，定义仿射空间密度函数。步骤5，基于密度的仿射变换空间聚类。步骤6，确定正确匹配对，呈现结果。
进一步说，本发明的详细步骤为：步骤1，局部特征提取与预匹配：提取待匹配图像对的局部特征区域及其特征描述，基于描述的相似性建立图像间局部特征的初始匹配集。
步骤2，估算初始匹配特征区域的局部仿射变换：在进行步骤1的局部特征提取与预匹配基础上，估算待匹配图像对的初始匹配特征区域的局部仿射变换。
步骤3，计算仿射变换距离：在进行步骤1的局部特征提取与预匹配基础上，量化待匹配图像对中的任意两对局部特征匹配对间的局部仿射变换距离。
步骤4，定义仿射空间密度函数：在进行步骤1的局部特征提取与预匹配基础上，基于仿射变换距离定义待匹配图像对的仿射变换空间密度函数。
步骤5，根据步骤2获得的局部仿射变换、步骤3获得的局部仿射变换距离、步骤4获得的仿射变换空间密度函数，对待匹配图像对进行基于密度的仿射变换空间聚类，获得聚类簇及对应的仿射矩阵。
步骤6，结果呈现：根据步骤5获得的聚类簇中的仿射矩阵与步骤1中的局部特征匹配对的对应关系，确定最终局部特征匹配对按聚类簇分组，同一组中的特征匹配对对应同一目标物体，最终呈现位于不同目标物体上的局部特征匹配对。
进一步说，步骤1具体如下：步骤1，图像预匹配：提取待匹配图像对的局部特征区域及其特征描述，基于描述的相似性匹配图像间局部特征。特征区域检测主要采用MSER和DoG检测子，二者择一进行区域检测，得到具有几何/尺度不变性的多个局部椭圆或圆形区域，每个区域以对应的几何参数描述。在采用SIFT描述子生成特征向量，并基于特征向量间的欧氏距离的相似性进行特征初步匹配，具体包括以下步骤：
步骤1.1，特征区域提取：提取图像局部特征区域：采用图像局部特征区域检测算子提取待匹配图像对的局部特征区域。所述局部特征区域具有尺度不变性。通过图像局部特征区域检测算子得到局部特征区域的几何形状为圆形或椭圆形。优选的方案是：采用MSER或DoG算子提取待匹配图像对的特征区域。DoG检测结果为多个圆形区域，MSER为椭圆形。
步骤1.2，椭圆形区域映射：SIFT算子特征描述的输入为圆形区域参数，因此如采用MSER算子进行特征检测，需首先进行椭圆到圆形区域的映射。假定椭圆Ei的中心为pi，长短轴半径为旋转角为ωi，它将被映射至一个固定半径rc中心坐标pi的圆心区域Oi中，映射公式如下：
其中，(x,y)T为Ei上的点,(x',y')T是Oi上的对应点坐标。rc设定为13。具体映射时，为保证Oi上每个整像素点都有值，选择将Oi上的点逆映射到Ei上，即：
此时，坐标(x,y)T可能位于图像中的亚像素位置，其像素值可采用双线性插值得到，进而确定了Oi中坐标(x',y')T处的像素值。
步骤1.3，计算特征区域梯度主方向角：给定局部特征圆形区域Oi，其中心坐标为pi，半径为ri，则该区域内每个像素点的梯度大小m(x,y)和方向计算方法如下：
其中L(x,y)代表区域内坐标(x,y)点处的像素值。此时，角度区间[0,360)划分为36等分，并根据梯度角的值将梯度m(x,y)叠加到对应的区间中，进而生成梯度直方图，选取该直方图中点数最多的区间的梯度中值为主梯度方向θi。
步骤1.4，提取特征向量：基于SIFT特征描述子生成每个圆形区域的特征向量，每个局部区域输出为一个128维的梯度直方图向量。(详细算法过程参见<Distinctive ImageFeatures from Scale-invariant Key-points>International Journal of ComputerVision,vol.60,no.2,pp1482-1489,2004)。
步骤1.5，局部特征初步匹配：当且仅当特征描述向量Di与Dj之间的距离d(Di,Dj)乘以阈值(设为1.1)不大于特征向量Di与其他所有特征向量的距离，Di与Dj匹配。距离公式定义为：
其中Dik表示向量Di的第k维分量。这一初始匹配原则是经过大量统计确定的，由于特征向量维度较高，只有当前特征向量在空间中的最近邻和次近邻的距离相差足够大时，才能保证最近邻特征是当前特征向量的匹配特征。这个足够大采用一个比值阈值来确定，实验表明设置为1.1效果较佳，即次近邻与当前特征的距离至少大于最近邻距离的1.1倍。经过初始匹配得到的局部特征匹配对通常包含了绝大部分正确的匹配对，但同时也包含较多的错误匹配。这部分错误匹配需基于局部几何变换特性进行剔除，即每一对匹配的局部特征区域都存在局部的几何映射关系，且属于相同或相似物体的多对正确匹配特征区域间，其几何映射关系也较为一致，而错误的匹配对对应的局部特征区域的映射关系则是随机的，与其余匹配对的局部映射关系没有明显的关联。因此，如果构造一个关于所有初始匹配对的局部映射关系的几何参数空间，则正确的局部特征匹配对将相互靠近，形成密度较大的聚类簇，且不同的匹配目标物体对应不同的聚类簇，而错误的局部特征匹配对将散乱的分布在整个空间中，形成随机分布的噪声。由此可见，可在初步匹配对的局部映射几何参数空间中进行基于密度的聚类实现局部特征匹配对的优化，进而实现待匹配图像对中多目标物体的匹配。
步骤2，为实现基于局部映射的初始匹配优化，首先估算初始匹配特征区域的局部仿射变换，具体来说：
当特征区域检测结果为圆形区域时，对任意一对圆形匹配区域，记为Oi和O′i且其几何参数有圆心坐标pi和p′i、半径ri和r′i、梯度方向角αi和α′i，则将Oi上的点(x,y)T到O′i上的点(x',y')T映射关系可表示为：
且其中：
且ti＝p′i-Ripiθi为两个圆的旋转角度差，si表示圆半径的比值，ti是映射后的圆心偏移。
当特征区域检测结果为椭圆形区域时，对任意一对椭圆形区域，记为Ei和E′i，其几何参数有中心坐标pi和p′i，长短轴半径和以及旋转角ωi和ω′i。由步骤1.2可知，在进行SIFT特征提取前，Ei将被映射至一个半径为rc且中心坐标为pi和p′i的圆形型区域O中，其映射矩阵可表示为：
且
同理，椭圆E′i也被映射到半径为rc中心坐标为pi和p′i的圆形型区域O'中，其映射矩阵为：且
得到O和O'后，可按步骤1.3估算它们的梯度方向角αi和α′i。在此基础上，O到O'的映射可表示为：
且θi＝α′i-αi,ti＝p′i-Ripi
其中，θi为O与O'的梯度方向角差，ti是映射后的圆心偏移。因此，从Ei到E′i的仿射映射可表示为：
且Xi＝Γ'i -1TiΓi
步骤3，定义任意两对局部特征匹配对间的局部仿射变换差异距离：
步骤3.1，给定两个仿射矩阵Xi和Xj，Xi+Xj并没有实际意义，因此不能简单地采用欧式距离来衡量Xi和Xj之间的距离。一种较为可靠的策略是将Xi和Xj同时作用于平面上的一系列点pk,k＝1,...n，并计算映射后的点之间的距离，在基于该距离来衡量Xi和Xj之间的差异，即Xi和Xj的距离可初步定义如下：
其中，为用Xi映射点pk后的结果，是一个三维坐标，该坐标随后被函数κ(·)转化为对应的二维平面坐标。
关于坐标点的pk选择，理论上说估算Xi和Xj支撑区域上的所有点均可作为pk的候选点，即如果Xi映射椭圆Ei至E′i，Xj映射椭圆Ej至E'j，则Ei和Ej上所有点均为可用坐标点。但实际操作中，为计算简便计，只需选用Ei和Ej的坐标中心pi和pj即可，即：
其中，p'j是E'j的中心坐标，Dj|i表示用Xi映射pj后所得坐标点与p'j的距离。保证了距离的对称性，即D(Xi,Xj)＝D(Xj,Xi)。同理有：
此外，考虑到任意两个仿射变换的距离与其逆变换的距离须相等，因此，D(Xi,Xj)最终定义如下：
步骤3.2，定义冲突变换惩罚距离：若Xi映射椭圆Ei至E′i，Xj映射Ej至E'j，且Ei与Ej为同一椭圆而E′i与E'j不同，此时E′i与E'j通常只有一个是椭圆Ei的正确对应，即Xi与Xj通常最多只有一个是正确的变换，因此定义Xi与Xj为冲突变换。冲突变换是本质不同的多个变换(通常最多有一个为正确变换，其他均为错误变换)，因此彼此之间的距离应较大，但当按步骤3.1计算距离时由于Ei与Ej相同，导致D'j|i＝D′i|j＝0，进而D(Xi,Xj)的值较小。为凸显Xi与Xj的差异，定义二者的距离需不小于常数C，即：
若Xi与Xj相冲突,
其中，max(x,y)表示从x和y中选择较大值。C为常数，设置为一个较大值，本发明设为250。同理，当E′i与E'j相同而Ei与Ej不同时，其映射矩阵Xi与Xj也是冲突变换。
步骤4，定义仿射变换空间密度函数：空间中数据点的密度一方面数据点附近点的个数呈正相关，个数越多，密度越大。另一方面，密度函数具有局部性，即每个数据点的密度只跟有限距离内的数据点的分布有关。综合这两方面的因素，给定仿射空间中的仿射矩阵Xi，定义其密度函数定义为：
即密度ρi为Xi到其余变换Xj的高斯距离，距离较近的变换矩阵Xj对密度的贡献较大，当距离超过σ时，其贡献便逐渐减弱直至可忽略。N是仿射矩阵的总数，σ的取值是动态设定的，通常为所有D(Xi,Xj)自小向大排序后的2％处的取值。
步骤5，聚类：为找出仿射空间中分布密度较大、较为相近的仿射矩阵数据点，采用基于密度的聚类方法进行聚类簇定位。由于空间某个具体聚类簇的形状可能是任意的，常用的聚类技术，如：K-means算法等，要求数据分布符合高斯分布，因此并不适用。而流行的基于密度的聚类方法，如均值漂移(Mean Shift)聚类算法则需要指定与空间数据分布一致的核密度估计函数。有鉴于此，在自定义了空间中各数据点密度函数的基础上，采用了一种适用于任意分布的密度聚类方法实现仿射空间的聚类。该方法从空间中的每个点出发，不断向附近密度较大的数据点移动，直至局部区域的密度极值点，即当前聚类簇的模态点，再将终点位于同一模态点的所有数据点归为同一聚类簇。此后，确定不同聚类簇之间的边界及各聚类簇的边界密度并基于该边界密度优化各聚类簇，具体如下：步骤5.1，定义聚类路径：为确定仿射矩阵Xi的所属聚类，从Xi出发，定位空间中密度比Xi的密度ρi大且与Xi距离最近的仿射矩阵Xj，定义Xj为Xi的“聚类父节点”，再从Xj出发，定位其“聚类父节点”，重复该步骤，直至定位到当前聚类簇中密度最大的“模态点”为止。
步骤5.2，模态点的定义：空间中的模态点是各聚类簇中密度最大的点，为各模态点，首先为空间中的每个点定义跟随距离函数δi如下：
即对于空间中的仿射矩阵Xi，跟随距离δi表示Xi到密度比其大且与其距离最近的仿射矩阵Xj的距离，因此当Xi与Xj处于同一聚类簇时，δi通常会伴随密度函数ρi的增大而减小，只当Xi到达当前聚类的密度最大值点，即模态点时，Xj将处于另一聚类簇中，此时δi将有一个跳跃增大。最后，当Xi的密度值ρi为空间中密度最大时，δi被定义为Xi与其余仿射矩阵距离的最大值。
定义跟随δi的基础上，定义函数
ηi＝ρiδi
给定空间中的一个仿射矩阵Xi，ηi与其密度值ρi及δi均成正比，即ρi与δi均越大，则ηi越大。而在同一聚类簇内，密度ρi的值从边缘到中心呈逐渐增大的趋势，并在模态点处达到最大。而函数δi则由边缘到中心逐渐减小，但在模态点处跳变增大，由此可见，当且仅当Xi为空间中的模态点时，ρi与δi均较大，即ηi较大。因此，模态点可基于以下操作确定：先计算出空间中所有点的ηi并降序排列，排序前K的数据点即为空间中的模态点。鉴于一个聚类簇只有一个模态点，K即为空间中聚类簇的个数，其值可由事先指定。也可在确定各聚类簇中包含的仿射矩阵数目后，自动过滤所含仿射矩阵点较少的聚类簇，进而动态确定K的值。
步骤5.3，初步聚类：从空间中每个仿射矩阵Xi出发，按步骤5.2所述不断移动至空间中的一个模态点，最后将所有收敛于同一模态点的仿射矩阵归为同一聚类簇。
步骤5.4，确定聚类簇边界及最大边界密度：假定仿射矩阵Xi经步骤5.3聚类后属于聚类簇Ck，且它与聚类簇Cl(l≠k)中仿射矩阵Xj的距离小于定义密度函数ρi时的高斯方差σ，即：
D(Xi,Xj)＜σ
此时认定XiXj构成了聚类簇Ck和Cl的边界。定义边界密度
ρij＝(ρi+ρj)/2
进而确定聚类簇Ck的最大边界密度为：
即是聚类簇Ck中与其他所有聚类簇的边界密度的最大值。
步骤5.5，优化聚类簇：设定聚类簇Ck中所有密度大于的仿射矩阵Xi，即的最终所属聚类簇点，并将其他数据点作为噪声点剔除。
步骤6，结果呈现：根据各聚类簇中的仿射矩阵与局部特征匹配对的对应关系，确定正确的特征匹配对，并按仿射矩阵的聚类结果将匹配对分组呈现，每组标识一对匹配物体，具体而言：
将聚类后的多个聚类簇中的仿射矩阵分离出来，确定各仿射矩阵对应的局部特征匹配对，并按仿射矩阵所属聚类簇对特征匹配对进行分组，系属同一类的局部特征匹配对对应同一或内容相似的匹配目标物体，呈现位于不同目标物体上的局部特征匹配对。
有益的技术效果本发明中的多目标物体图像匹配方法属于基于图像局部特征的图像内容匹配方法，由于本方法考虑了匹配物体上特征区域局部仿射映射的一致性，并给出了一种仿射空间快速聚类方法来定位具有相近仿射变换的多个匹配对，有效解决了现有图像匹配算法中通常只能处理一对目标物体匹配的问题。在技术方案上克服了现有基于优化的图像匹配算法中优化收敛速度慢且难以获得全局最优解及通常只能处理单目标物体匹配的问题，有效提高了多目标图像匹配的准确性和效率。
附图说明
图1为本发明方法的基本流程图。
图2为一组包含多目标待匹配物体的图像对及其初步匹配结果图。
图3为椭圆形局部特征区域仿射变换求解示意图。
图4为仿射变换距离求解示意图。
图5为图2初始匹配集对应仿射变换在二维平面上的映射图。
图6为图2初始匹配集对应各仿射变换的密度值ρ和跟随距离δ绘制图。
图7为图2初始匹配集仿射空间聚类结果在二维平面上的展示。
图8为图2的最终多目标物体匹配结果。
图9为本发明方法与现有图像匹配方法的性能对比。
图10为2组图像的匹配结果示例图。
具体实施方式
下面结合附图和具体实施方式对本发明做更进一步的具体说明。
参见图1，一种多目标物体图像匹配方法，通过计算机将一对待匹配图像依次如下处理：步骤1，局部特征提取与预匹配。步骤2，估算初始匹配区域局部仿射变换。步骤3，计算仿射变换距离。步骤4，定义仿射空间密度函数。步骤5，基于密度的仿射变换空间聚类。步骤6，确定正确匹配对，呈现结果。
进一步说，具体步骤依次为：步骤1，局部特征提取与预匹配：提取待匹配图像对的局部特征区域及其特征描述，基于描述的相似性建立图像间局部特征的初始匹配集。步骤2，估算初始匹配特征区域的局部仿射变换：在进行步骤1的局部特征提取与预匹配基础上，估算待匹配图像对的初始匹配特征区域的局部仿射变换。步骤3，计算仿射变换距离：在进行步骤1的局部特征提取与预匹配基础上，量化待匹配图像对中的任意两对局部特征匹配对间的局部仿射变换距离。步骤4，定义仿射空间密度函数：在进行步骤1的局部特征提取与预匹配基础上，基于仿射变换距离定义待匹配图像对的仿射变换空间密度函数。步骤5，根据步骤2获得的局部仿射变换、步骤3获得的局部仿射变换距离、步骤4获得的仿射变换空间密度函数，对待匹配图像对进行基于密度的仿射变换空间聚类，获得聚类簇及对应的仿射矩阵。步骤6，结果呈现：根据步骤5获得的聚类簇中的仿射矩阵与步骤1中的局部特征匹配对的对应关系，确定最终局部特征匹配对按聚类簇分组，同一组中的特征匹配对对应同一目标物体，最终呈现位于不同目标物体上的局部特征匹配对。如图1所示的流程图，本方法是一个多步骤串行式的匹配过程：首先提取图像的局部特征并基于特征间的欧氏距离进行预匹配，获取初始局部特征匹配集。估算每对匹配特征区域的局部映射仿射矩阵，定义仿射矩阵距离并构建仿射空间。基于正确的局部特征匹配对具有较为一致的仿射变换并在空间中聚类成密度较大的簇这一观察，定义密度函数并估算每个仿射矩阵的密度值，确定空间中各聚类簇的模态点及所有点的聚类路径进而实现基于密度的聚类，并通过确定各聚类簇的边界优化聚类结果。最后由各仿射矩阵所属聚类关系确定正确的局部特征匹配和分组，分别呈现多个目标物体的匹配结果。具体地说，如图1所示，本发明公开了一种多目标物体图像匹配方法，主要包括以下几个步骤：
步骤1，局部特征提取与图像预匹配：提取待匹配图像对的局部特征区域及其特征描述，基于描述的相似性匹配图像间局部特征。特征区域检测主要采用MSER和DoG检测子，二者择一进行区域检测，得到具有几何/尺度不变性的多个局部椭圆或圆形区域，每个区域以对应的几何参数描述并估算区域的梯度方向角。再采用SIFT描述子生成特征向量，并基于特征向量间的欧氏距离的最近邻与次近邻的比值阈值实现特征初步匹配。
步骤1.1，提取图像局部特征区域：采用图像局部特征区域检测算子提取待匹配图像对的局部特征区域。采用MSER或DoG算子提取待匹配图像对的特征区域。DoG检测结果为多个圆形区域，每个区域表示参数包括圆心坐标p、半径r。MSER检测结果为椭圆形区域，其表示参数包括中心坐标p，长短轴半径(l1,l2)和旋转角ω。
步骤1.2，椭圆形特征区域向圆形区域映射：SIFT算子特征描述的输入为圆形区域参数，因此若采用MSER算子进行特征检测，需首先进行椭圆到圆形区域的映射。假定椭圆Ei的中心为pi，长短轴半径为旋转角为ωi，它将被映射至一个固定半径rc中心坐标pi的圆心区域Oi中，映射公式如下：
且
其中，(x,y)T为Ei上的点,(x',y')T是Oi上的对应点坐标。rc设定为13。具体映射时，为保证Oi上每个整像素点都有值，选择将Oi上的点逆映射到Ei上，即：
此时，坐标(x,y)T可能位于图像中的亚像素位置，其像素值可采用双线性插值得到，进而确定了Oi中坐标(x',y')T处的像素值。
步骤1.3，计算特征区域梯度主方向角：给定局部特征圆形区域Oi，其中心坐标为pi，半径为ri，则该区域内每个像素点的梯度大小m(x,y)和方向计算方法如下：
其中L(x,y)代表区域内坐标(x,y)点处的像素值。此时，角度区间[0,360)划分为36等分，并根据梯度角的值将梯度m(x,y)叠加到对应的区间中，进而生成梯度直方图，选取该直方图中点数最多的区间的梯度中值为主梯度方向θi。
步骤1.4，提取特征向量：基于SIFT特征描述子生成每个圆形区域的特征向量，每个局部区域输出为一个128维的梯度直方图向量。(详细算法过程参见<Distinctive ImageFeatures from Scale-invariant Key-points>International Journal of ComputerVision,vol.60,no.2,pp 1482-1489,2004)。
步骤1.5，局部特征初步匹配：当且仅当特征描述向量Di与Dj之间的距离d(Di,Dj)乘以阈值(设为1.1)不大于特征向量Di与其他所有特征向量的距离，Di与Dj匹配。距离公式定义为：
其中Dik表示向量Di的第k维分量。这一初始匹配原则是经过大量统计确定的，由于特征向量维度较高，只有当前特征向量在空间中的最近邻和次近邻的距离相差足够大时，才能保证最近邻特征是当前特征向量的匹配特征。这个足够大采用一个比值阈值来确定，实验表明设置为1.1效果较佳，即次近邻与当前特征的距离至少大于最近邻距离的1.1倍，图2给出2幅图像的初始匹配结果示例，其中图2中上半部分显示了2幅待匹配图像，下半部分显示了初始匹配结果，初始匹配对共有2960对，任选300对进行了显示。可以看出，经过初始匹配得到的局部特征匹配对通常包含了绝大部分正确的匹配对，但同时也包含较多的错误匹配。这部分错误匹配需进一步基于匹配区域的局部几何变换共性进行剔除。
步骤2，估算初始匹配特征区域的局部仿射变换及构造仿射变换空间：若匹配特征区域为圆形区域，假定为Oi和O′i，则二者的仿射变换矩阵可由其中心坐标位移、半径缩放大小及梯度方向角的差异组合得到。若匹配特征区域为椭圆形区域为Ei和E′i，在使用SIFT进行匹配前，两个椭圆将被转化为固定半径的圆形区域Oi和O′i且二者之间的仿射变换Ti可由中心坐标位移和梯度方向角差值确定。再定义Ei到Oi以及E′i到O′i的仿射变换分别为Γi和Γ'i，则Ei和E′i的仿射变换Xi可定义为得到所有初始匹配对的仿射变换后，将这些仿射变换聚集起来，构造一个几何变换空间，即仿射空间。
求解初始特征匹配对的局部仿射变换矩阵：给定一对匹配的SIFT特征向量，若其对应的特征区域为圆，记为Oi和O′i，且其几何参数有圆心坐标pi和p′i、半径ri和r′i、梯度方向角αi和α′i，则将Oi上的点(x,y)T到O′i上的点(x',y')T映射关系可表示为：
且
其中：
且ti＝p′i-Ripi
θi为两个圆的旋转角度差，si表示圆半径的比值，ti是映射后的圆心偏移。Ri是两个圆之间缩放和旋转综合变换变换的矩阵形式。ti是映射后的圆心偏移。
若特征区域检测结果对应的特征区域为椭圆，对任意一对椭圆形区域，则记为Ei和E′i，其几何参数有中心坐标pi和p′i，长短轴半径和以及旋转角ωi和ω′i。由步骤1.2可知，在进行SIFT特征提取前，Ei将被映射至一个半径为rc且中心坐标为pi和p′i的圆形型区域O中，其映射矩阵可表示为
且
同理，椭圆E′i也被映射到半径为rc中心坐标为pi和p′i的圆形型区域O'中，其映射矩阵为：
且
得到O和O'后，可按步骤1.2估算它们的梯度方向角αi和α′i。在此基础上，O到O'的映射可表示为：
且θi＝α′i-αi,ti＝p′i-Ripi.。
其中，θi为O与O'的梯度方向角差，ti是映射后的圆心偏移。因此，从Ei到E′i的仿射映射可表示为：
且Xi＝Γ'i -1TiΓi。
如图3所示，椭圆E到E'的映射矩阵X＝Γ'-1 TΓ用虚线箭头表示，其实际求解过程是先分别采用仿射映射Γ和Γ'将E和E'映射为对应的圆形区域O和O'，O和O'的局部图像内容随后被量化为SIFT特征并匹配，其匹配关系决定了这二者之间存在一个区域对应关系，可用仿射矩阵T表示。由于E到O、O到O'及E'到O'之间分别可用仿射变换Γ、T和Γ'进行映射(图3中实线箭头所示)，且仿射变换是可逆变换，椭圆E到E'的映射矩阵可表示为X＝Γ'-1 TΓ。
对于局部特征初始匹配集中的每一对匹配特征区域对，都按上述方法计算其局部特征区域对间的仿射变换Xi，得到局部特征初始匹配集的仿射变换矩阵集合。
步骤3，定义任意两对局部特征匹配对间的局部仿射变换差异距离：任两个仿射变换之间并不满足欧式距离的特性，即不能采用向量相减再取模的方法来计算仿射变换的距离。鉴于相似的仿射变换作用于同一二维坐标点后所得坐标点的距离也较近，不同的仿射变换作用于同一二维坐标后的坐标点距离较远，采用映射点坐标距离来测度仿射变换之间的距离：即给定一对仿射变换Xi和Xj，分别将二者作用于几个选定二维坐标点，估算映射点对的平均距离作为Xi和Xj之间的距离，坐标点选用Xi和Xj关联的局部特征区域的中心坐标。与此类似，可以计算Xi和Xj的逆变换X′i和X'j之间的距离。最后，考虑到Xi和Xj及X′i和X'j距离的一致性，采用两个距离值的均值定义Xi和Xj间的距离。此外，若Xi映射椭圆Ei至E′i，Xj映射Ej至E'j，且Ei与Ej为同一椭圆而E′i与E'j不同或E′i与E'j相同而Ei与Ej不同时，定义Xi与Xj为冲突变换，考虑到冲突变换的差异性，定义他们之间的距离不小于一个固定常数。本步骤的具体方法为：
步骤3.1，定义任意两对局部仿射变换间的距离：给定仿射变换矩阵Xi和仿射变换矩阵Xj，二者的距离定义如下：
且
如前所述，pi p′i及pj p'j是仿射矩阵Xi和Xj对应的一对匹配局部区域的中心坐标，因此且其中κ(·)将仿射变换后的三维坐标转换为二维坐标。Dj|i表示以Xi映射pj后所得坐标点与p'j的距离，由于p'j是pj经Xj映射后的坐标，Dj|i反映了仿射变换Xi与Xj的差异，差异越大，其值越大。D'j|i表示以映射p'j后所得坐标点与pj的距离，反映了仿射变换与的差异，由于Xi与及Xj与Xj之间是可逆变换，Xi与Xj及与之间的差异应具有一致性。同理，Di|j表示以Xj映射pi后所得坐标点与p′i的距离，D′i|j表示以映射p′i后所得坐标点与pi的距离。
D(Xi,Xj)是四者之和的均值，保证了距离的对称性和正、逆变换对之间的等距性，即：
步骤3.2，定义冲突变换惩罚距离：假定仿射矩阵Xi映射椭圆Ei至E′i，Xj映射Ej至E'j，若Ei与Ej为同一椭圆且E′i与E'j不同或E′i与E'j相同且Ei与Ej不同，此时E′i与E'j通常只有一个是椭圆Ei的正确对应，即Xi与Xj通常最多只有一个是正确的变换，此时称Xi与Xj为冲突变换。冲突变换是本质不同的多个变换(通常最多有一个为正确变换，其他均为错误变换)，因此彼此之间的距离应较大，但当按步骤3.1计算距离时由于Ei与Ej相同，导致D'j|i＝D′i|j＝0，进而D(Xi,Xj)的值较小。为凸显Xi与Xj的差异，定义二者的距离需不小于常数C，即：
若Xi与Xj相冲突,
其中，max(x,y)表示从x和y中选择较大值。C为常数，设置为一个较大值，本发明设为250。同理，当E′i与E'j相同而Ei与Ej不同时，其映射矩阵Xi与Xj也是冲突变换。
基于上述步骤计算局部特征初始匹配集对应的仿射变换集中两两变换之间的距离，得到所有仿射变换之间的距离值。
图5给出了对图2图像对进行初始特征匹配，求取对应的仿射变换并计算不同变换之间的距离，再根据该距离将所有变换映射到一个二维平面上的结果，其中每个数据点表示了一个变换。可以看出，除随机散布在空间中的噪声点外，图中较为清晰的呈现出了5个分布密度较大的聚类簇(椭圆标识)，这5个聚类簇实质上对应了两幅图像中有正确局部特征匹配对组成的5组匹配对，每组匹配对对应一对匹配物体，而散乱分布的数据点则是错误的变换，对应错误的初始匹配。因此，后续过程的目标是进行基于密度的聚类，找出空间中聚集成簇的仿射变换点，进而找出正确的匹配对。
步骤4，定义仿射变换空间密度函数：空间中数据点的密度一方面数据点附近点的个数呈正相关，个数越多，密度越大。另一方面，密度函数具有局部性，即每个数据点的密度只跟有限距离内的数据点的分布有关。综合这两方面的因素，以当前点与附近点的高斯距离和来定义当前点的密度。
基于仿射变换距离定义仿射变换空间密度函数为：
即当前仿射变换Xi的密度ρi为Xi到其余变换Xj的高斯距离，距离较近的变换矩阵Xj对密度的贡献较大，当距离超过σ时，其贡献便逐渐减弱直至可忽略，因此ρi定义的是Xi的局部密度值。N是仿射矩阵的总数，σ的取值是动态设定的，σ为所有D(Xi,Xj)自小向大排序后的2％处的取值。以图2中图像对匹配为例，σ取值约为43。
步骤5，为找出仿射空间中分布密度较大、较为相近的仿射矩阵数据点，采用基于密度的聚类方法进行聚类簇定位。该方法从空间中的每个点出发，不断向附近密度较大的数据点移动，直至局部区域的密度极值点，即当前聚类簇的模态点，再将终点位于同一模态点的所有数据点归为同一聚类簇。此后，确定不同聚类簇之间的边界及各聚类簇的边界密度并基于该边界密度优化各聚类簇。
步骤5.1，定义聚类路径：为确定仿射矩阵Xi的所属聚类，从Xi出发，定位空间中密度比Xi的密度ρi大且与Xi距离最近的仿射矩阵Xj，定义Xj为Xi的“聚类父节点”，再从Xj出发，定位其“聚类父节点”，重复该步骤，直至定位到当前聚类簇中密度最大的“模态点”为止。
步骤5.2，模态点的定义：空间中的模态点是各聚类簇中密度最大的点，为各模态点，首先为空间中的每个点定义跟随距离函数δi如下：
即对于空间中的一般仿射矩阵Xi，跟随距离δi表示Xi到密度比其大且与其距离最近的仿射矩阵Xj的距离，因此当Xi与Xj处于同一聚类簇时，δi通常会伴随密度函数ρi的增大而减小，只当Xi到达当前聚类的密度最大值点，即模态点时，Xj将处于另一聚类簇中，此时δi将有一个跳跃增大。最后，当Xi的密度值ρi为空间中密度最大时，δi被定义为Xi与其余仿射矩阵距离的最大值。
图6给出了图2初始匹配对关联的各个仿射变换的密度函数ρ及其对应的跟随距离δ的值，可以看出，跟随距离δ的总体趋势是随着密度ρ的增大而减小的。另一方面，绝大多数数据点的跟随距离δ都较小，只有少数几个点的δ较大，这与先前的观察一致，即在每个聚类簇中，除模态点外，所有数据点的跟随距离都是当前点与当前聚类簇内部某个密度较大的点之间的距离，而只有模态点的跟随距离是模态点与其他聚类簇中某点之间的距离，因而其值通常较大。有鉴于此，密度ρ和跟随距离δ可用于共同判定空间中各聚类簇的模态点。图6给出了图5中各个点计算所得密度和跟随距离的图示结果，图中分别用上三角形、五角星、菱形、下三角形、方形图标表示了5个潜在聚类的模态点，这些点明显远离其他非模态点，即圆形图标标识的数据点。
定义δi的基础上，定义函数
ηi＝ρiδi
给定空间中的一个仿射矩阵Xi，ηi与其密度值ρi及δi均成正比，即ρi与δi均越大，则ηi越大。而在同一聚类簇内，密度ρi的值从边缘到中心呈逐渐增大的趋势，并在模态点处达到最大。而跟随距离δi则由边缘到中心逐渐减小，但在模态点处跳变增大，由此可见，当且仅当Xi为空间中的模态点时，ρi与δi均较大，即ηi较大。因此，模态点可基于以下操作确定：先计算出空间中所有点的ηi并降序排列，排序前K的数据点即为空间中的模态点。鉴于一个聚类簇只有一个模态点，K即为空间中聚类簇的个数，其值可由事先指定。也可在确定各聚类簇中包含的仿射矩阵数目后，自动过滤所含仿射矩阵点较少的聚类簇，进而动态确定K的值。图6中三角形、五角星等非圆形图标标识的5个数据点为图2初始匹配对数据空间中η较大的前5个点，这些点也是图5中5个聚类的模态点。步骤5.3，初步聚类：从空间中每个仿射矩阵Xi出发，按步骤5.1所述不断移动至空间中的一个模态点，最后将所有收敛于同一模态点的仿射矩阵归为同一聚类簇。
步骤5.4，确定聚类簇边界及最大边界密度：假定仿射矩阵Xi经步骤5.3聚类后属于聚类簇Ck，且它与聚类簇Cl(l≠k)中仿射矩阵Xj的距离小于定义密度函数ρi时的高斯方差σ，即：
D(Xi,Xj)＜σ
此时认定XiXj构成了聚类簇Ck和Cl的边界。定义边界密度
ρij＝(ρi+ρj)/2
进而确定聚类簇Ck的最大边界密度为：
即是聚类簇Ck中与其他所有聚类簇的边界密度的最大值。
步骤5.5，优化聚类簇：设定聚类簇Ck中所有密度大于的仿射矩阵Xi，即的最终所属聚类簇点，并将其他数据点作为噪声点剔除。图7给出了图2初始匹配集变换空间中聚类结果在2维平面上的映射展示，系数同一聚类的数据点采用同一形状的图标标识并进行了放大显示，散步的噪声点则采用圆点标识。可以看出，本发明的聚类方法从图6选出的5个模态点出发，成功定位了各个聚类模态点周围的同类点，找到了该空间中密度较大的5个聚类簇。注意图7中不同聚类簇图标与图6中所选出模态点的图标对应关系。
步骤6，结果呈现：根据各聚类簇中的仿射矩阵与局部特征匹配对的对应关系，确定正确的特征匹配对，并按仿射矩阵的聚类结果将匹配对分组呈现，每组标识一对匹配物体——即，基于步骤5.5获得各聚类簇中的仿射矩阵，确定各仿射矩阵对应的局部特征匹配对，将它们按所关联的聚类簇进行分组，系属同一类的局部特征匹配对对应同一匹配目标物体，呈现位于不同目标物体上的局部特征匹配对。图8给出了图2的最终匹配结果。图中各连线标识的匹配对与图7二维平面上图标表示的数据点相对应。可以看出，图7中采用同一图标标识的属于同一聚类簇的仿射变换数据点在图8中对应着同一匹配物体的局部特征匹配，且不同的匹配目标物体可根据聚类结果进行自动、有效地区分，验证了本发明基于几何变换聚类的多目标匹配算法的可靠性。
实施例
本实施例的实验硬件环境是：Intel(R)Core(TM)i52.67GHz，4G内存，MicrosoftWindows7旗舰版，编程环境是Visual Studio 2012,MATLAB 8.1(R2013a)32位，测试图来源于韩国首尔大学(Seoul National University，SNU)网上公开的多目标物体匹配标准图像集。
实验测试用例选用了SNU图像集中全部6组待匹配图像对，图像分辨率均为800×600，每组包含3～6个待匹配目标物体，且每对待匹配物体之间均存在不同程度的光照、视角和物体自身的变化，这些都给图像匹配带来了进一步的挑战。
实验与现有的一些图像匹配方法进行了对比，包括：层次聚类图像匹配法ACC
(Agglomerative Correspondence Clustering)、空间布局一致性图像匹配法SCC(Spatially Coherent Correspondences)、谱匹配法SM(Spectral Matching)以及加权随机游走图匹配法RRWM(Reweighted Random Walks for Graph Matching)。实验中均采用DoG算子进行特征提取，并采用SIFT算子进行局部特征描述，初始匹配对的筛选距离阈值设置为1.1。所有方法均始于初始匹配集，目标是过滤错误匹配对，保留正确的匹配对并将其根据所属配对目标物体进行分组。本发明方法中，冲突变换之间的最小距离设定为250，聚类个数K根据待匹配图像对中待匹配目标物体的个数指定。对比方法的各项固定参数均基于匹配性能测试选取了性能最好的参数组合。
我们采用匹配召回率(Recall)和1-精度(Precision)的性能曲线呈现各方法的性能，其中，
对比结果如图9所示。图中各子标题对应图像组的名称，子标题的括号中分母的数字表示初始候选匹配对的总数，分子的数字表示其中正确的匹配对数。所有的对比方法均需一个控制参数来调节匹配的性能，因此我们通过设定不同的参数值画出对应的性能曲线。本发明方法无需这样的调节参数，我们通过显示前k个聚类簇中匹配对的召回率和精度绘制对应的性能曲线。由图可以看出，SM和RRWM的效果相对较差，这是因为二者均致力于采用一种全局的区分策略将正确的匹配对与错误的匹配对分割开来，这类方法对只包含一个待匹配目标物体的图像对相对有效，但当处理多目标物体匹配是，单个目标物体的局部特征匹配对于其他待匹配物体而言相当于匹配噪声，因此全局特征匹配方法无法有效处理多目标物体匹配的情形。相比之下，ACC、SCC和本发明方法都取得了更好的性能。其中，本发明方法性能表现相对最好，这表明基于特征匹配局部仿射变换空间密度聚类的方法可以更有效地过滤错误特征匹配。此外，不同的匹配目标物体的关联匹配特征对在聚类结果中界限分明，使得属于不同匹配目标的局部特征的区分简单便捷。图10给出了其中两幅图像的匹配结果展示。
本发明方法的效率较优，其时间复杂度与初始匹配对个数呈线性相关。所测试6幅图像的平均用时在1秒以内，其中，核心聚类算法的用时平均不足0.1秒，因此本发明的方法能在较短的时间给出更为鲁棒的多目标物体匹配性能。
Claims (5)
1.一种多目标物体图像匹配方法，其特征在于：通过计算机将一对待匹配图像依次如下处理：
步骤1，局部特征提取与预匹配：提取待匹配图像对的局部特征区域及其特征描述，基于描述的相似性建立图像间局部特征的初始匹配集；
步骤2，估算初始匹配区域局部仿射变换：在进行步骤1的局部特征提取与预匹配基础上，估算待匹配图像对的初始匹配特征区域的局部仿射变换；
步骤3，计算仿射变换距离：在进行步骤1的局部特征提取与预匹配基础上，量化待匹配图像对中的任意两对局部特征匹配对间的局部仿射变换距离；
步骤4，定义仿射空间密度函数：在进行步骤1的局部特征提取与预匹配基础上，基于局部仿射变换距离定义待匹配图像对的仿射变换空间密度函数；
步骤5，基于密度的仿射变换空间聚类：根据步骤2获得的局部仿射变换、步骤3获得的局部仿射变换距离、步骤4获得的仿射变换空间密度函数，对待匹配图像对进行基于密度的仿射变换空间聚类，获得聚类簇及对应的仿射矩阵；
步骤6，确定正确匹配对，呈现结果：根据步骤5获得的聚类簇中的仿射矩阵与步骤1中的局部特征匹配对的对应关系，确定最终局部特征匹配对按聚类簇分组，同一组中的特征匹配对对应同一目标物体，最终呈现位于不同目标物体上的局部特征匹配对；
其中，所述步骤1具体如下：
步骤1.1，提取图像局部特征区域：采用图像局部特征区域检测算子提取待匹配图像对的局部特征区域；所述局部特征区域具有尺度不变性；通过图像局部特征区域检测算子得到局部特征区域的几何形状为圆形或椭圆形；
步骤1.2，提取特征向量：
当局部特征区域为圆形时，采用基于SIFT特征描述算子提取该局部特征区域的局部特征向量，其步骤是：假定由步骤1.1所提取的单个局部特征区域为圆形区域Oi，其中心坐标为pi，半径为ri，首先计算局部特征区域内每个像素点的梯度大小m(x,y)和方向并进一步估算局部特征区域的主梯度方向αi，具体方法如下：
式中，L(x,y)代表局部特征区域内坐标(x,y)点处的像素值；获得局部特征区域内每个像素点的梯度大小和方向后，将角度区间[0,360)划分为36等分，并根据梯度角的值将梯度m(x,y)叠加到对应的角度区间中，生成梯度直方图，选取该梯度直方图中点数最多的区间的梯度中值为主梯度方向αi；此后，将局部特征区域内所有像素的梯度方向沿逆时针旋转αi，使得局部特征区域的主梯度方向αi为0；再分区域***部特征区域内像素的梯度直方图并进行直方图归一化操作，最后获得128维的梯度直方图向量——即局部特征区域的特征向量Di；当局部特征区域为椭圆形时：若步骤1.1输出为椭圆形区域，记给定局部特征椭圆形区域为Ei，其中心坐标为pi，长短轴半径为以及旋转角为wi，则通过一个二维空间变换将Ei映射至一个中心在pi、半径为rc的圆形区域O：且式中，(x,y)T为Ei上的点,(x',y')T是圆形区域O上的对应点坐标；rc取值13；得到圆形区域后再采用SIFT特征描述算子生成特征向量，其过程与前段描述一致；步骤1.3，局部特征初步匹配：令一幅图像中的单个局部区域特征描述向量Di与另一幅图像中单个局部区域特征描述向量Dj的距离为d(Di,Dj)，当且仅当d(Di,Dj)乘以给定阈值不大于特征向量Di与其他所有特征向量的距离，Di与Dj匹配；阈值取1.1；距离公式定义为：
其中Dik和Djk分别表示特征向量Di和特征向量Dj的第k维分量；
给定一个待匹配图像对，将其中一幅图像中所提取的所有局部特征区域的特征向量逐一在另一幅图像的局部特征区域的特征向量中选取其初始匹配，那么每个匹配对将对应位于不同图像中的一对局部特征区域，将所有的初始匹配对集合起来，构成待匹配图像对的局部特征初始匹配集；
所述步骤3的具体步骤如下：
步骤3.1，定义任意两对局部特征匹配对间的局部仿射变换距离：给定仿射矩阵Xi和仿射矩阵Xj，二者的距离定义如下：
其中
且
如步骤2.1所述，pi pi'及pj pj'是仿射矩阵Xi和Xj对应的一对匹配局部区域的中心坐标，因此且其中κ(·)将仿射变换后的三维坐标(x,y,w)转换为二维坐标(x/w,y/w)，w表示像素点(x,y,w)第三维的坐标值；Dj|i表示以Xi映射pj后所得坐标点与p'j的距离，由于p'j是pj经Xj映射后的坐标，Dj|i反映了仿射矩阵Xi与Xj的差异，差异越大，其值越大；Dj|i'表示以映射pj'后所得坐标点与pj的距离，反映了仿射矩阵与的差异，由于Xi与及Xj与之间是可逆变换，Xi与Xj及与之间的差异应具有一致性；同理，Di|j表示以Xj映射pi后所得坐标点与 pi' 的距离，Di|j'表示以映射pi'后所得坐标点与pi的距离；
D(Xi,Xj)是四者之和的均值，保证了距离的对称性和正、逆变换对之间的等距性，即：
步骤3.2，定义冲突变换惩罚距离：假定仿射矩阵Xi映射椭圆Ei至椭圆Ei'，仿射矩阵Xj映射椭圆Ej至椭圆E'j，若Ei与Ej为同一椭圆且Ei'与Ej'不同或Ei'与Ej'相同且Ei与Ej不同，此时称Xi与Xj为冲突变换，且定义二者的距离需不小于常数C，即：
若Xi与Xj相冲突,
其中，max(x,y)表示从x和y中选择较大值；C为常数，取值250；
基于上述步骤计算局部特征初始匹配集对应的仿射变换集中两两变换之间的距离，得到所有仿射变换之间的距离值；
所述步骤5的具体步骤如下：
步骤5.1，定义聚类路径：为确定仿射矩阵Xi的所属聚类，从Xi出发，定位空间中密度比Xi的密度ρi大且与Xi距离最近的仿射矩阵Xj，定义Xj为Xi的“聚类父节点”，再从Xj出发，定位其“聚类父节点”，重复该步骤，直至定位到当前聚类簇中密度最大的“模态点”为止；
步骤5.2，模态点的定义：空间中的模态点是各聚类簇中密度最大的点，为各模态点，首先为空间中的每个点定义跟随距离函数δi如下：
即对于空间中的仿射矩阵Xi，跟随距离δi表示Xi到密度比其大且与其距离最近的仿射矩阵Xj的距离，因此当Xi与Xj处于同一聚类簇时，δi通常会伴随密度函数ρi的增大而减小，只当Xi到达当前聚类的密度最大值点，即模态点时，Xj将处于另一聚类簇中，此时δi将有一个跳跃增大；最后，当Xi的密度值ρi为空间中密度最大时，δi被定义为Xi与其余仿射矩阵距离的最大值；
定义δi的基础上，定义函数
ηi＝ρiδi
给定空间中的一个仿射矩阵Xi，ηi与其密度值ρi及δi均成正比，即ρi与δi均越大，则ηi越大；而在同一聚类簇内，密度ρi的值从边缘到中心呈逐渐增大的趋势，并在模态点处达到最大；而跟随距离δi则由边缘到中心逐渐减小，但在模态点处跳变增大，由此可见，当且仅当Xi为空间中的模态点时，ρi与δi均较大，即ηi较大；因此，模态点可基于以下操作确定：先计算出空间中所有点的ηi并降序排列，排序前K的数据点即为空间中的模态点；鉴于一个聚类簇只有一个模态点，K即为空间中聚类簇的个数，其值可由事先指定，或在确定各聚类簇中包含的仿射矩阵数目后，自动过滤所含仿射矩阵较少的聚类簇，进而动态确定K的值；
步骤5.3，初步聚类：从空间中每个仿射矩阵Xi出发，按步骤5.2不断移动至空间中的一个模态点，最后将所有收敛于同一模态点的仿射矩阵归为同一聚类簇；
步骤5.4，确定聚类簇边界及最大边界密度：假定仿射矩阵Xi经步骤5.3聚类后属于聚类簇Ck，且它与聚类簇Cl(l≠k)中仿射矩阵Xj的距离小于定义密度函数ρi时的高斯方差σ，即：
D(Xi,Xj)＜σ
此时认定XiXj构成了聚类簇Ck和Cl的边界；定义边界密度
ρij＝(ρi+ρj)/2
进而确定聚类簇Ck的最大边界密度为：
即是聚类簇Ck中与其他所有聚类簇的边界密度的最大值；
步骤5.5，优化聚类簇：保留聚类簇Ck中所有密度ρi大于的仿射矩阵Xi为Ck的聚类成员，并将其余仿射矩阵作为噪声点剔除。
2.如权利要求1所述的一种多目标物体图像匹配方法，其特征在于：在步骤1中：当检测算子采用差分高斯算子DoG时，局部特征区域的检测结果为圆形区域；当检测算子采用稳定极值区算子MSER或角点拉普拉斯算子Harris-Laplacian时，局部特征区域的检测结果是椭圆形区域。
3.如权利要求1所述的一种多目标物体图像匹配方法，其特征在于：步骤2的具体步骤如下：
步骤2.1，求解初始特征匹配对的局部仿射矩阵：给定一对匹配的局部特征区域描述向量，若其对应的特征区域为圆，记为Oi和Oi'，且其几何参数有圆心坐标pi和pi'、半径ri和ri'、主梯度方向αi和αi'，则将Oi上的点(x,y)T到Oi'上的点(x',y')T映射关系可表示为：
且其中：
且ti＝pi'-Ripi
θi为两个圆的旋转角度差，si表示圆半径的比值，Ri是两个圆之间缩放和旋转综合变换的矩阵形式；ti是映射后的圆心偏移；
若对应的特征区域为椭圆，则记为Ei和Ei'，其几何参数有中心坐标pi和pi'，长短轴半径和以及旋转角wi和wi'；由步骤1.2可知，在进行SIFT特征提取前，Ei将被映射至一个半径为rc且中心坐标为pi和pi'的圆形型区域O中，其映射矩阵可表示为
且
表示椭圆向圆变换过程中的长、短轴及旋转角综合变换的二维矩阵形式；Γi是的三维扩展变换矩阵形式，它实现了将椭圆Ei变换为圆O；
同理，椭圆Ei'也被映射到半径为rc中心坐标为pi和pi'的圆形型区域O'中，其映射矩阵为：
且得到O和O'后，可按步骤1.2估算它们的主梯度方向αi和αi'；其中，和Γ'i与和Γi的含义对应；
在此基础上，O到O'的映射可表示为：
且θi＝αi'-αi,ti＝pi'-Ripi；其中，θi为O与O'的主梯度方向之差，ti是映射后的圆心偏移；因此，从Ei到Ei'的仿射映射可表示为：
且其中，Γi定义了椭圆Ei变换为圆O的转换，Ti定义了圆O向圆O'的转变，是Γ'i的逆变换，定义了从圆O'向Ei'的转变；因此，仿射矩阵Xi定义了从椭圆Ei到Ei'的整体仿射变换；
对于局部特征初始匹配集中的每一对匹配特征区域，都按上述方法计算其局部特征区域对间的仿射矩阵Xi，得到局部特征初始匹配集的仿射矩阵集合。
4.如权利要求1所述的一种多目标物体图像匹配方法，其特征在于：步骤4具体步骤如下：
基于仿射变换距离定义仿射变换空间密度函数为：
即当前仿射矩阵Xi的密度ρi为Xi到其余仿射矩阵Xj的高斯距离，距离较近的仿射矩阵Xj对密度的贡献较大，当距离超过σ时，其贡献便逐渐减弱直至可忽略，因此ρi定义的是Xi的局部密度值；N是仿射矩阵的总数，σ的取值是动态设定的，σ为所有D(Xi,Xj)自小向大排序后的2％处的取值；
以初始仿射变换集构成一个仿射空间，该步骤计算了其中每一个仿射矩阵在仿射空间中的密度值。
5.如权利要求1所述的一种多目标物体图像匹配方法，其特征在于：步骤6包含下列步骤：
基于步骤5.5获得各聚类簇中的仿射矩阵，确定各仿射矩阵对应的局部特征匹配对，将它们按所关联的聚类簇进行分组，系属同一类的局部特征匹配对对应同一匹配目标物体，呈现位于不同目标物体上的局部特征匹配对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510712952.0A CN105354578B (zh) | 2015-10-27 | 2015-10-27 | 一种多目标物体图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510712952.0A CN105354578B (zh) | 2015-10-27 | 2015-10-27 | 一种多目标物体图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105354578A CN105354578A (zh) | 2016-02-24 |
| CN105354578B true CN105354578B (zh) | 2019-05-21 |
Family
ID=55330545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510712952.0A Expired - Fee Related CN105354578B (zh) | 2015-10-27 | 2015-10-27 | 一种多目标物体图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105354578B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529591A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于改进的mser图像匹配算法 |
| CN106897719B (zh) * | 2017-01-06 | 2019-09-06 | 沈阳工业大学 | 基于Kinect的典型零部件识别与定位方法 |
| CN107122746B (zh) * | 2017-04-28 | 2020-01-21 | 清华大学 | 视频分析设备、方法和计算机可读存储介质 |
| CN108960268A (zh) * | 2017-12-01 | 2018-12-07 | 炬大科技有限公司 | 图像匹配方法及装置 |
| CN109120849B (zh) * | 2018-09-19 | 2020-09-18 | 安徽文香信息技术有限公司 | 一种用于微课跟踪的智能拍摄方法 |
| CN109697692B (zh) * | 2018-12-29 | 2022-11-22 | 安徽大学 | 一种基于局部结构相似的特征匹配方法 |
| CN109840529B (zh) * | 2019-02-01 | 2022-12-09 | 安徽大学 | 一种基于局部敏感置信度评估的图像匹配方法 |
| CN110941989A (zh) | 2019-10-18 | 2020-03-31 | 北京达佳互联信息技术有限公司 | 图像校验、视频校验方法、装置、设备及存储介质 |
| CN111861876B (zh) * | 2020-08-17 | 2024-01-26 | 浙江港创智能机器人有限公司 | 一种基于形状特征的金具自动识别方法 |
| CN112150508B (zh) * | 2020-09-29 | 2023-03-03 | 济南博观智能科技有限公司 | 一种目标追踪方法、装置及相关设备 |
| CN114627125B (zh) * | 2022-05-17 | 2022-07-15 | 南通剑烽机械有限公司 | 一种基于光学手段的不锈钢压片机表面质量评估方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156952A (zh) * | 2014-07-31 | 2014-11-19 | 中国科学院自动化研究所 | 一种抵抗形变的图像匹配方法 |
| CN104766084A (zh) * | 2015-04-10 | 2015-07-08 | 南京大学 | 一种多目标匹配的近复制图像检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MY188908A (en) * | 2012-12-10 | 2022-01-13 | Mimos Berhad | Method for camera motion estimation with presence of moving object |
-
2015
- 2015-10-27 CN CN201510712952.0A patent/CN105354578B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156952A (zh) * | 2014-07-31 | 2014-11-19 | 中国科学院自动化研究所 | 一种抵抗形变的图像匹配方法 |
| CN104766084A (zh) * | 2015-04-10 | 2015-07-08 | 南京大学 | 一种多目标匹配的近复制图像检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于标准化局部特征组合的图像检索;贺星星;《中国优秀硕士学位论文全文数据库》;20100715(第7期);正文第26-31页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105354578A (zh) | 2016-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105354578B (zh) | 一种多目标物体图像匹配方法 | |
| Li et al. | SHREC’14 track: Extended large scale sketch-based 3D shape retrieval | |
| CN109598241B (zh) | 基于Faster R-CNN的卫星图像海上舰船识别方法 | |
| EP2385483B1 (en) | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform | |
| CN111723721A (zh) | 基于rgb-d的三维目标检测方法、***及装置 | |
| CN111652292B (zh) | 一种基于ncs、ms的相似物体实时检测方法及*** | |
| Mousavi et al. | A two-step descriptor-based keypoint filtering algorithm for robust image matching | |
| CN110110694B (zh) | 一种基于目标检测的视觉slam闭环检测方法 | |
| CN104766084A (zh) | 一种多目标匹配的近复制图像检测方法 | |
| CN105740915B (zh) | 一种融合感知信息的协同分割方法 | |
| WO2017181892A1 (zh) | 前景分割方法及装置 | |
| CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及*** | |
| Wang et al. | Mode-seeking on hypergraphs for robust geometric model fitting | |
| CN108550165A (zh) | 一种基于局部不变特征的图像匹配方法 | |
| Wu et al. | Typical target detection in satellite images based on convolutional neural networks | |
| CN114386466B (zh) | 一种用于脉冲星搜寻中候选体信号挖掘的并行的混合聚类方法 | |
| CN111009005A (zh) | 几何信息与光度信息相结合的场景分类点云粗配准方法 | |
| Pan et al. | SMILE: Cost-sensitive multi-task learning for nuclear segmentation and classification with imbalanced annotations | |
| CN111738319B (zh) | 一种基于大规模样本的聚类结果评价方法及装置 | |
| CN110942473A (zh) | 一种基于特征点网格化匹配的运动目标跟踪检测方法 | |
| CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
| Guo et al. | Multi-view feature learning for VHR remote sensing image classification | |
| CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
| Cui et al. | Global propagation of affine invariant features for robust matching | |
| CN114332172A (zh) | 一种基于协方差矩阵改进的激光点云配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190521 Termination date: 20191027 |