CN103679201B - 一种用于图像匹配、识别、检索的点集合匹配的校正方法 - Google Patents
一种用于图像匹配、识别、检索的点集合匹配的校正方法 Download PDFInfo
- Publication number
- CN103679201B CN103679201B CN201310688861.9A CN201310688861A CN103679201B CN 103679201 B CN103679201 B CN 103679201B CN 201310688861 A CN201310688861 A CN 201310688861A CN 103679201 B CN103679201 B CN 103679201B
- Authority
- CN
- China
- Prior art keywords
- node
- matching
- image
- point
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于模式识别、图像处理、计算机视觉技术领域,具体为一种用于图像匹配、识别、检索的点集合匹配的校正方法。本发明根据两个点集合的初始匹配关系建立邻接矩阵,并提出一种图论中最大团问题的近似求解方法以获得近似服从同一几何变换的点集合匹配关系。将一个点集合经过几何变换投影到另一个点集合所在的空间就可以求得两个点集合之间的相似度,并作为图像相似度实现图像匹配、识别、检索。实验表明,所发明的点集合匹配的校正方法与多种形状特征提取方法中的任意一种相结合都可以获得较好的图像匹配与识别效果。
Description
技术领域
本发明属于模式识别、图像处理、计算机视觉技术领域,具体涉及一种点集合匹配的校正方法,可以用于图像匹配、识别、检索。
背景技术
图像包括形状、纹理、颜色信息,其中,形状是图像识别、检索所依赖的主要信息,形状特征描述对于图像识别、检索非常重要,而形状之间的相似性和差异性往往反映在图像的特征点上,因此图像匹配的一种主要解决方案是将其作为点集合匹配来解决。【S.Belogie,J.Malik,J.Puzicha:“Shape matching and object recognition usingshape contexts,IEEE Transactions on Pattern Analysis and MachineIntelligence”,Volume 24,pp.509-52,2002】论文中提出了一种称为形状上下文(ShapeContexts)的形状描述方法,在形状描述子相似度计算的基础上采用图论中的二部图匹配方法对点集合进行匹配,但是其计算复杂度较高,其求解二部图匹配的算法的复杂度大约为O(N4)。【David G.Lowe:″Distinctive Image Features from Scale-InvariantKeypoints″,International Journal of Computer Vision,Volume 60,Issue 2,pp.91-110,2004】中提出了一种DoG的特征点提取方法和一种称作SIFT的描述子,并基于描述子之间的相似度对特征点进行匹配,但是这样的点集合匹配结果不经过校正是含有误匹配的,会对后续的图像匹配、识别、检索带来干扰。
发明内容
本发明的目的在于提出一种计算开销合理、且与各种形状描述方法搭配都能够获得较好图像匹配、识别、检索性能的点集合匹配的校正方法。
本发明提出的一种用于点集合匹配的校正方法,具体计算步骤如下:
(1)计算邻接矩阵;
(2)近似求解图论中最大团问题;
上面所述的点集合匹配的校正方法中的步骤1中的邻接矩阵计算的步骤如下:
(a)假设两个点集合P={P1,P2,…,Pm}和Q={Q1,Q2,…,Qm}之间初始的匹配关系为 将邻接矩阵初始化为C={cij=0|i,j=1,2,…,m};(b)计算R={rij=d(Pi,Pj)/d(Qi,Qj)|i,j=1,2,…,m;i≠j},这里d(Pi,Pj)表示点Pi和点Pj之间的欧几里得距离、d(Qi,Qj)表示点Qi和点Qj之间的欧几里得距离;
(c)将{rij=d(Pi,Pj)/d(Qi,Qj)|i,j=1,2,…,m;i≠j}按照从小到大的次序排序,得到R1≤R2≤…≤Rm(m-1);将Rk在R中的位置记录为S[k]∈{(i,j)|i,j=1,2,…,m;i≠j},k=1,2,…,m(m-1);
(d)将R1≤R2≤…≤Rm(m-1)分段,分段方法如下:如果存在n-1段,其边界对应的下标为I[1]=1,I[2],I[3],…,I[n-1],I[n]=m(m-1)且满足条件RI[i]/RI[i+1]>t∧RI[i]/RI[i+1]+1≤t,这里i=1,2,…,n-1,t是一个接近1的阈值,则以I[1]=1,I[2],I[3],…,I[n-1],I[n]为边界进行分段;
(e)从上述步骤(d)得到的对R1≤R2≤…≤Rm(m-1)的n-1个分段中找到最长的一段,其在n-1个分段中的对应次序为 提取该段在R中的对应下标{S[k]|k=I[i*],I[i*]+1,…,I[i*+1]};
(f)令{cS[k]=1|k=I[i*],I[i*]+1,…,I[i*+1]};
上面所述的点集合匹配的校正方法中的步骤2中的图论中最大团问题近似求解的计算步骤如下:
(a)将一个完全图的所有节点的下标的集合初始化为Θ={1,2,…,m};将噪声节点对应的下标的集合初始化为空集合Ψ=Φ,将噪声节点之外的剩余节点的集合初始化为Ω=Θ;
(b)设置计数器用于记录有多少节点和节点i相连接;
(c)对于i=1,2,…,m:如果vi=0,将节点i加入噪声节点的集合,即Ψ∪{i}→Ψ;同时将节点从剩余节点的集合Ω中删除,即Ω-{i}→Ω;
(d)如果vi=vj对任意的i≠j都成立,这里i∈Ω且j∈Ω,则将中下标为Ω所包含元素的对应匹配点对输出并退出;否则转到步骤(e);
(e)找到Ω中具有最小连接边数的节点令Ψ∪{i′}→Ψ且Ω-{i′}→Ω;找到与节点i′连接的节点,即Γ={j|ci′j=1;j=1,2,...,m};对于j∈Γ,令vj-1→vj;转到步骤(d)。
附图说明
图1为图像识别***的组成框图。
具体实施方式
一个图像识别***通常由以下几个环节组成,图像采集、预处理、特征提取、相似度计算、分类,图像识别***的目标是从图像数据库中返回与输入图像最相似的图像,整个图像识别***的组成见图1。这里,图像采集可以通过相机、扫描仪等各种能够完成物理成像的传感设备完成,预处理采用发明人提出的一种二值图像骨架点提取方法,特征提取采用发明人提出的一种形状描述子。
实施例1:
步骤1:对一幅输入图像提取特征点,并计算各个特征点的形状描述子,令P={P1,P2,…,PK}和{f(F(Pk))|k=1,2,…,K}分别表示所得到的特征点及其对应的形状描述子,形状描述子的计算步骤如下:
(a)任选一个特征点Pk∈P作为参考点,对其它特征点的空间分布进行统计,得到一个相应的直方图,记作h(Pk);这里,直方图的具体计算方法如下:以参考点Pk为中心,将图像最小外接圆所在的空间划分为M×Ν的网格,计算落入网格每个区间的特征点的个数得到直方图,M和N都是自然数;分别以各个特征点作为参考点,则对应每个特征点分别得到一个直方图,共得到K个直方图{h(Pk)|k=1,2,…,K};
(b)对每个特征点对应的直方图求傅里叶变换,设h(Pk)的傅里叶变换为F(Pk),对矩阵F(Pk)中的每个元素进行函数f(.)定义的数学变换,F(Pk)的数学变换f(.)定义为矩阵F(Pk)中每个元素的模值的W次方,设Fij(Pk)表示矩阵F(Pk)的第i行、第j列的元素,则f(Fij(Pk))=|Fij(Pk)|W,W=2;将{f(F(Pk))|k=1,2,…,K}作为K个特征点分别对应的形状描述子;;
步骤2:对图像库中任选的一幅图像提取特征点,基于步骤1所述的形状描述子计算方法计算各个特征点的形状描述子,令Q={Q1,Q2,…,QL}和{f(F(Ql))|l=1,2,…,L}分别表示所得到的特征点及其对应的形状描述子;
步骤3:计算输入图像和图像库图像的各形状描述子之间的相似度,记作{dkl=d(f(F(Pk)),f(F(Ql)))|k=1,2,…,K;l=1,2,…,L},这里采用内积作为相似度度量,即分别将矩阵f(F(Pk))和f(F(Ql))拉直为向量,然后求两个向量的内积;
步骤4:按照最近邻原则对P={P1,P2,…,PK}和Q={Q1,Q2,…,QL}进行匹配,计算方法如下:进行m=min{K,L}次迭代,每次迭代得到一个匹配的点对,每次迭代的具体计算步骤如下:(a)找到集合D={dkl|k=1,2,…,K;l=1,2,…,L}中的最大元素dst;(b)将作为一个匹配对记录到集合中;(c)令dsl=-∞和dkt=-∞:k=1,2,…,K且l=1,2,…,L;
步骤5:采用本发明提出的点集合匹配的校正方法对步骤4得到的初始的点集合匹配关系进行校正,得到经过校正的点集合匹配关系n≤m;令表示匹配点对 的坐标值;
步骤6:基于步骤5得到的经过校正的点集合之间的匹配关系计算投影变换,步骤如下:
(a)令 令 令 这里,β中的4个参数定义为:s是尺度缩放比例,α是旋转角度,δx和δy分别是X和Y轴的平移量;
(b)求Aβ=b的最小二乘解,得到β=(ATA)-1ATb;
步骤7:两幅图像之间相似度定义为P={P1,P2,…,PK}和Q={Q1,Q2,…,QL}之间的相似度,计算步骤如下:
(a)利用公式 对{Q1,Q2,…,QL}进行变换,设Qj经过变换得到的坐标值记为T(Qj),j=1,2,…,L;
(b)点集合P={P1,P2,…,PK}和Q={Q1,Q2,…,QL}之间的相似度定义为
上式中:函数 t′是预先设定的一个阈值,这里t′=30;d(Pi,T(Qj))表示Pi和T(Qj)两点之间的欧几里得距离,i=1,2,…,K,j=1,2,…,L;
步骤8:设图像库中有S幅预存的图像,重复执行步骤2至步骤7,分别计算每幅图像与输入图像的相似度,根据最近邻分类原则,按照相似度从大到小的顺序输出图像库中排在前T位的图像作为识别或者检索的结果,T≤S。
实施例1中的步骤1和步骤2采用了发明人提出的一种图像特征点提取方法实现图像预处理,这里提取二值图像的骨架点作为特征点,具体计算方法如下:
步骤1:采用7×7的高斯核滤波器对图像进行平滑,这里高斯核参数选择σ=2;
步骤2:采用发明人提出的二值化方法对将图像各个像素点二值化为1和0,1和0分别表示前景点和背景点;
步骤3:对二值图像进行边缘点检测,这里边缘点定义为两个相邻点的像素值不相等的点;
步骤4:对于每个边缘点,找到包含这个边缘点的像素值连续为1纵向和横向直线段,令纵向和横向直线段中较短的一个的中点为骨架点;
步骤5:删除每个骨架点的一定半径内包含的其它骨架点,这里半径值取1,如果一个骨架点已经被删除,在后续步骤中将不再扫描它。
上面所述的图像特征点提取方法的步骤2中所述的二值化方法的具体计算步骤如下:
步骤21:假设图像有n个像素点,将图像所有像素点的灰度值进行排序得到c1≤c2≤,…,≤cn;
步骤22:令xi=i且yi=ci,这里i=1,2,…,n;令t=c1;
步骤23:对于i=1,2,…,n:计算点(xi,yi)到某个直线的距离di,这里所指的直线由点(x1,y1)和点(xI,yI)确定;
步骤24:令j=1;令I=min{i|ci>0};令tj=cI;令rj=(n-I)/n;
步骤25:对于j=2,3:令tj=cI,rj=(n-I)/n;
步骤26:对于j=3,2,1:如果rj大于某个预先设定的阈值r,这里取r=2%,则令t=tj;
步骤27:对于i=1,2,…,n:如果ci≥t,令bi=1;否则,令bi=0;这里b1,b2,…,bn表示图像二值化后各点的像素值。
基于实施例1描述的方法设计了符号识别程序,并对GREC2003图像库(http:// www.iapr-tc10.org)进行了实验,共测试了6900幅图像,另外,用其它两种特征提取方法代替实施1采用的特征提取方法进行了对比实验,这两种特征提取方法分别为【杨夙:一种通用的用于符号识别的特征描述方法,发明专利,授权时间:2008年2月6日,授权国别:中国,授权号:200410016733.0】和【S.Belogie,J.Malik,J.Puzicha:“Shape matching andobject recognition using shape contexts,IEEE Transactions on Pattern Analysisand Machine Intelligence”,Volume 24,pp.509-52,2002】。实验结果中,PLC和SC分别代表上述两种特征提取方法,SSC代表实施例1采用的特征提取方法,实验结果如下:
表1:理想图像的识别率(%)(50种模型;级别1:5种符号,5幅图像;级别2:20种符号,20幅图像;级别3:50种符号,50种图像)
PLC | SSC | SC | |
级别1 | 100 | 100 | 100 |
级别2 | 100 | 100 | 100 |
级别3 | 100 | 100 | 100 |
表2:旋转和伸缩图像的识别率(%)(50种模型;级别1:5种符号,25幅图像;级别2:20种符号,100幅图像;级别3:50种符号,250幅图像)
表3:变形图像的识别率(%)(50种模型;级别1:5种符号,25幅图像;级别2:15种符号,75幅图像)
表4:噪声干扰下图像识别率(%)(级别1:5种模型,5种符号,25幅图像;级别2:20种模型,20种符号,100幅图像;级别3:50种模型,50种符号,250幅图像)
表5:噪声和变形同时出现时的图像识别率(%)(15种模型,15种符号,75幅图像)
Claims (1)
1.一种用于图像匹配、识别、检索的点集合匹配的校正方法,其特征在于包含邻接矩阵计算和图论中最大团问题近似求解两个部分;其中:
所述的邻接矩阵计算的步骤如下:
(a)假设两个点集合P={P1,P2,…,Pm}和Q={Q1,Q2,…,Qm}之间初始的匹配关系为 将邻接矩阵初始化为C={cij=0|i,j=1,2,…,m};
(b)计算F={rij=d(Pi,Pj)/d(Qi,Qj)|i,j=1,2,…,m;i≠j};这里d(Pi,Pj)表示点Pi和点Pj之间的欧几里得距离、d(Qi,Qj)表示点Qi和点Qj之间的欧几里得距离;
(c)将{rij=d(Pi,Pj)/d(Qi,Qj)|i,j=1,2,…,m;i≠j}按照从小到大的次序排序得到R1≤R2≤…≤Rm(m-1);将Rk在F中的位置记录为S[k]∈{(i,j)|i,j=1,2,…,m;i≠j},k=1,2,…,m(m-1);这里,Rk=rij时,k是Rk的下标,(i,j)是rij的下标,S[k]记录了下标之间的对应关系,如此记录可得到{R1,R2,…,Rm(m-1)}与{rij|i,j=1,2,…,m;i≠j}的成员之间的一一对应关系;
(d)将R1≤R2≤…≤Rm(m-1)分段,分段方法如下:如果存在n-1段,其边界对应的下标为I[1]=1,I[2],I[3],…,I[n-1],I[n]=m(m-1)且满足条件RI[i]/RI[i+1]>t∧RI[i]/RI[i+1]+1≤t,这里i=1,2,…,n-1,t是一个接近1的阈值,则以I[1]=1,I[2],I[3],…,I[n-1],I[n]为边界进行分段;
(e)从上述步骤得到的对R1≤R2≤…≤Rm(m-1)的n-1个分段中找到最长的一段,其在n-1个分段中的对应次序为提取该段在F中的对应下标{S[k]|k=I[i*],I[i*]+1,…,I[i*+1]};
(f)令步骤(a)中邻接矩阵的取值为{cS[k]=1|k=I[i*],I[i*]+1,…,I[i*+1]};这里,S[k]的定义见步骤(c);
所述的图论中最大团问题近似求解的计算步骤如下:
(A)将一个完全图的所有节点的下标的集合初始化为Θ={1,2,…,m};将噪声节点对应的下标的集合初始化为空集合Ψ=Φ,将噪声节点之外的剩余节点的集合初始化为Ω=Θ;
(B)设置计数器用于记录有多少节点和节点i相连接;
(C)对于i=1,2,…,m:如果vi=0,将节点i加入噪声节点的集合,即Ψ∪{i}→Ψ;同时将节点从剩余节点的集合Ω中删除,即Ω-{i}→Ω;
(D)如果vi=vj对任意的i≠j都成立,这里i∈Ω且j∈Ω,则将中下标为Ω所包含元素的对应匹配点对输出并退出;否则转到步骤(E);
(E)找到Ω中具有最小连接边数的节点令Ψ∪{i′}→Ψ且Ω-{i′}→Ω;找到与节点i′连接的节点,即Γ={j|ci′j=1;j=1,2,...,m};对于j∈Γ,令vj-1→vj;转到步骤(D)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310688861.9A CN103679201B (zh) | 2013-12-14 | 2013-12-14 | 一种用于图像匹配、识别、检索的点集合匹配的校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310688861.9A CN103679201B (zh) | 2013-12-14 | 2013-12-14 | 一种用于图像匹配、识别、检索的点集合匹配的校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103679201A CN103679201A (zh) | 2014-03-26 |
CN103679201B true CN103679201B (zh) | 2017-01-11 |
Family
ID=50316689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310688861.9A Expired - Fee Related CN103679201B (zh) | 2013-12-14 | 2013-12-14 | 一种用于图像匹配、识别、检索的点集合匹配的校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103679201B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109117854B (zh) * | 2018-07-25 | 2021-01-29 | 北京达佳互联信息技术有限公司 | 关键点匹配方法、装置、电子设备以及存储介质 |
CN113343017B (zh) * | 2021-06-10 | 2022-12-02 | 浙江大华技术股份有限公司 | 图像特征点相似度的确定方法及装置 |
CN116309039A (zh) * | 2022-11-25 | 2023-06-23 | 深圳先进技术研究院 | 一种x光图像智能拼接方法、存储介质和处理器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6526170B1 (en) * | 1993-12-14 | 2003-02-25 | Nec Corporation | Character recognition system |
CN1506903A (zh) * | 2002-12-06 | 2004-06-23 | 中国科学院自动化研究所 | 基于模板学习的自动指纹识别***和方法 |
-
2013
- 2013-12-14 CN CN201310688861.9A patent/CN103679201B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6526170B1 (en) * | 1993-12-14 | 2003-02-25 | Nec Corporation | Character recognition system |
CN1506903A (zh) * | 2002-12-06 | 2004-06-23 | 中国科学院自动化研究所 | 基于模板学习的自动指纹识别***和方法 |
Non-Patent Citations (1)
Title |
---|
基于二维近邻保持嵌入的图像识别;张大明;《模式识别与人工智能》;20111231;第24卷(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN103679201A (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | Dual-clustering-based hyperspectral band selection by contextual analysis | |
Aldoma et al. | Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation | |
Wang et al. | Motionlets: Mid-level 3d parts for human motion recognition | |
Tuia et al. | Semisupervised manifold alignment of multimodal remote sensing images | |
Raviv et al. | Full and partial symmetries of non-rigid shapes | |
CN103679200A (zh) | 一种用于图像匹配、识别、检索的频域形状描述方法 | |
Yang et al. | Dual-geometric neighbor embedding for image super resolution with sparse tensor | |
Jia et al. | A multiscale superpixel-level group clustering framework for hyperspectral band selection | |
Pickup et al. | Euclidean-distance-based canonical forms for non-rigid 3D shape retrieval | |
Lei et al. | Orthogonal locally discriminant spline embedding for plant leaf recognition | |
CN103473545A (zh) | 一种基于多特征的文本图像相似度度量方法 | |
Liao et al. | Feature matching and position matching between optical and SAR with local deep feature descriptor | |
CN103679201B (zh) | 一种用于图像匹配、识别、检索的点集合匹配的校正方法 | |
CN112381144A (zh) | 非欧与欧氏域空谱特征学习的异构深度网络方法 | |
Liu et al. | Motion consistency-based correspondence growing for remote sensing image matching | |
Haque et al. | Plant recognition system using leaf shape features and Minimum Euclidean distance. | |
Haindl et al. | Model-based texture segmentation | |
He et al. | Beyond ${\chi^ 2} $ Difference: Learning Optimal Metric for Boundary Detection | |
Tu et al. | Texture pattern separation for hyperspectral image classification | |
Akagündüz et al. | 3D object recognition from range images using transform invariant object representation | |
CN113887656B (zh) | 一种联合深度学习与稀疏表示的高光谱图像分类方法 | |
Wang et al. | Unified detection of skewed rotation, reflection and translation symmetries from affine invariant contour features | |
Ahmad et al. | Robust detection and affine rectification of planar homogeneous texture for scene understanding | |
Santellani et al. | Md-net: Multi-detector for local feature extraction | |
Astono et al. | [Regular Paper] Adjacent Network for Semantic Segmentation of Liver CT Scans |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190704 Address after: Room 1103, Building 21, 39 Jibang Road, Zhongming Town, Shanghai 202163 Patentee after: SHANGHAI JILIAN NETWORK TECHNOLOGY Co.,Ltd. Address before: 200433 No. 220, Handan Road, Shanghai, Yangpu District Patentee before: Fudan University |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170111 Termination date: 20211214 |