CN114445470A - 一种基于dfs由粗到细的图像配准方法、***、终端及可读存储介质 - Google Patents
一种基于dfs由粗到细的图像配准方法、***、终端及可读存储介质 Download PDFInfo
- Publication number
- CN114445470A CN114445470A CN202210060743.2A CN202210060743A CN114445470A CN 114445470 A CN114445470 A CN 114445470A CN 202210060743 A CN202210060743 A CN 202210060743A CN 114445470 A CN114445470 A CN 114445470A
- Authority
- CN
- China
- Prior art keywords
- matching
- smld
- linear
- point
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 210000004027 cell Anatomy 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 6
- 210000000712 G cell Anatomy 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于DFS由粗到细的图像配准方法、***、终端及可读存储介质，该方法包括：获取待匹配的两幅图像的图像特征点，再生成线性描述符sMLD以及划分长线段、短线段；基于长线段进行粗匹配得到匹配点对，即先确定初始匹配点对；再将初始匹配点对作为粗匹配路径起点，在长线段范围内以相似度为依据依次确定粗匹配路径上的其他对匹配点对；基于短线段进行精匹配，即将粗匹配得到的匹配点对作为当前点对，在短线段范围内以相似度为依据依次确定精匹配路径上的匹配点对；基于精匹配确定的匹配点对计算局部单应矩阵，其表示两幅图像的配准信息。本发明该方法相比于其它配准方法在配准精度和配准效率均具有极大优势。
Description
技术领域
本发明属于图像拼接技术领域，具体涉及一种基于DFS由粗到细的图像配准方法、***、终端及可读存储介质。
背景技术
图像配准一般被分为特征提取以及特征匹配两个过程。其特征提取又包含特征检测与生成描述子。经典特征提取方法是对特征点邻域信息进行统计，为有效表达尺度和方向等信息，其特征描述通常较复杂。
在特征匹配阶段，通常从直接匹配和间接匹配两个思想上进行。直接匹配是将特征匹配的问题转化称为两个点集对应的问题，以此来估计点与点之间的对应关系；间接匹配通过几何条件建立对应的关系再进行错误项的剔除，其现有技术受尺度和仿射变换的影响很大。
MLD特征(由Shi等人提出，检测器检测到的特征点都会通过线段与多个特征点相连)。相比于其它经典点特征，MLD特征具有更强的鲁棒性。在MLD特征中，一张图像上任意一个特征点能够和所有其它特征点进行连线，因此存在一个弊端：点特征通过提取特征点邻域信息构建描述子，实际上特征点的数量决定描述子的数量，而线型特征不同于点特征，特征点相互连线，描述子数量将会高出指数等级。假定特征点有N个，则存在N(N-1)/2根线段，即同样数量的描述子。为解决时间复杂度过高的问题，有人提出了对MLD特征对中特征点之间连线的长度进行限制，可以使得每个特征点平均只连接上C根线段，其中C是一个常数，因此实际获得C×N个二进制描述子。范围限制得越小，则C值越小，越少的特征描述子利于减少存储占用，以及提高匹配效率，与此同时，约束线段长度的范围也意味着约束特征的尺度不变性。然而，MLD特征存在特征孤岛的现象，对匹配算法的有效性造成一定影响，配准精度还有提升空间。
综上，基于图理论的特征点匹配方法结合了全局相似性对特征进行划分并配对，具有较高的计算复杂度，而且存在特征孤岛的现象，影响着匹配算法的有效性导致匹配还有待进一步提高。
发明内容
本发明针对基于MLD特征的配准精度问题，提供一种基于DFS(Depth-First-Search，深度优先搜索)由粗到细的图像配准方法、***、终端及可读存储介质，所述方法通过划长短线段，在粗匹配阶段生成网状拓扑结构，使用“长线段”筛选特征；在精匹配阶段，使用“短线段”筛选特征，提高了配准精度。
一方面，本发明提供的一种基于DFS由粗到细的图像配准方法，其包括以下步骤：
步骤S1：获取待匹配的两幅图像的图像特征点，再生成线性描述符sMLD以及划分长线段、短线段；
其中，将一副图像中一个图像特征点与其他图像特征点之间用线段连接，再生成对应线性描述符sMLD以及基于线段长度划分长线段和短线段；
步骤S2：基于长线段进行粗匹配得到匹配点对，其中，确定初始匹配点对；再将所述初始匹配点对作为粗匹配路径起点，在长线段范围内以相似度为依据依次确定粗匹配路径上的其他对匹配点对，所述相似度表示两幅图像上两个线性描述符sMLD的相似程度；
步骤S3：基于短线段进行精匹配，其中，将粗匹配得到的匹配点对作为当前点对，在短线段范围内以相似度为依据依次确定精匹配路径上的匹配点对；
步骤S4：基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
本发明提供的所述图像配准方法是图像拼接的前期准备工作，待配准的两幅图像必然是存在连续相邻关系的。本发明根据线段长度划分长线段、短线段的线性描述符sMLD，并将其分别应用于粗匹配、精匹配过程，不同于现有MLD特征仅保留线段长度满足线段长度参数(Lmin,Lmax)的线段，本发明充分利用长、短线段的数据特性，可以提升配准精度以及配准效率。
可选地，将线段长度L满足：L∈(l1,l2)的线性描述符sMLD视为长线段，将线段长度L满足：L＜lmin的线性描述符sMLD视为短线段，其中，lmin＜＜l1，l1,l2，lmin均为预设的线段长度划分边界值。
可选地，所述方法还包括：将图像划分为G×G个单元格，单元格的边长介于l1,lmin之间，并在步骤S3中以相似度为依据确定匹配点对之后，还执行：利用GMS校验原则对匹配点对中的匹配点进行校验，筛选掉结果为F的单元格中的所有匹配点，校验过程表示为：
式中，i,j分别表示图像Image1上单元格i和图像Image2上的单元格j，Sij为单元格i和单元格j的匹配统计指标，ik、jl分别为单元格i、单元格j的邻域单元格，i5、j5对应单元格i和单元格j，k和j表示邻域，χikχjl分别表示单元格ik、jl之间存在的匹配点对数量，l表示邻域上标，τi为校验中心单元格中匹配点的阈值，α为常数，ni为单元格内匹配点对的平均值。
其中，α越大越能确保可靠地拒绝大量错误的匹配点对，譬如α＝6。待配准的两图中对应单元格被判定为F时，视为单元格内的匹配点并不准确，因此剔除两图中对应单元格内所有匹配点。其中，单元格特征数量的平均值ni可以是所有邻域单元格内匹配点对数量的平均值或者单元格i的所有邻域单元格内匹配点对数量的平均值或者其他设置。
本发明划分单元格，会使得图像匹配过程中能够充分利用图结构来加速匹配，尤其是，长线段能够跨越网格搜索匹配点；短线段实现在网格内搜索，提升局部单应性矩阵的计算精度。
可选地，步骤S2中粗匹配的实现过程为：
S2-1：分别计算图像Image1上每个图像特征点对应的线性描述符sMLD与图像Image2上每个图像特征点对应的线性描述符sMLD之间的相似度；
S2-2：选择相似度最高的一对线性描述符sMLD，依据其对应的图像特征点选择初始匹配点对；其中，相似度最高的一对线性描述符sMLD两端中任一端的端点作为两个图的初始匹配点对；
S2-3：以初始匹配点对作为粗匹配路径起点，针对在图像Image1上当前匹配点的每个线性描述符sMLD，分别计算其与图像Image2上当前匹配点的所有线性描述符sMLD之间的相似度，删除不满足预设相似度条件的图像Image1上的线性描述符sMLD；针对在图像Image2上当前匹配点的每个线性描述符sMLD，分别计算其与图像Image1上当前匹配点的所有线性描述符sMLD的相似度，删除不满足预设相似度条件的图像Image2上的线性描述符sMLD；以及删除不属于长线段的线性描述符sMLD；
S2-4：基于图像Image1和图像Image2中当前匹配点剩下的线性描述符sMLD中选择相似度最高的一对线性描述符sMLD作为最优路径，将所述最优路径的另一端点作为下一个匹配点，再按照步骤S2-3以及S2-4的方式得到粗匹配路径上的所有匹配点对。
其中，预设相似度条件是以线性描述符sMLD之间的汉明距离与预设阈值的大小进行设定，譬如，图像Image1的线性描述符sMLD与图像Image2上当前匹配点的所有线性描述符sMLD之间汉明距离均大于阈值，视为不满足；或者部分数量的汉明距离均大于阈值，视为不满足。
可选地，步骤S3中精匹配的实现过程为：
步骤S3-1：将粗匹配得到的匹配点对作为当前点对，并将当前点对的短线段保留，其他长度的线段予以剔除；
步骤S3-2：针对每一组当前点对，分别计算其关联的线性描述符sMLD之间的相似度，选择相似度最高的一对线性描述符sMLD所在线路作为最优路径，并确定下一个匹配点，循环搜索得到精匹配路径上的所有匹配点对。
可选地，若将图像划分为G×G个单元格，单元格的边长介于l1,lmin之间，步骤S3中精匹配的实现过程还包括：
在步骤S3-2的搜索过程中删除超过单元格界限的端点，或者针对步骤S3-2中每一组当前点对的精匹配路径上的所有匹配点对，删除双图上超过单元格界限的端点，再将剩余匹配点对作为当前点对，按照步骤S3-1以及S3-2的方式进行双图深度优先搜索，直至在单元格内搜索出所有的匹配点对。
可选地，步骤S4中采用最小外接凸四边形原理选出四个匹配点，再计算局部单应矩阵；
其中，获取包含所有匹配点的最小外接凸四边形，再选取所述最小外接凸四边形中的4个最***匹配点计算单应性矩阵。
第二方面，本发明提供的一种基于上述图像配准方法的***，其包括：
图像特征点获取模块，用于获取待匹配的两幅图像的图像特征点；
线性描述符sMLD生成模块，基于图像特征点生成线性描述符sMLD；
长短线划分模块，用于划分长线段、短线段的线性描述符sMLD；
粗匹配模块，基于长线段进行粗匹配得到匹配点对；
精匹配模块，基于短线段进行精匹配，确定精匹配路径上的匹配点对；
局部单应矩阵计算模块，基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
第三方面，本发明提供一种终端，其包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用所述计算机程序以实现：
一种基于DFS由粗到细的图像配准方法的步骤。
第四方面，本发明提供一种可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：
一种基于DFS由粗到细的图像配准方法的步骤。
有益效果
本发明提供的一种基于DFS由粗到细的图像配准方法，其根据线段长度划分长线段、短线段的线性描述符sMLD，并将其分别应用于粗匹配、精匹配过程，不同于MLD特征仅保留线段长度满足线段长度参数(Lmin,Lmax)的线段，本发明充分利用长、短线段的数据特性，可以提升配准精度以及配准效率。
进一步的优选方案中，本发明对图像进行网格划分，使得长线段能够跨越网格搜索匹配点；短线段实现在网格内搜索，在图像匹配过程中能够充分利用图结构来加速匹配，同时与长短线段相结合，提升搜索精度，进而提高配准结果的精度。
进一步的优选方案中，本发明还将图像网格与GMS校验原则相结合，进一步对精配准的结果进行筛选，保证配准精度。
附图说明
图1表示本发明实施例1提供的所述图像配准方法的实施流程图；
图2是sMLD模型示意图；
图3表示线型描述符构成网状拓扑结构示意图；
图4表示本发明提出的sMLD特征中端点与描述符的关系；
图5为汉明距离计算规则；
图6表示本发明提出的粗匹配算法示意图；
图7表示本发明提出的精匹配寻优示意图；
图8表示GMS网格分数评估示意图；
图9表示本发明提出的最小外接凸四边形原则原理图。
具体实施方式
本发明提供的一种基于DFS由粗到细的图像配准方法，其通过改进sMLD特征，划分长短线段的线性描述符sMLD，更为精确的实现了配准点的搜索，既提升了配准精度又提升了配准效率。尤其是，本发明对图像进行网格划分，一方面优选引入GMS校验原则对精配准结果进一步筛选，最终提升配准精度，二方面，长短线段与网格相结合，使得长线段能够跨越网格搜索匹配点；短线段实现在网格内搜索，在图像匹配过程中能够充分利用图结构来加速匹配以及提高配准精度。下面将结合实施例对本发明做进一步的说明。
实施例1：
如图1所示，本发明实施例提供的一种基于DFS由粗到细的图像配准方法，其包括以下步骤：
步骤1：获取待匹配的两幅图像的图像特征点，再生成线性描述符sMLD以及划分长线段、短线段。
Shi等人提出一幅图像中特征点彼此相连形成的线段为MLD特征，本发明改进MLD特征提出了sMLD特征，其相较于MLD特征仅保留在线长范围(Lmin,Lmax)＝(128,256)之内的特征，本发明将线长范围L∈(l1,l2)的线型描述符称为“长线段”，用于匹配算法中跨越网格；搜索匹配点；线长范围L＜lmin的线型描述符称为“短线段”，主要用于匹配算法中进行网格内搜索，提升局部单应性矩阵的计算精度。其中，lmin＜＜l1，l1,l2，lmin的具体数值是根据大小、实验以及精度要求等多方面进行选择的。
如图2，使用FAST角点检测算法分别检测出两幅图像中的特征点，通过线段将多个特征点相连，相连后形成的网状拓扑结构如下图2的(a)所示。sMLD特征是指在一幅图像中一个特征点与其他特征点相连形成的多重线性描述特征，下图2的(b)所示,针对每一个sMLD线性描述符，假设线段长度为L，获得n+1个等分点Pr(r＝0,1,2,…,n)。计算每个等分点邻域a×a大小图像块的总像素强度值，其中图像块边长a和线长L满足线性关系
最后，对比P0到Pn相邻图像块总像素强度值大小，若后者大于前者则置1，否则置0，最终每条线段能得到一个n维的二进制描述符。基于两个n维的二进制描述符可以计算相似距离，本实施例选择汉明距离表征相似度，汉明距离越小对应相似程度越高，其中汉明距离的计算规则如图5所示，汉明距离是计算两个向量之间不同值的个数，它通常用于比较两个相同长度的二进制描述符，通过计算汉明距离可以比较两个二进制描述符的相似程度。
综上所述，一幅图像上两个图像特征点用线段相连形成一个线性描述符sMLD，每个图像特征点关联着常数数量的线性描述符sMLD。如图3所示，本实施例中sMLD特征描述算法得到的特征信息是按照图结构进行存储的，因此特征匹配无需穷举或者反复迭代，可以通过局部寻优算法来提高匹配的效率。
步骤2：将图像划分为G×G个不重叠单元格。通过单元格划分可以使得图像匹配过程中能够充分利用图结构来加速匹配，利用长短线段可以实现单元格中跨区域的搜索。
步骤3：粗匹配：基于长线段进行粗匹配得到匹配点对。具体如下：
A：分别计算图像Image1上每个图像特征点对应的线性描述符sMLD与图像Image2上每个图像特征点对应的线性描述符sMLD之间的相似度。
S2-2：选择相似度最高的一对线性描述符sMLD，依据其对应的图像特征点选择初始匹配点对。
假设Image1中共有m个特征点，Image2中共有n个特征点，每个特征点都连接常数数量个线性描述符，分别计算Imgae1中与m个特征点连接的多条线性描述符与Image2中n个特征点相连接的多条线性描述符之间的汉明距离(暴力匹配)，依照汉明距离的大小进行排序，获取相似程度最高的一对线性描述符，该线性描述符对应的图像特征点即为初始的一对正确匹配点。
S2-3：以初始匹配点对作为粗匹配路径起点，针对在图像Image1上当前匹配点的每个线性描述符sMLD，分别计算其与图像Image2上当前匹配点的所有线性描述符sMLD的相似度，删除不满足预设相似度条件的图像Image1上的线性描述符sMLD；针对在图像Image2上当前匹配点的每个线性描述符sMLD，分别计算其与图像Image1上当前匹配点的所有线性描述符sMLD的相似度，删除不满足预设相似度条件的图像Image2上的线性描述符sMLD；以及删除不属于长线段的线性描述符sMLD；
S2-4：图像Image1和图像Image2中当前匹配点剩下的线性描述符sMLD中选择相似度最高的一对线性描述符sMLD作为最优路径，将所述最优路径的另一端点作为下一个匹配点，再按照步骤S2-3以及S2-4的方式得到粗匹配的所有匹配点对。
以图6中(a)为例进行说明，①中第一对初始匹配点(中间点)为当前sMLD特征点对，在图像Image1和图像Image2中分别连上了6个和7个线型描述符。图像Image1中初始匹配点连接6个线性描述符中，依次取每一个线性描述符与图像Image2中的7个线性描述符计算汉明距离，若汉明距离均大于设定的阈值thr，则剔除图像Image1中该线性描述符，①中灰色线段为汉明距离不满足阈值条件剔除的线性描述符，通过此条件剔除Image1中2个线性描述符。同理，在图像Image2中初始匹配点连接7个线性描述符中，依次取每一个线性描述符与图像Image1中的6个线性描述符计算汉明距离，若汉明距离均大于设定的阈值thr，则剔除图像Image2中该线性描述符，图中灰色线段为汉明距离不满足条件剔除的线性描述符，通过此条件剔除Image2中3个线性描述符。
部分线型描述符(叉)不满足L∈(l1，l2)，无法实现跨域网格，因此同样被剔除。在图中表示为，图像Image1剔除1个线性描述符，图像Image2剔除1个线性描述符。
依据汉明距离和长线段限制进行线性描述符剔除后，在初始特征点连接的线段中，Image1保留3个线性描述符，Image2保留3个线性描述符。然后再对该点对所保留的线性描述符在两幅图像中分别计算汉明距离，选取相似度最高的一对线性描述符作为最优路径，线段另一端所对应的端点成为新的当前sMLD匹配点(橙色点)，使得sMLD匹配点在两张图中进行转移。
如图5所示，粗匹配中是通过“长线段”寻找，所以“定位点”均匀分布于大多数的网格中。精匹配是对单元格进行精确搜索，它的作用是获取更为准确的局部单应性矩阵。
步骤4：精匹配：基于短线段进行精匹配。如图7中的(b)所示，从Image2提取一个单元格进行精细匹配，实现过程如下：
A：首先将粗匹配找到的“匹配点对”作为当前点对，对距离范围在“短线段”内的线段予以保留，其它长度的线段则剔除。
B：对该点对在两幅图像之间所关联的多个线型描述符的集合分别计算汉明距离。即针对每一组当前点对，分别计算其关联的线性描述符sMLD之间的相似度，选择相似度最高的一对线性描述符sMLD所在线路作为最优路径，并确定下一个匹配点，循环搜索得到每一点对的精匹配路径上的所有匹配点对。
C：对sMLD匹配点进行深入搜索时，若部分端点坐标位置会超出网格界限，则剔除此端点，再将剩余匹配点对作为当前点对，按照步骤S3-1以及S3-2的方式进行双图深度优先搜索，直至在单元格内搜索出所有的匹配点对。
其中，本实施例在进行深入搜索时，为确保位于网格边缘的特征点能正确匹配，搜索过程的网格数量限制放宽一些，如图7的(c)所示。若部分端点坐标位置超出网格界限，则剔除此端点，再次进行双图深度优先搜索，直至在单元格内搜索出所有的匹配点对。其中，针对超过网格接界限的端点不参与该单元网格内匹配点搜索。其他实施例中，也可以选择在步骤S3-2的搜索过程中删除超过单元格界限的端点。
D：利用GMS校验原则对匹配点对中的匹配点进行校验，筛选掉结果为F的单元格中的所有匹配点。
如图8所示，校验单元格i5和j5是否匹配，需要判断其邻域(邻域为该单元格附近的八个邻域)是否匹配，本发明将邻域单元格ik和jl(l＝1,2,...,9)中匹配数量最大值作为统计指标，然后通过统计指标来判别单元格i5和j5是否匹配。
步骤5：基于精匹配确定的匹配点对，获取包含所有匹配点的最小外接凸四边形，再选取所述最小外接凸四边形中的4个最***匹配点计算单应性矩阵，矩形面积在原图像面积中的占比越大，后续图像配准的精度则越高。实验证明存在一个能包含所有特征点的最小外接凸四边形，故取构成这个矩形的4个最***特征点计算单应性矩阵。
应当理解，图像拼接的本质是利用单应性矩阵进行像素坐标位置的变换，因此，得到的单应性矩阵为两幅图像的配准信息。
如图9所示，设矩形C1C2C3C4是一个中点为O的待配准图像，图像中有两组特征点A1A2A3A4和B1B2B3B4分别连接构成两个四边形，计算单应性矩阵为HA和HB。左图放大至右图，设ABC点分别代表A2B2C2原本通过单应性矩阵会变换到的位置。假设此时引入一定的计算误差。通过单应性矩阵HA进行透视变换，点A2偏移到点D，点C2偏移到点G；而若通过单应性矩阵HB进行透视变换，则点B2偏移到点E，点C2偏移到点F。对于图像C1C2C3C4而言，通过特征点B1B2B3B4计算出的单应性矩阵比A1A2A3A4计算出的具有更强的抗干扰能力，令图像配准更加精确。用于计算单应性矩阵的4个特征点，所构成四边形的面积在图像中占比越大，配准准确性越高。由此可知，本发明使用最小外接凸四边形方法能够提高配准精度。
综上所述，本实施例提供的图像配准方法在改进了sMLD特征的基础上，还进行了网格处理、引入了GMS校验等，故本实施例所述图像配准方法视为本发明的最佳实施例，但并未唯一实现方式。应当理解，在不脱离本发明构思的基础上，即改进sMLD特征的基础上，对配准方法进行其他方面优化或者删减部分技术点也是属于本发明的保护范围。
实施例2：
本实施例提供一种基于图像配准方法的***，其包括：
图像特征点获取模块，用于获取待匹配的两幅图像的图像特征点；
线性描述符sMLD生成模块，基于图像特征点生成线性描述符sMLD；
长短线划分模块，用于划分长线段、短线段的线性描述符sMLD；
粗匹配模块，基于长线段进行粗匹配得到匹配点对；
精匹配模块，基于短线段进行精匹配，确定精匹配路径上的匹配点对；
局部单应矩阵计算模块，基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
其中，各个功能模块单元的实现过程可以参照对应方法的描述。
上述功能模块单元的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例3：
本实施例提供一种终端，其包括一个或多个处理器以及存储了一个或多个计算机程序的存储器，所述处理器调用所述计算机程序以实现：
步骤S1：获取待匹配的两幅图像的图像特征点，再生成线性描述符sMLD以及划分长线段、短线段；
步骤S2：基于长线段进行粗匹配得到匹配点对，其中，确定初始匹配点对；再将所述初始匹配点对作为粗匹配路径起点，在长线段范围内以相似度为依据依次确定粗匹配路径上的其他对匹配点对，所述相似度表示两幅图像上两个线性描述符sMLD的相似程度；
步骤S3：基于短线段进行精匹配，其中，将粗匹配得到的匹配点对作为当前点对，在短线段范围内以相似度为依据依次确定精匹配路径上的匹配点对；
步骤S4：基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
譬如，可以按照实施例1的具体实现方式。
该终端还包括：通信接口，用于与外界设备进行通信，进行数据交互传输。
其中，存储器可能包含高速RAM存储器，也可能还包括非易失性除颤器，例如至少一个磁盘存储器。
如果存储器、处理器和通信接口独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构总线，外部设备互联总线或扩展工业标准体系结构总线等。所述总线可以分为地址总线、数据总线、控制总线等。
可选的，在具体实现上，如果存储器、处理器和通信接口集成在一块芯片上，则存储器、处理器即通信接口可以通过内部接口完成相互之间的通信。
各个步骤的具体实现过程请参照前述方法的阐述。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例4：
本实施例提供一种可读存储介质，其存储了计算机程序，计算机程序被处理器调用以实现：
步骤S1：获取待匹配的两幅图像的图像特征点，再生成线性描述符sMLD以及划分长线段、短线段；
步骤S2：基于长线段进行粗匹配得到匹配点对，其中，确定初始匹配点对；再将所述初始匹配点对作为粗匹配路径起点，在长线段范围内以相似度为依据依次确定粗匹配路径上的其他对匹配点对，所述相似度表示两幅图像上两个线性描述符sMLD的相似程度；
步骤S3：基于短线段进行精匹配，其中，将粗匹配得到的匹配点对作为当前点对，在短线段范围内以相似度为依据依次确定精匹配路径上的匹配点对；
步骤S4：基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
譬如，可以按照实施例1的具体实现方式。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。
Claims (10)
1.一种基于DFS由粗到细的图像配准方法，其特征在于：包括以下步骤：
步骤S1：获取待匹配的两幅图像的图像特征点，再生成线性描述符sMLD以及划分长线段、短线段；
其中，将一副图像中一个图像特征点与其他图像特征点之间用线段连接，再生成对应线性描述符sMLD以及基于线段长度划分长线段和短线段；
步骤S2：基于长线段进行粗匹配得到匹配点对，其中，确定初始匹配点对；再将所述初始匹配点对作为粗匹配路径起点，在长线段范围内以相似度为依据依次确定粗匹配路径上的其他对匹配点对，所述相似度表示两幅图像上两个线性描述符sMLD的相似程度；
步骤S3：基于短线段进行精匹配，其中，将粗匹配得到的匹配点对作为当前点对，在短线段范围内以相似度为依据依次确定精匹配路径上的匹配点对；
步骤S4：基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
2.根据权利要求1所述的方法，其特征在于：将线段长度L满足L∈(l1,l2)的线性描述符sMLD视为长线段，将线段长度L满足L＜lmin的线性描述符sMLD视为短线段，其中，lmin＜＜l1，l1,l2，lmin均为预设的线段长度划分边界值。
3.根据权利要求1所述的方法，其特征在于：所述方法还包括：将图像划分为G×G个单元格，单元格的边长介于l1,lmin之间，并在步骤S3中以相似度为依据确定匹配点对之后，还执行：利用GMS校验原则对匹配点对中的匹配点进行校验，筛选掉结果为F的单元格中的所有匹配点，校验过程表示为：
式中，i,j分别表示图像Image1上单元格i和图像Image2上的单元格j，Sij为单元格i和单元格j的匹配统计指标，ik、jl分别为单元格i、单元格j的邻域单元格，i5、j5对应单元格i和单元格j，k和j表示邻域，χikχjl分别表示单元格ik、jl之间存在的匹配点对数量，l表示邻域上标，τi为校验中心单元格中匹配点的阈值，α为常数，ni为单元格内匹配点对数量的平均值。
4.根据权利要求1所述的方法，其特征在于：步骤S2中粗匹配的实现过程为：
S2-1：分别计算图像Image1上每个图像特征点对应的线性描述符sMLD与图像Image2上每个图像特征点对应的线性描述符sMLD之间的相似度；
S2-2：选择相似度最高的一对线性描述符sMLD，依据其对应的图像特征点选择初始匹配点对；
S2-3：以初始匹配点对作为粗匹配路径起点，针对在图像Image1上当前匹配点的每个线性描述符sMLD，分别计算其与图像Image2上当前匹配点的所有线性描述符sMLD之间的相似度，删除不满足预设相似度条件的图像Image1上的线性描述符sMLD；针对在图像Image2上当前匹配点的每个线性描述符sMLD，分别计算其与图像Image1上当前匹配点的所有线性描述符sMLD的相似度，删除不满足预设相似度条件的图像Image2上的线性描述符sMLD；以及删除不属于长线段的线性描述符sMLD；
S2-4：基于图像Image1和图像Image2中当前匹配点剩下的线性描述符sMLD中选择相似度最高的一对线性描述符sMLD作为最优路径，将所述最优路径的另一端点作为下一个匹配点，再按照步骤S2-3以及S2-4的方式得到粗匹配路径上的所有匹配点对。
5.根据权利要求1所述的方法，其特征在于：步骤S3中精匹配的实现过程为：
步骤S3-1：将粗匹配得到的匹配点对作为当前点对，并将当前点对的短线段保留，其他长度的线段予以剔除；
步骤S3-2：针对每一组当前点对，分别计算其关联的线性描述符sMLD之间的相似度，选择相似度最高的一对线性描述符sMLD所在线路作为最优路径，并确定下一个匹配点，循环搜索得到精匹配路径上的所有匹配点对。
6.根据权利要求5所述的方法，其特征在于：若将图像划分为G×G个单元格，单元格的边长介于l1,lmin之间，步骤S3中精匹配的实现过程还包括：
在步骤S3-2的搜索过程中删除超过单元格界限的端点，或者针对步骤S3-2中每一组当前点对的精匹配路径上的所有匹配点对，删除超过单元格界限的端点，再将剩余匹配点对作为当前点对，按照步骤S3-1以及S3-2的方式进行双图深度优先搜索，直至在单元格内搜索出所有的匹配点对。
7.根据权利要求1所述的方法，其特征在于：步骤S4中采用最小外接凸四边形原理选出四个匹配点，再计算局部单应矩阵；
其中，获取包含所有匹配点的最小外接凸四边形，再选取所述最小外接凸四边形中的4个最***匹配点计算单应性矩阵。
8.一种基于权利要求1-7任一项所述方法的***，其特征在于：包括：
图像特征点获取模块，用于获取待匹配的两幅图像的图像特征点；
线性描述符sMLD生成模块，基于图像特征点生成线性描述符sMLD；
长短线划分模块，用于划分长线段、短线段的线性描述符sMLD；
粗匹配模块，基于长线段进行粗匹配得到匹配点对；
精匹配模块，基于短线段进行精匹配，确定精匹配路径上的匹配点对；
局部单应矩阵计算模块，基于精匹配确定的匹配点对计算局部单应矩阵，所述局部单应矩阵为两幅图像的配准信息。
9.一种终端，其特征在于：包括：
一个或多个处理器；
存储了一个或多个计算机程序的存储器；
所述处理器调用所述计算机程序以实现：
权利要求1-7任一项所述方法的步骤。
10.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以实现：
权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210060743.2A CN114445470A (zh) | 2022-01-19 | 2022-01-19 | 一种基于dfs由粗到细的图像配准方法、***、终端及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210060743.2A CN114445470A (zh) | 2022-01-19 | 2022-01-19 | 一种基于dfs由粗到细的图像配准方法、***、终端及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114445470A true CN114445470A (zh) | 2022-05-06 |
Family
ID=81368594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210060743.2A Pending CN114445470A (zh) | 2022-01-19 | 2022-01-19 | 一种基于dfs由粗到细的图像配准方法、***、终端及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114445470A (zh) |
-
2022
- 2022-01-19 CN CN202210060743.2A patent/CN114445470A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gao et al. | ICDAR 2019 competition on table detection and recognition (cTDaR) | |
| Papazov et al. | An efficient ransac for 3d object recognition in noisy and occluded scenes | |
| CN109740606B (zh) | 一种图像识别方法及装置 | |
| CN110517262B (zh) | 目标检测方法、装置、设备及存储介质 | |
| CN110287873A (zh) | 基于深度神经网络的非合作目标位姿测量方法、***及终端设备 | |
| Türkyılmaz et al. | License plate recognition system using artificial neural networks | |
| JP2011521355A (ja) | 勾配ヒストグラムを用いた指紋表現 | |
| CN109902619B (zh) | 图像闭环检测方法及*** | |
| CN112200117A (zh) | 表格识别方法及装置 | |
| WO2023185234A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110287847A (zh) | 基于Alexnet-CLbpSurf多特征融合的车辆分级检索方法 | |
| Zheng et al. | Accelerated RANSAC for accurate image registration in aerial video surveillance | |
| CN113158777A (zh) | 质量评分方法、质量评分模型的训练方法及相关装置 | |
| CN109635755A (zh) | 人脸提取方法、装置及存储介质 | |
| Cai et al. | Vehicle Detection Based on Deep Dual‐Vehicle Deformable Part Models | |
| CN108921175A (zh) | 一种基于fast改进的sift图像配准方法 | |
| CN113361567B (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN111340139B (zh) | 一种图像内容复杂度的判别方法及装置 | |
| CN115641573B (zh) | 一种文本排序方法、装置、电子设备和存储介质 | |
| CN114445470A (zh) | 一种基于dfs由粗到细的图像配准方法、***、终端及可读存储介质 | |
| Ma et al. | A method of perceptual-based shape decomposition | |
| CN111753722B (zh) | 一种基于特征点类型的指纹识别方法及装置 | |
| Fu et al. | Pedestrian detection by feature selected self-similarity features | |
| Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
| Grosky et al. | Hierarchical approach to feature indexing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |