CN112465876A - 一种立体匹配方法及设备 - Google Patents
一种立体匹配方法及设备 Download PDFInfo
- Publication number
- CN112465876A CN112465876A CN202011458843.8A CN202011458843A CN112465876A CN 112465876 A CN112465876 A CN 112465876A CN 202011458843 A CN202011458843 A CN 202011458843A CN 112465876 A CN112465876 A CN 112465876A
- Authority
- CN
- China
- Prior art keywords
- matching
- target image
- pair
- image pair
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000009792 diffusion process Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请的目的是提供一种立体匹配方法及设备，在AKAZE算法的基础上提取目标图像对的特征点，运用M‑LDB描述子进行特征描述；然后利用LK光流法计算匹配区域进行条件约束；最后，将所述目标图像对划分为多个网格，通过FLANN算法进行特征点匹配并剔除错误匹配对，提高了立体匹配的准确性和实时性，改进后的AKAZE算法尤其是在处理模糊、亮度及旋转变化的边缘复杂的目标图像对时，提高立体匹配的准确率，并且降低了时间成本。
Description
技术领域
本申请涉及计算机领域，尤其涉及一种立体匹配方法及设备。
背景技术
现有技术中，立体匹配是双目视觉定位中的关键环节，在零件装配领域应用十分广泛，如何快速准确找到被测零件，解算出其位姿信息是待解决的一大难题。许多计算机视觉任务，例如动作识别、运动跟踪、机器人导航和视觉定位都依赖于从目标图像的不同视图提取局部特征实现匹配。
目前，对于匹配算法的研究主要分两类，一类是改进特征描述符提高性能，另一类是增加约束条件剔除误匹配点。2004年，Lowe提出SIFT算法，通过原始图像与高斯核进行卷积运算来构建尺度空间，再在高斯差分金字塔上提取出具有尺度不变性的特征点，该算法具有仿射、视角、旋转和光照不变性，因此在特征匹配方面获得了广泛的应用。2006年，Bay等人针对SIFT算法计算过程中出现的速度慢和计算量的缺点，提出了SURF算法。通过运用近似Harr小波算法进行特征点提取，在不同的尺度空间上利用积分得到近似Harr小波值，减少二阶微分模板的构建，从而提高了特征匹配的效率。这两种方法构建的高斯尺度空间都易忽略图像的边缘细节信息。2013年，Adrien Bartoli等人通过使用非线性扩散在非线性尺度空间中描述特征，从而保留图像边缘信息。提出一种新的2D特征提取方法-AKAZE描述子。2015年，Zhenfeng Shao等人利用多分辨率区域检测器MSER和光照鲁棒形状描述子从输入图像中提取局部区域进行匹配，提出了一种适用于光照变化图像的特征匹配算法。2016年邢凯盛等人通过减小抽样点总量，提出了ORB特征匹配的误匹配点提出算法。同年，Lin W Y等人针对物体重建效果差提出了一种极限引导的特征匹配器RepMatch，能够适宽基线和重复结构，然而玻璃封装电连接器图像并不适用于宽基线情况。Tang P等人通过利用独特的拓扑约束增强局部特征的描述能力，解决徽标识别问题，但是拓扑约束条件还未扩展到通用对象。2017年Bian J等人将运动平滑限制问题转化为统计测量剔除错误匹配，提出一种有效的基于网格的分数估计器GMS。但是GMS算法存在一个严重的缺陷，没有旋转不变性。2018年Amin Sedaghat等人提出一种基于统一能力的算法，解决遥感图像的局部特征提取问题。该方法在提取过程中使用的是经验参数，具有一定局限性。Prakash C S等人利用加速KAZE和尺度不变特征变换特征的结合，提出了一种基于关键点的复制-移动伪造检测技术。
由于AKAZE算法利用非线性方程求出的迭代解不具有唯一性，目前方法仍存在特征点误匹配问题，从而导致图像匹配准确率不高。2020年颜焕欢等人运用FAST-SIFT算法提取肌骨图像特征，解决肌骨图像拼接问题，该算法的实时性和实用性有待提高。同年徐睦浩等人结合不规则碎纸片的边缘与颜色信息实现关键点检测，但是其并不适用于边缘比较复杂的(比如玻璃封装电连接器)图像。
因此，提高立体匹配的准确率，有效剔除错误匹配，尤其针对边缘复杂的图像时，减少耗时的同时保证立体匹配准确率是本领域技术人员需要继续研究的方向。
发明内容
本申请的一个目的是提供一种图像匹配方法及设备，以解决现有技术中如何提高立体匹配的准确率并减少耗时的问题。
根据本申请的一个方面，提供了一种立体匹配方法，包括：
获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述；
通过LK光流法跟踪检测所述特征点并得到匹配区域；
基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合。
进一步地，上述立体匹配方法中，所述获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述，包括：
基于AKAZE算法构建所述目标图像对的非线性尺度空间；
在所述目标图像对的所述非线性尺度空间中定位所述目标图像对的所有所述特征点得到特征点位置坐标；
以所述特征点为中心基于每个所述特征点位置坐标确定每个所述特征点对应的特征点方向；
基于所述特征点位置坐标及其对应的所述特征点方向，通过M-LDB描述子对所有所述特征点进行描述。
进一步地，上述立体匹配方法中，所述通过LK光流法跟踪检测所述特征点并得到匹配区域，包括：
跟踪检测所述特征点，获取具有相同所述特征点坐标的特征点对；
基于所述特征点对的灰度值和所述特征点对对应的像素点得到所述特征点对对应的两个所述像素点的光流，并确定所有所述特征点对的所述匹配区域。
进一步地，上述立体匹配方法中，所述基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合，包括：
基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配得到匹配对集合；
基于网格运动统计获取所述匹配对集合中匹配点领域内的特征点数量，并根据预置概率评估标准函数值剔除所述错误匹配对得到最优匹配对集合。
根据本申请的另一方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理执行时，使所述处理器实现如上述立体匹配方法。
根据本申请的另一方面，还提供了设备，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述立体匹配方法。
与现有技术相比，本申请通过获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述；通过LK光流法跟踪检测所述特征点并得到匹配区域；基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合，即在AKAZE算法的基础上提取目标图像对的特征点，运用M-LDB描述子进行特征描述；然后利用LK光流法计算匹配区域进行条件约束；最后，将所述目标图像对划分为多个网格，通过FLANN算法进行特征点匹配并剔除错误匹配对，提高了立体匹配的准确性和实时性，改进后的AKAZE算法尤其是在处理模糊、亮度及旋转变化的边缘复杂的目标图像对时，提高立体匹配的准确率，并且降低了时间成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种立体匹配方法的流程示意图；
图2示出根据本申请一个方面的一种立体匹配方法的实施例中玻璃封装电连接图像特征分布图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
图1示出根据本申请一个方面的一种立体匹配方法的流程示意图，该方法适用于双目视觉引导机器人实现零件装配的过程中(比如：玻璃封装电连接器的图像匹配)，该方法包括步骤S11、步骤S12及步骤S13，其中，具体包括：
步骤S11，获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述；在此，所述AKAZE算法可以检测到细节性的特征点信息，避免由于忽略特征点信息而导致图像对匹配准确度不高的问题。
步骤S12，通过LK光流法跟踪检测所述特征点并得到匹配区域。
步骤S13，基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合。
上述步骤S11至步骤S13，通过获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述；通过LK光流法跟踪检测所述特征点并得到匹配区域；基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合，即在AKAZE算法的基础上提取目标图像对的特征点，运用M-LDB描述子进行特征描述；然后利用LK光流法计算匹配区域进行条件约束；最后，将所述目标图像对划分为多个网格，通过FLANN算法进行特征点匹配并剔除错误匹配对，提高了立体匹配的准确性和实时性，改进后的AKAZE算法尤其是在处理模糊、亮度及旋转变化的边缘复杂的目标图像对时，提高立体匹配的准确率，并且降低了时间成本。
例如，两幅玻璃封装电连接器图像进行立体匹配，首先，基于AKAZE算法得到所述目标图像对的特征点，第一幅目标图像P1的特征点a1、a2、a3......an和第二幅目标图像P2的特征点b1、b2、b3......bn，并通过M-LDB描述子对所有所述特征点a1、a2、a3......an和b1、b2、b3......bn进行描述；然后，通过LK光流法跟踪检测所述特征点a1、a2、a3......an和b1、b2、b3......bn并得到匹配区域；最后，基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合S，提高立体匹配的准确率，并且减少了完成匹配所用的时间。
接着本申请的上述实施例，所述步骤S11获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述，包括：
步骤S111，基于AKAZE算法构建所述目标图像对的非线性尺度空间；在此，构建非线性尺度空间有利于保留目标图像对的边缘信息，从而对所述目标图像进行图像局部操作。
例如，非线性滤波原理可用非线性扩散方程式表示：
其中，L表示玻璃封装连接器图像的亮度矩阵，div与
表示散度和梯度求解，t为尺度因子，该值越大，图像表现的越简单，c表示传导函数，将扩散应用于图像局部结构。
AKAZE算法的尺度空间为金字塔形，共有O组，S层，通过扩散函数，根据时间ti实现尺度空间的构建。尺度参数与组数O、层数之间的关系为：
σi(O,S)＝σ02(o+sS) (2)
式(2)中变量的范围为：o∈[0,1,…,O-1]，s∈[0,1,…,S-1]，i∈[0,1,…,M-1]。σ0表示初始尺度参数，M为尺度空间总图像数，M＝O×S。
由于非线性扩散滤波与时间序列相关，因此需将以像素为单位的尺度参数σi转换为时间ti：
利用FED算法得出式(1)非线性扩散方程的解，从而可得玻璃连接封装器图像的非线性尺度空间为：
Li+1＝(I+τA(Li))Li (4)
式(4)中，i∈[0,M-1]，I是单位矩阵，A(Li)表示玻璃连接封装器图像在维度i的传到矩阵，τ为步长，其值为ti+1-ti。构建非线性尺度空间有利于保留目标图像对的边缘信息，从而对所述目标图像进行图像局部操作。
步骤S112，在所述目标图像对的所述非线性尺度空间中定位所述目标图像对的所有所述特征点得到特征点位置坐标；
例如，在不同尺度空间下比较某一点与其邻域内的其他点，当Hessian矩阵取得极大值时，定位玻璃封装电连接器图像关键点。其计算公式为：
σ为尺度因子σi的整数值，然后根据泰勒展开式求亚像素点的准确位置：
x为特征点的位置坐标，求出特征点的亚像素坐标为：
步骤S113，以所述特征点为中心基于每个所述特征点位置坐标确定每个所述特征点对应的特征点方向；
例如，在梯度图像上搜索以特征点为中心，以6σ为半径的圆为统计范围，并对其内部所有邻域的一阶微分Lx和Ly进行高斯加权运算。然后用60°扇形区域绕原点进行旋转，计算区域向量和，特征点的主方向为向量和中最长的方向。
步骤S114，基于所述特征点位置坐标及其对应的所述特征点方向，通过M-LDB描述子对所有所述特征点进行描述。在此，二进制描述子由于可并行化计算，效率高，广泛应用于目标识别、追踪过程中。M-LDB描述子，通过对像素进行采样并求其平均值，实现尺度自适应，同时保证实时性。因此，利用该描述符适用于匹配要求较高的玻璃封装电连接器图像匹配。
接着本申请的上述实施例，所述步骤S12通过LK光流法跟踪检测所述特征点并得到匹配区域，包括：
步骤S121，跟踪检测所述特征点，获取具有相同所述特征点坐标的特征点对；
步骤S122，基于所述特征点对的灰度值和所述特征点对对应的像素点得到所述特征点对对应的两个所述像素点的光流，并确定所有所述特征点对的所述匹配区域。在此，实现了对特征点的精确跟踪，有利于进一步实现对特征点的匹配。
例如，假设有两张玻璃封装电连接器灰度图像I和J，[x,y]处的灰度值分别为I(x,y)和J(x,y)，图像I上存在一像素点u＝[ux,uy]匹配到图像J上的像素点v＝u+d＝[ux+dx]T使得I(ux,uy)和J(ux+dx,uy+dy)之间的误差最小。位移d＝[dx,dy]T表示像素点u和v的光流。在点u为中心的图像范围[2ωx+1,2ωy+1]内，通过求匹配误差最小值的平方和来求解d的取值。此损失函数可表示为：
接着本申请的上述实施例，所述步骤S13基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合，包括：
步骤S131，基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配得到匹配对集合；在此，FLANN算法是进行最近邻搜索的开源库，优化大数据集的快速最近邻搜索和高维特征，有效避免误匹配问题，提高立体匹配精确度。
步骤S132，基于网格运动统计获取所述匹配对集合中匹配点领域内的特征点数量，并根据预置概率评估标准函数值剔除所述错误匹配对得到最优匹配对集合。
例如，玻璃封装电连接器图像初始匹配后得到部分相应的匹配对集合A，如式(9)所示。正确特征点邻域内的特征点数较多，因此可根据此差异来剔除错误匹配。
Ai,L-R＝{a1,a2,...,an} (9)
匹配点对分布情况可表示为：
式(10)中，ai表示匹配的区域和待匹配区域的匹配点对,K代表小邻域附近的数,n是匹配对数目,p1和p2分别为正确和错误匹配率。图2为玻璃封装电连接图像特征分布图。
预置概率评估标准函数值为pa，根据预置概率评估标准函数值的大小来决定是否剔除匹配点，其中pa的表达式如下：
该方法实现了对错误匹配对的剔除，提高了立体匹配的精确度，同时减少耗时。
根据本申请的另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如上述控制用户对垒方法。
根据本申请的另一个方面，还提供了一立体匹配设备，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述在设备上控制用户对垒方法。
在此，所述设备的各实施例的详细内容，具体可参见上述设备端的控制用户对垒方法实施例的对应部分，在此，不再赘述。
综上所述，本申请通过获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述；通过LK光流法跟踪检测所述特征点并得到匹配区域；基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合，即在AKAZE算法的基础上提取目标图像对的特征点，运用M-LDB描述子进行特征描述；然后利用LK光流法计算匹配区域进行条件约束；最后，将所述目标图像对划分为多个网格，通过FLANN算法进行特征点匹配并剔除错误匹配对，提高了立体匹配的准确性和实时性，改进后的AKAZE算法尤其是在处理模糊、亮度及旋转变化的边缘复杂的目标图像对时，提高立体匹配的准确率，并且降低了时间成本。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (6)
1.一种立体匹配方法，其特征在于，所述方法包括：
获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述；
通过LK光流法跟踪检测所述特征点并得到匹配区域；
基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合。
2.根据权利要求1所述的方法，其特征在于，所述获取目标图像对，基于AKAZE算法得到所述目标图像对的特征点，并通过M-LDB描述子对所有所述特征点进行描述，包括：
基于AKAZE算法构建所述目标图像对的非线性尺度空间；
在所述目标图像对的所述非线性尺度空间中定位所述目标图像对的所有所述特征点得到特征点位置坐标；
以所述特征点为中心基于每个所述特征点位置坐标确定每个所述特征点对应的特征点方向；
基于所述特征点位置坐标及其对应的所述特征点方向，通过M-LDB描述子对所有所述特征点进行描述。
3.根据权利要求2所述的方法，其特征在于，所述通过LK光流法跟踪检测所述特征点并得到匹配区域，包括：
跟踪检测所述特征点，获取具有相同所述特征点坐标的特征点对；
基于所述特征点对的灰度值和所述特征点对对应的像素点得到所述特征点对对应的两个所述像素点的光流，并确定所有所述特征点对的所述匹配区域。
4.根据权利要求1-3任一所述的方法，其特征在于，所述基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配，并通过网格运动统计剔除错误匹配对得到最优匹配对集合，包括：
基于所述匹配区域通过FLANN算法对所述目标图像对进行特征点匹配得到匹配对集合；
基于网格运动统计获取所述匹配对集合中匹配点领域内的特征点数量，并根据预置概率评估标准函数值剔除所述错误匹配对得到最优匹配对集合。
5.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行时，使所述处理器实现如权利要求1至4中任一项所述的方法。
6.一种立体匹配设备，其特征在于，该设备包括：
一个或多个处理器；
计算机可读介质，用于存储一个或多个计算机可读指令，
当所述一个或多个计算机可读指令被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458843.8A CN112465876A (zh) | 2020-12-11 | 2020-12-11 | 一种立体匹配方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458843.8A CN112465876A (zh) | 2020-12-11 | 2020-12-11 | 一种立体匹配方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465876A true CN112465876A (zh) | 2021-03-09 |
Family
ID=74803676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011458843.8A Pending CN112465876A (zh) | 2020-12-11 | 2020-12-11 | 一种立体匹配方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465876A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906705A (zh) * | 2021-03-26 | 2021-06-04 | 北京邮电大学 | 一种基于g-akaze的图像特征匹配算法 |
| CN112967319A (zh) * | 2021-03-31 | 2021-06-15 | 交通运输部天津水运工程科学研究所 | 一种基于特征点识别的块体运动实时检测方法 |
| CN113542588A (zh) * | 2021-05-28 | 2021-10-22 | 上海第二工业大学 | 一种基于视觉显著性的抗干扰电子稳像方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN106296742A (zh) * | 2016-08-19 | 2017-01-04 | 华侨大学 | 一种结合特征点匹配的在线目标跟踪方法 |
| CN107798691A (zh) * | 2017-08-30 | 2018-03-13 | 西北工业大学 | 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 |
-
2020
- 2020-12-11 CN CN202011458843.8A patent/CN112465876A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751465A (zh) * | 2015-03-31 | 2015-07-01 | 中国科学技术大学 | 一种基于lk光流约束的orb图像特征配准方法 |
| CN106296742A (zh) * | 2016-08-19 | 2017-01-04 | 华侨大学 | 一种结合特征点匹配的在线目标跟踪方法 |
| CN107798691A (zh) * | 2017-08-30 | 2018-03-13 | 西北工业大学 | 一种基于视觉的无人机自主着陆地标实时检测跟踪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906705A (zh) * | 2021-03-26 | 2021-06-04 | 北京邮电大学 | 一种基于g-akaze的图像特征匹配算法 |
| CN112906705B (zh) * | 2021-03-26 | 2023-01-13 | 北京邮电大学 | 一种基于g-akaze的图像特征匹配算法 |
| CN112967319A (zh) * | 2021-03-31 | 2021-06-15 | 交通运输部天津水运工程科学研究所 | 一种基于特征点识别的块体运动实时检测方法 |
| CN113542588A (zh) * | 2021-05-28 | 2021-10-22 | 上海第二工业大学 | 一种基于视觉显著性的抗干扰电子稳像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Color-, depth-, and shape-based 3D fruit detection | |
| JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
| US8798357B2 (en) | Image-based localization | |
| Aldoma et al. | Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation | |
| JP6216508B2 (ja) | ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法 | |
| CN112465876A (zh) | 一种立体匹配方法及设备 | |
| US20140226906A1 (en) | Image matching method and apparatus | |
| Xia et al. | Loop closure detection for visual SLAM using PCANet features | |
| EP2385483A1 (en) | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform | |
| EP2064652A1 (en) | Method of image processing | |
| US20200226392A1 (en) | Computer vision-based thin object detection | |
| CN108550165A (zh) | 一种基于局部不变特征的图像匹配方法 | |
| CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
| Wang et al. | Robust line feature matching based on pair-wise geometric constraints and matching redundancy | |
| Sahin et al. | A learning-based variable size part extraction architecture for 6D object pose recovery in depth images | |
| Liu et al. | Curved reflection symmetry detection with self-validation | |
| Elashry et al. | Feature matching enhancement using the graph neural network (gnn-ransac) | |
| Han et al. | Accurate and robust vanishing point detection method in unstructured road scenes | |
| CN107229935B (zh) | 一种三角形特征的二进制描述方法 | |
| US20230360262A1 (en) | Object pose recognition method based on triangulation and probability weighted ransac algorithm | |
| Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
| Shen et al. | A detector-oblivious multi-arm network for keypoint matching | |
| Wang et al. | DGC-GNN: Leveraging Geometry and Color Cues for Visual Descriptor-Free 2D-3D Matching | |
| Cai et al. | GlcMatch: global and local constraints for reliable feature matching | |
| TWI776668B (zh) | 影像處理方法及影像處理系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210309 |