CN115294371A - 基于深度学习的互补特征可靠描述与匹配方法 - Google Patents
基于深度学习的互补特征可靠描述与匹配方法 Download PDFInfo
- Publication number
- CN115294371A CN115294371A CN202210007311.5A CN202210007311A CN115294371A CN 115294371 A CN115294371 A CN 115294371A CN 202210007311 A CN202210007311 A CN 202210007311A CN 115294371 A CN115294371 A CN 115294371A
- Authority
- CN
- China
- Prior art keywords
- matching
- feature
- description
- complementary
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的互补特征可靠描述与匹配方法,至少包括步骤:特征描述与匹配训练样本获取,构建基于DNN的特征描述与匹配算法,实行基于预训练网络模型的迁移学习,建立融合同名与非同名区域的目标损失函数模型,基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。本发明综合运用数字摄影测量与计算机视觉、深度学习、误差理论与分析、数字影像及信号处理等多学科的理论方法和技术,构建基于深度学习的互补特征高区分度描述与匹配策略,以获取大倾角立体影像较为可靠的互补匹配结果,极具前沿性、科学性、综合性及应用性特色。
Description
技术领域
本发明涉及摄影测量与遥感中数字图像处理相关技术领域,具体的说是一种基于深度学习的互补特征可靠描述与匹配方法。
背景技术
近年来,源于计算机视觉界的特征描述及匹配技术的出现,使得大倾角困难立体像对的匹配成为可能。特征描述符是一种数值向量,该向量是影像区域中局部特征的编码,可用于评判不同影像特征间的相似性。目前,基于分布的描述符是应用最为广泛的描述符,以尺度不变特征变换(Scale Invariant Feature Transform,SIFT)描述符为代表,它的基本思想是对关键点周围图像区域分块,计算块内梯度直方图,生成具有独特性的向量。在此基础上,研究人员针对SIFT描述符的缺陷进行改进。例如,针对描述符计算过程较为复杂的问题,研究人员提出一种加速鲁棒特征(Speed Up Robust Feature,SURF)描述符,它是利用Haar小波来近似SIFT方法中的梯度操作,同时利用积分图技术进行快速计算,可实现影像特征的快速描述与匹配。DAISY描述符是在影像分块策略上进行的改进,利用高斯卷积来进行梯度方向直方图的分块汇聚,可以快速稠密地进行特征描述符的提取,一定程度上提高SIFT描述符的鲁棒性与区分度。然而,面向视点变化较大、纹理匮乏、视差断裂、阴影以及遮挡等复杂场景影像,以SIFT描述符为代表的各类描述符的匹配效果均不理想。
由于SIFT或SURF特征描述符占用大量的内存空间,导致匹配效率较低,难以大规模应用。为此,研究人员还提出了许多二进制特征描述符,例如ORB、BRISK和FREAK等。其中,BRIEF是典型二进制描述符,它是利用局部图像邻域内随机点对的灰度大小关系来建立的,不仅匹配速度快,而且存储要求内存低,因此嵌入式应用中具有很好的前景。然而,这些轻量级的描述符虽然匹配速度快、实时性强。但面对复杂影像,尤其是地类复杂,视角变化大的卫星、无人机等遥感影像,匹配效果较差,甚至失效。
综合考虑上述影像特征描述和匹配中的问题,并考虑到近年来神经网络和深度学习作为强大的非线性***和技术手段,在处理复杂影像中表现出较大潜力。因此,如何结合深度学习与神经网络的特点,建立能够适应透视几何变形、景深突变及部分遮挡的高可靠互补基元特征描述与匹配方法,以最大限度地获得准稠密同名互补基元特征匹配,是本发明解决的关键问题。
发明内容
为了解决上述问题,建立能够适应透视几何变形、景深突变及部分遮挡的可靠互补基元特征描述与匹配方法,从而获得准稠密同名互补基元特征匹配。提出以下技术方案:
基于深度学习的互补特征可靠描述与匹配方法,至少包括步骤:
(1)特征描述与匹配训练样本获取;
(2)构建基于DNN(深度神经网络)的特征描述与匹配算法;
(3)实行基于预训练网络模型的迁移学习;
(4)建立融合同名与非同名区域的目标损失函数模型;
(5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。
进一步的,上述步骤(1)包括:
基于随机采样一致性算法的立体像对共轭矩阵估计算法;
基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域;
采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配。
进一步的,上述步骤(2)为面向影像高畸变特征描述与匹配的DNN构建方法,具体为:
特征描述,运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法;
特征匹配,实行高区分度匹配测度构建策略。
进一步的,特征描述包括步骤:
构建原始L2-Net核心网络层;
引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层;
建立梯度向量连接层;
归一化描述符。
进一步的,特征匹配包括:
构建描述符欧氏空间距离L2范数的极值函数F=||f(R)-f(P)||2=min,其中R和P分别为左影像和右影像特征的128维深度描述符,当F取最小且不大于给定阈值FT,则输出匹配结果,FT取值为0.3。
进一步的,步骤(4)包括:
构建加权平均损失函数Loss如下
m为批(Batch)中的样本数目;Ri和Pi代表一对匹配描述符向量; 分别代表最近邻、次近邻及第三近邻非匹配描述符向量;D(Ri,Pi)表示匹配描述符欧氏距离;D((Ri,Pi),Ni)则表示非匹配描述符欧氏距离,且D((Ri,Pi),Ni)=min(D(Ri,Ni),D(Pi,Ni)),Ni表示任意非匹配描述符向量;权重参数w1、w2和w3取值分别为2.0、0.6和0.4;
非匹配相似描述符通过加权参与训练;
基于训练样本,通过随机梯度下降法和残差后向迭代传播,使加权损失函数Loss最终趋于最小,实现DNN模型的训练与优化。
本发明提出了基于准单应几何变换与自适应窗口的大倾角立体影像同名邻域归一化算法及匹配策略,以及面向影像高畸变特征描述与匹配的深度神经网络DNN构建方法,建立融合同名与非同名区域的目标损失函数模型增强了DNN模型的描述能力,基于DNN模型的互补基元特征全自动匹配策略能够获得可靠准密集种子匹配。
因此,本发明的有益效果为:基于真三维数字城市建设的需求背景,综合运用数字摄影测量与计算机视觉、深度学习、误差理论与分析、数字影像及信号处理等多学科的理论方法和技术,构建基于深度学习的互补特征可靠描述与匹配方法。具体是基于互补特征描述与匹配样本自动生成、预训练模型引入及迁移学习等基础上,构建基于深度学习的互补特征高区分度描述与匹配策略,以获取大倾角立体影像较为可靠的互补匹配结果,极具前沿性、科学性、综合性及应用性特色。
附图说明
图1为基于深度学习的互补特征可靠描述与匹配方法流程图;
图2为基于共轭基本矩阵的立体影像准单应几何映射示意图;
图3为以点基元为例的同名特征邻域的确定与优化示意图;
图4为特征描述与匹配DNN模型结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于深度学习的互补特征可靠描述与匹配方法,该方法流程及关键技术如图1所示,具体实施方式分为以下步骤:
1)特征描述与匹配训练样本获取方法
S1.获得初始匹配:
基于多种仿射不变特征与SIFT描述符获得初始匹配。
S2.估算全局准单应几何变换:
采用一种改进的随机采样一致性算法对初始匹配估计共轭基本矩阵,继而在共轭核线驱动下得到全局准单应几何变换,如图2示意,四组大倾角立体像对准单应映射关系,图中黑色和白色线分别代表共轭核线关系,它们分别由共轭基本矩阵计算得到,左影像中浅灰色交叉点代表待匹配点,而右影像中深灰色点则为准单应几何映射点。
S3.优化同名特征位置及其局部仿射变换邻域:
基于全局似单应几何变换确定候选匹配及局部仿射变换邻域,并采用自适应窗口策略,优化同名特征位置及其局部仿射变换邻域,如图3所示,优化后的特征邻域能够自适应扩展尽量多的纹理内容,同时有效规避视差突变及遮蔽等不一致区域。为方便后续DNN的学习与训练,仍采用目前综合性能较优的SIFT梯度向量完成同名特征邻域的描述与匹配。
S4.对所有待匹配特征逐一进行描述与匹配:
基于S3方法,对所有待匹配特征逐一进行描述与匹配。如果待匹配特征为点基元或线基元,则取特征邻域作为描述区域;如果待匹配特征为面基元,则直接取基元面本身作为描述区域。
2)基于DNN的特征描述与匹配学习
相比于常规影像,非常规大倾角影像特征的描述与匹配会更加复杂和困难,可归因于同名特征邻域之间普遍存在较大的几何与辐射畸变、视差突变及遮挡等因素。因此,为实现该类影像的准稠密同名特征的自动可靠匹配,首先构建了一种基于DNN的特征描述与匹配算法,使之能够尽量克服复杂畸变、视差断裂及遮挡等问题;然后,通过迁移学习策略与可靠的训练样本基础,使目标DNN模型得到充分的训练与学习;最后,基于DNN模型实现所有测试影像的准稠密匹配。具体内容如下:
S5.DNN模型构建:
在引入L2-Net网络基础上,构建了如图4所示的DNN模型结构,该结构主要包括两部分:特征描述与特征匹配。在特征描述阶段,首先继承原始L2-Net核心网络层,再分别引入亮度归一化卷积层、视差感知卷积层及透视不变卷积层,增强了新模型结构对辐射畸变、视差断裂、部分遮挡及复杂透视畸变等情况的描述与区分能力;此外,在各卷积层中还采用了直方图均衡化和批归一化处理策略,从而提升描述符的表达精度,继而建立能够顾及视差突变与复杂畸变影响的梯度向量连接层,该连接层承载着左右影像特征128维深度描述符,并把经归一化后的描述符分别被标记为R(代表左影像中的描述符)和P(代表右影像中的描述符)。在特征匹配阶段,构建R和P欧氏空间距离L2范数的极值函数F=||f(R)-f(P)||2=min,当F取最小且不大于给定阈值FT(取值为0.3),则输出匹配结果。
S6.DNN训练与优化:
首先,利用国际上开源的常规影像匹配集(如UBC数据集),对L2-Net模型权重进行训练与学***均损失函数Loss如下:
m为批(Batch)中的样本数目;Ri和Pi代表一对匹配描述符向量; 分别代表最近邻、次近邻及第三近邻非匹配描述符向量;D(Ri,Pi)表示匹配描述符欧氏距离;D((Ri,Pi),Ni)则表示非匹配描述符欧氏距离,且D((Ri,Pi),Ni)=min(D(Ri,Ni),D(Pi,Ni)),Ni表示任意非匹配描述符向量;权重参数w1、w2和w3取值分别为2.0、0.6和0.4。
该发明通过上述加权损失函数,让非匹配相似描述符通过加权参与训练,使得非同名描述符的差异性得到增强,同时提高同名描述符的相似度,因而有利于学习到高可靠性描述符。最后,基于广泛的训练样本,通过随机梯度下降法和残差后向迭代传播,使加权损失函数Loss最终趋于最小,继而实现DNN模型的训练与优化。
所述的互补特征高可靠描述,即通过构建深度神经网络模型获得具有较高区分度的描述符,上文利用提出的深度学***均参与训练,因而,有利于尽量增大非同名(非匹配)描述符(Ri,Ni)或(Pi,Ni)之间的距离,同时尽量减少同名(匹配)描述符(Ri,Pi)之间的距离,最终获得具有高区分度的特征描述符。至此,利用已训练DNN对测试影像中待匹配特征进行描述与匹配,即可获得准稠密互补同名特征。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.基于深度学习的互补特征可靠描述与匹配方法,其特征在于,至少包括步骤:
(1)特征描述与匹配训练样本获取;
(2)构建基于DNN的特征描述与匹配算法;
(3)实行基于预训练网络模型的迁移学习;
(4)建立融合同名与非同名区域的目标损失函数模型;
(5)基于DNN模型的互补基元特征实现所有测试影像的准稠密匹配。
2.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法,其特征在于,所述步骤(1)包括:
基于随机采样一致性算法的立体像对共轭矩阵估计算法;
基于准单应几何变换与自适应窗口策略优化同名特征位置及其局部仿射变换邻域;
采用点线面特征集成描述与匹配策略对所有待匹配特征逐一进行描述与匹配。
3.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法,其特征在于,所述步骤(2)为面向影像高畸变特征描述与匹配的DNN构建方法,具体为:
特征描述,运行顾及视差突变及遮挡情况的透视不变卷积描述符生成方法;
特征匹配,实行高区分度匹配测度构建策略。
4.根据权利要求3所述的基于深度学习的互补特征可靠描述与匹配方法,其特征在于,所述特征描述包括步骤:
构建原始L2-Net核心网络层;
引入亮度归一化卷积层、视察感知卷积层及透视不变卷积层;
建立梯度向量连接层;
归一化描述符。
5.根据权利要求3所述的基于深度学习的互补特征可靠描述与匹配方法,其特征在于,所述特征匹配包括:
构建描述符欧氏空间距离L2范数的极值函数F=||f(R)-f(P)||2=min,其中R和P分别为左影像和右影像中特征的128维深度描述符,当F取最小且不大于给定阈值FT,则输出匹配结果,FT取值为0.3。
6.根据权利要求1所述的基于深度学习的互补特征可靠描述与匹配方法,其特征在于,所述步骤(4)包括:
构建加权平均损失函数Loss如下
m为Batch中的样本数目;Ri和Pi代表一对匹配描述符向量;Ni 1st、Ni 2nd、Ni 3rd分别代表最近邻、次近邻及第三近邻非匹配描述符向量;D(Ri,Pi)表示匹配描述符欧氏距离;D((Ri,Pi),Ni)则表示非匹配描述符欧氏距离,且D((Ri,Pi),Ni)=min(D(Ri,Ni),D(Pi,Ni)),Ni表示任意非匹配描述符向量;权重参数w1、w2和w3取值分别为2.0、0.6和0.4;
非匹配相似描述符通过加权参与训练;
基于训练样本,通过随机梯度下降法和残差后向迭代传播,使加权损失函数Loss最终趋于最小,实现DNN模型的训练与优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210007311.5A CN115294371B (zh) | 2022-01-05 | 2022-01-05 | 基于深度学习的互补特征可靠描述与匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210007311.5A CN115294371B (zh) | 2022-01-05 | 2022-01-05 | 基于深度学习的互补特征可靠描述与匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115294371A true CN115294371A (zh) | 2022-11-04 |
CN115294371B CN115294371B (zh) | 2023-10-13 |
Family
ID=83818819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210007311.5A Active CN115294371B (zh) | 2022-01-05 | 2022-01-05 | 基于深度学习的互补特征可靠描述与匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115294371B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409379A (zh) * | 2023-10-17 | 2024-01-16 | 哈尔滨工业大学 | 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543890A (zh) * | 2019-07-22 | 2019-12-06 | 杭州电子科技大学 | 一种基于特征金字塔的深度神经网络图像匹配方法 |
CN112163622A (zh) * | 2020-09-30 | 2021-01-01 | 山东建筑大学 | 全局与局部融合约束的航空宽基线立体像对线段特征匹配方法 |
CN112861965A (zh) * | 2021-02-05 | 2021-05-28 | 中国地质大学(武汉) | 基于多特征交叉一致性模型的图像匹配方法 |
CN112883850A (zh) * | 2021-02-03 | 2021-06-01 | 湖北工业大学 | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 |
CN113298742A (zh) * | 2021-05-20 | 2021-08-24 | 广东省人民医院 | 基于图像配准的多模态视网膜图像融合方法及*** |
-
2022
- 2022-01-05 CN CN202210007311.5A patent/CN115294371B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110543890A (zh) * | 2019-07-22 | 2019-12-06 | 杭州电子科技大学 | 一种基于特征金字塔的深度神经网络图像匹配方法 |
CN112163622A (zh) * | 2020-09-30 | 2021-01-01 | 山东建筑大学 | 全局与局部融合约束的航空宽基线立体像对线段特征匹配方法 |
CN112883850A (zh) * | 2021-02-03 | 2021-06-01 | 湖北工业大学 | 一种基于卷积神经网络的多视角空天遥感图像匹配方法 |
CN112861965A (zh) * | 2021-02-05 | 2021-05-28 | 中国地质大学(武汉) | 基于多特征交叉一致性模型的图像匹配方法 |
CN113298742A (zh) * | 2021-05-20 | 2021-08-24 | 广东省人民医院 | 基于图像配准的多模态视网膜图像融合方法及*** |
Non-Patent Citations (1)
Title |
---|
张传辉 等: "多分支网络联合的倾斜影像访射不变特征匹配", 《测绘学报》, vol. 50, no. 5, pages 641 - 651 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117409379A (zh) * | 2023-10-17 | 2024-01-16 | 哈尔滨工业大学 | 一种基于计算机视觉的大跨桥梁车辆追踪与车辆荷载谱智能识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115294371B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
CN108648161B (zh) | 非对称核卷积神经网络的双目视觉障碍物检测***及方法 | |
Li et al. | Confidence-based large-scale dense multi-view stereo | |
CN111931787A (zh) | 一种基于特征聚合的rgbd显著性检测方法 | |
CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
CN111815665B (zh) | 基于深度信息与尺度感知信息的单张图像人群计数方法 | |
CN109146001B (zh) | 多视角isar图像融合方法 | |
CN112163498A (zh) | 前景引导和纹理聚焦的行人重识别模型建立方法及其应用 | |
CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
CN113095371B (zh) | 一种面向三维重建的特征点匹配方法及*** | |
CN113538569A (zh) | 一种弱纹理物***姿估计方法和*** | |
CN110009670A (zh) | 基于fast特征提取和piifd特征描述的异源图像配准方法 | |
CN115115685A (zh) | 一种基于自注意力神经网络的单目图像深度估计算法 | |
CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
CN115511759A (zh) | 一种基于级联特征交互的点云图像深度补全方法 | |
CN117523100A (zh) | 基于神经网络与多视图一致性的三维场景重建方法和装置 | |
CN115294371B (zh) | 基于深度学习的互补特征可靠描述与匹配方法 | |
CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN115410014A (zh) | 一种鱼眼图像的自监督特征点匹配方法及其存储介质 | |
CN115330935A (zh) | 一种基于深度学习的三维重建方法及*** | |
CN114693951A (zh) | 一种基于全局上下文信息探索的rgb-d显著性目标检测方法 | |
CN113763474A (zh) | 一种基于场景几何约束的室内单目深度估算方法 | |
CN113887371A (zh) | 一种用于低分辨率人脸识别的数据增强方法 | |
CN113962846A (zh) | 图像对齐方法及装置、计算机可读存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |