CN110070574A - 一种基于改进PSMNet的双目视觉立体匹配算法 - Google Patents

一种基于改进PSMNet的双目视觉立体匹配算法 Download PDF

Info

Publication number
CN110070574A
CN110070574A CN201910354039.6A CN201910354039A CN110070574A CN 110070574 A CN110070574 A CN 110070574A CN 201910354039 A CN201910354039 A CN 201910354039A CN 110070574 A CN110070574 A CN 110070574A
Authority
CN
China
Prior art keywords
spp
characteristic pattern
characteristic
module
psmnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910354039.6A
Other languages
English (en)
Other versions
CN110070574B (zh
Inventor
秦岭
黄庆
雷波
程遥
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maitewei Wuhan Technology Co ltd
Original Assignee
Youle Circle (wuhan) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youle Circle (wuhan) Technology Co Ltd filed Critical Youle Circle (wuhan) Technology Co Ltd
Priority to CN201910354039.6A priority Critical patent/CN110070574B/zh
Publication of CN110070574A publication Critical patent/CN110070574A/zh
Application granted granted Critical
Publication of CN110070574B publication Critical patent/CN110070574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进PSMNet的双目视觉立体匹配算法，包括如下步骤：采用降维的起始模块对左右图像进行特征提取，分别得到特征图，将得到的特征图输入SPP模块，SPP模块将特征图压缩之后进行上采样，并将不同级别的特征图合成最终SPP特征图，结合左右图中每个视差值，每个视差值对应的特征图与SPP特征图构成四维匹配代价卷，三维卷积模块聚合环境信息，并且通过上采样和视差回归得到最终的视差图，根据由归一化指数函数操作得到预测代价Cd来计算每一个视差的可能性，使用恒等映射进行优化，预测视差值由每一个视差值及其对应的可能性求和得到。

Description

一种基于改进PSMNet的双目视觉立体匹配算法
技术领域
本发明涉及视觉立体算法技术领域，尤其涉及一种基于改进PSMNet的双目视觉立体匹配算法。
背景技术
经过多年的发展，双目立体视觉已经在三维重建、工业测量、无人驾驶等领域发挥着重要的作用。立体匹配是双目视觉的研究核心内容，同时也是双目视觉的研究难点。到目前为止，传统双目视觉立体匹配算法主要分为以下三类：全局匹配、局部匹配和半全局匹配。全局匹配一般包括匹配代价计算、视差计算和视差优化，其核心在于构建全局能量函数以及最小化全局能量函数，从而得到最优视差图；全局匹配算法得到结果较好，但一般运行时间很长，不适合实时运行。
近几年，利用卷积神经网络进行立体匹配的方法越来越多。早期使用CNN通过相似性计算来解决匹配一致性的估计问题，CNNs计算一对图块的相似性进而判断它们是否匹配。尽管相比于传统的双目视觉立体匹配算法，基于CNN的立体匹配方法在速度上和精度上都有了一定提升，但是在不适定区域(例如遮挡区域、视差不连续区域、弱纹理区域、反光表面等)的表现依旧不理想。
发明内容
本发明提出了一种基于改进PSMNet的双目视觉立体匹配算法，以解决上述背景技术中提出的问题。
本发明提出了一种基于改进PSMNet的双目视觉立体匹配算法，包括如下步骤：
S1：采用降维的起始模块对左右图像进行特征提取，分别得到特征图；
S2：将得到的特征图输入SPP模块，SPP模块将特征图压缩之后进行上采样，并将不同级别的特征图合成最终SPP特征图，SPP特征图的生成过程为：
A、选择一个特征信息作为基础，提取特征信息上的特征连接值；
B、查找特征信息，根据基础特征信息上的特征连接值在采集的特征信息中寻找可与特征连接值相匹配的特征信息进行连接，生成更大的基础特征信息；
C、在新生成的基础特征信息上再次提取新的特征连接值，在采集的特征信息中寻找可与新的特征连接值相匹配的特征信息进行连接，依次寻找进行匹配；
D、最后，形成最终SPP特征图；
S3：结合左右图中每个视差值，每个视差值对应的特征图与SPP特征图构成四维匹配代价卷；
S4：三维卷积模块聚合环境信息，并且通过上采样和视差回归得到最终的视差图，根据由归一化指数函数操作得到预测代价Cd来计算每一个视差的可能性，使用恒等映射进行优化，预测视差值由每一个视差值及其对应的可能性求和得到。
优选的，所述S1中，起始模块对图像的采集为首先对图像进行扫描，获得数据图像，根据图像数据上特征数据的特点，对特征数据进行提取。
优选的，所述S2中，上采样过程中,采用基于原始低分辨率图像边缘的方法，首先检测低分辨率图像的边缘，然后根据检测的边缘将像素分类处理，采用传统方法插值低分辨率图像，然后检测高分辨率图像的边缘，最后对边缘及附近像素进行特殊处理，以去除模糊，增强图像的边缘。
优选的，所述S2中，SPP模块对特征图进行采样，SPP模块与各计算模块均相连，在SPP模块采集特征图后，各计算模块均可从SPP模块中提取特征图的特征信息。
优选的，所述S3中，视差值的特征图与SPP特征图匹配通过特征值上的特征数据进行匹配，SPP特征图上设置方向特征数据，方向特征之间相互匹配，形成多维度代价卷。
优选的，所述S4中，卷积模块采用1×1卷积模块，卷积模块可以对特征图厚度进行有效降维，这样可以在不增加网络参数的情况下，增加网络的宽度和增加网络对多个尺度的适应性，提高匹配精度。
优选的，所述S4中，归一化指数函数加快网络训练的收敛速度，同时，归一化使训练能够使用更高的学习率而无需太多初始化操作，结合其他网络优化操作，在对图像进行测试时，降低了测试时间。
优选的，所述S4中，求和公式为：
采用Focal loss函数训练，损失函数定义如下：
式中：
FL(x)＝-αxγlog(1-x)，其中，d是ground-truth视差值，是预测视差值。
本发明提出的一种基于改进PSMNet的双目视觉立体匹配算法，有益效果在于：
1、通过降维的启示起始模块，能够更好进行特征提取。
2、通过对每个层增加相应的归一化层，可以使训练使用更大的学习率，加快网络训练收敛速度。
3、改进损失函数，保证匹配精度的同时提高匹配速度
具体实施方式
下面结合具体实施例来对本发明做进一步说明。
本发明提出了一种基于改进PSMNet的双目视觉立体匹配算法，包括如下步骤：
S1：采用降维的起始模块对左右图像进行特征提取，分别得到特征图，起始模块对图像的采集为首先对图像进行扫描，获得数据图像，根据图像数据上特征数据的特点，对特征数据进行提取；
S2：将得到的特征图输入SPP模块，SPP模块将特征图压缩之后进行上采样，上采样过程中,采用基于原始低分辨率图像边缘的方法，首先检测低分辨率图像的边缘，然后根据检测的边缘将像素分类处理，采用传统方法插值低分辨率图像，然后检测高分辨率图像的边缘，最后对边缘及附近像素进行特殊处理，以去除模糊，增强图像的边缘，并将不同级别的特征图合成最终SPP特征图，SPP模块对特征图进行采样，SPP模块与各计算模块均相连，在SPP模块采集特征图后，各计算模块均可从SPP模块中提取特征图的特征信息，SPP特征图的生成过程为：
A、选择一个特征信息作为基础，提取特征信息上的特征连接值；
B、查找特征信息，根据基础特征信息上的特征连接值在采集的特征信息中寻找可与特征连接值相匹配的特征信息进行连接，生成更大的基础特征信息；
C、在新生成的基础特征信息上再次提取新的特征连接值，在采集的特征信息中寻找可与新的特征连接值相匹配的特征信息进行连接，依次寻找进行匹配；
D、最后，形成最终SPP特征图；
S3：结合左右图中每个视差值，每个视差值对应的特征图与SPP特征图构成四维匹配代价卷，视差值的特征图与SPP特征图匹配通过特征值上的特征数据进行匹配，SPP特征图上设置方向特征数据，方向特征之间相互匹配，形成多维度代价卷；
S4：三维卷积模块聚合环境信息，卷积模块采用1×1卷积模块，卷积模块可以对特征图厚度进行有效降维，这样可以在不增加网络参数的情况下，增加网络的宽度和增加网络对多个尺度的适应性，提高匹配精度，并且通过上采样和视差回归得到最终的视差图，根据由归一化指数函数操作得到预测代价Cd来计算每一个视差的可能性，归一化指数函数加快网络训练的收敛速度，同时，归一化使训练能够使用更高的学习率而无需太多初始化操作，结合其他网络优化操作，在对图像进行测试时，降低了测试时间，使用恒等映射进行优化，恒等映射能够很好的起到优化的效果，可以大大增加计算速度，预测视差值由每一个视差值及其对应的可能性求和得到，求和公式为：
采用Focal loss函数训练，损失函数定义如下：
式中：
FL(x)＝-αxγlog(1-x)，其中，d是ground-truth视差值，是预测视差值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，包括以下步骤：
S1：采用降维的起始模块对左右图像进行特征提取，分别得到特征图；
S2：将得到的特征图输入SPP模块，SPP模块将特征图压缩之后进行上采样，并将不同级别的特征图合成最终SPP特征图，SPP特征图的生成过程为：
A、选择一个特征信息作为基础，提取特征信息上的特征连接值；
B、查找特征信息，根据基础特征信息上的特征连接值在采集的特征信息中寻找可与特征连接值相匹配的特征信息进行连接，生成更大的基础特征信息；
C、在新生成的基础特征信息上再次提取新的特征连接值，在采集的特征信息中寻找可与新的特征连接值相匹配的特征信息进行连接，依次寻找进行匹配；
D、最后，形成最终SPP特征图；
S3：结合左右图中每个视差值，每个视差值对应的特征图与SPP特征图构成四维匹配代价卷；
S4：三维卷积模块聚合环境信息，并且通过上采样和视差回归得到最终的视差图，根据由归一化指数函数操作得到预测代价Cd来计算每一个视差的可能性，使用恒等映射进行优化，预测视差值由每一个视差值及其对应的可能性求和得到。
2.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S1中，起始模块对图像的采集为首先对图像进行扫描，获得数据图像，根据图像数据上特征数据的特点，对特征数据进行提取。
3.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S2中，上采样过程中,采用基于原始低分辨率图像边缘的方法，首先检测低分辨率图像的边缘，然后根据检测的边缘将像素分类处理，采用传统方法插值低分辨率图像，然后检测高分辨率图像的边缘，最后对边缘及附近像素进行特殊处理，以去除模糊，增强图像的边缘。
4.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S2中，SPP模块对特征图进行采样，SPP模块与各计算模块均相连，在SPP模块采集特征图后，各计算模块均可从SPP模块中提取特征图的特征信息。
5.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S3中，视差值的特征图与SPP特征图匹配通过特征值上的特征数据进行匹配，SPP特征图上设置方向特征数据，方向特征之间相互匹配，形成多维度代价卷。
6.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S4中，卷积模块采用1×1卷积模块，卷积模块可以对特征图厚度进行有效降维，这样可以在不增加网络参数的情况下，增加网络的宽度和增加网络对多个尺度的适应性，提高匹配精度。
7.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S4中，归一化指数函数加快网络训练的收敛速度，同时，归一化使训练能够使用更高的学习率而无需太多初始化操作，结合其他网络优化操作，在对图像进行测试时，降低了测试时间。
8.根据权利要求1所述的一种基于改进PSMNet的双目视觉立体匹配算法，其特征在于，所述S4中，求和公式为：
采用Focal loss函数训练，损失函数定义如下：
式中：
FL(x)＝-αxγlog(1-x)，其中，d是ground-truth视差值，是预测视差值。
CN201910354039.6A 2019-04-29 2019-04-29 一种基于改进PSMNet的双目视觉立体匹配方法 Active CN110070574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910354039.6A CN110070574B (zh) 2019-04-29 2019-04-29 一种基于改进PSMNet的双目视觉立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910354039.6A CN110070574B (zh) 2019-04-29 2019-04-29 一种基于改进PSMNet的双目视觉立体匹配方法

Publications (2)

Publication Number Publication Date
CN110070574A true CN110070574A (zh) 2019-07-30
CN110070574B CN110070574B (zh) 2023-05-02

Family

ID=67369599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910354039.6A Active CN110070574B (zh) 2019-04-29 2019-04-29 一种基于改进PSMNet的双目视觉立体匹配方法

Country Status (1)

Country Link
CN (1) CN110070574B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111583313A (zh) * 2020-03-25 2020-08-25 上海物联网有限公司 一种基于PSMNet改进的双目立体匹配方法
CN112991422A (zh) * 2021-04-27 2021-06-18 杭州云智声智能科技有限公司 一种基于空洞空间金字塔池化的立体匹配方法及***
WO2021238499A1 (zh) * 2020-05-29 2021-12-02 深圳看到科技有限公司 双目图像快速处理方法、装置及对应的存储介质
CN114648669A (zh) * 2022-05-20 2022-06-21 华中科技大学 一种域自适应双目视差计算的动车组故障检测方法及***
WO2022222983A1 (zh) * 2021-04-23 2022-10-27 中兴通讯股份有限公司 视差估计方法、装置、图像处理设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN109146937A (zh) * 2018-08-22 2019-01-04 广东电网有限责任公司 一种基于深度学习的电力巡检影像密集匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340036A (zh) * 2016-08-08 2017-01-18 东南大学 一种基于双目立体视觉的立体匹配方法
CN109146937A (zh) * 2018-08-22 2019-01-04 广东电网有限责任公司 一种基于深度学习的电力巡检影像密集匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA-REN CHANG 等: "Pyramid Stereo Matching Network", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
姚莉等: "基于金字塔变换跨尺度代价聚合的立体匹配", 《***仿真学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111583313A (zh) * 2020-03-25 2020-08-25 上海物联网有限公司 一种基于PSMNet改进的双目立体匹配方法
WO2021238499A1 (zh) * 2020-05-29 2021-12-02 深圳看到科技有限公司 双目图像快速处理方法、装置及对应的存储介质
WO2022222983A1 (zh) * 2021-04-23 2022-10-27 中兴通讯股份有限公司 视差估计方法、装置、图像处理设备及存储介质
CN112991422A (zh) * 2021-04-27 2021-06-18 杭州云智声智能科技有限公司 一种基于空洞空间金字塔池化的立体匹配方法及***
CN114648669A (zh) * 2022-05-20 2022-06-21 华中科技大学 一种域自适应双目视差计算的动车组故障检测方法及***

Also Published As

Publication number Publication date
CN110070574B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110070574A (zh) 一种基于改进PSMNet的双目视觉立体匹配算法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测***及方法
CN109903223B (zh) 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法
WO2018000752A1 (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN110555434B (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
CN112634341B (zh) 多视觉任务协同的深度估计模型的构建方法
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111242238B (zh) 一种rgb-d图像显著性目标获取的方法
CN101877143B (zh) 一种二维图像组的三维场景重建方法
CN112884682B (zh) 一种基于匹配与融合的立体图像颜色校正方法及***
CN110189294B (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113538569B (zh) 一种弱纹理物***姿估计方法和***
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN116664782B (zh) 一种基于融合体素的神经辐射场三维重建方法
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN108470178A (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和***
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN108009549A (zh) 一种迭代协同显著性检测方法
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN109218706A (zh) 一种由单张图像生成立体视觉图像的方法
CN110766609B (zh) 一种针对ToF相机的景深图超分辨率重建方法
CN105528772B (zh) 一种基于指导性滤波的图像融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Workstation 501-F028, Tiancheng Information Building, No. 88 Tiancheng Road South, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215000 (cluster registration)

Applicant after: Youle Circle (Suzhou) Technology Co.,Ltd.

Address before: 430000, Room 610, 6th Floor, Wuhan University Student Entrepreneurship Park, No. 147 Luoshi Road, Hongshan District, Wuhan City, Hubei Province, China

Applicant before: Youle Circle (Wuhan) Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230410

Address after: Hubei University Student Innovation and Entrepreneurship Club, No. 122 Luoshi Road, Hongshan District, Wuhan City, Hubei Province, 430000 (Hubei Jingchu Maker Coffee Station No. 156)

Applicant after: Maitewei (Wuhan) Technology Co.,Ltd.

Address before: Workstation 501-F028, Tiancheng Information Building, No. 88 Tiancheng Road South, High Speed Rail New City, Xiangcheng District, Suzhou City, Jiangsu Province, 215000 (cluster registration)

Applicant before: Youle Circle (Suzhou) Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant