CN107590831A - 一种基于深度学习的立体匹配方法 - Google Patents

一种基于深度学习的立体匹配方法 Download PDF

Info

Publication number
CN107590831A
CN107590831A CN201710764319.5A CN201710764319A CN107590831A CN 107590831 A CN107590831 A CN 107590831A CN 201710764319 A CN201710764319 A CN 201710764319A CN 107590831 A CN107590831 A CN 107590831A
Authority
CN
China
Prior art keywords
characteristic spectrum
obtains
deep learning
view
cost body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710764319.5A
Other languages
English (en)
Other versions
CN107590831B (zh
Inventor
李宏亮
董蒙
孙玲
张文海
翁爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710764319.5A priority Critical patent/CN107590831B/zh
Publication of CN107590831A publication Critical patent/CN107590831A/zh
Application granted granted Critical
Publication of CN107590831B publication Critical patent/CN107590831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于深度学习的立体匹配方法，利用深度学习方法提取特征，得到的特征谱每个点的感受野很大，但同时又不会有传统局部匹配方法带来的前景膨胀效应，解决了局部匹配方法窗口难以选取的问题。且通过深度学习得到的高维度特征谱，充分描述了区域的数据分布特征，对后面的相似性检测有很强的指导意义。本发明根据左右视图利用深度学习方法输出一个W*H*D的代价体，再利用胜者为王WTA策略得到初始视差图，最后利用原左视图作为引导图像做引导滤波，该方法具备较高的准确性，并且由于神经网络的可并行化程度高，合理的运用GPU并行加速可以使该方法达到很快的运算速度。

Description

一种基于深度学习的立体匹配方法
技术领域
本发明涉及立体匹配技术。
背景技术
双目视觉是计算机视觉领域一个重要的分支，而其中的立体匹配又是双目视觉中最重要的一个环节。双目测距一般是通过两台相同的摄像机在同一时间获取同一场景不同视角的两幅图像，然后利用立体匹配方法找到两幅图像中相同物体或是纹理的对应关系，最后根据视差来还原该物体与摄像机的距离。
总的来说立体匹配方法可以分为全局方法和局部方法两种。全局方法基于平滑性假设，利用各种方法构造全局能量函数，并用最优化方法计算该能量函数的最小值点。而局部方法依赖局部信息，通过计算匹配窗口内的总匹配代价，利用WTA策略找到最小值来确定视差。
全局立体匹配算法利用图像的平滑项和数据项两项约束来求解整体能量函数的最小值，通常运算量大，且难以进行并行优化，耗时长，不适合实时***。
半全局立体匹配存在以下几种缺陷：(1)窗口大小的确定困难：窗口太大计算量大，且在深度不连续区域会产生前景膨胀效应，边缘的效果很差；窗口太小则无法包含物体的全部纹理特征，造成匹配结果的多义性。(2)用于计算代价的值仅仅是图像的灰度值或是低阶差分，不能很好的描述特征。即使是使用了非参数的Census变换，也仅仅是增强了对噪声的鲁棒性，并不能解决特征描述不充分的问题。
近年来，深度学习的发展逐渐成熟，在语音识别、图像理解等领域取得了突破性的进展，究其原因，则是其提取深层特征的能力。再者，图形处理器GPU运算能力的迅速提高使得神经网络的训练及前向传播速度得到了本质的提升，使在实时/准实时***中使用深度学习技术成为了可能。
发明内容
本发明所要解决的技术问题是，提供一种利用深度学习方法来进行立体匹配的方法。
本发明为解决上述技术问题所采用的技术方案是，一种基于深度学习的立体匹配方法，包括以下步骤：
1)将输入尺寸为W*H的左视图image1与右视图image2作为两路数据输入到深度学习网络分别进行特征提取得到代价体，W为视图宽，H为视图的高：
1-1)对左视图image1、右视图image2分别进行一次卷积及一次池化，得到各自的特征谱pool1；
1-2)对特征谱pool1进行一次卷积及一次池化，得到特征谱pool2；
1-3)对特征谱pool2进行一次带孔洞的卷积操作得到特征谱conv3；对特征谱conv3进行一次带孔洞的卷积操作得到特征谱conv4，在通道数的维度上合并特征谱conv3和特征谱conv4，并对合并结果进行卷积操作得到特征谱conv5；
1-4)将从左视图得到的特征谱conv5_left和从右视图得到的特征谱conv5_right在范围D/4内进行合并，得到D/4个合并结果concat[1]到concat[D/4]，D为预设的视差搜索范围；
1-5)将得到的D/4个合并结果concat[1]到concat[D/4]分别进行1*1的卷积操作得到特征谱conv6，对特征谱conv6做11*11的卷积得到特征谱conv7，对特征谱conv7做1*1的卷积得到特征谱conv8；
1-6)特征谱conv8经回归模型softmax分类器得到一个W/4*H/4*2的分类结果；分类结果中每个点对应的两个结果为匹配成功的概率及匹配失败的概率，保留分类结果中每个点对应的匹配失败的概率，将D/4个分类结果合并成一个W/4*H/4*D/4的代价体C3；
2)将左视图image1、右视图image2的差的绝对值作为一个W*H*D的代价体C1；将左、右图像得到的特征谱pool1_left和pool1_right的差的绝对值作为一个W/2*H/2*D/2的代价体C2，最后将代价体C3、C2与C1合并得到最终的代价体一个W*H*D的代价体C；
3)根据代价体C用胜者为王WTA策略寻找最佳匹配点，得到初始视差图；最后利用左视图作为引导图像对初始视差图进行引导滤波，得到最终的精确视差图。
本发明的有益效果是，利用深度学习方法提取特征，得到的特征谱每个点的感受野很大，但同时又不会有传统局部匹配方法带来的前景膨胀效应，解决了局部匹配方法窗口难以选取的问题。且通过深度学习得到的高维度特征谱，充分描述了区域的数据分布特征，对后面的相似性检测有很强的指导意义。本发明根据左右视图利用深度学习方法输出一个W*H*D的代价体，再利用胜者为王WTA策略得到初始视差图，最后利用原左视图作为引导图像做引导滤波，该方法具备较高的准确性，并且由于神经网络的可并行化程度高，合理的运用GPU并行加速可以使该方法达到很快的运算速度。
附图说明
图1：本发明使用的金字塔型匹配代价体合成示意图。
具体实施方式
本发明可以分为深度学习匹配代价体生成，金字塔匹配代价合成，引导滤波三个阶段。
步骤一：输入参数校正后的左右视图image1和image2，作为两路数据输入到网络分别进行特征计算：(1)进行一次3*3的卷积及一次2*2且步长为2的最大池化，得到一个尺寸为原图尺寸1/2的特征谱pool1。(2)对pool1进行一次3*3的卷积及一次2*2且步长为2的最大池化，得到一个尺寸为原图1/4的特征谱pool2。(3)对该特征谱进行一次3*3且膨胀系数为2的卷积操作得到特征谱conv3，对conv3进行一次3*3且膨胀系数为2的卷积操作得到特征谱conv4,在通道数的维度上合并conv3和conv4,并进行卷积操作得到特征谱conv5。
将左图得到的conv5_left和右图得到的conv5_right，在视差搜索范围D/4内进行合并，得到concat[1]到concat[D/4](原图的视差搜索范围是D，因为conv5的尺寸为原图尺寸的1/4，所以视差搜索范围也缩小为1/4。合并的具体方法为将conv5_right左移D位与conv5_left在通道数维度上叠加)。将得到的concat[1]到concat[D/4]分别进行1*1*32的卷积操作压缩通道数得到conv6，对conv6做11*11的卷积得到conv7，对conv7做1*1的卷积得到conv8。对conv8进行softmax得到一个W/4*H/4*2的分类结果。每个点对应的两个结果为匹配成功的概率及匹配失败的概率。保留匹配失败的概率，将D/4个结果合并成一个W/4*H/4*D/4的代价体C3。
步骤二：计算原始图像的AD(差的绝对值)代价C1(W*H*D)，计算左右图像得到的特征谱pool1_left和pool1_right的AD代价C2(W/2*H/2*D/2)，将C3、C2与C1合并得到最终的代价体C。公式如下，根据经验控制权值，通常我们把C3的权值设为20，C1和C2的权值为1。
C＝μ1C1+μ2C2+μ3C3
步骤三：根据上述步骤得到的代价体C，用WTA(胜者为王)策略寻找最佳匹配点，得到初始视差。最后利用左图作为引导图像对初始视差图进行引导滤波，得到最终的精确视差图。

Claims (2)

1.一种基于深度学习的立体匹配方法，其特征在于，包括以下步骤：
1)将输入尺寸为W*H的左视图image1与右视图image2作为两路数据输入到深度学习网络分别进行特征提取得到代价体，W为视图宽，H为视图的高：
1-1)对左视图image1、右视图image2分别进行一次卷积及一次池化，得到各自的特征谱pool1；
1-2)对特征谱pool1进行一次卷积及一次池化，得到特征谱pool2；
1-3)对特征谱pool2进行一次带孔洞的卷积操作得到特征谱conv3；对特征谱conv3进行一次带孔洞的卷积操作得到特征谱conv4，在通道数的维度上合并特征谱conv3和特征谱conv4，并对合并结果进行卷积操作得到特征谱conv5；
1-4)将从左视图得到的特征谱conv5_left和从右视图得到的特征谱conv5_right在范围D/4内进行合并，得到D/4个合并结果concat[1]到concat[D/4]，D为预设的视差搜索范围；
1-5)将得到的D/4个合并结果concat[1]到concat[D/4]分别进行1*1的卷积操作得到特征谱conv6，对特征谱conv6做11*11的卷积得到特征谱conv7，对特征谱conv7做1*1的卷积得到特征谱conv8；
1-6)特征谱conv8经回归模型softmax分类器得到一个W/4*H/4*2的分类结果；分类结果中每个点对应的两个结果为匹配成功的概率及匹配失败的概率，保留分类结果中每个点对应的匹配失败的概率，将D/4个分类结果合并成一个W/4*H/4*D/4的代价体C3；
2)将左视图image1、右视图image2的差的绝对值作为一个W*H*D的代价体C1；将左、右图像得到的特征谱pool1_left和pool1_right的差的绝对值作为一个W/2*H/2*D/2的代价体C2，最后将代价体C3、C2与C1合并得到最终的代价体一个W*H*D的代价体C；
3)根据代价体C用胜者为王WTA策略寻找最佳匹配点，得到初始视差图；最后利用左视图作为引导图像对初始视差图进行引导滤波，得到最终的精确视差图。
2.如权利要求1所述方法，其特征在于，代价体C3、C2与C1合并得到代价体C的具体方法为：
C＝μ1C1+μ2C2+μ3C3。
其中，μ1、μ2、μ3均为控制权值，μ3＝20，C1＝1，C2＝1.。
CN201710764319.5A 2017-08-30 2017-08-30 一种基于深度学习的立体匹配方法 Active CN107590831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710764319.5A CN107590831B (zh) 2017-08-30 2017-08-30 一种基于深度学习的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710764319.5A CN107590831B (zh) 2017-08-30 2017-08-30 一种基于深度学习的立体匹配方法

Publications (2)

Publication Number Publication Date
CN107590831A true CN107590831A (zh) 2018-01-16
CN107590831B CN107590831B (zh) 2021-02-05

Family

ID=61050338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710764319.5A Active CN107590831B (zh) 2017-08-30 2017-08-30 一种基于深度学习的立体匹配方法

Country Status (1)

Country Link
CN (1) CN107590831B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596330A (zh) * 2018-05-16 2018-09-28 中国人民解放军陆军工程大学 一种并行特征全卷积神经网络及其构建方法
CN108846858A (zh) * 2018-06-01 2018-11-20 南京邮电大学 一种计算机视觉的立体匹配算法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN109146937A (zh) * 2018-08-22 2019-01-04 广东电网有限责任公司 一种基于深度学习的电力巡检影像密集匹配方法
CN109978936A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 视差图获取方法、装置、存储介质及设备
CN110110775A (zh) * 2019-04-28 2019-08-09 北京理工大学 一种基于超连接网络的匹配代价计算方法
WO2019192290A1 (zh) * 2018-04-04 2019-10-10 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
CN111259945A (zh) * 2020-01-10 2020-06-09 大连理工大学 引入注意力图谱的双目视差估计方法
WO2020119620A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 具有自我提升能力的金字塔双目深度估计模型
CN114445473A (zh) * 2022-04-07 2022-05-06 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
US20140293081A1 (en) * 2013-04-01 2014-10-02 Hon Hai Precision Industry Co., Ltd. Computing device and method of image matching
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106504276A (zh) * 2016-10-25 2017-03-15 桂林电子科技大学 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140293081A1 (en) * 2013-04-01 2014-10-02 Hon Hai Precision Industry Co., Ltd. Computing device and method of image matching
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN106355570A (zh) * 2016-10-21 2017-01-25 昆明理工大学 一种结合深度特征的双目立体视觉匹配方法
CN106504276A (zh) * 2016-10-25 2017-03-15 桂林电子科技大学 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145078B2 (en) 2018-04-04 2021-10-12 Tencent Technology (Shenzhen) Company Limited Depth information determining method and related apparatus
WO2019192290A1 (zh) * 2018-04-04 2019-10-10 腾讯科技（深圳）有限公司 一种深度信息确定的方法及相关装置
CN108596330A (zh) * 2018-05-16 2018-09-28 中国人民解放军陆军工程大学 一种并行特征全卷积神经网络及其构建方法
CN108846858A (zh) * 2018-06-01 2018-11-20 南京邮电大学 一种计算机视觉的立体匹配算法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法
CN109146937A (zh) * 2018-08-22 2019-01-04 广东电网有限责任公司 一种基于深度学习的电力巡检影像密集匹配方法
WO2020119620A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 具有自我提升能力的金字塔双目深度估计模型
CN109978936A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 视差图获取方法、装置、存储介质及设备
CN109978936B (zh) * 2019-03-28 2022-12-30 腾讯科技（深圳）有限公司 视差图获取方法、装置、存储介质及设备
CN110110775A (zh) * 2019-04-28 2019-08-09 北京理工大学 一种基于超连接网络的匹配代价计算方法
CN111259945A (zh) * 2020-01-10 2020-06-09 大连理工大学 引入注意力图谱的双目视差估计方法
CN111259945B (zh) * 2020-01-10 2022-09-20 大连理工大学 引入注意力图谱的双目视差估计方法
CN114445473A (zh) * 2022-04-07 2022-05-06 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和***
CN114445473B (zh) * 2022-04-07 2022-07-26 北京中科慧眼科技有限公司 基于深度学习算子的立体匹配方法和***

Also Published As

Publication number Publication date
CN107590831B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN107590831A (zh) 一种基于深度学习的立体匹配方法
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN112270249B (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN111340814B (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN106600583B (zh) 基于端到端神经网络的视差图获取方法
Wang et al. An edge-weighted centroidal Voronoi tessellation model for image segmentation
CN107464210A (zh) 一种基于生成式对抗网络的图像风格迁移方法
CN104616286B (zh) 快速的半自动多视图深度修复方法
CN103714574B (zh) 一种基于gpu加速的海中场景建模与实时交互绘制方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN105975941A (zh) 一种基于深度学习的多方向车型检测识别***
CN108665485A (zh) 一种基于相关滤波与孪生卷积网络融合的目标跟踪方法
CN110175603A (zh) 一种雕刻文字识别方法、***及存储介质
CN103955945B (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN104200453B (zh) 基于图像分割和可信度的视差图像校正方法
CN107369158A (zh) 基于rgb‑d图像的室内场景布局估计及目标区域提取方法
CN111242181B (zh) 基于图像语义和细节的rgb-d显著性物体检测器
CN103996185A (zh) 一种基于注意力td-bu机制的图像分割方法
CN108154066A (zh) 一种基于曲率特征递归神经网络的三维目标识别方法
Alidoost et al. Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries
CN104851095A (zh) 基于改进型形状上下文的工件图像稀疏立体匹配方法
CN116310693A (zh) 基于边缘特征融合和高阶空间交互的伪装目标检测方法
CN106570877A (zh) 基于采煤机虚拟样机与真实图像配准的采煤机位姿定位***及方法
CN111783862A (zh) 多注意力导向神经网络的立体显著性物体检测技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant