CN108230382B - 基于Spearman相关性系数和动态规划融合的立体匹配算法 - Google Patents

基于Spearman相关性系数和动态规划融合的立体匹配算法 Download PDF

Info

Publication number
CN108230382B
CN108230382B CN201810092426.2A CN201810092426A CN108230382B CN 108230382 B CN108230382 B CN 108230382B CN 201810092426 A CN201810092426 A CN 201810092426A CN 108230382 B CN108230382 B CN 108230382B
Authority
CN
China
Prior art keywords
matching cost
matching
cost
correlation coefficient
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810092426.2A
Other languages
English (en)
Other versions
CN108230382A (zh
Inventor
于修成
王永雄
宋燕
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201810092426.2A priority Critical patent/CN108230382B/zh
Publication of CN108230382A publication Critical patent/CN108230382A/zh
Application granted granted Critical
Publication of CN108230382B publication Critical patent/CN108230382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明涉及一种基于Spearman相关性系数和动态规划融合的立体匹配算法，利用Spearman相关性系数来计算匹配代价，引入Spearman相关系数来求匹配代价更适用于有光照辐射等特殊的图像区域。然后为每个像素点建立能量模型，即融合多种匹配代价建立能量模型，通过动态规划对能量模型进行优化得到候选视差值。此种模型融合了多种匹配代价，可以提高单一匹配代价的匹配精度，如通过融合像素差和梯度信息可以更好的保留边缘信息。解决光照辐射等特殊图像区域难以精确匹配问题；解决单一匹配代价在某些特殊区域匹配精度不足问题；对候选视差值做平均，即可得到最终的视差值，从而使得求得的视差值精度精确到小数。

Description

基于Spearman相关性系数和动态规划融合的立体匹配算法
技术领域
本发明涉及一种计算机视觉技术，特别涉及一种基于Spearman相关性系数计算匹配代价和动态规划融合的立体匹配算法。
背景技术
立体视觉是计算机视觉领域的一个至关重要的分支，它是一种模拟人类视觉原理，使用计算机被动感知距离的方法。从两个或多个点观察一个物体，获取不同视角下的图像，根据图像之间像素的匹配关系找到匹配点，从而得到像素之间的偏差，再通过三角测量即可获取物体的景深信息。
立体匹配是立体视觉的关键步骤，其目的是得到图像对中找到同源点。20世纪80年代，美国麻省理工学院的Marr提出一种计算机理论并应用在双目匹配中，使两张有视差的平面图产生具有深度的立体图形，从而奠定了双目立体匹配技术发展的理论基础。随着双目立体匹配理论的不断发展，对双目立体匹配算法的优化是永无止境的。
立体匹配的过程可以分为四个步骤，分别为：代价计算、代价聚合、视差优化以及视差强化。代价计算是在视差范围内计算疑似匹配点之间的代价。代价聚合是通过固定窗口或者其他的聚合方式聚合匹配代价。视差优化是在视差范围内选择最佳的视差，针对算法的不同视差优化可分为单像素点优化和全局优化。单像素点视差优化即选择最小匹配代价对应的视差作为最终视差。全局优化是对能量函数进行最优化求解，从而得到最终视差图。视差强化是对初始视差图进行左右一致性检测、空洞填充等。
根据立体匹配所采取的过程，可以将立体匹配分为局部立体匹配和全局立体匹配。大部分局部立体匹配可以满足实时性的要求，但是该类算法对误差比较敏感，在图像有光照辐射、低纹理以及重复纹理等特殊区域得到的视差精度不高。全局立体匹配通过优化全局能量函数来得到视差图，能量函数包括匹配代价项以及视差连续约束项，该类算法得到的视差图整体精度相对较高，但是算法的实时性较低，很难用于实际应用中。因此，同时满足算法实时性以及匹配精度要求成为立体匹配算法最大的难点。
发明内容
本发明是针对局部算法在特定区域精度不高以及全局算法实时性不好的问题，提出了一种基于Spearman相关性系数和动态规划融合的立体匹配算法，利用Spearman相关性系数来计算匹配代价，引入Spearman相关系数来求匹配代价更适用于有光照辐射等特殊的图像区域。然后为每个像素点建立能量模型，即融合多种匹配代价建立能量模型，通过动态规划对能量模型进行优化得到候选视差值。此种模型融合了多种匹配代价，可以提高单一匹配代价的匹配精度，如通过融合像素差和梯度信息可以更好的保留边缘信息。
本发明的技术方案为：一种基于Spearman相关性系数和动态规划融合的立体匹配算法，具体包括如下步骤：
1)先从双目立体摄像头中读取左右两幅图片并校正，对其进行代价计算得到匹配代价图；
2)然后分别采用已知的匹配代价算法和引入Spearman相关性系数的匹配代价算法来求解匹配代价；
3)再综合所有匹配代价算法对每个像素点建立匹配代价能量函数，形成模型，并通过动态规划算法进行模型优化得到每种匹配代价算法对应的最小代价路径；
4)最后对所有最小代价路径上对应的候选视差取平均得到最终的视差值。
所述步骤2)中引入Spearman相关性系数的匹配代价算法来求解匹配代价具体步骤如下：
首先选取左图任意一个参考点p(x，y)和其在右图中有视差为d的对应点q(x-d，y)，选取以此两点为中心3*3固定窗口，然后对两窗口内像素按一定顺序分别排列成两个序列变量为：
L：IL(x-1，y-1)，IL(x，y-1)，…，IL(x，y+1)，IL(x+1，y+1)，
R：IR(x-1-d，y-1)，IR(x-d，y-1)，…，IR(x-d，y+1)，IR(x-d+1，y+1)IL为左图中对应点的像素值，IR为右图中对应点的像素值；再对两个序列中的像素值按大小进行排序，得到每个像素在各自序列中的等级RLi和RRi；ri＝RLi-RRi，则两序列变量之间的Spearman相关性系数为
Figure BDA0001563400610000031
其中N为固定窗口中像素个数，ri为两个变量对应元素排序后的等级之差，则由相关系数所表示的参考点p(x，y)在视差为d时的匹配代价为C2(x，y，d)＝-ρ(L，R)。
所述步骤3)具体包括如下：
考虑单一像素点不同代价计算的视差连续性，为像素点建立匹配代价能量模型，匹配代价能量函数中包含数据项以及连续约束项，对于参考点p(x，y)其能量函数为：
Figure BDA0001563400610000032
其中Ct(p，dt)为第t种匹配代价算法计算像素点p(x，y)在视差为dt时的匹配代价；ds为第s种匹配代价算法中匹配代价对应的视差；P1和P2为惩罚项常数；f为0-1函数，m为匹配代价算法种类个数；通过动态规划对模型进行优化，即对每种匹配代价算法找到一条最优路径，使得路径上的权值相加最小，Ct(p，dt)+V(dt-ds)代表权值，其中Ct(p，dt)代表匹配代价，V(dt-ds)代表约束项。
本发明的有益效果在于：本发明基于Spearman相关性系数和动态规划融合的立体匹配算法，引入Spearman相关性系数来求匹配代价，解决光照辐射等特殊图像区域难以精确匹配问题；为每个像素点建立能量模型，通过动态规划算法优化得到最小代价路径，从而得到像素点的候选视差值，解决单一匹配代价在某些特殊区域匹配精度不足问题；对候选视差值做平均，即可得到最终的视差值，从而使得求得的视差值精度精确到小数。
附图说明
图1为本发明方法流程图；
图2为本发明Spearman相关系数计算匹配代价的流程图；
图3为本发明利用动态规划对像素能量函数进行优化的模型简图。
具体实施方式
如图1所示基于Spearman相关性系数和动态规划融合的立体匹配算法流程图，算法具体步骤如下：
第一步，从双目立体摄像头中读取左右两幅校正过后的图片，对于左图任意一个参考点p(x，y)，其在右图中有视差为d的对应点q(x-d，y)，则p、q的匹配代价e(x，y，d)可表示为：
e(x，y，d)＝min{|IL(x，y)-IR(x-d，y)|，T}，
其中d∈(0，dmax)，dmax为最大视差，IL(x，y)为左图中p(x，y)的像素值，IR(x-d，y)为右图中q(x-d，y)的像素值，T为像素阈值。这样就可得到dmax+1张匹配代价图。
第二步，代价聚合：
对每一张匹配代价图运用3*3的窗口进行代价聚合，聚合后的匹配代价为
Figure BDA0001563400610000041
其中e(X，Y，d)、C1(x，y，d)分别为聚合前后的匹配代价，Wx，y为以参考点p(x，y)为中心的窗口，(X，Y)为窗口内像素点。
第三步，根据图2流程图来计算Spearman相关性系数，从而得到匹配代价。首先选取以左图点p(x，y)和其在右图的对应点q(x-d，y)为中心的3*3固定窗口，然后对两窗口内像素按相同顺序分别排列成两个序列变量为：
L：IL(x-1，y-1)，IL(x，y-1)，…，IL(x，y+1)，IL(x+1，y+1)，
R：IR(x-1-d，y-1)，IR(x-d，y-1)，…，IR(x-d，y+1)，IR(x-d+1，y+1)
然后对两个序列中的像素值按大小进行排序，得到每个像素在各自序列中的等级RLi和RRi。ri＝RLi-RRi，则两序列变量之间的Spearman相关性系数为
Figure BDA0001563400610000051
其中N为固定窗口中像素个数，如窗口为3*3时，N为9。ri为两个变量对应元素排序后的等级之差，则由相关系数所表示的点p(x，y)在视差为d时的匹配代价为C2(x，y，d)＝-ρ(L，R)。
第四步，根据两种匹配代价对每个像素点建立匹配代价能量函数，考虑单一像素点不同代价计算的视差连续性，为像素点建立匹配代价能量模型，匹配代价能量函数中包含数据项以及连续约束项，对于点p(x，y)其能量函数为：
Figure BDA0001563400610000052
其中Ct(p，dt)为第t种匹配代价算法计算像素点p(x，y)在视差为dt时的匹配代价；ds为第s种匹配代价算法中匹配代价对应的视差；P1和P2为惩罚项常数；f为0-1函数。这里一共有2种匹配代价算法，所以当t＝1时，s就等于2，t＝2时，s就等于1，如果有m种匹配代价算法，则
Figure BDA0001563400610000053
此模型可以通过动态规划在如图3进行优化，即在如图3中找到一条最优路径，使得路径上的权值相加最小。Ct(p，dt)+V(dt-ds)代表权值，其中Ct(p，dt)代表匹配代价，V(dt-ds)代表约束项。通过动态规划算法寻找一条路径，使得路径上的权重最小，进而找到最小路径对应的候选视差d1与d2。
第五步，对候选视差d1和d2取平均，得到最终的视差值
Figure BDA0001563400610000054
如有m种匹配代价计算方法的个数，则最终的视差值
Figure BDA0001563400610000055
dj代表第j种匹配代价对应的视差。

Claims (2)

1.一种基于Spearman相关性系数和动态规划融合的立体匹配方法，其特征在于，具体包括如下步骤：
1)先从双目立体摄像头中读取左右两幅图片并校正，对其进行代价计算得到匹配代价图；具体如下：
对于左图任意一个参考点p(x，y)，其在右图中有视差为d的对应点q(x-d，y)，则p、q的匹配代价e(x，y，d)可表示为：
e(x,y,d)＝min{|IL(x,y)-IR(x-d,y)|,T}，
其中d∈(0,dmax)，dmax为最大视差，IL(x，y)为左图中p(x，y)的像素值，IR(x-d，y)为右图中q(x-d，y)的像素值，T为像素阈值，这样就可得到dmax+1张匹配代价图；
2)然后分别采用已知的匹配代价算法和引入Spearman相关性系数的匹配代价算法来求解匹配代价；
已知的匹配代价算法求解匹配代价具体步骤如下：
对每一张匹配代价图运用3*3的窗口进行代价聚合，聚合后的匹配代价为
Figure FDA0002886789450000011
其中e(X，Y，d)、C1(x，y，d)分别为聚合前后的匹配代价，Wx,y为以参考点p(x，y)为中心的窗口，(X，Y)为窗口内像素点；引入Spearman相关性系数的匹配代价算法来求解匹配代价具体步骤如下：
首先选取左图任意一个参考点p(x，y)和其在右图中有视差为d的对应点q(x-d，y)，选取以此两点为中心3*3固定窗口，然后对两窗口内像素按一定顺序分别排列成两个序列变量为：
L:IL(x-1,y-1),IL(x,y-1),…,IL(x,y+1),IL(x+1,y+1),
R:IR(x-1-d,y-1),IR(x-d,y-1),…,IR(x-d,y+1),IR(x-d+1,y+1)
IL为左图中对应点的像素值，IR为右图中对应点的像素值；再对两个序列中的像素值按大小进行排序，得到每个像素在各自序列中的等级RLi和RRi；
ri＝RLi-RRi，则两序列变量之间的Spearman相关性系数为
Figure FDA0002886789450000021
其中N为固定窗口中像素个数，ri为两个变量对应元素排序后的等级之差，则由相关系数所表示的参考点p(x，y)在视差为d时的匹配代价为C2(x,y,d)＝-ρ(L,R)；
3)再综合两种匹配代价算法对每个像素点建立匹配代价能量函数，形成匹配代价能量模型，并通过动态规划算法进行模型优化得到上述两种匹配代价算法对应的最小代价路径；
4)最后对上述两种匹配代价算法对应的最小代价路径上对应的候选视差取平均得到最终的视差值。
2.根据权利要求1所述基于Spearman相关性系数和动态规划融合的立体匹配方法，其特征在于，所述步骤3)具体包括如下：
考虑单一像素点不同代价计算的视差连续性，为像素点建立匹配代价能量模型，匹配代价能量函数中包含数据项以及连续约束项，对于参考点p(x，y)其能量函数为：
Figure FDA0002886789450000022
其中Ct(p,dt)为第t种匹配代价算法计算像素点p(x，y)在视差为dt时的匹配代价；ds为第s种匹配代价算法中匹配代价对应的视差；P1和P2为惩罚项常数；f为0-1函数；共有2种匹配代价算法，所以当t＝1时，s就等于2，t＝2时，s就等于1；通过动态规划对模型进行优化，即对两种匹配代价算法找到一条最优路径，使得路径上的权值相加最小，Ct(p,dt)+V(dt-ds)代表权值，其中Ct(p,dt)代表匹配代价，V(dt-ds)代表约束项。
CN201810092426.2A 2018-01-30 2018-01-30 基于Spearman相关性系数和动态规划融合的立体匹配算法 Active CN108230382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810092426.2A CN108230382B (zh) 2018-01-30 2018-01-30 基于Spearman相关性系数和动态规划融合的立体匹配算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810092426.2A CN108230382B (zh) 2018-01-30 2018-01-30 基于Spearman相关性系数和动态规划融合的立体匹配算法

Publications (2)

Publication Number Publication Date
CN108230382A CN108230382A (zh) 2018-06-29
CN108230382B true CN108230382B (zh) 2021-04-30

Family

ID=62669968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810092426.2A Active CN108230382B (zh) 2018-01-30 2018-01-30 基于Spearman相关性系数和动态规划融合的立体匹配算法

Country Status (1)

Country Link
CN (1) CN108230382B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269175B (zh) * 2020-09-09 2023-11-21 国网山西省电力公司阳泉供电公司 一种结合斯皮尔曼系数的分布式散射体选取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908230A (zh) * 2010-07-23 2010-12-08 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
CN103942810A (zh) * 2014-05-12 2014-07-23 福州大学 一种基于改进双向动态规划的立体匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908230A (zh) * 2010-07-23 2010-12-08 东南大学 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
CN103942810A (zh) * 2014-05-12 2014-07-23 福州大学 一种基于改进双向动态规划的立体匹配方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms;Daniel Scharstein;《Technical Report》;20011130;第1-60页 *
Correlation Coefficient Based Fast Template Matching Through Partial Elimination;Arif Mahmood 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20101231;第1-10页 *
Evaluation of Cost Functions for Stereo Matching;Heiko Hirschmuller 等;《IEEE Conference on Computer Vision and Pattern Recognition(CVPP)》;20070623;第1-8页 *
Stereo Processing by Semiglobal Matching and Mutual Information;Heiko Hirschmuller;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20081231;第30卷(第02期);第328-341页 *

Also Published As

Publication number Publication date
CN108230382A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
US8953874B2 (en) Conversion of monoscopic visual content using image-depth database
Li et al. Simultaneous video defogging and stereo reconstruction
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
Wedel et al. Detection and segmentation of independently moving objects from dense scene flow
US9769460B1 (en) Conversion of monoscopic visual content to stereoscopic 3D
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
US20230267720A1 (en) Cooperative lidar object detection via feature sharing in deep networks
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN102447917A (zh) 立体图像匹配方法及其设备
CN104182968A (zh) 宽基线多阵列光学探测***模糊动目标分割方法
CN107492107A (zh) 基于平面与空间信息融合的物体识别与重建方法
Ci et al. Stereo visual odometry based on motion decoupling and special feature screening for navigation of autonomous vehicles
CN116128966A (zh) 一种基于环境物体的语义定位方法
CN104331890A (zh) 一种全局视差估计方法和***
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN103646397B (zh) 基于多源数据融合的实时合成孔径透视成像方法
Lu et al. Stereo disparity optimization with depth change constraint based on a continuous video
CN108230382B (zh) 基于Spearman相关性系数和动态规划融合的立体匹配算法
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN102567992B (zh) 遮挡区域的图像匹配方法
CN103714543A (zh) 基于不变矩空间信息的简单树动态规划的双目立体匹配方法
CN104408710B (zh) 一种全局视差估计方法和***
Um et al. Three-dimensional scene reconstruction using multiview images and depth camera
Zhang et al. High quality depth maps from stereo matching and ToF camera
Chen et al. End-to-end multi-view structure-from-motion with hypercorrelation volume

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant