CN107301642A - 一种基于双目视觉的全自动前景背景分隔方法 - Google Patents

一种基于双目视觉的全自动前景背景分隔方法 Download PDF

Info

Publication number
CN107301642A
CN107301642A CN201710402285.5A CN201710402285A CN107301642A CN 107301642 A CN107301642 A CN 107301642A CN 201710402285 A CN201710402285 A CN 201710402285A CN 107301642 A CN107301642 A CN 107301642A
Authority
CN
China
Prior art keywords
mrow
msub
parallax
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710402285.5A
Other languages
English (en)
Other versions
CN107301642B (zh
Inventor
王炜
马俊磊
张政
刘煜
徐玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710402285.5A priority Critical patent/CN107301642B/zh
Publication of CN107301642A publication Critical patent/CN107301642A/zh
Application granted granted Critical
Publication of CN107301642B publication Critical patent/CN107301642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于双目视觉的全自动前景背景分隔方法，在初始化阶段，首先局部匹配算法初步生成视差图，之后利用初始视差图生成trimap，并按照Levin等人提出的基于颜色线性假设理论方法求解出初始不透明度α。在迭代优化阶段，首先将左右图像的不透明度信息融入代价聚合函数增强视差图，尤其是边界区域。再利用增强的视差图为抠图提供更加可靠地trimap，并利用视差梯度作为扩散映射***到抠图公式中。整个优化过程不断迭代直至得到满意的结果。经过实验验证该方法具有很好的鲁棒性，明显降低了视差图边界处的误差，提高了图像抠图的准确性。

Description

一种基于双目视觉的全自动前景背景分隔方法
技术领域
本发明属于数字图像处理技术领域，特指一种基于双目视觉的全自动前景背景分隔方法。
背景技术
在机器视觉领域，双目立体视觉技术具有越来越重要的位置，其在医疗诊断、手机摄影、图像跟踪等领域有着广泛应用。人们对深度图像的质量的要求也越来越苛刻，尤其是深度图像的边缘部分。在传统的立体匹配算法中生成很精确的深度图边界很困难的。因此有必要采用一种新的方法来来弥补立体匹配算法在这点上的缺陷。
一种很有前途的方法就是利用图像抠图蕴含的丰富的边界细节。但是现有的经典抠图算法，都要求用户首先指明确定的前景、背景部分，不能实现自动化的抠图。这很大程度上限制了抠图的应用范围，例如在手机上的应用。更糟糕的是，这使得抠图质量完全取决于用户指定的前景、背景的代表性，如果用户指定的确定性前、背景不全面，那么抠图效果会大打折扣。
发明内容
针对现有方法的不足，本发明其目的在于提出一种基于双目视觉的全自动前景背景分隔方法。将图像抠图看作是一个粗糙的“深度图”。因此，深度图能为图像抠图提供可靠地前景、背景分割，能够自动生成trimap，同时深度值也能为图像抠图算法提供新的信息，使其在实现多层抠图时更加精确。本发明将双目立体匹配算法与图像抠图算法相结合，达到互相迭代增强的效果，并实现自动抠图，无需人机交互，可以使这项技术更加便利，适用范围更加广泛，例如可以应用在现有的双目手机上。
本发明的技术方案是：
一种基于双目视觉的全自动前景背景分隔方法，包括以下步骤：
S1对经过行配准的双目图像，使用局部匹配算法得到初始视差图；
S2利用步骤S1得到的初始视差图，自动生成trimap，得到初始化抠图；
S3将步骤S2得到的初始化抠图中的抠图信息融入到步骤S1的局部匹配算法中，得到优化后的视差图；
S4利用步骤S3得到的优化后的视差图，将视差与颜色信息一起作为平滑项优化步骤S2得到初始化抠图；
S5重复迭代步骤S3和S4，重复迭代2次以上，输出最终的视差图和抠图。
本发明中：
步骤S1的实现方法是：
步骤S11：在双目图像中的左、右图像内，选取大小为(2n+1)*(2n+1)的窗口，在候选视差值为D＝{-dmax,…,-1,0,1,…,dmax}(dmax代表最大视差范围)下，计算颜色距离代价CI、梯度距离代价以及总的匹配代价函数C：
其中，x,y代表位于窗口中心的像素点p的横纵坐标，d∈D，i、j均为自然数；Il、Ir分别代表双目图像中的左、右图像对应像素点的像素值，分别代表双目图像中的左右图像对应像素点处的梯度值，λ是平衡颜色与梯度信息对匹配代价影响的权重。
步骤S12：采用winnertakes all来选择像素点p的最优视差值dp。
其中，dlp为左图像上像素点p对应的初始视差值，drp为右图像上像素点p对应的初始视差值。
步骤S13：遍历双目图像中的左、右图像内的所有大小为(2n+1)*(2n+1)的窗口，按照同样的方法得到所有像素点的最优视差值，生成左右两幅初始视差图。
步骤S2的实现方法是：
步骤S21：采用分水岭算法对步骤S1得到的初始视差图进行划分，根据预先设定的阈值将分割后的视差图二值化为前景、背景。
a.对步骤S1得到的初始视差图计算梯度，并对梯度进行阈值处理：
g(x,y)＝max(grad(d(x,y)),θ) (5)
其中，d(x,y)代表步骤S1得到的初始视差图上任一点的视差值，g(x,y)代表该点的梯度值，θ为阈值，grad()为梯度函数。
b.对步骤a得到的梯度图像使用分水岭算法分割成前景、背景两部分。
步骤S22：对步骤S21得到的前景、背景进行形态学腐蚀，并进行二值化得到确定的前景、背景，腐蚀部分作为不确定性区域得到traimap。
步骤S23：计算双目图像中的左、右图像中各像素点的不透明度α，生成左、右图像相应的初始化抠图，其能量函数公式为：
其中，L为拉普拉斯矩阵，其第(i,j)项为：
其中，δij为克罗内克积，Ai是像素点的RGB三维向量，μk是双目图像其左、右图像中任意大小为3×3的窗口wk内向量Ai的平均向量，|wk|是窗口k内像素点的个数，ε是一个用来保证数值稳定性的常数，Σk是一个3×3的协方差矩阵，I3是一个3×3的单位矩阵。
步骤S3中，将步骤S2计算得到的左、右图像各像素点的不透明度α融入到步骤S1的局部匹配算法中，得到优化后的视差图，其实现方法如下：
步骤S31：在步骤S2得到的左、右图像相应的初始化抠图即左初始化抠图和右初始化抠图中，遍历所有大小为(2n+1)*(2n+1)的窗口，在候选视差值为D＝{1,2,…,dmax}下，计算左、右图像相应的初始化抠图不透明度的匹配代价Cα：
其中，x,y代表窗口的中心像素点p的横纵坐标，d∈D，αr、α1分别代表左初始化抠图和右初始化抠图对应点不透明度；
步骤S32：将Cα加到公式(3)中，计算优化后的双目视差代价聚合函数：
C'(x,y,d)＝C(x,y,d)+ξ·Cα(x,y,d) (9)
其中，ξ为平衡参数，取值范围为[0,1]。
步骤S33：将步骤S32得到的优化后的双目视差代价带入公式(4)，得到左初始化抠图和右初始化抠图中像素点p的最优视差值，按照同样的的方法，得到左初始化抠图和右初始化抠图中的所有像素点的最优视差值，生成左右两幅优化后的视差图。
步骤S4中，利用步骤S3得到的优化后的视差图，将视差与颜色信息一起作为平滑项对步骤S2求出的左、右图像各像素点的不透明度α进行加权滤波，优化步骤S2得到初始化抠图；
其中，WC、WD分别表示颜色与视差距离的权重，其值的计算公式为：
WC(I(i),I(j))＝exp{-||Ii-Ij||2/wc} (9)
WD(d(i),d(j))＝exp{-||di-dj||2/wd}
其中，wc、wd分别为预设的调整颜色值I、视差值d距离权重的参数。
本发明提出一种基于双目视觉的全自动前景背景分隔方法，在初始化阶段，首先局部匹配算法初步生成视差图，之后利用初始视差图生成trimap，并按照Levin等人提出的基于颜色线性假设理论方法求解出初始不透明度α。在迭代优化阶段，首先将左右图像的不透明度信息融入代价聚合函数增强视差图，尤其是边界区域。再利用增强的视差图为抠图提供更加可靠地trimap，并利用视差梯度作为扩散映射***到抠图公式中。整个优化过程不断迭代直至得到满意的结果。
本发明结合双目视差与图像抠图算法，充分利用二者提供的互补信息，经过迭代优化得到高质量的视差图与图像抠图。其思路是借助视差图实现图像抠图的自动生成与增强；利用图像抠图蕴含的丰富的边界细节信息提升视差图的效果。相比于手动抠图算法，本发明实现了自动抠图，并能处理人工难以标注的图像区域，得到更加精确的trimap。经过实验验证该算法具有很好的鲁棒性，明显降低了视差图边界处的误差，提高了图像抠图的准确性。
附图说明
图1是本发明一种基于双目视觉的全自动前景背景分隔方法的流程图；
图2为本发明实现自动得到trimap的示意图。
图3为本发明优化增强深度图和抠图的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
参照图1，为本实施例一种基于双目视觉的全自动前景背景分隔方法的流程图，包括以下步骤：
步骤S1：对经过行配准的双目图像，使用局部匹配算法得到初始视差图；
步骤S11：在双目图像中的左、右图像内，选取大小为(2n+1)*(2n+1)的窗口，在候选视差值为D＝{-dmax,…,-1,0,1,…,dmax}(dmax代表最大视差范围)下，计算颜色距离代价CI与梯度距离代价和总的匹配代价函数C：
其中，x,y代表位于窗口中心的像素点p的横纵坐标，d∈D，i、j均为自然数；Il、Ir分别代表双目图像中的左、右图像对应像素点的像素值，分别代表双目图像中的左右图像对应像素点处的梯度值，λ是平衡颜色与梯度信息对匹配代价影响的权重。
步骤S12：采用winnertakes all来选择像素点p的最优视差值dp：
其中，dlp为左图像上像素点p对应的初始视差值，drp为右图像上像素点p对应的初始视差值。
步骤S13：遍历双目图像中的左、右图像内的所有大小为(2n+1)*(2n+1)的窗口，按照同样的方法得到所有像素点的最优视差值，生成左右两幅初始视差图。
步骤S2：见图2，利用步骤S1得到的初始视差图，自动生成trimap，得到初始化抠图；
步骤S21：采用分水岭算法对步骤S1得到的视差图进行划分，根据预先设定的阈值将分割后的视差图二值化为前景、背景。
a:对步骤S1得到的初始视差图计算梯度，并对梯度进行阈值处理：
g(x,y)＝max(grad(d(x,y)),θ) (5)
其中，d(x,y)代表步骤S1得到的初始视差图任一点的视差值，g(x,y)代表该点的梯度值，θ为阈值，grad()为梯度函数。
b：对步骤a得到的梯度图像使用分水岭算法分割成前景、背景两部分，
步骤S22：对步骤S21得到的前景、背景进行形态学腐蚀，并进行二值化得到确定的前景、背景，腐蚀部分作为不确定性区域得到traimap。
步骤S23：根据Levin等人提出的基于颜色线性假设理论A.Levin,D.Lischinski,and Y.Weiss.2008.A closed form solution to natural image matting.IEEETrans.on PAMI,30(2):228–242.计算双目图像中的左、右图像中各像素点的不透明度α，生成左、右图像相应的初始化抠图，其能量函数公式为：
其中，L为拉普拉斯矩阵，其第(i,j)项为：
其中，δij为克罗内克积，Ai是像素点的RGB三维向量，μk是双目图像的左、右图像任意大小为3×3的窗口wk内向量Ai的平均向量，|wk|是窗口k内像素点的个数，ε是一个用来保证数值稳定性的常数，Σk是一个3×3的协方差矩阵，I3是一个3×3的单位矩阵。
步骤S3：将步骤S2得到的左、右图像各像素点的不透明度融入到步骤S1的局部匹配算法中，得到优化后的视差图；
步骤S31：在步骤S2得到的左、右图像相应的初始化抠图即左初始化抠图和右初始化抠图中，遍历所有大小为(2n+1)*(2n+1)的窗口，在候选视差值为D＝{1,2,…,dmax}(dmax代表最大视差范围)下，计算左、右图像相应的初始化抠图不透明度的匹配代价Cα：
其中，x,y代表窗口的中心像素点p的横纵坐标，d∈D，αr、αl分别代表左初始化抠图和右初始化抠图对应点不透明度。
步骤S32：将Cα加到公式(3)中，计算优化后的双目视差代价聚合函数：
C'(x,y,d)＝C(x,y,d)+ξ·Cα(x,y,d) (9)
其中，ξ为平衡参数，取值范围为[0,1]。
步骤S33：将步骤S32得到的优化后的双目视差代价带入公式(4)，得到左初始化抠图和右初始化抠图中像素点p的最优视差值，按照同样的的方法，得到左初始化抠图和右初始化抠图中的所有像素点的最优视差值，生成左右两幅优化后的视差图。
步骤S4：利用步骤S3得到的优化后的视差图，将视差与颜色信息一起作为平滑项对步骤2求出的左、右图像各像素点的不透明度α进行加权滤波，优化步骤S2得到初始化抠图：
其中，WC、WD分别表示颜色与视差距离的权重，其值的计算公式为：
WC(I(i),I(j))＝exp{-||Ii-Ij||2/wc} (9)
WD(d(i),d(j))＝exp{-||di-dj||2/wd}
其中，wc、wd分别为预设的调整颜色值I、视差值d距离权重的参数。
步骤五：重复迭代步骤S3和S42～3次，输出最终的视差图和抠图，见图3。
以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (6)

1.一种基于双目视觉的全自动前景背景分隔方法，其特征在于，包括以下步骤：
S1对经过行配准的双目图像，使用局部匹配算法得到初始视差图；
S2利用步骤S1得到的初始视差图，自动生成trimap，得到初始化抠图；
S3将步骤S2得到的初始化抠图中的抠图信息融入到步骤S1的局部匹配算法中，得到优化后的视差图；
S4利用步骤S3得到的优化后的视差图，将视差与颜色信息一起作为平滑项优化步骤S2得到初始化抠图；
S5重复迭代步骤S3和S4，重复迭代2次以上，输出最终的视差图和抠图。
2.根据权利要求1所述的基于双目视觉的全自动前景背景分隔方法，其特征在于：步骤S1的实现方法是：
步骤S11：在双目图像中的左、右图像内，选取大小为(2n+1)*(2n+1)的窗口，在候选视差值为D＝{-dmax,…,-1,0,1,…,dmax}下，计算颜色距离代价CI、梯度距离代价以及总的匹配代价函数C：
<mrow> <msub> <mi>C</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mo>-</mo> <mi>n</mi> </mrow> <mi>n</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mo>-</mo> <mi>n</mi> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <msub> <mi>I</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>I</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>d</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>C</mi> <mo>&amp;dtri;</mo> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mo>-</mo> <mi>n</mi> </mrow> <mi>n</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mo>-</mo> <mi>n</mi> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>d</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>C</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>C</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>C</mi> <mo>&amp;dtri;</mo> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，x,y代表位于窗口中心的像素点p的横纵坐标，d∈D，i、j均为自然数；Il、Ir分别代表双目图像中的左、右图像对应像素点的像素值，分别代表双目图像中的左右图像对应像素点处的梯度值，λ是平衡颜色与梯度信息对匹配代价影响的权重；
步骤S12：采用winnertakes all来选择像素点p的最优视差值dp：
<mrow> <msub> <mi>d</mi> <mrow> <mi>l</mi> <mi>p</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>d</mi> <mo>&amp;Element;</mo> <mi>D</mi> <mo>,</mo> <mi>d</mi> <mo>&gt;</mo> <mn>0</mn> </mrow> </munder> <mi>C</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>d</mi> <mrow> <mi>r</mi> <mi>p</mi> </mrow> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>d</mi> <mo>&amp;Element;</mo> <mi>D</mi> <mo>,</mo> <mi>d</mi> <mo>&lt;</mo> <mn>0</mn> </mrow> </munder> <mi>C</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>
其中，dlp为左图像上像素点p对应的初始视差值，drp为右图像上像素点p对应的初始视差值；
步骤S13：遍历双目图像中的左、右图像内的所有大小为(2n+1)*(2n+1)的窗口，按照同样的方法得到所有像素点的最优视差值，生成左右两幅初始视差图。
3.根据权利要求2所述的基于双目视觉的全自动前景背景分隔方法，其特征在于：S2的实现方法是：
步骤S21：采用分水岭算法对步骤S1得到的初始视差图进行划分，根据预先设定的阈值将分割后的视差图二值化为前景、背景；
步骤S22：对步骤S21得到的前景、背景进行形态学腐蚀，并进行二值化得到确定的前景、背景，腐蚀部分作为不确定性区域得到traimap；
步骤S23：计算双目图像中的左、右图像中各像素点的不透明度α，生成左、右图像相应的初始化抠图，其能量函数公式为：
<mrow> <mi>J</mi> <mrow> <mo>(</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>a</mi> <mo>,</mo> <mi>b</mi> </mrow> </munder> <msup> <mi>&amp;alpha;</mi> <mi>T</mi> </msup> <mi>L</mi> <mi>&amp;alpha;</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow> 1
其中，L为拉普拉斯矩阵，其第(i,j)项为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>&amp;delta;</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> </mrow> </mfrac> <mo>(</mo> <mrow> <mn>1</mn> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>k</mi> </msub> </mrow> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <mrow> <mi>&amp;Sigma;</mi> <mi>k</mi> <mo>+</mo> <mfrac> <mi>&amp;epsiv;</mi> <mrow> <mo>|</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>I</mi> <mn>3</mn> </msub> </mrow> </mfrac> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>A</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>k</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，δij为克罗内克积，Ai是像素点的RGB三维向量，μk是双目图像其左、右图像中任意大小为3×3的窗口wk内向量Ai的平均向量，|wk|是窗口k内像素点的个数，ε是一个用来保证数值稳定性的常数，Σk是一个3×3的协方差矩阵，I3是一个3×3的单位矩阵。
4.根据权利要求3所述的基于双目视觉的全自动前景背景分隔方法，其特征在于：S21其实现方法是：
a.对步骤S1得到的初始视差图计算梯度，并对梯度进行阈值处理：
g(x,y)＝max(grad(d(x,y)),θ) (5)
其中，d(x,y)代表步骤S1得到的初始视差图上任一点的视差值，g(x,y)代表该点的梯度值，θ为阈值，grad()为梯度函数；
b.对步骤a得到的梯度图像使用分水岭算法分割成前景、背景两部分。
5.根据权利要求3或4所述的基于双目视觉的全自动前景背景分隔方法，其特征在于：步骤S3中，将步骤S2计算得到的左、右图像各像素点的不透明度α融入到步骤S1的局部匹配算法中，得到优化后的视差图，其实现方法如下：
步骤S31：在步骤S2得到的左、右图像相应的初始化抠图即左初始化抠图和右初始化抠图中，遍历所有大小为(2n+1)*(2n+1)的窗口，在候选视差值为D＝{1,2,…,dmax}下，计算左、右图像相应的初始化抠图不透明度的匹配代价Cα：
<mrow> <msub> <mi>C</mi> <mi>&amp;alpha;</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mo>-</mo> <mi>n</mi> </mrow> <mi>n</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mo>-</mo> <mi>n</mi> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <msub> <mi>&amp;alpha;</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>r</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>d</mi> <mo>+</mo> <mi>i</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，x,y代表窗口的中心像素点p的横纵坐标，d∈D，αr、αl分别代表左初始化抠图和右初始化抠图对应点不透明度；
步骤S32：将Cα加到公式(3)中，计算优化后的双目视差代价聚合函数：
C'(x,y,d)＝C(x,y,d)+ξ·Cα(x,y,d) (9)
其中，ξ为平衡参数，取值范围为[0,1]；
步骤S33：将步骤S32得到的优化后的双目视差代价带入公式(4)，得到左初始化抠图和右初始化抠图中像素点p的最优视差值，按照同样的的方法，得到左初始化抠图和右初始化抠图中的所有像素点的最优视差值，生成左右两幅优化后的视差图。
6.根据权利要求5所述的基于双目视觉的全自动前景背景分隔方法，其特征在于：步骤S4中，利用步骤S3得到的优化后的视差图，将视差与颜色信息一起作为平滑项对步骤S2求出的左、右图像各像素点的不透明度α进行加权滤波，优化步骤S2得到初始化抠图；
<mrow> <msup> <mi>&amp;alpha;</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>W</mi> <mi>C</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>W</mi> <mi>D</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>d</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mi>&amp;alpha;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <mi>W</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>W</mi> <mi>C</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>W</mi> <mi>D</mi> </msub> <mrow> <mo>(</mo> <mrow> <mi>d</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>d</mi> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
其中，WC、WD分别表示颜色与视差距离的权重，其值的计算公式为：
WC(I(i),I(j))＝exp{-||Ii-Ij||2/wc} (9)
WD(d(i),d(j))＝exp{-||di-dj||2/wd}
其中，wc、wd分别为预设的调整颜色值I、视差值d距离权重的参数。
CN201710402285.5A 2017-06-01 2017-06-01 一种基于双目视觉的全自动前景背景分隔方法 Active CN107301642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710402285.5A CN107301642B (zh) 2017-06-01 2017-06-01 一种基于双目视觉的全自动前景背景分隔方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710402285.5A CN107301642B (zh) 2017-06-01 2017-06-01 一种基于双目视觉的全自动前景背景分隔方法

Publications (2)

Publication Number Publication Date
CN107301642A true CN107301642A (zh) 2017-10-27
CN107301642B CN107301642B (zh) 2018-05-15

Family

ID=60137891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710402285.5A Active CN107301642B (zh) 2017-06-01 2017-06-01 一种基于双目视觉的全自动前景背景分隔方法

Country Status (1)

Country Link
CN (1) CN107301642B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN109493363A (zh) * 2018-09-11 2019-03-19 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109544622A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于mser的双目视觉立体匹配方法及***
CN109544619A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于图割的双目视觉立体匹配方法及***
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法
CN110751668A (zh) * 2019-09-30 2020-02-04 北京迈格威科技有限公司 图像处理方法、装置、终端、电子设备及可读存储介质
CN110889866A (zh) * 2019-12-04 2020-03-17 南京美基森信息技术有限公司 一种深度图的背景更新方法
CN116703813A (zh) * 2022-12-27 2023-09-05 荣耀终端有限公司 图像处理方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060366A1 (en) * 2007-08-27 2009-03-05 Riverain Medical Group, Llc Object segmentation in images
CN103955918A (zh) * 2014-04-03 2014-07-30 吉林大学 一种全自动精细抠像装置及精细抠像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060366A1 (en) * 2007-08-27 2009-03-05 Riverain Medical Group, Llc Object segmentation in images
CN103955918A (zh) * 2014-04-03 2014-07-30 吉林大学 一种全自动精细抠像装置及精细抠像方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN108682026B (zh) * 2018-03-22 2021-08-06 江大白 一种基于多匹配基元融合的双目视觉立体匹配方法
CN109493363A (zh) * 2018-09-11 2019-03-19 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109493363B (zh) * 2018-09-11 2019-09-27 北京达佳互联信息技术有限公司 一种基于测地距离的抠图处理方法、装置和图像处理设备
CN109544622A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于mser的双目视觉立体匹配方法及***
CN109544619A (zh) * 2018-11-06 2019-03-29 深圳市爱培科技术股份有限公司 一种基于图割的双目视觉立体匹配方法及***
CN109741389A (zh) * 2018-11-27 2019-05-10 华南农业大学 一种基于区域基匹配的局部立体匹配方法
CN110751668A (zh) * 2019-09-30 2020-02-04 北京迈格威科技有限公司 图像处理方法、装置、终端、电子设备及可读存储介质
CN110751668B (zh) * 2019-09-30 2022-12-27 北京迈格威科技有限公司 图像处理方法、装置、终端、电子设备及可读存储介质
CN110889866A (zh) * 2019-12-04 2020-03-17 南京美基森信息技术有限公司 一种深度图的背景更新方法
CN116703813A (zh) * 2022-12-27 2023-09-05 荣耀终端有限公司 图像处理方法和设备
CN116703813B (zh) * 2022-12-27 2024-04-26 荣耀终端有限公司 图像处理方法和设备

Also Published As

Publication number Publication date
CN107301642B (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN107301642B (zh) 一种基于双目视觉的全自动前景背景分隔方法
CN104680496B (zh) 一种基于彩色图像分割的Kinect深度图修复方法
CN107392950A (zh) 一种基于弱纹理检测的跨尺度代价聚合立体匹配方法
CN103325095B (zh) 一种结合方向因子的样本块稀疏性图像修复方法
CN104616286B (zh) 快速的半自动多视图深度修复方法
CN102184540B (zh) 基于尺度空间的亚像素级立体匹配方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN106408513B (zh) 深度图超分辨率重建方法
CN103826032B (zh) 深度图后期处理方法
CN102075779A (zh) 一种基于块匹配视差估计的中间视图合成方法
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及***
CN106780726A (zh) 融合rgb‑d相机和彩色光度立体法的动态非刚体三维数字化方法
CN110349132A (zh) 一种基于光场相机深度信息提取的织物瑕疵检测方法
CN110378838A (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN104850847B (zh) 具有自动瘦脸功能的图像优化***和方法
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
Chen et al. An improved edge detection algorithm for depth map inpainting
CN104954780A (zh) 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN103065351A (zh) 一种双目三维重建的方法
CN103702103B (zh) 基于双目相机的光栅立体印刷图像合成方法
CN103903256B (zh) 一种基于相对高度深度线索的深度估计方法
CN110189408B (zh) 一种根据人体照片得到人体外表数据的***及方法
CN104301706B (zh) 一种增强裸眼立体显示效果的合成方法
CN106600632A (zh) 一种改进匹配代价聚合的立体匹配算法
CN107369204A (zh) 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant