CN105956597A

CN105956597A - 一种基于卷积神经网络的双目立体匹配方法

Info

Publication number: CN105956597A
Application number: CN201610296770.4A
Authority: CN
Inventors: 刘云海; 白鹏
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2016-05-04
Filing date: 2016-05-04
Publication date: 2016-09-21

Abstract

本发明公开了一种基于卷积神经网络的双目立体匹配方法。本发明首先采用了两个卷积神经子网络对待匹配图像小块进行特征提取，通过卷积神经网络的自动学习能力，能够自动提取出健壮、多样的特征，避免了传统立体匹配方法的复杂的特征选择和人工抽取特征的过程。然后将它们的输出特征进行级联送入到全连接层进行匹配代价计算，获得了比传统立体匹配方法更好的匹配代价，结合视差的后处理方法，可有效获得高精度的视差图，并具有较好的实时性。

Description

一种基于卷积神经网络的双目立体匹配方法

技术领域

本发明涉及双目立体视觉图像处理技术领域，尤其涉及一种采用卷积神经网络的双目立体匹配方法。

背景技术

自上世纪80年代初，Marr创立了视觉计算理论框架以来，双目立体视觉技术一直是机器视觉领域的一个研究热点，在航空测绘、医学成像、虚拟现实和工业检测等领域得到了广泛的研究。双目立体视觉是基于视差原理并利用成像设备从不同位置获得被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体的三维几何信息的方法。双目立体视觉算法主要包括图像获取、摄像机标定、图像校正、立体匹配和三维重建等五个部分。其中立体匹配是整个算法的核心部分，匹配产生的视差图的优劣直接影响到三维重建的效果。目前，传统的立体匹配的方法主要分为三大类：基于特征的匹配算法、基于局部的匹配算法和基于全局的匹配算法。基于特征的匹配算法得到的是稀疏的视差图，要得到致密的视差图，必须通过插值得到。基于局部的匹配算法运算速度快，但在低纹理和深度不连续区域匹配效果差。基于全局的匹配算法能够得到较高精度的匹配结果，但计算速度慢。

发明内容

为了获得高精度的致密视差图和较好的实时性，本发明提供了一种基于卷积神经网络的双目立体匹配方法。

本发明的目的是通过以下技术方案来实现的：一种基于卷积神经网络的双目立体匹配方法，包括以下步骤：

(1)图像预处理。对带有参考视差图的立体图像对的左图和右图分别做Z-score标准化处理。

(2)构造训练实例。从预处理后的左图选取中心在p＝(x,y)、大小为n×n的一小块图像从预处理后的右图选取中心在q＝(x-d,y)、大小为n×n的一小块图像和构成一个训练实例：

对于左图每个知道参考视差值d的位置，抽取一个正确的训练实例和一个错误的训练实例。

为了获得一个正确的训练实例，将右小块图像的中心设置在：

q＝(x-d+o_pos,y)

其中o_pos在[-dataset_pos,dataset_pos]中随机取值，dataset_pos为正整数。

为了获得一个错误的训练实例，将右小块图像的中心设置在：

q＝(x-d+o_neg,y)

其中o_neg在[-dataset_neg_low,-dataset_neg_high]或[dataset_neg_low,dataset_neg_high]中随机取值。dataset_neg_low和dataset_neg_high均为正整数。

(3)构造用于计算匹配代价的卷积神经网络结构。首先构造两个完全一样的子网络，每个子网络由两个卷积层和一个全连接层，每层后面跟随一个ReLU层。然后将两个子网络的输出级联起来，接两个全连接层，每层后面接一个ReLU层，最后一个全连接层跟随一个sigmoid转移函数。对于每一个输入网络的输出表示为

(4)训练网络。根据步骤(2)，每次构造N/2个正确的训练实例和N/2个错误的训练实例，将其用于步骤(3)构造的网络进行有监督的反向传播算法训练，得到训练网络，N为训练集个数。

(5)求视差图。从测试集中取一组立体图像对，进行步骤(1)的预处理。运用步骤(4)训练出来的网络，对于左图中每一个位置p＝(x,y)，计算其与右图在位置q＝(x-d,y)的匹配代价C_CNN(p,d)，其中d∈(0,DISP_MAX)(DISP_MAX表示可能的最大视差值)，得到：

对于左图中的每一个位置p＝(x,y)，上式中的匹配代价取最小时的位置d即为所求视差D(p)：

D (p) = \arg \min_{d} C_{C N N} (p, d)

(6)对视差图进行后处理。具体包括以下子步骤：

(6.1)亚像素视差。根据步骤(5)求出的匹配代价构造一条二次曲线，取极值点得到亚像素视差图D_SE(p)：

D_{S E} (p) = d - \frac{C_{+} - C_{-}}{2 (C_{+} - 2 C + C_{-})},

其中d＝D(p)，C_-＝C_CNN(p,d-1)，C＝C_CNN(p,d)，C₊＝C_CNN(p,d+1)；

(6.2)对亚像素视差图D_SE(p)进行中值滤波和双线性滤波，得到最终的视差图D_final(p)。

进一步地，所述步骤1中，所述Z-score标准化处理过程具体如下：

计算图像X中所有像素值的均值x_average和标准差σ：

x_{a v e r a g e} = \frac{1}{W \times H} \underset{(i, j) &Element; W \times H}{Σ} x_{(i, j)}

σ = \sqrt{\frac{1}{W \times H} \underset{(i, j) &Element; W \times H}{Σ} {(x_{(i, j)} - x_{a v e r a g e})}^{2}}

其中，W×H为图像X的大小。

对每个像素值进行归一化，得到新图像X′，其像素值为：

x_{(i, j)}^{'} &LeftArrow; \frac{x_{(i, j)} - x_{a v e r a g e}}{σ} .

进一步地，所述步骤4中，所述训练网络的代价函数用二值交叉熵损失函数：

- \frac{1}{N} Σ_{i = 1}^{N} (l o g (p_{i}) y_{i} + l o g (1 - p_{i}) (1 - y_{i}))

其中，N为训练集的个数，y_i为第i个样例的标签值，p_i为第i个样例的预测值。

进一步地，所述步骤4中，所述训练网络的代价函数中，当第i个实例是正确实例时，标签值为0；当第i个实例是错误实例时，标签值为1。

本发明的有益效果是：本发明首先采用了两个卷积神经子网络对待匹配图像小块进行特征提取，通过卷积神经网络的自动学习能力，能够自动提取出健壮、多样的特征，避免了传统立体匹配方法的复杂的特征选择和人工抽取特征的过程。然后将它们的输出特征进行级联送入到全连接层进行匹配代价计算，获得了比传统立体匹配方法更好的匹配代价，结合一些视差的后处理方法，有效的获得了高精度的视差图，并具有较好的实时性。

附图说明

图1为构造训练实例的示意图；

图2为用于计算待匹配点的匹配代价的卷积神经网络结构示意图；

图3为二次曲线求极值点的示意图。

具体实施方式

以下结合附图和实施实例对本发明作进一步说明。

本发明提供的一种基于卷积神经网络的双目立体匹配方法，包括以下步骤：

(1)图像预处理。对10组带有参考视差图的立体图像对的左图和右图分别做Z-score标准化处理：分别计算图像中所有像素值的均值x_average和标准差σ，比如对于图像X做预处理：

x_{a v e r a g e} = \frac{1}{380 \times 430} \underset{(i, j) &Element; 9 \times 9}{Σ} x_{(i, j)} = 165

σ = \sqrt{\frac{1}{380 \times 430} \underset{(i, j) &Element; 380 \times 430}{Σ} {(x_{(i, j)} - 165)}^{2}} = 1.23

对每个像素值进行归一化，得到新图像X′，其像素值为：

x_{(i, j)}^{'} &LeftArrow; \frac{x_{(i, j)} - 165}{1.23}

(2)构造训练实例。从预处理后的左图选取中心在p＝(x,y)、大小为9×9的一小块图像从预处理后的右图选取中心在q＝(x-d,y)、大小为9×9的一小块图像和构成一个训练实例，如图1所示：

对于每一个知道参考视差值d的位置，我们抽取一个正确的训练实例和一个错误的训练实例。为了获得一个正确的训练实例，将右小块图像的中心设置在：

q＝(x-d+o_pos,y)

其中o_pos是在[-0.5,0.5]中随机取值。

q＝(x-d+o_neg,y)

其中o_neg是在[-1.5,-18]或[1.5,18]中随机取值。

(3)构造用于计算匹配代价的卷积神经网络结构。首先构造两个完全一样的子网络，每个子网络由两个卷积层和一个全连接层，每层后面跟随一个ReLU层。卷积核的大小为3×3，，每一层有32个卷积核，全连接层有200个单元。然后将两个子网络的输出级联起来，得到一个长度为400的向量。接着连接两个全连接层，每层后面接一个ReLU层，每个全连接层有300个单元。最后连接只有一个单元的全连接层，跟随一个sigmoid转移函数。经过sigmoid处理的输出就是网络的输出结果。如图2所示：对于每一个输入网络的输出表示为：

(4)训练网络。根据步骤(2)，每次构造64个正确的训练实例和64个错误的训练实例，其对应的输出Y_label＝[y_label(1),y_label(2),…,y_label(128),],其中第i个训练实例的标签应满足以下条件：

将其用于步骤(3)构造的网络进行有监督的反向传播算法训练，用二值交叉熵损失函数计算损失代价为：

- \frac{1}{128} Σ_{i = 1}^{128} (l o g (y_{i}) y_{l a b e l} (i) + l o g (1 - y_{i}) (1 - y_{l a b e l} (i)))

其中y_i为第i个样例对应的输出值。

(5)求视差图。从测试集中取一对图像，进行步骤(1)的预处理。运用步骤(4)训练出来的网络，对于左图中每一个位置p＝(x,y)，计算其与右图在位置q＝(x-d,y)的匹配代价，其中d∈(0,30)(30表示可能的最大视差值)，得到：

对于左图中的每一个位置p＝(x,y)，将上式中的匹配代价取最小时的位置d即为所求视差D(p)：

D (p) = \arg \min_{d} C (p, d)

(6)对视差图进行后处理。具体包括以下子步骤：

(6.1)亚像素视差。根据步骤(5)求出的匹配代价构造一条二次曲线，如图3所示，取极值点可以亚像素视差D_SE(p)：

D_{S E} (p) = d - \frac{C_{+} - C_{-}}{2 (C_{+} - 2 C + C_{-})},

其中d＝D(p)，C_-＝C_CNN(p,d-1)，C＝C_CNN(p,d)，C₊＝C_CNN(p,d+1)。

(6.2)对视差图D_SE(p)进行中值滤波和双线性滤波，得到最终的视差图D_final(p)。

以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims

1.一种基于卷积神经网络的双目立体匹配方法，其特征在于，包括以下步骤：

q＝(x-d+o_pos,y)

q＝(x-d+o_neg,y)

D (p) = \arg \underset{d}{m i n} C_{C N N} (p, d)

(6)对视差图进行后处理。具体包括以下子步骤：

D_{S E} (p) = d - \frac{C_{+} - C_{-}}{2 (C_{+} - 2 C + C_{-})},

其中d＝D(p)，C_＝C_CNN(p,d-1)，C＝C_CNN(p,d)，C₊＝C_CNN(p,d+1)；

2.根据权利要求1所述的一种基于卷积神经网络的双目立体匹配方法，其特征在于，所述步骤1中，所述Z-score标准化处理过程具体如下：

计算图像X中所有像素值的均值x_average和标准差σ：

x_{a v e r a g e} = \frac{1}{W \times H} \underset{(i, j) &Element; W \times H}{Σ} x_{(i, j)}

σ = \sqrt{\frac{1}{W \times H} \underset{(i, j) &Element; W \times H}{Σ} {(x_{(i, j)} - x_{a v e r a g e})}^{2}}

其中，W×H为图像X的大小。

对每个像素值进行归一化，得到新图像X′，其像素值为：

x_{(i, j)}^{'} &LeftArrow; \frac{x_{(i, j)} - x_{a v e r a g e}}{σ} .

3.根据权利要求1所述的一种基于卷积神经网络的双目立体匹配方法，其特征在于，所述步骤4中，所述训练网络的代价函数用二值交叉熵损失函数：

- \frac{1}{N} Σ_{i = 1}^{N} (\log (p_{i}) y_{i} + l o g (1 - p_{i}) (1 - y_{i}))

4.根据权利要求1所述的一种基于卷积神经网络的双目立体匹配方法，其特征在于，所述步骤4中，所述训练网络的代价函数中，当第i个实例是正确实例时，标签值为0；当第i个实例是错误实例时，标签值为1。