CN105096307B

CN105096307B - 在成对的立体图像中检测物体的方法

Info

Publication number: CN105096307B
Application number: CN201510232293.0A
Authority: CN
Inventors: 刘洺堉; O·图兹尔
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-05-08
Filing date: 2015-05-08
Publication date: 2018-01-02
Anticipated expiration: 2035-05-08
Also published as: US9195904B1; JP6345147B2; US20150324659A1; JP2015215877A; CN105096307A

Abstract

在成对的立体图像中检测物体的方法。一种在从场景获取的成对的立体图像中检测物体的方法，其首先从所述成对的立体图像生成成本体积，其中，所述成本体积包括在成对的立体图像之间针对立体图形的各个像素的视差值范围的匹配成本。根据所述成本体积中的子图像，利用所述子图像内部的区域内具有最小累积成本的视差值的特征函数确定特征向量。然后，将分类器应用于所述特征向量以检测所述子图像是否包括物体。

Description

在成对的立体图像中检测物体的方法

技术领域

本发明涉及计算机视觉，更具体地讲，涉及在立体图像中检测物体。

背景技术

许多计算机视觉应用使用通过立体相机获取的立体图像来检测物体。立体相机通常具有多个镜头和传感器。通常，镜头之间的轴内距离约与眼睛之间的距离相同以提供交叠视野。

图1示出用于基于立体的物体检测的传统***。立体相机101获取立体图像102。检测方法可包括以下步骤：立体成像100、成本体积(cost volume)确定110、深度/视差图估计120和物体检测130。

基于立体的物体检测的大多数传统方法依赖于交叠区域120中的每像素深度信息。此步骤通常被称作深度/范围图估计。此步骤可通过确定视差值(即，两个图像中的对应像素的平移)、确定深度图来实现。然后深度图可用于物体检测130，例如，深度图的梯度方向直方图(HoG)用于物体描述。一种方法估计子图像区域中的主要视差，并且使用相对视差值的共现直方图来进行物体检测。

深度/范围/视差图估计是具有挑战的问题。局部方法存在深度确定不准确的问题，而全局方法需要可观的计算资源并且不适合于实时应用。

多种方法通过使用关注区域生成的立体提示(stereo cue)来避免深度图确定步骤。例如，一种方法确定标记潜在物***置的stixel图。各个stixel由相对于相机的3D位置来定义，并且垂直地竖立在地平面上。然后将基于彩色图像内容的检测器应用于所述位置以检测物体。

美国公布20130177237使用范围图来确定关注区域，并且使用基于强度直方图的分类器来检测物体。

关注区域方法无法直接应用于物体检测。关注区域方法必须与其它物体检测器结合应用。另外，当关注区域没有覆盖物体时，无疑会缺失检测。

发明内容

本发明的实施方式提供一种在立体图像中检测物体的方法。从图像计算成本体积。然后，直接对从成本体积获得的特征应用物体检测。所述检测使用从训练特征学习的T个决策树分类器(Adaboost)。

本发明避免了现有技术的易于发生错误并且计算上复杂的深度图估计步骤，得到准确且高效的物体检测器。所述方法更加适合于嵌入式***，因为它不需要为获得良好的深度图所需的复杂的优化模块。另外，所述方法搜索输入图像中的所有子图像以检测物体。这避免了存在于关注区域生成技术中的缺失检测问题。

所述检测准确，因为所述方法可借助大量的训练数据并且利用机器学习过程。其在检测准确度方面胜过关注区域生成技术。

附图说明

图1是传统的基于立体的物体检测***的框图；

图2是根据本发明的实施方式的基于立体的物体检测***的框图；

图3是图2的基于立体的物体检测***的物体检测模块的框图；

图4是根据本发明的实施方式的学习基于立体的物体检测器的方法的框图。

图5是根据本发明的实施方式的成本体积确定的示意图；

图6是根据本发明的实施方式的学习的特征的示意图；以及

图7是占据子图像的大部分和小部分的物体的示意图。

具体实施方式

图2示出根据本发明的实施方式的在一对立体图像200中检测物体201的方法和***。从这一对立体图像生成(210)成本体积211。然后选择并提取(215)特征向量216。然后，将物体检测器220应用于特征向量体积以检测物体。物体检测器使用从训练图像特征231学习的分类器230。在检测到物体之后，可对物体进行定位，即，可确定物体在图像中的位置。如本领域中已知的，所述方法可在连接到存储器和输入/输出接口的处理器250中执行。

本发明基于这样的认识：深度图中可用的深度信息在成本体积中也可用，因为深度图是从成本体积获得的。

本发明的直接使用成本体积的检测器220理论上能够基于深度图使任何检测器的性能匹配。此外，成本体积是比传统深度图更丰富的表示。深度图仅提供各个像素的深度，而成本体积提供立体图像中的各个像素可具有的潜在深度范围(包括真实深度)的匹配成本。因此，检测器使用从成本体积直接获得的特征可访问更多的深度信息，并且实现更好的性能。

如图3所示，本发明的一个实施方式包括成本体积生成210、特征提取310、物体检测和定位320、学习的区别特征330以及学习的物体分类模型340。定位确定在哪里检测物体。

图4示出用于学习区别特征的机器学习过程以及学习的物体分类模型。从包括成对的训练立体图像的训练数据400选择并学习(410)特征。

成本体积生成

图5示出成本体积C 211的生成。成本体积C:X×Y×D是存储在存储器中的三维数据结构，其中X和Y表示图像x和y轴，D表示一组视差值(是两个立体图像I_L 501和I_R 502中的对应像素之间的平移)。假设I_L和I_R被调整，这意味着图像被变换为使得镜头畸变效果被补偿，并且一个图像的一行中的像素被映射至另一图像的同一行中的像素。然后可通过使成对的立体图像I_L和I_R中的像素外观匹配来确定成本体积。

确定成本体积的一个方式是对于任何(x,y,d)∈X×Y×D，应用由C(x,y,d)＝||I_L(x,y)-I_R(x-d,y)||₂+λ||grad(I_L(x,y))-grad(I_R(x-d,y))||₂给出的映射。

其中||||2表示欧几里德范数，I_L(x,y)是指I_L图像的(x,y)位置的像素颜色值，I_R(x,y)是指I_R图像的(x,y)位置的像素颜色值，grad(I_L(x,y))是指I_L图像的(x,y)位置的梯度，grad(I_R(x-d,y))是指I_R图像的(x,y)位置的梯度，λ是控制梯度信息的重要性的权重。需要注意，可应用诸如双边滤波或引导滤波的图像平滑技术，以增强成本体积。

特征提取

图6示出图2的特征选择和提取215。从各个子图像600提取K维特征向量以用于确定子图像中是否存在物体。子图像可被视为例如按照多个比例针对各个像素以光栅扫描顺序在图像上通过的移动窗口。

需要注意，实施方式仅直接使用成本体积来确定特征。没有执行现有技术中的深度图估计。

特征向量的各个维度对应于子图像600中的两个(例如，矩形)区域601和602的图成本视差值之间的数值比较结果。将子图像表示为J，特征向量的第k维度表示为f_k(J)。f_k(J)的值为

其中表示子图像的区域Rⁱ _k中具有最小(min)累积成本的视差值。即，

需要注意，确定区域中最小成本视差值相对简单，因为如本领域已知的，可有效地利用积分图像技术来获得累积成本。利用下述机器学习过程来学习区域的位置和大小。

物体检测和定位

与子图像关联的K维特征向量被传递给集成分类器以用于确定检测得分。集成分类器包括T个决策树分类器。各个决策树分类器以K维特征的少量维度作为输入，并且将子图像分类为正(包含物体)或负(不包含物体)。从分类器获得的子图像J的检测得分s由下式给出

其中δ_t是决策树分类器，θ_t是对应权重。如果得分大于预设阈值，则***宣布在子图像中检测到。

如图7所示，分类器可被训练，以在物体占据子图像701的较大部分时给出较高得分，在物体仅占据子图像702的较小部分时给出较低得分，这是因为与较小的物体相比，较大的物体提供物体在图像内位于何处的更好估计。

特征选择和分类器学习过程

使用离散AdaBoost过程以用于选择区域

并且用于学习决策树分类器权重

收集用于学习任务的一组数据，所述一组数据包括一组立体训练图像。包含物体的子图像被标记为正实例，而其它被标记为负实例。使正和负子图像对准以使得它们的中心重合。子图像还被缩放为具有相同的高度。经对准和缩放的子图像被表示为

D＝{(J_i,l_i),i＝1,2,...,V}， (6)

其中J_i表示第i子图像，l_i是标签，V是子图像的总数。

采样一组N个区域作为特征池{R_i,i＝1,2,...,N}，其具有不同的位置和大小并且被经对准的子图像覆盖。随机将两个区域组对并且比较它们的最小成本的视差值。这被执行K次以构造K维特征向量。

使用离散AdaBoost过程来学习T个决策树分类器及其权重。所述过程开始于将一致的权重指派给训练样本。然后基于当前训练样本权重学习决策树。不正确分类的样本的权重被增加，以使得权重在下一轮决策树分类器学习期间具有更多影响。基于加权错误率将权重指派给决策树分类器。此处理被重复T次以构造T个决策树分类器的集成分类器。下面描述该过程的伪代码。

输入：特征向量和类标签D＝{(f(J_i),l_i),i＝1,2,...,V}

输出：集成分类器

开始于一致的权重

对于t＝1,2,...,T

1.利用权重wi学习决策树分类器δ_t(J)∈{-1,1}；

2.确定错误率ε＝∑_iw_i|(δ_t(J_i)≠l_i)；

3.确定决策树分类器权重

4.对于i＝1,2,...,V，设定w_i←w_iexp(θ_t|(δ_t(J_i)≠l_i)；并且

5.将样本权重正规化。

步骤2和4中使用的函数δ_t表示指示函数，其在括号内的陈述为真的情况下返回一，否则返回零。

Claims

1.一种在从场景获取的成对的立体图像中检测物体的方法，其中各个立体图像包括像素，该方法包括以下步骤：

从所述成对的立体图像生成成本体积，其中，所述成本体积包括在成对的立体图像之间针对各个像素的视差值范围的匹配成本；

根据所述成本体积中的子图像，利用所述子图像内部的区域内具有最小累积成本的视差值的特征函数确定特征向量；以及

将分类器应用于所述特征向量以检测所述子图像是否包括物体，

其中，上述步骤在处理器中执行。

2.根据权利要求1所述的方法，该方法还包括：

在所述立体图像内定位所述物体。

3.根据权利要求1所述的方法，其中，从成对的训练立体图像学习所述分类器。

4.根据权利要求1所述的方法，该方法还包括：

调整所述成对的立体图像。

5.根据权利要求1所述的方法，该方法还包括：

平滑所述成对的立体图像。

6.根据权利要求1所述的方法，其中，所述生成还包括：

利用欧几里德范数来使所述成对的立体图像中的像素的颜色和梯度匹配。

7.根据权利要求1所述的方法，其中，所述特征函数为

其中J表示所述子图像，k表示所述特征向量的维度，min表示返回最小值的函数，表示所述子图像中的矩形区域中具有最小累积成本的视差值。

8.根据权利要求7所述的方法，其中

<mrow> <msub> <mi>d</mi> <mi>min</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>R</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>d</mi> </munder> <munder> <mi>&Sigma;</mi> <mrow> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&Element;</mo> <msubsup> <mi>R</mi> <mi>k</mi> <mi>i</mi> </msubsup> </mrow> </munder> <mi>C</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>

其中C(x,y,d)表示所述成本体积。

9.根据权利要求1所述的方法，其中，所述分类器是包括T个决策树分类器的集成分类器。

10.根据权利要求9所述的方法，其中，所述分类器针对子图像J提供检测得分s，所述检测得分为

<mrow> <mi>s</mi> <mrow> <mo>(</mo> <mi>J</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&Sigma;</mi> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <msub> <mi>&theta;</mi> <mi>t</mi> </msub> <msub> <mi>&delta;</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>J</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

其中δ_t是决策树分类器，θ_t是对应权重。