CN106372597B - 基于自适应上下文信息的cnn交通检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应上下文信息的CNN交通检测方法，包括训练阶段和检测阶段，在特定交通场景下，训练自适应的上下文特征选择模型；在获取自适应的上下文特征选择模型的基础上，训练基于自适应上下文信息的CNN交通检测***；在前向阶段，通过后处理，准确框定交通目标(在检测时，进行上下文和目标的联合预测，通过后处理，准确框定交通目标)。本发明提出了基于自适应上下文信息的CNN交通检测***，主要包含基于CNN的自适应的上下文选择模型和融合该模型的交通检测***，进一步提高了车辆和行人检测的准确性。

Description

基于自适应上下文信息的CNN交通检测方法

技术领域

本发明涉及一种能够实时应用的基于自适应上下文信息的CNN交通检测技术。

背景技术：

为了解决这些日益严重的交通问题，智能交通***应运而生(IntelligentTransportation Systems，简称ITS)，其中车辆和行人识别是智能交通***的重要组成成分，关于车辆和行人的一些现有的相关技术也得到了广泛应用。

现在的交通检测***主要通过目标(行人和车辆)自身外观信息的刻画来实现不同目标的识别和检测。当前，该类***主要是利用人工设计的特征(如HOG，LBP，SIFT等)或通过深度学习直接从图像本身获得的深层特征来刻画目标外观，利用目标外观，实现目标检测。但在日常交通的实际检测中，多为非约束的开放性环境，复杂多变，存在光照变化，视角变换，目标遮挡等干扰，如果单纯只从目标自身的外观信息出发，当图像或视频中交通目标本身提供的信息太少时，只根据目标本身无法准确判断出目标类别。而且，不同的交通场景存在一定的差异性，忽略不同交通场景的差异性的普适交通目标检测***会降低交通目标检测的准确性。

发明内容：

本发明针对在交通视频中，借助不同交通场景下的差异性上下文信息能够进一步丰富交通目标的描述，从而提高交通目标检测的准确性，提出了基于自适应上下文信息的CNN交通检测方法。

实现该发明目的所采用的技术方案：一种基于自适应上下文信息的CNN交通检测方法，包括训练阶段和检测阶段，其特征在于，

训练阶段包含两步：

第一步，在特定交通场景下，训练获取自适应的上下文特征选择模型；首先，在特定的交通场景下，提取交通目标图像及其上下文图像的两组CNN特征图；然后，在同一尺度下，计算两组特征图间的差异，记录并统计所有样本差异度小于设定阈值的特征图位置索引；接着，选取K个有效的上下文CNN特征图的位置索引，得到自适应的上下文选择模型，K＞0，整数；

第二步，在获取自适应的上下文特征选择模型的基础上，训练基于自适应上下文信息的CNN交通检测***；在前向阶段，首先，提取交通目标图像及其上下文图像的两组CNN特征图，利用上下文特征选择模型保留的K个特征图位置索引，从获取的上下文CNN特征图中，保留相应的有效特征图；然后，对获得的两组特征图分别利用目标核与上下文核做卷积计算获得目标分值与上下文分值；接着，通过混合系数融合目标分值与上下文分值，获得检测分值；

在后向阶段，计算检测分值与标签的误差，用BP(Back ropagation)算法，更新目标核、上下文核和混合系数等参数；

检测阶段：在特定交通场景下，首先，输入检测的交通图像，利用CNN提取256张特征图，一方面，利用训练好的目标核卷积256张特征图获得目标掩码图；另一方面，用上下文特征选择模型保留的K个特征图位置索引，从256张特征图中选择K个特征图，利用训练好的上下文核做卷积获得上下文掩码图；然后，利用训练好的混合系数，融合获得的目标掩码图与上下文掩码图，联合预测目标位置；最后，通过后处理，准确框定交通目标，K＞0，整数。

该方案通过这种差异度量，能根据不同场景，自适应的融入上下文特征，增强了交通目标的表征，有效地提高了交通目标刻画的准确性。

1.图像特征的CNN提取方法，基于自适应上下文信息的CNN交通检测***均采用Alexnet的前五层结构提取交通图像的特征图；步骤是：(Alexnet是2012年提出的八层结构的卷积神经网络模型。该神经网络有6000万个参数和650,000个神经元，由五个卷积层，以及某些卷积层后跟着的max-pooling层，和三个全连接层，还有排在最后的1000-way的softmax层组成。该模型使用了非饱和的神经元和一个非常高效的GPU关于卷积运算的工具。同时该模型为了减少全连接层的过拟合，采用了最新开发的正则化方法，称为“dropout”。)

1.1假设输入图像为x⁰，将其表示为其中，和分别表示图像x⁰在RGB空间的三通道图。用l表示卷积层的索引，l＝1,2,3,4,5。M^l表示第l个卷积层特征图的数目，M¹＝96、M²＝256、M³＝384、M⁴＝384、M⁵＝256；则第l个卷积层的第j个特征图计算方式如下：

其中，W^l表示相邻卷积层特征图的连接关系；表示卷积操作；与分别表示卷积核和偏移；

1.2通过第l层的池化层和非线性层得到表示为：

其中，g(g)表示进行局部响应归一化处理，f(g)表示激活函数，采用不饱和非线性函数：

因此，CNN对输入图像x⁰在第五个卷积层获取了256张特征图j＝1,...,256。每张特征图的大小为输入图像x⁰的1/16。本***为了方便表达用F(x⁰,j)表示输入图像在x⁰第5个卷积层提取的第j个特征图。

2.自适应的上下文选择模型，首先，对读取的交通图像集I进行统一表示，具体形式为：其中表示目标图像，表示包含目标图像的上下文图像，y_n∈{0,1}表示正负样本的标记，n表示样本索引：

2.1对输入大小为80×48的目标图像和其对应的大小为144×112的上下文图像分别利用CNN提取第5个卷积层的特征图，获得256张5×3大小的目标特征图j＝1,...,256和256张9×7大小的对应的上下文特征图j＝1,...,256。

2.2为了能够在同一尺度比较目标特征图和其对应的上下文特征图的差异，需要对目标特征图进行上采样，使每张特征图的大小为9×7，记作

2.3采用余弦相似度的方法度量两个特征图与的差异。将目标特征图的向量形式记为x，上下文特征图的向量形式记为y，当相似度小于某个经验阈值ε时，即

S_cos(x,y)≤ε (4)

如果与差异度较小，丢弃上下文特征图否则，保留上下文特征图并最终记录保留的上下文特征图的位置索引。通过对2N张正负样本图片的结果进行统计，根据相应位置出现的频率，进行排序，并最终选择保留的上下文特征图位置索引，实现自适应的上下文特征选择，N＞0，整数。本交通***中保留大概85％的上下文特征图。

3.训练获取交通检测***相关参数，训练阶段采用前向过程获取上下文掩码和目标掩码：

3.1分别对目标图像和包含目标的上下文图像利用1)提取CNN特征，获得相应的目标特征图和上下文特征图其中，j＝1,...,256表示特征图的数目。

3.2根据上述第2步获取的自适应的上下文特征选择模型，利用余弦相似度量目标特征图和对应的上下文特征图的差异，根据阈值从256张上下文特征图中挑选需要保留的K张上下文特征图其中q＝1,...,K,K≤256。

3.3分别对目标特征图和上下文特征图利用不同的目标核和上下文核进行卷积，则得到的相应目标掩码和上下文掩码分别表示为：

其中，b^o表示目标核与相应的偏移，b^c表示上下文核与相应的偏移。目标核和上下文核的大小分别与和的大小一致。采用的是val id卷积(该卷积有边界损失)，因此和都是标量。

3.4融入上下文信息的检测分值score_n表示为：

其中，γ表示目标和上下文的混合系数，γ∈[0,1]。针对不同场景，需要获得不同的γ。通过该变量反映在不同场景中，不同上下文信息对目标检测的不同作用，如γ＝0，则上下文对目标检测没有作用，相当于该模型无须融入上下文，则该模型就是不考虑上下文的CNN目标检测模型。

3.5该***采用最小均方误差的方法来建立目标函数，利用BP算法逐步减小score_n与标签y_n间的误差。该模型的目标函数为：

其中，2N表示正负样本的总数量。为了解决上式中相关参数的优化问题，本***采用随机梯度下降的方法来训练该模型中的参数，所有参数w利用下式进行更新，直到收敛：

其中，i代表迭代的索引，α表示梯度下降算法的学习率。更新相关参数，需要反复计算目标函数L(g)的梯度。

4.交通目标检测：通过目标掩码图和上下文掩码图联合预测目标位置，然后通过非最大抑制获取交通目标的检测结果。

4.1首先，该***输入交通场景的图像I_n，通过上述第1步方法提取特征图，生成256张特征图。

4.2接着，根据获得的上下文特征图选择模型，从256张特征图中，选择K张有效的上下文特征图，对已有的目标特征图进行上下文信息的补充。

4.3然后，对上下文特征图和目标特征图分别卷积对应的卷积核，获得相应的目标掩码图和上下文掩码图

4.4在检测阶段，采用的是same卷积(该卷积无边界损失)，因此和都是矩阵。最后，利用目标掩码图和上下文掩码图通过加权方式，联合预测目标的位置M。

4.5通过非最大值抑制的后处理，得到相应交通目标的检测结果。

本发明的有益效果：在本发明上述方案中针对交通目标本身信息不足等问题，借助于图片或视频中来自于目标外的相关信息，比如目标周围的上下文信息直接或间接的为目标检测提供辅助信息从而提高交通目标检测的准确性。本方案提出了基于自适应上下文信息的CNN交通检测***。主要包含基于CNN的自适应的上下文选择模型和融合该模型的交通检测***。相较于现有***，因为融合了目标周围的上下文信息和不同交通场景的差异性，从而进一步提高了车辆和行人检测的准确性。

附图说明：

图1是自适应上下文信息的CNN交通检测***的整体框架图；

图2是自适应的上下文选择模型图；

图3是自适应上下文信息的CNN交通检测***的参数学习图；

图4是自适应上下文信息的CNN交通检测***检测过程图；

图5是交通目标检测部分结果图。

具体实施方式：

由于在交通视频中，借助不同交通场景下的差异性上下文信息能够进一步丰富交通目标的描述，从而提高交通目标检测的准确性，所以，本发明基于此思路，提出了基于自适应上下文信息的CNN交通检测***。整体框架如图1所示，主要包含训练阶段和检测阶段。

训练阶段主要包含两步。第一步，在特定交通场景下，训练自适应的上下文特征选择模型。首先，在特定的交通场景下，提取交通目标图像及其上下文图像的两组CNN特征图；然后，在同一尺度下，计算两组特征图间的差异，记录并统计所有样本差异度小于设定阈值的特征图位置索引；接着，选取K个有效的上下文CNN特征图的位置索引，得到自适应的上下文选择模型。第二步，在获取自适应的上下文特征选择模型的基础上，训练基于自适应上下文信息的CNN交通检测***。在前向阶段，首先，提取交通目标图像及其上下文图像的两组CNN特征图，利用上下文特征选择模型保留的K个特征图位置索引，从获取的上下文CNN特征图中，保留相应的特征图；然后，对获得的两组特征图分别利用目标核与上下文核做卷积计算获得目标分值与上下文分值；接着，通过混合系数融合目标分值与上下文分值，获得检测分值。在后向阶段，计算检测分值与标签的误差，用BP(Back Propagation)算法，更新目标核、上下文核和混合系数等参数。

检测阶段，在特定交通场景下，首先，输入检测的交通图像，利用CNN提取256张特征图，一方面，利用训练好的目标核卷积256张特征图获得目标掩码图；另一方面，用上下文特征选择模型保留的K个特征图位置索引，从256张特征图中选择K个特征图，利用训练好的上下文核做卷积获得上下文掩码图。然后，利用训练好的混合系数，融合获得的目标掩码图与上下文掩码图，联合预测目标位置。最后，通过后处理，准确框定交通目标。

该方案通过这种差异度量，能根据不同场景，自适应的融入上下文特征，增强了交通目标的表征，有效地提高了交通目标刻画的准确性。

一CNN特征提取

1)基于自适应上下文信息的CNN交通检测***均采用Alexnet的前五层结构提取交通图像的特征图。详细步骤是：

(1.1)假设输入图像为x⁰，将其表示为其中，和分别表示图像x⁰在RGB空间的三通道图。用l表示卷积层的索引，l＝1,2,3,4,5。Ml表示第l个卷积层特征图的数目，M¹＝96、M²＝256、M³＝384、M⁴＝384、M⁵＝256。则第l个卷积层的第j个特征图计算方式如下：

其中，W^l表示相邻卷积层特征图的连接关系。表示卷积操作。与分别表示卷积核和偏移。

(1.2)通过第l层的池化层和非线性层得到表示为：

其中，g(g)表示进行局部响应归一化处理，f(g)表示激活函数，采用不饱和非线性函数：

因此，CNN对输入图像x⁰在第五个卷积层获取了256张特征图j＝1,...,256。每张特征图的大小为输入图像x⁰的1/16。本***为了方便表达用F(x⁰,j)表示输入图像在x⁰第5个卷积层提取的第j个特征图。

二自适应的上下文选择模型

2)首先，对读取的交通图像集I进行统一表示，具体形式为：其中表示目标图像，表示包含目标图像的上下文图像，y_n∈{0,1}表示正负样本的标记，n表示样本索引。具体过程如图2所示：

(2.1)对输入大小为80×48的目标图像和其对应的大小为144×112的上下文图像分别利用CNN提取第5个卷积层的特征图，获得256张5×3大小的目标特征图j＝1,...,256和256张9×7大小的对应的上下文特征图j＝1,...,256。

(2.2)为了能够在同一尺度比较目标特征图和其对应的上下文特征图的差异，需要对目标特征图进行上采样，使每张特征图的大小为9×7，记作

(2.3)采用余弦相似度的方法度量两个特征图与的差异。将目标特征图的向量形式记为x，上下文特征图的向量形式记为y，当相似度小于某个经验阈值ε时，即

S_cos(x,y)≤ε(4)

如果与差异度较小，丢弃上下文特征图否则，保留上下文特征图并最终记录保留的上下文特征图的位置索引。通过对2N张正负样本图片的结果进行统计，根据相应位置出现的频率，进行排序，并最终选择保留的上下文特征图位置索引，实现自适应的上下文特征选择。本交通***中保留大概85％的上下文特征图。

三训练获取交通检测***相关参数

3)训练阶段采用前向过程获取上下文掩码和目标掩码，相关参数学习的整体框架如图3所示。

(3.1)分别对目标图像和包含目标的上下文图像利用1)提取CNN特征，获得相应的目标特征图和上下文特征图其中，j＝1,...,256表示特征图的数目。

(3.2)根据2)获取的自适应的上下文特征选择模型，利用余弦相似度量目标特征图和对应的上下文特征图的差异，根据阈值从256张上下文特征图中挑选需要保留的K张上下文特征图其中q＝1,...,K,K≤256。

(3.3)分别对目标特征图和上下文特征图利用不同的目标核和上下文核进行卷积，则得到的相应目标掩码和上下文掩码分别表示为：

其中，b^o表示目标核与相应的偏移，b^c表示上下文核与相应的偏移。目标核和上下文核的大小分别与和的大小一致。采用的是valid卷积(该卷积有边界损失)，因此和都是标量。

(3.4)融入上下文信息的检测分值score_n表示为：

其中，γ表示目标和上下文的混合系数，γ∈[0,1]。针对不同场景，需要获得不同的γ。通过该变量反映在不同场景中，不同上下文信息对目标检测的不同作用，如γ＝0，则上下文对目标检测没有作用，相当于该模型无须融入上下文，则该模型就是不考虑上下文的CNN目标检测模型。

(3.5)该***采用最小均方误差的方法来建立目标函数，利用BP算法逐步减小score_n与标签y_n间的误差。该模型的目标函数为：

其中，2N表示正负样本的总数量。为了解决上式中相关参数的优化问题，本***采用随机梯度下降的方法来训练该模型中的参数，所有参数w利用下式进行更新，直到收敛：

其中，i代表迭代的索引，α表示梯度下降算法的学习率。更新相关参数，需要反复计算目标函数L(g)的梯度。

四基于交通检测***的交通目标检测

4)通过目标掩码图和上下文掩码图联合预测目标位置，然后通过非最大抑制获取交通目标的检测结果，检测过程如图4所示。

(4.1)首先，该***输入交通场景的图像I_n，通过1)方法提取特征图，生成256张特征图。

(4.2)接着，根据获得的上下文特征图选择模型，从256张特征图中，选择K张有效的上下文特征图，对已有的目标特征图进行上下文信息的补充。

(4.3)然后，对上下文特征图和目标特征图分别卷积对应的卷积核，获得相应的目标掩码图和上下文掩码图

(4.4)在检测阶段，采用的是same卷积(该卷积无边界损失)，因此和都是矩阵。最后，利用目标掩码图和上下文掩码图通过加权方式，联合预测目标的位置M。

(4.5)通过非最大值抑制的后处理，得到相应交通目标的检测结果。

本方案建立了一种高效，快速的交通检测***。如图5所示本***取得了令人满意的交通目标检测结果。

Claims (5)

1.一种基于自适应上下文信息的CNN交通检测方法，其特征在于，包括训练阶段和检测阶段，

训练阶段包含两步：

第一步，在特定交通场景下，训练获取自适应的上下文特征选择模型；首先，在特定的交通场景下，提取交通目标图像及其上下文图像的两组CNN特征图；然后，在同一尺度下，计算两组特征图间的差异，记录并统计所有样本差异度小于设定阈值的特征图位置索引；接着，选取K个有效的上下文CNN特征图的位置索引，得到自适应的上下文选择模型，K＞0，整数；

第二步，在获取自适应的上下文特征选择模型的基础上，训练基于自适应上下文信息的CNN交通检测***；在前向阶段，首先，提取交通目标图像及其上下文图像的两组CNN特征图，利用上下文特征选择模型保留的K个特征图位置索引，从获取的上下文CNN特征图中，保留相应的有效特征图；然后，对获得的两组特征图分别利用目标核与上下文核做卷积计算获得目标分值与上下文分值；接着，通过混合系数融合目标分值与上下文分值，获得检测分值；

在后向阶段，计算检测分值与标签的误差，用BP算法，更新目标核、上下文核和混合系数参数；

检测阶段：在特定交通场景下，首先，输入检测的交通图像，利用CNN提取256张特征图，一方面，利用训练好的目标核卷积256张特征图获得目标掩码图；另一方面，用上下文特征选择模型保留的K个特征图位置索引，从256张特征图中选择K个特征图，利用训练好的上下文核做卷积获得上下文掩码图；然后，利用训练好的混合系数，融合获得的目标掩码图与上下文掩码图，联合预测目标位置；最后，通过后处理，准确框定交通目标。

2.根据权利要求1所述的基于自适应上下文信息的CNN交通检测方法，关于图像特征图的特征提取均采用基于CNN的Alexnet模型的前五层结构提取相应特征图；具体步骤是：

(1)假设输入图像为x⁰，将其表示为其中，和

分别表示图像x⁰在RGB空间的三通道图；用l表示卷积层的索引，l＝1，2，3，4，5；M^l表示第l个卷积层特征图的数目，M¹＝96、M²＝256、M³＝384、M⁴＝384、M⁵＝256；则第l个卷积层的第j个特征图计算方式如下：

其中，W^l表示相邻卷积层特征图的连接关系；表示卷积操作；与分别表示卷积核和偏移；

(2)通过第l层的池化层和非线性层得到表示为：

其中，g(g)表示进行局部响应归一化处理，f(g)表示激活函数，采用不饱和非线性函数：

因此，CNN对输入图像x⁰在第五个卷积层获取了256张特征图每张特征图的大小为输入图像x⁰的1/16；本***为了方便表达用F(x⁰，j)表示输入图像在x⁰第5个卷积层提取的第j个特征图。

3.根据权利要求1所述的基于自适应上下文信息的CNN交通检测方法，其特征在于，对于其中自适应的上下文选择模型获取过程如下：，首先，对读取的交通图像集I进行统一表示，具体形式为：其中表示目标图像，表示包含目标图像的上下文图像，y_n∈{0，1}表示正负样本的标记，n表示样本索引；则：

(1)对输入大小为80×48的目标图像和其对应的大小为144×112的上下文图像分别利用CNN提取第5个卷积层的特征图，获得256张5×3大小的目标特征图和256张9×7大小的对应的上下文特征图

(2)为了能够在同一尺度比 较目标特征图和其对应的上下文特征图的差异，需要对目标特征图进行上采样，使每张特征图的大小为9×7，记作

(3)采用余弦相似度的方法度量两个特征图与的差异；将目标特征图的向量形式记为x，上下文特征图的向量形式记为y，当相似度小于某个经验阈值ε时，即

S_cos(x，y)≤ε (4)

如果与差异度较小，丢弃上下文特征图否则，保留上下文特征图并最终记录保留的上下文特征图的位置索引；通过对2N张正负样本图片的结果进行统计，根据相应位置出现的频率，进行排序，并最终选择保留的上下文特征图位置索引，实现自适应的上下文特征选择，其中N＞0，为整数。

4.根据权利要求3所述的基于自适应上下文信息的CNN交通检测方法，其特征在于，还包括训练获取交通检测***相关参数，训练阶段采用前向过程获取上下文掩码和目标掩码：

(1)分别对目标图像和包含目标的上下文图像提取CNN特征，获得相应的目标特征图和上下文特征图其中，j＝1，...，256表示特征图的数目；

(2)根据权利要求3获取的自适应的上下文特征选择模型，利用余弦相似度量目标特征图和对应的上下文特征图的差异，根据阈值从256张上下文特征图中挑选需要保留的K张上下文特征图其中q＝1，...，K，K≤256；

(3)分别对目标特征图和上下文特征图利用不同的目标核和上下文核进行卷积，则得到的相应目标掩码和上下文掩码分别表示为：

其中，b^o表示目标核与相应的偏移，b^c表示上下文核与相应的偏移；目标核和上下文核的大小分别与和的大小一致；

采用的是valid卷积(该卷积有边界损失)，因此和都是标量；

(4)融入上下文信息的检测分值score_n表示为：

其中，γ表示目标和上下文的混合系数，γ∈[0，1]；针对不同场景，需要获得不同的γ；通过该变量反映在不同场景中，不同上下文信息对目标检测的不同作用，如γ＝o，则上下文对目标检测没有作用，相当于该模型无须融入上下文，则该模型就是不考虑上下文的CNN目标检测模型；

(5)该***采用最小均方误差的方法来建立目标函数，利用BP算法逐步减小score_n与标签y_n间的误差；该模型的目标函数为：

其中，2N表示正负样本的总数量；为了解决上式中相关参数的优化问题，本***采用随机梯度下降的方法来训练该模型中的参数，所有参数w利用下式进行更新，直到收敛：

其中，i代表迭代的索引，α表示梯度下降算法的学习率；更新相关参数，需要反复计算目标函数L(g)的梯度。

5.根据权利要求2所述的基于自适应上下文信息的CNN交通检测方法，其特征在于，还包括交通目标检测，通过目标掩码图和上下文掩码图联合预测目标位置，然后通过非最大抑制获取交通目标的检测结果：

(1)首先，该***输入交通场景的图像I_n，通过权利要求2方法提取特征图，生成256张特征图；

(2)接着，根据获得的上下文特征图选择模型，从256张特征图中，选择K张有效的上下文特征图，对已有的目标特征图进行上下文信息的补充；

(3)然后，对上下文特征图和目标特征图分别卷积对应的卷积核，获得相应的目标掩码图和上下文掩码图

(4)在检测阶段，采用的是same卷积(该卷积无边界损失)，因此和都是矩阵；最后，利用目标掩码图和上下文掩码图通过加权方式，联合预测目标的位置M；

(5)通过非最大值抑制的后处理，得到相应交通目标的检测结果。