CN109598339A - 一种基于栅格卷积网络的车辆姿态检测方法 - Google Patents

Abstract

本发明公开了一种基于栅格卷积网络的车辆姿态检测方法，包括建立合作网络进行目标检测网络训练、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络和更新合作网络模型这几个步骤，本发明利用摄像头采集到的图像信息对其中拍摄到的车辆进行检测，应用栅格卷积网络的车辆姿态检测方法确定其位置和姿态信息，在保留单方向权重独立的前提下对其垂直方向的权重采取共享的方式，既能解决透视歧义的影响，又能成倍降低网络中的参数含量，使得网络更加鲁棒，真正实现自动化目标车辆姿态感知，为自动驾驶提高精确信息。

Description

一种基于栅格卷积网络的车辆姿态检测方法

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于栅格卷积网络的车辆姿态检测方法。

背景技术

车辆姿态信息在人类驾驶汽车时同样是重要的决策依据之一，人脑利用视觉信息判断前方车辆的姿态，如果其朝向不与车道线平行，可以预见其必然发生转向和侧移，更大的转角可能意味着车辆将要掉头等等，同时观察前方车辆朝向是否改变也是判断自身车辆能否安全超车的重要依据，车辆位姿信息可作为语义地图中的重要动态语义信息；在足够数量在线地图众包车辆的参与下，实时的城市车辆位姿语义信息就可以较完整地获得，这种语义信息可为交通管制部门提供宏观车辆流量预测的依据，同时也可帮助其对交通流量进行疏导，提高城市交通运行效率。目前实现自动化目标车辆姿态感知的解决方案之一是利用摄像头采集到的图像信息对其中拍摄到的车辆进行检测，确定其位置和姿态信息，不需要额外的传感器，部署成本较低，但是其中也面临挑战和不足：一方面是精确度上的不足，另一方面就是运算速度的不足。精度决定着信息的可靠程度，足够精确的位姿信息才能为驾驶决策提供可靠的依据，从而实现安全驾驶，大误差甚至错误的信息可能导致决策错误进而酿成事故；另一方面是运算速度，这是决定智能驾驶***反应速度的因素，如果算法运行过慢，智能驾驶***自然就无法及时察觉环境的变化，无法做出及时的反应，这对于汽车行驶这种高速应用场景是非常致命的，如果算法的时间复杂度越低，就能在不牺牲实时性的前提下将算法部署在性能更低，更便宜的硬件平台之上，如果能克服精度上和运算速度的不足，不仅可以节约硬件成本，种廉价平台的功耗往往更低，还可以更强地适应恶劣环境，比如工控机就是降低性能提高环境适应力的硬件平台案例，会使得整个智能驾驶***更加廉价和可靠，增强其实用性和可靠性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于栅格卷积网络的车辆姿态检测方法，同时检测场景中车辆以及其行驶姿态，为自动安全驾驶提供精确的位姿信息，为驾驶决策提供可靠的依据。

本发明的目的是通过以下技术方案来实现的：

一种基于栅格卷积网络的车辆姿态检测方法，具体包括以下步骤：

S1、建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；

S2、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果的姿态估计部分建立姿态估计网络；

S3、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络，用于加强对于不同视角下姿态估计问题的处理能力；

S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。

进一步地，所述的姿态估计网络设有两层格栅卷积网络层，卷积方向为纵向，第一层卷积核为3x3，stride为3，激活函数选择ELU，第二层卷积核为1x1，stride为1，无激活函数。

进一步地，所述栅格卷积层的单张特征图由多个卷积核卷积得到，所述单张特征图上的卷积核个数计算公式为：

Kernel count=(input width-kernel size width)/stride+1

所述kernel count卷积核在输入中的水平位置为：

location_x^i=stride*(i-1)

其中i表示第i个卷积核，所述多个卷积核只在纵向上卷积，最终的输出大小与传统卷积完全相同。

进一步地，所述合作网络输入大小设置为480x300，3通道结构，输入的标准图像的像素值归一化到[-1,1]，所述合作网络接接14层卷积层，所述卷积层连接接batchnormalization 层，选用ELU作为激活函数，所述卷积层的第8、10、12、14层的特征图接入定位、分类和姿态估计网络。

进一步地，所述的检测网络A与分路网络中的检测通路等价，由一路卷积网络单独为检测提供特征，所述的常规网络B相对于分路网络中的姿态估计融合检测和姿态估计两种特征。

进一步地，所述的合作网络使用的损失函数为：

L(x,c,l,g)=1/N(L_conf(x,c)+αL_(loc)(x,l,g)+βL_orien (x,θ_p,θ_g))，将分类、检测、姿态回归三种loss加权合成单个值,对合作网络进行端到端训练。

本发明的有益效果是：

1）本发明提出栅格卷积网络作为新的卷积方式和新的网络结构，为人类自动驾驶汽车时提供精确的车辆姿态信息作为决策依据，车辆位姿建模算法对车辆姿态检测问题运用深度学习方法实现了效果良好的车辆姿态检测网络。

2）本发明提出的栅格卷积的方式，在保留单方向权重独立的前提下对其垂直方向的权重采取共享的方式，加强了对于不同视角下姿态估计问题的处理能力，这样既能解决透视歧义的影响，又能成倍降低网络中的参数含量，使得网络更加鲁棒，减少过拟合现象的发生几率。

3）节约了硬件成本，另一方面这种廉价平台的功耗往往更低，对恶劣环境的适应性更强，会使得整个智能驾驶***更加廉价和可靠，增强其实用性。

附图说明

图1为本发明方法的流程图；

图2为本发明格栅卷积网络结构图；

图3为本发明平行格栅卷积网络结构图；

图4为本发明合作网络结构图。

具体实施方式

下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1-4，本发明提供一种技术方案：

如图1所示，本发明提供一种基于栅格卷积网络的车辆姿态检测方法，具体包括以下步骤：

第一步，建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；

第二步，如图4所示，目标检测网络参数初始化后，采集标准图像input Image作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果Final Result的姿态估计部分建立姿态估计网络；

第三步、利用栅格卷积层Convolutional替换姿态估计网络后面的连接层得到栅格卷积网络Convolutional Network，用于加强对于不同视角下姿态估计问题的处理能力；

S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。

本发明的技术方案中，使用的深度神经网络是栅格卷积网络，输入大小480x300，3通道，输入图像的像素值归一化到[-1,1]，后面接14层卷积层，为了加快模型收敛以及模型精度，每层接batch normalization 层，激活函数选用ELU，相比于ReLU函数，在输入为负数的情况下，是有一定的输出的，而且这部分输出还具有一定的抗干扰能力，这样可以消除ReLU死掉的问题，卷积层的第8、10、12、14层的特征图feature map接入定位、分类和姿态估计网络。

所述的姿态估计网络设有两层格栅卷积网络层，卷积方向为纵向，第一层卷积核为3x3，stride为3，激活函数选择ELU，第二层卷积核为1x1，stride为1，无激活函数，这种两层的结构的设计相比单层网络是为了增加网络的建模能力。

所述栅格卷积层的单张特征图feature map由多个卷积核卷积得到，所述单张特征图上的卷积核个数计算公式为：

Kernel count=(input width-kernel size width)/stride+1

所述kernel count卷积核在输入中的水平位置为：

location_x^i=stride*(i-1)

其中i表示第i个卷积核，所述多个卷积核只在纵向上卷积，最终的输出大小与传统卷积完全相同。

如图2-3所示，本发明的卷积网络继承了传统卷积的大部分参数定义，如：kernelsize、stride、padding等的意义与传统卷积相同，不同点为：传统的卷积方式的单张feature map只由一个卷积核卷积得到，而卷积网络的单张特征图feature map由多个卷积核卷积得到，卷积核个数由卷积方向和输入大小决定，卷积网络相比传统卷积，拥有在单个方向上按照位置关系进行独立建模的能力。相对于上一章的部分连接结构，GrilleConvolution大幅减少了参数量。

所述的卷积网络部分连接层替换为两层Grille Convolution层，然使得检测效果得到提升。这里给出一种解释：根据反向传播原理，目标检测与姿态估计分处于两支，网络训练时并不会互相影响参数，因此这种提升来自于之前14层卷积层的共享的卷积参数。目标检测所依赖的特征和姿态估计所依赖的特征互不相同而又互有促进，形成一种类似于正则化的效应，使得双方的特征学习都向着更优秀、更强的泛化能力的方向进行。

卷积网络Grille Net的设计不但减少了参数，降低了过拟合的风险，同时由于垂直方向上权重的共享，使得单个卷积核可以获得更充分的训练，同样数量的训练数据下更容易获得泛化特征，反向传播到更浅层网络的影响也更加合理，不但没有降低，反而提升了检测效果。

所述合作网络输入大小设置为480x300，3通道结构，输入的标准图像的像素值归一化到[-1,1]，优化方法选用Nadam，初始学习率0.002，beta_1=0.9，beta_2=0.999，epsilon=1e-08，schedule_decay=0.004，batch size设置为32，学习率调整策略为：连续4次验证loss不下降则降低0.5倍学习率。网络权重初始化方案有两种：随机初始化或先训练检测部分（将姿态估计loss系数β设置为0）再在检测训练完毕模型的基础上加入姿态估计进行训练（β>0）所述合作网络接接14层卷积层，所述卷积层连接接batch normalization层，选用ELU作为激活函数，所述卷积层的第8、10、12、14层的特征图接入定位、分类和姿态估计网络。

所述的检测网络A与分路网络中的检测通路等价，由一路卷积网络单独为检测提供特征，所述的常规网络B相对于分路网络中的姿态估计融合检测和姿态估计两种特征。

所述的合作网络使用的损失函数为：

L(x,c,l,g)=1/N(L_conf(x,c)+αL_(loc)(x,l,g)+βL_orien (x,θ_p,θ_g))，将分类、检测、姿态回归三种loss加权合成单个值,对合作网络进行端到端训练。

本发明的工作原理是：全连接（Fully Connected）层是一种对图像不同位置进行区别对待的网络结构，全连接（Fully Connected）层的每个像素对下一层的每个像素都有独立权重的连接。但全连接网络的参数量非常巨大，一方面使得模型容量巨大，难以充分训练，另一方面更容易产生过拟合。部分连接是全连接和卷积的折衷，可以理解为不共享权重的卷积，即下一层的每个像素，只与当前层对应的部分等大区域进行连接，并且权重互相独立。这样使得网络有能力区分图像中不同的位置，相比全连接，又省去了不需要的连接，如下一层右侧与当前层左侧的连接，对解决问题毫无帮助，大幅减少了参数量，使得模型更加鲁棒。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种基于栅格卷积网络的车辆姿态检测方法，其特征在于，具体包括以下步骤：

S1、建立合作网络进行目标检测网络训练，所述合作网络包括检测网络A和常规网络B；

S2、目标检测网络参数初始化后，采集标准图像作为训练样本送入检测网络A和常规网络B得到结果A和结果B进行训练，检测网络A进行检测训练，常规网络B进行常规的检测和姿态估计训练，取检测网络A的检测结果作为最终结果的检测部分，取常规网络B中与A结果中位置对应的姿态估计结果作为最终结果的姿态估计部分建立姿态估计网络；

S3、利用栅格卷积层替换姿态估计网络后面的连接层得到栅格卷积网络，用于加强对于不同视角下姿态估计问题的处理能力；

S4、更新合作网络模型，使用损失函数将分类、检测、和姿态回归加权合成单个值的方式进行端到端训练。

2.根据权利要求1所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述的姿态估计网络设有两层格栅卷积网络层，卷积方向为纵向，第一层卷积核为3x3，stride为3，激活函数选择ELU，第二层卷积核为1x1，stride为1，无激活函数。

3.根据权利要求2所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述栅格卷积层的单张特征图由多个卷积核卷积得到，所述单张特征图上的卷积核个数计算公式为：

Kernel count=(input width-kernel size width)/stride+1

所述kernel count卷积核在输入中的水平位置为：

location_x^i=stride*(i-1)

其中i表示第i个卷积核，所述多个卷积核只在纵向上卷积，最终的输出大小与传统卷积完全相同。

4.根据权利要求1所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述合作网络输入大小设置为480x300，3通道结构，输入的标准图像的像素值归一化到[-1,1]，所述合作网络接接14层卷积层，所述卷积层连接接batch normalization 层，选用ELU作为激活函数，所述卷积层的第8、10、12、14层的特征图接入定位、分类和姿态估计网络。

5.根据权利要求1所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述的检测网络A与分路网络中的检测通路等价，由一路卷积网络单独为检测提供特征，所述的常规网络B相对于分路网络中的姿态估计融合检测和姿态估计两种特征。

6.根据权利要求1所述的基于栅格卷积网络的车辆姿态检测方法，其特征在于：所述的合作网络使用的损失函数为：

L(x,c,l,g)=1/N(L_conf(x,c)+αL_(loc)(x,l,g)+βL_orien (x,θ_p,θ_g))，将分类、检测、姿态回归三种loss加权合成单个值,对合作网络进行端到端训练。