CN111259833A - 一种基于交通图像的车辆计数方法 - Google Patents

Abstract

本发明属于道路车辆统计技术领域，涉及一种基于交通图像的车辆计数方法；包括以下步骤：(1)获取带有车辆标注信息的图像数据集，使用图像的车辆标注信息生成该图像的标准概率密度分布图；(2)以VGG‑16特征提取部分和自定义卷积层构建网络模型，定义结合概率密度分布和车辆数两个指标的损失函数，使用训练样本训练网络模型，得到车辆计数网络模型；(3)将需要预测车辆数的图像输入网络模型，得到车辆概率密度分布图并对其进行积分处理，最终得出预测的车辆数目；该方法对图像数据集的标注灵活，网络结构简单易训练，能够在更短时间内高效准确地得出计数结果，车辆计数结果准确性和鲁棒性高。

Description

一种基于交通图像的车辆计数方法

技术领域：

本发明属于道路车辆统计技术领域，涉及一种基于交通图像的车辆计数方法。

背景技术：

随着科学技术的发展和人民生活水平的提高，道路上的各种机动车辆随处可见，由于车辆的增多，交通高峰期经常会出现堵车情况，为了解决堵车问题，更好的对交通流量进行控制，对十字路口等交通路段的车辆计数显得尤为关键。

现有的车辆计数方法大致可分为两类：一种是基于感应线圈、红外检测器、微波雷达等检测设备的车辆计数；另一种是基于图像的车辆计数。对于图像的车辆计数方法有帧间差分法、背景差分法和深度学习法。其中，由广东中星电子有限公司王磊、王浩、黄英申请的、专利号为200710303777.5的中国发明专利公开了一种“基于视频图像的车辆计数方法”，包括以下步骤：捕获多帧视频图像，并收集该多帧图像中每个像素点的像素值；从预定的帧图像开始，根据收集的该多帧图像中所述每个像素值，计算该预定帧视频图像的每个像素的在预定时刻的像素值的概率密度值；利用计算所得到的所述概率密度值确定所述视频图像中的前景图像；确定该前景图像中的面积大于一定给定值的区域为运动的车辆；以及跟踪所述视频图像上的车辆，获得新出现的车辆的数量以及离开的车辆的数量。可以利用包括网络摄像机、微处理器、视频编解码器和计算机的硬件***实施本发明；该发明利用背景建模的方法检测前景点，但前景车辆目标的存在和光照变化、背景扰动等都会给背景建模工作增加了难度。还有由重庆大学赵敏、孙棣华、刘卫宁、廖孝勇、梅登申请的、专利号为201410362757.5的中国发明专利公开了“一种基于视频检测技术的车流密度定性判别方法”，包括如下步骤：1)划定监控图像中的感兴趣区域，以下步骤对感兴趣区域进行处理；2)计算图像的分形维数；3)对分形维数计算结果进行统计分析，判断道路的车流密度大小；该专利根据计算图像的分形维数来判定大致的车辆密度等级，但不能获得具体的车辆数，缺乏定量分析能力。现有技术中也公开了关于深度学习神经网络的方法，比如中国科学技术大学康宇、魏梦、宋卫国、曹洋、袁璟申请的、专利号为201611267917.3的中国发明专利，公开了“一种基于深度卷积神经网络的车流密度估计方法”，包括利用摄像机收集道路视频图像，通过图像预处理，将多尺度金字塔图像块送入卷积神经网络，提取由底层简单到高层抽象的特征，得到各种尺度车流图像的分布密度图，再用全连接网络层学习多尺度分布密度图到整体图像分布密度图以及图像总车辆个数的映射，对卷积神经网络输出的视频图像的分布密度图划分感兴趣区域，对感兴趣区域像素求和得到单车道或多车道车辆数，通过区域长度计算得到区域瞬时车流密度；该专利利用卷积神经网络训练了多尺度车流密度特征，但其结构冗余大、多阶段训练耗时长、精度难于把控。

申请人在2018年10月11日的公开号为CN109147331A的专利申请，公开了一种基于计算机视觉的道路拥堵状态检测方法，包括以下步骤：先将采集大量图像处理后形成的数据集进行分类标注作为神经网络训练的训练集，再将数据集采用迁移模型训练方法构建一个卷积神经网络，然后通过卷积神经网络对截取的实时交通监控视频图像进行分类，判断车辆密度状态，最后使用光流算法计算光流场，从而判断交通拥堵状态；该方法只能确定交通拥堵状态，而无法确定车辆的具体值。申请人针对现有技术中车流量测量方法存在的只能够粗略确定车流密集程度、或者计算车辆具体数量比较繁琐和精确度难以把控的不足，寻求设计一种能够精确确定道路行驶车辆的计数方法。

发明内容：

本发明的发明目的在于克服现有技术的缺点，针对现有道路车流量测量方法只能够初步确定密集程度、不能确定具体车辆数的缺陷，以及现有方法中易受干扰、计算车辆具体数量比较繁琐和精确度难以把控的不足，设计一种基于交通图像的车辆计数方法。

为了实现上述目的，本发明涉及的基于交通图像的车辆计数方法，具体包括以下步骤：

步骤一、获取数据集与生成标准概率密度分布图：获取带有车辆标注信息的图像数据集，对于数据集的每张图像，使用该图像的车辆标注信息生成该图像的标准概率密度分布图；

步骤二、构建及训练网络模型：构建以VGG-16特征提取部分为前半部分、自定义卷积层为后半部分的网络模型；结合概率密度分布和车辆数这两个指标,采用欧式距离定义损失函数，使用数据集的图像及其标准概率密度分布图作为训练样本训练网络模型，得到车辆计数网络模型；

步骤三、输入图像与获得车辆计数结果：将需要预测车辆数的图像输入网络模型，得到车辆概率密度分布图，对该车辆概率密度分布图进行积分处理，从而得出预测的车辆数目。

本发明所述步骤一获取数据集与生成标准概率密度分布图的具体过程如下：

(1)利用数据集的标注信息确定该车辆在图像中的中心坐标，并确定单个车辆标准概率密度分布图的高h和宽w，利用正态分布函数对高h和宽w进行处理得到[h*1]和[w*1]的正态分布矩阵，将[w*1]矩阵转置后与[h*1]的矩阵相乘得到单个车辆的标准概率密度分布图，生成过程如下：

1.1)利用数据集的标注信息确定该车辆在图像中的中心坐标：若标注信息为矩形框，则该车辆的中心坐标为矩形框的左上角坐标和右下角坐标连线的中点的坐标；若标注信息为一条线，则该车辆的中心坐标为该线的中点的坐标；若标注信息为一个点，则该车辆的中心坐标为该点的坐标；所述数据集可以采用公开数据集，也可以自行采集车辆图像数据形成数据集；

1.2)确定单个车辆标准概率密度分布图的高h和宽w：若标注信息为矩形框，高h和宽w为矩形框的高和宽；若标注信息为一条线或一个点，则高h和宽w设置为20像素长度；

1.3)利用正态分布函数，分别得到[h*1]和[w*1]的正态分布矩阵：正态分布函数如公式(1)所示，

设置μ_h＝h/2，σ_h＝h/2，x＝0,1,…,h，从而得到[h*1]的正态分布矩阵；

设置μ_w＝w/2，σ_w＝w/2，x＝0,1,…,w，从而得到[w*1]的正态分布矩阵；

1.4)将得到的[w*1]的矩阵转置为[1*w]，用[h*1]和[1*w]的矩阵相乘得到[h*w]的二维正态分布矩阵，该矩阵即为单个车辆的标准概率密度分布图；

(2)一幅图像上会有数个车辆，生成含所有车辆的标准概率密度分布图：使用和原图像一样尺寸的矩阵作为底板，底板只有一个通道且值全部为0，把所有的单个车辆的标准概率密度分布图累加到底板上，每个车辆的标准概率密度分布图的中心对应于该车辆在图像中的中心坐标，每个车辆的概率密度分布图积分为1，在底板处理完毕后，底板的积分即为该图像中真实的车辆数；

(3)将底板长和宽均缩小为原来的1/8作为该图像的标准概率密度分布图，此标准概率密度分布图和网络模型的输出大小相等；

(4)图像如果标注有忽略区域，对图像进行掩模处理：设置忽略区域的像素值为0。

本发明所述步骤二构建及训练网络模型过程如下：

(1)网络模型前半部分为特征提取部分，这部分使用VGG-16网络模型的前10层网络结构，并将该部分的权重参数初始化为使用ImageNet数据集训练得到的权重参数；

(2)网络模型后半部分为特征总结部分，在VGG-16网络模型的前10层网络结构的输出层后接5个卷积层，第一层空洞率设置为1、卷积核为3*3、数量为512，第二层空洞率设置为1、卷积核为3*3、数量为256，第三层空洞率设置为2、卷积核为3*3、数量为128，第四层空洞率设置为2、卷积核为3*3、数量为64，最后一个卷积层卷积核大小为1*1且数量为1，最后一个卷积层的输出即为网络模型输出；

(3)采用欧式距离定义损失函数并使用随机梯度下降调整网络模型的权重，损失函数L如公式(2)所示：

其中N为训练样本的图像总数，X_k为第k幅训练图像，θ为待学习参数，F(X_k,θ)为网络模型输出的第k幅图像的车辆概率密度分布图，D_k为第k幅图像的标准概率密度分布图，h和w是概率密度分布图的高和宽,f^k _ij是F(X_k,θ)的像素值，d^k _ij是D_k的像素值，λ为常量系数，取值范围为[0,1]；式中第一项度量标准概率密度分布图和车辆概率密度分布图之间的欧式距离，第二项度量标准车辆数目和预测车辆数目之间的欧式距离；

(4)将训练样本图像和其标准车辆概率分布图送入网络模型进行训练，得到车辆计数网络模型。

本发明所述步骤三输入图像与获得车辆计数结果的具体过程如下：

(1)输入要预测的图像得到网络模型的输出，网络模型的输出即为预测的车辆概率密度分布图，对该车辆概率密度分布图进行积分得到车辆数目的预测值

具体计算如公式(3)所示：

其中，f_ij是车辆概率密度分布图的像素值，h和w分别是车辆概率密度分布图的高和宽；

(2)将车辆概率密度分布图经过插值放大到和输入图像大小相同的程度，从而提供车辆在图中的坐标信息。

本发明与现有技术相比，所述的基于交通图像的车辆计数方法和现有技术相比优点在于：(1)通过更简单的网络模型，在更短的时间内高效准确地得出计数结果；(2)本发明通过对网络模型输出的车辆概率密度分布图积分得到车辆数目，能够减弱图像中的背景扰动因素、车辆互相遮挡以及车辆分布不均对结果产生的影响，车辆计数结果具有较高的准确性和鲁棒性；(3)本发明对训练用的图像数据集的标注方式不做特定要求,车辆用矩形框标注、点标注、或者用线标注都可以，操作更灵活。

附图说明：

图1是本发明涉及的车辆计数方法的工艺流程示意框图。

图2是本发明涉及的卷积神经网络的结构原理示意图。

图3是本发明涉及的选取构建数据集的部分图像。

图4(a)是本发明涉及的训练样本的部分图像。

图4(b)是本发明涉及的测试样本的部分图像。

图5(a)是本发明涉及的测试图像。

图5(b)是本发明涉及的测试图像的标准概率密度分布图。

图5(c)是本发明涉及的网络模型输出的车辆概率密度分布图。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例1：

本实施例涉及一种基于交通图像的车辆计数方法，如图1所示，具体包括以下步骤：

1.获取数据集与生成标准概率密度分布图：获取带有车辆标注信息的图像数据集，对于数据集的每张图像，使用该图像的车辆标注信息生成该图像的标准概率密度分布图；具体详细过程如下：

(1)利用数据集的标注信息确定该车辆在图像中的中心坐标，并确定单个车辆标准概率密度分布图的高h和宽w，利用正态分布函数对高h和宽w进行处理得到[h*1]和[w*1]的正态分布矩阵，将[w*1]矩阵转置后与[h*1]的矩阵相乘得到单个车辆的标准概率密度分布图，生成过程如下：

1.1)利用数据集的标注信息确定该车辆在图像中的中心坐标：若标注信息为矩形框，则该车辆的中心坐标为矩形框的左上角坐标和右下角坐标连线的中点的坐标；若标注信息为一条线，则该车辆的中心坐标为该线的中点的坐标；若标注信息为一个点，则该车辆的中心坐标为该点的坐标；所述数据集可以采用公开数据集，也可以自行采集车辆图像数据形成数据集；

1.2)确定单个车辆标准概率密度分布图的高h和宽w：若标注信息为矩形框，高h和宽w为矩形框的高和宽；若标注信息为一条线或一个点，则高h和宽w设置为20像素长度；

1.3)利用正态分布函数，分别得到[h*1]和[w*1]的正态分布矩阵：正态分布函数如公式(1)所示，

设置μ_h＝h/2，σ_h＝h/2，x＝0,1,…,h，从而得到[h*1]的正态分布矩阵；

设置μ_w＝w/2，σ_w＝w/2，x＝0,1,…,w，从而得到[w*1]的正态分布矩阵；

1.4)将得到的[w*1]的矩阵转置为[1*w]，用[h*1]和[1*w]的矩阵相乘得到[h*w]的二维正态分布矩阵，该矩阵即为单个车辆的标准概率密度分布图；

(2)一幅图像上会有数个车辆，生成含所有车辆的标准概率密度分布图：使用和原图像一样尺寸的矩阵作为底板，底板只有一个通道且值全部为0，把所有的单个车辆的标准概率密度分布图累加到底板上，每个车辆的标准概率密度分布图的中心对应于该车辆在图像中的中心坐标，每个车辆的概率密度分布图积分为1，在底板处理完毕后，底板的积分即为该图像中真实的车辆数；

(3)将底板长和宽均缩小为原来的1/8作为该图像的标准概率密度分布图，此标准概率密度分布图和网络模型的输出大小相等；

(4)图像如果标注有忽略区域，对图像进行掩模处理：设置忽略区域的像素值为0；

2.构建及训练网络模型：构建以VGG-16特征提取部分为前半部分、自定义卷积层为后半部分的网络模型，网络模型结构如图2所示；结合概率密度分布和车辆数这两个指标,采用欧式距离定义损失函数，使用数据集的图像及其标准概率密度分布图作为训练样本训练网络模型，得到车辆计数网络模型；具体网络模型的构建及训练过程如下：

(1)网络模型前半部分为特征提取部分，这部分使用VGG-16网络模型的前10层网络结构，并将该部分的权重参数初始化为使用ImageNet数据集训练得到的权重参数；

(2)网络模型后半部分为特征总结部分，在VGG-16网络模型的前10层网络结构的输出层后接5个卷积层，第一层空洞率设置为1、卷积核为3*3、数量为512，第二层空洞率设置为1、卷积核为3*3、数量为256，第三层空洞率设置为2、卷积核为3*3、数量为128，第四层空洞率设置为2、卷积核为3*3、数量为64，最后一个卷积层卷积核大小为1*1且数量为1，最后一个卷积层的输出即为网络模型输出；

(3)采用欧式距离定义损失函数并使用随机梯度下降调整网络模型的权重，损失函数L如公式(2)所示：

其中N为训练样本的图像总数，X_k为第k幅训练图像，θ为待学习参数，F(X_k,θ)为网络模型输出的第k幅图像的车辆概率密度分布图，D_k为第k幅图像的标准概率密度分布图，h和w是概率密度分布图的高和宽,f^k _ij是F(X_k,θ)的像素值，d^k _ij是D_k的像素值，λ为常量系数，取值范围为[0,1]；式中第一项度量标准概率密度分布图和车辆概率密度分布图之间的欧式距离，第二项度量标准车辆数目和预测车辆数目之间的欧式距离；

(4)将训练样本图像和其标准车辆概率分布图送入网络模型进行训练，得到车辆计数网络模型；

3.输入图像与获得车辆计数结果：将需要预测车辆数的图像输入网络模型，得到车辆概率密度分布图，对该车辆概率密度分布图进行积分处理，从而得出预测的车辆数目；具体过程如下：

(1)输入要预测的图像得到网络模型的输出，网络模型的输出即为预测的车辆概率密度分布图，对该车辆概率密度分布图进行积分得到车辆数目的预测值

具体计算如公式(3)所示：

其中，f_ij是车辆概率密度分布图的像素值，h和w分别是车辆概率密度分布图的高和宽；

(2)将车辆概率密度分布图经过插值放大到和输入图像大小相同的程度，从而提供车辆在图中的大致坐标信息。

以上所述乃是本发明的具体实例及所运用的计数原理，处理非交通图像时，应用本发明的原理，也可以实现图像的车辆计数，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍属本发明的保护范围。

实施例2：

应用实施例1所述的一种基于交通图像的车辆计数方法对800张道路交通图像进行处理，具体处理过程如下：

1.选取并使用800张青岛市区交通图像构建数据集，该数据集用矩形框标注车辆位置信息，生成每张图像的标准概率密度分布图；数据集的部分图像如图3所示；

2.从800张图像中随机选取500张图像作为训练样本，训练样本用于训练网络模型，剩余300张图像作为测试样本用于评估网络模型车辆计数的准确性，训练样本部分图像和测试样本部分图像如图4(a)、4(b)所示；

3.从测试样本中挑出一幅图像，其大小为540*960像素，掩模处理后的图像如图5(a)所示，其标准概率密度分布图如图5(b)图所示，大小为67*120像素,真实车辆数目为10.0，将该图像输入训练好的网络模型，得到大小为67*120的车辆概率密度分布图，如图5(c)所示；使用公式(3)计算出该测试图像车辆数目的预测值为9.46；

4.采用常用的平均绝对误差(Mean Absolute Error,MAE)和平均平方误差(MeanSquare Error,MSE)评估网络模型车辆计数的准确性：MAE和MSE的计算公式分别如公式(4)、(5)所示：

其中，N为测试样本的图像总数，Z_k为第k幅测试图像真实的车辆数目，

为第k幅图像车辆数目的预测值；

通过计算得出上述测试图像的车辆计数的绝对误差为|10.0-9.46|＝0.54，平方误差为|10-9.46|²＝0.29；

5.对300张测试样本的每张图像重复上述计算过程，将全部的绝对误差加和求平均得到平均绝对误差，将全部的平方误差加和求平均得到平均平方误差，如表1所示；

表1

评价标准	MAE	MSE
			数值	0.6442	0.8844

由表1的平均绝对误差和平均平方误差可知，应用本发明所述的基于交通图像的车辆计数方法车辆计数准确，具有良好的实用价值，能够应用于车辆导航，使驾驶人员更准确的了解交通道路状况，避开道路拥堵路线；也可以用于商场、医院等公共停车区域车辆的统计，进而确定哪些区域具有空车位，辅助驾驶人员方便寻找空车位；或应用于城市道路规划和改建，通过统计区域道路的车流量，规划道路的设置和是否需要拓宽等。

Claims (5)

1.一种基于交通图像的车辆计数方法，其特征在于：具体步骤包括:

步骤一、获取数据集与生成标准概率密度分布图：获取带有车辆标注信息的图像数据集，对于数据集的每张图像，使用该图像的车辆标注信息生成该图像的标准概率密度分布图；

步骤二、构建及训练网络模型：构建以VGG-16特征提取部分为前半部分、自定义卷积层为后半部分的网络模型；结合概率密度分布和车辆数这两个指标,采用欧式距离定义损失函数，使用数据集的图像及其标准概率密度分布图作为训练样本训练网络模型，得到车辆计数网络模型；

步骤三、输入图像与获得车辆计数结果：将需要预测车辆数的图像输入网络模型，得到车辆概率密度分布图，对该车辆概率密度分布图进行积分处理，从而得出预测的车辆数目。

2.根据权利要求1所述的基于交通图像的车辆计数方法，其特征在于：所述获取数据集与生成标准概率密度分布图的具体过程如下：

(1)利用数据集的标注信息确定该车辆在图像中的中心坐标，并确定单个车辆标准概率密度分布图的高h和宽w，利用正态分布函数对高h和宽w进行处理得到[h*1]和[w*1]的正态分布矩阵，将[w*1]矩阵转置后与[h*1]的矩阵相乘得到单个车辆的标准概率密度分布图：

(2)一幅图像上会有数个车辆，生成含所有车辆的标准概率密度分布图：使用和原图像一样尺寸的矩阵作为底板，底板只有一个通道且值全部为0，把所有的单个车辆的标准概率密度分布图累加到底板上，每个车辆的标准概率密度分布图的中心对应于该车辆在图像中的中心坐标，每个车辆的概率密度分布图积分为1，在底板处理完毕后，底板的积分即为该图像中真实的车辆数；

(3)将底板长和宽均缩小为原来的1/8作为该图像的标准概率密度分布图，此标准概率密度分布图和网络模型的输出大小相等；

(4)图像如果标注有忽略区域，对图像进行掩模处理：设置忽略区域的像素值为0。

3.根据权利要求2所述的基于交通图像的车辆计数方法，其特征在于：所述单个车辆的标准概率密度分布图生成过程如下：

1.1)利用数据集的标注信息确定该车辆在图像中的中心坐标：若标注信息为矩形框，则该车辆的中心坐标为矩形框的左上角坐标和右下角坐标连线的中点的坐标；若标注信息为一条线，则该车辆的中心坐标为该线的中点的坐标；若标注信息为一个点，则该车辆的中心坐标为该点的坐标；所述数据集可以采用公开数据集，也可以自行采集车辆图像数据形成数据集；

1.2)确定单个车辆标准概率密度分布图的高h和宽w：若标注信息为矩形框，高h和宽w为矩形框的高和宽；若标注信息为一条线或一个点，则高h和宽w设置为20像素长度；

1.3)利用正态分布函数，分别得到[h*1]和[w*1]的正态分布矩阵：正态分布函数如公式(1)所示：

设置μ_h＝h/2，σ_h＝h/2，x＝0,1,…,h，从而得到[h*1]的正态分布矩阵；

设置μ_w＝w/2，σ_w＝w/2，x＝0,1,…,w，从而得到[w*1]的正态分布矩阵；

1.4)将得到的[w*1]的矩阵转置为[1*w]，用[h*1]和[1*w]的矩阵相乘得到[h*w]的二维正态分布矩阵，该矩阵即为单个车辆的标准概率密度分布图。

4.根据权利要求1或者权利要求3所述的基于交通图像的车辆计数方法，其特征在于：所述构建及训练网络模型具体过程如下：

(1)网络模型前半部分为特征提取部分，这部分使用VGG-16网络模型的前10层网络结构，并将该部分的权重参数初始化为使用ImageNet数据集训练得到的权重参数；

(2)网络模型后半部分为特征总结部分，在VGG-16网络模型的前10层网络结构的输出层后接5个卷积层，第一层空洞率设置为1、卷积核为3*3、数量为512，第二层空洞率设置为1、卷积核为3*3、数量为256，第三层空洞率设置为2、卷积核为3*3、数量为128，第四层空洞率设置为2、卷积核为3*3、数量为64，最后一个卷积层卷积核大小为1*1且数量为1，最后一个卷积层的输出即为网络模型输出；

(3)采用欧式距离定义损失函数并使用随机梯度下降调整网络模型的权重，损失函数L如公式(2)所示：

其中N为训练样本的图像总数，X_k为第k幅训练图像，θ为待学习参数，F(X_k,θ)为网络模型输出的第k幅图像的车辆概率密度分布图，D_k为第k幅图像的标准概率密度分布图，h和w是概率密度分布图的高和宽,f^k _ij是F(X_k,θ)的像素值，d^k _ij是D_k的像素值，λ为常量系数，取值范围为[0,1]；式中第一项度量标准概率密度分布图和车辆概率密度分布图之间的欧式距离，第二项度量标准车辆数目和预测车辆数目之间的欧式距离；

(4)将训练样本图像和其标准车辆概率分布图送入网络模型进行训练，得到车辆计数网络模型。

5.根据权利要求4所述的基于交通图像的车辆计数方法，其特征在于：所述输入图像与获得车辆计数结果的具体过程如下：

(1)输入要预测的图像得到网络模型的输出，网络模型的输出即为预测的车辆概率密度分布图，对该车辆概率密度分布图进行积分得到车辆数目的预测值

具体计算如公式(3)所示：

其中，f_ij是车辆概率密度分布图的像素值，h和w分别是车辆概率密度分布图的高和宽；

(2)将车辆概率密度分布图经过插值放大到和输入图像大小相同的程度，从而提供车辆在图中的坐标信息。

Images