CN107832835A - 一种卷积神经网络的轻量化方法及装置 - Google Patents

Abstract

本申请实施例公开了一种卷积神经网络的轻量化方法及装置，所述方法包括：获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

Description

一种卷积神经网络的轻量化方法及装置

技术领域

本申请涉及机器学习技术领域，特别涉及一种卷积神经网络的轻量化方法及装置。

背景技术

近年来，交通拥堵已经成为制约城市经济和社会发展的瓶颈，它是城市道路资源供、需矛盾的集中体现，与城市运行的各个方面密切相关，它直接造成城市的整体运转效率低，在城市发展过程中的短板效应日益明显。

交通拥堵的治理首先应是及时发现拥堵的路口、路段，然后利用交通广播、微博等新媒体公众信息平台发出拥堵信息，使车辆合理选择行驶线路，以降低拥堵路口、路段的压力，使拥堵路口、路段逐步恢复畅通。

目前，利用视频检测技术进行交通拥堵检测时，有两种方式：一种是传输视频图像到监控中心的方式；另一种是在获取诸如流量、道路占有率、速度、车间距、排队长度等交通参数后，选取其中的多个交通状态参数，并利用预先定义的拥堵判别方法实现对交通拥堵的判断。由于各种参数的获得通常不太准确，所以会导致最终处理结果不准，且该方式没有较好的扩展能力。导致计算时间过长，影响了交通拥堵的识别的实时性，进而无法及时的通知车辆合理选择行驶线路，对交通拥堵的治理效果甚微。

因此，如何提高道路交通图像识别的效率，是一个亟待解决的问题。

发明内容

本申请实施例提供了一种卷积神经网络的轻量化方法及装置，利用深度学习实现对交通拥堵路口、路段的车辆的识别，并提高了道路交通图像识别的效率。

本申请实施例提供了一种卷积神经网络的轻量化方法，所述方法包括：

获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；

针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；

根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

一种可能的实现方式，所述获得第一矩阵以及第二矩阵之后，所述方法还包括：

采用霍夫曼编码压缩所述第一矩阵和所述第二矩阵。

一种可能的实现方式，所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的第K项的下标值为所述权重系数矩阵中所有非零的权重系数中第K项权重系数的下标值与第K-1 项的下标值的差值，K大于或等于2。

一种可能的实现方式，所述根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别，包括：

根据所述卷积神经网络模型确定所述图像中的车辆数目和排队长度，并根据所述图像中的车辆数目和排队长度确定所述图像的交通拥堵类别。

一种可能的实现方式，所述卷积神经网络包括M个卷积层，M大于2；

针对所述M个卷积层中第2层至第M-1层中的第n个卷积层，该卷积层包括第一子卷积层和第二子卷积层；所述第一子卷积层的输出通道与所述第二子卷积层的输入通道连接；

该卷积层中的第一子卷积层包括P个1×1的卷积核；所述P为第n-1层卷积层的输出通道数；该卷积层中的第二子卷积层包括J个1×1的卷积核以及L个3×3的卷积核，P＝J+L×3；所述M，P，J，L为大于或等于1的正整数，所述n为大于1且小于M的正整数。

本申请实施例提供了一种卷积神经网络的轻量化装置，所述装置包括：

接收单元，用于获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；

处理单元，用于针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

一种可能的实现方式，所述处理单元采用霍夫曼编码压缩所述第一矩阵和所述第二矩阵。

一种可能的实现方式，所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的第K项的下标值为所述权重系数矩阵中所有非零的权重系数中第K项权重系数的下标值与第K-1 项的下标值的差值，K大于或等于2。

一种可能的实现方式，所述处理单元用于：

根据所述卷积神经网络模型确定所述图像中的车辆数目和排队长度，并根据所述图像中的车辆数目和排队长度确定所述图像的交通拥堵类别。

一种可能的实现方式，所述卷积神经网络包括M个卷积层，M大于2；

针对所述M个卷积层中第2层至第M-1层中的第n个卷积层，该卷积层包括第一子卷积层和第二子卷积层；所述第一子卷积层的输出通道与所述第二子卷积层的输入通道连接；

该卷积层中的第一子卷积层包括P个1×1的卷积核；所述P为第n-1层卷积层的输出通道数；该卷积层中的第二子卷积层包括J个1×1的卷积核以及L个3×3的卷积核，P＝J+L×3；所述M，P，J，L为大于或等于1的正整数，所述n为大于1且小于M的正整数。

本申请实施例提供了一种计算机程序产品，包括计算机可读指令，当计算机读取并执行所述计算机可读指令，使得计算机执行如上述任意一项所述的方法。

本申请实施例提供一种芯片，所述芯片与存储器相连，用于读取并执行所述存储器中存储的软件程序，以实现上述任一项中各种可能的设计中的方法。

本申请实施例提供了一种卷积神经网络的轻量化方法及装置，通过获取卷积神经网络(Convolutional Neural Network，CNN)模型中每层卷积层中的每个卷积核的权重系数矩阵；针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。在达到相同识别精度的前提下，对现有技术中的卷积神经网络模型压缩，减少了卷积神经网络模型的计算时间，提高了交通拥堵的识别的实时性进而实现对交通路况拥堵情况的判断，及时向开车者提供拥堵信息，以便于提前规划路线。

附图说明

图1为本申请实施例提供的一种卷积神经网络的轻量化方法的流程示意图；

图2为本申请实施例提供的一种卷积神经网络的结构示意图；

图3为本申请实施例提供的一卷积神经网络的结构示意图；

图4为本申请实施例提供的一种卷积神经网络的轻量化装置的结构示意图。

具体实施方式

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。它通过模仿人脑的机制来解释数据，例如图像、声音和文本，其核心通过构建具有多个隐层的机器学习模型和大量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。该方法能够对当前道路的交通情况进行准确判断，并给出交通的拥堵级别，有利于交通疏导和监管。利用深度学习方法对包含各种交通状态的图像进行学习，得到所需的网络模型，在完成模型训练后则可以自动对当前采集到的道路交通图片进行处理，对当前的交通拥堵情况进行判决，具有较好的适用性和鲁棒性，为道路交通监管提供了可靠的判决依据。

现有的LeNet-5、AlexNet、GoogLeNet、ResNet等代表性网络都是基于卷积神经网络结构。其中，LeNet-5由7层组成，其1、3、5层为卷积层， 2、4层为池化层；AlexNet由8层组成，其前5层是卷积层，后3层是全连接层；GoogLeNet由22层组成，其中有21个卷积层，1个全连接层；ResNet 由152层组成，其中有151个卷积层，最后一层为全连接层。这些网络模型都是在卷积神经网络模型的基础上，通过加深网络深度完成对网络模型的改进。此外，还有人提出将卷积神经网络学习算法与其它思想或方法相结合，如隐马尔科夫模型与CNN模型相结合的混合模型，快速PCA和CNN相结合的模型等。

现有技术中，基于深度学习的拥堵识别模型网络中为了达到令人满意的识别精度，因此都选择了使用复杂的网络结构。另外，上述基于神经网络在图像分类方法中，关于卷积核的个数和大小、池化方法、激活函数往往是依赖、经验确定，不恰当的网络结构会极大地增加网络参数个数，导致网络计算复杂度增加。

采用现有技术中的上述卷积神经网络模型对道路交通图像进行检测时，模型相对较大，导致计算时间过长，影响了交通拥堵的识别的实时性，进而无法及时的通知车辆合理选择行驶线路，对交通拥堵的治理效果甚微。

另外，目前服务器之间的通信是CNN训练的可扩展性的限制因素。对于数据的并行训练，通信开销与模型中的参数数量成正比。因此，小模型训练更快，因为需要较少的沟通；其次，将新模型导出到客户端时减少开销，较小的模型需要较少的通信，使频繁更新更可行；

目前的现场可编程门阵列(Field-Programmable Gate Array，FPGA)和嵌入式部署，FPG通常具有小于10MB的片上存储器并且没有片外存储器。足够小的模型可以直接存储在FPGA上，从而使得FPGA可以实时地处理视频流。

如图1所示，本申请实施例提供一种卷积神经网络的轻量化方法流程示意图。

图1所示的流程中，在达到相同识别精度的前提下，对现有技术中的卷积神经网络模型压缩，用以提高物体检测的实时性，提高检测的实时性及检测的效率。包括以下步骤：

步骤101：获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；

步骤102：针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；

步骤103：根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

本申请实施例的图像来自拍摄的交通图像组成的数据库，本申请实施例中，可以选取该数据库中的部分图像作为训练图像，部分图像作测试图像，且训练图像与测试图像不重叠。本申请实施例中，在将图像输入至卷积神经网络之前，包括：

获得训练样本图像或测试样本图像并对其进行预处理。

具体的，可以从图像数据库中选取训练图像和测试图像，并对训练样本图像进行预处理。可以把训练图像和测试图像进行简单的预处理，然后保存到数据库中。在具体实施过程中，训练数据的数量可能非常大，从图像文件中读取数据并进行初始化的效率是非常低的，所以把数据预先保存在数据库中，可以加快训练的节奏。所述预处理可以包括图像减均值，以提高训练速度和精度。在进行图像减均值后，将所述训练图像或测试图像的像素进行初始化处理，以获得预设的像素大小的待输入图像。例如，第一层卷积层是像素大小为96×96的训练样本图像。

如图2所示，本申请实施例，提供的一种卷积神经网络的结构示意图。

所述卷积神经网络包括M层卷积层和R层池化层，M大于2；在M层卷积层中，第一层至第M-1层为非全连接层，最后一层为全连接卷积层。第一层为卷积层，输入至第一层卷积层的图像为预处理后的训练图像或测试图像。全连接层后连接输出层。

第一层为一层卷积层，提取所述训练图像或测试图像的T维特征，作为所述卷积神经网络模型的第一层的T个卷积核。其输出为T个卷积核卷积后的T个特征图。针对所述M层卷积层中第2层至第M-1层中的第n层卷积层(为描述方便，以下称为优化卷积层)，该优化卷积层包括第一子卷积层和第二子卷积层；所述第一子卷积层的输出通道与所述第二子卷积层的输入通道连接；所述n为大于1且小于M的正整数，所述T，M为大于 1的正整数。

所述第一子卷积层的卷积核为前一层卷积层的输出通道对应的卷积核；所述第二子卷积层包括第一类卷积核和第二类卷积核；所述第一类卷积核的为第一子卷积层输出的通道对应的卷积核数目中的P个卷积核；所述P为第 n-1层卷积层的输出通道数；

所述第二类卷积核的尺寸为第一类卷积层中的卷积核尺寸的A×A倍；所述第二类卷积核的个数为J，且满足P＝J+L×A；所述P，J，L，A为大于或等于1的正整数。

例如，针对所述M层卷积层中第2层至第M-1层中的第n层卷积层，该卷积层中的第一子卷积层包括P个1×1的卷积核；所述P为第n-1层卷积层的输出通道数；该卷积层中的第二子卷积层包括J个1×1的卷积核以及L个3×3的卷积核，P＝J+L×3；所述P，J，L为大于或等于1的正整数。

例如，若选取A为4，所述第一子卷积层的卷积核的个数为96个，像素大小为1×1，则第二子卷积层的第一类卷积核的个数为24个，像素大小为1×1，第二类卷积核的个数为24个，像素大小为3×3。第一层优化卷积层的输出的特征图后个数为48个，且包括2类，第一类卷积核的个数为前一个卷积层的个数的1/4，即24个，大小与第一子卷积层的卷积核相同，像素大小为1×1；第二类卷积核的个数为前一个卷积层的个数的1/4，即24个，像素大小为3×3。

所述M-2层优化卷积层中的每层优化卷积层的输入的特征图为前一层优化卷积层输出的特征图。每层优化卷积层的结构基本相同，区别在于每层优化卷积层的特征图个数和特征图对应的卷积核的像素大小不同。

例如，以A为4为例，所述第一子卷积层的卷积核的个数为48个，像素大小为1×1；第二子卷积层的第一类卷积核的个数为12个，像素大小为 1×1，第二类卷积核的个数为12个，像素大小为3×3。

另外，在每层卷积层进行卷积后引入ReLU激活函数，通过ReLU激活函数，以获得每层卷积层的输出。此处的每层卷积层包括第一层卷积层，每层优化卷积层中的第一子卷积层和第二子卷积层，以及最后一层全连接层。

在CNN模型中正向传递过程中，根据每个优化卷积层卷积核对所述图像卷积，获取每个优化卷积层的特征信息；将得到的特征信息作为所述当前优化卷积层的输出结果进行输出，以作为下一个优化卷积层的输入；

在通过卷积获得了特征之后，可以通过这些特征进行分类。对不同位置的特征进行聚合统计，这些聚合统计后的特征相比使用所有提取得到的特征不仅具有低得多的维度，同时还会改善结果，不容易过拟合。这种聚合统计为池化。

在具体实施过程中，可以在第1层之后和第2到M-1层优化卷积层中的某几层优化卷积层之后，加入池化层，缩小一半的特征图像的像素尺寸。可以根据卷积的结果，确定池化方法。卷积神经网络中的池化层可以选用最大池化方法进行池化，也可以选用随机池化方法或均值池化方法进行池化。优选的，可以在第一层卷积层、第三层优化卷积层、第七层优化卷积层之后加入池化层。

在训练过程中，对样本图像进行多次降采样操作，在每次卷积后得到该图像的卷积特征图，池化层对该卷积特征图进行降采样操作，达到降低图像分辨率的目的，从而减小计算量，提高检测的效率。

步骤三、根据确定的卷积神经网络模型对预处理后的训练图像或测试图像进行训练。

相对于现有技术中单纯增加卷积层数来提高精度的方式，通过采用该卷积神经网络模型的结构，在提高了卷积神经网络模型的精度的同时，限制了卷积层数，减少了参数的数量，节约了大量的计算时间，进而实现了对卷积神经网络模型的轻量化。

CNN模型训练过程分为前向传递和反向传递，前向传递的作用是利用卷积神经网络模型进行输出，获得输出结构，可以得到交通拥堵级别，这个结果视为预测类别结果，而反向传递的构成是对该卷积神经网络模型的参数进行调整，使得最终确定一个精度达到预设条件的卷积神经网络模型。

其中，在前向传递过程中，将输入的图像送入所述卷积神经网络模型，通过前向传递确定卷积神经网络模型输出的类别。其具体过程为：

步骤一、将所述输入的图像作为输入信息输入至第一子卷积层，将输入信息通过确定的每层的卷积核的权重系数矩阵和偏置项对每层输入的特征图进行卷积，将经过卷积核加偏置项后的信息通过一个ReLU激活函数得到每一层输出的特征图。增加偏置项可使得图像特征增强且能抑制噪声。

在步骤一中，所述卷积核的权重系数矩阵可以为根据步骤102获得的。因此，在对每层输入的特征图进行卷积之前，可以获取步骤102中压缩后的权重系数矩阵，解压缩所述压缩后的权重系数矩阵。将解压缩后的权重系数矩阵，与每层输入的特征图的值进行卷积。

通过采用压缩后的权重系数矩阵，可以极大的减少权重系数矩阵中零项的计算，节约了大量的计算时间，实现了卷积神经网络的轻量化，提高了交通拥堵的识别的实时性进而实现对交通路况拥堵情况的及时判断，提高了道路交通图像识别的效率。

步骤二、将输出的特征图作为下一层的输入；若下一层为卷积层，则重复步骤一，若下一层为池化层，则进入步骤三；

步骤三、对输入的特征图做1/2降采样得到像素点减半的降采样结果；

步骤四、将最后一层非全连接层的输出传入全连接层，对输入全连接层的特征图中得到的特征向量，为每个像素确定一个分类得分值。通过对得到的特征向量进行整合，得到一个一维长向量，最后用一个全图得到测试图的每一类得分值，判断输入的图像的交通拥堵类别。所述每一类得分值可以使用softmax函数归一化为概率值。在正向传播过程，即完成了对样本图像的类别的识别，可以判断出输入样本图像的交通拥堵级别。

针对反向传递过程，主要用于计算前向传递输出的类别与样本实际类别的损失函数值，将损失函数值按极小化误差的方法反向传递调整每层卷积层的权重系数矩阵，得到最终的卷积神经网络模型。

具体的，可以通过K-Means聚类方法，确定每层卷积层中的特征图对应的权重系数矩阵；每个特征图对应一个卷积核，每个卷积核对应一个权重系数矩阵。根据K-Means聚类方法，归于同一类的节点的梯度相加，取其中目标函数值最小的一次所得到的M个聚类中心，作为含有M个特征图的卷积层的卷积核的初始化值。

一种可能的实现方式，所述卷积核的权重系数矩阵可以根据步骤102进行压缩。因此，在对每层输入的特征图损失函数值，将损失函数值按极小化误差的方法反向传递调整每层卷积层的权重系数矩阵之后，可以通过步骤102 的方法，压缩所述权重系数矩阵，并将所述压缩后的权重系数矩阵进行存储。

为进一步压缩所述权重系数矩阵，一种可能的实现方式，所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的第K项的下标值为所述权重系数矩阵中所有非零的权重系数中第K项权重系数的下标值与第K-1项的下标值的差值，K大于或等于2。

具体的，在步骤102中的压缩方式可以为以下方式：

步骤一、根据获得的权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述预设阈值可以为小于0.1。

例如，所述权重系数矩阵为以下形式：

0.08	0.92	0.52
			0.07	0.41	0.78
0.29	-0.04	-0.34
			0.54	0.41	-0.45

根据步骤一将所述权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得的第一矩阵可以为以下形式：

	0.92	0.52
				0.41	0.78
0.29		-0.34
			0.54	0.41	-0.45

所述第一矩阵可以为[0.92,0.52,0.41,0.78,0.29,-0.34,0.54,0.41,-0.45]；

所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；例如，所述第二矩阵可以为[1,2,4,5,6,8,9,10,11]。

为进一步压缩所述权重系数矩阵，所述第二矩阵可以表示为以下形式：所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的其他项的每一项的值为所述权重系数矩阵中所有非零的权重系数的下标值与前一项的下标值的差值。例如，所述第二矩阵可以表示为[1,1,2,1,1,2,1,1,1]。

通过采用压缩后的权重系数矩阵，可以极大的减少权重系数矩阵中零项的计算，节约了大量的计算时间，实现了卷积神经网络的轻量化，提高了交通拥堵的识别的实时性进而实现对交通路况拥堵情况的及时判断，提高了道路交通图像识别的效率。

为进一步实现卷积神经网络的轻量化，一种可能的实现方式，获得第一矩阵以及第二矩阵之后，所述方法还包括：采用霍夫曼编码压缩所述第一矩阵和所述第二矩阵。霍夫曼编码的具体实现方式，在此不再赘述。

本申请实施例中，所述卷积神经网络的训练和测试步骤包括：

步骤一、将预处理后的训练样本图像输入图像分类卷积神经网络结构，经过前向传递和反向传递两个步骤反复循环更新CNN模型的权重系数矩阵，直至达到预设条件，训练过程结束，得到训练好的卷积神经网络。

所述预设条件可以为预测的拥堵类别与实际的拥堵类别之间的误差收敛为止。

步骤二、将预处理后的测试图像输入到训练好的卷积神经网络进行测试，得到验证后的卷积神经网络结构。

本申请实施例中，所述根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别，包括：

根据所述卷积神经网络模型确定的车辆特征信息和道路特征信息，并根据所述图像中的车辆数目和排队长度确定所述图像的交通拥堵类别。

在具体实施过程中，可以将路段中的图像传入训练完成的卷积神经网络模型(最终的CNN模型)中，进行前向传递(此处的前向传递的过程与前面所述的前向传递过程一致)，得到CNN模型的输出，根据输出结果判断图片中的道路对应的拥堵类别。为了提高判别的准确性，可以融合多帧的结果作为最终的交通拥堵类别。

具体的，可以根据所述卷积神经网络模型确定所述图像中的车辆数目和排队长度，确定所述图像的交通拥堵类别。

在具体实施过程中，可以选取架设于交叉路口路段或普通路段的摄像头中至少1帧图像传入训练完成的最终卷积神经网络模型中，进行前向传递，得到最终卷积神经网络模型的输出，根据输出结果判断当前训练图像或测试图像中的道路对应的拥堵类别。根据我国《道路交通阻塞度及评价方法(国标)》对于城市交通通行状况的描述主要从两个方面来评定，即交叉路口阻塞和路段阻塞。其中交叉路口阻塞定义为车辆在交叉路口外车行道受阻排队长度超过500m为阻塞，800m为严重阻塞；路段阻塞评定指标为长度超过 2000m为阻塞，3000m为严重阻塞。本申请实施例中的交通拥堵类别可以根据以上评定指标确定。例如，当路段为普通路段时，交通拥堵级别按照普通路段的标准进行划分，当路段为交叉路口路段时，交通拥堵级别按照交叉路口路段的标准进行划分等。

本申请实施例提供一种卷积神经网络模型的结构，该卷积神经网络包括卷积层、优化卷积层、池化层、全连接层和回归层。其中卷积层可以对输入的图像采用若干个卷积核进行卷积操作；池化层对输入的图像进行降采样，每横向和纵向两个像素点合并为一个像素点，达到减低图像分辨率的目的；全连接层为普通的神经网络连接，全连接层的每一个节点均与上一层的输出节点相连接；回归层对输入的特征进行反向传递过程，循环计算，最终输出识别结果。

该卷积神经网络的具体结构如图3所示，在本申请实施例中在对驾驶员的图像进行归一化后，图像大小为96×96，第一层卷积层的卷积核的大小为 1×1。

如图3所示，归一化后的图像输入到卷积神经网络，先经过1个1×1的卷积层，再经过一个池化层，池化层的输出结果作为一层优化卷积层的输入，再经过2层优化卷积层后，再经过一个池化层，池化层的输出结果作为5 层优化卷积层的输入，再经过一个池化层，池化层与全连接层连接，通过 softmax回归层得到识别结果。

本申请实施例中，包括大量的训练图像，在每个训练图像中可以采用相应的检测模型，其中该检测模型包括车辆检测模型和道路检测模型，根据每个车辆的图像信息，对卷积神经网络进行训练，根据每个车辆所在的位置、车辆在道路中的数目、排队长度，确定每个道路的拥堵情况。

在对卷积神经网络进行训练之前，还包括对每个输入的图像进行归一化处理，归一化后输入的图像大小相同。

如图4所示，本申请实施例提供了一种卷积神经网络的轻量化装置，所述装置包括：

接收单元401，用于获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；

处理单元402，用于针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

一种可能的实现方式，处理单元402采用霍夫曼编码压缩所述第一矩阵和所述第二矩阵。

一种可能的实现方式，所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的第K项的下标值为所述权重系数矩阵中所有非零的权重系数中第K项权重系数的下标值与第K-1 项的下标值的差值，K大于或等于2。

一种可能的实现方式，处理单元402用于：

根据所述卷积神经网络模型确定所述图像中的车辆数目和排队长度，并根据所述图像中的车辆数目和排队长度确定所述图像的交通拥堵类别。

一种可能的实现方式，所述卷积神经网络包括M个卷积层，M大于2；

针对所述M个卷积层中第2层至第M-1层中的第n个卷积层，该卷积层包括第一子卷积层和第二子卷积层；所述第一子卷积层的输出通道与所述第二子卷积层的输入通道连接；

该卷积层中的第一子卷积层包括P个1×1的卷积核；所述P为第n-1层卷积层的输出通道数；该卷积层中的第二子卷积层包括J个1×1的卷积核以及L个3×3的卷积核，P＝J+L×3；所述M，P，J，L为大于或等于1的正整数，所述n为大于1且小于M的正整数。

本申请实施例提供了一种计算机程序产品，包括计算机可读指令，当计算机读取并执行所述计算机可读指令，使得计算机执行如上述任意一项所述的方法。

本申请实施例提供一种芯片，所述芯片与存储器相连，用于读取并执行所述存储器中存储的软件程序，以实现上述任一项中各种可能的设计中的方法。

本申请实施例中的卷积神经网络训练方法和基于卷积神经网络的对象识别方法，可以在执行数字媒体信号处理的各种设备中实施，包括：计算机，图像和视频记录、传输和接收设备，便携式视频播放器，视频会议等。上述技术可在硬件电路中实施，也可用在计算机或其他计算环境中执行的数字媒体处理软件来实现。

本申请实施例提供了一种图像中的物体检测方法及装置，卷积神经网络具有强大的特征学习能力，能够克服由人工置顶特征所带来的描述不够准确的问题，可以在保证准确率的基础上，减低计算量。本申请实施例采用卷积神经网络一次性识别交通拥堵类别信息，便于对该检测过程进行整体优化，并且在进行检测时压缩了所述权重系数矩阵，从而降低了模型的大小，提高了检测的实时性及检测的效率。

对于***/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种卷积神经网络的轻量化方法，其特征在于，所述方法包括：

获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；

针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；

根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

2.根据权利要求1所述的方法，其特征在于，所述获得第一矩阵以及第二矩阵之后，所述方法还包括：

采用霍夫曼编码压缩所述第一矩阵和所述第二矩阵。

3.根据权利要求1所述的方法，其特征在于，所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的第K项的下标值为所述权重系数矩阵中所有非零的权重系数中第K项权重系数的下标值与第K-1项的下标值的差值，K大于或等于2。

4.如权利要求1所述的方法，其特征在于，所述根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别，包括：

根据所述卷积神经网络模型确定所述图像中的车辆数目和排队长度，并根据所述图像中的车辆数目和排队长度确定所述图像的交通拥堵类别。

5.根据权利要求1所述的方法，其特征在于，所述卷积神经网络包括M个卷积层，M大于2；

针对所述M个卷积层中第2层至第M-1层中的第n个卷积层，该卷积层包括第一子卷积层和第二子卷积层；所述第一子卷积层的输出通道与所述第二子卷积层的输入通道连接；

该卷积层中的第一子卷积层包括P个1×1的卷积核；所述P为第n-1层卷积层的输出通道数；该卷积层中的第二子卷积层包括J个1×1的卷积核以及L个3×3的卷积核，P＝J+L×3；所述M，P，J，L为大于或等于1的正整数，所述n为大于1且小于M的正整数。

6.一种卷积神经网络的轻量化装置，其特征在于，所述装置包括：

接收单元，用于获取卷积神经网络模型中每层卷积层中的每个卷积核的权重系数矩阵；

处理单元，用于针对任意一个权重系数矩阵，将该权重系数矩阵中绝对值小于预设阈值的权重系数值置为零，获得第一矩阵以及第二矩阵；所述第一矩阵中包括该权重系数矩阵中所有非零的权重系数，所述第二矩阵中包括该权重系数矩阵中所有非零的权重系数在该权重系数矩阵中的下标值；将所述第一矩阵以及所述第二矩阵作为压缩后的该权重系数矩阵；根据所述卷积神经网络模型中每层卷积层中的每个卷积核压缩后的权重系数矩阵对输入的图像进行交通拥堵识别。

7.根据权利要求1所述的装置，其特征在于，所述处理单元采用霍夫曼编码压缩所述第一矩阵和所述第二矩阵。

8.根据权利要求1所述的装置，其特征在于，所述第二矩阵的第一项为所述权重系数矩阵中所有非零的权重系数的第一项的下标值；所述第二矩阵的第K项的下标值为所述权重系数矩阵中所有非零的权重系数中第K项权重系数的下标值与第K-1项的下标值的差值，K大于或等于2。

9.如权利要求1所述的装置，其特征在于，所述处理单元用于：

根据所述卷积神经网络模型确定所述图像中的车辆数目和排队长度，并根据所述图像中的车辆数目和排队长度确定所述图像的交通拥堵类别。

10.根据权利要求1所述的装置，其特征在于，所述卷积神经网络包括M个卷积层，M大于2；

针对所述M个卷积层中第2层至第M-1层中的第n个卷积层，该卷积层包括第一子卷积层和第二子卷积层；所述第一子卷积层的输出通道与所述第二子卷积层的输入通道连接；

该卷积层中的第一子卷积层包括P个1×1的卷积核；所述P为第n-1层卷积层的输出通道数；该卷积层中的第二子卷积层包括J个1×1的卷积核以及L个3×3的卷积核，P＝J+L×3；所述M，P，J，L为大于或等于1的正整数，所述n为大于1且小于M的正整数。