CN106056086B - 基于快速学习框架的车辆品牌型号识别方法 - Google Patents

Abstract

本发明公开了一种基于快速学***台，获取监控视频流；从获取的视频图像中检测车牌，根据车牌位置获取车脸图像，并进行车脸识别；按照车牌的宽度和高度，上下左右扩展，获得车脸图像；构建多尺度车脸图像，将其有重叠的分块，对每一小块提取局部二进制和梯度方向直方图特征，并组合成最终的车脸特征；训练多级级联分类器，第一级采用多分类器投票的方式，当多数分类器投给同一目标时，就接受该结果，否则进入下一级；第二级采用集成分类***，通过特征映射，训练多个子分类器，融合各分类器结果，得到最终的分类结果。能在海量的数据中，准确、快速、稳定地识别车辆品牌和具体型号。

Description

基于快速学习框架的车辆品牌型号识别方法

技术领域

本发明涉及图像模式识别和智能交通领域，具体地涉及一种基于快速学习框架的车辆品牌型号识别方法。

背景技术

随着国民经济的持续发展，机动车已经成为人们日常生活中不可或缺的交通运输工具。但随之而来的交通问题也日益突出。世界各国都对交通***的管理加大了投入，逐渐形成了道路交通管理研究领域。

车型识别是智能交通***中的主要任务和关键技术，它有着广泛的应用，如公路自动计费、停车场管理、稽查盗窃车辆、***管理等。车型识别的难点在于识别***的普遍适应性，一个好的车辆识别***需要能够适应各种场景变化、天气变化以及车辆本身的磨损等。

目前车辆识别主要集中在车型识别和车标识别两个方向。车型识别以区分车辆种类型号为主，如，小轿车、卡车、公共汽车等，其方法以基于感应线圈的识别最为广泛，但该方法安装不方便、维护成本高且识别率低。车标识别可以识别出车辆品牌，但不同的品牌车标变化较大，且车标很小，使得车标检测比较困难。

随着交通信息流的快速增长，其数据量已经达到很高的规模。传统的计算***面对这样的海量数据，已很难满足需求。

中国专利文献CN 105574543公开了一种基于深度学习的车辆品牌型号识别方法，包括步骤1，训练数据建立SVM车牌判别模型；步骤2，基于深度学习法训练建立车型识别模型；步骤3，对视频中图像的背景进行建模获取运动目标，跟踪运动目标获取运动目标轨迹，得到包含车牌的图片；步骤4，将所述图片通过图像处理技术处理，获取包含车牌的若干个图块，用所述SVM车牌判别模型判别保留包含车牌的图块；步骤5，根据车牌的位置，分别向上、下、左、右四个方向扩展设定区域，得到车头的位置区域；步骤6，基于所述车型识别模型根据所述车头的位置区域对车型进行识别。该种方法虽然利用自主学习特征，但是使用一个分类器，分类效果较差。而且当面对海量数据时，处理速度慢，准确率比较低。

发明内容

针对上述技术问题，本发明目的是：提供一种基于快速学习框架的车辆品牌型号识别方法，能在海量的数据中，准确、快速、稳定地识别车辆品牌和具体型号。

本发明的技术方案是：

一种基于快速学习框架的车辆品牌型号识别方法，其特征在于，包括以下步骤：

S01：搭建spark平台，获取监控视频流；

S02：从获取的视频图像中检测车牌，根据车牌位置获取车脸图像，并进行车脸识别；

S03：按照车牌的宽度和高度，上下左右扩展，获得车脸图像；

S04：构建多尺度车脸图像，将其有重叠的分块，对每一小块提取局部二进制(LBP)和梯度方向直方图(HOG)特征，并组合成最终的车脸特征；

S05：训练多级级联分类器，第一级采用多分类器投票的方式，当多数分类器投给同一目标时，就接受该结果，否则进入下一级；第二级采用集成分类***，通过特征映射，训练多个子分类器，融合各分类器结果，得到最终的分类结果。

优选的，所述步骤S01包括：

S11：通过Spark Streaming接收视频流；

S12：按照时间间隔将视频流分割成离散的RDD数据集，将此RDD数据集转换成多个子RDD数据集，每个子RDD数据集对应一张图片，对每张图片分别处理。

优选的，所述步骤S03中，左右扩展1.5倍的车牌宽度，向下扩展一倍的车牌高度，向上扩展3.5倍的车牌高度。

优选的，步骤S03之后还包括，计算车牌的倾斜角度，并以此角度旋转图像至车牌下边缘呈水平方向。

优选的，步骤S03之后还包括，检测车脸特征点，按照最小距离和位置一致性原则匹配特征点，根据特征点位置调整车脸图像。

优选的，所述调整车脸图像包括以下步骤：

S31：计算匹配特征点与待匹配特征点所形成直线的斜率绝对值，若小于5度，则加入候选匹配点；

S32：计算所有候选特征点的特征描述算子，快速鲁棒(surf)特征点使用四个haar小波特征，计算所有特征描述算子与待匹配特征点的特征描述算子之间的欧式距离，若最小距离小于阈值d，则该特征点与待匹配点成功匹配；

S33：计算所有匹配点的中点横坐标x_i,i＝1,2,…n,n为匹配数，设μ和σ分别为其均值和标准差，筛选出所有满足μ-3σ<x_i<μ+3σ的点，并再次计算它们的平均中点c，根据c与车牌中心点的距离调整车脸的左右边界。

优选的，所述步骤S04包括以下步骤：

S41：将车脸归一化到固定大小，分成块，每块再分成多个单元，按照向右一个单元向下一个单元的方式滑动块，计算每一个块的特征；

S42：使用二维高斯核G(x,y,σ)与车脸图像I(x,y)卷积运算，生成不同尺度空间的车脸图像L(x,y,σ)，尺度空间形式表示为：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，

S43：LBP特征使用8邻域，半径为1的方式计算，统计每个单元的直方图，直方图bin数目为8，将每个块的所有单元LBP特征串联，形成每个块的特征。

S44：计算每一个单元中像素的梯度幅值和方向，将360度方向分成多个方向块，幅值作为权重来统计每个单元的梯度方向直方图，将每个块的所有单元的特征串联，形成每个块的特征，并与步骤S43中的特征串联形成该块的最终车脸特征。

与现有技术相比，本发明的优点是：

1、本发明能在海量的数据中，准确、快速、稳定地识别车辆品牌和具体型号。识别准确度高、速度快、适用性广。构建多尺度车脸图像能够将特征简单高效的表达在不同尺度上，利于图像识别；利用spark中的弹性分布式数据集(RDD)对各分块以及两个特征采用分布式方式计算，这大大提高了计算效率。

2、使用多级级联分类器得到结果，综合利用多种分类器各自的优势，可以使分类更鲁棒，可以得到更强大的分类效果。各分类器判别使用RDD实现分布式计算，大大提高了计算效率。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明基于快速学习框架的车辆品牌型号识别方法的流程图。

图2为本发明基于快速学习框架的车辆品牌型号识别方法的车型识别流程图；

图3为本发明基于快速学习框架的车辆品牌型号识别方法的分类器判别流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例：

一种基于快速学习框架的车辆品牌型号识别方法，包括以下步骤：

(1)根据监控需求、算法效率和机器性能，选择搭建spark平台，获取监控视频流。Spark是一个并行数据处理框架，它可以让大数据与实时数据应用结合在一起，可以使用Spark Streaming来处理实时数据。

(2)从获取的视频图像中检测车牌。

(3)根据车牌位置获取车脸图像，并进行车脸识别，具体步骤为：

(3-1)按照车牌的宽度和高度，上下左右扩展，获得车脸图像。

(3-2)计算车牌的倾斜角度，并旋转车脸至水平。这样可以防止车脸图像因受监控设备安装角度以及驾驶方向等的影响出现倾斜，对后面的车型识别产生较大的影响。

(3-3)检测车脸特征点，按照最小距离和位置一致性原则匹配特征点。根据特征点位置调整车脸图像。这样，车牌检测左右边界定位会出现偏差，导致检测出的车脸位置也会出现较大误差，利用特征点重新调整车脸的边界，可以使车脸对齐。

(3-4)构建多尺度车脸图像，将其有重叠的分块，对每一小块提取局部二进制(LBP)和梯度方向直方图(HOG)特征，并组合成最终的车脸特征。在spark中，各分块可生成各自的RDD，实现分布式计算。LBP主要表达图像纹理，HOG主要表达外形特征，两者结合可以很好的表达车脸的特征；有重叠的分块既能表达局部特征，又能体现全局特性；多尺度能够将特征简单高效的表达在不同尺度上，利于图像识别；利用spark中的弹性分布式数据集(RDD)对各分块以及两个特征采用分布式方式计算，这大大提高了计算效率。

(3-5)训练两级级联分类器，第一级采用多分类器投票的方式，当多数分类器投给同一目标时，就接受该结果，否则进入下一级；第二级采用集成分类***，通过特征映射，训练多个子分类器，融合各分类器结果，得到最终的分类结果。在spark中，各分类器可生成对应的RDD，实现分布式计算。这样做的有益效果是：单一的分类器受限于分类器本身，很难达到优秀的结果，综合利用多种分类器各自的优势，可以使分类更 鲁棒；分类器级联就像特征级联一样，可以得到更强大的分类效果；同(3-4)中的特征计算，各分类器判别使用RDD实现分布式计算，大大提高了计算效率。

如图1所示，步骤(1)具体包括以下步骤：

(1)通过Spark Streaming接收视频流。

(2)按照时间间隔将视频流分割成一个个离散的RDD数据集，由于有多路视频，每个RDD可能包含很多图片数据，将此RDD转换成多个子RDD，每个子RDD对应一张图片。

(3)对每张图片进行车型识别处理。

如图2所示，车脸识别具体包括以下步骤：

(1)准备训练样本和测试样本，本例中总共有1032种车型。

(2)利用纹理和颜色相结合的方式，定位车牌。

(3)利用拉东变换，计算车牌的倾斜角度，并以此角度旋转图像至车牌下边缘呈水平方向。

(4)根据车牌位置，左右扩展1.5倍的车牌宽度，向下扩展一倍的车牌高度，向上扩展3.5倍的车牌高度，依此获得车脸图像。

(5)计算快速鲁棒特征点(surf)，寻找其中的对称点，并根据特征点调整车脸边界。具体为：

(5-1)计算量匹配特征点与待匹配特征点所形成直线的斜率绝对值，若小于5度，则加入候选匹配点。

(5-2)计算所有候选特征点的特征描述算子，surf特征点使用四个haar小波特征，分别为：水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和。计算所有特征描述算子与待匹配特征点的特征描述算子之间的欧式距离，若最小距离小于阈值d，则该特征点与待匹配点成功匹配。

(5-3)计算所有匹配点的中点横坐标x_i,i＝1,2,…n,n为匹配数，设μ和σ分别为其均值和标准差。筛选出所有满足μ-3σ<x_i<μ+3σ的点，并再次计算它们的平均中点c，根据c与车牌中心点的距离调整车脸的左右边界。

(6)车脸特征提取，具体步骤包括：

(6-1)将车脸归一化到128×64大小，分成4×2块，每块再分成2×2个单元。按照向右一个单元向下一个单元的方式滑动块，计算每一个块的特征。

(6-2)使用二维高斯核G(x,y,σ)与车脸图像I(x,y)卷积运算，生成不同尺度空间的车脸图像L(x,y,σ)，尺度空间形式表示为：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，*为卷积运算，

本例选用5×5大小的高斯核，σ∈{5,10}。

(6-3)LBP特征使用8邻域，半径为1的方式计算，统计每个单元的直方图，直方图bin数目为8。将每个块的所有单元LBP特征串联，形成每个块的特征。

(6-4)计算每一个单元中像素的梯度幅值和方向，将360度方向分成8个方向块，幅值作为权重来统计每个单元的梯度方向直方图。将每个块的所有单元的特征串联，形成每个块的特征，并与(6-2)中的特征串联形成该块的最终特征。总特征维数为7×3×4×(8+8)×3＝4032。

(6-5)在spark中，每个尺度车脸对应一个RDD，再生成每个块的子RDD，各子RDD可进行分布式计算，大大的提高了计算速度。

(6-6)由于有重叠的滑动块来提取特征，难免出现特征冗余，最后使用主成分分析方法(PCA)降低特征维数。本例中最终维数为1200。

如图3所示，本例采用两级分类器级联的方式分类车脸，当然也可以使用三级或者更多。

第一级用三种分类器投票，三种分类器分别为支持向量机、人工神经网络和随机森林。当任意两个分类器识别为同一类型时，就接受该结果，否则进入下一级；第二级采用旋转森林集成分类***。通过特征映射，生成多个旋转变换的特征集，利用这些特征集训练多个子分类器，本例中子分类器使用支持向量机，最后综合各子分类器得分，得到最终的分类结果。在spark中，各分类器将生成对应的RDD，通过分布式计算，快速得到结果。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和 边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (5)

1.一种基于快速学习框架的车辆品牌型号识别方法，其特征在于，包括以下步骤：

S01：搭建spark平台，获取监控视频流；

S02：从获取的视频图像中检测车牌，根据车牌位置获取车脸图像，并进行车脸识别；

S03：按照车牌的宽度和高度，上下左右扩展，获得车脸图像；检测车脸特征点，按照最小距离和位置一致性原则匹配特征点，根据特征点位置调整车脸图像，包括：

S31：计算匹配特征点与待匹配特征点所形成直线的斜率绝对值，若小于5度，则加入候选匹配点；

S32：计算所有候选特征点的特征描述算子，快速鲁棒surf特征点使用四个haar小波特征，计算所有特征描述算子与待匹配特征点的特征描述算子之间的欧式距离，若最小距离小于阈值d，则该特征点与待匹配点成功匹配；

S33：计算所有匹配点的中点横坐标x_i,i＝1,2,…n,n为匹配数，设μ和σ分别为其均值和标准差，筛选出所有满足μ-3σ＜x_i＜μ+3σ的点，并再次计算它们的平均中点c，根据c与车牌中心点的距离调整车脸的左右边界；

S04：构建多尺度车脸图像，将其有重叠的分块，对每一小块提取局部二进制LBP和梯度方向直方图HOG特征，并组合成最终的车脸特征；

S05：训练多级级联分类器，第一级采用多分类器投票的方式，当多数分类器投给同一目标时，接受结果，否则进入下一级；第二级采用集成分类***，通过特征映射，训练多个子分类器，融合各分类器结果，得到最终的分类结果。

2.根据权利要求1所述的基于快速学习框架的车辆品牌型号识别方法，其特征在于，所述步骤S01包括：

S11：通过Spark Streaming接收视频流；

S12：按照时间间隔将视频流分割成离散的RDD数据集，将此RDD数据集转换成多个子RDD数据集，每个子RDD数据集对应一张图片，对每张图片分别处理。

3.根据权利要求1所述的基于快速学习框架的车辆品牌型号识别方法，其特征在于，所述步骤S03中，左右扩展1.5倍的车牌宽度，向下扩展一倍的车牌高度，向上扩展3.5倍的车牌高度。

4.根据权利要求1所述的基于快速学***方向。

5.根据权利要求1所述的基于快速学习框架的车辆品牌型号识别方法，其特征在于，所述步骤S04包括以下步骤：

S41：将车脸归一化到固定大小，分成块，每块再分成多个单元，计算每一个块的特征；

S42：使用二维高斯核G(x,y,σ)与车脸图像I(x,y)卷积运算，生成不同尺度空间的车脸图像L(x,y,σ)，尺度空间形式表示为：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，

S43：LBP特征使用8邻域，半径为1的方式计算，统计每个单元的直方图，直方图bin数目为8，将每个块的所有单元LBP特征串联，形成每个块的特征；

S44：计算每一个单元中像素的梯度幅值和方向，将360度方向分成多个方向块，幅值作为权重来统计每个单元的梯度方向直方图，将每个块的所有单元的特征串联，形成每个块的特征，并与步骤S43中的特征串联形成该块的最终车脸特征。